WO2020250706A1 - 画像処理方法、および、メタデータのデータ構造 - Google Patents

画像処理方法、および、メタデータのデータ構造 Download PDF

Info

Publication number
WO2020250706A1
WO2020250706A1 PCT/JP2020/021284 JP2020021284W WO2020250706A1 WO 2020250706 A1 WO2020250706 A1 WO 2020250706A1 JP 2020021284 W JP2020021284 W JP 2020021284W WO 2020250706 A1 WO2020250706 A1 WO 2020250706A1
Authority
WO
WIPO (PCT)
Prior art keywords
satellite
imaging
image
image processing
captured
Prior art date
Application number
PCT/JP2020/021284
Other languages
English (en)
French (fr)
Inventor
直美 倉原
至 清水
小川　哲
怜 江澤
一郎 石亀
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/616,406 priority Critical patent/US20220327820A1/en
Priority to JP2021525989A priority patent/JPWO2020250706A1/ja
Publication of WO2020250706A1 publication Critical patent/WO2020250706A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66—Arrangements or adaptations of apparatus or instruments, not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present technology relates to an image processing method and a data structure of metadata, and in particular, an image processing method that enables image processing of a plurality of captured images obtained by operating a formation flight, and a meta. Regarding the data structure of data.
  • Satellites Systems that operate multiple artificial satellites (hereinafter referred to simply as satellites) include constellation and formation flight. Constellation is a system that deploys services mainly globally by launching a large number of satellites into a single orbital plane. Even a single satellite has a predetermined function, and multiple satellites are operated for the purpose of improving the frequency of observation.
  • formation flight is a system in which multiple satellites deploy while maintaining a relative positional relationship in a narrow area of about several kilometers. Formation flights can provide services that cannot be realized by a single satellite, such as high-precision 3D measurement and speed detection of moving objects.
  • a system has been proposed in which a satellite operated by a constellation captures an image, or an image captured by the satellite is acquired and analyzed (see, for example, Patent Documents 1 to 3).
  • This technology was made in view of such a situation, and makes it possible to perform image processing of a plurality of captured images obtained by operating a formation flight.
  • the image processing apparatus performs predetermined image processing based on satellite identification information that identifies the artificial satellite associated with the captured image captured by the artificial satellite as metadata. I do.
  • predetermined image processing is performed based on satellite identification information that identifies the artificial satellite associated with the captured image captured by the artificial satellite as metadata.
  • the data structure of the metadata of the second aspect of the present technology is the data structure of the metadata of the captured image captured by the artificial satellite
  • the metadata is a satellite group that identifies the satellite group including the artificial satellite. It includes at least an identifier, a satellite identifier that identifies the artificial satellite, and relative position information of each artificial satellite that constitutes the satellite group, and is used for image processing of the captured image performed by the image processing apparatus.
  • the second aspect of the present technology is a data structure of metadata of an image captured by an artificial satellite, wherein the metadata is a satellite group identifier that identifies a satellite group including the artificial satellite, and the artificial satellite. It contains at least the satellite identifier that identifies the above and the relative position information of each artificial satellite that constitutes the satellite group, and is used for image processing of the captured image performed by the image processing apparatus.
  • the metadata is a satellite group identifier that identifies a satellite group including the artificial satellite, and the artificial satellite. It contains at least the satellite identifier that identifies the above and the relative position information of each artificial satellite that constitutes the satellite group, and is used for image processing of the captured image performed by the image processing apparatus.
  • the image processing method of the first aspect of the present technology can be realized by causing a computer to execute a program.
  • the program to be executed by the computer can be provided by transmitting through a transmission medium or by recording on a recording medium.
  • the image processing device may be an independent device or an internal block constituting one device.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a satellite image processing system to which the present technology is applied.
  • the satellite image processing system 1 of FIG. 1 uses images captured by a plurality of artificial satellites (hereinafter, simply referred to as satellites) to observe the situation of a target area or an object on the earth and change the situation. It is a system that performs satellite remote sensing to detect.
  • the satellite is equipped with an imaging device and has at least a function of imaging the ground.
  • the satellite operating company has a satellite group management device 11 that manages a plurality of satellites 21, and a plurality of communication devices 13 that communicate with the satellites 21.
  • the satellite group management device 11 and a part of the plurality of communication devices 13 may be devices owned by a company other than the satellite operating company.
  • the satellite group management device 11 and the plurality of communication devices 13 are connected to each other via a predetermined network 12.
  • the communication device 13 is arranged at the ground station (ground base station) 15.
  • FIG. 1 shows an example in which the number of communication devices 13 is three, that is, the communication devices 13A to 13C, the number of communication devices 13 is arbitrary.
  • the satellite group management device 11 manages a plurality of satellites 21 owned by the satellite operating company. Specifically, the satellite group management device 11 acquires related information from one or more information providing servers 41 of an external organization as necessary, and determines an operation plan for a plurality of satellites 21 owned by the satellite group management device 11. Then, the satellite group management device 11 causes the predetermined satellite 21 to perform imaging by instructing the predetermined satellite 21 to perform imaging via the communication device 13 in response to the customer's request. Further, the satellite group management device 11 acquires and stores the captured image transmitted from the satellite 21 via the communication device 13. The acquired captured image is subjected to predetermined image processing as necessary and provided (transmitted) to the customer. Alternatively, the acquired captured image is provided (transmitted) to the image analysis server 42 of the image analysis company, subjected to predetermined image processing, and then provided to the customer.
  • the information providing server 41 installed in the external organization supplies predetermined related information to the satellite group management device 11 via a predetermined network in response to a request from the satellite group management device 11 or periodically.
  • the related information provided by the information providing server 41 includes, for example, the following.
  • satellite orbit information described in TLE (Two Line Elements) format can be obtained as related information from NORAD (North American Aerospace Defense Command) as an external organization.
  • NORAD North American Aerospace Defense Command
  • the image analysis server 42 performs predetermined image processing on the image captured by the satellite 21 supplied from the satellite group management device 11 via a predetermined network.
  • the processed image is provided to the customer of the image analysis company or supplied to the satellite group management device 11 of the satellite operating company.
  • the image analysis server 42 performs metadata generation processing for adding predetermined metadata to an image captured by the satellite 21, correction processing such as distortion correction of the captured image, and image composition processing such as color composition processing.
  • the image processing of the captured image may be performed by the satellite operating company, and in this case, the satellite operating company and the image analysis company are the same.
  • the satellite group management device 11 and the image analysis server 42 may be realized by one device.
  • the communication device 13 communicates with a predetermined satellite 21 designated by the satellite group management device 11 via the antenna 14 under the control of the satellite group management device 11. For example, the communication device 13 transmits an imaging instruction for imaging a predetermined area on the ground to a predetermined satellite 21 at a predetermined time and position. Further, the communication device 13 receives the captured image transmitted from the satellite 21 and supplies the captured image to the satellite group management device 11 via the network 12.
  • the transmission from the communication device 13 of the ground station 15 to the satellite 21 is also referred to as an uplink, and the transmission from the satellite 21 to the communication device 13 is also referred to as a downlink.
  • the communication device 13 can directly communicate with the satellite 21 and can also communicate with the relay satellite 22. As the relay satellite 22, for example, a geostationary satellite is used.
  • the network 12 or the network between the information providing server 41 or the image analysis server 42 and the satellite group management device 11 is an arbitrary communication network, which may be a wired communication network or a wireless communication network. It may be composed of both of them. Further, the network 12 and the network between the information providing server 41 or the image analysis server 42 and the satellite group management device 11 may be configured by one communication network, or may be composed of a plurality of communication networks. You may do so. These networks include, for example, the Internet, public telephone network, wide area communication network for wireless mobiles such as so-called 4G line and 5G line, WAN (Wide Area Network), LAN (Local Area Network), Bluetooth (registered trademark).
  • Wireless communication networks that perform standards-compliant communication, short-range wireless communication paths such as NFC (Near Field Communication), infrared communication paths, HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (Universal Serial) It can be a communication network or communication path of any communication standard such as a wired communication network conforming to a standard such as Bus).
  • NFC Near Field Communication
  • HDMI registered trademark
  • USB Universal Serial
  • a plurality of each satellite 21 constitutes a satellite group 31.
  • satellites 21A and 21B form a first satellite group 31A
  • satellites 21C and 21D form a second satellite group 31B.
  • FIG. 1 for the sake of simplicity, an example in which one satellite group 31 is composed of two satellites 21 is shown, but the number of satellites 21 constituting one satellite group 31 is two. Not limited.
  • the communication device 13 communicates with each satellite 21 constituting the satellite group 31, a method of individually communicating with each satellite 21 and a second satellite group as shown in the first satellite group 31A of FIG. 1
  • the communication device 13 communicates with the communication device 13
  • the other satellites 21D communicate with the representative satellite 21C by intersatellite communication.
  • the plurality of satellites 21 constituting one satellite group 31 may be operated by an operation method called formation flight.
  • a formation flight is a flight in which a plurality of satellites 21 constituting one satellite group 31 fly while maintaining a relative positional relationship in a narrow range of about several hundred meters to several kilometers.
  • This is an operation method in which a plurality of satellites 21 operate in cooperation with each other, and can provide services that cannot be realized by a single satellite.
  • three satellites 21X to 21Z form one satellite group 31, and each of the satellites 21X to 21Z communicates with the ground station 15.
  • the uplink by designating a group ID (satellite group ID) which is an identifier for identifying the satellite group 31, and an individual ID (satellite ID) which is an identifier for identifying each satellite 21 constituting the satellite group 31.
  • a command or data is transmitted to the desired satellite 21.
  • the function can be shared by multiple satellites 21 instead of a single satellite, so there is an advantage that each satellite 21 can be miniaturized.
  • the imaging function even if the performance (for example, resolution) of the imaging device mounted on each satellite 21 is lowered, high resolution can be realized by image synthesis of captured images captured by a plurality of satellites 21. it can.
  • two satellites 21E and 21F can simultaneously image (simultaneously photograph) one region 52 from different imaging points (satellite positions).
  • the imaging results of the same ground surface from different imaging points can be used to generate a digital elevation model (DEM) that indicates the height required for three-dimensional measurement.
  • DEM digital elevation model
  • parallax images can be obtained from the captured images of the two satellites 21E and 21F, and three-dimensional measurement can be performed.
  • a plurality of satellites 21E and 21F can image one region 52 with a time difference (difference photography) at the same imaging point and imaging angle.
  • a time difference difference photography
  • the satellite 21 moves at a speed of 7 km / s and the distance between the satellites 21 flying in a platoon is 100 m
  • imaging is possible every 1.4 ⁇ 10 ⁇ 2 seconds.
  • images can be taken at short time intervals, so that changes (displacements) of objects on the earth such as passenger cars on the road and buoys on the sea can be extracted and the speed of moving objects can be measured. Etc. are possible.
  • FIG. 4 is a block diagram showing a configuration example of the satellite 21.
  • the satellite 21 includes a management unit 101, a bus 102, an imaging control unit 103, a thermal control unit 104, an attitude control system control unit 105, an orbit control system control unit 106, a propulsion system control unit 107, a sensor control unit 108, and a power supply control unit 109. , And a communication control unit 110.
  • the satellite 21 also includes an image pickup device 111, a cooling device 112, an attitude control device 113, a propulsion device 114, a sensor group 115, a battery 116, a solar cell panel 117, and a communication device 118.
  • Management unit 101 imaging control unit 103, thermal control unit 104, attitude control system control unit 105, trajectory control system control unit 106, propulsion system control unit 107, sensor control unit 108, power supply control unit, which are control units of each device.
  • the 109 and the communication control unit 110 are connected to each other via the bus 102.
  • the management unit 101 controls the operation of the entire satellite 21 by acquiring the state of each device from the control unit of each device via the bus 102 and outputting an operation command to the control unit of each device.
  • the image pickup control unit 103 controls the operation of the image pickup device 111 in accordance with an operation command from the management unit 101.
  • the image pickup apparatus 111 is composed of, for example, a camera module including an image sensor, and images an object. If the satellite 21 is a Synthetic Aperture Radar (SAR) satellite, the imaging device 111 is composed of a radar device.
  • SAR Synthetic Aperture Radar
  • the heat control unit 104 acquires the sensor value of the temperature sensor included in the sensor group 115, monitors the temperature change in the satellite 21, and controls the entire satellite 21 so as to be within the specified temperature range. Basically, the temperature change is controlled by the characteristics of the structure and the material, but if necessary, dynamic cooling using the cooling device 112 may be performed.
  • the cooling device 112 cools using, for example, a cooling agent such as liquid helium.
  • the attitude control system control unit 105 controls the attitude control device 113 in accordance with an operation command from the management unit 101 to direct the satellite 21 in a target direction.
  • the attitude control system control unit 105 controls the antenna 14 to be directed toward the ground station 15, the solar cell panel 117 to be directed toward the sun, and the observation sensor such as the image pickup device 111 to be directed toward the observation target.
  • the attitude control device 113 is composed of, for example, a 3-axis gyro, wheels such as a control moment gyro, a magnetic torquer, and the like.
  • the attitude control system control unit 105 may use not only the attitude control device 113 but also the propulsion device 114 for attitude control applications.
  • the attitude control system control unit 105 acquires sensor values of various sensors in the sensor group 115 as necessary when performing attitude control. Examples of sensors used for attitude control applications include sun sensors, earth sensors, star sensors, magnetic sensors, and gyros.
  • the orbit control system control unit 106 controls the maintenance of the orbit altitude and the change of the orbit.
  • the orbit control system control unit 106 performs control in cooperation with the propulsion system control unit 107 and the propulsion device 114.
  • the propulsion system control unit 107 controls the propulsion device 114 in accordance with an operation command from the management unit 101.
  • the propulsion device 114 is composed of, for example, a solid-state motor, an ion engine, an apogee engine, and the like.
  • the propulsion system control unit 107 controls the attitude of the satellite 21 by acquiring sensor values of various sensors in the sensor group 115 or operating the propulsion device 114 in cooperation with the attitude control device 113 as needed. And attitude control.
  • a chemical propulsion thruster or the like may not be mounted for the purpose of attitude control.
  • the sensor control unit 108 controls various sensors included in the sensor group 115, and supplies the sensor values to the management unit 101 or supplies them to other control units.
  • Various sensors are sensors for monitoring the state in the satellite 21, for example, GPS receiver, start racker (attitude sensor), acceleration sensor, gyro sensor, magnetic sensor, temperature sensor, sun sensor, earth sensor, etc. It consists of a star sensor and the like.
  • the power supply control unit 109 controls the battery 116 and the solar cell panel 117. Under the control of the power supply control unit 109, the electric power generated by the solar cell panel 117 is stored in the battery 116. The power of the battery 116 may be distributed directly to each device in the satellite 21, or may be distributed via the bus 102.
  • the communication control unit 110 controls the communication device 118 in accordance with an operation command from the management unit 101.
  • the communication device 118 has an antenna and communicates with the communication device 13 of the ground station 15 according to the control of the communication control unit 110.
  • the communication device 118 can also communicate with other satellites 21 and relay satellites 22 that form the same satellite group 31.
  • the communication control unit 110 and the communication device 118 may have a configuration in which a system is divided into transmission / reception of commands and telemetry having a small amount of data and mission system data (imaging data or the like) having a large amount of data.
  • Each control unit of the image pickup control unit 103 to the communication control unit 110 may be further divided into two or more, any two or more may be integrated, or may be integrated with the management unit 101.
  • Computational resources such as CPU (Central Processing Unit) and memory are basically installed in the management unit 101, but may also be installed in each control unit.
  • Each control unit may be mounted in a common hardware module.
  • the imaging device 111 of each satellite 21 may have the same performance among a plurality of satellites 21 constituting one satellite group 31, or may be configured with different performances.
  • the image pickup device 111 of the same model number is adopted as the image pickup device 111 mounted on each satellite 21 and the satellites 21 have the same performance
  • a high-precision (high-resolution) image can be generated by synthesizing the images that are shared and captured.
  • redundancy can be provided, it is permissible even if a problem occurs in one machine.
  • the imaging device 111 mounted on each satellite 21 has different performance, it is possible to perform imaging of different roles, for example, by sharing high-sensitivity monochrome imaging and low-sensitivity color imaging.
  • the different performance includes not only the case where the installed hardware configuration is different, but also the case where the installed hardware configuration is the same but the performance is different by performing different control. For example, for an image sensor of the same model number, one satellite 21 acquires a high-sensitivity low-resolution image by increasing the shutter speed, and the other satellite 21 acquires a low-sensitivity high-resolution image. is assumed.
  • sensitivity / shutter speed for example, sensitivity / shutter speed, resolution, monochrome / color / polarization, band (wavelength range), or a combination thereof can be used. There can be controls that make them different. Further, the battery performance and the communication performance may be different between the plurality of satellites 21.
  • FIG. 5 is a block diagram showing a configuration example of the satellite group management device 11, the communication device 13, and the image analysis server 42.
  • the satellite group management device 11 includes a control unit 211, a communication unit 212, an operation unit 213, and a display unit 214.
  • the control unit 211 manages a plurality of satellites 21 owned by the satellite operating company by executing a satellite management application program stored in a storage unit (not shown). For example, the control unit 211 determines the operation plan of the plurality of satellites 21 by using the related information acquired from the information providing server 41 as necessary, and controls the attitude of each satellite 21 via the communication device 13. And give instructions for imaging. Further, the control unit 211 generates metadata of the captured image transmitted from the satellite 21 via the communication device 13, and performs processing such as adding to the captured image.
  • the communication unit 212 performs predetermined communication with the communication device 13 via the network 12 according to the instruction of the control unit 211, and also performs predetermined communication with the image analysis server 42.
  • the operation unit 213 is composed of, for example, a keyboard, a mouse, a touch panel, etc., receives commands and data input based on user (operator) operations, and supplies them to the control unit 211.
  • the display unit 214 is composed of, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, displays a screen of a satellite management application program, or is predetermined with respect to an captured image captured by the satellite 21 and a captured image. Display the processed image etc. that has undergone the image processing of.
  • LCD Liquid Crystal Display
  • organic EL Electro Luminescence
  • the communication device 13 includes a satellite communication unit 221 and a control unit 222, and a communication unit 223.
  • the satellite communication unit 221 communicates with each satellite 21 of the target satellite group 31 via the antenna 14 under the control of the control unit 222.
  • the control unit 222 causes the satellite communication unit 221 to communicate with the satellite 21 in accordance with the control from the satellite group management device 11. Further, the control unit 222 transmits data such as an captured image acquired from the satellite 21 to the satellite group management device 11 via the communication unit 223.
  • the communication unit 223 performs predetermined communication with the satellite group management device 11 based on the control of the control unit 222.
  • the image analysis server 42 includes a control unit 231, a communication unit 232, an operation unit 233, and a display unit 234.
  • the control unit 231 executes a predetermined image processing on the captured image supplied from the satellite group management device 11 by executing an image analysis application program stored in a storage unit (not shown), for example, predetermined metadata on the captured image. Performs metadata generation processing, correction processing such as distortion correction of captured images, image composition processing such as color composition processing, and the like.
  • the communication unit 232 performs predetermined communication with the satellite group management device 11 or another device according to the control from the control unit 231. For example, the communication unit 232 receives the captured image captured by the satellite 21 from the satellite group management device 11 and supplies it to the control unit 231 or transmits the processed image after image processing to the satellite group management device 11.
  • the operation unit 233 is composed of, for example, a keyboard, a mouse, a touch panel, etc., receives commands and data input based on user (operator) operations, and supplies them to the control unit 231.
  • the display unit 214 is composed of, for example, an LCD or an organic EL display, displays a screen of an image analysis application program, or displays an image before or after image processing.
  • the satellite 21 and other devices that make up the satellite image processing system 1 are configured as described above.
  • the satellite group management device 11 selects the optimum communication device 13 from the plurality of communication devices 13 according to the orbit of the satellite 21 that communicates, and gives the selected communication device 13 a predetermined image imaging instruction or the like. A command is transmitted, or data such as a captured image is received via a communication device 13. Since the satellite group management device 11 performs predetermined communication integrally with the communication device 13 arbitrarily selected according to the target satellite 21, the satellite group management device 11 and the communication device 13 are combined in the following description. It will be referred to as a management system.
  • step S11 the management system determines the imaging requirements by the satellite 21 based on the customer's request.
  • the management system determines the imaging date, imaging point, environmental conditions for imaging, camera setting values, etc. as imaging requirements.
  • the environmental conditions for imaging include, for example, weather conditions such as the amount of clouds on the imaging date and time
  • the camera setting values include, for example, resolution (resolution), zoom, shutter speed, sensitivity, aperture, and the like.
  • step S12 the management system determines the satellite 21 and the ground station 15 (communication device 13) that meet the imaging requirements.
  • the management system selects the satellite 21 that meets the determined imaging requirements. For example, whether the imaging target position passes over the imaging target position at the determined imaging date and time, the imaging target position is within the observation width of the satellite 21, or the imaging device 111 mounted on the satellite 21 is determined in terms of resolution. The satellite 21 is determined by determining whether or not the demand for the camera set value is satisfied. Then, a ground station 15 suitable for communicating with the selected satellite 21 is determined.
  • the management system can select the satellite 21 in consideration of the expected remaining amount of the battery of the satellite 21 at the imaging date and time, the power consumption of the imaging, and the like. For example, if the selected satellite 21 is planned to perform another imaging immediately before the imaging date and time, power is consumed by the imaging, attitude control, data communication, thermal control, etc. associated with the imaging. Since it is assumed that the next imaging cannot be performed, the priority of the satellite 21 is set according to the expected remaining amount of the battery and the power consumption of the imaging, and the satellite 21 is selected.
  • step S13 the management system directs the antenna 14 of the selected ground station 15 with respect to the assumed orbit.
  • the satellite group management device 11 transmits the orbit information of the selected satellite 21 to the communication device 13, and the communication device 13 directs the antenna 14 with respect to the assumed orbit.
  • step S14 the management system transmits (uplinks) an imaging instruction to the selected satellite 21. That is, the satellite group management device 11 transmits a command for transmitting an imaging instruction to the communication device 13 of the selected ground station 15, and the communication device 13 that receives the command sends the imaging instruction to the selected satellite 21 with the antenna 14. Send via.
  • the imaging instruction includes the imaging date and time, the imaging point, the camera set value, and the like.
  • step S31 the satellite 21 receives the imaging instruction from the ground station 15, and in step S32, transmits the reception completion to the ground station 15.
  • step S15 the management system receives the completion of reception from the satellite 21 and stops the transmission of the imaging instruction.
  • the transmission of the imaging instruction from the ground station 15 is repeatedly executed until there is a response from the satellite 21 that the reception is completed.
  • step S33 the satellite 21 performs an imaging preparation process based on the received imaging instruction.
  • the satellite 21 controls the attitude of the satellite 21 or the orientation of the imaging device 111 (pointing) so that the imaging device 111 faces the position to be imaged as needed.
  • the image pickup control unit 103 sets the zoom, shutter speed, sensitivity, aperture, and the like of the image sensor.
  • the power supply control unit 109 charges in advance so that sufficient power can be obtained on the imaging date and time.
  • the satellite 21 captures the imaging target position in step S34.
  • step S35 the satellite 21 generates metadata that is information associated with the captured image obtained as a result of imaging and adds it to the captured image.
  • the details of the metadata will be described later, but for example, information such as a group ID for identifying the satellite group 31, an individual ID for identifying each satellite 21, an imaging target position (subject position), an imaging time, and the like is generated as metadata. can do.
  • step S36 the satellite 21 transmits (downlinks) the captured image to which the metadata is added to the ground station 15.
  • the downlink may be performed immediately after the captured image and the metadata are generated, or may be performed when the downlink reaches a predetermined range of the predetermined ground station 15. Further, the captured image may be transmitted via the relay satellite 22.
  • the management system receives the captured image from the satellite 21 in step S16. Specifically, the communication device 13 receives the captured image via the antenna 14 and supplies it to the satellite group management device 11.
  • step S17 the satellite group management device 11 analyzes the metadata of the captured image.
  • the satellite group management device 11 may newly generate metadata based on the analysis result and add it.
  • the satellite group management device 11 calculates the satellite position at the time of imaging based on the group ID and individual ID of the captured image and the orbit information of the satellite 21, and adds it as metadata.
  • step S18 the satellite group management device 11 performs predetermined image processing on the captured image captured by the satellite 21.
  • the satellite group management device 11 performs, for example, correction processing such as distortion correction, image composition processing such as color composition processing, and the like. The details of image processing will be described later.
  • step S19 the satellite group management device 11 executes the distribution management process of the captured image and the processed image and stores them in a predetermined storage unit.
  • the details of the distribution management process will also be described later.
  • the image processing by the image analysis server 42 can be appropriately performed as needed, and may be shared with the image processing of the satellite group management device 11 or may be performed instead of being performed by the satellite group management device 11. it can.
  • the distribution management process may also be performed by the image analysis server 42.
  • the metadata is added to the captured image and transmitted, but the metadata may be transmitted as a stream different from the captured image. At this time, only the metadata may be transmitted prior to the captured image.
  • Imaging preparation process> By the way, since resources are limited especially in a small satellite 21, it is necessary to pay particular attention to the remaining battery level, and imaging control corresponding to this is important.
  • FIG. 7 is a detailed flowchart of the imaging preparation process in step S33 of FIG.
  • the imaging instruction received in step S31 before step S33 it is assumed that imaging at the imaging time t1 is instructed.
  • step S51 the management unit 101 of the satellite 21 estimates the remaining battery level at the imaging time t1. Specifically, the management unit 101 estimates the remaining battery level at the imaging time t1 from (estimated value) the amount of charge accumulated by photovoltaic power generation by the imaging time t1 with respect to the current battery level. ..
  • step S52 the management unit 101 determines whether or not there is a sufficient remaining battery level based on the estimated remaining battery level.
  • the management unit 101 determines whether the estimated battery level is a sufficient battery level from the power consumption factor related to imaging and the power consumption factor other than imaging.
  • the power consumption elements related to the imaging include the imaging process of the imaging device 111, the attitude control (pointing) of the satellite 21, and the heat control associated therewith. In the imaging process of the imaging device 111, how many images are captured at the imaging time t1 and with what accuracy (resolution, shutter speed, necessity of zooming, etc.) are taken into consideration.
  • Attitude control of the satellite 21 includes changing the attitude of the satellite itself and changing the attitude of the antenna. Further, when the camera module itself as the image pickup apparatus 111 can change the posture in the image pickup direction, the posture change of the camera module is also included in the posture control of the satellite 21.
  • Power consumption elements other than imaging include communication (uplink and downlink) performed by the imaging time t1.
  • the management unit 101 may determine whether the battery level is sufficient based on the battery level to be left after the image pickup time t1 in consideration of the image pickup performed at the timing following the image pickup time t1.
  • imaging is scheduled at time t2 following the imaging time t1, the charge amount from time t1 to time t2 is 2%, and the power consumption due to the imaging process at time t2 is.
  • power consumption due to attitude control is 10%
  • power consumption due to communication performed by the imaging time t2 is 2%
  • 83% of the remaining battery power is required after imaging at time t1. Therefore, it is determined that the estimated remaining battery level of 80% at the imaging time t1 is not sufficient.
  • the power consumption related to imaging has been mainly described, but other power consumption, for example, heat control associated with attitude control and power consumption due to regular communication, etc. are also considered.
  • step S52 of FIG. 7 it is determined whether or not there is a sufficient battery level, and if it is determined in step S52 of FIG. 7 that there is not enough battery level, the process proceeds to step S53, and the satellite 21 determines. It is determined whether the expected downlink timing can be changed by the imaging time t1. By changing the downlink timing, the amount of power required for it can be saved.
  • step S53 If it is determined in step S53 that the downlink timing cannot be changed, the process of step S53 is skipped and the process proceeds to step S55.
  • step S53 determines whether or not there is sufficient battery level. .. in step S54 as well, if it is determined that there is not enough remaining battery power, the process proceeds to step S55. On the other hand, if it is determined in step S54 that the battery level is sufficient, the process proceeds to step S57.
  • step S55 the management unit 101 changes the accuracy of attitude control.
  • Attitude control uses, for example, two types of wheels and ion engines to apply a moment toward the target attitude, and after the target attitude, the opposite moment is repeatedly applied, and when the shaking speed falls below a certain level. It is determined that the posture has been changed to the target posture.
  • the management unit 101 changes, for example, the range of the shaking speed at which the target posture is determined. The range of the shaking speed is changed in the direction of increasing, and the power consumption can be saved by reducing the control amount of the attitude control.
  • step S56 the management unit 101 changes the imaging conditions according to the accuracy of the attitude control. If the range of the shaking speed becomes large, the attitude of the satellite 21 will not be stable and wobbling will occur, which may cause blurring of the subject. It is also possible that sufficient zooming is not possible due to insufficient pointing. Therefore, the management unit 101 compensates for the adverse effect of reducing the control amount of the attitude control by changing the imaging conditions.
  • the management unit 101 changes the imaging conditions as follows, for example.
  • the management unit 101 responds to subject blurring by increasing the shutter speed of the image sensor. Further, the management unit 101 may further control to increase the sensitivity (gain) because the captured image becomes darker when the shutter speed is increased.
  • the management unit 101 can reduce the resolution (resolution) of the captured image for the purpose of improving the sensitivity per unit pixel. As a result, the shutter speed can be improved, the influence of the decrease in attitude control accuracy is reduced, and the amount of data at the time of downlink can be reduced. In addition, the management unit 101 selects a set value that does not perform optical zoom. This makes it possible to increase the tolerance for blurring (wobble) of the image.
  • a mechanical blur correction mechanism may be performed instead of lowering the accuracy of attitude control.
  • the management unit 101 may set the imaging setting so as to perform continuous imaging of a plurality of images instead of reducing the resolution of the captured image.
  • the ground station 15 can compensate for the decrease in the resolution of the captured image by generating a high-resolution captured image generated by synthesizing the captured images of continuous imaging and transmitting (downlinking) the image. it can.
  • the high-resolution image generation by image composition may be performed by the satellite group management device 11 or the image analysis server 42 after the download.
  • the satellite group management device 11 or the image analysis server 42 can also synthesize a past captured image such as a base image and a captured image captured by another satellite 21.
  • step S56 or when it is determined in step S52 or step S54 that the battery level is sufficient, the process proceeds to step S57.
  • step S57 the management unit 101 controls (points) the attitude of the satellite 21 or the image pickup apparatus 111 according to the attitude control setting determined in the process of step S55.
  • step S58 the management unit 101 sets the imaging conditions determined in the process of step S56.
  • step S34 of FIG. 6 that is, imaging of the imaging target position is performed.
  • the stability accuracy of posture control which has a large effect on power consumption, is lowered, and the battery consumption is suppressed by changing the imaging conditions and image processing in the subsequent stage. At the same time, the quality of the captured image can be guaranteed.
  • FIG. 9 is a flowchart of the satellite image processing system 1 in which one satellite group 31 performs a formation flight.
  • the management system and each satellite 21 of the satellite group 31 that performs formation flight perform relative position confirmation processing in steps S101, S121, S122, and S102. That is, in step S101, the management system inquires about the relative position of each satellite 21 of the satellite group 31 performing the formation flight. In step S121, each satellite 21 constituting the satellite group 31 performs a process of confirming the relative position in response to an inquiry from the management system. Then, in step S122, each satellite 21 transmits a relative position, and in step S102, the management system receives the relative position from each satellite 21.
  • the relative position is the arrangement order of each satellite 21 constituting the satellite group 31 and the distance between the satellites.
  • the arrangement order of each satellite 21 is, for example, the order in which the traveling direction of the satellite 21 is the head (No. 1).
  • This relative position confirmation process may be performed every time an image is taken, or may be performed periodically, for example, once a day or once a week.
  • the management system has the orbit information of the satellite group 31 acquired from NORAD as an external organization, but the orbit information of each satellite 21 constituting the satellite group 31 may not be discriminated. Alternatively, even if individual orbit information can be determined by observation from the ground, it may not be possible to determine the order of the aircraft. In the formation flight, the satellites 21 may be arranged within a range in which the orbit information cannot be individually allocated, and it is not possible to determine the number from the beginning of the satellite group 31. Therefore, it is necessary to determine the relative positional relationship.
  • the relative position control method is roughly divided into two types: open loop method and closed loop method.
  • the open loop method is a method in which there is no communication between the satellites constituting the satellite group 31, and the relative position is controlled by an instruction from the ground side. Errors are likely to occur in the distance between satellites.
  • the closed loop method is a method of controlling the relative position by communicating between the satellites constituting the satellite group 31.
  • the accuracy of the relative position of the closed loop method is higher than that of the open loop method.
  • the closed loop method includes a centralized type (Centralized type) and a non-centralized type (Decentralized type).
  • Centralized type there is a satellite 21 that serves as a leader, and there are a form in which another satellite 21 follows the leader satellite and a form in which the leader satellite issues an instruction to the other satellite 21.
  • the non-central management type is a form in which each satellite 21 constituting the satellite group 31 autonomously communicates with other surrounding satellites 21 and controls its own position.
  • each satellite 21 simultaneously captures an image of a predetermined point on the ground, and the satellite group management device 11 on the ground side captures the captured image and the satellite 21 in the process of confirming the relative position of step S121.
  • each satellite 21 communicates at a predetermined point on the ground at the same time, and the communication device 13 on the ground side confirms the arrangement order from the radio waves at that time.
  • the communication for confirming the arrangement order may be a downlink of a predetermined captured image, a signal for calibration, or the like.
  • each satellite 21 executes a process of measuring the relative position, and the measurement result is downlinked.
  • a method of measuring the relative position of each satellite 21 there are a method of measuring the position (direction) by communicating between the satellites, a method of irradiating the laser with a laser, and a method of measuring the distance from the reflected light.
  • the management system calculates the imaging conditions of each satellite 21 based on the relative position of each satellite 21.
  • the imaging conditions here include, in addition to the set values of the image sensor, the attitude control of the satellite 21 at the time of imaging, the timing of imaging, and the like. For example, when performing three-dimensional measurement on the ground, the imaging conditions are calculated so that the imaging target positions are the same for each satellite 21 with the inter-satellite distance as the baseline length.
  • the timing imaging position at which the preceding satellite 21 and the succeeding satellite 21 perform imaging and the posture at the time of imaging are calculated. To. The timing at which each satellite 21 takes an image is calculated based on the inter-satellite distance.
  • step S104 the management system transmits an imaging instruction to each satellite 21 based on the calculated imaging conditions.
  • the imaging instruction is transmitted (multicast) to all satellites 21 of the satellite group 31, and each satellite 21 can select an instruction addressed to itself by the individual ID as the destination information included in the imaging instruction. ..
  • the satellite 21 receives an imaging instruction from the ground station 15 in step S123, performs an imaging preparation process in step S124, and performs imaging in step S125. Further, in step S126, the satellite 21 generates metadata and adds it to the captured image, and in step S127, transmits (downlinks) the captured image to which the metadata is added to the ground station 15.
  • steps S123 to S127 is basically the same as the processing of steps S31 to S36 performed by the individual satellites 21 described with reference to FIG.
  • each satellite 21 may individually transmit its own captured image, or the captured images are collected by the reader satellite by inter-satellite communication and collectively transmitted by the leader satellite. May be good.
  • step S105 the management system receives the captured image from each satellite 21, and in step S106, analyzes the metadata of the captured image. Further, in step S107, the management system performs predetermined image processing on the captured image, and in step S108, executes the distribution management processing of the captured image and the processed image, and stores the captured image in a predetermined storage unit.
  • steps S105 to S108 is basically the same as the processing of steps S16 to S19 performed by the management system described with reference to FIG.
  • the image processing in step S107 is not limited to image processing for the captured image obtained by one satellite 21, and image processing using a plurality of captured images captured in cooperation with a plurality of satellites 21 of the satellite group 31. It can be performed.
  • Image processing example> An example of processing of image processing executed by the satellite group management device 11 or the image analysis server 42 in step S18 of FIG. 6 or step S107 of FIG. 9 will be described.
  • the satellite group management device 11 or the image analysis server 42 can perform the following image processing on one captured image captured by the individual satellites 21.
  • Metadata It is possible to generate metadata based on the information transmitted from the satellite 21 and the information of the satellite 21 that has been imaged. For example, information on the latitude and longitude of the position to be imaged, information on attitude control and acceleration at the time of imaging of the satellite 21, and the like can be generated as metadata.
  • Correction processing of captured images Radiometric correction related to sensitivity characteristics, geometric correction such as orbital position and attitude error of satellite 21, orthophoto correction to correct geometric distortion caused by height difference of terrain, to map projection surface It is possible to perform correction processing such as map projection that projects the image of.
  • Color composition processing Performs color composition processing such as pan sharpening processing, true color composition processing, false color composition processing, natural color composition processing, SAR image composition processing, and processing for adding color to the captured image for each band.
  • the satellite group management device 11 or the image analysis server 42 performs the following image processing more effectively. Is possible.
  • High-resolution or high-quality processing By superimposing a plurality of captured images, it is possible to generate an captured image with improved resolution.
  • high resolution is achieved by synthesizing pan sharpened images that combine monochrome images and color images, and captured images with different imaging conditions such as different dynamic ranges, shutter speeds, different bands (wavelength bands), and different resolutions. It is possible to generate a captured image.
  • Function sharing Indexes such as NDVI (Normalized Difference Vegetation Index) can be calculated using different bands such as R (Red) and IR (Infrared).
  • Three-dimensional measurement Three-dimensional information can be obtained from the parallax image. In addition, the accuracy of object recognition on the ground can be improved by using three-dimensional information.
  • an object is a vehicle (even if the image does not immediately indicate that the object is a vehicle, if what is on the road is not a pattern but a three-dimensional object, it can be determined. Can be presumed to be a vehicle).
  • Difference measurement It is possible to extract the change between the first time and the second time by using a plurality of captured images taken from the same position with a time difference. In addition, imaging may be performed so that only the changed object is extracted and colored. Further, for example, the moving speed of a ship or a vehicle can be calculated by using a plurality of captured images, or the wind speed can be calculated from the movement of clouds or the like.
  • Other image synthesis It is also possible to combine past captured images and images captured by other satellites 21, composite images captured in different bands, and combine with map information. ..
  • the satellite group management device 11 and the image analysis server 42 as the image processing device perform the above-mentioned image processing based on the satellite identification information for identifying the satellite, which is associated with the captured image captured by the satellite 21 as metadata. ..
  • the satellite specific information includes at least a group ID for identifying the satellite group 31, an individual ID for identifying each satellite 21 constituting the satellite group 31, and relative position information of each satellite 21 performing a formation flight.
  • image processing using a plurality of captured images captured by the formation flight has been described, the above-mentioned image processing may be performed on a plurality of captured images captured by the constellation instead of the formation flight. ..
  • image processing such as (1) high resolution or high quality processing, (3) three-dimensional measurement, and (5) other image composition may be performed on a plurality of captured images captured by constellation.
  • JPEG2000 An image format standardized by the Joint Photographic Experts Group. JPEG 2000 not only increases the compression ratio, but also uses technology to improve the image in the area of interest and copyright protection technology such as digital watermarking.
  • the method of providing the image so that it can be viewed includes (1A) the method of providing (transmitting) the image itself, (1B) permitting access to a platform such as a data server, and using the data on the platform.
  • a platform such as a data server
  • there are methods such as a method of allowing the user to browse the image
  • FIG. 10 shows an example of information attached as metadata to a captured image or a processed image.
  • the information attached as metadata includes information that can be added by the satellite 21, information that can be added by the satellite group management device 11, and information that can be added by the image analysis server 42 of the analysis company, depending on the type of information.
  • each information is arranged in a table format, and a circle ( ⁇ ) is attached to a device to which each information can be added.
  • the satellite group management device 11 also has an image processing function, the information that can be added by the image analysis server 42 can be added by the satellite group management device 11 itself.
  • the information that identifies the satellites includes, for example, a group ID that identifies the satellite group 31, an individual ID that identifies each satellite 21, relative position information of each satellite 21 that constitutes the satellite group 31 that performs formation flight, and information at the time of imaging. It can include the angle information of itself (satellite 21), the type of satellite, and the like.
  • the relative position information includes, for example, information such as the order of a plurality of satellites 21 constituting the satellite group 31 and the distance between the satellites.
  • the relative position information may be information that serves as a material for estimating the relative position.
  • the own angle information at the time of imaging represents, for example, the angle of itself with respect to the ground surface at the time of imaging.
  • the type of satellite includes, for example, whether it is an optical satellite or a SAR satellite, or a classification according to the purpose and size of the satellite.
  • the information for identifying the satellite includes, for example, the orbit position calculated from at least one of the orbit information (TLE information) in the TLE format of the satellite 21, the position information (GPS information) in the GPS signal, the TLE information, or the GPS information.
  • TLE information the orbit information
  • GPS information position information
  • Information on the captured content can be added to the metadata.
  • Information on the content of the imaging includes, for example, imaging conditions such as imaging target position information indicating the location on the earth as the imaging target, resolution (resolution), zoom, shutter speed, sensitivity, aperture (F value), and image sensor. It can include sensor types such as model numbers, imaging times, satellite positions at the time of imaging, and weather information such as cloud volume and sunshine volume.
  • the latitude and longitude information of the location on the earth as the imaging target is given to the imaging target position information.
  • the satellite position at the time of imaging is added on the ground side based on the orbit information of the satellite 21.
  • the satellite position at the time of imaging may be the orbit information itself of the satellite 21.
  • the accuracy of attitude control may be changed according to the remaining battery level. Therefore, the satellite position at the time of imaging includes the accuracy information of the attitude control of the satellite 21 at the time of imaging and the time of imaging. It may further include three-dimensional acceleration information indicating the movement of the satellite itself. This information on attitude control can be used as a reference for processing in high-resolution processing of captured images performed on the ground side.
  • information on the image type can be added to the metadata.
  • the information regarding the image type can include band information and image processing information.
  • the band information includes wavelength information related to the wavelength band, color information indicating whether it is RGB (TrueColor), IR (infrared light), or monochrome, coloring information indicating that a specific object such as a plant is colored (FalseColor), and normalization. It includes analysis information indicating that the image represents a vegetation index (NDVI: Normalized Difference Vegetation Index) and a normalized difference vegetation index (NDWI: Normalized Difference Water Index).
  • the image processing information includes the processing time of image processing, the processing level, the processing method, and the like.
  • the processing time represents the time when the image processing is performed.
  • the processing level is divided into 6 stages from L0 to L5.
  • L0 is the level indicating uncorrected without correction processing
  • L1 is the level with radiometric correction related to sensitivity characteristics
  • L2 is geometric correction such as the orbital position and attitude error of satellite 21. It is a level that has been set.
  • processing names such as pan sharpening processing, true color composition processing, and SAR image composition processing are described.
  • the processed image of the three-dimensional measurement may describe the distinction between the L image (image for the left eye) and the R image (image for the right eye).
  • related party information which is information about related parties of the captured image or the processed image
  • Information about the parties concerned includes, for example, information such as the owner of the satellite 21, the service operator operating the satellite remote sensing service, and the right holder of the captured image or the processed image.
  • the captured image and the processed image can be subjected to the following processing for controlling the distribution of data.
  • Usage restriction processing When processing is performed so that the captured image and processed image cannot be downloaded or displayed without permission, or when predetermined conditions such as expiration date, number of copies, and number of impressions are met, the captured image and processing It is possible to perform processing that makes it impossible to download or display the image.
  • the captured image and the processed image can be applied so that secondary processing such as image composition cannot be performed.
  • Watermark It is possible to add a watermark (digital watermark) indicating that the captured image and the processed image are copyrighted. In addition, it is possible to perform a process of inputting information that can determine the outflow route as a watermark.
  • a method of managing each data and the usage mode of the data may be adopted by using a blockchain.
  • the satellite group management device 11 or the image analysis server 42 can perform a process of protecting the image by a predetermined protection method for the image showing the prohibited area). Whether or not it is a protected area may be determined by using the image pickup target position information of the metadata.
  • the image in the protected area may be subjected to processing so that the resolution cannot be increased more than necessary by a person other than the end user or the licensed user. Be done.
  • the image of the protected area may be reduced in resolution or blurred.
  • the update of the image of the protected area may be stopped, replaced with the past image and displayed, or the image showing the protection may be superimposed.
  • Image protection can be performed later, such as when there is a request for privacy protection or when the distribution of fraudulent images is detected, in addition to the case where it is executed in advance before it is first provided to the user. ..
  • the distribution of fraudulent images it is possible to take measures to delete the illegally leaked captured images and processed images.
  • Formation flight application example> In the following, an example of image analysis processing using images captured by a plurality of satellites 21 constituting the satellite group 31 by formation flight will be described.
  • the satellite group 31 performs imaging with the same point on the farmland as the imaging target position.
  • Each satellite 21 may be imaged from different positions at the same time, or may be imaged from the same position with a time lag. In order to direct the imaging target position of each satellite 21 to the same point, it is necessary to grasp the satellite position in advance.
  • the image composition process it is not necessary to know which satellite 21 captured each captured image, but if it is possible to grasp which satellite 21 is used to capture the image, the angle and time at the time of imaging can be determined. Efficient image composition is possible.
  • the Geo TIFF format can be used, and the fact that it is a compositing image by formation flight, and the imaging position, imaging time, imaging condition, etc. of each captured image of the compositing source are meta. It can be attached as data.
  • the imaging position information the imaging position information of any of the captured images (representative captured images) of the synthesis source can be used.
  • each satellite 21 of the satellite group 31 simultaneously performs imaging with the same point on the farmland as the imaging target position, and obtains a parallax image.
  • the relative position information of the satellite 21 is required. This relative position information may be obtained at the same time as the downlink of the captured image, not in advance. In the image composition process, it is not necessary to know which satellite 21 captured each captured image, but if it is possible to grasp which satellite 21 is used to capture the image, the angle and time at the time of imaging can be determined.
  • Efficient image composition is possible.
  • a three-dimensional image format consisting of a pair of L image and R image can be used, that the image is a composite image by formation flight, and the imaging position of each captured image of the composition source.
  • the imaging time, imaging conditions, and the like can be attached as metadata.
  • the imaging position information the imaging position information of any of the captured images (representative captured images) of the synthesis source can be used.
  • vegetation indicators such as NDVI and other information may be further added.
  • the satellite group 31 performs imaging with the same point in the ocean as the imaging target position.
  • Each satellite 21 images from the same position with a time lag.
  • the positioning of the captured image of each satellite 21 and the comparison processing of the school of fish are performed based on the imaging position (including the angle information) and the imaging time.
  • the moving speed of the school of fish can be calculated from the time difference between the imaging times of two or more satellites 21 and the moving distance of the school of fish.
  • the image presented as the analysis processed image for example, an image in which information indicating the moving direction and moving speed of the fish school is superimposed and displayed on the captured image of the base fish school (captured image of a predetermined satellite 21) is displayed. Can be adopted.
  • Various information of the captured image as a base is added to the metadata.
  • information explaining the calculation method when the moving direction and moving speed of the school of fish is calculated for example, information such as a plurality of captured images of the school of fish, their imaging times, and the position of the school of fish. You may present it.
  • Other ocean observation remote sensing For example, information on the moving direction and speed of a ship and observation information on ocean currents can be obtained.
  • Counting the number of vehicles (estimation of economic indicators) Economic indicators (economic trends and sales forecasts for specific stores) are calculated by examining the number of vehicles in parking lots and the number of vehicles traveling on roads.
  • Economic indicators (economic trends and sales forecasts for specific stores) are calculated by examining the number of vehicles in parking lots and the number of vehicles traveling on roads.
  • the satellite group 31 performs imaging at the same time with the same point as the imaging target position. In order to direct the imaging target position of each satellite 21 to the same point, it is necessary to grasp the satellite position in advance. It is possible to increase the resolution of images and acquire three-dimensional information based on parallax images by using a plurality of captured images simultaneously captured.
  • the image composition process it is not necessary to know which satellite 21 captured each captured image, but if it is possible to grasp which satellite 21 is used to capture the image, the angle and time at the time of imaging can be determined. Efficient image composition is possible.
  • a reference object may be extracted from the road or building in the image, and the alignment of the two or more images may be performed based on this. The reference object may be selected based on the height information.
  • the number of vehicles and the number of traveling vehicles are calculated based on the high-resolution captured image. The number of vehicles and the number of traveling vehicles may be calculated efficiently by increasing the resolution of only a specific region in the captured image.
  • a base captured image (captured image of a predetermined satellite 21) is colored by changing the color for each detection target area or count target (vehicle or person) and counted.
  • An image in which numbers are superimposed and displayed can be adopted.
  • Various information of the base image is added to the metadata.
  • information such as image imaging conditions and a calculation method of a detection object may be presented to the user.
  • the above-mentioned example is an example of increasing the resolution by simultaneous imaging, but the moving speed of the vehicle is measured based on the captured images captured by the time difference, and the traffic volume information before and after the imaging time is estimated and presented. May be good.
  • Others By synthesizing images captured by multiple satellites by formation flight, it is possible to acquire 3D information based on parallax images and create 3D maps of construction sites and mansions.
  • a formation flight constellation may be used. That is, by launching the satellite group 31 that performs the formation flight into a single or a plurality of orbital planes, it is possible to perform an operation in which the service is mainly uniformly deployed all over the world.
  • the image captured by the formation flight may be combined with the image captured by another satellite. For example, it is possible to perform image processing such as superimposing and displaying the moving body information obtained by the formation flight on the high-resolution image captured by the geostationary satellite.
  • FIG. 11 shows a configuration example of a second embodiment of a satellite image processing system to which the present technology is applied.
  • the satellite group 31 performing the formation flight is configured to perform simultaneous imaging or staggered imaging at the imaging point and imaging time instructed in advance based on the orbit information of the satellite 21 and the like. Therefore, for example, it is not possible to detect a predetermined event that has occurred on the ground and perform real-time imaging when the event occurs.
  • the satellite group 31 may be operated by either constellation or formation flight.
  • a plurality of transmission devices 251 including sensors for detecting a predetermined event on the ground are newly added to the configuration of the satellite image processing system 1 of the second embodiment.
  • four transmission devices 251A to 251D are installed in the event detection area 250, but the number of transmission devices 251 is arbitrary.
  • the three satellites 21X to 21Z of the second embodiment shown in FIG. 11 may be operated by either constellation or formation flight. Further, the three satellites 21X to 21Z may be satellites 21 operated independently.
  • Each of the four transmission devices 251A to 251D shares the event detection area 250 and detects an event.
  • the fan-shaped region shown by the broken line in FIG. 11 indicates the event detection range of one transmission device 251.
  • the event detection area 250 is, for example, farmland, and the sensor included in the transmission device 251 monitors the temperature of the farmland and the like, and monitors the growth status of the crop.
  • the transmission device 251 detects a predetermined event in the event detection area 250 and transmits an imaging instruction to one or more satellites 21.
  • the satellites 21X to 21Z take an image of the event occurrence region in response to the image pickup instruction transmitted from the transmission device 251.
  • FIG. 12 is a block diagram showing a configuration example of the transmission device 251.
  • the transmission device 251 is composed of a transmission unit 271, a control unit 272, a sensor unit 273, and a power supply unit 274.
  • the transmission unit 271 transmits an imaging instruction to the satellite 21 passing in the vicinity of the transmission device 251 under the control of the control unit 272.
  • the transmission unit 271 is, for example, omnidirectional, and can transmit an imaging instruction to all satellites 21 passing within a certain range of the transmission device 251.
  • the transmission unit 271 is composed of a communication device capable of long-distance communication of 100 km or more and low power consumption with respect to a high-speed mobile body having a speed of 100 km / h, for example.
  • the transmission unit 271 may have directivity. In this case, the transmission unit 271 directs the antenna (not shown) to the satellite 21 passing in the vicinity of the transmission device 251 based on the orbit information of the satellite 21, and transmits the imaging instruction to the target satellite 21.
  • the orbit information of the satellite 21 is stored in advance.
  • the control unit 272 controls the operation of the entire transmission device 251. When a predetermined event is detected by the sensor unit 273, the control unit 272 controls the transmission unit 271 to transmit an imaging instruction toward the satellite 21.
  • the sensor unit 273 is composed of one or more types of predetermined sensors according to the purpose of event detection.
  • the sensor unit 273 is composed of an odor sensor, a barometric pressure sensor, a temperature sensor, and the like.
  • the sensor unit 273 may be composed of an image sensor (RGB sensor, IR sensor, etc.) that captures the event detection region 250. For example, when the detected value becomes equal to or higher than a predetermined threshold value, the sensor unit 273 detects the occurrence of an event and notifies the control unit 272 of the occurrence of the event.
  • the sensor unit 273 may be arranged close to the transmitting unit 271, for example, the transmitting unit 271 is arranged at a high place closest to the satellite 21, and the sensor unit 273 is arranged at a low place near the ground. They may be arranged at a distance, such as being arranged.
  • a plurality of sensors of different types may be mounted on one transmitter 251, or a plurality of sensors of the same type may be mounted.
  • sensor information such as a sensor detection range as an imaging target position and a sensor detection type as transmission information and transmit the sensor detection result. There is.
  • the power supply unit 274 is composed of, for example, a battery charged by solar power generation or the like, and supplies power to each unit of the transmission device 251.
  • the transmission device 251 is a communication device configured as described above and enables only one-way communication from the transmission device 251 to the satellite 21, but bidirectional communication including the direction from the satellite 21 to the transmission device 251 is also possible. It may be a possible communication device.
  • the transmitting side In both one-way communication and two-way communication, in the case of omnidirectional communication, it is not necessary for the transmitting side to direct the antenna toward the satellite 21 or the ground station 15 which is the receiving side, so that the sky is particularly high from the ground. It is suitable for transmission to the satellite 21 of.
  • the transmission unit 271 of the transmission device 251 is omnidirectional and the transmission device 251 is a device that performs one-way communication.
  • the transmission device 251 has directivity and is bidirectional. It may be a device that communicates.
  • step S141 the control unit 272 of the transmission device 251 determines whether an event has been detected by the sensor unit 273.
  • the control unit 272 determines that the event has been detected. Therefore, the control unit 272 waits until the sensor unit 273 notifies the event occurrence in step S141, and when it is determined that the event has been detected, the process proceeds from step S141 to step S142.
  • control unit 272 controls the transmission unit 271 in step S142 to transmit the imaging instruction to the satellite 21 passing in the vicinity of the transmission device 251.
  • the transmission unit 271 transmits an imaging instruction in response to a command from the control unit 272.
  • the transmission device 251 Since the communication between the transmission device 251 and the satellite 21 is a one-way communication only from the ground side to the satellite 21, the transmission device 251 cannot confirm whether or not the satellite 21 has received the imaging instruction. Therefore, the transmission device 251 continues to transmit the imaging instruction for a fixed time such as 30 minutes or 1 hour, or intermittently repeatedly transmits the imaging instruction at regular time intervals.
  • the transmission device 251 and the satellite 21 are capable of bidirectional communication, the reception completion is received from the satellite 21 and the transmission of the imaging instruction is stopped as in the imaging sequence described with reference to FIG. Good.
  • the completion of reception from the satellite 21 to the transmission device 251 may include the fact that the satellite 21 performs an image pickup.
  • the transmission device 251 when it detects the occurrence of an event, it transmits an imaging instruction without selecting the satellite 21, but the orbit information and imaging capability of the satellite 21 passing over the sky are obtained. If it is known, the satellite group 31 or the satellite 21 that satisfies the required imaging conditions may be designated by the group ID or the individual ID, and the imaging instruction may be transmitted.
  • the imaging instruction from the transmission device 251 to the satellite 21 is transmitted with, for example, imaging-related information such as the required imaging condition, the required imaging target position, the sensor ID, the event occurrence time, and the detection event type added as parameters.
  • the required imaging conditions include, for example, resolution, wavelength band (RGB, IR, etc.) and the like.
  • the requested imaging target position represents an area on the ground to be imaged, and is a position corresponding to an event occurrence region of the sensor unit 273.
  • the installation position of the transmission device 251 or the sensor unit 273 may be stored as the required imaging target position.
  • the sensor ID is sensor identification information that identifies the sensor unit 273 that has detected the event.
  • the event occurrence time is the time when the sensor unit 273 detects the event, and corresponds to the time when the request for imaging instruction is generated.
  • the detection event type represents the type of event detected by the sensor unit 273, such as the detection of an abnormal temperature.
  • the detection event type may store the sensor type instead of the specific detection event type.
  • the satellite 21 receives an imaging instruction from the transmitting device 251 in step S161, and determines whether imaging by itself is possible in step S162.
  • the satellite 21 confirms whether or not the required imaging condition added to the imaging instruction is satisfied, and determines whether or not imaging by itself is possible. If it is determined in step S162 that imaging by itself is not possible, the satellite 21 ends the process.
  • step S162 determines whether imaging by itself is possible. If it is determined in step S162 that imaging by itself is possible, the process proceeds to step S163, and the satellite 21 performs an imaging preparation process based on the received imaging instruction. Subsequently, the satellite 21 performs imaging in step S164, and generates metadata and adds it to the captured image in step S165. Since each process of steps S163 to S165 is basically the same as each process of steps S33 to S35 of FIG. 6 described above, details will be omitted.
  • the metadata can include some or all of the information received from the transmitter 251. For example, as metadata, information such as a sensor ID representing the sensor unit 273 and an event occurrence time can be included.
  • step S166 the satellite 21 determines whether it has reached the downlink point, in other words, whether it has reached the communication device 13 of the ground station 15. The satellite 21 repeats the process of step S166 until it is determined that the downlink point has been reached, and when it is determined that the satellite 21 has reached the downlink point, the process proceeds to step S167.
  • step S167 the satellite 21 transmits (downlinks) the captured image to which the metadata is added to the ground station 15.
  • the downlink may be performed via the relay satellite 22.
  • step S181 the management system receives the captured image from the satellite 21. That is, the communication device 13 receives the captured image via the antenna 14 and supplies it to the satellite group management device 11. After receiving the captured image, the management system performs the same processing as in steps S17 to S19 of FIG. 6, but the description is duplicated and will be omitted.
  • Second event imaging sequence of the second embodiment Next, a second event imaging sequence performed by the satellite image processing system 1 of the second embodiment will be described with reference to the flowchart of FIG.
  • each satellite 21 individually determines whether or not imaging is possible, and when imaging is performed, the captured image is transmitted to the ground communication device 13.
  • the satellite 21 that has received the imaging instruction determines that the imaging instruction cannot be captured by itself, a process is added in which the succeeding satellite 21 takes over the imaging instruction.
  • Subsequent satellites 21 are, for example, satellites 21 belonging to the same satellite group 31 operating in a constellation or formation flight.
  • the satellite 21 that receives the imaging instruction is referred to as the first satellite 21, and the succeeding satellite 21 that takes over the imaging instruction is referred to as the second satellite 21.
  • steps S141 and S142 The detection of the event occurrence in steps S141 and S142 by the transmission device 251 and the transmission of the imaging instruction are the same as in the first event imaging sequence described above.
  • the first satellite 21 receives an imaging instruction from the transmitting device 251 in step S201, and determines whether imaging by itself is possible in step S202. If it is determined in step S202 that imaging by itself is possible, the process proceeds to step S203, and the first satellite 21 performs imaging and transmission based on the imaging instruction, and ends the process. Since the imaging sequence when it is determined that the imaging by itself is possible is the same as the first event imaging sequence described above, the description thereof will be omitted.
  • step S202 determines whether imaging by itself is not possible. If it is determined in step S202 that imaging by itself is not possible, the process proceeds to step S204, and the first satellite 21 is imaged by the subsequent second satellite 21 belonging to its own satellite group 31. Determine if it is possible. If it is determined in step S204 that imaging by the second satellite 21 is not possible, the process ends.
  • step S204 If it is determined in step S204 that imaging by the second satellite 21 is possible, the process proceeds to step S205, and the first satellite 21 instructs the subsequent second satellite 21 to image by intersatellite communication. To send.
  • step S206 the first satellite 21 determines whether or not the downlink point has been reached, and repeats the process of step S206 until it is determined that the downlink point has been reached.
  • step S206 when it is determined in step S206 that the downlink point has been reached, the process proceeds to step S207, and the first satellite 21 transmits the event detection data included in the imaging instruction received from the transmission device 251 to the ground station 15. Send (downlink) to.
  • the event detection data includes a part or all of the imaging-related information included in the imaging instruction, the fact that the imaging instruction has been transferred to the succeeding satellite, and the information indicating the subsequent second satellite 21 to which the imaging instruction has been transferred. included.
  • the point that the downlink may be performed via the relay satellite 22 is the same as the other processes described above. This completes the processing of the first satellite 21.
  • the subsequent second satellite 21 to which the imaging instruction is transmitted from the first satellite 21 by intersatellite communication receives the imaging instruction in step S221, and performs the imaging preparation process based on the received imaging instruction in step S222. Do.
  • steps S223 to S226 is the same as the processing of steps S164 to S167 of FIG.
  • imaging is executed to generate the captured image and metadata, and when the downlink point is reached, the captured image to which the metadata is added is transmitted to the ground station 15.
  • the management system receives the event detection data in step S241 in response to the transmission of the event detection data by the first satellite 21. Further, in step S242, the captured image is received in response to the transmission of the captured image by the second satellite 21. After receiving the captured image, the management system performs the same processing as in steps S17 to S19 of FIG. 6, but the description is duplicated and will be omitted.
  • the imaging instruction was transferred from the first satellite 21 to the second satellite 21 using intersatellite communication, but the third event imaging sequence was performed via the ground station 15. This is an example in which an imaging instruction is transferred from the first satellite 21 to the second satellite 21 by communication.
  • steps S141 and S142 The detection of the event occurrence in steps S141 and S142 by the transmission device 251 and the transmission of the imaging instruction are the same as in the first event imaging sequence described above.
  • the first satellite 21 receives an imaging instruction from the transmitting device 251 in step S301, and determines in step S302 whether or not imaging by itself is possible. If it is determined in step S302 that imaging by itself is possible, the process proceeds to step S303, and the first satellite 21 performs imaging and transmission based on the imaging instruction, and ends the process. Since the imaging sequence when it is determined that the imaging by itself is possible is the same as the first event imaging sequence described above, the description thereof will be omitted.
  • step S302 determines whether imaging by itself is not possible. If it is determined in step S302 that imaging by itself is not possible, the process proceeds to step S304, and whether the first satellite 21 can be imaged by a subsequent satellite 21 belonging to its own satellite group 31. judge. If it is determined in step S304 that imaging by the succeeding satellite 21 is possible, the process proceeds to step S305, imaging and transmission by the succeeding satellite 21 are performed, and the process is completed. Since the imaging sequence when it is determined that the subsequent satellite 21 can be imaged is the same as the second event imaging sequence described above, the description thereof will be omitted.
  • step S304 If it is determined in step S304 that imaging by the subsequent satellite 21 is not possible, the process proceeds to step S306, the first satellite 21 determines whether or not the downlink point has been reached, and reaches the downlink point. The process of step S306 is repeated until it is determined that the result has been achieved.
  • step S306 the process proceeds to step S307, and the first satellite 21 transmits the imaging instruction received from the transmission device 251 to the ground station 15 (downlink). To do.
  • the point that the downlink may be performed via the relay satellite 22 is the same as the other processes described above. This completes the processing of the first satellite 21.
  • the management system receives the imaging instruction in step S321 in response to the transmission of the imaging instruction by the first satellite 21. Then, in step S322, the management system identifies another satellite 21 that satisfies the imaging request based on the required imaging conditions, the required imaging target position, and the like included in the imaging-related information of the imaging instruction.
  • the second satellite 21 is specified as the other satellite 21.
  • step S323 the management system transmits an imaging instruction to the identified second satellite 21.
  • the ground station 15 (communication device 13) that receives the imaging instruction from the first satellite 21 and the ground station 15 (communication device 13) that transmits the imaging instruction to the second satellite 21 are It may be the same or different.
  • the second satellite 21 receives the imaging instruction from the ground station 15 in step S341. Subsequent processes in steps S342 to S346 are the same as those in steps S222 to S226 in FIG. 14, and thus the description thereof will be omitted. In step S346, the captured image is transmitted from the second satellite 21 to the management system.
  • step S324 the management system receives the captured image, and the third event imaging sequence ends.
  • the first satellite 21 transmits an imaging instruction to the ground station 15 when it is determined that imaging by the succeeding satellite 21 is not possible.
  • An imaging instruction may be transmitted to the ground station 15 when it is determined that imaging by itself is not possible without determining whether or not imaging by the satellite 21 is possible.
  • the imaging instruction can be transmitted to the management system via the first satellite 21 even if the requested imaging target position is a place that cannot be connected to the network such as at sea. Imaging can be performed by the second satellite 21.
  • the transmission device 251 shown in FIG. 12 has a built-in sensor for detecting the occurrence of an event and is integrated with a transmission unit that transmits an imaging instruction.
  • the sensor that detects the occurrence of an event and the transmitting device that transmits the imaging instruction can be configured as separate devices.
  • FIG. 16 is a block diagram showing another configuration example of the transmission device according to the second embodiment.
  • FIG. 16 shows an example in which the number of sensors 293 is three of the sensors 293A to 293C, but the number of sensors 293 is arbitrary. Further, a plurality of sets of a transmission device 291 and a control device 292, and one or more sensors 293 may be installed in the event detection area 250.
  • the transmission device 291 transmits an imaging instruction to the satellite 21 passing in the vicinity of the transmission device 291 under the control of the control device 292.
  • the control device 292 acquires the detection result of the event from the sensor 293, generates an imaging instruction, and transmits the imaging instruction to the transmitting device 291. Control to let. Imaging-related information is added as a parameter to this imaging instruction, as in the above-mentioned example.
  • Each of the plurality of sensors 293 corresponds to the sensor unit 273 described above, detects the occurrence of an event, and notifies the control device 292.
  • the plurality of sensors 293 may be composed of different types of sensors, or may be the same type of sensor.
  • the plurality of sensors 293 may be arranged close to each other or may be arranged apart from each other. Further, the plurality of sensors 293 may be arranged close to each other or separated from each other with respect to the transmitting device 291 and the control device 292.
  • the above-mentioned sensor information is added to the notification of the event occurrence from the sensor 293 to the control device 292 as necessary.
  • the transmission device 291 and the sensor 293 are configured as separate devices as described above, the above-mentioned first to third event imaging sequences are the same. It is feasible.
  • Event detection in farmland Multiple sensors are installed at regular intervals in a predetermined observation area of farmland, and each of the plurality of sensors causes pest outbreaks and disease outbreaks. Etc. are detected.
  • the transmission device 251 or 291 transmits an imaging instruction to the satellite 21 according to the detection result of the abnormality of the farmland as an event.
  • the satellite 21 performs, for example, RGB imaging and R (Red) and IR (Infrared) imaging for vegetation indicators such as NDVI.
  • the sensor detection range of the sensor that detected the abnormality is assigned to the required imaging target position added to the imaging instruction.
  • the satellite 21 that has received the imaging instruction may image only the sensor detection range of the sensor in which the abnormality has occurred in the observation area in which the plurality of sensors are arranged, or may image the entire observation area over a wide area. Further, the imaging conditions such as zoom may be changed to perform both imaging of the sensor detection range of the sensor that detected the abnormality and wide area imaging of the entire observation area.
  • a buoy containing a transmitter 251 including a sensor unit 273 is released into the sea area to be investigated in the ocean.
  • the sensor unit 273 detects a predetermined condition such as fish school detection, seawater temperature, ocean current speed, or wind speed, and the transmission device 251 transmits an imaging instruction to the satellite 21 based on the detection result of the event.
  • the imaging-related information of the imaging instruction includes the required imaging conditions, the required imaging target position, the event occurrence time, and the like. Since the number of satellites 21 capable of capturing the nighttime state is limited, the satellite 21 is selected based on the required imaging conditions, and the condition of the sea area to be imaged is analyzed based on the captured image.
  • Sensors are installed in unmanned areas such as forests, mountains, and deserts to detect changes in climate conditions and organisms to be observed. Abnormalities such as forest fires are detected.
  • the satellite 21 performs imaging based on an imaging instruction from the transmitting device 251 or 291. The situation in the no man's land is analyzed based on the captured image.
  • a transmission device 251 is mounted on an airplane black box or a ship, and the transmission device 251 transmits an imaging instruction in the event of an emergency such as an airplane crash, a ship grounding, or an oil tanker leak.
  • the satellite 21 promptly images the location of the emergency and transmits it to the ground station 15.
  • Climber distress A mountaineer or the like carries a transmission device 251 and, at the time of a distress, an imaging instruction including a rescue signal as a detection event type and imaging-related information including a distress occurrence location as a required imaging target position is transmitted. It is transmitted from the device 251 to the satellite 21. Based on the imaging instruction, the satellite 21 captures an image of the location of the distress and transmits it to the ground station 15.
  • Pipeline emission control Sensors are attached to the pipeline at predetermined intervals to monitor the occurrence of leaks.
  • an imaging instruction is transmitted to the satellite 21.
  • an imaging instruction with imaging-related information that specifies the satellite 21 capable of leak detection, such as the satellite 21 capable of heat detection by the IR band, is transmitted, and the satellite 21 satisfying the requirement performs imaging. ..
  • the leakage status in the leakage area can be quickly observed. In particular, when the outflow from the pipeline is caused by human causes, prompt observation after the occurrence of the event is effective.
  • the captured image triggered by the sensor 293 arranged on the ground may be used as primary information to the last, and image analysis or the like may be performed by combining the captured image with another image.
  • the image captured by the trigger from the sensor 293 is quickly captured by the low-performance satellite 21 with priority given to the imaging timing.
  • the satellite group management device 11 schedules the satellite 21 having a higher imaging ability, and performs high-resolution and high-precision imaging.
  • the satellite group management device 11 performs analysis using the first captured image captured by the low-performance satellite 21 and the second captured image captured by the satellite 21 having high imaging capability.
  • the satellite group management device 11 may, for example, increase the resolution of the first captured image based on the difference information, or perform a synthesis process of the first captured image and the second captured image.
  • an event generated on the ground can be detected by the sensor, and an imaging instruction can be directly given to the satellite 21 in the sky.
  • an imaging instruction can be directly given to the satellite 21 in the sky.
  • the series of processes described above can be executed by hardware or by software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a microcomputer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 17 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 307 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 308 includes a hard disk, a RAM disk, a non-volatile memory, and the like.
  • the communication unit 309 includes a network interface and the like.
  • the drive 310 drives a removable recording medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304 and executes the above-described series. Is processed.
  • the RAM 303 also appropriately stores data and the like necessary for the CPU 301 to execute various processes.
  • the program executed by the computer (CPU301) can be recorded and provided on a removable recording medium 311 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable recording medium 311 in the drive 310. Further, the program can be received by the communication unit 309 and installed in the storage unit 308 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 302 or the storage unit 308.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can have the following configurations.
  • the image processing device An image processing method that performs predetermined image processing based on satellite identification information that identifies the artificial satellite associated with the image captured by the artificial satellite as metadata.
  • the satellite identification information includes a satellite group identifier that identifies a satellite group including the artificial satellite, a satellite identifier that identifies the artificial satellite, and relative position information of each artificial satellite that constitutes the artificial satellite group (1).
  • the image processing method according to (2) above, wherein the relative position information includes the arrangement order of each satellite constituting the satellite group and the distance between the satellites. (4) 4.
  • the metadata includes at least a satellite group identifier that identifies a satellite group including the artificial satellite, a satellite identifier that identifies the artificial satellite, and relative position information of each artificial satellite that constitutes the artificial satellite group.
  • 1 satellite image processing system 11 satellite group management device, 13 communication device, 14 antenna, 15 ground station (base station), 21 satellite, 31 satellite group, 41 information providing server, 42 image analysis server, 101 management unit, 111 imaging Device, 211 control unit, 222 control unit, 231 control unit, 250 event detection area, 251 transmitter, 271 transmitter, 272 control unit, 273 sensor unit, 291 transmitter, 292 controller, 293 sensor, 301 CPU, 302 ROM, 303 RAM, 306 input unit, 307 output unit, 308 storage unit, 309 communication unit, 310 drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、フォーメーションフライトの運用により得られた複数枚の撮像画像の画像処理を行うことができるようにする画像処理方法、および、メタデータのデータ構造に関する。 画像処理装置としての衛星群管理装置および画像解析サーバは、人工衛星により撮像された撮像画像にメタデータとして関連付けられた人工衛星を特定する衛星特定情報に基づいて、所定の画像処理を行う。本技術は、例えば、フォーメーションフライトにより、衛星リモートセンシングを行う人工衛星等に適用できる。

Description

画像処理方法、および、メタデータのデータ構造
　本技術は、画像処理方法、および、メタデータのデータ構造に関し、特に、フォーメーションフライトの運用により得られた複数枚の撮像画像の画像処理を行うことができるようにした画像処理方法、および、メタデータのデータ構造に関する。
　複数の人工衛星（以下、単に衛星という。）を運用するシステムとしては、コンステレーションとフォーメーションフライトとがある。コンステレーションは、多数の衛星を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開するシステムである。単一衛星でも所定の機能を有し、観測頻度向上などを目的として複数の衛星が運用される。一方、フォーメーションフライトは、数km程度の狭い領域で、複数の衛星が相対的な位置関係を維持しつつ、展開するシステムである。フォーメーションフライトでは、高精度の３次元計測や、移動体の速度検出など、単一衛星では実現できないサービスの提供が可能である。
　コンステレーションで運用される衛星に画像を撮像させたり、衛星が撮像した画像を取得して解析するようなシステムが提案されている（例えば、特許文献１乃至３参照）。
特開２００９－９４３６号公報 特開２０１２－２３４３７４号公報 特開２０１３－１２９３０７号公報
　近年、人工衛星の軌道上の位置制御技術が高まっており、フォーメーションフライトの運用により得られた複数枚の撮像画像の利用が望まれている。
　本技術は、このような状況に鑑みてなされたものであり、フォーメーションフライトの運用により得られた複数枚の撮像画像の画像処理を行うことができるようにするものである。
　本技術の第１の側面の画像処理方法は、画像処理装置が、人工衛星により撮像された撮像画像にメタデータとして関連付けられた前記人工衛星を特定する衛星特定情報に基づいて、所定の画像処理を行う。
　本技術の第１の側面においては、人工衛星により撮像された撮像画像にメタデータとして関連付けられた前記人工衛星を特定する衛星特定情報に基づいて、所定の画像処理が行われる。
　本技術の第２の側面のメタデータのデータ構造は、人工衛星により撮像された撮像画像のメタデータのデータ構造であって、前記メタデータは、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を少なくとも含み、画像処理装置が行う前記撮像画像の画像処理に用いられる。
　本技術の第２の側面においては、人工衛星により撮像された撮像画像のメタデータのデータ構造であって、前記メタデータは、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を少なくとも含み、画像処理装置が行う前記撮像画像の画像処理に用いられる。
　なお、本技術の第１の側面の画像処理方法は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術を適用した衛星画像処理システムの第１実施の形態の構成例を示すブロック図である。 フォーメーションフライトを説明する図である。 フォーメーションフライトを説明する図である。 衛星の構成例を示すブロック図である。 衛星群管理装置、通信装置、および、画像解析サーバの構成例を示すブロック図である。 一つの衛星に着目した撮像シーケンスを説明するフローチャートである。 図６のステップＳ３３の撮像準備処理の詳細なフローチャートである。 バッテリ残量の判定を説明する図である。 フォーメーションフライトを行う衛星画像処理システムのフローチャートである。 メタデータとして付される情報を説明する図である。 本技術を適用した衛星画像処理システムの第２実施の形態の構成例を示す図である。 第２実施の形態における送信装置の構成例を示すブロック図である。 第２実施の形態の衛星画像処理システムによる第１のイベント撮像シーケンスを説明するフローチャートである。 第２実施の形態の衛星画像処理システムによる第２のイベント撮像シーケンスを説明するフローチャートである。 第２実施の形態の衛星画像処理システムによる第３のイベント撮像シーケンスを説明するフローチャートである。 第２実施の形態における送信装置のその他の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．衛星画像処理システムの構成例
２．単機の撮像シーケンス
３．撮像準備処理
４．フォーメーションフライトのフローチャート
５．画像処理の例
６．メタデータの詳細
７．流通管理処理の詳細
８．フォーメーションフライトの応用例
９．衛星画像処理システムの第２実施の形態
１０．第２実施の形態の第１のイベント撮像シーケンス
１１．第２実施の形態の第２のイベント撮像シーケンス
１２．第２実施の形態の第３のイベント撮像シーケンス
１３．送信装置の他の構成例
１４．イベント検出センサを用いた衛星画像処理システムの適用例
１５．コンピュータ構成例
＜１．衛星画像処理システムの構成例＞
　図１は、本技術を適用した衛星画像処理システムの第１実施の形態の構成例を示すブロック図である。
　図１の衛星画像処理システム１は、複数の人工衛星（以下、単に衛星という。）によって撮像された撮像画像を用いて、地球上における対象地域または対象物の状況を観測したり、状況変化を検出する衛星リモートセンシングを行うシステムである。本実施の形態において、衛星は撮像装置を搭載し、地上を撮像する機能を少なくとも有する。
　衛星運用会社は、複数の衛星２１を管理する衛星群管理装置１１と、衛星２１と通信を行う複数の通信装置１３とを有している。なお、衛星群管理装置１１および複数の通信装置１３の一部は、衛星運用会社以外が所有する装置であってもよい。衛星群管理装置１１と複数の通信装置１３とは、所定のネットワーク１２を介して接続されている。通信装置１３は、地上局（地上の基地局）１５に配置されている。なお、図１では、通信装置１３の個数が、通信装置１３A乃至１３Cの３個である例が示されているが、通信装置１３の個数は任意である。
　衛星群管理装置１１は、衛星運用会社が所有する複数の衛星２１を管理する。具体的には、衛星群管理装置１１は、外部機関の１以上の情報提供サーバ４１から関連情報を必要に応じて取得し、自身が所有する複数の衛星２１の運用計画を決定する。そして、衛星群管理装置１１は、顧客の要望に応じて、通信装置１３を介して所定の衛星２１に撮像指示を行うことにより、所定の衛星２１に撮像を行わせる。また、衛星群管理装置１１は、通信装置１３を介して衛星２１から送信されてきた撮像画像を取得し、記憶する。取得された撮像画像は、必要に応じて所定の画像処理を行い、顧客へ提供（送信）される。あるいはまた、取得された撮像画像は、画像解析会社の画像解析サーバ４２へ提供（送信）され、所定の画像処理を行った上で、顧客へ提供される。
　外部機関に設置された情報提供サーバ４１は、衛星群管理装置１１からの要求に応じて、あるいは、定期的に、所定の関連情報を、所定のネットワークを介して、衛星群管理装置１１へ供給する。情報提供サーバ４１から提供される関連情報には、例えば、次のようなものがある。例えば、外部機関としてのNORAD（北アメリカ航空宇宙防衛司令部）から、TLE（Two Line Elements）フォーマットで記述された衛星の軌道情報を関連情報として取得することができる。また例えば、外部機関としての気象情報提供会社から、地球上の所定の地点の天気、雲量などの気象情報を取得することができる。
　画像解析サーバ４２は、所定のネットワークを介して衛星群管理装置１１から供給される、衛星２１による撮像画像に対して所定の画像処理を行う。処理後の画像は、画像解析会社の顧客へ提供されたり、衛星運用会社の衛星群管理装置１１へ供給される。例えば、画像解析サーバ４２は、衛星２１による撮像画像に所定のメタデータを付加するメタデータ生成処理、撮像画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。撮像画像の画像処理は、衛星運用会社が行う場合もあり、この場合、衛星運用会社と画像解析会社は同一である。また、衛星群管理装置１１と画像解析サーバ４２が１つの装置で実現されてもよい。
　通信装置１３は、衛星群管理装置１１の制御に従い、衛星群管理装置１１によって指定された所定の衛星２１と、アンテナ１４を介して通信を行う。例えば、通信装置１３は、所定の時刻および位置において、地上の所定の領域を撮像する撮像指示を所定の衛星２１へ送信する。また、通信装置１３は、衛星２１から送信されてくる撮像画像を受信し、ネットワーク１２を介して衛星群管理装置１１へ供給する。地上局１５の通信装置１３から衛星２１への送信をアップリンク、衛星２１から通信装置１３への送信をダウンリンクとも称する。通信装置１３は、衛星２１と直接通信を行うことができる他、中継衛星２２を介して通信を行うこともできる。中継衛星２２としては、例えば、静止衛星が用いられる。
　ネットワーク１２や、情報提供サーバ４１または画像解析サーバ４２と衛星群管理装置１１との間のネットワークは、任意の通信網であり、有線の通信網であってもよいし、無線の通信網であってもよいし、それらの両方により構成されてもよい。また、ネットワーク１２と、情報提供サーバ４１または画像解析サーバ４２と衛星群管理装置１１との間のネットワークが、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。これらのネットワークは、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網または通信路とすることができる。
　各衛星２１は、複数個で衛星群３１を構成する。図１では、衛星２１Aと衛星２１Bとが第１の衛星群３１Aを構成し、衛星２１Cと衛星２１Dとが第２の衛星群３１Bを構成している。なお、図１の例では、簡単のため、２機の衛星２１により１つの衛星群３１が構成される例を示しているが、１つの衛星群３１を構成する衛星２１の個数は２つに限られない。
　通信装置１３が、衛星群３１を構成する各衛星２１と通信を行う場合、図１の第１の衛星群３１Aのように、各衛星２１と個別に通信を行う方法と、第２の衛星群３１Bのように、衛星群３１を代表する１つの衛星２１C（以下、代表衛星２１Cともいう。）のみが通信装置１３と通信を行い、その他の衛星２１Dは、代表衛星２１Cとの衛星間通信によって、間接的に通信装置１３と通信を行う方法とがある。どちらの方法で地上局１５（の通信装置１３）と通信を行うかは、衛星群３１によって予め決められてもよいし、通信の内容に応じて適宜選択してもよい。
　以上のように構成される衛星画像処理システム１において、１つの衛星群３１を構成する複数の衛星２１は、フォーメーションフライトと呼ばれる運用方法によって運行されてもよい。
　フォーメーションフライトとは、図２に示されるように、１つの衛星群３１を構成する複数の衛星２１が、数百ｍ乃至数ｋｍ程度の狭い範囲で相対的な位置関係を維持しながら飛行し、複数の衛星２１が協調して動作する運用方法であり、単一衛星では実現できないサービスを提供することができる。図２では、３機の衛星２１X乃至２１Zが１つの衛星群３１を構成し、衛星２１X乃至２１Zそれぞれが、地上局１５と通信している。アップリンクでは、衛星群３１を識別する識別子である群ID（衛星群ID）と、衛星群３１を構成する各衛星２１を識別する識別子である個別ID（衛星ID）とを指定することで、所望の衛星２１へコマンドまたはデータが送信される。
　フォーメーションフライトでは、機能を単一衛星でなく、複数の衛星２１に分担できるため、各衛星２１を小型化することができる利点がある。例えば、撮像機能では、各衛星２１に搭載される撮像装置の性能（例えば、解像度）を低くしても、複数の衛星２１で撮像された撮像画像の画像合成等により高解像度を実現することができる。
　例えば、図３のAに示されるように、２つの衛星２１Eおよび２１Fが、一つの領域５２を異なる撮像地点（衛星位置）から同時に撮像（同時撮影）することができる。異なる撮像地点からの同一地表面の撮像結果は、３次元計測に必要な高さを示す数値標高モデル (Digital Elevation Model, DEM)の生成に用いることができる。また、２つの衛星２１Eおよび２１Fの撮像画像から視差画像が得られ、３次元計測を行うことができる。
　また、図３のBに示されるように、複数の衛星２１Eおよび２１Fが、同一の撮像地点および撮像角度で、一つの領域５２を時間差で撮像（差分撮影）することができる。例えば、衛星２１が秒速７ｋｍで移動し、隊列飛行している衛星２１間の距離が１００ｍである場合、1.4×10-2秒ごとの撮像が可能となる。このように、フォーメーションフライトでは、短い時間間隔で撮像することができるため、例えば、道路上の乗用車や海上のブイなど、地球上の物体の変化（変位）の抽出や、移動体の速度の計測などが可能である。
　複数の衛星２１を運用するシステムとしてはコンステレーションがあるが、コンステレーションは、「多数の衛星を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開するシステム」であり、フォーメーションフライトとは異なる概念である。
　図４は、衛星２１の構成例を示すブロック図である。
　衛星２１は、管理部１０１、バス１０２、撮像制御部１０３、熱制御部１０４、姿勢制御系制御部１０５、軌道制御系制御部１０６、推進系制御部１０７、センサ制御部１０８、電源制御部１０９、および、通信制御部１１０を有する。また、衛星２１は、撮像装置１１１、冷却装置１１２、姿勢制御装置１１３、推進装置１１４、センサ群１１５、バッテリ１１６、太陽電池パネル１１７、および、通信装置１１８も有する。管理部１０１と、各装置の制御部である撮像制御部１０３、熱制御部１０４、姿勢制御系制御部１０５、軌道制御系制御部１０６、推進系制御部１０７、センサ制御部１０８、電源制御部１０９、および、通信制御部１１０とが、バス１０２を介して接続されている。
　管理部１０１は、バス１０２を介して、各装置の制御部から各装置の状態を取得し、また各装置の制御部に動作指令を出力することで、衛星２１全体の動作を制御する。
　撮像制御部１０３は、管理部１０１からの動作指令に従い、撮像装置１１１の動作を制御する。撮像装置１１１は、例えば、イメージセンサを含むカメラモジュールで構成され、対象物の撮像を行う。衛星２１が合成開口レーダー（SAR）衛星の場合には、撮像装置１１１はレーダー装置で構成される。
　熱制御部１０４は、センサ群１１５に含まれる温度センサのセンサ値を取得して、衛星２１内の温度変化を監視し、衛星２１全体が規定の温度範囲内となるように制御する。基本的には、構造や材料の特性により温度変化が制御されるが、必要に応じて冷却装置１１２を用いた動的な冷却を行う場合もある。冷却装置１１２は、例えば、液体ヘリウム等の寒剤を用いた冷却を行う。
　姿勢制御系制御部１０５は、管理部１０１からの動作指令に従い、姿勢制御装置１１３を制御することにより、衛星２１を目的の方向へ向ける制御を行う。例えば、姿勢制御系制御部１０５は、アンテナ１４を地上局１５の方向へ向けたり、太陽電池パネル１１７を太陽方向へ向けたり、撮像装置１１１等の観測センサを観測対象方向へ向ける制御を行う。姿勢制御装置１１３は、例えば、３軸ジャイロ、コントロール・モーメント・ジャイロ等のホイール、磁気トルカ等で構成される。姿勢制御系制御部１０５は、姿勢制御装置１１３だけでなく、推進装置１１４も、姿勢制御用途に用いる場合もある。姿勢制御系制御部１０５は、姿勢制御を行うにあたり、必要に応じて、センサ群１１５の各種のセンサのセンサ値を取得する。姿勢制御用途に用いられるセンサとしては、例えば、太陽センサ、地球センサ、スターセンサ、磁気センサ、ジャイロなどが挙げられる。
　軌道制御系制御部１０６は、軌道高度の維持、および、軌道の変更に関する制御を行う。軌道制御系制御部１０６は、推進系制御部１０７および推進装置１１４と連携して制御を行う。
　推進系制御部１０７は、管理部１０１からの動作指令に従い、推進装置１１４を制御する。推進装置１１４は、例えば、固体モータ、イオンエンジン、アポジエンジンなどで構成される。推進系制御部１０７は、必要に応じて、センサ群１１５の各種のセンサのセンサ値を取得したり、姿勢制御装置１１３と連携して、推進装置１１４を動作させることで、衛星２１の姿勢制御および姿勢制御を行う。衛星２１が小型衛星である場合、化学推進スラスタなどは姿勢制御目的では搭載されない場合がある。
　センサ制御部１０８は、センサ群１１５に含まれる各種のセンサを制御し、センサ値を管理部１０１に供給したり、他の制御部へ供給する。各種のセンサは、衛星２１内の状態をモニタリングするためのセンサであり、例えば、GPS受信機、スタートラッカ（姿勢センサ）、加速度センサ、ジャイロセンサ、磁気センサ、温度センサ、太陽センサ、地球センサ、スターセンサなどで構成される。
　電源制御部１０９は、バッテリ１１６および太陽電池パネル１１７を制御する。電源制御部１０９の制御により、太陽電池パネル１１７で生成された電力がバッテリ１１６に蓄電される。バッテリ１１６の電力は、衛星２１内の各装置に直接配電される場合もあれば、バス１０２を介して配電される場合もある。
　通信制御部１１０は、管理部１０１からの動作指令に従い、通信装置１１８を制御する。通信装置１１８は、アンテナを有し、通信制御部１１０の制御にしたがい、地上局１５の通信装置１３と通信する。また、通信装置１１８は、同じ衛星群３１を構成する他の衛星２１や中継衛星２２とも通信を行うことができる。また、通信制御部１１０および通信装置１１８は、小データ量であるコマンドおよびテレメトリの送受信と、大データ量であるミッション系データ（撮像データ等）とで系統を分けた構成とする場合もある。
　撮像制御部１０３乃至通信制御部１１０の各制御部は、さらに２以上に分割されたり、任意の２つ以上が統合されたり、管理部１０１と統合されてもよい。CPU（Central Processing Unit）,メモリ等の計算資源は、基本的に管理部１０１に搭載されるが、各制御部にも搭載されてもよい。各制御部は、共通のハードウエアモジュール内に実装されてもよい。
　各衛星２１の撮像装置１１１は、一つの衛星群３１を構成する複数の衛星２１どうしで同一の性能としてもよいし、異なる性能で構成してもよい。
　例えば、各衛星２１に搭載される撮像装置１１１として同じ型番の撮像装置１１１を採用し、衛星２１どうしで同一性能とした場合、次のような利点がある。例えば、同一性能の画像を短い時間差で取得でき、差分を容易に検出することができる。また、分担して撮像した画像の合成などにより、高精度（高解像）な画像を生成することができる。また、冗長性を持たせることができるので、１機に不具合が生じても許容できる。
　一方、各衛星２１に搭載される撮像装置１１１として異なる性能とした場合には、例えば、高感度モノクロ撮像と、低感度カラー撮像とに分担するなど、異なる役割の撮像を行わせることができる。なお、異なる性能とは、搭載されるハードウエア構成が異なる場合は勿論、搭載されるハードウエア構成は同じだが、異なる制御を行うことで性能を異ならせる場合も含む。例えば、同一型番のイメージセンサに対して、一方の衛星２１では、シャッタスピードを上げて高感度低解像度画像を取得し、他方の衛星２１では、反対に、低感度高解像度画像を取得する例が想定される。
　複数の衛星２１の撮像装置１１１で性能を異ならせる場合の分担例としては、例えば、感度／シャッタスピード、解像度、モノクロ／カラー／偏光、バンド（波長域）のいずれか、または、その組み合わせをそれぞれ異ならせる制御が有り得る。また、複数の衛星２１どうしで、バッテリ性能や通信性能を異ならせてもよい。
　図５は、衛星群管理装置１１、通信装置１３、および、画像解析サーバ４２の構成例を示すブロック図である。
　衛星群管理装置１１は、制御部２１１、通信部２１２、操作部２１３、および、表示部２１４を備える。
　制御部２１１は、図示せぬ記憶部に記憶された衛星管理アプリケーションプログラムを実行することにより、衛星運用会社が所有する複数の衛星２１を管理する。例えば、制御部２１１は、情報提供サーバ４１から取得した関連情報を必要に応じて用いて、複数の衛星２１の運用計画を決定し、通信装置１３を介して、各衛星２１へ、姿勢の制御や撮像の指示を行う。また、制御部２１１は、通信装置１３を介して衛星２１から送信されてきた撮像画像のメタデータを生成し、撮像画像に付加する処理などを行う。
　通信部２１２は、制御部２１１の指示に従い、通信装置１３とネットワーク１２を介して所定の通信を行うとともに、画像解析サーバ４２とも所定の通信を行う。
　操作部２１３は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ（オペレータ）の操作に基づくコマンドやデータの入力を受け付け、制御部２１１へ供給する。
　表示部２１４は、例えば、LCD(Liquid Crystal Display)や有機EL (Electro Luminescence)ディスプレイで構成され、衛星管理アプリケーションプログラムの画面を表示したり、衛星２１が撮像した撮像画像、撮像画像に対して所定の画像処理を施した処理画像などを表示する。
　通信装置１３は、衛星通信部２２１、制御部２２２、および、通信部２２３を備える。
　衛星通信部２２１は、制御部２２２の制御に基づいて、アンテナ１４を介して、ターゲットとなる衛星群３１の各衛星２１と通信を行う。
　制御部２２２は、衛星群管理装置１１からの制御に従い、衛星通信部２２１に衛星２１との通信を行わせる。また、制御部２２２は、衛星２１から取得した撮像画像等のデータを、通信部２２３を介して衛星群管理装置１１に送信する。
　通信部２２３は、制御部２２２の制御に基づいて、衛星群管理装置１１との間で所定の通信を行う。
　画像解析サーバ４２は、制御部２３１、通信部２３２、操作部２３３、および、表示部２３４を備える。
　制御部２３１は、図示せぬ記憶部に記憶された画像解析アプリケーションプログラムを実行することにより、衛星群管理装置１１から供給された撮像画像に対する所定の画像処理、例えば、撮像画像に所定のメタデータを付加するメタデータ生成処理、撮像画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。
　通信部２３２は、制御部２３１からの制御に従い、衛星群管理装置１１または他の装置との間で所定の通信を行う。例えば、通信部２３２は、衛星２１が撮像した撮像画像を衛星群管理装置１１から受信して制御部２３１に供給したり、画像処理後の処理画像を、衛星群管理装置１１に送信する。
　操作部２３３は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ（オペレータ）の操作に基づくコマンドやデータの入力を受け付け、制御部２３１へ供給する。
　表示部２１４は、例えば、LCDや有機ELディスプレイで構成され、画像解析アプリケーションプログラムの画面を表示したり、画像処理前または画像処理後の画像などを表示する。
　衛星画像処理システム１を構成する衛星２１、および、その他の装置は、以上のように構成される。
　なお、衛星群管理装置１１は、通信を行う衛星２１の軌道に応じて、複数の通信装置１３のなかから最適な通信装置１３を選択し、選択した通信装置１３に、撮像指示等の所定のコマンドを送信させたり、通信装置１３を介して、撮像画像等のデータを受信する。衛星群管理装置１１は、ターゲットとなる衛星２１に応じて任意に選択された通信装置１３と一体で所定の通信を行うため、以下の説明では、衛星群管理装置１１と通信装置１３とを合わせて管理システムと称して説明する。
＜２．単機の撮像シーケンス＞
　次に、図６のフローチャートを参照して、フォーメーションフライトを行う衛星群３１の所定の一つの衛星２１に着目した撮像シーケンスについて説明する。
　初めに、ステップＳ１１において、管理システムは、顧客の要望に基づいて、衛星２１による撮像要件を決定する。
　具体的には、管理システムは、撮像要件として、撮像日時、撮像地点、撮像のための環境条件、カメラ設定値などを決定する。撮像のための環境条件は、例えば、撮像日時の雲量等の天候条件などを含み、カメラ設定値は、例えば、解像度（分解能）、ズーム、シャッタスピード、感度、絞り、などを含む。
　ステップＳ１２において、管理システムは、撮像要件に合致する衛星２１と地上局１５（の通信装置１３）を決定する。
　具体的には、管理システムは、決定した撮像要件に合致する衛星２１を選定する。例えば、決定した撮像日時に撮像対象位置の上空を通過するか、撮影対象位置が衛星２１の観測幅の範囲内であるか、衛星２１が搭載している撮像装置１１１が、分解能や決定されたカメラ設定値の要求を満たすか、などを判定して、衛星２１が決定される。そして、選定された衛星２１と通信を行うために適した地上局１５が決定される。
　また、管理システムは、撮像日時における衛星２１のバッテリの予想残量と撮像の電力消費量等を鑑みて、衛星２１の選定を行うことができる。例えば、選定された衛星２１が、撮像日時の直前に他の撮像を行うことが計画されている場合には、その撮像や、撮像に伴う姿勢制御、データ通信、熱制御等により電力が消費され、次の撮像を行うことができない場合も想定されるため、バッテリの予想残量と撮像の電力消費量に応じて衛星２１の優先度を設定し、衛星２１が選定される。
　ステップＳ１３において、管理システムは、選定した地上局１５のアンテナ１４を、想定軌道に対して指向させる。衛星群管理装置１１が、選定した衛星２１の軌道情報を通信装置１３に送信し、通信装置１３がアンテナ１４を想定軌道に対して指向させる。
　ステップＳ１４において、管理システムは、選定した衛星２１へ撮像指示を送信（アップリンク）する。すなわち、衛星群管理装置１１が、選定した地上局１５の通信装置１３に撮像指示を送信するコマンドを送信し、コマンドを受信した通信装置１３が、撮像指示を、選定した衛星２１へアンテナ１４を介して送信する。撮像指示には、撮像日時、撮像地点、カメラ設定値などが含まれる。
　ステップＳ３１において、衛星２１は、地上局１５からの撮像指示を受信し、ステップＳ３２において、受信完了を地上局１５へ送信する。
　ステップＳ１５において、管理システムは、衛星２１からの受信完了を受信し、撮像指示の送信を停止する。地上局１５からの撮像指示の送信は、衛星２１から受信完了の応答があるまで繰り返し実行される。
　衛星２１は、ステップＳ３３において、受信した撮像指示に基づく撮像準備処理を行う。例えば、衛星２１は、必要に応じて撮像装置１１１が撮像対象位置に向くように、衛星２１の姿勢または撮像装置１１１の向きを制御する（ポインティング）。また例えば、撮像制御部１０３は、イメージセンサのズーム、シャッタスピード、感度、絞り、などを設定する。さらに、電源制御部１０９は、撮像日時に十分な電力を得られるように事前に充電を行う。
　撮像指示で指定された撮像日時となると、衛星２１は、ステップＳ３４において、撮像対象位置の撮像を行う。
　ステップＳ３５において、衛星２１は、撮像の結果得られた撮像画像に関連付けられる情報であるメタデータを生成し、撮像画像に付加する。メタデータの詳細は、後述するが、例えば、衛星群３１を識別する群ID、各衛星２１を識別する個別ID、撮像対象位置（被写体の位置）、撮像時刻、などの情報をメタデータとして生成することができる。
　ステップＳ３６において、衛星２１は、メタデータを付加した撮像画像を地上局１５に送信（ダウンリンク）する。ダウンリンクは、撮像画像とメタデータが生成されてすぐに行ってもよいし、所定の地上局１５の所定の範囲内に到達した時点で行ってもよい。また、中継衛星２２を介して、撮像画像を送信してもよい。
　管理システムは、ステップＳ１６において、衛星２１からの撮像画像を受信する。具体的には、通信装置１３がアンテナ１４を介して撮像画像を受信し、衛星群管理装置１１に供給する。
　ステップＳ１７において、衛星群管理装置１１は、撮像画像のメタデータを解析する。このとき、衛星群管理装置１１は、解析結果に基づき新たにメタデータを生成し、これを追加してもよい。例えば、衛星群管理装置１１は、撮像画像の群IDおよび個別IDと、その衛星２１の軌道情報に基づいて、撮像時の衛星位置を算出し、メタデータとして追加する。
　ステップＳ１８において、衛星群管理装置１１は、衛星２１で撮像された撮像画像に対して、所定の画像処理を行う。衛星群管理装置１１は、例えば、歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。画像処理の詳細については後述する。
　ステップＳ１９において、衛星群管理装置１１は、撮像画像と処理画像の流通管理処理を実行し、所定の記憶部に記憶させる。流通管理処理の詳細についても後述する。
　以上で、一つの衛星２１が撮像を行う一連のシーケンスが終了する。なお、画像解析サーバ４２による画像処理は、必要に応じて適宜行うことができ、衛星群管理装置１１の画像処理と分担して、あるいは、衛星群管理装置１１が行う代わりに、行わせることができる。流通管理処理についても、画像解析サーバ４２が行うようにしてもよい。
　なお、上述した例では、撮像画像にメタデータを付加して送信することとしたが、メタデータは、撮像画像とは別のストリームとして送信するようにしてもよい。このとき、メタデータのみを撮像画像に先行して送信してもよい。
＜３．撮像準備処理＞
　ところで、特に小型の衛星２１においてはリソースが限られるため、特にバッテリ残量に留意する必要がり、これに応じた撮像制御が重要となる。
　図７は、図６のステップＳ３３の撮像準備処理の詳細なフローチャートである。ここで、ステップＳ３３の前のステップＳ３１で受信した撮像指示では、撮像時刻ｔ１における撮像が指示されたものとする。
　撮像準備処理では、初めに、ステップＳ５１において、衛星２１の管理部１０１は、撮像時刻ｔ１におけるバッテリ残量を推定する。具体的には、管理部１０１は、現時点のバッテリ残量に対して、撮像時刻ｔ１までに太陽光発電により蓄積される充電量（の推定値）から、撮像時刻ｔ１におけるバッテリ残量を推定する。
　ステップＳ５２において、管理部１０１は、推定したバッテリ残量に基づいて、十分なバッテリ残量があるかを判定する。
　具体的には、管理部１０１は、撮像に関わる電力消費要素と、撮像以外の電力消費要素とから、推定したバッテリ残量が十分なバッテリ残量であるかを判定する。撮像に関わる電力消費要素には、撮像装置１１１の撮像処理、衛星２１の姿勢制御（ポインティング）、及び、これらに伴う熱制御などが含まれる。撮像装置１１１の撮像処理では、撮像時刻ｔ１において、何枚の撮像を、どの程度の精度（分解能、シャッタスピード、ズームの要否など）で撮像を行うかが考慮される。衛星２１の姿勢制御は、衛星自身の姿勢の変更、アンテナの姿勢の変更を含む。また、撮像装置１１１としてのカメラモジュール自身も撮像方向に姿勢を変更できる場合には、カメラモジュールの姿勢変更も、衛星２１の姿勢制御に含まれる。撮像以外の電力消費要素には、撮像時刻ｔ１までに行われる通信（アップリンクおよびダウンリンク）が含まれる。
　例えば、図８のAに示されるように、バッテリ１１６の満充電量に対して７０％の充電量を常に維持することを前提とし、現時点のバッテリ残量が９０％、時刻ｔ１までの充電量が５％、時刻ｔ１の撮像処理による電力消費量が３％、姿勢制御による電力消費量が１０％、撮像時刻ｔ１までに行われる通信による電力消費量が２％であるとすると、９０％＋５％－３％－１０％－２％＝８０％となり、時刻ｔ１の撮像後においても７０％の充電量を確保できることから、衛星２１は、十分なバッテリ残量であると判定することができる。
　なお、管理部１０１は、撮像時刻ｔ１の次のタイミングで行われる撮像も考慮し、撮像時刻ｔ１後に残すべきバッテリ残量に基づいて、十分なバッテリ残量であるかを判定してもよい。
　例えば、図８のBに示されるように、撮像時刻ｔ１の次の時刻ｔ２で撮像が予定されており時刻ｔ１から時刻ｔ２までの充電量が２％、時刻ｔ２の撮像処理による電力消費量が３％、姿勢制御による電力消費量が１０％、撮像時刻ｔ２までに行われる通信による電力消費量が２％であるとすると、時刻ｔ１の撮像後において、８３％のバッテリ残量が必要であるので、推定される撮像時刻ｔ１のバッテリ残量８０％は、十分なバッテリ残量ではないと判定される。
　なお、上述した例では、撮像に関する電力消費量を主として説明したが、その他の電力消費量、例えば、姿勢制御に伴う熱制御や、定期的な通信などによる電力消費量も考慮される。
　以上のようにして、十分なバッテリ残量があるかどうかが判定され、図７のステップＳ５２で、十分なバッテリ残量がないと判定された場合、処理はステップＳ５３に進み、衛星２１は、撮像時刻ｔ１までに想定されるダウンリンクタイミングを変更できるかを判定する。ダウンリンクタイミングを変更することで、それにかかる電力量を節約することができる。
　ステップＳ５３で、ダウンリンクタイミングを変更できないと判定された場合、ステップＳ５３の処理がスキップされ、処理はステップＳ５５に進む。
　一方、ステップＳ５３で、ダウンリンクタイミングを変更できると判定された場合、処理はステップＳ５４に進み、管理部１０１は、ダウンリンクタイミングを変更し、それにより十分なバッテリ残量があるかを判定する。ステップＳ５４においても、十分なバッテリ残量がないと判定された場合、処理はステップＳ５５に進む。一方、ステップＳ５４で、十分なバッテリ残量があると判定された場合、処理はステップＳ５７に進む。
　ステップＳ５５において、管理部１０１は、姿勢制御の精度を変更する。姿勢制御は、例えば、ホイールとイオンエンジンの２種類を用いて目標姿勢に向かうようにモーメントをかけ、目標姿勢を過ぎたら逆のモーメントをかけることを繰り返し、ゆれ速度が一定以下となった場合に目標姿勢に変更されたと判定される。管理部１０１は、姿勢制御の精度の変更として、例えば、目標姿勢となったと判定するゆれ速度の範囲を変更する。ゆれ速度の範囲が大きくなる方向に変更され、姿勢制御の制御量を低減することで、電力消費をセーブすることができる。
　ステップＳ５６において、管理部１０１は、姿勢制御の精度に応じて撮像条件を変更する。ゆれ速度の範囲が大きくなると、衛星２１の姿勢が安定せず、ふらつきが発生するため、被写体ぶれが起こるおそれがある。また、ポインティングが不十分であるため、十分なズームができないことも考えられる。そこで、管理部１０１は、撮像条件を変更することにより、姿勢制御の制御量の低減による弊害を補う。
　管理部１０１は、例えば、以下のような撮像条件の変更を行う。
　管理部１０１は、イメージセンサのシャッタスピードを速くすることで、被写体ぶれに対応する。また、管理部１０１はさらに、シャッタスピードを速くすると、撮像画像は暗くなるので、感度（ゲイン）を上げる制御を行ってもよい。
　また例えば、管理部１０１は、単位画素当たりの感度を向上させる目的で、撮像画像の分解能（解像度）を低減させることができる。これによりシャッタスピードを向上でき、姿勢制御の精度低下の影響を受けにくくなるとともに、ダウンリンク時のデータ量を削減することができる。また、管理部１０１は、光学ズームを行わない設定値を選択する。これにより、画像のぶれ（ふらつき）に対する許容度を大きくすることができる。
　また、カメラモジュールがメカ的なぶれ補正機構（空間ぶれ補正）を備える場合には、姿勢制御の精度を落とす代わりに、メカ的なぶれ補正機構を行うようにしてもよい。
　また、管理部１０１は、撮像画像の分解能（解像度）を低減させる代わりに、複数枚の連続撮像を行うように撮像設定を行ってもよい。地上局１５には、連続撮像の撮像画像を合成して生成した高解像の撮像画像を生成して、送信（ダウンリンク）することで、撮像画像の分解能（解像度）の低下を補うことができる。なお、画像合成による高解像の画像生成は、ダウンリング後に、衛星群管理装置１１または画像解析サーバ４２が行ってもよい。衛星群管理装置１１または画像解析サーバ４２は、ベース画像等の過去の撮像画像や、他の衛星２１で撮像された撮像画像との合成も行うことができる。
　ステップＳ５６の後、または、ステップＳ５２若しくはステップＳ５４で十分なバッテリ残量があると判定された場合、処理はステップＳ５７に進む。
　ステップＳ５７において、管理部１０１は、ステップＳ５５の処理で決定された姿勢制御の設定に応じて、衛星２１または撮像装置１１１の姿勢を制御する（ポインティングを行う）。
　ステップＳ５８において、管理部１０１は、ステップＳ５６の処理で決定された撮像条件を設定する。
　以上で、図６のステップＳ３３の撮像準備処理が終了し、撮像指示で指定された撮像日時となると、図６のステップＳ３４の処理、即ち、撮像対象位置の撮像が行われる。
　撮像準備処理によれば、バッテリ残量が少ない場合に、電力消費において影響の大きい姿勢制御の安定精度を低くし、撮像条件や後段での画像処理を変更することで、バッテリの消費を抑制しつつ、撮像画像の品質を担保することができる。
＜４．フォーメーションフライトのフローチャート＞
　次に、一つの衛星群３１を構成する複数の衛星２１で実行されるフォーメーションフライトについて説明する。
　図９は、一つの衛星群３１がフォーメーションフライトを行う衛星画像処理システム１のフローチャートである。
　初めに、管理システムとフォーメーションフライトを行う衛星群３１の各衛星２１とで、ステップＳ１０１、Ｓ１２１、Ｓ１２２、およびＳ１０２の相対位置確認処理を行う。すなわち、ステップＳ１０１において、管理システムは、フォーメーションフライトを行う衛星群３１の各衛星２１に相対位置を問い合わせる。ステップＳ１２１において、衛星群３１を構成する各衛星２１は、管理システムからの問い合わせに応じて、相対位置を確認する処理を行う。そして、ステップＳ１２２において、各衛星２１は、相対位置を送信し、ステップＳ１０２において、管理システムは、各衛星２１からの相対位置を受信する。ここで、相対位置とは、衛星群３１を構成する各衛星２１の配列順と、衛星間の距離である。各衛星２１の配列順は、例えば、衛星２１の進行方向を先頭（１番）とする順番である。この相対位置確認処理は、撮像を行うごとに行ってもよいし、例えば、１日に１回や、１週間に１回など、定期的に行ってもよい。
　管理システムは、外部機関としてのNORADから取得した衛星群３１の軌道情報を有するが、衛星群３１を構成する各衛星２１の軌道情報は判別できない場合がある。あるいは、地上からの観測により個別の軌道情報を判別できたとしても、機体の順序までは判別できない場合がある。フォーメーションフライトでは、軌道情報を個別に割り振りできない範囲で衛星２１が配置されることがあり、ある衛星が衛星群３１において先頭から何番目を構成しているかが判別できない。そのため、相対的な位置関係を測位することが必要になる。
　相対位置を制御する方法としては、オープンループ方式とクローズドループ方式の２種類に大別される。
　オープンループ方式は、衛星群３１を構成する衛星間でのコミュニケーションが無く、地上側からの指示で相対位置を制御する方法である。衛星間の距離に誤差が生じやすい。
　これに対して、クローズドループ方式は、衛星群３１を構成する衛星間でのコミュニケーションを行うことで相対位置を制御する方法である。クローズドループ方式の相対位置の精度は、オープンループ方式よりも高い。クローズドループ方式には、中央管理型（Centralized型）と非中央管理型（Decentralized型）とがある。中央管理型には、リーダとなる衛星２１が存在し、他の衛星２１がリーダ衛星に追随する形態と、リーダ衛星が他の衛星２１に指示を出す形態とがある。非中央管理型は、衛星群３１を構成する各衛星２１が、周囲の他の衛星２１と自律的にコミュニケーションを取り、自分の位置を制御する形態である。
　ステップＳ１２１の相対位置を確認する処理は、オープンループ方式では、例えば、各衛星２１が地上の所定の地点の撮像を同時に行い、地上側の衛星群管理装置１１が、撮像画像と、衛星２１の姿勢（ポインティング角度）情報とに基づいて、各衛星２１の配列順を確認する方法がある。また例えば、各衛星２１が地上の所定の地点と同時に通信を行い、地上側の通信装置１３が、その際の電波から配列順を確認する方法がある。配列順を確認するための通信は、所定の撮像画像のダウンリンクでもよいし、キャリブレーション用の信号などでもよい。一方、クローズドループ方式では、各衛星２１が相対位置を測る処理を実行し、測定結果がダウンリンクされる。各衛星２１が相対位置を測る方法としては、衛星間で通信することにより位置（方向）を測定する方法、衛星２１がレーザを照射し、その反射光から距離を測定する方法などがある。
　クローズドループ方式およびオープンループ方式では、各衛星２１の配列順のみを検出して、衛星間の距離は、地上からの観測で算出してもよい。
　ステップＳ１０３において、管理システムは、各衛星２１の相対位置に基づいて、各衛星２１の撮像条件を算出する。ここでの撮像条件は、イメージセンサの設定値の他、撮像時の衛星２１の姿勢制御や、撮像のタイミングなども含む。例えば、地上の３次元計測を行う場合、衛星間距離を基線長として、各衛星２１で撮像対象位置が同じになる姿勢とするための撮像条件が算出される。衛星群３１を構成する複数の衛星２１で時間差による撮像（差分撮影）を行う場合、先行の衛星２１と後続の衛星２１とが撮像を行うタイミング（撮像位置）と、撮像時の姿勢が算出される。各衛星２１が撮像を行うタイミングは、衛星間距離に基づいて算出される。
　ステップＳ１０４において、管理システムは、算出された撮像条件に基づいて、撮像指示を各衛星２１へ送信する。撮像指示は、衛星群３１の全ての衛星２１に送信（マルチキャスト）されるが、撮像指示の中に含まれる宛先情報としての個別IDにより、各衛星２１が自分宛ての指示を選択することができる。
　衛星２１は、ステップＳ１２３において、地上局１５からの撮像指示を受信し、ステップＳ１２４において、撮像準備処理を行い、ステップＳ１２５において、撮像を行う。さらに、衛星２１は、ステップＳ１２６において、メタデータを生成して撮像画像に付加し、ステップＳ１２７において、メタデータを付加した撮像画像を地上局１５に送信（ダウンリンク）する。
　ステップＳ１２３乃至Ｓ１２７の処理は、図６を参照して説明した個々の衛星２１が行うステップＳ３１乃至Ｓ３６の処理と基本的に同様である。なお、ステップＳ１２７の撮像画像の送信は、各衛星２１が自身の撮像画像を個別に送信してもよいし、衛星間通信によりリーダ衛星に撮像画像を集めて、リーダ衛星がまとめて送信してもよい。
　ステップＳ１０５において、管理システムは、各衛星２１からの撮像画像を受信し、ステップＳ１０６において、撮像画像のメタデータを解析する。さらに、ステップＳ１０７において、管理システムは、撮像画像に対して所定の画像処理を行い、ステップＳ１０８において、撮像画像と処理画像の流通管理処理を実行し、所定の記憶部に記憶させる。
　ステップＳ１０５乃至Ｓ１０８の処理は、図６を参照して説明した管理システムが行うステップＳ１６乃至Ｓ１９の処理と基本的に同様である。ただし、ステップＳ１０７の画像処理では、一つの衛星２１で得られた撮像画像に対する画像処理に留まらず、衛星群３１の複数の衛星２１が連携して撮像した複数枚の撮像画像を用いた画像処理を行うことができる。
＜５．画像処理の例＞
　図６のステップＳ１８または図９のステップＳ１０７において、衛星群管理装置１１または画像解析サーバ４２が実行する画像処理の処理例について説明する。
　個々の衛星２１で撮像された１枚の撮像画像に対して、衛星群管理装置１１または画像解析サーバ４２は、以下のような画像処理を行うことが可能である。
（１）メタデータの生成
　衛星２１から送信されてきた情報や、撮像を行った衛星２１の情報に基づいて、メタデータを生成することができる。例えば、撮像対象位置の緯度経度の情報、衛星２１の撮像時の姿勢制御や加速度の情報などを、メタデータとして生成することができる。
（２）撮像画像の補正処理
　感度特性に関するラジオメトリック補正、衛星２１の軌道位置や姿勢誤差などの幾何補正、地形の高低差に起因する幾何学的な歪みを補正するオルソ補正、地図投影面への射像を行う地図投影、などの補正処理を行うことができる。
（３）カラー合成処理
　パンシャープン処理、トゥルーカラー合成処理、フォールスカラー合成処理、ナチュラルカラー合成処理、SAR画像合成処理、バンド毎の撮像画像に色を付加する処理、などのカラー合成処理を行うことができる。
（４）その他の画像合成
　過去に自分（衛星２１）が撮像した撮像画像、他の衛星２１で撮像された撮像画像、何らかのベース画像との合成、異なるバンドで撮像された撮像画像どうしの合成、地図情報との合成などを行うこともできる。
（５）情報抽出
　R（Red）とIR（Infrared）などの異なるバンドにより、NDVI（Normalized Difference Vegetation Index）等の植生検出情報や、NDWI（Normalized Difference Water Index）等の水検出情報を算定することができる。車両や移動体、魚群などの特定被写体のハイライト処理、特定バンドの情報、前回撮像時からの変化点の抽出などを行うことができる。
　特に、フォーメーションフライトを行う複数の衛星２１で撮像された複数の撮像画像を用いた場合には、衛星群管理装置１１または画像解析サーバ４２は、以下のような画像処理をより効果的に行うことが可能である。
（１）高解像化または高品質化処理
　複数の撮像画像を重ね合わせることで、分解能を向上させた撮像画像を生成することができる。また、モノクロ画像とカラー画像を合わせたパンシャープン画像や、例えば異なるダイナミックレンジやシャッタスピード、異なるバンド（波長帯域）、異なる解像度など、撮像条件の異なる撮像画像の合成によって、高解像化させた撮像画像を生成することができる。
（２）機能分担
　R（Red）とIR（Infrared）などの異なるバンドにより、NDVI（Normalized Difference Vegetation Index）等の指標を算定することができる。
（３）3次元計測
　視差画像により、三次元情報を得ることができる。また、三次元情報により地上の物体認識の精度を高めることができる。たとえば、物体が車両であるか否かの判別を行うことができる（分解能的に画像から直ちには車両であるとはわからずとも、道路上にあるものが模様でなく立体物と分かれば、それが車両であると推定できる）。
（４）差分計測
　同一位置から時間差で撮像した複数の撮像画像を用いて、第１の時刻と第２の時刻との変化を抽出することができる。また、変化した対象のみを抽出して着色するような画像化を行ってもよい。また例えば、複数の撮像画像を用いて、船舶や車両の移動速度を算定したり、雲等の移動から風速を算出することができる。
（５）その他の画像合成
　過去の撮像画像や、他の衛星２１で撮像された撮像画像との合成、異なるバンドで撮像された撮像画像どうしの合成、地図情報との合成などを行うこともできる。
　画像処理装置としての衛星群管理装置１１および画像解析サーバ４２は、衛星２１で撮像された撮像画像にメタデータとして関連付けられた、衛星を特定する衛星特定情報に基づいて、上述した画像処理を行う。換言すれば、撮像画像にメタデータとして衛星特定情報が関連付けられていることにより、フォーメーションフライトの複数の衛星２１の相対位置関係を利用した複数枚の画像処理ができるようになる。衛星特定情報には、衛星群３１を識別する群IDと、衛星群３１を構成する各衛星２１を識別する個別ID、フォーメーションフライトを行う各衛星２１の相対位置情報が少なくとも含まれる。
　なお、フォーメーションフライトにより撮像された複数の撮像画像を用いた画像処理について説明したが、フォーメーションフライトではなく、コンステレーションにより撮像された複数の撮像画像に対して、上述した画像処理を行ってもよい。例えば、（１）高解像化または高品質化処理、（３）3次元計測、（５）その他の画像合成などの画像処理をコンステレーションにより撮像された複数の撮像画像で行ってもよい。
（画像フォーマット）
　画像処理後の処理画像、および、撮像画像は、例えば、以下のような画像フォーマットを用いて、記憶部に格納され、顧客等へ提供される。
（１）CEOS
　CEOSは、地球観測衛星委員会 (committee on Earth Observation Satellites）で標準化されたフォーマットである。CEOSには、バンドごとにファイルが分割される「CEOS-BSQ」と、複数のバンドが多重化された「CEOS-BIL」とがある。
（２）HDF
　イリノイ大学のNCSA (National Center for Supercomputing Applications) で開発されたフォーマットである。多様なコンピュータ環境で容易にデータの相互交換を行えるように複数のバンドが一つのファイルにまとめられている。
（３）Geo TIFF
　TIFF（Tagged Image File Format）に、リモートセンシング用の情報を付加したフォーマットである。TIFF形式であるので、一般的な画像ビューア等で開くことが可能である。
（４）JPEG2000
　Joint Photographic Experts Groupにより規格化された画像フォーマットである。JPEG 2000は単に圧縮率を高めるだけではなく、注目領域の画像を向上させる技術や、電子透かしなどの著作権保護技術が採用されている。
　処理画像、および、撮像画像の提示方法としては、（１）画像を閲覧可能に提供する方法と、（２）画像の解析に基づく情報のみを提示する方法、とがある。
　さらに、（１）画像を閲覧可能に提供する方法には、（１A）画像そのものを提供（送信）する方法、（１B）データサーバ等のプラットフォーム上へのアクセスを許可し、プラットフォーム上のデータに対してユーザが画像を閲覧できるようにする方法、（１C）画像を閲覧するための専用ソフトをユーザに提供し、その専用ソフト上でのみユーザが閲覧できるようにする方法などの方法がある。
　（２）画像の解析に基づく情報のみを提示する方法は、例えば、上述した情報抽出の処理を行うことにより得られた、車両や移動体の時間ごとの台数を提示したり、魚群のエリアを提示したりする方法である。
＜６．メタデータの詳細＞
　図１０は、撮像画像または処理画像にメタデータとして付される情報の例を示している。
　メタデータとして付される情報には、情報の種類によって、衛星２１が付加できる情報、衛星群管理装置１１が付加できる情報、解析会社の画像解析サーバ４２が付加できる情報のそれぞれがあるが、図１０には、各情報を表形式で配置し、各情報を付加可能な装置に丸（○）が付されている。なお、衛星群管理装置１１が画像処理機能も備えている場合には、画像解析サーバ４２が付加できる情報は、衛星群管理装置１１自身も付加できることは言うまでもない。
　メタデータとしては、例えば、衛星を特定する情報（衛星特定情報）を付加することができる。衛星を特定する情報には、例えば、衛星群３１を識別する群ID、個々の衛星２１を識別する個別ID、フォーメーションフライトを行う衛星群３１を構成する各衛星２１の相対位置情報、撮像時の自身（衛星２１）の角度情報、衛星種類などを含むことができる。相対位置情報には、例えば、衛星群３１を構成する複数の衛星２１の順番や衛星間の距離などの情報を含む。相対位置情報は、相対位置を推定する材料となる情報でもよい。撮像時の自身の角度情報は、例えば、撮像時の地表面に対する自身の角度を表す。衛星種類は、例えば、光学衛星かまたはSAR衛星であるか、衛星の用途や大きさなどの分類による区分などが含まれる。
　また、衛星を特定する情報には、例えば、衛星２１のTLEフォーマットによる軌道情報（TLE情報）、GPS信号による位置情報（GPS情報）、TLE情報またはGPS情報の少なくとも１つから算出される軌道位置・軌道高度情報、衛星２１の速度情報、衛星２１の地球センサや太陽センサ、スタートラッカ等のセンサ情報、などを含むことができる。
　また、メタデータには、撮像内容に関する情報を付加することができる。撮像内容に関する情報には、例えば、撮像対象とした地球上の場所を示す撮像対象位置情報、解像度（分解能）、ズーム、シャッタスピード、感度、絞り（F値）、などの撮像条件、イメージセンサの型番などのセンサ種類、撮像時刻、撮像時点の衛星位置、雲量や日照量などの天候情報などを含むことができる。
　撮像対象位置情報には、例えば、撮像対象とした地球上の場所の緯度経度の情報が与えられる。撮像時点の衛星位置は、衛星２１の軌道情報に基づいて、地上側で付加される。撮像時点の衛星位置は、衛星２１の軌道情報そのものでもよい。また、上述した撮像準備処理において、バッテリ残量に応じて姿勢制御の精度を変更する場合があるので、撮像時点の衛星位置には、撮像時点の衛星２１の姿勢制御の精度情報や、撮像時点の衛星自身の動きを示す３次元加速度情報などをさらに含めてもよい。この姿勢制御に関する情報は、地上側で行われる撮像画像の高解像度処理等において、処理の参考にすることができる。
　さらに、メタデータには、画像種類に関する情報を付加することができる。画像種類に関する情報には、バンド情報や画像処理情報を含むことができる。
　バンド情報には、波長帯域に関する波長情報、RGB(TrueColor)、IR（赤外光）、またはモノクロかを表す色情報、植物など特定対象を着色したことを表す着色情報（False Color）、正規化植生指数（NDVI:Normalized Difference Vegetation Index）や正規化水指数（NDWI:Normalized Difference Water Index）を表した画像であることを示す解析情報などが含まれる。
　画像処理情報には、画像処理の処理時刻、処理レベル、および、処理方法などが含まれる。処理時刻は、画像処理が行われた時刻を表す。処理レベルは、L0からL5までの６段階に区分される。L0は、補正処理を行っていない未補正を示すレベルであり、L1は、感度特性に関するラジオメトリック補正がなされたレベルであり、L2は、衛星２１の軌道位置や姿勢誤差などの幾何補正が施されたレベルである。その他、地図投影面への射像がなされたレベル、幾何学的な歪みを補正するオルソ補正が施されたレベルなどがある。処理方法には、パンシャープン処理、トゥルーカラー合成処理、SAR画像合成処理などの処理名が記述される。３次元計測の処理画像には、L画像（左眼用の画像）またはR画像（右眼用の画像）の区別が記述されてもよい。
　さらに、メタデータには、撮像画像または処理画像の関係者に関する情報である関係者情報を付加することができる。関係者に関する情報には、例えば、衛星２１の所有者、衛星リモートセンシングのサービスを運営しているサービス運営者、撮像画像または処理画像の権利者などの情報が含まれる。撮像画像または処理画像に、メタデータとして関係者情報を付加することにより、撮像画像または処理画像の関係者を参照または照合することにより、撮像画像または処理画像の関係者を管理することができ、画像の真正性を担保することができる。
＜７．流通管理処理の詳細＞
　次に、図６のステップＳ１９および図９のステップＳ１０８において衛星群管理装置１１または画像解析サーバ４２により実行される、撮像画像または処理画像の流通管理処理について説明する。
　撮像画像および処理画像には、以下のようなデータの流通を管理するための処理を施すことができる。
（１）利用制限処理
　許可なく撮像画像および処理画像のダウンロードや表示を行うことができないように処理を施したり、有効期限やコピー回数、表示回数など所定の条件を満たした場合に、撮像画像および処理画像のダウンロードや表示を行うことができなくなるような処理を施すことができる。また、撮像画像および処理画像に対して、画像合成などの２次的な処理を行うことができないように施すことができる。
（２）ウォーターマーク
　撮像画像および処理画像に対して、著作権があることを示すウォーターマーク（電子透かし）を入れる処理を施すことができる。また、流出経路を判別することができる情報をウォーターマークとして入れる処理を施すことができる。
　以上のような流通管理処理を行うことにより、画像の真正性を担保することができるとともに、撮像画像および処理画像の流出や、不適切な使用を防ぐことができる。このとき、ブロックチェーンを用いて、各データおよびデータの利用態様を管理する方式を採用してもよい。
　（画像保護の処理例）
　撮像画像および処理画像に対してプライバシー保護を求めるユーザの要請がある場合や、軍事施設や公共施設など、各国の法律等により開示が制限される地域（開示制限地域）や禁止されている地域（禁止地域）が写っている画像については、衛星群管理装置１１または画像解析サーバ４２は、所定の保護方法によって、画像を保護する処理を施すことができる。保護対象地域か否かは、メタデータの撮像対象位置情報を用いて判断すればよい。
　画像を保護する方法としては、例えば、保護対象地域の画像には、エンドユーザや許諾されたユーザ以外の者によっては必要以上の高解像度化処理を行うことができないような処理を施すことが挙げられる。あるいはまた、保護対象地域の画像に対して、解像度の下げたり、ブラーをかけたりしてもよい。さらにはまた、保護対象地域の画像の更新を中止し、過去の画像に置き換えて表示したり、保護を示す画像を重畳してもよい。
　画像の保護は、ユーザに最初に提供する前に予め実行する場合に加えて、プライバシー保護の要請があった場合や、不正画像の流通を検出した場合など、後発的に処理を行うことができる。不正画像の流通を検出した場合には、不正流出した撮像画像および処理画像を削除する手段も取り得る。
　衛星群管理装置１１および画像解析サーバ４２が、以上のような画像保護処理を対応可能とすることで、ユーザのプライバシー保護や開示制限の求めに応じることができる。
＜８．フォーメーションフライトの応用例＞
　以下では、フォーメーションフライトにより衛星群３１を構成する複数の衛星２１で撮像された撮像画像を用いた画像解析処理例について説明する。
（１）高解像化による農作物の発芽確認（農業用リモートセンシング）
　農作物の発芽確認のための観測には数cmの解像度が必要とされる。フォーメーションフライトによる複数衛星の撮像画像の合成により、単機での分解能を超える分解能を実現でき、発芽の検出が可能になる。
　衛星群３１は、農地の同一地点を撮像対象位置として、撮像を行う。各衛星２１は、異なる位置から同時に撮像しても良いし、時間差で同じ位置から撮像してもよい。各衛星２１の撮像対象位置を同一地点に向けさせるために、衛星位置の事前把握が必要になる。
　画像の合成処理では、それぞれの撮像画像がどの衛星２１によって撮像されたかの把握はできなくともよいが、どの衛星２１による撮像であるかを把握できれば、撮像時の角度や時刻が判別できるため、より効率的な画像合成が可能となる。
　合成後の処理画像のフォーマットには、例えば、Geo TIFFフォーマットを用いることができ、フォーメーションフライトによる合成画像である旨、及び、合成元の撮像画像それぞれの撮像位置、撮像時刻および撮像条件などをメタデータとして付すことができる。撮像位置情報は、合成元のいずれかの撮像画像（代表となる撮像画像）の撮像位置情報を用いることができる。
（２）三次元計測による農作物の生育状況確認（農業用リモートセンシング）
　農作物の生育状況の確認はNDVI等の指標により行われるが、三次元計測により高さ情報を正確に取得することでも可能である。
　衛星群３１の各衛星２１は、農地である同一地点を撮像対象位置として、同時に撮像を行い、視差画像を得る。基線長である衛星間の距離を得るため、衛星２１の相対位置情報が必要になる。この相対位置情報は事前ではなく、撮像画像のダウンリンクと同時に得られてもよい。
　画像の合成処理では、それぞれの撮像画像がどの衛星２１によって撮像されたかの把握はできなくともよいが、どの衛星２１による撮像であるかを把握できれば、撮像時の角度や時刻が判別できるため、より効率的な画像合成が可能となる。
　合成後の処理画像は、例えば、L画像とR画像の組からなる３次元画像のフォーマットを用いることができ、フォーメーションフライトによる合成画像である旨、及び、合成元の撮像画像それぞれの撮像位置、撮像時刻および撮像条件などをメタデータとして付すことができる。撮像位置情報は、合成元のいずれかの撮像画像（代表となる撮像画像）の撮像位置情報を用いることができる。三次元計測の情報に加えて、NDVI等の植生指標や、他の情報がさらに付加されてもよい。
（３）その他の農業用リモートセンシング
　例えば、農地の耕耘後の水平確認のための高さ情報を三次元計測により正確に取得することが可能である。
（４）魚群の移動探知（海洋観測リモートセンシング）
　魚群の探知と、魚群の移動方向および移動速度の情報を得ることができる。
　衛星群３１は、海洋の同一地点を撮像対象位置として、撮像を行う。各衛星２１は、時間差で同じ位置から撮像する。各衛星２１の撮像対象位置を同一地点に向けさせるために、衛星位置の事前把握が必要になる。特に、リファレンスとなる目標の存在しない海洋を撮像対象位置とする撮像では、各衛星２１の撮像画像の位置合わせを精密に行う必要があるため、各衛星２１の相対位置や移動速度情報の事前把握が重要になる。
　撮像画像の解析処理では、撮像位置（角度情報を含む）と撮像時刻とに基づき、各衛星２１の撮像画像の位置合わせと、魚群の比較処理とを行う。比較処理により、２以上の衛星２１の撮像時刻の時間差と魚群の移動距離から、魚群の移動速度を算出することができる。
　解析処理画像として提示される画像としては、例えば、ベースとなる魚群の撮像画像（所定の衛星２１の撮像画像）に対して、魚群の移動方向および移動速度を示す情報が重畳表示された画像を採用することができる。メタデータには、ベースとなる撮像画像の諸情報が付加される。
　解析処理の結果として、魚群の移動方向および移動速度を算出した際の算出方法を説明する情報、例えば、魚群を捉えた複数枚の撮像画像と、それらの撮像時刻、魚群の位置などの情報を提示してもよい。
（５）その他の海洋観測リモートセンシング
　例えば、船舶の移動方向および移動速度の情報や、海流の観測情報も得ることができる。
（６）車両台数のカウント（経済指標推定）
　駐車場の車両台数や、道路の走行台数を調べることで、経済指標（景気動向や特定店舗の売上予測）を算出することが行われている。フォーメーションフライトによる複数衛星の撮像画像の合成により、高解像の撮像画像を生成し、車両台数や走行台数をより正確に検出することができる。
　衛星群３１は、同一地点を撮像対象位置として、同時に撮像を行う。各衛星２１の撮像対象位置を同一地点に向けさせるために、衛星位置の事前把握が必要になる。同時撮像された複数枚の撮像画像により、画像の高解像度化、視差画像に基づく３次元情報の取得が可能である。
　画像の合成処理では、それぞれの撮像画像がどの衛星２１によって撮像されたかの把握はできなくともよいが、どの衛星２１による撮像であるかを把握できれば、撮像時の角度や時刻が判別できるため、より効率的な画像合成が可能となる。２以上の撮像画像の合成では、画像内の道路や建物からリファレンスとなる対象物を抽出し、これに基づいて２以上の画像の位置合わせを行ってもよい。リファレンスとなる対象物は、高さ情報に基づいて選んでもよい。
　画像の解析処理では、高解像化された撮像画像に基づいて、車両台数や走行台数が算出される。撮像画像内の特定の領域のみを高解像度化することにより、効率良く車両台数や走行台数を算出してもよい。２次元画像では車両か否かの判別ができない場合、高さを含めた３次元情報に基づいて車両か否かの判別を行ってもよい。
　解析処理画像として提示される画像としては、例えば、ベースとなる撮像画像（所定の衛星２１の撮像画像）に、検出対象エリアやカウント対象（車両や人）ごとに色を変えて着色し、カウント数を重畳表示した画像を採用することができる。メタデータには、ベースとなる画像の諸情報が付与される。
　解析処理の結果として、画像の撮像条件や、検出対象物の算出方法などの情報をユーザに提示してもよい。
　なお、上述した例は、同時撮像による高解像度化の例であるが、時間差で撮像した撮像画像に基づき、車両の移動速度を計測し、撮像時間前後の交通量情報を推定して提示してもよい。
（７）その他
　フォーメーションフライトによる複数衛星の撮像画像の合成により、視差画像に基づく３次元情報を取得し、建設現場や邸宅の３次元地図を作成することができる。
（８）変形例
　フォーメーションフライトのコンステレーションでもよい。すなわち、フォーメーションフライトを行う衛星群３１を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開する運用を行うことができる。
　フォーメーションフライトによる撮像画像と、他の衛星の撮像画像の画像合成を行ってもよい。例えば、静止衛星により撮像された高解像画像に対して、フォーメーションフライトで得られた移動体情報を重畳表示するような画像処理を行うことができる。
＜９．衛星画像処理システムの第２実施の形態＞
　図１１は、本技術を適用した衛星画像処理システムの第２実施の形態の構成例を示している。
　上述した第１実施の形態では、フォーメーションフライトを行う衛星群３１が、衛星２１の軌道情報等に基づいて予め指示された撮像地点や撮像時刻に同時撮像または時間差撮像を行う構成とされていた。そのため、例えば、地上で発生した所定のイベントを検出して、そのイベント発生時のリアルタイムな撮像を行うことはできない。
　以下で説明する第２実施の形態では、１以上の衛星２１が、地上で発生したイベントに応じてリアルタイムな撮像を行う構成について説明する。複数の衛星２１からなる衛星群３１が、地上で発生したイベントに応じてリアルタイムな撮像を行う場合には、その衛星群３１は、コンステレーションまたはフォーメーションフライトのどちらの運用でもよい。
　第２実施の形態の衛星画像処理システム１の構成には、図１１に示されるように、地上において所定のイベントを検出するセンサを備える複数の送信装置２５１が新たに追加される。図１１の例では、４台の送信装置２５１A乃至２５１Dが、イベント検出領域２５０に設置されているが、送信装置２５１の台数は任意である。なお、図１１に示される第２実施の形態の３機の衛星２１X乃至２１Zは、コンステレーションまたはフォーメーションフライトのどちらの運用でもよい。また、３機の衛星２１X乃至２１Zが、それぞれ単独で運用されている衛星２１でもよい。
　４台の送信装置２５１A乃至２５１Dそれぞれは、イベント検出領域２５０を分担して、イベントを検出する。図１１において破線で示される扇形状の領域が、１台の送信装置２５１のイベント検出範囲を示している。イベント検出領域２５０は、例えば農地であり、送信装置２５１に含まれるセンサは、農地の気温等を監視したり、農作物の生育状況を監視する。
　送信装置２５１は、イベント検出領域２５０における所定のイベントを検出して、１以上の衛星２１に、撮像指示を送信する。衛星２１X乃至２１Zは、送信装置２５１から送信されてきた撮像指示に応じて、イベントの発生領域の撮像を行う。
　図１２は、送信装置２５１の構成例を示すブロック図である。
　送信装置２５１は、送信部２７１、制御部２７２、センサ部２７３、および、電源部２７４により構成される。
　送信部２７１は、制御部２７２の制御に従い、撮像指示を、送信装置２５１の近傍を通過する衛星２１へ送信する。
　送信部２７１は、例えば、無指向性であり、送信装置２５１の一定範囲内を通過する全ての衛星２１へ向けて、撮像指示を送信することができる。送信部２７１は、例えば、時速１００ｋｍ/ｈの高速移動体に対して、１００ｋｍ以上の長距離通信が可能であり、低消費電力な通信デバイスで構成される。
　送信部２７１は、指向性を有するものでもよい。この場合、送信部２７１は、衛星２１の軌道情報に基づき、送信装置２５１の近傍を通過する衛星２１へアンテナ（不図示）を指向させ、撮像指示を、ターゲットとなる衛星２１へ送信する。衛星２１の軌道情報は、予め記憶されている。
　制御部２７２は、送信装置２５１全体の動作を制御する。制御部２７２は、センサ部２７３により所定のイベントが検出された場合、衛星２１へ向けて撮像指示を送信部２７１に送信させるように制御する。
　センサ部２７３は、イベント検出の目的に応じた１種類以上の所定のセンサで構成される。例えば、センサ部２７３は、臭気センサ、気圧センサ、温度センサなどで構成される。また例えば、センサ部２７３は、イベント検出領域２５０を撮像するイメージセンサ（RGBセンサ、IRセンサなど）で構成されてもよい。センサ部２７３は、例えば、検出値が所定の閾値以上となったとき、イベントの発生を検出し、制御部２７２に通知する。
　なお、センサ部２７３は、送信部２７１と近接して配置されてもよいし、例えば、送信部２７１は、衛星２１に最も近い高い場所に配置され、センサ部２７３は、地上に近い低い場所に配置されるなど、離隔されて配置されてもよい。
　１台の送信装置２５１には、種類の異なる複数のセンサが搭載されてもよく、同種のセンサが複数個搭載されてもよい。送信装置２５１に複数のセンサが搭載される場合には、送信情報として、撮像対象位置としてのセンサ検出範囲、センサ検出種類などのセンサ情報を付加して、センサ検出結果を送信する必要がある場合がある。
　電源部２７４は、例えば、太陽光発電等により充電されるバッテリ等で構成され、送信装置２５１の各部に電源を供給する。
　送信装置２５１は、以上のように構成され、送信装置２５１から衛星２１への一方向の通信のみを可能とする通信装置であるが、衛星２１から送信装置２５１への方向も含む双方向通信も可能な通信装置であってもよい。
　片方向通信および双方向通信のいずれにおいても、無指向性の場合には、送信側が、受信側となる衛星２１または地上局１５に向けてアンテナを指向させる必要がないため、特に、地上から上空の衛星２１に送信する場合に好適である。本実施の形態では、送信装置２５１の送信部２７１は無指向性であり、送信装置２５１が片方向通信を行う装置であるとするが、勿論、送信装置２５１が、指向性を持ち、双方向通信を行う装置でもよい。
＜１０．第２実施の形態の第１のイベント撮像シーケンス＞
　次に、図１３のフローチャートを参照して、第２実施の形態の衛星画像処理システム１が行う第１のイベント撮像シーケンスを説明する。
　初めに、ステップＳ１４１において、送信装置２５１の制御部２７２は、センサ部２７３でイベントが検出されたかを判定する。センサ部２７３が、所定のイベントを検出し、制御部２７２にイベントの発生を通知すると、制御部２７２は、イベントが検出されたと判定する。したがって、制御部２７２は、ステップＳ１４１において、センサ部２７３からイベント発生の通知があるまで待機し、イベントが検出されたと判定された場合、処理がステップＳ１４１からステップＳ１４２へ進められる。
　イベントの発生を受けて、制御部２７２は、ステップＳ１４２において、送信部２７１を制御し、送信装置２５１の近傍を通過する衛星２１へ、撮像指示を送信させる。送信部２７１は、制御部２７２からの指令により、撮像指示を送信する。
　送信装置２５１と衛星２１との通信は、地上側から衛星２１へのみの片方向通信であるため、送信装置２５１は、撮像指示を衛星２１が受け取ったか否かを確認することができない。そのため、送信装置２５１は、例えば、３０分や１時間などの一定時間、撮像指示を送信し続けたり、一定時間間隔で間欠的に撮像指示を繰り返し送信する。送信装置２５１と衛星２１が双方向通信が可能である場合には、図６を参照して説明した撮像シーケンスのように、衛星２１から受信完了を受信して、撮像指示の送信を停止すればよい。衛星２１から送信装置２５１への受信完了には、衛星２１が撮像を行う旨を含めて送ってもよい。
　また、本撮像シーケンスでは、送信装置２５１は、イベントの発生を検出すると、衛星２１を選択せずに、撮像指示を送信することとするが、上空を通過する衛星２１の軌道情報や撮像能力が既知である場合には、要求撮像条件を満たす衛星群３１または衛星２１を群IDまたは個別IDで指定して、撮像指示を送信してもよい。
　送信装置２５１から衛星２１への撮像指示には、例えば、要求撮像条件、要求撮像対象位置、センサID、イベント発生時刻、検出イベント種類などの撮像関連情報がパラメータとして付加されて送信される。要求撮像条件は、例えば、解像度、波長帯域（RGB、IRなど）などを含む。要求撮像対象位置は、撮像対象の地上の領域を表し、センサ部２７３のイベントの発生領域に対応する位置である。要求撮像対象位置として、送信装置２５１またはセンサ部２７３の設置位置が格納されてもよい。センサIDは、イベントを検出したセンサ部２７３を識別するセンサ識別情報である。イベント発生時刻は、センサ部２７３がイベントを検出した時刻であり、撮像指示の要求が発生した時刻に相当する。検出イベント種類は、例えば、異常温度の検出など、センサ部２７３が検出したイベントの種類を表す。検出イベント種類は、具体的な検出イベントの種類の代わりに、センサの種類を格納してもよい。
　衛星２１は、ステップＳ１６１において、送信装置２５１からの撮像指示を受信し、ステップＳ１６２において、自身による撮像が可能かを判定する。衛星２１は、撮像指示に付加されている要求撮像条件を満たすか否かを確認し、自身による撮像が可能かを判定する。ステップＳ１６２で、自身による撮像が可能ではないと判定された場合、衛星２１は、処理を終了する。
　一方、ステップＳ１６２で、自身による撮像が可能であると判定された場合、処理はステップＳ１６３に進み、衛星２１は、受信した撮像指示に基づく撮像準備処理を行う。続いて、衛星２１は、ステップＳ１６４において、撮像を行い、ステップＳ１６５において、メタデータを生成して撮像画像に付加する。ステップＳ１６３乃至Ｓ１６５の各処理は、上述した図６のステップＳ３３乃至Ｓ３５の各処理と基本的に同様であるので、詳細は省略する。メタデータには、送信装置２５１から受信した情報の一部または全部を含めることができる。例えば、メタデータとして、センサ部２７３を表すセンサID、イベント発生時刻などの情報を含めることができる。
　ステップＳ１６６において、衛星２１は、ダウンリンクポイントに到達したか、換言すれば、地上局１５の通信装置１３と通信可能な範囲内に到達したかを判定する。衛星２１は、ダウンリンクポイントに到達したと判定されるまで、ステップＳ１６６の処理を繰り返し、ダウンリンクポイントに到達したと判定された場合、処理がステップＳ１６７に進められる。
　ステップＳ１６７において、衛星２１は、メタデータを付加した撮像画像を地上局１５に送信（ダウンリンク）する。ダウンリンクは、中継衛星２２を介して行ってもよい。
　ステップＳ１８１において、管理システムは、衛星２１からの撮像画像を受信する。すなわち、通信装置１３がアンテナ１４を介して撮像画像を受信し、衛星群管理装置１１に供給する。撮像画像を受信した後、管理システムは、図６のステップＳ１７乃至Ｓ１９と同様の処理を行うが、説明が重複するので、省略する。
＜１１．第２実施の形態の第２のイベント撮像シーケンス＞
　次に、図１４のフローチャートを参照して、第２実施の形態の衛星画像処理システム１が行う第２のイベント撮像シーケンスを説明する。
　上述した第１のイベント撮像シーケンスでは、各衛星２１が、撮像が可能な否かを個別に判断し、撮像を行った場合に、撮像画像を地上の通信装置１３に送信した。
　図１４の第２のイベント撮像シーケンスでは、撮像指示を受信した衛星２１が、自身による撮像ができないと判定した場合に、後続の衛星２１が撮像指示を引き継ぐ処理が追加されている。後続の衛星２１は、例えば、コンステレーションまたはフォーメーションフライトで運用されている同じ衛星群３１に属する衛星２１とされる。以下の第２のイベント撮像シーケンスにおいて、撮像指示を受信する衛星２１を第１の衛星２１、撮像指示を引き継ぐ後続の衛星２１を第２の衛星２１と称して区別する。
　送信装置２５１によるステップＳ１４１およびＳ１４２のイベント発生の検出、および、撮像指示の送信は、上述した第１のイベント撮像シーケンスと同じである。
　第１の衛星２１は、ステップＳ２０１において、送信装置２５１からの撮像指示を受信し、ステップＳ２０２において、自身による撮像が可能かを判定する。ステップＳ２０２で、自身による撮像が可能であると判定された場合、処理はステップＳ２０３に進み、第１の衛星２１は、撮像指示に基づく撮像および送信を行って、処理を終了する。自身による撮像が可能であると判定された場合の撮像シーケンスは、上述した第１のイベント撮像シーケンスと同じであるので、説明は省略する。
　一方、ステップＳ２０２で、自身による撮像が可能ではないと判定された場合、処理はステップＳ２０４に進み、第１の衛星２１は、自身の衛星群３１に属する後続の第２の衛星２１による撮像が可能かを判定する。ステップＳ２０４で、第２の衛星２１による撮像が可能ではないと判定された場合、処理は終了する。
　ステップＳ２０４で、第２の衛星２１による撮像が可能であると判定された場合、処理はステップＳ２０５に進み、第１の衛星２１は、衛星間通信により、後続の第２の衛星２１に撮像指示を送信する。
　そして、第１の衛星２１は、ステップＳ２０６において、ダウンリンクポイントに到達したかを判定し、ダウンリンクポイントに到達したと判定されるまで、ステップＳ２０６の処理を繰り返す。
　そして、ステップＳ２０６で、ダウンリンクポイントに到達したと判定された場合、処理はステップＳ２０７に進み、第１の衛星２１は、送信装置２５１から受信した撮像指示に含まれるイベント検出データを地上局１５に送信（ダウンリンク）する。イベント検出データには、撮像指示に含まれる撮像関連情報の一部または全部と、後続衛星に撮像指示を転送した旨、および、撮像指示を転送した後続の第２の衛星２１を示す情報とが含まれる。ダウンリンクを中継衛星２２を介して行ってもよい点は、上述した他の処理と同様である。第１の衛星２１の処理は以上で終了する。
　衛星間通信により第１の衛星２１から撮像指示が送信されてきた後続の第２の衛星２１は、ステップＳ２２１において、撮像指示を受信し、ステップＳ２２２において、受信した撮像指示に基づく撮像準備処理を行う。
　ステップＳ２２３乃至Ｓ２２６の処理は、図１３のステップＳ１６４乃至Ｓ１６７の処理と同様である。ステップＳ２２３乃至Ｓ２２６の処理により、撮像が実行されて撮像画像とメタデータが生成され、ダウンリンクポイントに到達した時点で、メタデータを付加した撮像画像が地上局１５に送信される。
　一方、管理システムは、第１の衛星２１によるイベント検出データの送信に対応して、ステップＳ２４１において、イベント検出データを受信する。また、第２の衛星２１による撮像画像の送信に対応して、ステップＳ２４２において、撮像画像を受信する。撮像画像を受信した後、管理システムは、図６のステップＳ１７乃至Ｓ１９と同様の処理を行うが、説明が重複するので、省略する。
＜１２．第２実施の形態の第３のイベント撮像シーケンス＞
　次に、図１５のフローチャートを参照して、第２実施の形態の衛星画像処理システム１が行う第３のイベント撮像シーケンスを説明する。
　上述した第２のイベント撮像シーケンスでは、衛星間通信を用いて第１の衛星２１から第２の衛星２１へ撮像指示が転送されたが、第３のイベント撮像シーケンスは、地上局１５を介した通信により、第１の衛星２１から第２の衛星２１へ撮像指示が転送される例である。
　送信装置２５１によるステップＳ１４１およびＳ１４２のイベント発生の検出、および、撮像指示の送信は、上述した第１のイベント撮像シーケンスと同じである。
　第１の衛星２１は、ステップＳ３０１において、送信装置２５１からの撮像指示を受信し、ステップＳ３０２において、自身による撮像が可能かを判定する。ステップＳ３０２で、自身による撮像が可能であると判定された場合、処理はステップＳ３０３に進み、第１の衛星２１は、撮像指示に基づく撮像および送信を行って、処理を終了する。自身による撮像が可能であると判定された場合の撮像シーケンスは、上述した第１のイベント撮像シーケンスと同じであるので、説明は省略する。
　一方、ステップＳ３０２で、自身による撮像が可能ではないと判定された場合、処理はステップＳ３０４に進み、第１の衛星２１は、自身の衛星群３１に属する後続の衛星２１による撮像が可能かを判定する。ステップＳ３０４で、後続の衛星２１による撮像が可能であると判定された場合、処理はステップＳ３０５に進み、後続の衛星２１による撮像および送信を行って、処理を終了する。後続の衛星２１による撮像が可能であると判定された場合の撮像シーケンスは、上述した第２のイベント撮像シーケンスと同じであるので、説明は省略する。
　ステップＳ３０４で、後続の衛星２１による撮像が可能ではないと判定された場合、処理はステップＳ３０６に進み、第１の衛星２１は、ダウンリンクポイントに到達したかを判定し、ダウンリンクポイントに到達したと判定されるまで、ステップＳ３０６の処理を繰り返す。
　そして、ステップＳ３０６で、ダウンリンクポイントに到達したと判定された場合、処理はステップＳ３０７に進み、第１の衛星２１は、送信装置２５１から受信した撮像指示を地上局１５に送信（ダウンリンク）する。ダウンリンクを中継衛星２２を介して行ってもよい点は、上述した他の処理と同様である。第１の衛星２１の処理は以上で終了する。
　管理システムは、第１の衛星２１による撮像指示の送信に対応して、ステップＳ３２１において、撮像指示を受信する。そして、管理システムは、ステップＳ３２２において、撮像指示の撮像関連情報に含まれる要求撮像条件、要求撮像対象位置等に基づいて、撮像の要求を満たす他の衛星２１を特定する。ここで、他の衛星２１として第２の衛星２１が特定される。
　ステップＳ３２３において、管理システムは、特定された第２の衛星２１に対して、撮像指示を送信する。なお、第１の衛星２１からの撮像指示を受信する地上局１５（の通信装置１３）と、第２の衛星２１に対して撮像指示を送信する地上局１５（の通信装置１３）とは、同一でもよいし、異なっていてもよい。
　第２の衛星２１は、ステップＳ３４１において、地上局１５からの撮像指示を受信する。その後のステップＳ３４２乃至Ｓ３４６の処理は、図１４のステップＳ２２２乃至Ｓ２２６の処理と同様であるので、説明は省略する。ステップＳ３４６により、第２の衛星２１から管理システムへ、撮像画像が送信される。
　管理システムは、ステップＳ３２４において、撮像画像を受信して、第３のイベント撮像シーケンスが終了する。
　上述した第３のイベント撮像シーケンスでは、第１の衛星２１は、後続の衛星２１による撮像が可能ではないと判定された場合に、撮像指示を地上局１５に送信するようにしたが、後続の衛星２１による撮像が可能か否かを判定せずに、自身による撮像が可能ではないと判定された場合に、撮像指示を地上局１５に送信するようにしてもよい。
　第３のイベント撮像シーケンスによれば、要求撮像対象位置が、海上など、ネットワークに接続できない場所であっても、第１の衛星２１を経由して、管理システムに撮像指示を伝えることができ、第２の衛星２１により、撮像を行うことができる。
＜１３．送信装置の他の構成例＞
　図１２に示した送信装置２５１は、イベントの発生を検出するセンサが組み込まれ、撮像指示を送信する送信部と一体とされていた。しかしながら、イベントの発生を検出するセンサと、撮像指示を送信する送信装置は、別個の装置で構成することができる。
　図１６は、第２実施の形態における送信装置のその他の構成例を示すブロック図である。
　イベント検出領域２５０（図１１）には、送信装置２９１と、制御装置２９２と、１以上のセンサ２９３が設置される。図１６は、センサ２９３の個数をセンサ２９３A乃至２９３Cの３個とした例であるが、センサ２９３の個数は任意である。また、イベント検出領域２５０に対して、送信装置２９１、制御装置２９２、および、１以上のセンサ２９３の組が、複数設置されてもよい。
　送信装置２９１は、制御装置２９２の制御に従い、撮像指示を、送信装置２９１の近傍を通過する衛星２１へ送信する。
　制御装置２９２は、複数のセンサ２９３（２９３A乃至２９３C）のいずれかで所定のイベントが検出された場合、センサ２９３からイベントの検出結果を取得し、撮像指示を生成して、送信装置２９１に送信させるように制御する。この撮像指示には、上述した例と同様に、撮像関連情報がパラメータとして付加される。
　複数のセンサ２９３（２９３A乃至２９３C）それぞれは、上述したセンサ部２７３に対応し、イベントの発生を検出し、制御装置２９２に通知する。複数のセンサ２９３は、異なる種類のセンサで構成されてもよいし、同じ種類のセンサでもよい。複数のセンサ２９３は、近接して配置されてもよいし、離隔されて配置されてもよい。また、複数のセンサ２９３は、送信装置２９１および制御装置２９２に対しても、近接して配置されてもよいし、離隔されて配置されてもよい。センサ２９３から制御装置２９２へのイベント発生の通知には、上述したセンサ情報が必要に応じて付加される。
　第２実施の形態の衛星画像処理システム１において、以上のように、送信装置２９１とセンサ２９３とが別々の装置で構成される場合においても、上述した第１乃至第３のイベント撮像シーケンスが同様に実行可能である。
＜１４．イベント検出センサを用いた衛星画像処理システムの適用例＞
　以下では、第２実施の形態のイベント検出センサを用いた衛星画像処理システムの適用例について説明する。
（１）農地におけるイベント検出
　農地の所定の観測領域に複数のセンサ（センサ部２７３を含む送信装置２５１、または、センサ２９３）が一定間隔で設置され、複数のセンサそれぞれは、害虫発生や病気発生等の異常を検出する。送信装置２５１または２９１は、イベントとしての農地の異常の検出結果に応じて、撮像指示を衛星２１へ送信する。衛星２１は、例えば、RGBの撮像や、NDVI等の植生指標のためのR（Red）とIR（Infrared）の撮像などを行う。撮像指示に付加される要求撮像対象位置には、異常を検出したセンサのセンサ検出範囲が割り当てられる。撮像指示を受信した衛星２１は、複数のセンサが配置された観測領域のうち、異常が発生したセンサのセンサ検出範囲のみを撮像してもよいし、観測領域全体を広域撮像してもよい。また、ズーム等の撮像条件を変更し、異常を検出したセンサのセンサ検出範囲の撮像と観測領域全体の広域撮像の両方を行ってもよい。
　異常の検出ではなく、育成状況確認のための所定状況の発生、例えば地表が所定の環境状態になったこと（例えば、地表の温度が所定の温度となったこと）や、植物の光合成量や生育状況が所定状態になったこと、発芽を検出したこと等をトリガとして、衛星２１に撮影指示を行うこともできる。
（２）海洋におけるイベント検出
　例えば、センサ部２７３を含む送信装置２５１を内蔵したブイが、海洋の調査対象海域に放流される。センサ部２７３は、魚群の探知、海水温、海流速度、または、風速などの所定条件を検出し、送信装置２５１が、イベントの検出結果に基づいて撮像指示を衛星２１に送信する。撮像指示の撮像関連情報には、要求撮像条件、要求撮像対象位置、イベント発生時刻などが含まれる。夜間の状態を撮像可能な衛星２１は限られるため、要求撮像条件に基づいて衛星２１が選定され、撮像画像に基づいて、撮像対象海域の状況が分析される。
（３）無人地帯の観測
　森林、山岳、砂漠等の無人地帯に、センサ（センサ部２７３を含む送信装置２５１、または、センサ２９３）が設置され、気候条件の変化、観測対象の生物の検出、森林火災などの異常が検出される。衛星２１は、送信装置２５１または２９１からの撮像指示に基づいて、撮像を行う。撮像画像に基づいて、無人地帯の状況が分析される。
（４）事故観測
　例えば、飛行機のブラックボックスや船舶に送信装置２５１が搭載され、飛行機の墜落、船舶の座礁、オイルタンカーの漏出などの有事の際に、送信装置２５１が撮像指示を送信する。衛星２１は、有事発生場所を速やかに撮像し、地上局１５へ送信する。
（５）登山者遭難
　登山者等が送信装置２５１を携帯し、遭難時に、検出イベント種類として救難信号を含み、要求撮像対象位置として遭難発生場所を含む撮像関連情報を付加した撮像指示が、送信装置２５１から衛星２１へ送信される。衛星２１は、撮像指示に基づいて、遭難発生場所の撮像を行い、地上局１５へ送信する。
（６）パイプラインのエミッションコントロール
　パイプラインに所定の間隔でセンサが付され、漏出の発生が監視される。漏出が検出された場合には、衛星２１に対して撮像指示が送信される。要求撮像条件として、例えばIRバンドによる熱検出が可能な衛星２１など、漏出検出が可能な衛星２１を指定する撮像関連情報が付加された撮像指示が送信され、要求を満たす衛星２１が撮像を行う。撮像された撮像画像に基づき、漏出地域の漏出状況を速やかに観測することができる。特に、パイプラインからの流出が人的原因による場合、事象発生後の速やかな観測が有効である。
（７）その他
　地上に配置されたセンサ２９３をトリガとした撮像画像はあくまで一次情報とし、その撮像画像と他の画像とを組み合わせて画像解析等が行われてもよい。例えば、センサ２９３からのトリガによる撮像画像は、撮像タイミングを優先して、低性能の衛星２１が、速やかに撮像を行う。その後、衛星群管理装置１１が、さらに撮像能力の高い衛星２１のスケジューリングを行い、高解像かつ高精度の撮像を行う。衛星群管理装置１１は、低性能の衛星２１によって撮像された第１の撮像画像と、撮像能力の高い衛星２１によって撮像された第２の撮像画像を用いて分析を行う。衛星群管理装置１１は、例えば、差分情報に基づいて第１の撮像画像の高解像度化を行ったり、第１の撮像画像と第２の撮像画像の合成処理を行ってもよい。
　以上のように、センサを用いた衛星リモートセンシングによれば、地上で発生したイベントをセンサにより検出して、上空の衛星２１に、直接、撮像指示を行うことができる。特に、海洋などのインターネット未接続地域に設置されたセンサからでも、直接、衛星に撮像指示したり、衛星を介して、他の衛星に撮像指示することができる。例えば、広大な地域内の特定の場所で発生するイベントを即座に検出し、撮像を行わせることができるので、労力を大幅に削減することができる。
＜１５．コンピュータ構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
　入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　画像処理装置が、
　人工衛星により撮像された撮像画像にメタデータとして関連付けられた前記人工衛星を特定する衛星特定情報に基づいて、所定の画像処理を行う
　画像処理方法。
（２）
　前記衛星特定情報は、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を含む
　前記（１）に記載の画像処理方法。
（３）
　前記相対位置情報は、前記衛星群を構成する各衛星の配列順と衛星間の距離を含む
　前記（２）に記載の画像処理方法。
（４）
　衛星群を構成する複数の前記人工衛星の前記衛星特定情報に基づいて、複数の前記人工衛星により撮像された複数の撮像画像の画像処理を行う
　前記（１）乃至（３）のいずれかに記載の画像処理方法。
（５）
　前記複数の撮像画像を用いて高解像度化処理を行う
　前記（４）に記載の画像処理方法。
（６）
　前記複数の撮像画像を用いて、３次元計測処理を行う
　前記（４）または（５）に記載の画像処理方法。
（７）
　同一位置から時間差で撮像された前記複数の撮像画像を用いて、変化を抽出する処理を行う
　前記（４）乃至（６）のいずれかに記載の画像処理方法。
（８）
　複数の前記人工衛星の撮像装置は、同一性能の撮像装置で構成される
　前記（４）乃至（７）のいずれかに記載の画像処理方法。
（９）
　複数の前記人工衛星の撮像装置は、異なる性能の撮像装置で構成される
　前記（４）乃至（７）のいずれかに記載の画像処理方法。
（１０）
　人工衛星により撮像された撮像画像のメタデータのデータ構造であって、
　前記メタデータは、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を少なくとも含み、
　画像処理装置が行う前記撮像画像の画像処理に用いられる
　メタデータのデータ構造。
　１　衛星画像処理システム，　１１　衛星群管理装置，　１３　通信装置，　１４　アンテナ，　１５　地上局（基地局），　２１　衛星，　３１　衛星群，　４１　情報提供サーバ，　４２　画像解析サーバ，　１０１　管理部，　１１１　撮像装置，　２１１　制御部，　２２２　制御部，　２３１　制御部，　２５０　イベント検出領域，　２５１　送信装置，　２７１　送信部，　２７２　制御部，　２７３　センサ部，　２９１　送信装置，　２９２　制御装置，　２９３　センサ，　３０１　CPU，　３０２　ROM，　３０３　RAM，　３０６　入力部，　３０７　出力部，　３０８　記憶部，　３０９　通信部，　３１０　ドライブ

Claims (10)

  1. 　画像処理装置が、
    　人工衛星により撮像された撮像画像にメタデータとして関連付けられた前記人工衛星を特定する衛星特定情報に基づいて、所定の画像処理を行う
    　画像処理方法。
  2. 　前記衛星特定情報は、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を含む
    　請求項１に記載の画像処理方法。
  3. 　前記相対位置情報は、前記衛星群を構成する各衛星の配列順と衛星間の距離を含む
    　請求項２に記載の画像処理方法。
  4. 　衛星群を構成する複数の前記人工衛星の前記衛星特定情報に基づいて、複数の前記人工衛星により撮像された複数の撮像画像の画像処理を行う
    　請求項１に記載の画像処理方法。
  5. 　前記複数の撮像画像を用いて高解像度化処理を行う
    　請求項４に記載の画像処理方法。
  6. 　前記複数の撮像画像を用いて、３次元計測処理を行う
    　請求項４に記載の画像処理方法。
  7. 　同一位置から時間差で撮像された前記複数の撮像画像を用いて、変化を抽出する処理を行う
    　請求項４に記載の画像処理方法。
  8. 　複数の前記人工衛星の撮像装置は、同一性能の撮像装置で構成される
    　請求項４に記載の画像処理方法。
  9. 　複数の前記人工衛星の撮像装置は、異なる性能の撮像装置で構成される
    　請求項４に記載の画像処理方法。
  10. 　人工衛星により撮像された撮像画像のメタデータのデータ構造であって、
    　前記メタデータは、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を少なくとも含み、
    　画像処理装置が行う前記撮像画像の画像処理に用いられる
    　メタデータのデータ構造。
PCT/JP2020/021284 2019-06-12 2020-05-29 画像処理方法、および、メタデータのデータ構造 WO2020250706A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/616,406 US20220327820A1 (en) 2019-06-12 2020-05-29 Image processing method and data structure of metadata
JP2021525989A JPWO2020250706A1 (ja) 2019-06-12 2020-05-29

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019109282 2019-06-12
JP2019-109282 2019-06-12

Publications (1)

Publication Number Publication Date
WO2020250706A1 true WO2020250706A1 (ja) 2020-12-17

Family

ID=73781993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021284 WO2020250706A1 (ja) 2019-06-12 2020-05-29 画像処理方法、および、メタデータのデータ構造

Country Status (3)

Country Link
US (1) US20220327820A1 (ja)
JP (1) JPWO2020250706A1 (ja)
WO (1) WO2020250706A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989558A (ja) * 1995-09-28 1997-04-04 Mitsubishi Electric Corp 地球形状計測装置
JPH11255200A (ja) * 1998-02-16 1999-09-21 Oerlikon Contraves Ag Ｌｅｏネットワ―ク衛星の軌道位置確定方法
JP2000235074A (ja) * 1999-02-15 2000-08-29 Nec Corp 合成開口レーダシステム
US20090179792A1 (en) * 2008-01-14 2009-07-16 Benjamin William Remondi Conveying orbit information via ambiguous position information
WO2017195858A1 (ja) * 2016-05-13 2017-11-16 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
CN108008380A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于卫星编队的微波凝视关联成像方法及系统
CN109635068A (zh) * 2018-12-20 2019-04-16 中国地质大学（武汉） 云计算环境下的海量遥感数据高效组织及快速检索方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001074081A1 (en) * 2000-03-29 2001-10-04 Astrovision International, Inc. Direct broadcast imaging satellite system apparatus and method
WO2010097921A1 (ja) * 2009-02-26 2010-09-02 三菱電機株式会社 移動体撮像システム及び移動体及び地上局装置及び移動体撮像方法
US9722692B1 (en) * 2016-10-19 2017-08-01 Vector Launch Inc. Statefulness among clustered satellite platforms
US10805001B2 (en) * 2016-10-19 2020-10-13 Lockheed Martin Corporation State transfer among spaceborne and airborne devices
WO2019075305A1 (en) * 2017-10-13 2019-04-18 Elwha Llc CONSTELLATION OF SATELLITES COMPRISING IMAGE EDGE PROCESSING
DE102018207265A1 (de) * 2018-05-09 2019-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Korrelation thermischer satellitenbilddaten zur generierung räumlich hochaufgelöster wärmekarten
EP3971612B1 (en) * 2019-05-14 2024-03-13 Mitsubishi Electric Corporation Formation flight control device, observation satellite, ground station, formation flight system, sand observation system, formation flight control method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989558A (ja) * 1995-09-28 1997-04-04 Mitsubishi Electric Corp 地球形状計測装置
JPH11255200A (ja) * 1998-02-16 1999-09-21 Oerlikon Contraves Ag Ｌｅｏネットワ―ク衛星の軌道位置確定方法
JP2000235074A (ja) * 1999-02-15 2000-08-29 Nec Corp 合成開口レーダシステム
US20090179792A1 (en) * 2008-01-14 2009-07-16 Benjamin William Remondi Conveying orbit information via ambiguous position information
WO2017195858A1 (ja) * 2016-05-13 2017-11-16 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
CN108008380A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于卫星编队的微波凝视关联成像方法及系统
CN109635068A (zh) * 2018-12-20 2019-04-16 中国地质大学（武汉） 云计算环境下的海量遥感数据高效组织及快速检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
(DOIHARA, TAKASHI: "Working onImagery in ISO/TC211", PAPERS AND PROCEEDINGS OF THE GEOGRAPHIC INFORMATION SYSTEMS ASSOCIATION, vol. 18, 15 October 2009 (2009-10-15), pages 593 - 596 *

Also Published As

Publication number Publication date
US20220327820A1 (en) 2022-10-13
JPWO2020250706A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
WO2020250707A1 (ja) 衛星システムの撮像方法、および、送信装置
WO2020250709A1 (ja) 人工衛星およびその制御方法
CA3067604C (en) System and method for widespread low cost orbital satellite access
JP5767731B1 (ja) 空撮映像配信システムおよび空撮映像配信方法
AU2011314338B2 (en) Real-time moving platform management system
KR20170138225A (ko) 일정 위치를 중심으로 정지 혹은 순회 비행하는 드론 기반의 국토 실시간 영상정보 획득 시스템 및 방법
Mukherjee et al. Unmanned aerial system for post disaster identification
WO2022107619A1 (ja) データ解析装置および方法、並びに、プログラム
WO2020250708A1 (ja) 画像管理方法、および、メタデータのデータ構造
KR102104003B1 (ko) 무인기 통합관제와 임무장비 센서데이터 획득을 이용한 공간정보 빅 데이터 플랫폼 구축 시스템
US20230079285A1 (en) Display control device, display control method, and program
US20230015980A1 (en) Image generation device, image generation method, and program
WO2020250706A1 (ja) 画像処理方法、および、メタデータのデータ構造
WO2022138182A1 (ja) 人工衛星および地上システム
WO2022138181A1 (ja) 地上システムおよびその画像処理方法
US20030114173A1 (en) System and method of rapidly obtaining, processing, and disseminating geospatial data
Kaňuk et al. Technical report: unmanned helicopter solution for survey-grade LiDAR and hyperspectral mapping
Toschi et al. Geomatics mapping of natural hazards: overview and experiences
Gleyzes et al. Pleiades system fully operational in orbit
US20240029391A1 (en) Sensor device and data processing method thereof
Barua SATCOM, The Future UAV Communication Link
McKeown et al. Demonstration of delivery of orthoimagery in real time for local emergency response
Guo et al. Other Earth Observation Satellites

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823364

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021525989

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20823364

Country of ref document: EP

Kind code of ref document: A1