WO2022264473A1 - 学習モデル、信号処理装置、飛翔体、及びプログラム - Google Patents

学習モデル、信号処理装置、飛翔体、及びプログラム Download PDF

Info

Publication number
WO2022264473A1
WO2022264473A1 PCT/JP2022/002203 JP2022002203W WO2022264473A1 WO 2022264473 A1 WO2022264473 A1 WO 2022264473A1 JP 2022002203 W JP2022002203 W JP 2022002203W WO 2022264473 A1 WO2022264473 A1 WO 2022264473A1
Authority
WO
WIPO (PCT)
Prior art keywords
received signal
information
learning model
signal
meta information
Prior art date
Application number
PCT/JP2022/002203
Other languages
English (en)
French (fr)
Inventor
成生 金本
成樹 葛岡
亮 齋藤
Original Assignee
株式会社スペースシフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社スペースシフト filed Critical 株式会社スペースシフト
Priority to CN202280003550.1A priority Critical patent/CN115485742B/zh
Priority to EP22800560.9A priority patent/EP4138036A1/en
Priority to CA3180339A priority patent/CA3180339A1/en
Priority to US17/799,559 priority patent/US20240027580A1/en
Publication of WO2022264473A1 publication Critical patent/WO2022264473A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to learning models, signal processing devices, flying objects, and programs.
  • Observation of the state of the earth's surface, including the ground and the sea, using flying objects such as satellites, aircraft, and drone devices is widely carried out.
  • Observation methods using artificial satellites include observation methods that acquire optical images, radar images that are obtained using synthetic aperture radar (SAR: Synthetic Aperture Radar) technology, observation methods that acquire so-called SAR images, Alternatively, there is an observation method in which an optical image and an SAR image are obtained and both images are combined.
  • SAR Synthetic Aperture Radar
  • Japanese Patent Laid-Open No. 2004-100000 discloses a feature information reading image generation method for generating a composite image in which a radar image such as an SAR image and an optical image are combined so that the feature can be easily discriminated.
  • SAR images are generated based on signals (hereinafter referred to as received signals) corresponding to microwaves (electromagnetic waves) emitted from a satellite equipped with a radar device to an observation target and reflected by the observation target. be done.
  • a SAR image is generated by performing a predetermined compression process on a received signal.
  • the received signal is filtered in the frequency domain to remove some of the data of the received signal. Filtering reduces the amount of data in the received signal to be compressed and reduces the computational burden of the compression process. On the other hand, removal of the received signal by filtering can result in missing or false detection of information detectable from the received signal. Lack of information or false detection affects the accuracy or accuracy of observation of the situation of the observation target or the surrounding environment of the observation target.
  • the present invention provides a learning model, a signal processing device, a flying object, and a program that enable highly accurate or accurate observation of the status of an observation target or the environment surrounding the observation target. With the goal.
  • a learning model receives as an input a first received signal based on reflected electromagnetic waves that are reflected from an electromagnetic wave irradiated to a first target region, and has a predetermined item corresponding to the first received signal.
  • a second received signal based on a reflected electromagnetic wave that is learned using teacher data whose output is 1 meta information and that is the reflected electromagnetic wave irradiated to the second target area is input, and corresponding to the second received signal, a predetermined Output second meta information having items.
  • the learning model learns and operates so as to output meta information corresponding to the received signal in response to the input of the received signal.
  • this learning model it is possible to acquire meta-information including, for example, the total number of moving objects and buildings in the target area based on the received signal. Since it is possible to obtain meta information from the received signal without using the SAR image, for example, the information contained in the received signal is not lost. Therefore, it is possible to observe the meta information indicating the status of the observation object with high precision or accuracy.
  • the learning model receives the first received signal and the first generated signal generated based on the first received signal as input, and learns using teacher data having the first meta information as output.
  • a second generated signal generated based on the signal and the second received signal may be input and output second meta information.
  • the teacher data in the learning model further includes the first generated signal generated based on the first received signal.
  • the first generated signal is, for example, a signal (SAR signal) for generating an SAR image based on the first received signal.
  • SAR signal a signal for generating an SAR image based on the first received signal.
  • the learning model receives the first received signal and information indicating the environment in the first target region as input and is trained using teacher data having the first meta information as output, and learns the second received signal and the second target region.
  • Information indicating the environment in the area may be input and second meta information may be output.
  • the teacher data in the learning model further includes information indicating the environment in the first target area.
  • the information indicating the environment in the first target area is, for example, weather conditions such as weather in the first target area, or environmental conditions caused by human factors such as smoke.
  • the learning model is trained using teacher data outputting first meta information including information indicating the environment in the first target area, and second meta information including information indicating the environment in the second target area. may be output.
  • the learning model it is possible to acquire information indicating the environment in the second target area, which is the environment around the observation target. Therefore, it is possible to observe the environment around the observation object with high precision or accuracy.
  • a signal processing device inputs the second received signal to a storage unit storing the learning model of the above aspect, a signal acquiring unit that acquires the second received signal, and the learning model, an estimation unit that estimates the second meta information.
  • this aspect it is possible to acquire the signal and estimate the second meta information using the learning model with the signal processing device alone. This makes it possible to estimate meta information using a learning model even in an environment with certain restrictions on communication with the outside, such as the space above the earth. situation can be observed with high precision or accuracy.
  • the estimating unit inputs the second received signal at the first time and the second received signal at the second time to the learning model of the above aspect, and the second received signal at the first time estimating the second meta information at the first time corresponding to the signal and the second meta information at the second time corresponding to the second received signal at the second time;
  • a change determination unit that determines a change in the second target region based on the second meta information at the second time may also be provided.
  • the signal processing device can determine the change in the second target region while observing the situation of the observation target or the surrounding environment of the observation target with high accuracy or high accuracy.
  • the signal processing device may further include a change information output unit that outputs change information indicating the change when the determined change satisfies a predetermined condition.
  • the signal processing device when the change satisfies a predetermined condition, the signal processing device outputs the content of the change as change information in addition to the presence or absence of the change. This allows the details of the change to be obtained by an external device.
  • the signal processing device outputs the change information as necessary based on the conditions, so that the amount of communication between the signal processing device and the outside and power consumption required for communication in the signal processing device can be suppressed.
  • a flying object in another aspect, includes a storage unit storing the learning model of the aspect described above, a signal acquiring unit that acquires the second received signal, and a second received signal that is input to the learning model.
  • the flying object it is possible for the flying object to estimate the second meta information using the learning model by itself.
  • a flying object placed in an environment with certain restrictions on communication with the outside can estimate the second meta information without communication with the outside.
  • the flying object can output the second meta-information itself or output information including information indicating changes in the second meta-information to the outside. This makes it possible to transmit the second meta-information equivalent to the meta-information observed based on the SAR data to the outside without transmitting large-capacity data such as SAR data to the outside.
  • the amount of communication between the flying object and the outside and the power consumption required for communication by the flying object can be suppressed.
  • the program includes a signal acquisition process for acquiring a second received signal input to a storage unit storing the learning model of the above aspect, and inputting the second received signal to the learning model. and an estimation process of estimating the second meta information. This makes it possible for the computer to observe the meta-information indicating the status of the object to be observed with high precision or accuracy.
  • the program may cause the computer to further execute signal output processing for outputting an output signal based on the second meta information to the outside.
  • signal output processing for outputting an output signal based on the second meta information to the outside.
  • the present invention it is possible to provide a learning model, a signal processing device, a flying object, and a program that enable appropriate observation of the situation of an observation target or the surrounding environment of the observation target.
  • FIG. 1 is a block diagram of an observation system according to this embodiment;
  • FIG. It is a figure explaining the learning model which concerns on this embodiment. It is a figure explaining learning of the learning model concerning this embodiment. It is a figure explaining an example of the information used for learning of the learning model concerning this embodiment. It is a figure explaining an example of the information used for learning of the learning model concerning this embodiment.
  • FIG. 4 is a diagram for explaining correspondence of teacher data used for learning of a learning model according to the present embodiment; 4 is a flowchart for explaining processing in the flying object according to the embodiment; It is a figure explaining estimation of the meta information by the signal processing apparatus which concerns on this embodiment. It is a figure explaining an example of the meta information estimated by the signal processing apparatus which concerns on this embodiment.
  • FIG. 10 is a diagram illustrating another aspect of learning and estimation of a learning model; It is a block diagram which shows the other aspect of an observation system.
  • FIG. 1 shows a block diagram of an observation system 10 according to this embodiment.
  • the observation system 10 includes a flying object 100 and an observation device 200 .
  • the flying object 100 is placed in the space above the earth, and the observation device 200 is placed on the earth.
  • a flying object 100 observes a target area D on the surface of the earth by radar, and an observation signal O processed by the flying object 100 is transmitted to the observation device 200 .
  • the observation signal O is, for example, a received signal acquired by the flying object 100 or meta information corresponding to the received signal, which will be described later.
  • a flying object 100 includes a communication antenna 101 , a radar device 102 , and a signal processing device 103 .
  • the flying object 100 is an artificial satellite capable of acquiring and processing received signals, is placed in outer space, and orbits the earth. Note that the flying object 100 may be a geostationary satellite. Also, the flying object 100 may be any device that can be positioned above the earth, such as an aircraft, a helicopter, or a drone device.
  • the communication antenna 101 is an antenna for the flying object 100 to communicate with an external device installed on the earth or in outer space.
  • the radar device 102 is a device that irradiates a target area D on the earth's surface with an electromagnetic wave EM1, which is, for example, a microwave, and acquires a reflected electromagnetic wave EM2 in which the electromagnetic wave EM1 is reflected by an observation target in the target area D.
  • the radar device 102 is, for example, a synthetic aperture radar (SAR).
  • SAR synthetic aperture radar
  • the reflected electromagnetic wave EM2 is processed and recorded by the radar device 102 as a received signal (RAW data) based on variations in the electromagnetic wave that can be handled by the flying object 100 .
  • the received signal is recorded, for example, as a signal intensity for each predetermined coordinate of the target area D.
  • FIG. Radar device 102 transmits observation signal O to observation device 200 through communication antenna 101 .
  • the radar device 102 includes a processor for controlling the reception signal acquisition process and a storage device for storing programs necessary for the control.
  • the signal processing device 103 is an information processing device that processes received signals acquired by the radar device 102 .
  • the signal processing device 103 is a computer that has a storage area such as a memory and performs predetermined processing by causing a processor to execute a program stored in the storage area.
  • the signal processing device 103 has a storage unit 104 and a control unit 105 .
  • the storage unit 104 is, for example, a semiconductor memory such as a RAM, or an optical disc.
  • the storage unit 104 stores various information used for processing in the signal processing device 103 .
  • a learning model 1041 is stored in the storage unit 104 .
  • the learning model 1041 is a program trained to receive a received signal and output meta information corresponding to the received signal. Details of the meta information and the learning model 1041 will be described later.
  • the control unit 105 performs signal processing in the signal processing device 103 . Also, the control unit 105 controls transmission of the processing result of the received signal through the flying object 100 .
  • the control unit 105 has a signal acquisition unit 1051 , an estimation unit 1052 , a signal output unit 1053 , a change determination unit 1054 and a change information output unit 1055 .
  • a signal acquisition unit 1051 acquires a received signal from the radar device 102 .
  • the estimation unit 1052 inputs the received signal acquired by the signal acquisition unit 1051 to the learning model 1041 and acquires meta information corresponding to the received signal.
  • the signal output unit 1053 outputs the meta information acquired by the estimation unit 1052 as an observation signal O to the observation device 200 through the communication antenna 101 . Further, the signal output unit 1053 may output the received signal corresponding to the meta information as the observed signal O together with the meta information.
  • the change determination unit 1054 determines the state of the observation target in the target region D or the change in the environment around the observation target based on a plurality of pieces of meta information corresponding to the received signals acquired from the target region D at different times. do.
  • the change information output unit 1055 outputs change information indicating the change when the change determined by the change determination unit 1054 satisfies a predetermined condition.
  • the change information is, for example, information from which changed meta information is extracted from the meta information, or information indicating the range of the target area D in which the change has occurred. Processing by the change determination unit 1054 and the change information output unit 1055 will be described later.
  • the observation device 200 is a device that transmits to the flying object 100 a control signal for controlling observation of the target region D by the flying object 100 and acquires an observation signal O from the flying object 100 .
  • the observation device 200 has a communication unit 201 including an antenna and a control unit that controls communication by the antenna. Transmission and reception of information with the flying object 100 is performed through the communication unit 201 .
  • the signal processing unit 202 processes the observation signal O from the flying object 100 .
  • the signal processing unit 202 performs processing for visualizing, for example, the observation result in the target region D based on the observation signal O acquired from the flying object 100, using an image.
  • FIG. 2 is a diagram schematically explaining the learning and estimation of the learning model 1041.
  • the learning model 1041 is learned using the learning data LD as teacher data.
  • the learning data LD includes a received signal R0 (first received signal) obtained by irradiating an electromagnetic wave to a certain target region (first target region) and meta information MD0 (first meta information) corresponding to the received signal R0. contains a set of The learning model 1041 is trained with the received signal R0 as an input and the meta information MD0 as an output.
  • the received signal R0 is converted into SAR data in order to associate the meta information MD0 with the received signal R0.
  • the received signal R0 does not become information that the user of the observation device 200 can understand unless it undergoes a predetermined conversion process.
  • SAR data conversion processing is performed by the observation device 200, for example. By performing analysis processing and visualization processing based on the SAR data, the user can understand the observation results based on the received signal R0.
  • the SAR data has multiple levels according to the content of the conversion of the received signal R0.
  • the SAR data includes, for example, first level SAR data obtained by performing range compression and single-look azimuth compression on the received signal R0.
  • the first level SAR data is complex number information and includes amplitude information and phase information of the reflected electromagnetic wave EM2 in the target region D.
  • FIG. By visualizing the SAR data of the first level as a SAR image, it becomes possible for the user to understand the content of the received signal R0.
  • SAR data there is also second-level SAR data obtained by performing range compression and multi-look azimuth compression on the received signal R0.
  • the second level SAR data allows the geometrically corrected SAR image visualization of the received signal R0.
  • SAR data there is also third-level SAR data obtained by performing range compression, single-look azimuth compression, and orthorectification on the received signal R0. By adding orthorectification, a SAR image can be obtained that can be superimposed with the optical image.
  • the user can understand the observation results in the target area D.
  • the user can associate the meta information MD0 with the received signal R0 as information indicating the meaning of the observation result.
  • the computer may associate the received signal with the meta information after associating the meta information with the SAR image using a learning model for associating the SAR image with the meta information.
  • Meta information M0 is, for example, information about ships and sea conditions when observing ships on the sea. Specifically, as ship information, information corresponding to the items of position, length, and type is acquired from the SAR image. In addition, it is possible to acquire the velocity of the vessel using phase information based on SAR data having complex number components. In addition, as information about sea conditions, wind direction and wind speed on the sea can be obtained based on SAR data. The wind direction and speed over the sea are estimated based on correlations calculated based on the backscatter coefficients of the SAR data and the actually measured wind direction and speed data. The backscattering coefficient is a coefficient based on the intensity of the electromagnetic waves returning in the irradiation direction among the irradiated electromagnetic waves scattered on the surface of the target area.
  • the ship-related meta information MD0 may include AIS information such as position, ship name, ship flag, and overall length obtained from a system called AIS (Automatic Identification System).
  • the meta information MD0 may be generated based on the AIS information when the received signal R0 was acquired.
  • the wind direction, wind speed, and weather acquired from buoys provided on the ocean may be used as the meta information MD0.
  • the meta information MD0 has various items depending on the observation target.
  • Meta-information for moving objects on land such as automobiles and animals, includes information on the locus of movement of the moving objects.
  • the information is obtained from changes in SAR data due to changes in reflected electromagnetic wave interference caused by moving objects.
  • the meta information may include a movement trajectory based on a GPS device attached to the mobile object.
  • the range of the flooded area may be acquired as a low-brightness area in the SAR image as meta information.
  • the meta-information may include the extent of flooded areas based on optical images acquired by aircraft or satellites.
  • the degree of growth of crops may be used as meta information for managing crops.
  • the crop growth rate is estimated based on a correlation calculated based on the backscatter coefficients of the SAR data and the actually observed crop growth rate.
  • the meta-information may include spectral reflectance characteristics obtained by optical measurement and actually measured crop height information.
  • information related to new buildings may be used as meta information.
  • the new building information is estimated based on correlations calculated based on the backscatter coefficients of the SAR data and the actually observed new building information.
  • building information detected from the optical image or information on the new building may be acquired from the map information.
  • information about the type of building may be acquired based on a map or the like and used as meta information.
  • Electromagnetic wave simulation can be used to associate the meta-information with the received signal.
  • electromagnetic radiation and reflection can be simulated to generate received signals and SAR data.
  • the conditions in the simulation model such as the number of vessels, the shape of the vessels, and the locus of the position of the moving object, become meta information associated with the generated received signal and SAR data.
  • a received signal R1 (second received signal) acquired by the flying object 100 based on the electromagnetic wave irradiated to another target region (second target region) by the flying object 100 is input to the trained learning model 1041. Then, learning model 1041 outputs meta information MD1 (second meta information) corresponding to received signal R1.
  • the learning model 1041 may receive additional information when the received signal R1 was acquired in addition to the received signal R1, and may output meta information MD1.
  • meta information MD0 For example, in the ship example above, AIS information and information from buoys located offshore may be additional information.
  • learning model 1041 is learned using meta information MD0 based on SAR data and additional information including AIS information and information from buoys provided on the sea.
  • AIS information or information from a buoy provided on the sea is input to the learning model 1041 as additional information.
  • meta-information may be observed with higher precision or accuracy.
  • FIG. 1 a learning model capable of estimating a marine condition, which is a ship on the sea and the environment around the ship, will be described as an example.
  • the SAR image IG1 in the target region D is generated based on the received signal R0 corresponding to the target region D. Vessels S31, S32, and S33 are detected in the SAR image IG1.
  • meta-information MD01 including first ship information about ships and first sea-state information about sea-states is obtained from SAR image IG1.
  • Meta information MD01 is associated with received signal R0.
  • the item "ship ID" in the first ship information and the second ship information described later is arbitrary information used to identify the ship in the meta information MD01.
  • the meta information MD02 as shown in FIG. 5 is acquired.
  • the meta-information MD02 includes second ship information about the ship and second sea state information about the sea state.
  • the second ship information and the second sea state information have items different from the first ship information and the second sea state information.
  • Meta information MD02 is associated with received signal R0.
  • the meta information MD02 indicates that the vessel S34 exists in the target area D in addition to the vessels S31 to S33.
  • meta information MD0 associated with received signal R0 is prepared based on meta information MD1 and meta information MD2.
  • the meta information MD0 includes third ship information based on the first ship information so as to have items similar to those of the first ship information regarding ships.
  • the meta-information MD0 includes the third sea state information based on the second sea state information so as to have items similar to those of the second sea state information.
  • the meta information MD0 used for model generation can be generated by combining the meta information MD01 based on the SAR image and the meta information MD02 based on information from other devices.
  • either the meta information MD01 or the meta information MD02 may be used as it is as the meta information MD0.
  • the learning model 1041 is learned by a general machine learning method such as a method using a neural network, using the learning data LD prepared as described above. Note that the learning model 1041 may be configured as a single learning model, or may be configured as a learning model combining a plurality of learning models.
  • FIG. 7 The processing by the flying object 100 will be described with reference to FIGS. 7 to 9.
  • FIG. 7 The processing by the flying object 100 will be described with reference to FIGS. 7 to 9.
  • the radar device 102 irradiates the target area D with the electromagnetic wave EM1.
  • the irradiation timing may be the timing controlled by the observation device 200 or the timing specified in advance in the flying object 100 .
  • step S702 the signal acquisition unit 1051 acquires from the radar device 102 the reception signal R1 based on the reflected electromagnetic wave EM2 detected by the radar device 102.
  • step S703 the estimation unit 1052 inputs the received signal R1 to the learning model 1041.
  • estimating section 1052 may input to learning model 1041 additional information when received signal R1 was acquired, in addition to received signal R1.
  • step S704 the estimation unit 1052 acquires the meta information MD1 corresponding to the received signal R1 from the learning model 1041.
  • step S705 the signal output unit 1053 outputs an output signal based on the meta information MD1 to the observation device 200.
  • An output signal based on the meta information MD1 is a signal that conveys all of the meta information MD1 or part of the meta information MD1.
  • the output signal may be a signal that conveys information as a result of processing information on meta information.
  • the received signal R1 is information that can be converted into SAR data indicating the state shown in the SAR image IG3.
  • the meta information generated based on the SAR image IG3 includes information about the ships S81 to S83.
  • the actual situation is the situation shown in the correct image IG4. That is, the information about the ship S84 is missing due to the conversion of the received signal R1 into SAR data.
  • the signal processing device 103 can input the received signal R1 to the learning model 1041 and acquire meta information MD1 as shown in FIG.
  • the meta information MD1 includes information indicating four ships. That is, the signal processing device 103 can detect meta information that cannot be detected from SAR data.
  • meta information can be estimated without being affected by conversion of SAR data.
  • meta-information can be appropriately estimated even if an erroneous detection occurs such that an object that should not be detected in the SAR image is detected as a false image.
  • FIG. 10 describes detection of changes in meta information about buildings.
  • the building is laid out as shown in the layout image IG5.
  • a building is arranged in the same area as shown in the arrangement image IG6.
  • the layout images IG5 and IG6 are, for example, optical images or SAR images obtained by observing the building from above from the air or space.
  • the layout images IG5 and IG6 have predetermined areas A01 to A04. As shown in the layout image IG6, a new building NB is constructed in the area A03 at time T2.
  • the learning model 1041 is learned so as to output building information, which is the number of buildings for each region, as meta information in response to the input of the received signal.
  • FIG. 11 shows a flowchart of processing by the flying object 100.
  • step S1101 the radar device 102 irradiates the target area with electromagnetic waves at time T1.
  • step S1102 the signal acquisition unit 1051 acquires from the radar device 102 the reception signal R3 based on the reflected electromagnetic wave detected by the radar device 102.
  • Received signal R3 may be stored in storage unit 104 .
  • step S1103 the estimation unit 1052 inputs the received signal R3 to the learning model 1041.
  • step S1104 the estimation unit 1052 acquires the meta information MD3 corresponding to the received signal R3 from the learning model 1041.
  • Meta information MD3 may be stored in storage unit 104 .
  • step S1105 the radar device 102 irradiates the target area with electromagnetic waves at time T2.
  • step S1106 the signal acquisition unit 1051 acquires from the radar device 102 the reception signal R4 based on the reflected electromagnetic wave detected by the radar device 102.
  • step S ⁇ b>1107 the estimation unit 1052 inputs the received signal R ⁇ b>4 to the learning model 1041 .
  • step S1108 the estimation unit 1052 acquires meta information MD4 corresponding to the received signal R4 from the learning model 1041.
  • step S1109 the change determination unit 1054 determines a change in the target area based on the meta information MD3 and the meta information MD4.
  • the change determination unit 1054 determines that there is a change in the number of buildings.
  • the change information output unit 1055 determines whether the change satisfies a predetermined condition.
  • the predetermined condition is a determination result as to whether or not there is a change, and a condition relating to the specific content of the change.
  • the condition may be that there is a change in a certain area, or that the number of buildings increases or decreases in any area.
  • the condition is that a change in which the number of buildings increases occurs in one of the areas.
  • the change information output unit 1055 determines that the change satisfies a predetermined condition.
  • the change information output unit 1055 outputs information indicating the change to the observation device 200 as an output signal in step S1111. Note that if the predetermined condition is not satisfied, the process ends.
  • the output signal is, for example, a signal carrying meta information MD3 and MD4.
  • the output signal is a signal that extracts meta information about the changed area A03 and conveys the extracted meta information.
  • it may be a signal that conveys information on coordinates indicating in more detail a portion where a change has occurred in the area A03 determined to have a change.
  • the flying object 100 can detect changes in the target area based on highly accurate or accurate meta information based on the received signal. Therefore, change detection accuracy or accuracy is also improved.
  • the flying object 100 determines the change, and transmits to the observation device 200 the meta information itself or the information indicating the range of change only for the portion where the change has occurred, thereby reducing the amount of communication to the observation device 200. can be reduced. Thereby, the flying object 100 can suppress power consumption. This is advantageous for the flying object 100, which has limited power available due to the environment of the space above the earth.
  • FIG. 12 is a diagram schematically explaining learning and estimation of the learning model 1041A.
  • the learning model 1041A includes, as learning data LD, SAR data (first generated signal) generated based on the received signal R0 and additional information in addition to the received signal R0 and meta information MD0.
  • SAR data first generated signal
  • the received signal R1 SAR data (second generated signal) generated based on the received signal R1
  • additional information corresponding to the received signal R1 are input to the learning model 1041A. It is possible to estimate the meta information MD1 as follows.
  • the weather in the target area can be used as information indicating the environment in the target area when the received signal R0 was acquired.
  • information indicating the environment in the target region when the received signal R1 was acquired can be obtained from another device and included in the input of the learning model 1041A. As a result, it is possible to estimate the meta information MD1 with higher precision or accuracy.
  • FIG. 13 shows a block diagram showing the observation system 10A as another aspect.
  • the signal processing device 103 can also be provided so as to be included in the observation device 200A.
  • a reception signal acquired by the radar device 102 is transmitted to the observation device 200A by the control unit 1301 of the flying object 100A.
  • the above processing can also be performed by the signal processing device 103 of the observation device 200A.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

観測対象物の状況あるいは観測対象物の周囲の環境の適切な観測を可能にする、学習モデル、信号処理装置、飛翔体、及びプログラムを提供する。学習モデルは、第１対象領域に照射された電磁波が反射された反射電磁波に基づく第１受信信号を入力とし、第１受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、第２対象領域に照射された電磁波が反射された反射電磁波に基づく第２受信信号が入力され、第２受信信号に対応し、所定の項目を有する第２メタ情報を出力する。

Description

学習モデル、信号処理装置、飛翔体、及びプログラム
　本発明は、学習モデル、信号処理装置、飛翔体、及びプログラムに関する。
　人工衛星，航空機あるいはドローン装置などの飛翔体を使用した地上及び海上を含む地球表面の状態の観測が広く行われている。人工衛星による観測手法には、光学画像を取得して行われる観測手法、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）技術を使用して得られるレーダ画像いわゆるＳＡＲ画像を取得して行われる観測手法、あるいは光学画像とＳＡＲ画像とを取得し、両画像を組み合わせて行われる観測手法などがある。特許文献１には、ＳＡＲ画像等のレーダ画像と光学画像とが、地物の判別が容易になるように合成された合成画像を生成する地物情報判読用画像生成方法が示される。
特開２００９－０４７５１６号公報
　ＳＡＲ画像は、レーダ装置を搭載した人工衛星から観測対象物に照射されたマイクロ波（電磁波）が、観測対象物において反射された電磁波に応じた信号（以降、受信信号と呼ぶ）に基づいて生成される。ＳＡＲ画像は、受信信号に対して、所定の圧縮処理が行われることによって生成される。
　ＳＡＲ画像の生成における圧縮処理では、受信信号が周波数領域においてフィルタリングされ、受信信号のデータの一部が除かれる。フィルタリングによって、圧縮処理の対象となる受信信号のデータ量が減少し、圧縮処理における計算の負担が軽減される。一方で、フィルタリングによる受信信号の除去は、受信信号から検出可能な情報の欠落や情報の誤検出を生じ得る。情報の欠落や誤検出は、観測対象物の状況あるいは観測対象物の周囲の環境の観測における精度又は確度に対して影響を与える。
　そこで、本発明は、観測対象物の状況あるいは観測対象物の周囲の環境を高精度又は高確度に観測することを可能にする、学習モデル、信号処理装置、飛翔体、及びプログラムを提供することを目的とする。
　本発明の一態様に係る学習モデルは、第１対象領域に照射された電磁波が反射された反射電磁波に基づく第１受信信号を入力とし、第１受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、第２対象領域に照射された電磁波が反射された反射電磁波に基づく第２受信信号が入力され、第２受信信号に対応し、所定の項目を有する第２メタ情報を出力する。
　この態様によれば、学習モデルは、受信信号の入力に対して、当該受信信号に対応するメタ情報を出力するように学習され、動作する。この学習モデルを使用することにより、例えば、対象領域における移動体や建造物の個数の合計という項目を有するメタ情報を、受信信号に基づいて取得することが可能となる。受信信号から、例えばＳＡＲ画像を介さずに、メタ情報を取得することが可能となるため、受信信号に含まれる情報が欠落しない。よって、観測対象物の状況を示すメタ情報を高精度又は高確度に観測することが可能となる。
　上記態様において、学習モデルは、第１受信信号及び第１受信信号に基づいて生成された第１生成信号を入力とし、第１メタ情報を出力とする教師データを用いて学習され、第２受信信号及び第２受信信号に基づいて生成された第２生成信号が入力され、第２メタ情報を出力してもよい。
　この態様によれば、学習モデルにおける教師データには、第１受信信号に基づいて生成された第１生成信号がさらに含まれる。第１生成信号とは、例えば、第１受信信号に基づくＳＡＲ画像生成のための信号（ＳＡＲ信号）である。ＳＡＲ信号のように、受信信号に基づいて生成されるデータを入力にさらに含み、メタ情報を出力とする学習モデルを用いることで、ＳＡＲ信号の方が適切に対象物等のメタ情報を観測できる場合において、観測対象物の状況を高精度又は高確度に観測することが可能となる。
　上記態様において、学習モデルは、第１受信信号及び第１対象領域における環境を示す情報を入力とし、第１メタ情報を出力とする教師データを用いて学習され、第２受信信号及び第２対象領域における環境を示す情報が入力され、第２メタ情報を出力してもよい。
　この態様によれば、学習モデルにおける教師データには、第１対象領域における環境を示す情報がさらに含まれる。第１対象領域における環境を示す情報とは、例えば、第１対象領域における天候等の気象条件、あるいは、煙等の人為的要因によって発生する環境条件である。第２メタ情報の出力の際に、第２対象領域における環境を示す情報を含む入力を用いることで、第２メタ情報を高精度又は高確度に観測することが可能となる。
　上記態様において、学習モデルは、第１対象領域における環境を示す情報を含む第１メタ情報を出力とする教師データを用いて学習され、第２対象領域における環境を示す情報を含む第２メタ情報を出力するようにしてもよい。
　この態様による学習モデルを用いることで、観測対象物の周囲の環境である第２対象領域における環境を示す情報の取得が可能となる。よって、観測対象物の周囲の環境を高精度又は高確度に観測することが可能となる。
　また、他の態様において、信号処理装置は、上記態様の学習モデルが記憶された記憶部と、第２受信信号を取得する信号取得部と、学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定部と、を備える。
　この態様によれば、信号処理装置単体で、信号の取得及び学習モデルを用いた第２メタ情報の推定を行うことが可能となる。これにより、例えば、地球上空の空間のように外部との通信に一定の制約がある環境であったとしても、学習モデルを用いたメタ情報の推定が可能となり、信号処理装置は、観測対象物の状況を高精度又は高確度に観測することが可能となる。
　上記態様において、信号処理装置は、推定部は、第１時刻における第２受信信号及び第２時刻における第２受信信号を、上記態様の学習モデルに対して入力し、第１時刻における第２受信信号に対応する第１時刻における第２メタ情報及び前記第２時刻における前記第２受信信号に対応する前記第２時刻における前記第２メタ情報を推定し、第１時刻における第２メタ情報と第２時刻における第２メタ情報とに基づいて、第２対象領域における変化を判定する変化判定部、をさらに備えてもよい。
　この態様によれば、第１時刻における第２対象領域の第２メタ情報が第２時刻において変化した場合に、当該変化の有無が検出可能となる。メタ情報に基づくことにより、信号処理装置は、観測対象物の状況又は観測対象物の周囲の環境を高精度又は高確度に観測しつつ、第２対象領域における変化を判定することができる。
　上記態様において、信号処理装置は、判定された変化が、所定の条件を満たす場合に、変化を示す変化情報を出力する変化情報出力部、をさらに備えてもよい。
　この態様によれば、信号処理装置は、変化が所定の条件を満たす場合に、変化の有無に加えて、変化の内容を変化情報として出力する。これにより、変化の詳細を外部の装置によって取得することが可能となる。信号処理装置が、条件に基づき、必要に応じて変化情報を出力することで、信号処理装置と外部との通信量及び信号処理装置における通信に必要な電力消費を抑制することが可能となる。
　また、他の態様において、飛翔体は、上記態様の学習モデルが記憶された記憶部と、第２受信信号を取得する信号取得部と、学習モデルに、第２受信信号を入力し、第２メタ情報を推定する推定部と、第２メタ情報に基づく出力信号を外部に出力する信号出力部と、を備える。
　この態様によれば、飛翔体が単体で学習モデルを使用した第２メタ情報の推定を行うことが可能となる。これにより、外部との通信に一定の制約がある環境に置かれる飛翔体が、外部との通信を伴わずに第２メタ情報の推定が可能となる。これにより、飛翔体の通信量及び通信に必要な電力消費を抑制することができる。また、飛翔体は、第２メタ情報に基いて、例えば、第２メタ情報そのものや、第２メタ情報の変化を示す情報を含む出力情報を外部に出力できる。これにより、ＳＡＲデータのように容量が大きいデータを外部に送信せず、ＳＡＲデータに基づいて観測されるメタ情報と同等の第２メタ情報を外部に送信することが可能となる。これにより、飛翔体と外部との通信量及び飛翔体による通信に必要な電力消費を抑制することができる。
　また、他の態様において、プログラムは、コンピュータに、上記態様の学習モデルが記憶された記憶部に入力される第２受信信号を取得する信号取得処理と、学習モデルに、第２受信信号を入力し、第２メタ情報を推定する推定処理と、を実行させる。これにより、コンピュータに、観測対象物の状況を示すメタ情報を高精度又は高確度に観測させることが可能となる。
　上記態様において、プログラムは、コンピュータに、第２メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させてもよい。これにより、例えば、当該プログラムが記録されたコンピュータを備える飛翔体において、飛翔体と外部との通信量及び飛翔体による通信に必要な電力消費を抑制することができる。
　本発明によれば、観測対象物の状況あるいは観測対象物の周囲の環境の適切な観測を可能にする、学習モデル、信号処理装置、飛翔体、及びプログラムを提供することができる。
本実施形態に係る観測システムのブロック図である。 本実施形態に係る学習モデルを説明する図である。 本実施形態に係る学習モデルの学習を説明する図である。 本実施形態に係る学習モデルの学習に用いられる情報の一例を説明する図である。 本実施形態に係る学習モデルの学習に用いられる情報の一例を説明する図である。 本実施形態に係る学習モデルの学習に用いられる教師データの対応を説明する図である。 本実施形態に係る飛翔体における処理を説明するフローチャートである。 本実施形態に係る信号処理装置によるメタ情報の推定を説明する図である。 本実施形態に係る信号処理装置によって推定されたメタ情報の一例を説明する図である。 本実施形態に係る信号処理装置によるメタ情報の変化の判定を説明する図である。 本実施形態に係る信号処理装置による変化の判定処理を説明するフローチャートである。 学習モデルの学習及び推定の他の態様を説明する図である。 観測システムの他の態様を示すブロック図である。
　添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　図１には、本実施形態に係る観測システム１０のブロック図が示される。観測システム１０は、飛翔体１００及び観測装置２００を備える。飛翔体１００は地球上空の空間に配置され、観測装置２００は地球に配置される。本実施形態では、飛翔体１００が地球表面の対象領域Ｄをレーダによって観測し、飛翔体１００において処理された観測信号Ｏが観測装置２００に送信される。観測信号Ｏとは、例えば後述される、飛翔体１００が取得した受信信号又は当該受信信号に対応するメタ情報である。
　飛翔体１００は、通信アンテナ１０１、レーダ装置１０２、及び信号処理装置１０３を備える。飛翔体１００は、受信信号の取得及び処理が可能な人工衛星であり、宇宙空間に配置されて地球の周囲を周回する。なお、飛翔体１００は静止衛星であってもよい。また、飛翔体１００は、航空機、ヘリコプターもしくはドローン装置などの、地球上空に位置することが可能な装置であればよい。
　通信アンテナ１０１は、飛翔体１００が地球上又は宇宙空間に設けられる外部装置との通信を行うためのアンテナである。
　レーダ装置１０２は、例えばマイクロ波である電磁波ＥＭ１を、地球表面の対象領域Ｄに対して照射し、対象領域Ｄにおける観測対象物によって電磁波ＥＭ１が反射された反射電磁波ＥＭ２を取得する装置である。レーダ装置１０２は、例えば、合成開口レーダ（ＳＡＲ）である。反射電磁波ＥＭ２は、レーダ装置１０２により、飛翔体１００で取り扱いが可能な、電磁波の変動に基づく受信信号（ＲＡＷデータ）として処理及び記録される。
受信信号は、例えば、対象領域Ｄの所定の座標ごとの信号強度として記録される。レーダ装置１０２は、通信アンテナ１０１を通じて、観測信号Ｏを観測装置２００に送信する。
　レーダ装置１０２には、受信信号の取得処理を制御するためのプロセッサ及び当該制御に必要なプログラムが記憶される記憶装置が含まれる。
　信号処理装置１０３は、レーダ装置１０２によって取得された受信信号の処理を行う情報処理装置である。信号処理装置１０３は、メモリ等の記憶領域を有し、記憶領域に格納されたプログラムをプロセッサが実行することによって所定の処理を行うコンピュータである。
　信号処理装置１０３は、記憶部１０４及び制御部１０５を有する。記憶部１０４は、例えば、ＲＡＭ等の半導体メモリや、光ディスクである。記憶部１０４は、信号処理装置１０３での処理に用いられる各種の情報を記憶する。
　記憶部１０４には、学習モデル１０４１が記憶される。学習モデル１０４１は、受信信号を入力とし、受信信号に対応するメタ情報を出力するよう学習されたプログラムである。メタ情報及び学習モデル１０４１の詳細については後述する。
　制御部１０５は、信号処理装置１０３における信号処理を行う。また、制御部１０５は、飛翔体１００を通じた受信信号の処理結果の送信を制御する。制御部１０５は、信号取得部１０５１、推定部１０５２、信号出力部１０５３、変化判定部１０５４、及び変化情報出力部１０５５を有する。
　信号取得部１０５１は、レーダ装置１０２から受信信号を取得する。
　推定部１０５２は、信号取得部１０５１によって取得された受信信号を学習モデル１０４１に入力し、受信信号に対応するメタ情報を取得する。
　信号出力部１０５３は、通信アンテナ１０１を通じて、推定部１０５２が取得したメタ情報を観測信号Ｏとして観測装置２００に出力する。また、信号出力部１０５３は、メタ情報と共に、当該メタ情報に対応する受信信号を観測信号Ｏとして出力してもよい。
　変化判定部１０５４は、異なる時刻において対象領域Ｄから取得された受信信号に対応する複数のメタ情報に基づいて、対象領域Ｄにおける観測対象物の状況あるいは観測対象物の周囲の環境の変化を判定する。
　変化情報出力部１０５５は、変化判定部１０５４によって判定された変化が、所定の条件を満たす場合に、変化を示す変化情報を出力する。変化情報とは、例えば、メタ情報のうち、変化したメタ情報が抽出された情報や、対象領域Ｄのうち変化が生じている領域の範囲を示す情報である。変化判定部１０５４及び変化情報出力部１０５５による処理については後述する。
　観測装置２００は、飛翔体１００による対象領域Ｄの観測を制御する制御信号を飛翔体１００に対して送信し、飛翔体１００から観測信号Ｏを取得する装置である。観測装置２００は、アンテナ及びアンテナによる通信を制御する制御部を含む通信部２０１を有する。飛翔体１００との情報の送受信は、通信部２０１を通じて行われる。
　信号処理部２０２は、飛翔体１００からの観測信号Ｏの処理を行う。信号処理部２０２は、飛翔体１００から取得した観測信号Ｏに基づいて、例えば対象領域Ｄにおける観測結果を画像によって可視化する処理を行う。
　図２から図６を参照して、本実施形態に係る学習モデル１０４１の学習について説明する。
　図２は、学習モデル１０４１の学習及び推定を模式的に説明する図である。学習モデル１０４１は学習用データＬＤを教師データとして学習される。学習用データＬＤには、ある対象領域（第１対象領域）への電磁波の照射によって取得された受信信号Ｒ０（第１受信信号）と受信信号Ｒ０に対応するメタ情報ＭＤ０（第１メタ情報）の組が含まれる。学習モデル１０４１は、受信信号Ｒ０を入力、メタ情報ＭＤ０を出力として学習される。
　受信信号Ｒ０に対するメタ情報ＭＤ０の対応付けのために、受信信号Ｒ０はＳＡＲデータに変換される。受信信号Ｒ０は、所定の変換処理を経なければ、観測装置２００のユーザが理解可能な情報とはならない。ＳＡＲデータの変換処理は、例えば、観測装置２００によって行われる。ＳＡＲデータに基づいて解析処理や可視化処理が行われることで、受信信号Ｒ０に基づく観測結果をユーザが理解可能となる。
　ＳＡＲデータは、受信信号Ｒ０に対する変換の内容に応じた複数のレベルを有する。ＳＡＲデータとしては、例えば、受信信号Ｒ０に対してレンジ圧縮及びシングルルックアジマス圧縮が行われた第１レベルのＳＡＲデータがある。第１レベルのＳＡＲデータは、複素数の情報であり、対象領域Ｄにおける反射電磁波ＥＭ２の振幅の情報及び位相の情報が含まれる。第１レベルのＳＡＲデータをＳＡＲ画像として可視化することによって、ユーザによる受信信号Ｒ０の内容の把握が可能となる。
　他のＳＡＲデータとして、受信信号Ｒ０に対して、レンジ圧縮及びマルチルックアジマス圧縮が行われた第２レベルのＳＡＲデータもある。第２レベルのＳＡＲデータによって、受信信号Ｒ０のＳＡＲ画像による可視化が幾何学的に補正された状態で可能となる。
　他のＳＡＲデータとして、受信信号Ｒ０に対して、レンジ圧縮、シングルルックアジマス圧縮及びオルソ補正を行った第３レベルのＳＡＲデータもある。オルソ補正を加えることによって、光学画像と重ねることが可能なＳＡＲ画像を得ることができる。
　上述のように、受信信号Ｒ０をＳＡＲデータに変換し、ＳＡＲ画像として可視化することによって、ユーザが対象領域Ｄにおける観測結果を理解することが可能となる。ユーザは、観測結果の意味を示す情報としてメタ情報ＭＤ０を受信信号Ｒ０に対応付けることができる。あるいは、ＳＡＲ画像とメタ情報とを対応づける学習モデルを用いて、コンピュータによって、ＳＡＲ画像に対してメタ情報を関連付けた後に受信信号とメタ情報とを対応付けてもよい。
　メタ情報Ｍ０は、例えば、海上の船舶に対する観測においては、船舶及び海象に関する情報である。具体的には、船舶の情報として、位置、全長、種類の項目に対応する情報がＳＡＲ画像から取得される。また、複素数成分を有するＳＡＲデータに基づく位相の情報を用いて、船舶の速度を取得することが可能となる。また、海象に関する情報として、海上の風向及び風速をＳＡＲデータに基づいて取得することができる。海上の風向及び風速は、ＳＡＲデータの後方散乱係数及び実際に計測された風向及び風速のデータに基づいて算出された相関関係に基づいて推定される。後方散乱係数とは、対象領域の表面で散乱する照射された電磁波のうち、照射方向に戻る電磁波の強度に基づく係数である。
　受信信号Ｒ０に対するメタ情報ＭＤ０の対応付けには、ＳＡＲデータ以外の付加情報を用いることができる。例えば、船舶に関するメタ情報ＭＤ０には、ＡＩＳ（Ａｕｔｏｍａｔｉｃ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ：自動識別システム）というシステムから取得された、位置、船名、船籍、及び全長等の情報であるＡＩＳ情報が含まれてもよい。受信信号Ｒ０が取得された際のＡＩＳの情報に基づいて、メタ情報ＭＤ０が生成されてもよい。また、海象に関しては、洋上に設けられたブイから取得された風向、風速、及び天候をメタ情報ＭＤ０としてもよい。
　メタ情報ＭＤ０は、観測対象に応じて様々な項目を有する。自動車や動物など、陸上の移動体に対するメタ情報には、移動体の移動軌跡の情報が含まれる。当該情報は、移動体によって生じる反射電磁波の干渉の変化によるＳＡＲデータの変化から取得される。この場合、メタ情報には、当該移動体に取り付けられたＧＰＳ装置に基づく移動軌跡が含まれてもよい。
　災害時の浸水域が観測対象である場合、メタ情報として浸水域の範囲を、ＳＡＲ画像における明度の低い領域として取得してもよい。この場合、メタ情報には、航空機や人工衛星によって取得された光学画像に基づく浸水域の範囲が含まれてもよい。
　農作物の管理に用いるメタ情報として、作物の成長度合いをメタ情報としてもよい。作物の成長度合いは、ＳＡＲデータの後方散乱係数及び実際に観測された作物の成長度合いに基づいて算出された相関関係に基づいて推定される。この場合、メタ情報には、光学計測による分光反射特性や、実際に測定された作物の背丈の情報が含まれてもよい。
　建築物に関する検出においては、新規の建築物に関する情報をメタ情報としてもよい。新規の建築物に関する情報は、ＳＡＲデータの後方散乱係数及び実際に観測された新規の建築物に関する情報に基づいて算出された相関関係に基づいて推定される。この場合、光学画像から検出した建物情報や、地図情報から新規の建築物に関する情報を取得してもよい。また、建物の種類に関する情報が地図等に基づいて取得されて、メタ情報とされてもよい。
　メタ情報と受信信号との対応付けにあたっては、電磁波のシミュレーションを用いることもできる。シミュレーションモデルにおいて、電磁波の照射及び反射をシミュレートし、受信信号及びＳＡＲデータを生成することができる。この場合、シミュレーションモデルにおける条件、例えば、船舶数や船舶の形状、移動体の位置の軌跡等のメタ情報が、生成された受信信号及びＳＡＲデータに対応付けられるメタ情報となる。
　飛翔体１００によって他の対象領域（第２対象領域）に照射された電磁波に基づき、飛翔体１００が取得した受信信号Ｒ１（第２受信信号）が、学習済みの学習モデル１０４１に対して入力されると、学習モデル１０４１は、受信信号Ｒ１に対応したメタ情報ＭＤ１（第２メタ情報）を出力する。
　学習モデル１０４１は、受信信号Ｒ１に加えて、受信信号Ｒ１が取得された際の付加情報が入力され、メタ情報ＭＤ１を出力してもよい。例えば、上述の船舶の例においては、ＡＩＳ情報及び洋上に設けられたブイからの情報が付加情報であり得る。ここでは、学習モデル１０４１は、ＳＡＲデータと、ＡＩＳ情報及び洋上に設けられたブイからの情報を含む付加情報とに基づくメタ情報ＭＤ０を用いて学習されたとする。この場合、学習モデル１０４１を用いたメタ情報ＭＤ１の推定の際に、ＡＩＳ情報又は洋上に設けられたブイからの情報のいずれかが付加情報として、学習モデル１０４１に入力される。学習モデル１０４１の入力に、ＳＡＲデータに加えて付加情報を含めることによって、メタ情報がより高精度又は高確度に観測されるようにしてもよい。
　図３から図６を参照して受信信号Ｒ０とメタ情報ＭＤ０の関係について説明する。本実施形態においては、海上における船舶及び船舶の周囲の環境である海象の推測を可能とする学習モデルを例として説明する。
　図３の例では、対象領域Ｄに対応する受信信号Ｒ０に基づいて、対象領域ＤにおけるＳＡＲ画像ＩＧ１が生成される。ＳＡＲ画像ＩＧ１においては、船舶Ｓ３１，Ｓ３２，Ｓ３３が検出されている。この場合、図４に示されるように、船舶に関する第１船舶情報及び海象に関する第１海象情報を含むメタ情報ＭＤ０１が、ＳＡＲ画像ＩＧ１から取得される。メタ情報ＭＤ０１は、受信信号Ｒ０に対応付けられる。なお、第１船舶情報及び後述の第２船舶情報における「船舶ＩＤ」の項目は、メタ情報ＭＤ０１において船舶を識別するために用いられる任意の情報である。
　また、対象領域Ｄに対応する受信信号Ｒ０が取得された際の対象領域ＤにおけるＡＩＳ情報に基づいて、図５に示されるようなメタ情報ＭＤ０２が取得される。メタ情報ＭＤ０２には、船舶に関する第２船舶情報及び海象に関する第２海象情報が含まれる。第２船舶情報及び第２海象情報は第１船舶情報及び第２海象情報とは異なる項目を有している。メタ情報ＭＤ０２は、受信信号Ｒ０に対応付けられる。
　ＡＩＳ情報に基づいた場合、図３の正解イメージＩＧ２に示されるように、船舶Ｓ３１からＳ３３に加えて、船舶Ｓ３４が対象領域Ｄに存在していることがメタ情報ＭＤ０２によって示される。
　学習用データＬＤとして、受信信号Ｒ０に対応付けられるメタ情報ＭＤ０は、メタ情報ＭＤ１及びメタ情報ＭＤ２に基づいて用意される。メタ情報ＭＤ０には、船舶に関して、第１船舶情報と同様の項目を有するように、第１船舶情報に基づいて第３船舶情報が含まれる。また、メタ情報ＭＤ０には、海象に関して、第２海象情報と同様の項目を有するように、第２海象情報に基づいて第３海象情報が含まれる。このように、モデルの生成に用いるメタ情報ＭＤ０は、ＳＡＲ画像に基づくメタ情報ＭＤ０１や他の装置からの情報に基づくメタ情報ＭＤ０２が組み合わされるようにして生成することができる。また、メタ情報ＭＤ０１又はメタ情報ＭＤ０２のいずれかのメタ情報をそのままメタ情報ＭＤ０としてもよい。
　学習モデル１０４１は、上述のように用意された学習用データＬＤを用いて、例えば、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。なお、学習モデル１０４１は、単一の学習モデルとして構成されてもよく、複数の学習モデルを組み合わせた学習モデルとして構成されてもよい。
　図７から図９を参照して、飛翔体１００による処理について説明する。
　図７のステップＳ７０１において、レーダ装置１０２が、対象領域Ｄに対して電磁波ＥＭ１を照射する。照射のタイミングは、観測装置２００によって制御されたタイミングでもよく、飛翔体１００において予め指定されたタイミングであってもよい。
　ステップＳ７０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波ＥＭ２に基づく受信信号Ｒ１をレーダ装置１０２から取得する。
　ステップＳ７０３において、推定部１０５２は、受信信号Ｒ１を学習モデル１０４１に入力する。なお、このとき、推定部１０５２は、受信信号Ｒ１に加えて、受信信号Ｒ１が取得された際の付加情報を、あわせて学習モデル１０４１に入力してもよい。
　ステップＳ７０４において、推定部１０５２は、受信信号Ｒ１に対応するメタ情報ＭＤ１を学習モデル１０４１から取得する。
　ステップＳ７０５において、信号出力部１０５３は、メタ情報ＭＤ１に基づく出力信号を観測装置２００に出力する。メタ情報ＭＤ１に基づく出力信号は、メタ情報ＭＤ１の全部や、メタ情報ＭＤ１の一部を伝達する信号である。あるいは、出力信号は、メタ情報に対して情報処理がなされた結果の情報を伝達する信号であってもよい。
　図８を参照して、学習モデル１０４１によるメタ情報の推定を説明する。ここでは、図６に示されるような対応を有する学習用データＬＤを用いて学習された学習モデル１０４１を使用する場合を説明する。
　受信信号Ｒ１は、ＳＡＲ画像ＩＧ３に示される状態を示すＳＡＲデータに変換され得る情報である。ＳＡＲ画像ＩＧ３に基づいて生成されるメタ情報では、船舶Ｓ８１からＳ８３に関する情報が含まれる。一方で、実際の状況は、正解イメージＩＧ４に示される状況であるとする。つまり、船舶Ｓ８４に関する情報が、受信信号Ｒ１のＳＡＲデータ化によって欠落している。
　この場合、信号処理装置１０３は、受信信号Ｒ１を学習モデル１０４１に入力し、図９に示すようなメタ情報ＭＤ１を取得することができる。メタ情報ＭＤ１には４隻の船舶を示す情報が含まれている。つまり、信号処理装置１０３によって、ＳＡＲデータから検出できないようなメタ情報を検出することが可能になる。
　受信信号及び学習モデル１０４１を用いることで、ＳＡＲデータの変換による影響を受けずにメタ情報の推定を行うことができる。これにより、図示はされないが、例えばＳＡＲ画像において検出すべきでない対象が偽像として検出されるような誤検出が生じる場合であっても、適切にメタ情報を推定することができる。
　図１０及び図１１を参照して、飛翔体１００によるメタ情報の変化検出について説明する。
　図１０では、建築物に関するメタ情報の変化の検出について説明する。ある時刻Ｔ１（第１時刻）では建築物が配置イメージＩＧ５に示されるように配置されている。別の時刻Ｔ２（第２時刻）では、同じ領域に、建築物が配置イメージＩＧ６に示されるように配置されている。配置イメージＩＧ５，ＩＧ６は、例えば、空中あるいは宇宙から建築物を上から観測した光学画像あるいはＳＡＲ画像である。配置イメージＩＧ５，ＩＧ６は、所定の領域Ａ０１からＡ０４までを有する。配置イメージＩＧ６に示されるように、時刻Ｔ２では新規建築物ＮＢが領域Ａ０３に建築されている。
　上記変化が学習モデル１０４１を用いて検出される例を説明する。ここでは、学習モデル１０４１は、受信信号の入力に対して、建築物の領域ごとの個数である建築物情報をメタ情報として出力するように学習されているとする。
　図１１には、飛翔体１００による処理のフローチャートが示される。
　ステップＳ１１０１において、レーダ装置１０２は、時刻Ｔ１において対象領域に電磁波を照射する。
　ステップＳ１１０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波に基づく受信信号Ｒ３をレーダ装置１０２から取得する。受信信号Ｒ３は記憶部１０４に記憶されてもよい。
　ステップＳ１１０３において、推定部１０５２は、受信信号Ｒ３を学習モデル１０４１に入力する。
　ステップＳ１１０４において、推定部１０５２は、受信信号Ｒ３に対応するメタ情報ＭＤ３を学習モデル１０４１から取得する。メタ情報ＭＤ３は、記憶部１０４に記憶されてもよい。
　ステップＳ１１０５において、レーダ装置１０２は、時刻Ｔ２において対象領域に電磁波を照射する。
　ステップＳ１１０６において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波に基づく受信信号Ｒ４をレーダ装置１０２から取得する。
　ステップＳ１１０７において、推定部１０５２は、受信信号Ｒ４を学習モデル１０４１に入力する。
　ステップＳ１１０８において、推定部１０５２は、受信信号Ｒ４に対応するメタ情報ＭＤ４を学習モデル１０４１から取得する。
　ステップＳ１１０９において、変化判定部１０５４は、メタ情報ＭＤ３とメタ情報ＭＤ４に基づいて、対象領域における変化を判定する。図１０の場合、メタ情報ＭＤ０４では、領域Ａ０３において建築物の個数は４つに増えている。よって、変化判定部１０５４はこの建築物数の変化があると判定する。
　ステップＳ１１１０において、変化情報出力部１０５５は、変化が所定の条件を満たすかを判定する。ここで所定の条件とは、変化があるか否かの判定結果や、変化の具体的内容に関する条件である。例えば、図１０の例では、変化の具体的内容として、ある領域で変化があること又は建築物数が増加や減少する変化がいずれかの領域であること等が条件となり得る。
　ここでは、建築物数が増加する変化がいずれかの領域で生じることが条件であるとする。このとき変化情報出力部１０５５は、変化が所定の条件を満たすと判定する。
　変化が所定の条件を満たすと判定された場合、ステップＳ１１１１において、変化情報出力部１０５５は変化を示す情報を出力信号として観測装置２００に出力する。なお、所定の条件が満たされない場合、処理は終了する。出力信号は例えば、メタ情報ＭＤ３及びＭＤ４を伝達する信号である。あるいは、出力信号は、変化があった領域Ａ０３に関するメタ情報を抽出し、抽出されたメタ情報を伝達する信号である。あるいは、変化があると判定された領域Ａ０３の中でも、変化が生じた部分をより詳細に示す座標に関する情報を伝達する信号であってもよい。
　飛翔体１００は、受信信号に基づく精度又は確度の良いメタ情報に基づいて、対象領域における変化を検出することができる。よって、変化の検出精度又は確度も向上する。
　飛翔体１００は、変化を判定し、変化があった部分についてのみ、メタ情報そのものや、変化があった範囲を示す情報を観測装置２００へと送信することで、観測装置２００への通信量を削減することができる。これにより、飛翔体１００は、電力消費を抑制することができる。これは、地球上空の空間という環境によって、利用可能な電力に制限がある飛翔体１００にとって利点となる。
　図１２は、学習モデル１０４１Ａの学習及び推定を模式的に説明する図である。学習モデル１０４１Ａは、学習用データＬＤとして、受信信号Ｒ０、メタ情報ＭＤ０に加えて、受信信号Ｒ０に基づいて生成されたＳＡＲデータ（第１生成信号）及び付加情報を含む。
このように学習用データＬＤを用意することで、学習モデル１０４１Ａに、受信信号Ｒ１、受信信号Ｒ１に基づいて生成されたＳＡＲデータ（第２生成信号）及び受信信号Ｒ１に対応する付加情報を入力としたメタ情報ＭＤ１の推定が可能となる。
　例えば、付加情報として、受信信号Ｒ０が取得された際の対象領域における環境を示す情報として、当該対象領域の天候を用いることができる。学習モデル１０４１Ａを用いたメタ情報ＭＤ１の推定の際に、受信信号Ｒ１が取得された際の対象領域における環境を示す情報を他の装置から取得し、学習モデル１０４１Ａの入力に含めることができる。これにより、メタ情報ＭＤ１の推定をより高精度又は高確度に行うことができる。
　図１３には、他の態様として観測システム１０Ａを示すブロック図が示される。図１３に示されるように、信号処理装置１０３は、観測装置２００Ａに含まれるように設けることもできる。飛翔体１００Ａの制御部１３０１によって、レーダ装置１０２が取得した受信信号が、観測装置２００Ａに送信される。観測装置２００Ａの信号処理装置１０３によって上述の処理を行うようにすることもできる。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその条件等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる構成同士を部分的に置換し又は組み合わせることが可能である。
　１０…観測システム、１００…飛翔体、１０１…通信アンテナ、１０２…レーダ装置、１０３…信号処理装置、１０４…記憶部、１０４１…学習モデル、１０５…制御部、１０５１…信号取得部、１０５２…推定部、１０５３…信号出力部、１０５４…変化判定部、１０５５…変化情報出力部、２００…観測装置、２０１…通信部、２０２…信号処理部

Claims (10)

  1. 　第１対象領域に照射された電磁波が反射された反射電磁波に基づく第１受信信号を入力とし、前記第１受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、
    　第２対象領域に照射された電磁波が反射された反射電磁波に基づく第２受信信号が入力され、前記第２受信信号に対応し、前記所定の項目を有する第２メタ情報を出力するよう、コンピュータを機能させる学習モデル。
  2. 　請求項１に記載の学習モデルであって、
    　前記学習モデルは、前記第１受信信号及び前記第１受信信号に基づいて生成された第１生成信号を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
    　前記第２受信信号及び前記第２受信信号に基づいて生成された第２生成信号が入力され、前記第２メタ情報を出力するよう、コンピュータを機能させる学習モデル。
  3. 　請求項１又は２に記載の学習モデルであって、
    　前記学習モデルは、前記第１受信信号及び前記第１対象領域における環境を示す情報を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
    　前記第２受信信号及び前記第２対象領域における環境を示す情報が入力され、前記第２メタ情報を出力するよう、コンピュータを機能させる学習モデル。
  4. 　請求項１から３のいずれか一項に記載の学習モデルであって、
    　前記学習モデルは、前記第１対象領域における環境を示す情報を含む前記第１メタ情報を出力とする前記教師データを用いて学習され、
    　前記第２対象領域における環境を示す情報を含む前記第２メタ情報を出力するよう、コンピュータを機能させる学習モデル。
  5. 　請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部と、
    　前記第２受信信号を取得する信号取得部と、
    　前記学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定部と、を備える信号処理装置。
  6. 　請求項５に記載の信号処理装置であって、
    　前記推定部は、第１時刻における前記第２受信信号及び第２時刻における前記第２受信信号を、前記学習モデルに対して入力し、前記第１時刻における前記第２受信信号に対応する前記第１時刻における前記第２メタ情報及び前記第２時刻における前記第２受信信号に対応する前記第２時刻における前記第２メタ情報を推定し、
    　前記第１時刻における前記第２メタ情報と前記第２時刻における前記第２メタ情報とに基づいて、前記第２対象領域における変化を判定する変化判定部、をさらに備える信号処理装置。
  7. 　請求項６に記載の信号処理装置であって、
    　前記判定された前記変化が、所定の条件を満たす場合に、前記変化を示す変化情報を出力する変化情報出力部、をさらに備える、信号処理装置。
  8. 　請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部と、
    　前記第２受信信号を取得する信号取得部と、
    　前記学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定部と、
    　前記第２メタ情報に基づく出力信号を外部に出力する信号出力部と、を備える飛翔体。
  9. 　コンピュータに、
    　請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部に入力される前記第２受信信号を取得する信号取得処理と、
    　前記学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定処理と、を実行させるプログラム。
  10. 　請求項９に記載のプログラムであって、
    　前記コンピュータに、
    　前記第２メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させる、プログラム。
PCT/JP2022/002203 2021-06-18 2022-01-21 学習モデル、信号処理装置、飛翔体、及びプログラム WO2022264473A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280003550.1A CN115485742B (zh) 2021-06-18 2022-01-21 学习模型、信号处理装置、飞行物以及程序
EP22800560.9A EP4138036A1 (en) 2021-06-18 2022-01-21 Learning model, signal processing device, flying body, and program
CA3180339A CA3180339A1 (en) 2021-06-18 2022-01-21 Signal processor, flying object and medium using synthetic aperture radar signal for observing an object or an environment
US17/799,559 US20240027580A1 (en) 2021-06-18 2022-01-21 Learning model, signal processor, flying object, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-101963 2021-06-18
JP2021101963A JP7006875B1 (ja) 2021-06-18 2021-06-18 学習モデル、信号処理装置、飛翔体、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022264473A1 true WO2022264473A1 (ja) 2022-12-22

Family

ID=80624146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002203 WO2022264473A1 (ja) 2021-06-18 2022-01-21 学習モデル、信号処理装置、飛翔体、及びプログラム

Country Status (2)

Country Link
JP (2) JP7006875B1 (ja)
WO (1) WO2022264473A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009047516A (ja) 2007-08-17 2009-03-05 Pasuko:Kk 地物情報判読用画像生成方法およびプログラム
US20160019458A1 (en) * 2014-07-16 2016-01-21 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
JP2016075558A (ja) * 2014-10-06 2016-05-12 日本電産エレシス株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
WO2018155683A1 (ja) * 2017-02-24 2018-08-30 国立研究開発法人宇宙航空研究開発機構 飛翔体、及びプログラム
JP2019120543A (ja) * 2017-12-28 2019-07-22 古野電気株式会社 物標検出装置
JP2019175142A (ja) * 2018-03-28 2019-10-10 株式会社Ihi 船舶検出装置及び方法
JP2019194821A (ja) * 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
CN110991257A (zh) * 2019-11-11 2020-04-10 中国石油大学(华东) 基于特征融合与svm的极化sar溢油检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009047516A (ja) 2007-08-17 2009-03-05 Pasuko:Kk 地物情報判読用画像生成方法およびプログラム
US20160019458A1 (en) * 2014-07-16 2016-01-21 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
JP2016075558A (ja) * 2014-10-06 2016-05-12 日本電産エレシス株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
WO2018155683A1 (ja) * 2017-02-24 2018-08-30 国立研究開発法人宇宙航空研究開発機構 飛翔体、及びプログラム
JP2019120543A (ja) * 2017-12-28 2019-07-22 古野電気株式会社 物標検出装置
JP2019175142A (ja) * 2018-03-28 2019-10-10 株式会社Ihi 船舶検出装置及び方法
JP2019194821A (ja) * 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
CN110991257A (zh) * 2019-11-11 2020-04-10 中国石油大学(华东) 基于特征融合与svm的极化sar溢油检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FAN TIAN TIAN; LIU CHE; CUI TIE JUN: "Deep Learning of Raw Radar Echoes for Target Recognition", 2018 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL ELECTROMAGNETICS (ICCEM), IEEE, 26 March 2018 (2018-03-26), pages 1 - 2, XP033420944, DOI: 10.1109/COMPEM.2018.8496666 *
YANG YU, JOSAPHAT TETUKO SRI SUMANTYO : "Observation of Hokkaido-Iburi-Tobu Earthquake by Deep Learning of SAR Images-Research about Detection of Landslide Damage with Small Dataset", IEICE TECHNICAL REPORT, SANE, IEICE, JP, vol. 120, no. 250 (SANE2020-27), 18 November 2020 (2020-11-18), JP, pages 1 - 6, XP009541902 *

Also Published As

Publication number Publication date
JP2023000991A (ja) 2023-01-04
JP2023000897A (ja) 2023-01-04
JP7006875B1 (ja) 2022-01-24

Similar Documents

Publication Publication Date Title
JP7182869B2 (ja) 物標検出装置
Braca et al. Bayesian tracking in underwater wireless sensor networks with port-starboard ambiguity
Wang et al. Acoustically focused adaptive sampling and on-board routing for marine rapid environmental assessment
Fischell et al. Classification of underwater targets from autonomous underwater vehicle sampled bistatic acoustic scattered fields
CN110231778B (zh) 一种通用的uuv水下目标探测仿真方法及系统
CN103226192B (zh) 信号挑选装置、信号挑选方法以及雷达装置
Thornhill et al. Real time local sea state measurement using wave radar and ship motions
WO2022264473A1 (ja) 学習モデル、信号処理装置、飛翔体、及びプログラム
JP2003004848A (ja) ソーナー探知範囲予察可視化システム、方法及びプログラム
CN115485742B (zh) 学习模型、信号处理装置、飞行物以及程序
Helgesen et al. Inertial navigation aided by ultra-wideband ranging for ship docking and harbor maneuvering
Been et al. Heterogeneous underwater networks for ASW: technology and techniques
JP3589186B2 (ja) 機上海洋予察装置
JP3562493B2 (ja) ソーナー探知範囲予察システム、方法及びプログラム
Thurman et al. Real-time adaptive control of multiple colocated acoustic sensors for an unmanned underwater vehicle
Han et al. A framework for condition monitoring and risk-based decision support involving a vessel state observer
JP2010122081A (ja) 水測能力予測システム、水測能力予測方法、水測能力予測プログラム及び水測機器搭載移動体
JP7328885B2 (ja) 動作センサ選択装置、目標探知システム及び動作センサ選択方法
Caiti et al. Innovative technologies in underwater archaeology: field experience, open problems, and research lines
El-Shafie et al. Performance evaluation of a non-linear error model for underwater range computation utilizing GPS sonobuoys
AU2010309696A1 (en) Method for simultaneously locating and mapping via resilient non-linear filtering
Osborne et al. Advanced Unmanned Search System (AUSS) Surface Navigation, Underwater Tracking, and Transponder Network Calibration
Toal et al. Novel multi-sonar controller and other advanced features developed and tested on Latis, a smart, remotely operated vehicle
Wegge et al. Overall description of an analysis and simulation tool for acoustic ASW sensors
Scherbatjuk et al. Integrated positioning system for underwater autonomous vehicle MT-88

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022800560

Country of ref document: EP

Effective date: 20221116

WWE Wipo information: entry into national phase

Ref document number: 17799559

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE