WO2022034666A1 - 学習装置、画像処理装置、及び位置合わせシステム - Google Patents

学習装置、画像処理装置、及び位置合わせシステム Download PDF

Info

Publication number
WO2022034666A1
WO2022034666A1 PCT/JP2020/030756 JP2020030756W WO2022034666A1 WO 2022034666 A1 WO2022034666 A1 WO 2022034666A1 JP 2020030756 W JP2020030756 W JP 2020030756W WO 2022034666 A1 WO2022034666 A1 WO 2022034666A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
type
learning
sar
acquired
Prior art date
Application number
PCT/JP2020/030756
Other languages
English (en)
French (fr)
Inventor
康平 栗原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/030756 priority Critical patent/WO2022034666A1/ja
Priority to JP2022542547A priority patent/JP7262679B2/ja
Publication of WO2022034666A1 publication Critical patent/WO2022034666A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Definitions

  • the present disclosure relates to a learning device, an image processing device, and an alignment system.
  • the present disclosure specifically constructs an inference model for converting one to the other of a SAR image and an optical image, or detecting a misalignment between a SAR image and an optical image, or generating a corrected image for alignment.
  • the present invention relates to image processing using the inference model.
  • the SAR (Synthetic Aperture Radar) image obtains an image (SAR image) by emitting radio waves (microwaves) by itself and observing the reflected waves (backscattering).
  • radio waves microwaves
  • backscattering reflected waves
  • small water droplets such as clouds can also pass through due to the characteristics of microwaves. Therefore, it is useful for grasping the topography and the condition of structures at the time of disasters such as heavy rain and earthquakes.
  • the SAR image is often used in alignment with an optical image, a topographic map, or the like.
  • the SAR image is characterized in that the edges of the terrain are often unclear compared to the optical image, and the structure that easily reflects radio waves is expressed with high brightness. Therefore, the feature amount extracted differs between the SAR image and the optical image. Therefore, it is difficult to apply the method of extracting the feature amount and performing matching to the alignment of the SAR image and the optical image.
  • An object of the present disclosure is to enable accurate alignment between a SAR image and an optical image.
  • the learning device of one aspect of the present disclosure is A learning data generation unit that generates a plurality of sets of training data, each including a type 1 image, and a learning data generation unit. It is provided with a model generation unit that generates an inference model for inferring a type 2 image from the type 1 image using the training data.
  • the first type image is one of a SAR image and an optical image.
  • the second type of image is the other of the SAR image and the optical image.
  • the learning device of another aspect of the present disclosure is A learning data generation unit that generates a plurality of sets of training data, each including a type 1 image, and a learning data generation unit. It is provided with a model generation unit that generates an inference model for inferring a positional deviation from the first type image using the learning data.
  • the misalignment is a misalignment between the first-class image and the second-class image for comparison obtained by imaging the same region as the first-class image.
  • the first type image is one of a SAR image and an optical image.
  • the second type of image is the other of the SAR image and the optical image.
  • the learning device of another aspect of the present disclosure is A learning data generation unit that generates a plurality of sets of training data, each including a type 1 image, and a learning data generation unit. It is provided with a model generation unit that generates an inference model for inferring a corrected image from the first type image using the training data.
  • the corrected image is an image corrected for alignment between the first type image and the second type image for comparison obtained by capturing the same region as the first type image.
  • the first type image is one of a SAR image and an optical image.
  • the second type of image is the other of the SAR image and the optical image.
  • the image processing apparatus of one aspect of the present disclosure is A captured image acquisition unit that acquires a first-class image obtained by imaging and outputs it as an acquired image.
  • An inference unit that infers a second type image corresponding to the acquired image from the acquired image by using an inference model for inferring a second type image from the first type image.
  • the positional deviation between the inferred image and the second type image for comparison obtained by imaging the same region as the acquired image is detected, and the acquired image and the acquired image are based on the detected positional deviation.
  • It is equipped with an alignment processing unit that aligns with the second type image for comparison.
  • the first type image is one of a SAR image and an optical image.
  • the second type of image is the other of the SAR image and the optical image.
  • the image processing apparatus of another aspect of the present disclosure is A captured image acquisition unit that acquires a first-class image obtained by imaging and outputs it as an acquired image.
  • An inference unit that infers the positional deviation of the acquired image from the acquired image using an inference model for inferring the positional deviation. It is provided with an alignment processing unit that aligns the acquired image with the second type image for comparison based on the inferred positional deviation.
  • the second type image for comparison is an image obtained by capturing the same region as the acquired image.
  • the misalignment is a misalignment between the acquired image and the second type image for comparison.
  • the first type image is one of a SAR image and an optical image.
  • the second type of image is the other of the SAR image and the optical image.
  • the image processing apparatus of another aspect of the present disclosure is A captured image acquisition unit that acquires a first-class image obtained by imaging and outputs it as an acquired image. It is equipped with an inference unit that infers the corrected image from the acquired image by using an inference model for inferring the corrected image.
  • the corrected image is an image corrected for alignment between the acquired image and the second type image for comparison obtained by imaging the same region as the acquired image.
  • the first type image is one of a SAR image and an optical image.
  • the second type of image is the other of the SAR image and the optical image.
  • FIG. It is a functional block diagram which shows an example of the alignment system of Embodiment 1.
  • FIG. It is a figure which shows an example of the neural network which constitutes the inference model used in the alignment system.
  • FIG. It is a functional block diagram which shows an example of the alignment system of Embodiment 2.
  • FIG. It is a functional block diagram which shows an example of the alignment system of Embodiment 4.
  • FIG. 1 shows the alignment system 1 of the first embodiment.
  • the illustrated alignment system 1 is for aligning a SAR image as a first-class image and an optical image as a second-class image, and includes a learning device 2, an image processing device 3, and an image processing device 3.
  • a model storage unit 4 is provided.
  • the learning device 2 and the image processing device 3 are connected to the SAR image sensor 7 and the optical image sensor 8.
  • the SAR image sensor 7 and the optical image sensor 8 are mounted on, for example, an artificial satellite or an aircraft and used to image the ground surface.
  • the learning device 2 In the learning phase, the learning device 2 generates an inference model for converting a SAR image into an optical image by machine learning, and stores the generated inference model in the model storage unit 4.
  • Machine learning can be performed by, for example, supervised learning, unsupervised learning, semi-supervised learning, reinforcement learning, and the like. The case where supervised learning is mainly performed will be described below.
  • the image processing apparatus 3 converts the SAR image acquired by imaging into an optical image using the inference model stored in the model storage unit 4, and the optical generated by the conversion.
  • the positional deviation between the image and the comparative optical image is detected, and the acquired SAR image and the comparative optical image are aligned based on the detected positional deviation.
  • the SAR image acquired by imaging is referred to as an acquired SAR image
  • the optical image generated by the conversion is referred to as a converted optical image.
  • the comparative optical image is an image obtained by capturing the same region as the acquired SAR image at different times.
  • the learning device 2 includes a learning data generation unit 11 and a model generation unit 12.
  • the learning data generation unit 11 generates and outputs a plurality of sets of learning data DTs. For example, each set of training data DT is output each time it is generated.
  • each of the plurality of sets of learning data DTs is composed of a pair of SAR image DTs as input data and an optical image DTo as correct output data.
  • the optical image DT as correct output data means an optical image to be output by conversion or inference when SAR image DTs as input data are input.
  • the above pair is generated from a SAR image and an optical image obtained by performing imaging at the same time as each other.
  • Imaging at the same time means imaging at the same time or with a short time difference so that changes in the image are negligible.
  • the plurality of sets of training data DTs may be generated from the SAR image DSa output from the SAR image sensor 7 and the optical image DOa obtained by imaging with the optical image sensor 8.
  • the SAR image DSa and the optical image DOa used for generating the training data DT may or may not match the imaging regions. If they do not match, at least each part may include a common part (common subject). If they do not match, the learning data generation unit 11 creates a pair of a SAR image and an optical image having the same imaging region from such images DSa and DOa, and sets a set of training data DTs. And.
  • Each of the SAR image DTs and the optical image DTo constituting the above-mentioned learning data DT needs to be data cut out into a patch of a predetermined size.
  • the patch size is defined, for example, by the number of pixels in the vertical and horizontal directions.
  • the patch sizes of the SAR image DTs and the optical image DTo may be equal to or different from each other.
  • the model generation unit 12 generates an inference model Mdo that converts a SAR image into an optical image by machine learning based on a plurality of sets of learning data DTs output from the learning data generation unit 11. Converting a SAR image into an optical image means inferring an optical image corresponding to the SAR image from the SAR image.
  • the model generation unit 12 When machine learning is performed by supervised learning, the model generation unit 12 has an optical image DUo output from the inference model Mdo when the SAR image DTs are input to the inference model Mdo among the training data DTs of each set. , Learning is performed so as to be sufficiently close to the optical image DTo as the correct answer.
  • the inference model Mdo is composed of, for example, a neural network.
  • An example of a neural network is shown briefly in FIG.
  • the neural network 30 shown in FIG. 2 has an input layer 31, an intermediate layer (hidden layer) 32, and an output layer 33.
  • the number of intermediate layers 32 is 1, but the number of intermediate layers 32 may be 2 or more.
  • the number of neurons in each layer is also not limited to the example shown in FIG.
  • the pixel value of the SAR image DTs is input to the neuron P of the input layer 31.
  • the neuron P of the input layer 31 outputs the input as it is.
  • the neuron P of the output layer 33 From the neuron P of the output layer 33, the pixel value of the optical image DTo generated by the conversion is output.
  • Each of the neurons in the intermediate layer 32 and the output layer 33 performs an operation represented by the following model formula (1) for a plurality of inputs.
  • N is the number of inputs to neuron P and is not necessarily the same among neurons.
  • x 1 to x N are input data of neuron P
  • w 1 to w N are weights for inputs x 1 to x N
  • b is a bias. Weights and biases are determined by learning. In the following, weights and biases are collectively referred to as parameters.
  • the function s (a) is an activation function.
  • the activation function is not always the same between neurons.
  • FIG. 3 shows an example of the model generation unit 12.
  • the illustrated model generation unit 12 has a memory 121, a pixel value comparison unit 122, and a parameter adjustment unit 123.
  • the memory 121 holds the inference model Mdo being trained.
  • the inference model Mdo during learning stored in the memory 121 is updated as the learning progresses.
  • the SAR image DTs of the training data DTs of each set are input to the inference model Mdo being trained, and the optical image DTs as the correct answer are input to the pixel value comparison unit 122.
  • the inference model Mdo being trained converts the input SAR image DTs and outputs the optical image DUo generated by the conversion.
  • the pixel value comparison unit 122 compares the optical image DUo and the optical image DTo, and calculates the loss function LGAN based on the result of the comparison. For example, the absolute value or the sum of squares of the difference between the pixel values of the optical image DUo and the optical image DTo for each pixel is used as the loss function.
  • the parameter adjustment unit 123 adjusts the parameters of the inference model Mdo being trained based on the loss function LGAN .
  • the parameters are adjusted so that the loss function LGAN described above becomes smaller.
  • the parameters can be adjusted using, for example, the error back propagation method and the gradient descent method.
  • the parameter adjustment and the inference (image conversion) using the adjusted parameter are repeated, and when the loss function LGAN becomes less than a predetermined threshold value, the learning is completed and the trained inference model is obtained.
  • the trained inference model Mdo is stored in the model storage unit 4.
  • the inference model Mdo being learned may be stored in the model storage unit 4.
  • the inference model stored at the end of learning becomes the learned inference model Mdo as it is.
  • the learning device 2 newly generates the inference model Mdo, but the inference model once generated by learning may be relearned.
  • an inference model Mdo generated by another alignment system may be provided and re-learning may be performed on the inference model Mdo.
  • the learning data generation unit 11 supplies the model generation unit 12 each time a set of learning data DTs is generated.
  • the learning data generation unit 11 may generate a plurality of sets of learning data DTs and then supply the learning data DTs one set at a time to the model generation unit 12.
  • the image processing device 3 includes a captured image acquisition unit 21, an inference unit 22, a comparison image generation unit 23, and an alignment processing unit 24.
  • the captured image acquisition unit 21 acquires the SAR image DSa output from the SAR image sensor 7 and outputs it as the acquired SAR image DSb.
  • the acquired SAR image DSb may be a part of the SAR image DSa output from the SAR image sensor 7. It can be said that not only the SAR image DSa output from the SAR image sensor 7 but also the acquired SAR image DSb is an image obtained by imaging by the SAR image sensor 7.
  • the inference unit 22 converts the input acquired SAR image DSb into an optical image (conversion optical image) DOc by using the inference model Mdo stored in the model storage unit 4. That is, by inputting the acquired SAR image DSb into the inference model Mdo, the converted optical image DOc corresponding to the acquired SAR image DSb is inferred and output.
  • the comparative image generation unit 23 holds the optical image DOa output from the optical image sensor 8 and outputs it as a comparative optical image DOr.
  • the comparative optical image DOr is an image about the same region as the acquired SAR image DSb, and is an image obtained by imaging at a different time from the acquired SAR image DSb.
  • An image for the same area means an image containing the same subject.
  • the comparative optical image DOr may be a part of the optical image DOa output from the optical image sensor 8.
  • the alignment processing unit 24 detects the positional deviation of the converted optical image DOc with respect to the comparative optical image DOr, and aligns the acquired SAR image DSb with the comparative optical image DOr based on the detected positional deviation.
  • the alignment processing unit 24 includes a position deviation detection unit 25 and a position correction unit 26.
  • the misalignment detection unit 25 detects the misalignment of the converted optical image DOc with respect to the comparative optical image DOr, and outputs the misalignment information Dg indicating the detected misalignment.
  • feature point matching and block matching can be used for the misalignment detection unit 25 to detect the misalignment.
  • feature point matching the feature points of an image are extracted, the corresponding feature points of the other image corresponding to the feature points of one image are identified, and the difference in position between the corresponding feature points is detected.
  • the feature point matching may be, for example, matching using a KAZE (meaning "wind” in Japanese) feature quantity, an AKAZE (Accelerated KAZE) feature quantity, and a SURF (Speed-Up Robot Features) feature quantity.
  • block matching an image is divided into a plurality of block areas, and the corresponding blocks of the other image corresponding to each block of one image are identified based on the similarity for each block area, and the corresponding blocks are identified. The difference in the position of is detected.
  • the position correction unit 26 corrects the position of the acquired SAR image DSb based on the position shift information Dg, and generates the corrected SAR image DSh.
  • the converted optical image DOc is generated by conversion from the acquired SAR image DSb, and each part of the converted optical image DOc is associated with each part of the acquired SAR image DSb. Therefore, the misalignment of each portion of the converted optical image DOc can be seen as the misalignment of the corresponding portion of the acquired SAR image DSb. With such an association, the positional deviation of the acquired SAR image DSb can be estimated.
  • the position correction unit 26 regards the positional deviation of each portion of the converted optical image DOc detected by the above-mentioned feature point matching, block matching, etc. as the positional deviation of the corresponding portion of the acquired SAR image DSb, and acquires the image. Position correction is performed on the SAR image DSb to eliminate or reduce the positional deviation, and the image generated by the correction is output as the corrected SAR image DSh. The position correction is performed so that the feature points or blocks determined to correspond in the two images match or are closer to each other.
  • the corrected SAR image DSh is output together with the comparative optical image DOr, for example, and is used for automatic analysis, visual analysis, and the like. Analysis and the like can be facilitated by using the corrected SAR image DSh and the comparative optical image DOr.
  • the acquired SAR image DSb is corrected for alignment to generate the corrected SAR image DSh, but instead, the comparative optical image DOr is corrected for alignment.
  • the comparative optical image DOr is corrected for alignment.
  • both the acquired SAR image DSb and the adaptive optics image DOr may be corrected to generate the corrected SAR image and the corrected optical image.
  • the correction amount of each image can be made smaller.
  • the comparative optical image is an optical image obtained by capturing the same region as the acquired SAR image at different times, but the comparative optical image captures the same region as the acquired SAR image at the same time. It may be an optical image obtained by the above. For example, even if an image is obtained by capturing the same area at the same time, the distortion may differ depending on the image sensor, and the corresponding parts of the image may be displaced from each other. By performing the same image processing as above with the acquired image as the acquired image and the other as the comparison image, the alignment can be performed.
  • the SAR image DTs used for learning are geocoded using an elevation numerical model to correct the influence of collapse due to the difference in elevation. By doing so, fluctuations during learning can be suppressed.
  • the SAR image DTs used for learning have undergone the above geocoding process, it is desirable that the SAR image DSb input to the inference unit 22 also undergoes the same process in the utilization phase. ..
  • the optical image DTo used in the learning phase is subjected to atmospheric correction processing to suppress the influence of at least one of water vapor and aerosol. By doing so, fluctuations during learning can be suppressed.
  • the optical image DTo used for learning has undergone the above-mentioned atmospheric correction processing, it is assumed that the comparative optical image DOr input to the alignment processing unit 6 has also undergone the same processing in the utilization phase. Is desirable.
  • the optical image DTo used in the learning phase suppresses the influence of the difference in the light source environment due to at least one of the difference in the imaging time and the difference in the sunshine condition. By doing so, it is possible to correct fluctuations during learning.
  • the comparative optical image DOr input to the alignment processing unit 24 also undergoes the same processing in the utilization phase. It is desirable to make it.
  • the plurality of sets of learning data DTs used in the learning phase may include images having various different imaging conditions such as atmospheric influence, sunshine conditions, and imaging time. By doing so, even if the input image is obtained by imaging under various different conditions in the utilization phase, the image conversion can be performed with a small conversion error.
  • the inference model Mds is generated by supervised learning.
  • supervised learning unsupervised learning, semi-supervised learning, reinforcement learning, and the like can also be used to generate the inference model Mds.
  • unsupervised learning a SAR image and an optical image are required as a plurality of sets of learning data, but in this case, the images do not need to include the same subject. That is, it does not have to be pair data.
  • deep learning which learns the extraction of feature points and features, can also be used to generate the inference model Mds, and other known methods such as genetic programming, functional logic programming, and support vectors can be used. You may use a machine or the like.
  • one alignment system 1 is configured by the learning device 2, the image processing device 3, and the model storage unit 4, and the inference model Mdo generated by the learning device 2 is the same image in the alignment system 1. It is used in the processing device 3. Instead, the inference model generated by the learning device 2 in one of a plurality of similar alignment systems (first alignment system) is replaced by another alignment system (second alignment system). ) May be used in the image processing device 3. In this case, the second alignment system may not include the learning device 2.
  • the learning device 2, the image processing device 3, and the model storage unit 4 may be connected to each other via a network. Further, the learning device 2, the image processing device 3, and the model storage unit 4 may be entirely or partially formed on the cloud server.
  • the plurality of sets of learning data DTs used in the alignment system 1 are the SAR image and the optical obtained by imaging with the SAR image sensor 7 and the optical image sensor 8 connected to the alignment system 1. Generated from an image.
  • the plurality of sets of training data DTs may be training data generated in another one or more alignment systems similar to the alignment system 1.
  • the plurality of sets of learning data DTs may be data that are separately created in advance and stored in a database (not shown). For example, in the case of a configuration in which learning data that can be shared by a plurality of alignment systems (the same alignment system as the alignment system 1 described in the first embodiment) is generated and stored in the above database. It may be data stored in such a database. In these cases, if the learning data generation unit 11 receives the learning data DT supplied from the learning data generation unit of another alignment system or the above database and outputs it as the learning data DT. good.
  • the above-mentioned one or more other alignment systems, or a plurality of alignment systems sharing a database may perform imaging in the same geographical area, and image in different geographical areas. It may be a thing.
  • the above-mentioned one or more other alignment systems or a plurality of alignment systems sharing a database perform imaging in the same geographical area, imaging in the same geographical area is performed.
  • the learning data DT generated from the obtained image will be used for learning. If one or more of the above other alignment systems, or multiple alignment systems that share a database, are to be imaged in different geographic areas, they will be obtained by imaging in different geographic areas.
  • the learning data DT generated from the image will be used for learning.
  • the learning data generation unit 11 does not have to use all of the data provided or collected by itself.
  • the learning data generation unit 11 may also collect a sufficient amount of learning data once, and then supplement it with new data or reduce unnecessary data.
  • the converted optical image DOc is generated from the acquired SAR image DSb, and the acquired SAR image DSb and the acquired SAR image DSb are based on the positional deviation between the converted optical image DOc and the comparative optical image DOr. Alignment with the comparative optical image DOr can be performed.
  • the comparative optical image DOr is an image at a certain time point (first time point) and the acquired SAR image DSb is an image at another time point (second time point)
  • first time point and the second time point are It is possible to determine whether or not there has been a change between the two, and if so, to extract the changed region and determine the reason for the change.
  • the misalignment can be detected accurately, and more detailed information on the above changes can be obtained from the aligned SAR image and the optical image. Is possible.
  • Embodiment 2 In the alignment system 1 of the first embodiment, the SAR image as the first type image is converted into the optical image as the second type image, and the optical image obtained by the conversion and the comparative optical image are combined. By comparing, the positional deviation is detected, and the SAR image and the comparative optical image are aligned.
  • the optical image as the first type image is converted into the SAR image as the second type image, and the SAR image obtained by the conversion is compared with the comparative SAR image. The misalignment is detected, and the optical image and the comparative SAR image are aligned. That is, in the second embodiment, the optical image and the SAR image are exchanged with each other in the first embodiment. Therefore, if the optical image and the SAR image in the description of the first embodiment are replaced with each other, the second embodiment will be described. Therefore, a brief explanation will be given below.
  • FIG. 4 shows the alignment system 1b of the second embodiment.
  • the alignment system 1b shown in FIG. 4 includes a learning device 2b, an image processing device 3b, and a model storage unit 4.
  • the learning device 2b In the learning phase, the learning device 2b generates an inference model that converts an optical image into a SAR image by machine learning, and stores the generated inference model in the model storage unit 4.
  • Machine learning can be performed in the same manner as described in the first embodiment.
  • the image processing apparatus 3b converts the optical image acquired by imaging into a SAR image using the inference model stored in the model storage unit 4, and the SAR generated by the conversion.
  • the positional deviation between the image and the comparative SAR image is detected, and the acquired optical image and the comparative SAR image are aligned based on the detected positional deviation.
  • the optical image acquired by imaging is referred to as an acquired optical image
  • the SAR image generated by the conversion is referred to as a converted SAR image.
  • the comparative SAR image is an image obtained by capturing the same region as the acquired optical image at different times.
  • the learning device 2b includes a learning data generation unit 11b and a model generation unit 12b.
  • the learning data generation unit 11b generates and outputs a plurality of sets of learning data DTs. For example, each set of training data DT is output each time it is generated.
  • each of the plurality of sets of learning data DTs is composed of a pair of an optical image DT as input data and a SAR image DTs as correct output data.
  • the SAR image DTs as correct output data mean SAR images to be output by conversion or inference when the optical image DTo as input data is input.
  • the model generation unit 12b generates inference model Mds for converting an optical image into a SAR image by machine learning based on a plurality of sets of learning data DTs output from the learning data generation unit 11b.
  • the generated inference model Mds is stored in the model storage unit 4.
  • the image processing device 3b includes a captured image acquisition unit 21b, an inference unit 22b, a comparison image generation unit 23b, and an alignment processing unit 24b.
  • the captured image acquisition unit 21b acquires the optical image DOa output from the optical image sensor 8 and outputs it as the acquired optical image DOb.
  • the acquired optical image DOb may be a part of the image output from the optical image sensor 8. It can be said that not only the optical image DOa output from the optical image sensor 8 but also the acquired optical image DOb is an image obtained by imaging by the optical image sensor 8.
  • the inference unit 22b converts the input acquired optical image DOb into a SAR image (converted SAR image) DSc by using the inference model Mds stored in the model storage unit 4. That is, by inputting the acquired optical image DOb into the inference model Mds, the converted SAR image DSc corresponding to the acquired optical image DOb is inferred and output.
  • the comparison image generation unit 23b holds the SAR image DSa output from the SAR image sensor 7 and outputs it as the comparison SAR image DSr.
  • the comparative SAR image DSr is an image about the same region as the acquired optical image DOb, and is an image obtained by imaging at a different time from the acquired optical image DOb.
  • the comparative SAR image DSr may be a part of the SAR image DSa output from the SAR image sensor 7.
  • the alignment processing unit 24b detects the positional deviation of the converted SAR image DSc with respect to the comparative SAR image DSr, and aligns the acquired optical image DOb with the comparative SAR image DSr based on the detected positional deviation.
  • the alignment processing unit 24b has a misalignment detection unit 25b and a position correction unit 26b.
  • the misalignment detection unit 25b detects the misalignment of the converted SAR image DSc with respect to the comparative SAR image DSr, and outputs the misalignment information Dg indicating the detected misalignment.
  • the position correction unit 26b corrects the position of the acquired optical image DOb based on the position shift information Dg, and generates the corrected optical image DOh.
  • the converted SAR image DSc is generated by conversion from the acquired optical image DOb, and each part of the converted SAR image DSc is associated with each part of the acquired optical image DOb. Therefore, the misalignment of each portion of the converted SAR image DSc can be seen as the misalignment of the corresponding portion of the acquired optical image DOb. With such an association, the positional deviation of the acquired optical image DOb can be estimated.
  • the position correction unit 26b regards the misalignment of each portion of the converted SAR image DSc as the misalignment of the corresponding portion of the acquired optical image DOb, and eliminates or reduces the misalignment with respect to the acquired optical image DOb.
  • the position is corrected, and the image generated by the correction is output as a corrected optical image DOh.
  • the adaptive optics image DOh is output together with the comparative SAR image DSr, for example, and is used for automatic analysis, visual analysis, and the like.
  • the acquired optical image DOb is corrected for alignment to generate the corrected optical image DOh, but instead, the comparative SAR image DSr is corrected for alignment.
  • the comparative SAR image DSr is corrected for alignment.
  • both the acquired optical image DOb and the comparative SAR image DSr may be corrected to generate the corrected optical image and the corrected SAR image.
  • the correction amount of each image can be made smaller.
  • the second embodiment has the same effects as those of the first embodiment, and also has the following additional effects.
  • the inference model Mds performs the conversion from the optical image to the SAR image.
  • the optical image changes variously depending on the imaging time, weather conditions, etc., while the SAR image changes little depending on the imaging time, weather conditions, and the like. Therefore, as compared with the conversion from the SAR image to the optical image, the conversion from the optical image to the SAR image has a smaller defect setting property at the time of image conversion, and there is a high possibility that an image closer to the correct answer can be generated. Therefore, the misalignment information obtained from the converted SAR image DSc and the comparison SAR image DSr may be more accurate than the misalignment information obtained in the first embodiment.
  • the difference between the first embodiment and the second embodiment is that the SAR image and the optical image are interchanged. That is, in the first embodiment, the SAR image is the first type image and the optical image is the second type image, but in the second embodiment, the optical image is the first type image and the SAR image is the first type image. There are two types of images. Although the description of the second embodiment has been simplified, the detailed description of the first embodiment also applies to the second embodiment by exchanging the "optical image" and the "SAR image".
  • Embodiment 3 In the first embodiment, the pixel value of the image output from the inference model Mdo being trained is compared with the pixel value of the image as the correct answer data, and the parameters of the inference model Mdo are adjusted based on the comparison result. I'm doing it.
  • the third embodiment not only the result of comparison between the pixel value of the image output from the inference model Mdo being trained and the pixel value of the image as correct data, but also the image output from the inference model Mdo being trained. The parameters of the inference model Mdo are adjusted based on the result of comparison between the feature points of the above and the feature points of the image as correct data.
  • the overall configuration of the alignment system of the third embodiment is the same as that of the alignment system 1 of the first embodiment.
  • the alignment system of the third embodiment is different from the alignment system 1 of the first embodiment in that the model generation unit 12c shown in FIG. 5 is provided instead of the model generation unit 12.
  • the model generation unit 12c generates an inference model Mdo that converts a SAR image into an optical image by machine learning based on a plurality of sets of learning data DTs output from the learning data generation unit 11.
  • the model generation unit 12c shown in FIG. 5 is generally the same as the model generation unit 12 shown in FIG. 3, but a feature point comparison unit 124 is added, and parameter adjustment is performed instead of the parameter adjustment unit 123 in FIG.
  • the unit 123c is provided.
  • the feature point comparison unit 124 extracts feature points from the optical image DTo as the correct answer and the optical image DUo output from the inference model Mdo being trained, performs feature point matching, and performs a loss function L based on the result. Calculate D.
  • the parameter adjustment unit 123c adjusts the parameters based on the loss function LD calculated by the feature point comparison unit 124 and the loss function LGAN calculated by the pixel value comparison unit 122.
  • the loss function LD and the loss function L GAN are weighted and added to obtain the combined loss function L, and the parameters are adjusted based on the combined loss function L.
  • the above weighted addition is expressed by the following equation (2).
  • L ⁇ 1, L GAN + ⁇ 2, LD ... Equation (2)
  • ⁇ 1 and ⁇ 2 are weighting coefficients.
  • the parameters are adjusted so that the combined loss function L described above becomes smaller.
  • the learning is completed and the learned inference model is obtained.
  • the third embodiment is the same as the first embodiment.
  • the third embodiment has the following additional effects. That is, since the result of feature point matching is used to generate the inference model Mdo, an inference model Mdo that generates a conversion optical image in which the feature points are more emphasized or a conversion optical image in which the feature points can be easily extracted is constructed. Therefore, the converted optical image DOc generated by the image conversion in the inference unit 22 that performs the conversion using such an inference model Mdo is supplied to the alignment processing unit 24, and the alignment processing unit 24 , The feature points can be easily extracted from the converted optical image DOc, and the alignment accuracy is improved.
  • FIG. 6 shows the alignment system 1d of the fourth embodiment.
  • the alignment system 1d shown in FIG. 6 includes a learning device 2d, an image processing device 3d, and a model storage unit 4.
  • the learning device 2d In the learning phase, the learning device 2d generates an inference model for inferring the positional deviation of the SAR image by machine learning, and stores the generated inference model in the model storage unit 4.
  • the image processing apparatus 3d infers the positional deviation of the acquired SAR image using the inference model stored in the model storage unit 4, and based on the inferred positional deviation, the image processing apparatus 3d infers the positional deviation. Align the acquired SAR image with the comparative optical image.
  • the learning device 2d includes a learning data generation unit 11d and a model generation unit 12d.
  • the learning data generation unit 11d generates and outputs, as the learning data DT of each set, a SAR image DTs, a comparative optical image DTor, and a misalignment information DTg.
  • the learning data generation unit 11d includes a captured image acquisition unit 321, an inference unit 322, a comparative image generation unit 323, and a misalignment detection unit 325.
  • the captured image acquisition unit 321, the inference unit 322, the comparison image generation unit 323, and the position shift detection unit 325 are the captured image acquisition unit 21, the inference unit 22, the comparison image generation unit 23, and the position shift detection unit 25, respectively, of FIG. Is similar to.
  • the data output from the captured image acquisition unit 321 and the inference unit 322, the comparative image generation unit 323, and the misalignment detection unit 325 are the captured image acquisition unit 21, the inference unit 22, the comparative image generation unit 23, and the comparative image generation unit 23, respectively, in FIG. It is the same as the data output from the misalignment detection unit 25, but is distinguished by adding "t" to the end of the code representing them.
  • the captured image acquisition unit 321 receives the SAR image DSa obtained by imaging with the SAR image sensor 7 and outputs the acquired SAR image DSbt.
  • the inference unit 322 infers the converted optical image DOct from the acquired SAR image DSbt by using the inference model Mdo constructed in the same manner as described in the first embodiment.
  • the comparative image generation unit 323 holds the optical image DOa obtained by imaging with the optical image sensor 8 and outputs it as a comparative optical image DOrt.
  • the misalignment detection unit 325 detects the misalignment of the converted optical image DOct with respect to the comparative optical image DOrt, and generates and outputs the misalignment information Dgt indicating the detected misalignment.
  • the learning data generation unit 11d outputs the acquired SAR image DSbt as the learning SAR image DTs, outputs the comparative optical image DOrt as the learning comparative optical image DTor, and outputs the misalignment information Dgt as the learning misalignment information. Output as DTg.
  • the misalignment information DTg for learning is used as data representing a correct answer.
  • the model generation unit 12d generates an inference model Mg by learning using the learning data DT.
  • the generated inference model Mg takes the acquired SAR image and the comparative optical image as inputs and outputs the positional deviation information.
  • the misalignment information is information representing the misalignment of the acquired SAR image with respect to the comparative optical image, as described in the first embodiment.
  • the model generation unit 12d has, for example, a memory 121, a position shift comparison unit 125, and a parameter adjustment unit 123d, as shown in FIG.
  • the inference model Mg being learned is stored in the memory 121.
  • the inference model Mg during learning is updated as the learning progresses.
  • the inference model Mg infers the misalignment DUg based on the SAR image DTs and the comparative optical image DTor in the training data DT.
  • the misalignment comparison unit 125 compares the misalignment DTg as the correct answer with the misalignment DUg inferred by the inference model Mg under training, and calculates the loss function Lg based on the result of the comparison.
  • the parameter adjustment unit 123d adjusts the parameters based on the loss function Lg. The parameters are adjusted so that the loss function Lg described above becomes smaller. When the parameter adjustment and the inference (estimation of the positional deviation) using the adjusted parameters are repeated and the loss function Lg becomes less than the predetermined threshold value, the learning is completed and the learned inference model Mg is obtained. ..
  • the generated inference model Mg is stored in the model storage unit 4.
  • the inference model Mg uses the optical image DOc generated by the inference unit 322 that performs inference using the inference model Mdo constructed in the same manner as in the first embodiment as a part of the learning data. It is built by supervised learning.
  • the image processing device 3d of FIG. 6 is generally the same as the image processing device 3 of FIG. 1, but includes an inference unit 22d instead of the combination of the inference unit 22 and the misalignment detection unit 25 of FIG.
  • the inference unit 22d receives the acquired SAR image DSb and the comparative optical image DOr as inputs, detects the positional deviation by inference, and outputs the positional deviation information Dg.
  • the inference model Mg stored in the model storage unit 4 is used.
  • the position correction unit 26 corrects the position of the acquired SAR image DSb based on the position shift information Dg inferred by the inference unit 22. As described in the first embodiment, instead of performing position correction on the acquired SAR image DSb, position correction may be performed on the comparative optical image DOr, and the acquired SAR image DSb and the comparative optical image DOr may be performed. Position correction may be performed for both of the above.
  • the fourth embodiment is the same as the first embodiment. In addition to the same effects as those in the first embodiment, the fourth embodiment has the following additional effects.
  • a frame memory (not shown) that temporarily holds the converted optical image DOc generated by the inference unit 22 before being supplied to the alignment processing unit 24 is required.
  • the above frame memory can be omitted. Therefore, the circuit scale of the image processing device can be reduced, the amount of calculation in the image processing device can be reduced, and the cost of the image processing device can be reduced.
  • FIG. 9 shows the alignment system 1e according to the fifth embodiment.
  • the alignment system 1e shown in FIG. 9 includes a learning device 2e, an image processing device 3e, and a model storage unit 4.
  • the learning device 2e In the learning phase, the learning device 2e generates an inference model for inferring the corrected SAR image by machine learning, and stores the generated inference model in the model storage unit 4.
  • the image processing device 3e In the utilization phase (image processing phase), the image processing device 3e infers and outputs the corrected SAR image for the acquired SAR image by using the inference model stored in the model storage unit 4.
  • the corrected SAR image is an image corrected for alignment with the comparative optical image.
  • the learning device 2e includes a learning data generation unit 11e and a model generation unit 12e.
  • the learning data generation unit 11e generates and outputs, as the training data DT of each set, a SAR image DTs, a comparative optical image DTor, and a corrected SAR image DTsh.
  • the learning data generation unit 11e has a captured image acquisition unit 321, an inference unit 322, a comparison image generation unit 323, and an alignment processing unit 324.
  • the captured image acquisition unit 321, the inference unit 322, the comparison image generation unit 323, and the alignment processing unit 324 are the captured image acquisition unit 21, the inference unit 22, the comparison image generation unit 23, and the alignment processing unit 24, respectively, in FIG. Is similar to.
  • the data output from the captured image acquisition unit 321 and the inference unit 322, the comparative image generation unit 323, and the alignment processing unit 324 are the captured image acquisition unit 21, the inference unit 22, the comparative image generation unit 23, and the comparison image generation unit 23, respectively, of FIG. It is the same as the data output from the alignment processing unit 24, but is distinguished by adding "t" to the end of the code representing them.
  • the captured image acquisition unit 321, the inference unit 322, and the comparative image generation unit 323 in FIG. 10 are the same as the captured image acquisition unit 321, the inference unit 322, and the comparative image generation unit 323 in FIG. 7, and operate in the same manner. ..
  • the alignment processing unit 324 performs alignment processing on the converted optical image DOct and the comparative optical image DOrt, and outputs the corrected SAR image DSht.
  • the learning data generation unit 11e outputs the acquired SAR image DSbt as the learning SAR image DTs, outputs the comparative optical image DOrt as the learning comparative optical image DTor, and outputs the corrected SAR image DSht as the training corrected SAR image. Output as DTsh.
  • the corrected SAR image DTsh for learning is used as data representing a correct answer.
  • the model generation unit 12e generates an inference model Msh by learning using the learning data DT.
  • the generated inference model Msh takes a SAR image and a comparative optical image as inputs, and outputs a corrected SAR image.
  • the corrected SAR image is a SAR image corrected for alignment with respect to the comparative optical image, as described in the first embodiment.
  • the model generation unit 12e has, for example, a memory 121, a pixel value comparison unit 126, and a parameter adjustment unit 123e, as shown in FIG.
  • the inference model Msh being learned is stored in the memory 121.
  • the inference model Msh during learning is updated as the learning progresses.
  • the inference model Msh infers the corrected SAR image DUsh based on the SAR image DTs and the comparative optical image DTor in the training data DT.
  • the pixel value comparison unit 126 compares the corrected SAR image DTsh as the correct answer with the corrected SAR image DUsh inferred by the inference model Msh being trained, and calculates the loss function Lh based on the result of the comparison.
  • the parameter adjustment unit 123e adjusts the parameters based on the loss function Lh. The parameters are adjusted so that the loss function Lh described above becomes smaller.
  • the learning is completed and the learned inference model Msh is obtained. Be done.
  • the generated inference model Msh is stored in the model storage unit 4.
  • the inference model Msh uses the optical image DOc generated by the inference unit 322 that performs inference using the inference model Mdo constructed in the same manner as in the first embodiment as a part of the learning data. It is built by supervised learning.
  • the image processing device 3e of FIG. 9 is generally the same as the image processing device 3 of FIG. 1, but includes an inference unit 22e instead of the combination of the inference unit 22 and the alignment processing unit 24 of FIG.
  • the inference unit 22e receives the acquired SAR image DSb and the comparative optical image DOr as inputs, and generates a corrected SAR image DSh by inference.
  • the inference model Msh stored in the model storage unit 4 is used.
  • the inference model Msh inputs a SAR image and a comparative optical image and outputs a corrected SAR image, but instead, a SAR image and a comparative optical image are input and a corrected comparison is performed. It may output an optical image, or it may output both a corrected SAR image and a corrected comparative optical image.
  • the fifth embodiment is the same as the first embodiment.
  • the fifth embodiment has the following additional effects.
  • a frame memory (not shown) that temporarily holds the converted optical image DOc generated by the inference unit 22 before being supplied to the alignment processing unit 24 is required, and the inference unit 22 is also required.
  • such a frame memory, a communication line, a network, and the like can be omitted. Therefore, the circuit scale of the image processing device can be reduced, the amount of calculation in the image processing device can be reduced, and the cost of the image processing device can be reduced.
  • Each of the alignment systems 1, 1b, 1c, 1d, and 1e described in the first to fifth embodiments may be partially or wholly composed of a processing circuit.
  • the functions of each part of the alignment system may be realized by separate processing circuits, or the functions of a plurality of parts may be collectively realized by one processing circuit.
  • the processing circuit may be composed of hardware or software, that is, a programmed computer. Of the functions of each part of the alignment system, some may be realized by hardware and the other part may be realized by software.
  • FIG. 12 shows an example of a configuration in which the function of the alignment system 1 of the above-described first embodiment is realized by a computer 9 including a single processor, together with a SAR image sensor 7 and an optical image sensor 8.
  • the computer 9 has a processor 91 and a memory 92.
  • the memory 92 stores a program for realizing the functions of each part of the alignment system 1.
  • the processor 91 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microprocessor, a DSP (Digital Signal Processor), or the like.
  • the memory 92 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ReadOnly Memory), an EEPROM (Electrically Memory Disk, etc.) Alternatively, a photomagnetic disk or the like is used.
  • the processor 91 and the memory 92 may be realized by an LSI (Large Scale Integration) integrated with each other.
  • the processor 91 realizes the function of the alignment system by executing the program stored in the memory 92.
  • the functions of the alignment system 1 include generation or relearning of an inference model by learning in the learning device 2 as described above, and image conversion and alignment processing in the image processing device 3.
  • the program may be provided through a network, or may be recorded and provided on a recording medium, such as a non-temporary recording medium. That is, the program may be provided, for example, as a program product.
  • the memory 92 may also play the role of the model storage unit 4.
  • step ST11 the processor 91 generates a plurality of sets of learning data. This process corresponds to the process in the learning data generation unit 11 of FIG.
  • step ST12 the processor 91 uses the learning data generated in step ST11 to generate an inference model for converting a SAR image into an optical image by machine learning. This process corresponds to the process in the model generation unit 12 of FIG.
  • step ST13 the processor 91 stores the inference model generated in step ST12 in the memory 92. This process corresponds to the process of storing in the model storage unit 4 of FIG.
  • step ST21 the processor 91 acquires the SAR image obtained by the image pickup by the SAR image sensor 7. This process corresponds to the process in the captured image acquisition unit 21 of FIG.
  • step ST22 the processor 91 converts the SAR image acquired in step ST21 into an optical image by using the inference model stored in the memory 92. This process corresponds to the process in the inference unit 22 of FIG.
  • step ST23 the processor 91 holds the optical image obtained by imaging with the optical image sensor 8 and generates a comparative optical image. This process corresponds to the process in the comparative image generation unit 23 of FIG.
  • steps ST21 and ST22 and step ST23 can be performed in parallel.
  • step ST24 the processor 91 detects the positional deviation between the converted optical image obtained by the conversion in step ST22 and the comparative optical image generated in step ST23, and aligns the acquired SAR image with the comparative optical image. conduct. This process corresponds to the process in the alignment processing unit 24 of FIG.
  • the procedure of the process when the process in the learning apparatus of the second to fifth embodiments is executed by the computer is also the same as in FIG.
  • the procedure of the processing when the processing in the image processing apparatus of the second and third embodiments is executed by the computer is also the same as in FIG.
  • Steps ST21 and ST23 are the same as in FIG.
  • step ST25 the processor 91 generates position shift information by inference. This process corresponds to the process in the inference unit 22d of FIG.
  • step ST26 the processor 91 performs position correction. This process corresponds to the process in the position correction unit 26 of FIG.
  • Steps ST21 and ST23 are the same as in FIG.
  • step ST27 the processor 91 performs the alignment process by inference. This process corresponds to the process in the inference unit 22e of FIG.
  • the third to fifth embodiments have been described as modification to the first embodiment, the same modification can be applied to the second embodiment. That is, in the third to fifth embodiments, the SAR image is the first type image and the optical image is the second type image, but the SAR image and the optical image may be exchanged and the same processing may be performed. ..
  • the various modifications described for the first embodiment can be applied to the second to fifth embodiments, and can also be applied to the configuration in which the SAR image and the optical image are exchanged in the third to the fifth embodiments.
  • the second type image for comparison is not limited to the image obtained by capturing the same region as the acquired first type image at different times. , It may be an image obtained by imaging the same region as the acquired first-class image at the same time.
  • the alignment system and its learning device and image processing device have been described above, it is also possible to implement the learning method using the learning device, and it is also possible to implement the image processing method using the image processing device. It is also possible to have the computer execute the processing in the learning device, the learning method, the image processing device, or the image processing method programmatically.
  • 1,1b, 1d, 1e alignment system 2,2b, 2d, 2e learning device, 3,3b, 3d, 3e image processing device, 4 model storage unit, 11,11b, 11d, 11e learning data generation unit, 12, 12b, 12c, 12d, 12e model generation unit, 21 and 21b image acquisition unit, 22, 22b, 22c, 22d, 22e inference unit, 23, 23b comparison image generation unit, 24, 24b alignment processing unit, 25. , 25b Position deviation detection unit, 26 Position correction unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

撮像で得られた第１種の画像を第２種の画像に変換し、変換で得られた第２種の画像と比較のための第２種の画像との位置ずれを検出し、検出された位置ずれに基づいて、第１種の画像と比較のための第２種の画像との位置合わせを行う。比較のための第２種の画像は、第１種の画像と同じ領域を撮像することで得られた画像である。光学画像への変換、位置ずれの検出、又は位置合わせを推論モデルで行う。第１種の画像及び第２種の画像は、ＳＡＲ画像及び光学画像の一方及び他方である。ＳＡＲ画像と光学画像との位置合わせを正確に行うことができる。

Description

学習装置、画像処理装置、及び位置合わせシステム
　本開示は、学習装置、画像処理装置、及び位置合わせシステムに関する。
　本開示は特に、ＳＡＲ画像及び光学画像の一方から他方への変換、又はＳＡＲ画像と光学画像との位置ずれの検出、又は位置合わせのための補正画像の生成のための推論モデルの構築、並びに当該推論モデルを利用した画像処理に関する。
　ＳＡＲ（合成開口レーダ）画像は、自ら電波（マイクロ波）を出し、その反射波（後方散乱）を観測することで画像（ＳＡＲ画像）を得る。昼夜に関わらず観測が可能な他、マイクロ波の特性上、雲などの小さな水滴も透過することができる。そのため大雨、地震などの災害時の地形、構造物の状況の把握に有用である。
　一方で、ＳＡＲ画像自体では、被写体との位置関係の把握が難しいため、ＳＡＲ画像は、光学画像、地形図等と位置合わせして用いられることが多い。
　２枚の画像の間に位置ずれがある場合に、２枚の画像から特徴量を抽出し、特徴量が類似する特徴点の関係から位置ずれ情報を推定する技術が研究されている（非特許文献１）。
Ｓｉｂｉｒｙａｋｏｖ他、　"Ｉｍａｇｅ　ｒｅｇｉｓｔｒａｔｉｏｎ　ｕｓｉｎｇ　ＲＳＴ－ｃｌｕｓｔｅｒｉｎｇ　ａｎｄ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎ　ｉｎ　ｒｅｍｏｔｅ　ｓｅｎｓｉｎｇ"　Ｐｒｏｃ．　ＳＰＩＥ　６３６５，　Ｉｍａｇｅ　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｆｏｒ　Ｒｅｍｏｔｅ　Ｓｅｎｓｉｎｇ　ＸＩＩ，　６３６５０Ｇ　（２９　Ｓｅｐｔｅｍｂｅｒ　２００６）
　しかしながらＳＡＲ画像は、地形のエッジ等が光学画像と比較して不明瞭である場合が多く、また電波を反射し易い構造物を高輝度で表現している特徴がある。このため、ＳＡＲ画像と光学画像とでは抽出される特徴量が異なる。従って、特徴量を抽出しマッチングを行う方法は、ＳＡＲ画像と光学画像との位置合わせには適用が困難である。
　本開示の目的は、ＳＡＲ画像と光学画像との位置合わせを正確に行うことを可能にすることである。
　本開示の一つの態様の学習装置は、
　各々第１種の画像を含む、複数組の学習用データを生成する学習用データ生成部と、
　前記学習用データを用いて、前記第１種の画像から第２種の画像を推論するための推論モデルを生成するモデル生成部と
　を備え、
　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である。
　本開示の他の態様の学習装置は、
　各々第１種の画像を含む、複数組の学習用データを生成する学習用データ生成部と、
　前記学習用データを用いて、前記第１種の画像から位置ずれを推論するための推論モデルを生成するモデル生成部と
　を備え、
　前記位置ずれは、前記第１種の画像と、当該第１種の画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置ずれであり、
　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である。
　本開示の他の態様の学習装置は、
　各々第１種の画像を含む、複数組の学習用データを生成する学習用データ生成部と、
　前記学習用データを用いて、前記第１種の画像から補正画像を推論するための推論モデルを生成するモデル生成部と
　を備え、
　前記補正画像は、前記第１種の画像と、前記第１種の画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置合わせのために補正された画像であり、
　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である。
　本開示の一つの態様の画像処理装置は、
　撮像で得られた第１種の画像を取得して、取得画像として出力する撮像画像取得部と、
　前記第１種の画像から第２種の画像を推論するための推論モデルを用いて、前記取得画像から、当該取得画像に対応する第２種の画像を推論する推論部と、
　前記推論された画像と、前記取得画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置ずれを検出し、検出された位置ずれに基づいて、前記取得画像と前記比較用の第２種の画像との位置合わせを行う位置合わせ処理部と
　を備え、
　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である。
　本開示の他の態様の画像処理装置は、
　撮像で得られた第１種の画像を取得して、取得画像として出力する撮像画像取得部と、
　位置ずれを推論するための推論モデルを用いて、前記取得画像から、当該取得画像の位置ずれを推論する推論部と、
　前記推論された位置ずれに基づいて、前記取得画像と比較用の第２種の画像との位置合わせを行う位置合わせ処理部と
　を備え、
　前記比較用の第２種の画像は、前記取得画像と同じ領域を撮像することで得られた画像であり、
　前記位置ずれは、前記取得画像と、前記比較用の第２種の画像との位置ずれであり、
　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である。
　本開示の他の態様の画像処理装置は、
　撮像で得られた第１種の画像を取得して、取得画像として出力する撮像画像取得部と、
　補正画像を推論するための推論モデルを用いて、前記取得画像から補正画像を推論する推論部と
　を備え、
　前記補正画像は、前記取得画像と、当該取得画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置合わせのために補正された画像であり、
　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である。
　本開示によれば、ＳＡＲ画像と光学画像との位置合わせを正確に行なうことができる。
実施の形態１の位置合わせシステムの一例を示す機能ブロック図である。 位置合わせシステムで用いられる推論モデルを構成するニューラルネットワークの一例示す図である。 実施の形態１で用いられるモデル生成部の一例を示す機能ブロック図である。 実施の形態２の位置合わせシステムの一例を示す機能ブロック図である。 実施の形態３で用いられるモデル生成部の一例を示す機能ブロック図である。 実施の形態４の位置合わせシステムの一例を示す機能ブロック図である。 実施の形態４で用いられる学習用データ生成部の一例を示す機能ブロック図である。 実施の形態４で用いられるモデル生成部の一例を示す機能ブロック図である。 実施の形態５の位置合わせシステムの一例を示す機能ブロック図である。 実施の形態５で用いられる学習用データ生成部の一例を示す機能ブロック図である。 実施の形態５で用いられるモデル生成部の一例を示す機能ブロック図である。 単一のプロセッサを含むコンピュータで実施の形態１の位置合わせシステムの機能を実現する場合の構成の一例を示すブロック図である。 図１２のコンピュータで実施の形態１の学習装置を実現する場合の処理の手順を示すフローチャートである。 図１２のコンピュータで実施の形態１の画像処理装置を実現する場合の処理の手順を示すフローチャートである。 図１２のコンピュータで実施の形態４の画像処理装置を実現する場合の処理の手順を示すフローチャートである。 図１２のコンピュータで実施の形態５の画像処理装置を実現する場合の処理の手順を示すフローチャートである。
実施の形態１．
　図１は、実施の形態１の位置合わせシステム１を示す。
　図示の位置合わせシステム１は、第１種の画像としてのＳＡＲ画像と第２種の画像としての光学画像との位置合わせを行なうためのものであり、学習装置２と、画像処理装置３と、モデル記憶部４とを備える。
　学習装置２及び画像処理装置３は、ＳＡＲ画像センサ７及び光学画像センサ８に接続されている。
　ＳＡＲ画像センサ７及び光学画像センサ８は、例えば人工衛星又は航空機に搭載されて、地表を撮像するのに用いられる。
　学習装置２は、学習フェーズにおいて、ＳＡＲ画像を光学画像に変換する推論モデルを機械学習により生成し、生成した推論モデルをモデル記憶部４に記憶させる。
　機械学習は、例えば、教師あり学習、教師なし学習、半教師あり学習、強化学習などで行い得る。以下で主として教師あり学習が行われる場合について説明する。
　画像処理装置３は、活用フェーズ（画像処理フェーズ）において、モデル記憶部４に記憶されている推論モデルを用いて、撮像により取得されたＳＡＲ画像を光学画像に変換し、変換で生成された光学画像と、比較光学画像との位置ずれを検出し、検出された位置ずれに基づいて、取得ＳＡＲ画像と比較光学画像との位置合わせを行なう。撮像により取得されたＳＡＲ画像を取得ＳＡＲ画像と言い、変換で生成された光学画像を変換光学画像と言う。比較光学画像は、取得ＳＡＲ画像と同じ領域を異なる時期に撮像することで得られた画像である。
　学習装置２は、学習用データ生成部１１と、モデル生成部１２とを備える。
　学習用データ生成部１１は、複数組の学習用データＤＴを生成して出力する。
　例えば、各組の学習用データＤＴは生成される毎に出力される。
　学習が教師あり学習で行われる場合、複数組の学習用データＤＴの各々は、入力データとしてのＳＡＲ画像ＤＴｓと正解出力データとしての光学画像ＤＴｏとのペアで構成されている。正解出力データとしての光学画像ＤＴｏとは、入力データとしてのＳＡＲ画像ＤＴｓが入力されたときに、変換乃至推論により出力されるべき光学画像を意味する。
　上記のペアは、互いに同時期に撮像を行なうことで得られるＳＡＲ画像及び光学画像から生成される。同時期に撮像を行なうとは、同時に、又は画像の変化が無視し得る程度の短い時間差で撮像を行なうことを意味する。
　複数組の学習用データＤＴは、ＳＡＲ画像センサ７から出力されたＳＡＲ画像ＤＳａと光学画像センサ８での撮像で得られた光学画像ＤＯａとから生成されるものであっても良い。
　この場合、学習用データＤＴの生成に用いられるＳＡＲ画像ＤＳａと光学画像ＤＯａとは、撮像領域が一致していても良く、一致していなくても良い。一致していない場合、少なくともそれぞれの一部に共通の部分（共通の被写体）を含むものであれば良い。
　一致していない場合、学習用データ生成部１１は、そのような画像ＤＳａ、ＤＯａから、撮像領域が互いに同じである、ＳＡＲ画像と光学画像のペアを作成して、１組の学習用データＤＴとする。
　上記の学習用データＤＴを構成するＳＡＲ画像ＤＴｓ及び光学画像ＤＴｏの各々は、予め定められたサイズのパッチに切り出したデータである必要がある。パッチのサイズは例えば縦方向及び横方向の画素数で定義される。ここで、ＳＡＲ画像ＤＴｓと光学画像ＤＴｏとでパッチのサイズは互いに等しくても良く、異なっていても良い。
　モデル生成部１２は、学習用データ生成部１１から出力される複数組の学習用データＤＴに基づいて、ＳＡＲ画像を光学画像に変換する推論モデルＭｄｏを機械学習により生成する。ＳＡＲ画像を光学画像に変換するとは、ＳＡＲ画像から、当該ＳＡＲ画像に対応する光学画像を推論することを意味する。
　機械学習が教師あり学習で行われる場合、モデル生成部１２は、各組の学習用データＤＴのうち、ＳＡＲ画像ＤＴｓを推論モデルＭｄｏに入力したときに推論モデルＭｄｏから出力される光学画像ＤＵｏが、正解としての光学画像ＤＴｏに充分近いものとなるように学習を行なう。
　推論モデルＭｄｏは、例えばニューラルネットワークで構成される。ニューラルネットワークの一例が図２に簡略化して示されている。
　図２に示されるニューラルネットワーク３０は、入力層３１と、中間層（隠れ層）３２と、出力層３３とを有する。図示の例では、中間層３２の数が１であるが、中間層３２の数は２以上であっても良い。各層のニューロンの数も、図２に示される例に限定されない。
　入力層３１のニューロンＰにはＳＡＲ画像ＤＴｓの画素値が入力される。入力層３１のニューロンＰは入力をそのまま出力する。
　出力層３３のニューロンＰからは、変換により生成された光学画像ＤＴｏの画素値が出力される。
　中間層３２及び出力層３３のニューロンの各々は、複数の入力に対して下記のモデル式（１）で表される演算を行う。
　ｙ＝ｓ（ｗ１×ｘ１＋ｗ２×ｘ２＋・・・・＋ｗＮ×ｘＮ＋ｂ）　　…式（１）
　式（１）で、
　Ｎは、ニューロンＰへの入力の数であり、ニューロン相互間で同じとは限らない。
　ｘ１～ｘＮはニューロンＰの入力データ、
　ｗ１～ｗＮは入力ｘ１～ｘＮに対する重み、
　ｂはバイアスである。
　重み及びバイアスは、学習により定められる。
　以下では、重み及びバイアスを纏めてパラメータと言う。
　関数ｓ（ａ）は、活性化関数である。
　活性化関数もニューロン相互間で同じとは限らない。
　図３は、モデル生成部１２の一例を示す。
　図示のモデル生成部１２は、メモリ１２１と、画素値比較部１２２と、パラメータ調整部１２３とを有する。
　メモリ１２１は、学習中の推論モデルＭｄｏを保持している。メモリ１２１に記憶されている学習中の推論モデルＭｄｏは学習の進行に伴って更新される。
　各組の学習用データＤＴのうちのＳＡＲ画像ＤＴｓは、学習中の推論モデルＭｄｏに入力され、正解としての光学画像ＤＴｏは画素値比較部１２２に入力される。
　学習中の推論モデルＭｄｏは、入力されたＳＡＲ画像ＤＴｓを変換して、変換で生成された光学画像ＤＵｏを出力する。
　画素値比較部１２２は、光学画像ＤＵｏと光学画像ＤＴｏとを比較し、比較の結果に基づいて損失関数ＬＧＡＮを算出する。例えば、光学画像ＤＵｏと光学画像ＤＴｏの画素毎の画素値の差の絶対値又は二乗の総和が損失関数として用いられる。
　パラメータ調整部１２３は、損失関数ＬＧＡＮに基づいて、学習中の推論モデルＭｄｏのパラメータを調整する。
　パラメータの調整は、上記の損失関数ＬＧＡＮがより小さくなるように行われる。
　パラメータの調整は、例えば誤差逆伝搬法及び勾配降下法を用いて行い得る。
　パラメータの調整及び調整されたパラメータを用いての推論（画像の変換）を繰り返し、損失関数ＬＧＡＮが予め定められた閾値未満となったら、学習が終了し、学習済の推論モデルが得られる。
　学習済の推論モデルＭｄｏは、モデル記憶部４に記憶される。
　なお、学習中の推論モデルＭｄｏを、モデル生成部１２内のメモリ１２１に一時的に記憶させる代わりに、モデル記憶部４に学習中の推論モデルＭｄｏを記憶させても良い。この場合、学習が終わった時点で記憶されている推論モデルがそのまま学習済の推論モデルＭｄｏとなる。
　また、上記の例では、学習装置２が、推論モデルＭｄｏを新たに生成しているが、一旦学習により生成された推論モデルの再学習を行なっても良い。例えば、他の位置合わせシステムで生成された推論モデルＭｄｏの提供を受け、これに対する再学習を行なうこととしても良い。
　また、上記の例では、学習用データ生成部１１は、１組の学習用データＤＴを生成する毎に、モデル生成部１２に供給する。代わりに、学習用データ生成部１１は、複数組の学習用データＤＴを生成した後、１組ずつ順にモデル生成部１２に供給することとしても良い。
　画像処理装置３は、撮像画像取得部２１と、推論部２２と、比較画像生成部２３と、位置合わせ処理部２４とを備える。
　撮像画像取得部２１は、ＳＡＲ画像センサ７から出力されたＳＡＲ画像ＤＳａを取得し、取得ＳＡＲ画像ＤＳｂとして出力する。取得ＳＡＲ画像ＤＳｂはＳＡＲ画像センサ７から出力されたＳＡＲ画像ＤＳａの一部であっても良い。ＳＡＲ画像センサ７から出力されたＳＡＲ画像ＤＳａのみならず、取得ＳＡＲ画像ＤＳｂも、ＳＡＲ画像センサ７による撮像で得られた画像と言うことができる。
　推論部２２は、モデル記憶部４に記憶されている推論モデルＭｄｏを用いて、入力された取得ＳＡＲ画像ＤＳｂを光学画像（変換光学画像）ＤＯｃに変換する。すなわち、推論モデルＭｄｏに取得ＳＡＲ画像ＤＳｂを入力することで、取得ＳＡＲ画像ＤＳｂに対応する変換光学画像ＤＯｃを推論して出力する。
　比較画像生成部２３は、光学画像センサ８から出力された光学画像ＤＯａを保持し、比較光学画像ＤＯｒとして出力する。比較光学画像ＤＯｒは、取得ＳＡＲ画像ＤＳｂと同じ領域についての画像であり、取得ＳＡＲ画像ＤＳｂとは異なる時期における撮像で得られた画像である。同じ領域についての画像とは同じ被写体を含む画像を意味する。
　比較光学画像ＤＯｒは、光学画像センサ８から出力される光学画像ＤＯａの一部であっても良い。
　位置合わせ処理部２４は、比較光学画像ＤＯｒに対する変換光学画像ＤＯｃの位置ずれを検出し、検出された位置ずれに基づいて、取得ＳＡＲ画像ＤＳｂと比較光学画像ＤＯｒとの位置合わせを行なう。
　位置合わせ処理部２４は、位置ずれ検出部２５と、位置補正部２６とを有する。
　位置ずれ検出部２５は、比較光学画像ＤＯｒに対する変換光学画像ＤＯｃの位置ずれを検出し、検出された位置ずれを示す位置ずれ情報Ｄｇを出力する。
　位置ずれ検出部２５における位置ずれの検出には、例えば、特徴点マッチング、ブロックマッチングを用いることができる。
　特徴点マッチングにおいては、画像の特徴点が抽出され、一方の画像の特徴点に対応する、他方の画像の対応する特徴点が同定され、対応する特徴点間の位置の違いが検出される。
　特徴点マッチングは、例えば、ＫＡＺＥ（日本語で「風」を意味する）特徴量、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ　ＫＡＺＥ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）特徴量を用いたマッチングであっても良い。
　ブロックマッチングにおいては、画像が複数のブロック領域に分割され、ブロック領域毎に類似度に基づいて、一方の画像の各ブロックに対応する、他方の画像の対応するブロックが同定され、対応するブロック間の位置の違いが検出される。
　位置補正部２６は、位置ずれ情報Ｄｇに基づいて、取得ＳＡＲ画像ＤＳｂの位置補正を行なって、補正ＳＡＲ画像ＤＳｈを生成する。
　変換光学画像ＤＯｃは、取得ＳＡＲ画像ＤＳｂからの変換で生成されたものであり、変換光学画像ＤＯｃの各部分は、取得ＳＡＲ画像ＤＳｂの各部分に対応付けられている。従って、変換光学画像ＤＯｃの各部分の位置ずれは、取得ＳＡＲ画像ＤＳｂの対応する部分の位置ずれであると見ることができる。そのような対応付けにより、取得ＳＡＲ画像ＤＳｂの位置ずれを推定することができる。
　例えば、位置補正部２６は、上記の特徴点マッチング、ブロックマッチング等で検出された変換光学画像ＤＯｃの各部分についての位置ずれを、取得ＳＡＲ画像ＤＳｂの対応する部分についての位置ずれと見なし、取得ＳＡＲ画像ＤＳｂに対して位置ずれをなくす又は減らすための位置補正を行ない、補正で生成された画像を補正ＳＡＲ画像ＤＳｈとして出力する。
　位置補正は、２つの画像の対応すると判定された特徴点又はブロックが一致するように、或いはより近くなるように行われる。
　補正ＳＡＲ画像ＤＳｈは、例えば、比較光学画像ＤＯｒとともに出力されて、自動的解析、目視での解析等に利用される。補正ＳＡＲ画像ＤＳｈと比較光学画像ＤＯｒとを用いることで解析等が容易となる。
　なお、上記の例では、取得ＳＡＲ画像ＤＳｂに対して位置合わせのための補正をして補正ＳＡＲ画像ＤＳｈを生成しているが、代わりに比較光学画像ＤＯｒに対して位置合わせのための補正をして補正光学画像を生成しても良い。また、取得ＳＡＲ画像ＤＳｂ及び比較光学画像ＤＯｒの双方に対して補正をして補正ＳＡＲ画像及び補正光学画像を生成しても良い。取得ＳＡＲ画像及び比較光学画像の双方を補正する場合には、各画像の補正量をより小さくすることができる。
　上記の例では、比較光学画像が、取得ＳＡＲ画像と同じ領域を異なる時期に撮像することで得られた光学画像であるが、比較光学画像は、取得ＳＡＲ画像と同じ領域を同じ時期に撮像することで得られた光学画像であっても良い。
　例えば、同じ領域を同じ時期に撮像することで得られた画像であっても画像センサによって歪みが異なり、画像の対応する部分相互間に位置ずれが生じることがあり、そのような場合に一方を取得画像とし、他方を比較画像として上記と同様の画像処理を行なうことで、位置合わせが可能になる。
　学習に用いられるＳＡＲ画像ＤＴｓは、標高数値モデルを用いてジオコーディング処理を行い、標高の違いによる倒れ込みの影響を補正したものであることが望ましい。そうすることで、学習時の揺らぎを抑えることができるためである。
　学習に用いられるＳＡＲ画像ＤＴｓが上記のジオコーディング処理を受けたものである場合には、活用フェーズで、推論部２２に入力されるＳＡＲ画像ＤＳｂも同様の処理を受けたものとするのが望ましい。
　また、学習フェーズで用いられる光学画像ＤＴｏは、大気補正処理を行い、水蒸気及びエアロゾルの少なくとも一方の影響を抑制したものであることが望ましい。
　そうすることで、学習時の揺らぎを抑えることができるためである。
　学習に用いられる光学画像ＤＴｏが上記の大気補正処理を受けたものである場合には、活用フェーズで、位置合わせ処理部６に入力される比較光学画像ＤＯｒも同様の処理を受けたものとするのが望ましい。
　また、学習フェーズで用いられる光学画像ＤＴｏは、撮像時刻の違い及び日照状況の違いの少なくとも一方による光源環境の違いによる影響を抑制したものであることが望ましい。そうすることで、学習時の揺らぎを補正することができるためである。
　学習に用いられる光学画像ＤＴｏが上記の光源環境の変化の影響を抑制したものである場合には、活用フェーズで、位置合わせ処理部２４に入力される比較光学画像ＤＯｒも同様の処理を受けたものとするのが望ましい。
　また、学習フェーズで用いられる、複数組の学習用データＤＴに、大気影響、日照条件、撮像時刻等の撮像条件が様々に異なる画像を含めることとしても良い。そうすることで、活用フェーズで入力画像が種々異なる条件での撮像で得られたものであっても、少ない変換エラーで画像変換を行なうことができる。
　上記の例では、推論モデルＭｄｓが教師あり学習により生成される。
　推論モデルＭｄｓの生成には、教師あり学習の代わりに、教師なし学習、半教師あり学習、強化学習等を用いることも可能である。
　教師なし学習の場合にも、複数組の学習用データとしてＳＡＲ画像と光学画像とが必要であるが、この場合には、同一被写体を含む画像である必要はない。つまりペアデータである必要はない。
　また、推論モデルＭｄｓの生成には、特徴点及び特徴量の抽出を学習する、深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）を用いることもでき、他の公知の方法、例えば遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどを用いても良い。
　なお、上記の例では、学習装置２、画像処理装置３及びモデル記憶部４により一つの位置合わせシステム１が構成され、学習装置２で生成された推論モデルＭｄｏが同じ位置合わせシステム１内の画像処理装置３で利用される。
　代わりに、複数の同様の位置合わせシステムのうちの一つの位置合わせシステム（第１の位置合わせシステム）内の学習装置２で生成された推論モデルを別の位置合わせシステム（第２の位置合わせシステム）の画像処理装置３で利用することとしても良い。
　この場合、上記第２の位置合わせシステムは学習装置２を備えていなくても良い。
　また、学習装置２と、画像処理装置３と、モデル記憶部４とはネットワークを介して互いに接続されているものであっても良い。
　また、学習装置２、画像処理装置３、及びモデル記憶部４は、その全部又は一部がクラウドサーバ上に形成されたものであっても良い。
　上記の例では、位置合わせシステム１で用いられる複数組の学習用データＤＴが、当該位置合わせシステム１に接続されたＳＡＲ画像センサ７及び光学画像センサ８での撮像で得られたＳＡＲ画像及び光学画像から生成される。
　代わりに、複数組の学習用データＤＴは、位置合わせシステム１と同様の他の１又は２以上の位置合わせシステム内で生成された学習用データであっても良い。
　複数組の学習用データＤＴは、予め別途作成され、図示しないデータベースに記憶されているデータであっても良い。例えば、複数の位置合わせシステム（実施の形態１で説明した位置合わせシステム１と同様の位置合わせシステム）で共用可能な学習用データを生成し、上記のデータベースに記憶しておく構成である場合、そのようなデータベースに記憶されているデータであっても良い。
　これらの場合、学習用データ生成部１１は、他の位置合わせシステムの学習用データ生成部又は上記のデータベースから供給される学習用データＤＴを受けて、学習用データＤＴとして出力するものであれば良い。
　上記の１又は２以上の他の位置合わせシステム、或いはデータベースを共用する複数の位置合わせシステムは、同一の地理的領域で撮像を行なうものであっても良く、互いに異なる地理的領域で撮像を行なうものであっても良い。
　上記の１又は２以上の他の位置合わせシステム、或いはデータベースを共用する複数の位置合わせシステムが、同一の地理的領域で撮像を行なうものである場合には、同一の地理的領域での撮像で得られた画像から生成された学習用データＤＴが学習に用いられることとなる。
　上記の１又は２以上の他の位置合わせシステム、或いはデータベースを共用する複数の位置合わせシステムが、異なる地理的領域で撮像を行なうものである場合には、異なる地理的領域での撮像で得られた画像から生成された学習用データＤＴが学習に用いられることになる。
　学習用データ生成部１１は、提供され、或いは自ら取得することで収集したデータの全部を利用しなくても良い。学習用データ生成部１１はまた、一旦十分な量の学習用データを収集した後、さらに新たなデータで補充したり、不要なデータを削減したりしても良い。
　以上の通り、実施の形態１の位置合わせシステム１では、取得ＳＡＲ画像ＤＳｂから変換光学画像ＤＯｃを生成し、変換光学画像ＤＯｃと比較光学画像ＤＯｒとの位置ずれに基づいて、取得ＳＡＲ画像ＤＳｂと比較光学画像ＤＯｒとの位置合わせを行なうことができる。
　例えば比較光学画像ＤＯｒがある時点（第１の時点）の画像であり、取得ＳＡＲ画像ＤＳｂが別の時点（第２の時点）の画像である場合、第１の時点と第２の時点との間で変化が生じたか否かの判断、変化したのであれば、変化した領域の抽出、変化の理由の判断などを行なうことが可能となる。特に位置ずれの検出を光学画像同士の比較で行うことで、位置ずれを正確に検出することができ、位置合わせされたＳＡＲ画像と光学画像とから、上記の変化に関するより詳細な情報を得ることが可能となる。
実施の形態２．
　実施の形態１の位置合わせシステム１では、第１種の画像としてのＳＡＲ画像から第２種の画像としての光学画像への変換を行い、変換で得られた光学画像と、比較光学画像とを比較することで、位置ずれを検出し、ＳＡＲ画像と比較光学画像との位置合わせを行なう。
　実施の形態２では、第１種の画像としての光学画像から第２種の画像としてのＳＡＲ画像への変換を行い、変換で得られたＳＡＲ画像と、比較ＳＡＲ画像とを比較することで、位置ずれを検出し、光学画像と比較ＳＡＲ画像との位置合わせを行なう。
　即ち、実施の形態２は実施の形態１に対し、光学画像とＳＡＲ画像とを入れ替えた処理を行なっている。従って、実施の形態１についての説明中の光学画像とＳＡＲ画像とを入れ替えれば、実施の形態２の説明になる。そこで以下では、簡単に説明する。
　図４は、実施の形態２の位置合わせシステム１ｂを示す。
　図４に示される位置合わせシステム１ｂは、学習装置２ｂと、画像処理装置３ｂと、モデル記憶部４とを備える。
　学習装置２ｂは、学習フェーズにおいて、光学画像をＳＡＲ画像に変換する推論モデルを機械学習により生成し、生成した推論モデルをモデル記憶部４に記憶させる。機械学習は、実施の形態１で説明したのと同様の方法で行い得る。
　画像処理装置３ｂは、活用フェーズ（画像処理フェーズ）において、モデル記憶部４に記憶されている推論モデルを用いて、撮像により取得された光学画像をＳＡＲ画像に変換し、変換で生成されたＳＡＲ画像と、比較ＳＡＲ画像との位置ずれを検出し、検出された位置ずれに基づいて、取得光学画像と比較ＳＡＲ画像との位置合わせを行なう。撮像により取得された光学画像を取得光学画像と言い、変換で生成されたＳＡＲ画像を変換ＳＡＲ画像と言う。比較ＳＡＲ画像は、取得光学画像と同じ領域を異なる時期に撮像することで得られた画像である。
　学習装置２ｂは、学習用データ生成部１１ｂと、モデル生成部１２ｂとを備える。
　学習用データ生成部１１ｂは、複数組の学習用データＤＴを生成して出力する。
　例えば、各組の学習用データＤＴは生成される毎に出力される。
　学習が教師あり学習で行われる場合、複数組の学習用データＤＴの各々は、入力データとしての光学画像ＤＴｏと正解出力データとしてのＳＡＲ画像ＤＴｓとのペアで構成されている。正解出力データとしてのＳＡＲ画像ＤＴｓとは、入力データとしての光学画像ＤＴｏが入力されたときに、変換乃至推論により出力されるべきＳＡＲ画像を意味する。
　モデル生成部１２ｂは、学習用データ生成部１１ｂから出力される複数組の学習用データＤＴに基づいて、光学画像をＳＡＲ画像に変換する推論モデルＭｄｓを機械学習により生成する。生成された推論モデルＭｄｓはモデル記憶部４に記憶される。
　画像処理装置３ｂは、撮像画像取得部２１ｂと、推論部２２ｂと、比較画像生成部２３ｂと、位置合わせ処理部２４ｂとを備える。
　撮像画像取得部２１ｂは、光学画像センサ８から出力された光学画像ＤＯａを取得し、取得光学画像ＤＯｂとして出力する。取得光学画像ＤＯｂは光学画像センサ８から出力された画像の一部であっても良い。光学画像センサ８から出力された光学画像ＤＯａのみならず、取得光学画像ＤＯｂも、光学画像センサ８による撮像で得られた画像と言うことができる。
　推論部２２ｂは、モデル記憶部４に記憶されている推論モデルＭｄｓを用いて、入力された取得光学画像ＤＯｂをＳＡＲ画像（変換ＳＡＲ画像）ＤＳｃに変換する。すなわち、推論モデルＭｄｓに取得光学画像ＤＯｂを入力することで、取得光学画像ＤＯｂに対応する変換ＳＡＲ画像ＤＳｃを推論して出力する。
　比較画像生成部２３ｂは、ＳＡＲ画像センサ７から出力されたＳＡＲ画像ＤＳａを保持し、比較ＳＡＲ画像ＤＳｒとして出力する。比較ＳＡＲ画像ＤＳｒは、取得光学画像ＤＯｂと同じ領域についての画像であり、取得光学画像ＤＯｂとは異なる時期における撮像で得られた画像である。
　比較ＳＡＲ画像ＤＳｒは、ＳＡＲ画像センサ７から出力されるＳＡＲ画像ＤＳａの一部であっても良い。
　位置合わせ処理部２４ｂは、比較ＳＡＲ画像ＤＳｒに対する変換ＳＡＲ画像ＤＳｃの位置ずれを検出し、検出された位置ずれに基づいて、取得光学画像ＤＯｂと比較ＳＡＲ画像ＤＳｒとの位置合わせを行なう。
　位置合わせ処理部２４ｂは、位置ずれ検出部２５ｂと、位置補正部２６ｂとを有する。
　位置ずれ検出部２５ｂは、比較ＳＡＲ画像ＤＳｒに対する変換ＳＡＲ画像ＤＳｃの位置ずれを検出し、検出された位置ずれを示す位置ずれ情報Ｄｇを出力する。
　位置補正部２６ｂは、位置ずれ情報Ｄｇに基づいて、取得光学画像ＤＯｂの位置補正を行なって、補正光学画像ＤＯｈを生成する。
　変換ＳＡＲ画像ＤＳｃは、取得光学画像ＤＯｂからの変換で生成されたものであり、変換ＳＡＲ画像ＤＳｃの各部分は、取得光学画像ＤＯｂの各部分に対応付けられている。従って、変換ＳＡＲ画像ＤＳｃの各部分の位置ずれは、取得光学画像ＤＯｂの対応する部分の位置ずれであると見ることができる。そのような対応付けにより、取得光学画像ＤＯｂの位置ずれを推定することができる。
　例えば、位置補正部２６ｂは、変換ＳＡＲ画像ＤＳｃの各部分についての位置ずれを、取得光学画像ＤＯｂの対応する部分についての位置ずれと見なし、取得光学画像ＤＯｂに対して位置ずれをなくす又は減らすための位置補正を行ない、補正で生成された画像を補正光学画像ＤＯｈとして出力する。
　補正光学画像ＤＯｈは、例えば、比較ＳＡＲ画像ＤＳｒとともに出力されて、自動的解析、目視での解析等に利用される。
　なお、上記の例では、取得光学画像ＤＯｂに対して位置合わせのための補正をして補正光学画像ＤＯｈを生成しているが、代わりに比較ＳＡＲ画像ＤＳｒに対して位置合わせのための補正をして補正ＳＡＲ画像を生成しても良い。また、取得光学画像ＤＯｂ及び比較ＳＡＲ画像ＤＳｒの双方に対して補正をして補正光学画像及び補正ＳＡＲ画像を生成しても良い。取得光学画像及び比較ＳＡＲ画像の双方を補正する場合には、各画像の補正量をより小さくすることができる。
　実施の形態２には、実施の形態１と同様の効果があるほか、以下の付加的な効果がある。
　上記のように、実施の形態２では、推論モデルＭｄｓが、光学画像からＳＡＲ画像への変換を行なう。光学画像は、撮像時刻、天候状況等に応じて多様に変化する一方、ＳＡＲ画像は撮像時刻、天候状況等による変化が少ない。そのため、ＳＡＲ画像から光学画像への変換と比較して、光学画像からＳＡＲ画像への変換では画像変換時の不良設定性が小さく、正解により近い画像を生成できる可能性が高い。そのため、変換ＳＡＲ画像ＤＳｃと比較ＳＡＲ画像ＤＳｒとから得られる位置ずれ情報は、実施の形態１で得られる位置ずれ情報よりも精度が高い可能性がある。
　以上の説明の通り、実施の形態１と実施の形態２との違いは、ＳＡＲ画像と光学画像とが入れ替わっている点である。即ち、実施の形態１では、ＳＡＲ画像を第１種の画像とし、光学画像を第２種の画像としているが、実施の形態２では、光学画像を第１種の画像とし、ＳＡＲ画像を第２種の画像としている。
　実施の形態２については説明を簡略にしたが、実施の形態１についての詳細な説明は、「光学画像」と「ＳＡＲ画像」とを入れ替えれば、実施の形態２にも当てはまる。
実施の形態３．
　実施の形態１では、学習中の推論モデルＭｄｏから出力された画像の画素値と、正解データとしての画像の画素値とを比較して、比較の結果に基づいて推論モデルＭｄｏのパラメータの調整を行なっている。
　実施の形態３では、学習中の推論モデルＭｄｏから出力された画像の画素値と、正解データとしての画像の画素値との比較の結果のみならず、学習中の推論モデルＭｄｏから出力された画像の特徴点と、正解データとしての画像の特徴点との比較の結果にも基づいて、推論モデルＭｄｏのパラメータの調整を行なう。
　実施の形態３の位置合わせシステムの全体的構成は、実施の形態１の位置合わせシステム１と同じである。実施の形態３の位置合わせシステムは実施の形態１の位置合わせシステム１に対して、モデル生成部１２の代わりに図５に示されるモデル生成部１２ｃが設けられている点で異なる。
　モデル生成部１２ｃは、学習用データ生成部１１から出力される複数組の学習用データＤＴに基づいて、ＳＡＲ画像を光学画像に変換する推論モデルＭｄｏを機械学習により生成する。
　図５に示されるモデル生成部１２ｃは、図３に示されるモデル生成部１２と概して同じであるが、特徴点比較部１２４が付加されており、図３のパラメータ調整部１２３の代わりにパラメータ調整部１２３ｃを備えている。
　特徴点比較部１２４は、正解として光学画像ＤＴｏと、学習中の推論モデルＭｄｏから出力された光学画像ＤＵｏとからそれぞれ特徴点を抽出し、特徴点マッチングを行ない、その結果に基づいて損失関数ＬＤを算出する。
　パラメータ調整部１２３ｃは、特徴点比較部１２４で算出された損失関数ＬＤと、画素値比較部１２２で算出された損失関数ＬＧＡＮとに基づいてパラメータを調整する。
　具体的には、損失関数ＬＤと損失関数ＬＧＡＮとを重み付け加算することで、合成損失関数Ｌを求め、合成損失関数Ｌに基づいてパラメータの調整を行なう。
　上記の重み付け加算は、下記の式（２）で表される。
　Ｌ＝λ１・ＬＧＡＮ＋λ２・ＬＤ　　　…式（２）
　式（２）でλ１及びλ２は重み係数である。
　パラメータの調整は、上記の合成損失関数Ｌがより小さくなるように行われる。
　パラメータの調整及び調整されたパラメータを用いての推論（画像の変換）を繰り返し、合成損失関数Ｌが予め定められた閾値未満となったら、学習が終了し、学習済の推論モデルが得られる。
　上記以外の点で、実施の形態３は実施の形態１と同様である。
　実施の形態３には、実施の形態１と同様の効果のほか、以下の付加的な効果がある。
　即ち、特徴点マッチングの結果を推論モデルＭｄｏの生成に利用するので、特徴点がより強調された変換光学画像、或いは特徴点が抽出し易い変換光学画像を生成する推論モデルＭｄｏが構築される。
　従って、そのような推論モデルＭｄｏを用いて変換を行なう推論部２２での画像の変換で生成された変換光学画像ＤＯｃが位置合わせ処理部２４に供給されることになり、位置合わせ処理部２４における、変換光学画像ＤＯｃからの特徴点の抽出が容易となり、位置合わせの精度が高くなる。
実施の形態４．
　図６は、実施の形態４の位置合わせシステム１ｄを示す。
　図６に示される位置合わせシステム１ｄは、学習装置２ｄと、画像処理装置３ｄと、モデル記憶部４とを備える。
　学習装置２ｄは、学習フェーズにおいて、ＳＡＲ画像についての位置ずれを推論する推論モデルを機械学習により生成し、生成した推論モデルをモデル記憶部４に記憶させる。
　画像処理装置３ｄは、活用フェーズ（画像処理フェーズ）において、モデル記憶部４に記憶されている推論モデルを用いて、取得ＳＡＲ画像についての位置ずれを推論し、推論された位置ずれに基づいて、取得ＳＡＲ画像と比較光学画像との位置合わせを行なう。
　学習装置２ｄは、学習用データ生成部１１ｄと、モデル生成部１２ｄとを備える。
　学習用データ生成部１１ｄは、各組の学習用データＤＴとして、ＳＡＲ画像ＤＴｓと、比較光学画像ＤＴｏｒと、位置ずれ情報ＤＴｇとから成るものを生成して出力する。
　学習用データ生成部１１ｄは、例えば図７に示すように、撮像画像取得部３２１、推論部３２２、比較画像生成部３２３、及び位置ずれ検出部３２５を有する。
　撮像画像取得部３２１、推論部３２２、比較画像生成部３２３、及び位置ずれ検出部３２５は、それぞれ図１の撮像画像取得部２１、推論部２２、比較画像生成部２３、及び位置ずれ検出部２５と同様のものである。
　撮像画像取得部３２１、推論部３２２、比較画像生成部３２３、及び位置ずれ検出部３２５から出力されるデータは、それぞれ図１の撮像画像取得部２１、推論部２２、比較画像生成部２３、及び位置ずれ検出部２５から出力されるデータと同様のものであるが、それらを表す符号の末尾に「ｔ」を付すことで区別をしている。
　撮像画像取得部３２１は、ＳＡＲ画像センサ７での撮像で得られたＳＡＲ画像ＤＳａを受けて取得ＳＡＲ画像ＤＳｂｔを出力する。
　推論部３２２は、実施の形態１で説明したのと同様にして構築された推論モデルＭｄｏを用いて、取得ＳＡＲ画像ＤＳｂｔから変換光学画像ＤＯｃｔを推論する。
　比較画像生成部３２３は光学画像センサ８での撮像で得られた光学画像ＤＯａを保持し、比較光学画像ＤＯｒｔとして出力する。
　位置ずれ検出部３２５は、比較光学画像ＤＯｒｔに対する変換光学画像ＤＯｃｔの位置ずれを検出し、検出した位置ずれを示す位置ずれ情報Ｄｇｔを生成して出力する。
　学習用データ生成部１１ｄは、取得ＳＡＲ画像ＤＳｂｔを学習用のＳＡＲ画像ＤＴｓとして出力し、比較光学画像ＤＯｒｔを学習用の比較光学画像ＤＴｏｒとして出力し、位置ずれ情報Ｄｇｔを学習用の位置ずれ情報ＤＴｇとして出力する。学習用の位置ずれ情報ＤＴｇは、正解を表すデータとして用いられる。
　モデル生成部１２ｄは、学習用データＤＴを用いた学習により、推論モデルＭｇを生成する。生成される推論モデルＭｇは、取得ＳＡＲ画像及び比較光学画像を入力とし、位置ずれ情報を出力するものである。位置ずれ情報は、実施の形態１で説明したのと同様、比較光学画像に対する取得ＳＡＲ画像の位置ずれを表す情報である。
　モデル生成部１２ｄは、例えば図８に示されるように、メモリ１２１と、位置ずれ比較部１２５と、パラメータ調整部１２３ｄとを有する。
　メモリ１２１には、学習中の推論モデルＭｇが記憶されている。学習中の推論モデルＭｇは、学習の進行に伴って更新される。
　推論モデルＭｇは、学習用データＤＴのうちの、ＳＡＲ画像ＤＴｓ及び比較光学画像ＤＴｏｒに基づいて、位置ずれＤＵｇを推論する。
　位置ずれ比較部１２５は、正解としての位置ずれＤＴｇと、学習中の推論モデルＭｇで推論された位置ずれＤＵｇとを比較し、比較の結果に基づいて損失関数Ｌｇを算出する。
　パラメータ調整部１２３ｄは、損失関数Ｌｇに基づいてパラメータを調整する。
　パラメータの調整は、上記の損失関数Ｌｇがより小さくなるように行われる。
　パラメータの調整及び調整されたパラメータを用いての推論（位置ずれの推定）を繰り返し、損失関数Ｌｇが予め定められた閾値未満となったら、学習が終了し、学習済の推論モデルＭｇが得られる。
　生成された推論モデルＭｇは、モデル記憶部４に記憶される。
　以上のように、推論モデルＭｇは、実施の形態１と同様にして構築された推論モデルＭｄｏを用いて推論を行なう推論部３２２で生成された光学画像ＤＯｃを学習用データの一部として用いて教師あり学習を行なうことで構築される。
　図６の画像処理装置３ｄは、図１の画像処理装置３と概して同じであるが、図１の推論部２２及び位置ずれ検出部２５の組み合わせの代わりに、推論部２２ｄを備える。
　推論部２２ｄは、取得ＳＡＲ画像ＤＳｂ及び比較光学画像ＤＯｒを入力とし、推論により位置ずれを検出し、位置ずれ情報Ｄｇを出力する。推論には、モデル記憶部４に記憶されている推論モデルＭｇが利用される。
　位置補正部２６は、推論部２２で推論された位置ずれ情報Ｄｇに基づいて、取得ＳＡＲ画像ＤＳｂの位置補正を行なう。
　なお、実施の形態１で述べたように、取得ＳＡＲ画像ＤＳｂに対して位置補正を行なう代わりに、比較光学画像ＤＯｒに対して位置補正を行なっても良く、取得ＳＡＲ画像ＤＳｂ及び比較光学画像ＤＯｒの双方に対して位置補正を行なっても良い。
　上記以外の点では、実施の形態４は、実施の形態１と同様である。
　実施の形態４には、実施の形態１と同様の効果のほか、以下の付加的な効果がある。
　図１の構成では、推論部２２で生成された変換光学画像ＤＯｃを、位置合わせ処理部２４に供給する前に一時的に保持するフレームメモリ（図示しない）が必要である。これに対して、図６の構成では、推論部２２ｄから位置ずれ情報Ｄｇが出力されるので、上記のフレームメモリを省略できる。
　従って、画像処理装置の回路規模を小さくし、画像処理装置における演算量を少なくすることができ、画像処理装置のコストを削減することが可能となる。
実施の形態５．
　図９は、実施の形態５の位置合わせシステム１ｅを示す。
　図９に示される位置合わせシステム１ｅは、学習装置２ｅと、画像処理装置３ｅと、モデル記憶部４とを備える。
　学習装置２ｅは、学習フェーズにおいて、補正ＳＡＲ画像を推論する推論モデルを機械学習により生成し、生成した推論モデルをモデル記憶部４に記憶させる。
　画像処理装置３ｅは、活用フェーズ（画像処理フェーズ）において、モデル記憶部４に記憶されている推論モデルを用いて、取得ＳＡＲ画像についての補正ＳＡＲ画像を推論して出力する。ここで補正ＳＡＲ画像は、比較光学画像との位置合わせのために補正された画像である。
　学習装置２ｅは、学習用データ生成部１１ｅと、モデル生成部１２ｅとを備える。
　学習用データ生成部１１ｅは、各組の学習用データＤＴとして、ＳＡＲ画像ＤＴｓと、比較光学画像ＤＴｏｒと、補正ＳＡＲ画像ＤＴｓｈとから成るものを生成して出力する。
　学習用データ生成部１１ｅは、例えば図１０に示すように、撮像画像取得部３２１、推論部３２２、比較画像生成部３２３、及び位置合わせ処理部３２４を有する。
　撮像画像取得部３２１、推論部３２２、比較画像生成部３２３、及び位置合わせ処理部３２４は、それぞれ図１の撮像画像取得部２１、推論部２２、比較画像生成部２３、及び位置合わせ処理部２４と同様のものである。
　撮像画像取得部３２１、推論部３２２、比較画像生成部３２３、及び位置合わせ処理部３２４から出力されるデータは、それぞれ図１の撮像画像取得部２１、推論部２２、比較画像生成部２３、及び位置合わせ処理部２４から出力されるデータと同様のものであるが、それらを表す符号の末尾に「ｔ」を付すことで区別をしている。
　図１０の撮像画像取得部３２１、推論部３２２、及び比較画像生成部３２３は図７の撮像画像取得部３２１、推論部３２２、及び比較画像生成部３２３と同様のものであり、同様に動作する。
　位置合わせ処理部３２４は、変換光学画像ＤＯｃｔと比較光学画像ＤＯｒｔとに対して位置合わせ処理を行なって補正ＳＡＲ画像ＤＳｈｔを出力する。
　学習用データ生成部１１ｅは、取得ＳＡＲ画像ＤＳｂｔを学習用のＳＡＲ画像ＤＴｓとして出力し、比較光学画像ＤＯｒｔを学習用の比較光学画像ＤＴｏｒとして出力し、補正ＳＡＲ画像ＤＳｈｔを学習用の補正ＳＡＲ画像ＤＴｓｈとして出力する。学習用の補正ＳＡＲ画像ＤＴｓｈは、正解を表すデータとして用いられる。
　モデル生成部１２ｅは、学習用データＤＴを用いた学習により、推論モデルＭｓｈを生成する。生成される推論モデルＭｓｈは、ＳＡＲ画像及び比較光学画像を入力とし、補正ＳＡＲ画像を出力するものである。
　補正ＳＡＲ画像は、実施の形態１で説明したのと同様、比較光学画像に対する位置合わせのために補正されたＳＡＲ画像である。
　モデル生成部１２ｅは、例えば図１１に示されるように、メモリ１２１と、画素値比較部１２６と、パラメータ調整部１２３ｅとを有する。
　メモリ１２１には、学習中の推論モデルＭｓｈが記憶されている。学習中の推論モデルＭｓｈは学習の進行に伴って更新される。
　推論モデルＭｓｈは、学習用データＤＴのうちの、ＳＡＲ画像ＤＴｓ及び比較光学画像ＤＴｏｒに基づいて、補正ＳＡＲ画像ＤＵｓｈを推論する。
　画素値比較部１２６は、正解としての補正ＳＡＲ画像ＤＴｓｈと学習中の推論モデルＭｓｈで推論された補正ＳＡＲ画像ＤＵｓｈとを比較し、比較の結果に基づいて損失関数Ｌｈを算出する。
　パラメータ調整部１２３ｅは、損失関数Ｌｈに基づいてパラメータを調整する。
　パラメータの調整は、上記の損失関数Ｌｈがより小さくなるように行われる。
　パラメータの調整及び調整されたパラメータを用いての推論（補正ＳＡＲ画像の生成）を繰り返し、損失関数Ｌｈが予め定められた閾値未満となったら、学習が終了し、学習済の推論モデルＭｓｈが得られる。
　生成された推論モデルＭｓｈは、モデル記憶部４に記憶される。
　以上のように、推論モデルＭｓｈは、実施の形態１と同様にして構築された推論モデルＭｄｏを用いて推論を行なう推論部３２２で生成された光学画像ＤＯｃを学習用データの一部として用いて教師あり学習を行なうことで構築される。
　図９の画像処理装置３ｅは、図１の画像処理装置３と概して同じであるが、図１の推論部２２及び位置合わせ処理部２４の組み合わせの代わりに、推論部２２ｅを備える。
　推論部２２ｅは、取得ＳＡＲ画像ＤＳｂ及び比較光学画像ＤＯｒを入力とし、推論により補正ＳＡＲ画像ＤＳｈを生成する。推論には、モデル記憶部４に記憶されている推論モデルＭｓｈが利用される。
　なお、上記の例では、推論モデルＭｓｈが、ＳＡＲ画像及び比較光学画像を入力とし、補正ＳＡＲ画像を出力するものであるが、代わりに、ＳＡＲ画像及び比較光学画像を入力とし、補正された比較光学画像を出力するものであっても良く、補正ＳＡＲ画像及び補正された比較光学画像の双方を出力するものであっても良い。
　上記以外の点では、実施の形態５は、実施の形態１と同様である。
　実施の形態５には、実施の形態１と同様の効果のほか、以下の付加的な効果がある。
　図１の構成では、推論部２２で生成された変換光学画像ＤＯｃを、位置合わせ処理部２４に供給す前に一時的に保持するフレームメモリ（図示しない）が必要であり、また、推論部２２から位置合わせ処理部２４まで画像を伝達する通信線、ネットワーク等が必要である。これに対して、図９の構成では、そのようなフレームメモリ、及び通信線、ネットワーク等を省略できる。
　従って、画像処理装置の回路規模を小さくし、画像処理装置における演算量を少なくすることができ、画像処理装置のコストを削減することが可能となる。
　実施の形態１～５で説明した位置合わせシステム１、１ｂ、１ｃ、１ｄ、及び１ｅの各々は、その一部又は全部を処理回路で構成し得る。
　例えば、位置合わせシステムの各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
　処理回路はハードウェアで構成されていても良く、ソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
　位置合わせシステムの各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。
　図１２は、単一のプロセッサを含むコンピュータ９で上記の実施の形態１の位置合わせシステム１の機能を実現する場合の構成の一例を、ＳＡＲ画像センサ７及び光学画像センサ８とともに示す。
　図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
　メモリ９２には、位置合わせシステム１の各部分の機能を実現するためのプログラムが記憶されている。
　プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
　メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
　プロセッサ９１及びメモリ９２は、互いに一体化されたＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）で実現されていても良い。
　プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、位置合わせシステムの機能を実現する。
　位置合わせシステム１の機能には、上記のように学習装置２における学習による推論モデルの生成乃至再学習、及び画像処理装置３における画像の変換及び位置合わせ処理が含まれる。
　プログラムは、ネットワークを通じて提供されてもよく、また、記録媒体、例えば非一時的な記録媒体に記録されて提供されてもよい。即ち、プログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　メモリ９２は、モデル記憶部４の役割をも果たすものであっても良い。
　図１２に示されるコンピュータで、実施の形態１の位置合わせシステム１の学習装置２の処理を行なう場合の処理の手順を図１３を参照して説明する。
　ステップＳＴ１１において、プロセッサ９１は、複数組の学習用データを生成する。この処理は、図１の学習用データ生成部１１における処理に相当する。
　ステップＳＴ１２において、プロセッサ９１は、ステップＳＴ１１で生成された学習用データを用いて、ＳＡＲ画像を光学画像に変換する推論モデルを機械学習により生成する。この処理は、図１のモデル生成部１２における処理に相当する。
　ステップＳＴ１３において、プロセッサ９１は、ステップＳＴ１２で生成された推論モデルをメモリ９２に記憶させる。この処理は、図１のモデル記憶部４に記憶させる処理に相当する。
　次に図１２に示されるコンピュータで、実施の形態１の位置合わせシステム１の画像処理装置３の処理を行なう場合の処理の手順を図１４を参照して説明する。
　ステップＳＴ２１において、プロセッサ９１は、ＳＡＲ画像センサ７での撮像で得られたＳＡＲ画像を取得する。この処理は、図１の撮像画像取得部２１における処理に相当する。
　ステップＳＴ２２において、プロセッサ９１は、メモリ９２に記憶されている推論モデルを用いて、ステップＳＴ２１で取得されたＳＡＲ画像を光学画像に変換する。この処理は、図１の推論部２２における処理に相当する。
　ステップＳＴ２３において、プロセッサ９１は、光学画像センサ８での撮像で得られた光学画像を保持し、比較光学画像を生成する。この処理は、図１の比較画像生成部２３における処理に相当する。
　ステップＳＴ２１及びＳＴ２２の組み合わせと、ステップＳＴ２３とは並行して行い得る。
　ステップＳＴ２４において、プロセッサ９１は、ステップＳＴ２２における変換で得られた変換光学画像と、ステップＳＴ２３で生成された比較光学画像との位置ずれを検出し、取得ＳＡＲ画像と比較光学画像との位置合わせを行う。この処理は、図１の位置合わせ処理部２４における処理に相当する。
　実施の形態２～５の学習装置における処理をコンピュータで実行する場合の処理の手順も図１３と同様である。
　実施の形態２及び３の画像処理装置における処理をコンピュータで実行する場合の処理の手順も図１４と同様である。
　次に図１２に示されるコンピュータで、実施の形態４の画像処理装置３ｄの処理を行なう場合の処理の手順を図１５を参照して説明する。
　ステップＳＴ２１及びＳＴ２３は、図１４と同じである。
　ステップＳＴ２５では、プロセッサ９１は、推論により位置ずれ情報を生成する。この処理は、図６の推論部２２ｄにおける処理に相当する。
　ステップＳＴ２６で、プロセッサ９１は、位置補正を行なう。この処理は、図６の位置補正部２６における処理に相当する。
　次に図１２に示されるコンピュータで、実施の形態５の画像処理装置３ｅの処理を行なう場合の処理の手順を図１６を参照して説明する。
　ステップＳＴ２１及びＳＴ２３は、図１４と同じである。
　ステップＳＴ２７では、プロセッサ９１は、推論により位置合わせ処理を行なう。この処理は、図９の推論部２２ｅにおける処理に相当する。
　上記の実施の形態には種々の変形が可能である。
　例えば、実施の形態３～５を実施の形態１に対する変形例として説明したが、実施の形態２に対しても同様の変形を加えることができる。即ち、実施の形態３～５においては、ＳＡＲ画像を第１種の画像とし、光学画像を第２種の画像としているが、ＳＡＲ画像と光学画像とを入れ替えて同様の処理を行なっても良い。
　また、実施の形態１について記載した種々の変形は、実施の形態２～５にも適用可能であり、実施の形態３～５において、ＳＡＲ画像と光学画像とを入れ替えた構成においても適用可能である。例えば、実施の形態１に関して述べたように、比較のための第２種の画像は、取得された第１種の画像と同じ領域を異なる時期に撮像することで得られた画像に限定されず、取得された第１種の画像と同じ領域を同じ時期に撮像することで得られた画像であっても良い。
　以上、位置合わせシステム、並びにその学習装置及び画像処理装置について説明したが、学習装置を用いて学習方法を実施することも可能であり、画像処理装置を用いて画像処理方法を実施することも可能であり、また学習装置、学習方法、画像処理装置、又は画像処理方法における処理をプログラムによりコンピュータに実行させることも可能である。
　１，１ｂ，１ｄ，１ｅ　位置合わせシステム、　２，２ｂ，２ｄ，２ｅ　学習装置、　３，３ｂ，３ｄ，３ｅ　画像処理装置、　４　モデル記憶部、　１１，１１ｂ，１１ｄ，１１ｅ　学習用データ生成部、　１２，１２ｂ，１２ｃ，１２ｄ，１２ｅ　モデル生成部、　２１，２１ｂ　撮像画像取得部、　２２，２２ｂ，２２ｃ，２２ｄ，２２ｅ　推論部、　２３，２３ｂ　比較画像生成部、　２４，２４ｂ　位置合わせ処理部、　２５，２５ｂ　位置ずれ検出部、　２６　位置補正部。

Claims (20)

  1. 　各々第１種の画像を含む、複数組の学習用データを生成する学習用データ生成部と、
    　前記学習用データを用いて、前記第１種の画像から第２種の画像を推論するための推論モデルを生成するモデル生成部と
    　を備え、
    　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
    　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である
    　学習装置。
  2. 　各組の学習用データが、前記第１種の画像に加え、前記第２種の画像の正解を表すデータをさらに含む
    　請求項１に記載の学習装置。
  3. 　前記モデル生成部は、学習中の推論モデルにより生成される第２種の画像と前記第２種の画像の正解を表すデータとの特徴点マッチングの結果に基づいて損失関数を算出する
    　請求項２に記載の学習装置。
  4. 　前記モデル生成部は、前記特徴点マッチングに、ＫＡＺＥ特徴量、又はＡＫＡＺＥ特徴量を用いる
    　請求項３に記載の学習装置。
  5. 　各々第１種の画像を含む、複数組の学習用データを生成する学習用データ生成部と、
    　前記学習用データを用いて、前記第１種の画像から位置ずれを推論するための推論モデルを生成するモデル生成部と
    　を備え、
    　前記位置ずれは、前記第１種の画像と、当該第１種の画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置ずれであり、
    　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
    　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である
    　学習装置。
  6. 　各組の学習用データが、前記第１種の画像に加え、前記比較用の第２種の画像と、前記位置ずれの正解を表すデータとをさらに含む
    　請求項５に記載の学習装置。
  7. 　各々第１種の画像を含む、複数組の学習用データを生成する学習用データ生成部と、
    　前記学習用データを用いて、前記第１種の画像から補正画像を推論するための推論モデルを生成するモデル生成部と
    　を備え、
    　前記補正画像は、前記第１種の画像と、前記第１種の画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置合わせのために補正された画像であり、
    　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
    　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である
    　学習装置。
  8. 　各組の学習用データが、前記第１種の画像に加え、前記比較用の第２種の画像と、前記補正画像の正解を表すデータとをさらに含む
    　請求項７に記載の学習装置。
  9. 　前記学習用データに含まれる前記第１種の画像はＳＡＲ画像であり、
    　前記ＳＡＲ画像は、標高数値モデルを用いてジオコーディング処理を行い、倒れ込みの影響を補正した画像である
    　請求項１から８のいずれか１項に記載の学習装置。
  10. 　前記学習用データに含まれる前記第１種の画像は光学画像であり、
    　前記光学画像は、大気補正処理を行い、水蒸気及びエアロゾルの少なくとも一方の影響を抑制した画像である
    　請求項１から８のいずれか１項に記載の学習装置。
  11. 　前記学習用データに含まれる前記第１種の画像は光学画像であり、
    　前記光学画像は、撮像時刻の違い及び日照状況の違いの少なくとも一方による光源環境の違いによる影響を抑制した画像である
    　請求項１から８のいずれか１項に記載の学習装置。
  12. 　前記学習用データは、大気の影響、日照条件、及び撮像時刻の少なくとも一つを含む撮像条件が様々に異なる画像を含む
    　請求項１から４のいずれか１項に記載の学習装置。
  13. 　撮像で得られた第１種の画像を取得して、取得画像として出力する撮像画像取得部と、
    　前記第１種の画像から第２種の画像を推論するための推論モデルを用いて、前記取得画像から、当該取得画像に対応する第２種の画像を推論する推論部と、
    　前記推論された画像と、前記取得画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置ずれを検出し、検出された位置ずれに基づいて、前記取得画像と前記比較用の第２種の画像との位置合わせを行う位置合わせ処理部と
    　を備え、
    　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
    　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である
    　画像処理装置。
  14. 　前記位置合わせ処理部は、特徴点マッチングにより前記位置ずれを検出する

    　請求項１３に記載の画像処理装置。
  15. 　前記位置合わせ処理部は、前記特徴点マッチングに、ＫＡＺＥ特徴量、又はＡＫＡＺＥ特徴量を用いる
    　請求項１４に記載の画像処理装置。
  16. 　撮像で得られた第１種の画像を取得して、取得画像として出力する撮像画像取得部と、
    　位置ずれを推論するための推論モデルを用いて、前記取得画像から、当該取得画像の位置ずれを推論する推論部と、
    　前記推論された位置ずれに基づいて、前記取得画像と比較用の第２種の画像との位置合わせを行う位置合わせ処理部と
    　を備え、
    　前記比較用の第２種の画像は、前記取得画像と同じ領域を撮像することで得られた画像であり、
    　前記位置ずれは、前記取得画像と、前記比較用の第２種の画像との位置ずれであり、
    　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
    　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である
    　画像処理装置。
  17. 　撮像で得られた第１種の画像を取得して、取得画像として出力する撮像画像取得部と、
    　補正画像を推論するための推論モデルを用いて、前記取得画像から補正画像を推論する推論部と
    　を備え、
    　前記補正画像は、前記取得画像と、当該取得画像と同じ領域を撮像することで得られた比較用の第２種の画像との位置合わせのために補正された画像であり、
    　前記第１種の画像がＳＡＲ画像及び光学画像のうちの一方であり、
    　前記第２種の画像がＳＡＲ画像及び光学画像のうちの他方である
    　画像処理装置。
  18. 　請求項１から４のいずれか１項に記載の学習装置と、請求項１３から１５のいずれか１項に記載の画像処理装置とを備え、
    　前記推論部は、前記モデル生成部で生成された推論モデルを用いて推論を行なう
    　位置合わせシステム。
  19. 　請求項５又は６に記載の学習装置と、請求項１６に記載の画像処理装置とを備え、
    　前記推論部は、前記モデル生成部で生成された推論モデルを用いて推論を行なう
    　位置合わせシステム。
  20. 　請求項７又は８に記載の学習装置と、請求項１７に記載の画像処理装置とを備え、
    　前記推論部は、前記モデル生成部で生成された推論モデルを用いて推論を行なう
    　位置合わせシステム。
PCT/JP2020/030756 2020-08-13 2020-08-13 学習装置、画像処理装置、及び位置合わせシステム WO2022034666A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/030756 WO2022034666A1 (ja) 2020-08-13 2020-08-13 学習装置、画像処理装置、及び位置合わせシステム
JP2022542547A JP7262679B2 (ja) 2020-08-13 2020-08-13 学習装置、画像処理装置、及び位置合わせシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/030756 WO2022034666A1 (ja) 2020-08-13 2020-08-13 学習装置、画像処理装置、及び位置合わせシステム

Publications (1)

Publication Number Publication Date
WO2022034666A1 true WO2022034666A1 (ja) 2022-02-17

Family

ID=80247077

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030756 WO2022034666A1 (ja) 2020-08-13 2020-08-13 学習装置、画像処理装置、及び位置合わせシステム

Country Status (2)

Country Link
JP (1) JP7262679B2 (ja)
WO (1) WO2022034666A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121111A (ja) * 2005-10-27 2007-05-17 Mitsubishi Heavy Ind Ltd 合成開口レーダ画像による目標物識別方法及び装置
JP2009047516A (ja) * 2007-08-17 2009-03-05 Pasuko:Kk 地物情報判読用画像生成方法およびプログラム
JP2017027417A (ja) * 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP2018048898A (ja) * 2016-09-21 2018-03-29 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
JP2018160165A (ja) * 2017-03-23 2018-10-11 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法及びプログラム
JP2019035598A (ja) * 2017-08-10 2019-03-07 株式会社パスコ 土地被覆学習データ生成装置、土地被覆学習データ、土地被覆分類予測装置及び土地被覆学習データ生成プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121111A (ja) * 2005-10-27 2007-05-17 Mitsubishi Heavy Ind Ltd 合成開口レーダ画像による目標物識別方法及び装置
JP2009047516A (ja) * 2007-08-17 2009-03-05 Pasuko:Kk 地物情報判読用画像生成方法およびプログラム
JP2017027417A (ja) * 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP2018048898A (ja) * 2016-09-21 2018-03-29 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
JP2018160165A (ja) * 2017-03-23 2018-10-11 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法及びプログラム
JP2019035598A (ja) * 2017-08-10 2019-03-07 株式会社パスコ 土地被覆学習データ生成装置、土地被覆学習データ、土地被覆分類予測装置及び土地被覆学習データ生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TORIYA, HISATOSHI: "Finding Corresponding Points in SAR Satellite Images and Optical Satellite Images using Generative Adversarial Networks", IPSJ SIG TECHNICAL REPORT, CVIM, vol. 2020-CVIM-220, no. 2, 23 January 2020 (2020-01-23), pages 1 - 6, XP009535319 *

Also Published As

Publication number Publication date
JP7262679B2 (ja) 2023-04-21
JPWO2022034666A1 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
CN110189366B (zh) 一种激光粗配准方法、装置、移动终端及存储介质
CN112270251B (zh) 一种基于互信息的自适应多传感器数据融合方法及系统
CN112668648B (zh) 基于对称融合网络的红外可见光融合识别方法
JP7088288B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6798860B2 (ja) 境界線推定装置
CN111738165A (zh) 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN112395987A (zh) 基于无监督域适应cnn的sar图像目标检测方法
Fortier et al. Automated correction and updating of road databases from high-resolution imagery
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN115471437B (zh) 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
CN112561890A (zh) 图像清晰度的计算方法、装置和计算机设备
CN115082780B (zh) 基于增量式差异学习网络的多源异质影像变化检测方法
Kahraman et al. Road detection from high satellite images using neural networks
Vakalopoulou et al. Simultaneous registration, segmentation and change detection from multisensor, multitemporal satellite image pairs
WO2022034666A1 (ja) 学習装置、画像処理装置、及び位置合わせシステム
Jabari et al. Stereo-based building detection in very high resolution satellite imagery using IHS color system
US20210270611A1 (en) Navigation apparatus, navigation parameter calculation method, and medium
CN111915570A (zh) 基于反向传播神经网络的大气延迟估计方法
Mohamed et al. Assessment of Machine Learning Approaches for Bathymetry Mapping in Shallow Water Environments using Multispectral Satellite Images.
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
CN116740514A (zh) 时空误差容忍的多智能体协同感知方法、装置和电子设备
CN114706087A (zh) 一种三维成像声呐点云的水下地形匹配定位方法及系统
WO2024013786A1 (ja) 学習装置、推論装置、プログラム、学習推論システム、学習方法及び推論方法
Moskolai et al. A comparative study of deep learning and CA-Markov methods for land use/land cover change prediction
CN117151991B (zh) 一种遥感影像rpc修复方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20949528

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022542547

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20949528

Country of ref document: EP

Kind code of ref document: A1