WO2020022436A1

WO2020022436A1 - 修復用関数調整システム、データ修復装置、修復用関数調整方法、修復用関数生成方法、およびコンピュータプログラム

Info

Publication number: WO2020022436A1
Application number: PCT/JP2019/029230
Authority: WO
Inventors: 将晃飯山; 美濃　導彦; 秀一笠原; 哲希柴田; 敦史橋本; 暢之平原
Original assignee: Kyoto University
Current assignee: Kyoto University
Priority date: 2018-07-25
Filing date: 2019-07-25
Publication date: 2020-01-30
Anticipated expiration: 2021-01-25
Also published as: JP2021177262A

Abstract

従来の修復方法によるリアルタイム性を維持しつつ、従来よりも容易に正解データを収集し、欠損したデータを修復できるようにする。【課題】海面温度マップ提供装置は、元々欠損している欠損部分を有する正解画像５Ｔをさらに欠損させることによって入力画像５Ｍを生成する（＃７０３）。入力画像５Ｍをジェネレート関数Ｇで修復することによって修復画像５Ｒを生成する（＃７０４）。正解画像５Ｔおよび修復画像５Ｒそれぞれの欠損部分以外の部分に基づいてジェネレート関数Ｇを調整する（＃７０７）。

Description

修復用関数調整システム、データ修復装置、修復用関数調整方法、修復用関数生成方法、およびコンピュータプログラム

　本発明は、データの欠損した部分を修復する関数を調整する技術に関する。

　従来、気象衛星などの人工衛星によって海面の温度を測定し、温度の分布を表わす画像を生成する技術が提案されている。このような画像は、「海面温度マップ」、「海面温度分布図」、または「海面温度衛星画像」などと呼ばれることがある。

　海面温度マップは、天気予報のほか、漁業および海上輸送など海洋に関連する様々な産業において用いられる。特に漁業および海上輸送においては、リアルタイム性および鮮明性がともに高い海面温度マップが求められる。

N. Usui, S. Ishizaki, Y. Fujii, H. Tsujino, T. Yasuda, and M. Kamachi, "Meteorological research institute multivariate ocean variational estimation (move) system: Some early results, " Advances in Space Research, vol. 37, no. 4, pp. 806？822, 2006. F. J. Wentz, C. Gentemann, D. Smith, and D. Chelton, "Satellite measurements of sea surface temperature through clouds," Science, vol. 288, no. 5467, pp. 847？850, 2000.

　人工衛星は、海面から放射される赤外線を検出することによって海面の温度を測定する。しかし、この方法によると、海面のうちの雲が掛かっている部分から赤外線を検出することができないので、この部分の温度を測定することができない。

　そこで、この部分の温度を推測することによって海面温度マップを完成させることが考えられる。温度を推測する方法として、データ同化（非特許文献１）およびインペインティング（非特許文献２）が挙げられる。

　データ同化は、気象の分野および海洋の分野において、よく使用される。しかし、データ同化によると、膨大な量のデータが必要であり、計算にかなりの時間が掛かる。したがって、リアルタイム性に欠ける。

　インペインティングは、データ同化よりも計算量を低減することができる。ただし、インペインティングによると、完全な正解データが必要である。

　しかし、海面には雲が掛かっていることが多いので、人工衛星が上述の方法によって測定して得たデータは、正解データとして好ましくないことが多い。そこで、正解データを収集するために、長い期間を要する。

　本発明は、このような問題点に鑑み、インペインティングなどの従来の修復方法によるリアルタイム性を維持しつつ、従来よりも容易に正解データを収集し、欠損したデータを修復できるようにすることを、目的とする。

　本発明の一形態に係る欠損のあるデータを修復するために使用する関数を調整する修復用関数調整システムであって、元々欠損している欠損部分を有する第一のデータをさらに欠損させることによって第二のデータを生成する欠損手段と、前記第二のデータを前記関数で修復することによって第三のデータを生成する修復手段と、前記第一のデータおよび前記第三のデータそれぞれの前記欠損部分以外の部分に基づいて前記関数を調整する調整手段と、を有する。

　好ましくは、記憶手段に記憶された複数のデータの中から前記第一のデータを選出する選出手段、を有し、前記欠損手段は、前記選出手段によって選出された前記第一のデータを欠損させることによって前記第二のデータを生成する。

　さらに、前記選出手段は、前記第一のデータをランダムに選出し、前記欠損手段は、前記第一のデータの中のランダムに選択された部分を欠損させることによって第二のデータを生成してもよい（付記１）。

　本発明によると、インペインティングなどの従来の修復方法によるリアルタイム性を維持しつつ、従来よりも容易に正解データを収集し、欠損したデータを修復できるようにすることができる。

　さらに、請求項２、１３、１５、１７、１９に係る発明によると、従来の修復方法によるリアルタイム性を維持しつつ従来よりも鮮明性の高い修復結果が得られるように関数を調整することができる。

海面温度マップ提供装置を含むネットワークシステムの例を示す図である。海面温度マップ提供装置のハードウェア構成の例を示す図である。マップ生成プログラムの構成の例を示す図である。海面温度マップの例を示す図である。地域および区域の位置関係の例を示す図である。パッチの例を示す図である。学習の手順の例を示す図である。第一のマスクフィルタの例を示す図である。修復海面温度マップの例を示す図である。マップ生成プログラムによる処理の流れの例を説明するフローチャートである。比較実験の例を示す図である。学習データとして用いる３次元データの例を示す図である。比較実験の例を説明するための図である。同化画像５Ｌを取得する方法の例を示す図である。学習の手順の変形例を示す図である。学習の手順の変形例を示す図である。

　図１は、海面温度マップ提供装置１を含むネットワークシステムの例を示す図である。図２は、海面温度マップ提供装置１のハードウェア構成の例を示す図である。図３は、マップ生成プログラム１８の構成の例を示す図である。

　図１に示す海面温度マップ提供装置１は、海面の温度の分布を表わす画像である海面温度マップを、温度の不明な部分を修復（復元、推測）して提供する装置である。海面温度マップ提供装置１として、デスクトップ型コンピュータ、ノート型パソコン、またはサーバなどが用いられる。以下、ノート型パソコンが用いられる場合を例に説明する。

　海面温度マップ提供装置１は、図２に示すように、プロセッサ１０、ＲＡＭ（Random Access Memory）１１、ＲＯＭ（Read Only Memory）１２、補助記憶装置１３、液晶ディスプレイ１４、通信インタフェース１５、キーボード１６、およびポインティングデバイス１７などによって構成される。

　ＲＯＭ１２または補助記憶装置１３には、海面温度マップを提供するためのマップ生成プログラム１８（図３参照）が記憶されている。マップ生成プログラム１８は、ＲＡＭ１１にロードされる。

　プロセッサ１０は、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）またはＣＰＵ（Central Processing Unit）などのプロセッサであって、ＲＡＭ１１にロードされたマップ生成プログラム１８を実行する。なお、プロセッサ１０、ＲＡＭ１１、およびＲＯＭ１２が１つのチップとして構成される場合もある。

　液晶ディスプレイ１４は、コマンドもしくはデータを入力するための画面または生成された海面温度マップなどを表示する。

　通信インタフェース１５は、ＬＡＮ（Local Area Network）またはインターネットなどを介して他の装置と通信するための装置である。通信インタフェース１５として、無線ＬＡＮカードまたはＮＩＣ（Network Interface Card）などが用いられる。

　キーボード１６およびポインティングデバイス１７は、コマンドまたはデータなどをオペレータが入力するための入力装置である。

　ところで、前に説明した通り、人工衛星によると、海面のうちの雲が掛かっていない部分の温度を測定することができるが雲が掛かっている部分の温度を測定することができない。そこで、従来、この部分の温度を推測するために、データ同化またはインペインティングが用いられている。

　ところが、データ同化は膨大な量のデータが必要でありかつリアルタイム性を欠き、インペインティングは鮮明性を欠く。

　しかし、マップ生成プログラム１８は、インペインティングによるリアルタイム性を維持しつつ、インペインティングによる鮮明性を従来よりも向上させることができる。以下、この仕組みについて説明する。また、海面の部分のうち、雲が掛かっている部分を「遮蔽部分」と記載し、雲が掛かっていない部分を「非遮蔽部分」と記載する。また、海洋以外の部分（主に陸の部分）を「陸部分」と記載する。

　マップ生成プログラム１８は、図３に示す学習器２および推測器３などを実現するためのプログラムである。

　マップ生成プログラム１８には、学習器２を実現するためのソフトウェアモジュールとして、学習データ生成部２０１、学習データ記憶部２０２、正解データ選出部２０３、マスク記憶部２０４、第一のマスク処理部２０５、ジェネレータ２０６、第二のマスク処理部２０７、ディスクリミネータ２０８、第一の学習部２１１、および第二の学習部２１２などが含まれる。さらに、推測器３を実現するためのソフトウェアモジュールとして、海面温度推測部３０１およびパッチマージ部３０２などが含まれる。そのほか、学習済モデル記憶部２２１が含まれる。

　学習器２は、遮蔽部分の海面温度を推測するための基準（以下、「推測基準」と記載する。）を、過去の海面温度マップを解析することによって学習する。推測器３は、学習器２によって学習された推測基準に基づいて遮蔽部分の海面温度を推測する。以下、学習器２および推測器３それぞれの詳細を順次、説明する。

　〔学習器２の仕組み〕
　　〔学習データの準備〕
　図４は、海面温度マップ４の例を示す図である。図５は、地域８Ａおよび区域８Ｂの位置関係の例を示す図である。図６は、パッチ５の例を示す図である。

　海面温度マップ提供装置１には、ある特定の地域８Ａにおけるそれぞれ異なる日時の海面の温度の分布をそれぞれ表わす、図４のような複数の海面温度マップ４（４１、４２、４３、…）が入力される。地域８Ａの海面から放射される赤外線を人工衛星によって検出して地域８Ａの海面の温度を測定し、温度の分布を画像で表わすことによって、海面温度マップ４が生成される。地域８Ａは、図５に示すように、（Ｈａ×Ｖａ）個の区域８Ｂに区切られている。

　各海面温度マップ４には、日時の古いものから順に「１」、「２」、「３」、…というシーケンス番号が付されている。

　本実施形態では、海面温度マップ４の画素の階調値は、明るいほど小さく、暗いほど大きい。

　海面温度マップ４は、グレースケールまたはカラーの画像である。海面温度マップ４が２５６階調のグレースケールの画像である場合は、真っ白な部分が遮蔽部分であり、遮蔽部分の各画素の階調値は「０」である。真っ黒な部分が陸部分であり、陸部分の各画素の階調値は「２５５」である。遮蔽部分でも陸部分でもない部分が、非遮蔽部分である。

　または、海面温度マップ４が２５６階調のカラーの画像である場合は、真っ白な部分が遮蔽部分であり、遮蔽部分の各画素の赤、緑、および青それぞれの階調値はすべて「０」である。また、真っ黒な部分が陸部分であり、陸部分の各画素の赤、緑、および青それぞれの階調値はすべて「２５５」である。遮蔽部分でも陸部分でもない部分つまりカラーである部分が、非遮蔽部分である。

　学習データ生成部２０１は、学習データを次のように生成する。図６のような、各海面温度マップ４の区域８Ｂそれぞれの画像を、パッチ５として抽出する。そして、各パッチ５を、そのパッチ５に対応する区域８Ｂの位置および元の海面温度マップ４のシーケンス番号と対応付けて、学習データ記憶部２０２に記憶させる。各パッチ５は、学習データとして用いられる。

　学習データ生成部２０１の処理によると、例えば、シーケンス番号が「ｄ」の海面温度マップ４の、左からＨｂ番目かつ上からＶｂ番目の区域８Ｂのパッチ５が、｛（Ｈｂ，Ｖｂ），ｄ｝と対応付けられて学習データ記憶部２０２に記憶される。

　パッチ５には、非遮蔽部分５ａ、遮蔽部分５ｂ、および陸部分５ｃのうちの少なくとも１つが含まれる。例えば、パッチ５１は、３種類の部分のうち非遮蔽部分５ａおよび遮蔽部分５ｂが含まれる。パッチ５２は、３種類の部分のうち非遮蔽部分５ａのみが含まれる。パッチ５３は、３種類の部分すべてが含まれる。以下、各パッチ５の面積が等しく、面積Ｓｇである場合を例に説明する。

　なお、パッチ５の中の各種類の部分の境界を分かりやすくするために、図６において、境界を表わす黒い輪郭線を施している。しかし、実際には、このような輪郭線はパッチ５に表われない。後に図７または図８で示す各画像も、同様である。

　　〔学習のアルゴリズム〕
　図７は、学習の手順の例を示す図である。図８は、第一のマスクフィルタ５Ｗの例を示す図である。

　正解データ選出部２０３ないし第二の学習部２１２は、再構築誤差および敵対的誤差の２つの指標を用いて学習済モデルを、図７に示す手順で生成する。

　マスク記憶部２０４には、図８のような、パターンがそれぞれ異なる複数の第一のマスクフィルタ５Ｗが、予め記憶されている。第一のマスクフィルタ５Ｗは、正解画像５Ｔと同じサイズ（画素数）のフィルタであって、各画素の値が「０」または「１」のいずれかである。第一のマスクフィルタ５Ｗのうちのハッチの部分は欠損させるための部分であり、各画素の値は「０」である。それ以外の部分は維持させるための部分であって、各画素の値は「１」である。第一のマスクフィルタ５Ｗ全体に対するハッチの部分の割合は、およそ１０～３０％である。

　正解データ選出部２０３は、学習データ記憶部２０２に記憶されているパッチ５のうちの、全体の面積つまりＳｇに対する遮蔽部分の面積の割合が所定の割合Ｒｓ未満であるものを検索する。すなわち、遮蔽部分の面積が面積Ｓｂであるならば、Ｓｂ／Ｓｇ＜Ｒｓ、を満たすパッチ５をＮ個、区域８Ｂも日時も問わずランダムに検索する。例えば、Ｎ＝３０、である。

　パッチ５には、陸部分の画像が含まれていることがある。そこで、正解データ選出部２０３は、陸部分を除いた全体の面積に対する遮蔽部分５ｂの面積の割合が所定の割合Ｒｓ未満であるものを検索してもよい。すなわち、陸部分の面積が面積Ｓｃであるならば、Ｓｂ／（Ｓｇ－Ｓｃ）＜Ｒｓ、を満たすパッチ５を検索してもよい。また、パッチ５３のような、３種類の部分のうち陸部分５ｃのみが含まれるパッチ５は、検索の対象から除外してもよい。

　そして、正解データ選出部２０３は、見つかったパッチ５つまり全体の面積に対する遮蔽部分の面積の割合が所定の割合Ｒｓ未満であるパッチ５を正解画像５Ｔとして選出する（＃７０１）。正解画像５Ｔは、正解データとして用いられる。

　第一のマスク処理部２０５は、正解画像５Ｔごとに１つずつランダムに第一のマスクフィルタ５Ｗを選択し（＃７０２）、選択した第一のマスクフィルタ５Ｗで正解画像５Ｔをマスクすることによって入力画像５Ｍを生成する（＃７０３）。例えば、正解画像５Ｔ１について第一のマスクフィルタ５Ｗ３が選択された場合は、正解画像５Ｔ１を第一のマスクフィルタ５Ｗ３でマスクすることによって入力画像５Ｍを生成する。

　具体的には、第一のマスク処理部２０５は、次の（１）式によって入力画像５Ｍを生成する。

「Ｘn」は、ｎ個目の正解画像５Ｔの各画素の階調値を示すベクトルである。「Ｘ^n」は、ｎ個目の正解画像５Ｔを第一のマスクフィルタ５Ｗでマスクすることによって得られた入力画像５Ｍの各画素の階調値を示すベクトルである。「Ｍrand」は、ｎ個目の正解画像５Ｔに掛ける第一のマスクフィルタ５Ｗの各画素の二値を示すベクトルである。

　なお、第一のマスクフィルタ５Ｗを予め用意しておくのではなく、正解画像５Ｔごとにランダムなパターンの画像を１つずつ第一のマスクフィルタ５Ｗとして生成してもよい。

　第一のマスク処理部２０５の処理によると、正解画像５Ｔが２５６階調のグレースケールの画像であれば、正解画像５Ｔの中の、第一のマスクフィルタ５Ｗのハッチの部分と重なる各画素の階調値が「０」に書き換えられる。これにより、入力画像５Ｍが生成される。または、２５６階調のカラーの画像であれば、この部分の各画素の赤、緑、および青それぞれの階調値が「０」に書き換えられる。これにより、入力画像５Ｍが生成される。

　以下、入力画像５Ｍの中の海面の部分のうちの雲が掛かりまたはマスクされた部分を「欠損部分５ｄ」と記載する。

　ジェネレータ２０６は、入力画像５Ｍの中の欠損部分５ｄをインペインティングによって修復することによって、修復画像５Ｒを生成する（＃７０４）。インペインティングのアルゴリズムとして、ディープラーニングなどの公知のアルゴリズムが用いられる。例えば、"Image denoising and inpainting with deep neural networks", Xie, J., Xu, L. and Chen, E., NIPS 2012. に記載されるアルゴリズムが用いられる。

　つまり、修復画像５Ｒは、公知のアルゴリズムを採用するジェネレート関数Ｇに、入力画像５Ｍの各画素の階調値を示すベクトルを代入することによって生成される。例えば、ｋ番目の入力画像５Ｍの場合は、Ｘ^kを代入することによって生成される。ただし、陸部分５ｃは修復しなくてもよい。または、後述するステップ＃７０７、＃７０６、＃７０８の各処理において陸部分５ｃが用いられない。

　ところで、従来の機械学習のアルゴリズムによると、例えば、Ｎ組の正解画像５Ｔおよび修復画像５Ｒの差の平均値が最小になるように、ジェネレート関数Ｇの各パラメータの値を調整する。つまり、次の（２）式の再構築誤差Ｌrecが最小になるように学習する。再構築誤差は、一般に「ＭＳＥ」または「平均二乗誤差」と呼ばれることもある。

「||Ａ||」は、Ａの値の２乗である。

　しかし、正解画像５Ｔには、温度が不明である海面の部分（つまり、遮蔽部分５ｂ）が含まれているのに対して、修復画像５Ｒには、そのような部分が含まれない。そのような部分を含めて学習するのは、好ましくない。

　このような問題点に鑑み、本実施形態においては、そのような部分を無視するために、（２）式を変形した、次の（３）式を用いて学習する。具体的な学習方法は、後述する。

「ｍxn」は、ｎ番目の正解画像５Ｔの中の遮蔽部分５ｂを示す第二のマスクフィルタ５Ｕである。具体的には、遮蔽部分５ｂの各画素の値は「０」であり、それ以外の部分の各画素の値は「１」である。ｍxnのｉ番目の画素の二値を次の（４）式によって表わすことができる。

　（３）式に基づいて学習すれば、データ同化によって学習する場合よりも少ない正解データで学習し学習済モデルを得ることができる。そして、この学習済モデルを推測器３に適用しても、一応、海面の一部に雲が掛かった海面温度マップを修復することができる。しかし、この学習済モデルによると、修復された部分が平滑であり、漁業および海上輸送などからのニーズを満たさない。

　そこで、本実施形態では、再構築誤差による学習方法と敵対的誤差による学習方法とを組み合わせることによって、この問題点を解決する。なお、敵対的誤差による学習は、一般に「ＧＡＮ（Generative Adversarial Network」と呼ばれる。

　第二のマスク処理部２０７は、修復画像５Ｒの中の、その修復画像５Ｒの元の正解画像５Ｔの遮蔽部分５ｂと同じ位置の画素を欠損させることによって、フェイク画像５Ｆを生成する（＃７０５）。具体的には、次の（５）式によって、修復画像５Ｒを元の正解画像５Ｔの第二のマスクフィルタ５Ｕでマスクすることによって、フェイク画像５Ｆを生成する。

「Ｚｎ」は、ｎ番目のフェイク画像５Ｆの各画素の階調値を示すベクトルである。

　ディスクリミネータ２０８は、公知のアルゴリズムによってＮ個の正解画像５ＴおよびＮ個のフェイク画像５Ｆのそれぞれを、本物および偽物のいずれかに区別する（＃７０６）。つまり、公知のアルゴリズム（例えば、"Generative adversarial network", Ian J. Goodfellow, et.al, NIPS 2014 に記載されるアルゴリズム）を採用するディスクリミネート関数Ｄに、正解画像５Ｔまたはフェイク画像５Ｆの各画素の階調値を示すベクトルを代入することによって、正解画像５Ｔまたはフェイク画像５Ｆを本物または偽物に区別する。例えば、ｋ番目の正解画像５Ｔを区別する場合は、Ｘｋを代入する。ｋ番目のフェイク画像５Ｆを区別する場合は、Ｚｋを代入する。本実施形態では、ディスクリミネート関数Ｄの出力値６Ａとして、本物に区別される場合は「１」が出力され、偽物に区別される場合は「０」が出力される。

　第一の学習部２１１は、次の（６）式の値が最小になるようにジェネレート関数Ｇの各パラメータを調整する（＃７０７）。
αＬrecours＋（１－α）Ｌadv …　（６）
「α」は、重さパラメータであり、０≦α≦１、である。「Ｌadv」は、次の（７）式によって算出される。

　第二の学習部２１２は、第一の学習部２１１による学習が終わったら、次の（８）式の値が最小になるようにディスクリミネート関数Ｄの各パラメータを調整する（＃７０８）。

　正解データ選出部２０３ないし第二の学習部２１２は、ディスクリミネータ２０８による正答率Ｒｔが５割に近づくまで＃７０１～＃７０８の処理を繰り返し実行する。つまり、（Ｒｔ－０．５）の絶対値が所定の値（例えば、「０．０３」）以下になるまで、上述の各処理を繰り返し実行する。

　そして、正答率Ｒｔが５割に近づいたら、ジェネレート関数Ｇの、その時点における各パラメータの値が、学習済モデル７として学習済モデル記憶部２２１に記憶される。または、ジェネレート関数Ｇを学習済モデル記憶部２２１に記憶させてもよい。

　なお、正答率Ｒｔは、直近に行った所定の回数の区別の結果に基づいて算出すればよい。ただし、所定の回数が少なすぎると偶然的に正答率Ｒｔが５割に近づくことがあるので、上述の各処理を何回か（例えば、最低１０回）繰り返す必要があるように、所定の回数を設定しておくのが望ましい。

　〔推測器３の仕組み〕
　図９は、修復海面温度マップ４Ｓの例を示す図である。

　学習が完了した後、海面温度マップ提供装置１に海面温度マップ４が入力されると、推測器３は、海面温度マップ４を次のように修復する。

　海面温度推測部３０１は、海面温度マップ４を区域８Ｂ（図５参照）ごとのパッチ５に分割し、次の（９）式のジェネレート関数Ｇresに各パッチ５を代入することによって、各パッチ５を修復した修復パッチ５Ｓを生成する。

Ｇres（Ｘ_(h,v)）は、左からｈ番目かつ上からｖ番目の区域８Ｂの修復パッチ５Ｓの各画素の階調値を示すベクトルである。「Ｘ_(h,v)」は、左からｈ番目かつ上からｖ番目の区域８Ｂのパッチ５の各画素の階調値を示すベクトルである。「Ｇ（Ｘ_(h,v)）」は、ジェネレート関数ＧにＸ_(h,v)を代入したものである。「（１－ｍ_(h,v)）」は、左からｈ番目かつ上からｖ番目の区域８Ｂのパッチ５の遮蔽部分５ｂ部分の各画素を「１」で表わし、それ以外の部分の各画素を「０」で表わすベクトルである。「ｍ_(h,v)」は、左からｈ番目かつ上からｖ番目の区域８Ｂのパッチ５の遮蔽部分５ｂ部分の各画素を「０」で表わし、それ以外の部分の各画素を「１」で表わすベクトルである。

　つまり、（９）式によると、パッチ５の中の遮蔽部分５ｂの画像をジェネレート関数Ｇおよび学習済モデル７によって修復し、修復した画像と残りの部分（つまり、欠損していない部分）のオリジナルの画像とを合成することによって、修復パッチ５Ｓが生成される。

　パッチマージ部３０２は、各区域８Ｂの修復パッチ５Ｓをそれぞれの位置に基づいて配置してマージすることによって、図９のような修復海面温度マップ４Ｓを生成する。

　修復海面温度マップ４Ｓは、液晶ディスプレイ１４に表示され、通信インタフェース１５によって他の装置へ送信され、または補助記憶装置１３に保存される。

　図１０は、マップ生成プログラム１８による処理の流れの例を説明するフローチャートである。

　次に、海面温度マップ提供装置１の全体的な処理の流れを、フローチャートを参照しながら説明する。

　海面温度マップ提供装置１は、マップ生成プログラム１８に基づいて、図１０に示す手順の処理を実行する。

　海面温度マップ提供装置１は、複数の海面温度マップ４が入力されると、これらの海面温度マップ４のそれぞれを区域８Ｂごとのパッチ５に分割し、学習データとして記憶する（図１０の＃１０１）。

　海面温度マップ提供装置１は、区域８Ｂおよび日時を問わず、Ｎ個の正解画像５Ｔをランダムに選出する（＃１０２）。選出した正解画像５Ｔごとに１つずつ第一のマスクフィルタ５Ｗをランダムに適用することによって入力画像５Ｍを生成する（＃１０３）。各入力画像５Ｍをジェネレータ２０６で修復することによって修復画像５Ｒを生成する（＃１０４）。

　さらに、海面温度マップ提供装置１は、それぞれの修復画像５Ｒを、元の正解画像５Ｔの遮蔽部分５ｂを表わす第二のマスクフィルタ５Ｕを用いてマスクする（＃１０５）。つまり、遮蔽部分５ｂと同じ位置にある画素を真っ白にする。これにより、Ｎ個のフェイク画像５Ｆが得られる。Ｎ個の正解画像５ＴおよびＮ個のフェイク画像５Ｆそれぞれの真偽を、ディスクリミネータ２０８によって判別する（＃１０６）。

　そして、海面温度マップ提供装置１は、（６）式の値が最小になるようにジェネレート関数Ｇの各パラメータを調整することによって、ジェネレータ２０６の学習を行う（＃１０７）。さらに、（８）式の値が最小になるようにディスクリミネート関数Ｄの各パラメータを調整することによって、ディスクリミネータ２０８の学習を行う（＃１０８）。

　正答率Ｒｔが５割に近づくまで（＃１０９でＮｏ）、海面温度マップ提供装置１は、ステップ＃１０２～＃１０８の処理を繰り返し実行する。

　正答率Ｒｔが５割に近づいたら（＃１０９でＹｅｓ）、海面温度マップ提供装置１は、ジェネレート関数Ｇの各パラメータの現時点の値を学習済モデル７として記憶する（＃１１０）。

　その後、海面温度マップ４が修復の対象として入力されると（＃１１１）、海面温度マップ提供装置１は、海面温度マップ４の各区域８Ｂのパッチ５をジェネレート関数Ｇおよび学習済モデル７によって修復する（＃１１２）。修復された画像の中の遮蔽部分５ｂの部分とオリジナルの画像の中の遮蔽部分５ｂ以外の部分とを合成することによって、修復パッチ５Ｓを生成する（＃１１３）。そして、各区域８Ｂの修復パッチ５Ｓをそれぞれの位置に基づいて並べてマージすることによって修復海面温度マップ４Ｓを生成し（＃１１４）、出力しまたは保存する（＃１１５）。

　本実施形態によると、欠損した部分が含まれる正解画像５Ｔであっても学習データとして使用することができる。よって、欠損していない学習データを多数用意する必要のある学習ベース（学習アルゴリズム）を採用する学習器においても、インペインティングのための学習済モデルを従来よりも容易に生成することができる。さらに、再構築誤差による学習に、敵対的誤差による学習を組み合わせることによって、リアルタイム性を維持しつつ従来よりも鮮明性の高い修復結果を得られるように学習済モデルを調整することができる。

　〔海面温度マップ提供装置１の使用例および比較実験〕
　図１１は、比較実験の例を説明するための図である。

　次に、海面温度マップ提供装置１を使い方の一例および比較実験の結果について説明する。

　日本およびその近隣の地域が、地域８Ａ（図５参照）である。海面温度マップ提供装置１には、地域８Ａにおける５００日間の毎日の特定の１つの時刻における海面の温度の分布をそれぞれ示す５００枚の画像を海面温度マップ４（図４参照）として取得する。

　海面温度マップ提供装置１は、各海面温度マップ４から６４×６４画素の大きさのパッチをパッチ５として抽出し、学習データとして用いる。海面温度マップ４の大きさが約５０００×６０００ドットであれば、海面温度マップ４それぞれから約７３００ずつパッチ５が抽出される。

　そして、海面温度マップ提供装置１は、上述の処理を実行することによって学習済モデル７を生成する。この学習済モデル７によって、図１１のような欠損していない正解画像５Ｅ１をわざと欠損させた修復対象画像５Ｅ２を修復すると、修復画像５Ｅ５のように修復される。

　しかし、再構築誤差による学習および敵対的誤差による学習のうち、再構築誤差による学習のみを適用して生成した学習済モデルによって修復対象画像５Ｅ２を修復すると、修復画像５Ｅ３のように修復される。または、敵対的誤差による学習のみを適用して生成した学習済モデルによって修復対象画像５Ｅ２を修復すると、修復画像５Ｅ４のように修復される。

　修復画像５Ｅ５を修復画像５Ｅ３および修復画像５Ｅ５と比較して分かるように、修復画像５Ｅ５は、修復画像５Ｅ３よりも平滑性が軽減されて鮮明性が高く、かつ、修復画像５Ｅ４よりも正解画像を正確に再現している。

　〔第一の変形例〕
　図１２は、学習データとして用いる３次元データの例を示す図である。図１３は、比較実験の例を説明するための図である。

　本実施形態では、学習データとして平面のデータつまり２次元データを使用することによって、学習済モデルを生成した。

　しかし、図１２のような、同じ区域８Ｂの連続するｋ日（例えば、３日）分のパッチ５を時系列に並べた３次元データを使用することによって、学習済モデルを生成してもよい。

　この方法で生成した学習済モデルで修復する場合は、修復する対象の海面温度マップ４に加えて、直近の（ｋ－１）日分の海面温度マップ４を海面温度マップ提供装置１に入力する必要がある。しかし、この学習済モデルを使用すると、大部分が欠損している場合であっても、２次元データによる学習済モデルを使用する場合よりも海面温度マップ４を確実に修復することができる。

　例えば、図１３に示すような、ある区域８Ｂの画像５Ｐ１が、修復対象画像５Ｐ２のように大部分を欠損している場合であっても、修復画像５Ｐ５のように修復することができる。なお、修復画像５Ｐ３は、再構築誤差による学習のみで生成された学習済モデルで修復したものであり、修復画像５Ｐ４は、敵対的誤差による学習のみで生成された学習済モデルで修復したものである。

　ある位置において、雲の有無の変化は、海面温度の変化よりも著しい。つまり、数日間における海面温度の変化は小さいが、雲の有無の変化は著しい。よって、この変形例によると、学習データとして有用な画像をより確実に取得することができ、海面温度の推測の確実性をより高めることができる。

　本実施形態では、海面温度マップ提供装置１は、正解画像５Ｔとして用いるパッチ５を、区域８Ｂを問わずに選出し、すべての区域８Ｂに共通の学習済モデル７を生成した。しかし、正解画像５Ｔとして用いるパッチ５を区域８Ｂごとに選出し、区域８Ｂごとに学習済モデル７を生成してもよい。

　〔第二の変形例〕
　図１４は、同化画像５Ｌを取得する方法の例を示す図である。図１５は、学習の手順の変形例を示す図である。図１６は、学習の手順の変形例を示す図である。

　本実施形態では、図７に示したように、ディスクリミネータ２０８は、ステップ＃７０６において、正解画像５Ｔおよびフェイク画像５Ｆのそれぞれを、本物および偽物のいずれかに区別した。しかし、正解画像５Ｔの代わりに同化画像５Ｌを用いてもよい。つまり、同化画像５Ｌおよびフェイク画像５Ｆのそれぞれを、本物および偽物のいずれかに区別してもよい。

　ところで、データ同化によると、海面温度用の物理シミュレーションに種々の事項の実測データ（実際の観測値）を取り入れて海面温度を推測することができる。ところが、「発明が解決しようとする課題」の欄で述べた通り、データ同化は、膨大な量のデータが必要であり、計算にかなりの時間が掛かる。したがって、リアルタイム性に欠ける。よって、推論フェーズにデータ同化を適用すると、推論の結果を得るのにかなりの時間が掛かってしまう。

　しかし、データ同化によると、物理シミュレーションがベースなので、赤外線を人工衛星で検出して海面温度のマップを生成する場合よりも大気の状態または海面の状態などによるノイズの影響を受けにくく、よりクリアなマップを生成することができる。

　そこで、第二の変形例では、データ同化によって得られた結果を学習フェーズにおいて使用する。

　同化画像５Ｌは、データ同化によって生成される画像であって、例えば次のように用意される。

　学習器２の学習データ生成部２０１（図３参照）は、データ同化によって海面温度を推測する既存のデータ同化システムから過去の推測結果を取得する。

　具体的には、データ同化マップ４Ｌとして、海面温度マップ４１、４２、４３、…、それぞれと同じ日時のデータ同化マップ４Ｌ１、４Ｌ２、４Ｌ３、…が、図１４のようにデータ同化システムから海面温度マップ提供装置１へ通信回線または記録媒体を介して入力される。

　データ同化マップ４Ｌは、データ同化によって地域８Ａの海面の温度を推測し、推測した温度の分布を表わす画像である。データ同化マップ４Ｌは、海面温度マップ４とは異なり、雲が掛かっている部分を有さない。データ同化マップ４Ｌは、公知の方法によって生成することができる。例えば、"Norihisa Usui, et. al, Four-dimensional variational ocean reanalysis: a 30-year high-resolution dataset in the western North Pacific (FORAWNP30), Journal of Oceanography, Vol. 73, No. 2, pp. 205？233, 2016." に記載される方法によって生成することができる。

　各データ同化マップ４Ｌには、日時の古いものから順に「１」、「２」、「３」、…というシーケンス番号が付される。なお、データ同化マップ４Ｌは、海面温度マップ４と同じ解像度および階調に補正された後、海面温度マップ提供装置１に入力されるものとする。または、海面温度マップ４をデータ同化マップ４Ｌと同じ解像度および階調に補正してもよい。

　学習データ生成部２０１は、各データ同化マップ４Ｌの区域８Ｂそれぞれの画像を、同化画像５Ｌとして抽出する。そして、各同化画像５Ｌを、その同化画像５Ｌに対応する区域８Ｂの位置および元のデータ同化マップ４Ｌのシーケンス番号と対応付けて、同化画像記載部２０９に記憶させる。例えば、シーケンス番号が「ｄ」のデータ同化マップ４Ｌの、左からＨｂ番目かつ上からＶｂ番目の区域８Ｂの同化画像５Ｌを、｛（Ｈｂ，Ｖｂ），ｄ｝と対応付けられて同化画像記載部２０９に記憶させる。

　なお、同化画像５Ｌには、非遮蔽部分および陸部分のうちの少なくとも１つが含まれる。上述の通り、雲が掛かっている部分がデータ同化マップ４Ｌに含まれていないので、同化画像５Ｌには、遮蔽部分が含まれない。

　正解データ選出部２０３ないし第二の学習部２１２は、図１５に示す手順で学習済モデルを生成する。

　ステップ＃７２１～＃７２４の各処理は、図７のステップ＃７０１～＃７０４の各処理と同様である。ステップ＃７０５に相当する処理は、スキップされる。

　ディスクリミネータ２０８は、公知のアルゴリズムによってＮ個の同化画像５ＬおよびＮ個の修復画像５Ｒのそれぞれを、本物および偽物のいずれかに区別する（＃７２６）。つまり、ディスクリミネート関数Ｄに、同化画像５Ｌまたは修復画像５Ｒの各画素の階調値を示すベクトルを代入することによって区別する。ステップ＃７２６の処理によると、ステップ＃７０６の処理の場合と同様、ディスクリミネート関数Ｄの出力値６Ａとして、本物に区別される場合は「１」が出力され、偽物に区別される場合は「０」が出力される。

　図７に示す例においては、ディスクリミネータ２０８は、正解画像５Ｔおよびフェイク画像５Ｆを本物および偽物のいずれかに区別した。しかし、図１５に示す例においては、上述の通り、同化画像５Ｌおよび修復画像５Ｒを、ともに第二のマスクフィルタ５Ｕでマスクすることなく、本物および偽物のいずれかに区別する。この方法によると、雲に隠れていない部分（非遮蔽部分）だけでなく雲に隠れている部分（遮蔽部分）をも、区別のために使用することができる。

　ステップ＃７２７～＃７２８の各処理は、ステップ＃７０７～＃７０８の各処理と同様である。ただし、ステップ＃７０６によって得られる出力値６Ａの代わりに、ステップ＃７２６によって得られる出力値６Ａが使用される。

　＃７２１～＃７２８の処理は、ディスクリミネータ２０８による正答率Ｒｔが５割に近づくまで繰り返し実行される。つまり、（Ｒｔ－０．５）の絶対値が所定の値（例えば、「０．０３」）以下になるまで繰り返し実行される。

　または、図１６に示す手順で学習済モデルを生成することもできる。つまり、図７に示す例と同様に、第二のマスク処理部２０７は、修復画像５Ｒを第二のマスクフィルタ５Ｕでマスクすることによってフェイク画像５Ｆを生成する（＃７２５）。第三のマスク処理部２１０は、同化画像５Ｌを第二のマスクフィルタ５Ｕでマスクすることによってマスク同化画像５Ｈを生成する。そして、ディスクリミネータ２０８は、フェイク画像５Ｆおよびマスク同化画像５Ｈを本物および偽物のいずれかに区別する。

　なお、ステップ＃７２７以降の処理は、図１５のステップ＃７０７以降の処理と同様である。

　３次元データを使用することによって学習済モデルを生成する方法は、第二の変形例においても適用することができる。

　〔その他〕
　本実施形態では、図３に示した各機能を、マップ生成プログラム１８をプロセッサ１０で実行することによって実現した。しかし、全部または一部の機能をＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアモジュールによって実現してもよい。

　本実施形態では、学習器２および推測器３の両方を海面温度マップ提供装置１に設けたが、別々の装置に設けてもよい。例えば、学習用装置が学習器２によって学習済モデル７を生成し、１台または複数台の推測用装置へ通信回線または可搬型の記録媒体を介して配付する。そして、各推測用装置は、入力された海面温度マップ４を、学習済モデル７を用いて、修復する。

　本実施形態では、図３に示した学習器２の学習データ生成部２０１ないしディスクリミネータ２１２のすべてを海面温度マップ提供装置１に設ける場合を例に説明したが、一部分が他の装置にあってもよい。例えば、ジェネレータ２０６、ディスクリミネータ２０８、第一の学習部２１１、および第二の学習部２１２がクラウドサーバに設けられていてもよい。

　この場合は、第一のマスク処理部２０５は、入力画像５Ｍを生成したら、入力画像５Ｍをクラウドサーバへ送信するとともに、入力画像５Ｍを修復するようクライアントサーバへ指令する。

　クラウドサーバは、ジェネレータ２０６と同様に、入力画像５Ｍを修復することによって修復画像５Ｒを生成する。そして、修復画像５Ｒを海面温度マップ提供装置１へ送信する。

　第二のマスク処理部２０７は、修復画像５Ｒを受信すると、修復画像５Ｒを第二のマスクフィルタ５Ｕでマスクすることによってフェイク画像５Ｆを生成する。そして、正解画像５Ｔおよびフェイク画像５Ｆをクラウドサーバへ送信するとともに、機械学習するようにクラウドサーバへ指令する。

　クラウドサーバは、ディスクリミネータ２０８と同様に、フェイク画像５Ｆおよび正解画像５Ｔそれぞれの真偽を区別する。そして、第一の学習部２１１と同様に（６）式に基づいてジェネレート関数Ｇを調整し、第二の学習部２１２と同様に（８）式に基づいてディスクリミネート関数Ｄを調整する。

　本実施形態では、第一の学習部２１１は、再構築誤差および敵対的誤差を組み合わせた機械学習によってジェネレート関数Ｇのパラメータを調整した。しかし、平滑性が高くても構わない場合は、再構築誤差のみによる機械学習によって調整すればよい。つまり、（３）式が最小になるようにジェネレート関数Ｇのパラメータを調整すればよい。

　本実施形態では、海面温度マップ提供装置１は、一部分が欠損した海面温度マップを修復するために用いられたが、他のデータを修復するために用いることができる。例えば、深度カメラによって得られた深度画像または不安定な通信回線を介して送信されてきた音声を修復するために用いてもよい。または、宇宙線の観測データを修復するために用いてもよい。

　その他、海面温度マップ提供装置１の全体または各部の構成、処理の内容、処理の順序などは、本発明の趣旨に沿って適宜変更することができる。

　　１　海面温度マップ提供装置（修復用関数調整システム、データ修復装置）
　　２０１　学習データ生成部（記憶手段）
　　２０３　正解データ選出部（選出手段）
　　２０５　第一のマスク処理部（欠損手段）
　　２０６　ジェネレータ（修復手段）
　　２０７　第二のマスク処理部（偽データ生成手段）
　　２０８　ディスクリミネータ（区分手段）
　　２１１　第一の学習部（調整手段）
　　２１２　第二の学習部（第二の調整手段）
　　３　推測器（修復手段）
　　５Ｆ　フェイク画像（第四のデータ）
　　５Ｈ　マスク同化画像（第五のデータ）
　　５Ｍ　入力画像（第二のデータ）
　　５Ｌ　同化画像（第六のデータ）
　　５Ｒ　修復画像（第三のデータ）
　　５Ｔ　正解画像（第一のデータ）
　　６Ａ　出力値（結果）
　　８Ａ　地域（海面）
　　８Ｂ　区域
　　Ｄ　ディスクリミネート関数（第二の関数）
　　Ｇ　ジェネレート関数（関数）

Claims

　欠損のあるデータを修復するために使用する関数を調整する修復用関数調整システムであって、
　元々欠損している部分であるオリジナル欠損部分を有する第一のデータをさらに欠損させることによって第二のデータを生成する欠損手段と、
　前記第二のデータを前記関数で修復することによって第三のデータを生成する修復手段と、
　前記第一のデータおよび前記第三のデータそれぞれの前記オリジナル欠損部分以外の部分に基づいて前記関数を調整する調整手段と、
　を有することを特徴とする修復用関数調整システム。
　記憶手段に記憶された複数のデータの中から前記第一のデータを選出する選出手段、
　を有し、
　前記欠損手段は、前記選出手段によって選出された前記第一のデータを欠損させることによって前記第二のデータを生成する、
　請求項１に記載の修復用関数調整システム。
　前記第三のデータの中の、当該第三のデータの元である前記第一のデータの前記オリジナル欠損部分と同じ位置の部分を欠損させることによって、第四のデータを生成する、偽データ生成手段と、
　前記第一のデータおよび前記第四のデータのそれぞれを第二の関数に基づいて本物および偽物のいずれかに区分する区分手段と、
　前記区分手段が前記第一のデータおよび前記第四のデータのそれぞれを区分した結果に応じて前記第二の関数を調整する第二の調整手段と、
　を有し、
　前記調整手段は、前記結果に基づいて前記関数を調整する、
　請求項１または請求項２に記載の修復用関数調整システム。
　前記区分手段が前記第一のデータおよび前記第四のデータのそれぞれを区分する正確性が所定の範囲内になるまで、前記選出手段、前記欠損手段、前記修復手段、前記偽データ生成手段、前記区分手段、前記調整手段、および前記第二の調整手段は、それぞれの処理を１回ずつ繰り返し実行する、
　請求項３に記載の修復用関数調整システム。
　前記第三のデータの中の、当該第三のデータの元である前記第一のデータの前記オリジナル欠損部分と同じ位置の部分を欠損させることによって、第四のデータを生成する、偽データ生成手段と、
　前記第四のデータおよび第五のデータのそれぞれを第二の関数に基づいて本物および偽物のいずれかに区分する区分手段と、
　前記区分手段が前記第四のデータおよび前記第五のデータのそれぞれを区分した結果に応じて前記第二の関数を調整する第二の調整手段と、
　を有し、
　前記調整手段は、前記結果に基づいて前記関数を調整し、
　前記第五のデータは、データ同化によって生成されかつ特定の対象を表わすデータを、前記第四のデータと同じ位置の部分を欠損させたものであり、
　前記第一のデータは、前記データ同化以外の方法によって生成された、前記特定の対象を表わすデータである、
　請求項１ないし請求項４のいずれかに記載の修復用関数調整システム。
　前記区分手段が前記第四のデータおよび前記第五のデータのそれぞれを区分する正確性が所定の範囲内になるまで、前記選出手段、前記欠損手段、前記修復手段、前記偽データ生成手段、前記区分手段、前記調整手段、および前記第二の調整手段は、それぞれの処理を１回ずつ繰り返し実行する、
　請求項５に記載の修復用関数調整システム。
　前記第三のデータおよび第六のデータのそれぞれを第二の関数に基づいて本物および偽物のいずれかに区分する区分手段と、
　前記区分手段が前記第三のデータおよび前記第六のデータのそれぞれを区分した結果に応じて前記第二の関数を調整する第二の調整手段と、
　を有し、
　前記調整手段は、前記結果に基づいて前記関数を調整し、
　前記第六のデータは、データ同化によって生成されかつ特定の対象を表わすデータであり、
　前記第一のデータは、前記データ同化以外の方法によって生成された、前記特定の対象を表わすデータである、
　請求項１請求項２に記載の修復用関数調整システム。
　前記区分手段が前記第三のデータおよび前記第六のデータのそれぞれを区分する正確性が所定の範囲内になるまで、前記選出手段、前記欠損手段、前記修復手段、前記区分手段、前記調整手段、および前記第二の調整手段は、それぞれの処理を１回ずつ繰り返し実行する、
　請求項７に記載の修復用関数調整システム。
　前記第一のデータは、海面の温度の分布を表わす画像である、
　請求項１ないし請求項８のいずれかに記載の修復用関数調整システム。
　前記画像は、前記海面を区切った複数の区域の中から選択された１つまたは複数の区域それぞれの画像である、
　請求項９に記載の修復用関数調整システム。
　前記第一のデータは、互いに異なるＳ個（Ｓ＞３）の時期それぞれに測定された海面の温度の分布を表わす画像である、
　請求項１ないし請求項８のいずれかに記載の修復用関数調整システム。
　前記海面は、複数の区域に区切られており、
　前記画像は、複数組の、前記Ｓ個の時期のうちのいずれかにおける前記複数の区域の中のいずれかの画像である、
　請求項１１に記載の修復用関数調整システム。
　前記海面は、複数の区域に区切られており、
　前記画像は、複数組の、前記Ｓ個の時期のうちの連続するＴ個（Ｓ＞Ｔ＞１）の時期それぞれにおける前記複数の区域の中のいずれかの画像である、
　請求項１１に記載の修復用関数調整システム。
　修復の対象であるデータを、請求項１ないし請求項１３のいずれかに記載の修復用関数調整システムによって調整された前記関数によって修復する修復手段、
　を有することを特徴とするデータ修復装置。
　請求項１４に記載のデータ修復装置によって修復されたデータ。
　欠損のあるデータを修復するために使用する関数を調整する修復用関数調整方法であって、
　元々欠損している欠損部分を有する第一のデータをさらに欠損させることによって第二のデータを生成する第一のステップと、
　前記第二のデータを前記関数で修復することによって第三のデータを生成する第二のステップと、
　前記第一のデータおよび前記第三のデータそれぞれの前記欠損部分以外の部分に基づいて前記関数を調整する第三のステップと、
　を有することを特徴とする修復用関数調整方法。
　欠損のあるデータを修復するために使用する修復用関数を生成する修復用関数生成方法であって、
　元々欠損している欠損部分を有する第一のデータをさらに欠損させることによって第二のデータを生成する第一のステップと、
　第一の関数で前記第二のデータを修復することによって第三のデータを生成する第二のステップと、
　前記第一のデータおよび前記第三のデータそれぞれの前記欠損部分以外の部分に基づいて前記第一の関数を調整する第三のステップと、
　前記第一の関数または当該第一の関数の各パラメータの値を前記修復用関数または当該修復用関数の各パラメータの値として記憶手段に記憶させる第四のステップと、
　を有することを特徴とする修復用関数生成方法。
　欠損のあるデータを修復するために使用する関数を調整するコンピュータに用いられるコンピュータプログラムであって、
　前記コンピュータに、
　元々欠損している欠損部分を有する第一のデータをさらに欠損させることによって第二のデータを生成する欠損処理を実行させ、
　前記第二のデータを前記関数で修復することによって第三のデータを生成する修復処理を実行させ、
　前記第一のデータおよび前記第三のデータそれぞれの前記欠損部分以外の部分に基づいて前記関数を調整する調整処理を実行させる、
　ことを特徴とするコンピュータプログラム。
　欠損のあるデータを修復手段が修復するために使用する関数を調整する支援を行うコンピュータに用いられるコンピュータプログラムであって、
　前記コンピュータに、
　元々欠損している欠損部分を有する第一のデータをさらに欠損させることによって第二のデータを生成する欠損処理を実行させ、
　前記第二のデータを前記修復手段に前記関数を用いて修復させることによって第三のデータを生成する修復処理を実行させ、
　前記第一のデータおよび前記第三のデータそれぞれの前記欠損部分以外の部分に基づいて前記関数を調整する調整処理が実行されるように調整手段を制御する調整制御処理を実行させる、
　ことを特徴とするコンピュータプログラム。