JP7536207B1 - 画像生成装置および画像生成方法 - Google Patents

Abstract

【課題】より簡易に低解像度の画像から高解像度の画像を生成することを目的とする。
【解決手段】
画像生成装置１は、設定された領域Ａの全体を含む画像Ｉ１’を画像Ｉ１の大きさに拡大した対象画像を取得する第１取得部１０と、サイクルＧＡＮを用いて構築された、領域Ａの全体を含む画像を拡大した第１ドメインの画像Ｉ１から、領域Ａを複数に分割した分割領域Ａ１の画像ｉ２を統合した画像である、第２ドメインの画像Ｉ２を生成する学習済み生成器Ｇ１’を備え、学習済み生成器Ｇ１’に、対象画像を与えて画像Ｉ２を生成させる生成部１３と、生成された画像Ｉ２を提示する提示部１５とを備え、画像Ｉ１と画像Ｉ２とは同じ画素数を有する。
【選択図】図１

Description

本発明は、画像生成装置および画像生成方法に関する。

従来から、画像を高解像度化する画像処理が知られている。例えば、特許文献１は、学習用の低解像度画像と高解像度画像とを用いて学習した機械学習モデルにより、未知の入力画像の超解像処理を行う技術を開示している。

しかし、特許文献１に記載の機械学習モデルを利用した超解像処理では、機械学習モデルの推論精度を一定にするために学習用の画像が大量に必要である。ところで従来から、ドローンや航空機などによって上空から撮影された画像の超解像処理によって、インフラや農場などの管理等に役立てられている。特許文献１に記載の機械学習モデルを利用して、上空から撮影された画像を高解像度化する場合において、上空から撮影された低解像度画像と高解像度画像とのペアの学習用画像を多数用意することが困難な場合がある。

特開第２０２２－０８１６５３号公報

Ｊｕｎ－Ｙａｎ Ｚｈｕ，Ｔａｅｓｕｎｇ Ｐａｒｋ，Ｐｈｉｌｌｉｐ Ｉｓｏｌａ，Ａｌｅｘｅｉ Ａ．Ｅｆｒｏｓ，"Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ"，ＩＣＣＶ，ｐａｇｅｓ ２２２３－２２３２，２０１７．

このように従来の技術では、より簡易に低解像度の画像から高解像度の画像を生成することが困難であった。

本発明は、上述した課題を解決するためになされたものであり、より簡易に低解像度の画像から高解像度の画像を生成することを目的とする。

上述した課題を解決するために、本発明に係る画像生成装置は、設定された領域の全体を含む画像を第１画像の大きさに拡大した対象画像を取得するように構成された取得部と、サイクルＧＡＮを用いて構築された、前記領域の全体を含む画像を拡大した第１ドメインの前記第１画像から、前記領域を複数に分割した分割領域の画像を統合した画像である、第２ドメインの第２画像を生成する学習済み生成器を備え、前記学習済み生成器に、前記対象画像を与えて前記第２画像を生成させるように構成された生成部と、生成された前記第２画像を提示するように構成された提示部とを備え、前記第１画像と前記第２画像とは同じ画素数を有する。

また、本発明に係る画像生成装置において、さらに、前記サイクルＧＡＮを用いて、前記第１ドメインの前記第１画像から前記第２ドメインの前記第２画像を生成する生成器を学習するように構成された学習部を備えていてもよい。

上述した課題を解決するために、本発明に係る画像生成方法は、設定された領域の全体を含む画像を第１画像の大きさに拡大した対象画像を取得する取得ステップと、サイクルＧＡＮを用いて構築された、前記領域の全体を含む画像を拡大した第１ドメインの前記第１画像から、前記領域を複数に分割した分割領域の画像を統合した画像である、第２ドメインの第２画像を生成する学習済み生成器に、前記対象画像を与えて前記第２画像を生成させる生成ステップと、生成された前記第２画像を提示する提示ステップとを備え、前記第１画像と前記第２画像とは同じ画素数を有する。

また、本発明に係る画像生成方法において、さらに、前記サイクルＧＡＮを用いて、前記第１ドメインの前記第１画像から前記第２ドメインの前記第２画像を生成する生成器を学習する学習ステップを備えていてもよい。

本発明によれば、サイクルＧＡＮを用いて構築された、領域の全体を含む画像を拡大した第１ドメインの第１画像から、領域を複数に分割した分割領域の画像を統合した画像である、第２ドメインの第２画像を生成する学習済み生成器を備え、学習済み生成器に対象画像を与えて第２画像を生成させる。そのため、より簡易に低解像度の画像から高解像度の画像を生成することができる。

図１は、本発明の実施の形態に係る画像生成装置を含む画像生成システムの構成を示すブロック図である。 図２は、本実施の形態に係る画像生成装置の概要を説明するための図である。 図３は、本実施の形態に係る画像生成装置が備える学習部の構成を示すブロック図である。 図４は、本実施の形態に係る画像生成装置が備える学習部の構成を説明するための図である。 図５は、本実施の形態に係る画像生成装置が備える学習部の構成を説明するための図である。 図６は、本実施の形態に係る画像生成装置のハードウェア構成を示すブロック図である。 図７は、本実施の形態に係る画像生成装置の動作の概要を示すフローチャートである。 図８は、本実施の形態に係る画像生成装置による学習処理を示すフローチャートである。

以下、本発明の好適な実施の形態について、図１から図８を参照して詳細に説明する。

［画像生成システムの構成］
まず、本発明の実施の形態に係る画像生成装置１を備える画像生成システムの概要について説明する。

図１は、本発明の実施の形態に係る画像生成装置１を備える画像生成システムの構成を示すブロック図である。本実施の形態に係る画像生成システムは、画像生成装置１およびＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｉｒｃｒａｆｔ Ｖｅｈｉｃｌｅ）２を備える。画像生成装置１とＵＡＶ２とは、ＬＴＥ／４Ｇ、５Ｇ、６Ｇなどの無線通信ネットワークＮＷを介して互いに通信可能に接続されている。本実施の形態に係る画像生成システムは、ＵＡＶ２が撮影した領域Ａの全体が含まれる画像Ｉ１（対象画像）から、より高解像度の画像Ｉ２を生成する。領域Ａは、例えば１００×１００［ｍ］の農地であり、高解像度の画像Ｉ２を用いて、領域Ａで栽培されている作物の生育管理が行われる。

ＵＡＶ２は、ドローンなどの無人飛行体であって、遠隔による無線操縦飛行を行うことができる。ＵＡＶ２は、プロセッサ、主記憶装置、補助記憶装置、および通信インターフェース等を備える。また、ＵＡＶ２は、ジャイロセンサ、加速度センサ、フライトコントローラ、ＧＰＳ受信機、およびカメラ等を備える。

ＵＡＶ２のカメラを用いて撮影される画像の地上解像度（ＧＳＤ）は、撮影高度とカメラのセンサーサイズで決定される。ＵＡＶ２は、撮影高度およびカメラの視野角に応じた撮影面積を上空から撮影できる。また、カメラの性能は、説明の簡単のため１００万［ｐｘ］の画素数とし、縦横比１０００×１０００［ｐｘ］の画像を撮影するものとする。

ＵＡＶ２は、図１に示すように、撮影範囲として設定された領域Ａの全体を、１枚の画像Ｉ１’として撮影する。画像Ｉ１’には、ＧＰＳ座標情報が付される。例えば、画像Ｉ１’ごと、あるいは画素ごとに座標情報が含まれていてもよい。ＵＡＶ２は、撮影した領域Ａの画像Ｉ１’を、無線通信ネットワークＮＷを介して画像生成装置１に送信する。ＵＡＶ２は、領域Ａの全体を含む画像Ｉ１’に加えて、後述の学習部１２の学習で用いられる訓練データとして画像Ｉ１’、および領域Ａを分割した複数の分割領域Ａ１の画像ｉ２を撮影することができる。各画像ｉ２には、ＧＰＳ座標情報が付されている。

［画像生成装置の機能ブロック］
図１に示すように、画像生成装置１は、第１取得部１０、第２取得部１１、学習部１２、生成部１３、記憶部１４、および提示部１５を備える。画像生成装置１は、サイクルＧＡＮによって事前に構築された学習済み生成器Ｇ１’によって、ＵＡＶ２から送信された、領域Ａの全体が含まれる低解像度の１枚の画像Ｉ１’から、領域Ａを複数に分割した分割領域Ａ１の画像ｉ２を統合した画像Ｉ２を生成し、提示する。

第１取得部１０（取得部）は、設定された領域Ａの全体を含む画像Ｉ１’を画像Ｉ１（第１画像）の大きさに拡大した対象画像を取得する。より具体的には、第１取得部１０は、ＵＡＶ２によって撮影された領域Ａの画像Ｉ１’を、無線通信ネットワークＮＷを介して取得する。第１取得部１０は、画像Ｉ１’のスケールを単に拡大した画像Ｉ１を生成する。画像Ｉ１’を拡大することで画素数が増加した画像Ｉ１が取得される。例えば、画素数が１０００×１０００［ｐｘ］の画像Ｉ１’を１００×１００倍に拡大した画像Ｉ１は、画像Ｉ１’の一の画素とＲＧＢ成分が同じである画素が１００×１００個存在する画像Ｉ１である。第１取得部１０によって取得される画像Ｉ１は、高解像度画像への変換対象の画像である。

第２取得部１１は、学習部１２によるサイクルＧＡＮを用いた学習処理のための訓練データの画像を取得する。第２取得部１１は、事前にＵＡＶ２によって撮影された領域Ａの画像Ｉ１’を拡大した画像Ｉ１（第１画像）、および領域Ａを複数に分割した分割領域Ａ１の画像ｉ２を統合した画像Ｉ２（第２画像）を訓練データとして取得する。第２取得部１１は、ＵＡＶ２が撮影した領域Ａ全体の画像Ｉ１’および分割領域Ａ１の画像ｉ２を、無線通信ネットワークＮＷを介して取得し、さらに、画像Ｉ１’の拡大処理および画像ｉ２を統合して訓練データの画像Ｉ１、Ｉ２を得る。

学習部１２は、サイクルＧＡＮを用いて、第１ドメインの画像Ｉ１から第２ドメインの画像Ｉ２を生成する生成器Ｇ１を学習する。

図２は、本実施の形態に係る画像生成装置１の概要を説明するための図である。図２の（ａ）は、画像Ｉ１を、図２の（ｂ）は、画像Ｉ２をそれぞれ模式的に示した図である。また、図２の（ｃ）は、ＵＡＶ２によって撮影される画像Ｉ１および画像ｉ２を示す図である。

図２の（ａ）から（ｃ）に示すように、画像Ｉ１’は、ＵＡＶ２が領域Ａの全体を１枚の画像として撮影した画像であり、画像Ｉ１’を拡大した画像が画像Ｉ１である。一方、画像Ｉ２は、ＵＡＶ２が領域Ａを分割した複数の分割領域Ａ１を撮影した画像ｉ２を統合した画像である。画像ｉ２は、ＵＡＶ２が画像Ｉ１’の撮影時と比較して、より低い高度で撮影した画像であり、画像Ｉ１’の地上解像度よりも小さい地上解像度を有する。

領域Ａは、前述したように、１００×１００［ｍ］の面積を有する農地である。図２の（ａ）に示す画像Ｉ１’の格子状の区域は、１画素を模式的に表している。また、前述したように、拡大前の画像Ｉ１’は、１，０００×１，０００［ｐｘ］の画像である。この画像Ｉ１’を１００×１００倍に拡大した（１，０００×１００）×（１，０００×１００）［ｐｘ］の画像Ｉ１では、元の画像Ｉ１’の情報が拡散され、画素間の詳細が失われるため作物はぼやけて見える。

一方、図２の（ｂ）に示す画像Ｉ２は、ＵＡＶ２が、各１×１［ｍ］に分割された複数の分割領域Ａ１の各々を撮影した、各１，０００×１，０００［ｐｘ］の画像ｉ２である。この場合、ＵＡＶ２は１０，０００枚の画像ｉ２を撮影する。図２の（ｂ）の矢印に示すように、各１，０００×１，０００［ｐｘ］の画像ｉ２を統合することにより、領域Ａの全体を含む（１，０００×１００）×（１，０００×１００）［ｐｘ］の画像Ｉ２が得られる。画像ｉ２を統合した画像Ｉ２は地上解像度が十分小さいため、作物が鮮明に映っている。このように、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の解像度は、領域Ａの全体を含む画像Ｉ１’を拡大した画像Ｉ１の解像度よりも高い。また、画像Ｉ１’を拡大した画像Ｉ１の大きさと、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の大きさは同じである。

学習部１２は、図２の（ａ）および（ｂ）に示す画像Ｉ１’を拡大した画像Ｉ１および画像Ｉ２を訓練データとして用いて、サイクルＧＡＮの学習を行う。学習部１２は、図３に示すように、２つの生成器Ｇ１、Ｇ２、および２つの識別器Ｄ１、Ｄ２を有するサイクルＧＡＮの学習を行う。サイクルＧＡＮは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｒｉａｌ Ｎｅｔｗｏｒｋ：敵対的生成ネットワーク）の一種であり、異なるドメイン間で画像変換を行うことができる生成モデルである（非特許文献１参照）。

ＧＡＮが１つの生成器と１つの識別器とを備えるモデルであるのに対し、サイクルＧＡＮは、２つの生成器Ｇ１、Ｇ２、および２つの識別器Ｄ１、Ｄ２で構成され、１つのドメインに対して１つの生成器と１つの識別器とで構成される。すなわち、第１ドメインに対して、生成器Ｇ１と識別器Ｄ２とが設けられ、第２ドメインに対しては、生成器Ｇ２と識別器Ｄ１とが設けられる。

学習部１２は、サイクルＧＡＮを用いて、第１ドメインの画像Ｉ１から第２ドメインの画像Ｉ２を生成する生成器Ｇ１を学習する。ドメインとは、ある特定の特徴を有するデータの集合をいう。領域Ａの全体が含まれる画像Ｉ１’を拡大した画像Ｉ１と、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２とは異なる特徴を有し、画素ごとの対応関係がない異なるドメインの画像である。

サイクルＧＡＮは、第１ドメインの画像Ｉ１から第２ドメインの画像Ｉ２への変換を行う生成器Ｇ１と、生成器Ｇ１によって変換された画像Ｉ２の真偽を判定する識別器Ｄ１との組、および第２ドメインの画像Ｉ２を第１ドメインの画像Ｉ１に逆変換する生成器Ｇ２と、逆変換された画像Ｉ１の真偽を判定する識別器Ｄ２との組を備える。このように、サイクルＧＡＮは、第１ドメインと第２ドメインとの関係を学習するために２組の生成器Ｇ１、Ｇ２と識別器Ｄ１、Ｄ２とを使った変換と逆変換の循環構造を有する。

図４および図５は、学習部１２が用いるサイクルＧＡＮの生成器Ｇ１、Ｇ２および識別器Ｄ１、Ｄ２のニューラルネットワーク構成を模式的に表した図である。生成器Ｇ１、Ｇ２は、入力層、隠れ層、および出力層を有するニューラルネットワークで構成される。生成器Ｇ１、Ｇ２を構成するニューラルネットワークとしてＣＮＮやＲｅｓＮｅｔを用いることができる。

図４は、生成器Ｇ１のニューラルネットワーク構成を模式的に表した図である。図４に示すように、生成器Ｇ１の入力ノードには、第１ドメインの画像Ｉ１を構成する各画素の画素値（ｘ_１～ｘ_ｎ）が入力される。図４の入力層側に示された小さい四角は、１×１［ｐｘ］の画素を表している。生成器Ｇ１は、入力と重みパラメータの積和演算および活性化関数によるしきい値処理を経て出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）を出力する。出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）は、１００×１００［ｐｘ］に対応する１０，０００個の要素を持つ行列であり、図４の出力層側の四角形がこれを模式的に表している。生成器Ｇ１からの出力データは、第１ドメインの画像Ｉ１から変換された第２ドメインの画像Ｉ２である。生成器Ｇ２についても同様に、第２ドメインの画像Ｉ２を構成する画像ｉ２ごとの画素値が入力され、入力と重みパラメータの積和演算および活性化関数によるしきい値処理を経て第１ドメインの出力データが得られる。

一方、識別器Ｄ１、Ｄ２についても同様に、入力層、隠れ層、および出力層を有するニューラルネットワークで構成される。識別器Ｄ１、Ｄ２を構成するニューラルネットワークとしてＣＮＮを用いることができる。図５は、識別器Ｄ１のニューラルネットワーク構成を模式的に表した図である。識別器Ｄ１の入力ノードには、画像Ｉ２の画素値が与えられる。図５の例では、生成器Ｇ１からの出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）が識別器Ｄ１の入力ノードに与えられている。出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）は、生成器Ｇ１で生成された画像Ｉ２の画素値である。

識別器Ｄ１は、入力と重みパラメータの積和演算および活性化関数によるしきい値処理を経て、１または０の二値出力を出す。出力値１は、画像Ｉ２が本物画像であるとの判別結果を示し、出力値０は、入力された画像Ｉ２が疑似画像であるとの判別結果を示す。

第１ドメインの識別器Ｄ２についても同様に、第１ドメインの画像Ｉ１を構成する各画素の値が入力ノードに入力され、ニューラルネットワークの演算結果として１または０を出力する。出力値１は、入力された画像Ｉ１が本物画像であるとの判別結果を示し、出力値０は、入力された画像Ｉ１が疑似画像であるとの判別結果を示す。

ここで、学習部１２は、サイクルＧＡＮを用いて第１ドメインと第２ドメインとの関係を学習するために、敵対的損失とサイクル一貫性損失とを組み合わせた目的関数を導入する。第１ドメインから第２ドメインへの画像の変換、および第２ドメインから第１ドメインへの画像の逆変換の学習においては、通常のＧＡＮと同様に敵対的損失が用いられる。この敵対的損失に加え、学習部１２は、第１ドメインから第２ドメインへの画像変換を行う生成器Ｇ１と、第２ドメインから第１ドメインへの逆変換を行う生成器Ｇ２とが、変換と逆変換を繰り返す循環で一貫性を保つ関係を学習するためのサイクル一貫性損失を目的関数に反映させる。

以下、学習部１２が用いる敵対的損失について、第２ドメインから第１ドメインへの画像変換を行う生成器Ｇ２および変換画像の真偽を判定する識別器Ｄ２で構成されるネットワークを例に挙げて説明する。まずここでは、第１ドメインの画像Ｉ１の本物画像のデータをｘ、識別器Ｄ２による出力である予測値はｙと表し、正解ラベルをtと表す。正解ラベルｔは、第１ドメインの画像Ｉ１の本物画像に対して１、生成器Ｇ２で生成された画像Ｉ１の疑似画像に対して０と設定される。このとき、識別器Ｄ２は、二値分類問題として次式（１）の交差エントロピーＥ_ＣＥで表すことができる。

上式（１）のブレース内の第１項が表すｔ_ｎｌｎｙ_ｎにおいて、識別器Ｄ２の予測値ｙ_ｎが、画像Ｉ１の本物画像の正解ラベルｔ_ｎ＝１の値に近づくことが望ましい。一方、ブレース内の第２項が表す（１－ｔ_ｎ）ｌｎ（１－ｙ_ｎ）においては、識別器Ｄ２の予測値ｙ_ｎが、疑似画像と識別する正解ラベルの値（１－ｔ_ｎ）＝０に近づくことが望ましい。このように交差エントロピーＥ_ＣＥは、予測値が正解ラベルの値に一致している場合に最大値となる。

ここで、サイクルＧＡＮを構成する生成器Ｇ１、Ｇ２（以下、これらを総称して「生成器Ｇ」という。）は、パラメータｗ_Ｇ，θ_Ｇを有し、関数Ｇ（ｗ_Ｇ，θ_Ｇ）と表す。また、識別器Ｄ１、Ｄ２（以下、これらを総称して「識別器Ｄ」という。）は、パラメータｗ_Ｄ，θ_Ｄを有し、関数Ｄ（ｗ_Ｄ，θ_Ｄ）と表す。上式（１）の交差エントロピーＥ_ＣＥに基づいた生成器Ｇと識別器Ｄとを備えるモデルの敵対的損失Ｌ_ＧＡＮは、次式（２）で表すことができる。

上式（２）の第１項が表すＥ_{Ｄ（ｘ）＝１}ｌｎＤ（ｗ_Ｄ，θ_Ｄ）は、識別器Ｄが本物画像を本物であると識別する期待値である。上式（２）の第２項が表すＥ_{Ｄ（ｘ）＝０}ｌｎ（１－Ｄ（Ｇ（ｗ_Ｇ，θ_Ｇ），ｗ_Ｄ，θ_Ｄ））は、生成器Ｇにより生成された疑似画像を識別器Ｄが疑似画像であると識別する期待値である。サイクルＧＡＮの敵対的学習では、生成器Ｇと識別器Ｄとの各組の敵対的損失Ｌ_ＧＡＮのｍｉｎ－ｍａｘ最適化により、生成器Ｇと識別器Ｄとを敵対的に学習する。したがって、識別器Ｄをだますような疑似画像を生成できるように生成器Ｇを学習し、生成器Ｇが生成した疑似画像を疑似画像であると識別するように識別器Ｄを学習する。

識別器Ｄの敵対的学習では、本物画像が与えられた場合に、識別器Ｄがｙ＝１に近い出力を出すことで、上式（２）の敵対的損失Ｌ_ＧＡＮの第１項を最大化する。一方、疑似画像が与えられた場合に、識別器Ｄがｙ＝０に近い出力を出すことで敵対的損失Ｌ_ＧＡＮの第２項を最大化するように学習が行われる。

生成器Ｇの敵対的学習では、上式（２）のＤ（Ｇ（ｗ_Ｇ，θ_Ｇ），ｗ_Ｄ，θ_Ｄ）が１に近くなるようなＧ（ｗ_Ｇ，θ_Ｇ）を出力することで、敵対的損失Ｌ_ＧＡＮを最小化する。学習部１２は、生成器Ｇのパラメータと識別器Ｄのパラメータとを交互に更新する学習手順を用いる。

ここで、図３に示すように、生成器Ｇ１（ｗ_Ｇ１，θ_Ｇ１）に画像Ｉ１の本物画像ｘが入力され、変換された出力をＧ１（ｘ）と表し、生成器Ｇ２（ｗ_Ｇ２，θ_Ｇ２）に画像Ｉ２の本物画像ｙが入力され、変換された出力をＧ２（ｙ）と表す。また、識別器Ｄ１（ｗ_Ｄ１，θ_Ｄ１）に画像Ｉ２の本物画像ｙが入力された場合の真偽判定の出力をＤ１（ｙ）と表す。

さらに、識別器Ｄ１（ｗ_Ｄ１，θ_Ｄ１）に、生成器Ｇ１（ｗ_Ｇ１，θ_Ｇ１）で生成された画像Ｉ２の疑似画像である出力Ｇ１（ｘ）が入力された場合の真偽判定の出力をＤ１（Ｇ１（ｘ））と表す。また、識別器Ｄ２（ｗ_Ｄ２，θ_Ｄ２）に画像Ｉ１の本物画像ｘが入力された場合の真偽判定の出力をＤ２（ｘ）と表し、識別器Ｄ２（ｗ_Ｄ２，θ_Ｄ２）に、生成器Ｇ２（ｗ_Ｇ２，θ_Ｇ２）で生成された画像Ｉ１の疑似画像である出力Ｇ２（ｙ）が入力された場合の真偽判定の出力をＤ２（Ｇ２（ｙ））と表す。

これらの定義から、上式（２）の敵対的損失Ｌ_ＧＡＮは、次式（３）の敵対的損失Ｌ_ＧＡＮ１、および次式（４）の敵対的損失Ｌ_ＧＡＮ２で表される。

上式（３）により、第１ドメインの画像Ｉ１を生成器Ｇ１で第２ドメインの画像Ｉ２に変換し、識別器Ｄ１で変換された画像Ｉ２の真偽を判定するネットワークの敵対的損失Ｌ_ＧＡＮ１が算出される。また、上式（４）により、第２ドメインの画像Ｉ２を生成器Ｇ２で第１ドメインの画像Ｉ１に変換し、識別器Ｄ２で変換された画像Ｉ１の真偽を判定するネットワークの敵対的損失Ｌ_ＧＡＮ２が算出される。

学習部１２は、生成器Ｇ１と識別器Ｄ１とに係るネットワークの上式（３）の敵対的損失Ｌ_ＧＡＮ１、および生成器Ｇ２と識別器Ｄ２とに係るネットワークの上式（４）の敵対的損失Ｌ_ＧＡＮ２をそれぞれ最適化する。

学習部１２は、さらに、次式（５）で表されるサイクル一貫性損失Ｌ_ｃｙｃを用いて、入力画像を生成器Ｇで変換し、さらに変換された画像を他方の生成器Ｇで逆変換して元の画像を再構成し、変換前の入力画像と一致するように学習する。

上式（５）のサイクル一貫性損失Ｌ_ｃｙｃは、ノルムＬ^１を用いた期待値の形で表され、生成器Ｇで変換された画像を他方の生成器Ｇで逆変換して復元した画像と、元の入力画像とを画素ごとに比較することで損失を算出する。上式（５）の第１項は、画像Ｉ１の本物画像ｘを入力画像として生成器Ｇ１、Ｇ２の順に変換をかけて画像Ｉ１に戻ってくるかどうかを、変換後の出力Ｇ２（Ｇ１（ｘ））とｘの絶対値とを基準として評価する。この第１項の損失をサイクル一貫性損失Ｌ_ｃｙｃ１という。第２項は、画像Ｉ２の本物画像ｙを入力画像として生成器Ｇ２、Ｇ１の順に変換をかけて、画像Ｉ２に戻ってくるかどうかを変換後の出力Ｇ１（Ｇ２（ｙ））とｙの絶対値とを基準として評価する。第２項の損失をサイクル一貫性損失Ｌ_ｃｙｃ２という。

学習部１２は、上式（３）（４）の敵対的損失Ｌ_ＧＡＮ１、Ｌ_ＧＡＮ２と、上式（５）のサイクル一貫性損失Ｌ_ｃｙｃとを組み合わせることで、次式（６）で表されるサイクルＧＡＮの最終的な目的関数Ｌを設定する。
上式（６）の目的関数Ｌのｍｉｎ－ｍａｘ最適化により、生成器Ｇ１、Ｇ２、および識別器Ｄ１、Ｄ２を学習する。学習部１２による学習処理により、第１ドメインの画像Ｉ１から第２ドメインの画像Ｉ２に変換する学習済み生成器Ｇ１’が構築される。

図１に戻り、生成部１３は、サイクルＧＡＮを用いて構築された、領域Ａの全体を含む１枚の画像Ｉ１’を拡大した画像である第１ドメインの画像Ｉ１（第１画像）から、領域Ａを複数に分割した分割領域Ａ１の画像ｉ２を統合した画像である、第２ドメインの画像Ｉ２（第２画像）を生成する学習済み生成器Ｇ１’を備え、学習済み生成器Ｇ１’に対象画像である画像Ｉ１を与えて画像Ｉ２を生成させる。

記憶部１４は、学習済み生成器Ｇ１’を記憶する。また、記憶部１４は、サイクルＧＡＮを構成する学習前の生成器Ｇ１、Ｇ２、および識別器Ｄ１、Ｄ２を記憶することができる。

提示部１５は、生成部１３によって生成された画像Ｉ２を提示する。提示部１５は、例えば、無線通信ネットワークＮＷを介して、高解像度の画像として生成された画像Ｉ２を、外部の農場管理者等の端末装置に送信することができる。

［画像生成装置のハードウェア構成］
次に、上述した機能を有する画像生成装置１を実現するハードウェア構成の一例について、図６を用いて説明する。

図６に示すように、画像生成装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。また、画像生成装置１は、バス１０１を介して接続される表示装置１０７を備えることができる。

プロセッサ１０２は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣなどによって実現される。

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した第１取得部１０、第２取得部１１、学習部１２、生成部１３、提示部１５など画像生成装置１の各機能が実現される。

通信インターフェース１０４は、画像生成装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。

補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

補助記憶装置１０５は、画像生成装置１が実行するサイクルＧＡＮの学習プログラムおよび画像生成プログラムを格納するプログラム格納領域を有する。補助記憶装置１０５によって、図１で説明した記憶部１４が実現される。さらには、例えば、上述したデータやプログラムなどをバックアップするためのバックアップ領域などを有していてもよい。

入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりする入出力装置である。

表示装置１０７は、有機ＥＬディスプレイや液晶ディスプレイなどによって構成される。表示装置１０７によって、提示部１５を実現することも可能である。

［画像生成装置の動作］
次に、上述した構成を有する画像生成装置１の動作を、図７および図８のフローチャートを参照して説明する。

図７は、画像生成装置１の動作を示すフローチャートである。まず、画像生成装置１の学習部１２は、サイクルＧＡＮを用いて、第１ドメインの画像Ｉ１から第２ドメインの画像Ｉ２を生成する生成器Ｇ１を学習する（ステップＳ１）。ステップＳ１での学習処理の詳細は後述する。

その後、第１取得部１０は、ＵＡＶ２によって撮影された、領域Ａの全体が含まれる画像Ｉ１’を拡大した画像Ｉ１を対象画像として取得する（ステップＳ２）。次に、生成部１３は、学習済み生成器Ｇ１’に、ステップＳ２で取得された画像Ｉ１を与えて、画像Ｉ２を生成する（ステップＳ３）。画像Ｉ１および生成された画像Ｉ２は、同じ画素数を有する。その後、提示部１５は、ステップＳ３で生成された画像Ｉ２を提示する（ステップＳ４）。提示部１５は、ステップＳ４で、農地管理者の外部の端末装置などに高解像度の画像である画像Ｉ２を送信することができる。

次に、図７のフローチャートおよび図３の学習部１２のブロック図を参照して、画像生成装置１による学習処理を説明する。

まず、第２取得部１１は、訓練データを取得する（ステップＳ１００）。第２取得部１１は、ＵＡＶ２によって撮影された画像Ｉ１の本物画像ｘ_ｒｅａｌ、および画像Ｉ２の本物画像ｙ_ｒｅａｌを、訓練データとして取得する。本実施の形態では、第２取得部１１は、ＵＡＶ２が領域Ａを異なる撮影角度や異なる時間帯に撮影した画像Ｉ１’に基づく複数の画像Ｉ１を訓練データとして取得する。また、画像Ｉ２の本物画像ｙ_ｒｅａｌの訓練データについても、異なる撮影角度や異なる時間帯で撮影された複数の画像Ｉ２を訓練データとして取得する。これらの訓練データは、図３の「入力ｘ」および「入力ｙ」にそれぞれ設定される。

次に、学習部１２は、サイクルＧＡＮを構成する２つの識別器Ｄ１、Ｄ２にそれぞれ訓練データを入力して本物画像を学習させ、識別器Ｄ１のパラメータｗ_Ｄ１，θ_Ｄ１、および識別器Ｄ２のパラメータｗ_Ｄ２，θ_Ｄ２をそれぞれ更新する（ステップＳ１０１）。ステップＳ１０１において、異なる角度や異なる時間帯に撮影された領域Ａの全体を含む画像Ｉ１’を拡大した画像Ｉ１の複数の本物画像ｙ_ｒｅａｌを識別器Ｄ１に入力し、上式（１）の公差エントロピー誤差が最小となるよう誤差逆伝搬法などを用いてパラメータｗ_Ｄ１，θ_Ｄ１を更新する。識別器Ｄ２についても同様に、異なる角度や異なる時間帯などで撮影された分割領域Ａ１の画像ｉ２を統合した複数の画像Ｉ２の本物画像ｘ_ｒｅａｌを入力として与え、上式（１）の公差エントロピー誤差が最小となるよう誤差逆伝搬法などを用いてパラメータｗ_Ｄ２，θ_Ｄ２を更新する。

次に、学習部１２は、生成器Ｇ１と識別器Ｄ１との組のネットワークの敵対的学習、および生成器Ｇ２と識別器Ｄ２との組のネットワークの敵対的学習を以下のステップで行う。

まず、学習部１２は、上式（３）の敵対的損失Ｌ_ＧＡＮ１を用いて識別器Ｄ１の学習を行う（ステップＳ１０２）。より詳細には、学習部１２は、図３に示すように、識別器Ｄ１に分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の本物画像ｙ_ｒｅａｌを入力として与え、上式（３）の敵対的損失Ｌ_ＧＡＮ１の勾配ｄＬ_ＧＡＮ１／ｄｗ_Ｄ１，ｄＬ_ＧＡＮ１／ｄθ_Ｄ１を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ１が最大となるようにパラメータｗ_Ｄ１，θ_Ｄ１を更新する。さらに、学習部１２は、識別器Ｄ１に、生成器Ｇ１によって生成された画像Ｉ２の疑似画像ｙ_ｆａｋｅを入力として与え、同様に敵対的損失Ｌ_ＧＡＮ１が最大となるようにパラメータｗ_Ｄ１，θ_Ｄ１を更新する。なお、識別器Ｄ１の学習は、生成器Ｇ１のパラメータｗ_Ｇ１，θ_Ｇ１を固定して行われる。

次に、学習部１２は、上式（３）の敵対的損失Ｌ_ＧＡＮ１を用いて生成器Ｇ１の学習を行う（ステップＳ１０３）。より詳細には、学習部１２は、図３に示すように、生成器Ｇ１に領域Ａの全体を含む画像Ｉ１’を拡大した画像Ｉ１の本物画像ｘ_ｒｅａｌを入力として与え、上式（３）の敵対的損失Ｌ_ＧＡＮ１の勾配－ｄＬ_ＧＡＮ１／ｄｗ_Ｇ１，－ｄＬ_ＧＡＮ１／ｄθ_Ｇ１を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ１が最小となるようにパラメータｗ_Ｇ１，θ_Ｇ１を更新する。なお、生成器Ｇ１の学習は、識別器Ｄ１のパラメータｗ_Ｄ１，θ_Ｄ１を固定して行われる。

次に、学習部１２は、上式（４）の敵対的損失Ｌ_ＧＡＮ２を用いて識別器Ｄ２の学習を行う（ステップＳ１０４）。より詳細には、図３に示すように、学習部１２は、識別器Ｄ２に画像Ｉ１の本物画像ｘ_ｒｅａｌを入力として与え、上式（４）の敵対的損失Ｌ_ＧＡＮ２の勾配ｄＬ_ＧＡＮ２／ｄｗ_Ｄ２，ｄＬ_ＧＡＮ２／ｄθ_Ｄ２を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ２が最大となるようにパラメータｗ_Ｄ２，θ_Ｄ２を更新する。さらに、学習部１２は、識別器Ｄ２に、生成器Ｇ２によって生成された領域Ａ全体の画像Ｉ１’を拡大した画像Ｉ１の疑似画像ｙ_ｆａｋｅを入力として与え、同様に敵対的損失Ｌ_ＧＡＮ２が最大となるようにパラメータｗ_Ｄ２，θ_Ｄ２を更新する。なお、識別器Ｄ２の学習は、生成器Ｇ２のパラメータｗ_Ｇ２，θ_Ｇ２を固定して行われる。

次に、学習部１２は、上式（４）の敵対的損失Ｌ_ＧＡＮ２を用いて生成器Ｇ２の学習を行う（ステップＳ１０５）。より詳細には、学習部１２は、図３に示すように、生成器Ｇ２に分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の本物画像ｙ_ｒｅａｌを入力として与え、上式（４）の敵対的損失Ｌ_ＧＡＮ２の勾配－ｄＬ_ＧＡＮ２／ｄｗ_Ｇ２，－ｄＬ_ＧＡＮ２／ｄθ_Ｇ２を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ２が最小となるようにパラメータｗ_Ｇ２，θ_Ｇ２を更新する。なお、生成器Ｇ２の学習は、識別器Ｄ２のパラメータｗ_Ｄ２，θ_Ｄ２を固定して行われる。学習部１２は、ステップＳ１０４およびステップＳ１０５の学習を行って敵対的損失Ｌ_ＧＡＮ２を求める。

次に、学習部１２は、上式（５）のサイクル一貫性損失Ｌ_ｃｙｃを以下のステップで求める。まず、学習部１２は、領域Ａ全体の画像Ｉ１の本物画像ｘ_ｒｅａｌと、再構成された領域Ａ全体の画像Ｉ１’を拡大した画像Ｉ１の疑似画像Ｇ２（Ｇ１（ｘ））とのサイクル一貫性損失Ｌ_ｃｙｃ１を算出し、生成器Ｇ１、Ｇ２を学習する（ステップＳ１０６）。

より詳細には、学習部１２は、図３に示すように、領域Ａ全体の画像Ｉ１’を拡大した画像Ｉ１の本物画像ｘ_ｒｅａｌを生成器Ｇ１に与え、生成された、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の疑似画像Ｇ１（ｘ）をさらに生成器Ｇ２に入力として与える。生成器Ｇ２によってさらに再構成された領域Ａ全体の画像Ｉ１’を拡大した画像Ｉ１の疑似画像Ｇ２（Ｇ１（ｘ））と、領域Ａ全体の画像Ｉ１’を拡大した画像Ｉ１の本物画像ｘ_ｒｅａｌとのサイクル一貫性損失Ｌ_ｃｙｃ１を上式（５）により算出する。学習部１２は、元の画像である本物画像ｘ_ｒｅａｌと再構成された疑似画像Ｇ２（Ｇ１（ｘ））との画素毎の比較を行い、互いの距離Ｌ^１を最小とすることで、サイクル一貫性損失Ｌ_ｃｙｃ１を最小化する。

次に、学習部１２は、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の本物画像ｙ_ｒｅａｌと、再構成された分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の疑似画像Ｇ１（Ｇ２（ｙ））とのサイクル一貫性損失Ｌ_ｃｙｃ２を算出し、生成器Ｇ１、Ｇ２を学習する（ステップＳ１０７）。より詳細には、学習部１２は、図３に示すように、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の本物画像ｙ_ｒｅａｌを生成器Ｇ２に与え、生成された領域Ａ全体の画像Ｉ１の疑似画像Ｇ２（ｙ）をさらに生成器Ｇ１に入力として与える。生成器Ｇ１によってさらに再構成された分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の疑似画像Ｇ１（Ｇ２（ｙ））と、分割領域Ａ１の画像ｉ２を統合した画像Ｉ２の本物画像ｙ_ｒｅａｌとのサイクル一貫性損失Ｌ_ｃｙｃ２を上式（５）により算出する。学習部１２は、元の画像である本物画像ｙ_ｒｅａｌと再構成された疑似画像Ｇ１（Ｇ２（ｙ））との画素毎の比較を行い、互いの距離Ｌ^１を最小とすることで、サイクル一貫性損失Ｌ_ｃｙｃ２を最小化する。

次に、学習部１２は、ステップＳ１０２からステップＳ１０７で求められた敵対的損失Ｌ_ＧＡＮ１、Ｌ_ＧＡＮ２、およびサイクル一貫性損失Ｌ_ｃｙｃから、上式（６）の目的関数Ｌを設定し、目的関数Ｌが収束するまでステップＳ１０２からステップＳ１０７までの処理を繰り返す（ステップＳ１０８：ＮＯ）。学習部１２は、目的関数Ｌが収束した際の生成器Ｇ１を学習済み生成器Ｇ１’として記憶部１４に記憶する（ステップＳ１０９）。以上の学習処理によって、第１ドメインの領域Ａ全体の画像Ｉ１を第２ドメインの分割領域Ａ１の画像ｉ２を統合した画像Ｉ２に変換する学習済み生成器Ｇ１’が構築される。

以上説明したように、本実施の形態に係る画像生成装置１によれば、サイクルＧＡＮを用いて第１ドメインの、領域Ａ全体の画像Ｉ１’を拡大した画像Ｉ１を第２ドメインの分割領域Ａ１の画像ｉ２を統合した画像Ｉ２に変換する生成器Ｇ１を構築するので、より簡易に低解像度の画像から高解像度の画像を生成することができる。

また、本実施の形態に係る画像生成装置１によれば、サイクルＧＡＮを用いて構築された学習済み生成器Ｇ１’を用いて分割領域Ａ１の画像ｉ２を統合した画像Ｉ２を生成する。そのため、訓練データとして多数の画像Ｉ１および画像Ｉ２を入手することが困難な場合であっても生成器Ｇ１の学習が可能である。

なお、上述した実施の形態では、学習部１２は、敵対的損失Ｌ_ＧＡＮ、およびサイクル一貫性損失Ｌ_ｃｙｃを組み合わせた目的関数Ｌを設定する場合について説明した。しかし、学習部１２は、敵対的損失Ｌ_ＧＡＮ、およびサイクル一貫性損失Ｌ_ｃｙｃに加え、同一性損失を有する目的関数Ｌを設定してもよい。同一性損失とは、例えば、生成器Ｇへの入力画像と、生成器Ｇで生成された疑似画像とが一致するように画素毎の損失を計算するものである。同一性損失をさらに導入することで、入力される領域Ａ全体の画像Ｉ１において必要な箇所のみを変換して画像Ｉ２を生成するように生成器Ｇ１が学習されることになる。

以上、本発明の画像生成装置および画像生成方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

１…画像生成装置、１０…第１取得部、１１…第２取得部、１２…学習部、１３…生成部、１４…記憶部、１５…提示部、２…ＵＡＶ、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、１０４…通信インターフェース、１０５…補助記憶装置、１０６…入出力Ｉ／Ｏ、１０７…表示装置、Ｇ、Ｇ１、Ｇ２…生成器、Ｄ、Ｄ１、Ｄ２…識別器、Ｇ１’…学習済み生成器、ＮＷ…無線通信ネットワーク。

Claims (2)

1. 設定された領域の全体を含む画像を第１画像の大きさに拡大した対象画像を取得するように構成された取得部と、
   サイクルＧＡＮを用いて構築された、前記領域の全体を含む画像を拡大した第１ドメインの前記第１画像から、前記領域を複数に分割した分割領域の画像を統合した画像である、第２ドメインの第２画像を生成する学習済み生成器を備え、前記学習済み生成器に、前記対象画像を与えて前記第２画像を生成させるように構成された生成部と、
   生成された前記第２画像を提示するように構成された提示部と
   を備え、
   前記第１画像と前記第２画像とは同じ画素数を有し、
   さらに、前記領域の全体を含む画像を拡大した前記第１画像の訓練データと、前記分割領域の画像を統合した前記第２画像の訓練データとに基づいて、前記サイクルＧＡＮを用いて、前記第１ドメインの前記第１画像から前記第２ドメインの前記第２画像を生成する生成器を学習するように構成された学習部を備え、
   前記生成部は、前記学習部によって構築された前記学習済み生成器を用いて、前記第２画像を生成させ、
   前記第１画像の訓練データは、前記領域の全体が１枚の画像に含まれるように撮影された画像を拡大した画像であり、
   前記第２画像の訓練データは、前記領域の全体が１枚の画像に含まれるように撮影された画像よりも地上解像度が小さい、１つの前記分割領域が１枚の画像に含まれるように撮影された画像を統合した画像である
   ことを特徴とする画像生成装置。
2. 設定された領域の全体を含む画像を第１画像の大きさに拡大した対象画像を取得する取得ステップと、
   サイクルＧＡＮを用いて構築された、前記領域の全体を含む画像を拡大した第１ドメインの前記第１画像から、前記領域を複数に分割した分割領域の画像を統合した画像である、第２ドメインの第２画像を生成する学習済み生成器に、前記対象画像を与えて前記第２画像を生成させる生成ステップと、
   生成された前記第２画像を提示する提示ステップと
   を備え、
   前記第１画像と前記第２画像とは同じ画素数を有し、
   さらに、前記領域の全体を含む画像を拡大した前記第１画像の訓練データと、前記分割領域の画像を統合した前記第２画像の訓練データとに基づいて、前記サイクルＧＡＮを用いて、前記第１ドメインの前記第１画像から前記第２ドメインの前記第２画像を生成する生成器を学習する学習ステップを備え、
   前記生成ステップは、前記学習ステップで構築された前記学習済み生成器を用いて、前記第２画像を生成させ、
   前記第１画像の訓練データは、前記領域の全体が１枚の画像に含まれるように撮影された画像を拡大した画像であり、
   前記第２画像の訓練データは、前記領域の全体が１枚の画像に含まれるように撮影された画像よりも地上解像度が小さい、１つの前記分割領域が１枚の画像に含まれるように撮影された画像を統合した画像である
   ことを特徴とする画像生成方法。