JP6569047B1 - 学習方法、コンピュータプログラム、分類器、及び生成器 - Google Patents

Abstract

【課題】画像に対するニューラルネットワークを用いた学習に、人間の視覚を考慮させた学習方法、学習モデル、分類器及び生成器を提供する。【解決手段】学習方法は、画像データに対して畳み込みを行なう畳み込み層を含む畳み込みニューラルネットワーク、又は、画像データを出力する畳み込みニューラルネットワークを、情報量を削減させた画像データを所定の割合で含む学習用データで学習する。【選択図】図３

Description

本開示は、画像データに対して処理を施す畳み込みニューラルネットワークの学習方法、コンピュータプログラム、分類器、及び生成器に関する。

ニューラルネットワークを用いた画像認識、判別、画像生成方法等では、大量の教師データを必要とする。したがって教師データの数を水増しするために、画像データに対し拡大縮小、回転、反転、シフト、色変換、ノイズ付加等のデータ拡張を実施することで、認識性能の向上が達成できることが知られている（特許文献１等）。

特開２０１５−０９５２１２号公報

データ拡張は、元の画像の特徴を損なわないことが前提とされる。識別器のデータ拡張であれば識別結果（クラス）に影響がないように、画像に写っているものが何であるかの識別結果、即ち何に見えるかという見た目が相違しない程度に加工が行なわれている。

発明者は更に、画像データに含まれる、視覚に影響を及ぼさない要素に対する学習を省くことで、学習されるニューラルネットワークに、人間の視覚の仕組みを取り入れることができるのではないかとの知見を得た。

本開示は斯かる知見に基づいてなされたものであり、画像に対するニューラルネットワークを用いた学習に、人間の視覚を考慮させた学習方法、学習モデル、分類器及び生成器を提供することを目的とする。

本開示の学習方法は、画像データに対して畳み込みを行なう畳み込み層を含む畳み込みニューラルネットワーク、又は、画像データを出力する畳み込みニューラルネットワークを、情報量を削減させた画像データを所定の割合で含む学習用データで学習する。

本開示のコンピュータプログラムは、コンピュータに、画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された畳み込み層を含む畳み込みニューラルネットワークの定義データを記憶し、前記定義データに基づく畳み込みニューラルネットワークに、情報量を削減させた画像データを所定の割合で含む学習用データを与え、前記畳み込みニューラルネットワークを分類器として学習する処理を実行させる。

本開示のコンピュータプログラムは、コンピュータに、任意のデータが入力された場合に、特定の画像データを出力するように定義された畳み込み層を含む画像生成用の畳み込みニューラルネットワークの定義データと、前記画像生成用の畳み込みニューラルネットワークから出力された画像データ、又は他の画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された畳み込み層を含む分類用の畳み込みニューラルネットワークの定義データとを記憶し、前記分類用の畳み込みニューラルネットワークから出力される画像データ、又は前記分類用の畳み込みニューラルネットワークへ与える画像データの内の所定の割合の画像データの情報量を削減し、前記分類用の畳み込みニューラルネットワーク、及び、前記画像生成用の畳み込みニューラルネットワークをＧＡＮによって学習する処理を実行させる。

本開示の分類器は、画像データを入力する入力層と、前記画像データに基づく画像の分類を出力する出力層と、畳み込み層を含む畳み込みニューラルネットワークを含む中間層とを備え、コンピュータに、入力された画像データの分類を出力させるように、情報量を削減させた画像データを所定の割合で含む学習用の画像データと、該画像データの分類ラベルとを含む教師データによって学習されてある。

本開示の生成器は、任意のデータを入力する入力層と、前記データに基づいて生成される画像の画像データを出力する出力層と、畳み込み層を含む畳み込みニューラルネットワークを含む中間層とを備え、前記出力層から出力された画像データを、前記出力層から出力された画像データであるか否かを分類する分類用の畳み込みニューラルネットワークを含むＧＡＮにより、前記出力層から出力された画像データ、又は、前記分類用の畳み込みニューラルネットワークへ与える画像データの内の所定の割合の画像データの情報量を削減した学習用データを用いて学習されており、コンピュータに、入力された任意のデータに基づく画像データを出力させるように学習されてある。

本開示の学習方法、コンピュータプログラム、分類器、及び生成器により、人間の視覚を考慮させた学習を実行させ、画像データに対して視覚の仕組みを取り込んだ分類又は生成を行なうことが可能になる。

本実施の形態における画像処理装置の構成を示すブロック図である。 画像処理装置の機能ブロック図である。 分類器及び生成器の概要を示す説明図である。 学習処理手順の一例を示すフローチャートである。 学習用の画像データの数のＳＮ比に対する分布の一例を示す図である。

以下、本願に係る学習方法、学習モデル、分類器及び生成器について、実施の形態を示す図面を参照しつつ説明する。なお本実施の形態では、学習方法、学習モデル、分類器及び生成器における処理を画像に対して処理を実行する画像処理装置に適用した例を挙げて説明する。

図１は、本実施の形態における画像処理装置１の構成を示すブロック図であり、図２は画像処理装置１の機能ブロック図である。画像処理装置１は、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４及び操作部１５を備える。なお画像処理装置１及び画像処理装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

制御部１０は、ＣＰＵ（Central Processing Unit ）等のプロセッサ及びメモリ等を用い、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ（Graphics Processing Unit）又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、一体のハードウェアであってもよい。また制御部１０及び画像処理部１１は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、更には記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。

記憶部１２は、ハードディスク又はフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、ＤＬ（Deep Learning ）ライブラリ１２１Ｌ、分類器ライブラリ１２２Ｌ及び生成器ライブラリ１２３Ｌが記憶されている。また記憶部１２には、１つの学習毎に作成される分類器１１２又は生成器１１３を定義する情報、学習済みの分類器１１２及び生成器１１３における各層の重み係数等を含むパラメータ情報等が記憶される。

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、ＤＬライブラリ２１Ｌ、分類器ライブラリ２２Ｌ及び生成器ライブラリ２３Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ、ＤＬライブラリ１２１Ｌ、分類器ライブラリ１２２Ｌ及び生成器ライブラリ１２３Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、ＤＬライブラリ２１Ｌ、分類器ライブラリ２２Ｌ及び生成器ライブラリ２３Ｌを制御部１０が記憶部１２に複製したものであってもよい。

画像処理装置１の制御部１０は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、学習処理実行部１０１、及び画像処理実行部１０２として機能する。また画像処理部１１は、記憶部１２に記憶してあるＤＬライブラリ１２１Ｌ、定義データ、パラメータ情報、及び分類器ライブラリ１２２Ｌに基づきメモリを用いて分類器１１２として機能する。同様にして画像処理部１１は、記憶部１２に記憶してあるＤＬライブラリ１２１Ｌ、定義データ、パラメータ情報、及び生成器ライブラリ１２３Ｌに基づきメモリを用いて生成器１１３として機能する。

学習処理実行部１０１は、記憶部１２に記憶してあるＤＬライブラリ１Ｌ、及び分類器ライブラリ１２２Ｌと、後述するように与えられる教師データとに基づき、畳み込みニューラルネットワーク（以下、ＣＮＮ（Convolutional Neural Network ）と呼ぶ）を分類器１１２とするべく、パラメータを学習する処理を行なう。また学習処理実行部１０１は、記憶部１２に記憶してあるＤＬライブラリ１Ｌ、及び生成器ライブラリ１２３Ｌと、後述するように与えられる教師データとに基づき、ＣＮＮを生成器１１３とするべく、パラメータを学習する処理を行なう。

画像処理実行部１０２は、学習済みの分類器１１２を用い、画像データを与えて出力される結果を取得する処理を実行する。又は、画像処理実行部１０２は、学習済みの生成器１１３を用い、種となるデータ（潜在変数と呼ばれるデータ、画像データ、又はテキストデータ等の任意のデータ）を生成器１１３に入力して生成される画像データを取得する処理を実行する。画像処理実行部１０２は、生成器１１３から出力された画像データを画像として描画し、表示部１４へ出力させてもよい。

分類器１１２は、入力される画像データの特徴量を取り出し、取り出した特徴量に基づき、入力される画像データを分類する。本実施の形態では分類器１１２は、後述するように生成器１１３を学習するためのＧＡＮ（Generative Adversarial Networks）を構成するので、入力された画像データを、生成器１１３で生成された画像データ（生成器１１３由来の画像データ）と、それ以外の画像データとに分類する。生成器１１３は、入力される種となるデータから画像データを生成して出力する。分類器１１２は単体で用いられるように学習されてもよい。

図３は、分類器１１２及び生成器１１３の概要を示す説明図であり、図４は、学習処理手順の一例を示すフローチャートである。図３及び図４を参照して学習処理実行部１０１による学習処理について説明する。図３に示すように、生成器１１３はＧＡＮによって学習される。このため図３に示すように生成器１１３の出力を入力するように分類器１１２及び生成器１１３が接続されている。

分類器１１２は、学習されるパラメータにより定義される複数段の畳み込み層を含んで構成される。分類器１１２の構成はこれに限らず、プーリング層、全結合層等を含んでもよい。生成器１１３は、学習されるパラメータにより定義されるネットワークにより、入力された任意のデータから画像データを出力する。生成器１１３は、転置畳み込み層、畳み込み層、アップサンプリング等のネットワークを適宜組み合わせて画像データを出力するように構成されている。

制御部１０は学習処理実行部１０１により、記憶部１２のＤＬライブラリ１２１Ｌ、分類器ライブラリ１２２Ｌ及び生成器ライブラリ１２３Ｌに基づき、ネットワークを図３のように定義したデータを作成しておく。制御部１０は、学習処理実行部１０１の機能により作成された定義データに基づいて、生成器１１３及び分類器１１２を作成する（ステップＳ１）。

制御部１０は、生成器１１３由来の画像データ群として、種となるデータから未知のクラスを予測する予測メソッドによって画像データ群を生成器１１３から出力させる（ステップＳ２）。制御部１０は、出力された画像データ群に生成器１１３で作成された画像データであることを示すラベルを付与する（ステップＳ３）。

制御部１０は、生成器１１３由来でない画像データ群の教師データとして、分類器１１２の学習用に予め用意してある画像データに対し、情報量が削減させた画像データと、削減させない画像データとを設定情報に基づいて取得する（ステップＳ４）。ステップＳ４において制御部１０は、予め用意してある画像データの内の所定の割合の画像データに対し、図３におけるフィルタを経由させるようにネットワークを定義してもよい。予め用意してある画像データは、学習の目的に応じた被写体が写っている写真画像、目的に応じたイラストが含まれている画像等である。制御部１０は、得られた画像データに、生成器１１３由来でない画像データであることを示すラベルを付与する（ステップＳ５）。

ステップＳ４における「削減されている画像データ」は、人間の視覚上判別しにくい成分を欠損させた画像データとする処理を行なうフィルタによって取得される。分類器１１２の学習用の画像データを作成するフィルタの一例として、デジタル画像の圧縮アルゴリズムを適用する。フィルタは例えば、ＪＰＥＧ（Joint Photographic Experts Group）におけるＤＣＴ（Discrete Cosine Transform ；離散コサイン変換）、又はWavelet変換とすることが可能である。学習処理実行部１０１はその他、チャネル又は帯域毎の量子化を施すフィルタを用いて、情報が削減されている画像データを得てもよいし、チャネル又は帯域で分解して一定以下をデータカットするフィルタ用いて、情報が削減されている画像データを取得してもよい。

ステップＳ４における「設定情報」は、学習用に用いられる画像データ群に含まれる、削減されている画像データの割合、又は削減度合いに対する数の分布として記憶部１２に定義データとして定義されている。一例では、削減されている画像データの削減度合いは一定の割合であり、削減されている画像データが所定の割合含まれるように定義されている。他の例では、学習用の画像データの全てが、削減されている画像データである。また、視覚上判別し易い部分の重要度を上げるようにして、チャネル又は帯域に視覚的な重みを与えた画像データ群を用いてもよい。また、図５に示すように、ＳＮ比が高い即ち削減する情報量が多い画像データを少なく、削減する情報量が少ない画像データは多くなるような数の分布として定義されていてもよい（図５Ａ）。削除する情報量の多さは、量子化の荒さなどで分布してもよい。図５は、学習用の画像データの数のＳＮ比に対する分布の一例を示す図である。図５に示すように、所定の分布を有する学習用データ以外にも、情報量を一律に削減した画像データ群によって学習が行なわれてもよいし（図５Ｂ）、削減される情報量の多少に対する画像データの数が一定となるような分布を有する学習用データを用いて学習が行なわれてもよい（図５Ｃ）。その他、情報量を一律に削減した画像データ群を５０％、削減していない画像データ群を５０％含む等、適宜設定されるとよい。

図３及び図４に戻り説明を続ける。
制御部１０は学習処理実行部１０１の機能により、ステップＳ３及びステップＳ５により得られるラベル付きの画像データ群を分類器１１２に与え（ステップＳ６）、分類器１１２の損失関数を算出して学習させる（ステップＳ７）。これにより分類器１１２は、上述したように、予め用意されている画像データについては情報量が削減されている画像データを所定の割合で含む学習用の画像データ群を用いて学習される。

続いて制御部１０は、学習処理実行部１０１の機能により、ステップＳ７の後の分類器１１２を含むネットワークの内の生成器１１３に、種となるデータを与える（ステップＳ８）。

ステップＳ８において生成器１１３に与えられる教師データは、入出力で対となる画像データであってもよい。この場合、教師データとなる画像データ群は、情報量が削減されていない画像データであってもよいが、情報量が削減された画像データを所定の割合で含むとしても、全ての画像データが、情報量が削減されていてもよい。

制御部１０は、ステップＳ８によって生成器１１３から出力される画像データ群に基づいて生成器１１３における損失関数を算出して学習させる（ステップＳ９）。このとき制御部１０は、分類器１１２の重み係数は固定とし、分類器１１２からの出力（生成器１１３由来のデータであるか否かのラベル）から、生成器１１３のパラメータを更新する。なお生成器１１３が上述したように、対となった画像データ（教師データ）を入力して学習するように定義されている場合、生成器１１３からの出力と、出力側の教師データとを分類器１１２に入力した場合の差分によって生成器１１３のパラメータを更新する。また、教師データとなる画像データと、生成器１１３から出力される画像データとを直接的に比較した差分を損失関数に含めて生成器１１３を学習させてもよい。

分類器１１２の学習時は、生成器１１３の学習は行なわず、生成器１１３の学習の際には分類器１１２の重み等のパラメータは固定させて実行する。なお、分類器１１２の学習と生成器１１３の学習とを同時に行なうように、定義データを作成して実行してもよい

制御部１０は、学習処理実行部１０１の機能により、分類器１１２の出力結果が所定基準を満たすか否かを判断する（ステップＳ１０）。制御部１０は、所定基準を満たさないと判断された場合（Ｓ１０：ＮＯ）、処理をステップＳ２に戻し、ステップＳ２−Ｓ９の処理を繰り返し実行する。

ステップＳ１０において所定基準を満たすと判断された場合（Ｓ１０：ＹＥＳ）、学習処理を終了させる。ステップＳ１０における「所定基準」は例えば、分類器１１２の精度が半分、即ち生成器１１３由来の画像データであることを正確に分類できなくなったか否かである。他の例では「所定基準」は学習が所定回数以上であるかである。学習が十分に進行したか否かを判断するために他の基準を用いてもよい。

削減されているデータの使用は以下のようにしてもよい。ＧＡＮにおける損失関数は、分類器１１２の成分と生成器１１３の成分とを含む。図４のフローチャートにおけるステップＳ７の分類器１１２の学習時には生成器１１３の成分を固定させて分類器１１２の成分を最適化（最大化）させ、ステップＳ９の生成器１１３の学習時には生成器１１３の成分のみが用いられる。この場合、学習処理実行部１０１として機能する制御部１０は、ステップＳ７における分類器１１２の学習時の損失関数の演算にあたって、ステップＳ４に代替して、学習用に予め用意してある画像データに対して情報量を削減させずに取得し、その代わりに、ステップＳ３で取得する生成器１１３から出力される画像データの内の所定の割合の画像データの情報量を削減させ、これらを分類器１１２に与えてもよい。この場合、ステップＳ９における生成器１１３の学習時の損失関数の演算を、生成器１１３から出力される画像データに対して情報量の削減を施さず（図３における生成器１１３から分類器１１２の間にてフィルタを経由せず）に行なう。また学習処理実行部１０１として機能する制御部１０は、ステップＳ７における分類器１１２の学習時の損失関数の演算にあたって、ステップＳ４における予め用意してある画像データに対し一律に情報量を削減させ、更に、ステップＳ３で取得する生成器１１３から出力される画像データに対しても、所定の割合の画像データの情報量を削減させ、これらを分類器１１２に与えてもよい。

また逆に、学習処理実行部１０１として機能する制御部１０は、生成器１１３を学習させる場合、ステップＳ９における生成器１１３の学習時の損失関数の演算を、出力される画像データの内の所定の割合の画像データの情報量を削減して行なってもよい。この場合ステップＳ７における分類器１１２の学習時の損失関数の演算は、予め用意されている画像データと生成器１１３から出力される画像データとの両者又はいずれか一方について、情報量を削減させずに行なう。

このようにデータが削減されている画像データを用いて学習することにより、生成器１１３によって生成される画像データは、データとしては欠損していても見た目が十分な品質を持つデータとなり得る。つまり、視覚に影響を及ぼさない要素に対する学習を省くことで、学習されるニューラルネットワークに、人間の視覚の仕組みを取り入れることができる。視覚に影響を及ぼさない要素を省く処理として、本実施の形態で示したようにＤＣＴといったこれまでに視覚的に劣化を感じさせない程度にデータを削減させる実績のある処理を施すとよい。

なお本実施の形態では、分類器１１２は生成器１１３の学習のために使用され、生成器１１３で生成された画像と、本物の画像とを分類するものとして学習された。これにより、画像処理実行部１０２は学習済みの生成器１１３を用いて、与えられた種となるデータを用いて、視覚に影響を及ぼさない情報量を省いてＳＮ比は高くとも、見た目として遜色のない画像データを作成することができる。これに限らず、分類器１１２は単体で使用するものとして学習されてもよい。この場合、分類器１１２の使用目的に合わせて選択された学習用データの少なくとも一部に、人間の視覚上判別しにくい成分を欠損させた画像データを用いる。その他、ＣＮＮを含むネットワークでの画像データに関する学習時に、視覚に影響を及ぼさない要素に対する学習を省くことで、学習されるニューラルネットワークに、人間の視覚の仕組みを取り入れることができる。画像処理実行部１０２は学習済みの分類器１１２を用い、情報量が削減された画像データであるか否かに関わらず、分類目的に適合する画像であるか否かを判別することができる。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理装置
１０ 制御部
１０１ 学習処理実行部
１０２ 画像処理実行部
１１ 画像処理部
１１２ 分類器
１１３ 生成器
１２ 記憶部
１Ｐ 画像処理プログラム
１２１Ｌ ＤＬライブラリ
１２２Ｌ 分類器ライブラリ
１２３Ｌ 生成器ライブラリ

Claims (11)

1. 画像データに対して畳み込みを行なう畳み込み層を含む畳み込みニューラルネットワーク、又は、画像データを出力する畳み込みニューラルネットワークを、視覚上判別しにくい成分を欠損させて情報量を削減させた画像データを所定の割合で含む学習用データで学習する
   学習方法。
2. 画像データが入力された場合に、前記画像データの分類を出力するように定義された畳み込み層を含む畳み込みニューラルネットワークに、
   視覚上判別しにくい成分を欠損させて情報量を削減させた画像データを所定の割合で含む学習用データを与え、
   前記畳み込みニューラルネットワークを分類器として学習する、学習方法。
3. 任意のデータが入力された場合に、特定の画像データを出力するように定義された畳み込み層を含む画像生成用の畳み込みニューラルネットワークと、
   前記画像生成用の畳み込みニューラルネットワークから出力された画像データ、又は他の画像データが入力された場合に、前記画像データの分類を出力するように定義された畳み込み層を含む分類用の畳み込みニューラルネットワークとを用い、
   視覚上判別しにくい成分を欠損させて情報量を削減させた画像データを所定の割合で含む学習用データを用い、
   前記分類用の畳み込みニューラルネットワーク、及び、前記画像生成用の畳み込みニューラルネットワークをＧＡＮ（Generative Adversarial Networks）によって学習する
   学習方法。
4. 前記分類用の畳み込みニューラルネットワークの損失関数を、前記画像生成用の畳み込みニューラルネットワークから出力された画像データ、及び前記他の画像データの両方、又はいずれか一方の内の所定の割合の画像データの情報量を削減させて前記分類用の畳み込みニューラルネットワークに与えて算出し、
   前記画像生成用の畳み込みニューラルネットワークの損失関数を、前記画像生成用の畳み込みニューラルネットワークから出力される画像データの情報量を削減させずに前記分類用の畳み込みニューラルネットワークに与えて算出する
   請求項３に記載の学習方法。
5. 前記画像生成用の畳み込みニューラルネットワークの損失関数を、前記画像生成用の畳み込みニューラルネットワークから出力される画像データの内の所定の割合の画像データの情報量を削減させて前記分類用の畳み込みニューラルネットワークに与えて算出し、
   前記分類用の畳み込みニューラルネットワークの損失関数を、前記画像生成用の畳み込みニューラルネットワークから出力された画像データ、及び他の画像データの両方、又はいずれか一方の内の所定の割合の画像データの情報量を削減させずに前記分類用の畳み込みニューラルネットワークに与えて算出する
   請求項３に記載の学習方法。
6. 画像データを出力する畳み込みニューラルネットワークの損失関数を、前記ニューラルネットワークから出力される画像データ、又は前記畳み込みニューラルネットワークへ与える画像データの内の所定の割合の画像データの情報量を削減させて算出する
   請求項１に記載の学習方法。
7. 情報量を削減させた画像データは、視覚上判別しにくい成分から優先的に欠損させて作成する
   請求項１から６のいずれか１項に記載の学習方法。
8. コンピュータに、
   画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された畳み込み層を含む畳み込みニューラルネットワークの定義データを記憶し、
   前記定義データに基づく畳み込みニューラルネットワークに、視覚上判別しにくい成分を欠損させて情報量を削減させた画像データを所定の割合で含む学習用データを与え、
   前記畳み込みニューラルネットワークを分類器として学習する
   処理を実行させるコンピュータプログラム。
9. コンピュータに、
   任意のデータが入力された場合に、特定の画像データを出力するように定義された畳み込み層を含む画像生成用の畳み込みニューラルネットワークの定義データと、
   前記画像生成用の畳み込みニューラルネットワークから出力された画像データ、又は他の画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された畳み込み層を含む分類用の畳み込みニューラルネットワークの定義データとを記憶し、
   前記分類用の畳み込みニューラルネットワークから出力される画像データ、又は前記分類用の畳み込みニューラルネットワークへ与える画像データの内の所定の割合の画像データの視覚上判別しにくい成分を欠損させて情報量を削減し、
   前記分類用の畳み込みニューラルネットワーク、及び、前記画像生成用の畳み込みニューラルネットワークをＧＡＮによって学習する
   処理を実行させるコンピュータプログラム。
10. 画像データを入力する入力層と、
    前記画像データに基づく画像の分類を出力する出力層と、
    畳み込み層を含む畳み込みニューラルネットワークを含む中間層と
    を備え、
    コンピュータに、入力された画像データの分類を出力させるように、視覚上判別しにくい成分を欠損させて情報量を削減させた画像データを所定の割合で含む学習用の画像データと、該画像データの分類ラベルとを含む教師データによって学習されてある分類器。
11. 任意のデータを入力する入力層と、
    前記データに基づいて生成される画像の画像データを出力する出力層と、
    畳み込み層を含む畳み込みニューラルネットワークを含む中間層と
    を備え、
    前記出力層から出力された画像データを、前記出力層から出力された画像データであるか否かを分類する分類用の畳み込みニューラルネットワークを含むＧＡＮにより、前記出力層から出力された画像データ、又は、前記分類用の畳み込みニューラルネットワークへ与える画像データの内の所定の割合の画像データの視覚上判別しにくい成分を欠損させて情報量を削減した学習用データを用いて学習されており、
    コンピュータに、入力された任意のデータに基づく画像データを出力させるように学習されてある生成器。

Images