JP7075674B2 - 学習方法、コンピュータプログラム、分類器、生成器、及び処理システム - Google Patents

Description

本開示は、画像データに対して処理を施す機械学習モデルの学習方法、コンピュータプログラム、分類器、生成器及び処理システムに関する。

機械学習モデルを用いた画像認識、判別、画像生成方法等では、大量の教師データを必要とする。したがって、教師データの数を増やすために、同じ画像データに対して拡大縮小、回転、反転、シフト、色変換、ノイズ付加等のデータ拡張を実施することで、見掛け上異なる画像データを教師データとして大量に用意し、これらデータ拡張により得られた教師データを用いて学習することで認識性能の向上が達成できることが知られている（特許文献１）。

また、特許文献２には高次元の非構造化データ（例えば、画像）の生成モデルを学習するため、ジェネレータ（生成器）およびディスクリミネータ（分類器）を用いることが開示されている。

さらに、非特許文献１では畳み込みニューラルネットワークを用いた深層学習において、敵対的入力（Adversarial Examples：Ａ．Ｅ．）と呼ばれるテストデータを用いると認識結果が変わってしまうという課題に対し、教師データにランダムな（＝意図的ではない）ノイズがのったデータを用いて学習することで、Ａ．Ｅ．に対抗できる学習器を構築することについて開示されている。

特開２０１５－０９５２１２号公報 特開２０１９－０９１４４０号公報

「深層学習におけるＡｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇによる副作用とその緩和／先崎佑弥、大畑幸矢、松浦幹太」コンピュータセキュリティシンポジウム２０１７ 論文集 ｐ．３８５～ｐ．３９２

データ拡張は、元の画像の特徴を損なわないことが前提とされる。識別器のデータ拡張であれば識別結果（クラス）に影響がないように、画像に写っているものが何であるかの識別結果、即ち何に見えるかという見た目が相違しない程度に加工が行なわれている。

発明者は更に、画像データに含まれる、視覚に影響を及ぼさない要素に対する学習を省くことで、学習されるモデルに、人間の視覚の仕組みを取り入れることができるのではないかとの知見を得た。なお、非特許文献１にはパンダと認識される画像データと、該画像データに対しノイズ画像をマスクしてできたマスク画像データとを比較し、「人間にはほぼ変化がないように見えるが、ＣＮＮではパンダではないと認識される」という主旨の記述があるが、それは視覚特性に基づくノイズではなく、単に信号のレベルが小さいノイズであるため、画像データとしてはほぼ変化がないと言っているに過ぎない。

本開示は斯かる知見に基づいてなされたものであり、画像に対する機械学習モデルを用いた学習に、人間の視覚を考慮させた学習方法、学習モデル、分類器、生成器、及び処理システムを提供することを目的とする。

本願に係る請求項１記載の学習方法は、画像データを入力もしくは出力する機械学習モデルを、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む学習用データで学習させる。

本願に係る請求項２記載の学習方法では、前記請求項１記載の学習方法に加え、画像データを出力する機械学習モデルの損失関数を、前記機械学習モデルから出力される画像データまたは前記機械学習モデルへ与える画像データのうち、所定の割合の画像データに視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む学習データから算出する処理を実行させる。

本願に係る請求項３記載の学習方法では、画像データが入力された場合に、前記画像データの分類を出力するように定義された機械学習モデルに、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む分類器用学習データを与え、前記機械学習モデルを分類器として学習する処理を実行させる。

本願に係る請求項４記載の学習方法では、画像データが入力された場合に、前記画像データの分類を出力するように定義された分類用の機械学習モデルに、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む生成器用学習データを与え、前記分類用の機械学習モデルの出力に基づいて、任意のデータが入力された場合に特定の画像データを出力するように定義された画像生成用の機械学習モデルを生成器として学習する処理を実行させる。

本願に係る請求項５記載の学習方法では、任意のデータが入力された場合に、特定の画像データを出力するように定義された画像生成用の機械学習モデルと、前記画像生成用の機械学習モデルから出力された画像データまたは他の画像データが入力された場合に、前記画像データの分類を出力するように定義された分類用の機械学習モデルとを用い、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む分類器用学習データおよび／または生成器用学習データを用い、前記分類用の機械学習モデル及び／または前記画像生成用の機械学習モデルをＧＡＮ（Generative Adversarial Networks）によって学習する処理を実行させる。

本願に係る請求項６記載の学習方法では、前記請求項５記載の学習方法に加え、前記画像生成用の機械学習モデルから出力された画像データと前記他の画像データの両方、またはいずれか一方の画像データのうち、所定の割合の画像データに、視覚上判別しにくいノイズ成分を付加する処理を施した画像データである分類器用学習データを前記分類器用の機械学習モデルに与えて該分類用の機械学習モデルの損失関数を算出し、前記画像生成用の機械学習モデルから出力された画像データに変更を加えない生成器用学習データを前記分類器用の機械学習モデルに与えて画像生成器用の機械学習モデルの損失関数を算出する処理を実行させる。

本願に係る請求項７記載の学習方法では、前記請求項５記載の学習方法に加え、前記画像生成用の機械学習モデルから出力された画像データと前記他の画像データの両方、またはいずれか一方の画像データのうち、所定の割合の画像データに、視覚上判別しにくいノイズ成分を付加する処理を施した画像データである生成器用学習データを前記分類用の機械学習モデルに与えて生成器用の機械学習モデルの損失関数を算出し、前記画像生成用の機械学習モデルから出力された画像データに変更を加えない生成器用学習データを前記分類器用の機械学習モデルに与えて画像形成用の機械学習モデルの損失関数を算出する処理を実行させる。

本願に係る請求項８記載の学習方法では、前記請求項１ないし７のいずれかに記載の学習方法に加え、視覚上判別しにくいノイズ成分を付加する処理を施した画像データは、より視覚上判別しにくいノイズ成分から優先的に付加して作成する。

本願に係る請求項９記載のコンピュータプログラムは、コンピュータに、画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された分類用の機械学習モデルの定義データを記憶し、前記定義データに基づく分類用の機械学習モデルに、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む分類器用学習用データを与え、前記分類用の機械学習モデルを分類器として学習する処理を実行させる。

本願に係る請求項１０記載のコンピュータプログラムは、コンピュータに、任意のデータが入力された場合に、特定の画像データを出力するように定義された画像生成用の機械学習モデルの定義データと、前記画像生成用の機械学習モデルから出力された画像データまたは他の画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された分類用の機械学習モデルの定義データとを記憶し、前記生成用の機械学習モデルから出力された画像データまたは前記分類用の機械学習モデルへ与える画像データのうち、所定の割合の画像データに、視覚上判別しにくいノイズ成分を付加する処理を施し、前記分類用の機械学習モデル及び前記画像生成用の機械学習モデルをＧＡＮによって学習する処理を実行させる。

本願に係る請求項１１記載の分類器は、画像データを入力する入力部と、前記画像データに基づく画像の分類を出力する出力部と、機械学習モデルを用いて前記画像データに対して所定の処理を実行する処理実行部と、を備え、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを所定の割合で含む分類器用学習データと、該分類器用学習データに含まれる画像データの分類ラベルとを含む教師データによって学習される。

本願に係る請求項１２記載の生成器は、任意のデータを入力する入力部と、前記データに基づいて生成される画像の画像データを出力する出力部と、機械学習モデルを用いて前記データに対して所定の処理を実行する処理実行部と、を備え、前記出力部から出力された画像データまたは前記機械学習モデルへ与える画像データのうち、所定の割合の画像データに、視覚上判別しにくいノイズ成分を付加する処理を施した画像データを含む生成器用学習データを用いて学習されされる。

本願に係る請求項１３記載の処理システムは、請求項１１記載の分類器または請求項１２記載の生成器へ、入力データを送信し、前記分類器、または生成器から出力されたデータを受信して利用する利用装置を備える。

本願に係る請求項１４記載の処理システムは、請求項１３記載の処理システムにおいて、前記利用装置は、テレビジョン受信機、表示装置、撮像装置、または表示部及び通信部を備える情報処理装置である。

本開示の学習方法、コンピュータプログラム、分類器、生成器、及び処理システムにより、人間の視覚を考慮させた学習を実行させ、画像データに対して視覚の仕組みを取り込んだ分類または生成を行なうことが可能になる。

本実施の形態における画像処理装置の構成を示すブロック図である。 画像処理装置の機能ブロック図である。 分類器及び生成器の概要を示す説明図である。 学習処理手順の一例を示すフローチャートである。 学習用の画像データの数のＳＮ比に対する分布の一例を示す図である。 分類器の学習を説明するための図である。 生成器の学習を説明するための図である。 生成器の学習を説明するための図である。 分類器、生成器の学習を説明するための図である。 ＤＣＴを利用した視覚上判別しにくいノイズ成分を付加する処理を説明するための図である。 視覚上判別しにくいノイズ成分を画像データに付加した場合の画素値やＤＣＴ値等のデータの一例を表した図である。 ＤＷＴを利用した視覚上判別しにくいノイズ成分を付加する処理を説明するための図である。 条件付き加算処理を行う際の各データを表した図である。 帯域毎に設定された量子化幅でのスケール調整を説明するための図である。 （ａ）、（ｂ）、（ｃ）はノイズ画像データのＤＷＴ処理後の各画素の値と、量子化幅でスケール調整した後の各画素の値を示した図である。

以下、本願に係る学習方法、学習モデル、分類器、生成器、及び処理システムについて、実施の形態を示す図面を参照しつつ説明する。なお本実施の形態では、学習方法、学習モデル、分類器、生成器及び処理システムにおける処理を画像に対して処理を実行する画像処理装置に適用した例を挙げて説明する。

＜画像処理装置＞
図１は、本実施の形態における画像処理装置１の構成を示すブロック図であり、図２は画像処理装置１の機能ブロック図である。画像処理装置１は、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４及び操作部１５を備える。なお画像処理装置１及び画像処理装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

制御部１０は、ＣＰＵ（Central Processing Unit ）等のプロセッサ及びメモリ等を用い、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ（Graphics Processing Unit）または専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、一体のハードウェアであってもよい。また制御部１０及び画像処理部１１は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、更には記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。

記憶部１２は、ハードディスクまたはフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、機械学習ライブラリ１２１Ｌ、分類器ライブラリ１２２Ｌ及び生成器ライブラリ１２３Ｌが記憶されている。また記憶部１２には、１つの学習毎に作成される分類器１１２または生成器１１３を定義する情報、学習済みの分類器１１２及び生成器１１３におけるパラメータ情報等が記憶される。

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイスまたはキャリア通信用モジュールを用いる。

表示部１４は、液晶パネルまたは有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

操作部１５は、キーボードまたはマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、機械学習ライブラリ２１Ｌ、分類器ライブラリ２２Ｌ及び生成器ライブラリ２３Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ、機械学習ライブラリ１２１Ｌ、分類器ライブラリ１２２Ｌ及び生成器ライブラリ１２３Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、機械学習ライブラリ２１Ｌ、分類器ライブラリ２２Ｌ及び生成器ライブラリ２３Ｌを制御部１０が記憶部１２に複製したものであってもよい。

画像処理装置１の制御部１０は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、学習処理実行部１０１、及び画像処理実行部１０２として機能する。また画像処理部１１は、記憶部１２に記憶してある機械学習ライブラリ１２１Ｌ、定義データ、パラメータ情報、及び分類器ライブラリ１２２Ｌに基づきメモリを用いて分類器１１２として機能する。同様にして画像処理部１１は、記憶部１２に記憶してある機械学習ライブラリ１２１Ｌ、定義データ、パラメータ情報、及び生成器ライブラリ１２３Ｌに基づきメモリを用いて生成器１１３として機能する。なお、図２においては機械学習ライブラリ１２１Ｌによって分類器１１２、生成器１１３の機能が実現されているので、記憶部１２には機械学習ライブラリ１２１Ｌの記載は省略している。

機械学習ライブラリ１２１Ｌで機械学習モデルとしての機能が与えられ、分類器ライブラリ１２２Ｌや生成器ライブラリ１２３Ｌにおり、機械学習モデルにおける、例えばレイヤー構成等の定義データや各ノードの重み等のパラメータが与えられる。また機械学習ライブラリ１２１Ｌは代表的なものとしてTensorFlowやCafe等があるが、これに限らずどのような機械学習ライブラリを用いても良い。

学習処理実行部１０１は、記憶部１２に記憶してある機械学習ライブラリ１２１Ｌ、及び分類器ライブラリ１２２Ｌと、後述するように与えられる教師データとに基づき、機械学習モデルを分類器１１２とするべく、パラメータを学習する処理を行なう。また学習処理実行部１０１は、記憶部１２に記憶してある機械学習ライブラリ１２１Ｌ、及び生成器ライブラリ１２３Ｌと、後述するように与えられる教師データとに基づき、機械学習モデルを生成器１１３とするべく、パラメータを学習する処理を行なう。これらの機械学習モデルは、例えばニューラルネットワークで構成されていてもよく、畳み込み層を含む畳み込みニューラルネットワーク（Convolutional Neural Network）で構成されていてもよい。

画像処理実行部１０２は、学習済みの分類器１１２を用い、画像データを与えて出力される結果を取得する処理を実行する。または、画像処理実行部１０２は、学習済みの生成器１１３を用い、種となるデータ（潜在変数と呼ばれるデータ、画像データ、またはテキストデータ等の任意のデータ）を生成器１１３に入力して生成される画像データを取得する処理を実行する。画像処理実行部１０２は、生成器１１３から出力された画像データを画像として描画し、表示部１４へ出力させてもよい。

分類器１１２は、入力される画像データの特徴量を取り出し、取り出した特徴量に基づき、入力される画像データを分類する。本実施の形態では分類器１１２は、後述するように生成器１１３を学習するためのＧＡＮ（Generative Adversarial Networks）を構成するので、入力された画像データを、生成器１１３で生成された画像データ（生成器１１３由来の画像データ）と、それ以外の画像データとに分類する。生成器１１３は、入力される種となるデータから画像データを生成して出力する。分類器１１２は単体で用いられるように学習されてもよい。

＜分類器・生成器＞
図３は、機械学習モデルとしてニューラルネットワークを用いた場合の分類器１１２及び生成器１１３の概要を示す説明図であり、図４は、学習処理手順の一例を示すフローチャートである。図３及び図４を参照して学習処理実行部１０１による学習処理について説明する。図３に示すように、生成器１１３はＧＡＮによって学習される。このため図３に示すように生成器１１３の出力を入力するように分類器１１２及び生成器１１３が接続されている。ＧＡＮによる学習とは生成器１１３で生成した生成データと教師データとを分類器１１２に入力し、例えば、分類器１１２における判定誤差が最小となるよう分類器１１２及び生成器１１３の重み係数等のパラメータを設定することで行われる。

分類器１１２は、学習されるパラメータにより定義される複数段の畳み込み層を含んで構成される。分類器１１２の構成はこれに限らず、プーリング層、全結合層等を含んでもよい。生成器１１３は、学習されるパラメータにより定義されるネットワークにより、入力された任意のデータから画像データを出力する。生成器１１３は、転置畳み込み層、畳み込み層、アップサンプリング等のネットワークを適宜組み合わせて画像データを出力するように構成されている。

制御部１０は学習処理実行部１０１により、記憶部１２の機械学習ライブラリ１２１Ｌ、分類器ライブラリ１２２Ｌ及び生成器ライブラリ１２３Ｌに基づき、ネットワークを図３のように定義したデータを作成しておく。制御部１０は、学習処理実行部１０１の機能により作成された定義データに基づいて、生成器１１３及び分類器１１２を作成する（ステップＳ１）。

制御部１０は、生成器１１３由来の画像データ群として、種となるデータから未知のクラスを予測する予測メソッドによって画像データ群ＤＧを生成器１１３から出力させる（ステップＳ２）。制御部１０は、出力された画像データ群ＤＧに生成器１１３で作成された画像データであることを示すラベルを付与する（ステップＳ３）。

制御部１０は、生成器１１３由来でない画像データ群の教師データとして、分類器１１２の学習用に予め用意してある画像データＴＤＧを用い、変更を加えた画像データと、変更を加えていない画像データとを設定情報に基づいて取得する（ステップＳ４）。ステップＳ４において制御部１０は、予め用意してある画像データの内の所定の割合の画像データに対し、図３におけるフィルタを経由させるようにネットワークを定義してもよい。予め用意してある画像データは、学習の目的に応じた被写体が写っている写真画像、目的に応じたイラストが含まれている画像等である。制御部１０は、教師データとして得られた画像データ（ＴＤＧ、ＦＴＤＧ）に、生成器１１３由来でない画像データであることを示すラベルを付与する（ステップＳ５）。

＜変更を加えた画像データ＞
ステップＳ４における「変更を加えた画像データ」は、人間の視覚上判別しにくい成分を欠損させる処理を画像に行なうフィルタ、及び視覚上判別しにくいノイズ成分を付加する処理を画像に行なうフィルタの両方、またはいずれか一方のフィルタによって取得される。分類器１１２の学習用の画像データを作成するフィルタの一例として、デジタル画像の圧縮アルゴリズムを適用する。フィルタは例えば、ＪＰＥＧ（Joint Photographic Experts Group）におけるＤＣＴ（Discrete Cosine Transform ；離散コサイン変換）、またはWavelet変換とすることが可能である。

＜視覚上判別しにくい成分の欠損＞
離散コサイン変換やWavelet変換を用いると、人間の視覚上判別しにくい成分を限定して除去することができる。例えば、離散コサイン変換を用いた場合はデータを直交変換した結果に対し、空間周波数の高周波成分を粗く量子化すればよく、またWavelet変換を用いた場合は、データを直交変換して分割された帯域のうち高周波帯域の小さい成分をカットすればよい。このように離散コサイン変換を行った後の量子化レベルやWavelet変換を行った後の帯域フィルタを制御し、さらにこれらの変換出力を逆離散コサイン変換や逆Wavelet変換を用いて処理することで、視覚上判別しにくい成分が削減された画像データを得る。

このように離散コサイン変換やWavelet変換を用いることは、視覚上判別しにくい成分（高周波成分、高周波帯域の小さい成分）から優先的に欠損させた画像データを得ているということができる。なお、学習処理実行部１０１は離散コサイン変換やWavelet変換以外のフィルタを用いても良い。例えば、ＲＧＢデータをＹＣＣデータに変換し、チャンネル毎に量子化することで情報が削減されている画像データを得ても良い。このように視覚上判別しにくい成分を欠損させた画像データを復号することでフィルタ処理が行われた画像データＦＴＤＧを得、これを分類器１１２に入力する。

ステップＳ４における「設定情報」は、学習用に用いられる画像データ群に含まれる、変更を加えた画像データＦＴＤＧの割合、または変更の度合いに対する数の分布として記憶部１２に定義データとして定義されている。一例では、変更を加えた画像データＦＴＤＧの変更の度合いは一定の水準であり、変更されている画像データＦＴＤＧが分類器１１２に与えられる画像データの中に所定の割合含まれるように定義されている。他の例では、学習用の画像データの全てが、変更を加えられている画像データである。また、視覚上判別し易い部分の重要度を上げるようにして、チャネルまたは帯域に視覚的な重みを与えた画像データ群を用いてもよい。

図５は、フィルタ処理が行われた学習用の画像データ（教師データ）の数と画像の変更に関連するＳＮ比に対する分布の一例を示す図である。この図においては削減する情報量が多いほど、あるいは付加するノイズが多いほどＳＮ比が小さいものとして表示している。図５Ａに示すように、ＳＮ比が低い、即ち、変更する情報量が多い画像データを少なく、変更する情報量が少ない画像データは多くなるような数の分布として定義されていてもよい。変更する情報量の多さは、量子化の荒さなどで調整すればよい。

また図５Ａに示したような所定の分布を有する学習用データ以外にも、図５Ｂに示したように、変更した情報量が一律の画像データ群によって学習が行なわれてもよい。また、図５Ｃに示すように、変更する情報量の大小にかかわらず、画像データの数が一定となるような分布を有する学習用データを用いて学習が行なわれてもよい。その他、変更した情報量が一律の画像データ群を５０％、変更していない画像データ群を５０％含む等、適宜設定することができる。

＜視覚上判別しにくい成分の付加＞
次に視覚上判別しにくいノイズ成分を付加する処理について説明する。図１０は視覚上判別しにくいノイズ成分を付加する処理のうち、ＤＣＴ変換を利用した場合の処理を説明するための図、図１１は図１０に示したフローを用いて視覚上判別しにくいノイズ成分を画像データに付加した場合の画素値やＤＣＴ値等のデータの一例を表した図であり、後述するノイズ強度ｋは０．１としている。なお、図１１には図１０に対応したステップ番号を各データ欄に記載する。

まず、教師データの元となる元画像データを用意し（ステップＳ２０）、離散コサイン変換を行って（ステップＳ２１）、元画像のＤＣＴ係数を得る（ステップＳ２２）。元画像の画素値は０～１の範囲で、８ビットで表現した場合には０～２５５の範囲となる。

前述した、人間の視覚上判別しにくい成分を欠損させる処理では元画像のＤＣＴ係数のうち、低周波成分のＤＣＴ係数を利用して逆ＤＣＴ処理を行った画像データを機械学習に利用したが、本実施の形態では全てのＤＣＴ係数を利用する。なお、全てのＤＣＴ係数ではなく、一部が欠損したＤＣＴ係数を用いても良い。

一方、ＤＣＴ処理を行った元画像データと同じサイズのノイズ画像を用意する（ステップＳ２３）。ここで用いるノイズ画像は、ガウシアンノイズ、パーリンノイズ、均等分布ノイズ等、どのようなノイズ画像でも利用可能である。ノイズ画像の各画素のダイナミックレンジは－１～＋１の範囲で、ダイナミックレンジの中心は０であり、かつ、ノイズ強度ｋを任意に調整することができる。このようなノイズ画像データに離散コサイン変換を行い（ステップＳ２４）、ノイズ画像のＤＣＴ係数を得る（ステップＳ２５）。

その後、ノイズ画像ＤＣＴ係数を帯域フィルタ処理する（ステップＳ２６）。帯域フィルタ処理は量子化係数乗算処理（ステップＳ２６ａ）とスケール調整（ステップＳ２６ｂ）により行われる。より詳細には、量子化係数乗算処理はステップＳ２５で得られたノイズ画像のＤＣＴ係数に、例えば画像データをＪＰＥＧ形式に変換する際に用いる量子化テーブルと同じテーブルを用い、各量子化係数を乗算することで行われる。またステップＳ２６ｂのスケール調整では、例えば、乗算処理に用いた係数の最大値近辺の数値で各係数を除することで行われる。すなわち、輝度成分については、輝度成分用の量子化テーブルの最大値が１２１なので、例えば１２８で除算する。また色差成分についても輝度成分用に用いた除数と同じ除数を用いる。このように量子化テーブルの数値を乗算し、それを各係数の最大値近辺の値で除算することで、量子化の際の数値まるめ（数値をある範囲に収める）に比例するノイズが加わり、視覚上判別しにくい成分が多いノイズ画像のＤＣＴ係数を得ることができる（ステップＳ２７）。

次に、ステップＳ２２で得られた元画像のＤＣＴ係数とステップＳ２７で得られた視覚重み付きノイズ画像ＤＣＴ係数とを加算し（ステップＳ２８）、ノイズ付加されたＤＣＴ係数を得（ステップＳ２９）、さらに逆ＤＣＴ処理を行う（ステップＳ３０）ことで、ノイズ付き画像を得る（ステップＳ３１）。

このように生成したノイズ付き画像を教師データとして、生成器１１３、分類器１１２に加えることで、視覚上判別しにくいノイズ成分が多く付加された画像について機械学習を行うことができる。なお、上記説明ではＤＣＴ変換を利用して人間の視覚上判別しにくい成分を付加したが、ＤＣＴ変換の場合にはノイズブロックが発生する可能性があるため、修正離散コサイン変換（modified discrete cosine transform ;ＭＤＣＴ）を用い、ブロックをオーバーラップさせてノイズ付加を行うようにしても良い。また、ＩＤＣＴ処理する場合、画素値を０～２５５の範囲でクリッピングする必要があるので、周波数成分で取り扱っている値、例えば加算処理（ステップＳ２８）において各画素の値が規定の上限値を超える場合であってもクリッピングを行わず、そのままの値を利用しても良い。

次に、視覚上判別しにくいノイズ成分を付加する処理のうち、ＤＷＴ変換を利用した場合の処理について図１２～図１５を用いて説明する。図１２は視覚上判別しにくいノイズ成分を付加する処理のうち、ＤＷＴ変換を利用した場合の処理を説明するための図である。

まず、教師データの元となる元画像データを用意し（ステップＳ４０）、離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ：ＤＷＴ）を行って（ステップＳ４１）、元画像の帯域データを得る（ステップＳ４２）。元画像の画素値は０～１の範囲で、８ビットで表現した場合には０～２５５の範囲となる。また、ＤＷＴ変換後の元画像帯域データは、低周波成分、水平方向の高周波成分、垂直方向の高周波成分、水平・垂直方向の高周波成分のサブバンドに分解される（ステップＳ４２において、複数の元画像帯域データが記載されているのはサブバンドを表現したものである）。

一方、ＤＷＴ処理を行った元画像データと同じサイズのＮｏ．１ノイズ画像を用意する（ステップＳ４３）。ここで用いるノイズ画像は、ガウシアンノイズ、パーリンノイズ、均等分布ノイズ等、どのようなノイズ画像でも利用可能である。ノイズ画像の各画素のダイナミックレンジは－１～＋１の範囲で、ダイナミックレンジの中心は０であり、かつ、ノイズ強度ｋを任意に調整することができる。このようなノイズ画像データに離散ウェーブレット変換を行い（ステップＳ４４）、Ｎｏ．１ノイズ画像の帯域データを得る（ステップＳ４５）。

その後、元画像帯域データとＮｏ．１ノイズ画像帯域データを用い、条件付き加算処理を行う。条件付き加算処理は、元画像の帯域データについて、帯域毎に設定したスレッショルド以下の帯域データの有無を判定し（ステップＳ４６）、スレッショルド以下の元画像帯域データに対し、これと対応する位置のＮｏ．１ノイズ画像帯域データを選択し（ステップＳ４７）、前記スレッショルド以下の元画像帯域データに前記選択されたＮｏ．１ノイズ画像帯域データを加算する（ステップＳ４８）。

図１３は条件付き加算処理を行う際の各データを表したものであり、説明の便宜上、８×８のブロックとして表示している。（ａ）は元画像をＤＷＴ処理して得られた帯域データ１ＨＨ（高周波帯域）の値を示し、（ｂ）はノイズ強度ｋを０．１としたノイズ画像をＤＷＴ処理して得られた帯域データ１ＨＨ（高周波帯域）の値を示し、（ｃ）は条件付き加算後の元画像帯域データを示している。

条件付き加算を行う際の元画像帯域データのスレッショルド値を、例えば±１５に設定すると、（ａ）に示した数値の網掛けで表示した場所の数値がスレッショルド値以下であることがわかる。このスレッショルド値以下の数値であるか否かがステップＳ４６で実行され、さらにスレッショルド値以下と判定された元画像帯域データに相当する位置のＮｏ．１ノイズ画像帯域データが（ｂ）に示すようにステップＳ４７で選択される。その後、ステップＳ４８で元画像帯域データのデータ値にＮｏ．１ノイズ画像帯域データのデータ値が加算され、（ｃ）に示すようなノイズを条件付きで加算した元画像帯域データを得る。一例として、ｘ３・ｙ１のデータは元画像帯域データの数値がスレッショルド値以下の－１３であり、同じ場所のＮｏ．１ノイズ画像帯域データは２であるので、加算されて－１１となっている。同様にｘ２・ｙ３の元画像帯域データの数値は－９で、同じ位置のＮｏ．１ノイズ画像帯域データの数値は－７であるので－１６が格納されている。これと同じ処理を帯域データ毎に行い、条件付きノイズ加算元画像帯域データを得る（ステップＳ４９）。この条件付き加算処理はＤＷＴ処理の最終段のＬＬに対しては行われない。例えば、帯域分割がレベル２の場合、２ＬＬ以外の帯域データに対して条件付き加算処理が行われる。また、条件付き加算におけるスレッショルド値は高周波帯域になるにつれて値が大きくなるよう設定する。これにより視覚上影響のない帯域データについてはノイズ画像の帯域データが加算される傾向が強くなる。すなわち、各帯域データのスレッショルド値は帯域データ毎に１ＨＬ、１ＬＨ＜１ＨＨとなるよう設定するのが好ましい。また、スレッショルド値とノイズ強度ｋは適宜調整し、視覚上影響のないデータとすれば良い。さらに、ノイズが加算された画像データの帯域データの値が所定のスレッショルド値を超える場合は、当該スレッショルド値でクリップすれば良い。

次に、ステップＳ４３で利用したものと異なるＮｏ．２ノイズ画像データを準備する（ステップＳ５０）。ここで用いるＮｏ．２ノイズ画像も上記Ｎｏ．１ノイズ画像と同じくガウシアンノイズ等、どのようなノイズ画像であっても利用可能であり、ノイズ画像の各画素のダイナミックレンジは－１～＋１の範囲で、ダイナミックレンジの中心は０であり、かつ、ノイズ強度ｋを任意に調整することができる。

Ｎｏ．２ノイズ画像データに離散ウェーブレット変換を行い（ステップＳ５１）、Ｎｏ．２ノイズ画像の帯域データを得る（ステップＳ５２）。なお、Ｎｏ．２ノイズ画像データのＤＷＴ処理結果に対し、各帯域に設定された量子化幅の範囲でスケール調整を行う。

図１４は帯域毎に設定された量子化幅でのスケール調整を説明するための図である。ＤＷＴ処理によりレベル３のサブバンドが生成された場合、各レベルにおける量子化幅は、例えば、倍々の関係となっている。したがって、レベル１の量子化幅の単位が１とすれば、レベル２の量子化幅の単位は１／２、レベル３の量子化幅の単位は１／４である。

図１５（ａ）、（ｂ）、（ｃ）はノイズ強度ｋを０．１程度に設定したノイズ画像データのＤＷＴ処理後の各画素の値と、量子化幅でスケール調整した後の各画素の値を示したものであり、（ａ）は１ＨＨ、１ＨＬ、１ＬＨの帯域データおよびスケール調整後の帯域データ、（ｂ）は２ＨＨ、２ＨＬ、２ＬＨの帯域データおよびスケール調整後の帯域データ、（ｃ）は３ＨＨ、３ＨＬ、３ＬＨ、３ＬＬの帯域データおよびスケール調整後の帯域データである。なお、レベル３の場合を示しているが、レベル１、レベル２やレベル４以上の帯域分割を行っても良い。

同図に示すように、ノイズ画像データをＤＷＴ処理すると、画素値は高周波側に高く、低周波になるにつれ低くなる。また、前記量子化幅によるスケール調整により、高周波側の帯域データの絶対値が大きく、低周波になるにつれてその絶対値は小さくなる。

このスケール調整したＮｏ．２ノイズ画像帯域データを前記条件付きノイズ加算元画像帯域データに加算することで（ステップＳ５３）、ノイズ付加帯域データを得（ステップＳ５４）、このノイズ付加帯域データを逆ＤＷＴ処理（ステップＳ５５）することでノイズ付き画像が得られる（ステップＳ５６）。スケール調整したＮｏ．２ノイズ画像帯域データを条件付きノイズ加算元画像帯域データに加算する際、特に高周波帯域のノイズ画像データの画素値は基準値を上回る可能性がある。すなわち、高周波帯域のノイズ画像データの画素値は低周波帯域のノイズ画像データの画素値より高い傾向にあり、また高周波帯域の画素値はスケール調整により圧縮されにくいためである。したがって、加算後に基準値を上回る場合にはその位置のデータを最大値にクリップすれば良い。例えば、データを０～２５５で表現するとした場合には、「２５５」を基準値とすることで、最大値２５５にクリップすることができる。

このように生成したノイズ付き画像を教師データとして、生成器１１３、分類器１１２に加えることで、視覚上判別しにくいノイズ成分が多く付加された画像について機械学習を行うことができる。なお、上記実施形態ではＮｏ．２ノイズ画像データをＤＷＴ処理し、Ｎｏ．２ノイズ画像帯域データを得、これをステップＳ５３にて条件付きノイズ加算元画像帯域データに加算したが、Ｎｏ．２ノイズ画像帯域データ（Ｓ５２）を逆離散ウェーブレット変換すると共に、条件付きノイズ加算元画像データも逆離散ウェーブレット変換し、それぞれ画像データを得た上で、両者の画素値を合算することでノイズ付き画像を得るようにしても前述した実施の形態と等価の結果が得られる。また、ＩＤＷＴ処理する場合、画素値を０～２５５の範囲でクリッピングする必要があるので、例えば、条件付き加算処理（ステップＳ４８）や加算処理（ステップＳ５３）等、周波数成分で扱っているデータについてはクリッピングを行わず、そのままの値を利用しても良い。

図３及び図４に戻り説明を続ける。

＜分類器の学習＞
制御部１０は学習処理実行部１０１の機能により、ステップＳ３及びステップＳ５により得られるラベル付きの画像データ群（分類器用学習データ）を分類器１１２に与え（ステップＳ６）、分類器１１２の損失関数を算出して学習させる（ステップＳ７）。これにより分類器１１２は、上述したように、予め用意されている画像データについては変更を加えた画像データを所定の割合で含む学習用の画像データ群を用いて学習される。

分類器１１２の学習は図６Ａに示すように、生成器１１３のパラメータを固定して生成した複数の画像データＤＧを分類器１１２に入力し、分類器１１２が「偽判定」、即ち、生成器由来の画像データであると判定するよう分類器１１２のパラメータを設定する。また図６Ｂに示すようにスイッチＳＷ１を切り換え、分類器１１２に入力する画像データを教師データＴＤＧとし、分類器１１２が「真判定」となるように分類器１１２のパラメータを設定する。

なお、教師データを用いて分類器１１２を学習させる際、スイッチＳＷ２を切り替えることで、教師データとしての画像データＴＤＧと、フィルタＴＤＦを介して視覚上判別しにくい成分が変更された画像データＦＴＤＧとを分類器１１２に入力する。教師データとしての画像データＴＤＧ及びＦＴＤＧの混合割合は例えば図５に示したものを用いれば良い。各スイッチＳＷは説明の便宜上記載しているが、制御部１０により入力データを切り替えることでこの機能は実現している。また、分類器１１２を学習する際に用いる画像データ群（ＤＧ、ＴＤＧ、ＦＴＤＧ、ＦＤＧ）は分類器用学習データとして機能する。さらに、図６Ａ、Ｂでは図示を省略しているが、後述する図９に示すように、生成器１１３からの出力である画像データＤＧにフィルタ処理を施し、情報量が変更された画像データＦＤＧを用いても良い。

＜生成器の学習＞
続いて制御部１０は、学習処理実行部１０１の機能により、ステップＳ７の後の分類器１１２を含むネットワークの内の生成器１１３に、種となるデータを与える（ステップＳ８）。

制御部１０は、ステップＳ８によって生成器１１３から出力される画像データ群を分類器１１２に入力し、分類器１１２の判定結果に基づいて生成器１１３における損失関数を算出して学習させる（ステップＳ９）。このとき制御部１０は、分類器１１２の重み係数は固定とし、分類器１１２からの真偽判定結果である出力から、生成器１１３のパラメータを更新する。

図７は生成器１１３の学習を説明するための図である。生成器１１３を学習する際には種となる任意のデータを生成器１１３に与え、生成器１１３にて生成した複数の画像データＤＧを分類器１１２に供給し、分類器１１２が「真判定」となるよう生成器１１３のパラメータを設定する。

また、生成器１１３を学習する場合の損失関数は、分類器１１２のパラメータは教師データとして情報量が変更されていない画像データのみを利用して分類器１１２を学習した結果のパラメータセットを用いてもよく、あるいは、情報量が変更されていない画像データと情報量が変更された画像データとを用いて分類器１１２を学習した結果のパラメータセットを用いても良い。さらに、情報量が変更された画像データのみを用いて分類器１１２を学習した結果のパラメータセットを用いても良い。いずれの場合であっても、生成器１１３を学習する際は分類器１１２のパラメータを固定して行うと生成器１１３のパラメータを収束させ易くなる。生成器１１３の学習において、情報量が変更されていないデータとは画像データＤＧ、教師データＴＤＧであり、情報量が変更されているデータとは教師データＴＤＧをフィルタＴＤＦを介して得られた画像データＦＴＤＧである。これら、生成器１１３を学習する際に用いる画像データ群（ＤＧ、ＴＤＧ、ＦＴＤＧ、ＦＤＧ）は生成器用学習データとして機能する。

＜分類器・生成器の学習の具体例＞
生成器１１３の学習では、どのようなデータが入力されて、どのようなデータが得られるかに応じて教師データを設定する必要がある。例えば、写真データを種データとして生成器１１３に入力し、該生成器１１３では入力した写真データから漫画（カートゥーン）データを生成する場合、“写真”という特徴をもったデータと、“漫画”という特徴を持ったデータを教師データとして利用してもよい。

ここで、生成器１１３からの出力を漫画データに近づける為には、生成器１１３からの出力を教師データの漫画データと比較する必要があるが、これらのデータは二乗平均誤差などで直接比較することはできない。そのため、例えば、生成器１１３で生成された画像データ群について、生成器１１３由来の画像であることを表すラベルを付し、教師データの漫画データについては、漫画データである（真である）ことを表すラベルを付し、分類器を学習する。

そのように学習された分類器１１２に対して、教師データの写真データを生成器１１３に入力して得られたデータを、分類器１１２の出力が「真判定」となるよう生成器１１３の損失関数のパラメータを設定するようにしても良い。

一方、生成器１１３の入力が写真データで、出力も写真データである場合や、入力が漫画データで出力も漫画データである場合等、入出力で対となる教師データが得られる場合、生成器１１３からの出力と教師データとを直接比較して学習することができる。

より具体的には、生成器１１３において画像データの解像度を上げる処理を行う場合、予め高解像度の画像を教師データとして用意しておくと共に、該高解像度の画像の解像度を低下させた画像データを種データとして生成器１１３に入力し、生成器１１３より出力される生成された高解像度の画像データとオリジナルの高解像度データとを利用することで、生成器１１３の学習が可能である。

この場合、生成器１１３からの出力と、出力側の教師データとを分類器１１２に入力した場合の差分によって生成器１１３のパラメータを更新すれば良い。また、図８に示すように、スイッチＳＷ１を切り替え、教師データとなるオリジナルの画像データと、生成器１１３から出力される画像データとを直接的に比較した差分を分類器１１２に入力し、その結果に基づいて生成器１１３を学習させてもよい。

なお、これらの場合においても、オリジナルの高解像度の教師データのみならず、フィルタＴＤＦを介した情報量を削減した教師データを利用することができる。情報量を削減した教師データの枚数や各教師データにおける情報量の削減度合は任意に設定可能である。

さらに、分類器１１２の学習や生成器１１３の学習を行う際、図９に示したように生成器１１３で生成した画像データＤＧをフィルタＤＦに入力し、スイッチＳＷ３を切り換えることで、生成された画像データから視覚上判別しにくい成分の情報量を削減した画像データＦＤＧを分類器１１２に入力して学習を実行しても良い。

前述したように、分類器１１２の学習時は、生成器１１３の学習は行なわず、生成器１１３の学習の際には分類器１１２の重み等のパラメータは固定させて実行すると、分類器１１２及び生成器１１３によって定義される損失関数が収束しやすくなる。ただし、分類器１１２の学習と生成器１１３の学習とを同時に行なうように、定義データを作成して実行してもよい。

制御部１０は、学習処理実行部１０１の機能により、分類器１１２の出力結果が所定基準を満たすか否かを判断する（ステップＳ１０）。制御部１０は、所定基準を満たさないと判断された場合（Ｓ１０：ＮＯ）、処理をステップＳ２に戻し、ステップＳ２－Ｓ９の処理を繰り返し実行する。

ステップＳ１０において所定基準を満たすと判断された場合（Ｓ１０：ＹＥＳ）、学習処理を終了させる。ステップＳ１０における「所定基準」は例えば、分類器１１２の精度が半分、即ち生成器１１３由来の画像データであることを正確に分類できなくなったか否かである。他の例では「所定基準」は学習が所定回数以上であるかである。学習が十分に進行したか否かを判断するために他の基準を用いてもよい。

視覚上、判別しにくい成分の変更が加えられているデータの使用は以下のようにしてもよい。ＧＡＮにおける損失関数は、分類器１１２の成分と生成器１１３の成分とを含む。図４のフローチャートにおけるステップＳ７の分類器１１２の学習時には生成器１１３の成分を固定させて分類器１１２の成分を最適化（最大化）させ、ステップＳ９の生成器１１３の学習時には分類器１１２の成分を固定し、生成器１１３の成分のみが用いられる。

この場合、学習処理実行部１０１として機能する制御部１０は、ステップＳ７における分類器１１２の学習時の損失関数の演算にあたって、ステップＳ４に代替して、学習用に予め用意してある画像データに対して情報量を削減させずに取得し、その代わりに、ステップＳ３で取得する生成器１１３から出力される画像データの内の所定の割合の画像データに変更を加え、これらを分類器１１２に与えてもよい。

この場合、ステップＳ９における生成器１１３の学習時の損失関数の演算を、生成器１１３から出力される画像データに対して変更を施さず（図３における生成器１１３から分類器１１２の間にてフィルタを経由せず）に行なう。

また学習処理実行部１０１として機能する制御部１０は、ステップＳ７における分類器１１２の学習時の損失関数の演算にあたって、ステップＳ４における予め用意してある画像データに対し一律の変更を加え、更に、ステップＳ３で取得する生成器１１３から出力される画像データに対しても、所定の割合の画像データに変更を加えて、これらを分類器１１２に与えてもよい。

また逆に、学習処理実行部１０１として機能する制御部１０は、生成器１１３を学習させる場合、ステップＳ９における生成器１１３の学習時の損失関数の演算を、出力される画像データの内の所定の割合の画像データに変更を加えて行なってもよい。

この場合ステップＳ７における分類器１１２の学習時の損失関数の演算は、予め用意されている画像データと生成器１１３から出力される画像データとの両者またはいずれか一方について、情報の変更を行わずに行なう。

このようにデータに変更が加えられている画像データを用いて学習することにより、生成器１１３によって生成される画像データは、データとしては劣化していても見た目が十分な品質を持つデータとなり得る。つまり、視覚に影響を及ぼさない要素に対する学習を省くことで、学習される機械学習モデルに、人間の視覚の仕組みを取り入れることができる。視覚に影響を及ぼさない要素を省く処理として、本実施の形態で示したようにＤＣＴといったこれまでに視覚的に劣化を感じさせない程度にデータを削減させる実績のある処理を施すとよい。

なお本実施の形態では、分類器１１２は生成器１１３の学習のために使用され、生成器１１３で生成された画像と、本物の画像とを分類するものとして学習された。これにより、画像処理実行部１０２は学習済みの生成器１１３を用いて、与えられた種となるデータを用いて、視覚に影響を及ぼさない情報を省いてＳＮ比は低くとも、見た目として遜色のない画像データを作成することができる。

これに限らず、分類器１１２は単体で使用するものとして学習されてもよい。この場合、分類器１１２の使用目的に合わせて選択された学習用データの少なくとも一部に、人間の視覚上判別しにくい成分を欠損させる処理を施した画像データ、及び視覚上判別しにくいノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を用いる。その他、機械学習モデルでの画像データに関する学習時に、視覚に影響を及ぼさない要素に対する学習を省くことで、学習される機械学習モデルに、人間の視覚の仕組みを取り入れることができる。画像処理実行部１０２は学習済みの分類器１１２を用い、情報量が変更された画像データであるか否かに関わらず、分類目的に適合する画像であるか否かを判別することができる。

また、学習済みの分類器１１２または生成器１１３から得られるデータを利用した処理システムで、種々のサービスを提供することもできる。利用してサービスを提供する装置は、テレビジョン放送を受信して表示するテレビジョン受信機、画像を表示する表示装置、カメラである撮像装置等である。また、表示部及び通信部を備えて、分類器１１２または生成器１１３と情報を送受信できる情報処理装置であり、例えば所謂スマートフォン、ゲーム機器、オーディオ機器等であってもよい。

なお、上記実施の形態では、機械学習モデルとしてＧＡＮを構成し、画像データを生成、分類する例を挙げて説明したが、これに限定されるものではなく、例えば、音声データを利用した機械学習モデルにおいては、人間の聴覚で判別しにくい情報を削減したデータを用いて学習する等の応用が可能である。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理装置
１０ 制御部
１０１ 学習処理実行部
１０２ 画像処理実行部
１１ 画像処理部
１１２ 分類器
１１３ 生成器
１２ 記憶部
１Ｐ 画像処理プログラム
１２１Ｌ 機械学習ライブラリ
１２２Ｌ 分類器ライブラリ
１２３Ｌ 生成器ライブラリ
ＤＧ 画像データ群
ＴＤＧ 教師画像データ群
ＦＴＤＧ フィルタ処理を施した教師画像データ群
ＴＤＦ、ＤＦ フィルタ
ＳＷ スイッチ

Claims (14)

1. 画像データを入力もしくは出力する機械学習モデルを、視覚上判別しにくい成分を欠損させる処理を施した画像データ及び視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む学習データで学習する、学習方法。
2. 画像データを出力する機械学習モデルの損失関数を、前記機械学習モデルから出力される画像データまたは前記機械学習モデルへ与える画像データのうち、所定の割合の画像データに視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む学習データから算出する
   ことを特徴とする請求項１記載の学習方法。
3. 画像データが入力された場合に、前記画像データの分類を出力するように定義された機械学習モデルに、
   視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む分類器用学習データを与え、
   前記機械学習モデルを分類器として学習する、学習方法。
4. 画像データが入力された場合に、前記画像データの分類を出力するように定義された分類用の機械学習モデルに、視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む生成器用学習データを与え、
   前記分類用の機械学習モデルの出力に基づいて、任意のデータが入力された場合に特定の画像データを出力するように定義された画像生成用の機械学習モデルを生成器として学習する、学習方法。
5. 任意のデータが入力された場合に、特定の画像データを出力するように定義された画像生成用の機械学習モデルと、
   前記画像生成用の機械学習モデルから出力された画像データまたは他の画像データが入力された場合に、前記画像データの分類を出力するように定義された分類用の機械学習モデルとを用い、
   視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む分類器用学習データおよび／または生成器用学習データを用い、
   前記分類用の機械学習モデル及び／または前記画像生成用の機械学習モデルをＧＡＮ（Generative Adversarial Networks）によって学習する、学習方法。
6. 任意のデータが入力された場合に、特定の画像データを出力するように定義された画像生成用の機械学習モデルと、
   前記画像生成用の機械学習モデルから出力された画像データまたは他の画像データが入力された場合に、前記画像データの分類を出力するように定義された分類用の機械学習モデルとを用い、
   視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚上判別しにくいノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む分類器用学習データおよび／または生成器用学習データを用い、
   前記分類用の機械学習モデル及び／または前記画像生成用の機械学習モデルをＧＡＮ（Generative Adversarial Networks）によって学習する、学習方法であって、
   前記画像生成用の機械学習モデルから出力された画像データと前記他の画像データの両方、またはいずれか一方の画像データのうち、所定の割合の画像データに、視覚上判別しにくい成分を欠損させる処理を施した画像データ及び／または視覚上判別しにくいノイズ成分を付加する処理を施した画像データである分類器用学習データを前記分類用の機械学習モデルに与えて該分類用の機械学習モデルの損失関数を算出し、
   前記画像生成用の機械学習モデルから出力された画像データに変更を加えない生成器用学習データを前記分類用の機械学習モデルに与えて画像生成用の機械学習モデルの損失関数を算出する
   ことを特徴とする学習方法。
7. 任意のデータが入力された場合に、特定の画像データを出力するように定義された画像生成用の機械学習モデルと、
   前記画像生成用の機械学習モデルから出力された画像データまたは他の画像データが入力された場合に、前記画像データの分類を出力するように定義された分類用の機械学習モデルとを用い、
   視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚上判別しにくいノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む分類器用学習データおよび／または生成器用学習データを用い、
   前記分類用の機械学習モデル及び／または前記画像生成用の機械学習モデルをＧＡＮ（Generative Adversarial Networks）によって学習する、学習方法であって、
   前記画像生成用の機械学習モデルから出力された画像データと前記他の画像データの両方、またはいずれか一方の画像データのうち、所定の割合の画像データに、視覚上判別しにくい成分を欠損させる処理を施した画像データ及び／または視覚上判別しにくいノイズ成分を付加する処理を施した画像データである生成器用学習データを前記分類用の機械学習モデルに与えて画像生成用の機械学習モデルの損失関数を算出し、
   前記画像生成用の機械学習モデルから出力された画像データに変更を加えない生成器用学習データを前記分類用の機械学習モデルに与えて画像生成用の機械学習モデルの損失関数を算出する
   ことを特徴とする学習方法。
8. 画像データを入力もしくは出力する機械学習モデルを、視覚上判別しにくい成分を欠損させる処理を施した画像データ及び視覚上判別しにくいノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む学習データで学習する、学習方法であって、
   視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚上判別しにくいノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方は、より視覚上判別しにくい成分から優先的に欠損させて、または、より視覚上判別しにくいノイズ成分から優先的に付加して作成する
   ことを特徴とする学習方法。
9. コンピュータに、
   画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された分類用の機械学習モデルの定義データを記憶し、
   前記定義データに基づく分類用の機械学習モデルに、視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む分類器用学習用データを与え、前記分類用の機械学習モデルを分類器として学習する
   処理を実行させるコンピュータプログラム。
10. コンピュータに、
    任意のデータが入力された場合に、特定の画像データを出力するように定義された画像生成用の機械学習モデルの定義データと、
    前記画像生成用の機械学習モデルから出力された画像データまたは他の画像データが入力された場合に、前記画像データに基づく画像の分類を出力するように定義された分類用の機械学習モデルの定義データとを記憶し、
    前記生成用の機械学習モデルから出力された画像データまたは前記分類用の機械学習モデルへ与える画像データのうち、所定の割合の画像データに、視覚上判別しにくい成分を欠損させる処理と、視覚に合わせて重み付けされたノイズ成分を付加する処理の両方、またはいずれか一方を施し、前記分類用の機械学習モデル及び前記画像生成用の機械学習モデルをＧＡＮによって学習する
    処理を実行させるコンピュータプログラム。
11. 画像データを入力する入力部と、
    前記画像データに基づく画像の分類を出力する出力部と、
    機械学習モデルを用いて前記画像データに対して所定の処理を実行する処理実行部と、
    を備え、
    視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を所定の割合で含む分類器用学習データと、該分類器用学習データに含まれる画像データの分類ラベルとを含む教師データによって学習され、
    コンピュータに、入力された画像データの分類を出力する分類器。
12. 任意のデータを入力する入力部と、
    前記データに基づいて生成される画像の画像データを出力する出力部と、
    機械学習モデルを用いて前記データに対して所定の処理を実行する処理実行部と、
    を備え、
    前記出力部から出力された画像データまたは前記機械学習モデルへ与える画像データのうち、所定の割合の画像データに、視覚上判別しにくい成分を欠損させる処理を施した画像データと、視覚に合わせて重み付けされたノイズ成分を付加する処理を施した画像データの両方、またはいずれか一方を含む生成器用学習データを用いて学習され、
    コンピュータに、入力された任意のデータに基づく画像データを出力する生成器。
13. 請求項１１記載の分類器、または請求項１２記載の生成器へ、入力データを送信し、前記分類器、または生成器から出力されたデータを受信して利用する利用装置を備える処理システム。
14. 前記利用装置は、テレビジョン受信機、表示装置、撮像装置、または表示部及び通信部を備える情報処理装置である請求項１３に記載の処理システム。

Images