JP7325636B2 - 学習装置、推論装置、プログラム、学習方法及び推論方法 - Google Patents

Description

本開示は、学習装置、推論装置、プログラム、学習方法及び推論方法に関する。

学習装置及び推論装置に関する技術では、学習手段からの出力信号と、教師信号との間で誤差を計算し、その誤差が収束する、又は、その誤差が所定の閾値を下回るまで処理を繰り返し、その条件が満たされると、学習が終了する。

例えば、特許文献１には、ニューラルネットワークにより構成され、変換された原画像を学習画像及び教師画像として学習工程を実行する学習手段が記載されている。

特開２００５－２１７５９２号公報

しかしながら、特許文献１に記載されている学習手段は、誤差の値が収束する条件を満たす複数の出力信号がある場合に、より適切な出力信号を評価することができない。

そこで、本開示の一又は複数の態様は、教師あり学習を行なう際に、より適切な評価を行うことができるようにすることを目的とする。

本開示の一態様に係る学習装置は、入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得する学習側データ取得部と、前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部と、を備え、前記モデル生成部は、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習を行い、前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となることを特徴とする。

本開示の一態様に係る推論装置は、対象画像を示す推論用入力データを取得する推論側データ取得部と、入力される画像から、前記入力される画像とは別の画像を推論するための学習モデルを用いて、前記対象画像から出力画像を推論する推論部と、を備え、前記学習モデルは、入力画像から推論された推論画像と、前記入力画像に対応する正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように学習されたモデルであり、前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となることを特徴とする。

本開示の一態様に係るプログラムは、コンピュータを、入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得する学習側データ取得部、及び、前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部、として機能させるプログラムであって、前記モデル生成部は、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習を行い、前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となることを特徴とする。

本開示の一態様に係るプログラムは、コンピュータを、対象画像を示す推論用入力データを取得する推論側データ取得部、及び、入力される画像から、前記入力される画像とは別の画像を推論するための学習モデルを用いて、前記対象画像から出力画像を推論する推論部、として機能させるプログラムであって、前記学習モデルは、入力画像から推論された推論画像と、前記入力画像に対応する正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように学習されたモデルであり、前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となることを特徴とする。

本開示の一態様に係る学習方法は、入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得し、前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成する学習方法であって、前記学習モデルを生成する過程では、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習が行われ、前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となることを特徴とする。

本開示の一態様に係る推論方法は、対象画像を示す推論用入力データを取得し、入力される画像から、前記入力される画像とは別の画像を推論するための学習モデルを用いて、前記対象画像から出力画像を推論する推論方法であって、前記学習モデルは、入力画像から推論された推論画像と、前記入力画像に対応する正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように学習されたモデルであり、前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となることを特徴とする。

本開示の一又は複数の態様によれば、教師あり学習を行なう際に、より適切な評価を行うことができる。

実施の形態１～３に係る学習システムの構成を概略的に示すブロック図である。 実施の形態１～３における学習装置の構成を概略的に示すブロック図である。 三層のニューラルネットワークの一例を示す概略図である。 コンピュータの構成を概略的に示すブロック図である。 学習装置が学習する処理を示すフローチャートである。 実施の形態１～３における推論装置の構成を概略的に示すブロック図である。 推論装置が推論する処理を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る学習システム１００の構成を概略的に示すブロック図である。
学習システム１００は、学習装置１１０と、推論装置１２０とを備える。
本実施の形態に係る学習システム１００は、ある対象製品に使用されるものとする。例えば、対象製品は、自動車又は映像機器等である。

なお、学習装置１１０及び推論装置１２０は、ある対象製品の出力を学習し、推論するために使用される。ここで、学習装置１１０及び推論装置１２０は、例えば、ネットワークを介してその対象製品に接続されてもよい。この場合、学習装置１１０及び推論装置１２０は、対象製品とは別個の装置となる。
また、学習装置１１０及び推論装置１２０は、対象製品に内蔵されていてもよい。
さらに、学習装置１１０及び推論装置１２０は、クラウドサーバ上に存在していてもよい。

図２は、学習装置１１０の構成を概略的に示すブロック図である。
学習装置１１０は、学習側入力部１１１と、学習側データ取得部１１２と、モデル生成部１１３と、学習側学習モデル記憶部１１４と、学習側通信部１１５とを備える。

学習側入力部１１１は、学習用データセットの入力を受け付ける。ここでは、学習用データセットは、対象製品から入力されるものとする。学習用データセットは、学習用入力データと、正解データとのセットである。

学習側データ取得部１１２は、学習用データセットを、学習側入力部１１１を介して取得する。取得された学習用データセットは、モデル生成部１１３に与えられる。

モデル生成部１１３は、学習側データ取得部１１２から与えられる学習用データセットを用いて学習を行うことで、学習モデルを生成する。ここでは、モデル生成部１１３は、対象製品の学習用入力データと、正解データとのセットから、最適な出力を推論する学習モデルを生成する。

モデル生成部１１３が用いる学習アルゴリズムは、教師あり学習であり、その一例として、ニューラルネットワークを用いた場合について説明する。

モデル生成部１１３は、例えば、ニューラルネットワークに従って、いわゆる教師あり学習により、出力を学習する。ここで、教師あり学習とは、入力と、結果とのデータのセットを学習装置１１０に与えることで、それらの学習用データセットにある特徴を学習し、入力から結果を推論する手法をいう。

ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、及び、複数のニューロンからなる出力層で構成される。中間層は、一層又は二層以上でもよい。

図３は、三層のニューラルネットワークの一例を示す概略図である。
図３に示されているように、三層のニューラルネットワークであれば、複数の入力値が入力層Ｘ１～Ｘ３に入力されると、その入力値に第一の重みｗ１１～ｗ１６（以下、第一の重みＷ１ともいう）が掛けられる。入力値に第一の重みｗ１１～ｗ１６が掛けられた値である算出値は、中間層Ｙ１、Ｙ２に入力される。算出値には、第二の重みｗ２１～ｗ２６（以下、第二の重みＷ２ともいう）が掛けられ、算出値に第二の重みｗ２１～ｗ２６が掛けられ値である出力値が、出力層Ｚ１～Ｚ３から出力される。この出力値は、第一の重みＷ１の値と、第二の重みＷ２の値とによって変わる。

本実施の形態において、ニューラルネットワークは、学習側データ取得部１１２によって取得される学習用入力データと、正解データとの組合せに基づいて作成される学習用データセットに従って、いわゆる教師あり学習により、出力を学習する。

すなわち、ニューラルネットワークは、入力層に学習用入力データを入力して出力層から出力された結果である学習側推論データが、正解データに近づくように第一の重みＷ１及び第二の重みＷ２を調整することで学習する。

モデル生成部１１３は、以上のような学習を実行することで学習モデルを生成し、生成された学習モデルを学習側学習モデル記憶部１１４に記憶させる。

次に、実施の形態１のモデル生成部１１３における学習側推論データと、正解データとの評価について説明する。
ここでは、学習用入力データが入力画像を示し、正解データが、その入力画像に対応する正解画像を示すものとする。そして、いわゆる教師あり学習の学習フェーズにおいて推論された出力である学習側推論データが推論画像を示すものとする。そして、モデル生成部１１３は、学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するものとする。

実施の形態１では、モデル生成部１１３は、推論画像と、正解画像との間の類似度を評価するための第一の評価値と、推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値とを含む評価関数を用いて、推論画像が正解画像に近づくように学習を行う。
例えば、モデル生成部１１３は、推論画像と、正解画像との類似度が高いほど小さい値になる第一の評価値と、推論画像における複数の色成分が関係する程度が強いほど小さい値になる第二の評価値とを荷重加算する関数を評価関数として用いて、推論画像と、正解画像との類似性を評価する。
なお、関係する程度は、複数の色成分の変化の様態の類似度が高いほど強いものとする。

以下、推論画像及び正解画像ともに各画素について、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色の色成分（あるいは色情報）を持つカラー画像である場合を例に説明する。
また、推論画像及び正解画像内の各画素を表す水平座標をｘ、垂直座標をｙとして、推論画像のＲ成分をＩｐｒｅｄ（ｘ，ｙ，ｒ）、Ｇ成分をＩｐｒｅｄ（ｘ，ｙ，ｇ）及びＢ成分をＩｐｒｅｄ（ｘ，ｙ，ｂ）と表し、正解画像のＲ成分をＩｇｔ（ｘ，ｙ，ｒ）、Ｇ成分をＩｇｔ（ｘ，ｙ，ｇ）及びＢ成分をＩｇｔ（ｘ，ｙ，ｂ）と表す。

そして、第一の評価値をＶ１とすると、Ｖ１は、推論画像と、正解画像との誤差を表す値であり、例えば、二乗誤差を用いて、下記の（１）式で示すことができる。

（１）

また、第二の評価値は、推論画像の色成分について、例えば、零平均正規化相互相関を用いて計算することができる。
ここで、推論画像のＲ成分及びＧ成分の零平均正規化相互相関をＺＣｒｇとすると、ＺＣｒｇは、下記の（２）式で示すことができる。

（２）

また、Ｇ成分及びＢ成分の零平均正規化相互相関をＺＣｇｂとすると、ＺＣｇｂは、下記の（３）式で示すことができる。

（３）

さらに、Ｂ成分及びＲ成分の零平均正規化相互相関をＺＣｂｒとすると、ＺＣｂｒは、下記の（４）式で示すことができる。

（４）
なお、（１）式～（４）式において、上付きの横棒で表される記号は、各成分の局所的な平均値を表す。

第二の評価値をＶ２で表すと、Ｖ２は、ＺＣｒｇ、ＺＣｇｂ及びＺＣｂｒを使って、例えば、下記の（５）式で示すことができる。

（５）
そして、評価関数をＥで表すと、Ｅは、下記の（６）式で示すことができる。

（６）
ここで、λは、予め定められた定数である。

実施の形態１における学習装置１１０では、（６）式の評価関数で算出される値が最小となるように学習が行われる。
以下、（６）式について説明する。

（６）式の右辺の第一の評価値Ｖ１は、推論画像が正解画像に近づくほど小さくなる値である。但し、学習フェーズにて正解画像そのものを推定できなかった場合、右辺の第一の評価値Ｖ１を最小にする推論画像は、複数個存在する可能性がある。
この場合、右辺の第二の評価値Ｖ２があることで、人間の視覚特性が捉える画像により近い推論画像を学習できるようになる。

第二の評価値Ｖ２は、推論画像のＲ成分、Ｇ成分及びＢ成分間の相関又は信号変化の類似度が高いほど、小さな値になる。これは、（２）式～（４）式の零平均正規化相互相関が、マイナス１から１までの値をとり、かつ、零平均正規化相互相関を計算する信号間の信号変化の類似度が高いほどその値が１に近づくという性質を持っているためである。

ここで、自然画像ではＲ成分、Ｇ成分及びＢ成分間で色の変化にある程度の類似性がある。これは人間の視覚特性がＲ成分、Ｇ成分及びＢ成分の色を太陽光等の照明光の反射成分としてとらえ、かつ、Ｒ成分とＧ成分との間、及び、Ｇ成分とＢ成分との間には、ある程度波長帯域が重なる領域があるためである。

よって、実施の形態１における学習装置１１０のように学習に用いる評価関数にＲ成分、Ｇ成分及びＢ成分間の相関又は信号変化の類似度が高いほど、小さな値になる値を導入し、Ｒ成分、Ｇ成分及びＢ成分間の色の変化にある程度の類似性がある推論画像を出力しやすくすることで、人間の視覚特性が捉える自然画像に近い画像を出力することが可能となる。

また、第一の評価値は、推論画像と正解画像との誤差を表す値であればよく、推論画像と、正解画像との誤差が小さいほど小さい値であれば、二乗誤差以外の計算方法を用いることができる。

学習側学習モデル記憶部１１４は、モデル生成部１１３で生成された学習モデルを記憶する。学習側学習モデル記憶部１１４に記憶される学習モデルを、学習側学習モデルともいう。

以上に記載された学習装置１１０は、図４に示されているようなコンピュータ１４０で実現することができる。
図４は、コンピュータ１４０の構成を概略的に示すブロック図である。
コンピュータ１４０は、通信装置１４１と、補助記憶装置１４２と、メモリ１４３と、プロセッサ１４４とを備える。

通信装置１４１は、例えば、ネットワークを介してデータを通信する。
補助記憶装置１４２は、コンピュータ１４０での処理に必要なデータ及びプログラムを記憶する。
メモリ１４３は、プロセッサ１４４の作業領域を提供する。
プロセッサ１４４は、補助記憶装置１４２に記憶されているプログラムをメモリ１４３に読み出し、そのプログラムを実行することで、コンピュータ１４０での処理を実行する。

以上に記載された、学習側入力部１１１及び学習側通信部１１５は、通信装置１４１により実現することができる。
学習側学習モデル記憶部１１４は、補助記憶装置１４２により実現することができる。

学習側データ取得部１１２及びモデル生成部１１３は、プロセッサ１４４が、メモリ１４３に読み出されたプログラムを実行することで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

図５は、学習装置１１０が学習する処理を示すフローチャートである。
まず、学習側データ取得部１１２は、学習側入力部１１１を介して、学習用入力データ及び正解データを取得する（Ｓ１０）。ここでは、学習用入力データ及び正解データが同時に取得されるものとしているが、学習用入力データ及び正解データを関連付けることができれば、これらは別のタイミングで取得されてもよい。取得された学習用入力データ及び正解データは、モデル生成部１１３に与えられる。

次に、モデル生成部１１３は、学習用入力データ及び正解データの組み合せに基づいて作成される学習用データセットに従って、いわゆる教師あり学習により、出力を学習し、学習モデルを生成する（Ｓ１１）。

次に、学習側学習モデル記憶部１１４は、生成された学習モデルを記憶する（Ｓ１２）。
そして、学習側通信部１１５は、その学習モデルを推論装置１２０に送信する（Ｓ１３）。

図６は、推論装置１２０の構成を概略的に示すブロック図である。
推論装置１２０は、推論側通信部１２１と、推論側学習モデル記憶部１２２と、推論側入力部１２３と、推論側データ取得部１２４と、推論部１２５とを備える。

推論側通信部１２１は、学習装置１１０からの学習モデルを受信する。受信された学習モデルは、推論側学習モデル記憶部１２２に記憶される。推論側学習モデル記憶部１２２に記憶される学習モデルを推論側学習モデルともいう。

推論側入力部１２３は、推論用入力データの入力を受け付ける。
推論側データ取得部１２４は、推論用入力データを、推論側入力部１２３を介して取得する。取得された推論用入力データは、推論部１２５に与えられる。

推論部１２５は、推論側学習モデル記憶部１２２に記憶されている学習モデルを利用して、推論用入力データから得られる出力を推論する。すなわち、この学習モデルに推論用入力データを入力することで、その推論用入力データから推論される出力を得ることができる。

なお、実施の形態１では、推論部１２５は、ある対象製品のモデル生成部１１３で学習した学習モデルを用いて推論を行っているが、実施の形態１は、このような例に限定されない。推論側通信部１２１が、他の対象製品等において他の装置で生成された学習モデルを受信して、その学習モデルを推論側学習モデル記憶部１２２に記憶させることで、推論部１２５は、他の装置で生成された学習モデルに基づいて推論を行うようにしてもよい。但し、推論装置１２０に記憶される学習モデルは、学習装置１１０のモデル生成部１１３で行われる処理と同様の処理で生成されるものとする。

以上に記載された推論装置１２０も、図４に示されているようなコンピュータ１４０で実現することができる。
例えば、推論側入力部１２３及び推論側通信部１２１は、通信装置１４１により実現することができる。
推論側学習モデル記憶部１２２は、補助記憶装置１４２により実現することができる。
推論側データ取得部１２４及び推論部１２５は、プロセッサ１４４が、メモリ１４３に読み出されたプログラムを実行することで実現することができる。

図７は、推論装置１２０が推論する処理を示すフローチャートである。
なお、ここでは、推論側学習モデル記憶部１２２は、既に学習モデルを記憶しているものとする。

まず、推論側データ取得部１２４は、推論側入力部１２３を介して推論用入力データを取得する（Ｓ２０）。取得された推論用入力データは、推論部１２５に与えられる。

次に、推論部１２５は、推論側学習モデル記憶部１２２に記憶された学習モデルを用いて、推論用入力データから出力を推論する（Ｓ２１）。例えば、その学習モデルに推論用データを入力することで、その推論結果である出力を取得することができる。

次に、推論部１２５は、学習モデルから得られた出力を対象製品に出力する（Ｓ２２）。
そして、対象製品は、その出力を対象製品の外部へと出力する（Ｓ２３）。これにより、人間の視覚特性に近い画像を出力することができる。

実施の形態１に係る学習システム１００によれば、例えば、入力画像が、正解画像の少なくとも一画素以上の画素の、一色以上の画素値を無効値に変化させた画像である場合に、より高い効果を発揮する。
このような例として、各画素について、Ｒ成分、Ｇ成分及びＢ成分の何れかの値しか有効な値を持たない画像（例えば、ベイヤー配列画像）を処理し、カラー画像を出力する場合がある。なお、この例では、各画素にいついて二色の画素値が無効になっていることになるが、より一般的には、先に述べたように、入力画像が、正解画像の少なくとも一画素以上の画素の、一色以上の画素値を無効値に変化させた画像である場合となる。

また、モデル生成部１１３は、複数の対象製品に対して作成される学習用データセットに従って、学習モデルを学習するようにしてもよい。なお、モデル生成部１１３は、同一のエリアで使用される複数の対象製品から学習用データセットを取得してもよいし、異なるエリアで独立して動作する複数の対象製品から収集される学習用データセットを使用して、学習モデルを学習してもよい。

さらに、モデル生成部１１３は、学習用データセットを収集する他の対象製品を途中で追加したり、複数の対象製品からある対象製品を除去したりすることも可能である。
また、ある対象製品に関して学習モデルを学習した学習装置１１０を、別の対象製品に適用し、その別の対象製品に関して、学習モデルを再学習して、学習モデルを更新するようにしてもよい。

また、モデル生成部１１３に用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いることもでき、他の公知の方法、例えば、遺伝的プログラミング、機能論理プログラミング又はサポートベクターマシン等に従って機械学習が実行されてもよい。

また、（５）式では、Ｒ及びＧ、Ｇ及びＢ、並びに、Ｂ及びＲの三つの色成分の全ての組み合わせの相関を使っているが、全ての色成分間の相関を使う必要はない。例えば、Ｒ及びＧ間の相関と、Ｇ及びＢ間の相関というように二つの組み合わせのみの相関が使われてもよい。また、Ｒ及びＧ間のみのように一つの組み合わせのみの相関が使われてもよい。
すなわち、少なくとも二色以上の色成分からなる推論画像について、少なくとも一つの組み合わせの色成分について相関が計算されればよい。

また、第二の評価値に使用される相関の値は零平均正規化相互相関を使用したものに限られず、相関を計算する二色の色成分の変化の様態が類似するほど小さな値を出力するものであればよい。

実施の形態２．
実施の形態１では、一つの推論画像及び一つの正解画像で評価を行う例を記載したが、Ｎ個の推論画像及びＮ個の正解画像（Ｎは、２以上の整数）で評価が行われてもよい。

図１に示されているように、実施の形態２に係る学習システム２００は、学習装置２１０と、推論装置１２０とを備える。
実施の形態２における推論装置１２０は、実施の形態１における推論装置１２０と同様である。

図２に示されているように、学習装置２１０は、学習側入力部１１１と、学習側データ取得部１１２と、モデル生成部２１３と、学習側学習モデル記憶部１１４と、学習側通信部１１５とを備える。

モデル生成部２１３は、学習側データ取得部１１２から与えられる学習用データセットに基づいて、学習を行う。ここでは、モデル生成部２１３は、対象製品の学習用入力データと、正解データとのセットから、最適な出力を推論する学習モデルを生成する。
ここで、実施の形態２におけるモデル生成部２１３は、Ｎ個の推論画像と、Ｎ個の正解画像との類似度が高いほど小さい値になる第一の評価値と、Ｎ個の推論画像における複数の色成分の関係する程度が強いほど小さい値になる第二の評価値とを含む関数を評価関数として用いて、Ｎ個の推論画像と、Ｎ個の正解画像との類似性を評価する。

例えば、モデル生成部２１３は、Ｎ個の推論画像の各々と、Ｎ個の正解画像の内の対応する正解画像との類似度の平均が高いほど小さい値になる第一の評価値と、Ｎ個の推論画像における少なくとも二つの色成分の関係する程度の平均が強くなるほど小さい値になる第二の評価値とを荷重加算する関数を評価関数として用いて、Ｎ個の推論画像と、Ｎ個の正解画像との類似性を評価する。

以下、推論画像及び正解画像ともに各画素について、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色の色成分（あるいは色情報）を持つカラー画像である場合を例に説明する。
また、推論画像及び正解画像内の各画素を表す水平座標をｘ、垂直座標をｙとして、ｉ番目の推論画像のＲ成分をＩｐｒｅｄ（ｘ，ｙ，ｒ，ｉ）、Ｇ成分をＩｐｒｅｄ（ｘ，ｙ，ｇ，ｉ）及びＢ成分をＩｐｒｅｄ（ｘ，ｙ，ｂ，ｉ）と表し、ｉ番目の正解画像のＲ成分をＩｇｔ（ｘ，ｙ，ｒ，ｉ）、Ｇ成分をＩｇｔ（ｘ，ｙ，ｇ，ｉ）及びＢ成分をＩｇｔ（ｘ，ｙ，ｂ，ｉ）と表す。
ここで、ｉは、１≦ｉ≦Ｎを満たす整数である。

この時、第一の評価値をＶ１とするとＶ１は、推論画像と正解画像の誤差を表す値であり、例えば、二乗誤差を用いて、下記の（７）式により算出することができる。

（７）

また、第二の評価値は、推論画像の色成分について、例えば、零平均正規化相互相関を用いて計算できる。
ここで、推論画像のＲ成分及びＧ成分の零平均正規化相互相関をＺＣｒｇとすると、ＺＣｒｇは、下記の（８）式で算出することができる。

（８）

また、推論画像のＧ成分及びＢ成分の零平均正規化相互相関をＺＣｇｂとすると、ＺＣｇｂは、下記の（９）式で算出することができる。

（９）

さらに、総則画像のＢ成分及びＲ成分の零平均正規化相互相関をＺＣｂｒとすると、ＺＣｂｒは、下記の（１０）式で算出することができる。

（１０）
なお、（８）式～（１０）式において、上付きの横棒で表される記号は、各成分の局所的な平均値を表す。

そして、第二の評価値をＶ２で表すと、Ｖ２は、ＺＣｒｇ、ＺＣｇｂ及びＺＣｂｒを使って、例えば、上記の（５）式で示すことができる。
さらに、評価関数をＥで表すと、Ｅは、上記の（６）式で示すことができる。

実施の形態２に係る学習システム２００によれば、例えば、劣化画像が、正解画像の少なくとも一画素以上の画素の一色以上の画素値が無効値に変化した場合に、より高い効果を発揮する。
上記のような例として、各画素について、Ｒ成分、Ｇ成分及びＢ成分の何れかの値しか有効な値を持たない画像（例えば、ベイヤー配列画像）を処理し、カラー画像を出力する例がある。
なお、この例では、各画素について二色の画素値が無効になっていることになるが、より一般的には、先に述べたように、劣化画像が、正解画像の少なくとも一画素以上の画素の一色以上の画素値が無効値に変化した場合となる。

また、（５）式では、Ｒ及びＧ、Ｇ及びＢ、並びに、Ｂ及びＲの三つの色成分の全ての組み合わせの相関を使っているが、全ての色成分間の相関を使う必要はない。例えば、Ｒ及びＧ間の相関と、Ｇ及びＢ間の相関というように二つの組み合わせのみの相関が使われてもよい。また、Ｒ及びＧ間のみのように一つの組み合わせのみの相関が使われてもよい。
すなわち、少なくとも二色以上の色成分からなる推論画像について、少なくとも一つの組み合わせの色成分について相関が計算されればよい。

また、第二の評価値に使用される相関の値は零平均正規化相互相関を使用したものに限られず、相関を計算する二色の色成分の変化の様態が類似するほど小さな値を出力するものであればよい。
なお、その他実施の形態１に加えられる変形例は、実施の形態２にも適用可能である。

実施の形態３．
図１に示されているように、実施の形態３に係る学習システム３００は、学習装置３１０と、推論装置１２０とを備える。
実施の形態３における推論装置１２０は、実施の形態１における推論装置１２０と同様である。

図２に示されているように、学習装置３１０は、学習側入力部１１１と、学習側データ取得部１１２と、モデル生成部３１３と、学習側学習モデル記憶部１１４と、学習側通信部１１５とを備える。

モデル生成部３１３は、学習側データ取得部１１２から与えられる学習用データセットに基づいて、学習を行う。ここでは、モデル生成部３１３は、対象製品の学習用入力データと、正解データとのセットから、最適な出力を推論する学習モデルを生成する。実施の形態３においても、Ｎ個の推論画像及びＮ個の正解画像があるものとして説明を行う。Ｎ及びｉは、実施の形態２と同様である。
ここで、実施の形態３におけるモデル生成部３１３は、複数の推論画像と、複数の正解画像との類似度が高いほど小さい値になる第一の評価値と、複数の推論画像における複数の色成分の関係する程度が強くなるほど小さい値になる第二の評価値とを含む関数を評価関数として用いて、複数の推論画像と、複数の正解画像との類似性を評価する。

例えば、モデル生成部３１３は、複数の推論画像の各々と、複数の正解画像の内の対応する正解画像との類似度の平均が高いほど小さい値になる第一の評価値と、複数の推論画像における複数の色成分の関係する程度の平均が強くなるほど小さい値になる第二の評価値とを荷重加算する関数を評価関数として用いて、複数の推論画像と、複数の正解画像との類似性を評価する。

以下、推論画像及び正解画像ともに各画素について、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色の色成分（あるいは色情報）を持つカラー画像である場合を例に説明する。
また、推論画像及び正解画像内の各画素を表す水平座標をｘ、垂直座標をｙとして、ｉ番目の推論画像のＲ成分をＩｐｒｅｄ（ｘ，ｙ，ｒ，ｉ）、Ｇ成分をＩｐｒｅｄ（ｘ，ｙ，ｇ，ｉ）及びＢ成分をＩｐｒｅｄ（ｘ，ｙ，ｂ，ｉ）と表し、ｉ番目の正解画像のＲ成分をＩｇｔ（ｘ，ｙ，ｒ，ｉ）、Ｇ成分をＩｇｔ（ｘ，ｙ，ｇ，ｉ）及びＢ成分をＩｇｔ（ｘ，ｙ，ｂ，ｉ）と表す。
さらに、ｉ番目の推論画像のＲ成分、Ｇ成分及びＢ成分から生成されたグレー成分をＩｐｒｅｄ（ｘ，ｙ，ｋ，ｉ）と表す。

ここで、上記のようにＲ成分、Ｇ成分及びＢ成分を荷重加算することで、例えば、Ｒ成分、Ｇ成分又はＢ成分にランダムな誤差が重畳されていたとしてもグレー成分にそのノイズが重畳されることを防止することができる。

この時、第一の評価値をＶ１とするとＶ１は、推論画像と正解画像の誤差を表す値であり、例えば、二乗誤差を用いて、上記の（７）式により算出することができる。

また、第二の評価値は、推論画像の色成分について、例えば、零平均正規化相互相関を用いて計算できる。
推論画像のＲ成分及びグレー成分の零平均正規化相互相関をＺＣｒｋとすると、ＺＣｒｋは、下記の（１１）式で算出することができる。

（１１）

また、推論画像のＧ成分及びグレー成分の零平均正規化相互相関をＺＣｇｋとすると、ＺＣｇｋは、下記の（１２）式で算出することができる。

（１２）

さらに、推論画像のＢ成分及びグレー成分の零平均正規化相互相関をＺＣｂｋとすると、ＺＣｂｋは、下記の（１３）式で算出することができる。

（１３）
なお、（１１）式～（１３）式のうち、上付きの横棒で表される記号は、各成分の局所的な平均値を表すものである。

そして、第二の評価値をＶ２で表すと、Ｖ２は、ＺＣｒｇ、ＺＣｇｂ及びＺＣｂｒを使って、例えば、上記の（５）式で示すことができる。
さらに、評価関数をＥで表すと、Ｅは、上記の（６）式で示すことができる。

実施の形態３では、（６）式で示される評価関数の内、右辺の第一の評価値Ｖ１は、推論画像が正解画像に近づくほど小さくなる値である。また、右辺の第二の評価値Ｖ２は、推論画像のＲ成分、Ｇ成分及びＢ成分の各々と、推論画像のグレー成分との関係する程度が強いほど、小さな値になる値である。これは、（１１）式～（１３）式の零平均正規化相互相関がマイナス１から１までの値をとり、かつ、零平均正規化相互相関を計算する信号間の信号変化の類似度が高いほどその値が１に近づくという性質を持っているためである。

ここで、自然画像ではＲ成分、Ｇ成分及びＢ成分間で色の変化にある程度の類似性がある。これは人間の視覚特性がＲ成分、Ｇ成分及びＢ成分の色を太陽光等の照明光の反射成分としてとらえ、かつ、Ｒ成分及びＧ成分の間、並びに、Ｇ成分及びＢ成分の間にはある程度波長帯域が重なる領域があるためである。

よって、実施の形態３における学習システム３００のように学習に用いる評価関数にＲ成分、Ｇ成分及びＢ成分のそれぞれと、グレー成分との間で相関又は信号変化の類似度が高いほど、小さな値になる値を追加し、Ｒ成分、Ｇ成分、Ｂ成分間の色の変化にある程度の類似性がある推論画像を出力しやすくすることで、人間の視覚特性が捉える自然画像に近い画像を出力することが可能となる。

実施の形態３における学習システム３００は、入力画像が、正解画像の少なくとも一画素以上の画素の一色以上の画素値に対して特定の値を加算又は減算した画像である場合に、より高い効果を発揮する。
上記のような例として、Ｒ成分、Ｇ成分、Ｂ成分からなるカラー画像について、少なくとも一つの成分にノイズが付加された画像を処理するノイズ除去処理がある。

なお、上記の例では劣化画像、正解画像ともにＲ成分、Ｇ成分及びＢ成分の三成分からなるカラー画像であるが、色成分は、Ｒ，Ｇ，Ｂに限られず、各画素について少なくとも二成分以上与えられていればよい。
また、グレー成分は少なくとも二成分以上の色情報を合成して得られるものであればよい。

実施の形態３における（５）式では、グレー成分を計算するために使用した色成分の全てについて、グレー成分との相関を使っているが、全ての色成分に対しての相関を使う必要はなく、少なくとも一成分以上についてグレー成分との相関が計算されればよい。
より一般的には、少なくとも二色以上の色成分からなる推論画像について、少なくとも一色の色成分について、グレー成分との相関が計算されればよい。

また、第二の評価値に使用する相関の値は、零平均正規化相互相関を使用したものに限られず、相関を計算する二色の色成分の変化の様態が類似するほど小さな値を出力するものであればよい。
また、第一の評価値について、実施の形態１又は２に適用可能な変形例は、実施の形態３にも適用できる。

なお、実施の形態３は、実施の形態２と同様に、Ｎ個の推論画像及びＮ個の正解画像があるものとして説明を行ったが、実施の形態３は、このような例に限定されない。例えば、実施の形態１と同様に、学習用データセットが、一つの推論画像と、その一つの推論画像に対応する一つの正解画像を含んでいてもよい。
このような場合、評価関数に含まれる第一の評価値は、推論画像と正解画像との間の類似度が高いほど小さい値となり、第二の評価値は、推論画像に含まれる少なくとも二つの色成分から生成されるグレー成分と、その少なくとも二つの色成分の内の少なくとも一つの色成分との関係する程度が強いほど小さい値となることが望ましい。

以上のように、本実施の形態では、人間の視覚特性が捉える自然画像に近い画像を出力することが可能となる。

１００，２００，３００ 学習システム、 １１０，２１０，３１０ 学習装置、 １１１ 学習側入力部、 １１２ 学習側データ取得部、 １１３，２１３，３１３ モデル生成部、 １１４ 学習側学習モデル記憶部、 １１５ 学習側通信部、 １２０ 推論装置、 １２１ 推論側通信部、 １２２ 推論側学習モデル記憶部、 １２３ 推論側入力部、 １２４ 推論側データ取得部、 １２５ 推論部。

Claims (16)

1. 入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得する学習側データ取得部と、
   前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部と、を備え、
   前記モデル生成部は、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習を行い、
   前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となること
   を特徴とする学習装置。
2. 前記第一の評価値は、前記推論画像と前記正解画像との間の類似度が高いほど小さい値となること
   を特徴とする請求項１に記載の学習装置。
3. 複数の入力画像を示す複数の学習用入力データ及び前記複数の入力画像に対応する複数の正解画像を示す複数の正解データを含む学習用データセットを取得する学習側データ取得部と、
   前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部と、を備え、
   前記モデル生成部は、前記複数の入力画像から推論された複数の推論画像と、前記複数の正解画像との間の類似度を評価するための第一の評価値と、前記複数の推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記複数の推論画像が前記複数の正解画像に近づくように前記学習を行い、
   前記第二の評価値は、前記複数の推論画像における、前記少なくとも二つの色成分の関係する程度の平均が強いほど小さい値となること
   を特徴とする学習装置。
4. 前記第一の評価値は、前記複数の推論画像の各々と、前記複数の正解画像内の対応する正解画像との間の類似度の平均が高いほど小さい値となること
   を特徴とする請求項３に記載の学習装置。
5. 前記入力画像は、前記正解画像の少なくとも一画素における少なくとも一つの色成分の画素値を無効値に変化させた画像であること
   を特徴とする請求項１から４の何れか一項に記載の学習装置。
6. 入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得する学習側データ取得部と、
   前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部と、を備え、
   前記モデル生成部は、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習を行い、
   前記第二の評価値は、前記少なくとも二つの色成分から生成されるグレー成分と、前記少なくとも二つの色成分の内の少なくとも一つの色成分との関係する程度が強いほど小さい値となること
   を特徴とする学習装置。
7. 前記第一の評価値は、前記推論画像と前記正解画像との間の類似度が高いほど小さい値となること
   を特徴とする請求項６に記載の学習装置。
8. 複数の入力画像を示す複数の学習用入力データ及び前記複数の入力画像に対応する複数の正解画像を示す複数の正解データを含む学習用データセットを取得する学習側データ取得部と、
   前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部と、を備え、
   前記モデル生成部は、前記複数の入力画像から推論された複数の推論画像と、前記複数の正解画像との間の類似度を評価するための第一の評価値と、前記複数の推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記複数の推論画像が前記複数の正解画像に近づくように前記学習を行い、
   前記第二の評価値は、前記複数の推論画像における、前記少なくとも二つの色成分から生成されるグレー成分と、前記少なくとも二つの色成分の内の少なくとも一つの色成分との関係する程度の平均が強いほど小さい値となること
   を特徴とする学習装置。
9. 前記第一の評価値は、前記複数の推論画像の各々と、前記複数の正解画像内の対応する正解画像との間の類似度の平均が高いほど小さい値となること
   を特徴とする請求項８に記載の学習装置。
10. 前記入力画像は、前記正解画像の少なくとも一画素における少なくとも一つの色成分の画素値に対して特定の値を加算又は減算した画像であること
    を特徴とする請求項６から９の何れか一項に記載の学習装置。
11. 前記評価関数は、前記第一の評価値と、前記第二の評価値とを荷重加算する関数であること
    を特徴とする請求項１から１０の何れか一項に記載の学習装置。
12. 対象画像を示す推論用入力データを取得する推論側データ取得部と、
    入力される画像から、前記入力される画像とは別の画像を推論するための学習モデルを用いて、前記対象画像から出力画像を推論する推論部と、を備え、
    前記学習モデルは、入力画像から推論された推論画像と、前記入力画像に対応する正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように学習されたモデルであり、
    前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となること
    を特徴とする推論装置。
13. コンピュータを、
    入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得する学習側データ取得部、及び、
    前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成するモデル生成部、として機能させるプログラムであって、
    前記モデル生成部は、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習を行い、
    前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となること
    を特徴とするプログラム。
14. コンピュータを、
    対象画像を示す推論用入力データを取得する推論側データ取得部、及び、
    入力される画像から、前記入力される画像とは別の画像を推論するための学習モデルを用いて、前記対象画像から出力画像を推論する推論部、として機能させるプログラムであって、
    前記学習モデルは、入力画像から推論された推論画像と、前記入力画像に対応する正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように学習されたモデルであり、
    前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となること
    を特徴とするプログラム。
15. 入力画像を示す学習用入力データ及び前記入力画像に対応する正解画像を示す正解データを含む学習用データセットを取得し、
    前記学習用データセットを用いて学習を行うことで、対象画像から出力画像を推論するための学習モデルを生成する学習方法であって、
    前記学習モデルを生成する過程では、前記入力画像から推論された推論画像と、前記正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように前記学習が行われ、
    前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となること
    を特徴とする学習方法。
16. 対象画像を示す推論用入力データを取得し、
    入力される画像から、前記入力される画像とは別の画像を推論するための学習モデルを用いて、前記対象画像から出力画像を推論する推論方法であって、
    前記学習モデルは、入力画像から推論された推論画像と、前記入力画像に対応する正解画像との間の類似度を評価するための第一の評価値と、前記推論画像を構成する複数の色成分の内、少なくとも二つの色成分の関係する程度を評価するための第二の評価値と、を含む評価関数を用いて、前記推論画像が前記正解画像に近づくように学習されたモデルであり、
    前記第二の評価値は、前記少なくとも二つの色成分の関係する程度が強いほど小さい値となること
    を特徴とする推論方法。

Images