JP7455575B2 - 画像処理装置、画像処理方法、学習装置、学習方法、プログラムおよびシステム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、学習装置、学習方法、プログラムおよびシステムに関する。

近年、ニューラルネットワーク等を用いた機械学習により画像処理を行う技術が用いられている。ここで、ニューラルネットワークの学習が行われるときに用いられる画像のパターンが多くなると、ニューラルネットワークを大規模にする必要がある。従って、ニューラルネットワークの規模によっては、十分な画像処理性能を得ることができなくなることがある。関連する技術として、推定値を生成するときに、メモリの容量、ハードウェアの規模を小さくして、推定値の精度を向上させることを目的とした技術が特許文献１に提案されている。特許文献１の技術では、学習によって、予め予測値を作成するときに、ダイナミックレンジで正規化された値を代表値として用いるとともに、ダイナミックレンジが小さいブロックを学習対象から除外している。

特開平７－４６５４８号公報

特許文献１の技術では、入力データを正規化する処理が必要になり、処理が煩雑化する。また、特許文献１の技術では、ダイナミックレンジが小さいブロックが学習対象から除外されているため、多様なパターンの画像が機械学習されておらず、学習モデルを用いた画像処理の精度は低下する。

本発明は、学習モデルの規模が大きくなることを抑制しつつ、画像処理の性能を向上させることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、符号化された画像を復号した復号画像の画素値を所定の値で減算して加工画像を生成する減算手段と、前記加工画像の回復の推論を行う学習モデルを用いて、前記加工画像を入力とした推論処理を行う推論手段と、前記推論処理が行われた加工画像に、前記所定の値を加算する加算手段と、を備え、前記学習モデルは、符号化されていない学習用画像の画素値から前記所定の値を減算した画像を教師画像とし、符号化された学習用画像を復号した画像の画素値を前記所定の値で減算した学習用の加工画像を入力として学習されることを特徴とする。

本発明によれば、学習モデルの規模が大きくなることを抑制しつつ、画像処理の性能を向上させることができる。

コンピュータの機能ブロック図である。 第１実施形態における加工処理の流れを示すフローチャートである。 画像ブロックの一例を示す図である。 第１実施形態における画像加工方法を示す図である。 第１実施形態の学習処理の流れを示すフローチャートである。 画像処理装置の機能ブロック図である。 ニューラルネットワーク処理部の機能ブロック図である。 第１実施形態の画像加工処理、推論処理および画像回復処理の流れを示す図である。 第１実施形態の推論処理の流れを示すフローチャートである。 第２実施形態における画像加工方法を示す図である。 第２実施形態の画像加工処理、推論処理および画像回復処理の流れを示す図である。 第３実施形態における画像加工方法を示す図である。 第３実施形態の画像加工処理、推論処理および画像回復処理の流れを示す図である。 第４実施形態の学習処理の流れを示すフローチャートである。 第５実施形態のシステムを示す図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
以下、図面を参照して、第１実施形態について説明する。図１は、コンピュータ１０の機能ブロック図である。コンピュータ１０は、学習装置に対応する。例えば、コンピュータ１０は、クラウドサーバやエッジコンピュータ等であってよい。コンピュータ１０は、ＣＰＵ１１、メモリ１２、記憶装置１３、通信部１４および内部バス１５を有する。ＣＰＵ１１は、記憶装置１３に記憶されているコンピュータプログラムを実行することによって、内部バス１５を介してコンピュータ１０の各部（各機能ブロック）の動作を制御する。また、ＣＰＵ１１の動作を補助するＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、コンピュータプログラムの演算を行ってもよい。また、ＣＰＵ１１が行う処理は、ＧＰＵが行ってもよい。ＣＰＵ１１は、減算手段および学習手段に対応する。

メモリ１２は、書き換え可能な揮発性メモリである。メモリ１２は、コンピュータ１０の各部の動作を制御するためのコンピュータプログラムやコンピュータ１０の各動作に関する情報、ＣＰＵ１１が実行する処理の前後の情報等を一時的に記憶する。メモリ１２は、各情報を一時的に記憶するために十分な記憶容量を備えている。メモリ１２は、ニューラルネットワークの処理内容を記述したコンピュータプログラムや学習済み係数パラメータ等を記憶する。学習済み係数パラメータは、ニューラルネットワークの重み係数やバイアス値等である。重み係数は、ニューラルネットワークにおけるノード間の接続の強さを示す値である。バイアスは、重み係数と入力データの積算値に対してオフセットを与えるための値である。

記憶装置１３は、電気的に消去および記憶が可能なメモリである。記憶装置１３としては、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。記憶装置１３は、コンピュータ１０の各部を制御するコンピュータプログラムやメモリ１２に一時保存された処理結果等の情報を記憶する。通信部１４は、有線通信または無線通信により、後述する画像処理装置１００と通信を行う。また、通信部１４は、外部機器や周辺機器等と通信を行ってもよい。通信部１４は、記憶装置１３に記憶された情報を、外部機器や記録媒体等の周辺機器と送受信する。通信部１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に準拠した通信を行ってもよいし、ＩＥＥＥ８０２．１１等のような無線通信規格に準拠した通信を行ってもよい。ＣＰＵ１１、メモリ１２、記憶装置１３および通信部１４は、内部バス１５を介して相互にアクセス可能に構成されている。

次に、コンピュータ１０が行う学習（機械学習）について説明する。コンピュータ１０は、ニューラルネットワークの学習を行う。ニューラルネットワークは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってもよいし、全結合層で構成されるニューラルネットワークであってもよい。コンピュータ１０は、ニューラルネットワークの学習以外の機械学習手法を用いて、学習モデルを生成してもよい。例えば、コンピュータ１０は、サポートベクター回帰や決定木等の任意の機械学習手法を用いて、学習モデルの学習を行ってもよい。ニューラルネットワークの学習は、コンピュータ１０が行ってもよいし、後述する画像処理装置１００等の任意の装置が行ってもよい。機械学習が行われることにより、目的となる処理結果に対し、ニューラルネットワークの重み係数やバイアス値等の係数パラメータが調整されて、適切な値に近づいていく。

各実施形態では、コンピュータ１０は、ニューラルネットワークを用いた画像回復のための学習を行う。学習に用いられる学習データとしては、非圧縮画像（符号化処理および複合処理がされていない画像）、および非圧縮画像を符号化処理して複合処理した復号画像が用いられる。復号画像は、符号化処理および複合処理が施されているため、非圧縮画像と比べて画質が劣る。コンピュータ１０は、復号画像に対して所定の加工を施した加工画像を入力として、ニューラルネットワークの学習を行う。これにより、ニューラルネットワークの係数パラメータによる演算処理が行われる。演算処理が繰り返されることで、演算結果として出力される画像と非圧縮画像との画素値の誤差が小さくなるような学習が行われる。上述したニューラルネットワークを用いることで、画質が劣る復号画像の画素値を、画質が劣化していない非圧縮画像の画素値に近づけることができる。これにより、復号画像の画質が改善され、画像回復が実現される。

次に、学習処理を行うための学習用画像を加工する処理（加工処理）について説明する。加工処理は、学習用画像（学習データ）が、ニューラルネットワークに入力される前に行われる前処理である。図２は、第１実施形態における加工処理の流れを示すフローチャートである。図２に示されるフローチャートの各処理は、記憶装置１３に記憶されているコンピュータプログラムがメモリ１２に展開され、ＣＰＵ１１がメモリ１２のコンピュータプログラムを実行することにより実現されてもよい。Ｓ２０１において、ＣＰＵ１１は、画像分割を行って、所定サイズの画像ブロックを生成するかを判定する。加工処理の対象となる画像（学習データ）は、復号画像または非圧縮画像である。

例えば、ＣＰＵ１１は、入力された復号画像の画素平均値Ｐａｖｇが第１の閾値以上である場合に、画像分割を行うと判定してもよい。この場合、入力された復号画像の明るさが明るい場合に画像分割が行われる。明るい画像は画素値の振幅が大きくなる傾向にあるため、復号画像の分割が行われることが好ましい。これにより、画像全体と比べて、分割された画像ブロック内の振幅を小さくできる。また、ＣＰＵ１１は、入力された復号画像の画素最大値Ｐｍａｘと最小値Ｐｍｉｎの差Ｐｍａｘ－Ｐｍｉｎが第２の閾値以上である場合に、画像分割を行うと判定してもよい。つまり、入力された復号画像の画素間の差が大きい場合に、画像分割が行われる。復号画像の画素間の差が大きい場合、復号画像の分割が行われることが好ましい。これにより、画像全体と比べて、分割された画像ブロック内の振幅を小さくできる。第１の閾値および第２の閾値は、任意の値に設定されてもよい。ＣＰＵ１１が、画像分割を行うかの判定を行う基準となる値は、復号画像の画素の分散値や、画素中央値、画素最大値、画素最小値等の任意の値であってよい。

図３は、学習データを所定の画像サイズに分割した際の、画像ブロックの一例を示す図である。分割前の画像データが画像２１である。ＣＰＵ１１は、画像２１を分割することで、破線部で囲まれる画像ブロック２２を生成する。画像ブロックの分割サイズは、予め任意のサイズに設定されてもよい。また、画像ブロックの分割方法は、図３に示す方法に限定するものではない。図２に示されるように、Ｓ２０１において、ＣＰＵ１１は、画像分割を行うと判定した場合、処理をＳ２０２に進める。一方、Ｓ２０１において、ＣＰＵ１１は、画像分割を行わないと判定した場合、処理をＳ２０３に進める。この場合、Ｓ２０２の処理は実行されない。なお、画像分割の判定基準となる値は、複数入力される復号画像から決定されてもよいし、画像分割が行われないような値に設定されてもよい。

Ｓ２０２において、ＣＰＵ１１は、分割する対象の学習データの画像分割を実施する。ＣＰＵ１１は、画像分割を実施することで、学習される画像のサイズを小さくできる。これにより、画像全体の画素の振幅が大きくても、分割された画像ブロックでは画素の振幅を小さくできる。ＣＰＵ１１は、画像サイズを変更する所定の判定基準を下回るような画像サイズとなるように、画像ブロックを生成してもよい。画像サイズを変更する判定基準を下回れない場合、ＣＰＵ１１は、画像ブロックの最小サイズを予め決定しておき、最小サイズを基準として画像分割を行う。そして、ＣＰＵ１１は、処理をＳ２０３に進める。Ｓ２０３において、ＣＰＵ１１は、画像加工を行うかを判定する。ＣＰＵ１１は、入力された復号画像の画素最大値Ｐｍａｘと最小値Ｐｍｉｎとの差Ｐｍａｘ－Ｐｍｉｎが、第３の閾値以下であると判定した場合、画像加工を行わないと判定してもよい。第３の閾値は、第２の閾値と異なっていてもよいし、同じであってもよい。差Ｐｍａｘ－Ｐｍｉｎが小さい画像または画像ブロックは、画素の振幅が小さい。画素の振幅が小さい画像または画像ブロックは、画像加工を行うことにより得られる効果が少ない。このため、画像加工の処理が省略されることで、ＣＰＵ１１の処理負荷の軽減が図られる。

ＣＰＵ１１は、画像加工を行うと判定した場合、処理をＳ２０４に進める。一方、ＣＰＵ１１は、画像加工を行わないと判定した場合、処理を終了させる。この場合、Ｓ２０４の処理は実行されない。なお、判定基準となる第１の閾値、第２の閾値および第３の閾値は、事前に決定されてもよいし、複数入力される復号画像から設定されてもよい。Ｓ２０４において、ＣＰＵ１１は、加工すると判定した画像を、画像加工する。ＣＰＵ１１は、Ｓ２０４が実行された後、処理を終了させる。

図４は、第１実施形態における画像加工方法を示す図である。図４における学習データ３１は、加工すると判定した学習データである。学習データは、非圧縮画像３２および非圧縮画像３２に対して符号化処理および復号処理を施すことで画質が劣化した復号画像３３を含む。画素最小値計算部３４は、非圧縮画像３２と復号画像３３とのそれぞれについて、順に全画素を読み込み、最も小さな画素値を更新していく。これにより、各画像の画素最小値が算出される。最小値比較部３５は、算出された２つの画素最小値の比較結果に基づいて、より小さな値を画像加工に用いる加工値とする。つまり、非圧縮画像３２の各画素と復号画像３３の各画素とのうち、最小値の画素が所定の値となる。減算部３６では、非圧縮画像３２と復号画像３３とのそれぞれの各画素を加工値（画素最小値）で減算する。加工値で減算された非圧縮画像３２は、加工非圧縮画像３７となる。また、加工値で減算された復号画像３３は、加工復号画像３８となる。加工復号画像３８は、教師画像に対応する。加工復号画像３８は、学習用復号画像に対応する。加工非圧縮画像３７および加工復号画像３８はセットとなり、加工済み学習データ３９となる。

次に、ニューラルネットワークの学習処理の流れについて説明する。図５は、第１実施形態の学習処理の流れを示すフローチャートである。上述したように、学習データは、加工される場合と加工されない場合とがある。ＣＰＵ１１は、加工済み学習データ３９、または非加工学習データ（画像の加工がされていない学習データ３１）を用いて、ニューラルネットワークの学習を行う。また、ＣＰＵ１１は、ニューラルネットワークの学習を、加工済み学習データ３９と非加工学習データとを別で行い、且つ画像ブロックのサイズごとに行う。つまり、ＣＰＵ１１は、加工済み学習データ３９を用いて学習されたニューラルネットワークと非加工学習データを用いて学習されたニューラルネットワークとを個別的に生成する。また、ＣＰＵ１１は、画像ブロックごとに、加工済み学習データ３９または非加工学習データを用いて学習されたニューラルネットワークを個別的に生成する。従って、ＣＰＵ１１は、複数のニューラルネットワークを生成する。

Ｓ５０１において、ＣＰＵ１１は、メモリ１２に展開されている、または記憶装置１３に格納されている加工済み学習データ３９もしくは非加工学習データを、加工済みグループと非加工グループに分ける。そして、ＣＰＵ１１は、それぞれのグループにおいて、画像ブロックのサイズごとに分けた画像セットを生成する。その後、ＣＰＵ１１は、処理をＳ５０２に進める。Ｓ５０２において、ＣＰＵ１１は、入力した復号画像を用いて、画像セットごとに、ニューラルネットワークの学習を行う。このとき、ＣＰＵ１１は、ニューラルネットワークの係数パラメータを調整する演算処理を行う。ＣＰＵ１１は、演算結果として出力される画像と教師画像との画素値の差が小さくなるように学習をする。ＣＰＵ１１は、画像セットごとにニューラルネットワークの学習を行うため、複数のニューラルネットワークの学習が行われる。その後、ＣＰＵ１１は、処理をＳ５０３に進める。ニューラルネットワークの学習は、予め決められた回数まで行われる。Ｓ５０３において、ＣＰＵ１１は、ニューラルネットワークの学習が、予め決められた回数に達したかを判定する。ＣＰＵ１１は、Ｓ５０３でＹｅｓと判定した場合、処理をＳ５０２に戻る。一方、ＣＰＵ１１は、Ｓ５０３でＮｏと判定した場合、処理を終了させる。予め決められた回数は、任意に設定可能である。

次に、画像処理装置１００について説明する。図６は、画像処理装置１００の機能ブロック図である。図６に示すように、画像処理装置１００は、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、操作部１０４およびニューラルネットワーク処理部１０５を有する。また、画像処理装置１００は、撮像部１１２、画像処理部１１３、符号化処理部１１４、復号処理部１１５、表示制御部１１６および表示部１１７を有する。さらに、画像処理装置１００は、通信制御部１１８、通信部１１９、記録媒体制御部１２０および内部バス１３０を有する。画像処理装置１００は、撮影レンズ１１１を用いて被写体の光学像を撮像部１１２の画素アレイに結像する。撮影レンズ１１１は、画像処理装置１００のボディ（筐体、本体）から、着脱不能であってもよいし、着脱可能であってもよい。また、画像処理装置１００は、記録媒体制御部１２０を介して画像データの書き込みおよび読み出しを記録媒体１２１に対して行う。記録媒体１２１は、画像処理装置１００に着脱可能であってもよいし、着脱不能であってもよい。画像処理装置１００は、撮像装置に対応する。

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、内部バス１３０を介して画像処理装置１００の各部（各機能ブロック）の動作を制御する。メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、画像処理装置１００の各部の動作を制御するためのコンピュータプログラムや画像処理装置１００の各部の動作に関するパラメータ等の情報、通信制御部１１８によって受信される情報等を一時的に記憶する。また、メモリ１０２は、撮像部１１２が取得する画像や画像処理部１１３、符号化処理部１１４、復号処理部１１５等が処理した画像および情報を一時的に記憶する。メモリ１０２は、処理された画像や情報を一時的に記憶するために十分な記憶容量を備えている。また、メモリ１０２は、ニューラルネットワーク処理部１０５で使用するニューラルネットワークの処理内容を記述したコンピュータプログラム、重み係数やバイアス値等の学習済み係数パラメータを記憶する。

不揮発性メモリ１０３は、電気的に消去および記憶が可能なメモリであり、例えばＥＥＰＲＯＭやハードディスク等が用いられる。不揮発性メモリ１０３は、画像処理装置１００の各部の動作を制御するコンピュータプログラムおよび画像処理装置１００の各部の動作に関するパラメータ等の情報を記憶する。該コンピュータプログラムにより、画像処理装置１００によって行われる各種動作が実現される。なお、不揮発性メモリ１０３に、上述したニューラルネットワーク処理部１０５で使用するニューラルネットワークの処理内容を記述したコンピュータプログラムおよび学習済み係数パラメータ（重み係数やバイアス値等）が記憶されてもよい。

操作部１０４は、画像処理装置１００を操作するためのユーザインターフェースを提供する。操作部１０４は、電源ボタンやメニューボタン、撮影用のレリーズボタン、動画録画ボタン、キャンセルボタン等の各種ボタンを含んでいる。操作部１０４は、各種ボタンはスイッチやタッチパネル等により構成され得る。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザーの指示に従って画像処理装置１００を制御する。なお、画像処理装置１００の制御は、操作部１０４を介して入力される操作に基づいて行われてもよいが、他の手法で行われてもよい。例えば、所定のリモートコントローラや所定の携帯端末等から通信部１１９を介して入力される要求に基づいて、ＣＰＵ１０１が画像処理装置１００を制御してもよい。ニューラルネットワーク処理部１０５の詳細な説明については後述する。

撮影レンズ１１１（レンズユニット）は、ズームレンズやフォーカスレンズ等を含むレンズ群やレンズ制御部、絞り等により構成される。撮影レンズ１１１は、画角を変更するズーム手段として機能し得る。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整および絞り値（Ｆ値）の制御を行う。撮像部１１２は、動画像を構成する複数の画像を順次取得する取得手段として機能し得る。撮像部１１２としては、例えば、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等でのエリアイメージセンサが用いられる。撮像部１１２は、被写体の光学像を電気信号に変換する光電変換部が行列状、すなわち、２次元的に配列された画素アレイを有している。該画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２は、撮像した画像を画像処理部１１３またはメモリ１０２に出力する。撮像部１１２は、静止画像を取得することも可能である。

画像処理部１１３は、撮像部１１２が出力する画像データ、またはメモリ１０２から読み出された画像データに対して、所定の画像処理を施す。該画像処理の例としては、ダイナミックレンジ変換処理や補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部１１３は、撮像部１１２が取得した画像データを用いて、露光制御や測距制御等のための所定の演算処理を行う。ＣＰＵ１０１は、画像処理部１１３が行う演算処理によって得られた演算結果に基づいて、露光制御や測距制御等を行う。具体的には、ＣＰＵ１０１は、ＡＥ（自動露出）処理やＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等を行う。

符号化処理部１１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）やフレーム間予測符号化（画面間予測符号化）等を行う。符号化処理部１１４は、符号化手段に対応する。これにより、画像データのサイズが圧縮される。符号化処理部１１４は、例えば、半導体素子等により構成された符号化装置である。符号化処理部１１４は、画像処理装置１００の外部に設けられた符号化装置であってもよい。復号処理部１１５は、符号化処理部１１４が符号化処理した圧縮データを復号することで、復号画像を生成する。

表示制御部１１６は、表示部１１７を制御する。表示部１１７には、表示画面が設けられる。表示制御部１１６は、表示部１１７に設けられる表示画面に表示可能な画像を生成し、生成された画像（画像信号）を表示部１１７に出力する。また、表示制御部１１６は表示部１１７に画像データを出力するだけでなく、通信制御部１１８を介して外部機器２５０に画像データを出力することも可能である。表示制御部１１６は、ＧＰＵにより実現されてもよい。この場合、ニューラルネットワーク処理部１０５の処理の一部または全部は、表示制御部１１６により実現されてもよい。

表示部１１７は、表示制御部１１６から送られてくる画像信号に基づいて、表示画面に画像を表示する。表示部１１７は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を有している。表示制御部１１６は、画像信号にＯＳＤ画像を重畳して表示部１１７に画像信号を出力し得る。表示部１１７は、液晶ディスプレイや有機ＥＬディスプレイ等により構成されており、表示制御部１１６から送られてきた画像信号を表示する。表示部１１７は、例えばタッチパネルディスプレイであってもよい。表示部１１７がタッチパネルディスプレイである場合、表示部１１７は、操作部１０４としても機能し得る。

通信制御部１１８は、ＣＰＵ１０１により制御される。通信制御部１１８は、通信部１１９を用いた通信制御を行う。通信部１１９は、有線通信または無線通信により、外部機器２５０と通信を行う。また、通信部１１９は、コンピュータ１０と通信を行い、コンピュータ１０により学習されたニューラルネットワークを取得する。通信制御部１１８は、ＨＤＭＩ(登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠した映像信号を送るために、通信部１１９を制御してもよい。

記録媒体制御部１２０は、記録媒体１２１を制御する。記録媒体制御部１２０は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２１を制御するための制御信号を記録媒体１２１に出力する。記録媒体１２１としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２１は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２１は、符号化された画像データ等を記録する。記録媒体１２１のファイルシステムに適合した形式で画像データ等がファイルとして保存される。各機能ブロック１０１～１０５、１１２～１１６、１１８および１２０は、内部バス１３０を介して相互にアクセス可能である。

次に、ニューラルネットワーク処理部１０５について説明する。ニューラルネットワーク処理部１０５は、ＧＰＵや推論処理に特化したプログラミング回路等により実現されてもよい。図７は、ニューラルネットワーク処理部１０５の機能ブロック図である。ニューラルネットワーク処理部１０５は、予めコンピュータ１０によって学習された学習済みの係数パラメータを用いてニューラルネットワークの処理を実行する。また、ニューラルネットワーク処理部１０５は、ニューラルコア１４０を有する。ニューラルコア１４０は、ＣＰＵ１４１、積和演算回路１４２、ＤＭＡ１４３および内部メモリ１４４を含む。ニューラルコア１４０は、例えば、ＧＰＵや推論処理に特化したプログラミング回路等により実現されてもよい。ＣＰＵ１４１は、内部バス１３０を介してメモリ１０２または不揮発性メモリ１０３に記憶されているニューラルネットワークの処理内容を実行する。ニューラルネットワークの処理内容は、内部メモリ１４４に記憶されていてもよい。また、ＣＰＵ１４１は積和演算回路１４２およびＤＭＡ１４３の制御も行う。ニューラルネットワーク処理部１０５は、推論手段に対応する。

積和演算回路１４２は、ニューラルネットワークにおける積和演算を行う回路である。積和演算回路１４２は、複数の積和演算回路を有し、各積和演算回路は並列に演算処理を実行することが可能である。ＤＭＡ１４３は、ＣＰＵ１４１を介さずにデータ転送に特化した回路であり、内部バス１３０を介してメモリ１０２または不揮発性メモリ１０３と内部メモリ１４４間のデータ転送を行う。また、ＤＭＡ１４３は、積和演算回路１４２と内部メモリ１４４との間のデータ転送制御も行う。ＤＭＡ１４３が転送するデータとしては、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路１４２で算出した中間データ等である。内部メモリ１４４は、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路１４２で算出した中間データ等を記憶する。また、内部メモリ１４４は複数のバンクを有してもよく、動的にバンクが切り替えられてもよい。

次に、推論処理について説明する。推論処理は、上述した学習方法により学習されたニューラルネットワークを用いて、復号画像の劣化を回復する処理である。画像処理装置１００は、復号処理部１１５が復号した復号画像の推論処理を実行する。推論処理を行う主体は、画像処理装置１００には限定されない。例えば、コンピュータ１０や、クラウドに代表されるネットワークを利用した外部機器が、推論処理を行ってもよい。また、符号化処理部１１４において、非圧縮画像の画素最小値がファイル情報として保持されてもよい。ファイル情報は、画像１枚ごとに保持されてもよいし、画像ブロックごとに保持されてもよいし、複数の画像ごとに保持されてもよい。

ＣＰＵ１０１は、推論において、図２の学習における画像加工処理と一部の処理を除き、同様の処理を実行する。推論と学習では、図２のＳ２０４の画像加工処理の内容が異なる。図８（Ａ）および（Ｂ）は、第１実施形態の画像加工処理、推論処理および画像回復処理の流れを示す図である。図８における各部のうち推論処理部１５７以外の各部は、ＣＰＵ１０１により実現される。例えば、ＣＰＵ１０１が所定のプログラムを実行することにより、推論処理部１５７以外の各部の処理が行われる。図８（Ａ）は、符号化処理部１１４において、１つの復号画像１５２および非圧縮画像の画素最小値１５１がファイル情報として保持されている例を示す。このファイル情報は、メモリ１０２や不揮発性メモリ１０３、記録媒体１２１等に保持される。なお、以下、各値および各画像は、所定の記憶部に記憶されてもよい。

画素最小値計算部１５３は、復号画像１５２の画素最小値を算出する。比較部１５４は、求められた復号画像１５２の画素最小値と符号化の時点でファイル情報として保存された非圧縮画像の画素最小値１５１とを比較する。比較部１５４は、比較結果に基づいて、２つの画素最小値のうち小さい方の画素最小値を加工値として、減算部１５５に出力する。つまり、加工値（所定の値）は、復号画像１５２の画素値と非圧縮画像の画素値とのうち最小となる画素値である。減算部１５５は、復号画像の各画素から上記加工値を減算する減算手段である。減算部１５５は、加工値が減算された復号画像を加工復号画像１５６として生成する。上述したファイル情報が、非圧縮画像の画素最小値を保持していない場合、図８（Ｂ）に示されるように、加工値は、復号画像１５２の画素最小値となる。この場合、減算部１５５は、復号画像１５２の各画素から、復号画像１５２の画素最小値を減算して、加工復号画像１５６として出力する。加工復号画像１５６は、加工画像に対応する。

加工復号画像１５６は、推論処理部１５７に入力される。推論処理部１５７は、図７のニューラルネットワーク処理部１０５に対応する。従って、加工復号画像１５６は、ニューラルネットワーク処理部１０５に入力されて、学習済みのニューラルネットワークを用いた推論処理が行われる。ニューラルネットワーク処理部１０５は、復号画像の回復処理を、ニューラルネットワークを用いた推論処理により行う。従って、推論処理部１５７は、推論結果として、推論による回復処理を行った加工回復画像１５８を出力する。加算部１５９は、比較部１５４が減算部１５５に出力した画素最小値を取得し、取得した画素最小値を加工回復画像１５８に加算する加算手段である。これにより、符号化処理部１１４の処理前の非圧縮画像に近い、回復画像１６０が得られる。

次に、ニューラルネットワーク処理部１０５を用いた推論処理について説明する。図９は、第１実施形態の推論処理の流れを示すフローチャートである。Ｓ９０１において、ＣＰＵ１０１は、画像分割を行うかを判定する。ＣＰＵ１０１は、図２のＳ２０１と同様の手法で、画像分割を行うかを判定してもよい。ＣＰＵ１０１は、画像分割を行うと判定した場合、処理をＳ９０４に進める。一方、ＣＰＵ１０１は、画像分割を行わないと判定した場合、処理をＳ９０４に進める。Ｓ９０２において、ＣＰＵ１０１は、図２のＳ２０２と同様の手法で、画像分割を行う。これにより、複数の画像ブロックが生成される。

Ｓ９０３において、ＣＰＵ１０１は、ニューラルネットワーク処理部１０５に、ニューラルネットワークの切り替えを実行させる。このとき、ＣＰＵ１０１は、画像ブロックのサイズごとに対応するニューラルネットワークの処理内容へ変更するため、ニューラルネットワーク処理部１０５のＣＰＵ１４１に対して処理の命令を実行させる。ＣＰＵ１４１は、ＣＰＵ１０１からの命令に基づいて、メモリ１０２、不揮発性メモリ１０３または内部メモリ１４４から、実行対象のニューラルネットワークの処理内容を記述したコンピュータプログラムを取得して、切り替えを行う。そして、ＣＰＵ１０１は、処理をＳ９０４に進める。

Ｓ９０４において、ＣＰＵ１０１は、推論処理を行う。このとき、ＣＰＵ１４１で処理するためのプログラムを読み込み、ＣＰＵ１４１を起動させる。起動したＣＰＵ１４１は、実行対象のニューラルネットワークの処理内容を記述したコンピュータプログラムを実行する。内部メモリ１４４には加工復号画像１５６が展開されており、ニューラルネットワーク処理部１０５は、積和演算回路１４２による積和演算等を行うことにより、ニューラルネットワークを用いた推論処理を行う。そして、ＣＰＵ１０１は、処理を終了させる。

上述したように、本実施形態では、コンピュータ１０は、復号画像の各画素から画素最小値を減算して加工し、加工復号画像を入力としたニューラルネットワークの学習を行う。これにより、ニューラルネットワークを用いた学習を行うための画像の情報量を削減できるとともに、ニューラルネットワークによる演算パターンを少なくすることができる。その結果、ニューラルネットワークの規模が大きくなることを抑制しつつ、効率的なニューラルネットワークの学習を実現できる。また、画像処理装置１００は、復号画像の各画素から画素最小値を減算して加工し、加工復号画像を入力としたニューラルネットワーク処理部１０５による推論処理を行う。そして、画像処理装置１００は、推論された加工回復画像の各画素に画素最小値を加算する。これにより、ニューラルネットワークの規模を抑制しつつ、画像回復処理の性能を向上させることができる。また、推論処理の処理量が低減するため、推論処理の処理時間も短縮される。

上述したように、学習を行う対象は、ニューラルネットワーク以外の学習モデルであってもよい。この場合でも、学習モデルの規模を抑制しつつ効率的な学習を行うことができるとともに、画像回復処理の性能を向上させることができる。また、コンピュータ１０および画像処理装置１００は、画素最小値ではなく、所定の値を、復号画像から減算してもよい。所定の値は、任意に設定されてもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。第１実施形態では、画素最小値が用いられたが、第２実施形態では、画素平均値が用いられる。第１実施形態と重複する部分については、説明を省略する。図１０は、第２実施形態における画像加工方法を示す図である。図１０の画像加工方法は、ＣＰＵ１１が行う。第１実施形態と同様、学習データ１７１は加工すると判定された学習データである。学習データ１７１は、非圧縮画像１７２および復号画像１７３を含む。復号画像１７３は、非圧縮画像１７２を符号化処理および復号処理することで画質が劣化する画像である。画素平均値計算部１７４は、非圧縮画像１７２と復号画像１７３との各画像について、順に全画素を読み込み、画素値の総和から画素数で除算をする。これにより、各画像の画素平均値Ｐａｖｇが算出される。ＣＰＵ１１は、画素平均値Ｐａｖｇを画像加工に用いる加工値とする。減算部１７５は、非圧縮画像１７２と復号画像１７３とのそれぞれの各画素から加工値（画素平均値Ｐａｖｇ）を減算する。減算された結果が、加工非圧縮画像１７６および加工復号画像１７７となる。加工済み学習データ１７８は、加工非圧縮画像１７６および加工復号画像１７７を含む。加工非圧縮画像１７６は、教師画像となる。

画像処理装置１００は、学習済みのニューラルネットワークを用いて、復号処理部１１５で復号された復号画像の推論を行う。図１１は、第２実施形態の画像加工処理、推論処理および画像回復処理の流れを示す図である。画素平均値計算部１８２は、復号画像１８１から算出される画素平均値を算出する。上述したように、画素平均値は加工値である。減算部１８３では、復号画像の各画素から加工値を減算し、加工復号画像１８４を出力する。推論処理部１８５は、ニューラルネットワーク処理部１０５において、第１実施形態と同様の推論処理を行う。つまり、ニューラルネットワーク処理部１０５に対して、加工復号画像１８４が入力されると、ニューラルネットワーク処理部１０５は、加工回復画像１８６を出力する。加算部１８７は、加工回復画像１８６の各画素に対して、加工値である画素平均値Ｐａｖｇを加算する。これにより、符号化処理部１１４の処理前の非圧縮画像に近い、回復画像１８８が得られる。第２実施形態では、加工値として画素平均値が用いられるが、第１実施形態と同様の効果を得ることができる。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態では、画素フルスケールの半分の値から画素平均値を減算した値が加工値として用いられる。第１実施形態と重複する部分については、説明を省略する。図１２は、第３実施形態における画像加工方法を示す図である。学習データ１９１は、加工すると判定された非圧縮画像１９２および復号画像１９３を含む。復号画像１９３は、非圧縮画像１９２を符号化処理および復号処理することで画質が劣化した画像である。画素平均値計算部１９４は、復号画像１９３の画素平均値Ｐａｖｇを算出する。

半分値１９５は、画素フルスケールの半分の値であり、予め算出されている。例えば、画素フルスケールの半分の値は、１４ｂｉｔの画像であれば、「２」の「１４乗」から「２」で除算した値「８１９２」となる。減算部１９６は、画素フルスケールの半分の値Ｐｍｉｄから画素平均値Ｐａｖｇを減算し、差Ｐｍｉｄ－Ｐａｖｇを求める。本実施形態では、差Ｐｍｉｄ－Ｐａｖｇは、負の値となる。減算部１９６が減算した結果は、画像加工に用いる加工値である。つまり、加工値は負の値になる。加算部１９７は、非圧縮画像と復号画像とのそれぞれの各画素について加工値を加算する。上述したように、加工値は負の値になるため、加算部１９７は、実質的には、減算部として機能する。これにより、加工非圧縮画像１９８および加工復号画像１９９を含む加工済み学習データ２００が得られる。加工非圧縮画像１９８は、教師画像となる。

次に、学習されたニューラルネットワークを用いた推論について説明を行う。画像処理装置１００は、復号処理部１１５が復号した復号画像の推論を実施する。図１３は、第３実施形態の画像加工処理、推論処理および画像回復処理の流れを示す図である。画素平均値計算部２１２は、復号画像２１１の画素平均値を算出する。減算部２１４は、画素フルスケールの半分の値２１３から画素平均値を減算する。減算された値は加工値である。加算部２１５は、復号画像に加工値を加算する。加工値は負の値であるため、加工復号画像２１６の各画素の画素値は、復号画像２１１の各画素の画素値から減算される。

推論処理部２１７は、ニューラルネットワーク処理部１０５であり、第１実施形態と同様の推論処理が行われる。これにより、加工復号画像２１６の回復処理が行われる。減算部２１９は、推論処理部２１７により回復処理がされた加工回復画像２１８に対して、加工値を減算する。加工値は負の値であるため、減算部２１９は、加算処理を行う。これにより、符号化処理部１１４による符号化処理前の非圧縮画像に近い回復画像２２０が得られる。

＜第４実施形態＞
次に、第４実施形態について説明する。第１実施形態では、コンピュータ１０は、図２のＳ２０３の判定結果により、画像は加工されるか、または加工されない。また、第１実施形態では、コンピュータ１０は、図５のＳ５０１で、画像ブロックのサイズごとに分けた、画像セットを生成する。第４実施形態では、画像セットの生成は行われることなく、ニューラルネットワークの切り替えが行われる。

図１４は、第４実施形態の学習処理の流れを示すフローチャートである。ＣＰＵ１１は、加工済み学習データ３９または、画像の加工がなされなかった非加工学習データを用いて、学習を行う。第１実施形態と同様、加工済み学習データ３９を用いた学習と非加工学習データを用いた学習とは別で行われる。Ｓ１４０１において、ＣＰＵ１１は、画像分割が実施済みであるかを判定する。ＣＰＵ１１は、例えば、メモリ１２に展開されている画像のサイズ、または記憶装置１３に格納されている画像のサイズを計算し、計算結果に基づいて、画像分割が実施済みであるかを判定してもよい。

ＣＰＵ１１は、画像分割が実施済みであると判定した場合、処理をＳ１４０２に進める。一方、ＣＰＵ１１は、画像分割が実施済みでないと判定した場合、処理をＳ１４０３に進める。Ｓ１４０２において、ＣＰＵ１１は、画像サイズごとに対応するニューラルネットワークで構成される学習モデルを生成するため、学習モデルを切り替える。ＣＰＵ１１は、学習モデルを切り替えることで、画像サイズごとに異なる学習モデルを用いて学習を行う。そして、ＣＰＵ１１は、処理をＳ１４０３に進める。

Ｓ１４０３において、ＣＰＵ１１は、入力した復号画像を用いて、ニューラルネットワークの学習を行う。ＣＰＵ１１は、ニューラルネットワークの係数パラメータを調整する演算処理を行う。ＣＰＵ１１は、演算結果として出力される画像と教師画像（加工非圧縮画像３７）との画素値の差が小さくなるように学習をする。そして、ＣＰＵ１１は、処理をＳ１４０４に進める。Ｓ１４０４において、ＣＰＵ１１は、各ニューラルネットワークの学習が、予め決められた回数に達したかを判定する。ＣＰＵ１１は、予め決められた回数に達していないと判定した場合、処理をＳ１４０１に戻す。一方、ＣＰＵ１１は、予め決められた回数に達したと判定した場合、処理を終了させる。

第４実施形態では、学習セットの生成は行われることなく第１実施形態と同様の学習結果を得ることができる。従って、学習セットの生成という処理を省略でき、且つ第１実施形態と同様の効果を得ることができる。

＜第５実施形態＞
次に、第５実施形態について説明する。上述した各実施形態では、画像処理装置１００が、ニューラルネットワーク処理部１０５および符号化処理部１１４を有している例を説明した。第５実施形態では、ニューラルネットワーク処理部１０５の機能と符号化処理部１１４の機能とは異なる機器により実現される。図１５は、画像処理装置１００と外部機器２５０とがネットワークを介して通信可能に接続されているシステムを示す図である。画像処理装置１００は、符号化処理部１１４を有している。外部機器２５０は、推論処理を行うサーバ等である。

外部機器２５０は、画像回復部２６０、記憶部２７０、復号部２８０、画像加工部２９０および加算部２９５を有する機器である。画像回復部２６０は、ニューラルネットワークを用いて推論処理を行う。記憶部２７０は、所定の情報を記憶するストレージデバイス等である。復号部２８０は、符号化処理部１１４により符号化された符号化画像を復号して、復号画像を得る。画像加工部２９０は、復号画像の加工を行う。画像処理装置１００は、符号化処理部１１４が符号化し圧縮した符号化画像を、ネットワーク通信により外部機器２５０に送信する。外部機器２５０は、受信した符号化画像を記憶部２７０に記憶する。復号部２８０は、記憶部２７０に記憶された符号化画像を復号し、復号画像を得る。

画像加工部２９０は、第１実施形態での画像処理装置１００と同様の画像の加工を行う。つまり、画像加工部２９０は、復号画像の各画素の画素値から画素最小値や画素平均値等の所定の値を減算する減算部としての機能を有する。画像回復部２６０は、ニューラルネットワーク処理部１０５と同様の処理を行う。つまり、画像回復部２６０は、加工された復号画像を入力として、ニューラルネットワークを用いた推論を行い、加工回復画像を得る。加算部２９５は、画像加工部２９０が減算に用いた所定の値を加算する。これにより、回復画像が生成される。生成された回復画像は記憶部２７０に記憶される。画像処理装置１００は、記憶部２７０に記憶されている回復画像を、ネットワーク通信を用いて、取得できる。

以上のように、第５実施形態では、画像の回復や復号、加工等の処理は、画像処理装置１００とは異なる機器で行われる。画像処理装置１００と外部機器２５０との間では、画像以外の情報を相互に通知することも可能である。画像処理装置１００は、ネットワーク通信を介して、画像のファイル情報を独立ファイルとしてサーバに送信することも可能である。以上の説明のように、符号化処理部１１４と画像回復部２６０とが異なる機器であっても、第１実施形態と同様の効果を得ることができる。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ コンピュータ
１１ ＣＰＵ
３４ 画素最小値計算部
３６ 減算部
１００ 画像処理装置
１０１ ＣＰＵ
１０５ ニューラルネットワーク処理部
１１４ 符号化処理部
１１５ 復号処理部
１５９ 加算部
２５０ 外部機器

Claims (21)

1. 符号化された画像を復号した復号画像の画素値を所定の値で減算して加工画像を生成する減算手段と、
   前記加工画像の回復の推論を行う学習モデルを用いて、前記加工画像を入力とした推論処理を行う推論手段と、
   前記推論処理が行われた加工画像に、前記所定の値を加算する加算手段と、を備え、
   前記学習モデルは、符号化されていない学習用画像の画素値から前記所定の値を減算した画像を教師画像とし、符号化された学習用画像を復号した画像の画素値を前記所定の値で減算した学習用の加工画像を入力として学習されることを特徴とする画像処理装置。
2. 前記所定の値は、前記復号画像と前記教師画像とのうち最小の画素値であるか、または前記復号画像の最小値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記最小の画素値は、前記復号画像とともにファイル情報として保持されることを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の値は、前記復号画像の画素平均値であることを特徴とする請求項１に記載の画像処理装置。
5. 前記所定の値は、画素フルスケールの半分の値から前記復号画像の画素平均値を減算した値であることを特徴とする請求項１に記載の画像処理装置。
6. 前記推論手段は、前記復号画像を分割した複数の画像ブロックのそれぞれに対応する学習モデルを用いて推論処理を行うことを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。
7. 前記画像ブロックのサイズに応じて、複数の学習モデルのうち、推論される学習モデルが切り替えられることを特徴とする請求項６に記載の画像処理装置。
8. 符号化された画像を復号した復号画像の画素値を所定の値で減算して加工画像を生成する減算手段と、
   符号化されていない画像の画素値から前記所定の値を減算した画像を教師画像とし、前記加工画像を入力とした、前記復号画像の回復に用いられる学習モデルの学習を行う学習手段と、
   を備えることを特徴とする学習装置。
9. 前記復号画像を分割した複数の画像ブロックのそれぞれに対応して、前記学習モデルの学習が行われることを特徴とする請求項８に記載の学習装置。
10. 前記復号画像の画素平均値が第１の閾値以上であるかに基づいて、前記復号画像を分割するかの判定が行われることを特徴とする請求項９に記載の学習装置。
11. 前記復号画像の画素最大値と画素最小値との差が第２の閾値以上であるかに基づいて、前記復号画像を分割するかの判定が行われることを特徴とする請求項９に記載の学習装置。
12. 前記復号画像が分割される場合、前記復号画像を分割した複数の画像ブロックのそれぞれのサイズに応じて、学習を行う学習モデルが切り替えられることを特徴とする請求項１０または１１に記載の学習装置。
13. 前記復号画像の画素値が第３の閾値以下であるかに基づいて、前記所定の値を減算して前記加工画像を生成する処理を行うかの判定が行われることを特徴とする請求項８乃至１２のうち何れか１項に記載の学習装置。
14. 前記所定の値は、前記復号画像と前記教師画像とのうち最小の画素値であることを特徴とする請求項８乃至１３のうち何れか１項に記載の学習装置。
15. 前記所定の値は、前記復号画像の画素平均値であることを特徴とする請求項８乃至１３のうち何れか１項に記載の学習装置。
16. 前記所定の値は、画素フルスケールの半分の値から前記復号画像の画素平均値を減算した値であることを特徴とする請求項８乃至１３のうち何れか１項に記載の学習装置。
17. 符号化された画像を復号した復号画像の画素値を所定の値で減算して加工画像を生成する工程と、
    前記加工画像の回復の推論を行う学習モデルを用いて、前記加工画像を入力とした推論処理を行う工程と、
    前記推論処理が行われた加工画像に、前記所定の値を加算する工程と、を備え、
    前記学習モデルは、符号化されていない学習用画像の画素値から前記所定の値を減算した画像を教師画像とし、符号化された学習用画像を復号した画像の画素値を前記所定の値で減算した学習用の加工画像を入力として学習されることを特徴とする画像処理方法。
18. 符号化された画像を復号した復号画像の画素値を所定の値で減算して加工画像を生成する工程と、
    符号化されていない画像の画素値から前記所定の値を減算した画像を教師画像とし、前記加工画像を入力とした、前記復号画像の回復に用いられる学習モデルの学習を行う工程と、
    を備えることを特徴とする学習方法。
19. 請求項１乃至７のうち何れか１項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。
20. 請求項８乃至１６のうち何れか１項に記載の学習装置の各手段をコンピュータに実行させるためのプログラム。
21. 機器と画像処理装置とが相互に通信可能なシステムであって、
    前記機器は、
    画像を符号化する符号化手段、を備え、
    前記画像処理装置は、
    符号化された画像を復号した復号画像の画素値を所定の値で減算して加工画像を生成する減算手段と、
    前記加工画像の回復の推論を行う学習モデルを用いて、前記加工画像を入力とした推論処理を行う推論手段と、
    前記推論処理が行われた加工画像に、前記所定の値を加算する加算手段と、を備え、
    前記学習モデルは、符号化されていない学習用画像の画素値から前記所定の値を減算した画像を教師画像とし、符号化された学習用画像を復号した画像の画素値を前記所定の値で減算した学習用の加工画像を入力として学習されることを特徴とするシステム。

Images