JP7212554B2 - 情報処理方法、情報処理装置、及びプログラム - Google Patents

情報処理方法、情報処理装置、及びプログラム Download PDF

Info

Publication number
JP7212554B2
JP7212554B2 JP2019041037A JP2019041037A JP7212554B2 JP 7212554 B2 JP7212554 B2 JP 7212554B2 JP 2019041037 A JP2019041037 A JP 2019041037A JP 2019041037 A JP2019041037 A JP 2019041037A JP 7212554 B2 JP7212554 B2 JP 7212554B2
Authority
JP
Japan
Prior art keywords
sensing data
image
noise
data
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019041037A
Other languages
English (en)
Other versions
JP2020042760A (ja
Inventor
アレット ステファノ
リガッツィオ ルカ
宗太郎 築澤
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP19194084.0A priority Critical patent/EP3620989A1/en
Priority to US16/558,908 priority patent/US11127117B2/en
Priority to CN201910830394.6A priority patent/CN110889803A/zh
Publication of JP2020042760A publication Critical patent/JP2020042760A/ja
Application granted granted Critical
Publication of JP7212554B2 publication Critical patent/JP7212554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理方法、情報処理装置、及びプログラムに関する。
多様なシーンの画像のノイズ除去に教師あり機械学習を適用した技術として、モンテカルロパストレーシングを用いた画像描画によるノイズ除去の手法が従来知られている（特許文献１参照）。
米国特許出願公開第２０１８／０２９３７１３号明細書
上記のノイズ除去の手法で用いられるデノイザは、多様なシーンすなわち多様なノイズに対応するための複数のニューラルネットワークを含むため多くの計算量を必要とする。そのため、このデノイザが実用的に実行可能な環境は限定される。
本開示は、複数種類のノイズを含むセンシングデータの変換の結果として当該複数種類のノイズ全体が低減されたセンシングデータを出力する単一の機械学習モデルを得ることが可能な情報処理方法等を提供する。
本開示の一態様に係る情報処理方法によって、コンピュータが、ノイズを含む第一センシングデータを取得し、前記第一センシングデータを単一の変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、前記第一センシングデータと同一又は対応する場面におけるノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータを取得し、前記第二センシングデータ及び前記第三センシングデータに基づいて、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報を取得し、前記第二センシングデータと、前記第二センシングデータの特徴情報とを変換データとして用い、前記第三センシングデータと、前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって前記変換器を訓練する。
また、本開示の一態様に係る情報処理装置は、プロセッサ及びメモリを備え、前記メモリは単一の変換器を記憶し、前記プロセッサは、撮像装置で生成された、ノイズを含む第一センシングデータを取得し、前記第一センシングデータを前記変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、取得された前記第二センシングデータを出力するように構成され、前記変換器は、前記第二センシングデータと、前記第二センシングデータに基づく前記第二センシングデータの特徴情報とを変換データとして用い、前記第一センシングデータと同一又は対応する場面における前記ノイズを含まないセンシングデータであって、前記第二センシングデータとは別の第三センシングデータと、前記第三センシングデータに基づく前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いる機械学習によって訓練される。
また、本開示の一態様に係るプログラムは、プロセッサ及びメモリを備える情報処理装置において、前記メモリを用いて前記プロセッサによって実行されることで、前記プロセッサに、撮像装置で生成された、ノイズを含む第一センシングデータを取得させ、前記第一センシングデータを、前記メモリに記憶されている単一の変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、取得された前記第二センシングデータを出力させるプログラムであって、前記変換器は、前記第二センシングデータと、前記第二センシングデータに基づく前記第二センシングデータの特徴情報とを変換データとして用い、前記第一センシングデータと同一又は対応する場面における前記ノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータと、前記第三センシングデータに基づく前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって訓練される。
なお、包括的又は具体的なこれらの態様は、システム、集積回路、又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示に係る情報処理方法等によれば、複数種類のノイズを含むセンシングデータの変換の結果として当該複数種類のノイズ全体が低減されたセンシングデータを出力する単一の機械学習モデルを得ることができる。
図１は、実施の形態に係る一の情報処理装置の機能構成例を示すブロック図である。 図２は、上記の情報処理装置に構築されるＧＡＮ（Generative Adversarial Network）を構成する生成器及び識別器の入出力の概要を示す図である。 図３は、上記の情報処理装置に含まれる特徴抽出部及び第二変換結果比較部の入出力の概要を示す図である。 図４は、上記の情報処理装置による変換処理部の訓練のために上記の情報処理装置が実行する情報処理方法の手順例を示すフロー図である。 図５は、実施の形態に係る他の情報処理装置の機能構成例及び機能構成間の入出力の概要を示す図である。 図６は、画像からのノイズ除去のために上記の他の情報処理装置が実行する情報処理方法の手順例を示すフロー図である。
（本開示の基礎となった知見）
発明者らは、上述した従来の手法に関し、以下の問題が生じることを見出した。
異なる種類のノイズを含む画像は、上述した従来の手法でいうところの、種類の違うシーンの画像と考えることもできる。ここでいうノイズの種類の例としては、暗所を高感度設定で撮影した画像に表れるガウスノイズが挙げられる。また別の例として、センサの故障に起因する画素欠け、及び露出オーバーによる白とびが挙げられる。種類の異なるノイズは画像に表れる特性上の傾向が互いに異なるため、各種のノイズを除去するために必要な画像処理も異なる。例えばガウスノイズの除去には、画素値に対するある種の平滑化処理が有効である。白とびには、画像内で特に明るい部分の画素の明るさを、トーンカーブを用いて下げることで抑えられるものがある。なお、これらは画像に含まれ得るノイズの種類のごく一部である。その他に、撮影環境、撮影機材の光学系若しくは回路系、又は圧縮等のデータ処理で生じる各種の原因で画像に表れる、黒つぶれ、口径食、色収差による色ずれ、固定パターンノイズ、ランダムノイズ、ジャギー、ディザ、ブロックノイズ、モスキートノイズもさらに本開示でノイズの語が指すところに含まれ得る。また、本開示では、歪曲収差、及びレンズへの付着物等の光学系における異物の写り込みも、画像からの除去対象であるノイズに含めてもよい。さらに、ノイズとしての上述のような特段の名称がないアーチファクト、及びこれらのノイズの複合物もまた、本開示における画像からの除去対象であるノイズに含めてもよい。従来の手法であれば、このような各種のノイズを、ニューラルネットワークを用いて除去するには、訓練によって特定の種類のノイズに各々特化させた複数のニューラルネットワークが利用される。
しかしながら、複数のニューラルネットワークを利用するノイズ除去の処理には、全体として多くの計算が必要である。そのため、処理速度又は消費電力を考慮すると、当該処理が実用的に実行可能な環境は限定される。例えば、デジタルカメラ（本開示ではデジタルカムコーダを含めて指し、以下、単にカメラとも称する）又はスマートフォン等の携帯情報端末等の、プロセッサの処理能力又は継続して利用可能な電力に限りのあるエッジデバイス等へは、このような従来のデノイザの実用的な実装は困難である。
ノイズの除去に単一のニューラルネットワークを用いれば、処理に必要な計算量を抑えることが可能である。しかしながら、特性の異なる複数種類のノイズに対応する単一のモデルを得るにあたって、従来の機械学習の訓練方法では、結果的にいずれかの種類のノイズの除去に特化したようなモデルになる可能性がある。つまり従来の訓練方法で訓練された単一のモデルに、含むノイズの種類が異なる画像を入力しても、ノイズの種類間で除去性能に差が生じるため、各ノイズについて要求される性能を同時に満たすことが難しい。その結果、学習が完了しないか又は学習の完了までにかかる時間が長期になるおそれがある。
このような、機械学習による訓練で得られる画像のノイズ除去を目的としたモデルの、計算負荷の抑制とノイズ除去性能の安定との両立を図るために提供される本開示の一態様に係る情報処理方法は、コンピュータが、ノイズを含む第一センシングデータを取得し、前記第一センシングデータを単一の変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、前記第一センシングデータと同一又は対応する場面におけるノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータを取得し、前記第二センシングデータ及び前記第三センシングデータに基づいて、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報を取得し、前記第二センシングデータと、前記第二センシングデータの特徴情報とを変換データとして用い、前記第三センシングデータと、前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって前記変換器を訓練する。
この方法を用いることで、モデルは、入力された画像を、ノイズを含まない画像の特徴が全体的により備わった画像に変換するよう訓練される。結果的に、入力された画像に含まれるノイズの種類にかかわらず安定したノイズ除去性能を有する単一のモデルが得られる。
また、前記第二センシングデータの特徴情報は、センシングデータを入力すると当該入力されたセンシングデータの特徴情報を出力するよう、機械学習によって訓練されたモデルに前記第二センシングデータを入力することにより取得され、前記第三センシングデータの特徴情報は、前記モデルに前記第三センシングデータを入力することにより取得されてもよい。
また、前記モデルは多層ニューラルネットワークモデルであり、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報は、前記モデルの中間層の出力であってもよい。
また、前記中間層は複数の層であり、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報は、前記複数の層のうちの同じ層からの出力であってもよい。
また、前記訓練は、前記第二センシングデータと前記第三センシングデータとの差、及び、前記複数の層のうちの同じ層から出力の出力である前記第二センシングデータの特徴情報と前記第三センシングデータの特徴情報との差に基づく、前記変換器のパラメタの更新であってもよい。
また、前記第二センシングデータと前記第三センシングデータのとの差は、入力されるセンシングデータが前記変換器の変換データであるか否か又はリファレンスデータであるか否かを識別するように機械学習を用いて訓練された識別器に前記第二センシングデータと前記第三センシングデータとを入力することにより前記識別器から出力されてもよい。
また、センシングデータは、イメージセンサから出力される画像であってもよい。
また、本開示の一態様に係る情報処理装置は、プロセッサ及びメモリを備え、前記メモリは単一の変換器を記憶し、前記プロセッサは、撮像装置で生成された、ノイズを含む第一センシングデータを取得し、前記第一センシングデータを前記変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、取得された前記第二センシングデータを出力するように構成され、前記変換器は、前記第二センシングデータと、前記第二センシングデータに基づく前記第二センシングデータの特徴情報とを変換データとして用い、前記第一センシングデータと同一又は対応する場面における前記ノイズを含まないセンシングデータであって、前記第二センシングデータとは別の第三センシングデータと、前記第三センシングデータに基づく前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いる機械学習によって訓練される。
この情報処理装置によって、画像に含まれるノイズはその種類にかかわらず安定して除去される。
また、本開示の一態様に係る情報処理装置は、プロセッサ及びメモリを備える情報処理装置において、前記メモリを用いて前記プロセッサによって実行されることで、前記プロセッサに、撮像装置で生成された、ノイズを含む第一センシングデータを取得させ、前記第一センシングデータを、前記メモリに記憶されている単一の変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、取得された前記第二センシングデータを出力させるプログラムであって、前記変換器は、前記第二センシングデータと、前記第二センシングデータに基づく前記第二センシングデータの特徴情報とを変換データとして用い、前記第一センシングデータと同一又は対応する場面における前記ノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータと、前記第三センシングデータに基づく前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって訓練される。
このプログラムを実行する情報処理装置によって、画像に含まれるノイズはその種類にかかわらず安定して除去される。
なお、包括的又は具体的なこれらの態様は、システム、集積回路、又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、本開示の一態様に係る情報処理方法及び情報処理装置の実施の形態について、図面を参照しながら説明する。ここで示す実施の形態は、本開示の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びにステップ（工程）及びステップの順序等は一例であって本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素は任意に付加可能な構成要素である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
（実施の形態）
本開示では、ノイズ除去に係る技術の実施の形態について、訓練フェーズと推論フェーズとに分けて説明する。本開示での訓練フェーズとは、ノイズを含む画像に対するノイズ除去の処理を実行する機械学習モデルを訓練するフェーズである。また、本開示での推論フェーズとは、訓練の結果得られた機械学習モデルを用いて、ノイズを含む画像からノイズを含まない画像を推論するフェーズである。
［１．訓練フェーズ］
［１－１．構成］
図１は、実施の形態に係る一の情報処理装置の機能構成例を示すブロック図である。本実施の形態に係る情報処理装置１０は、画像に含まれるノイズを除去する機械学習モデルの訓練を実行する装置である。
図１に示されるように、情報処理装置１０は、画像読込部１１０、変換処理部１２０、第一変換結果比較部１３０、特徴抽出部１４０、第二変換結果比較部１５０、及び変換パラメタ更新部１６０を備える。
例えば情報処理装置１０は、プロセッサ及びメモリを備える１台のコンピュータによって実現されてよい。この場合、情報処理装置１０の上記の構成要素は、例えばメモリに記憶される１個又は複数個のプログラムをプロセッサが実行することで実現される機能的な構成要素であってよい。また、上記の構成要素のうち、変換処理部１２０、第一変換結果比較部１３０、特徴抽出部１４０及び第二変換結果比較部１５０は各々機械学習モデルであって、これらのうち、変換処理部１２０が上記の画像に含まれるノイズを除去する訓練の対象である。各機械学習モデルの訓練については後述する。
画像読込部１１０は、ノイズを含む画像（本開示ではノイズあり画像とも称する）の入力を受ける。例えばノイズあり画像は、情報処理装置１０にノイズを除去させるために入力される画像として記録媒体に多数集められていてもよい。この記録媒体は、情報処理装置１０の構成要素のひとつであってもよい。または、情報処理装置１０が備える入出力インタフェース（図示なし）に接続される取り外し可能な記録媒体であってもよい。または、この入出力インタフェースは通信用であり、情報処理装置１０と有線又は無線で通信する別の１台又は複数台のコンピュータで用いられている記録媒体であってもよい。図１では、このように集められた画像がノイズあり画像群２０として示されている。
ノイズあり画像群２０に含まれる画像は、いずれも上記で例示したような各種のノイズのうち、少なくとも１種類のノイズを含む。画像読込部１１０が入力を受けるノイズを含む画像を、以下では第一画像とも称する。例えば第一画像はカメラ等が備える撮像装置（イメージセンサ）によって生成され、当該撮像装置又は撮影環境に何らかの原因があってノイズを含む画像である。第一画像の別の例としては、プログラムを用いて加工された結果、ノイズを含む画像が挙げられる。ここでの画像の加工とは、加工前のノイズの有無にかかわらず、結果として画像の画素値又は画素数に変更を生じる処理を他像に対して行うことであり、例えば、画像の色調、明るさ又はコントラストの調整、階調変換、被写体の追加、削除又は変形、サイズの拡大、縮小又は圧縮率の変更、フォーマットの変更の処理を行うことである。また画像への加工は、上述のノイズのいずれかを画像に加える、又は疑似的に再現する目的で加えられてもよい。第一画像は、画像読込部１１０から変換処理部１２０に入力される。
変換処理部１２０は、本実施の形態における、情報処理装置１０が備えるメモリに記憶される変換器の一例であり、画像読込部１１０から入力を受けた第一画像に、ノイズ除去のための変換処理（本開示ではノイズ除去処理とも称する）を実行する。変換処理部１２０は単一の機械学習モデルであり、例えば畳み込みニューラルネットワークのモデルである。
第一画像にノイズ除去処理を実行した変換処理部１２０は、当該処理の結果として変換済み画像（以下では第二画像とも称する）を出力する。ただし、訓練フェーズにおけるこの第二画像は、なおノイズを含み得る。例えば、第二画像には、変換処理部１２０のノイズ除去性能が不十分であるために、第一画像に含まれていたノイズが残っていたり、ノイズ除去処理の副作用として、第一画像にはないノイズが加わっていたりすることがあり得る。特に変換処理部１２０の訓練の初期においては、第二画像にノイズが含まれている可能性が高い。また、第一画像と第二画像とでは、ノイズによって損なわれている部分を除いて、映る場面（被写体及び構図）は共通である。
なお、変換処理部１２０の訓練においては、変換の結果として出力される第二画像のデータ（本開示では変換データともいう）がトレーニングデータの一部として用いられる。
第一変換結果比較部１３０は、変換処理部１２０との組み合わせで情報処理装置１０に構築されるＧＡＮ（Generative Adversarial Network）を構成する機械学習モデルである。このＧＡＮにおいては、変換器である変換処理部１２０が生成器（Generator）であり、第一変換結果比較部１３０が識別器（Discriminator）である。図２に、変換処理部１２０及び第一変換結果比較部１３０の入出力の概要を示す。
第一変換結果比較部１３０は、上記のとおり変換処理部１２０によって出力された第二画像、及びノイズを含まない画像（本開示ではノイズなし画像とも称する）である第三画像の入力を受ける。
第三画像は、第一画像と同一又は対応する場面が映る、ノイズを含まない画像であり、変換処理部１２０の訓練に用いる画像として情報処理装置１０に入力される。例えば第三画像は記録媒体に多数集められていてもよく、図１及び図２では、このように集められている画像がノイズなし画像群３０として示されている。なお、第三画像が集められている記録媒体も第一画像が集められている記録媒体と同じく、情報処理装置１０の構成要素のひとつであってもよいし、取り外し可能な記録媒体、及び別の情報処理装置で用いられている記録媒体のいずれであってもよい。
なお、第一画像と同一の場面が映る第三画像とは、例えば、第一画像が元々ノイズを含まない画像に加工によってノイズが加えられたものである場合、この加工前の画像である。別の表現を用いれば、同一の場面が映る第一画像と第三画像とは、被写体、構図等の撮影条件が共通の画像である。撮影条件にはこれらの他に、例えば撮影の日時及び場所が含まれる。また、使用機材並びにそのコンディション及び設定も撮影条件である。また、逆に元々複数種類のノイズを含む画像と、この画像から特定の種類のノイズを除去することができる画像編集ソフトウェアを複数用いる等して複数種類のノイズを除去して得られた画像とを、同一の場面が映る第三画像、第一画像としてそれぞれ利用してもよい。
また、第一画像と対応する場面が映る第三画像とは、第一画像と被写体及び構図は共通又は類似であって、その他の撮影条件の少なくとも一部に差があり、ノイズを含まない画像を指している。下記の（例１）から（例３）は、対応する場面が映る第一画像及び第三画像として用い得る画像の組み合わせの具体例である。（例１）から（例３）の各々で例示する複数の画像に、上記で例示したようなノイズを含む画像と含まない画像とがあれば、対応する場面が映る第一画像、第三画像としてそれぞれ利用可能である。
（例１）被写体、場所、構図は共通で、ＩＳＯ感度を変えて連続的に撮影した複数の画像。
（例２）被写体、場所、構図は共通で、異なるライティング条件で撮影された複数の画像。例えば異なる照度又は異なる光の当て方（例：順光と逆光）で各々撮影された画像。異なる時間帯（例：日の出直後と正午）又は異なる天候（例：晴天と曇天）下で各々撮影された画像。
（例３）ステレオカメラで同時に撮影された一組の画像。この場合、一方のカメラで撮影した画像のみに被写体の光沢面に映った光源が映って白飛びが生じるケース、又は一方のカメラで撮影した画像のみにそのカメラの不具合に起因するノイズが含まれるケースが考えられる。
また、動画像で同一ショットに含まれる前後２フレームの画像で、一方は加工によってノイズを除去し、他方は除去せず、さらにフレーム間で異なる被写体の位置を、動き情報を使って揃えた画像も、対応する場面が映る第一画像及び第三画像として利用可能である。
また、被写体及び構図は共通又は類似であって、他の撮影条件が異なる複数の画像のいずれにもノイズが含まれていない場合も、いずれかの画像にノイズを加える加工を施して第一画像とし、未加工のものを第三画像として利用してもよい。
このような第三画像のデータは、情報処理装置１０において、後述の変換処理部１２０の訓練でリファレンスデータの一部として用いられる。なお、本開示では第三画像のデータを、同一又は対応する場面が映る第一画像の変換によって得られる第二画像のデータであるトレーニングデータに対応するデータの意味で、正解データ又はラベルデータとも称する。
このように用意される第一画像（ノイズあり画像）、第二画像（変換済み画像）及び第三画像（ノイズなし画像）の間では、ノイズの有無多少、又はノイズあり画像に対する変換処理の成果物であるか否かという点で異なるが、同一又は対応する場面が映るという意味で対応関係にあるものがある。したがって、第二画像のデータである変換データ（トレーニングデータ）と第三画像のデータであるリファレンスデータ（正解データ、ラベルデータ）との間にも同様に対応関係にあるものがある。
第一変換結果比較部１３０の説明に戻ると、入力された各画像について、変換処理部１２０によるノイズ除去処理の結果として出力された変換済み画像であるか否か識別する。より具体的には、第一変換結果比較部１３０は、ノイズなし画像群３０由来の画像であることを真クラス、変換処理部１２０が出力した変換済み画像であることを偽クラスとする識別を行う。
そして、第一変換結果比較部１３０は、この識別の結果に基づいて、変換済み画像とこの変換済み画像に対応するノイズなし画像との差を算出する。第一変換結果比較部１３０が算出するこの差（本開示では第一誤差とも称する）は、第二画像のノイズが少ないほど小さい。つまり、変換処理部１２０のノイズ除去処理の性能が訓練によって上がるほど、第一誤差は小さくなる。算出された第一誤差は、第一変換結果比較部１３０から変換パラメタ更新部１６０に入力される。
なお、ＧＡＮの識別器である第一変換結果比較部１３０に対しても、上記の識別の精度を向上させるための後述の訓練が行われる。上記のようなＧＡＮが構築された情報処理装置１０では、変換処理部１２０に対する訓練は、第一変換結果比較部１３０がノイズなし画像であると識別をより誤りやすい、つまり第一画像を変換することによってノイズなし画像により近い第二画像を出力させるための訓練である。また、第一変換結果比較部１３０に対する訓練は、変換処理部１２０が出力する第二画像がノイズなし画像である（すなわちリファレンスデータである）か否か、ノイズなし画像がノイズなし画像である（すなわちリファレンスデータである）か否かをより正確に識別させるための訓練である。このＧＡＮの目的は、変換処理部１２０及び第一変換結果比較部１３０の両方を、このように性能を上げながら互いに競わせることで、より高いノイズ除去性能を持つ変換器を得ることにある。
特徴抽出部１４０は、すでに訓練された機械学習モデルであり、変換処理部１２０が出力した第二画像、及びノイズなし画像群３０からの第三画像の入力を受ける。特徴抽出部１４０は、ノイズを含まない画像を多量に用いて物体認識用に訓練された機械学習モデルであり、例えば畳み込みニューラルネットワークのモデルである。
ただし特徴抽出部１４０では、入力を受けた画像に対する最終出力、つまり物体認識の結果ではなく、中間層からの出力が利用される。物体認識に用いられるニューラルネットワークの中間層からの出力は、入力された画像のノイズを含まない画像らしさ、つまりノイズを含まない画像が持つ特性又は傾向が表れる特徴の特徴量を示す。ここでいう特徴とは、例えばコントラスト、エッジ、又は輪郭を例に挙げることができるが、より高次で人が容易に認識し得ないものであってもよい。中間層が複数ある場合には、複数の中間層の一部からの出力が利用されてもよい。なお、各中間層から出力される特徴量は、互いに異なる特徴に関する情報である。いずれの中間層から出力される特徴量が示す特徴も、入力画像の、ノイズのない画像らしさを示すものであるため、より多く種類の特徴に関する特徴量を訓練に利用することで、ノイズ除去処理の精度向上の早期化、又はさらなる高精度化の可能性がある。取得された各画像の特徴量（以下、特徴情報ともいう）は、特徴抽出部１４０から第二変換結果比較部１５０に入力される。
なお、第二画像のこのような特徴情報のデータは、後述の変換処理部１２０の訓練で変換データ（トレーニングデータ）の一部として用いられる。また、第三画像のこのような特徴情報のデータは、後述の変換処理部１２０の訓練でリファレンスデータ（正解データ又はラベルデータ）の一部として用いられる。
特徴抽出部１４０から特徴情報の入力を受けた第二変換結果比較部１５０は、第二画像の特徴情報とこの第二画像に対応する第三画像の特徴情報との差を算出する。第二変換結果比較部１５０が算出するこの差（本開示では第二誤差とも称する）は、第二画像のノイズが少ないほど第二誤差は小さい。つまり、変換処理部のノイズ除去処理の性能が訓練によって上がるほど、第二誤差は小さくなる。算出された第二誤差は、第二変換結果比較部１５０から変換パラメタ更新部１６０に入力される。
なお、複数の中間層から出力された特徴情報が利用される場合には、第二変換結果比較部１５０は、同じ層から出力された第二画像の特徴情報と第三画像の特徴情報との間の差を第二誤差として算出する。例えば、第二画像の入力を受けた特徴抽出部１４０のある中間層から出力されるエッジの特徴量と、第三画像が入力を受けた特徴抽出部１４０の同じ中間層から出力されるエッジの特徴量との差が第二誤差として算出される。図３に、特徴抽出部１４０及び第二変換結果比較部１５０の入出力の概要を示す。図３を参照すると、ニューラルネットワークである特徴抽出部１４０の中間層のひとつから出力された特徴Ａに関する第二画像の特徴量Ａ２及び第三画像の特徴量Ａ３について、入力先の第二変換結果比較部１５０でその差（特徴Ａに関する第二誤差）が算出されている。また、特徴抽出部１４０の中間層の他のひとつから出力された特徴Ｂに関する第二画像の特徴量Ｂ２及び第三画像の特徴量Ｂ３について、入力先の第二変換結果比較部１５０でその差（特徴Ｂに関する第二誤差）が算出されている。
変換パラメタ更新部１６０は、第一変換結果比較部１３０から入力された第一誤差と、第二変換結果比較部１５０から入力された第二誤差とに基づいて変換処理部１２０のパラメタを更新する。更新の対象であるこのパラメタとは、例えば上述のように変換処理部１２０が畳み込みニューラルネットワークのモデルの場合、カーネルの値（重み）又はバイアスの値である。
変換処理部１２０の訓練は、変換データである第二画像のデータとリファレンスデータである第三画像のデータとの差、つまりこの差を示す第一誤差、及び変換データである第二画像の特徴量のデータとリファレンスデータである第三画像のデータの特徴量との差、つまり第二誤差が小さくなるよう変換処理部１２０のパラメタを調整することで行われる。別の表現をすると、第一誤差は第二画像と第三画像との差についてのフィードバック情報であり、第一誤差は第二画像と第三画像とのノイズなし画像としての特徴に関する差についてのフィードバック情報である。
このパラメタの調整を実行するために、例えば変換パラメタ更新部１６０は、まず第一誤差と第二誤差とを加算、又はそれぞれに重み係数を乗じた上で加算する。次に変換パラメタ更新部１６０は、この加算の結果の和がゼロ又は極力ゼロに近くなるようなパラメタを算出し、変換処理部１２０の古いパラメタを、新たに算出した当該パラメタに置き換える。
なお、変換パラメタ更新部１６０は、上述の第一変換結果比較部１３０に対する、入力された各画像が変換処理部１２０が出力した変換済み画像であるかノイズなしデータであるかの識別の正確性を向上させるための機械学習の訓練も行う。この訓練は、第二画像を識別データとし、第三画像をリファレンスデータとして、及び第三画像を識別データとし、第三画像をリファレンスデータとして、実行される。
ここまで情報処理装置１０の構成要素及び各構成要素の機能について説明した。情報処理装置１０では、これらの各構成要素が各々の機能を実行することによって、画像に含まれるノイズを除去する変換器、つまりＧＡＮの生成器でもある変換処理部１２０の機械学習による訓練が実行される。次に、この訓練のために情報処理装置１０で実行される情報処理方法の手順について説明する。
［１－２．変換器の訓練のための情報処理方法の手順］
図４は、機械学習による変換処理部１２０の訓練のために上記の構成を有する情報処理装置１０が実行する情報処理方法の手順例を示すフロー図である。
まず、情報処理装置１０では、ノイズあり画像群２０からノイズあり画像（第一画像）が取得され（ステップＳ１０）、画像読込部１１０に入力される。なお、第一画像は複数であり、各第一画像は各種のノイズのうち少なくとも１種類のノイズを含み、画像読込部１１０が読み込む第一画像全体に含まれるノイズの種類は複数にわたる。
画像読込部１１０では、読込済みでない第一画像、つまり訓練に未使用の第一画像があるか否かが判定される（ステップＳ２０）。訓練に未使用の第一画像がない場合、つまりすべてのノイズあり画像が訓練のために読込済みの場合（ステップＳ２０でＹＥＳ）、情報処理装置１０における当該情報処理方法を用いた変換処理部１２０の訓練は終了する。ステップＳ２０でＮＯの場合、読み込まれた第一画像は変換処理部１２０に入力される。
変換処理部１２０は、ノイズ除去処理として、第一画像を変換して変換済み画像（第二画像）の生成を行う（ステップＳ３０）。このノイズ除去処理の結果として取得された第二画像は、第一変換結果比較部１３０及び特徴抽出部１４０に入力される。
さらに情報処理装置１０では、上記の第一画像に対応するノイズなし画像（第三画像）がノイズなし画像群３０から取得され、第一変換結果比較部１３０及び特徴抽出部１４０に入力される（ステップＳ４０）。
第一変換結果比較部１３０は、入力を受けた第二画像と第三画像との差を算出して第一誤差を取得する（ステップＳ５０）。第一誤差は、変換パラメタ更新部１６０に入力される。
また、特徴抽出部１４０では、入力を受けた第二画像及び第三画像のそれぞれに基づいて、ノイズなし画像としての特徴である第二画像の特徴量及び第三画像の特徴量が取得される。取得された第二特徴情報の特徴量及び第三特徴情報の特徴量は、第二変換結果比較部１５０に入力される。
第二変換結果比較部１５０は、入力を受けた第二特徴情報と第三特徴情報との差を算出して第二誤差を取得する（ステップＳ６０）。第二誤差は、変換パラメタ更新部１６０に入力される。
変換パラメタ更新部１６０は、入力を受けた第一誤差及び第二誤差に基づいて変換処理部１２０の新たなパラメタを算出し、算出したパラメタを変換処理部１２０のパラメタを更新する（ステップＳ７０）。ステップＳ７０で算出される新たなパラメタは、古いパラメタを用いた変換処理よりも結果的に第一誤差及び第二誤差をより小さくするものである。これにより、第二画像及び第二画像の特徴情報を変換データとして用い、第三画像及び第三画像の特徴情報を変換データに対応するリファレンスデータとして用いた機械学習が実行される。
以上、単一のモデルである変換処理部１２０の機械学習による訓練のために情報処理装置１０が実行する情報処理方法の手順について例を用いて説明した。なお、この情報処理方法は上述の手順例に限定されるものではない。例えば上述の手順例におけるステップＳ５０とステップＳ６０とは、順序が入れ替えられてもよい。
［１－３．効果］
上記の新たなパラメタを用いた変換処理部１２０が変換処理の結果得られる第二画像と第三画像との差は、古いパラメタを用いた変換処理の結果得られる第二画像と第三画像との差に比べて縮小される。この効果は、画像のノイズ除去処理のための変換を行う変換器である変換処理部１２０に対する訓練が、第一誤差を減らすための訓練、つまりノイズを含む画像の変換によって、ノイズを含まない画像により近似する画像を生成させる訓練であることによる効果である。
また、ノイズなし画像としての特徴についても、新たなパラメタを用いた変換処理の結果得られる第二画像と第三画像との差は、古いパラメタを用いた変換処理の結果得られる第二画像と第三画像との差に比べて縮小される。この効果は、変換処理部１２０に対する上記の訓練がさらに、第二誤差を減らすための訓練、つまりノイズを含む画像の変換によって、ノイズを含まない画像が持つノイズなし画像としての特徴により近い特徴を備える画像を生成させる訓練であることによる効果である。別の表現をすると、このような訓練後の変換処理部１２０が出力する変換済み画像は、訓練前に出力できた変換済み画像に比べて、ノイズなし画像として違和感がより少ない、つまり自然により近いといえる。
このような訓練によって得られる変換処理部１２０は、特定の種類のノイズに特化せず、かつ、複数種類のノイズのいずれも適切に除去することができる。
また、この訓練の対象である変換処理部１２０は単一の機械学習モデルである。したがって、変換処理部１２０によるノイズ除去処理では、複数のニューラルネットワークを用いて複数種類のノイズ除去に対応している従来のノイズ除去処理と比べて計算量が抑えられる。
次に、このようにして得られた変換器である変換処理部１２０による、ノイズを含む画像からのノイズを含まない画像の推論フェーズについて、変換処理部１２０を備える情報処理装置を例に用いて説明する。
［２．推論（ノイズ除去）フェーズ］
［２－１．構成］
図５は、本実施の形態に係る他の情報処理装置の機能構成例及び機能構成間の入出力の概要を示す図である。本実施の形態に係る情報処理装置１０Ａは、ノイズを含む画像の入力を受け、当該画像を変換してノイズを除去した画像を取得する装置である。
図５に示されるように、情報処理装置１０Ａは、画像読込部１１０、変換処理部１２０、及び変換結果出力部１９０を備える。情報処理装置１０Ａのこれらの構成要素のうち、情報処理装置１０の構成要素と共通の構成要素には同一の参照符号を用いている。なお、共通の構成要素については、以下で説明を簡略化している場合がある。
例えば情報処理装置１０Ａは、プロセッサ及びメモリを備える１台のコンピュータによって実現されてよい。この場合、情報処理装置１０Ａの上記の構成要素は、例えばメモリに記憶される１個又は複数個のプログラムをプロセッサが実行することで実現される機能的な構成要素であってよい。なお、情報処理装置１０Ａは、情報処理装置１０と別体のコンピュータであってもよいし、１台のコンピュータで実現されてもよい。
画像読込部１１０は、ノイズを含む画像、つまりノイズあり画像の入力を受ける。例えばノイズあり画像は、情報処理装置１０Ａにノイズを除去させるために入力される画像として、記録媒体に多数集められていてもよい。この記録媒体は、情報処理装置１０Ａの構成要素のひとつであってもよい。または、情報処理装置１０Ａが備える入出力インタフェース（図示なし）に接続される取り外し可能な記録媒体であってもよい。または、この入出力インタフェースは通信用であり、情報処理装置１０Ａと有線又は無線で通信する別の１台又は複数台の装置で用いられている記録媒体であってもよい。図５では、このように集められた画像がノイズあり画像群２０Ａとして示されている。
ノイズあり画像群２０Ａに含まれる画像は、ノイズあり画像群２０が含む画像とは別物であるものの、いずれも上記で例示したような各種のノイズを含む。情報処理装置１０Ａの画像読込部１１０が入力を受けるノイズあり画像についても、以下では訓練フェーズでの説明と同じく第一画像とも称する。例えば第一画像はカメラ等が備える撮像装置（イメージセンサ）によって生成され、当該カメラ又は撮影環境に何らかの原因があってノイズを含む画像である。第一画像は、画像読込部１１０から変換処理部１２０に入力される。
変換処理部１２０は、本実施の形態における、情報処理装置１０Ａが備えるメモリに記憶される変換器の一例である。ただし、訓練フェーズで説明した変換器とは、上述の情報処理方法による機械学習の訓練の結果として得られた推論モデルである点が異なる。つまり変換処理部１２０は、複数種類のノイズ除去に対応する単一の機械学習モデルであり、例えば畳み込みニューラルネットワークのモデルである。情報処理装置１０Ａが情報処理装置１０と別体である場合には、情報処理装置１０で訓練済みの変換処理部１２０が情報処理装置１０にも実装される。
第一画像にノイズ除去処理を実行した変換処理部１２０は、当該処理の結果として変換済み画像を出力する。推論フェーズの説明においても、変換処理部１２０が出力する変換済み画像を、訓練フェーズでの説明と同じく第二画像とも称する。推論フェーズにおけるこの第二画像は、変換処理部１２０が訓練フェーズの当初に実行可能であったノイズ除去処理よりも高度なノイズ除去処理を実行して取得したものであり、ノイズなし画像としてより自然な画像である。
変換結果出力部１９０は、変換処理部１２０が出力した第二画像を出力する。第二画像の出力先は、例えば第二画像が集められる記録媒体である、図５では、このように集められている画像が変換済み画像群４０として示されている。この記録媒体は、上述のノイズあり画像群２０が集められている記録媒体と同じく、情報処理装置１０Ａの構成要素のひとつであってもよいし、取り外し可能な記録媒体、及び別の装置で用いられている記録媒体のいずれであってもよい。例えば、情報処理装置１０ＡはシステムＬＳＩで実現されてカメラ又はドライビングレコーダ等の撮影装置に組み込まれ、この撮影装置で用いられている記録媒体が変換結果出力部１９０の出力先であってもよい。この場合、暗所での高感度撮影などノイズの生じやすい条件で撮影された画像であっても、よりノイズの少ない鮮明な画質で記録することができる。また、第二画像の出力先の他の例としては、ユーザに提示される画像として表示装置に出力されてもよい。例えば情報処理装置１０ＡはシステムＬＳＩで実現されて車載バックモニタシステム又は電子ミラーシステムに組み込まれ、第二画像は当該車両が備えるモニタに出力されてもよい。この場合、ノイズの生じやすい条件で撮影された画像であっても、よりノイズの少ない鮮明な画質で表示することができる。また、計算量が抑えられていることで、このような車載システムの用途においては、撮影から表示までのタイムラグの短縮に貢献する可能性もある。第二画像の出力先のさらに別の例としては、何らかの画像処理を行う他のハードウェア又はソフトウェアであってもよい。例えば、第二画像は物体認識処理のためのプログラムに入力されてもよく、この場合、情報処理装置１０Ａは、誤認識又は認識漏れがより少なく精度の高い物体認識の実現に資する。また、計算量が抑えられていることで、車載システムの用途においては、撮影から物体認識の完了までの処理時間の短縮に貢献する可能性もある。このように第二画像は、変換結果出力部１９０からその用途に応じた態様で出力される。
次に、このような構成を有する情報処理装置１０Ａで実行されるノイズ除去のための情報処理方法の手順について説明する。
［２－２．ノイズ除去のための情報処理方法の手順］
図６は、情報処理装置１０Ａで実行されるノイズ除去のための情報処理方法の手順例を示すフロー図である。
まず、情報処理装置１０Ａでは、ノイズあり画像（第一画像）が取得され（ステップＳ１０Ａ）、画像読込部１１０に入力される。
画像読込部１１０では、読込済みでない第一画像、つまりノイズ除去処理が未実施の第一画像があるか否かが判定される（ステップＳ２０Ａ）。ノイズ除去処理が未実施の第一画像がない場合、つまりすべての第一画像がノイズ除去処理の場合（ステップＳ２０ＡでＹＥＳ）、情報処理装置１０Ａにおける当該情報処理方法を用いた第一画像のノイズ除去処理は終了する。ステップＳ２０ＡでＮＯの場合、読み込まれた第一画像は変換処理部１２０に入力される。
変換処理部１２０は、ノイズ除去処理として、第一画像を変換して変換済み画像（第二画像）の生成を行う（ステップＳ３０Ａ）。
このノイズ除去処理の結果として取得された第二画像は、変換処理部１２０から変換結果出力部１９０に入力され、変換結果出力部１９０から、その目的に応じた態様で出力される。
以上、機械学習によって訓練されたモデルである変換処理部１２０が実装された情報処理装置１０Ａが実行する情報処理方法の手順について例を用いて説明した。なお、この情報処理方法は上述の手順例に限定されるものではない。
また、この情報処理方法は、例えば情報処理装置１０Ａが備えるプロセッサが、メモリを用いて所定のプログラムを実行することで情報処理装置１０Ａによって実行され得る。
［２－３．効果］
上述の推論フェーズでノイズあり画像からノイズなし画像の推論を実行する変換処理部１２０は、上述の訓練フェーズの説明で述べた方法を用いて訓練された機械学習モデルである。したがって、入力されるノイズあり画像が含むノイズの種類に左右されず、いずれのノイズも適切に除去することができる。
また、変換処理部１２０は単一の機械学習モデルである。したがって、変換処理部１２０によるノイズ除去処理では、複数のニューラルネットワークを用いて複数種類のノイズ除去に対応している従来のノイズ除去処理よりも計算量が抑えられる。このため、変換処理部１２０は、従来のデノイザと比べて実用的な実行環境の制限が緩和され、例えばプロセッサの処理能力又は継続して利用可能な電力に限りのあるエッジデバイス等へも、より高い実用性での実装の可能性がある。
（変形その他の補足事項）
本開示の一又は複数の態様に係る情報処理方法、情報処理装置、及びプログラムは、上記の実施の形態の説明に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が想到する各種の変形を上記の実施の形態に施したものも、本開示の態様に含まれてもよい。下記にそのような変形の例、及びその他実施の形態の説明への補足事項を挙げる。
（１）第一画像に含まれ、ノイズ除去処理によって消去されるノイズの種類は、実施の形態の説明において挙げたものに限定されない。例えば、撮影時に発生した霧又は砂塵は、カメラの性能、設定又はトラブル等と無関係に画像に映る。このように、撮影範囲の中に不可避的に存在して画像に映った物の像であって、この画像の有用性を損ない得る像も、本開示における第一画像に含まれるノイズの一種に含めてもよく、ノイズ除去処理による除去の対象であってもよい。これにより、例えば精度よく物体認識を行うことができる画像の撮影状況の幅が広がる。
（２）実施の形態において使用される「ノイズを含まない画像（又はノイズなし画像）」の語の意味は、ノイズを全く含まない画像に限定されるものではない。例えば推論フェーズの説明で例示したように、特徴抽出部１４０を用いて取得される各画像のノイズなし画像としての特徴量に基づいてノイズなし画像であるか否かの判定がなされてもよいし、その他既存の各種の画像解析を用いて判定がなされてもよい。または、輝度分布等の画像データから得られるその他の情報、Ｅｘｉｆ（Exchangeable image file format）等に拠る画像のメタ情報、又はこれらの組み合わせに基づいて判定されてもよい。または、人の目視による判定であってもよい。また、ノイズなし画像であるか否かの判定基準は、訓練後の変換器に求められるノイズ除去性能、又は変換器によるノイズ除去処理後の画像の用途に応じて異なってもよい。また、「ノイズを含む画像（又はノイズあり画像）」が含むノイズは、人の目視によって認識可能なノイズに限定されない。例えば画面表示又は印刷物では人に認識されにくいが、物体認識などのプログラムによる処理においては認識の精度を下げる原因になり得るノイズであってもよい。
（３）実施の形態における情報処理装置が備える機械学習モデルは、上記で例として挙げられている畳み込みニューラルネットワークの手法による機械学習のモデルに限定されない。変換処理部１２０、第一変換結果比較部１３０、特徴抽出部１４０又は第二変換結果比較部１５０として機能する各モデルは、提供する機能に適用可能なモデルであれば、他の機械学習の手法によって訓練されてもよい。
（４）上記実施の形態においては処理の対象が画像である例を説明したが、処理の対象は画像以外のセンシングデータであってもよい。例えば、マイクロフォンから出力される音声データ、ＬｉＤＡＲ等のレーダから出力される点群データ、圧力センサから出力される圧力データ、温度センサ又は湿度センサから出力される温度データ又は湿度データ、香りセンサから出力される香りデータなどのリファレンスデータが取得可能なセンシングデータであれば、処理の対象とされてよい。この意味で、上記実施の形態における第一画像、第二画像及び第三画像のデータは、それぞれ第一センシングデータ、第二センシングデータ、第三センシングデータの例であり、第一センシングデータ、第二センシングデータ及び第三センシングデータとは、同一又は対応する場面におけるセンシングデータである。
（５）上述の各情報処理装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
このようなシステムＬＳＩ等は、例えばデジタルカメラ、スマートフォン等のカメラ付携帯情報端末、又はバックモニタシステム、物体検知機能を含む先進運転支援システム等の各種の車載システムに組み込まれ得る。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
（６）また、上述の各情報処理装置の構成要素は、例えば、それぞれがプロセッサ及びメモリを備え、互いに通信可能な複数台のコンピュータが協調して動作し、上述の各情報処理装置と同様の機能を提供する情報処理システムの構成要素として実現されてもよい。この場合、これらの構成要素は、例えば、これらのコンピュータが備えるプロセッサの一部又は全部が、これらのコンピュータが備えるメモリの一部又は全部に記憶される１個又は複数個のプログラムを実行することで実現される。
（７）本開示の一態様は、上述の各情報処理装置だけではなく、情報処理装置に含まれる特徴的な構成部をステップとする情報処理方法であってもよい。この情報処理方法は、例えば、図４又は図６のフロー図を用いて上述した情報処理方法である。また、本開示の一態様は、このような情報処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
本開示は、画像データ等の各種のセンシングデータからノイズを除去する処理を行う装置等に広く利用可能である。
１０，１０Ａ 情報処理装置（コンピュータ）
２０，２０Ａ ノイズあり画像群
３０ ノイズなし画像群
４０ 変換済み画像群
１１０ 画像読込部
１２０ 変換処理部（変換器、生成器）
１３０ 第一変換結果比較部（識別器）
１４０ 特徴抽出部
１５０ 第二変換結果比較部
１６０ 変換パラメタ更新部
１９０ 変換結果出力部

Claims (5)

  1. コンピュータが、
    ノイズを含む第一センシングデータを取得し、
    前記第一センシングデータを単一の変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、
    前記第一センシングデータと同一又は対応する場面におけるノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータを取得し、
    前記第二センシングデータ及び前記第三センシングデータに基づいて、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報を取得し、
    前記第二センシングデータと、前記第二センシングデータの特徴情報とを変換データとして用い、前記第三センシングデータと、前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって前記変換器を訓練し、
    前記第二センシングデータの特徴情報は、センシングデータを入力すると当該入力されたセンシングデータの特徴情報を出力するよう、機械学習によって訓練された多層ニューラルネットワークモデルに前記第二センシングデータを入力することにより取得され、
    前記第三センシングデータの特徴情報は、前記多層ニューラルネットワークモデルに前記第三センシングデータを入力することにより取得され、
    前記多層ニューラルネットワークモデルは、複数の層である中間層を含み、
    前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報は、前記複数の層のうちの同じ層から取得され、
    前記変換器の前記訓練とは、前記第二センシングデータと前記第三センシングデータとの差、及び、前記複数の層のうちの同じ層からの出力である前記第二センシングデータの特徴情報と前記第三センシングデータの特徴情報との差に基づく、前記変換器のパラメタの更新である、
    情報処理方法。
  2. 前記第二センシングデータと前記第三センシングデータとの差は、前記第二センシングデータがノイズを含まないか否かを識別するように機械学習を用いて訓練された識別器に前記第二センシングデータと前記第三センシングデータとを入力することにより前記識別器から出力される
    請求項１に記載の情報処理方法。
  3. 前記センシングデータは、イメージセンサから出力される画像である
    請求項１または２に記載の情報処理方法。
  4. プロセッサ及びメモリを備え、
    前記メモリは単一の変換器を記憶し、
    前記プロセッサは、
    撮像装置で生成された、ノイズを含む第一センシングデータを取得し、
    前記第一センシングデータを前記変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、
    前記第一センシングデータと同一又は対応する場面におけるノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータを取得し、
    前記第二センシングデータ及び前記第三センシングデータに基づいて、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報を取得し、
    前記第二センシングデータと、前記第二センシングデータの特徴情報とを変換データとして用い、前記第三センシングデータと、前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって前記変換器を訓練し、
    前記第二センシングデータの特徴情報は、センシングデータを入力すると当該入力されたセンシングデータの特徴情報を出力するよう、機械学習によって訓練された多層ニューラルネットワークモデルに前記第二センシングデータを入力することにより取得され、
    前記第三センシングデータの特徴情報は、前記多層ニューラルネットワークモデルに前記第三センシングデータを入力することにより取得され、
    前記多層ニューラルネットワークモデルは、複数の層である中間層を含み、
    前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報は、前記複数の層のうちの同じ層から取得され、
    前記変換器の前記訓練とは、前記第二センシングデータと前記第三センシングデータとの差、及び、前記複数の層のうちの同じ層からの出力である前記第二センシングデータの特徴情報と前記第三センシングデータの特徴情報との差に基づく、前記変換器のパラメタの更新である、
    情報処理装置。
  5. プロセッサ及びメモリを備える情報処理装置において、前記メモリを用いて前記プロセッサによって実行されることで、前記プロセッサに、
    撮像装置で生成された、ノイズを含む第一センシングデータを取得させ、
    前記第一センシングデータを、前記メモリに記憶されている単一の変換器に入力し、前記変換器による前記第一センシングデータに対するノイズ除去処理の結果として前記変換器から出力される第二センシングデータを取得し、
    前記第一センシングデータと同一又は対応する場面におけるノイズを含まないセンシングデータであって前記第二センシングデータとは別の第三センシングデータを取得し、
    前記第二センシングデータ及び前記第三センシングデータに基づいて、前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報を取得し、
    前記第二センシングデータと、前記第二センシングデータの特徴情報とを変換データとして用い、前記第三センシングデータと、前記第三センシングデータの特徴情報とを前記変換データに対応するリファレンスデータとして用いた機械学習によって前記変換器を訓練する処理を実行させるプログラムであって、
    前記第二センシングデータの特徴情報は、センシングデータを入力すると当該入力されたセンシングデータの特徴情報を出力するよう、機械学習によって訓練された多層ニューラルネットワークモデルに前記第二センシングデータを入力することにより取得され、
    前記第三センシングデータの特徴情報は、前記多層ニューラルネットワークモデルに前記第三センシングデータを入力することにより取得され、
    前記多層ニューラルネットワークモデルは、複数の層である中間層を含み、
    前記第二センシングデータの特徴情報及び前記第三センシングデータの特徴情報は、前記複数の層のうちの同じ層から取得され、
    前記変換器の前記訓練とは、前記第二センシングデータと前記第三センシングデータとの差、及び、前記複数の層のうちの同じ層からの出力である前記第二センシングデータの特徴情報と前記第三センシングデータの特徴情報との差に基づく、前記変換器のパラメタの更新である、
    プログラム。
JP2019041037A 2018-09-07 2019-03-06 情報処理方法、情報処理装置、及びプログラム Active JP7212554B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19194084.0A EP3620989A1 (en) 2018-09-07 2019-08-28 Information processing method, information processing apparatus, and program
US16/558,908 US11127117B2 (en) 2018-09-07 2019-09-03 Information processing method, information processing apparatus, and recording medium
CN201910830394.6A CN110889803A (zh) 2018-09-07 2019-09-04 信息处理方法、信息处理装置及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862728379P 2018-09-07 2018-09-07
US62/728,379 2018-09-07

Publications (2)

Publication Number Publication Date
JP2020042760A JP2020042760A (ja) 2020-03-19
JP7212554B2 true JP7212554B2 (ja) 2023-01-25

Family

ID=69798456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041037A Active JP7212554B2 (ja) 2018-09-07 2019-03-06 情報処理方法、情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP7212554B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7458857B2 (ja) 2020-04-01 2024-04-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7465500B2 (ja) * 2020-05-20 2024-04-11 日本電信電話株式会社 画像処理方法、画像処理装置及びプログラム
WO2021251062A1 (ja) * 2020-06-10 2021-12-16 コニカミノルタ株式会社 反射成分抑制画像生成装置、反射成分抑制推論モデル生成装置、反射成分抑制画像生成方法、及びプログラム
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
JP7342827B2 (ja) * 2020-09-18 2023-09-12 カシオ計算機株式会社 ノイズ波形除去装置、モデル訓練装置、ノイズ波形除去方法、モデル訓練方法、及びウェアラブル機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li Chen; Wen Dan; Liujuan Cao; Cheng Wang; Jonathan Li，Joint Denoising and Super-Resolution via Generative Adversarial Training，2018 24th International Conference on Pattern Recognition(ICPR)，2018年08月20日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8546286

Also Published As

Publication number Publication date
JP2020042760A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
KR102172234B1 (ko) 영상 처리 방법 및 장치, 및 전자 디바이스
CN111741211B (zh) 图像显示方法和设备
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
Guo et al. Low-light image enhancement via breaking down the darkness
JP4856086B2 (ja) 取得したデジタル画像での赤目検出方法及び装置
US11600025B2 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
WO2023125750A1 (zh) 一种图像去噪方法、装置和存储介质
CN112053302A (zh) 高光谱图像的去噪方法、装置及存储介质
CN109478316A (zh) 实时自适应阴影和高光增强
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN116596928B (zh) 基于图像特征的花生油杂质快速检测方法
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
CN113298829B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN115760660A (zh) 基于多帧融合的二维码成像及识别方法、电子设备、介质
WO2022113367A1 (ja) 画像変換方法、プログラム、画像処理装置
WO2017080236A1 (zh) 图像处理方法及装置
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP7372072B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム
CN112712004B (zh) 人脸检测系统及人脸检测方法、装置、电子设备
JP6833110B2 (ja) 画像補正装置、画像補正方法、及び画像補正プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150