JP6769558B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は情報処理技術に関し、特に画像処理技術に関する。

実例に基づき高解像出力を提供する事例ベースの超解像（exemplar-based super resolution）の超解像システムは、通常、高解像出力の復元のための高周波情報を提供するデータベースを備えている。

特許文献１は、劣化パッチと復元パッチとを含む辞書を用いることによって、復元画像よりも解像度の低い低解像画像から、復元された画像を生成する情報処理装置を開示する。復元パッチは、所定の画像を分割することによって生成される、その所定の画像の部分画像である。劣化パッチは、その所定の画像を劣化させることによって生成される劣化画像の、部分画像である。復元パッチの周波数は、劣化パッチの周波数よりも高い。

特許文献２は、劣化パッチと復元パッチを含む辞書を生成する辞書生成装置を開示する。

特許文献３は、パッチの組み合わせから高周波基底辞書と中周波基底辞書を生成する画像処理装置を開示する。パッチの組み合わせの各々は、高周波パッチと中周波パッチとを含む。高解像パッチは、入力画像の高周波成分を表す高周波画像の部分画像である。中解像パッチは入力画像の中周波成分を表す中周波画像の部分画像である。

特許文献４は、３枚以上のソース画像とソース画像の特徴ベクトルとに基づいて、モーフィング画像を生成する画像生成装置を開示する。特徴ベクトルは、ソース画像の特徴線を表す。

非特許文献１は、高解像顔画像を、大量の他の高解像顔画像によって低解像画像から合成する方法を開示する。

国際公開２０１３／０８９２６１号公報 国際公開２０１３／０８９２６５号公報 特開２０１５−１７６５００号公報 特開２０１２−１６４１５２号公報

Liu Ce, Heung-Yeung Shum, and William T. Freeman, "Face Hallucination: Theory and Practice," International Journal of Computer Vision 75(1), pp. 115-134, 2007.

超解像システムの上記データベースは、データベースが顔画像等の個人情報を含むことがあるため、プライバシーの問題につながることがある。超解像システムが使用者に販売される又は流通する場合、超解像システムのデータベースのプライバシーは、保護されない。

例えば、特許文献１及び特許文献２の技術によるデータベースは、復元パッチを含む。復元パッチは所定の画像を復元パッチに分割することによって生成されているので、所定の画像を、復元パッチの間の連続性に基づいて、復元パッチから復元できる。所定の画像が顔画像である場合、顔画像を、データベース内の復元パッチから復元できる。

特許文献３の技術による画像処理装置において、中周波パッチと高周波パッチとの組み合わせが、辞書に蓄積される。高周波画像を、高周波パッチの間の連続性に基づいて、高周波パッチから復元できる。高周波画像は、エッジと、アウトラインと、輪郭と、等を表す高周波成分である。したがって、入力画像が顔画像である場合、顔を、高周波画像中において認識できる。

特許文献４の画像生成装置は、画像を含むデータベースを備える必要はない。特許文献４の画像生成装置のためのソース画像として顔画像が用いられる場合、顔画像の顔を、画像生成装置が出力するモーフィング画像の少なくとも一部において認識できる。

非特許文献１の技術によるデータベースは、多くの高解像顔画像そのものを含んでいる。

したがって、特許文献１から４及び非特許文献１による技術は、データベースにおけるプライバシーを高めることができない。

本発明の目的の１つは、データベースにおけるプライバシーを高めることのできる画像処理技術を提供することである。

本発明の一態様に係る情報処理装置は、第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成する基底合成手段と、前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成するデータ合成手段と、を備える。

本発明の一態様に係る情報処理方法は、第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成し、前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成する。

本発明の一態様に係る記憶媒体は、第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成する基底合成処理と、前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成するデータ合成処理と、をコンピュータに実行させるプログラムを記憶する。

本発明は、データベースにおけるプライバシーを高めることができる。

図１は、本発明の第１の実施形態に係る情報処理装置の構成の例を示すブロック図である。 図２は、本発明の第１の実施形態に係る情報処理装置の、データ合成フェーズにおいて動作する要素を示すブロック図である。 図３は、本発明の第１の実施形態に係る情報処理装置のデータ合成フェーズにおける動作を示すフローチャートである。 図４は、顔画像と、顔画像がＮＭＦにより因子分解された基底を表す画像と、の例を模式的に表す図である。 図５は、本発明の第１の実施形態に係る情報処理装置の、高解像画像復元フェーズにおいて動作する要素を示すブロック図である。 図６は、本発明の第１の実施形態に係る情報処理装置の高解像画像復元フェーズにおける動作例を示すフローチャートである。 図７は、本発明の第２の実施形態に係る情報処理装置の構成の例を示すブロック図である。 図８は、第２の実施形態に係る情報処理装置がデータ合成フェーズにある場合に動作する要素を示すブロック図である。 図９は、本発明の第２の実施形態に係る情報処理装置のデータ合成フェーズにおける動作の例を示すフローチャートである。 図１０は、本発明の第３の実施形態に係る情報処理装置の構成の例を示すブロック図である。 図１１は、本発明の第３の実施形態に係る情報処理装置の動作例を示すフローチャートである。 図１２は、本発明のいずれかの実施例に係る情報処理装置を実現するために用いることができるコンピュータのハードウェア構成の例を示すブロック図である。

＜第１の実施形態＞
図面を参照しながら本発明の第１の実施形態を詳細に説明する。

図１は、本発明の第１の実施形態に係る情報処理装置１００の構成の例を示すブロック図である。

情報処理装置１００は、超解像部１０１と、第１入力部１０２と、基底合成部１０３と、データ合成部１０４とを含む。超解像部１０１は、データ記憶部１０５と、第２入力部１０６と、超解像実行部１０７と、出力部１０８とを含む。データ記憶部１０５は、辞書１０５とも表記されることがある。

まず、超解像部１０１の概要を説明する。超解像部１０１は、例えばデータ合成部１０４からの画像ペア等の、データペアを含む辞書データを受け取ってよく、受け取った辞書データを記憶していてよい。データペアの各々は、低解像辞書データ（以下、低解像データとも表記する）と、その低解像辞書データの高解像辞書データ（以下、高解像データとも表記する）と、を含む。１つのペアに含まれる低解像データ及び高解像データは、同じ物又は同じ人物を表す。低解像データは、高解像データよりも解像度が低いデータである。低解像データ及び高解像データは、例えば顔画像等の画像であってよい。この場合、低解像データを、低解像画像、及び低解像顔画像と表記することがある。高解像データを、高解像画像、及び高解像顔画像と表記することがある。超解像部１０１は、解像度の高い画像が得られていない低解像画像を受け取る。超解像部１０１が受け取る、解像度の高い画像が得られていない低解像画像を、クエリ画像と表記する。超解像部１０１は、辞書データに基づいて、低解像入力画像（例えば低解像顔画像）から高解像画像を復元する。超解像部１０１が復元した高解像画像は、高解像復元画像とも表記される。超解像部１０１は、後で詳細に説明する。

第１入力部１０２は、例えばサーバ又は端末装置から、入力データを受け取る。入力データは、例えば顔画像等の画像であってもよい。その場合、入力データは、入力画像や入力顔画像とも表記される。入力データは、実在する物又は人物の情報を表す。例えば、入力画像は、実在する物又は人物の画像である。顔画像は、実在する人物の顔を表す。以下の説明では、主に入力データが画像である場合について説明するが、入力データは、画像に限られない。

第１入力部１０２が受け取る入力画像は、情報処理装置１００におけるデータベースのための辞書画像を生成するために用いられる。例えば、情報処理装置１００が超解像顔画像を復元するよう構成されている場合、第１入力部１０２は、実在する人物の顔画像を、辞書画像として受け取る。

基底合成部１０３は、入力データから、因子分解法によって、基底を係数集合と共に生成する。後述するように、係数集合は、基底にそれぞれ割り当てられる係数の集合であり、複数の係数集合のうちそれぞれの係数集合は、基底と共に、例えば１枚の画像等の、１つの入力データを表す。例えば、基底合成部１０３は、第１入力部１０２から受け取った、例えば入力画像等の入力データを、非負値行列因子分解（Ｎｏｎ−ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｒｉｚａｔｉｏｎ；ＮＭＦ）に基づいて、基底及び係数に因子分解する。情報処理装置１００が顔画像の高解像画像又は超解像画像を得るために用いられる場合、基底合成部１０３は、顔画像である入力画像を、ＮＭＦによって基底及び係数に因子分解する。ＮＭＦによって生成された基底は、ＮＭＦ基底とも表記される。入力データが顔画像である場合、異なるＮＭＦ基底は、異なる顔部品を表すことがある。

まず、基底合成部１０３は、例えば複数の入力画像等の入力データを表す行列を生成する。入力画像を表す行列を、入力データ行列と表記する。入力データ行列の例を数１に示す。数１において、行列Ｐは、入力データ行列である。列ベクトルｐ_１からｐ_Ｍは、それぞれ、行列Ｐの第１列から第Ｍ列の要素に対応する。複数の入力画像は、ベクトルｐ_１からｐ_Ｍによって表される。ベクトルｐ_１からｐ_Ｍのそれぞれは、入力データ行列Ｐに用いられる入力画像の１枚を表す。基底合成部１０３は、ベクトルｐ_１からｐ_Ｍのうち１つのベクトルの要素が複数の入力画像のうち１枚の入力画像の画素値を表すように、入力画像の各々を、ベクトルｐ_１からｐ_Ｍのうちの１つに変換してもよい。スカラーＭは、ベクトルｐ_１からｐ_Ｍの数、すなわち、入力データ行列Ｐに用いられる入力画像の枚数を表す。入力画像の画素値の各々は、０以上、すなわち、非負である。したがって、行列Ｐの要素の各々は、０以上である。すなわち、行列Ｐは、非負値行列である。以下の説明において、ベクトルｐ_１からｐ_Ｍの各々の、要素の個数は、スカラーＫによって表される。すなわち、行列Ｐは、Ｋ×Ｍ行列であり、ベクトルｐ_１からｐ_Ｍの各々は、Ｋ次元ベクトルである。以下の説明において、ベクトルｐ_１からｐ_Ｍは、サンプルベクトルとも表記される。

次に、基底合成部１０３は、既存のＮＭＦ法を用いることによって、入力データ行列Ｐを２つの非負値行列に因子分解してよい。数２の式は、入力データ行列Ｐの２つの非負値行列Ｆ及びＡへの因子分解を表す。以下の説明において、行列Ｆは、Ｋ×Ｎ行列であり、行列Ａは、Ｎ×Ｍ行列である。スカラーＮは、基底の個数を表し、情報処理装置１００の使用者によって、予め定められていてよい。

行列Ｆは、数３のように、Ｎ列ベクトルΦ_１からΦ_Ｎによって表される。ベクトルΦ_１からΦ_Ｎは、それぞれ、行列Ｆの１つの列の要素を表す。ベクトルΦ_１からΦ_Ｎの各々の、要素の個数はＫである。

Ｋ次元ベクトルΦ_１からΦ_Ｎは、入力画像の、基底、すなわち、ＮＭＦによる基底ベクトルである。上述の通り、基底合成部１０３は、入力画像をそれぞれ表すサンプルベクトルｐ_１からｐ_Ｍを用いて生成された行列を、基底ベクトルΦ１からΦＮと係数に因子分解する。その結果、サンプルベクトルｐ_１からｐ_Ｍは、数４の式によって表される。

数４の式において、スカラーａ_ｎｍは、数２の行列Ａの（ｎ，ｍ）要素である。サンプル（例えば、サンプルベクトルｐ_ｍ）を表すために基底（例えば、基底ベクトルΦ_ｎ）に割り当てられるスカラー（例えば、ａ_ｎｍ）を、結合係数とも表記し、単に係数とも表記する。１つのサンプル（例えば、サンプルベクトルｐ_ｍ等）を表すための結合係数の集合（例えば、｛ａ_１ｍ，．．．，ａ_Ｎｍ｝）を、結合係数集合と表記し、単に係数集合とも表記する。

データ合成部１０４は、サンプルベクトルｐ_１からｐ_Ｍの結合係数集合のいずれとも異なる、結合係数集合を生成してよい。データ合成部１０４が生成する結合係数集合の個数は、予め定められていてよい。データ合成部１０４は、生成した結合係数集合と基底（例えば、基底ベクトルΦ_ｎ（ｎ＝１，．．．，Ｎ））とを用いて、新たなデータを生成してもよい。データ合成部１０４は、生成した新たなデータをデータ記憶部１０５に保存する。データ合成部１０４が生成した新たなデータを、合成データと表記する。

データ合成部１０４は、生成した新たなデータ、すなわち合成データから、低解像データを生成してもよい。低解像データの生成方法は、低解像データを生成する既存の方法の１つでよい。データ合成部１０４は、低解像データを、その低解像データが生成された新たなデータと関連付ける。

データ合成部１０４によって生成された新たなデータが画像である場合、データ合成部１０４は、生成された画像の低解像画像を、サンプリング、スムージング等によってさらに生成してもよい。低解像画像が生成された画像を、高解像画像と表記する。画像が顔画像である場合、画像を高解像顔画像と表記し、低解像画像を低解像顔画像と表記する。データ合成部１０４は、生成した低解像画像を、その低解像画像が生成された画像と関連付けてよい。データ合成部１０４は、低解像画像が生成された画像とそれぞれ関連付けられた、生成された低解像画像を、データ記憶部１０５に格納してもよい。

さらに具体的には、データ合成部１０４は、入力画像（すなわちサンプルベクトルｐ_１からｐ_Ｍ）の結合係数集合に基づいて、サンプルベクトルｐ_１からｐ_Ｍの結合係数集合と異なる結合係数集合を生成する。データ合成部１０４は、所定の個数の結合係数集合が生成されるまで、結合係数集合の生成を繰り返してよい。

データ合成部１０４は、基底ベクトルΦ_ｎ（ｎは自然数の集合｛１，．．．，Ｎ｝に含まれる）のための結合係数を、サンプルベクトルｐ_１からｐ_Ｍのために基底ベクトルΦ_ｎの係数として計算された結合係数ａ_ｎｍ（ｍ＝１，．．．，Ｍ）から、ランダムに選択してよい。

データ合成部１０４は、基底ベクトルの各々のために、結合係数集合の要素として１つの結合係数を選択してよい。データ合成部１０４は、基底ベクトルのためにそれぞれ選択された結合係数の集合を、結合係数集合として決定してもよい。基底ベクトルのためにそれぞれ選択された結合係数の集合が、サンプルベクトルｐ_１からｐ_Ｍのために計算された結合係数集合のいずれかと同じである場合、データ合成部１０４は、選択した結合係数の集合を放棄し、基底ベクトルのための結合係数を選択し直してもよい。

生成される結合係数集合の数が辞書画像（すなわちサンプルベクトル）の数以下である場合、データ合成部１０４は、どの結合係数も２回以上選ばれないように結合係数集合を生成してもよい。生成される結合係数集合の数が辞書画像（すなわちサンプルベクトル）の数以上である場合、データ合成部１０４は、どの結合係数も少なくとも１回選ばれるように結合係数集合を生成してもよい。データ合成部１０４は、それぞれのサンプルベクトルについて、基底と共にいずれかのサンプルベクトルを表す係数のうち、少なくとも１つの係数が選ばれないように、結合係数集合を生成してもよい。

データ合成部１０４は、決定される結合係数集合が、サンプルベクトルｐ_１からｐ_Ｍのために計算された結合係数集合のいずれとも同じにならないように定められている規則に従って、基底ベクトルΦ_ｎの結合係数集合を決定してもよい。

データ合成部１０４は、サンプルベクトルｐ_１からｐ_Ｍのために計算される、基底ベクトルΦ_ｎの結合係数の、分布範囲を決定してもよい。データ合成部１０４は、基底ベクトルΦ_ｎのための結合係数を、基底ベクトルΦ_ｎの、計算される結合係数の、決定された分布範囲に、決定される結合係数が含まれるように、ランダムに決定してもよい。

データ合成部１０４は、基底ベクトルｐ_ｍのための結合係数を、基底ベクトルｐ_ｍのために計算された結合係数ａ_ｎｍから、それらのどの結合係数も２回以上選ばれることを許容して、選択してもよい。

データ合成部１０４は、生成された基底と結合係数集合とを用いて、例えば画像等のデータを合成する。データ合成部１０４によって合成される画像は、顔画像であってもよい。

データ合成部１０４は、複数の結合係数集合のうちの１つの結合係数集合を用いて、基底を１つの合成データに結合してもよい。具体的には、データ合成部１０４は、複数の結合係数集合から１つの結合係数集合を選択し、その結合係数集合の中の結合係数とその結合係数が割り当てられている基底とを掛けることによってそれぞれ算出される積を合計し、それらの積の合計を、例えば画像等の、１つの合成データにする。データ合成部１０４は、結合係数集合の各々について、基底を結合することを繰り返してよい。

数５は、例えば合成画像等の、合成データの例である。合成画像は、顔画像であってもよい。数５において、ベクトルｂ_ｓ（ここでｓ＝１，．．．，Ｓ）は、合成データを表す。スカラーＳは、例えば合成画像の枚数等の、合成データの個数を表す。スカラーａ_{ｎｒ（ｎ，ｓ）}は、サンプルベクトルｐ_１からｐ_Ｍのために計算された基底ベクトルΦ_ｎの結合係数の中から、合成されるベクトルｂ_ｓのための基底ベクトルΦ_ｎの結合係数として選択された、基底ベクトルΦ_ｎの結合係数を表す。スカラーａ_{ｎｒ（ｎ，ｓ）}は、サンプルベクトルｐ_１からｐ_Ｍのための基底ベクトルΦ_ｎの結合係数の中から、ｓ番目の合成データのために、基底ベクトルΦ_ｎの結合係数としてランダムに選ばれる結合係数である。スカラーｒ（ｎ，ｓ）は、基底ベクトルΦ_ｎの結合係数が選択されたサンプルベクトルを示す。サンプルベクトルｐ_ｍ０（ここでｍ０は集合｛１，．．．，Ｍ｝に含まれるスカラー）のための基底ベクトルΦ_ｎの結合係数が、生成されるベクトルｂ_ｓのための基底ベクトルΦ_ｎの結合係数として選ばれる場合、スカラーｒ（ｎ，ｓ）は、ｍ０に等しい。

数６は、例えば合成画像等の合成データの他の例を表す。数６の式において、ベクトルｂ_ｓ（ここでｓ＝１，．．．，Ｓ）は合成データを表す。スカラーＳは、例えば合成画像の枚数等の、合成データの個数を表す。スカラーａ_ｎｓは、基底ベクトルΦ_ｎの結合係数を表す。スカラーａ_ｎｓは、スカラーａ_ｎｍ（ｍ＝１，．．．，Ｍ）の最小値からスカラーａ_ｎｍ（ｍ＝１，．．．，Ｍ）の最大値までの範囲にスカラーａ_ｎｓが含まれるように、ランダムに決定される。スカラーａ_ｎｍ（ｍ＝１，．．．，Ｍ）は、サンプルベクトルｐ_１からｐ_Ｍのために計算された基底ベクトルΦ_ｎの結合係数である。

生成された結合係数集合の各々は、第１入力部１０２が受け取ったデータを表すサンプルベクトルｐ_１からｐ_Ｍのために計算された、結合係数集合のいずれとも異なる。したがって、合成データは、第１入力部１０２が受け取ったデータと異なる。

数４の式におけるスカラーａ_ｎｍ（ｎ＝１，．．．，Ｎ）の集合は、サンプルベクトルｐ_ｍのために計算された結合係数集合である。数５におけるスカラーａ_{ｎｒ（ｎ，ｓ）}（ｎ＝１，．．．，Ｎ）は、１つの合成データを表すベクトルｂ_ｓの、生成された結合係数集合である。数６におけるスカラーａ_ｎｓ（ｎ＝１，．．．，Ｎ）は、１つの合成データを表すベクトルｂ_ｓの、生成された結合係数集合である。

合成されるデータが顔画像である場合は、合成顔画像の各々は、第１入力部１０２が受け取った顔画像のいずれとも異なる。合成された顔画像の顔は、第１入力部１０２が受け取った顔画像の顔、すなわち、実在する人物の顔ではない。言い換えると、合成顔画像の顔は、情報処理装置１００に入力画像として顔画像が提供された、実在する人物のいずれの顔でもない。

データ合成部１０４は、合成データをデータ記憶部１０５に格納する。合成データが合成顔画像である場合、データ合成部１０４は、合成顔画像をデータ記憶部１０５に格納する。データ合成部１０４が合成した顔画像によって表される顔は、第１入力部１０２が辞書画像として受け取った顔画像によって表されるどの顔とも一致しない。

合成データが画像である場合、データ合成部１０４は、画像（すなわち、例えば顔画像等の高解像画像）の部分画像を生成してもよい。以下では、高解像画像の部分画像を復元パッチと表記する。復元パッチには、他の復元パッチとの重なりがあってよい。すなわち、高解像画像内の復元パッチが抽出される領域には、他の復元パッチが抽出される領域との重複があってよい。データ合成部１０４は、低解像画像の部分画像を生成してよい。以下では、低解像画像の部分画像を、劣化パッチと表記する。データ合成部１０４は、劣化パッチの各々が復元パッチのうちの１つの劣化画像であるように、すなわち、劣化パッチの各々が復元パッチのうちの１つに対応するように、劣化パッチを生成してもよい。データ合成部１０４は、それぞれ、復元パッチとその復元パッチに対応する劣化パッチとのペアである、パッチペアを記憶していてよい。復元パッチに対応する劣化パッチは、例えば、復元パッチの劣化画像である。

データ記憶部（辞書）１０５は、データ合成部１０４によって合成された合成データと、合成データの低解像データと、を、辞書データとして記憶する。辞書データは、合成データと、その合成データの低解像データと、である。辞書データは、第２入力部１０６によって得られる低解像入力クエリデータの、超解像データを生成するために用いられる。低解像入力クエリデータ（単にクエリデータとも表記する）は、後述するように、第２入力部１０６が受け取るデータである。低解像入力クエリデータの解像度は、合成データの解像度よりも低くてよい。辞書データが顔画像である場合、実在する人物の顔を表す顔画像ではなく、実在する人物の顔ではない顔を表す合成顔画像が、超解像データを生成するための辞書データとして用いられる。合成データ及び低解像データ（例えば、高解像顔画像（高解像顔画像とも表記する）及び低解像顔画像）は、合成データが低解像データとペアになるようにデータ記憶部（辞書）１０５に保存される。例えば、合成顔画像（すなわち高解像顔画像）は、低解像顔画像とペアにされる。その低解像顔画像は、その低解像顔画像とペアにされる合成顔画像によって表される顔の画像である。

合成データが画像（例えば、顔画像等）である場合、データ記憶部１０５は、復元パッチと劣化パッチとを、合成データと低解像データとして記憶していてよい。

第２入力部１０６は、低解像データ（例えば低解像顔画像等）であるクエリデータ（すなわち上述の低解像入力クエリデータ）をユーザ端末等から受け取る。第２入力部１０６が受け取る低解像データをクエリデータと表記する。第２入力部１０６が受け取る低解像データが画像である場合、第２入力部１０６が受け取る低解像データをクエリ画像と表記することがある。クエリ画像が顔画像である場合、そのクエリ画像をクエリ顔画像と表記することがある。

超解像実行部１０７は、データ記憶部１０５に格納されている低解像データと高解像データとのペアを用いて、第２入力部１０６が受け取ったクエリデータから高解像データを復元する。超解像実行部１０７は、事例ベース超解像技術に基づいてクエリデータから高解像データを復元してよい。

具体的には、クエリデータが画像である場合、超解像実行部１０７は、クエリ画像、すなわちクエリデータの、部分画像を生成してよい。クエリ画像の部分画像を、クエリパッチと表記する。クエリパッチには、他のクエリパッチとの重なりがあってよい。超解像実行部１０７は、劣化パッチとクエリパッチとの間の類似度に基づいて、クエリパッチの各々について劣化パッチを選択してよい。例えば、超解像実行部１０７は、クエリパッチのために、そのクエリパッチに対する類似度が最も高い劣化パッチを選択してよい。超解像実行部１０７は、クエリパッチの各々について、劣化パッチの選択を繰り返してもよい。超解像実行部１０７は、クエリパッチについて選択された劣化パッチに対応する復元パッチから、高解像データとして高解像画像を合成してよい。例えば、超解像実行部１０７は、復元パッチに対応する劣化パッチが選択されたクエリパッチの、クエリ画像内における位置に従って、復元パッチを配置してもよい。超解像実行部１０７は、配置された復元パッチから、補間などによって、高解像データとして高解像画像を生成してもよい。

出力部１０８は、超解像実行部１０７によって復元された高解像データを出力する。高解像データが画像である場合、出力部１０８は、高解像データとして高解像画像を出力する。

図２は、本発明の第１の実施形態に係る情報処理装置１００の、データ合成フェーズにおいて動作する要素を示すブロック図である。図２において、データ合成フェーズにおいて動作する要素は、実線によって描かれている。データ合成フェーズおいて動作しない要素は、破線によって描かれている。

データ合成フェーズでは、第１入力部１０２、基底合成部１０３、データ合成部１０４、及びデータ記憶部１０５が動作する。他の部は、破線によって描かれている。

図３は、本発明の本実施形態に係る情報処理装置１００の、データ合成フェーズにおける動作を示すフローチャートである。

図３を参照すると、第１入力部１０２は、入力データ、すなわち、上述の入力データを受け取る（ステップＳ３０１）。入力データは、実在する人物の情報を含んでいてもよい。人物の情報は、例えば顔情報や他のバイオメトリクス情報等の、プライバシー情報を含んでいてもよい。上述のように、入力データは、顔画像であってもよい。

基底合成部１０３は、ステップＳ３０１において受け取った入力データから、基底を係数と共に生成する（ステップＳ３０２）。具体的には、基底合成部１０３は、ステップＳ３０１において受け取った入力データを、係数を伴う基底に因子分解する。基底合成部１０３は、入力データを表す行列を、ＮＭＦによって、基底を表す行列と係数を表す行列とに因子分解してもよい。入力データが顔画像である場合には、入力データがＮＭＦによって因子分解された基底は、顔部品を表していてもよい。

データ合成部１０４は、ステップＳ３０２において得られた基底の各々について係数を、決定される係数の集合が、ステップＳ３０２における入力データから計算された係数の集合のいずれとも異なるように、決定する（ステップＳ３０３）。

上述のように係数集合と表記される、係数の集合は、基底にそれぞれ割り当てられた係数の集合である。具体的には、係数の集合に含まれる係数の各々が基底の１つに割り当てられ、その係数の集合に含まれるどの２つの係数も同じ基底には割り当てられない。係数の集合は、ステップＳ３０２において得られた基底と共に、それらの基底に因子分解できるデータを表す。上述の係数の集合は、基底と共に、例えば、入力データや合成データ等を表す。具体的には、入力データや合成データ等は、数４の式のように、集合内の係数と基底との線形結合によって表される。入力データや合成データ等は、例えば顔画像等の画像であってもよい。１つの入力データについて計算された、係数の集合すなわち係数集合は、数２の式の行列Ａの１つの列の要素によって表されうる。

データ合成部１０４は、基底の係数を、入力データについて計算されたその基底の係数の中からランダムに選択してよい。例えば入力データ等のデータは、顔画像であってもよい。データ合成部１０４は、基底の係数を、入力データとして受け取った顔画像について計算されたその基底の係数の中から、ランダムに選択してよい。データ合成部１０４は、ステップＳ３０２において得られた基底の各々について、係数のランダムな選択を繰り返してもよい。上述のように、データ合成部１０４は、他の方法によって係数を選んでもよい。

データ合成部１０４は、基底を、決定された係数と共に結合することによって、データを合成する（ステップＳ３０４）。言い換えると、データ合成部１０４は、決定された係数と共に、基底を、例えば線形結合によって結合することにより、合成データを得る。決定された係数の集合は、入力データについて計算された係数の集合のいずれとも異なる。したがって、合成データは、いずれの入力データとも異なる。合成データによって表される情報は、入力データによって表される情報と異なる。合成データと入力データが画像である場合、合成データの画像によって表される物体や人物等は、入力データによって表される画像が表す、実在の物体や人物等のいずれでもない。入力データと合成データが顔画像である場合には、異なる顔部品を表し得る複数の基底が、ランダムに選択され得る係数と共に結合されて、顔画像となる。合成顔画像、すなわち、複数の基底と選択された係数とを結合して得られる顔画像は、入力画像である顔画像が表す顔のいずれとも異なる顔を表す。すなわち、合成顔画像は、実在しない顔を表す。

データ合成部１０４は、合成データの低解像データを生成する（ステップＳ３０５）。合成データと低解像データが、例えば顔画像等の画像である場合、データ合成部１０４は、合成データすなわち合成画像から、復元パッチを生成してよい。データ合成部１０４は、復元パッチから劣化パッチ（低解像パッチとも表記される）をさらに生成してもよい。

データ合成部１０４は、合成データと、その合成データの低解像データと、をデータ記憶部１０５に格納する（ステップＳ３０６）。データ記憶部１０５に格納された、合成データ及び低解像データは、超解像実行部１０７によって辞書データとして使用される。合成データ及び低解像データが画像である場合、データ合成部１０４は、合成画像から生成された復元パッチと、合成画像の低解像画像から生成された劣化パッチとを、データ記憶部１０５に格納する。

図４は、顔画像と、それらの顔画像が基底合成部１０３によってＮＭＦにより因子分解された基底を表す画像と、の例を模式的に表す図である。上述のように、基底の各々は、顔の顔部品を表す。画像２０１は、因子分解される顔画像である。画像２０２は、基底を表す画像が結合された画像を表す。

図５は、本発明の本実施形態に係る情報処理装置１００の、高解像画像復元フェーズにおいて動作する要素を示すブロック図である。図５において、動作する要素は、実線によって描かれ、他の要素は破線によって描かれている。高解像画像復元フェーズは、合成データと、低解像データと、第２入力部１０６が受け取るクエリデータとが画像である場合の動作を表す。高解像画像復元フェーズにおいては、事例ベース超解像技術に基づいて、復元パッチと劣化パッチとを用いて、低解像画像から高解像画像が生成される。具体的には、低解像画像と劣化パッチとの間の類似度と、劣化パッチと復元パッチとの間の関係と、に基づいて、復元画像が復元パッチから生成される

図５を参照すると、第２入力部１０６、超解像実行部１０７、及び出力部１０８が、高解像画像復元フェーズにおいて動作する。

図６は、本発明の本実施形態に係る情報処理装置１００の、高解像画像復元フェーズにおける動作の例を示すフローチャートである。図６に示す動作の説明において、第２入力部１０６が受け取るデータは、低解像画像、すなわち、クエリ画像である。

第２入力部１０６は、クエリ画像を受け取る（ステップＳ６０１）。ステップＳ６０１において受け取られるクエリ画像は、合成画像や第１入力部１０２によって受け取られる入力データと比較して、解像度が低い。

超解像実行部１０７は、クエリ画像からクエリパッチを生成する（ステップＳ６０２）。クエリパッチは、クエリ画像の部分画像である。超解像実行部１０７は、クエリ画像をクエリパッチに分割してよい。超解像実行部１０７は、クエリ画像内における、少なくとも２つのクエリパッチが切り出される領域に、互いに重なりがあるように、クエリ画像からクエリパッチを切り出してよい。

超解像実行部１０７は、生成されたクエリパッチの中から、クエリパッチを選択する（ステップＳ６０３）。

超解像実行部１０７は、データ記憶部１０５に格納されている劣化パッチの中から、劣化パッチと選択されたクエリパッチとの間の類似度に基づいて、選択されたクエリパッチについて劣化パッチを選択する（ステップＳ６０４）。超解像実行部１０７は、データ記憶（辞書）部１０５から、選択されたクエリパッチに最も類似する劣化パッチを選択してよい。

超解像実行部１０７は、選択されたクエリパッチについて選択された劣化パッチに関連付けられている復元パッチを、例えば、クエリ画像の、クエリパッチが切り出された領域の位置に基づいて配置する（ステップＳ６０５）。劣化パッチとその劣化パッチに関連付けられている復元パッチとは、合成画像の同じ部分に対応する。劣化パッチに関連付けられている復元パッチは、その劣化パッチが生成された復元パッチであってよい。

クエリ画像から生成された全てのクエリパッチが選択されたわけではない場合（ステップＳ６０６においてＮＯ）、超解像実行部１０７は、ステップＳ６０３からステップＳ６０５の動作を繰り返す。

クエリ画像から生成された全てのクエリパッチが選択された場合（ステップＳ６０６においてＹＥＳ）、超解像実行部１０７は、配置された復元パッチから高解像画像を生成する（ステップＳ６０７）。例えば、超解像実行部１０７は、配置された復元パッチを結合して高解像画像にする。高解像画像の解像度は、クエリ画像の解像度よりも高い。

出力部１０８は、超解像実行部１０７によって生成された高解像画像を出力する（ステップＳ６０８）。

本実施形態の効果は、本実施形態に係る情報処理装置１００が、例えば顔を表す顔画像等の個人の特徴を表す情報を含むデータベースの、プライバシーを強化できることである。

その理由は、基底合成部１０３が、入力データから基底と係数とを生成し、データ合成部１０４が、入力データが因子分解された係数の集合のいずれとも異なる係数の集合を、複数の基底のために選択するからである。データ合成部１０４は、選択された係数とともにその基底を結合することによって、合成データを生成する。データ合成部１０４によって生成された合成データは、いずれの入力データとも異なる。したがって、入力データが例えば顔等のプライバシー情報を含んでいたとしても、合成データは、入力データに含まれるプライバシー情報を表さない。

＜第２の実施形態＞
本発明の第２の実施形態を図面を参照しながら詳細に説明する。

図７は、本発明の本実施形態に係る情報処理装置７００の構成の例を示すブロック図である。

情報処理装置７００は、第１入力部１０２、基底合成部１０３、及び超解像部７０１を備える。超解像部７０１は、基底記憶部７０９、データ合成部１０４、データ記憶部１０５、第２入力部１０６、超解像実行部１０７、及び出力部１０８を備える。

基底合成部１０３及び基底記憶部７０９以外の上述の部は、第１の実施形態の情報処理装置１００の部と同じである。

本実施形態に係る情報処理装置７００の基底合成部１０３は、第１の実施形態に係る情報処理装置１００の基底合成部１０３と同様に動作する。基底合成部１０３は、入力データに基づく、基底と係数とを生成する。

基底合成部１０３は、基底を基底記憶部７０９に格納する。基底合成部１０３は、例えばＮＭＦにより得られた、基底を表す行列を、基底記憶部７０９に格納してよい。基底を表す行列は、数２の式における行列Ｆによって表される。以下の説明において、基底を表す行列を、基底行列と表記する。基底合成部１０３は、例えばベクトルの形で、基底を別々に基底記憶部７０９に格納してもよい。この場合、ベクトルは、基底行列の列に対応し、数３の式におけるベクトルΦ１からΦｎによって表される。

基底合成部１０３は、入力データから生成された、例えば係数集合などの係数を、データ合成部１０４に供給してもよい。

データ合成部１０４は、例えば係数集合などの係数を受け取る。データ合成部１０４は、第１の実施形態のデータ合成部１０４と同じ方法で、受け取った係数集合とは異なる係数集合を決定してよい。なお、受け取った係数集合は、入力画像から生成された係数集合である。データ合成部１０４は、決定された係数集合を、基底記憶部７０９に格納してもよい。データ合成部１０４は、基底記憶部７０９に格納されている、基底と係数集合とを用いて、高解像データを生成してよい。

基底記憶部７０９は、基底合成部１０３によって入力データから生成された基底を記憶する。基底記憶部７０９は、データ合成部１０４によって決定された係数をさらに記憶していてよい。

上述の相違点を除き、情報処理装置７００は、第１の実施形態に係る情報処理装置１００と同じである。

次に、本実施形態に係る情報処理装置７００の動作の例を説明する。

図８は、情報処理装置７００の、データ合成フェーズにおいて動作する要素を示すブロック図である。図８において、データ合成フェーズにおいて動作する要素は、実線によって描かれており、他の要素は、破線によって描かれている。データ合成フェーズでは、第１入力部１０２、基底合成部１０３、基底記憶部７０９、データ合成部１０４、及びデータ記憶部１０５が動作する。

図９は、情報処理装置７００の、データ合成フェーズにおける動作の例を示すフローチャートである。

第１入力部１０２は、入力データを受け取る（ステップＳ９０１）。ステップＳ９０１の動作は、図３のステップＳ３０１と同じである。

基底合成部１０３は、図３のステップＳ３０２の動作と同様に、基底を係数集合と共に、入力データから生成する（ステップＳ９０２）。基底合成部１０３は、係数集合をデータ合成部１０４に供給してよい。

データ合成部１０４は、図３のステップＳ３０３の動作と同様に、入力データの係数集合とは異なる係数集合を決定する（ステップＳ９０３）。

基底合成部１０３は、基底を基底記憶部７０９に格納する（ステップＳ９０４）。ステップＳ９０４の動作はステップＳ９０３の動作の前に行ってもよい。

データ合成部１０４は、決定された係数集合を基底記憶部７０９に格納する（ステップＳ９０５）。ステップＳ９０５の動作は、ステップＳ９０３の動作の後に行われる。ステップＳ９０５の動作は、ステップＳ９０４の動作の前に行われてもよい。

データ合成部１０４は、基底記憶部７０９に格納された基底を、決定された係数集合と共に結合することによって、データを合成する（ステップＳ９０６）。

データ合成部１０４は、合成データの低解像データを生成してよい（ステップＳ９０７）。合成データが画像である場合、データ合成部１０４は、合成画像から復元パッチを生成してよい。データ合成部１０４は、復元パッチから劣化パッチを生成してよい。データ合成部１０４は、合成画像から劣化パッチを生成してよい。

データ合成部１０４は、合成データと、その合成データの低解像データとを、データ記憶部１０５に格納する（ステップＳ９０８）。データ合成部は、復元パッチと劣化パッチとを、合成データと低解像データとしてデータ記憶部１０５に格納してよい。

図６は、本実施形態に係る情報処理装置７００の、高解像画像生成フェーズにおける動作の例を示すフローチャートである。高解像画像生成フェーズにおいて、情報処理装置７００は、情報処理装置１００と同様に動作する。

本実施形態には、第１の実施形態の効果と同じ効果がある。本実施形態の効果が生じる理由は、第１の実施形態の効果が生じる理由と同じである。

＜第３の実施形態＞
次に本発明の第３の実施形態を説明する。

図１０は、本実施形態に係る情報処理装置１０００の構成の例を示すブロック図である。

情報処理装置１０００は、基底合成部１０３及びデータ合成部１０４を備える。

基底合成部１０３は、入力データから、基底と係数集合とを生成する。係数集合の各々は、基底にそれぞれ割り当てられた係数の集合である。以下では、これらの係数集合を、第１の係数集合と表記する。入力データは、行列によって表されていてよい。基底の各々は、ベクトルによって表されていてよい。基底合成部１０３は、ＮＭＦによって、基底と係数集合とを生成してよい。基底と第１の係数集合の各々とは、第１のデータの１つを表す。第１のデータは、開画像等の画像であってよい。

データ合成部１０４は、第１の係数集合に基づく新たな係数集合を決定する。以下では、新たな係数集合を、第２の係数集合と表記する。第２の係数集合は、第１の係数集合の各々と異なる。言い換えると、第２の係数集合は、第１の係数集合の各々と、少なくとも１つの係数を共有しない。データ合成部１０４は、第２の係数集合において、複数の基底の中のある基底に割り当てられる係数を、複数の第１の係数集合において、その基底に割り当てられている係数から、ランダムに選んでもよい。

データ合成部１０４は、基底と第２の係数集合を用いて、データを合成する。データ合成部１０４は、基底と第２の係数集合の係数との線形結合を計算する。

次は、本実施形態に係る情報処理装置１０００の動作の例である。

図１１は、情報処理装置１０００の動作の例を示すフローチャートである。基底合成部１０３は、入力データから、基底を係数集合と共に生成する（ステップＳ１１０２）。データ合成部１０４は、複数の入力データの係数集合から、新たな係数集合を決定する（ステップＳ１１０３）。データ合成部１０４は、決定された係数集合、すなわち、決定された新たな係数集合と共に、基底を結合することによって、データを合成する（ステップＳ１１０４）。

本実施形態には、第１の実施形態と同じ効果がある。本実施形態の効果が生じる理由は、第１の実施形態の効果が生じる理由と同様である。

＜他の実施形態＞
情報処理装置１００、情報処理装置７００、及び情報処理装置１０００のそれぞれは、専用ハードウェア、メモリとメモリにロードされたプログラムを実行するプロセッサとを備えたコンピュータ、又は、専用ハードウェアと、メモリと及びメモリに保存したプログラムを実行するプロセッサとを備えたコンピュータと、の組み合わせによって実現することができる。

図１２は、情報処理装置１００、情報処理装置７００、及び情報処理装置１０００を実現するために用いることができるコンピュータ１００００のハードウェア構成の例を示すブロック図である。図１２に示すように、コンピュータ１００００は、プロセッサ１０００１、メモリ１０００２、記憶装置１０００３、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース１０００４を備える。コンピュータ１００００は、記憶媒体１０００５にアクセスできる。メモリ１０００２及び記憶装置１０００３は、それぞれ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクドライブ等の記憶装置であってもよい。記憶媒体１０００５は、ＲＡＭ、ハードディスクドライブ等の記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又は、可搬記憶媒体であってもよい。記憶装置１０００３が、記憶媒体１０００５として動作してもよい。プロセッサ１０００１は、メモリ１０００２と記憶装置１０００３とからデータとプログラムとを読み出すことができ、メモリ１０００２と記憶装置１０００３とにデータとプログラムとを書き込むことができる。プロセッサ１０００１は、Ｉ／Ｏインターフェース１０００４を介して、端末装置（図示せず）等と通信することができる。プロセッサ１０００１は、記憶媒体１０００５にアクセスできる。記憶媒体１０００５は、コンピュータ１００００を情報処理装置１００、情報処理装置７００、及び情報処理装置１０００のうちの１つとして動作させるプログラムを記憶する。

プロセッサ１０００１は、コンピュータ１００００を情報処理装置１００、情報処理装置７００、及び情報処理装置１０００のうちの１つとして動作させる、記憶媒体１０００５に記憶されたプログラムをメモリ１０００２にロードする。メモリ１０００２にロードされたプログラムをプロセッサ１０００１が実行することにより、コンピュータ１００００は、情報処理装置１００、情報処理装置７００、及び情報処理装置１０００のうちの１つとして動作する。

以下の説明において、超解像部１０１、第１入力部１０２、基底合成部１０３、データ合成部１０４、第２入力部１０６、超解像実行部１０７、出力部１０８、及び超解像部７０１からなるグループを第１グループと表記する。データ記憶部１０５と基底記憶部７０９とからなるグループを第２グループと表記する。第１グループに含まれる各部は、メモリ１０００２とメモリ１０００２にロードされたプログラムを実行するプロセッサ１０００１とを備えたコンピュータ１００００を用いて実現できる。第２グループに含まれる各部は、記憶装置１０００３を用いて実現できる。第１グループ又は第２グループに含まれる部の各々は、例えば１つ以上の専用回路等の、専用ハードウェアによって実現できる。

上で開示した実施形態の全部又は一部は、以下の２記によって表され得るが、これらに限られない。

＜付記１＞
第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成する基底合成手段と、
前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成するデータ合成手段と、
を備える情報処理装置。

＜付記２＞
前記データ合成手段は、前記第２のデータから、当該第２のデータと比較して解像度の低い第３のデータを生成し、
前記画像処理装置は、
第４のデータを受け取る入力手段と、
前記第３のデータと前記第４のデータとの間の類似性と、前記第２のデータと前記第３のデータとの関係と、に基づいて、前記第２のデータから第５のデータを生成する実行手段と、
をさらに備える
付記１に記載の情報処理装置。

＜付記３＞
前記基底合成手段は、前記第２の係数集合に含まれる第２の係数であって、前記複数の基底の中の基底に関連付けられる前記第２の係数を、前記複数の第１の係数集合にそれぞれ含まれる数の第１の係数であって、当該基底に関連付けられている前記複数の第１の係数の範囲に含まれるように決定する、
付記１又は２に記載の情報処理装置。

＜付記４＞
前記基底合成手段は、前記第２の係数集合の前記第２の係数を、２つ以上の前記第１の係数集合の前記第１の係数から選択する、
付記３に記載の情報処理装置。

＜付記５＞
第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成し、
前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成する、
情報処理方法。

＜付記６＞
前記第２のデータから、当該第２のデータと比較して解像度の低い第３のデータを生成し、
第４のデータを受け取り、
前記第３のデータと前記第４のデータとの間の類似性と、前記第２のデータと前記第３のデータとの関係と、に基づいて、前記第２のデータから第５のデータを生成する、
付記５に記載の情報処理方法。

＜付記７＞
前記第２の係数集合に含まれる第２の係数であって、前記複数の基底の中の基底に関連付けられる前記第２の係数を、前記複数の第１の係数集合にそれぞれ含まれる数の第１の係数であって、当該基底に関連付けられている前記複数の第１の係数の範囲に含まれるように決定する、
付記５又は６に記載の情報処理方法。

＜付記８＞
前記第２の係数集合の前記第２の係数を、２つ以上の前記第１の係数集合の前記第１の係数から選択する、
付記７に記載の情報処理方法。

＜付記９＞
第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成する基底合成処理と、
前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成するデータ合成処理と、
をコンピュータに実行させるプログラムを記憶する記憶媒体。

＜付記１０＞
前記データ合成処理は、前記第２のデータから、当該第２のデータと比較して解像度の低い第３のデータを生成し、
前記プログラムは、
第４のデータを受け取る入力処理と、
前記第３のデータと前記第４のデータとの間の類似性と、前記第２のデータと前記第３のデータとの関係と、に基づいて、前記第２のデータから第５のデータを生成する実行処理と
をコンピュータにさらに実行させる
付記９に記載の記憶媒体。

＜付記１１＞
前記基底合成処理は、前記第２の係数集合に含まれる第２の係数であって、前記複数の基底の中の基底に関連付けられる前記第２の係数を、前記複数の第１の係数集合にそれぞれ含まれる数の第１の係数であって、当該基底に関連付けられている前記複数の第１の係数の範囲に含まれるように決定する、
付記９又は１０に記載の記憶媒体。

＜付記１２＞
前記基底合成処理は、前記第２の係数集合の前記第２の係数を、２つ以上の前記第１の係数集合の前記第１の係数から選択する
付記１１に記載の記憶媒体。

本発明を実施形態を参照して詳細に提示し説明したが、本発明はこれらの実施形態に限定されない。当業者にとって、請求の範囲に定義されるような、本発明の精神やスコープから逸脱することなく、形体や細部に様々な変更を行うことができることは明らかであろう。

本発明は、事例ベース超解像システムにおいて用いられる、プライバシー情報を含む辞書の保護に用いることができる。

事例ベース超解像システムにおいて、例えば顔や声などのプライバシー情報を含むデータが用いられる場合、システムが販売される又は流通する際に辞書もシステムに含まれている必要があり、システム内に含まれる個人情報は保護されない。

１００ 情報処理装置
１０１ 超解像部
１０２ 第１入力部
１０３ 基底合成部
１０４ データ合成部
１０５ データ記憶部
１０６ 第２入力部
１０７ 超解像実行部
１０８ 出力部
２０１ 画像
２０２ 画像
７００ 情報処理装置
７０１ 超解像部
７０９ 基底記憶部
１０００ 情報処理装置
１００００ コンピュータ
１０００１ プロセッサ
１０００２ メモリ
１０００３ 記憶装置
１０００４ Ｉ／Ｏインターフェース
１０００５ 記憶媒体

Claims (7)

1. 第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成する基底合成手段と、
   前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成するデータ合成手段と、
   を備え、
   前記データ合成手段は、前記第２のデータから、当該第２のデータと比較して解像度の低い第３のデータを生成し、
   第４のデータを受け取る入力手段と、
   前記第３のデータと前記第４のデータとの間の類似性と、前記第２のデータと前記第３のデータとの関係と、に基づいて、前記第２のデータから前記第４のデータと比較して解像度の高い第５のデータを生成する実行手段と、
   をさらに備える
   情報処理装置。
2. 前記データ合成手段は、前記第２の係数集合に含まれる第２の係数であって、前記複数の基底の中の基底に関連付けられる前記第２の係数を、前記複数の第１の係数集合にそれぞれ含まれる数の第１の係数であって、当該基底に関連付けられている前記複数の第１の係数の範囲に含まれるように決定する、
   請求項１に記載の情報処理装置。
3. 前記データ合成手段は、前記第２の係数集合の前記第２の係数を、２つ以上の前記第１の係数集合の前記第１の係数から選択する、
   請求項２に記載の情報処理装置。
4. 第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成し、
   前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成し、
   前記第２のデータから、当該第２のデータと比較して解像度の低い第３のデータを生成し、
   第４のデータを受け取り、
   前記第３のデータと前記第４のデータとの間の類似性と、前記第２のデータと前記第３のデータとの関係と、に基づいて、前記第２のデータから前記第４のデータと比較して解像度の高い第５のデータを生成する、
   情報処理方法。
5. 前記第２の係数集合に含まれる第２の係数であって、前記複数の基底の中の基底に関連付けられる前記第２の係数を、前記複数の第１の係数集合にそれぞれ含まれる数の第１の係数であって、当該基底に関連付けられている前記複数の第１の係数の範囲に含まれるように決定する、
   請求項４に記載の情報処理方法。
6. 前記第２の係数集合の前記第２の係数を、２つ以上の前記第１の係数集合の前記第１の係数から選択する、
   請求項５に記載の情報処理方法。
7. 第１のデータから、複数の基底と複数の第１の係数集合の各々との組み合わせが前記第１のデータを表す、前記複数の基底と前記複数の第１の係数集合とを生成する基底合成処理と、
   前記複数の第１の係数集合に基づいて、前記複数の第１の係数集合と異なる第２の係数集合を決定し、前記複数の基底と前記第２の係数集合を用いて第２のデータを合成するデータ合成処理と、
   をコンピュータに実行させ、
   前記データ合成処理は、前記第２のデータから、当該第２のデータと比較して解像度の低い第３のデータを生成し、
   第４のデータを受け取る入力処理と、
   前記第３のデータと前記第４のデータとの間の類似性と、前記第２のデータと前記第３のデータとの関係と、に基づいて、前記第２のデータから前記第４のデータと比較して解像度の高い第５のデータを生成する実行処理と
   をコンピュータにさらに実行させるプログラム。

Images