WO2016098323A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

Abstract

　画像処理における適切なパラメータを簡便に調整するため、本発明の情報処理装置は、処理の対象である入力画像において、入力画像の所定の画素の値と、画素の周辺の画素の値との変化量を算出する変化量算出手段と、入力画像における指定された領域の画素の性質である属性と、変化量とを基に、入力画像の画素の属性についての信頼度である属性信頼度を算出する属性信頼度算出手段と、属性における画質の情報である画質情報と、属性信頼度とを基に、入力画像における画素の正則化強度を推定する正則化強度推定手段と正則化強度を用いて入力画像を再構成した画像である再構成画像を生成する画像再構成手段とを含む情報処理装置。

Description

情報処理装置、情報処理方法、及び、記録媒体

　本発明は、画像処理に関し、特に、画像処理におけるパラメータの調整に関連する情報処理装置、情報処理方法、及び、記録媒体に関する。

　画像を復元する情報処理装置は、ぼかし、ノイズ、又は、低解像度化等に基づいて劣化した劣化画像を復元するために、例えば、次のような動作を用いる。まず、情報処理装置は、初期設定のパラメータを用いて、対象となる劣化画像（以下、入力画像とも呼ぶ）を基に暫定的な復元画像（候補となる復元画像）を生成する。そして、情報処理装置は、その復元画像に対してブラー（ぼかし効果）などの劣化過程をシミュレート（適用）した画像を生成する。そして、情報処理装置は、シミュレートを用いて生成した画像と、対象となる劣化画像との差が最小となるように、復元画像を修正する。

　しかし、一般的に、上記の処理における復元画像の候補となる解（例えば、画像における画素値）は、複数の解（画素値）を想定可能である。つまり、情報処理装置は、一般的には、解を一意に決定することができない。そこで、情報処理装置は、例えば、解を一意に決定するために、解に対する拘束（例えば、正則化）を用いる。つまり、情報処理装置は、正則化を用いて解を拘束し、解を一意に決定する。ここで、拘束として用いる正則化とは、例えば、復元画像における隣接する画素間の画素値の変化を抑えるような拘束である。情報処理装置は、上記の正則化を用いて、復元画像としての解を、一意に決定する（例えば、特許文献１を参照）。

　特許文献１に記載の技術は、テクスチャ領域の鮮明さと、平坦領域のノイズ抑制とを両立させるために、正則化強度を用いる。具体的には、特許文献１に記載の技術は、入力画像を構成する画素についての隣接画素間の変化の方向及び画素値の変化の大きさを基に、復元画像における隣接画素間の画素値の差分量が大きくなるように正則化強度を定める。

　なお、以下では、画像を復元することを、画像を再構成すると呼ぶ場合もある。そのため、復元画像を、再構成画像と呼ぶ場合もある。

国際公開第２０１３／０１１７９７号

　しかしながら、特許文献１に記載の技術は、正則化強度を定めるために、画素値の変化量及び正則化強度に対応したパラメータが必要である。そのため、情報処理装置は、画像処理に先立ち、利用者から、これらの値を受信することが必要である。

　しかし、一般的に、画像に所望される画質は、画像に含まれる物体、画像の用途、及び、画像の利用者のそれぞれに対応して、異なる。例えば、画像における平坦部のノイズをどの程度抑制するかは、画像の用途及び画像の利用者のそれぞれに対応して異なる。そのため、画像を処理する情報処理装置の利用者は、画像処理における目的に応じて、画像処理装置に対して、適切なパラメータの値を設定する又はパラメータの値を適切な値に調整する必要があった。しかし、パラメータの値を適切に調整（指定）することは、画像処理の専門家ではない一般的な利用者には困難であった。そのため、特許文献１に記載の技術を用いる利用者は、必ずしも、画像処理におけるパラメータを適切に設定（調整）できなかった。

　このように、特許文献１に記載の技術は、画像処理におけるパラメータの調整（設定）が難しいという問題点があった。そのため、特許文献１に記載の技術は、適切な復元画像を提供できないという問題点があった。

　本発明の目的は、上記問題点を解決し、利用者が、より簡便に、画像処理における適切なパラメータを調整（指定）できる情報処理装置、情報処理方法、及び、記録媒体を提供することにある。

　本発明の一形態における情報処理装置は、処理の対象である入力画像において、入力画像の所定の画素の値と、画素の周辺の画素の値との変化量を算出する変化量算出手段と、入力画像における指定された領域の画素の性質である属性と、変化量とを基に、入力画像の画素の属性についての信頼度である属性信頼度を算出する属性信頼度算出手段と、属性における画質の情報である画質情報と、属性信頼度とを基に、入力画像における画素の正則化強度を推定する正則化強度推定手段と正則化強度を用いて入力画像を再構成した画像である再構成画像を生成する画像再構成手段とを含む。

　本発明の一形態におけるデータ処理方法は、処理の対象である入力画像において、入力画像の所定の画素の値と、画素の周辺の画素の値との変化量を算出し、入力画像における指定された領域の画素の性質である属性と、変化量とを基に、入力画像の画素の属性についての信頼度である属性信頼度を算出し、属性における画質の情報である画質情報と、属性信頼度とを基に、入力画像における画素の正則化強度を推定し、正則化強度を用いて入力画像を再構成した画像である再構成画像を生成する。

　本発明の一形態における記録媒体は、処理の対象である入力画像において、入力画像の所定の画素の値と、画素の周辺の画素の値との変化量を算出する処理と、入力画像における指定された領域の画素の性質である属性と、変化量とを基に、入力画像の画素の属性についての信頼度である属性信頼度を算出する処理と、属性における画質の情報である画質情報と、属性信頼度とを基に、入力画像における画素の正則化強度を推定する処理と、正則化強度を用いて入力画像を再構成した画像である再構成画像を生成する処理とをコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する。

　本発明に基づけば、本発明の利用者が、より簡便に、画像処理における適切なパラメータを調整（指定）できるとの効果を奏することができる。

図１は、本発明における第１の実施の形態に係る情報処理装置の構成の一例を示すブロック図である。 図２は、第１の実施の形態に係る情報処理装置の動作の一例を示す流れ図である。 図３は、第１の実施の形態に係る情報処理装置の別の構成の一例を示すブロック図である。 図４は、第１の実施の形態に係る情報処理装置のさらに別の構成の一例を示すブロック図である。 図５は、第１の実施の形態に係る情報処理装置が表示する画像の一例を示す図である。 図６は、第１の実施の形態に係る情報処理装置における教師情報の領域の指定の一例を示す図である。 図７は、第１の実施の形態に係る情報処理装置が算出した属性信頼度の一例を示す図である。 図８は、第１の実施の形態に係る情報処理装置が再構成した画像の一例を示す図である。 図９は、第２の実施の形態に係る情報処理装置の構成の一例を示すブロック図である。 図１０は、第２の実施の形態に係る情報処理装置の動作の一例を示す流れ図である。 図１１は、第１の実施の形態に係る教師情報受信部の構成の一例を示すブロック図である。

　次に、本発明の実施の形態について図面を参照して説明する。

　なお、各図面は、本発明の実施の形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。

　また、以下の説明に用いる図面において、本発明における実施の形態の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

　ここで、説明に先立ち、本発明における実施の形態の説明に用いる用語について整理する。なお、用語に説明における各動作の詳細は、後ほど説明する。

　「入力画像」とは、本発明における実施の形態に係る情報処理装置が受信する画像である。

　「再構成画像」とは、入力画像を基に再構成（復元）された画像である。なお、再構成画像は、実施形態に係る情報処理装置が最終的に出力する画像に限らず、処理の途中における候補として生成される画像を含む。ただし、候補として生成された画像が、最終的な画像となる場合もあるため、以下の説明では、再構成画像を、出力画像と呼ぶ場合もある。

　「劣化画像」とは、再構成画像に対して劣化過程をシミュレート（適用）して生成された画像である。ここで、劣化過程は、特に制限はない。劣化過程は、例えば、ぼかし（ブラー）、ノイズの付加（重畳）、又は、低解像度化である。

　＜第１実施の形態＞
　次に、発明における第１の実施の形態について図面を参照して説明する。

　［構成の説明］
　図１は、本発明における第１の実施の形態に係る情報処理装置５００の構成の一例を示すブロック図である。図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

　図１に示されているように、第１の実施の形態に係る情報処理装置５００は、画像処理部２０と、画像受信部１０と、画像出力部３０とを含む。

　画像受信部１０は、図示しない他の装置（例えば、カメラ若しくはスキャナのような撮像装置、又は、編集機器のような画像を処理する装置）から入力画像を受信する。例えば、編集機器が、タッチパネルに複数の画像を表示する。利用者が、そのタッチパネルを操作して、画像を選択する。そして、画像受信部１０が、その編集機器から、利用者が選択した画像を受信してもよい。

　画像受信部１０は、受信した入力画像を、図示しない記憶部（例えば、メモリ）に記録してもよい。

　なお、本実施の形態における画像データの形式は、特に制限されない。ただし、以下の説明では、説明の便宜のため、画像は、画像に含まれる画素の画素値を、ラスタスキャン順に並べた縦ベクトルを用いて表されるとする。

　また、画像受信部１０が受信した入力画像の縦ベクトル〔Ｙ〕は、入力画像ベクトル〔Ｙ〕と呼ばれる。例えば、画像受信部１０が受信した画像の画素数が、Ｍ個の場合、入力画像ベクトル〔Ｙ〕は、〔Ｙ〕＝（Ｙ_１，・・・，Ｙ_ｉ，・・・，Ｙ_Ｍ）^ｔとなる。ここで、括弧に記載した上付きの「ｔ」は、転置行列を意味する。また、要素の数がＭの縦ベクトルは、Ｍ×１の行列と同等である。そのため、上記のベクトルにおける上付き「ｔ」は、縦ベクトル（ベクトルの要素を縦に並べたベクトル）を意味する。

　同様に、再構成画像の画素の画素値は、ラスタスキャン順に並べた縦ベクトルを用いて表される。以下、再構成画像の縦ベクトル〔Ｘ〕は、再構成画像ベクトル〔Ｘ〕と呼ばれる。例えば、再構成画像の画素数が、Ｍ’個の場合、再構成画像ベクトル〔Ｘ〕は、〔Ｘ〕＝（Ｘ_１，・・・，Ｘ_ｉ，・・・，Ｘ_Ｍ’）^ｔとなる。

　なお、以下の説明では、説明の便宜のため、入力画像と再構成画像との画素数が等しい場合（すなわちＭ＝Ｍ’の場合）について説明する。ただし、これは、説明の便宜のためであり、本実施の形態は、Ｍ＝Ｍ’の場合に限定されない。本実施の形態は、入力画像の画素数と再構成画像の画素数とが、異なっていてもよい。

　画像出力部３０は、画像処理部２０が再構成した再構成画像を出力する。画像出力部３０は、例えば、図示しないディスプレイ装置を含み、そのディスプレイ装置に再構成画像を表示（出力）してもよい。あるいは、画像出力部３０は、ネットワークを介して、図示しない表示装置（例えば、上記の編集機器）に再構成画像を送信(出力)してもよい。

　画像処理部２０は、入力画像を基に、再構成画像を生成（再構成）する。そのため、画像処理部２０は、教師情報受信部２１０と、変化量算出部２２０と、属性信頼度算出部２３０と、正則化強度推定部２４０と、画像再構成部２５０とを含む。

　なお、画像処理部２０は、図示しない記憶部を含んでもよい。その場合、各構成は、記憶部に後ほど説明する各情報を保存し、記憶部から各情報を取り出してもよい。以下の説明では、説明の便宜のため、各構成が、情報を直接的に、受け渡すとして説明する。ただし、これは、上記の記憶部を用いて情報の受渡しを排除するものではない。画像処理部２０は、一部又は全ての情報の受渡しに、記憶部を用いてもよい。画像出力部３０は、この記憶部から再構成画像を取得してもよい。また、この記憶部は、上記の画像受信部１０の説明における記憶部と同じ構成が用いられてもよい。

　教師情報受信部２１０は、入力画像の受信において、入力画像とともに、指定された領域（領域情報）と、その領域における属性（属性情報）と、その属性において所望される画質の情報（画質情報）とを含む情報を受信する。なお、以下、属性情報と画質情報とを含む情報を「教師情報」と呼ぶ。ただし、教師情報は、他の情報（例えば、領域情報、又は、前処理情報）を含んでもよい。ここで、前処理情報とは、後述する画像再構成部２５０が、画像再構成の前に実行する処理（前処理）に関する情報である。前処理とは、例えば、補正処理（明るさ補正、ホワイトバランス処理、又は、色調補正など）、フィルタ処理、又は、ノイズ除去処理である。

　「領域情報」は、入力画像において指定された範囲を表す情報である。本実施の形態における領域情報は、特に制限されない。領域情報は、例えば、入力画像における所定の形状を表す情報（例えば、円形なら、中心の位置と半径）でもよい。あるいは、領域情報は、領域の外形線の座標の集合でもよい。

　「属性」とは、指定された領域における画像の性質である。本実施の形態における属性は、特に制限されない。例えば、属性は、テクスチャ領域（画素値がある程度の規則的な変化を繰り返す領域）又は平坦領域（画素の変化が少ない領域）のような、領域における画素値の変化の性質でもよい。あるいは、属性は、車又は人などのように、画像に含まれる物体（対象物）の種類でもよい。あるいは、属性は、鉄又は木材などのように、画像に含まれる物体の材質の種類でもよい。あるいは、属性は、温度又は密度などのような、画像に含まれる物体の物理量に関する性質でもよい。あるいは、属性は、明るさ又は色彩などのような、画像に含まれる物体の光学的な性質でもよい。あるいは、属性は、人数又は個数などのような、画像に含まれる物体の数に関する性質でもよい。

　「画質情報」とは、属性が指定された領域において、後ほど詳細に説明する正則化の強度（つまり、拘束の程度）を設定するための情報である。

　例えば、利用者が与える属性情報として、テクスチャ領域及び平坦領域が、指定されたとする。そして、画質情報として、例えば、テクスチャ領域の正則化強度が「０」で、平坦領域の正則化強度が「１」と指定されたとする。この場合の正則化強度は、抑圧の程度を示す値（値の範囲は、０から１）である。そして、正則化強度の値が大きい領域は、抑制が大きい領域である。つまり、この画質情報は、テクスチャ領域では抑制を小さく、平坦領域では抑制を大きくする正則化強度の指定である。

　このように、画質情報は、画素における正則化強度を直接的に設定するものでもよい。ただし、画質情報は、これに限られない。画質情報は、正則化強度を算出に用いられる所定の算出式におけるパラメータの値でもよい。

　また、本実施の形態は、教師情報の受信方法を特に制限されない。

　例えば、上記の説明に用いた編集機器において、利用者が、画像を選択後、選択した画像において、タッチパネルを操作して、領域（領域情報）を指定し、さらに、その領域の属性情報及び画質情報を入力する。その後、教師情報受信部２１０が、入力画像の受信に合わせて、編集装置から、上記の入力された教師情報（領域情報、属性情報、及び、画質情報）を受信してもよい。そのため、図１は、画像受信部１０から教師情報受信部２１０への接続を、破線の矢印を用いて示した。なお、教師情報受信部２１０は、教師情報に含まれる情報（領域情報、属性情報、及び、画質情報）を一度に受信してもよく、個別に受信してもよい。

　この教師情報受信部２１０の動作を、より具体的に説明する。

　図１１は、教師情報受信部２１０の構成の一例を示すブロック図である。図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

　図１１に示されているように、教師情報受信部２１０は、領域指定部２１１と、教師情報取得部２１２とを含む。

　領域指定部２１１は、再構成画像における教師情報を取得する領域の指定を受信する。例えば、領域指定部２１１は、図示しない表示機器（例えば、液晶ディスプレイ）と入力機器（例えば、タッチパネル）とを含む。そして、領域指定部２１１は、表示機器（液晶ディスプレイ）に再構成画像を表示する。

　図５は、領域指定部２１１が表示する画像の一例を示す図である。

　つまり、図５に示す画像が、領域指定部２１１に含まれる表示機器に表示されているとする。

　そして、情報処理装置５００の利用者は、画像を表示している領域指定部２１１の入力機器（タッチパネル）を操作して、再構成画像上における教師情報として用いる領域（領域情報）を指定する。

　図６は、教師情報として用いる領域の指定の一例を示す図である。図６において、目及び服の部分等に示されている黒い線が、変化の大きな領域（例えば、テクスチャ領域）の指定である。また、口の周りの頬及び背景の壁に示されている灰色の線が、変化の少ない領域（例えば、平坦領域）の指定である。

　なお、領域指定部２１１は、入力機器として、タッチパネルに限らず、マウス又はタブレットなど他の機器を用いてもよい。

　領域指定部２１１は、指定された領域（領域情報）を教師情報取得部２１２に送信する。

　次に、教師情報取得部２１２は、指定された領域における属性（属性情報）を取得する。例えば、教師情報取得部２１２は、図６に示されている指定された領域それぞれについて、属性情報を受信すればよい。なお、領域指定部２１１が、領域の指定を受信する場合に、属性を含めて受信してもよい。例えば、領域指定部２１１は、領域の指定における色を選択できるようにしておく。例えば、黒色を用いた指定をテクスチャ領域の指定と、灰色を用いた指定を平坦領域の指定とする。そして、領域指定部２１１は、色を指定したタッチパネルからの入力を、領域の指定として、受信すればよい。その場合、領域指定部２１１は、指定された領域に関する領域情報と属性情報とを教師情報取得部２１２に送信すればよい。

　次に、教師情報取得部２１２は、指定された領域に関する画質情報（例えば、再構成画像の画素の正則化強度）を取得する。そして、教師情報取得部２１２は、領域指定部２１１から受信した情報と、自分で取得した情報とを合わせて、教師情報として処理すればよい。

　なお、上記の説明において、教師情報受信部２１０が、画質情報として、入力画像における正則化強度を用いる場合を説明した。しかし、本実施の形態は、これに限定されない。例えば、教師情報受信部２１０は、画質情報を、以下で説明するように取得してもよい。

　まず、後述する画像再構成部２５０が、複数の正則化強度を基に、再構成画像を再構成（生成）する。そして、教師情報受信部２１０は、複数の再構成画像を、利用者が操作する装置に送信する。利用者の装置は、受信した複数の再構成画像を表示する。なお、この利用者装置は、情報処理装置５００に含まれていてもよい。

　次に、利用者が操作する装置が、利用者に、テクスチャ領域の場合に所望する画質に近い画像と、平坦領域の場合に所望する画質に近い画像との選択を要求する。そして、利用者が操作する装置は、利用者が選択したそれぞれの画像の情報（例えば、画像の識別子又は番号）を、教師情報受信部２１０に通知する。教師情報受信部２１０は、テクスチャ領域の場合として選択された画像における正則化強度を、属性がテクスチャ領域の場合の正則化強度とする。同様に、教師情報受信部２１０は、平坦領域の場合として選択された画像における正則化強度を、属性が平坦領域の場合の正則化強度とする。そして、教師情報受信部２１０は、上記の正則化強度を画質情報として用いればよい。

　変化量算出部２２０は、入力画像における画素の値と、その画素の周辺画素の値との間の画素値の変化量を、画素毎に、算出する。ここで、周辺画素とは、対象となる画素に隣接する画素（例えば、上下左右の４個、又は、斜めの位置の画素を含めた８個）である。さらに、周辺画素は、隣接する画素に隣接する所定の範囲の画素を含んでもよい。変化量算出部２２０は、入力画像の全ての画素に対して変化量を算出することが望ましい。ただし、入力画像が、処理にふさわしくない画像を含む場合もある。このような場合、変化量算出部２２０は、入力画像の一部の画素に対しての変化量を算出してもよい。例えば、入力画像が、明らかに対象外である物体を含んでいるとする。この場合、情報処理装置５００は、例えば、利用者の操作する装置から対象外の領域の指示を受信する。そして、変化量算出部２２０は、その領域の変化量を算出しなくてもよい。

　変化量算出部２２０が算出する変化量は、特に制限されない。変化量算出部２２０は、例えば、以下のように、変化量として、変化ベクトル（変化の大きさ）と方向単位ベクトル（変化の方向）とを算出してもよい。

　ｉ番目の画素における周辺画素との間の変化の大きさはｄＹ_ｉである。そして、変化の大きさ（ｄＹ_ｉ）をラスタスキャン順に並べた縦ベクトルである変化ベクトル〔ｄＹ〕は、〔ｄＹ〕＝（ｄＹ_１，・・・，ｄＹ_ｉ，・・・，ｄＹ_Ｍ）^ｔで表される。また、ｉ（ｉ＝１，２，・・・，Ｍ）番目の画素における直交する二軸（ｘ軸とｙ軸）のそれぞれの方向であるｘ方向及びｙ方向の二方向の変化を含む変化の方向単位ベクトル〔Ｎ〕_ｉは、〔Ｎ〕_ｉ＝（Ｎ_ｘｉ，Ｎ_ｙｉ）で表される。以下、このように、二つの方向単位ベクトル〔Ｎ〕_ｉをラスタスキャン順に縦に並べたＭ×２の行列は、方向単位ベクトル〔Ｎ〕と呼ばれる。

　変化ベクトル〔ｄＹ〕及び方向単位ベクトル〔Ｎ〕を算出する方法の一例について、詳細に説明する。

　まず、変化ベクトル〔ｄＹ〕を算出する方法について説明する。

　変化ベクトル〔ｄＹ〕は、画像処理に用いるフィルタを、入力画像に積和演算した画像の画素値の絶対値が大きいほど、大きな値になるように定められればよい。

　ここで、画像処理に用いられるフィルタは、例えば、ソーベルフィルタ（Sobel filter）、プレヴィットフィルタ（Prewitt filter）、ラプラシアンフィルタ（Laplacian filter）、又は、ガボールフィルタ（Gabor filter）である。以下、一例として、ソーベルフィルタを用いた場合について説明する。

　入力画像に、ｘ方向及びｙ方向のソーベルフィルタを積和演算して得られた２つのベクトルは、それぞれ、ｘ方向変化ベクトル〔Ｙ_ｘ〕及びｙ方向変化ベクトル〔Ｙ_ｙ〕である。例えば、入力された画像の画素数が、Ｍ個の場合、ｘ方向変化ベクトル〔Ｙ_ｘ〕は、〔Ｙ_ｘ〕＝（Ｙ_ｘ１，・・・，Ｙ_ｘｉ，・・・，Ｙ_ｘＭ）^ｔである。また、ｙ方向変化ベクトル〔Ｙ_ｙ〕は、〔Ｙ_ｙ〕＝（Ｙ_ｙ１，・・・，Ｙ_ｙｉ，・・・，Ｙ_ｙＭ）^ｔである。このとき、変化量算出部２２０は、Ｙ_ｘｉ及びＹ_ｙｉを以下に示す数式１に適用して、画素ｉにおける画素値の変化の大きさ（変位ベクトル〔ｄＹ〕のｉ番目の要素）であるｄＹ_ｉを算出できる。

　［数式１］

　次に、画素値の変化の方向を算出する方法について説明する。

　変化量算出部２２０は、方向単位ベクトル〔Ｎ〕を、既に算出したｘ方向及びｙ方向への画素値の変化の大きさを基に算出する。例えば、変化量算出部２２０は、ｉ番目の画素の方向変化ベクトルの値（Ｙ_ｘｉ、Ｙ_ｙｉ）及び画素値に変化の大きさ（ｄＹ_ｉ）を数式２及び数式３に適用して、ｉ番目の画素の画素値の変化の方向単位ベクトル〔Ｎ〕_ｉ＝（Ｎ_ｘｉ、Ｎ_ｙｉ）を算出する。

　［数式２］

　［数式３］

　以上の説明では、変化量算出部２２０が、ソーベルフィルタを用いて、エッジセグメント、及び、エッジセグメントより大きなスケールにおける画素値の変化の大きさ及び方向を算出する場合を説明した。しかし、本実施の形態は、これに限定されない。例えば、変化量算出部２２０は、複数の異なるスケールにおける画素値の変化の大きさ及び方向を算出してもよい。

　具体的な一例として、変化量算出部２２０が、Ｌ種類の異なるスケールにおける画素値の変化の大きさ及び方向を算出する場合について説明する。以下の説明において、スケールは、画素間の距離を用いて表現されるとする。ただし、本実施の形態は、スケールとして、画素間の距離に限定されない。

　Ｌ個の異なるスケールは、異なる距離のスケールを、スケールの小さな方から大きさ順に並べたベクトル〔Ｒ〕＝（Ｒ_１，・・・，Ｒ_ｌ，・・・，Ｒ_Ｌ）を用いて表されるとする。例えば、Ｌ個のスケールの中で、最も小さなスケールは、Ｒ_１となり、小さい方からｌ番目のスケールは、Ｒ_ｌとなる。以下、一例として、ｌ番目に小さいスケールにおける画素値の変化の大きさ及び方向を算出する場合について説明する。

　まず、変化量算出部２２０は、ｘ方向及びｙ方向のソーベルフィルタをＲ_ｌ倍に補間拡大する。次に、変化量算出部２２０は、補間拡大したソーベルフィルタを入力画像に積和演算した画像を生成する。この時のｘ方向変化ベクトル及びｙ方向変化ベクトルは、それぞれ〔ｙ_ｘｌ〕及び〔ｙ_ｙｌ〕である。例えば、入力された画像の画素数が、Ｍ個の場合、ｘ方向変化ベクトル〔ｙ_ｘｌ〕は、〔ｙ_ｘｌ〕＝（ｙ_ｘｌ１，・・・，ｙ_ｘｌｉ，・・・，ｙ_ｘｌＭ）^ｔである。また、ｙ方向変化ベクトル〔ｙ_ｙｌ〕は、〔ｙ_ｙｌ〕＝（ｙ_ｙｌ１，・・・，ｙ_ｙｌｉ，・・・，ｙ_ｙｌＭ）^ｔである。このとき、変化量算出部２２０は、画素ｉにおける画素値の変化の大きさｄｙ_ｌｉを、ｙ_ｘｌｉ及びｙ_ｙｌｉを用いて、以下に示す数式４のように算出する。

　［数式４］

　そして、変化量算出部２２０は、そのスケールにおける変化の大きさとして、各画素における変化の大きさｄｙ_ｌｉをラスタスキャン順に並べた縦ベクトル〔ｄｙ_ｌ〕を生成すればよい。

　そして、変化量算出部２２０は、画素値の変化の方向を算出として、既に算出したｘ方向及びｙ方向への画素値の変化の大きさを基に、どの方向に最も画素値が変化しているかを決定（算出）する。例えば、変化量算出部２２０は、ｉ番目の画素の画素値の変化の方向として、ｉ番目の画素の画素値の変化の大きさｙ_ｘｌｉ、ｙ_ｙｌｉ及びｄｙ_ｌｉを用いて、変化の方向を表す方向単位ベクトル〔ｎ〕_ｌｉ＝（ｎ_ｘｌｉ，ｎ_ｙｌｉ）を算出すればよい。変化量算出部２２０は、この算出に、数式２及び３と同様の数式を用いればよい。

　なお、本実施の形態において、Ｌ種類の異なるスケールでの画素値の変化の大きさ及び方向を算出する方法は、上記の説明に限定されない。例えば、変化量算出部２２０は、ｉ番目の画素におけるｌ番目に小さいスケールの画素値の変化の大きさ及び方向を、それぞれ、ｉ番目の画素との距離がＲ_ｌ以下である全ての画素の画素値の変化の大きさ及び方向の平均値としてもよい。なお、変化量算出部２２０は、変化の大きさとして、周辺画素との変化の大きさに加え、画素の値を含ませてもよい。これは、同じ大きさの変化でも、画素の値が小さい場合と大きな場合では、変化の影響が異なるためである。

　属性信頼度算出部２３０は、教師情報の含まれる属性と、算出された入力画像の画素における変化量とを用いて、入力画像の画素について、各属性に対する信頼度を算出する。例えば、属性としてテクスチャ領域と平坦領域とが指定された場合、属性信頼度算出部２３０は、入力画像における、テクスチャ領域としての信頼度と、平坦領域としての信頼度とを算出する。属性信頼度算出部２３０は、入力画像の全ての画素について、信頼度を算出することが望ましい。ただし、属性信頼度算出部２３０は、上記の変化量算出部２２０と同様に、入力画像の一部の画素に対しての信頼度を算出してもよい。

　なお、属性信頼度算出部２３０が属性信頼度を算出する属性の数は、特に制限はない。属性信頼度算出部２３０は、１つ又は複数の属性に対して属性信頼度を算出する。

　また、本実施の形態における信頼度を算出する方法は、特に制限されない。例えば、信頼度を算出する方法は、実際の所望される画像に応じて選択されればよい。

　例えば、属性信頼度算出部２３０は、属性情報と、属性情報に対応する画素値の変化量とを基に識別器を構築する。そして、属性信頼度算出部２３０は、属性を指定した画素の領域に含まれない領域の画像の部分に、上記の識別器を適用して、属性の信頼度を算出してもよい。なお、属性信頼度算出部２３０は、領域情報を基に、属性を指定した画素の領域を判別すればよい。

　ただし、属性信頼度算出部２３０は、属性を指定した画素の部分についても、信頼度を算出してもよい。つまり、属性信頼度算出部２３０は、領域を区別せず、入力画像の全ての画素を対象に信頼度を算出してもよい。この場合、属性信頼度算出部２３０は、領域情報を受信しなくてもよい。

　より具体的には、属性信頼度算出部２３０は、次のように動作してもよい。以下の説明では、識別器として、パターン認識モデルの一つであるＳＶＭ（Support Vector Machine）を用いる。各変数は、シードとして入力した属性情報（例えば、テクスチャ領域で０、平坦領域で１を取るなど）を表すｔ_ｉと、対応する当該画素における変化量を表すξ_ｉと、事前の学習に基づいて算出された係数を表すａ_ｉ及びｈ_ｉである。カーネルはＫ（・，・）で表される。なお、カーネルとは、パターン認識技術におけるカーネル関数（特徴空間における内積）である。このとき、属性信頼度算出部２３０は、画素ｊにおける変化量ξ_ｊを、以下に示す数式５に代入して、画素ｊの属性信頼度η_ｊを算出することができる。

　［数式５］

　数式５において、変数ｉは、サポートベクトルの集合（Ｓ）の要素を区別するための添え字である。つまり、数式５のΣは、サポートベクトルの集合（Ｓ）の要素の全てにおいての総和を示す。

　図７は、図６に示されている教師情報を基に算出された属性信頼度の一例を示す図である。図７は、各画素における信頼度を、明度を用いて示している。図７において、白の部分が、平坦領域として最も信頼度が高い部分である。反対に、黒い部分が、平坦領域として、最も信頼度が低い部分である。あるいは、テクスチャ領域の属性に注目した場合、黒い部分が、テクスチャ領域として最も信頼度が高い部分である。

　正則化強度推定部２４０は、属性信頼度算出部２３０が算出した属性信頼度と、画質情報とを基に、入力画像の画素における正則化強度（λ）を推定（算出）する。正則化強度推定部２４０は、入力画像の全ての画素について、正則化強度λを推定することが望ましい。ただし、属性信頼度算出部２３０は、上記の変化量算出部２２０と同様に、入力画像の一部の画素に対しての正則化強度λを推定してもよい。

　本実施の形態において、正則化強度λを推定する手法は、特に制限されない。

　ここでは、正則化強度λを推定する方法の一例として、属性情報が、平坦領域及びテクスチャ領域を含み、画質情報が、平坦領域及びテクスチャ領域における正則化強度の場合について説明する。ただし、本実施の形態は、これに限定されない。

　ここで、画素ｊにおける所定の属性に対する属性信頼度はη_ｊ、その属性に対する正則化強度はλ_１、その他の属性に対する正則化強度はλ_０である。この場合、正則化強度推定部２４０は、画素ｊにおける正則化強度λ_ｊを、以下に示す数式６を用いて算出すればよい。

　［数式６］

　数式６を用いると、正則化強度推定部２４０は、画素ｊにおける正則化強度λ_ｊとして、所定の属性としての属性信頼度が高いと正則化強度λ_１に近い値を、所定の属性としての属性信頼度が低いとλ_０に近い値を算出する。なお、以下では、全画素での正則化強度λ_ｊを、ラスタスキャン順に並べたベクトルを〔λ〕とする。

　例えば、画質情報が、例えば、既に説明した例のように、テクスチャ領域の正則化強度λ_１が「０」、平坦領域の正則化強度λ_０が「１」である情報とする。つまり、教師情報受信部２１０が、情報処理装置５００の利用者から、テクスチャ領域では抑圧せず、平坦領域では抑圧するような画質情報を受信したとする。そして、属性信頼度算出部２３０が、属性に対する信頼度η_ｊとして、テクスチャ領域としての属性信頼度η_ｊを算出したとする。この場合、正則化強度推定部２４０は、テクスチャ領域では属性信頼度η_ｊが高いため、正則化強度λとして、λ_１（＝０）に近い値を算出する。一方、正則化強度推定部２４０は、平坦領域では属性信頼度η_ｊが低いため、正則化強度λとして、λ_０（＝１）に近い値を算出する。このように、正則化強度推定部２４０は、利用者所望の画質情報（テクスチャ領域では抑圧せず、平坦領域では抑圧する）に沿うように、正則化強度λを推定（算出）できる。

　なお、情報処理装置５００は、教師情報として、全ての属性に対する画質情報を受信する必要はない。例えば、属性が、二種類の領域（テクスチャ領域と平坦領域）とする。そして、一の属性に対する画質情報が、他の属性に対する画質情報の反対（例えば、片方の属性の正則化強度が０ならば、もう一つの属性の正則化強度が１）であるとする。この場合、教師情報受信部２１０は、教師情報として、例えば、属性情報として「属性＝テクスチャ領域」、画質情報として「正則化強度＝０」を受信してもよい。つまり、教師情報は、一の属性に関する情報でもよい。なお、この教師情報は、利用者の所望の属性の画質に相当する。

　この場合、属性信頼度算出部２３０は、属性信頼度ηとして、テクスチャ領域に対する信頼度を算出すればよい。

　そして、正則化強度推定部２４０は、数式６の正則化強度λ_１として教師情報の「０」を用いる。さらに、正則化強度推定部２４０は、正則化強度λ_１に対する正則化強度λ_０として、正則化強度λ_１（＝０）の反対の値である「１」を設定する。そして、正則化強度推定部２４０は、上記の処理を実行すればよい。

　その結果、正則化強度推定部２４０は、利用者が所望の一の属性（例えば、テクスチャ領域）としての属性信頼性が高い画素を指定した画質情報に沿った正則化強度（λ_１＝０に近い値）を推定（算出）する。一方、正則化強度推定部２４０は、属性信頼度が低い、つまり利用者が所望していない属性（例えば、平坦領域）である画素の正則化強度としては、指定された画質情報とは反対となる正則化強度（λ_０＝１に近い値）を推定（算出）する。

　このように、情報処理装置５００の正則化強度推定部２４０は、教師情報を基に、利用者所望の属性の画素に、利用者所望の画質となるような正則化強度を推定（算出）できる。さらに、正則化強度推定部２４０は、利用者所望でない属性の画素に、利用者所望の画質から離れるような正則化強度を推定（算出）できる。

　画像再構成部２５０は、正則化強度推定部２４０が推定した正則化強度を基に、入力画像を再構成した画像である再構成画像を生成する。本実施の形態における画像を再構成する方法は、特に制限されない。例えば、画像再構成部２５０は、特許文献１に記載された方法を用いて、画像を再構成してもよい。あるいは、画像再構成部２５０は、画像の再構成処理として、上述の正則化強度が強い領域における特定の周波数成分を強調するような画像強調を用いて、再構成画像を生成してもよい。あるいは、画像再構成部２５０は、画像の再構成処理として、正則化強度が強い領域において、コントラストを大きくする画像の強調処理（例えば、ハイダイナミックレンジイメージング）を用いて、画像を再構成（生成）してもよい。

　より具体的な再構成の一例として、以下、再構成として超解像を用いる場合について説明する。

　画像再構成部２５０は、入力画像の各画素における正則化強度に基づいて、各画素に適用する正則化強度に応じた正則化項「Ｅ_ｒｅｇ（〔Ｘ〕）」を決定する。決定された正則化項Ｅ_ｒｅｇ（〔Ｘ〕）は、画素値の変化の方向の成分を含んでもよい。そして、画像再構成部２５０は、入力画像に対して、数式７に示されるように、決定した正則化項Ｅ_ｒｅｇ（〔Ｘ〕）と、誤差項Ｅ_ｄａｔａ（〔Ｘ〕）との和である最適化関数（Ｅ（Ｘ））を決定する。なお、数式７において、ベクトルを示す〔〕を省略した。

　［数式７］

　数式７において、誤差項Ｅ_ｄａｔａ（〔Ｘ〕）は、入力画像〔Ｙ〕を再構成した再構成画像〔Ｘ〕に対して、劣化過程（ぼけ（ブラー）など）をシミュレートした画像（以下、劣化画像と呼ぶ）と、入力画像との差が小さいほど、小さい値を取る関数である。ただし、数式７におけるτは、予め情報処理装置５００の利用者が定めたパラメータである。

　誤差項Ｅ_ｄａｔａ（〔Ｘ〕）は、入力画像〔Ｙ〕と再構成画像〔Ｘ〕との関係を、入力画像〔Ｙ〕とボケ行列〔Ｂ〕とを用いて表す。一般的に、画像は、画像を撮影する際の各種の要因（光学系のレンズの焦点が合わないこと、又は、手振れなど）のために、ぶれた画像、つまり、不鮮明な画像となる。

　ボケ関数は、このような、画像が不鮮明になる効果を表す関数である。ボケ関数として、例えば、点広がり関数（ＰＳＦ：Point Spread Function）が挙げられる。ただし、ボケ関数は、点広がり関数に限定されない。ボケ関数は、ボケ画像におけるボケの程度を表す関数であれば、他の関数でもよい。ボケ関数は、予め、情報処理装置５００の利用者が決定した関数として、情報処理装置５００に設定されている。以下で、ボケ関数（又は、ボケ関数を用いて表されるボケ）は、Ｎ×Ｎのボケ行列〔Ｂ〕を用いて表される。ここで、Ｎは、画素の数である。つまり、ボケ行列〔Ｂ〕は、画素の数の行と列とを含む正方行列である。

　ここで、画素数がＭである画像の縦ベクトルは、〔Ｚ〕で表され、与えられたボケ関数を用いてぼかされた画像の縦ベクトルは、〔Ｚ〕_ｂで表される。このとき、縦ベクトル〔Ｚ〕と縦ベクトル〔Ｚ〕_ｂとの関係は、ボケ行列〔Ｂ〕を用いて、以下に示す数式８のように表される。

　［数式８］

　なお、縦ベクトル〔Ｚ〕は、ぼけていない画像を表し、縦ベクトル〔Ｚ〕_ｂは、ぼけている画像を表す。ここで、入力画像〔Ｙ〕は、一般的に、ぼけている画像である。そのため、入力画像〔Ｙ〕は、縦ベクトル〔Ｚ〕_ｂに対応する。また、再構成画像〔Ｘ〕は、縦ベクトル〔Ｚ〕に対応する。

　そして、誤差項Ｅ_ｄａｔａ（〔Ｘ〕）は、入力画像〔Ｙ〕と再構成画像〔Ｘ〕とボケ行列〔Ｂ〕とを含む関数である。誤差項Ｅ_ｄａｔａ（〔Ｘ〕）は、再構成画像〔Ｘ〕にぼけ関数〔Ｂ〕を適用してぼかした画像（劣化画像）と入力画像との誤差が小さいほど、小さい値を取る関数である。誤差関数Ｅ_ｄａｔａ（〔Ｘ〕）は、例えば、以下に示す数式９のような関係式として定義可能である。

　［数式９］

　数式９において、ｐは、情報処理装置５００の利用者が予め設定するパラメータである。また、数式９の右辺における縦の二重線（||・||）は、ベクトルのノルムを表す。ここで、ノルムとは、解析学において、長さの一般化したものである。ノルム（二重線）の下付の値（ｐ）は、次元を示す。つまり、「||・||_ｐ」は、ｐ次元のノルムを表す。なお、上付きの値（ｐ）は、累乗を表す。

　一方、正則化項Ｅ_ｒｅｇ（〔Ｘ〕）は、例えば、以下の数式１０のように表される。

　［数式１０］

　数式１０において、行列〔Ｄ〕は、画像の微分フィルタを表す行列である。行列ｄｉａｇ〔λ〕は、正則化強度推定部２４０が算出した各画素における正則化強度を、対角に並べた対角行列である。

　画像再構成部２５０は、数式７で表された最適化関数Ｅ（〔Ｘ〕）の値が最小となる再構成画像〔Ｘ〕を生成（探索）する。画像再構成部２５０における探索の方法は、特に制限されない。探索の方法としては、例えば、勾配法又は共役勾配法などが挙げられる。画像再構成部２５０は、これらの方法を用いて、再構成画像の各画素値を探索できる。なお、教師情報が、既に説明した前処理情報を含む場合、画像再構成部２５０は、前処理情報に基づいて、数式７を用いた画像再構成の前に、画像の前処理を実行してもよい。

　図８は、図５に示されている画像を基に再構成した画像の一例を示す図である。図８に示されている画像は、図５に示されている画像と比較すると、頬及び壁など平坦領域の平坦さを保ったまま、目の周り及び服の模様の部分等のテクスチャ領域の解像度が向上している。

　［動作の説明］
　次に、図面を参照して本実施の形態に係る情報処理装置５００の動作について説明する。

　図２は、本実施の形態に係る情報処理装置５００の動作の一例を示す流れ図である。

　まず、画像受信部１０が、再構成したい画像（対象となる画像）である入力画像を受信する（ステップＳ２００）。

　次に、教師情報受信部２１０が、入力画像に対する教師情報を受信する（ステップＳ２０１）。

　さらに、変化量算出部２２０が、入力画像における変化量を算出する（ステップＳ２０２）。

　次に、属性信頼度算出部２３０が、変化量と教師情報とを基に、属性信頼度を算出する（ステップＳ２０３）。

　次に、正則化強度推定部２４０が、属性信頼度を基に、正則化強度を推定する（ステップＳ２０４）。

　次に、画像再構成部２５０が、正則化強度を用いて、入力画像から再構成画像を生成（再構成）する（ステップＳ２０５）。

　画像出力部３０は、再構成画像を出力する（ステップＳ２０６）。

　出力された再構成画像は、例えば、図示しない利用者の装置に表示される。そして、利用者の装置が、利用者からの修正依頼を受信した場合、利用者の装置は、修正依頼を情報処理装置５００に送信する。

　情報処理装置５００は、利用者からの画像の修正依頼を受信した場合（ステップＳ２０７でＹｅｓ）、情報処理装置５００は、ステップＳ２０１に戻り、上記の処理を繰り返す。なお、情報処理装置５００は、修正依頼として、少なくとも、教師情報を受信する。ただし、ここで受信する教師情報は、一部の教師情報（例えば、一部の属性情報と画質情報）でもよい。

　利用者からの画像の修正依頼を受信しない場合（ステップＳ２０７でＮｏ）、情報処理装置５００は、処理を終了する。

　［効果の説明］
　次に、本実施の形態の効果について説明する。

　第１の実施の形態に係る情報処理装置５００は、画像処理における適切なパラメータをより簡便に調整（指定）できるとの効果を奏することができる。

　その理由は、次のとおりである。

　変化量算出部２２０が、入力画像の変化量を算出する。そして、属性信頼度算出部２３０が、教師情報と変化量とを基に、属性信頼度を算出する。そして、正則化強度推定部２４０が、教師情報と属性信頼度を基に、正則化強度を推定する。そして、画像再構成部２５０が、正則化強度を用いて、入力画像を再構成して再構成画像を生成する。このように、情報処理装置５００が入力として必要な情報は、教師情報である。

　そして、本実施の形態において教師情報は、入力画像の一部の領域の属性の情報（属性情報）と、その属性における画質との情報（画質情報）と含めばよい。このように、属性情報及び画質情報は、細かなパラメータの値の指定ではなく、ある程度の画像の性質の分類の選択と、希望の画質の選択の指定とである。つまり、教師情報の指定は、一般的な画像におけるパラメータの指定に対して、かなり簡便な指定である。このように、情報処理装置５００は、利用者の簡便な指定を基に、適切なパラメータ（例えば、正則化強度）を推定して、画像を再構成するためである。

　また、情報処理装置５００の利用者は、情報処理装置５００が生成した再構成画像を基に、再編集処理の修正を指定できる。つまり、情報処理装置５００は、利用者の画像処理の設定（指示）の指示において、画像の判別という、パラメータの設定と比較して簡便な方法を提供できるためである。

　このように、情報処理装置５００は、利用者に簡便な指定を提供できるためである。

　［変形例１］
　以上の説明した情報処理装置５００は、次のように構成される。

　例えば、情報処理装置５００の各構成部は、ハードウェア回路で構成されてもよい。

　また、情報処理装置５００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。

　図３は、本実施の形態の変形例１に係る情報処理装置５０１の構成の一例を示すブロック図である。図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

　情報処理装置５０１は、変化量算出部２２０と、属性信頼度算出部２３０と、正則化強度推定部２４０と、画像再構成部２５０とを含む。そして、情報処理装置５０１は、入力画像と教師情報（属性情報と画質情報）とを図示しないネットワークなどを介して受信し、情報処理装置５００の画像処理部２０と同様に動作し、再構成画像を図示しないネットワークなどを介して他の装置に送信する。あるいは、情報処理装置５０１は、図示しない記憶部が保存している入力画像と教師情報とを読み出して、情報処理装置５００と同様に動作してもよい。なお、既に情報処理装置５００において説明した通り、情報処理装置５０１は、領域情報を受信しなくてもよい。そのため、図３は、括弧を付けて領域情報を示している。

　このように構成された情報処理装置５０１は、情報処理装置５００と同様の効果を得ることができる。

　その理由は、上記のとおり、情報処理装置５０１の各構成が、ネットワークを介して受信した入力画像と教師情報とを基に、情報処理装置５００の構成と同様に、再構成画像を生成するためである。

　なお、情報処理装置５０１は、本発明の実施の形態における最小構成である。

　［変形例２］
　また、情報処理装置５００において、複数の構成部は、１つのハードウェアで構成されてもよい。

　また、情報処理装置５００は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現されてもよい。情報処理装置５００は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現されてもよい。

　図４は、本変形例に係る情報処理装置６００の構成の一例を示すブロック図である。

　情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

　ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示される、画像処理部２０としての機能を実現する。すなわち、ＣＰＵ６１０を含むコンピュータは、教師情報受信部２１０と、変化量算出部２２０と、属性信頼度算出部２３０と、正則化強度推定部２４０と、画像再構成部２５０としての各機能を実現する。ＣＰＵ６１０を含むコンピュータは、さらに、図１に示す画像受信部１０と、画像出力部３０としての機能を実現してもよい。

　ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶として使用してもよい。

　また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。

　ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ－ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。

　ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ－ＲＡＭ（Dynamic-RAM）である。

　内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

　ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（non-transitory）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（transitory）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。

　ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。

　入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス、又は、タッチパネルである。入力機器６６０は、画像受信部１０、又は、教師情報受信部２１０として機能してもよい。

　表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。表示機器６７０は、画像出力部３０、又は、教師情報受信部２１０（領域指定部２１１）として動作してもよい。

　ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。

　このように構成された情報処理装置６００は、情報処理装置５００と同様の効果を得ることができる。

　その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置５００と同様の機能を実現できるためである。

　＜第２の実施の形態＞
　次に、図面を参照して、第２の実施の形態について説明する。

　［構成の説明］
　図９は、第２の実施の形態に係る情報処理装置５１０の構成の一例を示すブロック図である。図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

　図９に示されているように、第２の実施の形態に係る情報処理装置５１０は、第１の実施の形態の情報処理装置５００と比較し、画像処理部２０に換えて画像処理部２１を含む点で異なる。

　画像処理部２１は、画像処理部２０と比較し、変化量算出部２２０及び属性信頼度算出部２３０に換えて、変化量算出部２２１及び属性信頼度算出部２３１を含み、さらに、学習用画像受信部２６１と、学習画像用教師情報受信部２７１とを含む点で異なる。そのため、第１の実施の形態と同様の構成及び動作の説明を省略し、本実施の形態に特有の構成及び動作について説明する。

　なお、情報処理装置５１０は、図４に示すコンピュータを用いて実現されてもよい。

　学習用画像受信部２６１は、入力画像とは異なる１枚以上の画像（学習用画像）を受信する。

　学習画像用教師情報受信部２７１は、教師情報受信部２１０が入力画像に対応する教師情報（第１の教師情報）を受信するのと同様に、学習用画像に対応する教師情報を受信する。すなわち、学習画像用教師情報受信部２７１は、学習用画像の一部の画素における属性情報と、その属性において所望される画質情報とを含む教師情報（第２の教師情報）を受信する。なお、第２の教師情報が含む属性情報は、第１の教師情報に含まれる属性情報と同様の属性情報でもよく、異なる属性情報でもよい。また、第２の教師情報に含まれる属性情報の属性は、既に説明した第１の実施の形態に説明における各種の属性（例えば、画素の性質、物体の種類、材質、物理量、光学的な性質又は数の情報）でもよい。さらに、第２の教師情報は、領域情報又は前処理情報を含んでもよい。そして、画像再構成部２５０は、第２の教師情報に含まれる前処理情報を用いて、前処理を実行してもよい。なお、学習用画像受信部２６１及び学習画像用教師情報受信部２７１は、受信した学習画像及び教師情報の全てを用いてもよく、一部を用いてもよい。例えば、学習用画像受信部２６１及び学習画像用教師情報受信部２７１は、入力画像と学習画像との類似度を算出し、所定の範囲の類似度となった学習画像及びその学習画像に対応する教師情報（第２の教師情報）を用いてもよい。ここで、学習用画像受信部２６１及び学習画像用教師情報受信部２７１が用いる入力画像と学習画像との類似度の算出方法は、特に制限されない。例えば、学習用画像受信部２６１及び学習画像用教師情報受信部２７１は、一般的な画像処理で用いられている画像特徴量（シフト特徴量、又は、フィッシャーベクトルなど）を用いて、類似度を算出してもよい。

　変化量算出部２２１は、入力画像と学習用画像とを基に、変化量を算出する。変化量算出部２２１は、変化量を算出する方法として、第一の実施の形態の変化量算出部２２０と同様の方法を、入力画像と学習画像とに適用すればよい。

　属性信頼度算出部２３１は、入力画像及び学習用画像における属性と、変化量算出部２２１が算出した変化量とを用いて、入力画像の全画素における各属性に対応する信頼度を算出する。

　［動作の説明］
　次に、図面を参照して本実施の形態に係る情報処理装置５１０の動作について説明する。

　図１０は、情報処理装置５１０の動作の一例を示す流れ図である。なお、図２と同様の動作には、同じ符号を付し、その詳細な説明を省略する。

　まず、学習用画像受信部２６１が、学習用画像を受信し、学習画像用教師情報受信部２７１が、学習用画像に対応する教師情報を受信する（ステップＳ４００）。

　次に、第１の実施の形態と同様に、画像受信部１０が、入力画像を受信し（ステップＳ２００）、教師情報受信部２１０が、入力画像に対する教師情報を受信する（ステップＳ２０１）。

　そして、変化量算出部２２１が、入力画像及び学習用画像を基に変化量を算出する（ステップＳ４０２）。

　次に、属性信頼度算出部２３１が、変化量と、入力画像及び学習用画像の教師情報とを基に、属性信頼度を算出する（Ｓ４０２）。

　以下の動作は、第１の実施の形態と同様のため、詳細な説明を省略する。

　［効果の説明］
　次に、第２の実施の形態の効果について説明する。

　第２の実施の形態に係る情報処理装置５１０は、第１の実施の形態の効果に加え、より精度の高い処理を実現できるとの効果を奏することができる。

　その理由は、次のとおりである。

　学習用画像受信部２６１が、学習画像を受信する。さらに、学習画像用教師情報受信部２７１が、学習用画像に対応した教師情報を受信する。

　そして、変化量算出部２２１が、入力画像に加え、学習画像を基に変化量を算出する。つまり、変化量算出部２２１は、変化量算出部２２０と比べ、より多くの画像を基に変化量を算出する。そのため、変化量算出部２２１は、変化量算出部２２０より精度の高い変化量を算出できる。

　さらに、属性信頼度算出部２３１は、第１の実施の形態と同様の入力画像と対応する教師情報に加え、学習用画像と対応する教師情報と上記の精度が高い変化量とを基に、属性信頼度を算出する。そのため、属性信頼度算出部２３１は、属性信頼度算出部２３０より精度の高い属性信頼度を算出できる。

　さらに、正則化強度推定部２４０は、精度の高い属性信頼度を基に、正則化強度を推定するため、より精度の高い正則化強度を推定することができる。

　そして、画像再構成部２５０は、精度の高い正則化強度を用いるため、より精度の高い再構成画像を生成できるためである。

　［具体的な動作例］
　次に、第二の実施の形態に係る情報処理装置５１０のより具体的な動作例について説明する。

　学習用画像受信部２６１は、学習画像として、例えば、監視カメラ画像、医療画像、又は、衛星画像などの画像を受信する。

　また、学習画像用教師情報受信部２７１は、教師情報として、例えば、情報処理装置５１０の利用者が利用者の装置を用いて送信した属性と、その属性において所望される画質情報とを受信する。

　あるいは、学習画像用教師情報受信部２７１は、教師情報としては、利用者とは異なる者が操作する装置から、属性と、その属性において所望される画質情報とを受信してもよい。

　例えば、利用者が医療従事者の場合、その医療従事者より医療画像の分析に対する経験が豊富な医療従事者が、医療画像を分析するために最適となる学習情報（属性情報と画質情報）を、情報処理装置５１０に送信してもよい。この場合、属性情報は、例えば、画素が患部であるか否かを示す情報である。また、画質情報は、例えば、患部でない領域の正則化強度を「１」とする情報である。そして、利用者である医療従事者は、経験が豊富な医療従事者が入力した学習情報を用いて、入力画像を再構成する。このような作業を基に、医療従事者は、お互いの画像分析に対する経験及びノウハウを共有することが可能となる。さらに、学習画像用教師情報受信部２７１が、前処理情報を含む教師情報を受信する場合、医療従事者は、前処理に関する経験及びノウハウを共有することが可能となる。

　なお、実施の形態において、学習用画像受信部２６１、及び、学習画像用教師情報受信部２７１が受信する学習画像及び教師情報（属性情報及び画質情報）は、図示しない他の装置（例えば、サーバなどの記録装置）に保存されていてもよい。この場合、情報処理装置５１０は、必要に応じて、例えば、情報処理装置５１０の利用者の指示を基に、その装置に保存されている情報を使用すればよい。

　あるいは、情報処理装置５１０は、学習用画像受信部２６１が受信する学習画像の替わりに、変化量算出部２２１が算出した変化量を保存してもよい。このように、学習画像でなく、変化量を記録しておくことは、画像の機密性を保持したまま、利用者同士における、相互の画像分析に対する経験及びノウハウを共有することを可能とする。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１４年１２月１７日に出願された日本出願特願２０１４－２５５１５８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、犯罪捜査画像又は衛星画像を分析する用途に適用できる。また、本発明は、医療画像を分析する用途にも適用可能である。さらに、本発明は、それらの各画像分析において、算出後の正則化強度、又は、教師情報の利用を基に、画像分析者における画像分析の経験又はノウハウを共有するという用途にも適用できる。

　１０　画像受信部
　２０　画像処理部
　２１　画像処理部
　３０　画像出力部
　２１０　教師情報受信部
　２１１　領域指定部
　２１２　教師情報取得部
　２２０　変化量算出部
　２２１　変化量算出部
　２３０　属性信頼度算出部
　２３１　属性信頼度算出部
　２４０　正則化強度推定部
　２５０　画像再構成部
　２６１　学習用画像受信部
　２７１　学習画像用教師情報受信部
　５００　情報処理装置
　５０１　情報処理装置
　５１０　情報処理装置
　６００　情報処理装置
　６１０　ＣＰＵ
　６２０　ＲＯＭ
　６３０　ＲＡＭ
　６４０　内部記憶装置
　６５０　ＩＯＣ
　６６０　入力機器
　６７０　表示機器
　６８０　ＮＩＣ
　７００　記録媒体

Claims (10)

1. 　処理の対象である入力画像において、前記入力画像の所定の画素の値と、前記画素の周辺の画素の値との変化量を算出する変化量算出手段と、
   　前記入力画像における指定された領域の画素の性質である属性と、前記変化量とを基に、前記入力画像の画素の属性についての信頼度である属性信頼度を算出する属性信頼度算出手段と、
   　前記属性における画質の情報である画質情報と、前記属性信頼度とを基に、前記入力画像における画素の正則化強度を推定する正則化強度推定手段と
   　前記正則化強度を用いて前記入力画像を再構成した画像である再構成画像を生成する画像再構成手段と
   　を含む情報処理装置。
2. 　前記画像再構成手段が、
   　前記正則化強度に基づく正則化の強さを画素毎に表す正則化項と、前記再構成画像を劣化させた画像である劣化画像と前記入力画像との画素の差分を表す誤差項とに基づいて、前記再構成画像を生成する
   　請求項１に記載の情報処理装置。
3. 　前記正則化強度推定手段が、
   　各画素において、前記属性信頼度が高いほど前記属性における前記画質情報に沿うように前記正則化強度を推定し、前記属性信頼度が低いほど前記属性における前記画質情報から離れるような前記正則化強度を推定する
   　請求項１又は２に記載の情報処理装置。
4. 　前記属性信頼度算出手段が、
   　前記属性が指定された領域の情報である領域情報を基に、
   　前記属性の信頼度を算出する
   　請求項１ないし３のいずれか１項に記載の情報処理装置。
5. 　前記入力画像を受信する画像受信手段と、
   　前記再構成画像を出力する画像出力手段と、
   　前記属性の情報と前記画質情報とを含む教師情報を受信する教師情報受信手段とをさらに含み、
   　前記教師情報受信手段が、
   　前記画像出力手段が出力した前記再構成画像における所定の領域の画素の前記正則化強度を前記画質情報として受信する
   　請求項１ないし４のいずれか１項に記載の情報処理装置。
6. 　前記画像再構成手段が、複数の再構成画像を生成し、
   　前記画像出力手段が、前記複数の再構成画像を出力し、
   　前記教師情報受信手段が、前記画像出力手段が出力した複数の前記再構成画像における、複数の領域の画素の前記正則化強度を前記画質情報として受信する
   　請求項５に記載の情報処理装置。
7. 　前記教師情報受信手段が、
   　前記再構成画像における前記画素の正則化強度の領域を指定する領域指定手段と、
   　前記指定された領域の教師情報として前記領域の画素の属性と正則化強度とを取得する教師情報取得手段とをさらに含む、
   　請求項５又は６に記載の情報処理装置。
8. 　前記入力画像とは異なる画像である学習用画像を受信する学習用画像受信手段と、
   　前記学習用画像に対応する第２の教師情報を受信する学習画像用教師情報受信手段とをさらに含み、
   　前記変化量算出手段が、
   　前記学習用画像を基に前記変化量を算出し、
   　前記属性信頼度算出手段が、
   　前記学習用画像の第２の教師情報を用いて前記属性信頼度を算出する
   　請求項１ないし７のいずれか１項に記載の情報処理装置。
9. 　処理の対象である入力画像において、前記入力画像の所定の画素の値と、前記画素の周辺の画素の値との変化量を算出し、
   　前記入力画像における指定された領域の画素の性質である属性と、前記変化量とを基に、前記入力画像の画素の属性についての信頼度である属性信頼度を算出し、
   　前記属性における画質の情報である画質情報と、前記属性信頼度とを基に、前記入力画像における画素の正則化強度を推定し、
   　前記正則化強度を用いて前記入力画像を再構成した画像である再構成画像を生成する
   　情報処理方法。
10. 　処理の対象である入力画像において、前記入力画像の所定の画素の値と、前記画素の周辺の画素の値との変化量を算出する処理と、
    　前記入力画像における指定された領域の画素の性質である属性と、前記変化量とを基に、前記入力画像の画素の属性についての信頼度である属性信頼度を算出する処理と、
    　前記属性における画質の情報である画質情報と、前記属性信頼度とを基に、前記入力画像における画素の正則化強度を推定する処理と、
    　前記正則化強度を用いて前記入力画像を再構成した画像である再構成画像を生成する処理と
    　をコンピュータに実行させるプログラムをコンピュータに読み取り可能に記録する記録媒体。

Images