JP6450710B2 - 情報予測システム、情報予測方法及び情報予測プログラム - Google Patents
情報予測システム、情報予測方法及び情報予測プログラム Download PDFInfo
- Publication number
- JP6450710B2 JP6450710B2 JP2016099737A JP2016099737A JP6450710B2 JP 6450710 B2 JP6450710 B2 JP 6450710B2 JP 2016099737 A JP2016099737 A JP 2016099737A JP 2016099737 A JP2016099737 A JP 2016099737A JP 6450710 B2 JP6450710 B2 JP 6450710B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- learning
- information
- vector
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 115
- 239000013598 vector Substances 0.000 claims description 210
- 238000012545 processing Methods 0.000 claims description 132
- 230000008569 process Effects 0.000 claims description 83
- 238000012805 post-processing Methods 0.000 claims description 20
- 230000008878 coupling Effects 0.000 claims description 16
- 238000010168 coupling process Methods 0.000 claims description 16
- 238000005859 coupling reaction Methods 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 description 31
- 238000000605 extraction Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 11
- 238000010606 normalization Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000004547 Hallucinations Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、予測元情報に基づいて、予測先情報を予測するための情報予測システム、情報予測方法及び情報予測プログラムに関する。
二つの情報の関係を学習し、処理対象情報に対して、この学習結果を利用して、新たな情報を予測する場合がある。例えば、超解像技術においては、低解像度の原画像から高解像度の画像を生成する。この超解像技術は、ディスプレイ装置の高解像度化に伴って注目されており、各種機器等で採用されつつある。この超解像技術においては、失われた高周波成分を類推することになる。例えば、ある画像データのピクセルサイズを縦横に拡大する場合、隣り合う二つのピクセルの中間値を算出して、間のピクセルを埋める。この算出方法では失われた高周波成分が再現されず、拡大画像の境界線が曖昧な画像になる。一方、超解像技術では、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、高周波成分を類推する。
超解像技術においては、パッチ超解像と、高周波成分予測とを組み合わせる（例えば、非特許文献１参照）。この文献に記載された技術では、低周波成分から高周波成分を予測する手法として、低周波と高周波をＰＣＡで次元を削減し、高解像画像を回帰分析で予測する。この場合、ポスト処理としてバイラテラルフィルタを用いている。
また、少ないハードウェアリソースで高速に処理する技術も検討されている（例えば、特許文献１参照）。この文献に記載された技術では、まず、処理対象とする画像をシーンに分ける。そして、シーンに適合する辞書テーブルを用いて、失われた高周波成分を辞書に対するツリー検索にて類推する。そして、辞書テーブルの検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを行ない、その平均値を算出する。
Columbia University,Wei Liu1,他「Hallucinating Faces:TensorPatch Super-Resolution and Coupled Residue Compensation」、［online］、Columbia University、［平成２６年９月２３日検索］、インターネット＜http://www.ee.columbia.edu/~wliu/CVPR05_LiuWei1.pdf＞
上述のように、超解像技術において、高速化、高画質化のための各種試行が行われている。しかしながら、非特許文献１に記載の技術においては、主成分分析が行なわれているが、高解像画像は回帰分析により予測している。この場合、低解像と高解像との関係を、主成分係数毎に独立に回帰学習すると、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。
また、特許文献１に記載の技術においては、辞書データのデータ量削減と、検索高速化のために主成分分析を行なっているが、主成分係数の分散は考慮されていない。
本発明は、上記問題点を解決するためになされたものであり、第１の情報に基づいて、第２の情報を効率的に予測するための情報予測システム、情報予測方法及び情報予測プログラムを提供することにある。
本発明は、上記問題点を解決するためになされたものであり、第１の情報に基づいて、第２の情報を効率的に予測するための情報予測システム、情報予測方法及び情報予測プログラムを提供することにある。
・上記課題を解決する情報予測システムは、学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備える。そして、前記制御部が、前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この
結合係数と、前記学習結果記憶部に記録された前記結合ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行する。これにより、効率的かつ的確に予測することができる。
結合係数と、前記学習結果記憶部に記録された前記結合ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行する。これにより、効率的かつ的確に予測することができる。
本発明によれば、予測元情報に基づいて、予測先情報を効率的に予測することができる。
以下、本発明を具体化した情報予測システムの一実施形態を図１〜図１４に従って説明する。本実施形態では、顔画像の解像度を上げる超解像技術に適用する場合を説明する。
図１に示すように、本実施形態では、画像処理システム２０を用いる。この画像処理システム２０には、入力部１０、出力部１５が接続されている。入力部１０は、キーボードやポインティングデバイスにより構成され、担当者によって入力された情報を取得する。出力部１５は、ディスプレイにより構成され、各種情報の出力を行なう。
図１に示すように、本実施形態では、画像処理システム２０を用いる。この画像処理システム２０には、入力部１０、出力部１５が接続されている。入力部１０は、キーボードやポインティングデバイスにより構成され、担当者によって入力された情報を取得する。出力部１５は、ディスプレイにより構成され、各種情報の出力を行なう。
画像処理システム２０は、超解像処理を行なうためのコンピュータシステムである。この画像処理システム２０は、制御部２１、学習対象記憶部としての顔画像記憶部２２、学習結果記憶部２３を備えている。
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（学習段階、超解像段階、第１予測段階、第２予測段階、ポスト処理段階、特徴点抽出段階、メッシュ分割段階、正規化段階、特徴画像抽出段階、主成分分析段階等の各処理等）を行なう。そのための情報予測プログラムを実行することにより、制御部２１は、図１に示すように、学習部２１０、超解像部２１５、第１予測部２１６、第２予測部２１７、ポスト処理部２１８、特徴点抽出部２１ａ、メッシュ分割部２１ｂ、正規化部２１ｃ、特徴画像抽出部２１ｄ、主成分分析部２１ｅとして機能する。
学習部２１０は、高解像画像と、この高解像画像に対応した低解像画像とを用いて、超解像処理に必要な情報を生成する処理を実行する。
超解像部２１５は、処理対象画像（入力画像）の解像度を上げる超解像処理を実行する。超解像部２１５は、処理対象画像及び計算途中の画像を記憶するメモリを備えている。
超解像部２１５は、処理対象画像（入力画像）の解像度を上げる超解像処理を実行する。超解像部２１５は、処理対象画像及び計算途中の画像を記憶するメモリを備えている。
第１予測部２１６は、主成分ベクトルが直交化されている場合に、高解像パッチの最適解を算出する処理を実行する。
第２予測部２１７は、主成分ベクトルが直交化されていない場合に、高解像パッチの最適解を検索する処理を実行する。第２予測部２１７は、主成分係数の最適解の検索時に微小移動させる振れ幅に関するデータを保持している。
第２予測部２１７は、主成分ベクトルが直交化されていない場合に、高解像パッチの最適解を検索する処理を実行する。第２予測部２１７は、主成分係数の最適解の検索時に微小移動させる振れ幅に関するデータを保持している。
ポスト処理部２１８は、生成した超解像画像を用いて、誤差を調整する処理を実行する。本実施形態では、ＩＢＰ（iterative back projection）法を用いる。このポスト処理部２１８は、超解像結果の妥当性を判定するための閾値に関するデータを保持している。
特徴点抽出部２１ａは、処理対象画像において、特徴点を抽出する処理を実行する。本実施形態では、パターン認識により、顔画像を代表する特徴点（例えば、顔の輪郭や顔のパーツ位置）を抽出する。
メッシュ分割部２１ｂは、抽出した特徴点に基づいて、処理対象画像を所定形状のメッシュに分割する処理を実行する。本実施形態では、Delaunay法を用いて、三角形状のメッシュを生成する。このDelaunay法は、空間内の点を連結して三角形のグループを生成し、その三角形のすべての角に対する最小角度が最大になるようにする手法である。
正規化部２１ｃは、処理対象画像における特徴点が、予め定められた位置に配置されるようにメッシュを変形する処理を実行する。本実施形態では、予め定められた位置として平均顔の配置を用いる。このため、正規化部２１ｃには、平均顔の配置パターンに関するデータを保持させておく。更に、正規化部２１ｃは、変形させたメッシュを元に戻す処理を実行する。このため、正規化部２１ｃには、正規化のために変形させたときの変換情報を記憶する。
特徴画像抽出部２１ｄは、正規化した処理対象画像から超解像画像を生成するために必要な特徴量を抽出する処理を実行する。本実施形態では、特徴量として、画像の高周波成分を用いる。なお、後述するように、処理対象画像そのもの（元画像）を特徴量として用いることも可能である。
主成分分析部２１ｅは、複数のデータにおいて、分散の大きい方向順に直交ベクトルを求める主成分分析処理を実行する。主成分分析部２１ｅは、主成分分析処理により、固有値と固有ベクトル（基底ベクトル）とを算出する。ここで、固有値は分散を示す。また、基底ベクトルは、分散の大きな方向順に並べられる。下位の主成分ほど情報が少ないので、一定の累積寄与率（正規化固有値の累積）に達した時点で足切りすることにより、次元を限定して計算負荷を軽減することができる。
次に、各記憶部に記録されている情報を説明する。
顔画像記憶部２２には、学習に用いる顔画像（学習対象）に関する学習用画像データが記録されている。この学習画像データは、超解像処理のための学習に用いるデータが登録された場合に記録される。この顔画像データには、データ番号に関連付けられて、複数の顔画像が記録されている。
顔画像記憶部２２には、学習に用いる顔画像（学習対象）に関する学習用画像データが記録されている。この学習画像データは、超解像処理のための学習に用いるデータが登録された場合に記録される。この顔画像データには、データ番号に関連付けられて、複数の顔画像が記録されている。
学習結果記憶部２３には、カップリング学習によって生成された主成分基底ベクトルと平均ベクトルとが記録される。ここで、ｉ番目の結合パッチベクトルの平均ベクトルは以下のように表現することができる。
また、ｉ番目の結合パッチベクトルの、ｎ番目の主成分の主成分基底ベクトルは、以下のように表現することができる。
以下、上記画像処理システム２０において、超解像画像を生成する場合の処理を説明する。この処理は、学習処理と超解像処理とから構成される。
（学習処理）
まず、図２を用いて、学習処理を説明する。この学習処理は、第１の学習処理と第２の学習処理とを含む。第１の学習処理においては、サイズや顔パーツの位置を合わせるように正規化した高解像と低解像との顔画像のペアを生成する。第２の学習処理においては、高解像と低解像との顔画像のペアを、それぞれ所定形状（例えば、四角形）の要素（パッチ）に分割する。そして、パッチ単位で「低解像、高解像」の関係を、主成分分析によりカップリング学習する。
（学習処理）
まず、図２を用いて、学習処理を説明する。この学習処理は、第１の学習処理と第２の学習処理とを含む。第１の学習処理においては、サイズや顔パーツの位置を合わせるように正規化した高解像と低解像との顔画像のペアを生成する。第２の学習処理においては、高解像と低解像との顔画像のペアを、それぞれ所定形状（例えば、四角形）の要素（パッチ）に分割する。そして、パッチ単位で「低解像、高解像」の関係を、主成分分析によりカップリング学習する。
（第１の学習処理）
まず、図２（ａ）を用いて、第１の学習処理を説明する。
ここでは、画像処理システム２０の制御部２１は、顔画像記憶部２２に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
まず、図２（ａ）を用いて、第１の学習処理を説明する。
ここでは、画像処理システム２０の制御部２１は、顔画像記憶部２２に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
まず、画像処理システム２０の制御部２１は、特徴点抽出処理を実行する（ステップＳ１−１）。具体的には、制御部２１の学習部２１０は、特徴点抽出部２１ａを用いて、顔の輪郭や顔パーツの特徴点を特定する。本実施形態では、顔の表情のトラッキングや顔の認識などに主に使われているＡＡＭ（Active Appearance Models）法による自動抽出を用いる。このＡＡＭ法では、対象物体（人の顔）を有限個の頂点でモデル化し、このモデルを入力画像に対してフィッティングすることで対象物体の特徴点の抽出を行なう。
次に、画像処理システム２０の制御部２１は、メッシュ分割処理を実行する（ステップＳ１−２）。具体的には、制御部２１の学習部２１０は、メッシュ分割部２１ｂを用いて、抽出した特徴点が配置された顔画像をメッシュ分割する。
次に、画像処理システム２０の制御部２１は、正規化処理を実行する（ステップＳ１−３）。具体的には、制御部２１の学習部２１０は、正規化部２１ｃを用いて、各メッシュのグリッドを、予め定められたメッシュ位置（例えば、平均顔）に移動させて、メッシュにより構成される三角形を変形する。これにより、すべての顔画像の特徴点の位置が揃った顔画像データを生成することができる。
以上、顔画像記憶部２２に記録されたすべての顔画像データについて終了するまで繰り返す。
以上、顔画像記憶部２２に記録されたすべての顔画像データについて終了するまで繰り返す。
（第２の学習処理）
次に、図２（ｂ）を用いて、第２の学習処理を説明する。
次に、図２（ｂ）を用いて、第２の学習処理を説明する。
ここでは、まず、画像処理システム２０の制御部２１は、処理対象の解像度（低解像、高解像）を特定し、解像度毎に以下の処理を繰り返す。
ここでは、顔画像記憶部２２に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
ここでは、顔画像記憶部２２に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
まず、画像処理システム２０の制御部２１は、ターゲット画像にリサイズ処理を実行する（ステップＳ２−１）。具体的には、制御部２１は、後述するカップリング学習に用いる画像サイズ（低解像画像、高解像画像）に変換する。
次に、画像処理システム２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ２−２）。具体的には、制御部２１の学習部２１０は、特徴画像抽出部２１ｄにより、正規化したターゲット画像から超解像に必要な特徴量を抽出する。この処理の詳細は、後述する。
次に、画像処理システム２０の制御部２１は、パッチ分割処理を実行する（ステップＳ２−３）。具体的には、制御部２１の学習部２１０は、ターゲット画像を、予め定められた数（所定数）のパッチに分割する。本実施形態では、例えば、（２５＊２５）画素のパッチを生成する。
次に、画像処理システム２０の制御部２１は、処理対象のパッチを特定し、パッチ毎に以下の処理を繰り返す。
ここでは、画像処理システム２０の制御部２１は、行列の作成処理を実行する（ステップＳ２−４）。具体的には、制御部２１の学習部２１０は、処理対象のパッチについて、２次元パッチデータを生成する。ここでは、処理対象パッチにおけるＲＧＢ値を画素毎に並べた２次元パッチデータを生成する。そして、学習部２１０は、生成した２次元パッチデータを１次元行パッチベクトル（ｐij）に変換する。ここで、「ｉ」はパッチ位置、「ｊ」は顔画像データを特定する変数である。そして、学習部２１０は、１次元行パッチベクトル（ｐij）を行列Ｄｉに格納する。
ここでは、画像処理システム２０の制御部２１は、行列の作成処理を実行する（ステップＳ２−４）。具体的には、制御部２１の学習部２１０は、処理対象のパッチについて、２次元パッチデータを生成する。ここでは、処理対象パッチにおけるＲＧＢ値を画素毎に並べた２次元パッチデータを生成する。そして、学習部２１０は、生成した２次元パッチデータを１次元行パッチベクトル（ｐij）に変換する。ここで、「ｉ」はパッチ位置、「ｊ」は顔画像データを特定する変数である。そして、学習部２１０は、１次元行パッチベクトル（ｐij）を行列Ｄｉに格納する。
ここで、低解像パッチに関するデータ行列Ｄliは以下のように表現できる。
また、高解像パッチに関するデータ行列Ｄｈｉは以下のように表現できる。
そして、処理対象の顔画像データにおけるすべてのパッチについての処理を終了するまで繰り返す。
以上を、すべての顔画像データについての処理を終了するまで繰り返す。
以上を、すべての顔画像データについての処理を終了するまで繰り返す。
次に、画像処理システム２０の制御部２１は、主成分分析処理を実行する（ステップＳ２−５）。具体的には、制御部２１の学習部２１０は、主成分分析部２１ｅを用いて、パッチ毎に、データ行列（Ｄｌｉ、データ行列Ｄｈｉ）を用いて、主成分分析を行なう。
この場合、低解像については、以下の主成分係数、主成分基底ベクトルが算出される。
また、高解像については、以下の主成分係数、主成分基底ベクトルが算出される。
ここで、パッチベクトルの平均ベクトルを以下のように表現する。
この場合、低解像の顔画像データ「ｊ」の「ｉ」番目のパッチベクトルは、以下のように表現できる。
また、高解像の顔画像データ「ｊ」の「ｉ」番目のパッチベクトルは、以下のように表現できる。
なお、ｎmax(i)は、累積寄与率９８％程度の主成分に制限することで、次元数を１００程度に削減することができる。
そして、すべての解像度（低解像画像、高解像画像）についての処理を終了するまで繰り返す。
そして、すべての解像度（低解像画像、高解像画像）についての処理を終了するまで繰り返す。
次に、画像処理システム２０の制御部２１は、カップリング学習処理を実行する（ステップＳ２−６）。具体的には、制御部２１の学習部２１０は、低解像パッチと高解像パッチの主成分係数をマージしたベクトルを再度、パッチ毎に主成分分析することで相関を学習する。この処理の詳細は、後述する。
（特徴量抽出処理）
次に、図３を用いて、特徴量抽出処理（ステップＳ２−２）を説明する。
まず、画像処理システム２０の制御部２１は、元画像の縮小処理を実行する（ステップＳ３−１）。具体的には、制御部２１の特徴画像抽出部２１ｄは、処理対象の顔画像を圧縮してサイズの縮小化を行なう。これにより、顔画像の高周波成分が切り捨てられる。
次に、図３を用いて、特徴量抽出処理（ステップＳ２−２）を説明する。
まず、画像処理システム２０の制御部２１は、元画像の縮小処理を実行する（ステップＳ３−１）。具体的には、制御部２１の特徴画像抽出部２１ｄは、処理対象の顔画像を圧縮してサイズの縮小化を行なう。これにより、顔画像の高周波成分が切り捨てられる。
次に、画像処理システム２０の制御部２１は、低周波成分の算出処理を実行する（ステップＳ３−２）。具体的には、制御部２１の特徴画像抽出部２１ｄは、縮小化した顔画像データを、元のサイズに拡大する。この場合、元のサイズで、低周波成分からなる画像データ（低周波成分画像）が生成される。
次に、画像処理システム２０の制御部２１は、高周波成分の算出処理を実行する（ステップＳ３−３）。具体的には、制御部２１の特徴画像抽出部２１ｄは、元の顔画像から低周波成分画像を差し引くことにより、高周波成分を抜き出す。
（カップリング学習処理）
次に、図４を用いて、カップリング学習処理を説明する。ここでは、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合して一つの行ベクトル（１次元ベクトル）を生成する。そして、行列に格納し、再度、主成分分析を行なう。低解像パッチの情報と高解像パッチの情報を結合して主成分分析することで、低解像パッチと高解像パッチの関係を学習する。
次に、図４を用いて、カップリング学習処理を説明する。ここでは、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合して一つの行ベクトル（１次元ベクトル）を生成する。そして、行列に格納し、再度、主成分分析を行なう。低解像パッチの情報と高解像パッチの情報を結合して主成分分析することで、低解像パッチと高解像パッチの関係を学習する。
まず、画像処理システム２０の制御部２１は、行ベクトルの生成処理を実行する（ステップＳ４−１）。具体的には、制御部２１の学習部２１０は、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合したベクトルＰ(m)ijを生成する。
ここで、「Ｓin」は、以下のスケーリングファクターである。
このスケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。
次に、画像処理システム２０の制御部２１は、行列の生成処理を実行する（ステップＳ４−２）。具体的には、制御部２１の学習部２１０は、１次元行パッチベクトルＰijを用いて、結合パッチベクトルのデータ行列Ｄmiを生成する。このデータ行列Ｄmiは、以下のように表現できる。
次に、画像処理システム２０の制御部２１は、行列の生成処理を実行する（ステップＳ４−２）。具体的には、制御部２１の学習部２１０は、１次元行パッチベクトルＰijを用いて、結合パッチベクトルのデータ行列Ｄmiを生成する。このデータ行列Ｄmiは、以下のように表現できる。
次に、画像処理システム２０の制御部２１は、パッチ毎の主成分分析処理を実行する（ステップＳ４−３）。具体的には、制御部２１の主成分分析部２１ｅは、データ行列Ｄmiを用いて、主成分分析を行なう。
この場合、以下の主成分係数、主成分基底ベクトルが算出される。
ここで、主成分基底ベクトルＵinは、以下のように表現できる。
次に、画像処理システム２０の制御部２１は、直交化処理を実行する（ステップＳ４−４）。具体的には、制御部２１の学習部２１０は、グラムシュミット法で低解像成分（〔数２０〕）の直交化を行なう。この場合、高解像成分（〔数２１〕）も、低解像成分における直交化係数を用いて変換する。
次に、画像処理システム２０の制御部２１は、直交化ベクトルを利用可能かどうかについての判定処理を実行する（ステップＳ４−５）。具体的には、制御部２１の学習部２１０は、直交化して、主成分ベクトルの数を「ｎmax(l,i)」個に制限しても、精度上、問題かないかどうかを確認する。具体的には、主成分ベクトルの数を「ｎmax(l,i)」個に制限した場合における、高解像主成分ベクトルの累積寄与率を算出する。この累積寄与率が所定値（例えば、９８％）に達している場合には、直交化ベクトルを利用可能と判定する。
精度上の問題がなく、直交化ベクトルを利用可能と判定した場合（ステップＳ４−５において「ＹＥＳ」の場合）、画像処理システム２０の制御部２１は、直交化した結合ベクトル、平均ベクトルの記録処理を実行する（ステップＳ４−６）。具体的には、制御部２１の学習部２１０は、直交化した結合ベクトル、平均ベクトルを、学習結果記憶部２３に記録する。
一方、精度上の問題があり、直交化ベクトルを利用不可と判定した場合（ステップＳ４−５において「ＮＯ」の場合）、画像処理システム２０の制御部２１は、元の結合ベクトル、平均ベクトルの記録処理を実行する（ステップＳ４−７）。具体的には、制御部２１の学習部２１０は、元の結合ベクトル、平均ベクトルを、学習結果記憶部２３に記録する。
ここで、結合パッチベクトルの平均ベクトルを以下のように表現する。
この場合、データ「ｊ」の「ｉ」番目の１次元行パッチベクトルＰijは、以下のように表現できる。
（超解像処理）
次に、図５〜図９を用いて、超解像処理を説明する。
まず、図５を用いて、超解像処理の概要を説明する。
次に、図５〜図９を用いて、超解像処理を説明する。
まず、図５を用いて、超解像処理の概要を説明する。
入力画像から、低解像パッチの主成分係数からなるパッチベクトルＶ１０を取得する。そして、学習結果記憶部２３から、結合パッチベクトルの主成分基底ベクトルの低解像部分Ｖ２１と、結合パッチベクトルの平均ベクトルの低解像部分Ｖ２２とを取得する。そして、パッチベクトルＶ１０を、平均ベクトルの低解像部分Ｖ２２、主成分基底ベクトルの低解像部分Ｖ２１で表現するための主成分係数Ｃijを算出する。
そして、学習結果記憶部２３から、結合パッチベクトルの主成分基底ベクトルの高解像部分Ｖ３１と、結合パッチベクトルの平均ベクトルの高解像部分Ｖ３２とを取得する。そして、算出した主成分係数Ｃij、主成分基底ベクトルの高解像部分Ｖ３１、平均ベクトルの高解像部分Ｖ３２を用いて、入力画像の超解像を生成する。
次に、図６を用いて、具体的に超解像処理を説明する。
まず、画像処理システム２０の制御部２１は、顔画像入力処理を実行する（ステップＳ５−１）。具体的には、制御部２１の超解像部２１５は、入力部１０によって指定された入力画像を取得する。
まず、画像処理システム２０の制御部２１は、顔画像入力処理を実行する（ステップＳ５−１）。具体的には、制御部２１の超解像部２１５は、入力部１０によって指定された入力画像を取得する。
次に、画像処理システム２０の制御部２１は、顔特徴点抽出処理を実行する（ステップＳ５−２）。具体的には、制御部２１の超解像部２１５は、特徴画像抽出部２１ｄを用いて、ステップＳ１−１と同様に、特徴点の抽出を行なう。
次に、画像処理システム２０の制御部２１は、メッシュ分割処理を実行する（ステップＳ５−３）。具体的には、制御部２１の超解像部２１５は、メッシュ分割部２１ｂを用いて、ステップＳ１−２と同様に、顔画像をメッシュ分割する。
次に、画像処理システム２０の制御部２１は、正規化処理を実行する（ステップＳ５−４）。具体的には、制御部２１の超解像部２１５は、ステップＳ１−３と同様に、各メッシュのグリッドを、予め定められたメッシュ位置（例えば、平均顔）に移動させて、メッシュにより構成される三角形を変形する。
次に、画像処理システム２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ５−５）。具体的には、制御部２１の超解像部２１５は、特徴画像抽出部２１ｄにより、ステップＳ２−２と同様に、正規化した入力画像から超解像に必要な特徴量を抽出する。
次に、画像処理システム２０の制御部２１は、パッチ分割処理を実行する（ステップＳ５−６）。具体的には、制御部２１の超解像部２１５は、ステップＳ２−３と同様に、予め定められた数（所定数）のパッチに分割する。
次に、画像処理システム２０の制御部２１は、処理対象のパッチを特定し、パッチ毎に以下の処理を繰り返す。
ここでは、画像処理システム２０の制御部２１は、超解像パッチの予測処理を実行する（ステップＳ５−７）。具体的には、制御部２１の超解像部２１５は、超解像パッチについて、第１予測処理又は第２の予測処理を行なう。ここでは、主成分ベクトルが直交化されている場合には、第１予測処理を行ない、主成分ベクトルが直交化されていない場合には、第２の予測処理を行なう。この処理の詳細は後述する。
以上、処理対象画像のすべてのパッチの処理を終了するまで繰り返す。
ここでは、画像処理システム２０の制御部２１は、超解像パッチの予測処理を実行する（ステップＳ５−７）。具体的には、制御部２１の超解像部２１５は、超解像パッチについて、第１予測処理又は第２の予測処理を行なう。ここでは、主成分ベクトルが直交化されている場合には、第１予測処理を行ない、主成分ベクトルが直交化されていない場合には、第２の予測処理を行なう。この処理の詳細は後述する。
以上、処理対象画像のすべてのパッチの処理を終了するまで繰り返す。
次に、画像処理システム２０の制御部２１は、ポスト処理を実行する（ステップＳ５−８）。この処理の詳細は後述する。
次に、画像処理システム２０の制御部２１は、正規化画像を元画像の形状に戻す処理を実行する（ステップＳ５−９）。具体的には、制御部２１の超解像部２１５は、各メッシュのグリッドを、ステップＳ５−４の移動方向とは逆方向に移動させることにより、各メッシュのグリッドの配置を元に戻す。
（第１の予測処理）
図７を用いて、超解像パッチについて、第１の予測処理を説明する。この処理は、主成分ベクトルが直交化されており、より高速に処理したい場合に行なわれる。
図７を用いて、超解像パッチについて、第１の予測処理を説明する。この処理は、主成分ベクトルが直交化されており、より高速に処理したい場合に行なわれる。
まず、画像処理システム２０の制御部２１は、内積処理を実行する（ステップＳ６−１）。具体的には、制御部２１の第１予測部２１６は、以下の式を用いて、内積を算出する。
ここで、Ｕin、Ｐitは、以下のとおりである。
次に、画像処理システム２０の制御部２１は、高解像パッチの計算処理を実行する（ステップＳ６−２）。具体的には、制御部２１の第１予測部２１６は、以下の式を用いて、各パッチにおいて高解像パッチ係数ベクトルを生成し、超解像部２１５のメモリに記憶する。
（第２の予測処理）
図８を用いて、超解像パッチについて、第２の予測処理を説明する。この処理は、主成分ベクトルが直交化されていない場合や、ｎmax(l,i)以上の主成分ベクトルを考慮したい場合に行なわれる。
図８を用いて、超解像パッチについて、第２の予測処理を説明する。この処理は、主成分ベクトルが直交化されていない場合や、ｎmax(l,i)以上の主成分ベクトルを考慮したい場合に行なわれる。
まず、主成分分析による低解像パッチ係数ベクトルの算出処理を実行する（ステップＳ７−１）。具体的には、制御部２１の超解像部２１５は、主成分分析部２１ｅを用いて、低解像パッチ係数ベクトルを算出する。
次に、画像処理システム２０の制御部２１は、主成分係数の仮設定処理を実行する（ステップＳ７−２）。具体的には、制御部２１の第２予測部２１７は、ステップＳ６−１と同様に、内積を算出することにより、入力画像（データ番号：ｔ）の主成分係数Ｃi,t,nを算出する。なお、主成分ベクトルが直交化されていないため、算出した主成分係数Ｃi,t,nを初期値として仮設定し、後述する最適解検索を行なう。
次に、画像処理システム２０の制御部２１は、仮設定した主成分係数による低解像パッチ係数ベクトルの算出処理を実行する（ステップＳ７−３）。具体的には、制御部２１の第２予測部２１７は、学習結果記憶部２３から、以下の平均ベクトル、主成分基底ベクトルを取得する。
この場合、入力画像（データ番号：ｔ）の低解像画像の各パッチにおける結合ベクトルの低解像成分（低解像パッチ係数ベクトル）は、仮設定された主成分係数Ｃi,t,nを用いて、以下のように表現される。
次に、画像処理システム２０の制御部２１は、差分の算出処理を実行する（ステップＳ７−４）。具体的には、制御部２１の第２予測部２１７は、ステップＳ７−１において算出した低解像パッチ係数ベクトルと、ステップＳ７−３において算出した低解像パッチ係数ベクトルとの差分を、以下の式を用いて算出する。
そして、第２予測部２１７は、算出した差分を、仮設定した低解像パッチ係数ベクトルに関連付けて、メモリに仮記憶する。
次に、画像処理システム２０の制御部２１は、繰り返し終了かどうかについての判定処理を実行する（ステップＳ７−５）。具体的には、制御部２１の第２予測部２１７は、差分が最小値となった場合、繰り返し終了と判定する。
次に、画像処理システム２０の制御部２１は、繰り返し終了かどうかについての判定処理を実行する（ステップＳ７−５）。具体的には、制御部２１の第２予測部２１７は、差分が最小値となった場合、繰り返し終了と判定する。
まだ、差分が未だ減少傾向にあり、繰り返し終了でないと判定した場合（ステップＳ７−５において「ＮＯ」の場合）、画像処理システム２０の制御部２１は、仮設定された主成分係数を勾配の低い方向に微小な振れ幅で位置移動させて、ステップＳ７−３以降の処理を繰り返す。
一方、差分が増加傾向に反転し、繰り返し終了と判定した場合（ステップＳ７−５において「ＹＥＳ」の場合）、画像処理システム２０の制御部２１は、差分の最小値の主成分係数の特定処理を実行する（ステップＳ７−６）。具体的には、制御部２１の第２予測部２１７は、差分が最小値となる主成分係数を特定する。
次に、画像処理システム２０の制御部２１は、高解像パッチの計算処理を実行する（ステップＳ７−７）。具体的には、制御部２１の第２予測部２１７は、学習結果記憶部２３から、以下の平均ベクトル、主成分基底ベクトルを取得する。
そして、第２予測部２１７は、差分が最小値となる主成分係数を、以下の式に適用して、高解像パッチ係数ベクトルを算出し、超解像部２１５のメモリに記憶する。
（ポスト処理）
図９を用いて、ポスト処理を説明する。ここでは、ＩＢＰ（iterative back projection）法を用いることにより、算出した超解像を入力画像のサイズに縮小した場合の画像と、入力画像との誤差を小さくする。
図９を用いて、ポスト処理を説明する。ここでは、ＩＢＰ（iterative back projection）法を用いることにより、算出した超解像を入力画像のサイズに縮小した場合の画像と、入力画像との誤差を小さくする。
まず、画像処理システム２０の制御部２１は、超解像結果の取得処理を実行する（ステップＳ８−１）。具体的には、制御部２１の超解像部２１５は、ポスト処理部２１８により、超解像部２１５のメモリに記憶された高解像パッチ係数ベクトルからなる画像を呼び出す。
次に、画像処理システム２０の制御部２１は、超解像結果の縮小処理を実行する（ステップＳ８−２）。具体的には、制御部２１のポスト処理部２１８は、呼び出した超解像画像を、入力画像のサイズに縮小した圧縮画像を生成する。
次に、画像処理システム２０の制御部２１は、元画像との差分の算出処理を実行する（ステップＳ８−３）。具体的には、制御部２１のポスト処理部２１８は、圧縮画像と入力画像とを比較して差分を算出する。
次に、画像処理システム２０の制御部２１は、差分は閾値以下かどうかについての判定処理を実行する（ステップＳ８−４）。具体的には、制御部２１のポスト処理部２１８は、算出した差分と許容できる閾値とを比較する。
差分は閾値以下と判定した場合（ステップＳ８−４において「ＹＥＳ」の場合）、画像処理システム２０の制御部２１は、超解像結果の出力処理を実行する（ステップＳ８−５）。具体的には、制御部２１のポスト処理部２１８は、メモリに記録された超解像画像を、超解像処理結果として出力する。
一方、差分は閾値以下でないと判定した場合（ステップＳ８−４において「ＮＯ」の場合）、画像処理システム２０の制御部２１は、差分の拡大処理を実行する（ステップＳ８−６）。具体的には、制御部２１のポスト処理部２１８は、算出した差分を、超解像画像の解像度に拡大した差分画像を生成する。
次に、画像処理システム２０の制御部２１は、超解像結果の補正処理を実行する（ステップＳ８−７）。具体的には、制御部２１のポスト処理部２１８は、メモリに記憶された画像から差分画像を差し引いた画像を生成し、メモリに記録して更新する。
そして、画像処理システム２０の制御部２１は、超解像結果の縮小処理（ステップＳ８−２）以降の処理を繰り返す。
以上、本実施形態によれば、以下に示す効果を得ることができる。
（１）本実施形態では、低解像画像と高解像画像とを用いて、主成分分析によるカップリング学習を行なう。低解像と高解像との関係を、主成分係数毎に独立に回帰分析により学習した場合には、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。一方、本実施形態では、係数ベクトル単位で学習するため、主成分係数全体の精度が一致し、全体的な精度の向上を図ることができる。
（１）本実施形態では、低解像画像と高解像画像とを用いて、主成分分析によるカップリング学習を行なう。低解像と高解像との関係を、主成分係数毎に独立に回帰分析により学習した場合には、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。一方、本実施形態では、係数ベクトル単位で学習するため、主成分係数全体の精度が一致し、全体的な精度の向上を図ることができる。
画像データベース検索を行なう手法に比べて、累積寄与率が低い主成分ベクトルを足切りして、次元を小さくすることにより、高速に高解像画像を生成することができる。更に、画像データベース検索を行なう手法よりも、データ容量を格段に少なくすることができる。また、複数の画像を用いて学習処理を行なうため、高画質な高解像画像を生成することができる。
図１０に示すように、入力画像を拡大した場合、ジャギーが生じているが、本実施形態の超解像処理を行なった超解像結果では、高解像を再現できている。低解像の入力画像の元画像（高解像）である「正解」に近い解像を実現できる。
（２）本実施形態では、画像処理システム２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ２−２）。ここでは、高周波成分を用いて、特徴量を算出し、比較的良好な超解像を実現することができる。
図１１に示すように、特徴量を抽出する場合に用いる画像を、「元画像」、「高周波成分」を用いた場合を比較する。低解像度特徴量、高解像特徴量の算出において、いずれにも「元画像」を用いた場合には、輪郭部分にブロックノイズが生じている。一方、低解像度特徴量、高解像特徴量の算出において、いずれかに「高周波成分」を用いた場合には、良好な超解像を実現できている。
（３）本実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。通常、異なる２つの特徴ベクトルを結合して主成分分析を行なう場合、結合前の２つの特徴ベクトルの次元の違い（スケールの違い）を多く吸収するため、一方の特徴ベクトルにスケーリングファクターを乗算する。ここで、固定値のスケーリングファクターを用いて主成分分析を行なうと、番号の大きな高周波成分の主成分係数Ｃijnは、番号の小さな低周波成分の主成分係数Ｃijnの分散にかき消されてしまう。一方、標準偏差で除算してから主成分分析を行なうことにより、各主成分係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
図１２に示すように、スケーリングファクターを用いない従来法では、超解像画像の劣化が生じているが、本実施形態では、良好な超解像を実現できている。
図１２に示すように、スケーリングファクターを用いない従来法では、超解像画像の劣化が生じているが、本実施形態では、良好な超解像を実現できている。
（４）本実施形態では、画像処理システム２０の制御部２１は、超解像パッチについて、第１の予測処理又は第２の予測処理を実行する。これにより、直交化の状況により、二つの予測処理を使い分けることができる。
図１３には、第１の予測処理（最適解検索）を用いた場合と、第２の予測処理（直交化）を用いた場合との比較例を示す。両者において、正解画像と超解像画像の差異は、殆ど生じていない。一方、計算時間は、直交化により短縮され、回帰分析と同等な高速処理を実現できる。
（５）本実施形態では、画像処理システム２０の制御部２１は、ポスト処理を実行する。これにより、誤差を抑制することができる。
図１４に示すように、ブロックノイズが生じた場合にも、ポスト処理により、影響を小さくすることができる。
図１４に示すように、ブロックノイズが生じた場合にも、ポスト処理により、影響を小さくすることができる。
なお、上記実施形態は、以下の態様に変更してもよい。
・上記実施形態では、第１の特徴ベクトルとして低解像ベクトル、第２の特徴ベクトルとして高解像ベクトルを用いて、顔画像の超解像を行なう。超解像処理の対象は、顔画像に限定されるものではなく、形状にパターンを有する対象物を高画質に変換する超解像に適用することができる。この場合には、特定のパターンを有する低解像画像と高解像画像とを用いて、学習処理を行なう。
・上記実施形態では、第１の特徴ベクトルとして低解像ベクトル、第２の特徴ベクトルとして高解像ベクトルを用いて、顔画像の超解像を行なう。超解像処理の対象は、顔画像に限定されるものではなく、形状にパターンを有する対象物を高画質に変換する超解像に適用することができる。この場合には、特定のパターンを有する低解像画像と高解像画像とを用いて、学習処理を行なう。
更に、本発明の情報予測方法は、超解像だけではなく、第１のベクトルデータから第２のベクトルデータを推定する各種用途に適用することができる。例えば、セグメンテーションにおいては、顕在化された情報から潜在化された情報を抽出する。
２次元画像特徴点認識においては、第１の特徴ベクトルとして対象２次元画像、第２の特徴ベクトルとして対象画像の特徴点を用いる。
２次元画像のセグメンテーションにおいては、第１の特徴ベクトルとして対象２次元画像、第２の特徴ベクトルとして対象画像のセグメンテーションを用いる。
２次元画像のセグメンテーションにおいては、第１の特徴ベクトルとして対象２次元画像、第２の特徴ベクトルとして対象画像のセグメンテーションを用いる。
３次元画像特徴点認識においては、第１の特徴ベクトルとして対象３次元画像、第２の特徴ベクトルとして対象画像の特徴点を用いる。
３次元画像のセグメンテーションにおいては、第１の特徴ベクトルとして対象３次元画像、第２の特徴ベクトルとして対象画像のセグメンテーションを用いる。
３次元画像のセグメンテーションにおいては、第１の特徴ベクトルとして対象３次元画像、第２の特徴ベクトルとして対象画像のセグメンテーションを用いる。
以下、情報予測の具体例を挙げる。
例えば、画像のボケ・ブレ除去においては、第１特徴ベクトルとして「ブレ・ボケを含む画像ベクトル」、第２特徴ベクトルとして「ブレ・ボケを除去した画像ベクトル」を用いる。
例えば、画像のボケ・ブレ除去においては、第１特徴ベクトルとして「ブレ・ボケを含む画像ベクトル」、第２特徴ベクトルとして「ブレ・ボケを除去した画像ベクトル」を用いる。
また、防犯カメラ動画解析（アクション予測）においては、第１特徴ベクトルとして「予測開始時までの時系列の人物アクションデータ」、第２特徴ベクトルとして「予測開始後の人物の時系列の人物アクションデータ」を用いる。
また、画像以外の情報予測にも応用できる。
例えば、音声の高音質化においては、第１特徴ベクトルとして「低音質の音信号」、第２特徴ベクトルとして「高音質の音信号」を用いる。ここでは、音信号の信号そのもの、或いは高周波成分を要素とするベクトルを用いる。
例えば、音声の高音質化においては、第１特徴ベクトルとして「低音質の音信号」、第２特徴ベクトルとして「高音質の音信号」を用いる。ここでは、音信号の信号そのもの、或いは高周波成分を要素とするベクトルを用いる。
また、気象予測においては、第１特徴ベクトルとして「予測開始時までの時系列の気象データ」、第２特徴ベクトルとして「予測開始後の時系列の気象データ」を用いる。ここでは、各種気象データ（天候、気圧、気温、湿度、風向き、風速等）を要素とするベクトルを用いる。
また、経済予測においては、第１特徴ベクトルとして「予測開始時までの時系列の株価・経済指標データ」、第２特徴ベクトルとして「予測開始後の時系列の株価・経済指標データ」を用いる。ここでは、株価・経済指標データ（各種銘柄の株価、金利、景気、雇用統計、物価上昇率、貿易等）を要素とするベクトルを用いる。
また、健康予測においては、第１特徴ベクトルとして「予測開始時までの時系列の生体指標データ」、第２特徴ベクトルとして「予測開始後の時系列の生体指標データ」を用いる。ここでは、各種生体指標（体重、身長、各健康診断値速等）を要素とするベクトルを用いる。
また、交通量予測においては、第１特徴ベクトルとして「予測開始時までの時系列の交通量に関する指標データ」、第２特徴ベクトルとして「予測開始後の時系列の交通量データ」を用いる。ここでは、各交通量データ（計測地、車両数、車種、車速、行き先等）を要素とするベクトルを用いる。
また、消費行動予測においては、第１特徴ベクトルとして「予測開始時までの時系列の消費行動データ」、第２特徴ベクトルとして「予測開始後の人物の時系列の消費行動データ」を用いる。ここでは、人物アクションデータ（品名、消費量、各種経済指標等）を要素とするベクトルを用いる。
・上記実施形態では、線形の主成分分析を行なうが、非線形なカーネル主成分分析を行なうことも可能である。
・上記実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。スケーリングファクターＳinは標準偏差に限定されるものではなく、主成分係数Ｃijnのばらつきを表わす指標を用いることが可能である。
・上記実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。スケーリングファクターＳinは標準偏差に限定されるものではなく、主成分係数Ｃijnのばらつきを表わす指標を用いることが可能である。
・上記実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。ここで、スケーリングファクターＳinは標準偏差に限定されるものではなく、主成分係数Ｃijnの分散を表わす統計的変数を用いることが可能である。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）上記課題を解決する情報予測システムは、学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備える。そして、情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記制御部が、前記学習対象記憶部に記録された学習対象毎に、第１の特徴ベクトル及び第２の特徴ベクトルを算出し、前記第１の特徴ベクトルから、前記第１の特徴ベクトルの平均値を減算して生成された値を、前記第１の特徴ベクトルのばらつきを表わす指標で除算した第１の行ベクトルを生成するとともに、前記第２の特徴ベクトルから前記第２の特徴ベクトルの平均値を減算して生成された値を、前記第２の特徴ベクトルのばらつきを表わす指標で除算した第２の行ベクトルとを生成し、前記第１の行ベクトルと前記第２の行ベクトルとを結合することにより結合行ベクトルを生成し、すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、前記入力部により指定された処理対象の第１の特徴ベクトルを算出し、前記第１の特徴ベクトの主成分係数を算出し、該主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第２の特徴ベクトル
を算出する予測処理とを実行する。これにより、効率的かつ的確に第２の特徴ベクトルを予測することができる。
（２）上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記結合主成分基底ベクトルと前記第１の特徴ベクトルの成分とを直交化して、前記学習結果記憶部に記録することが好ましい。これにより、直交化を利用して、計算の高速化を行なうことができる。
（３）上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、算出した第２の特徴ベクトルを圧縮して、前記処理対象との差分を比較し、前記差分が基準値より大きい場合には、前記差分を拡大して、前記第２の特徴ベクトルから差し引くポスト処理を実行することが好ましい。これにより、予測時に生じた誤差を是正することができる。
（４）上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記第１、第２の特徴ベクトルのばらつきを表わす指標として、それぞれ前記第１、第２の特徴ベクトルの主成分係数の標準偏差を用いることが好ましい。これにより、各係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）上記課題を解決する情報予測システムは、学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備える。そして、情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記制御部が、前記学習対象記憶部に記録された学習対象毎に、第１の特徴ベクトル及び第２の特徴ベクトルを算出し、前記第１の特徴ベクトルから、前記第１の特徴ベクトルの平均値を減算して生成された値を、前記第１の特徴ベクトルのばらつきを表わす指標で除算した第１の行ベクトルを生成するとともに、前記第２の特徴ベクトルから前記第２の特徴ベクトルの平均値を減算して生成された値を、前記第２の特徴ベクトルのばらつきを表わす指標で除算した第２の行ベクトルとを生成し、前記第１の行ベクトルと前記第２の行ベクトルとを結合することにより結合行ベクトルを生成し、すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、前記入力部により指定された処理対象の第１の特徴ベクトルを算出し、前記第１の特徴ベクトの主成分係数を算出し、該主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第２の特徴ベクトル
を算出する予測処理とを実行する。これにより、効率的かつ的確に第２の特徴ベクトルを予測することができる。
（２）上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記結合主成分基底ベクトルと前記第１の特徴ベクトルの成分とを直交化して、前記学習結果記憶部に記録することが好ましい。これにより、直交化を利用して、計算の高速化を行なうことができる。
（３）上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、算出した第２の特徴ベクトルを圧縮して、前記処理対象との差分を比較し、前記差分が基準値より大きい場合には、前記差分を拡大して、前記第２の特徴ベクトルから差し引くポスト処理を実行することが好ましい。これにより、予測時に生じた誤差を是正することができる。
（４）上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記第１、第２の特徴ベクトルのばらつきを表わす指標として、それぞれ前記第１、第２の特徴ベクトルの主成分係数の標準偏差を用いることが好ましい。これにより、各係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
１０…入力部、１５…出力部、２０…画像処理システム、２１…制御部、２１０…学習部、２１５…超解像部、２１６…第１予測部、２１７…第２予測部、２１８…ポスト処理部、２１ａ…特徴点抽出部、２１ｂ…メッシュ分割部、２１ｃ…正規化部、２１ｄ…特徴画像抽出部、２１ｅ…主成分分析部、２２…顔画像記憶部、２３…学習結果記憶部。
Claims (6)
- 学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムであって、
前記制御部が、
前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、
前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、
すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行することを特徴とする情報予測システム。 - 前記予測元情報を第１の基底ベクトルで表現した第１の係数を、前記予測元情報のばらつきを表わす指標で除算した予測元情報の特徴ベクトルを生成するとともに、前記予測先情報を第２の基底ベクトルで表現した第２の係数を、前記予測先情報のばらつきを表わす指標で除算した予測先情報の特徴ベクトルを生成することを特徴とする請求項１に記載の情報予測システム。
- 前記予測元情報、予測先情報の特徴ベクトルのばらつきを表わす指標として、それぞれ前記予測元情報、予測先情報の特徴ベクトルの結合係数の標準偏差を用いることを特徴とする請求項２に記載の情報予測システム。
- 算出した予測先情報の特徴ベクトルを圧縮して、前記処理対象との差分を比較し、
前記差分が基準値より大きい場合には、前記差分を拡大して、前記予測先情報の特徴ベクトルから差し引くポスト処理を実行することを特徴とする請求項１〜３のいずれか一項に記載の情報予測システム。 - 学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部
に接続された制御部とを備えた情報予測システムを用いて、情報予測を行なう方法であって、
前記制御部が、
前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、
前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、
すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行することを特徴とする情報予測方法。 - 学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムを用いて、情報予測を行なうプログラムであって、
前記制御部を、
前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、
前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、
すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行する手段として機能させることを特徴とする情報予測プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016099737A JP6450710B2 (ja) | 2016-05-18 | 2016-05-18 | 情報予測システム、情報予測方法及び情報予測プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016099737A JP6450710B2 (ja) | 2016-05-18 | 2016-05-18 | 情報予測システム、情報予測方法及び情報予測プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014231089A Division JP5937661B2 (ja) | 2014-11-13 | 2014-11-13 | 情報予測システム、情報予測方法及び情報予測プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016177829A JP2016177829A (ja) | 2016-10-06 |
| JP2016177829A5 JP2016177829A5 (ja) | 2018-02-08 |
| JP6450710B2 true JP6450710B2 (ja) | 2019-01-09 |
Family
ID=57071393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016099737A Active JP6450710B2 (ja) | 2016-05-18 | 2016-05-18 | 情報予測システム、情報予測方法及び情報予測プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6450710B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023516295A (ja) * | 2020-02-27 | 2023-04-19 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 機械学習を用いた自動センサトレース検証 |
| JP2024000211A (ja) * | 2022-06-20 | 2024-01-05 | 株式会社日立製作所 | 画像推定方法、評価値推定方法、及び画像推定装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6062207B2 (ja) * | 2011-10-28 | 2017-01-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像処理方法、および画像処理装置 |
-
2016
- 2016-05-18 JP JP2016099737A patent/JP6450710B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016177829A (ja) | 2016-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5937661B2 (ja) | 情報予測システム、情報予測方法及び情報予測プログラム | |
| Chen et al. | Image super-resolution reconstruction based on feature map attention mechanism | |
| Jiang et al. | Deep CNN denoiser and multi-layer neighbor component embedding for face hallucination | |
| CN111523414A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| US20130346047A1 (en) | Performance predicting apparatus, performance predicting method, and program | |
| Huang et al. | Single image super-resolution via multiple mixture prior models | |
| CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| CN112990219B (zh) | 用于图像语义分割的方法和装置 | |
| CN109685873B (zh) | 一种人脸重建方法、装置、设备和存储介质 | |
| CN114463511A (zh) | 一种基于Transformer解码器的3D人体模型重建方法 | |
| JP6450710B2 (ja) | 情報予測システム、情報予測方法及び情報予測プログラム | |
| Mo et al. | The research of image inpainting algorithm using self-adaptive group structure and sparse representation | |
| Feng et al. | Pedestrian detection based on attention mechanism and feature enhancement with SSD | |
| Chen et al. | Single-image super-resolution via joint statistic models-guided deep auto-encoder network | |
| Zhang et al. | Image extrapolation based on multi-column convolutional attention network | |
| Luo et al. | Piecewise linear regression-based single image super-resolution via Hadamard transform | |
| Liu et al. | Lightweight human pose estimation algorithm based on polarized self-attention | |
| Fan et al. | Facial image super-resolution guided by adaptive geometric features | |
| Luo et al. | Stacked hourglass networks based on polarized self-attention for human pose estimation | |
| Li et al. | Human detection via image denoising for 5G-enabled intelligent applications | |
| Zhou et al. | Lite-YOLOv3: a real-time object detector based on multi-scale slice depthwise convolution and lightweight attention mechanism | |
| Wang et al. | Single image super-resolution via self-similarity and low-rank matrix recovery | |
| Fu et al. | ESTISR: Adapting Efficient Scene Text Image Super-resolution for Real-Scenes | |
| JP7190147B1 (ja) | ３次元形状記述子抽出器の製造方法、３次元形状検索方法及び３次元形状検索システム | |
| WO2023119642A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160613 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6450710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R157 | Certificate of patent or utility model (correction) |
Free format text: JAPANESE INTERMEDIATE CODE: R157 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |