JP6789762B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6789762B2
JP6789762B2 JP2016215470A JP2016215470A JP6789762B2 JP 6789762 B2 JP6789762 B2 JP 6789762B2 JP 2016215470 A JP2016215470 A JP 2016215470A JP 2016215470 A JP2016215470 A JP 2016215470A JP 6789762 B2 JP6789762 B2 JP 6789762B2
Authority
JP
Japan
Prior art keywords
data
dimension reduction
neighborhood
information processing
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016215470A
Other languages
English (en)
Other versions
JP2018073293A (ja
Inventor
将史 瀧本
将史 瀧本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016215470A priority Critical patent/JP6789762B2/ja
Priority to US15/785,187 priority patent/US10607121B2/en
Publication of JP2018073293A publication Critical patent/JP2018073293A/ja
Application granted granted Critical
Publication of JP6789762B2 publication Critical patent/JP6789762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、特に、入力データの情報を次元削減するために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。
一般的にデータを解析したり、複数のデータを学習した新たなデータが学習済データに属する性質を持つか否かを判定したりする認識問題において、入力データの次元数が高い場合には、計算コストが増大したり学習問題が指数的に難しくなったりする。そこで、入力データの特徴量の値をそのまま扱うのではなく本質的な情報を保持したまま次元を減らすことが重要となっている。また、単純に４次元以上のデータはそのまま視覚的に確認することができないため、データを可視化する際にも元データの傾向を極力保存しながら３次元以下に次元削減することが同様に重要である。
古典的な次元削減の手法として、ＦＤＡ（Fisher Discriminant Analysis：フィッシャー判別分析）あるいは非特許文献１のChapter3.8.2及びChapter3.8.3に記載された正準判別分析がよく知られている。
ＦＤＡでは、クラス内分散を最小化し、クラス間分散を最大化する一般化固有値問題から計算される線形射影により次元削減する。そのため、クラス内に多峰性を持つような分布のデータの次元削減には対応しておらず、不向きである。また、ラベルを必要としない教師無し次元削減法の古典的な手法として、非特許文献１のChapter3.8.1に記載されたＰＣＡ（Principal Component Analysis：主成分分析）が知られている。この手法は、データの共分散行列に関する固有値問題から計算される線形射影によって次元削減する。その他のラベルを必要としない教師無し次元削減法として、非特許文献２に記載されたＰＰ（Projection Pursuit：射影追跡法）が知られている。ＰＰはデータの構造の「興味深さ、面白さ（interestingness）」を表す指標を基準に、より興味深い構造を保存するように次元削減を行う方法である。このときの指標は射影指標（Projection Index）と呼ばれているが、基本的にはデータ中で最も非ガウスな方向を見つけるように次元削減するため、指標は非ガウス性を測る基準となる。ただし、これらＰＣＡやＰＰも重視する特徴軸をグローバルに決定する方法であるため、局所的な分布の様子を反映した次元削減を行うことができない。
そこで、局所的なデータの分布（以下、近傍データ）を極力保存しながら次元削減することのできる手法がいくつか提案されている。その中で教師なしの線形次元削減を行う手法として良好な次元削減結果を得ることのできる手法に、ＬＰＰ（Locality Preserving Projections：局所性保存射影）が非特許文献３に開示されている。ＬＰＰは特徴空間におけるデータの局所性に着目し、特徴空間内で近くに存在するデータを次元削減後の特徴空間内で近くになるように各データの局所的な距離関係が極力維持されるよう、次元削減を行う方法である。この方法では、データの近傍関係を各データの近傍内にあるかどうか、または任意のデータを中心とする超球の内部にあるかどうかによって決定する。
また、教師ありで局所性を考慮した線形次元削減手法として、非特許文献４に記載されたＬＤＩ（Local Discriminant Information）が知られている。この手法もデータの近傍にあるデータを近付けることによって局所的なデータ同士の距離関係を極力保存しながら、ラベルを参照して異なるクラスのデータを離すように次元削減する手法である。さらに、教師無しで非線形次元削減を行う方法として、非特許文献５に記載のIsomapがある。この方法もそれぞれ事前に決定したパラメータとして、近傍数ｋやサイズεの超球に含まれるデータを近傍データとする。例えば、超球のサイズεによって各データから次元削減後に近傍に埋め込む近傍データを決定し、これらの関係を保存するように次元削減を行う。
R. O. Duda, P. E. Hart and D. G. Stork. Pattern classification, second edition. Willey-Interscience Publication, 2000. Friedman,J.H.Exploratory projection pursuit.J.A.S.A.,82,249-266. Locality Preserving Projections, Xiaofei He,Partha Niyogi.Advances in Neural Information Processing Systems 16 (NIPS),Vancouver,Canada,2003. T.Hastie and R.Tibshirani.Discriminant adaptive nearest neighbor classification.IEEE Transactions on Pattern Analysis and Machine Intelligence,18(6):607-615,1996a.dimensionality reduction.In Proceedings of the 23th International Conference on Machine Learning,pages 905-912,2006. Joshua B.Tenenbaum,Vin de Silva,John C.Langford,"Global Geometric Framework for Nonlinear Dimensionality Reduction",Science,vol.290, no.5500, Dec.22, 2000. pp.2319-2323. Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest and Clifford Stein. Introduction to Algorithms (first edition ed.). MIT Press and McGraw-Hill. Section 26.2, "The Floyd-Warshall algorithm", pp.558-565, 1990. E.W.Dijkstra, A note on two problems in connexion with graphs. In Numerische Mathematik, 1, pp.269-271. 1959.
しかし、上記局所的なデータの分布（近傍データ）を保存する次元削減方式は、全て局所性をどの程度次元削減結果に反映させるか表すパラメータ（近傍数ｋまたは超球のサイズε）によって大きく結果が変わることが知られている。例えば近傍数ｋや超球のサイズεを極端に小さい数に設定すると本来は近くに埋め込むべき近傍データが分断されてしまい、ユーザの求める分布状態を反映せず重要な分布の情報がノイズに埋もれた結果が得られてしまう。一方、その逆に近傍数ｋや超球のサイズεを大きく設定しすぎると局所的な分布の詳細が失われ、情報量の少ない分布になる結果が得られてしまう。特に教師無しの場合は事前に何も教示することが出来ないため、近傍数ｋや超球のサイズεをユーザの意図する結果が得られるまで適当に変動させながら射影するという作業を繰り返さなければならない。
また、教師ありの場合であっても、同じラベルのついたクラスが多峰性を持つ場合やその他複雑な分布になっているということが事前に判らないことが多いため、適切に近傍数ｋや超球のサイズεを設定しなければ良好な結果が得られない。
さらに、従来技術では近傍データを決定するパラメータを決定しても、そのパラメータを一律にしか決定できない。そのため、クラスラベルの異なる境界面においては情報を詳細に残しながら、同じラベルの付いたクラスのデータのみが存在する領域ではデータの分布情報に関する詳細を極力省略させるといった設定ができない。
次元削減を行う際には、不要な特徴成分を効果的に圧縮して必要な特徴を効率良く残す必要があるが、多クラスのデータの分布を同時に表現する際に重要となるのは一般的に異なるクラスの境界面の分布の詳細である。そのため、従来はクラスの分類に無関係な同じクラスラベルの付与されたデータの分布を詳細に表現する特徴成分の重要度は一般的に低いものとされている。しかしながら、ユーザにとって、次元削減時に保存したい情報と削減したい情報との差を細かく設定したいという要望もあり、従来技術ではユーザが所望する次元削減結果が十分に得られていない。
例えば、人の顔画像クラスと背景クラスとの２クラスを同じ特徴空間内で扱い、分離対象とする場合等において、一般的にラベルの異なるクラスのデータは特徴空間内でのデータの集中および分散度合いが異なることが多い。しかし、従来技術では、これらの集中および分散度合いの違いを次元削減時に反映させるような仕組みが無いため、どのようなデータが入力されても一律の近傍データを設定するパラメータで対応するしかない。そのため、ユーザが所望する次元削減結果が得られない。
本発明は前述の問題点に鑑み、ユーザの意図がより反映された良好な次元削減結果を得ることができるようにすることを目的としている。
本発明に係る情報処理装置は、所定次元の要素を有する複数のデータであって、次元削減の対象となる複数のデータ間の所定次元空間における距離を算出する距離算出手段と、前記距離算出手段によって算出された距離に基づいて、近傍データを決定するためのパラメータを前記次元削減の対象となる複数のデータごとに決定する決定手段と、前記次元削減の対象となる複数のデータそれぞれにおいて、対応する前記近傍データとの位置関係を次元削減後も保つように、前記次元削減の対象となるデータに対しての次元削減を前記決定手段によって決定されたパラメータに基づいて行う次元削減手段とを有することを特徴とする。
本発明によれば、ユーザの意図がより反映された良好な次元削減結果を得ることができる。
第１の実施形態に係る情報処理装置の構成例を示すブロック図である。 第１の実施形態において情報処理装置が行う処理手順の一例を示すフローチャートである。 Swiss Rollの分布及びその低次元のイメージを示す図である。 データごとに超球のサイズεを決定する手順を説明するための図である。 超球のサイズεが決定される場合の例を説明するための図である。 超球のサイズεによって近傍データを決定する処理手順の一例を示すフローチャートである。 第２の実施形態に係る情報処理装置の構成例を示すブロック図である。 第２の実施形態において情報処理装置が行う処理手順の一例を示すフローチャートである。 ユーザに各データ間の距離関係を入力させるため画面の例を示す図である。 Swiss Rollの分布でのデータ間の距離関係を示す図である。 次元削減結果の良好な例及びそうでない例を示す図である。 ユーザによって入力された序列と合致した次元削減結果を得る処理手順の一例を示すフローチャートである。 データの分岐および凝集が発生した場合の分布及びそうでない分布の例を示す図である。 第３の実施形態において情報処理装置が行う処理手順の一例を示すフローチャートである。 次元削減後の結果を基に近傍関係を更新する詳細な処理手順の一例を示すフローチャートである。 第４の実施形態において情報処理装置が行う処理手順の一例を示すフローチャートである。 第４の実施形態において情報処理装置が行う処理手順の他の一例を示すフローチャートである。 次元削減後の結果を基に近傍関係を更新する詳細な処理手順の一例を示すフローチャートである。 第６の実施形態において情報処理装置が行う処理手順の一例を示すフローチャートである。 第６の実施形態において情報処理装置が行う処理手順の他の一例を示すフローチャートである。 第４の実施形態において、パラメータｋを決定する手順を説明するための図である。
（第１の実施形態）
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。本実施形態では、教師なしデータで多様体学習を行う例について説明する。ここで、多様体とは、局所的にはユークリッド空間と見なせるような図形や空間のことであり、多様体学習とは、高次元な多様体に埋め込まれたデータ構造の実質的に低次元な情報を抽出する手法のことである。
具体的な例として、本実施形態で次元削減の対象となるデータとは、人の顔や体、動物、臓器、自動車等の物体を撮影した画像や街中などの監視画像等から複数の特徴を抽出して高次元のデータになったものが挙げられる。また、物体をあらゆる方向から撮影した画像から複数の特徴を抽出して高次元特徴量で表されるデータになったものであってもよい。多様体学習は一般的に高次元のデータの挙動や関連性を分析するような場合に適用させることができる汎用性の高い手法であるため、特に元データが画像である必要はなく、音声やその他の信号、またはそれらの合成特徴であってもよい。
本実施形態では、よく知られた多様体学習方式全般（Isomap、Locally Linear Embedding、Laplacian Eigenmaps等）において、非線形な写像を行う際の局所的な近傍関係をより良く写像結果に反映させる。そこで、そのために近傍関係をデータごとに設定する方法を説明する。従来技術として列挙した多様体学習方式では、局所的な近傍関係を写像結果に反映させる方法自体は、どれも類似した方法を採用している。つまり、各データの近傍データをｋ近傍法の近傍数ｋによって設定したり、任意のデータ（特徴空間の任意の点ａ）を中心とする超球内部に存在するデータ全てを近傍データとして設定したりする。したがって、本実施形態では、以上のどの多様体学習方式にも適用できる。なお、特徴空間の任意の点ａを中心とする超球とは、εを正の実数としたとき特徴空間内において任意の点ａから等距離（半径）ε内にある領域のことである。
以下、本実施形態が最も良い効果を発揮する対象データの一例を示す。図３（ａ）は、多様体学習で解決される問題として良く知られた、高次元空間上でデータが存在する面が巻いた状態となっているSwiss Rollと呼ばれる分布を示す図である。この例は、高次元空間の中で実際のデータが低次元の多様体上に存在している場合の例である。また、図３（ｂ）は、図３（ａ）に示す分布から実質的に意味のあるデータの分布を取り出して低次元で表現したイメージを示している。なお、図３（ａ）に示す例は、見やすくするため、３次元の空間に２次元の意味的広がりを持つデータが分布しているような図として示している。ところが、実際は特徴空間が３次元である必要はなく、高次元空間全般にそれ以下の次元の情報を持つデータが分布しているものとする。
また、図３（ａ）に示すSwiss Rollは、局所のデータ分布をどれ位保持するかを調整できるパラメータｋ、εを全領域で一律の値として設定した場合に良好な次元削減結果を得ることができないデータ分布の例として表している。つまり、Swiss Roll状に分布しているデータが、便宜上、高次元の曲面上にデータが分布していると表現されている。ここで、曲面同士の間隔がどの領域からも同等の間隔を保持して巻いているような状態では、近傍データを決定するパラメータｋ、εが全てのデータで一律の値であっても、低次元で実質的に意味のある分布を取り出すことができる場合がある。ところが、図３（ａ）に示すように、曲面同士が離れている箇所と近接している箇所とがある場合、全てのデータにとって好適な一律のパラメータｋ、εを決めるのは難しくなる。
例えば、曲面同士が離れた領域である領域３０２付近にあるデータにとっては、近傍データを決定するパラメータを大きく設定しても異なる曲面同士が一つの塊になり難い。ところが、領域３０１のように曲面の異なる領域同士が近接しているとき、近傍データの範囲を決定するパラメータｋまたはεを領域３０２における適切な値で全データ一律の値として設定すると、曲面同士を分離することができなくなる可能性がある。また、領域３０１での適切なパラメータｋまたはεを全データに適用させると、近接する曲面同士が一つにならないような値を選ぶことになり、パラメータｋ、εが非常に小さな値となってしまう。この場合には、図１３（ａ）に示す分布ように、データが各局所で孤立して塊状に集まったり分岐構造が形成されたりし、本来抽出したいデータの分布構造が重要ではない分布構造に埋もれてしまう可能性がある。したがって、図３（ａ）に示すようなデータ分布の場合、従来の手法では良好な次元削減結果を得ることが難しい。
そこで本実施形態では、上記近傍関係を決定するパラメータｋまたはεをデータごとに異なる値として設定する。以下、パラメータｋまたはεをどのように決定するかについて手順を説明する。
図１は、本実施形態に係る情報処理装置１００の構成例を示すブロック図であり、図２は、本実施形態に係る情報処理装置１００が行う処理手順の一例を示すフローチャートである。以下、図２のフローチャートを参照しながら図１の各構成について説明する。なお、以下に説明する処理を行うための制御プログラムは不図示のＲＯＭ等に格納されている。
図１において、情報処理装置１００は、データ入力部１０１、データ間距離算出部１０８、入力装置１０２、近傍データ決定部１０３、出力装置１０５、写像計算部１０６、及び写像記憶部１０７を備えている。
まず、図２のＳ２０１において、データ入力部１０１は、次元削減対象となるデータおよび各データに付随される情報を入力する。本実施形態では、教師無しの場合であり各データにはラベルは無いが、例えば対象データが画像由来のデータである場合は、各データに付随する情報も入力される。各データに付随する情報として、元画像または元画像に準じた画像（サムネイル画像など）を入力することにより、次元削減結果として得られた分布と画像との関係をユーザが確認することができる。また、データ入力部１０１は、例えば画像を撮影したときの撮影角度等の撮影情報を入力してもよい。または、入力するデータが対象の時系列の変化を記録したデータであった場合は、データ入力部１０１は撮影時間などの情報を入力し、最終的に多様体学習を行って得られた結果と撮影時間との関連を評価することもできる。
次に、Ｓ２０２において、データ間距離算出部１０８は、全てのデータにおける特徴次元を正規化し、その後、全データ間の距離を求める。つまり、全ての特徴量で対象データの分散を１にし、その後、全データ間の距離を求める。また、近傍データ決定部１０３は、ユーザの操作により入力装置１０２から次元削減方法、近傍データ決定則、近傍埋め込み重み決定則の情報を入力する。ここで指定される次元削減方法は、IsomapやＬＬＥ、Laplacian Eigenmaps等の基本となる多様体学習方式である。近傍データ決定則は、ｋ近傍法または超球のサイズεを用いて近傍データを決定する方法であり、近傍埋め込み重み決定則は近傍データ決定則によって決定した近くに埋め込むデータを近付ける際の重みＷij（ｉ、ｊはデータのＩＤ）を決定する方法である。選択肢としては例えば以下の式（１）〜式（４）で算出される重みを用いる。この場合、近傍に埋め込まないデータ同士の重みは０にするなどとする。また、式（４）中のｘi (k)は、ｘiのｋ番目の近傍標本を表すものとする。
続いて、Ｓ２０３において、近傍データ決定部１０３は、ユーザにより指定された各種方式に基づき、データ間距離算出部１０８で算出されたデータ間距離を参照して近傍データを決定する。つまり、近傍データ決定部１０３は、データ入力部１０１に入力された次元削減対象となる全てのデータに対して、次元削減時にどこまでの距離関係にあるデータを次元削減後に近くに埋め込むかの近傍データを決定する。
ここで、Ｓ２０３にて行われる処理の例について、図４〜図６を用いて説明する。図４（ａ）は、高次元空間でデータが分離されて分布している箇所を示す概念図である。前述した通り、本実施形態ではそれぞれデータが持つ近傍データを決定するパラメータｋ、εを一律にしないことにより良好な次元削減結果を得るようにしている。例えば、超球のサイズεによって各データに対する近傍データを決定する場合、各データを中心としてデータごとに異なるサイズの超球を設定し、その中に入るデータを近傍データとして設定する。ここで適切なサイズεを探索するため、サイズεを任意の幅で値を増加させながら以下の基準で最適値を探索する。
図６は、超球のサイズεによって近傍データを決定する処理手順の一例を示すフローチャートである。
図６のＳ６０１において、近傍データ決定部１０３は、サイズεに任意の初期値を設定する。続いてＳ６０２において、近傍データ決定部１０３は、各データに対してサイズεの超球をセットする。図４（ｂ）には、１つのデータを中心Ｃとしたときに超球をセットした例を示している。
続いてＳ６０３において、全データのサイズεが決定するまで、Ｓ６０４〜Ｓ６０８の以下の処理を繰り返す。まず、Ｓ６０４において、近傍データ決定部１０３は、超球内で中心から最も離れたデータをＦ1とし、Ｆ1を中心として同じサイズεの超球をセットする。図４（ｃ）には、Ｓ６０４の処理で超球がセットされた状態を示している。図４（ｃ）に示す例では、２つの超球の中で共有されるデータの数が、Ｃを中心とした超球の中のデータ数のうちの５０％（全１６個中８個）と計算される。
次に、Ｓ６０５において、近傍データ決定部１０３は、２つの超球で共有されるデータの割合が事前に設定した割合以上減少したか否かを判定する。この判定の結果、事前に設定した割合以上減少した場合はＳ６０６に進み、そうでない場合はＳ６０８に進む。なお、最初にＳ６０４の処理を行った場合はＳ６０８に進むことになる。
Ｓ６０８においては、近傍データ決定部１０３は、サイズεを任意の幅σだけ増加させ、その後Ｓ６０４に戻り、同様の処理を行う。このように超球のサイズεを徐々に増加させることにより、毎ステップで超球内の中心Ｃからの最遠点を新規のＦx点（ｘ＝１，２，３・・・）と設定する。そして、新規のＦx点に基づき、２つの超球の中で共有されるデータの割合を計算する。
そして、超球のサイズεがある値に達したとき、この共有されるデータの割合が事前に設定した割合以上に減少することになる。この場合、Ｓ６０６において、近傍データ決定部１０３は、そのステップの直前までのサイズ（ε−σ）を中心Ｃに係るデータの近傍データを決定するサイズεとして決定する。
ここで、Ｓ６０５の判定で用いられる閾値を２０％以上の減少とした場合について説明する。サイズεを増加させていき、図５（ａ）に示すサイズεになったとき、超球内の中心Ｃからの最遠点をＦk点とする。そして、図５（ｂ）に示すように、Ｆk点を中心にした同じサイズεの超球をセットする。図５（ｂ）に示す例の場合、２つの超球の中で共有されるデータの数は、中心Ｃとする超球の中のデータ数のうちの約７０．３％（全３７個中２６個）になる。そして、その後Ｓ６０８でサイズεを増加させると、図５（ｃ）に示すサイズεとなる。続いて、このサイズεの超球の中心Ｃからの最遠点を新たにＦk+1点と設定し、図５（ｄ）に示すように新たな超球がセットされる。ところが、図５（ｄ）に示す例では、２つの超球に共有されるデータ数は６個になり、共有されるデータの割合が１５％となる。Ｓ６０５の判定では、減少の割合が２０％を超えたため、Ｓ１５０６に進み、１ステップ前までの図５（ａ）に示すサイズεを、中心Ｃに係るデータが保持する近傍データに関するパラメータと決定する。これら一連の処理を全データについて行うことによって各々のデータが異なるサイズεを持つことができる。
なお、ｋ近傍法の近傍数ｋについても同様の手順により求めることができる。つまり、Ｓ６０８で近傍数ｋを増加させていき、Ｓ６０４で近傍数ｋの点群の中で最も遠い点をＦx点として設定し、Ｓ６０５では、共有する点（データ）の数の割合が閾値以上に減少したか否かを判定する。そして、Ｓ６０６では、そのステップの直前までの近傍数（ｋ−σ）を、近傍データを決定する近傍数ｋとして決定する。
以上の処理により、データごとに異なる近傍数ｋの集合もしくは超球のサイズεの集合を得ることができる。以下、近傍数ｋの集合、超球のサイズεの集合をそれぞれ｛ｋ｝、｛ε｝で表す。なお、次元削減対象となるデータの総数をｎとした場合、｛ｋ｝＝｛ｋ1，ｋ2，ｋ3，・・・ｋn｝であり、｛ε｝＝｛ε1，ε2，ε3，・・・εn｝である。
図２の説明に戻り、次にＳ２０４において、写像計算部１０６は、Ｓ２０３で算出した｛ｋ｝または｛ε｝に基づいて、Ｓ２０２でユーザにより選択された次元削減方法によって写像（次元削減）を行う。
例えば、ユーザによりIsomapが選択された場合、｛ｋ｝＝｛ｋ1，ｋ2，ｋ3，・・・ｋn｝を用いて、各対応するｎ個のデータの近傍を結ぶエッジを得て、結んだエッジの重みＷijを式（１）により与える。そして、非特許文献６に記載のFloyd-Warshallのアルゴリズムまたは非特許文献７に記載のDijkstraのアルゴリズムによって全ての点の間が連結されたグラフにより定義される測地線距離の中での最短測地線距離を算出する。そして、これら全点間の最短測地線距離を再現するように、入力した特徴次元以下の空間でのデータの分布を多次元尺度構成法（ＭＤＳ）によって求める。
以上で得られた結果が次元削減によって得られた結果となる。このとき、写像計算部１０６は、写像記憶部１０７に次元削減結果を保存する。また、写像計算部１０６は、次元削減後の結果を出力装置１０５に表示するようにしてもよい。なお、このときの表示方法は、特に人が目視でデータの分布を確認できる３次元や２次元での表示のみに限ることなく、次元削減後の結果を評価できる表示方法ならば何でもよい。
また、本実施形態は多様体学習を主体とし、非線形な変換によって次元削減を行う方式として具体例を挙げて説明した。しかし、パラメータを決定する方法は教師無しの状況では、次元削減を非線形に行っても線形に行っても変わりはない。このため、局所性を考慮した線形次元削減方式（例えばLocality Preserving Projections等）によっても同様に適用させることができる。
以上のように本実施形態によれば、ｋ近傍法の近傍数ｋまたは超級のサイズεをデータ毎に決定することができる。これにより、例えばSwiss Rollのようなデータの分布であっても適切に近傍データを決定することができ、ユーザにとってより好ましい次元削減結果を得ることができる。
（第２の実施形態）
以下、図面を参照して本発明の第２の実施形態を詳細に説明する。本実施形態は、第１の実施形態によって得られた次元削減結果を得た後、よりユーザの求める次元削減結果を得ることができるように調整を行う例について説明する。
図７は、本実施形態に係る情報処理装置７００の構成例を示すブロック図である。なお、図１と異なる点は、データ抽出部７０１が追加されている点である。以下、図８のフローチャートを参照しながらこれらの構成が行う処理について説明する。
図８において、Ｓ２０１〜Ｓ２０４はそれぞれ図２のＳ２０１〜Ｓ２０４と同様であるため、説明は省略する。後述するＳ８０１は、第１の実施形態と同等の手順によって得られた次元削減結果が出力装置２０５に表示され、ユーザが次元削減結果を確認した後に実行される処理である。
Ｓ８０１においては、データ抽出部７０１は、Ｓ２０４で得られた次元削減結果にユーザの意図を反映させて修正する。具体的には、まず、データ抽出部７０１は、次元削減後の各データの距離関係（どのデータがどのデータに近いかといった情報等）をユーザに入力させる候補を決定する。この候補は、近傍データ決定部１０３で設定された近傍関係とこのときの写像結果とデータ入力部１０１から入力されたデータに付随する情報（例えば各データに対応する画像）とから決定される。ただし、ユーザに入力させる候補は、データ入力部１０１に入力された特徴空間のデータから数点をランダムに選択したデータとしても良いし、近傍データ決定部１０３で決定した近傍関係を元に作成した近傍グラフから決定しても良い。また、写像計算部１０６で一次的に決定した写像後の特徴空間から選んでも良い。出力装置１０５にて表示された次元削減結果をユーザが確認し、新たな条件をユーザにより入力装置１０２から入力することによって、ユーザがより所望する次元削減結果を得ることができる。
一般的に次元削減前の特徴の中には、ユーザが所望するデータの分布と相関の無い特徴量（例えばデータの性質・状態に関係なく一様分布となる特徴量など）が含まれている可能性がある。しかしながら、通常の多様体学習における近傍決定方法や前述した近傍関係を決定する方法は、単純に全ての入力された特徴空間でのデータ間距離に基づいた方法になっているため、ユーザにとって望ましい近傍関係を築けない可能性がある。そこで、本実施形態では、ユーザの事前知識等によって離すべきデータや近くに埋め込むべきデータに関する情報を外部から与え、情報量を増やすことによって、よりユーザの求める次元削減結果を得るようにしている。
図１２は、図８のＳ８０１の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ１２０１において、データ抽出部７０１は、次元削減結果に基づく抽出結果を出力装置１０５に表示し、ユーザにより新たな次元削減結果を計算しなおす指示を受けたか否かを判定する。この判定の結果、新たな次元削減結果を計算しなおす指示を受けた場合はＳ１２０２に進み、そうでない場合は処理を終了する。
次に、Ｓ１２０２において、近傍データ決定部１０３は、ユーザが入力装置１０２から入力された内容を取得する。以下、データ抽出部７０１での抽出結果が出力装置１０５で表示される例と、その表示を確認したユーザが新たにどのような情報を入力装置１０２から追加情報として入力するかについて説明する。
図９（ａ）は、データ抽出部７０１が一部をランダムに抽出した各データ間の距離関係を入力するためにユーザに促す画像セットを表示した画面の例を示している。図９（ａ）において、欄９０１はデータ抽出部７０１が一部をランダムに選択した複数の対象データに関連付いた画像を表示する欄である。これら画像の中から重複を許してユーザは空白欄９０２に自分の求める次元削減時の物体の近傍関係の序列を入力する。空白欄９０２には複数の順序を入力できるようになっており、１列に全ての距離関係をまとめて入力する必要はないものとなっている。例えば、欄９０１に表示されている画像のうちの３枚と残り４枚とをそれぞれ別に２列に分けて入力することもできる。
また、図９（ｂ）は、次元削減をした結果から得られた画像を、データ抽出部７０１により適当な初期値で並べられた距離関係が表示された例を示している。ユーザは、欄９１１に表示された結果を確認して空白欄９１２に修正した序列でデータを並べ替えることができる。なお、以上のデータの並べ替えを行ったデータに付随した画像を例に説明したが、画像以外に該当するデータを取得したときの条件（時刻、撮影条件）等を表示するようにしてもよい。
図９（ａ）及び図９（ｂ）に示した例は、対象データの近傍関係をユーザに入力させて各データに序列を教示する方法である。一方、図９（ｃ）に示すように、欄９２１に表示された結果から２点のデータ間の距離についての比較で距離関係の大小のみを空白欄９２２に入力させるようにしてもよい。また、近傍関係にあるデータについて近傍にあるか否かのみをユーザに入力させるようにしてもよい。
図１２の説明に戻り、次に、Ｓ１２０３において、ユーザの指示に基づく次元削減結果と再計算による次元削減結果とが一致するまで、Ｓ１２０３〜Ｓ１２０５の処理を繰り返す。そして、Ｓ１２０４において、近傍データ決定部１０３は、近傍データを決定するためのパラメータｋまたはεを更新し、写像計算部１０６は、更新したパラメータｋまたはεに基づき、次元削減を行う。
図１０は、図３（ａ）に示した分布における各対象物体画像の位置の例を示す図である。ただし、次元削減を行う前は、分布がSwiss Rollになっていることを知ることはできない。以下、この図１０に示す分布の次元削減結果に対してユーザによる入力によって各データの近傍関係を更新し、よりユーザの意図を反映させた結果が得られるまでのアルゴリズムを説明する。
図９（ａ）及び図９（ｂ）に示した例では、アルゴリズムに違いはほとんどない。図９（ａ）に示す例の場合は、ユーザによる入力の後に暫定的な次元削減を行い、ユーザの入力結果と比較するが、図９（ｂ）に示す例の場合は、それらの順序が逆になるだけである。
例えばランダムに抽出された７枚の画像について暫定で出力された次元削減結果の順序と、ユーザの入力した順序とが異なる場合、異なる画像が持つ近傍データを決定するためのパラメータｋ、εを変動させることでユーザの教示情報に近付ける。例えば、１列にデータを並べた場合は一番左のデータに近い順に並んでいることになるが、このときユーザの入力した序列と違い、右にあるべきデータが左側に来ていた場合、パラメータｋ、εを現在の暫定値から小さくすればよい。また逆に左に来るべきデータが右側に来ていた場合は近傍データを決定するパラメータｋ、εをさらに大きな値になるように設定すればよい。ただし、このときランダム抽出されたデータのみに対してだけでなく、周辺のデータについても線形的にパラメータｋ、εを増減させる。
具体的に説明すると、図１０に示す分布を暫定的に次元削減することによって図１１（ａ）に示すような次元削減結果が得られたものと仮定する。しかし、その後のユーザが入力した各データ同士の近さの関係はノードｘS1，ｘS2，ｘS3，ｘS4，ｘS5，ｘS6，ｘS7の順だったものとする。図１１（ａ）に示す暫定的な次元削減結果では、本来最もノードｘS1から離れているべきノードｘS7がノードｘS1に２番目に近いという結果が得られた状態になっている。そこで、ユーザの入力結果から、ノードｘS7が持つパラメータｋ、εを減少させて前述した暫定的な次元削減結果を修正する。ここで、次元削減後のノードｘS7から最近傍であるノードｘS6までの測地線距離をＧ（ｘS7，ｘS6）とする。そして、ノードｘS7から距離Ｇ（ｘS7，ｘS6）にあるデータが持つ｛ｋ｝または｛ε｝を、各ノードｘiに関する値であるためＨ（ｘi）と表すと、以下の式（５）（ｐ＝７、ｑ＝６）によって線形的に変更させることができる。また、この変更を加えた回数をｒとしてＨ（ｘi）をＨr（ｘi）と表記する。ここで、αは定数である。
この変換により得られた新たな｛ｋ｝または｛ε｝にて写像計算部１０６は再度次元削減を行い、ユーザから入力された序列と合致するまでＳ１２０３〜Ｓ１２０５の処理を繰り返す。この繰り返しによって、ユーザが近付けたくないデータを次元削減時に近傍に埋め込まないデータとして設定し直すことができる。前述した計算の繰り返しによって最終的に図３（ａ）に示した多様体を図１１（ｂ）に示したようなユーザが入力したデータ同士の近さ関係を保持しながら低次元のデータとして表すことができるようになる。
以上のように本実施形態によれば、暫定的な次元削減結果に対してユーザの意図する次元削減結果を反映させるようにしたので、よりユーザにとって望ましい次元削減結果を得ることができる。
（第３の実施形態）
以下、図面を参照して本発明の第３の実施形態を詳細に説明する。場合によっては次元削減の結果、図１３（ａ）に示したように、本来は無いはずである分布内のデータの分岐１３０１や凝集１３０２が発生してしまうことがある。これは各データによって最適な近傍関係が設定されていないことに起因するため、仮に本来のデータが持つ情報の分布が図１３（ｂ）に示すような分布だった場合、データ間の不要な分岐や凝集ができてしまうことは本来抽出したい情報にとって不要な情報となる。そのため、本実施形態では、以下の処理によってさらに良い近傍関係を設定し、できるだけ図１３（ｂ）に例示した分布に近い結果が得られるように各データの近傍関係の更新を行う。なお、本実施形態に係る情報処理装置の構成は図７と同様であるため、説明は省略する。
図１４は、本実施形態において、次元削減結果を得る処理手順の一例を示すフローチャートである。なお、図１４のＳ２０１〜２０４、Ｓ８０１は、それぞれ図８のＳ２０１〜Ｓ２０４、Ｓ８０１と同様である。以下、Ｓ１４０１の処理の詳細について説明する。また、場合によっては図１４のＳ８０１の処理は省略することができる。以下、説明上わかりやすくするため、｛ｋ｝および｛ε｝をそれぞれ｛ｋ｝(0)および｛ε｝(0)と表記する。
図１５は、図１４のＳ１４０１の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ２０１〜Ｓ２０４、Ｓ８０１の処理により、特徴空間のｄ次元からｐ0次元への次元削減が行われ、ｐ0次元程度で対象データの分布にユーザの意図する近傍関係を反映させる。そして、Ｓ１５０１〜Ｓ１５０４で更に近傍関係の修正を繰り返すことでユーザの意図に沿った次元削減結果を得るようにする。そのため、まず、Ｓ１５０２において、近傍データ決定部１０３は、新たに得たｐ0個の特徴空間内でさらに新しい近傍関係を決定して更新する。
ここで、｛ｋ｝(0)および｛ε｝(0)同様、新たに次元削減後のｐ0次元空間での近傍関係を設定するパラメータをそれぞれ｛ｋ｝(1)、｛ε｝(1)とする。Ｓ１５０２では、前述したｄ次元の特徴空間において近傍データを決定するためのパラメータｋ、εを各データで決定した方法と同じ方法を次元削減後のｐ0次元空間上で適用する。そして、ｐ0次元空間上の近傍関係に基づいて｛ｋ｝(1)または｛ε｝(1)を決定する。次に、Ｓ１５０３では、写像計算部１０６は、ｐ0次元空間上で各対象データから｛ｋ｝(1)または｛ε｝(1)によって決定する近傍データ全てを保持し、特徴量であるｄ次元の特徴空間内での距離関係を参照して再度各対象データの次元削減を行う。なお、ｄ次元の特徴空間内で、単純に｛ｋ｝(1)または｛ε｝(1)で決定される近傍データをそのまま近付ける訳ではない。ｐ0次元空間上での近傍関係とｄ次元空間上での近傍関係とでは通常異なっている。
このとき、新たに次元削減を行った結果得られた特徴空間の次元をｐ1次元（ｐ1＝ｐ0でも良い）とすると、さらに同様の手順により新規の近傍関係を設定する｛ｋ｝(2)または｛ε｝(2)が得られる。以下、同様の処理をＳ１５０１〜Ｓ１５０４によって繰り返す。
この処理を繰り返し、最終的に全対象データの近傍データの更新ができなくなった場合に上記処理を打ち切る。以上により、局所的なデータ分布をより反映させた次元削減結果を得ることができる。なお、図９（ｃ）に示す例の場合も、各点間の距離の大小関係を更新するのみであるため、前述した同様の方法により各距離の大小関係を保持した次元削減結果を得ることができる。
また、本実施形態は多様体学習を主体とし、非線形な変換によって次元削減を行う方式として具体例を挙げて説明した。しかし、近傍データを決定するためのパラメータｋ、εを決定する方法は、教師なしの状況では、次元削減を非線形に行っても線形に行っても変わりはない。このため、局所性を考慮した線形次元削減方式（例えばLocality Preserving Projections等）によっても同様に適用させることができる。
（第４の実施形態）
以下、図面を参照して本発明の第４の実施形態を詳細に説明する。本実施形態では教師ありで次元削減を行う例について説明する。なお、本実施形態に係る情報処理装置の構成は図１と同様であるため、説明は省略する。
具体的な例として、本実施形態で次元削減の対象となるデータとは、複数種類の物体を撮影した画像に対して各々の種別に異なるラベルが付与され、複数の特徴を抽出して高次元のデータになったものが挙げられる。また、複数種類の物体が多様な人の顔や体、動物、臓器、自動車等を撮影した画像であっても良い。また、街中の監視画像のように同一対象を時系列に撮影した一連の画像から複数の特徴を抽出して高次元のデータになったものに"正常行動"や"異常行動"といったラベルが付与されたデータでも良い。また、高次元のデータの挙動や関連性を分析するような場合に適用させることができる汎用性の高い手法であるため、特にデータが画像である必要はなく、音声やその他の信号、またはそれらの合成特徴であっても良い。
本実施形態は、教師ありで次元削減を行う場合であるため、次元削減対象のデータは全て分類すべきクラスラベルを持つものとする。また、本実施形態では、良く知られた教師ありの次元削減方式全般（Local Discriminant Information、Local Fisher Discriminant Analysis等）において適用するものとする。そして、この方法において線形な写像を行う際の局所的な近傍関係を写像結果により良く反映させるための方法を説明する。上記の教師ありの次元削減方式では、局所的な近傍関係を写像結果に反映させる方法自体は、どれも類似した方法を採用している。つまり、各データの近傍データをｋ近傍法の近傍数ｋによって設定したり、任意のデータを中心とするサイズεの超球内部に存在するデータ全てを近傍データとして設定したりする。したがって、本実施形態では、以上に示したどの教師ありの次元削減方式にも適用できる。
図１６は、本実施形態における処理手順の一例を示すフローチャートである。ここで、入力されるデータは分類対象となるクラスが２以上あり、それらのラベルが与えられたデータが複数存在する。さらにそれらから抽出された特徴量がｄ個（ｄ≧２）あり、各データはこれらｄ個の特徴量によって表されるものとする。
まず、Ｓ１６０１において、データ入力部１０１は、ラベル付きの次元削減対象データを入力する。そして、Ｓ１６０２において、データ間距離算出部１０８は、全てのデータにおける特徴次元を正規化する。つまり、全ての特徴量で対象データの分散を１にする。その後、全データ間の距離を求める。そして、近傍データ決定部１０３は、パラメータｋまたはεに、適切な初期値（例えば｛ｋ｝＝｛１，１，１，・・・１｝、ε＝最近傍点までの距離）を与える。また、近傍データ決定部１０３は、ユーザの操作により入力装置１０２から次元削減方法、近傍データ決定則、近傍埋め込み重み決定則の情報を入力する。ここで指定される次元削減方法は、Local Discriminant Informationや、Local Fisher Discriminant Analysis等の基本となる教師ありの次元削減方式である。近傍データ決定則、および近傍埋め込み重み決定則については第１の実施形態と同様である。
そして、Ｓ１６０３において、近傍データ決定部１０３は、Ｓ１６０２で設定した初期値から値を増加させて近傍データに異なるラベルのデータが含まれない最大値を求める。そして、それらの最大値を各データの暫定的なパラメータｋまたはεとする。
具体的に、図２１（ａ）に示すように、２種のクラスラベルの付与されたデータが高次元特徴空間内で分布している場合を想定して説明する。図２１（ａ）では，白丸で表されているデータをクラス１のデータ、黒丸で表されているデータをクラス２のデータとする。ここで、クラス１のデータ２１０１、２１０２の２つのデータに着目し、それぞれのデータから近傍数ｋを求める。データ２１０１から近傍数ｋの初期値を１として近傍数ｋを増加させて近傍点を探索すると、図２１（ｂ）に示したように近傍数ｋ＝５のときに異なるラベルであるクラス２のデータに到達する。この場合、データ２１０１の保持する近傍数ｋを「４」と設定する。
次に、データ２１０２についても同様に、近傍数ｋ＝１から探索をすると、図２１（ｃ）に示したように近傍数ｋ＝３のときに異なるラベルであるクラス２のデータに到達する。よって、データ２１０２の保持する近傍数ｋを「２」と設定する。なお、サイズεの超球を用いてサイズεを増加させながら探索するときも同様に行うことができる。
以上のような規則に基づいて、次元削減前の特徴空間で全クラス、全データの近傍データを決定するためのパラメータｋ（またはε）を設定する。これにより、情報量が必要な箇所では近傍数ｋを小さく設定でき、同じクラスラベルのデータばかりが集まっている領域では近傍数ｋを大きく設定でき、汎化性能を向上させることができる。
また、Ｓ１６０３において、近傍データ決定部１０３は、Ｓ１２０２で決定した｛ｋ｝、｛ε｝に対し定数α倍をしてＫ＝α×ｋ，Ｅ＝α×εとし、クロスバリデーション等で最適値の定数αを探索してもよい。
そして、Ｓ１６０４において、写像計算部１０６は、Ｓ１６０３で決定した｛ｋ｝または｛ε｝に基づいて、Ｓ１６０２でユーザにより選択された次元削減方式により次元削減を行う。そして、写像計算部１０６は、次元削減結果を写像記憶部１０７に保存する。
本実施形態では、以上のように図１６に示した手順により次元削減結果を得るようにしたが、場合によっては、図１７に示す手順のように、更に近傍関係の修正を繰り返してより良い次元削減結果を得るようにしてもよい。なお、図１７のＳ１６０１〜Ｓ１６０４は図１６のＳ１６０１〜Ｓ１６０４と同様の処理であるため、説明は省略する。
Ｓ１７０１では、Ｓ１６０４で得た次元削減結果からさらに次元削減後の近傍関係に近い関係に更新して次元削減する。つまり、｛ｋ｝または｛ε｝による次元削減を行って得たｐ0次元の特徴空間内で近傍関係を決定し、更新する。以下、説明上わかりやすくするため、｛ｋ｝および｛ε｝をそれぞれ｛ｋ｝(0)および｛ε｝(0)と表記する。
図１８は、図１７のＳ１７０１の詳細な処理手順の一例を示すフローチャートである。
ここで、｛ｋ｝(0)および｛ε｝(0)同様、新たに次元削減後のｐ0次元空間での近傍関係を設定するパラメータをそれぞれ｛ｋ｝(1)、｛ε｝(1)とする。まず、Ｓ１８０２において、近傍データ決定部１０３は、ｐ0次元空間上の近傍関係に基づいてラベルを参照しながら｛ｋ｝(1)または｛ε｝(1)を決定する。この処理では、図２１にて説明したｄ次元特徴空間での方法と同じ方法を適用する。
そして、Ｓ１８０３において、写像計算部１０６は、ｐ0次元空間上で各対象データから｛ｋ｝(1)または｛ε｝(1)によって決定する近傍データ全てを保持し、次元削減前のｄ次元特徴空間内での距離関係を参照して再度各対象データの次元削減を行う。なお、ｄ次元の特徴空間内で単純に｛ｋ｝(1)または｛ε｝(1)で決定される近傍データをそのまま近付ける訳ではない。ｐ0次元空間上での近傍関係とｄ次元空間上での近傍関係とでは通常異なる。
このとき、新たに次元削減を行った結果得られた特徴空間の次元をｐ1次元（ｐ1＝ｐ0でも良い）とすると、同様の手順により新規の近傍関係を設定するパラメータ｛ｋ｝(2)または｛ε｝(2)が得られる。以下、Ｓ１８０１〜Ｓ１８０４にて、同様の処理を繰り返す。この処理を繰り返し、最終的に全対象データの近傍データが更新できなくなった場合に、上記処理を打ち切る。以上により、教師ありの場合であっても、局所的なデータ分布をより反映させた次元削減結果を得ることができる。
（第５の実施形態）
以下、図面を参照して本発明の第５の実施形態を詳細に説明する。本実施形態では、第４の実施形態と同様に教師ありの次元削減を行い、次元削減後に近傍データを決定するパラメータｋ、εをクラスごとに変え、同じクラス内のデータは共通のパラメータｋ、εにする。なお、本実施形態に係る情報処理装置の構成は図１と同様であるため、説明は省略する。
本実施形態における処理手順は基本的には図１６に示す手順と同様である。ここで、入力される次元削減対象のデータは分類対象となるクラスが２以上あり、それらのラベルが与えられたデータが複数存在するものとする。さらにそれらから抽出された特徴量がｄ個（ｄ≧２）あり各データはこれらｄ個の特徴量によって表されるものとする。
ここで、入力されたデータの次元数をｄとする。ｎを次元削減対象データの総数とし、分類対象の全クラス数をＬとしたとき、ｌ＝｛１，２，３，・・・Ｌ｝としてクラスごとの要素数をｎlと表記することにする。このとき、次元削減後に近傍に埋め込むデータを決定する処理をｋ近傍法で決定する場合は近傍数ｋを｛ｋ｝＝｛ｋ1，ｋ2，ｋ3，・・・ｋl，・・・ｋL｝と表記する。サイズεの超球を用いて決定する場合はサイズεを｛ε｝＝｛ε1，ε2，ε3，・・・εl，・・・εL｝と表記する。
まず、Ｓ１６０１およびＳ１６０２は、第４の実施形態と同様である。つまり、｛ｋ｝または｛ε｝に適切な初期値（例えば｛ｋ｝＝｛１，１，１，・・・１｝、ε＝最近傍点までの距離）を与える。そして、Ｓ１６０３において、近傍データ決定部１０３は、パラメータ｛ｋ｝または｛ε｝を求める。具体的な方法としては、まず、初期値から各々値を増加させ、ラベルの異なるクラスのデータが含まれる割合が最小であり、且つ極力大きい値になるようにクラスごとにｋlまたはεlを求める。ここで、クラスｌのデータに対し、設定したパラメータｋlまたはεlによって設定される近傍データのうち、ラベルの異なるデータの総数をＦl（ｋl）またはＦl（εl）と表すこととする。この場合、近傍データをｋ近傍法で決定する場合は、パラメータｋlを決定する方法として以下の式（６）を用いることができる。なお、サイズεの超球で近傍を求める場合も同様の方法にてεlを求めることができる。
以上のようにＳ１６０３において、近傍データ決定部１０３は、特徴空間において全クラスの近傍パラメータ｛ｋ｝または｛ε｝を求める。続いて、Ｓ１６０４は、第４の実施形態と同様の手順である。以上のように、次元削減を行うことができる。
また、第４の実施形態と同様に、図１７に示す処理手順によって次元削減結果を得るようにしてもよい。つまり、Ｓ１６０４にてパラメータ｛ｋ｝または｛ε｝による次元削減を行って得たｐ0次元の特徴空間内でＳ１７０１によって近傍関係を決定し、更新する。つまり、図１８に示す手順に従って、パラメータ｛ｋ｝(1)または｛ε｝(1)を決定する。この場合、前述した方法と同じ方法を次元削減後のｐ0次元空間上で適用する。そして、この処理を繰り返し、最終的に全対象データの近傍データを更新できなくなった場合に上記処理を打ち切る。以上により、クラスごとに異なるパラメータｋまたはεを得て次元削減したデータを得ることができる。
（第６の実施形態）
以下、図面を参照して本発明の第６の実施形態を詳細に説明する。本実施形態は、第５の実施形態と同様に、パラメータｋ、εをクラスごとに変え、同じクラス内のデータは共通のパラメータｋ、εにする。なお、本実施形態に係る情報処理装置の構成は図１と同様であるため、説明は省略する。
第５の実施形態では、パラメータｋ、εは、入力された次元削減対象データから求めた。一方、ユーザが分類対象のデータの性質についてラベル情報以外に各クラスのデータの集中／分散度合いの傾向を知っている場合がある。そこで本実施形態では、次元削減対象データからｄ次元の特徴を抽出して次元削減する際、各クラスのデータの集中／分散度合いの傾向を利用して次元削減結果を得る方法について説明する。事前に入力したデータに関して正しい情報が多いほど、良い次元削減結果を得ることができる。よって、本実施形態では近傍データを決定するパラメータｋ、εを入力データのみから決定するのではなく、他の情報を利用して外部から与えることによって決定する。
図１９は、本実施形態における処理手順の一例を示すフローチャートである。
なお、説明を簡単にするため、分類対象クラスの総数Ｌ＝２として説明する。また、１つ目のクラスは、人の正面顔を撮影した画像から任意の特徴抽出方式にてｄ次元の特徴を抽出したクラスとする。そして、２つ目のクラスは、雑多な背景画像から前述した方法と同様の特徴抽出方式にてｄ次元の特徴を抽出したクラスとする。なお、図１９のＳ１６０１、Ｓ１６０３及びＳ１６０４は、それぞれ図１６のＳ１６０１、Ｓ１６０３及びＳ１６０４と同様であるため、説明は省略する。
まず、１つ目のクラスのデータは極めて小さな空間に集中し、２つ目のクラスのデータは分散が大きくなることが望ましいとユーザが考えているものとする。この場合、分布の違いに係る情報を入力することによって、元のｄ次元の特徴量において２つのクラスを分離する特徴を重視した次元削減を行うのみならず、各クラスの集中／分散度合いの傾向が反映させた次元削減が可能となる。
そこで、Ｓ１９０１において、データ間距離算出部１０８は、全てのデータにおける特徴次元を正規化する。つまり、全ての特徴量で対象データの分散を１にする。その後、全データ間の距離を求める。そして、近傍データ決定部１０３は、次元削減方法、近傍データ決定則、近傍埋め込み重み決定則の情報とともに、ユーザの操作により入力装置１０２からパラメータｋまたはεの初期値を入力する。例えば、ｋ近傍法により近傍データを決定する際、ユーザの操作により入力装置１０２からパラメータｋの初期値として｛ｋ｝＝｛ｋ1，ｋ2｝＝｛１００，０｝が設定される。ただし、ｎl≧１００とする。
Ｓ１６０３では、この初期値を元にパラメータｋまたはεを決定し、Ｓ１６０４で次元削減を行うことになる。
また、近傍関係の修正をさらに行う場合は、図２０に示す手順で行われる。図２０において、Ｓ１９０１では前述した処理を行い、Ｓ１７０１で図１７と同様の処理を行うことにより、より良好な次元削減結果を得ることができる。
なお、本実施形態では、ユーザにパラメータｋまたはεの初期値を入力させたが、他の実験から得られた各クラスのデータの分散値からパラメータｋまたはεの初期値を決定しても良い。その他、分類対象のクラスに含まれる対象をＷｏｒｄＮｅｔの階層構造を参照して深い階層に属するものは｛ｋ｝または｛ε｝を小さく設定し、上位層の場合は大きく設定するというような方式によっても次元削減を行っても良い。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０３ 近傍データ決定部
１０６ 写像計算部
１０８ データ間距離算出部

Claims (12)

  1. 所定次元の要素を有する複数のデータであって、次元削減の対象となる複数のデータ間の所定次元空間における距離を算出する距離算出手段と、
    前記距離算出手段によって算出された距離に基づいて、近傍データを決定するためのパラメータを前記次元削減の対象となる複数のデータごとに決定する決定手段と、
    前記次元削減の対象となる複数のデータそれぞれにおいて、対応する前記近傍データとの位置関係を次元削減後も保つように、前記次元削減の対象となるデータに対しての次元削減を前記決定手段によって決定されたパラメータに基づいて行う次元削減手段とを有することを特徴とする情報処理装置。
  2. 前記次元削減の対象となる複数のデータの少なくとも一部における距離関係の情報をユーザの操作により入力する入力手段をさらに有し、
    前記決定手段は、前記入力手段によって入力された情報に基づいて前記近傍データを決定するためのパラメータを再計算し、
    前記次元削減手段は、前記再計算されたパラメータに基づいて、前記次元削減の対象となるデータに対して次元削減を行うことを特徴とする請求項１に記載の情報処理装置。
  3. 前記次元削減の対象となる複数のデータは、それぞれ種別ごとに異なるラベルを有するデータであり、
    前記決定手段は、さらに前記ラベルが共通するデータの分布に基づいて、前記近傍データを決定するためのパラメータを前記次元削減の対象となる複数のデータごとに決定することを特徴とする請求項１に記載の情報処理装置。
  4. 前記決定手段は、さらに前記ラベルが共通するデータの分布に基づいて、前記近傍データを決定するためのパラメータを前記ラベルごとで共通するように決定することを特徴とする請求項３に記載の情報処理装置。
  5. 前記近傍データを決定するためのパラメータの初期値を、ユーザの操作により入力する入力手段をさらに有し、
    前記決定手段は、前記入力手段によって入力された初期値から探索して前記近傍データを決定するためのパラメータを決定することを特徴とする請求項４に記載の情報処理装置。
  6. 前記決定手段は、前記次元削減されたデータの空間上で、さらに前記近傍データを決定するためのパラメータを前記次元削減の対象となるデータごとに算出して前記近傍データを更新することを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
  7. 前記近傍データを決定するためのパラメータは、ｋ近傍法における近傍数、または超球のサイズであることを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
  8. 前記次元削減手段は、画像から抽出された特徴を示すデータの次元削減を行うことを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
  9. 前記次元削減手段は、前記複数のデータそれぞれにおいて、前記複数のデータごとに決定された前記パラメータに基づく距離内にあるデータを前記近傍データとして、次元削減を行うことを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
  10. 前記次元削減手段により行われた次元削減の結果を出力装置に表示させる表示手段をさらに有することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
  11. 情報処理装置による情報処理方法であって、
    所定次元の要素を有する複数のデータであって、次元削減の対象となる複数のデータ間の所定次元空間における距離を算出する距離算出工程と、
    前記距離算出工程において算出された距離に基づいて、近傍データを決定するためのパラメータを前記次元削減の対象となる複数のデータごとに決定する決定工程と、
    前記次元削減の対象となる複数のデータそれぞれにおいて、対応する前記近傍データとの位置関係を次元削減後にも保つように、前記次元削減の対象となる複数のデータに対しての次元削減を前記決定工程において決定されたパラメータに基づいて行う次元削減工程とを有することを特徴とする情報処理方法。
  12. コンピュータを請求項１〜１０の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2016215470A 2016-11-02 2016-11-02 情報処理装置、情報処理方法及びプログラム Active JP6789762B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016215470A JP6789762B2 (ja) 2016-11-02 2016-11-02 情報処理装置、情報処理方法及びプログラム
US15/785,187 US10607121B2 (en) 2016-11-02 2017-10-16 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016215470A JP6789762B2 (ja) 2016-11-02 2016-11-02 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018073293A JP2018073293A (ja) 2018-05-10
JP6789762B2 true JP6789762B2 (ja) 2020-11-25

Family

ID=62021579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016215470A Active JP6789762B2 (ja) 2016-11-02 2016-11-02 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10607121B2 (ja)
JP (1) JP6789762B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3018334A1 (en) * 2017-09-21 2019-03-21 Royal Bank Of Canada Device and method for assessing quality of visualizations of multidimensional data
CA3022707A1 (en) * 2017-10-31 2019-04-30 Royal Bank Of Canada Method and device for conducting measurements for an n-dimensional data structure
JP6933164B2 (ja) * 2018-03-08 2021-09-08 株式会社Ｊｖｃケンウッド 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
CN110163657B (zh) * 2019-04-12 2024-07-02 中国平安财产保险股份有限公司 基于流形学习算法的保险产品推荐方法及相关设备
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
JP7574145B2 (ja) 2021-06-23 2024-10-28 株式会社Uacj データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置
CN114646840B (zh) * 2022-02-16 2025-07-11 西安交通大学 一种基于数据降维的电缆缺陷定位方法及设备
CN116975365A (zh) * 2023-08-03 2023-10-31 南方电网科学研究院有限责任公司 低压配电网可靠性数据填补方法、装置、存储介质及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
US8233702B2 (en) * 2006-08-18 2012-07-31 Google Inc. Computer implemented technique for analyzing images
JP5254893B2 (ja) * 2009-06-26 2013-08-07 キヤノン株式会社 画像変換方法及び装置並びにパターン識別方法及び装置
JP5691289B2 (ja) * 2010-08-11 2015-04-01 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
CN102903128B (zh) * 2012-09-07 2016-12-21 北京航空航天大学 基于局部特征结构保持的视频图像内容编辑传播方法
TWI489413B (zh) * 2012-09-28 2015-06-21 Zhangjiagang Kangde Xin Optronics Material Co Ltd A Method of Multi - view Three - dimensional Image Display
JP5932612B2 (ja) * 2012-11-16 2016-06-08 株式会社スクウェア・エニックス 情報処理装置、制御方法、プログラム、及び記録媒体
CN104981841B (zh) * 2012-12-12 2018-03-06 华为技术有限公司 3d图像数据分割的方法和装置
JP6547275B2 (ja) * 2014-10-29 2019-07-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP6624794B2 (ja) * 2015-03-11 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20180121765A1 (en) 2018-05-03
US10607121B2 (en) 2020-03-31
JP2018073293A (ja) 2018-05-10

Similar Documents

Publication Publication Date Title
JP6789762B2 (ja) 情報処理装置、情報処理方法及びプログラム
Yan et al. Graph convolutional autoencoder model for the shape coding and cognition of buildings in maps
Zhao et al. Spherical U-Net on cortical surfaces: methods and applications
Atkinson et al. Geostatistical classification for remote sensing: an introduction
CN113705772A (zh) 一种模型训练方法、装置、设备及可读存储介质
JP4780106B2 (ja) 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
Payá et al. Performance of global-appearance descriptors in map building and localization using omnidirectional vision
Hilal et al. Deep transfer learning based fusion model for environmental remote sensing image classification model
Fadel et al. Loch: A neighborhood-based multidimensional projection technique for high-dimensional sparse spaces
CN113254717A (zh) 多维图网络节点聚类处理方法、装置和设备
US20250157206A1 (en) Method and apparatus with map construction
Ma et al. Ensemble p-laplacian regularization for scene image recognition
Chowdhury et al. A State‐of‐the‐Art Computer Vision Adopting Non‐Euclidean Deep‐Learning Models
Bergamasco et al. A graph-based technique for semi-supervised segmentation of 3D surfaces
Yu et al. Analyzing the effect of landmark vectors in homing navigation
Recaido et al. Visual explainable machine learning for high-stakes decision-making with worst case estimates
Di Martino et al. Spatio-temporal hotspots and application on a disease analysis case via GIS
JP6623184B2 (ja) 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム
Roman et al. Creating incremental models of indoor environments through omnidirectional imaging
Wang et al. Efficient topological localization using global and local feature matching
Wang et al. An efficient image segmentation algorithm for object recognition using spectral clustering
Setiyoko et al. DEM fusion concept based on the LS-SVM cokriging method
Ripon et al. A multi-objective evolutionary algorithm for color image segmentation
Manso et al. A novel robust scene change detection algorithm for autonomous robots using mixtures of gaussians
Shen et al. Intelligent image segmentation model for remote sensing applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R151 Written notification of patent or utility model registration

Ref document number: 6789762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151