JP6633267B2 - 次元削減装置、方法及びプログラム - Google Patents

次元削減装置、方法及びプログラム Download PDF

Info

Publication number
JP6633267B2
JP6633267B2 JP2014058628A JP2014058628A JP6633267B2 JP 6633267 B2 JP6633267 B2 JP 6633267B2 JP 2014058628 A JP2014058628 A JP 2014058628A JP 2014058628 A JP2014058628 A JP 2014058628A JP 6633267 B2 JP6633267 B2 JP 6633267B2
Authority
JP
Japan
Prior art keywords
vector
mapping
partial
dimension reduction
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014058628A
Other languages
English (en)
Other versions
JP2015184775A (ja
Inventor
伊藤 聡
聡 伊藤
友樹 渡辺
友樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014058628A priority Critical patent/JP6633267B2/ja
Priority to US14/644,396 priority patent/US9704065B2/en
Publication of JP2015184775A publication Critical patent/JP2015184775A/ja
Application granted granted Critical
Publication of JP6633267B2 publication Critical patent/JP6633267B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Complex Calculations (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、次元削減装置、方法及びプログラムに関する。
画像認識や音声認識などのパターン認識の分野では、認識に有効な情報を少しでも多く用いるため、数万次元から数十万次元といった非常に高次元の特徴ベクトルを用いることも珍しくない。このため、特徴ベクトルの次元数を削減した低次元特徴ベクトルを用いて認識処理を行うアプローチがある。
このようなアプローチにおける次元削減手法として、例えば、次元削減前後における平均二乗誤差が最小となるように次元削減を行う主成分分析を用いた手法がある。この手法では、Din次元からDout次元に削減する場合、Din次元の高次元ベクトルにDout×Dinの行列を掛けることで、Dout次元の低次元ベクトルを算出する。
但し、この手法では、Dinのデータ量が非常に大きな値となるので、Dout×Dinの行列のデータ量も非常に大きな値となり、Dout×Dinの行列を記憶するために非常に大きな記憶容量のメモリ等の記憶装置が必要となる。また、次元削減に伴う演算量も莫大なものとなり、次元削減に時間を要する。
このため、他の手法として、Dout×Dinの行列の一部の要素が非零となるようにし、Dout×Dinの行列を記憶するために必要な記憶容量を削減する技術がある。
H.Zou,T.Hastie and R.Tibshirani,"Sparse Principal Component Analysis,"Journal of Computational and Graphical Statistics,Vol.15,No.2,pp.265−286,2006
しかしながら、上述したような従来技術では、非零の要素がとびとびに存在するため、次元削減に伴う演算時の記憶領域へのアクセスもとびとびになり、演算の高速化が困難である。このため、次元削減に時間を要する。
本発明が解決しようとする課題は、低記憶容量かつ高速な次元削減を実現可能な次元削減装置、方法及びプログラムを提供することである。
実施形態の次元削減装置は、取得部と、生成部と、第1写像部と、第2写像部と、出力部と、を備える。取得部は、複数の要素で構成される第1ベクトルを取得する。生成部は、それぞれが前記複数の要素のうちの1以上の要素で構成される複数の第1部分ベクトルを生成する。第1写像部は、前記第1部分ベクトルそれぞれを、当該第1部分ベクトルに対応する第1写像を用いて当該第1部分ベクトルを構成する要素の数を削減した第2部分ベクトルに変換し、変換後の前記複数の第2部分ベクトルを連結して、前記第1ベクトルの次元数を削減した第2ベクトルを生成する。第2写像部は、前記第2ベクトルに対し、当該第2ベクトルの次元数以下の空間への第2写像を適用し、当該第2ベクトルの次元数を当該次元数以下に削減した第3ベクトルを生成する。出力部は、前記第3ベクトルを出力する。
本実施形態の次元削減装置の例を示す構成図。 本実施形態のN=2の場合の次元削減例の説明図。 本実施形態の要素の選択手法の例の説明図。 本実施形態の要素の選択手法の例の説明図。 本実施形態の第1写像の例の説明図。 本実施形態の第1写像の例の説明図。 本実施形態の要素の変換に適用するスカラ関数の例の説明図。 本実施形態の要素の変換に適用するスカラ関数の例の説明図。 本実施形態の要素の変換に適用するスカラ関数の例の説明図。 本実施形態の要素の変換に適用するスカラ関数の例の説明図。 本実施形態の次元削減処理例を示すフローチャート。 本実施形態との比較例を示す図。 本実施形態との比較例を示す図。 本実施形態のN=3の場合の次元削減例の説明図。 本実施形態の次元削減装置をコンピュータで実現した場合のハードウェア構成例を示すブロック図。
以下、添付図面を参照しながら、実施形態を詳細に説明する。
図1は、本実施形態の次元削減装置10の一例を示す構成図である。図1に示すように、次元削減装置10は、取得部11と、生成部13と、第1写像部15と、第2写像部17と、出力部19と、記憶部21とを、備える。
本実施形態では、取得部11、生成部13、第1写像部15、第2写像部17、及び出力部19をIC(Integrated Circuit)で実現することを想定しているが、これに限定されるものではない。例えば、取得部11、生成部13、第1写像部15、第2写像部17、及び出力部19をCPU(Central Processing Unit)などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
本実施形態では、記憶部21をDRAM(Dynamic Random Access Memory)などのメモリで実現することを想定しているが、これに限定されるものではない。例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)などで実現してもよい。
本実施形態では、次元削減装置10をICチップ、LSI(Large Scale Integration)チップ、及びASIC(Application Specific Integrated Circuit)などのハードウェアで実現することを想定しているが、これに限定されるものではない。例えば、次元削減装置10をコンピュータで実現してもよい。
取得部11は、複数の要素で構成される第1ベクトルを取得する。ここで、第1ベクトルは、後述する第2ベクトルや第3ベクトルよりも高次元の特徴ベクトルであり、ベクトル表現可能な任意の高次元特徴量を用いることができる。
例えば、画像特徴量を例に取れば、画像ベクトル、輝度勾配方向ヒストグラム、輝度勾配方向共起ヒストグラム、カラーヒストグラム、カラー共起ヒストグラム、Haar−like特徴、又はbag of visual wordsなどを、第1ベクトルとすることができる。但し、第1ベクトルは、これに限定されず、音声認識やドキュメント認識など種々のパターン認識で使用される特徴量などであってもよい。
生成部13は、取得部11により取得された第1ベクトルから、複数の第1部分ベクトルを生成する。具体的には、生成部13は、それぞれの第1部分ベクトルが、第1ベクトルを構成する複数の要素のうちの1以上の要素で構成される複数の第1部分ベクトルを生成する。そして生成部13は、生成した複数の第1部分ベクトルを記憶部21に記憶する。
特に本実施形態では、生成部13は、複数の第1部分ベクトルをN−1(Nは2以上の自然数)回生成するまで、第1写像部15により第2ベクトルが生成される毎に、当該第2ベクトルを第1ベクトルとして用いて複数の第1部分ベクトルを生成し、記憶部21に記憶する。第2ベクトルは、第1ベクトルの次元数を削減したベクトルであるが、詳細は後述する。
ここで、Nは、次元削減の階層数(回数)を表す。次元削減は、生成部13及び第1写像部15によりN−1回行われ、第2写像部17により1回行われるので、合計N回行われる。なお本実施形態では、N=2の場合を例に取り説明するが、これに限定されるものではなく、3以上の自然数であってもよい。
図2は、本実施形態のN=2の場合の次元削減の一例の説明図である。図2に示す例では、x(xin)が第1ベクトルを示し、y1jが第1部分ベクトルを示し、b1j及びW1jが第1写像で用いられるベクトル及び行列を示し、x2jが第2部分ベクトルを示し、xが第2ベクトルを示し、b及びWが第2写像で用いられるベクトル及び行列を示し、xoutが第3ベクトルを示す。
ここで、jは1〜第1部分ベクトル数までの自然数である。図2に示す例では、第1部分ベクトルの数が5なのでjは1〜5の自然数である。第2部分ベクトルは、第1部分ベクトルの次元数を削減したベクトルであり、第1写像は、第1部分ベクトルから第2部分ベクトルを生成するための写像であり、第3ベクトルは、第2ベクトルの次元数を削減したベクトルであり、第2写像は、第2ベクトルから第3ベクトルを生成するための写像であるが、詳細は後述する。
図2に示す例では、生成部13及び第1写像部15により次元削減が1回行われることで、第1ベクトルから第2ベクトルが生成され、第2写像部17により次元削減が1回行われることで、第2ベクトルから第3ベクトルが生成される。つまり、図2に示す例では、階層数2の次元削減が行われている。
なお生成部13は、所定の方式で、複数の要素それぞれを複数の第1部分ベクトルのうち1以上の第1部分ベクトルに選択し、複数の第1部分ベクトルを生成する。つまり、生成部13は、複数の要素を全て使用して、複数の第1部分ベクトルを生成する。実際には、複数の要素それぞれにインデックスが振られているので、生成部13は、インデックスを選択することで要素を選択する。
なお生成部13は、図3に示すように、第1ベクトル(x)を構成する複数の要素それぞれを、複数の第1部分ベクトル(yij)のうちのいずれか1つに選択してもよい。この場合、複数の第1部分ベクトルを構成する要素の総数は、第1ベクトルを構成する複数の要素の総数と等しくなる。
また生成部13は、図4に示すように、第1ベクトル(x)を構成する複数の要素それぞれを、複数の第1部分ベクトル(yij)のうちの1以上の第1部分ベクトルに選択してもよい。この場合、複数の第1部分ベクトルを構成する要素の総数は、第1ベクトルを構成する複数の要素の総数以上となる。つまり、生成部13は、複数の要素を全て使用すれば、同一の要素を重複して選択してもよい。
また、上述した所定の方式は、ランダム選択であってもよいし、誤差最小化などの評価規準に基づく機械学習を用いた選択であってもよいし、決め打ちでの選択であってもよい。
また、複数の第1部分ベクトルそれぞれにおいて、要素の総数は略同数であることが好ましいが、そうでなくてもよい。特に、決め打ちでの選択の場合、複数の第1部分ベクトルそれぞれにおける要素の総数は、一様であってもよいし、偏っていてもよい。
なお本実施形態では、N=2を想定しているので、図3及び図4に示す例においてi=1である。
第1写像部15は、生成部13により生成された第1部分ベクトルそれぞれを、当該第1部分ベクトルに対応する第1写像を用いて当該第1部分ベクトルを構成する要素の数を削減した第2部分ベクトルに変換し、変換後の複数の第2部分ベクトルを連結して、第1ベクトルの次元数を削減した第2ベクトルを生成し、記憶部21に記憶する。
特に本実施形態では、第1写像部15は、生成部13により複数の第1部分ベクトルが生成される毎に、当該複数の第1部分ベクトルから上述した手法で第2ベクトルを生成し、記憶部21に記憶する。なお、第1写像で用いられるパラメータである第1部分ベクトルy1j、ベクトルb1j及び行列W1jは、記憶部21に記憶されている。
ここで、第1写像で用いられるパラメータ(ベクトルb1j及び行列W1j)は、種々の機械学習手法を用いて決めることができる。例えば、砂時計型ニューラルネットワークの枠組みを用いて、入力ベクトルと出力ベクトルの誤差が小さくなるように学習することができる。または、良く知られたautoencoderネットワークのように1層ずつ学習していき、最後にN階層全体でパラメータチューニングを行ってもよい。または、特徴ベクトルとクラスラベルが組となったサンプルを用いた教師あり学習を用いてもよい。教師あり学習として、例えば、“Efficient Object Category Recognition Using Classemes,”L.Torresani et al.,ECCV2010の枠組みや、“Random Ensemble Metrics for Object Recognition,”T.Kozakaya et al.,ICCV2011の枠組みを用いることができる。ここで挙げた以外にも、種々の次元削減の学習手法の枠組みを適用することができる。
具体的に説明すると、第1写像部15は、生成部13により生成された第1部分ベクトルに対し、当該第1部分ベクトルに対応する第1写像用のベクトル及び行列を用いて第1写像を行うことで、第1部分ベクトルを第2部分ベクトルに変換する。ここで、第1写像は、図5及び(数1)に示すように、アフィン写像であることが好ましいが、これに限定されず、図6及び(数2)に示すように、アフィン写像と要素の変換gijを組み合わせたものであってもよいし、パターン認識分野で一般によく知られている、カーネル関数を用いたカーネル空間への写像であってもよい。
Figure 0006633267
Figure 0006633267
ここで、第1写像で用いられるWijは行列を示し、第1写像で用いられるbijはベクトルを示す。但し、bijは省略可能であり、この場合、(数1)は線形写像となり、(数2)は、線形写像と要素の変換とを組み合わせたものとなる。
また、要素の変換gijは、第1部分ベクトルを構成する各要素をそれぞれ独立に変換する。ここで、各要素に適用する変換には、線形関数や非線形関数など任意のスカラ関数を用いることができ、例えば、図7に示すような恒等写像、図8に示すような区分線形関数、図9に示すようなシグモイド関数、及び図10に示すようなtanh関数を用いることができる。
例えば、シグモイド関数は閾値処理のような動作をするため、量的な値を質的な値に変換するような効果がある。また、第1部分ベクトル(第1ベクトル)が画像特徴量である場合、量的な値(例えば、画像上のエッジの強度)よりも質的な値(例えば、エッジの有無)の方が、認識に有効な情報であることが多い。このため、変換gijを用いて要素を変換すること、即ち、変換gijを用いて第1部分ベクトルを第2部分ベクトルに変換することで、第2部分ベクトルをより認識に有効な情報とすることができる。
但し、任意のスカラ関数は、これらに限定されず、多項式関数、三角関数、指数関数、及び対数関数などを用いることもできる。
なお本実施形態では、N=2を想定しているので、図5、図6、数式(1)、及び数式(2)に示す例においてi=1である。
第2写像部17は、第1写像部15により生成された第2ベクトルに対し、当該第2ベクトルの次元数以下の空間への第2写像を適用し、当該第2ベクトルの次元数を当該次元数以下に削減した第3ベクトルを生成する。特に本実施形態では、第2写像部17は、第1写像部15により最終的に生成された第2ベクトルから第3ベクトルを生成する。なお、第2写像で用いられるパラメータである第2ベクトルx、ベクトルb及び行列Wは、記憶部21に記憶されている。ここで、第2写像で用いられるパラメータ(ベクトルb及び行列W)は、第1写像同様、種々の機械学習手法を用いて決めることができる。
具体的に説明すると、第2写像部17は、第1写像部15により生成された第2ベクトルに対し、第2写像用のベクトルb及び行列Wを用いて第2写像を行うことで、第2ベクトルを第3ベクトルに変換する。ここで、第2写像は、第1写像同様、アフィン写像であることが好ましいが、これに限定されず、アフィン写像と要素の変換gを組み合わせたものであってもよいし、カーネル関数を用いたカーネル空間への写像であってもよい。
出力部19は、第2写像部17により生成された第3ベクトルを出力する。
図11は、本実施形態の次元削減装置10で行われる次元削減処理の手順の流れの一例を示すフローチャートである。
まず、取得部11は、次元削減の対象である第1ベクトルxinを取得し(ステップS101)、xをxinで初期化するとともに、変数iを1で初期化する(ステップS103)。
続いて、生成部13は、変数jを0で初期化した後、更に、変数jをj+1で更新する(ステップS105、S107)。
続いて、生成部13は、関数pijを用いて第1ベクトルxから要素を選択して、第1部分ベクトルyijを生成する(ステップS109)。関数pijは、上述した所定の方式の一例である。
続いて、第1写像部15は、第1部分ベクトルyijに対し、第1写像fijを適用して、第2部分ベクトルxi+1,jを生成する(ステップS111)。
そして、j<Mの間(ステップS113でYes)、ステップS107〜S111が繰り返される。Mは、2以上の自然数であり、第1ベクトルから生成される第1部分ベクトルの数を表す。
続いて、j≧Mとなると(ステップS113でNo)、第1写像部15は、生成したM個の第2部分ベクトルxi+1,1〜第2部分ベクトルxi+1,Miを連結して、第2ベクトルxi+1を生成する(ステップS115)。
続いて、第1写像部15は、変数iをi+1で更新する(ステップS117)。
そして、i<Nの間(ステップS119でYes)、ステップS105〜S117が繰り返される。Nは、前述の通り、次元削減の階層数(回数)を表す。
続いて、i≧Nとなると(ステップS119でNo)、第2写像部17は、第1写像部15により最終的に生成された第2ベクトルxに対し、第2写像fを適用して、第3ベクトルxoutを生成する(ステップS121)。
続いて、出力部19は、第3ベクトルxoutを出力する(ステップS123)。
以上が本実施形態の次元削減装置10の構成及び動作である。以下では、次元削減装置10が低記憶容量かつ高速な次元削減を実現可能である点について説明する。
ここでは、例として、入力となる第1ベクトルの次元数を50,000、出力となる第3ベクトルの次元数を500とする。また、階層数N=2(階層数2の次元削減)とし、第1写像及び第2写像はアフィン写像とする。また、第1部分ベクトルの個数Mは50とし、要素選択における選択数は、重複選択を許さずに同数とする。つまり、第1部分ベクトル1つあたりの次元数は50,000/50=1,000となる。また、第1写像は、全てのjにおいて、500/M=10次元ベクトルに変換するものとする。従って、第2ベクトルxの次元数は500となり、第2写像は500次元から500次元へのアフィン写像ということになる。
まず、従来技術である次元削減前後における平均二乗誤差が最小となるように次元削減を行う主成分分析を用いた手法や非特許文献1の手法は、それぞれ、図12、図13に示すように、高次元の特徴ベクトルに対して行列演算を1回行うだけなので、階層数1の次元削減であると言える。なお、図12及び図13は、本実施形態との比較例を示す図である。このため、従来技術である主成分分析を用いた手法(図12参照)では、写像に用いるパラメータの数は、500+500×50,000≒25Mとなる。
これに対し本実施形態の手法では、第1写像に用いるパラメータの数は、50×(10+10×1,000)≒0.5M、第2写像に用いるパラメータの数は、500+500×500≒0.25Mとなり、合計0.75M個のパラメータを保持するだけでよい。
従って、本実施形態の手法では、従来技術に対して100分の3のメモリ量で済み、低記憶容量を実現可能であることが分かる。また本実施形態の手法では、発生する乗算の回数も同様に100分の3となり、かつ、本実施形態の手法の各アフィン写像は連続メモリに配置することができるため、従来技術に対して高速な次元削減を実現可能であることが分かる。
このように本実施形態では、写像に用いるパラメータの数を大幅に削減できるため、メモリ量及び乗算回数を削減でき、低記憶容量かつ高速な次元削減が実現可能である。
また本実施形態の手法では、生成部13が、第1ベクトルを構成する複数の要素を全て使用して、複数の第1部分ベクトルを生成するので、複数の第1部分ベクトルは、第1ベクトルが有する情報を全て含むこととなる。このため本実施形態の手法によれば、次元削減に伴い、認識に有効な情報が落ちてしまうことを防止できる。即ち、認識に有効な情報を残しつつ、次元削減することができる。
なお前述したとおり、本実施形態では、階層数2の次元削減を例に取り説明したが、次元削減の階層数は3以上であってもよい。例えば、階層数3の次元削減の場合、図14に示すように次元削減が行われる。
(ハードウェア構成)
図15は、本実施形態の次元削減装置10をコンピュータで実現した場合のハードウェア構成の一例を示すブロック図である。この場合、次元削減装置10は、図15に示すように、CPUなどの制御装置901と、ROMやRAMなどの記憶装置902と、HDDやSSDなどの外部記憶装置903と、ディスプレイなどの表示装置904と、マウスやキーボードなどの入力装置905と、通信I/F906とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
この場合、次元削減装置10で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供する。
また、この場合、次元削減装置10で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、この場合、次元削減装置10で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
また、この場合、次元削減装置10で実行されるプログラムを、ROM等に予め組み込んで提供してもよい。
この場合、次元削減装置10で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置901が外部記憶装置903からプログラムを記憶装置902上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
以上説明したとおり、上記実施形態によれば、低記憶容量かつ高速な次元削減を実現可能である。
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
10 次元削減装置
11 取得部
13 生成部
15 第1写像部
17 第2写像部
19 出力部
21 記憶部

Claims (10)

  1. 複数の要素で構成されるn次元(nは自然数)の第1ベクトルを取得する取得部と、
    前記複数の要素のうちの1以上の要素で構成される複数の第1部分ベクトルを生成する生成部と、
    前記第1部分ベクトルを、当該第1部分ベクトルに対応する第1写像を用いて、要素の数を削減した第2部分ベクトルに変換し、変換後の複数の前記第2部分ベクトルを連結して、m次元(mはnより小さい自然数)の第2ベクトルを生成する第1写像部と、
    前記第2ベクトルに前記m次元以下の空間への第2写像を適用し、第3ベクトルを生成する第2写像部と、
    前記第3ベクトルを出力する出力部と、を備え、
    前記第1写像は、アフィン写像を含む、
    次元削減装置。
  2. 前記生成部は、前記複数の第1部分ベクトルをN−1(Nは2以上の自然数)回生成するまで、前記第1写像部により前記第2ベクトルが生成される毎に、当該第2ベクトルを、mをnに置き換えた新たな前記第1ベクトルとして用いて前記複数の第1部分ベクトルを生成し、
    前記第1写像部は、前記複数の第1部分ベクトルが生成される毎に、当該複数の第1部分ベクトルから前記第2ベクトルを生成し、
    前記第2写像部は、前記第1写像部により最終的に生成された前記第2ベクトルから前記第3ベクトルを生成する請求項1に記載の次元削減装置。
  3. 前記生成部は、所定の方式で、前記複数の要素それぞれを前記複数の第1部分ベクトルのうち1以上の第1部分ベクトルに選択し、前記複数の第1部分ベクトルを生成する請求項1に記載の次元削減装置。
  4. 前記所定の方式はランダムである請求項3に記載の次元削減装置。
  5. 前記第1写像及び前記第2写像は、アフィン写像である請求項1に記載の次元削減装置。
  6. 前記第1写像は、アフィン写像及びスカラ関数での変換である請求項1に記載の次元削減装置。
  7. 前記スカラ関数は、非線形関数又は線形関数である請求項6に記載の次元削減装置。
  8. 前記非線形関数は、区分線形関数、シグモイド関数、及びtanh関数の少なくともいずれかである請求項7に記載の次元削減装置。
  9. コンピュータで実行される次元削減方法であって、
    取得部が、複数の要素で構成されるn次元(nは自然数)の第1ベクトルを取得する取得ステップと、
    生成部が、前記複数の要素のうちの1以上の要素で構成される複数の第1部分ベクトルを生成する生成ステップと、
    第1写像部が、前記第1部分ベクトルを、当該第1部分ベクトルに対応する第1写像を用いて、要素の数を削減した第2部分ベクトルに変換し、変換後の複数の前記第2部分ベクトルを連結して、m次元(mはnより小さい自然数)の第2ベクトルを生成する第1写像ステップと、
    第2写像部が、前記第2ベクトルに前記m次元以下の空間への第2写像を適用し、第3ベクトルを生成する第2写像ステップと、
    出力部が、前記第3ベクトルを出力する出力ステップと、を含み、
    前記第1写像は、アフィン写像を含む、
    次元削減方法。
  10. 複数の要素で構成されるn次元(nは自然数)の第1ベクトルを取得する取得ステップと、
    前記複数の要素のうちの1以上の要素で構成される複数の第1部分ベクトルを生成する生成ステップと、
    前記第1部分ベクトルを、当該第1部分ベクトルに対応する第1写像を用いて、要素の数を削減した第2部分ベクトルに変換し、変換後の複数の前記第2部分ベクトルを連結して、m次元(mはnより小さい自然数)の第2ベクトルを生成する第1写像ステップと、
    前記第2ベクトルに前記m次元以下の空間への第2写像を適用し、第3ベクトルを生成する第2写像ステップと、
    前記第3ベクトルを出力する出力ステップと、をコンピュータに実行させ、
    前記第1写像は、アフィン写像を含む、
    プログラム。
JP2014058628A 2014-03-20 2014-03-20 次元削減装置、方法及びプログラム Active JP6633267B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014058628A JP6633267B2 (ja) 2014-03-20 2014-03-20 次元削減装置、方法及びプログラム
US14/644,396 US9704065B2 (en) 2014-03-20 2015-03-11 Dimension reduction apparatus, dimension reduction method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014058628A JP6633267B2 (ja) 2014-03-20 2014-03-20 次元削減装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015184775A JP2015184775A (ja) 2015-10-22
JP6633267B2 true JP6633267B2 (ja) 2020-01-22

Family

ID=54142270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014058628A Active JP6633267B2 (ja) 2014-03-20 2014-03-20 次元削減装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US9704065B2 (ja)
JP (1) JP6633267B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2763398B2 (ja) * 1990-11-20 1998-06-11 キヤノン株式会社 パターン認識装置
US5734796A (en) * 1995-09-29 1998-03-31 Ai Ware, Inc. Self-organization of pattern data with dimension reduction through learning of non-linear variance-constrained mapping
JP4292837B2 (ja) 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
US7583845B2 (en) * 2006-02-15 2009-09-01 Panasonic Corporation Associative vector storage system supporting fast similarity search based on self-similarity feature extractions across multiple transformed domains
JP4912028B2 (ja) 2006-05-01 2012-04-04 日本電信電話株式会社 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム
JP5207870B2 (ja) * 2008-08-05 2013-06-12 日立コンピュータ機器株式会社 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
US8254699B1 (en) 2009-02-02 2012-08-28 Google Inc. Automatic large scale video object recognition
JP2013097583A (ja) * 2011-11-01 2013-05-20 Nec Corp 特徴量生成装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2015184775A (ja) 2015-10-22
US20150269123A1 (en) 2015-09-24
US9704065B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
US11836610B2 (en) Concurrent training of functional subnetworks of a neural network
JP6647632B2 (ja) 機械学習用訓練データの生成
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
JP6393058B2 (ja) 情報処理装置、情報処理方法
US11886990B2 (en) Classification device, classification method, and computer program product
CN108734749A (zh) 图像的视觉风格变换
US10181086B2 (en) Image analysis method for extracting feature of image and apparatus therefor
JP6468356B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
US10936938B2 (en) Method for visualizing neural network models
CN112640037A (zh) 学习装置、推理装置、学习模型的生成方法及推理方法
KR20210034462A (ko) 픽셀 별 주석을 생성하는 생성적 적대 신경망(gan)을 학습시키는 방법
JP2019040335A (ja) 教師データを生成する方法、学習済みモデルを生成する方法、学習済みモデル、コンピュータおよびプログラム
JP5311899B2 (ja) パターン検出器の学習装置、学習方法及びプログラム
JP2021086462A (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
JP6633267B2 (ja) 次元削減装置、方法及びプログラム
Lima et al. Automatic design of deep neural networks applied to image segmentation problems
KR102105951B1 (ko) 추론을 위한 제한된 볼츠만 머신 구축 방법 및 추론을 위한 제한된 볼츠만 머신을 탑재한 컴퓨터 장치
US20190156182A1 (en) Data inference apparatus, data inference method and non-transitory computer readable medium
JP5396977B2 (ja) データ処理装置、データ処理方法およびプログラム
JP2020003879A (ja) 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム
US11158059B1 (en) Image reconstruction based on edge loss
WO2020040007A1 (ja) 学習装置、学習方法及び学習プログラム
JP6842436B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111539490B (zh) 一种业务模型训练方法和装置
WO2022168208A1 (ja) 情報処理装置、変換パターンの決定方法、名寄せ方法、学習方法、変換パターン決定プログラム、名寄せプログラム、および学習プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180718

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191212

R151 Written notification of patent or utility model registration

Ref document number: 6633267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151