JP3889663B2 - 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 - Google Patents
分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3889663B2 JP3889663B2 JP2002136536A JP2002136536A JP3889663B2 JP 3889663 B2 JP3889663 B2 JP 3889663B2 JP 2002136536 A JP2002136536 A JP 2002136536A JP 2002136536 A JP2002136536 A JP 2002136536A JP 3889663 B2 JP3889663 B2 JP 3889663B2
- Authority
- JP
- Japan
- Prior art keywords
- input vector
- classification
- value
- polynomial
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定する分類方法及びその装置と、その分類方法の実現に用いられる分類プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
自然言語処理システムや画像処理システムや音声認識システムなどにおいて、あらかじめ正解の分かっている学習用データからデータの分類の仕方を自動的に学習する教師あり学習では、サポート・ベクトル・マシン（V.N.Vapnik:The Nature of Statistical Learning Theory,Springer,1995) などのカーネル関数を用いた学習手法が、決定木や決定リストなどの他の学習手法に比べて高性能であることが知られている。
【０００３】
このカーネル関数としては内積を用いたものが主流である。しかし、内積に基づくカーネル関数を用いた場合、分類にかかる時間が従来手法に比べてきわめて遅いことが知られている。
【０００４】
これは、ひとつのデータの分類に、数千回から数十万回という膨大な回数の内積計算が必要なためである。
【０００５】
そこで、０でない成分同士だけを記録し比較することによって、内積計算を高速にするなどの方法が取られている。それでも、従来手法に比べて実行速度は１桁〜３桁程度遅い。
【０００６】
【発明が解決しようとする課題】
サポート・ベクトル・マシンなどのカーネル関数に基づく手法は、従来手法と比べて処理時間が遅いため、大量のデータを短時間で処理しなければならないような分野ではほとんど利用されていないのが実情である。
【０００７】
このような分野では、人間が分類プログラムを作成したり、決定木などのような精度は低いが実行の速い従来の学習手法が用いられている。
【０００８】
しかしながら、サポート・ベクトル・マシンなどのカーネル関数に基づく手法は高性能であり、大量のデータを短時間で処理しなければならないような分野でも用いることができるようにしていくことが望まれている。
【０００９】
本発明はかかる事情に鑑みてなされたものであって、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定するときにあって、その判定に要する計算時間を大幅に削減できるようにする新たな分類技術の提供を目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するために、本発明の分類装置は、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定するときにあって、▲１▼多項式を入力ベクトルの成分ごとに展開するときの各成分の係数値を記憶する記憶手段と、▲２▼多項式を入力ベクトルの成分ごとに展開したときの各成分の係数値を算出して、記憶手段に保存する算出手段と、▲３▼記憶手段を検索することで、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得する取得手段と、▲４▼取得手段の取得した係数値を使って多項式の値を算出することで、入力ベクトルの属するクラスを判定する判定手段とを備えるように構成する。
【００１１】
そして、この構成を採るときにあって、算出手段は、係数値を算出して記憶手段に保存する処理を行うときにあって、算出した係数値の大きさを評価することで不要な成分を削除する削除手段を備えて、その削除手段により不要な成分の削除された係数値を記憶手段に保存するように処理することがある。
【００１２】
そして、この構成を採るときにあって、算出手段の算出した係数値の大きさを評価することで、不要な成分を削除する削除手段と、不要な成分の削除された学習用データを使って多項式を再学習する再学習手段とを備えることがある。
【００１３】
以上の各処理手段により実現される本発明の分類方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどような適当な記録媒体に記録して提供することができる。
【００１４】
このように構成される本発明の分類装置では、学習用データにより得られた多項式ｇ（ｘ）を入力ベクトルの成分ごとに展開するときの各成分の係数値を算出して、記憶手段に保存した後、分類対象の入力ベクトルが与えられると、記憶手段を検索することで、その入力ベクトルの持つ非ゼロ値成分の指す係数値を取得して、その取得した係数値を使って多項式ｇ（ｘ）の値を算出することで、入力ベクトルの属するクラスを判定する。
【００１５】
このとき、記憶手段として大規模なものを用意しなくても済むようにするために、算出した係数値の大きさを評価することで不要な成分を削除し、その不要な成分を削除した係数値を記憶手段に保存するように処理することがある。
【００１６】
そして、分類精度の向上や処理速度の向上を図るために、算出した係数値の大きさを評価することで、不要な成分を削除し、その不要な成分の削除された学習用データを使って多項式を再学習するように処理することがある。
【００１７】
このようにして、本発明では、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出する場合に、従来技術に従うと膨大な数の内積計算が必要になるのに対して、入力ベクトルの持つ非ゼロ値成分の個数がそれほど多くないことを考慮して、あらかじめ各成分の係数値を算出して保存しておいて、その中から、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得することでわずかな積和計算や加算により多項式の値を算出するように処理することから、入力ベクトルの属するクラスを判定するときにあって、その判定に要する計算時間を大幅に削減できるようになる。
【００１８】
そして、本発明では、この構成を採るときにあって、係数の小さい属性を削除することで、メモリを削減したり、分類精度を向上させたり、処理速度をさらに向上させることができるようになる。
【００１９】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００２０】
図１に本発明の一実施形態例を図示する。
【００２１】
図中、１は学習用データファイル、２は分類データファイル、３は分類結果ファイル、１０は学習手段、１１は算出手段、１２は削除手段、１３は記憶手段、１４は再学習手段、１５は判定手段、１６は取得手段である。
【００２２】
この学習用データファイル１は、学習用のデータを格納する。分類データファイル２は、分類対象となる入力ベクトルを格納する。分類結果ファイル３は、分類結果を格納する。
【００２３】
学習手段１０は、学習用データファイル１に格納される学習用データを使って、入力ベクトルと定数ベクトルとの内積の関数となる多項式ｇ（ｘ）を学習する。
【００２４】
算出手段１１は、学習手段１０の学習した多項式ｇ（ｘ）を入力ベクトルの成分（属性）ごとに展開するときの各成分の係数値を算出して、記憶手段１３に保存する。
【００２５】
削除手段１２は、算出手段１１の算出した係数値の大きさを評価することで、不要な成分を削除する。この削除手段１２が設けられるときには、算出手段１１は、不要な成分の削除された係数値を記憶手段１３に保存することになる。
【００２６】
再学習手段１４は、削除手段１２により不要な成分の削除された学習用データを使って多項式を再学習することで、多項式ｇ（ｘ）を再学習する。
【００２７】
判定手段１５は、分類データファイル２に格納される入力ベクトルの属するクラスを判定して、分類結果ファイル３に格納する。
【００２８】
取得手段１６は、例えば判定手段１５に備えられて、記憶手段１３を検索することで、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得する。
【００２９】
サポート・ベクトル・マシンなど、カーネル関数を用いて分類する場合、以下の決定関数（上述の多項式）を計算することによってデータが分類される。
【００３０】
ｇ（ｘ）＝Σωi Ｋ（ｘ，ｚi ）＋ｂ
但し、Σはｉ＝１〜ｍの総和
ここで、ｘは入力ベクトルであり、ｇ（ｘ）の符号によりｘが分類される。ｚi は定数ベクトルであり、サポート・ベクトル・マシンの場合にはサポート・ベクトルと呼ばれる訓練データの代表である。ｍは定数ベクトルｚi の数である。ωi は定数である。
【００３１】
但し、サポート・ベクトル以外の定数ベクトルを使う方法も提案されており、必ずしもｚi がサポート・ベクトルである必要はないし、これらの定数ベクトルがサポート・ベクトル・マシンの学習手法で求められる必要もなく、要するに決定関数が上記の形式をしていればよい。
【００３２】
現実のデータを精度よく分類しようとすると、定数ベクトルの数ｍが数千から数十万になることは珍しくない。すると、入力ベクトルｘをこの式に従って分類するためには、数千から数十万の内積計算を実行しなければならない。これが計算時間のネックとなっている。
【００３３】
しかし、多くの応用分野において、各入力ベクトルｘを特徴づける属性（成分）は、実際には数十個程度におさまることが多い。ベクトル表現をする都合上、次元が数万〜数十万次元になるだけであり、各入力ベクトルｘは、実質的には数個から数十個の属性の値で表されることが多い。
【００３４】
たとえば、文中の英単語をいくつかのクラス（たとえば品詞）に分類するという課題を考える。英単語は「report」のようにまったく同じ形でも、前後の文脈によって動詞になったり名詞になったりする。
【００３５】
単語は数万〜数十万あるので、単語ごとに数値軸を設けてベクトル表現すると、数万〜数十万次元になってしまう。品詞分類で前後の文脈を考慮するため、分類したい単語の直前、直後の単語もその単語の属性として考慮すると、ベクトルの次元数はこの３倍になる。
【００３６】
見かけ上は次元が多いが、実際に利用している属性は、３単語、つまり３つにすぎない。つまり、ｇ（ｘ）は３つの属性の関数にすぎず、この点に着目すると、処理速度を大幅に向上させることができる。
【００３７】
以下では、２次の多項式カーネルＫ（ｘ，ｚi ）
Ｋ（ｘ，ｚi ）＝（ｃ0 ＋ｃ1 ｘ・ｚi ）2
但し、ｃ0,ｃ1 は定数
を考える。
【００３８】
図１に示した算出手段１１は、この多項式カーネルを成分ごとに展開して各成分（属性）の係数を求める処理を行う。
【００３９】
入力ベクトルｘを、
ｘ＝（ｘ〔１〕, ．．．．，ｘ〔Ｄ〕）
であるとし、定数ベクトルｚi を、
ｚi ＝（ｚi 〔１］，．．．．，ｚi ［Ｄ］）
であるとすると、この多項式カーネルは、
のように展開できる。
【００４０】
ここで、
ｘ・ｚi ＝Σｘ〔ｈ〕ｚi 〔ｈ］
但し、Σはｈ＝１〜Ｄの総和
を考慮すると、ｇ（ｘ）は、
【００４１】
【数１】
【００４２】
のように変形できる。
【００４３】
但し、Ｗ0 , Ｗ1 〔ｈ〕, Ｗ2 〔ｈ〕, Ｗ3 〔ｈ，ｋ〕は、
【００４４】
【数２】
【００４５】
を表している。
【００４６】
この式を用いれば、ゼロでないｘ［ｈ］の数が数個から数十個程度のとき、ゼロでないｘ［ｈ］ｘ［ｋ］の数も数個からせいぜい数百個程度であり、その係数との積和を計算するだけで判定ができるため、数千から数十万の内積計算が必要となるもとの計算方法に比べて、大幅な処理時間の圧縮が望める。
【００４７】
さらに、すべてのベクトルの成分が０と１しか取らない場合には、ｘ［ｈ］ｘ［ｋ］、ｚi ［ｈ］ｚi ［ｋ］を計算する必要もないので、ｇ（ｘ）は、
【００４８】
【数３】
【００４９】
のように変形できる。
【００５０】
但し、Ｗ1 ' 〔ｈ〕, Ｗ3 〔ｈ，ｋ〕は、
【００５１】
【数４】
【００５２】
を表している。
【００５３】
つまり、数個からせいぜい数百個の定数を足して行くだけで決定関数ｇ（ｘ）を計算できるようになる。
【００５４】
ここで、ほとんどがゼロのベクトルをコンパクトに表すために、
ｚi ＝（０.1，０，０.4，０，０，０，０.2）
を
ｚi ＝｛１：０.1，３：０.4，７：０.2｝
と表したり、
ｚi ＝（１，０，１，０，０，０，１）
を
ｚi ＝｛１，３，７｝
と表すというように、非ゼロ要素の成分番号と値とのペアを使ってベクトルを表現するようにしている。
【００５５】
算出手段１１の処理について具体的に説明するならば、算出手段１１は、すべてのベクトルの成分が０と１しか取らない場合には、図２の係数計算アルゴリズムに従って、すべてのｚi を調べて、上述の〔数４〕式に従って、Ｗ1 ' 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたときに、対応する係数が直ちに取り出せるようにと、図１に示す記憶手段１３に保存しておく。
【００５６】
ここで、図２に示す係数計算アルゴリズムでは、ｃ0,ｃ1 がともに１であることを仮定しており、ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍することになる。
【００５７】
この記憶手段１３に記憶される係数を受けて、図１に示した判定手段１５は、入力ベクトルｘが与えられる度に、必要な係数を記憶手段１３から取り出してｇ（ｘ）を計算する。
【００５８】
例えば、入力ベクトルｘが「ｘ＝｛１，３，８｝」の場合には、図３及び図４に示すように、
によりｇ（ｘ）が求められることになるので、判定手段１５は、この式に含まれる７個の係数を記憶手段１３から読み出して、その総和を算出することで、ｇ（ｘ）を直ちに計算することができるようになる。
【００５９】
一方、算出手段１１は、非ゼロ要素に１以外の値がある場合には、図５の係数計算アルゴリズムに従って、すべてのｚi を調べて、上述の〔数２〕式に従って、Ｗ0 とＷ1 〔ｈ〕とＷ2 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたときに、対応する係数が直ちに取り出せるようにと記憶手段１３に保存しておく。
【００６０】
ここで、図５に示す係数計算アルゴリズムでは、ｃ0,ｃ1 がともに１であることを仮定しており、ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍することになる。
【００６１】
この記憶手段１３に記憶される係数を受けて、判定手段１５は、入力ベクトルｘが与えられる度に、必要な係数を記憶手段１３から取り出してｇ（ｘ）を計算する。
【００６２】
例えば、入力ベクトルｘが「ｘ＝｛１：０.3，３：０.5，８：−０.2｝」の場合には、
によりｇ（ｘ）が求められることになるので、判定手段１５は、この式に含まれる１０個の係数を記憶手段１３から読み出し、「ｘ〔１〕＝０.3，ｘ〔３〕＝０.5，ｘ〔８〕＝−０.2」として、この式の計算を行うことで、ｇ（ｘ）を直ちに計算することができるようになる。
【００６３】
図６に、本実施形態例の処理フローを図示する。図中の左側に示す処理フローが算出手段１１の実行する処理を示しており、図中の右側に示す処理フローが判定手段１５の実行する処理を示している。
【００６４】
ここで、この処理フローでは、すべてのベクトルの成分が０と１しか取らないことを想定している。
【００６５】
この処理フローに示すように、算出手段１１は、分類処理に入る前の前処理要求が発行されると、図４中の左側の処理フローに示すように、すべてのｚi を調べて、上述の〔数４〕式に従って、Ｗ1 ' 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたときに、対応する係数が直ちに取り出せるようにと記憶手段１３に保存する処理を行う。
【００６６】
一方、判定手段１５は、分類要求が発行されると、図４中の右側の処理フローに示すように、先ず最初に、ステップ１０で、分類要求の入力ベクトルを受け取り、続くステップ１１で、記憶手段１３から、入力ベクトルの持つ非ゼロ要素の指す係数を取り出す。
【００６７】
続いて、ステップ１２で、その取り出した係数に従って決定関数ｇ（ｘ）を計算し、続くステップ１３で、その計算した決定関数ｇ（ｘ）の値の符号に従って、入力ベクトルの属するクラスを決定して、分類結果ファイル３にその決定結果を格納して、処理を終了する。
【００６８】
このようにして、本実施形態例に従う場合、分類要求の入力ベクトルが与えられると、数個からせいぜい数百個の定数を足して行くだけで決定関数ｇ（ｘ）を計算できるようになることから、きわめて高速に入力ベクトルの属するクラスを決定できるようになる。
【００６９】
以上に説明した例では、２次の多項式カーネルを想定したが、３次以上の多項式カーネルの場合にも、同様に式を成分ごとに展開して各属性および属性の積に対する係数を求めることができることは言うまでもない。
【００７０】
上述したように、算出手段１１は、定数ベクトルｚi と定数ωi と定数ｂとから各属性の係数Ｗi を計算する。しかし、この方法では、内積を含む式を成分ごとに展開するため、係数の表が膨大な数にのぼり、大規模な記憶装置（記憶手段１３）を必要とするという問題が発生する。
【００７１】
図１に示す削除手段１２は、この問題を緩和するために用意されるものである。
【００７２】
すなわち、削除手段１２は、すべてのベクトルの成分が０と１しか取らない場合で説明するならば、各属性ｈについて、ｘ［ｈ］にかかわる係数Ｗ1 ' 〔ｈ〕、Ｗ3 ［ｈ，ｋ］、Ｗ3 ［ｋ，ｈ］の大きさを評価する関数Ｅ（ｈ）を用いて、この属性を採用するのか削除してよいのかを判断する。たとえば、この関数Ｅ（ｈ）として、Ｗ1 ' ［ｈ］、Ｗ3 ［ｈ，ｋ］、Ｗ3 ［ｋ，ｈ］の絶対値の最大値や、絶対値の和、あるいは、二乗和などを利用することができる。
【００７３】
そして、削除手段１２は、Ｅ（ｈ）がある閾値θ未満の属性をすべてｇ（ｘ）から削除した場合に、どの程度成績が下がるのかを調べる。たとえば、学習用データに対する成績が低下しない範囲でθをできる限り大きくすることで、沢山の属性を削除することが可能である。
【００７４】
このようにして、削除手段１２を備えるようにすると、算出手段１１の算出した係数の中に含まれる不要な係数を削除することができるようになることで、記憶手段１３の規模を小さなものにできるようになる。
【００７５】
図１に示した再学習手段１４は、削除手段１２が不要な属性を削除したあとに、選ばれた属性だけを用いてもう一度決定関数ｇ（ｘ）を学習するのに用いられる。
【００７６】
再学習に用いる装置は、最初の学習に用いた装置と同じでも、違っていてもかまわない。たとえば、最初の学習では２次のカーネルを用い、再学習ではガウシアン・カーネルを用いてもよいのである。
【００７７】
余分な属性が削除されることにより、最初の属性での学習結果を上回る成績が上がることがある。また、すべての属性を用いた場合と比べて、定数ベクトルの数が少なくてすむことが多い。特にガウシアン・カーネルや高次の多項式などのように、成分による展開が困難なカーネルの場合、もとの定義式にしたがって計算するしかないが、この場合、定数ベクトルの数が減れば、それに比例して計算時間が短縮されるため、とくに有効である。
【００７８】
【実施例】
図７に、本発明の一実施例を図示する。
【００７９】
図中、１は図１に示した学習用データファイル、２は図１に示した分類データファイル、３は図１に示した分類結果ファイル、１００は学習装置、２００は係数決定装置、３００は不要属性削除装置、４００は記憶装置、５００は再学習装置、６００は判定処理装置である。
【００８０】
学習用データファイル１に格納される学習用データには、学習に用いるデータの特徴ベクトルｘi と、その正しい分類ｙi ＝±１とが与えられている。この学習用データをサポート・ベクトル・マシンなどの学習装置１００に与えることにより、まず、オリジナルの決定関数ｇ（ｘ）が得られる。
【００８１】
学習装置１００に、たとえば２次のカーネルを用いると、係数決定装置２００は、決定関数ｇ（ｘ）をｘの成分で展開したときの係数Ｗi を出力する。この時点で実行に必要なメモリなどに問題がなければ、判定処理装置６００は、展開して得られた係数をそのまま用いることになる。
【００８２】
一方、メモリ不足などで記憶装置４００に係数をすべて保存しておくことができない場合などには、不要属性削除装置３００により、判定に与える影響の少ない属性を削除していく。このとき、展開した決定関数ｇ（ｘ）の各属性（成分）ｘ［ｈ］は一般に複数の項に含まれるため、それらすべての係数を考慮して判断しなければならない。
【００８３】
ひとつの方法として、それらの係数の絶対値の最大値を基準とする方法を用いる。これ以外にも、たとえば、係数の絶対値の和や平方和など、いくつもの評価関数を利用することが考えられる。
【００８４】
いずれにせよ、その評価関数の値が小さい属性から順に削除していって、学習用データに対する判定結果が変化しない限り属性を削除していくことにより、結果に影響を与えない単純化が可能になる。
【００８５】
実行環境次第では、成績が若干低下しても、メモリを削減する必要がある場合もあるので、学習用データに対する成績とメモリ使用量との二つの評価基準を合わせて評価し、両方の要求を適度に満たすところで打ち切ってもよい。
【００８６】
実際には、少しずつ削っていく方法は効率が悪いので、２分法など、適当な高速探索方法でどれくらいの値までの属性を捨てるかを決定することが可能である。
【００８７】
これで成績に影響の少ない属性を削除し、使用メモリ量を削減することができるようになる。使用メモリ量の削減に加えて、計算に必要な属性の数が減ることで、処理速度がさらに向上する。この段階で、判定処理装置６００に処理を渡してもよい。
【００８８】
以上により、不要な属性が分かったので、これで再学習装置５００により再学習を行なうこともできる。サポート・ベクトル・マシンは、不要な属性がかなり多い場合でも従来手法に比べれば良好な成績を納めているが、データ次第では、余分な属性のせいで成績が下がっている場合がある。そのようなケースでは、有効な属性だけに絞って再学習することによって、成績が向上する場合がある。
【００８９】
その場合は、再学習の結果を判定処理装置６００で利用する方が好ましい。再学習を再度２次のカーネルで行なった場合などには、係数決定以降の処理をもう一度行なうことができる。
【００９０】
再学習にガウシアン・カーネルのように展開の困難なカーネル関数を用いても、すべての属性を用いた場合に比べて定数ベクトルの数ｍが減る効果がある。属性の削減と再学習とを交互に繰り返すことにより、場合によっては大幅に属性や定数ベクトルの数、処理時間を減らすことができる。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、自然言語処理システム、画像処理システム、音声認識システムなどにおいて、単語列、画像、音声などを複数のクラスに分類する場合に、実行時に何十万もの内積計算を行なうのではなく、ごくわずかの積和計算あるいは単なる足し算で等価な計算を行なうことができるようになる。
【００９２】
さらに、係数の小さい属性を削除することで、メモリを削減したり、分類精度を向上させたり、処理速度をさらに向上させることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】係数計算アルゴリズムの説明図である。
【図３】決定関数の算出処理の説明図である。
【図４】決定関数の算出処理の説明図である。
【図５】係数計算アルゴリズムの説明図である。
【図６】本発明の実行する処理フローの一実施形態例である。
【図７】本発明の一実施例である。
【符号の説明】
１ 学習用データファイル
２ 分類データファイル
３ 分類結果ファイル
１０ 学習手段
１１ 算出手段
１２ 削除手段
１３ 記憶手段
１４ 再学習手段
１５ 判定手段
１６ 取得手段
【発明の属する技術分野】
本発明は、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定する分類方法及びその装置と、その分類方法の実現に用いられる分類プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
自然言語処理システムや画像処理システムや音声認識システムなどにおいて、あらかじめ正解の分かっている学習用データからデータの分類の仕方を自動的に学習する教師あり学習では、サポート・ベクトル・マシン（V.N.Vapnik:The Nature of Statistical Learning Theory,Springer,1995) などのカーネル関数を用いた学習手法が、決定木や決定リストなどの他の学習手法に比べて高性能であることが知られている。
【０００３】
このカーネル関数としては内積を用いたものが主流である。しかし、内積に基づくカーネル関数を用いた場合、分類にかかる時間が従来手法に比べてきわめて遅いことが知られている。
【０００４】
これは、ひとつのデータの分類に、数千回から数十万回という膨大な回数の内積計算が必要なためである。
【０００５】
そこで、０でない成分同士だけを記録し比較することによって、内積計算を高速にするなどの方法が取られている。それでも、従来手法に比べて実行速度は１桁〜３桁程度遅い。
【０００６】
【発明が解決しようとする課題】
サポート・ベクトル・マシンなどのカーネル関数に基づく手法は、従来手法と比べて処理時間が遅いため、大量のデータを短時間で処理しなければならないような分野ではほとんど利用されていないのが実情である。
【０００７】
このような分野では、人間が分類プログラムを作成したり、決定木などのような精度は低いが実行の速い従来の学習手法が用いられている。
【０００８】
しかしながら、サポート・ベクトル・マシンなどのカーネル関数に基づく手法は高性能であり、大量のデータを短時間で処理しなければならないような分野でも用いることができるようにしていくことが望まれている。
【０００９】
本発明はかかる事情に鑑みてなされたものであって、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定するときにあって、その判定に要する計算時間を大幅に削減できるようにする新たな分類技術の提供を目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するために、本発明の分類装置は、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定するときにあって、▲１▼多項式を入力ベクトルの成分ごとに展開するときの各成分の係数値を記憶する記憶手段と、▲２▼多項式を入力ベクトルの成分ごとに展開したときの各成分の係数値を算出して、記憶手段に保存する算出手段と、▲３▼記憶手段を検索することで、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得する取得手段と、▲４▼取得手段の取得した係数値を使って多項式の値を算出することで、入力ベクトルの属するクラスを判定する判定手段とを備えるように構成する。
【００１１】
そして、この構成を採るときにあって、算出手段は、係数値を算出して記憶手段に保存する処理を行うときにあって、算出した係数値の大きさを評価することで不要な成分を削除する削除手段を備えて、その削除手段により不要な成分の削除された係数値を記憶手段に保存するように処理することがある。
【００１２】
そして、この構成を採るときにあって、算出手段の算出した係数値の大きさを評価することで、不要な成分を削除する削除手段と、不要な成分の削除された学習用データを使って多項式を再学習する再学習手段とを備えることがある。
【００１３】
以上の各処理手段により実現される本発明の分類方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどような適当な記録媒体に記録して提供することができる。
【００１４】
このように構成される本発明の分類装置では、学習用データにより得られた多項式ｇ（ｘ）を入力ベクトルの成分ごとに展開するときの各成分の係数値を算出して、記憶手段に保存した後、分類対象の入力ベクトルが与えられると、記憶手段を検索することで、その入力ベクトルの持つ非ゼロ値成分の指す係数値を取得して、その取得した係数値を使って多項式ｇ（ｘ）の値を算出することで、入力ベクトルの属するクラスを判定する。
【００１５】
このとき、記憶手段として大規模なものを用意しなくても済むようにするために、算出した係数値の大きさを評価することで不要な成分を削除し、その不要な成分を削除した係数値を記憶手段に保存するように処理することがある。
【００１６】
そして、分類精度の向上や処理速度の向上を図るために、算出した係数値の大きさを評価することで、不要な成分を削除し、その不要な成分の削除された学習用データを使って多項式を再学習するように処理することがある。
【００１７】
このようにして、本発明では、入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出する場合に、従来技術に従うと膨大な数の内積計算が必要になるのに対して、入力ベクトルの持つ非ゼロ値成分の個数がそれほど多くないことを考慮して、あらかじめ各成分の係数値を算出して保存しておいて、その中から、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得することでわずかな積和計算や加算により多項式の値を算出するように処理することから、入力ベクトルの属するクラスを判定するときにあって、その判定に要する計算時間を大幅に削減できるようになる。
【００１８】
そして、本発明では、この構成を採るときにあって、係数の小さい属性を削除することで、メモリを削減したり、分類精度を向上させたり、処理速度をさらに向上させることができるようになる。
【００１９】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００２０】
図１に本発明の一実施形態例を図示する。
【００２１】
図中、１は学習用データファイル、２は分類データファイル、３は分類結果ファイル、１０は学習手段、１１は算出手段、１２は削除手段、１３は記憶手段、１４は再学習手段、１５は判定手段、１６は取得手段である。
【００２２】
この学習用データファイル１は、学習用のデータを格納する。分類データファイル２は、分類対象となる入力ベクトルを格納する。分類結果ファイル３は、分類結果を格納する。
【００２３】
学習手段１０は、学習用データファイル１に格納される学習用データを使って、入力ベクトルと定数ベクトルとの内積の関数となる多項式ｇ（ｘ）を学習する。
【００２４】
算出手段１１は、学習手段１０の学習した多項式ｇ（ｘ）を入力ベクトルの成分（属性）ごとに展開するときの各成分の係数値を算出して、記憶手段１３に保存する。
【００２５】
削除手段１２は、算出手段１１の算出した係数値の大きさを評価することで、不要な成分を削除する。この削除手段１２が設けられるときには、算出手段１１は、不要な成分の削除された係数値を記憶手段１３に保存することになる。
【００２６】
再学習手段１４は、削除手段１２により不要な成分の削除された学習用データを使って多項式を再学習することで、多項式ｇ（ｘ）を再学習する。
【００２７】
判定手段１５は、分類データファイル２に格納される入力ベクトルの属するクラスを判定して、分類結果ファイル３に格納する。
【００２８】
取得手段１６は、例えば判定手段１５に備えられて、記憶手段１３を検索することで、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得する。
【００２９】
サポート・ベクトル・マシンなど、カーネル関数を用いて分類する場合、以下の決定関数（上述の多項式）を計算することによってデータが分類される。
【００３０】
ｇ（ｘ）＝Σωi Ｋ（ｘ，ｚi ）＋ｂ
但し、Σはｉ＝１〜ｍの総和
ここで、ｘは入力ベクトルであり、ｇ（ｘ）の符号によりｘが分類される。ｚi は定数ベクトルであり、サポート・ベクトル・マシンの場合にはサポート・ベクトルと呼ばれる訓練データの代表である。ｍは定数ベクトルｚi の数である。ωi は定数である。
【００３１】
但し、サポート・ベクトル以外の定数ベクトルを使う方法も提案されており、必ずしもｚi がサポート・ベクトルである必要はないし、これらの定数ベクトルがサポート・ベクトル・マシンの学習手法で求められる必要もなく、要するに決定関数が上記の形式をしていればよい。
【００３２】
現実のデータを精度よく分類しようとすると、定数ベクトルの数ｍが数千から数十万になることは珍しくない。すると、入力ベクトルｘをこの式に従って分類するためには、数千から数十万の内積計算を実行しなければならない。これが計算時間のネックとなっている。
【００３３】
しかし、多くの応用分野において、各入力ベクトルｘを特徴づける属性（成分）は、実際には数十個程度におさまることが多い。ベクトル表現をする都合上、次元が数万〜数十万次元になるだけであり、各入力ベクトルｘは、実質的には数個から数十個の属性の値で表されることが多い。
【００３４】
たとえば、文中の英単語をいくつかのクラス（たとえば品詞）に分類するという課題を考える。英単語は「report」のようにまったく同じ形でも、前後の文脈によって動詞になったり名詞になったりする。
【００３５】
単語は数万〜数十万あるので、単語ごとに数値軸を設けてベクトル表現すると、数万〜数十万次元になってしまう。品詞分類で前後の文脈を考慮するため、分類したい単語の直前、直後の単語もその単語の属性として考慮すると、ベクトルの次元数はこの３倍になる。
【００３６】
見かけ上は次元が多いが、実際に利用している属性は、３単語、つまり３つにすぎない。つまり、ｇ（ｘ）は３つの属性の関数にすぎず、この点に着目すると、処理速度を大幅に向上させることができる。
【００３７】
以下では、２次の多項式カーネルＫ（ｘ，ｚi ）
Ｋ（ｘ，ｚi ）＝（ｃ0 ＋ｃ1 ｘ・ｚi ）2
但し、ｃ0,ｃ1 は定数
を考える。
【００３８】
図１に示した算出手段１１は、この多項式カーネルを成分ごとに展開して各成分（属性）の係数を求める処理を行う。
【００３９】
入力ベクトルｘを、
ｘ＝（ｘ〔１〕, ．．．．，ｘ〔Ｄ〕）
であるとし、定数ベクトルｚi を、
ｚi ＝（ｚi 〔１］，．．．．，ｚi ［Ｄ］）
であるとすると、この多項式カーネルは、
【００４０】
ここで、
ｘ・ｚi ＝Σｘ〔ｈ〕ｚi 〔ｈ］
但し、Σはｈ＝１〜Ｄの総和
を考慮すると、ｇ（ｘ）は、
【００４１】
【数１】
のように変形できる。
【００４３】
但し、Ｗ0 , Ｗ1 〔ｈ〕, Ｗ2 〔ｈ〕, Ｗ3 〔ｈ，ｋ〕は、
【００４４】
【数２】
を表している。
【００４６】
この式を用いれば、ゼロでないｘ［ｈ］の数が数個から数十個程度のとき、ゼロでないｘ［ｈ］ｘ［ｋ］の数も数個からせいぜい数百個程度であり、その係数との積和を計算するだけで判定ができるため、数千から数十万の内積計算が必要となるもとの計算方法に比べて、大幅な処理時間の圧縮が望める。
【００４７】
さらに、すべてのベクトルの成分が０と１しか取らない場合には、ｘ［ｈ］ｘ［ｋ］、ｚi ［ｈ］ｚi ［ｋ］を計算する必要もないので、ｇ（ｘ）は、
【００４８】
【数３】
のように変形できる。
【００５０】
但し、Ｗ1 ' 〔ｈ〕, Ｗ3 〔ｈ，ｋ〕は、
【００５１】
【数４】
を表している。
【００５３】
つまり、数個からせいぜい数百個の定数を足して行くだけで決定関数ｇ（ｘ）を計算できるようになる。
【００５４】
ここで、ほとんどがゼロのベクトルをコンパクトに表すために、
ｚi ＝（０.1，０，０.4，０，０，０，０.2）
を
ｚi ＝｛１：０.1，３：０.4，７：０.2｝
と表したり、
ｚi ＝（１，０，１，０，０，０，１）
を
ｚi ＝｛１，３，７｝
と表すというように、非ゼロ要素の成分番号と値とのペアを使ってベクトルを表現するようにしている。
【００５５】
算出手段１１の処理について具体的に説明するならば、算出手段１１は、すべてのベクトルの成分が０と１しか取らない場合には、図２の係数計算アルゴリズムに従って、すべてのｚi を調べて、上述の〔数４〕式に従って、Ｗ1 ' 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたときに、対応する係数が直ちに取り出せるようにと、図１に示す記憶手段１３に保存しておく。
【００５６】
ここで、図２に示す係数計算アルゴリズムでは、ｃ0,ｃ1 がともに１であることを仮定しており、ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍することになる。
【００５７】
この記憶手段１３に記憶される係数を受けて、図１に示した判定手段１５は、入力ベクトルｘが与えられる度に、必要な係数を記憶手段１３から取り出してｇ（ｘ）を計算する。
【００５８】
例えば、入力ベクトルｘが「ｘ＝｛１，３，８｝」の場合には、図３及び図４に示すように、
【００５９】
一方、算出手段１１は、非ゼロ要素に１以外の値がある場合には、図５の係数計算アルゴリズムに従って、すべてのｚi を調べて、上述の〔数２〕式に従って、Ｗ0 とＷ1 〔ｈ〕とＷ2 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたときに、対応する係数が直ちに取り出せるようにと記憶手段１３に保存しておく。
【００６０】
ここで、図５に示す係数計算アルゴリズムでは、ｃ0,ｃ1 がともに１であることを仮定しており、ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍することになる。
【００６１】
この記憶手段１３に記憶される係数を受けて、判定手段１５は、入力ベクトルｘが与えられる度に、必要な係数を記憶手段１３から取り出してｇ（ｘ）を計算する。
【００６２】
例えば、入力ベクトルｘが「ｘ＝｛１：０.3，３：０.5，８：−０.2｝」の場合には、
【００６３】
図６に、本実施形態例の処理フローを図示する。図中の左側に示す処理フローが算出手段１１の実行する処理を示しており、図中の右側に示す処理フローが判定手段１５の実行する処理を示している。
【００６４】
ここで、この処理フローでは、すべてのベクトルの成分が０と１しか取らないことを想定している。
【００６５】
この処理フローに示すように、算出手段１１は、分類処理に入る前の前処理要求が発行されると、図４中の左側の処理フローに示すように、すべてのｚi を調べて、上述の〔数４〕式に従って、Ｗ1 ' 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたときに、対応する係数が直ちに取り出せるようにと記憶手段１３に保存する処理を行う。
【００６６】
一方、判定手段１５は、分類要求が発行されると、図４中の右側の処理フローに示すように、先ず最初に、ステップ１０で、分類要求の入力ベクトルを受け取り、続くステップ１１で、記憶手段１３から、入力ベクトルの持つ非ゼロ要素の指す係数を取り出す。
【００６７】
続いて、ステップ１２で、その取り出した係数に従って決定関数ｇ（ｘ）を計算し、続くステップ１３で、その計算した決定関数ｇ（ｘ）の値の符号に従って、入力ベクトルの属するクラスを決定して、分類結果ファイル３にその決定結果を格納して、処理を終了する。
【００６８】
このようにして、本実施形態例に従う場合、分類要求の入力ベクトルが与えられると、数個からせいぜい数百個の定数を足して行くだけで決定関数ｇ（ｘ）を計算できるようになることから、きわめて高速に入力ベクトルの属するクラスを決定できるようになる。
【００６９】
以上に説明した例では、２次の多項式カーネルを想定したが、３次以上の多項式カーネルの場合にも、同様に式を成分ごとに展開して各属性および属性の積に対する係数を求めることができることは言うまでもない。
【００７０】
上述したように、算出手段１１は、定数ベクトルｚi と定数ωi と定数ｂとから各属性の係数Ｗi を計算する。しかし、この方法では、内積を含む式を成分ごとに展開するため、係数の表が膨大な数にのぼり、大規模な記憶装置（記憶手段１３）を必要とするという問題が発生する。
【００７１】
図１に示す削除手段１２は、この問題を緩和するために用意されるものである。
【００７２】
すなわち、削除手段１２は、すべてのベクトルの成分が０と１しか取らない場合で説明するならば、各属性ｈについて、ｘ［ｈ］にかかわる係数Ｗ1 ' 〔ｈ〕、Ｗ3 ［ｈ，ｋ］、Ｗ3 ［ｋ，ｈ］の大きさを評価する関数Ｅ（ｈ）を用いて、この属性を採用するのか削除してよいのかを判断する。たとえば、この関数Ｅ（ｈ）として、Ｗ1 ' ［ｈ］、Ｗ3 ［ｈ，ｋ］、Ｗ3 ［ｋ，ｈ］の絶対値の最大値や、絶対値の和、あるいは、二乗和などを利用することができる。
【００７３】
そして、削除手段１２は、Ｅ（ｈ）がある閾値θ未満の属性をすべてｇ（ｘ）から削除した場合に、どの程度成績が下がるのかを調べる。たとえば、学習用データに対する成績が低下しない範囲でθをできる限り大きくすることで、沢山の属性を削除することが可能である。
【００７４】
このようにして、削除手段１２を備えるようにすると、算出手段１１の算出した係数の中に含まれる不要な係数を削除することができるようになることで、記憶手段１３の規模を小さなものにできるようになる。
【００７５】
図１に示した再学習手段１４は、削除手段１２が不要な属性を削除したあとに、選ばれた属性だけを用いてもう一度決定関数ｇ（ｘ）を学習するのに用いられる。
【００７６】
再学習に用いる装置は、最初の学習に用いた装置と同じでも、違っていてもかまわない。たとえば、最初の学習では２次のカーネルを用い、再学習ではガウシアン・カーネルを用いてもよいのである。
【００７７】
余分な属性が削除されることにより、最初の属性での学習結果を上回る成績が上がることがある。また、すべての属性を用いた場合と比べて、定数ベクトルの数が少なくてすむことが多い。特にガウシアン・カーネルや高次の多項式などのように、成分による展開が困難なカーネルの場合、もとの定義式にしたがって計算するしかないが、この場合、定数ベクトルの数が減れば、それに比例して計算時間が短縮されるため、とくに有効である。
【００７８】
【実施例】
図７に、本発明の一実施例を図示する。
【００７９】
図中、１は図１に示した学習用データファイル、２は図１に示した分類データファイル、３は図１に示した分類結果ファイル、１００は学習装置、２００は係数決定装置、３００は不要属性削除装置、４００は記憶装置、５００は再学習装置、６００は判定処理装置である。
【００８０】
学習用データファイル１に格納される学習用データには、学習に用いるデータの特徴ベクトルｘi と、その正しい分類ｙi ＝±１とが与えられている。この学習用データをサポート・ベクトル・マシンなどの学習装置１００に与えることにより、まず、オリジナルの決定関数ｇ（ｘ）が得られる。
【００８１】
学習装置１００に、たとえば２次のカーネルを用いると、係数決定装置２００は、決定関数ｇ（ｘ）をｘの成分で展開したときの係数Ｗi を出力する。この時点で実行に必要なメモリなどに問題がなければ、判定処理装置６００は、展開して得られた係数をそのまま用いることになる。
【００８２】
一方、メモリ不足などで記憶装置４００に係数をすべて保存しておくことができない場合などには、不要属性削除装置３００により、判定に与える影響の少ない属性を削除していく。このとき、展開した決定関数ｇ（ｘ）の各属性（成分）ｘ［ｈ］は一般に複数の項に含まれるため、それらすべての係数を考慮して判断しなければならない。
【００８３】
ひとつの方法として、それらの係数の絶対値の最大値を基準とする方法を用いる。これ以外にも、たとえば、係数の絶対値の和や平方和など、いくつもの評価関数を利用することが考えられる。
【００８４】
いずれにせよ、その評価関数の値が小さい属性から順に削除していって、学習用データに対する判定結果が変化しない限り属性を削除していくことにより、結果に影響を与えない単純化が可能になる。
【００８５】
実行環境次第では、成績が若干低下しても、メモリを削減する必要がある場合もあるので、学習用データに対する成績とメモリ使用量との二つの評価基準を合わせて評価し、両方の要求を適度に満たすところで打ち切ってもよい。
【００８６】
実際には、少しずつ削っていく方法は効率が悪いので、２分法など、適当な高速探索方法でどれくらいの値までの属性を捨てるかを決定することが可能である。
【００８７】
これで成績に影響の少ない属性を削除し、使用メモリ量を削減することができるようになる。使用メモリ量の削減に加えて、計算に必要な属性の数が減ることで、処理速度がさらに向上する。この段階で、判定処理装置６００に処理を渡してもよい。
【００８８】
以上により、不要な属性が分かったので、これで再学習装置５００により再学習を行なうこともできる。サポート・ベクトル・マシンは、不要な属性がかなり多い場合でも従来手法に比べれば良好な成績を納めているが、データ次第では、余分な属性のせいで成績が下がっている場合がある。そのようなケースでは、有効な属性だけに絞って再学習することによって、成績が向上する場合がある。
【００８９】
その場合は、再学習の結果を判定処理装置６００で利用する方が好ましい。再学習を再度２次のカーネルで行なった場合などには、係数決定以降の処理をもう一度行なうことができる。
【００９０】
再学習にガウシアン・カーネルのように展開の困難なカーネル関数を用いても、すべての属性を用いた場合に比べて定数ベクトルの数ｍが減る効果がある。属性の削減と再学習とを交互に繰り返すことにより、場合によっては大幅に属性や定数ベクトルの数、処理時間を減らすことができる。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、自然言語処理システム、画像処理システム、音声認識システムなどにおいて、単語列、画像、音声などを複数のクラスに分類する場合に、実行時に何十万もの内積計算を行なうのではなく、ごくわずかの積和計算あるいは単なる足し算で等価な計算を行なうことができるようになる。
【００９２】
さらに、係数の小さい属性を削除することで、メモリを削減したり、分類精度を向上させたり、処理速度をさらに向上させることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】係数計算アルゴリズムの説明図である。
【図３】決定関数の算出処理の説明図である。
【図４】決定関数の算出処理の説明図である。
【図５】係数計算アルゴリズムの説明図である。
【図６】本発明の実行する処理フローの一実施形態例である。
【図７】本発明の一実施例である。
【符号の説明】
１ 学習用データファイル
２ 分類データファイル
３ 分類結果ファイル
１０ 学習手段
１１ 算出手段
１２ 削除手段
１３ 記憶手段
１４ 再学習手段
１５ 判定手段
１６ 取得手段
Claims (5)
- 入力ベクトルと学習用データにより得られた定数ベクトルとの内積の関数となる多項式の値を算出することで、入力ベクトルの属するクラスを判定する分類装置において、
上記多項式を入力ベクトルの成分ごとに展開するときの各成分の係数値を記憶する記憶手段と、
上記記憶手段を検索することで、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得する取得手段と、
上記取得手段の取得した係数値を使って上記多項式の値を算出することで、入力ベクトルの属するクラスを判定する判定手段とを備えることを、
特徴とする分類装置。 - 請求項１記載の分類装置において、
上記多項式を入力ベクトルの成分ごとに展開するときの各成分の係数値を算出して、上記記憶手段に保存する算出手段を備えることを、
特徴とする分類装置。 - 入力ベクトルと学習用データにより得られた定数ベクトルとの内積を変数に持つ多項式の値を算出することで、入力ベクトルの属するクラスを判定する分類方法において、
上記多項式を入力ベクトルの成分ごとに展開するときの各成分の係数値を算出して、記憶装置に保存する過程と、
上記記憶装置を検索することで、入力ベクトルの持つ非ゼロ値成分の指す係数値を取得する過程と、
上記取得した係数値を使って上記多項式の値を算出することで、入力ベクトルの属するクラスを判定する過程とを備えることを、
特徴とする分類方法。 - 請求項３に記載の分類方法の実現に用いられる処理をコンピュータに実行させるための分類プログラム。
- 請求項３に記載の分類方法の実現に用いられる処理をコンピュータに実行させるためのプログラムを記録した分類プログラムの記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002136536A JP3889663B2 (ja) | 2002-05-13 | 2002-05-13 | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002136536A JP3889663B2 (ja) | 2002-05-13 | 2002-05-13 | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003331254A JP2003331254A (ja) | 2003-11-21 |
| JP3889663B2 true JP3889663B2 (ja) | 2007-03-07 |
Family
ID=29698526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002136536A Expired - Lifetime JP3889663B2 (ja) | 2002-05-13 | 2002-05-13 | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3889663B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2007007247A (es) * | 2004-12-17 | 2007-09-04 | Univ Queensland | Metodo para la reduccion de caracteristicas para maquinas de decision. |
| JP5552023B2 (ja) | 2010-10-27 | 2014-07-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | クラスタリング・システム、方法及びプログラム |
| JP6700843B2 (ja) * | 2016-02-22 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US20200057959A1 (en) * | 2018-08-15 | 2020-02-20 | Salesforce.Com, Inc. | Reducing instances of inclusion of data associated with hindsight bias in a training set of data for a machine learning system |
-
2002
- 2002-05-13 JP JP2002136536A patent/JP3889663B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003331254A (ja) | 2003-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388651B (zh) | 一种基于图核和卷积神经网络的文本分类方法 | |
| JP3726263B2 (ja) | 文書分類方法及び装置 | |
| JP2940501B2 (ja) | ドキュメント分類装置及び方法 | |
| US20190318256A1 (en) | Method, apparatus and system for estimating causality among observed variables | |
| CN111444320A (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
| JP2005158010A (ja) | 分類評価装置・方法及びプログラム | |
| CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
| CN110674865B (zh) | 面向软件缺陷类分布不平衡的规则学习分类器集成方法 | |
| JP6816481B2 (ja) | 削減条件特定方法、削減条件特定プログラム及び削減条件特定装置 | |
| CN112000783B (zh) | 基于文本相似性分析的专利推荐方法、装置、设备及存储介质 | |
| JP2009059323A (ja) | 知識生成システム | |
| WO2022121163A1 (zh) | 用户行为倾向识别方法、装置、设备及存储介质 | |
| CN110019653B (zh) | 一种融合文本和标签网络的社交内容表征方法和系统 | |
| JP6291443B2 (ja) | 接続関係推定装置、方法、及びプログラム | |
| CN110134852B (zh) | 一种文档的去重方法、设备及可读介质 | |
| US20010003817A1 (en) | Knowledge finding method | |
| US6697769B1 (en) | Method and apparatus for fast machine training | |
| JP2019086979A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN107665221A (zh) | 关键词的分类方法和装置 | |
| CN111967258A (zh) | 一种构建共指消解模型的方法、共指消解的方法和介质 | |
| US11829722B2 (en) | Parameter learning apparatus, parameter learning method, and computer readable recording medium | |
| CN113780418B (zh) | 一种数据的筛选方法、系统、设备和存储介质 | |
| US20220222442A1 (en) | Parameter learning apparatus, parameter learning method, and computer readable recording medium | |
| JP3889663B2 (ja) | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 | |
| JP3472032B2 (ja) | 情報フィルタ装置及び情報フィルタ方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060913 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3889663 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |