JPH1173406A - サポートベクトル機械を使用する方法 - Google Patents

サポートベクトル機械を使用する方法

Info

Publication number
JPH1173406A
JPH1173406A JP10169787A JP16978798A JPH1173406A JP H1173406 A JPH1173406 A JP H1173406A JP 10169787 A JP10169787 A JP 10169787A JP 16978798 A JP16978798 A JP 16978798A JP H1173406 A JPH1173406 A JP H1173406A
Authority
JP
Japan
Prior art keywords
vectors
vector
reduced set
support
svm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10169787A
Other languages
English (en)
Inventor
Christopher John Burges
ジョン バージェス クリストファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Lucent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lucent Technologies Inc filed Critical Lucent Technologies Inc
Publication of JPH1173406A publication Critical patent/JPH1173406A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

(57)【要約】 【課題】 与えられたベクトルのセットを試験段階で用
いるために高次元空間に写像するアルゴリズムを用いた
機械の効率を改善する。 【解決手段】 サポートベクトル機械（ＳＶＭ）は、そ
の判定面がサポートベクトルのセットによって、およ
び、対応する重みのセットによって、パラメトライズさ
れる万能学習機械である。本発明によるＳＶＭは、縮小
セットベクトルを用いる。縮小セットベクトルの数は、
セット内のベクトルの数より少ない。これらの縮小セッ
トベクトルはセット内のベクトルとは異なり、同次２次
核で用いられる固有値計算とは異なる最適化法に従って
決定される。実施例では、パターン認識で用いるため
に、ＳＶＭは縮小セットベクトルを利用し、これによ
り、ユーザが選択するファクタだけこのＳＶＭの効率を
改善する。これらの縮小セットベクトルは、無制約最適
化法に従って決定される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、万能学習機械に関
し、特に、サポートベクトル機械に関する。
【０００２】
【従来の技術】サポートベクトル機械（ＳＶＭ(Support
Vector Machine)）は、その判定面がサポートベクトル
のセットによって、および、対応する重みのセットによ
って、パラメトライズされる万能学習機械である。ＳＶ
Ｍはまた、核関数によっても特徴づけられる。核の選択
は、その結果として得られるＳＶＭが多項式クラシファ
イアであるか、２層ニューラルネットワークであるか、
動径（放射状）基底関数（ＲＢＦ）機械であるか、ある
いはその他の学習機械であるかを決定する。ＳＶＭの判
定規則は、対応する各関数およびサポートベクトルの関
数である。
【０００３】
【発明が解決しようとする課題】一般に、ＳＶＭは、訓
練段階および試験段階という２つの段階で動作する。訓
練段階中、判定規則で用いるためのサポートベクトルの
セットが生成される。試験段階中、特定の判定規則を用
いて判定が行われる。残念ながら、この試験段階におい
て、ＳＶＭ判定規則の計算量は、サポートベクトルセッ
ト内のサポートベクトルの数ＮSに比例する。
【０００４】
【課題を解決するための手段】本発明によれば、与えら
れたベクトルのセットを試験段階で用いるために高次元
空間に写像するアルゴリズムを用いた機械の効率を改善
する方法および装置が実現される。具体的には、本発明
の原理によれば、縮小セットベクトルを用いる。縮小セ
ットベクトルの数は、セット内のベクトルの数より少な
い。これらの縮小セットベクトルはセット内のベクトル
とは異なり、同次２次核で用いられる固有値計算とは異
なる最適化法に従って決定される。
【０００５】本発明の実施例では、パターン認識で用い
るために、ＳＶＭは縮小セットベクトルを利用し、これ
により、ユーザが選択するファクタだけこのＳＶＭの効
率を改善する。これらの縮小セットベクトルは、無制約
最適化法に従って決定される。
【０００６】本発明の特徴によれば、縮小セットベクト
ルの選択により、性能対計算量のトレードオフを直接制
御することが可能となる。
【０００７】さらに、本発明の考え方はパターン認識に
固有ではなく、サポートベクトルアルゴリズムが用いら
れるような任意の問題（例えば、回帰推定）に適用可能
である。
【０００８】
【発明の実施の形態】本発明の実施例について説明する
前に、サポートベクトル機械について簡単な背景的知識
を説明した後、本発明の考え方自体の説明を行う。本発
明の考え方以外に、読者は、当業者に知られている核ベ
ースの方法を一般的に表現するために用いられる数学的
記法を知っていると仮定する。また、本発明の考え方
は、パターン認識の場合の例に関して説明される。しか
し、本発明の考え方は、サポートベクトルアルゴリズム
が用いられるような任意の問題（例えば、回帰推定）に
適用可能である。
【０００９】以下の説明で、注意すべき点であるが、１
０個の数字のグレイレベル画像を含む２つの光学的文字
認識（ＯＣＲ）データセットからの試験データを用い
る。一方のデータセットは、７，２９１個の訓練パター
ンおよび２，００７個の試験パターンからなり、ここで
は「郵便セット」という（例えば、L. Bottou, C. Cort
es, H. Drucker, L. D. Jackel, Y. LeCun, U. A. Muel
ler, E. Saeckinger, P.Simard, and V. Vapnik, "Comp
arison of Classifier Methods: A Case Studyin Handw
ritten Digit Recognition", Proceedings of the 12th
IAPR International Conference on Pattern Recognit
ion, Vol.2, IEEE Computer Society Press（米国カリ
フォルニア州ロスアラモス）, pp.77-83, 1994、およ
び、Y. LeCun, B. Boser, J. S. Denker, D. Henderso
n, R. E. Howard, W. Hubbard, L. D.Jackel, "Backpro
pagation Applied to Handwritten ZIP Code Recogniti
on",Neural Computation, 1, 1989, pp.541-551、参
照）。他方のデータセットは、NIST Special Database
3およびNIST Test Data 1からの６０，０００個の訓練
パターンおよび１０，０００個の試験パターンからな
り、ここでは「ＮＩＳＴセット」という（例えば、R.
A. Wilkinson, J. Geist, S. Janet, P. J. Grother,C.
J. C. Burges, R. Creecy, R. Hammond, J. J. Hull,
N. J. Larsen, T. P.Vogl and C. L. Wilson, "The Fir
st Census Optical Character Recognition System Con
ference, 米国商務省, NIST, August 1992、参照）。
「郵便セット」の画像は１６×１６ピクセルであり、
「ＮＩＳＴセット」の画像は２８×２８ピクセルであ
る。
【００１０】［従来技術：サポートベクトル機械］判定
規則が次の形をとるような２クラスクラシファイアを考
える。
【数１】 ただし、ベクトルｘおよびベクトルｓiはＲdの元であ
り、αiおよびｂは実数であり、Θは階段関数である。
Ｒdはｄ次元ユークリッド空間であり、Ｒは実数であ
る。αi、ベクトルｓi、ＮSおよびｂはパラメータであ
り、ベクトルｘは分類されるべきベクトルである。さま
ざまなクラシファイアに対する判定規則がこの形で書け
る。例えば、Ｋ（ｘ・ｓi）pは多項式クラシファイアを
実現し、
【数２】 は動径基底関数機械を実現し、Ｋ＝ｔａｎｈ（γ（ｘ・
ｓi）＋δ）は２層ニューラルネットワークを実現する
（例えば、V. Vapnik, "Estimation of Dependencies B
ased on Empirical Data", Springer Verlag, 1982、V.
Vapnik, "The Nature of Statistical Learning Theor
y", Springer Verlag, 1995、Boser, B. E., Guyon, I.
M., and Vapnik, V., "A training algorithm foropti
mal margin classifiers", Fifth Annual Workshop on
Computational Learning Theory, Pittsburgh ACM 144-
152, 1992、およびB. Schoelkopf, C. J. C. Burges, a
nd V. Vapnik, "Extracting Support Data for a Given
Task", Proceedings of the First International Con
ference on Knowledge Discovery and Data Mining, AA
AI Press（米国カリフォルニア州Menlo Park, 1995、参
照）。
【００１１】サポートベクトルアルゴリズムは、その判
定規則が式（１）の形をとるような任意の学習機械を訓
練する原理的な方法である。要求される唯一の条件は、
核Ｋが一般的な正値性制約を満たすことである（例え
ば、前掲の"The Nature of Statistical Learning Theo
ry"、および"A training algorithm for optimal margi
n classifiers"、参照）。他の方法とは異なり、ＳＶＭ
訓練プロセスは、パラメータセット全体｛αi，ベクト
ルｓi，ＮSおよびｂ｝を決定する。その結果得られるベ
クトルｓi（ｉ＝１，...，ＮS）は、訓練セットのサブ
セットであり、サポートベクトルと呼ばれる。
【００１２】サポートベクトル機械はいくつかの優れた
性質を有する。訓練手続きは、制約２次最適化問題を解
くこととなり、従って、求められる解は、目的関数の一
意的な大域的最小値であることが保証される。ＳＶＭ
は、構造的リスク最小化を直接に実現するために使用可
能である。この場合、学習機械の容量は、汎化誤りの限
界を最小にするように制御することができる（例えば、
前掲の"The Nature of Statistical Learning Theor
y"、および"Extracting Support Data for a GivenTas
k"、参照）。サポートベクトル判定面は、実際には、高
次元空間内の線形分離超平面である。同様に、ＳＶＭ
は、回帰を構成するためにも使用可能であり、これはあ
る高次元空間において線形である（例えば、前掲の"The
Nature of Statistical Learning Theory"、参照）。
【００１３】サポートベクトル学習機械は、光学的文字
認識（ＯＣＲ）（例えば、前掲の"The Nature of Stati
stical Learning Theory"、および"Extracting Support
Data for a Given Task"、ならびにC. Cortes and V.
Vapnik, "Support Vector Networks", Machine Learnin
g, Vol.20, pp.1-25, 1995、参照）、および対象認識の
ようなパターン認識問題に適用されて成功している。
【００１４】図１は、従来技術のＳＶＭの動作の流れ図
である。この動作は、訓練段階および試験段階という２
つの段階からなる。訓練段階では、ステップ５２で、Ｓ
ＶＭは、クラスがあらかじめ割り当てられた訓練セット
の要素を受け取る。ステップ５４で、訓練セットからの
入力データベクトルを多次元空間内へ変換する。ステッ
プ５６で、最適な多次元超平面に対するパラメータ（す
なわち、サポートベクトルおよび対応する重み）が決定
される。
【００１５】図２に、訓練データ要素が２つのクラスに
分離される例を示す。一方のクラスは円で表され、他方
のクラスは四角で表されている。これは典型的な２クラ
スパターン認識問題のものである。例えば、「車」のパ
ターンを「車でない」パターンから分離するように訓練
されたＳＶＭである。最適超平面は、２つのクラスのベ
クトルの間に極大マージンを有する線形判定関数であ
る。すなわち、最適超平面は、訓練データを極大マージ
ンで分離する一意的な判定面である。図２に示すよう
に、最適超平面は、２つのクラスの間の分離が最大であ
る領域によって定義される。図２で観察されるように、
最適超平面を構成するには、訓練されたデータ要素のう
ち、この極大マージンを決定するサブセットを考慮すれ
ばよい。訓練要素のうち、最適超平面のパラメータを決
定するこのサブセットは、サポートベクトルとして知ら
れている。図２では、サポートベクトルは網掛けで示さ
れている。
【００１６】最適超平面は、高次元空間における写像さ
れたサポートベクトルの線形結合で表される。ＳＶＭア
ルゴリズムは、ベクトルのセットに関する誤差が、すべ
てのサポートベクトルに重みを割り当てることによって
最小化されることを保証する。これらの重みは、サポー
トベクトルよって判定面を計算する際に用いられる。ま
た、このアルゴリズムによれば、特定の問題に属する訓
練データに関する誤り率を最小にするために、これらの
重みを適応させることが可能となる。これらの重みは、
ＳＶＭの訓練段階中に計算される。
【００１７】このようにして、最適超平面を構成するこ
とは、訓練セットの要素および写像された空間内の内積
を決定する関数によって決定される制約２次最適化計画
問題になる。この最適化問題に対する解は、従来の中間
最適化法を用いて求められる。
【００１８】一般に、最適超平面は、誤りなしで訓練デ
ータを分離することを必要とする。しかし、場合によっ
ては、訓練データは誤りなしで分離することができない
ことがある。このような場合、ＳＶＭは、最小数の誤り
で訓練データを分離しようと試み、残りの要素を極大マ
ージンで分離する。このような超平面は一般に、ソフト
マージン超平面として知られている。
【００１９】試験段階では、ステップ６２で、ＳＶＭ
は、分類すべき試験セットの要素を受け取る。次に、Ｓ
ＶＭは、サポートベクトルを核のパラメータとして用い
て、試験セットの入力データベクトルを多次元空間に写
像することによって変換する（ステップ６４）。写像関
数は、ＳＶＭにあらかじめロードされている核の選択に
よって決定される。この写像は、１つのベクトルをと
り、それを高次元特徴空間へ変換して、線形判定関数が
この高次元特徴空間に生成されるようにする。図１の流
れ図は陰(implicit)の写像を示しているが、この写像は
陽(explicit)に実行されることも可能である。ステップ
６６で、ＳＶＭは、各入力データベクトルの所属状態を
示すように、判定面から分類信号を生成する。最終結果
は、図２に示されるように、円の（＋１）および四角の
（−１）という出力分類信号の生成である。
【００２０】残念ながら、式（１）の計算量は、サポー
トベクトルの数ＮSに比例する。サポートベクトルの数
の期待値は（ｌ−１）Ｅ［Ｐ］でおさえられる。ただ
し、Ｐは、与えられたＳＶＭをｌ個の訓練サンプルで訓
練した場合の、１つの試験ベクトルに対する誤りの確率
であり、Ｅ［Ｐ］は、ｌ個のサンプルのすべての選び方
にわたるＰの期待値である（例えば、前掲の"The Natur
e of Statistical Learning Theory"、参照）。従っ
て、ＮSはおよそｌに比例することが予想される。実際
のパターン認識問題では、この結果、同様の汎化性能を
有する他のシステムよりも試験段階において大幅に遅い
機械が得られる（例えば、前掲の"Comparisonof Classi
fier Methods: A Case Study in Handwritten Digit Re
cognition"、および、Y. LeCun, L. Jackel, L. Botto
u, A. Brunot, C. Cortes, J. Denker,H. Drucker, I.
Guyon, U. Mueller, E. Saeckinger, P. Simard, and
V. Vapnik, "Comparison of Learning Algorithms for
Handwritten Digit Recognition", International Conf
erence on Artificial Neural Networks, Ed. F. Fogel
man, P. Gallinari, pp.53-60, 1995、参照）。
【００２１】［縮小セットベクトル］これに対して、本
発明の原理によれば、ずっと少数の縮小セットベクトル
によりＳＶＭ判定規則を近似する方法および装置が実現
される。縮小セットベクトルは以下の性質を有する。
【００２２】・縮小セットベクトルは、サポートベクト
ルが完全なＳＶＭ判定規則に現れるのと同様にして、近
似的なＳＶＭ判定規則に現れる。 ・縮小セットベクトルは、サポートベクトルではない。
縮小セットベクトルは、サポートベクトルとは異なり、
必ずしも分離マージン上にはなく、訓練サンプルでもな
い。 ・縮小セットベクトルは、与えられた、訓練済みのＳＶ
Ｍに対して計算される。 ・縮小セットベクトルの数（従って、結果として得られ
るＳＶＭの試験段階における速度）は事前に選択され
る。 ・縮小セット法は、サポートベクトル法が用いられる場
合であればどのような場合にも適用可能である（例え
ば、回帰推定）。
【００２３】［縮小セット］訓練データは、Ｌの要素、
ベクトルｘであるとする。ただし、Ｌ（Ｌは低次元(low
dimensional)の意味）は、ｄL次元ユークリッド空間Ｒ
dLとして定義される。ＳＶＭは、陰写像
【数３】 を実行する。ただし、Ｈ（Ｈは高次元(high dimensiona
l)の意味）＝ＲdH、ｄH≦∞である。以下では、Ｈのベ
クトルにはバーを付けて示す。写像Φは、核Ｋの選択に
よって決定される。実際、Mercerの正値性制約（例え
ば、前掲の"The Nature of Statistical Learning Theo
ry"、および"A training algorithm for optimal margi
n classifiers"、参照）を満たす任意のＫに対して、
【数４】 であるようなペア｛Φ，Ｈ｝が存在する。従って、Ｈに
おいて、ＳＶＭ判定規則は単に（上記のように）、線形
分離超平面となる。写像Φは通常、陽に計算されず、Ｈ
の次元ｄHは通常大きい（例えば、同次写像Ｋ（ｘi，ｘ
j）＝（ｘi・ｘj）pに対して、
【数５】 である（ｐ＋ｄL−１個のものからｐ個のものを選ぶ場
合の数。従って、４次多項式で、ｄL＝２５６の場合、
ｄHは約１．８億となる）。
【００２４】基本的なＳＶＭパターン認識アルゴリズム
は、２クラス問題を解く（例えば、前掲のEstimation o
f Dependencies Based on Empirical Data"、"The Natu
re of Statistical Learning Theory"、および"A train
ing algorithm for optimalmargin classifiers"、参
照）。訓練データｘ∈Ｌおよび対応するクラスラベルｙ
i∈｛−１，１｝が与えられた場合、ＳＶＭアルゴリズ
ムは、ベクトルｘi（ｉ＝１，...，ｌ）を２つのクラス
に分ける判定面バーΨ∈Ｈを次のように構成する。
【数６】 ただし、ξiは正のスラック変数であり、分離不能の場
合（例えば、前掲の"Support Vector Networks"、参
照）を扱うために導入したものである。分離可能の場
合、ＳＶＭアルゴリズムは、Ｈにおける正と負の例の間
のマージンが最大になるような分離超平面を構成する。
その後、
【数７】 が（ｋ0＋ｋ1）／２より大きいか小さいかに応じて、試
験ベクトルｘ∈Ｌにクラスラベル｛＋１，−１｝を割り
当てる。サポートベクトルｓ∈Ｌは、式（２）または
（３）のいずれかが等式になるような訓練サンプルとし
て定義される。（サポートベクトルは、他の訓練データ
と区別するためにベクトルｓと表す。）すると、バーΨ
は次のように与えられる。
【数８】 ただし、αa≧０は、訓練中に決定される重みであり、
ｙa∈｛−１，１｝は、ベクトルｓaのクラスラベルであ
り、ＮSはサポートベクトルの数である。こうして、試
験点ベクトルｘを分類するためには、次式を計算する。
【数９】
【００２５】しかし、本発明の考え方により、ここで、
【数１０】 が距離尺度
【数１１】 を最小にする（固定したＮZに対して）ようなセット、
ベクトルｚa∈Ｌ（ａ＝１，...，ＮZ）および対応する
重みγa∈Ｒを考える。
【００２６】ここで、｛γa，ｚa｝（ａ＝１，...，
ＮZ）を縮小セットという。試験点ベクトルｘを分類す
るには、式（５）の展開を次の近似で置き換える。
【数１２】
【００２７】すると、目標は、結果として得られる汎化
性能の損失が許容可能な範囲にとどまるような、最小の
ＮZ＜＜ＮS、および対応する縮小セットを選択すること
である。明らかに、ＮZ＝ＮSとすることにより、ρを０
にすることができる。しかし、ＮZ＜ＮSで、しかもρ＝
０であるような自明でない場合が存在する（後述）。そ
のような場合、縮小セットにより、汎化性能の損失なし
で、判定規則の計算量が低減される。各ＮZに対して、
対応する縮小セットを計算する場合、ρは、ＮZの単調
減少関数と見ることが可能であり、汎化性能もまたＮZ
の関数となる。本明細書では、汎化性能のＮZ依存性に
関する経験的結果のみについて説明する。
【００２８】写像Φについて、以下のことに注意すべき
である。Φの像は一般に線形空間にはならない。また、
Φは一般に全射にはならず、一対一でない可能性がある
（例えば、Ｋが偶数次の同次多項式の場合）。さらに、
Φは、Ｌ内の線形従属ベクトルをＨ内の線形独立ベクト
ルに写像することがあり得る（例えば、Ｋが非同次多項
式の場合）。Ｋが同次多項式の場合であっても、一般
に、ベクトルｚaをスケールすることによって係数γaを
１にスケールすることはできない（例えば、Ｋが偶数次
の同次式である場合、γaは｛＋１，−１｝にスケール
することは可能であるが、必ずしも１にスケールするこ
とはできない）。
【００２９】［厳密解］このセクションでは、ρの最小
値を解析的に計算する問題を考える。まず、簡単ではあ
るが自明ではない場合について説明する。
【００３０】［同次２次多項式］同次２次多項式の場
合、規格化を１に選ぶ。 Ｋ（ｘi，ｘj）＝（ｘi・ｘj）2 （９）
【００３１】説明を簡単にするため、１次近似ＮZ＝１
を計算する。対称テンソル
【数１３】 を導入する。
【数１４】 は、次式を満たす｛γ，ベクトルｚ｝に対して最小にな
ることが分かる。
【数１５】 （繰り返す添字については和をとる）。｛γ，ベクトル
ｚ｝をこのように選ぶと、ρ2は次のようになる。
【数１６】
【００３２】従って、｛γ，ベクトルｚ｝を、ベクトル
ｚが、Ｓの固有値λ＝γｚ2が最大絶対値を有するよう
な固有ベクトルとなるように選択するときに、ρの最大
降下が達成される。なお、γは、γ＝ｓｉｇｎ｛λ｝と
なるように選択することが可能であり、ベクトルｚはｚ
2＝｜λ｜となるようにスケールすることが可能であ
る。
【００３３】オーダーＮZに拡張すると、同様にして、
式
【数１７】 を最小にするセット｛γi，ベクトルｚi｝におけるベク
トルｚiは、それぞれ固有値が
【数１８】 であるＳの固有ベクトルであることが示される。これに
より次式が成り立ち、ρの降下は、ベクトルｚaをＳの
はじめのＮZ個の固有ベクトルに選択した場合に最大と
なる。
【数１９】 ただし、固有ベクトルは、固有値の絶対値の大きさの順
に並べるものとする。なお、ｔｒａｃｅ（Ｓ2）は、Ｓ
の固有値の平方の和であるので、ＮZ＝ｄL（データの次
元）と選択することにより、近似は厳密（すなわちρ＝
０）になる。サポートベクトルの数ＮSはｄLより大きい
ことが多いため、このことは、汎化性能の損失なしに、
縮小セットのサイズはサポートベクトルの数より小さく
なりうることを示している。
【００３４】一般の場合、縮小セットを計算するために
は、ρは、すべての｛γa，ベクトルｚa｝（ａ＝
１，...，ＮZ）にわたって同時に最小にならなければな
らない。次のような反復法を考えると便利である。すな
わち、第ｉステップでは、｛γj，ベクトルｚj｝（ｊ＜
ｉ）を固定して、｛γi，ベクトルｚi｝を計算する。２
次多項式の場合、この反復法によって生成される最小値
の列が、問題全体に対する最小値も生成する。この結果
は、２次多項式に特有であり、ベクトルｚiが直交する
（あるいはそのように選択することができる）という事
実の結果である。
【００３５】以下の表１に、試験セットに関して誤りの
数ＥZを達成するために必要な縮小セットサイズＮZを示
す。ここで、郵便セットに関して訓練された２次多項式
ＳＶＭの場合、ＥZは、サポートベクトルの完全セット
を用いて求められる誤りの数ＥSとは、高々１個の誤り
しか異ならない。明らかに、２次の場合、縮小セット
は、精度をほとんど失うことなく、計算量を大幅に減ら
すことができる。また、多くの数字では、サポートベク
トルの数はｄL＝２５６より大きいが、これは、精度を
全く失わずに高速化が可能であることを示す。
【表１】
【００３６】［一般の核］縮小セット法を任意のサポー
トベクトル機械に適用するには、上記の解析を一般の核
に拡張しなければならない。例えば、同次多項式Ｋ（ｘ
1，ｘ2）＝Ｎ（ｘ 1・ｘ2）nの場合、反復法の最初のペ
ア｛γ1，ベクトルｚ1｝を求めるために
【数２０】 とおくと、式（１１）に類似の次式が得られる。
【数２１】 ただし、
【数２２】 である。
【００３７】この場合、γに関してρを変化させても新
しい条件は得られない。１次の解｛γ1，ベクトルｚ1｝
に対して式（１５）を解いたとすると、ρ2は次のよう
になる。
【数２３】
【００３８】そこで、次のような定義をすることができ
る。
【数２４】 これにより、２次の解ベクトルｚ2に対する反復方程式
が、式（１５）でＳ、ベクトルｚ1およびγ1をそれぞれ
〜Ｓ、ベクトルｚ2およびγ2で置き換えた形をとる。
（なお、２より高い次数の多項式では、ベクトルｚaは
一般に直交しない。）しかし、これらは反復解のみであ
り、さらに、すべての｛γa，ベクトルｚa｝が同時に変
化することを許容した場合の連立方程式を解く必要があ
る。さらに、これらの方程式は複数の解を有し、そのほ
とんどはρに関する極小値に対応する。さらに、別のＫ
を選択することにより、他の固定点方程式が得られる。
式（１５）の解は反復（すなわち、任意のベクトルｚか
ら始めて、式（１５）を用いて新たなベクトルｚを計算
し、これを繰り返す）によって求められるが、次のセク
ションで説明する方法はさらに柔軟で強力である。
【００３９】［無制約最適化法］核Ｋの１次導関数が定
義されていると仮定すると、未知数｛γi，ベクトル
ｚi｝に関する目的関数Ｆ≡ρ2／２の勾配を計算するこ
とができる。例えば、Ｋ（ｓm，ｓn）がスカラーｓm・
ｓnの関数であると仮定すると、次式のようになる。
【数２５】
【００４０】従って、本発明の原理によれば、（おそら
くは局所的な）最小は、無制約最適化法を用いて求める
ことができる。
【００４１】［アルゴリズム］まず、所望の近似次数Ｎ
Zを選択する。Ｘi≡｛γi，ｚi｝とする。２段階法を用
いる。第１段階（後述）で、すべてのベクトルｚj（ｊ
＜ｉ）を固定したまま、Ｘiを反復的に計算する。
【００４２】第２段階（後述）で、すべてのＸiが変動
することを許容する。
【００４３】注意すべき点であるが、式（２０）におけ
る勾配は、γkが０である場合、０である。この事実
は、重大な数値的不安定性につながる可能性がある。こ
の問題を回避するために、第１段階は、単純な「レベル
交差」定理に基づく。そのアルゴリズムは以下のとおり
である。まず、γiを＋１または−１に初期化し、ベク
トルｚiをランダム値で初期化する。次に、γiを固定し
たままで、ベクトルｚiを変化させる。次に、ベクトル
ｚi、Ｘj（ｊ＜ｉ）を固定した場合の、γiの最適値を
解析的に計算する。次に、ベクトルｚiおよびγiの両方
に関して同時にＦを最小化する。最後に、すべてのｊ≦
ｉに対して最適なγjを解析的に計算する。これは、Γ
＝Ｚ-1Δによって与えられる。ただし、δ、ΓおよびＺ
は次のように与えられる（式（１９）参照）。
【数２６】
【００４４】Ｚは正定値かつ対称であるため、周知のコ
レスキー分解を用いて効率的に逆行列を求めることがで
きる。
【００４５】こうして、アルゴリズムの第１段階は以下
のように進行する。 ［１］γ1＝＋１または−１をランダムに選び、ベクト
ルｚ1をランダム値に設定する。 ［２］ベクトルｚ1を変化させてＦを最小化する。 ［３］ベクトルｚ1を固定したまま、Ｆをさらに最大に
低下させるγ1を計算する。 ［４］ベクトルｚ1、γ1をともに変化させてさらにＦを
低下させる。 ［５］最良の解を保持してステップ［１］〜［４］をＴ
回反復する。 ［６］ベクトルｚ1、γ1を固定し、γ2＝＋１または−
１をランダムに選び、ベクトルｚ2をランダム値に設定
する。 ［７］ベクトルｚ2を変化させてＦを最小化する。 ［８］ベクトルｚ2（およびベクトルｚ1、γ1）を固定
し、Ｆをさらに最大に低下させる最適なγ2を計算す
る。 ［９］｛ベクトルｚ2、γ2｝をともに変化させてさらに
Ｆを低下させる。 ［１０］最良の解を保持してステップ［６］〜［９］を
Ｔ回反復する。 ［１１］最後に、ベクトルｚ1、ベクトルｚ2を固定し、
（上記の式（２１）〜（２３）に示されるように）さら
にＦを低下させる最適なγ1、γ2を計算する。
【００４６】次に、この手続きを｛ベクトルｚ3、
γ3｝、｛ベクトルｚ4、γ4｝など、
【数２７】 まで反復する。
【００４７】γiが０に近づかないようにすることによ
って数値的不安定性は回避される。上記のアルゴリズム
により、これは自動的に保証される。第１ステップで、
γiを固定したままベクトルｚiを変化させた結果、目的
関数Ｆが減少した場合、次にγiを変化させるときに、
γiは０を通ることはできない。その理由は、０を通る
とすると（その場合｛ベクトルｚi、γi｝のＦへの寄与
は０となるので）Ｆが増大してしまうからである。
【００４８】なお、与えられた｛ベクトルｚi、γi｝の
ペアの各計算は、第１段階で、ベクトルＸiに対する相
異なる初期値で数回（Ｔ回）反復される。Ｔは、求めら
れたＦにおける相異なる最小値の個数Ｍから経験的に決
定される。上記のデータセットでは、Ｍは通常２または
３であり、ＴはＴ＝１０と選ばれた。
【００４９】第２段階では、第１段階で求められたすべ
てのベクトルＸiが単一のベクトルへと連接され、すべ
てのパラメータの変動を許容して、再び無制約最小化プ
ロセスが適用される。注意すべき点であるが、第２段階
の結果、目的関数Ｆがさらに約２分の１に減少すること
が多い。
【００５０】本発明の原理に従って、以下の１次無制約
最適化法を両方の段階で用いた。探索方向は、共役勾配
法を用いて求められる。探索方向に沿って、ブラケット
点ｘ 1，ｘ2およびｘ3を、Ｆ（ｘ1）＞Ｆ（ｘ2）＜Ｆ
（ｘ3）となるように求める。次に、このブラケットを
平衡化する（平衡化法については、例えば、W. H. Pres
s,S. A. Teukolsky, W. T. Vetterling and B. P. Flan
nery, "Numerical Recipes in C", Second Edition, Ca
mbridge University Press, 1992、参照）。これらの３
点を通る２次当てはめ曲線の最小値を、次の反復で選択
される開始点として用いる。共役勾配プロセスは、所定
の反復数の後に再開され、全体のプロセスは、Ｆの減少
率があるしきい値を下回ったときに終了する。注意すべ
き点であるが、この一般的アプローチは、上記の２次多
項式核の場合に適用した場合、解析的アプローチと同じ
結果を与えた。
【００５１】［実験］上記のアプローチを、郵便セット
に対して最良の性能を有するＳＶＭに適用した。このＳ
ＶＭは次数３の非同次多項式機械（これについては、例
えば、前掲の"The Nature of Statistical Learning Th
eory"、参照）であった。近似の次数ＮZは、各２クラス
クラシファイアに対して試験段階で１０倍の高速化がな
されるように選択した。結果を表２（下記）に示す。縮
小セット法は、精度の損失はほとんどなしで、この高速
化を達成した。１０個のクラシファイアをまとめて１つ
の１０クラスクラシファイア（これについては、例え
ば、前掲の"The Natureof Statistical Learning Theor
y"、および"Support Vector Networks"、参照）として
用いると、完全サポートセット（サポートセット全体）
を用いた場合には４．２％のエラーであるのに対して、
縮小セットを用いた場合には４．３％のエラーであっ
た。なお、組み合わせた場合、縮小セットでは６倍の高
速化しか得られない。その理由は、相異なる２クラスク
ラシファイアがいくつかの共通のサポートベクトルを有
し、キャッシングの可能性があるためである。これらの
方法をさらに大きい問題に拡張することができるかどう
かという問題を解決するため、ＮＩＳＴセットの場合
に、数字０を他のすべての数字から分離する２クラスク
ラシファイアに対して研究を繰り返した（６０，０００
回の訓練、１０，０００個の試験パターン）。このクラ
シファイアも、完全サポートセットを用いて、最良の精
度を与えるもの（次数４の多項式）を選んだ。１，２７
３個のサポートベクトルの完全セットでは１９個の試験
エラーを生じたが、サイズ１２７の縮小セットでは２０
個の試験エラーであった。
【００５２】
【表２】
【００５３】（なお、試験は、完全な１０桁のＮＩＳＴ
に対しても行われ、１０％の精度損失で５０倍の高速化
がなされた。C. J. C. Burges, B. Schoelkopf, "Impro
vingthe Accuracy and Speed of Support Vector Machi
nes", in press, NIPS '96、参照。）
【００５４】
【実施例】図３に、ＳＶＭの訓練段階で用いられる、本
発明の原理を実現する例示的な流れ図を示す。ステップ
１００で、入力訓練データがＳＶＭ（図示せず）に入力
される。ステップ１０５で、ＳＶＭがこの入力データに
対して訓練され、ステップ１１０で、ＳＶＭはサポート
ベクトルのセットを生成する。ステップ１３５で、縮小
セットベクトルの数が選択される。ステップ１１５で、
無制約最適化法（前述）を用い、ステップ１２０で縮小
セットベクトルを生成する。ステップ１２５で、この縮
小セットベクトルを用いて、サンプルデータのセット
（図示せず）を試験する。ステップ１３０で、この試験
の結果を評価する。試験結果が（例えば速度および精度
に関して）受容可能な場合、この縮小セットベクトルが
以後利用される。試験結果が受容可能でない場合、縮小
セットベクトルを決定するプロセスを再び実行する。
（後者の場合、注意すべき点であるが、（例えば速度あ
るいは精度に関する）試験結果は、縮小セットベクトル
の数をさらに少なくすることを示唆する可能性もあ
る。）
【００５５】縮小セットベクトルが決定されると、ＳＶ
Ｍで利用可能となる。この縮小セットベクトルを試験段
階で使用する方法を図４に示す。ステップ２１５で、試
験セットからの入力データベクトルがＳＶＭに送られ
る。ステップ２２０で、ＳＶＭは、縮小セットベクトル
を核のパラメータとして用いて、試験セットの入力デー
タベクトルを多次元空間に写像することにより変換す
る。ステップ２２５で、ＳＶＭは、判定面から、各入力
データベクトルの帰属状態を示す分類信号を生成する。
【００５６】上記のように、ｍ個の縮小セットベクトル
が縮小セット内にある。これらの縮小セットベクトル
は、図３に示した上記の訓練段階で決定される。速度お
よび精度のデータが、ｍ個より少ない縮小セットベクト
ルを使用することも可能であることを示唆する場合、別
のアプローチを用いて、新たなさらに小さい縮小セット
ベクトルのセットを再計算する必要を回避することが可
能である。特に、ｘ＜ｍとして、ｘ個の縮小セットベク
トルは、ｍ個の縮小セットベクトルのセットから選択さ
れる。この場合、いくつ（ｘ）の縮小セットベクトルを
使用するかの決定は、例えば、訓練段階で生成された速
度および精度のデータを用いて経験的に行われる。しか
し、これらの縮小セットベクトルの値を再計算する必要
はない。
【００５７】パターン認識の場合の、本発明の考え方の
実施例を図５に示す。パターン認識システム１００は、
プロセッサ１０５および認識器１１０からなり、認識器
１１０は、データ入力要素１１５、およびＳＶＭ１２０
からなる。本発明の考え方以外には、図５の要素は周知
であるため、詳細には説明しない。例えば、データ入力
要素１１５は、分類するための入力データをＳＶＭ１２
０へ送る。データ入力要素１１５の一例はスキャナであ
る。この場合、入力データは画像のピクセル表現（図示
せず）である。ＳＶＭ１２０は、本発明の原理に従って
縮小セットベクトルを用いて入力データに作用する。動
作（試験）中、ＳＶＭ１２０は、入力データの分類を表
す数値結果を、後続の処理のためにプロセッサ１０５に
送る。プロセッサ１０５は、例えば、メモリを伴うマイ
クロプロセッサのような蓄積プログラム制御プロセッサ
である。プロセッサ１０５は、さらに、例えば自動預払
機（ＡＴＭ）などにおける認識器１１０の出力信号を処
理する。
【００５８】図５のシステムは２つのモード、すなわ
ち、訓練モードおよび動作（試験）モードで動作する。
訓練モードの例は、図３に示される上記の方法である。
試験モードの例は、図４に示される上記の方法である。
【００５９】以上、本発明について説明したが、当業者
には認識されるように、本発明の技術的範囲内でさまざ
まな変形例を考えることができる。例えば、本発明の考
え方は、サポートベクトル機械以外の、核に基づく方法
にも適用可能であり、例えば、回帰推定、密度評価など
にも使用可能であるが、これらに限定されるものではな
い。
【００６０】
【発明の効果】以上述べたごとく、本発明によれば、与
えられたベクトルのセットを試験段階で用いるために高
次元空間に写像するアルゴリズムを用いた機械の効率を
改善する方法および装置が実現される。本発明の特徴に
よれば、縮小セットベクトルの選択により、性能対計算
量のトレードオフを直接制御することが可能となる。さ
らに、本発明の考え方はパターン認識に固有ではなく、
サポートベクトルアルゴリズムが用いられるような任意
の問題（例えば、回帰推定）に適用可能である。
【図面の簡単な説明】
【図１】従来技術のＳＶＭの動作の流れ図である。
【図２】代表サポートベクトルにより訓練データを２つ
のクラスに分離する一般的な図である。
【図３】本発明の原理に従ってＳＶＭシステムを訓練す
る例示的な方法の図である。
【図４】本発明の原理に従ってＳＶＭシステムを動作さ
せる例示的な方法の図である。
【図５】本発明の原理を実現する認識システムの一部の
ブロック図である。
【符号の説明】
１００ パターン認識システム １０５ プロセッサ １１０ 認識器 １１５ データ入力要素 １２０ ＳＶＭ
───────────────────────────────────────────────────── フロントページの続き (71)出願人 596077259 600 Ｍｏｕｎｔａｉｎ Ａｖｅｎｕｅ, Ｍｕｒｒａｙ Ｈｉｌｌ， Ｎｅｗ Ｊｅ ｒｓｅｙ 07974−0636Ｕ．Ｓ．Ａ.

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 入力データ信号を受け取るステップと、 前記入力データ信号に作用可能なサポートベクトル機械
    を用いて出力信号を生成するステップとからなる、サポ
    ートベクトル機械を使用する方法において、 前記サポートベクトル機械は縮小セットベクトルを利用
    し、 前記縮小セットベクトルは、同次２次核に用いられる固
    有値計算以外の最適化法を用いて訓練段階中にあらかじ
    め決定されたものであることを特徴とする、サポートベ
    クトル機械を使用する方法。
  2. 【請求項２】 前記訓練段階は、 訓練セットの要素を受け取るステップと、 ＮS個のサポートベクトルからなるサポートベクトルセ
    ットを生成するステップと、 ｍ≦ＮSとして、縮小セットベクトルの数ｍを選択する
    ステップと、 無制約最適化法を用いてｍ個の縮小セットベクトルを生
    成するステップとからなることを特徴とする請求項１に
    記載の方法。
  3. 【請求項３】 前記最適化法は無制約最適化法であるこ
    とを特徴とする請求項１に記載の方法。
  4. 【請求項４】 前記入力データ信号は相異なるパターン
    を表し、前記出力信号は、該相異なるパターンの分類を
    表すことを特徴とする請求項１に記載の方法。
  5. 【請求項５】 前記訓練段階は、 前記サポートベクトル機械を訓練してサポートベクトル
    の数ＮSを決定するステップと、 ｍ≦ＮSとして、無制約最適化法を用いて、ｍ個の縮小
    セットベクトルを決定するステップとからなることを特
    徴とする請求項１に記載の方法。
  6. 【請求項６】 入力データ信号を提供するデータ入力要
    素と、 前記入力データ信号に作用して少なくとも１つの出力信
    号を生成するサポートベクトル機械とからなる装置にお
    いて、 前記サポートベクトル機械は、同次２次核に用いられる
    固有値計算以外の最適化法を用いてあらかじめ決定され
    た縮小セットベクトルを用いて前記入力データ信号に作
    用することを特徴とする、サポートベクトル機械を用い
    た装置。
  7. 【請求項７】 前記データ入力要素は、該データ入力要
    素に入力された複数の画像を表す入力データ信号を提供
    することを特徴とする請求項６に記載の装置。
  8. 【請求項８】 前記少なくとも１つの出力信号は、各画
    像の分類を表すことを特徴とする請求項７に記載の装
    置。
  9. 【請求項９】 前記縮小セットベクトルの数はサポート
    ベクトルの数より少ないことを特徴とする請求項６に記
    載の装置。
  10. 【請求項１０】 前記最適化法は無制約最適化法である
    ことを特徴とする請求項６に記載の装置。
  11. 【請求項１１】 前記縮小セットベクトルは、前記無制
    約最適化法を用いて前記サポートベクトル機械を訓練し
    ている間にあらかじめ決定されることを特徴とする請求
    項１０に記載の装置。
JP10169787A 1997-06-26 1998-06-17 サポートベクトル機械を使用する方法 Pending JPH1173406A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/883193 1997-06-26
US08/883,193 US6134344A (en) 1997-06-26 1997-06-26 Method and apparatus for improving the efficiency of support vector machines

Publications (1)

Publication Number Publication Date
JPH1173406A true JPH1173406A (ja) 1999-03-16

Family

ID=25382151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10169787A Pending JPH1173406A (ja) 1997-06-26 1998-06-17 サポートベクトル機械を使用する方法

Country Status (4)

Country Link
US (1) US6134344A (ja)
EP (1) EP0887761A3 (ja)
JP (1) JPH1173406A (ja)
CA (1) CA2238164A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073076A (ja) * 2000-09-04 2002-03-12 Sumitomo Metal Ind Ltd パターン認識方法、パターン認識装置及び記録媒体
JP2003500766A (ja) * 1999-05-25 2003-01-07 スティーヴン ディー． バーンヒル、 複数支援ベクトルマシンを使用した複数データセットからの知識発見の増強
JP2004021590A (ja) * 2002-06-17 2004-01-22 Fujitsu Ltd データ分類装置、データ分類装置の能動学習方法及び能動学習プログラム
JP2004536367A (ja) * 2001-01-23 2004-12-02 バイオウルフ テクノロジーズ エルエルスィー コンピュータ利用画像分析
JP2005530271A (ja) * 2002-06-19 2005-10-06 マーズ　インコーポレイテッド 貨幣評価装置
JP2005352997A (ja) * 2004-06-14 2005-12-22 Central Res Inst Of Electric Power Ind 事例データベースの構築方法、判別装置の学習方法、データ判別支援装置、データ判別支援プログラム
JP2006221607A (ja) * 2005-01-13 2006-08-24 Univ Chuo 判別分析を行う方法、プログラム及び装置
JP2007528622A (ja) * 2003-06-27 2007-10-11 ケーティー・コーポレーション ファジー基盤特性支援ベクターを利用した動画自動要約装置及び方法
JP2008533486A (ja) * 2005-03-16 2008-08-21 エルジー・ケム・リミテッド バッテリーの充電状態を推定する装置及び方法
JP2010120621A (ja) * 2008-10-20 2010-06-03 Sumitomo Rubber Ind Ltd タイヤ空気圧低下検出装置および方法、ならびにタイヤの空気圧低下検出プログラム

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157921A (en) * 1998-05-01 2000-12-05 Barnhill Technologies, Llc Enhancing knowledge discovery using support vector machines in a distributed network environment
ATE281178T1 (de) * 1997-07-25 2004-11-15 Altana Pharma Ag Protonenpumpenhemmer als kombinationstherapeutika mit antibakterielle wirkenden substanzen
US6789069B1 (en) * 1998-05-01 2004-09-07 Biowulf Technologies Llc Method for enhancing knowledge discovered from biological data using a learning machine
US7805388B2 (en) * 1998-05-01 2010-09-28 Health Discovery Corporation Method for feature selection in a support vector machine using feature ranking
US7318051B2 (en) * 2001-05-18 2008-01-08 Health Discovery Corporation Methods for feature selection in a learning machine
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US7117188B2 (en) * 1998-05-01 2006-10-03 Health Discovery Corporation Methods of identifying patterns in biological systems and uses thereof
US6658395B1 (en) * 1998-05-01 2003-12-02 Biowulf Technologies, L.L.C. Enhancing knowledge discovery from multiple data sets using multiple support vector machines
US7475048B2 (en) * 1998-05-01 2009-01-06 Health Discovery Corporation Pre-processed feature ranking for a support vector machine
US7529756B1 (en) * 1998-07-21 2009-05-05 West Services, Inc. System and method for processing formatted text documents in a database
US7778954B2 (en) 1998-07-21 2010-08-17 West Publishing Corporation Systems, methods, and software for presenting legal case histories
GB2344446A (en) 1998-12-02 2000-06-07 Mars Inc Classifying currency items
US6714925B1 (en) * 1999-05-01 2004-03-30 Barnhill Technologies, Llc System for identifying patterns in biological data using a distributed network
US6337927B1 (en) * 1999-06-04 2002-01-08 Hewlett-Packard Company Approximated invariant method for pattern detection
US6633857B1 (en) * 1999-09-04 2003-10-14 Microsoft Corporation Relevance vector machine
US7970718B2 (en) * 2001-05-18 2011-06-28 Health Discovery Corporation Method for feature selection and for evaluating features identified as significant for classifying data
IT1320956B1 (it) * 2000-03-24 2003-12-18 Univ Bologna Metodo, e relativa apparecchiatura, per la rilevazione automatica dimicrocalcificazioni in segnali digitali di tessuto mammario.
AUPQ684400A0 (en) * 2000-04-11 2000-05-11 Telstra R & D Management Pty Ltd A gradient based training method for a support vector machine
AU4815301A (en) * 2000-04-11 2001-10-23 Telstra New Wave Pty Ltd A gradient based training method for a support vector machine
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
US7624074B2 (en) * 2000-08-07 2009-11-24 Health Discovery Corporation Methods for feature selection in a learning machine
US6804391B1 (en) * 2000-11-22 2004-10-12 Microsoft Corporation Pattern detection methods and systems, and face detection methods and systems
DE60033535T2 (de) 2000-12-15 2007-10-25 Mei, Inc. Geldechtheitsprüfer
WO2002082224A2 (en) * 2001-04-04 2002-10-17 West Publishing Company System, method, and software for identifying historically related legal opinions
US7395253B2 (en) * 2001-06-18 2008-07-01 Wisconsin Alumni Research Foundation Lagrangian support vector machine
US6633829B2 (en) * 2001-07-26 2003-10-14 Northrop Grumman Corporation Mechanical rotation axis measurement system and method
US6591598B2 (en) 2001-10-01 2003-07-15 Macdon Industries Ltd. Crop harvesting header with cam controlled movement of the reel fingers
NZ515527A (en) * 2001-11-15 2003-08-29 Auckland Uniservices Ltd Method, apparatus and software for lossy data compression and function estimation
US6944616B2 (en) * 2001-11-28 2005-09-13 Pavilion Technologies, Inc. System and method for historical database training of support vector machines
US20030130899A1 (en) * 2002-01-08 2003-07-10 Bruce Ferguson System and method for historical database training of non-linear models for use in electronic commerce
US7010167B1 (en) 2002-04-30 2006-03-07 The United States Of America As Represented By The National Security Agency Method of geometric linear discriminant analysis pattern recognition
WO2003107323A1 (en) * 2002-06-13 2003-12-24 Cerisent Corporation A subtree-structured xml database
EP1552427A4 (en) * 2002-06-13 2009-12-16 Mark Logic Corp PARENT-CHILD QUERY INDEX FOR XML DATA BANKS
US7127469B2 (en) * 2002-06-13 2006-10-24 Mark Logic Corporation XML database mixed structural-textual classification system
US7146050B2 (en) * 2002-07-19 2006-12-05 Intel Corporation Facial classification of static images using support vector machines
US7174040B2 (en) * 2002-07-19 2007-02-06 Intel Corporation Fast method for training and evaluating support vector machines with a large set of linear features
US6871105B2 (en) * 2002-09-26 2005-03-22 General Electric Company Methods and apparatus for reducing hyperplanes in a control space
US20040259764A1 (en) * 2002-10-22 2004-12-23 Stuart Tugendreich Reticulocyte depletion signatures
US7396645B1 (en) 2002-12-17 2008-07-08 Entelos, Inc. Cholestasis signature
US7778782B1 (en) 2002-12-17 2010-08-17 Entelos, Inc. Peroxisome proliferation activated receptor alpha (PPARα) signatures
US7422854B1 (en) 2002-12-20 2008-09-09 Entelos, Inc. Cholesterol reduction signature
US7519519B1 (en) 2002-12-20 2009-04-14 Entelos, Inc. Signature projection score
US6803933B1 (en) 2003-06-16 2004-10-12 Hewlett-Packard Development Company, L.P. Systems and methods for dot gain determination and dot gain based printing
WO2005017807A2 (en) * 2003-08-13 2005-02-24 Iconix Pharmaceuticals, Inc. Apparatus and method for classifying multi-dimensional biological data
US7421417B2 (en) * 2003-08-28 2008-09-02 Wisconsin Alumni Research Foundation Input feature and kernel selection for support vector machine classification
US7478074B2 (en) * 2003-10-31 2009-01-13 The University Of Queensland Support vector machine
US20050197981A1 (en) * 2004-01-20 2005-09-08 Bingham Clifton W. Method for identifying unanticipated changes in multi-dimensional data sets
US7609893B2 (en) * 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
WO2006001896A2 (en) * 2004-04-26 2006-01-05 Iconix Pharmaceuticals, Inc. A universal gene chip for high throughput chemogenomic analysis
WO2005124650A2 (en) * 2004-06-10 2005-12-29 Iconix Pharmaceuticals, Inc. Sufficient and necessary reagent sets for chemogenomic analysis
US7588892B2 (en) * 2004-07-19 2009-09-15 Entelos, Inc. Reagent sets and gene signatures for renal tubule injury
US20060112026A1 (en) * 2004-10-29 2006-05-25 Nec Laboratories America, Inc. Parallel support vector method and apparatus
AU2006201849A1 (en) * 2005-05-03 2006-11-23 Tangam Gaming Technology Inc. Gaming object position analysis and tracking
US7406450B2 (en) * 2005-09-28 2008-07-29 Nec Laboratories America, Inc. Spread kernel support vector machine
US20070198653A1 (en) * 2005-12-30 2007-08-23 Kurt Jarnagin Systems and methods for remote computer-based analysis of user-provided chemogenomic data
US7840060B2 (en) 2006-06-12 2010-11-23 D&S Consultants, Inc. System and method for machine learning using a similarity inverse matrix
US20100021885A1 (en) * 2006-09-18 2010-01-28 Mark Fielden Reagent sets and gene signatures for non-genotoxic hepatocarcinogenicity
US8311341B1 (en) 2006-11-29 2012-11-13 D & S Consultants, Inc. Enhanced method for comparing images using a pictorial edit distance
US8364617B2 (en) * 2007-01-19 2013-01-29 Microsoft Corporation Resilient classification of data
US7873583B2 (en) * 2007-01-19 2011-01-18 Microsoft Corporation Combining resilient classifiers
US7899652B2 (en) * 2007-08-31 2011-03-01 Toyota Motor Engineering & Manufacturing North America, Inc. Linear programming support vector regression with wavelet kernel
US7961952B2 (en) * 2007-09-27 2011-06-14 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting and tracking objects in images
US8315956B2 (en) * 2008-02-07 2012-11-20 Nec Laboratories America, Inc. System and method using hidden information
CN101504781B (zh) * 2009-03-10 2011-02-09 广州广电运通金融电子股份有限公司 有价文件识别方法及装置
US8401239B2 (en) * 2009-03-30 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Object tracking with regressing particles
US8351712B2 (en) 2009-04-27 2013-01-08 The Neilsen Company (US), LLC Methods and apparatus to perform image classification based on pseudorandom features
WO2011148366A1 (en) 2010-05-26 2011-12-01 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
EP2442258B1 (en) * 2010-10-18 2018-12-05 Harman Becker Automotive Systems GmbH Method of generating a classification data base for classifying a traffic sign and device and method for classifying a traffic sign
KR101729976B1 (ko) * 2011-06-09 2017-04-25 한국전자통신연구원 영상 인식 장치 및 그것의 영상 인식 방법
US8738271B2 (en) 2011-12-16 2014-05-27 Toyota Motor Engineering & Manufacturing North America, Inc. Asymmetric wavelet kernel in support vector learning
JP6017335B2 (ja) * 2013-02-06 2016-10-26 株式会社東芝 パターン認識装置、その方法、及び、そのプログラム
US9405959B2 (en) 2013-03-11 2016-08-02 The United States Of America, As Represented By The Secretary Of The Navy System and method for classification of objects from 3D reconstruction
CN103577690A (zh) * 2013-10-29 2014-02-12 西安电子科技大学 一种稀疏非参数身体域信道概率表征方法
EP3123468A1 (en) * 2014-03-28 2017-02-01 Intel IP Corporation Training classifiers using selected cohort sample subsets
US9600231B1 (en) * 2015-03-13 2017-03-21 Amazon Technologies, Inc. Model shrinking for embedded keyword spotting
US10685289B2 (en) * 2015-06-05 2020-06-16 Intel Corporation Techniques for improving classification performance in supervised learning
RU2737720C1 (ru) * 2019-11-20 2020-12-02 Общество с ограниченной ответственностью "Аби Продакшн" Извлечение полей с помощью нейронных сетей без использования шаблонов
CN111476709B (zh) * 2020-04-09 2023-04-07 广州方硅信息技术有限公司 人脸图像处理方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4259661A (en) * 1978-09-01 1981-03-31 Burroughs Corporation Apparatus and method for recognizing a pattern
US4661913A (en) * 1984-09-11 1987-04-28 Becton, Dickinson And Company Apparatus and method for the detection and classification of articles using flow cytometry techniques
US5355088A (en) * 1991-04-16 1994-10-11 Schlumberger Technology Corporation Method and apparatus for determining parameters of a transition zone of a formation traversed by a wellbore and generating a more accurate output record medium
JP2632753B2 (ja) * 1991-05-02 1997-07-23 三菱電機株式会社 読出専用半導体メモリ装置
ES2150431T3 (es) * 1992-06-19 2000-12-01 United Parcel Service Inc Metodo y dispositivo para la clasificacion que utiliza una red neuronal.
US5546472A (en) * 1992-08-07 1996-08-13 Arch Development Corp. Feature guided method and apparatus for obtaining an image of an object
US5647058A (en) * 1993-05-24 1997-07-08 International Business Machines Corporation Method for high-dimensionality indexing in a multi-media database
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US5577135A (en) * 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
US5479523A (en) * 1994-03-16 1995-12-26 Eastman Kodak Company Constructing classification weights matrices for pattern recognition systems using reduced element feature subsets
US5872865A (en) * 1995-02-08 1999-02-16 Apple Computer, Inc. Method and system for automatic classification of video images

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500766A (ja) * 1999-05-25 2003-01-07 スティーヴン ディー． バーンヒル、 複数支援ベクトルマシンを使用した複数データセットからの知識発見の増強
JP2002073076A (ja) * 2000-09-04 2002-03-12 Sumitomo Metal Ind Ltd パターン認識方法、パターン認識装置及び記録媒体
JP2004536367A (ja) * 2001-01-23 2004-12-02 バイオウルフ テクノロジーズ エルエルスィー コンピュータ利用画像分析
JP2004021590A (ja) * 2002-06-17 2004-01-22 Fujitsu Ltd データ分類装置、データ分類装置の能動学習方法及び能動学習プログラム
JP2005530271A (ja) * 2002-06-19 2005-10-06 マーズ　インコーポレイテッド 貨幣評価装置
US7648016B2 (en) 2002-06-19 2010-01-19 Mei, Inc. Currency validator
JP2007528622A (ja) * 2003-06-27 2007-10-11 ケーティー・コーポレーション ファジー基盤特性支援ベクターを利用した動画自動要約装置及び方法
US8238672B2 (en) 2003-06-27 2012-08-07 Kt Corporation Apparatus and method for automatic video summarization using fuzzy one-class support vector machines
JP2005352997A (ja) * 2004-06-14 2005-12-22 Central Res Inst Of Electric Power Ind 事例データベースの構築方法、判別装置の学習方法、データ判別支援装置、データ判別支援プログラム
JP2006221607A (ja) * 2005-01-13 2006-08-24 Univ Chuo 判別分析を行う方法、プログラム及び装置
JP2008533486A (ja) * 2005-03-16 2008-08-21 エルジー・ケム・リミテッド バッテリーの充電状態を推定する装置及び方法
JP2010120621A (ja) * 2008-10-20 2010-06-03 Sumitomo Rubber Ind Ltd タイヤ空気圧低下検出装置および方法、ならびにタイヤの空気圧低下検出プログラム

Also Published As

Publication number Publication date
US6134344A (en) 2000-10-17
EP0887761A2 (en) 1998-12-30
CA2238164A1 (en) 1998-12-26
EP0887761A3 (en) 1999-02-24

Similar Documents

Publication Publication Date Title
JPH1173406A (ja) サポートベクトル機械を使用する方法
Guo et al. Accelerating large-scale inference with anisotropic vector quantization
Cho et al. Riemannian approach to batch normalization
Burges Simplified support vector decision rules
Crammer et al. On the learnability and design of output codes for multiclass problems
US6327581B1 (en) Methods and apparatus for building a support vector machine classifier
McCann et al. Local naive bayes nearest neighbor for image classification
US5649068A (en) Pattern recognition system using support vectors
US8108324B2 (en) Forward feature selection for support vector machines
Zhang et al. Simplifying mixture models through function approximation
Roth Probabilistic discriminative kernel classifiers for multi-class problems
US8135652B2 (en) Parallel support vector method and apparatus
US7778949B2 (en) Method and apparatus for transductive support vector machines
US20020039446A1 (en) Pattern recognition based on piecewise linear probability density function
Fritsch et al. The bucket box intersection (BBI) algorithm for fast approximative evaluation of diagonal mixture Gaussians
US6701016B1 (en) Method of learning deformation models to facilitate pattern matching
JP2010039778A (ja) 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
Chouaib et al. Feature selection combining genetic algorithm and adaboost classifiers
EP0574936A2 (en) Method and apparatus for input classification using non-spherical neurons
JP2002230551A (ja) 確率密度関数を用いたパターン認識装置および方法
US20050273447A1 (en) Support vector classification with bounded uncertainties in input data
Dahmen et al. Discriminative training of Gaussian mixtures for image object recognition
CN113487027B (zh) 基于时序对齐预测的序列距离度量方法、存储介质及芯片
Li et al. Strangeness based feature selection for part based recognition
Bukowski et al. SuperNet--An efficient method of neural networks ensembling

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees