JP5506569B2

JP5506569B2 - サポートベクトルマシンの再学習方法及び装置

Info

Publication number: JP5506569B2
Application number: JP2010148052A
Authority: JP
Inventors: 一則松本; 康弘滝嶋
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI R&D Laboratories Inc
Priority date: 2010-06-29
Filing date: 2010-06-29
Publication date: 2014-05-28
Anticipated expiration: 2030-06-29
Also published as: JP2012014270A

Description

本発明はサポートベクトルマシンの再学習方法及び装置に関し、特に摂動を利用して識別性能の向上と演算量の削減を図ることができるサポートベクトルマシンの再学習方法及び装置に関する。

非線形識別の能力を持つサポートベクトルマシン（SVM）は、学習を用いた主として２値分類問題に対応するデータ分類方法である。SVMは未学習データに対する高い汎化性能を持つことから、音声、文字、図形及びパターンの認識といったような種々の判別問題に適用されている。非特許文献１では、半自動学習（semi-supervised learning）と呼ばれる従来技術をSVMに適用する場合の拡張手法が述べられている。具体的には、既知のラベル付サンプル集合から構築した学習器を使って、アンラベルのサンプルにラベルを自動付与し、このラベル付与が適切であることを前提に、さらなる学習（「再学習」と呼ぶ）を行い、識別器の性能向上を目指す。

また、特許文献１では、既知のラベルを有する初期学習用訓練サンプルに対し、ラベル判定に影響しないように該当サンプルの特徴量を微小変化させ（「摂動」と呼ぶ）、ラベルに対する信頼性が高い学習用サンプルを生成する。ラベル判定に影響を与えない摂動の方法として、同特許文献１では、ショット境界検出における明度変換やコントラスト変換を例に挙げている。この新たに生成した学習用サンプルは識別器の性能向上のために再学習に使用される。

特開２００９−２１７３４８号公報

日本オペレーションズ・リサーチ学会「SVMを基にしたSemi-Supervised Learning」日本オペレーションズ・リサーチ学会秋期研究発表会アブストラクト集、Vol.2005(20050914) pp.32-33

通常の半自動学習では、再学習のために追加するサンプルのラベルは、再学習前の識別器が付与するために誤っている可能性がある。このため、非特許文献１の手法の場合、誤ってラベル付けされたものを含むサンプルで再学習を行い、再学習後の性能が十分に向上しないという問題が生じる。また、非特許文献１が提示した手法では、追加するサンプル数が膨大になり、再学習が非常に困難になるといった問題もある。

特許文献１では、ラベル判定に影響しないように該当サンプルの特徴量を微小変化させる発明が提案され。実際、同文献の実施例では、学習に使用する映像データから抽出したオリジナルの特徴量に対し、映像自体に明度やコントラストの変換を行い、オリジナルと同じラベルを持つ新たな特徴量を生成している。特許文献１で示された手法の場合、学習対象となっている問題毎に具体的な摂動手段を設計し、実装する必要があった。

本発明の目的は、前記した従来技術の課題に鑑み、訓練サンプルの摂動を学習対象の問題によらずに行うことができるサポートベクトルマシンの再学習方法及び装置を提供することにある。

前記した目的を達成するため、本発明は、サポートベクトルマシンの再学習方法であって、既知のラベルを有する初期学習用訓練サンプルを用いてサポートベクトルマシン（SVM）を初期学習する段階と、前記初期学習の結果を用いて前記初期学習用訓練サンプルから追加対象サンプルを選択し、該追加対象サンプルの各々に対して当該サンプルの近傍サンプルに基づいて摂動処理を施して新たに追加用訓練サンプルを生成する段階と、前記初期学習用訓練サンプルと前記追加用訓練サンプルとを用いて前記初期学習されたSVMを再学習する段階とを備えること第１の特徴とする。

また、前記近傍サンプルは、前記追加対象サンプルの各々に対して、当該サンプルのラベルと同一の前記既知のラベルを有する前記初期学習用訓練サンプルのうち、当該サンプルとの原空間での距離の近さの順位が上位から所定数以内のサンプルであり、前記摂動処理は当該サンプルと前記近傍サンプルとの原空間における位置関係に基づいた処理であることを第２の特徴とする。

また、前記摂動処理は前記近傍サンプルの重心と当該サンプルとを結ぶ直線上で当該重心から当該サンプルを所定割合遠ざける処理であることを第３の特徴とする。

また、前記追加対象サンプルは、前記初期学習用訓練サンプルのうち前記初期学習によってサポートベクトルであると判別されたサンプルを選択することを第４の特徴とする。

さらに、前記追加対象サンプルは、前記初期学習用訓練サンプルのうち前記初期学習によってサポートベクトルであり且つソフトマージン超平面上に存在すると判別されたサンプルを選択することを第５の特徴とする。

また、前記した目的を達成するため、本発明は、サポートベクトルマシンの再学習装置であって、既知のラベルを有する初期学習用訓練サンプルを保存する訓練サンプル保存部と、前記初期学習用訓練サンプルを読み込んでサポートベクトルマシン（SVM）を初期学習するSVM学習部と、前記初期学習の結果を用いて前記初期学習用訓練サンプルから追加対象サンプルを選択し、該追加対象サンプルの各々に対して当該サンプルの近傍サンプルに基づいて摂動処理を施して新たに追加用訓練サンプルを生成する摂動部と、学習されたSVMの設定を保存するSVM設定保存部を備え、前記SVM学習部がさらに、前記初期学習用訓練サンプルと前記追加用訓練サンプルとを用いて前記初期学習されたSVMを再学習し、当該再学習されたSVMの設定をSVM設定保存部に保存することを第６の特徴とする。

前記第１、２及び３の特徴によれば、個々の追加対象サンプルの近傍サンプルに基づいて摂動の方向と移動量を決定することができるため、摂動処理を一般化することができる。つまり、学習対象となっている問題毎に具体的な摂動方法を設計する必要がなくなる。また、当該摂動処理を用いてSVMを再学習することでSVMの再学習の効率を高めることができる。

前記第４の特徴によればさらに、再学習の対象となるサンプルの数が少なくて済み、再学習の処理に必要な計算量が削減できる。

前記第５の特徴によればさらに、再学習の精度を向上させることができる。

前記第６の特徴によれば、個々の追加対象サンプルの近傍サンプルに基づいて摂動の方向と移動量を決定することができるため、摂動処理を一般化することができる。つまり、学習対象となっている問題毎に具体的な摂動手段を設計する必要がなくなる。また当該摂動処理を用いてSVMを再学習することでSVMの再学習の効率を高めることができる。

本願発明に係るサポートベクトルマシン再学習方法のフロー図である。本願発明に係るサポートベクトルマシン再学習装置の構成図である。サポートベクトルマシンの写像空間における分離超平面、ソフトマージン超平面およびそれら超平面付近のサンプルの位置関係を模式的に示す図である。本願発明に係る摂動方法のフロー図である。本願発明に係る摂動方法を模式的に説明する図である。初期学習によりサポートベクトルが判別された初期学習用サンプルの分布の例を示す図である。

以下に、図面を参照して本発明を詳細に説明する。図１は本発明の一実施形態におけるサポートベクトルマシン再学習方法のフローチャートであり、図２は図１の方法に対応するサポートベクトルマシン再学習装置の構成ブロック図である。

図２に示すように、本発明の一実施形態におけるサポートベクトルマシン再学習装置は訓練サンプル保存部１、ＳＶＭ学習部２、摂動部３及びＳＶＭ設定保存部４を備える。次にこれらの各構成ブロックの動作を、図１と共に説明する。サポートベクトルマシンの再学習方法を開始すると、まずステップＳ１において初期学習訓練用サンプルの集合を用意して、訓練サンプル保存部１に保存する。初期学習用訓練サンプルは、人的作業等によって既知のクラスラベル｛y_1, y₂, y₃, ..., y_m｝を与えたデータ{x₁, x₂, x₃, ..., x_m}を用意する。すなわちインデクスi番目のデータx_iの属するクラスがy_iであり、データx_iはサポートベクトルマシンを適用する各種の分類問題に応じてベクトル形式で与えられ、その属するクラスも分類問題に応じて設定されるが、ここでは２値分類問題を考え、慣例に従いy_i=−１又は＋１でクラス分けを具体的な各問題によらない一般的な形で表現するものとする。また初期学習用訓練サンプルのデータ総数がm（ｍは正の整数）である。

ステップＳ２では訓練用サンプル保存部１に保存された初期学習用訓練サンプルをＳＶＭ学習部２が読み込んでＳＶＭを初期学習（パイロット学習）する。この処理によって、初期学習されたＳＶＭ（１）が得られ、ラベル付与されていないデータに対するクラス分けが可能な状態となるが、精度を上げるためにステップＳ２以降の処理を続ける。またステップＳ２の処理によって初期学習用訓練サンプルに対応したパラメータ（α値、α={α₁, α₂, α₃, ..., α_m}）が得られる。データx_iのインデクスiに対応するα_iは周知のLagrange乗数などであって、全データをステップＳ１で与えた既知ラベルに従ってクラス分けできるようにステップＳ２において写像空間上で定めた分離超平面と、各データx_iと、の位置関係に対応する値である。図３を参照して後述するように当該α値により各データがサポートベクトルであるか否か等の情報が得られる。

ステップＳ３では摂動部３が、ステップＳ２における初期学習の結果すなわち、全データ{x_i | i=1,2, ...,m}並びに対応する既知ラベル{y_i | i=1,2, ...,m}及びα値{α_i | i=1,2, ..., m}、等を用いて、まず追加対象サンプルを初期学習用訓練サンプルの中から選択する。該選択の各実施形態については後述する。またステップＳ３では摂動部３がさらに、選択した追加対象サンプルに対して摂動処理を施して新たに追加用訓練サンプルとする。なお追加用訓練サンプルとは初期学習用訓練サンプル中から選択された追加対象サンプルに摂動処理を施して新たに生じたサンプルであり、初期学習用訓練サンプル自体は摂動処理を受けない元のデータのままで残っている。

該摂動処理を施すことにより、追加用訓練サンプルはベクトル形式のデータ部分が摂動を受けて、初期学習用サンプルから選択された追加対象サンプルのデータから変更される。しかし追加用訓練サンプルのラベルは初期学習用サンプルにおいて与えられた既知ラベルのまま不変である。よってこうして得られる追加用訓練サンプルの各々は摂動されたベクトル形式データと既知ラベルからなる。該摂動処理は追加対象サンプルの各々に対して近傍サンプルを求め、それらの間の原空間における位置関係に基づいた処理であるが詳細については後述する。

ステップＳ４ではSVM学習部２が、初期学習用訓練サンプル及びステップＳ３で得られた追加用訓練サンプルを用いてＳＶＭを再学習し、再学習後のＳＶＭ（２）を生成する。再学習後のSVM（２）の設定はＳＶＭ設定保存部４に保存され、当該設定を用いることでラベル付与されていない未知データをＳＶＭ（２）によってクラス分けすることができるようになる。

なおＳＶＭ学習部２におけるステップＳ２の初期学習とステップＳ４の再学習とは用いる学習用サンプルが異なるのみであり、処理自体（後述の分類関数の種類や用いるカーネル、設定パラメータなど）は同じである。本願発明における再学習とは、このように初期学習と同一の処理を、初期学習用訓練サンプルにさらに追加用訓練サンプルを追加して行うことを意味している。こうした対応関係を、初期学習されたSVMを再学習する、のように表現するものとする。

すなわち再学習では、初期学習で用いたのと同一のm個の初期学習用訓練サンプルと、ステップＳ３で新たに得られた追加用訓練サンプル（ｎ個とする。n≦mである。）との合計ｍ＋ｎ個のサンプルを用いて学習を行う。当該ｍ＋ｎ個のサンプルに対して定まった分離超平面（初期学習で定まった分離超平面とは一般に異なる）と各サンプルとの位置関係に応じて、ステップＳ２での説明と同様のα値も求まる。

次にステップＳ３で摂動部３が初期学習用サンプルの中から追加対象サンプルを選択する各実施形態につき説明する。第１実施形態では初期学習用サンプルの全てを追加対象サンプルとして選ぶ。別実施形態では前述のステップＳ２で得られたα値に基づいて摂動部３は追加対象サンプルを選択するので、まずα値についてＳＶＭ学習部２での関連事項と共に簡単に説明する。

ＳＶＭ学習部２におけるステップＳ２の初期学習では、多少の認識誤りを許容して線形分離を行うソフトマージンによる学習を行い、α値などを定めて、ラベル付与されていない未知データxのクラスラベルを＋１または−１という値として与える以下の分類関数Φ(x)が得られる。（なお前述のように再学習においても処理自体は同様でソフトマージンを用いる。）

ここで各α値すなわちα_iは、０≦α_i≦Cであり、
Ｃはソフトマージン用のハイパーパラメータ、
ｂはバイアス、x_iは初期学習用訓練サンプルの各データ、
Ｎは初期学習用訓練サンプル総数（N=前述のm）、
yi（＝＋１または−１）は既知のクラスラベルである。
ｋ（ｘ_ｉ，ｘ_ｊ）は、カーネル関数であり、ガウスカーネルだと、
ｋ（ｘ_ｉ，ｘ_ｊ）＝exp｛−γ・‖ｘ_ｉ−ｘ_ｊ‖｝となる。

ここでα値（各α_i）と対応する初期学習用サンプルのデータx_iの写像空間における位置との関係を図３を用いて説明する。図３は上述のようなソフトマージンを用いた学習により写像空間上に定まった分離超平面（境界面）と、ソフトマージン超平面と、それら超平面上および付近に存在する各クラスに別れたサンプル（学習事例）との位置関係を示す図である。

α＝０に対応するサンプルはサポートベクトルではないサンプルであり、図３で□（y=1のクラス）及び○（y=−1のクラス）として示されているように、それぞれクラスy=1のマージン超平面Ｈ１及びクラスy=−1のマージン超平面Ｈ２に対して境界面Ｓから逆の方に存在する。図３では超平面付近のサンプルのみ模式的に示しているが、一般にはサポートベクトルではないサンプルが学習サンプル中の多数を占める。

０＜α＜Ｃに対応するサンプルはサポートベクトルのサンプルであり、図３で■（y=1のクラス）及び●（y=−1のクラス）として示されているように、それぞれクラスy=1のマージン超平面Ｈ１上及びクラスy=−1のソフトマージン超平面Ｈ２上に存在している。またα＝Ｃに対応するサンプルもサポートベクトルのサンプルであるが、マージン超平面上には存在せず、図３で斜線を付した□（y=1のクラス）及び斜線を付した○（y=−1のクラス）として示されているように、それぞれのクラスのソフトマージン超平面Ｈ１及びＨ２を超えてα＝０に対応する非サポートベクトルのサンプルの存在する逆側に存在している。

ステップＳ３での摂動部３による追加対象サンプル選択における各実施形態の説明に戻り、第２実施形態では追加対象サンプルを初期学習用訓練サンプルのうち、サポートベクトルに対応するサンプルのみに限定する。すなわち、上述のαが０＜α≦Ｃを満たすサンプルのみに限定する。また第３実施形態では追加対象サンプルを、サポートベクトルに対応するサンプルであり且つマージン超平面上に存在するサンプルに限定する。すなわち上述のαが０＜α＜Ｃを満たすサンプルに限定する。

次に本願発明の特徴である、ステップＳ３における摂動部３による摂動処理について図４、５を参照して説明する。図４は摂動処理のフロー図であり、図５は図４のフローによる摂動を模式的に説明する図である。図４の摂動処理を開始すると、まずステップＳ１０において摂動処理を施す対象である追加対象サンプル（総数を正の整数nとする）のカウンタiを１に設定する。こうして図５（ａ）に示すように、初期学習用訓練サンプルの集合のうち、追加対象サンプルに選ばれたサンプル（i番目）をまず処理対象として設定する。なお図５（ａ）では斜線を付した丸で示すy=+1のクラスのサンプルと、白丸で示すy=−1のクラスのサンプルとの境界付近を原空間にて示している。

ステップＳ１１に進み、i番目サンプルの近傍サンプルを決定する。具体的には、初期学習用訓練サンプルのうちi番目サンプルと同一ラベルのサンプルあって且つi番目サンプルから原空間における距離が近い順に所定数のサンプルを選んで近傍サンプルとする。図５（ｂ）に示す例では、i番目サンプルがy=−1のクラスに属する場合であって、同一ラベルであるy=−1のクラスのサンプルのうちi番目サンプルに近い所定数５個のサンプルが近傍サンプル（白丸に縦線を付したサンプル）として選ばれている。

ステップＳ１２では、図５（ｃ）に模式的に示すように、i番目サンプルの近傍サンプルの重心（i番目サンプル自身は重心計算に含めない）を原空間において求める。ステップＳ１３では、i番目サンプルに対する摂動を算出する。図５（ｄ）に模式的に示すように、摂動はステップＳ１２で求めた重心とi番目サンプルとを結ぶ直線上で、重心から所定の割合だけ遠ざかる方向に移動させる処理である。すなわち摂動対象サンプル（i番目サンプル）をx_i、摂動後サンプルをx_i’とすると、これらの関係は次の式で与えられる。

x_i’ ＝ x_i ＋ δ（m_i − x_i）
ただしmはi番目サンプルxの近傍サンプルの重心。
δは遠ざける所定の割合を表す定数（例えばδ＝−0.1、−0.5など）。

当該摂動が所定のδの設定によって微少であることにより、ラベル判定に影響しない範囲の変化で追加訓練用サンプルを生成できるという効果がある。さらに当該摂動は上記の式より明らかなように、SVMによる分類を適用する具体的な問題の種類によらずベクトル形式の全てのデータに対して適用可能であるという効果がある。なお、ステップＳ１３では摂動（摂動量および方向）を算出するのみであって、実際に摂動処理を施すわけではない。

ステップＳ１４に進み、カウンタiが追加対象サンプルの総数nに達しているかを判定する。達していなければまだ摂動算出が行われていない追加対象サンプルが存在するので、ステップＳ１５に進み、カウンタiを１増やして残りのサンプルに対してステップＳ１１〜Ｓ１３を継続し摂動を算出する。追加対象サンプルの全てに対して摂動算出が完了してカウンタがnに達すると、ステップＳ１４からステップＳ１５に進み、対象全サンプルn個に対して算出された摂動を実際に施し、新たに追加用訓練サンプルをn個得る。

以上のような摂動処理を、前述のステップＳ３における追加対象サンプルの各実施形態に対して施して新たに追加用訓練サンプルを得て、初期学習用サンプルと共にステップＳ４で再学習することによって本願発明全体として次のような効果がある。

第１実施形態において初期学習用訓練サンプルを全て追加対象サンプルとする場合、個々の追加対象サンプルに対して近傍のサンプル位置に基づいて摂動の方向と移動量を決定し、初期学習用サンプルのラベルを引き継いで追加用訓練サンプルを生成することができる。よってラベル判定に影響しないように特徴量を微小変化させる手段（摂動手段）を、対象とする具体的な問題毎に設計し、実装する必要がなくなる。

第２実施形態において初期学習用訓練サンプルのうちサポートベクトルのサンプルのみを追加対象サンプルとする場合、第１実施形態と比べて再学習の対象となるサンプルの数が少なくてすみ、再学習の処理に必要な計算量が削減できる。これを模式的に図６に示す。図６は原空間における初期学習用サンプルの例であり、y=+1のクラスのサンプル1000個（●で示す。ほぼ逆Ｕ字型に分布している。）とy=−１のクラスのサンプル1000個（○で示す。ほぼＵ字型に分布している）が存在して初期学習によって□で囲った●又は○で示すサポートベクトルが183個得られている。この例の場合、第１実施形態では再学習サンプルは計4000個となるが、第２実施形態では再学習サンプルは2183個で済む。なお一般に学習サンプル中の一部分のみがサポートベクトルとなるので、一般のサンプルに対しても同様の計算量削減効果がある。

また第２実施形態においては計算量削減が達成されると共に、第１実施形態と同等の再学習による識別性能向上も達成される。すなわち、α＝０となる非サポートベクトルは、原理上、識別境界面の位置に影響を与えない。図３（または原空間の具体例である図６）に示すように、非サポートベクトルは境界面Ｓから比較的離れた位置にある。これらサンプルを摂動させて新サンプルを生成しても既存の境界面から離れているため、学習用訓練サンプルとして追加した再学習結果においても非サポートベクトルとなる可能性が高く、従って境界面Ｓの位置に影響を与えない可能性が高い。よって非サポートベクトルは摂動の対象外としたほうがよい。

なお以上の説明から明らかであるがサポートベクトルを摂動して追加訓練用サンプルとすることは識別性能向上に寄与する。すなわち、図３においてy=+1のクラスのマージン超平面上Ｈ１等にあるサポートベクトルは、一般にデータの大多数が非サポートベクトルであることから、その近傍の多くが同一クラスの非サポートベクトルとなってその近傍重心も非サポートベクトルに対応する位置となる可能性が高い。このようなサポートベクトルは、近傍重心から遠ざける性質を有する摂動を受けて境界面Ｓとマージン超平面Ｈ１との間付近に追加サンプルを生成する可能性が高い。同様にy=−1のクラスのマージン超平面上Ｈ２等にあるサポートベクトルは、摂動によって境界面Ｓとマージン超平面Ｈ２との間付近に追加サンプルを生成する可能性が高い。従ってこれらの追加サンプルを加えて再学習することで境界面Ｓの識別精度が向上する。

さらに、第２実施形態において追加対象サンプルとするサポートベクトルをマージン超平面上のサポートベクトルに限る第３実施形態においては、第２実施形態よりもさらに再学習対象サンプルが減るので計算量削減が達成できる。また、該当サポートベクトルがソフトマージン超平面上に存在しない場合、以下の非特許文献２によれば該当サポートベクトルがノイズデータであることが多いということが周知である。このため、第３実施形態においてソフトマージン超平面上に存在するサポートベクトルに限定することは、第２実施形態と比較してさらに再学習の精度向上にも貢献する。

（非特許文献２）高取大地, 他, "サポートベクターマシンの内部パラメータに基づく事例選択手法の提案と映像境界検出問題への応用", 第22回人工知能学会全国大会 (JSAI2008), 2008年6月）

第３実施形態によって再学習を行ったサポートベクトルマシンによるデータ分類の性能の具体例を以下の表に示す。

表はクラスy=±1のサンプルを各50個、計100個の学習データを初期学習用訓練サンプルとして用いて初期学習及び再学習を行ったサポートベクトルマシンで、10000個の評価用データのラベル分けを行った場合の正解数を、前述のステップＳ１３の摂動パラメータδの各値に対して示している。（※）で示すδ＝0は再学習なし、すなわち初期学習のみのＳＶＭ（１）のデータである。

摂動した追加訓練用サンプルを追加して再学習したSVM（２）は初期学習のみのSVM（１）よりも正解数が向上することが明確に読みとれる。本結果の中ではδ=−0.05において正解数が最大となっており、δをそれより増やすと正解数は減少している。該減少は摂動が大きすぎて境界面の本来あるべき位置を超える不適切な位置に追加用訓練サンプルが生じているためであるが、適切な摂動による正解数の向上が確認できる。なお、正解数以外の評価パラメータにおいても同様の傾向である。

以上のように、前記した各実施形態によれば、映像、音声、文書及び図形などを含む一般の各種データにおける各種の分類問題に対してSVMに基づくデータ分類の精度向上ならびに当該精度向上に必要なSVM再学習に必要な計算量削減が達成できる。また、本発明は上記の各実施形態に限定されず、本発明を逸脱しない範囲の種々の変形を含むことは明らかである。

１…訓練サンプル保存部、２…SVM学習部、３…摂動部、４…SVM設定保存部

Claims

既知のラベルを有する初期学習用訓練サンプルを用いてサポートベクトルマシン（SVM）を初期学習する段階と、
前記初期学習の結果を用いて前記初期学習用訓練サンプルから追加対象サンプルを選択し、該追加対象サンプルの各々に対して当該サンプルの近傍サンプルに基づいて摂動処理を施して新たに追加用訓練サンプルを生成する段階と、
前記初期学習用訓練サンプルと前記追加用訓練サンプルとを用いて前記初期学習されたSVMを再学習する段階とを備えることを特徴とするサポートベクトルマシンの再学習方法。
前記近傍サンプルは、前記追加対象サンプルの各々に対して、当該サンプルのラベルと同一の前記既知のラベルを有する前記初期学習用訓練サンプルのうち、当該サンプルとの原空間での距離の近さの順位が上位から所定数以内のサンプルであり、
前記摂動処理は当該サンプルと前記近傍サンプルとの原空間における位置関係に基づいた処理であることを特徴とする請求項１に記載のサポートベクトルマシンの再学習方法。
前記摂動処理は、前記近傍サンプルの重心と当該サンプルとを結ぶ直線上で当該重心から当該サンプルを所定割合遠ざける処理であることを特徴とする請求項２に記載のサポートベクトルマシンの再学習方法。
前記追加対象サンプルは、前記初期学習用訓練サンプルのうち前記初期学習によってサポートベクトルであると判別されたサンプルを選択することを特徴とする請求項１または３に記載のサポートベクトルマシンの再学習方法。
前記追加対象サンプルは、前記初期学習用訓練サンプルのうち前記初期学習によってサポートベクトルであり且つソフトマージン超平面上に存在すると判別されたサンプルを選択することを特徴とする請求項４に記載のサポートベクトルマシンの再学習方法。
既知のラベルを有する初期学習用訓練サンプルを保存する訓練サンプル保存部と、
前記初期学習用訓練サンプルを読み込んでサポートベクトルマシン（SVM）を初期学習するSVM学習部と、
前記初期学習の結果を用いて前記初期学習用訓練サンプルから追加対象サンプルを選択し、該追加対象サンプルの各々に対して当該サンプルの近傍サンプルに基づいて摂動処理を施して新たに追加用訓練サンプルを生成する摂動部と、
学習されたSVMの設定を保存するSVM設定保存部を備え、
前記SVM学習部がさらに、前記初期学習用訓練サンプルと前記追加用訓練サンプルとを用いて前記初期学習されたSVMを再学習し、当該再学習されたSVMの設定をSVM設定保存部に保存することを特徴とするサポートベクトルマシンの再学習装置。