JP5324743B2 - 心磁図の分類のための機械学習の使用 - Google Patents

Description

本発明は、心磁図(magnetocardiogram)の分類のための機械学習の使用に関する。

心磁図法（ＭＣＧ；magnetocardiography）は、１９６０年代初めに有望な診断ツールとして発表されたが、その臨床上の有用性が立証されるまでにほぼ３０年を要した。現在、ＭＣＧは、世界中の病院の医師により使用されている心臓学における新たな技術の１つである。ＭＣＧ法の臨床応用は、現代の多チャンネルセンサ技術、高度なソフトウェア、及び磁気シールド室なしにその装置を使用できるようにしたハードウェアにおける最近の改善による大きな恩恵を受けている。

ＭＣＧによる観察は、迅速で安全であり、かつ完全に非侵襲性である。したがって、このことは患者にとって非常に便利である。現在、多くのグループが参照データのライブラリの構築とデータの標準化について研究している。ＭＣＧが既に臨床的に有用な結果をもたらしているいくつかの臨床応用がある。例えば、ＭＣＧは、急性心筋梗塞を診断して場所を特定し、心筋梗塞患者を悪性心室性不整脈に対する感受性の有無で分類して、心臓移植後の心室肥大及び拒絶反応を検出し、心室早期興奮及び多くの種類の不整脈の部位を場所を特定し、かつ胎児性不整脈及び伝導障害を明らかにすることができる（非特許文献４０）。加えて、ＭＣＧの他のいくつか臨床応用、すなわち心筋症（拡張型、肥大型、不整脈惹起性、糖尿病性）の検出とリスクの層別化、特発性心室細動後のリスクの層別化、心筋生存度の検出と場所の特定、ならびに胎児の成長及び神経の完全性のフォローアップが、近年研究されている。いくつかの研究は、ＭＣＧが、例えば心筋梗塞後の、または遺伝性のＱＴ延長症候群における、再分極の変化に非常に敏感であることを示している（非特許文献４２）。ＭＣＧの応用及び現在使用されている分析技術における最も関連のある概説は、非特許文献４１に見出すことができる。
米国特許第５，０９２，３４３号明細書 米国特許第５，２８０，７９２号明細書 米国特許第５，４６５，３０８号明細書 米国特許第５，６８０，８６６号明細書 米国特許第５，８１９，００７号明細書 米国特許第６，１２８，６０８号明細書 米国特許第６，２４８，０６３号明細書 米国特許第６，４４３，８８９号明細書 米国特許第６，５７２，５６０号明細書 米国特許第６，７１４，９２５号明細書 米国特許第６，７２８，６９１号明細書 米国特許第５，４１７，２２１号明細書 C.-C. Chang and C.-J. Lin, LibSVM, OSU, （http://www/csie.ntu.edu.tw/-cjlin/libsvmSVMLib参照） N. Cristianini and J.Shawe-Taylor [2000] "Support Vector Machines and Other Kernel-Based Learning Methods," Cambridge University Press I. Daubechies [1992], "Ten Lectures on Wavelets," Siam, Philadelphia, PA G. Deboeck and T. Kohonen (Eds.) [1998] "Visual Explorations in Finance with Self-Organizing Maps," Springer V. Froelicher, K. Shetler, and E. Ashley [2002] "Better Decisions through Sicence: Exercise Testing Scores," Progress in Cardiovascular Diseases, Vol. 44(5), pp. 385-414 A. Golbraikh and A. Tropsha [2002] "Beware of q2!" Journal of Molecular Graphics and Modelling, Vol. 20, pp. 269-276 R. A. Johnson and D. W. Wichern [2000] "Applied Multivariate Statistical Analysis, 2 ed.," Prentice Hall R. H. Kewley, and M. J. Embrachts [2000] "Data Strip Mining for the Virtual Design of Pharmaceuticals with Neural Networks," IEEE Transactions on Neural Networks, Vol. 11(3), pp. 668-679 T. Kohonen [1997] "Self-Organizing Maps, 2nd Edition," Springer R. Rosipal and L. J. Trejo [2001] "Kernel Partial Least Squares Regression in Reproducing Kernel Hilbert Spaces," Journal of Machine Learning Research, Vol. 2, pp. 97-128 B. Scholkopf and A. J. Smola [2002] "Learning with Kernels," MIT Press B. Scholkopf, A. Smola, and K-R Muller [1998] "Nonlinear Component Analysis as a Kernel Eigenvalue Problem," Neural Computation, Vol. 10, 1299-1319, 1998 J. A. Swets, R. M. Dawes, and J. Monahan [2000] "Better Decisions through Science," Scientific American, pp. 82-87 The Analyze/StripMiner（説明とコードはhttp://www.drugmining.comで入手可能） V. Vapnik [1998] "Statistical Learning Theory," John Wiley & Sons W. Wu, D. L. Massarat and S. de Jong [1997] "The Kernel PCA Algorithm for Wide Data. Part II: Fast Cross-Validation and Application in Classification of NIR Data," Chemometrics and Intelligent Laboratory Systems, Vol. 37, pp. 271-280 A. E. Hoerl, and R. W. Kennard [1970] "Ridge Regression: Biased Estimation for Non-Orthogonal Problems," Technometrics, Vol. 12, pp. 69-82 J. Principe, N. R. Euliano, and W. C. Lefebre [2000] "Neural and Adaptive Systems; Fundamentals through Simulations," John Wiley & Sons, Inc. W. Wu, D. L. Massarat and S. de Jong [1997] "The Kernel and Algorithms," Chemometrics and Intelligent Laboratory Systems, Vol. 36, pp. 165-172 Vladimir Cherkassky and Filip Mulier [1998] "Lerning from Data: Concepts, Theory, and Methods," John Wiley & Sons, Inc. S. Haykin [1999] "Neural Networks: A Comprehensive Foundation (2nd Ed.)," Prentice Hall A. N. Tikhonov [1963] "On Solving Incorrectly Posed Problems and Method of Regularization," Doklady Akademii Nauk USSR, Vol. 151, pp. 501-504 A. N. Tikhonov and V. Y. Arsenin [1977] "Solutions of ill-Posed Problems," W. H. Winston, Washington D.C. Evgeniou, T., Pontil, and M. Poggio, T. [2000] "Statistical Learning Theory: A Primer," International Journal of Computer Vision, Vol. 38(1), pp. 9-13 T. Evgeniou, M. Pontil, and T. Poggio [2000] "Regularization Networks and Support Vector Machines," in "Advances in Large Margin Classifiers," MIT Press Poggio, T., and Smale S., [2003] "The Mathematics of Learning: Dealing with Data," To appear in "Notices of the AMS," May 2003 Suykens, J. A. K. and Vandewalle, J. [1999] "Least-Squares Support Vector Machine Classifiers," Neural Processing letters, Vol. 9(3), pp. 293-300, Vol. 14, pp. 71-84 Suykens, J. A. K., van Gestel, T. de Brabanter, J. De Moor,M., and Vandewalle, J. [2003] "Least Squares Support Vector Machines," World Scientific Pub Co., Singapore Svante Wold, Michael Sjostrom, and Lennart Eriksson [2001] "PLS-Regression: a Basic Tool of Chemometrics," Chemometrics and Intelligent Laboratory Systems, 58:109-130 Moller, M. F., [1993] "A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning," Neural Networks, Vol. 6, pp. 525-534 H. Ritter, T. Kohonen, "Self-Organizing Semantic Maps," Biological Cybernetics, Vol. 61, pp. 241-254, 1989 T. Kohonen, "Self Organization and Associative Memory, 2nd ed.," Springer-Verlag, 1988 T. Kohonen, "The Self-Organizing Map," Neurocomputing, 21(1):1-6, November 1998 T. Kohonen, "Thing You Haven't Heard about the Self-Organizing Map," IEEE International Conference on Neural Network, Vol. 3, pp. 1147-1156, 1993 T. Kohonen, "Generalization of the Self-Organizing Map," International Joint Conferenceon Neural Networks, Vol. 1, pp. 21-26, 1993 G. Deboeck and T. Kohonen, "Visual Explorations in Finance with Self-Organizing Maps," Springer, 2000 H. C. Card, G. K. Rosendakl, D. K. Mcneill, and R. D. Mcleod, "Competitive Learning Algorithms and Neurocomputer Architecture," IEEE Transactions on Computers, Vol. 47, No.8, pp. 847-858, August 1998 J. S. Kirk, and J. M. Zurada, "Motivation for Genetically-Trained Topography-Preserving Map," International Joint Conference on Neural Networks 2002, Vol. 1, pp. 394-399, 2002 J. Vesanto, J. Himberg, M. Siponen, and A. Ollisimula, "Enhancing SOM Based Data Visualization," Proceedings of the International Conference on Soft Computing and Information/Intelligent Systems, pp. 64-67, 1998 G. Stroink, W. Moshage, S. Achenbach, "Cardiomagnetism," in Magnetism in Medicine, W. Andra, H. Nowak, eds. Berlin, Wiley VCH, 1998, 136-189 M. Makijarvi, J. Montonen, J. Nenonen, "Clinical application of magnetocardiographic mapping," in Cardiac mapping, M. Shenasa, M. Borgreffe, G. Breithardt, Eds. Mount Kisco, NY, Futura Publishing Co., 2003 M. Makijarvi, K. Brockmeier, U. Leder, et al., "New trends in clinical magnetocardiography" in Biomag96: Proc. of the 10th Internat. Conf. on Biomagnetism, Aine C., et al., eds., New York, Springer, 2000, 410-417

しかしながら、重要な課題は、ＭＣＧデータの人による解釈によってもたらされるばらつきを低減または排除し、しかも、リアルタイム診断に適合するコンピュータ処理時間を維持しながら、マシンベースでの分類性能と一般化(generalization)の質とを大幅に向上させることである。

測定データに対して人工知能（機械学習）を使用する場合、１．データの測定、２．測定データの前処理、３．適応分類子(adaptive classifier)のトレーニング、という３つの基本ステップが常に実行される。ＥＫＧ／ＥＣＧデータまたは他の生物学データに対するこの基本的な取組みを採用した特許としては、特許文献１〜１１が含まれる。

ＭＣＧフィールドパターンの分析に対する人工知能の使用は、今日まで極めて限定されている。生体磁気(biomagnetic)信号の分析における人工知能の応用に関する参考文献の１つは、特許文献１２であり、この特許文献は、電気生理学的活動の結果として発生するフィールドパターンを被験体の体外で多チャンネル測定装置を用いて測定するステップと、測定されたフィールドパターンに対応する特徴ベクトルを生成するステップと、特徴ベクトルを適応分類子に供給するステップと、局所化可能な電気生理学的活動の代理モデル(surrogate model)により生成されたトレーニングフィールドパターンを用いて適応分類子をトレーニングするステップと、を含む、被験生物の体内で生じる電気生理学的活動により生成されたフィールドパターンを分類する方法を開示している。この方法は、選択された局所化可能な代理モデルによって各フィールドパターンが生成され得る確率を示す、適応分類子のある出力における各フィールドパターンに対する確率値を生成するさらなるステップを含む。ＥＫＧ／ＥＣＧに関する上記で引用した参考文献と同様に、この文献は、測定データに対する機械学習の一般的な適用可能性を考察しているが、分類性能と一般化の質とをどのように改善するかの具体例は提示していない。

すべての場合において、成功を決定付ける２つの主要な基準は、分類性能と一般化の質である。最適ではない前処理がなされたデータをトレーニングすることは、質の悪い分類結果につながるが一方、いわゆるオーバートレーニング（過学習）により、実世界(real-world)データの適切な認識に対して適応分類子が一般化されることが防止される。

成功への鍵はデータを最適に前処理することにあり、これは、本明細書に引用されるいずれの参考文献によっても、今日まで実現されていない。詳細に調べられたデータセットがどの分類に属するかを決定するすべての特徴を識別することは、非常に重要である。これらの特徴を識別することは、自明でもなければ瑣末なことでもない。さらに、これらの特徴は、生物系(biological system)により、また測定データの種類により、ばらつくことがある。その結果、人工知能ベースの手順の多くは、前処理がどのように実行されるかという点で異なっている。

本明細書で詳細に開示するように、機械学習のためのデータの前処理にカーネル変換及びウェーブレット変換を使用することにより、正確な分類、一般化の質、処理速度の観点において、先行技術に対して大幅な改善をもたらす機械学習を成功させる手法の基礎が提供される。このことは、本明細書に引用される先行技術のいずれにも、開示または示唆されていない。

心臓の電気生理学的活動によって放出される磁界を測定する心磁図法（ＭＣＧ）におけるパターン認識に機械学習を使用することが、本明細書に開示される。直接カーネル法が、異常なＭＣＧ心臓パターンを正常なものと区別するために使用される。教師なし学習に対しては、直接カーネルをベースとした自己組織化マップが導入される。教師あり学習に対しては、直接カーネル部分最小二乗法及び（直接）カーネルリッジ(kernel ridge)回帰が使用される。これらの結果は次に、従来のサポートベクトルマシン及びカーネル部分最小二乗法を用いて比較される。これらの方法に対するハイパーパラメータは、検査前に、トレーニングデータの妥当性検証サブセット(validation subset)に調整される。前処理もまた、局所、垂直、水平及び二次元（グローバル）のマハラノビススケーリング(Mahalanobis scaling)、ウェーブレット変換、及びフィルタリングによる変数選択を用いて吟味される。結果は、３つの方法すべてで同様のものであって、訓練を受けた熟練者によって実現される分類の質を上回って、有望なものであった。

本明細書に開示されるものは、心拍記録データを分類する装置及びそれに関連する方法であり、これらは、機械学習を用いて変換データを分類する前に、電磁気的な心臓活動を感知するセンサから取得した感知データに対してカーネル変換を適用し、変換データを得ることを有する。

新規であると考えられる本発明の特徴は、添付の特許請求の範囲にて説明される。しかしながら、本発明及びそのさらなる目的及び利点は、以下に簡単に説明する添付図面と併せて下記の説明を参照することにより、最もよく理解できる。

本開示は、人の心臓の電気生理学的活動により放出される磁界を測定する心磁図（ＭＣＧ）法におけるパターン認識に対する、直接カーネル法及びサポートベクトルマシンの使用について説明している。（電磁干渉から特にシールドされていない）通常の病室で使用できるＭＣＧ用のＳＱＵＩＤ（超伝導量子干渉素子）に基づく測定装置が、現在別個に開発されている。システムの動作は、コンピュータ制御され、その大部分が自動化されている。専用のソフトウェアが、正確な２４ビット制御及びデータ取得のために使用され、その後、フィルタリング、平均化、電気／磁気活動の場所の特定、心臓電流の再構成、及び診断スコアの算出が行われる。

ＭＣＧ記録の解釈は、依然として課題として残っている。したがって、本開示は、分析のために人による入力を最小限にするために、ＭＣＧ測定値の解釈を自動化する方法について考察している。検査は、米国における主な死亡原因である心臓発作につながり得る、多くの一般的な心臓疾患で生じる状態である虚血を検出することに焦点を当てているが、これは模範例であり、これに限定されるものではない。

科学的には、本開示は、記述子（ディスクリプタ）（データポイント）の数がデータセット数を上回る、２分類の分離に関する問題（病変のある心臓対健康な心臓）を考察している。したがって、本開示は、この問題を解決する２つの課題に焦点を当てている。

解決すべき第１の論点は、この問題が線形、非線形のどちらであるかということであるが、それは、線形か非線形かによって、問題解決の可能性を持つ候補となる関数のクラスが決まるためである（「仮説(hypotheses)」または「機械学習技術(machine learning techniques)」として知られている）。本発明の目的は、前処理段階で、分離プロセス自体を線形に保ちつつ、非線形性があればそれを符号化することである。後者は、実際の機械学習を実行する前に、（非線形）カーネル変換をデータに適用することにより、達成することができる（ここでは、カーネル変換されたデータに対して実行する技術を「非線形」技術と称する）。したがって、データが非線形性を含んでいる場合、純粋に線形の方法は、非線形技術と比較して、処理能力が劣る。

第２の目的は、分離の問題を実際に解決する機械学習技術を発見（または開発）することである。ここでの焦点は、最良の解決法よりもむしろ、データに対して等しく良好に実行される技術のクラスを見つけることにある。このことは、選択された複数のモデル及びそれらの一般化の能力の信頼度を確立する助けとなる（トレーニングセットにないデータを正しく分離する仮説の能力は、その「一般化(generalization)」として既知である）。トレーニングデータ上で最適に動作するが、観測されていないデータを予測できないモデルを開発することは容易である（この現象はオーバートレーニングと称されることが多い）。しかしながら、わずかなデータのみに基づいて良好な予測ができるモデルを構築（及び調整）することは、非常に困難である。

最初に、データ取得及び前処理について考察する。特に、異なる学習方法に対してどの種類の前処理が適するかを考察する。その後、本発明の課題に対する異なる機械学習技術の性能の比較、及び予測の質の評価と正則化パラメータの選択に関する方法論といった、核心となる結果を提示する。その後、特徴の選択について考察する。

データ取得及び前処理：
ＭＣＧデータは、互いに隣接する位置で４回の連続測定を行うことにより、胴体より上の３６箇所で取得される。各位置において、結果的に３６の別個の時系列となる１０００Ｈｚのサンプリング速度を用いて、９個のセンサが心臓磁界を９０秒間測定する。虚血の診断においては、０．５Ｈｚ〜２０Ｈｚの帯域幅が必要であり、そのため６次ベッセル(Bessel)フィルタ特性を用いる１００Ｈｚでのハードウェアローパスフィルタが適用され、
同じ特性を用いるがより高次の、２０Ｈｚでの付加なデジタルローパスフィルタがそれに続いて適用される。残った確率的雑音成分を除去するために、心臓周期のＲピークの最大値をトリガポイントとして用いて時系列全体が平均化される。自動分類に対しては、均等に間隔を空けた３２のポイントに対するデータが測定データから補間される、心臓周期のＪポイントとＴピークとの間の時間窓からのデータ（非特許文献５）を使用した。トレーニングデータは、訓練を受けた熟練者ならば視覚的に分類することが容易な７３の症例からなる。検査は、その心磁図が、訓練を受けた視覚的な分類を行う熟練者を惑わせたまたは混乱させた患者を含む、３６の症例の組に対して行われた。

データは、本例では、最初に各信号から偏り（バイアス）を減算することにより前処理された。次に、局所、垂直、水平、及び二次元（グローバル）のマハラノビス(Mahanalobis)スケーリング、及びウェーブレット変換を含む、本例の多変量時系列信号に対して最も有効な前処理を調べた。重要な考慮点は、データの局所性を保存することであり、これは各信号に対してDaubechies-4ウェーブレット変換（非特許文献３）を適用することで達成された。補間された時間信号それぞれのデータセットが比較的小さいため（３２）、この変換が選択された。入力におけるデータの局所性を観察するＳＯＭ方法及びＫ−ＰＬＳ方法のみが、この変換を必要としなかった。次に、最初に３６個の信号すべてに対して、次に（ＳＯＭベースの方法以外の方法について）垂直に、データのマハラノビススケーリングを行った。ＳＴセグメント内の均等に間隔を空けられた３２のポイントに対して補間され（非特許文献５）、個々の信号それぞれに対してマハラノビススケーリングを行った後の、３６個の信号の典型的なデータセットが、図１に示される。

ＭＣＧデータ分類のための予測モデリング：
機械学習の目的は、知的意思決定の基本要素のいくつかをコンピュータに委ねることである。現在の形態では、機械学習の大部分は、ロバストな分類、回帰ツール、及び特徴選択方法の開発に基づいている。

心臓病の診断との関連において、機械学習の最終目的は、そのモデルを説明できる意味のある特徴を識別し、透明性を有する、熟練者の規準の定式化を可能にすることである。

機械学習の重要な要素は、オーバートレーニングを防止することである。Tikhonovの正則化(regularization)の概念は、それを行うための機械学習における有力な概念である。機械学習における第２の課題は、信頼性のある非線形方法を構築する必要があることである。サポートベクトルマシン（ＳＶＭ）、ならびに、カーネル主成分分析、カーネルリッジ回帰及び部分最小二乗法のような他のカーネルベースの方法は、機械学習方法に非線形性と正則化を組み込む有力な方法である。

機械学習における現在の課題は、データよりもむしろ特徴(features)に関する大きな問題、多くの不確実性とデータ中の雑音に関する問題、及び混合モード(mixture mode)を伴う順序付けらていない多クラス分類に関する問題にある。

適切な前処理に対する必要性は、ドメインに大きく依存するが、異なる前処理方法を検討すること、及びドメインの専門的技術をこの前処理段階に組み込むことが、機械学習を機能させる重要な要素である。

本発明の目的は、「最良の」機械学習方法だけでなく、データに対して等しく良好に実行される技術のクラスを特定することである。したがって、本発明は、機械学習のコミュニティで最も重要なツールであるＳＶＭを考慮している。ＳＶＭよりも調整が容易で、あるいはＳＶＭよりもハードウェアへの実装が容易であるが、ＳＶＭと同等に動作することが期待される他のカーネルベースの方法も使用している。

機械学習を成功させる１つの鍵は、データの前処理にある。多くの異なる前処理のシナリオが検討するに値する。４種類の前処理を次のように区別する。
１． 正規化：これは、データを比較できるようにするために必要である。これは通常、データをスケーリングして偏り（バイアス）を除くことを意味している。ただし、多くの選択肢がある；
２． 情報の局在化：ここで局在化とは、情報の大部分を含む係数(coefficient)が最初に示されるように、データを再構成する変換を適用することを意味する。１つの顕著な例が、情報の局所性も保持するウェーブレット変換である；
３． 特徴(feature)の選択：これは通常、既に変換されたデータに対して実行される。これは、情報をまったくまたはほとんど含まない係数を取り除いて、入力ドメインの次元の数を減少させることを意味する。これは学習の速度を上げるのに特に有用である；
４． カーネル変換：カーネル変換は、回帰モデルを非線形にする洗練された方法である。カーネルは、データセット自体のデータ間または他のデータ（例えば、サポートベクトル（非特許文献２））との間での、データセットにおける類似性指標を含む行列である。

このことが心拍曲線の分類を向上させるための多数の手法の組み合わせを与えることは、明白である。

最初に正規化(normalization)について考慮すると、これは、すべての記述子（ディスクリプタ）をセンタリングしてそれらを分散が１であるようにする、機械学習において一般的な手順である。次に、同様のプロセスが応答（レスポンス）に対して適用される。このセンタリングと分散の正規化との手順は、マハラノビススケーリングとして知られている。マハラノビススケーリングは、データを前処理する唯一の方法ではないものの、おそらく、広範に良好に適用される最も一般的で最もロバストな前処理方法である。特徴ベクトルを

と表わした場合、マハラノビススケーリングは、再スケーリングされた特徴ベクトル

を与え、次のようにまとめることができる。

は平均値を表わし、

の標準偏差を表わす。

３６の時系列が（時間軸に沿って）個々にスケーリングされる場合に「水平マハラノビススケーリング」と称し、１つの時間事例における３６ポイントすべてがスケーリングされる場合に「垂直マハラノビススケーリング」と称し、３２の時間事例すべてにおける３６ポイントすべてがスケーリングされる場合に「グローバルマハラノビススケーリング」と称するものとする。

次に局在化について考える。ウェーブレット変換（非特許文献１０）を適用することは、一方で情報の「ホットスポット（熱いスポット）」を局在化し、他方ではシグナルに寄与しない「コールドエリア（冷たい領域）」を局所化する助けとなる。ウェーブレット変換をフーリエ変換よりも好適なものにしている特性は、個々のウェーブレット関数が空間内に局在していることである。フーリエ正弦関数及び余弦関数はそうではない。ウェーブレット変換は、基底関数の単一の集合ではなく、可能性のある基底関数の無限集合を有する。

「母関数」の拡張(dilation)及び平行移動、及び「解析ウェーブレット」Φ（ｘ）により、ウェーブレット基底としても知られている直交基底が定義される。

変数ｓ及びｌは整数であり、母関数Φ（ｘ）をスケーリングし拡張して、Daubechiesウェーブレットファミリーなどのウェーブレットを生成する。スケーリング指数ｓはウェーブレットの幅を表わし、位置指数ｌはその位置を与える。母関数は再スケーリングされるかまたは２のべき乗で「拡張」され、整数により平行移動されることに留意されたい。ウェーブレット基底を特に興味深いものにしているのは、スケーリング及び拡張に起因する自己相似性である。母関数が分かれば、その基底に関するすべてを知ることができる。

異なる分解能でこのデータドメインを拡張するために、解析ウェーブレットが次のスケーリング方程式に使用される。

ここで、Ｗ（ｘ）は母関数Φ（ｘ）に対するスケーリング関数であり、ｃ_kはウェーブレット係数である。ウェーブレット係数は、次の形態の線形制約及び二次制約を満たさなければならない。

ここで、δはデルタ関数であり、ｌは位置指数である。

ウェーブレットの最も有用な特徴の１つは、所与の問題に適合させた所与のウェーブレット系に対して科学者が定義係数を選択できる容易性にある。Daubechiesの論文（非特許文献３）において、著者は多項式の振る舞いを表わすのに非常に有効なウェーブレット系の特定のファミリーを発展させた。ＭＣＧ時系列に対して、いわゆる「Daubechies 4」ウェーブレットは最適な性能を示した。

次にカーネル変換を考える。カーネル変換とその調整（チューニング）は、心拍曲線の分類を改善する能力の重要な要素である。したがって、この概念をさらに詳細に説明し、カーネル変換を適用する際に一般に見落とされるいくつかの主要な問題を具体的に指摘する。

カーネル変換は、回帰モデルを非線形にするエレガントな方法である。カーネル変換は、少なくともヒルベルト(Hilbert)が数学の文献でカーネルを発表した１９００年代初めに遡る。カーネルは、データセット自体のデータ間または他のデータとの間での、データセットにおける類似性指標を含む行列である。カーネルは、従来、特徴カーネルが属性または特徴間の線形類似性指標を含んでいる主成分分析における、相関行列として使用されている。サポートベクトルマシンでは、カーネルのエントリは、特徴間よりもむしろデータ間の類似性指標であり、それらの類似性指標は、通常、非線形である。多くの可能性のある非線形類似性指標があるが、数学的に扱いやすいものであるためには、カーネルは特定の条件、いわゆるMercer条件を満たさなければならない（非特許文献２，１１，１５）。

上式は、ｎ個のデータに対するデータカーネル行列

の一般的な構造を示す。カーネル行列は、各エントリが２つのデータベクトル間の（線形または非線形の）類似性を含んだ対称行列である。線形類似性指標であるドット積や、非線形類似性指標であるラジアル基底関数カーネルすなわちＲＢＦカーネルのような類似性のメトリクス（数的指標）を定義する多くの異なる可能性がある。ＲＢＦカーネルは最も広く用いられる非線形カーネルであり、そのエントリは次式により定義される。

上記のカーネル定義では、カーネルのエントリは、（類似性ではなくむしろ）非類似性指標である、データポイント間のユークリッド距離を負の指数項(negative exponential)に含んでいることに留意されたい。負の指数項はまた、ＲＢＦカーネルのParzen窓の幅である自由パラメータσも含んでいる。Parzen窓を選ぶ適切な選択は、通常、超調整（ハイパーチューニング）とも呼ばれる外部の妥当性検証セットに対する付加のチューニングにより決定される。σを正確に選択することは難しくなく、モデルの質が安定するσの選択に関し、通常、比較的広い範囲が存在する。

カーネル変換は、ここでは別個の前処理段階におけるデータ変換として適用される。データを非線形データカーネルに実際に置き換えて、従来の線形予測モデルを適用する。従来の線形アルゴリズムがデータの非線形カーネル変換に関して使用される方法が示され、ここでは「直接カーネル法」と定義される。このような直接カーネル法のエレガントさ及び利点は、問題の非線形アスペクトがカーネル内で捕捉され、その非線形アスペクトが適用されるアルゴリズムに対して透明(transparent)なことである。

カーネル変換をニューラルネットワーク型のフロー図として表わすこともでき、その際第１の隠れ層はカーネル変換されたデータを生成し、第１層の重みは単にトレーニングデータの記述子（ディスクリプタ）である。第２層は、カーネルリッジ回帰（図９参照）などの、数値計算法で算出できる重みを含んでいる。ラジアル基底関数カーネルを使用した場合、このタイプのニューラルネットワークは、第２層の重みが異なった方法で算出されることを除き、ラジアル基底関数ニューラルネットワーク（非特許文献１７，１８）に非常に類似して見えると考えられる。

カーネルをセンタリングすることにより偏りを処理することも重要である。次の一般的な予測式を考える。

ここで、重みベクトル

に到達するためにデータ行列Ｘ_nmに適用され、定数オフセット項はない。センタリングされたデータに対して、このオフセット項（「偏り」）は常にゼロであり、明示的に含まれる必要がないことが分かる。式(7)を適用するよりもむしろ、この偏りを含むより一般的な予測モデルは、次のように記述できる。

ここでｂはバイアス項である。マハラノビススケーリングにより最初にデータをセンタリングすることにしているので、このバイアス項はゼロであり無視できる。

カーネルを処理する場合、何らかの種類の偏り（バイアス）が必要なため、状況はより複雑になる。ここでは実際に良好に機能する手法（レシピ）のみを示しており、理由についてのさらなる詳細に関しては、参考文献を参照されたい（非特許文献１１，１２，１６，１９）。カーネル変換を適用する前にデータがマハラノビススケーリングされた場合であっても、カーネルは依然として、予測モデルの中のバイアス項を削除できるようにするために何らかの種類のセンタリングを必要とする。カーネルをセンタリングする簡単な方法は、トレーニングデータカーネルの各列から平均を減算して、テストカーネルをセンタリングする際に、その平均を後のリコールのために保存する方法である。カーネルをセンタリングする第２のステップは、新たに取得した垂直センタリングされたカーネルを、今度は行ごとに検索し、各水平行から行平均を減算するステップである。

テストデータのカーネルは、同様の手順にしたがって、一貫した方法でセンタリングする必要がある。この場合、トレーニングデータのカーネルからの保存された列平均は、テストデータのカーネルを垂直センタリングするために使用されることになる。この垂直センタリングされたテストカーネルは、次に、水平に、すなわち各行に対してセンタリングされ、垂直センタリングされたテストカーネルの平均が算出され、垂直センタリングされたテストカーネルの各水平エントリが、そのエントリから行平均を差し引いたものに置き換えられる。

上述したようなカーネルをセンタリングするこのアルゴリズムの利点は、直角データカーネルにも同様に適用されることである。データを前処理し、カーネル変換をこのデータに適用し、次に、トレーニングデータ、妥当性検証データ、及びテストデータに対してカーネルをセンタリングするフローチャートが図１０に示されている。

教師なし及び教師あり学習方法の両方を調べた。教師なし学習では、直接カーネル（ＤＫ）−ＳＯＭが使用されたが、これはＳＯＭが新規性の検出及び自動クラスタリングに適用されることが多いためである。使用されたＤＫ−ＳＯＭは、エッジがラップされていない９×１８の六角グリッドを有する。教師あり学習では、関連するパラメータを複雑なデータ空間から抽出するのに有効な従来のサポートベクトルマシン、Rosipal（非特許文献１０）に提案されているようなカーネル部分最小二乗法Ｋ−ＰＬＳ、直接カーネル部分最小二乗法（ＤＫ−ＰＬＳ）、及び最小二乗サポートベクトルマシン（すなわち、カーネルリッジ回帰としても既知のＬＳ−ＳＶＭ）という、４つのカーネルベースの回帰アルゴリズムが使用された。

サポートベクトルマシンすなわちＳＶＭは、その有効性、モデルに対する柔軟性、予測能力、及び理論的な透明性から、強力な機械学習ツールであることが証明されている（非特許文献２，１１，１５）。ＳＶＭの非線形特性はカーネル変換のみの結果であるが、一方、自己組織化マップすなわちＳＯＭ）（非特許文献９）などの他の方法は、種々の近傍ベースの操作を組み込んでいるため、本質的に非線形である。ＳＶＭとは異なり、ＳＯＭは、しばしば、回帰または分類の予測ではなく、むしろ二次元マップ上の高次元データの隠れた類似性／クラスタ構造を明らかにする可視化ツール（非特許文献４）として使用される。

解析のために自家で開発されたAnalyze/StripMinerソフトウェアパッケージ（非特許文献１４）が使用されたが、ＳＶＭモデルのためのＳＶＭＬｉｂ（非特許文献１）も使用された。トレーニングセットを使用して、ＤＫ−ＳＯＭ、ＳＶＭ、ＤＫ−ＰＬＳ及びＬＳ−ＳＶＭでのパラメータの値が検査前に最適化された。異なるデータ前処理を用いたにも関わらず、結果は、訓練を受けた熟練者により得られた分類の質に類似しており、すべての検査方法に関して類似している。このことは、検査された方法のいずれにおいてもオーバートレーニングがなかったことを示すため、重要である。ＤＫ−ＰＬＳ、ＳＶＭＬｉｂ、及びＬＳ−ＳＶＭの間の一致は特に良好であり、これらのデータにおけるこれらの方法間での顕著な差はない。結果を図２及び３に示す。図２は、陰性及び陽性の例に関して、正しく分類されたパターンの数及び誤りの数を列挙している。図３は、予測の質に対する付加の指標を示す。さらなる結果を図８に示す。図８において、ＲＭＳＥは二乗平均誤差の平方根（小さいほどよい）を表わし、ＣＣ（％）は正しく分類された例の百分率を意味する。ＤＫ−ＰＬＳ法において最良の結果が得られ、この方法はまた最良のロバスト性を示した。これは既に、これらの患者に対して５８％である３つの標準的な検査（ＥＣＧ、ＥＣＨＯ、及びTroponin-I）を組み合わせたものよりも、予測の正確さに関する性能が優れている。

調整後、ＳＶＭにおけるParzen窓の幅σを１０に選択した。ＳＶＭＬｉｂの正則化パラメータＣは、非特許文献１０に示唆されるように、１／λに設定された。他の応用（非特許文献１４）及びスケーリングの実験による経験に基づいて、ｎ元のデータカーネルに対するリッジパラメータλは、次の式から決定された。

より一般的かつ経験的に、λはデータ数ｎの（３／２）乗に比例することを本発明者等は見出している。

直接カーネル法（ＤＫ−ＰＬＳ及びＬＳ−ＳＶＭ）、Ｋ−ＰＬＳ、及び従来のカーネルベースのＳＶＭ（ＳＶＭＬｉｂ）の間の一致は、この式から得られるリッジパラメータに対して最適に近い選択がされていることを示している。

次に、回帰の問題のためにモデルの質を評価するメトリクスを考えると、誤差を捕捉する別の方法は、二乗平均誤差の平方根（ＲＭＳＥ）指標によるものであり、これは（トレーニングセットまたはテストセットのいずれかに対して）二乗誤差の平均値として、次式により定義される。

二乗平均誤差の平方根は、同じデータに対する異なる予測方法の性能を比較するのに有効なやり方であるが、データに対する応答がどのようにスケーリングされたかにＲＭＳＥが依存するという意味では、絶対的なメトリクスではない。この不利な条件を克服するために、応答値のスケーリング及び大きさに対する依存がより少ない付加の誤差指標も使用される。トレーニングされたモデルの質を評価するのに使用される第１のメトリクスはｒ²であり、これは次式にしたがって、応答の目標値と予測との間の相関の二乗係数として定義される。

ここでｎ_trainは、トレーニングセット中のデータポイントの数を表わす。ｒ²は０と１との間の値をとり、ｒ²の値が大きいほどモデルは良好である。モデルの質の評価に使用することに対する明白な不利益は、

がｙの関数としてプロットされた場合に、線に予測がどれだけ良好に従っているかを示す線形相関しか表現しないことである。ｒ²が１の場合にはほぼ完璧なモデルが期待されるが、常にそうなるわけではない。トレーニングされたモデルの質を評価する第２のより強力な指標は、ケモメトリックモデリング(chemometric modeling)（非特許文献６）でしばしば用いられる、いわゆる「Press r squared」またはＲ²であり、ここでＲ²は非特許文献７のように定義される。

Ｒ²は残差も考慮しているため、ｒ²よりも良好な指標と考えられる。ｒ²と同様に、Ｒ²は０〜１の範囲であり、Ｒ²の値が大きいほどモデルは良好である。Ｒ²のメトリクスは、通常、ｒ²よりも小さい。大きなデータセットでは、Ｒ²はｒ²に収束する傾向にあり、そのようなデータに対するｒ²とＲ²との比較により、隠れた偏りが明らかになることが多い。

妥当性検証セットまたはテストセットの質を評価するため、同様のメトリクスｑ²及びＱ²を導入する。ここでｑ²及びＱ²は、テストセット内のデータに対して、それぞれ、１−ｒ²、１−Ｒ²として定義される。テストデータ上で完璧な予測をするモデルに対して、ｑ²及びＱ²はゼロになると予想される。トレーニングセット及びテストセット間で対称なメトリクスを導入する理由は、実際的には混同を避けるためである。Ｑ²及びｑ²の値は、妥当性検証セットまたはテストセットに当てはまり、良好な予測モデルを得るために、これらの値は非常に低くなることが予想される。Ｒ²及びｒ²の値は、トレーニングデータに当てはまり、予測が実際の値に近い場合、両方の値が１に近くなることに容易に気付く。したがって、これらのいずれかが１と大幅に異なることは、モデルの予測能力が低いことを示している。

部分最小二乗法などの線形方法は、カーネル法と比較して、予測モデルが劣った結果になる。Ｋ−ＰＬＳ及びＤＫ−ＰＬＳに対して、５つの潜在変数が選択されたが、その結果は、潜在変数の数の厳密な選択には大きく依存していなかった。Ｋ−ＰＣＡの直接カーネル版（非特許文献１１，１２，１６）である直接カーネル主成分分析（ＤＫ−ＰＣＡ）も試験されたが、その結果は、主成分の数の選択により敏感であり、他の直接カーネル法を用いて得られた結果ほど良好ではなかった。

ウェーブレット変換されたデータ及びＤＫ−ＰＬＳに基づいた心磁図データに対する典型的な予測結果を図４に示す。この図から、予測の中で全部で６つのデータポイント（健康なまたは陰性の症例１件及び虚血の症例５件）が誤って分類されていることが理解できる。これらの症例は、訓練を受けた熟練者にとっても、専用の方法により取得された時間依存性を持つ磁場の二次元での視覚表示に基づいて、正しく識別することが困難である。

医療データにおいて、偽陰性の例と偽陽性の例との間の、または感度と特異性（偽陽性及び偽陰性に関連した異なるメトリクス）との間のトレードオフを形成できることが重要な場合が多い。機械学習方法では、このようなトレードオフは、分類を解釈するための閾値を変更することにより容易に達成できる。例えば、図４では、判別値としてゼロを使用するのではなく、判別閾値をより望ましいレベルに向かってシフトさせ、これにより偽陽性／偽陰性比に影響を与えることができる。

判別値のこのような変更により起こり得るすべての結果の概要は、上述の例に関して図５に示したように、ＲＯＣ曲線で表示することができる。ＲＯＣ（受信者動作特性；Receiver Operator Characteristics）曲線の概念は、１９４０年代における、航空機を識別するためのレーダーの初期の開発がその起源であり、非特許文献１３に概要が示されている。

図６は、直接カーネル主成分分析（ＤＫ−ＰＣＡ）（図示左側）及び直接カーネルＰＬＳ（ＤＫ−ＰＬＳ）（図示右側）に基づいた、７３個のトレーニングデータの投影を示している。病変のある症例は黒丸で示されている。図６の右側は、図６の左側に示されたＤＫ−ＰＣＡの結果と比較して、ＤＫ−ＰＬＳの最初の２つの成分に基づいた、異なるクラス間のより明確な分離とより広いマージンを示している。これらの薬学プロット(pharmaplot)上に濃い色及び薄い色の十字でそもそも示されているテストデータは、両方の方法に対して健康な症例と病変のある症例との間の非常に良好な分離を示している。

直接カーネルＳＯＭに基づいた、ラップアラウンドモードでの六角グリッド上の典型的な９×１８自己組織化マップが図７に示されている。ラップアラウンドモードとは、左側と右側の境界線（及び頂部と底部の境界線）が合流しており、マップがトロイダル投影を展開したものであることを意味している。濃い色の六角形は病変のある症例を示し、薄い色の六角形は健康な症例を示す。完全に塗り潰された六角形は、トレーニングデータの位置を示し、白及び陰影の付いた数字は、健康な及び病変のある検査症例のパターン識別子である。分類の誤りのほとんどは、実際にはマップでの境界領域で生じている。マップ内のセルは、半教師あり学習により着色されている、すなわち３６×３２＝１１５２個の特徴を含む各データベクトルが、その色を示す付加のフィールドにより増加される。データベクトルにおける色のエントリは、重みベクトルと同様の方法で更新されるが、当たり(winning)セルを判定するために距離のメトリクスを算出するのには使用されない。通常のＳＯＭを実施することで得られるマップは、直接カーネルＤＫ−ＳＯＭで得られるものと非常に類似している。１２８ＭＨｚのペンティアムIIIコンピュータ上でＤＫ−ＳＯＭを生成するための実行時間は、通常のＳＯＭを生成するために必要な９６０秒ではなく、２８秒であったが、これは、データに対してカーネル変換を行った後、データの次元の数が当初の１１５２から７３（トレーニングデータの数）に効果的に減少したためである。ＳＯＭ及びＤＫ−ＳＯＭに対して、学習ベクトルの量子化をともなう教師ありモードで微調整が実行された（非特許文献９）。ＳＯＭ及びＤＫ−ＳＯＭに基づく結果は、依然として、非常に良好であるものの、他のカーネルベースの方法（ＳＶＭＬｉｂ、ＬＳ−ＳＶＭ、及びＫ−ＰＬＳ）で得られる結果ほど良好ではない。

特徴の選択：
上述の節で示した結果は、１１５２（３６×３２）個の記述子すべてを用いて取得したものであった。正確にどの時点でまたはどのウェーブレット信号で、及び各患者について異なる位置で測定された３６の心磁図信号のどれに対して、良好なバイナリ分類に必要な最も重要な情報が位置付けられたかを識別できれば、このドメインの熟練者にとって最も情報が有益になるであろう。このような情報は特徴選択により導き出すことができる。

特徴選択、すなわちデータベクトルに対して最も重要な入力パラメータの識別は、フィルタリングモード及びラップアラウンドモードの２つの異なる方法で進めることができる。通常、これらの２つの手法は互いに別個に使用されるが、本開示及び関連する請求項の範囲内で、組み合わせることもできる。

フィルタリングモードでは、特徴は、所定の、通常は教師なしの手順に基づいて、除去される。このような手順の例は、ＰＬＳをケモメトリクス(chemometrics)に応用する場合によく見られるように、４σ異常値(outlier)を含む記述子列の除去であることができる。フィルタリングモードで「カズン(cousin)」記述子、すなわち別の記述子と９５％より大きい相関を示す特徴を除外することも一般的である。モデリング方法によっては、カズン記述子を除外し、さらに、(i)応答変数に対して最も高い相関を示す、または(ii)ドメインの熟練者に対してモデルを説明するための最も明瞭なドメイン透明性を有する、のいずれかである記述子のみを保持することも、一般的な方法である場合が多い。

特徴選択の第２のモードは、ラップアラウンドモードに基づくものである。良好な予測モデルを得るのに必要な、最も関係のある特徴のみを保持することを意図する。多くの場合、モデリングの質は、最適な特徴サブセットの適切な選択の後で向上する。正しい特徴のサブセットの決定は、異なる概念に基づいて実施することができ、その結果得られる特徴のサブセットは、モデリング方法に依存する場合が多い。ラップアラウンドモードにおける特徴の選択は、通常、トレーニングセット及び妥当性検証セットを使用して進行し、妥当性検証セットは、記述子の不審なセット(suspicious set)を選択することによりモデルがオーバートレーニングされていないことを確認するのに使用される。特徴選択の２つの一般的に適用可能な方法は、遺伝的アルゴリズムと感度分析の使用に基づいている。

遺伝的アルゴリズム手法の目的は、トレーニングセットから、妥当性検証セットでも同様に良好な性能を示す最適な特徴のサブセットを取得できるようにすることである。

感度分析の概念（非特許文献８）は特徴の顕著性を有効に使うことであり、すなわち、予測モデルがいったん構築されると、モデルは各記述子の平均値に対して使用され、記述子は最小値と最大値との間で１つずつ微調整される。記述子に対する感度は、予測される応答における変動である。記述子に対する感度が低い場合、それは良好なモデルを作成するのに必要な記述子ではないと仮定される。最も感度が低い特徴のいくつかは１つの反復ステップ中に除外することができ、感度分析の手順は、最適に近い特徴のセットが得られるまで複数回繰り返される。遺伝的アルゴリズム手法と感度分析手法の両方は、完全なソフト演算方法であり、相当数の経験則と経験を必要とする。両方の手法の利点は、遺伝的アルゴリズム及び感度手法が特定のモデリング方法に依存しない一般的な方法であるという点である。

機械学習に関するさらなる解説：
ここでは適用可能なすべての機械学習技術を概観するのではなく、最初に、線形問題及び非線形問題に対する最新の解決法であるサポートベクトルマシン（ＳＶＭ）を単純には使用しない理由を説明する。上述したように、科学的には、安定した解を確実に得るために、所定の問題に対して等しく良好に実行される技術のクラスを見つけることが目標である。このクラスの中で、最適なモデルは、チューニングが容易で最速に実行されるものである。これらのモデルを標準としてのＳＶＭと比較することが、あらゆる新しく開発された技術の性能を検証する助けとなる。

教師あり学習に関して、ジレンマから抜け出す道を見出すために多数のモデルが開発された理由である、教師あり学習におけるいわゆる機械学習パラドックスをここで簡単に説明する。

データセット中にＮ個のデータポイントとｍ個の記述的特徴があると仮定して、データ行列をＸ_Nm、応答ベクトルを

として表わすのが慣例である。ｎ個のトレーニングデータポイントから導かれる推論モデルであるが、サンプル外のデータ（すなわちＮ−ｎ検証データ及びテストデータのポイント）に対しても良好に機能するように、

と表わされる帰納により、Ｘ_Nmから

を推測するものとする。換言すれば、次式のような種類の線形予測モデルを構築することを目的としている。

この式は、前のステップで決定しなければならない既知の重みベクトル

を推測し、最良の例において、実際の学習は次式を満たす。

ここで、Ｘ_nmはトレーニングデータであり、

は既知の答え（「ラベル」）を表わす。

データ行列は、通常、対称でないことに留意されたい。対称である場合には、データ行列の逆行列を用いて、簡単に解が見い出される。したがって、通常はｙの正確な予測に至らないが最小二乗という意味では最適なｙを予測する、擬似逆変換を適用するものとする。重みベクトルに対する擬似逆変換の解は、次式に示す通りである。

Ｋ_F＝Ｘ^T _mnＸ_nmは、いわゆる「特徴カーネル行列」であり、特徴が冗長であるときにのみ学習が発生するが、その結果Ｋ_Fの条件が不適切（階数（ランク）の不足）になるという、機械学習パラドックスの原因である。上述したように、このパラドックスを解決するいくつかの方法がある。
１． Ｋ_Fの階数の不足を主成分で修正する（特徴カーネルの固有ベクトルを算出する）ことによる（非特許文献１８）；
２． 正則化による。Ｋ_Fの代わりにＫ_F＋λＩを使用する（リッジ回帰）（非特許文献１７、２０〜２３）；
３． 局所学習による。

関連するパラメータを複雑なデータ空間から抽出するのに有効な従来のサポートベクトルマシン（非特許文献２，１２，１５）、Rosipal（非特許文献１０）により提案されているようなカーネル部分最小二乗法（Ｋ−ＰＬＳ）、直接カーネル部分最小二乗法（ＤＫ−ＰＬＳ）、及び最小二乗サポートベクトルマシン（すなわちカーネルリッジ回帰（非特許文献２４〜２８）としても既知のＬＳ−ＳＶＭ）という、４つのカーネルベースの回帰アルゴリズムを使用した。さらに、直接カーネル主成分分析（ＤＫ−ＰＣＡ）試験を行った。

部分最小二乗法（ＰＬＳ）は、ＱＳＡＲ及びケモメトリックにおける標準的な分析方法の１つである（非特許文献２９）。カーネルＰＬＳ（Ｋ−ＰＬＳ）は、最近開発されたＰＬＳの非線形版であり、Rosipal及びTrejoにより紹介された（非特許文献１０）。Ｋ−ＰＬＳはＳＶＭと機能的には同等であるが、ＳＶＭと異なり、結果はそれよりわずかに安定したものとなる。Ｋ−ＰＬＳは、現在、人の血清アルブミンの結合親和性を予測するのに使用されている。

本開示の基礎をなす研究において、Ｋ−ＰＬＳからＤＫ−ＰＬＳへの改善をはかり、Analyze/StripminerプログラムにおいてＫ−ＰＬＳ、ＤＫ−ＰＬＳ、ＤＫ−ＰＣＡ、及びＬＳ−ＳＶＭに対するコードを開発するための初期の経験を利用した（非特許文献１４）。Ｋ−ＰＬＳとＤＫ−ＰＬＳとの違いは、Ｋ方法では特徴（データ）カーネル行列が使用されるが、ＤＫ方法ではこの行列が（非線形）カーネル変換された行列に置き換えられることである。逆行列を算出するために、Analyze/Stripminerプログラム中に導入された、Mollerのスケーリングされた共役勾配法（非特許文献３０）を適用した。

教師なし学習について言えば、ＳＯＭ（非特許文献９，１７，３１〜３６）は、Kohonenにより開発された教師なし学習のニューラルネットワークであることに気付く。ＳＯＭは、競合学習に基づいた反復方法である。これにより、高次元入力データ空間から、通常は一次元または二次元マップであるより低次元の出力マップへのマッピングが提供される（図１１参照）。成分（またはデータポイント）が入力層にロードされ、競合学習アルゴリズムを使用して、ＳＯＭがトレーニングされる（非特許文献４）。重みは次式により更新される。

ここでαは学習速度パラメータである。学習の結果として、入力データは「当たり(winning)」ニューロン上にマッピングされる。このプロセスの結果として、ＳＯＭは、次数の低減化及びクラスタ化のために頻繁に使用される。さらに、ＳＯＭの際立った特徴は、入力データ間の関連する距離が多かれ少なかれ保存されるように、出力マップ上での高次元の入力空間からの入力データのトポロジーが保存されるという点である（非特許文献３８）。入力空間内で互いに近接して配置された入力データポイントは、出力マップ上で近傍のニューロンに対してマッピングされる。ＳＯＭベースの可視化方法は、データ探査のための多用途ツールである。これらの方法は、データのクラスタ化、相関検出及び予測に使用される（非特許文献４，３９）。

従来のＳＯＭは、高次元入力データを低次元の出力マップに投影することに基づいた方法である。本明細書に開示されるのは、新規なカーネルベースのＳＯＭである。カーネルＳＯＭは、次に、元のデータ上ではなくカーネル表示されたデータ上でトレーニングされる。ここでカーネル変換されたデータを使用することは、ＳＯＭが本来非線形であるために、データの非線形性を「発見する」ためよりもむしろ、カーネルがより少ない有効な特徴を有するため、（学習）速度を向上させるためである。

要約すれば、発明者等は、図１２に示される機械学習ツールのセットを使用し発展させた。

結論：
ＭＣＧデータのバイナリ分類は困難な課題を提示しているが、ＭＣＧが実際の臨床において成功すべきものであるとすれば、その解決は重要である。ＳＯＭ及びＳＶＭなどの現存の機械学習技術をＭＣＧデータに適用することにより、７４％の予測精度という結果が得られた。データを最初にウェーブレットドメインに変換し、ウェーブレット係数に対してカーネル変換を付加的に適用することにより、またウェーブレット変換なしにカーネル変換のみを適用することによっても、非常に顕著な改善が達成された。これにより予測精度は８３％まで向上した。

Rosipal（非特許文献１０）により提案されたカーネルＰＬＳ（Ｋ−ＰＬＳ）、直接カーネルＰＬＳ（ＤＫ−ＰＬＳ）、サポートベクトルマシン（ＳＶＭＬｉｂ）、及び最小二乗ＳＶＭ（ＬＳ−ＳＶＭ）の間での結果の一致は、一般的に非常に良好である。この場合、ＤＫ−ＰＬＳが優れた性能を示したが、カーネルベースの方法間での差異は有意ではない。この良好な一致は、直接カーネル法のロバスト性を示している。これは、式(1)によるリッジパラメータの選択が最適に近かった場合にのみ達成される。この選択により、ベクトルマシンにおける正則化パラメータＣも定義され、ここでＣは１／λとして得られる。

得られた結果は、医学界にとって意義深いものである。冠状血管造影法により画定された虚血の検出に対して、９２％の感度及び７５％の特異性に到達するために、ＤＫ−ＰＬＳが使用された。ＭＣＧは、心臓の電気生理学における異常に対して敏感であり、したがって疾患の影響のみを診断可能な、純粋に機能的なツールであることに注目すべきである。しかしながら、最も基準となる検査（冠状血管造影法）は純粋に解剖学的なツールであり、虚血性心臓疾患の１つの原因を究明する。ＭＣＧは、最も基準となる検査では目に見えない異常を検出するため、本応用における比較的低い特異性を説明する「偽陽性」を常に生成する。

カーネル変換は、ここでは別個の前処理段階におけるデータ変換として適用されていることに留意されたい。データは、実際には非線形データカーネルに置き換えられ、次に従来の線形予測モデルが適用される。従来の線形アルゴリズムがデータの非線形カーネル変換において使用される方法が、本明細書で「直接カーネル法」と称する方法として定義された。このような直接カーネル法のエレガントさ及び利点は、問題の非線形的側面が、カーネル内で捕捉されるとともに、適用されるアルゴリズムに対して透明なことである。

本明細書で検討したカーネルは、事実上、ガウス型(Gaussian)であるが、これは模範例であり、これに限定されるものではない。例えば、限定することなく、いわゆるスプラインカーネルを使用してもよく、これは本開示の範囲内にあるものと見なされる。

本発明の特定の好ましい特徴のみを例示し説明してきたが、多くの修正、変更、及び代替が当業者には想起されるであろう。したがって、添付の特許請求の範囲は、そのような修正及び変更のすべてを本発明の真の精神の範囲内にあるものとして包含するように意図していることが理解されるべきである。

６×６グリッドを有する３６チャンネルに収集された、フィルタ処理され平均化された１心周期にわたる時間的ＭＣＧトレースを示す。 （３６個のテストデータにおける陽性及び陰性の症例に対する）正しいパターン及び誤り、及び心磁図データための実行時間を示す図表である。サポートベクトルマシンライブラリ（ＳＶＭＬｉｂ）及びカーネル部分最小二乗法（Ｋ−ＰＬＳ）では時間ドメインを使用し、他の方法ではＤ−４ウェーブレットドメインを使用している。 心磁図データの予測モデルを作成するための異なる方法に対する質の指標を示す図表である。 ウェーブレット変換したデータに対するＫ−ＰＬＳに基づいた、３５個の検査症例における誤差のプロットである。 偽陽性と偽陰性との間で見込まれるトレードオフを示す受信者動作特性（ＲＯＣ）曲線である。 直接カーネル主成分分析（ＤＫ−ＰＣＡ）（左）と直接カーネルＰＬＳ（ＤＫ−ＰＬＳ）（右）とに基づいた７３個のトレーニングデータの投影である。病変のある症例は黒丸で示されている。テストデータは図示しない。 ラップアラウンド(wrap-around)モードでの９×１８直接カーネル自己組織化マップ（ＤＫ−ＳＯＭ）に基づいた自己組織化マップ上に表示されたテストデータを示す。 テストデータセットに対して異なる技法を用いた虚血の予測の結果を示す。 データ前処理ステップとしての直接カーネル法の操作概略図である。 直接カーネル法においてカーネルセンタリングを用いたデータ前処理を示すフローチャートである。 自己組織化マップ（ＳＯＭ）の典型的な構造図である。 心拍記録データの自動分類について本明細書で開示される技法の一覧表である。

Claims (46)

1. コンピュータ制御のハードウェアを用いた心磁図データ(magnetocardiography data)の自動的な分類のための方法であって、
   前記コンピュータ制御のハードウェアが、患者の心臓に隣接し、胴体上の複数の位置において前記患者の心臓活動によって生じた磁界を感知する磁気センサから感知心磁図データを取得することと、
   前記コンピュータ制御されたハードウェアが、前記磁気センサから取得した時系列の心磁図データである感知心磁図データに対してウェーブレット変換を適用して、ウェーブレットドメインデータを得ることと、
   前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータにカーネル変換を適用して、変換データを得ることと、
   前記コンピュータ制御のハードウェアが、機械学習を用いて、前記変換されたデータの症例に基づく分類に関する熟練者の規準の定式化を行うことと、
   を有し、
   前記機械学習は、カーネル部分最小二乗（Ｋ−ＰＬＳ）機械学習、直接カーネル部分最小二乗（ＤＫ−ＰＬＳ）機械学習、最小二乗サポートベクトルマシン（ＬＳ−ＳＶＭ）及びサポートベクトルマシン（ＳＶＭ／ＳＶＭＬｉｂ）の中の１つである、方法。
2. 前記カーネル変換はMercer条件を満たす、請求項１に記載の方法。
3. 前記カーネル変換はラジアル基底関数を有する、請求項１に記載の方法。
4. 前記カーネル変換を適用することは、
   前記コンピュータ制御のハードウェアが、前記変換データをニューラルネットワークの第１の隠れ層に割当てることと、
   前記コンピュータ制御のハードウェアが、トレーニングデータ記述子（ディスクリプタ）を前記ニューラルネットワークの前記第１の隠れ層の重みとして適用することと、
   前記コンピュータ制御のハードウェアが、前記ニューラルネットワークの第２の隠れ層の重みを数値的に算出することと、
   を有する、請求項１に記載の方法。
5. 前記第２の隠れ層の前記重みを数値的に算出することは、前記コンピュータ制御のハードウェアが、前記第２の隠れ層の前記重みをカーネルリッジ回帰を用いて算出することをさらに有する、請求項４に記載の方法。
6. 前記カーネル変換を適用することは、前記コンピュータ制御のハードウェアが、直接カーネル変換を適用することを有する、請求項１に記載の方法。
7. 前記サポートベクトルマシン（ＳＶＭ／ＳＶＭＬｉｂ）の場合に、前記コンピュータ制御のハードウェアは、ｎ元のデータカーネルに対してＳＶＭＬｉｂ正則化(regularization)パラメータＣをＣ＝１／λに設定し、ここで前記λが前記ｎの（３／２）乗に比例する、請求項１に記載の方法。
8. 前記サポートベクトルマシン（ＳＶＭ／ＳＶＭＬｉｂ）の場合に、前記コンピュータ制御のハードウェアは、ｎ元のデータカーネルに対してＳＶＭＬｉｂ正則化パラメータＣをＣ＝１／λに設定し、ここで、
   

   

   である、請求項１に記載の方法。
9. 前記ウェーブレットを適用することは、前記コンピュータ制御のハードウェアが、Daubechiesウェーブレット変換を前記感知心磁図データに適用することを有する、請求項１に記載の方法。
10. 前記コンピュータ制御のハードウェアが、前記心磁図データの分類を改善する特徴(features)を前記ウェーブレットドメインデータから選択することをさらに有する、請求項１に記載の方法。
11. 前記特徴を選択することは、前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータから選択された望ましくない特徴を除去することをさらに有する、請求項１０に記載の方法。
12. 前記選択された望ましくない特徴を除去することは、前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータから範囲外のデータを除去することを有する、請求項１１に記載の方法。
13. 前記選択された望ましくない特徴を除去することは、前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータからカズン(cousin)記述子を除去することを有する、請求項１１に記載の方法。
14. 前記特徴を選択することは、前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータから選択された望ましい特徴のみを保持することをさらに有する、請求項１０に記載の方法。
15. 前記選択された望ましい特徴のみを保持することは、
    前記コンピュータ制御のハードウェアが、トレーニングデータセットを用いることと、
    前記コンピュータ制御のハードウェアが、前記トレーニングセットのオーバートレーニングが存在しないことを確認するために妥当性検証データセット(validation data set)を用いることと、
    をさらに有する、請求項１４に記載の方法。
16. 前記選択された望ましい特徴のみを保持することは、
    前記コンピュータ制御のハードウェアが、遺伝的アルゴリズムを用いて前記トレーニングデータセットから最適な特徴のサブセットを取得することと、
    前記コンピュータ制御のハードウェアが、前記妥当性検証データセットの性能を評価するために前記遺伝的アルゴリズムを用いることと、
    をさらに有する、請求項１５に記載の方法。
17. 前記選択された望ましい特徴のみを保持することは、
    前記コンピュータ制御のハードウェアが、前記特徴の予測される応答に関して、前記ウェーブレットドメインデータからの前記特徴の感度を測定することと、
    前記コンピュータ制御のハードウェアが、前記特徴からの他の高感度の特徴と比較して相対的に低い感度を有する低感度の特徴を前記特徴から除去することと、
    をさらに有する、請求項１５に記載の方法。
18. 前記特徴を選択することは、
    前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータから選択された望ましくない特徴を除去することと、
    前記コンピュータ制御のハードウェアが、前記ウェーブレットドメインデータから選択された望ましい特徴のみを保持することと、
    をさらに有する、請求項１０に記載の方法。
19. 前記コンピュータ制御のハードウェアが、前記感知心磁図データを正規化することをさらに有する、請求項１に記載の方法。
20. 前記感知心磁図データを正規化することは、前記コンピュータ制御のハードウェアが、前記感知心磁図データをマハラノビス(Mahalanobis)スケーリングすることを有する、請求項１９に記載の方法。
21. 前記コンピュータ制御のハードウェアが、前記カーネル変換のカーネルをセンタリングすることをさらに有する、請求項１に記載の方法。
22. 前記カーネルをセンタリングすることは、
    前記コンピュータ制御のハードウェアが、トレーニングデータカーネルの各列から列平均を減算することと、
    前記コンピュータ制御のハードウェアが、テストデータカーネルをセンタリングする際に、後のリコールのために前記列平均を保存することと、
    前記コンピュータ制御のハードウェアが、前記トレーニングデータカーネルの各行から行平均を減算することと、
    を有する、請求項２１に記載の方法。
23. 前記カーネルをセンタリングすることは、
    前記コンピュータ制御のハードウェアが、前記保存された列平均を前記テストデータカ
    ーネルの各列に加算することと、
    前記コンピュータ制御のハードウェアが、各行に対して前記テストデータカーネルの平均を算出することと、
    前記コンピュータ制御のハードウェアが、前記行平均を前記テストデータカーネルの各水平エントリから減算することと、
    をさらに有する、請求項２２に記載の方法。
24. 心磁図データの自動的な分類のための装置であって、
    患者の心臓に隣接し、胴体上の複数の位置において前記患者の心臓活動によって生じた磁界を感知する磁気センサから、感知心磁図データを取得する入力手段と、
    前記磁気センサから取得した時系列の心磁図データである感知心磁図データに対してウェーブレット変換を適用して、ウェーブレットドメインデータを取得するコンピュータ制御のハードウェアの手段と、
    前記ウェーブレットドメインデータにカーネル変換を適用して、変換データを取得するコンピュータ制御のハードウェアの手段と、
    訓練を受けた機械学習を用いて前記変換データの症例に基づく分類に関する熟練者の基準の定式化を行う、コンピュータ制御のハードウェアの手段と、
    を有し、
    前記機械学習は、カーネル部分最小二乗（Ｋ−ＰＬＳ）機械学習、直接カーネル部分最小二乗（ＤＫ−ＰＬＳ）機械学習、最小二乗サポートベクトルマシン（ＬＳ−ＳＶＭ）及びサポートベクトルマシン（ＳＶＭ／ＳＶＭＬｉｂ）の中の１つである、装置。
25. カーネル変換がMercer条件を満たす、請求項２４に記載の装置。
26. 前記カーネル変換がラジアル基底関数を有する、請求項２４に記載の装置。
27. 前記カーネル変換を適用するコンピュータ制御のハードウェアの手段は、
    前記変換データをニューラルネットワークの第１の隠れ層に割当てるコンピュータ制御のハードウェアの手段と、
    トレーニングデータ記述子（ディスクリプタ）を前記ニューラルネットワークの前記第１の隠れ層の重みとして適用するコンピュータ制御のハードウェアの手段と、
    前記ニューラルネットワークの第２の隠れ層の重みを数値的に算出するコンピュータ制御のハードウェアの手段と、
    をさらに有する、請求項２４に記載の装置。
28. 前記第２の隠れ層の前記重みを数値的に算出する前記コンピュータ制御のハードウェアの手段は、前記第２の隠れ層の前記重みをカーネルリッジ回帰を用いて算出するコンピュータ制御のハードウェアの手段をさらに有する、請求項２７に記載の装置。
29. 前記カーネル変換を適用するコンピュータ制御のハードウェアの手段は、直接カーネル変換を適用するコンピュータ制御のハードウェアの手段をさらに有する、請求項２４に記載の装置。
30. 前記サポートベクトルマシン（ＳＶＭ／ＳＶＭＬｉｂ）の場合に、前記変換データを分類するコンピュータ制御のハードウェアの手段は、ｎ元のデータカーネルに対してＳＶＭＬｉｂ正則化(regularization)パラメータＣをＣ＝１／λに設定するコンピュータ制御のハードウェアの手段をさらに含み、ここで前記λが前記ｎの（３／２）乗に比例する、請求項２４に記載の装置。
31. 前記サポートベクトルマシン（ＳＶＭ／ＳＶＭＬｉｂ）の場合に、前記変換データを分類するコンピュータ制御のハードウェアの手段は、ｎ元のデータカーネルに対してＳＶＭＬｉｂ正則化パラメータＣをＣ＝１／λに設定するコンピュータ制御のハードウェアの手段をさらに含み、ここで、
    

    

    である、請求項２４に記載の装置。
32. 前記感知心磁図データを前記ウェーブレットドメインに変換するコンピュータ制御のハードウェア手段は、Daubechiesウェーブレット変換を前記感知心磁図データに適用するコンピュータ制御のハードウェアの手段を有する、請求項２４に記載の装置。
33. 前記心磁図データの分類を改善する特徴(features)を前記ウェーブレットドメインデータから選択するコンピュータ制御のハードウェアの手段をさらに有する、請求項２４に記載の装置。
34. 前記特徴を選択するコンピュータ制御のハードウェアの手段は、前記ウェーブレットドメインデータから選択された望ましくない特徴を除去するコンピュータ制御のハードウェアの手段をさらに有する、請求項３３に記載の装置。
35. 前記選択された望ましくない特徴を除去するコンピュータ制御のハードウェアの手段は、前記ウェーブレットドメインデータから範囲外のデータを除去するコンピュータ制御のハードウェアの手段を有する、請求項３４に記載の装置。
36. 前記選択された望ましくない特徴を除去するコンピュータ制御のハードウェアの手段は、前記ウェーブレットドメインデータからカズン(cousin)記述子を除去するコンピュータ制御のハードウェアの手段を有する、請求項３４に記載の装置。
37. 前記特徴を選択するコンピュータ制御のハードウェアの手段は、前記ウェーブレットドメインデータから選択された望ましい特徴のみを保持するコンピュータ制御のハードウェアの手段をさらに有する、請求項３３に記載の装置。
38. 前記選択された望ましい特徴のみを保持するコンピュータ制御のハードウェアの手段は、
    トレーニングデータセットを使用するコンピュータ制御のハードウェアの手段と、
    前記トレーニングセットのオーバートレーニングが存在しないことを確認するために妥当性検証データセット(validation data set)を使用するコンピュータ制御のハードウェアの手段と、
    をさらに有する、請求項３７に記載の装置。
39. 前記選択された望ましい特徴のみを保持するコンピュータ制御のハードウェアの手段は、
    遺伝的アルゴリズムを用いて前記トレーニングデータセットから最適な特徴のサブセットを取得するコンピュータ制御のハードウェアの手段と、
    前記妥当性検証データセットの性能を評価するために前記遺伝的アルゴリズムを用いるコンピュータ制御のハードウェアの手段と、
    をさらに有する、請求項３８に記載の装置。
40. 前記選択された望ましい特徴のみを保持するコンピュータ制御のハードウェアの手段は、
    前記特徴の予測される応答に関して、前記ウェーブレットドメインデータからの前記特徴の感度を測定するコンピュータ制御のハードウェアの手段と、
    前記特徴からの他の高感度の特徴と比較して相対的に低い感度を有する低感度の特徴を前記特徴から除去するコンピュータ制御のハードウェアの手段と、
    をさらに有する、請求項３８に記載の装置。
41. 前記特徴を選択するコンピュータ制御のハードウェアの手段は、
    前記ウェーブレットドメインデータから選択された望ましくない特徴を除去するコンピュータ制御のハードウェアの手段と、
    前記ウェーブレットドメインデータから選択された望ましい特徴のみを保持するコンピュータ制御のハードウェアの手段と、
    をさらに有する、請求項３３に記載の装置。
42. 前記感知心磁図データを正規化するコンピュータ制御のハードウェアの手段をさらに有する、請求項２４に記載の装置。
43. 前記感知心磁図データを正規化するコンピュータ制御のハードウェアの手段は、前記感知心磁図データをマハラノビス(Mahalanobis)スケーリングするコンピュータ制御のハードウェアの手段を有する、請求項４２に記載の装置。
44. 前記カーネル変換のカーネルをセンタリングするコンピュータ制御のハードウェアの手段をさらに有する、請求項２４に記載の装置。
45. 前記カーネルをセンタリングするコンピュータ制御のハードウェアの手段は、
    トレーニングデータカーネルの各列から列平均を減算するコンピュータ制御のハードウェアの手段と、
    テストデータカーネルをセンタリングする際に後のリコールのために前記列平均を保存するコンピュータ制御のハードウェアの手段と、
    前記トレーニングデータカーネルの各行から行平均を減算するコンピュータ制御のハードウェアの手段と、
    を有する、請求項４４に記載の装置。
46. 前記カーネルをセンタリングするコンピュータ制御のハードウェアの手段は、
    前記保存された列平均を前記テストデータカーネルの各列に加算するコンピュータ制御のハードウェアの手段と、
    各行に対して前記テストデータカーネルの平均を算出するコンピュータ制御のハードウェアの手段と、
    前記行平均を前記テストデータカーネルの各水平エントリから減算するコンピュータ制御のハードウェアの手段と、
    をさらに有する、請求項４５に記載の装置。

Images