JP5893623B2 - データ・セットにおける異常検出方法およびシステム - Google Patents

データ・セットにおける異常検出方法およびシステム Download PDF

Info

Publication number
JP5893623B2
JP5893623B2 JP2013521204A JP2013521204A JP5893623B2 JP 5893623 B2 JP5893623 B2 JP 5893623B2 JP 2013521204 A JP2013521204 A JP 2013521204A JP 2013521204 A JP2013521204 A JP 2013521204A JP 5893623 B2 JP5893623 B2 JP 5893623B2
Authority
JP
Japan
Prior art keywords
data
test
standard
image
data points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013521204A
Other languages
English (en)
Other versions
JP2013535268A (ja
Inventor
ナチェフ パラシュケフ
ナチェフ パラシュケフ
Original Assignee
ユーシーエル ビジネス ピーエルシー
ユーシーエル ビジネス ピーエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユーシーエル ビジネス ピーエルシー, ユーシーエル ビジネス ピーエルシー filed Critical ユーシーエル ビジネス ピーエルシー
Publication of JP2013535268A publication Critical patent/JP2013535268A/ja
Application granted granted Critical
Publication of JP5893623B2 publication Critical patent/JP5893623B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、データ、特に画像データのセットにおいて異常を検出する方法およびシステムに関する。本発明のいくつかの実施形態では、画像データは、動画像データまたはボリュメトリック画像データ等の高次元データであり、いくつかの実施形態では、異常検出を用いて、脳の医用画像における病理学的病変の自動検出およびセグメンテーションが提供される。
データのセット内で、外れ値または異常を構成するのに十分に残りのインスタンスと異なっていると言うことができるインスタンスを検出することができることが、望ましい場合が多い。例えば、医療分野において、連続的なモニタリングを受けている患者の心拍数等の生理学的パラメータの警戒すべき変化、または磁気共鳴スキャンもしくはコンピュータ断層撮影スキャンにおける脳の外観の異常を特定したい場合がある。他の分野の例としては、株式市場等の時間変化するデータにおいて異常な動きを特定することができることか、または生産ラインを通過している欠陥品を、それらの映像スナップショットに基づいて隔離することが挙げられる。データが1次元しかなく(例えばデータの各インスタンスが単一スカラー値を有しており)、値の分布が単純(例えば正規分布)である場合、異常の基準は容易に導き出すことができる。しかしながら、データが高次(例えば、動画像または静止画像、時系列、ボリューム・データ等)であり、かつ/または値の分布が複雑(例えば多峰分布)である場合、異常の十分な基準を見つけることは非常に困難である。
1つの見込みのある手法は、事前に異常がないものとして知られている「標準」データ・セットを取得し、その後、テスト・データの、標準データ・セットにおけるそのデータに最も類似するデータ(そのデータの近傍と呼ばれる場合がある)のインスタンスとの関係をインデックス付けすることにより、何が正常でありまたは何が異常であるかを定義するというものである。この比較に使用する近傍の数kを変化させることにより、異常の定義に用いられる、通常値または予測値からの偏差のスケールを操作することができる。
したがって、所与のデータ点xの異常の1つの単純な測度は、そのk最近傍までの平均距離、すなわちガンマ(γ)として知られる測度である(Harmeling、Dornhege、Tax、MeineckeおよびMuller、2006)。
Figure 0005893623
Ashburner, J., & Friston, K. J. (1999). Nonlinear spatial normalization using basis functions. Human Brain Mapping, 7(4), 254−266. Barrett, W. A., & Mortensen, E. N. (1997). Interactive live−wire boundary extraction. Medical Image Analysis, 1(4), 331−341. Botev, Z. I. (2007). Nonparametric density estimation via diffusion mixing. The University of Queensland, Postgraduate Series, Nov. Brett, M., Leff, A. P., Rorden, C., & Ashburner, J. (2001). Spatial normalization of brain images with focal lesions using cost function masking. Neuroimage, 14(2), 486−500. Fiez, J. A., Damasio, H., & Grabowski, T. J. (2000). Lesion segmentation and manual warping to a reference brain: intra−and interobserver reliability. Human Brain Mapping, 9(4), 192−211. Harmeling, S., Dornhege, G., Tax, D., Meinecke, F., & Muller, K. R. (2006). From outliers to prototypes: ordering data. Neurocomputing, 69(13−15), 1608−1618. Nachev, P., Coulthard, E., Jager, H. R., Kennard, C., & Husain, M. (2008). Enantiomorphic normalization of focally lesioned brains. NeuroImage, 39(3), 1215−1226. Rieck, K., & Laskov, P. (2006). Detecting unknown network attacks using language models. Detection of Intrusions and Malware & Vulnerability Assessment, 74−90. Seghier, M. L., Ramlackhansingh, A., Crinion, J., Leff, A. P., & Price, C. J. (2008). Lesion identification using unified segmentation−normalisation models and fuzzy clustering. Neuroimage, 41(4), 1253−1266. Bhanu Prakash K, Gupta V, Jianbo H, Nowinski W. Automatic processing of diffusion−weighted ischemic stroke images based on divergence measures: slice and hemisphere identification, and stroke region segmentation. International Journal of Computer Assisted Radiology and Surgery. 2008;3(6):559−570. Gupta V, Prakash K, Nowinski W. Towards discrimination of infarcts from artifacts in DWI scans. International Journal of Computer Assisted Radiology and Surgery. 2008 Apr;2(6):385−395. Hevia−Montiel N, Jimenez−Alaniz J, Medina−Banuelos V, Yanez−Suarez O, Rosso C, Samson Y, et al. Robust Nonparametric Segmentation of Infarct Lesion from Diffusion−Weighted MR Images Engineering in Medicine and Biology Society, 2007. EMBS 2007. 29th Annual International Conference of the IEEE. 2007. p. 2102−2105.
不都合なことに、γは、役に立たないほど、点の自然密度によって変化し、すなわち密度の高い領域は低い値を有し密度の低い領域は高い値を有し、異常のラベリングを密度によって決まるようにする(Harmelingら、2006)。これは図1に示されており、そこでは、異質の合成2次元データ・セットが各点のγスコアによってラベル付けされており、点の直径が大きいほどγスコアが高い。小さく密度の高いクラスタのメンバほど、概して、大きく密度の低いクラスタのメンバより、それらがそれらのそれぞれのクラスタに等しく強固に属していても、γの値が小さくなることが容易に分かる。したがって、異常がγの固定閾値によって確定されるならば、異常であるとラベル付けされるのが、密度の低いクラスタのメンバは多くなり過ぎ、密度の高いクラスタのメンバは少なくなり過ぎることになり、スコアが密度の局所的な差によって混乱することが容易に分かる。
画像等の入力データ・セットにおける異常データを検出しセグメント化する方法および装置であって、ゼータ距離スコアと呼ばれる正規化距離測度を利用する方法および装置が記載されている。本発明の実施形態では、データはケースのセットに編成され、各ケースは1つまたは複数のデータ点から構成されたテスト・インスタンスである。例えば、各ケースは、物体の瞬間温度等の単一測定値である場合、単一データ点から構成される。逆に、各ケースは、画像を構成する個々のピクセル強度等、複数の測定値から構成される場合、複数のデータ点を有する。ここで、本明細書では、テスト・ケースを個別に取得し、それを、データ値の正常な変動または予測された変動を表す「標準」または「基準」データ・セットからの複数の異なるケースと比較する。入力テスト・ケースからのデータ点が、ケースの標準セットの対応するデータ点と比較され、テスト・データ点から、それに値が最も近い標準データ・セット内の対応する点の各々までの平均「距離」が見つけられる。例えば、テスト・ケースが画像であり、各データ点が各ピクセルの強度である場合、計算される距離は、各テスト・ピクセルに対して、テスト画像のピクセル強度と、対応するピクセルがテスト・ピクセルに値が最も近い画像の標準セットの画像における対応する値との平均差である。テスト・データ点に値が最も近い標準データ・セット内の点はその点の最近傍と呼ばれ、計算に含められる最近傍の数kは、捕捉しようとする異常のスケールに応じて、ゼロから標準データ・セットにおけるケースの数までの範囲内から任意に選択される。そして、テスト・データ点から標準データ・セットにおけるその最近傍までの平均距離と、最近傍データ点自体の間の平均距離との差を見つけることにより、正規化距離測度が得られる。この正規化距離は、ゼータ・スコアとして知られている。テスト・データ点および標準データ点の各々を、単一の値もしくは次元(スカラー、例えば画像のピクセルの強度)かまたは一連の値もしくは次元(ベクトル、例えば3次元脳スキャンにおける解剖学的位置のx値、y値、z値、または同じ物体の3つの異なるタイプの画像におけるピクセルの3つの異なる強度)によって記述することができるが、比較されているすべての点に対して、次元の数は同じでなければならない。点毎の次元の数が1を超える場合(すなわち、各データ点がベクトルである場合)、距離測度は代数ではなくユークリッドであるか、または多次元データに対する複数の距離測度のいずれかである。ゼータ・スコア計算の結果は一連のスカラー値であり、その各々がテスト・データ点の各々に対応する。テスト・データ点が2次元画像の個々のピクセルである場合、結果もまた2次元画像であり、各ピクセルはそのゼータ・スコアによってラベル付けされる。テスト・データ点が3次元画像(すなわちボリューム)の個々のボクセルである場合、結果もまた、同様にラベル付けされた3次元ボリュームである。要するに、各データ点の次元数とは対照的に、ケースの次元数により、ゼータ計算の結果の次元数が決まる。ゼータ・スコアは実数測度であり、望ましい場合、異常であるデータ点を異常でないデータ点から識別するバイナリ・マップを生成するように、ゼータ・スコアに対して閾値処理を施すことができる。代替的に、各点に対するゼータ・スコアを、異常の程度の連続的なインデックスとして使用することができる。
上記に鑑みて、第1の態様から、本発明は、テスト・データ・セットにおいて異常データを特定する方法を提供し、本方法は、複数の異なる標準ケースの1つまたは複数の標準データ・セットを格納するステップであって、各標準ケースが正常な非異常データ内の変動を表す1つまたは複数の標準データ点を含む、ステップと、テスト・データ・セットにおける1つまたは複数のテスト・データ点と、標準データ・セットにおける複数のケースのうちの少なくとも1つにおける、テスト・データ点に値が最も近い対応する標準データ点(すなわち、標準データ・セットにおけるテスト点の近傍)との間の第1の平均距離測度を計算するステップと、標準データ・セットのケースにわたる各テスト点の近傍の間の第2の平均差測度を確定するステップと、少なくとも第1の平均距離測度および第2の平均距離測度に応じて、1つまたは複数のテスト・データ点に関連する正規化距離測度を計算するステップと、テスト・データ点に対する計算された正規化距離測度の値に応じて、テスト・データ点を異常であるものとして特定するステップとを含む。
上記において、テスト・データ点を異常であると特定する正規化距離測度の使用により、多数の利点が与えられる。例えば、所与のテスト・データ・セットに対して最適化がほとんど不要であり、主な最適化パラメータは対応する標準データ点(最近傍)の数kであり、それに関して第1の差測度および第2の差測度が見つけられる。多くの実施形態において、このパラメータは、第1の差測度および第2の差測度の両方に対して同じになる。したがって、本技法は、いかなる複雑なデータにも最適に適応し、標準または「正常」データの特徴に完全に依存し、異常なデータの特徴に関してとらわれず(agnostic)、それにより、未経験の(naive)データに対する優れた性能が可能になる。本技法はまた、アルゴリズム的にかつ計算的に単純であり、したがって実装が容易である。
一実施形態では、テスト・データ・セットは、テスト・データ点として複数のテスト・ピクセルまたはボクセルを含むテスト画像または大量のデータであり、各標準データ・セットは、標準データ点として対応する標的ピクセルまたはボクセルを含む複数の異なる標準画像であり、複数のテスト・ピクセルまたはボクセルに関する複数の正規化距離測度が計算され、複数の正規化距離測度は、テスト画像に対応する正規化距離測度マップとして格納される。このように、本発明の方法は、画像データに対する使用に特に適合され、正規化差測度を、ユーザが見るために、入力画像に対応する画像として表示することができる。これに関して、正規化差マップ自体は、環境によっては、それが採用される特定の用途に応じて、ユーザに対して有用な情報を与えることができる。
1つの好ましい実施形態では、画像データは、磁気共鳴撮像法(MRI)、コンピュータ断層撮影(CT)、超音波またはX線のうちの少なくとも1つを介して得られる医用画像である。特に、一実施形態では、テスト画像は、1つまたは複数の病理学的病変を含む可能性がある脳のMRI画像であり、標準画像は、脳卒中病変のない正常な脳に対応するMRI画像である。これに関して、本発明の技法は、脳卒中の患者の脳のMRI画像において脳卒中病変の自動特定およびその程度のマッピングに対して特に有用であることが分かった。脳卒中病変のサイズおよび程度の情報は、医師が診断および治療の選択肢を判断する際に役立つ。
いくつかの実施形態では、テスト・データ点を異常であるものとして特定するステップは、閾値に基づくセグメンテーション操作である。すなわち、テスト・データ点は、テスト・データ点に対して生成された正規化差測度の、閾値との比較に基づいて、異常であるものとしてラベル付けされる。一実施形態では、閾値は適応的閾値であり、適応的閾値は、適応的閾値が変化する際に異常であるものとして特定されるテスト・データ点の数の所定の変化率に応じて確定される。これにより、異常データ点の予測された数の事前の情報を用いて、閾値を適応性のあるレベルに設定することができる。
一実施形態は、セグメント化されたテスト・データ点をクラスタ化するようにクラスタリング操作を実行し、異常なセグメンテーションから、所定数未満の数のデータ点を含むクラスタ化されたテスト・データ点を除去するステップをさらに含む。これにより、例えば入力データ・セットにおけるノイズによる、異常であるものとして不正確にセグメント化されたデータ点を、フィルタによって除去することができ、これにより、全体的なセグメンテーション性能が向上する。
本発明のいくつかの実施形態では、テスト・データ・セットおよび標準データ・セットの各データ点は、2つ以上の値、すなわちスカラーではなく長さnのベクトルによって記述される。例えば、データ点を、3つの値のベクトルによって記述することができ、各々が(例えば)3次元空間座標のx、yおよびzを与える。したがって、ベクトルの長さを、データ点の次元数を確定するものと言うことができる。したがって、テスト・データ点と標準データ・セットにおける対応するデータ点との間で計算される距離測度は、代数的な差ではなく、ユークリッド距離または他の何らかの高次元距離測度等の何らかの他の距離測度でなければならない。
データ点の次元数は、データに固有であってもよく(例えば、それが空間位置のセットを記述するため)、または、特定の用途のために異なるデータを意図的に結合した結果であってもよい。例えば、データ・セットにおける各ケースは、n個の画像を含むことができ、その各々が、撮像された対象のn個の異なる態様に対して感度が高い異なる撮像モダリティを採用している。n個の撮像モダリティを合わせて考慮してテスト・ケースの異常を確定したい場合、各ピクセルの値を結合して、ゼータ計算に入力される各データ点がn個の値のベクトルであり、値の各々がn個の画像の各々におけるピクセル強度を与えるようにすることができる。このように結合することができる撮像モダリティの数に理論的な制限はなく、距離測度は、ユークリッドかまたは上述した他の何らかの高次元測度である。撮像分野に適用される場合、結果としての異常ラベリングを、マルチスペクトル・ラベリングまたはセグメンテーションと呼ぶことができる。
本発明の別の実施形態では、テスト・データ・セットおよび標準データ・セット内の各データ点は、隔離されるのではなく他のデータ点の任意に選択されたサブセットと合わせて取得される。したがって、合わせて取得された特徴のサブセットに対して距離測度が計算され、各特徴は次元として扱われる。例えば、データの各ケースがデジタル画像であり、各データ点がピクセルである場合、隣接するピクセルのサブセット(例えば3×3グリッド)を取得し、ピクセル値の各々がサブセットの次元を記述するように各サブセットを計算に入力することができる。したがって、この計算から導出されたゼータ値は、各ピクセルに対してではなく各サブセットに対して適用され、複合ピクセル値の各々に対して、ここでは、隔離されたテスト・データとしてではなくサブセットの次元として扱われる。こうしたサブセットを生成するためにいかにケースが細分化されるかは任意であり、求められている異常の種類によって決まる。場合によっては、このように各ケースのデータ点すべてを扱うことが望ましい可能性があり、すなわち、ケースのすべてのデータ点が、単一テスト・データの次元として扱われる。例えば、画像がn×mピクセルであり、画像全体を単一テスト・データとして扱いたい場合、各テスト・ケースに対する入力データは、長さn*mの単一ベクトルであり、距離測度は、n*m次元空間におけるユークリッドまたは他の何らかの距離測度である。こうした計算によって生成されるゼータ値はケース毎に単一の値であり、すなわち、それは、ケースの異常をそのケースの何らかの特定の部分ではなく全体としてインデックス付けする。したがって、画像の場合、画像のいずれの特定の部分が異常であるかではなく全体としていずれの画像が異常であるかを判断するのに有用である。
より全体的に、いくつかの実施形態では、データはそれ自体高次元であるため、またはデータは合わせて集合化されるため、高次元ケースが発生する場合がある。前者の場合の例は、各データ点が空間位置のx、y、z等のベクトルである場合であり、後者の例は、種々の撮像モダリティで取り込まれた同じもののn個の画像を取得すること(すなわちマルチスペクトル撮像)であり、したがって、その場合、各ピクセル位置はn個の値を有する。ケース内でデータを集合化するように、すなわち特徴の「チャンク」を合わせて考慮するように選択することも可能であり、各特徴は次元として扱われる。したがって、操作をピクセル毎に実行するのではなく、ピクセルのチャンクで行う。
本発明の一実施形態におけるより特定の例は、テスト画像のセットおよび標準画像のセットの各ケースが2つの画像を含み、第2の画像が第1の画像の処理されたバージョンであり、各画像はテスト・データ点としてテスト・ピクセルまたはボクセルを有する場合である。第1の差測度は、一連の2次元距離測度の平均であり、各次元は各ケースを含む2つの画像の各々によって定義される。例えば、一実施形態では、各ケースの第1の画像はMRI画像であってもよく、第2の画像は同じMRI画像であるが、フィルタリング関数等の処理関数が施されたMRI画像である。後述する1つの特定の実施形態では、各ケースの第1の画像は人の脳のb0 MRI画像であり、第2の画像は同じ画像のガウス平滑化バージョンであり、各ケースは、異なる被験者の脳かまたは同じ被験者の異なる時点での脳の画像を含む。
環境によっては、テスト・データ点と標準データ・セットにおけるその対応するものとの間の対応関係が与えられないが、事前に確定されなければならず、そうでなければ、同様のものが同様のものと比較されない。したがって、一実施形態では、テスト・データ・セットのテスト・データ点と複数の標準ケースの1つまたは複数のセットにおけるそれぞれの対応する標準データ点との間の対応関係は、第1の差測度および第2の差測度を見つけることができる前に確立される。テスト・データ・セットおよび標準データ・セットの性質に応じて、これは、実質的に同じ(または好ましくはまったく同じ)である特徴を表すテスト・データ点と標準データ点との間で意味のある差測度が計算されていることを確実にするために必要なステップである可能性があり、すなわち、第1の特徴を表すテスト・データ点を異なる第2の特徴を表す標準データ点と比較することにはほとんど意味がない。これに関して、テスト・データ・セットおよび標準データ・セットとしての画像データに対して、対応関係を確立することには、標的となる画像と重ね合わさるようにテスト画像を位置合せすることを含むことができる。このように、同じ特徴を表すテスト画像および標的画像のピクセルまたはボクセルが位置合せされ、互いに比較される。
本発明の実施形態では、正規化差測度は、第1の平均距離測度および第2の平均距離測度の差として計算される。これを、本明細書ではゼータ距離スコアと呼び、それは、本明細書を通して説明するような多数の利点を提供する。
本発明のいくつかの実施形態では、第1の平均距離測度は、テスト点からk個の最近傍の対応する標的データ点までの平均距離であり、第2の平均距離測度は、k個の最近傍の対応する標的データ点の間の平均距離測度であり、kおよびkは異なる。これにより、より多くのパラメータを変更することができ、改善された最適化が可能になる。
別の態様から、本発明はまた、装置であって、少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備え、少なくとも1つのメモリおよびコンピュータ・プログラム・コードが、少なくとも1つのプロセッサにより、装置に対し少なくとも、複数の標準ケースの1つまたは複数のセットを提供することであって、各標準ケースが正常の非異常データを表す1つまたは複数のデータ点を含み、テスト・データ・セットにおける1つまたは複数のテスト・データ点と、複数の標準データ・ケースのうちの少なくとも1つにおける1つまたは複数の対応するデータ点との間の第1の平均距離測度を計算することと、複数の標準データ・ケースのうちの少なくとも1つにおける対応する標準データ点の間の第2の平均距離測度を確定することと、第1の平均距離測度および第2の平均距離測度に応じて、1つまたは複数のテスト・データ点に関連する正規化距離測度を計算することと、テスト・データ点に対する計算された正規化距離測度の値に応じて、テスト・データ点を異常であるものとして特定することとを実行させる、装置も提供する。
別の態様から、本発明はまた、複数の標準ケースの1つまたは複数のセットを提供する手段であって、各標準データ・ケースが正常の非異常データを表す1つまたは複数の標準データ点を含む、手段と、テスト・データ・セットにおける1つまたは複数のテスト・データ点と、複数の標準データ・セットのうちの少なくとも2つにおける1つまたは複数の対応する標的データ点との間の第1の平均距離測度を計算する手段と、複数のケースのうちの少なくとも1つにおける対応する標準データ点の間の第2の平均距離測度を確定する手段と、第1の平均距離測度および第2の平均距離測度に応じて、1つまたは複数のテスト・データ点に関連する正規化距離測度を計算する手段と、テスト・データ点に対する計算された正規化距離測度の値に応じて、テスト・データ点を異常であるものとして特定する手段とを備える装置も提供する。
本発明のさらなる態様は、異常を特定するように構成されたシステムであって、使用時に、異常があるか解析すべきテスト・データが受け取られる入力と、正常データ値の変動を表す複数の標準データ・セットを格納することができるデータ・メモリと、テスト・データに対し、テスト・データおよび標準データの対応する部分の間の距離と、対応する標準データの間の距離との差を表す正規化距離測度を計算するように構成されたデータ・プロセッサと、正規化距離測度の1つまたは複数の閾値との比較により異常なテスト・データを特定するように構成されたデータ・セグメント化器とを備えるシステムを提供する。
別の態様では、本発明はまた、テスト・データにおける異常を特定する方法であって、異常があるか解析すべきテスト・データを受け取るステップと、正常データ値を表す複数の標準データ・セットを提供するステップと、テスト・データに対し、テスト・データおよび標準データの対応する部分の間の距離と、対応する標的データ間の距離との差を表す正規化距離測度を計算するステップと、正規化距離測度の1つまたは複数の閾値との比較により異常なテスト・データをセグメント化するステップとを含む方法も提供する。
本発明のさらに別の態様は、コンピュータによって実行されると、コンピュータに対し、上記態様のうちのいずれかの方法に従って動作させるように構成された、コンピュータ・プログラムまたは一組のコンピュータ・プログラムを提供する。さらに、さらなる態様から、先の態様によるコンピュータ・プログラムまたは一組のコンピュータ・プログラムのうちの少なくとも1つを格納するコンピュータ可読記憶媒体が提供される。
本発明のさらなる特徴および利点は、単に例として提示されるその実施形態の以下の説明から、かつ同様の参照数字が同様の部分を指す添付図面を参照することにより、明らかとなろう。
距離測度を示すために使用されるデータ・セット例の図である。 本発明の実施形態で使用される、ゼータ正規化距離測度を示すために使用されるデータ・セット例の図である。 本発明の実施形態による装置のブロック図である。 本発明の実施形態による方法を示すフロー図である。 本発明の実施形態における画像特徴位置合せを示す図である。 本発明の実施形態で使用されるセグメンテーション方法を示すフロー図である。 本発明の実施形態で使用されるゼータ・マップ生成方法を示すフロー図である。 脳病変のMRI画像例を示す図である。 病変セグメンテーション例を示す図である。 病変セグメンテーション例を示す図である。 手動セグメンテーションを用いる病変セグメンテーション例を示す図である。 本発明の実施形態によるゼータに基づくセグメンテーションを用いる病変セグメンテーション例を示す図である。 病変セグメンテーション例を示す図である。 病変セグメンテーション例を示す図である。 手動セグメンテーションを用いる病変セグメンテーション例を示す図である。 本発明の実施形態によるゼータに基づくセグメンテーションを用いる病変セグメンテーション例を示す図である。 手動セグメンテーションに対する本発明の実施形態の自動病変検出における感度および特異度のグラフである。 得られた結果のROC曲線を示す図である。 本発明の実施形態を用いて得られたセグメンテーション性能のグラフである。 本発明の実施形態を用いて得られたセグメンテーション性能のグラフである。
実施形態の概要
本発明の実施形態は、本明細書においてゼータ距離スコアと呼ぶデータ・セットの間の距離の正規化測度を利用するデータ処理技法に関する。特に、本発明の実施形態は、テスト・データ・セット内の異常なデータを、「正常」データを表す1つまたは複数の標準データ・セットに対して比較することにより自動的に検出することができることに関し、すなわち、データは、予測された正常範囲内にある値を有している。異常の1つの測度は、ガンマ(γ)と呼ばれることが多い、テスト・データ点とそれに最も類似する対応する複数の標準データ点、すなわちその最近傍との間の平均距離または差である。しかしながら、後に詳細に説明するように、より広い範囲に広がるセットに対して、そのセットにおけるデータ点の非常に多くが異常であるとみなされる可能性があるという点で、ガンマの使用には複数の欠点があり、そうした使用は、データ点の特定のセットが広がる値の密度または範囲に特に影響されやすい。
この問題を克服するために、本発明の実施形態は、本明細書においてゼータ(ζ)と呼ぶ正規化平均距離測度を利用する。後にさらに説明するように、ゼータ距離スコアは、テスト・データ点からそれに最も似ている標準データ点のセット(すなわちその最近傍)までの平均距離と、標準データ・セット自体における最近傍データ点の間の平均距離との差である。この差をとることにより、標準データ点の密度の低いクラスタまたは密度の高いクラスタの影響が正規化によって除去され、そのため、結果としてのゼータ距離スコアに対する閾値処理操作を用いて、標準データ点のセットに対して常なデータ点を見つけることが容易になる。
本発明の実施形態は、特に画像内の異常なデータの自動セグメンテーションを提供する際にゼータ距離スコアを利用する。さらにより詳細には、画像データは医用画像、例えばMRI(磁気共鳴撮像)、CT(コンピュータ断層撮影)、超音波またはX線画像である。1つの好ましい実施形態では、画像データは、脳のMRI画像であり、自動セグメンテーション・アルゴリズムが提供されて、脳の病理学的病変の程度を試行し特定しマッピングする。
特に、後により詳細に説明するように、本発明の1つまたは複数の実施形態では、「正常」データを表す標準データ・セット、例えば正常データを表す複数の画像のセットが格納される。一実施形態では、標準データ・セットのセットは、いかなる局所性異常も示さないことが分かった患者の脳の健康な脳のMRI画像であり得る。
そして、テスト・データ・セット、例えば、一実施形態ではテスト被験者の脳のMRI画像であり得るテスト画像が入力される。そして、テスト・データ・セットのデータが、標的データ・セットにおける対応する標的データ点とデータ点毎に比較され、各データ点に対してゼータ距離スコアが計算される。テスト・データが画像データである場合、各ピクセル(または、多くのタイプのMRI、CTまたは他の医用画像データのように、各ピクセルが実際にボリュームを表す場合は、ボクセル)に対してゼータ距離スコアが計算され、画像に対応するゼータ・マップを生成することができる。
ゼータ距離データにおける異常のセグメンテーションを実行するために、所定閾値を上回る(または下回る)ゼータ・データ点をセグメント化する閾値処理アルゴリズムが使用される。いくつかの実施形態では、セグメンテーション性能を向上させるように、適応的閾値を使用することができる。そして、ゼータ・データが画像データから生成される場合、ゼータ・マップに閾値処理アルゴリズムが適用され、セグメント化された画像が生成される。
そして、セグメント化されたデータに対し後処理操作を任意に実行することにより、例えば外れ値を除くことができる。例えば、セグメント化された画像が生成される場合、セグメント化されたピクセルに対して連結解析を行うことにより、隣接するセグメント化されたピクセルのクラスタを確定することができ、クラスタ・サイズ閾値を適用することにより、セグメンテーションから特定のサイズより小さい(または逆に、特定のサイズより大きい)クラスタ除去することができる。さらに、セグメント化されたピクセルによってセグメント化されていないピクセルが包囲される場合、そのピクセルは、クラスタが完成するように、セグメント化されたものとしてマークされる。
プロセスの出力はセグメント化されたデータであり、テスト・データ・セットにおける異常なデータは正常データからセグメント化されている。そして、画像データにおいて、画像データの異常が強調表示される。例えば、画像データが、例えば人の脳の医用画像データである場合、その画像の病理学的病変がセグメント化され、それらの程度がマッピングされる。これは、医師が、行理学的病変がもたらす可能性がある疾病の程度、したがっていかなる治療が必要となる可能性があるかを予測するのに役立つ。
本発明の実施形態で使用されるゼータ距離スコアと、データ・セットの異常を検出するためにゼータ距離スコアをいかに使用することができるかとのより詳細な説明が続く。その後、2つの特定の実施形態のより詳細な説明が続き、それらのうちの1つは、全体として画像データの異常のセグメンテーションに関連し、それらのうちの2番目は、脳のMRI画像における病理学的病変の自動識別に向けられている。
ゼータ距離スコア
経験的データは、1つまたは複数の特徴からなるケースの形態をとることが多い。ケースはデータのインスタンスであり、その特徴はそれを定義する変数である。最も単純なケースは、単一の変数のみ、例えば棒の長さ、球の重量または表面の均一な明るさを有している。より複雑なデータ・セットは、複数の変数、例えばデジタル写真、ボリュメトリック磁気鏡面撮像または地理的表面温度測定値を有している。例えば、デジタル写真では、各画像の各ピクセルは、その特定のケースの特徴であり、ボリュメトリック・データの場合、各ボリューム要素(略してボクセル)が特徴である。ここで、本明細書では、特徴、変数または次元を同義に用いて、個々のケースを構成する1つまたはいくつかの態様を示す。
画像、ボリュームまたは映像等の高次元データの解析における共通の問題は、特徴が何らかの「標準」母集団とは異なるケースのセットの自動識別、すなわち異常検出と呼ばれるプロセスである。データの次元数が高いか、または母集団の分布が複雑である場合、標準セットの変動性を適切に捕捉する異常のロバストな基準を導出することが困難であるため、十分な解に達することが非常に困難である。
所与のデータ点xの異常の1つの単純な測度は、そのk最近傍までの平均距離、すなわちガンマ(γ)として知られる測度である(Harmeling、Dornhege、Tax、MeineckeおよびMuller、2006)。
Figure 0005893623
データ点をn次元(n>1)によって定義することができ、すなわち最も単純な距離測度はユークリッド距離である(ただし他の距離測度を使用することができる)。不都合なことに、γは、役に立たないほどに点の自然密度によって変化し、すなわち密度の高い領域は低い値を有し、密度の低い領域は高い値を有し、異常のラベリングを密度によって決まるようにする(Harmelingら、2006)。これは図1に示されており、そこでは、異質の合成2次元データ・セットが各点のγスコアによってラベル付けされており、点の直径が大きいほどγスコアが高い(k=4)。小さく密度の高いクラスタのメンバほど、概して、大きく密度の低いクラスタのメンバより、それらがそれらのそれぞれのクラスタに対して等しく強固に属していても、より小さいγの値を有することになることが容易に分かる。したがって、異常がγの固定閾値によって確定されるならば、異常であるとラベル付けされるのが、密度の低いクラスタのメンバは多くなり過ぎ、密度の高いクラスタのメンバは少なくなり過ぎることになり、スコアが密度の局所的な差によって混乱することが容易に分かる。
しかしながら、k最近傍およびその内部関係の「クリーク」を考慮する場合、この問題をなくすことができる。したがって、代替的なスコア、すなわち、ある点からその近傍までの平均距離(その点のその近傍に関連する異常のインデックス)とその近傍の平均クリーク内距離(近傍クリークの密度のインデックス)との差であるゼータ(ζ)を導出することができる。
Figure 0005893623
図2は、ζによってラベル付けされた同じ合成データを示し、1つの点に対する計算がグラフィカルに示されており、第1項は点線で示され、第2項は実線で示されている。それらの線は、1つの外れ点に対して、k=4が与えられた、ゼータが依存する距離を示す。ここで、異常スコアが密度に依存しておらず、点が、正しく識別されているそれらのそれぞれのクラスタに対して等しく異常であることに留意されたい。したがって、2つのクラスタを比較すると、γとは対照的に、密度の変動がここではスコアを乱さないことが容易に分かる。
そして、ζスコアは、他のあらゆる既存のk最近傍手法よりも、標準データの分布における不均質性に対してはるかにより柔軟に適応性のある、異常を定義する手法を提案する。kを変化させることにより、本アルゴリズムを、変動性の種々のスケールによりデータ・セットに対して最適化することができる。以前の実装では、kの単一の値、すなわちクリークに関して最近傍に対して同じ値を使用していたが、2つの異なる値、すなわち近傍距離に対してkおよびクリーク距離に対してkがあることが可能である。
元はネットワーク侵入検知(RieckおよびLaskov、2006)に関連して考えられたこの手法には多数の利点がある。第1に、概念的に非常に単純である。第2に、所与のデータ・セットに対して最適化するために1つまたは2つ(その場合、kの2つの異なる値が使用される)のパラメータのみがあればよい。第3に、あらゆる複雑なデータに対して最適に適応する。第4に、異常なケースの特徴に関してとらわれず、完全に標準的なケースの特徴に依存し、それにより、それが未経験のデータに対して優れた性能が可能となる。最後に、アルゴリズム的に、したがって計算的に実装が容易である。
異常の検出に対するゼータ距離スコアの適用
ζ異常検出の適用に対する前提条件は「標準」データ・セットであり、すなわち、異常の概念は、ある種の標準母集団に関してのみ適用可能であることが分かった。標準データ・セットの最適な特性は、用途によって異なり、それは、データの性質および検出したい異常によって決まる。
ここで、2つの種類の使用、すなわち異常なケースの検出およびケースの異常な特徴の検出を識別することができる。前者では、データ・サンプルの特徴のすべてが合わせて使用され、目的は、異常なケースを全体として特定することであり、後者では、各特徴が事実上独立して扱われ、目的は、異常な特徴を特定することであり、ケース全体の異常はそれほど重要ではない。本質的に、第2の使用におけるテスト・データは、各ケースの一部、すなわちその特徴のうちの1つまたはサブセットであり、残りのものと事実上独立して扱われる。したがって、異常に関するいかなる結論も、特に、その特徴または特徴のサブセットに関するものとなる。
いずれの場合も、あらゆる異常測度の導出は、ケースのすべての特徴を、何が非異常である、すなわち「正常」標準データ・セットであるかを定義する、ケースの標準セットのすべての対応する特徴と比較することができることによる。これにより、あらゆる用途に対して2つの前提条件が導入される。第1に、各ケースの各特徴は識別可能でなければならず、第2に、比較する対象となる標準ケースのセットがなければならない。
第1の要件は、データ・セットの性質によって自動的に満足させることができる。例えば、各ケースが、不変の視点から取り込まれた非常にステレオタイプな物体(例えば印刷回路基板)の2次元画像である場合、画像のセットの各特徴、この場合各ピクセルは、その物体に関するそのピクセル空間的位置が不変となるため直接比較可能となる。すなわち、すべての画像において、画像グリッドにおけるピクセルの位置は、撮像されている対象の同じ部分に対応し、ピクセルの位置は、ピクセルが記録する特徴の十分な識別子である。この概念は、明らかに、他の種類のデータに対して一般化可能であり、すなわち、重要な概念は、画像のパラメータ化と対象のパラメータ化との既存の直接の対応関係である。
逆に、種々の患者の脳の3次元画像の解析等、各ケースの各特徴間の対応関係がデフォルトでは入手可能ではなく、各データ・セットに対して導出しなければならない状況がある。ここで、同じ特徴がデータ・セット全体にわたって比較されることを確実にするように、すべてのケースの特徴が互いに整合される前処理ステップ、画像処理分野では「重ね合せ(co−registration)」と呼ばれるプロセスが必要である。最適な重ね合せステップの特徴は、ケース間の相違の性質によって決まり、線形変換または非線形変換のいずれかが必要であり得る。ここでは、一致する特徴の間の対応関係を識別する方法を指定する必要はなく、同一性または類似性のあらゆる測度を採用することができる。
第2の要件は、異常の概念を明らかに含むことであり、すなわち、異常を判断するために使用することができる標準が必要である。明らかに、異常の性質は、標準の性質によって決まり、一般的に特定することはできない。同様に、いかなる特定のデータ・セットおよび用途からも無関係に、標準データ・セットがいくつのケースを含む必要があるかを言うことはできず、これは、経験的に確定されるべき問題である。
検討中の用途に対して十分なサイズのデータ・セットを取得し、比較するべき各ケースの特徴が特定されると、ζ異常検出の適用に進むことができる。ここでは、行うべき2つのさらなる判断がある。第1に、異常検出を最適化するように、各特徴のデータ値を変換する必要があるか否かを判断しなければならず、こうした変換は、データの正規化またはセンタリングの形態をとることができる。第2に、各ケースが2つ以上の特徴を有する(大部分の用途に対して当てはまる傾向がある)場合、ζをマス単変量(mass−univariate)的に適用すべきかまたは多変量的に適用すべきかを判断しなければならない。
前者の場合、ζ計算は、データ・セットにわたって各特徴に対して、特徴にわたる相関は無視して反復的にかつ独立して適用され、したがって、ケース全体としてではなくケースの特定の特徴の異常が特定される。例えば、画像のセットにζを適用する場合、各特徴はピクセルであり、したがって、ζ計算は、すべてのピクセルにおいて独立して実行される。したがって、結果は、元のデータと同じ次元数のζ画像となり、そこでは各ピクセルは、データ・セットにわたって同じ位置におけるピクセルのセットからのその異常によってラベル付けされる。
後者の場合、特徴をすべて合わせて考慮するかまたは一続きのサブセットを考慮するかを判断しなければならない。2次元ピクチャの例に戻ると、ここでは、ピクセルのすべてを合わせて考慮することができ、各ピクセルは、異常計算が実行されるデータ点の次元を定義し、その結果、ピクチャまたはケース毎に単一の異常値がもたらされる。n>1の特徴のサブセットが取得される(例えば3×3ピクセルのグリッド)場合、異常計算に入力される各データ点は、サブセットの次元によって定義され、計算の出力は、サブセットの数に対応する、ケース毎の一連のζ値となる。
いずれの手法がとられても、異常検出が実行される際の特徴は、画像の実際のピクセル値等、データの固有パラメータである必要はないことを留意されたい。次元の数が高い場合、データをより低次元の空間に埋め込み、このより単純な空間でζ計算を実行することが望ましい場合がある。上述したように、ここでは、単変量手法または多変量手法をとることができる。
ζ計算の結果は、対応する点の異常の程度に対応する実数値のセットである。用途に応じて、実数をカテゴリ値または二値に変換することが望ましい場合がある。例えば、異常の正確な程度を記録するのではなく異常なケースから正常なケースを単に識別したい場合がある。こうした離散化を、検討中の用途に適合するように選択された基準値に基づく単純な閾値処理を用いて行うことができ、または適応的閾値処理等、より高度なアルゴリズムを使用してもよい。
第1の実施形態:画像データにおける異常セグメンテーション
画像データにおける異常のセグメンテーションに適用可能な本発明の第1の全体的な実施形態を図3〜図7に示し、次に説明する。
図3は、第1の実施形態による、画像データにおいて自動異常検出を実行する装置30のブロック図である。装置30は、例えば、画像データ36を受け取ることができるような適切な入力インタフェース306と、データを処理して異常検出を実行するようにCPU302を制御する適切な制御ソフトウェアと、表示画面34を、処理された画像データを画面に表示することができるように制御するように構成されたディスプレイ・インタフェース304とが設けられている汎用コンピュータであり得る。CPU302の動作を制御するために、ハード・ディスク・ドライブ等のコンピュータ可読記憶媒体308に格納された制御ソフトウェアが提供される。制御ソフトウェアは、異常検出制御プログラム3082、ゼータ・マップ・セグメンテーション・プログラム3084、画像位置合せプログラム3086およびゼータ・マップ計算プログラム3088の形態をとる。異常データを検出することができるために、正常(予測)データを表す標的または標準画像3090のセットが格納され、それに対して、入力画像データを比較してそれが異常であるか否かを判断することができる。本明細書において、「標的」および「標準」という用語は、正常(予測)データ値を表す標準データ(例えばピクセルデータまたはボクセルデータを含む画像)を指すように同義で使用されることに留意されたい。
代替的にまたはさらに、一実施形態では、異常データを表す標的画像または標準画像のセットを格納することができる。こうした場合、その後、いわゆる「正常」データは、それが異常データのセットからどれくらい異なるかを参照することによって検出されるが、発生する可能性がある異常の範囲が与えられると、標的正常データのセットに対する入力データの比較が好ましく、それは、入力データがより標準的なデータ・セットと比較されているためである。
図3の装置の動作を、図4により詳細に示す。まず、ブロック4.2において、処理されるべき1つまたは複数のテスト画像36が、この場合は画像入力インタフェース306において受け取られる。入力画像データは、コンピュータ可読媒体308に一時的に格納されるか、またはRAM(図示せず)等の揮発性メモリに格納され得る。この時点で、CPU302は、異常検出制御プログラム3082の全体的な制御の下で動作し、異常検出制御プログラム3082は、全体的な異常検出プロセスを制御し、特に、画像位置合せプログラム3086、ゼータ・マップ計算プログラム3088およびゼータ・マップ・セグメンテーション・プログラム3084を制御する。異常検出制御プログラムによって実行される場合のこれらのプログラムの各々の動作については、後に説明する。
テスト画像(複数可)が入力され、処理されるのを待っていると判断すると、異常検出制御プログラム3082は、次いで、ブロック4.4において、画像位置合せプログラム3086が実行されるようにし、それにより、1つまたは複数の入力画像が標的または標準正常画像のセットと位置合せされる(それら自体はすでに位置合せされている)。特に、上述したように、いかなる異常測度の導出も、ケースのすべての特徴を、何が非異常、すなわち「正常」標的または標準データ・セットであるかを定義するケースの標準セットのすべての対応する特徴と比較することができることによって決まる。すなわち、本実施形態におけるような画像データの場合、画像の特徴を、入力画像の特徴Xを表すピクセル(もしくはボクセル)またはピクセル(もしくはボクセル)のセットが、標的正常画像のセットにおける対応する特徴Xを表す対応するピクセル(ボクセル)またはピクセル(ボクセル)のセットと比較されるように、位置合せされるべきである。これを、図5においてより詳細に示す。
図5は、物体562の画像を含む、受け取られたテスト画像36を示す。例えば、画像は人の脳のMRI画像またはCT画像であり得る。標準「正常」画像52および54が、標的または標準画像3090の格納されたセットで入手可能である。特徴522の一部である画像52のピクセル524が特徴542を含む標的画像554のピクセル544に対応するという点で、標的画像52および54はすでに位置合せされている。このため、ピクセル524および544は、それぞれ対応する特徴522および542の同じ部分にすでに対応していることが分かり、ともに「正常」データを表すため、それらの間にわずかな相違しかないはずである。さらに、ピクセル524および544の相違は、ピクセル524または544のいずれかと、標的または標準データ・セットにおける他のあらゆる画像の位置合せされた画像の対応するピクセルとの間の距離に類似しているべきである。
ここで、入力され、特徴362を含むテスト画像36を考慮する。標的画像との適切な比較を可能にするために、画像36の特徴362を、標的画像52および54の対応する特徴522および542と位置合せする必要がある。ピクセル・レベルにおいて、特徴362の一部を形成するピクセル364をピクセル544および524と対応させる必要がある。
こうした位置合せまたは重ね合せを、画像の特徴に応じて、いかなる好都合な方法でも行うことができる。当然ながら、位置合せまたは重ね合せとは、標的画像およびテスト画像の同じ特徴を表す同じピクセル間の仮想的な対応関係が得られ、それにより、ゼータ距離スコアが各ピクセルまたはピクセル群に対して見つけられると、入力として正しいピクセル値を用いてスコアが得られており、画像の異なる特徴を表すピクセル間の距離測度を、それらの間には自動的に大きい相違があることになるため、計算することが無駄である、ということを意味する。
使用することができる位置合せ技法の例として、一実施形態では、標的画像の最上部に重ねられたテスト画像を見て、位置合せが得られるまで表示ソフトウェアでテスト画像の位置を操作する人の制御下で、画像の位置合せを行うことができる。代替的に、かつ画像の特徴に応じて、テスト画像の特有の特徴のパターン認識を行うことができ、その後、画像を、標的画像の対応する特有の特徴に自動的に位置合せすることができる可能性がある。代替的な画像処理、例えば、テスト画像の特徴のエッジ検出と、その後の検出されたエッジの自動位置合せを行うことができる。これに関して、本技術分野ではいくつかの画像重ね合せ技法および位置合せ技法が知られており、本明細書ではそれらを採用することができる。
入力画像36が、画像位置合せプログラム3086を用いて標的画像と位置合せされると、ブロック4.6において、異常検出制御プログラムは、ゼータ距離スコアが計算されるように、ゼータ・マップ計算プログラム3088を実行する。図7は、実行されるプロセスをより詳細に示す。
より詳細には、ブロック7.2において、処理されているテスト画像における各ピクセルまたはボクセルを処理するように、FOR処理ループが開始される。特定のピクセルに対して、ブロック7.4においてそのピクセルに最も近い標的画像の各々の対応する(位置合せされた)ピクセル(すなわち、その最近傍)のkの数まで、平均距離が計算される。これは、上述したガンマ距離である。「距離」とは、ピクセル値の差、例えばグレー・スケール・ピクセルの場合は対応するグレー・スケール値の差を意味する。ブロック7.6において、標的画像セットにおけるk個の最近傍ピクセル間の平均距離が見つけられる。テスト・ピクセルの最近傍標的ピクセルまでの平均距離が見つかり、最近傍標的ピクセル自体の間の平均距離が見つかると、B7.8において、現ピクセルに対するゼータ距離スコアを、以下のように、テスト・ピクセルから標的ピクセルまでの平均距離と標的ピクセル間の平均距離との差として見つけることができる。
ゼータ距離スコア=テスト・ピクセルから対応する最近傍標的ピクセルまでの平均距離−最近傍標的ピクセル間の平均距離
すなわち、
Figure 0005893623
であり、式中、xは現テスト・ピクセルであり、kは最近傍の対応する標的ピクセルの数であり、nnは対応する最近傍標的ピクセルであり、d(x,y)はxとyとの間のあらゆる距離測度である。
処理されている現ピクセルに対して見つかったゼータ距離スコアは、ゼータ・マップの、画像のテスト・ピクセルの位置に対応する位置に格納される。これは、ブロック7.10において実行され、ブロック7.12において、画像のすべてのピクセルが処理されたか否かに関して評価が実行される。すべてのピクセルが処理された場合、ゼータ・マップは完了し、ゼータ・マップ計算プログラム3088の処理は終了することができ、そうでない場合、画像の次のピクセルが選択され、処理はB7.4に戻って、それを処理することができ、ゼータ距離スコアが計算される。
ゼータ・マップ計算プログラム3088が動作を終了すると、テスト画像の各ピクセル(ボクセル)に対するゼータ距離スコアを含むゼータ・マップが得られることになる。図9および図10は、ゼータ距離スコア・マップの例を示す。図9および図10の各々において、画像Aは、例としてのテスト画像36、この場合は病理学的に病変がある脳のMRIスライス画像を示す。図9および図10における画像Bは、テスト画像を正常な脳画像のセット(図示せず)と比較することによって計算されたゼータ距離マップを示す。図9および図10における画像CおよびDについては後述する。
入力画像に対してゼータ・マップを取得すると、図4に戻って、次にブロック4.8において、異常検出制御プログラム3082は、異常であるピクセルをそれらのゼータ距離スコアに基づいて特定しセグメント化するように、ゼータ・マップに閾値処理操作を適用するように、ゼータ・セグメンテーション・マップ・プログラム3084を動作させる。一実施形態では、単純な固定閾値を使用することができ、ゼータ・マップの各ピクセルのゼータ距離スコアを閾値と比較し、ピクセルのゼータ距離スコアが閾値を上回る場合、ピクセルが異常であるものとして特定されそのためセグメント化される。
しかしながら、別の実施形態では、適応的閾値を使用することができ、それには、よりインテリジェントなセグメンテーションが得られるという利点がある。図6は、本発明の実施形態においてゼータ・マップ・セグメンテーション・プログラム3084によって使用することができる1つの適応的閾値処理アルゴリズムを示す。
より詳細には、ブロック6.2において、ゼータ・マップ・セグメンテーション・プログラム3084は、ゼータ・マップにアクセスし、ゼータ・スコア閾値を0に設定する。ブロック6.4において、現閾値より大きいゼータ・マップのピクセルの数がカウントされ、変数count_1として格納される。そして、ブロック6.6において、ゼータ閾値が増大し、ブロック6.8において第2のカウントが行われ、変数count_2として格納される。閾値が増大しているため、count_1はcount_2よりも小さいはずである。
ブロック6.10において、2つのカウントの差が得られ、ブロック6.12において、差が、セグメンテーションにおける2つの閾値レベル間の所定数のピクセル差に対応する閾値と比較される。閾値が満足されない場合、ブロック6.14において、ゼータ閾値が再び増分され、処理はブロック6.4に戻る。閾値が満足されると、ブロック6.16において、現在のゼータ閾値を用いてゼータ・マップがセグメント化される。これにより離散化マップがもたらされ、そこでは、閾値を上回るゼータ距離スコアを有するピクセルがセグメント化され、それらに最大値が与えられ、スコアが閾値を下回るピクセルには最小値が与えられる。
説明した適応的閾値処理アルゴリズムの全体的な効果は、閾値を増分し、その後、閾値の2つの後続するレベルの間でいくつのピクセルがセグメントされるかの差を見ることにより、使用される閾値が、ゼータ・マップのゼータ距離スコアの背景レベルに自動的に適応し、所定数のセグメント化されたピクセルが満足されるまで上方に調整する。この所定数は、好ましくは、背景ピクセルがセグメント化されず、異常ピクセルがセグメント化されることになる経験的観測に基づく数に設定される。
適応的閾値処理が実行され、離散化ゼータ・マップが取得されると、本実施形態ではさらなる処理ステップが実行されるが、他の実施形態ではこれらを実行する必要はなく、またはさらに他の実施形態では、それらのステップの一部のみを実行してもよい。より詳細には、B.6.18において、セグメント化されたゼータ・マップにおける連結されたピクセル解析が行われ、セグメント化されたピクセルのクラスタが特定される。そして、B.6.20においてクラスタ・サイズ閾値が適用され、そこでは、所定数(この場合は4)未満のピクセル・サイズのクラスタは、セグメンテーションから削除され、すなわち、異常であるとしてもはや分類されない。さらに、本実施形態では、B.6.22における追加のステップが実行され、そこでは、セグメント化されていないが、セグメント化されたピクセルによって完全に包囲されているピクセルが、セグメント化されたものとしてマークされる。この追加の処理ステップが必要であるか否かは、用途と、画像化されているものの性質とによって大きく決まり、例えば、脳の病理学的病変を画像化する際、病巣内のピクセルに異常であるものとしてマークされないことには意味がなく、それは、それらの中の組織は、脳の残りの部分と完全に分離して有用に機能することができないためである。
したがって、この段階では、ゼータ距離スコア・マップが生成され、異常ピクセルが適応的閾値処理アルゴリズムを用いて特定されている。さらに、わずかに小さいクラスタの削除、および他の異常なピクセルによって包囲されている場合にさらなる異常なピクセルの特定の形態で、結果の質を向上させるように、2つのクリーン・アップ操作も適用されている。図9および図10の各々における画像Dは、上記によってかつ画像Bのゼータ・マップに基づいて生成された、セグメント化されたゼータ・マップを示す。各場合の画像Cは、本実施形態の自動セグメンテーションと比較するために手動でセグメント化された画像を示す。
最後に図4に戻ると、ゼータ・マップ・セグメンテーション・プログラム3084がセグメント化されたゼータ・マップを生成すると、異常制御検出プログラム3082は、セグメント化されたゼータ・マップを格納し、またディスプレイ・インタフェース304に対してディスプレイ34にセグメント化されたマップを表示させ、それによりユーザが観ることができるようにする。そして、この時点でのセグメント化されたマップは、ユーザに対し、画像の異常な特徴が自動的に特定された場所を示し、異常な特徴の程度は視覚的に明確であり、それもまた画像から測定することができる。そして、異常検出プログラムの動作が完了する。
第2の実施形態:脳の画像化における病変セグメンテーション
第1の実施形態で説明したように、高次元データ・セットに対してゼータ異常検出を適用することができる。本実施形態では、局所的に損傷した人の脳の画像の特定および特徴付けに対するゼータ異常検出の適用について説明する。ここでは、生データは、各患者の脳の各位置における信号強度を記録する実数値(ボクセル)の3次元マトリックスの形態をとる。ここでは、異常であるか検査したい1つまたは複数のテスト画像と、異常が判断されるための標準としての役割を果たす一連の正常画像とがある。各患者に対して1つまたは複数のボリューム画像がある可能性があり、各画像は異なる磁気共鳴撮像(MRI)シーケンスを使用し、したがって、撮像されている組織の異なる特徴を取り込んでいる。こうしたデータは、概して、2種類の前処理を必要とし、すなわち、第1の前処理、すなわち、画像データが非絶対値であるために、各画像の値のセンタリングおよび再スケーリングと、第2の前処理、すなわち患者の脳が互いに異なるため、脳の対応する特徴を患者群にわたって比較することができるようにする画像の重ね合せとである。これらのステップに続き、各ボクセルに対して独立してゼータ計算が実行され(マス単変量手法)、その場合、各データ点は、各ボクセルにおける信号のスカラー値であるか、または(患者毎に複数の画像が使用される場合)値のベクトルであり、結果としての距離はユークリッドまたは他の何らかの距離測度である。いずれの場合も、計算の結果は、元のものと同じ次元の画像であり、その場合、各ボクセルは、それに対応する脳の領域の信号の異常を反映するゼータ値を有している。望ましい場合、実数画像を二値画像に離散化することができ、その場合、各ボクセルは選択されたゼータ閾値に基づいて異常であるか非異常であるものとしてラベル付けされる。このプロセスについて以下より詳細に概説する。
前処理
ゼータ・マップのセットを生成するために、2種類のデータが必要である。すなわち、病変のある脳の標的画像のセット(1つまたは複数の撮像モダリティで)および本来標的セットに類似する特徴を有する病変のない脳の基準画像のセットである。ここでの例では、前者に対して、最近の脳卒中の脳の病変がある19人の患者から得られた拡散重み付き磁気共鳴撮像(DWI)データを使用し、後者に対して、脳卒中の可能性に対して検査されたがそれかまたは他のいかなる局所性脳異常の放射線医学的証拠がない65人の患者からのDWIデータを使用する。
各患者のデータは、1mm×1mm×6.5mm解像度でサンプリングされ単一セッションにおいてGE1.5Tスキャナで取得された、拡散重み付きエコー・プラナー撮像(b0およびb1000)から構成されている。b0画像は、脳の正常な構造に対して感度が高く(例えば白色の物体からグレーの物体を識別する)が、損傷の部位に対して感度が低い。b1000は逆の特性を有し、組織タイプに対して感度は低いが、(細胞毒性)損傷の存在に対して非常に感度が高い。病変のある脳の画像は、216mmの最小病変サイズを除いて任意抽出である、すなわち、この値は、臨床試験で観察された著しい病変の大部分よりも大幅に小さく、本明細書における評価が最大限厳密であることを確実にすることに留意されたい。図8は、病変のオーバラップのプロットを示し、重なりは、少なくとも1つの病変(白色での輪郭で示す)によって影響を受けるボクセルの分布を示す。サイズ、位置および形態の変動に留意されたい。下にあるのは、病変のない被験者の画像の正規化されたB0画像の平均である。この図は、MRIcronを用いて生成された(http://www.sph.sc.edu/comd/rorden/mricron/)。
上述したように、ゼータ、およびテスト画像を画像の基準セットに対して比較する他のあらゆるボクセル単位の統計値の計算は、2つの間の空間的対応関係を知っていることを意味する。言い換えれば、それに先立って、テスト脳画像および基準脳画像における空間的に一致するボクセルが位置合せされる対象間重ね合せステップ、すなわち正規化と呼ばれるプロセスを行わなければならない。
病変が存在する場合、病変のある領域は画像整合プロセスを干渉する傾向があるため、正規化は困難である可能性がある。この影響を、2つ以上の画像化シーケンスを取得し、本実施形態で行うように(後を参照)病変に対してより感度の低い正規化をシーケンスに対して実行することにより、最小化することができる。代替的に、病変のある領域をマスクすることができ(Brettら、2001)、またはそれを、反対側の半球体の一致する領域からの信号で充填することができる(Nachev、Coulthard、Jager、KennardおよびHusain、2008)が、これに当然ながら、病変の空間パラメータを知っていることを意味する。
別の選択肢は、正規化および組織セグメンテーション(白色およびグレーの物体およびCSF)を結合して単一の生成的モデルにして、病変のある部位を、第3の異常クラス内にあるものとして明示的にモデル化することである。この手続きを反復的に使用することができ、1回の実行から導出される病変のあるクラスは、次のクラスに対する先行するクラスとしての役割を果たす(Seghier、Ramlackhansingh、Crinion、LeffおよびPrice、2008)。グレーおよび白色の物体に対する予測値からの各ボクセルの信号の外れが、それが整合プロセスを乱す可能性がある程度をそれぞれ確定するため、この手法は、病変の影響を最小限にするには優れているように見える。しかしながら、病変セグメンテーションの手段としては、最適な正規化モダリティおよび最適な病変特定モダリティが同じである特別な場合にのみ十分であることを予測することができる。明らかに、これは、病変が組織コントラストを乱すほど正規化が悪化し、組織コントラストが大きいほど病変セグメンテーションを干渉する可能性が高いため、必然的でも望ましくもない。
したがって、本実施形態における1つの手法は、SPM5(www.fil.ion.ucl.ac.uk/spm/software/spm5/から入手可能)において実施される一体化された正規化およびセグメンテーション手続きを、b0画像(低病変コントラストおよび妥当なグレー/白色物体コントラストを有する)に適用することにより、正規化パラメータを抽出し、その後、それらをb0画像およびb1000画像の両方に適用し、したがって正規化プロセスに対する病変の影響を最小限にする、というものである。一体化されたセグメンテーション・アルゴリズムは病変を暗示的にセグメント化する(病変内にあるボクセルを第3のクラスに割り当てることにより)が、それは、病変が、明らかに使用が限られているb0において検出可能である場合にのみ行われる。正規化の一部として、画像は、ボクセル毎に2mm×2mm×2mmの解像度まで再スライスされている。
明らかに、このステップは、b0画像およびb1000画像がすでに位置合せされている場合にのみ実施可能である。各対が単一実行で取得されるため、画像は必ず近接しており、それにも関らず、ここでは、まず、上に概説した正規化を実行する前にSPM5の標準重ね合せルーチンを用いて、b0をb1000に剛体重ね合せした。このステップは、アフィンのみの変換であるため、2つのスキャンの間の病変信号の差に対してロバストであることに留意されたい。
正規化画像に対して、さらなる操作のすべてが実行された。アルゴリズムを評価する目的で、各画像および各シーケンス(b0およびb1000)において、実際の病変において信号を用いて手動マスクによって定義されるように各病変に対応するボクセルにおける信号強度を置き換えることにより、人為的に病変が与えられた脳画像のセットが生成された(Brettら、2011)。CTスキャンと異なり、MRI画像は標準化強度スケールがないため、各移植ステップの前に、ドナー画像およびレシピエント画像の大域的な強度を一致させた。これは、各画像に対してノンパラメトリック密度推定値を生成し(Botev、2007)、ドナー画像を、その主な脳内信号ピーク(最も一般的な病変信号強度に対応する)がレシピエント画像の等価なピークに一致するように(モード正規化)変換することによって行われた。この手続きにより、移植信号が、異常な信号が異常信号レシピエントに存在していたらどのように見える可能性があるかに可能な限り近いことが確実になり、それがなければ、信号の非現実的な大域的変動は、本明細書におけるアルゴリズムの妥当性の評価を低下させる。第2の実施形態では、画像位置合せプログラム3086を、上述したように動作するように適合させることができる。
ゼータ・スコアの導出
すべての画像が位置合せされると、次に、各病変のある画像に対してボクセル毎にゼータ・マップを計算した。ゼータ・マップの計算は、第1の実施形態に関して上述したものと実質的に同じであるが、本実施形態では、ゼータをあらゆる距離測度に基づかせることができるため、2次元ユークリッド距離を選択し、1つの次元がb1000画像に対して指定されており、別の次元は、4mmFWHM等方性のガウス・カーネルによって平滑化された同じ画像によって指定されている。
より詳細には、本実施形態において、正常な脳の標的画像の2つのセットが標的画像として生成されかつ使用され、そのうちの1つのセットはb1000MRI画像のセットであり、そのうちの第2のセットは同じ画像の平滑化バージョンである。そして、b1000画像および平滑化バージョンは対として扱われる。テスト画像の同様に平滑化されたバージョンもまた生成される。画像の対は合わせて処理され、それにより、各ボクセル位置は2つの値のベクトル、すなわち1つは生画像に対し1つは平滑化バージョンに対して有している。そして、テスト画像において各ボクセル位置に対して計算された距離は、テスト画像対におけるそのボクセルに対するベクトルと、標準画像のセットにおける対応する最近傍ボクセルに対するベクトルとの間のユークリッド距離であり、平均により、各テスト・ボクセルに対してガンマ・スコアが与えられる。そして、標準画像の異なる対における最近傍の対応するボクセルの間においても同じユークリッド距離が見つけられ、それにより、ゼータ距離スコアを計算することができる。この場合もまた、第2の実施形態では、上記ゼータ・マップ計算を実行するようにゼータ・マップ計算プログラム3088を適合させることができる。
ゼータ・マップ(図9Bおよび図10Bを参照)は、実数でありかつ無次元である。それを直接用いることにより、多変量推論またはマス単変量推論を従来のように使用して病変−関数関係を調べることができる。しかしながら、本実施形態における検証の目的では、それを手動病変セグメンテーションと比較する必要があり、それにより必然的に二値マスク画像が生成される。したがって、次に説明するように閾値処理操作が適用される。
ゼータ・マップの閾値処理
本実施形態では、以下の発見的手続きを用いて最適な閾値が見つけられ、この手続きは、第1の実施形態に関して上述した適応的手続きに実質的に類似しており、ゼータ・マップ・セグメンテーション・プログラム3084によって実行することができる。特に、最適な閾値が、点を見つけ、ゼロで開始し、関数を徐々に増分することにより生成され、その関数では、閾値と病変があるものとして特定された脳のボリュームとの間の関係の勾配は、−1500ボクセル・ゼータ−1を超えた。そして、そのレベルで閾値処理によって生成された二値ボリュームは、隣接するボクセルの連結性に基づいてラベル付けされ、その結果、連結されたボクセルのクラスタの集まりがもたらされた。次に、2つの精緻化ステップが実行された。第1に、4未満のボクセルを含むすべてのクラスタがノイズとして破棄された。第2に、病変のある組織によって完全に包囲されている、正常であるとラベル付けされたボクセルが、病変があるものとして再度割り当てられた。明らかに、放射線医学的外観がいかなるものであっても、こうしたボクセルは、脳の残りの部分から完全に切断されている場合、生理学的に重要であり得ない。他の実施形態では、クラスタが削除されるクラスタ・サイズ閾値を、他の値であるように適応させることができることが留意されたい。
性能評価
本実施形態において異常検出の品質を評価するように、標的画像および基準画像を使用して、19の病変の各々が65の基準脳の各々に「移植された」、1235の人為的に病変が形成された脳の合成データ・セットも生成された。これは、手動セグメンテーションによって定義されるように病変信号を抽出し、それを基準画像の一致する領域に挿入することによって行われた(後を参照)。この方法の要点は、同じ位置において病変のない信号から病変のある信号を識別するアルゴリズムの能力を評価することであった。
手動セグメンテーション
本実施形態を評価するために、グランド・トゥルース(ground truth)すなわち標準が必要であり、より適切なものがなければ、ここではこれは手動セグメンテーションとして定義される。したがって、各病変は、訓練された臨床医(YM)により、MIPAVの勾配、大きさおよび検出live−wireエッジ検出ツール(BarrettおよびMortensen、1997)を用いて、手動でセグメント化された(http://mipav.cit.nih.gov/index.php)。各画像の正規化バージョンに対して手動セグメンテーションが実行された(後を参照)。
閾値処理されたゼータ・マップに対して、2種類の評価が実行された。両方の場合において、グランド・トゥルースは手動セグメンテーションによって定義される。第1に、病変のある画像に対して自動セグメンテーションを手動セグメンテーションに対して比較することができ(n=19)、第2に、同じことを非現実(chimeric)画像に対して行うことができる(n=1235)。ここで、比較の方法は確立された手法に従い、以下の単純な全脳測度を用いる。
Figure 0005893623
および
Figure 0005893623
ここで、VoxelSmanualは病変のグランド・トゥルースを表し、Voxelsζは新たな方法によって検出されたものを表す。
ゼータ・ボリュームが二値化される閾値を変化させる(いかなる複雑な閾値処理方法を用いることもなく)ことにより、本来の(native)画像に対して実行した、ゼータ方法に対する受信者(受診者)動作特性(ROC)曲線を得ることも可能である。
結果
本発明者らは、まず本来の病変データ・セットを検査し、その後、非現実データに進む。
本来の病変
病変および対象が区別できないため、ここでは、手動グランド・トゥルースに対して判断されるように、各ゼータ・セグメンテーションに対して感度値および特異度値の単一のセットがある。これらの値を図11に示し、図11は、各本来の病変に対する感度スコアおよび特異度スコアのプロットを示している。各病変画像に対してゼータ・マップが作成され、離散化バージョンが、手動セグメンテーションによって定義されたグランド・トゥルースに対して比較された。19の本来の病変に対して平均感度(実線)および平均特異度(点線)が優れていることに留意されたい。特に、感度に対する平均値は0.918であり、特異度に対する平均値は0.993であり、病変の空間的特性および信号特性の実質的な差にも関らず、それら病変にわたる変動は非常に適度であった。恐らくは最も重要なことには、あらゆる画像のこれらのパラメータに対する最小値(感度=0.78および特異度=0.96)が著しく高く、性能の優れた一貫性を論証した。
閾値処理の発見的手法(上述した適応的閾値処理アルゴリズム)なしにゼータの性能を示すことにより、ある範囲の閾値に対して19の本来の病変に対しROC曲線を導出することができる。図12が示すように、アルゴリズムの性能は非常に高く、平均ROC曲線の変曲点は最適(0,1)の非常に近くで発生している。特に、プロットは、ゼータの種々の閾値に対し19の本来の病変の偽陽性率(1−特異度)に対する真陽性率(感度)を示す。各閾値に対する平均スコアは、黒実線によって表されている。
非現実病変
本明細書における非現実病変は、各ドナー病変の非現実画像(chimera)にわたってデータを比較するか、または各レシピエント・ボリュームの非現実画像にわたってデータを比較するかに応じて、対象毎の解析と同様に病変毎の解析を可能にする。
病変毎の評価は、0.925の感度(SE=0.061)および0.995の特異度(SE<0.016)に対して大域的平均を示した。図13に示すように、1235の非現実病変のすべてを用いて計算された各病変に対する平均感度のプロット(三角形)および特異度のプロット(円形)が示されており、各セットは65の脳ボリュームを含む。誤差バーは標準誤差である。感度および特異度がともに19の病変にわたってほとんど変化せず、病変の空間的特性および信号特性の変動に対する本方法のロバスト性を示すことに留意されたい。特に、感度および特異度に対する平均の範囲は、それぞれ0.789〜1.00および0.977〜1.00であった。この極めて狭い変動により、病変の空間的特性および信号特性の変動に対する本方法のロバスト性が示される。
対象毎の評価は同じ大域的平均を示し(必然的に)、この場合、標準誤差は、感度および特異度それぞれに対して0.0327および<0.0084であった。図14は、1235の非現実病変すべてを用いて計算された各対象に対する平均感度のプロット(三角形)および特異度のプロット(円形)を示し、各セットは19の脳ボリュームを含む。誤差バーは標準誤差である。19の病変にわたって感度および特異度がほとんど変化せず、正常信号およびアーチファクトの変動に対する本方法のロバスト性を示すことに留意されたい。特に、65のレシピエント対象の各々に対してすべての病変にわたって平均された、テスト・パラメータの平均値は、値の変動が最小であり、すなわち感度0.895〜0.941、特異度0.995〜0.997は、ノイズおよびアーチファクトに対する本方法の耐性を反映している。
第2の実施形態:結論
第1の実施形態および第2の実施形態では、第2の実施形態ではMRIに対する適用例により、高次データの自動の監視なし異常検出の方法について説明した。DWIの関連における手動セグメンテーションに対するその方法の忠実度は、対象および病変パラメータの範囲にわたって優れた性能を示した。
実施形態において、最小サイズが異常の性質によって決まる「標準」ケースのセットが必要である。本発明者らが検査した脳の撮像の用途の場合(第2の実施形態)、病変のコントラスト対ノイズ比の変動が重要であり、ここでは、65の画像の妥当なセットを用いてDWIにより優れた結果を得ることができることを示した。DWIが、画像のわずかな部分のみに影響を与える高い信号アーチファクトを、極めて著しく受けやすい場合、この値は過小評価でないはずである。いかなる場合も、これは、正常ケースを収集することが容易になると深刻な限界ではない。
さらに、実施形態では、検査されているケースのセットの同じ特徴の間の対応関係を見つけることができるべきである。第2の実施形態では、これは、病変のある画像および基準画像を共通の定位空間に正規化するプロセスであり、2つの異なるシーケンス、すなわち高い病変コントラストおよび低い正常組織コントラストのものと、逆の特性の別のものとを使用することにより、正規化プロセスを著しく乱す可能性がある病変が存在する場合であってもこれを達成することができる。
データ・セットの異常検出にゼータ・セグメンテーションを使用することには、次に示すようにいくつかの利点がある。
1つの利点は、ゼータ・セグメンテーションが非常に異種のデータを処理することができるということである。信号分布は、ガウスまたはさらには単調である必要はなく、マルチモーダル・データが容易に適応される。この特徴は、第2の実施形態のDWIデータ・セットに示されており、そこでは、前頭極領域および側頭領域における非常に可変の高強度アーチファクトは、通常、付近におけるセグメンテーションを非常に困難にする。しかしながら、ゼータ・セグメンテーションは、こうした領域において、他の場所の真の病変信号からアーチファクトの高い信号を容易に識別することができる(図10参照)。
別の利点は、検出される異常の特徴を事前に知ることなく、ゼータ・セグメンテーションをあらゆるデータ・セットに適用することができる、ということである。第2の実施形態の脳の撮像の例では、病巣の数、それらの分布のパターン、それらの信号強度、およびセグメンテーション・アルゴリズムがユーザから頻繁に要求される他の特徴に対して事前の知識は不要である。したがって、セグメンテーションには、通常取得するのが困難であるかまたは不可能であるかの情報は不要である。この特徴により、種々のモダリティの画像からの別個のセグメンテーション間の比較を容易に行うことも可能である。アルゴリズムが特定のモダリティに本質的に結び付けられている場合(例えばセグメンテーションおよび正規化が一体化されている場合)、これは達成することが不可能であるかまたははるかに困難である。
さらに、ゼータ・セグメンテーションでは、調整すべき1つのパラメータしかなく、すなわちクリークのサイズkである。kの値が低いほど、アルゴリズムが感応する信号の不均一性のスケールが小さくなる。恐らくは歪みまたはアーチファクトのために、不均一性のパターンのシーケンス特定のボクセル毎の変動に応答して、各ボクセルに対するkを、本質的にアルゴリズムにk「画像」を渡すように調整することも可能である。二値マップが必要である場合、閾値処理に対して選択された発見的手法に応じて、他のパラメータが作用し始めるが、ゼータ・マップが直接使用される場合、これは不要である。
さらに、ゼータ・セグメンテーションは、必然的に実数画像を生成し、そこでは各ボクセルの異常に対して連続的なインデックスが与えられる。第2の実施形態の脳の撮像分野では、神経組織が機能しなくなる急峻な閾値を描くいかなる生理学的基礎もめったにないため、これは、いかなる種類の二値測度よりも適切な手段であり得る。ゼータ・マップを、脳挙動の推測を行うために、または損傷のパターンを関心のある他の要素に関連付けるために直接使用することができる。明らかに、同じことが、連続的な異常の測度が不連続なラベルよりも意味をなす可能性がある他の用途にも当てはまる可能性がある。
最後に、ゼータ・セグメンテーションは高速である。Matlabを実行する既製の消費者向けハードウェアでは、各画像に対する総計算時間(正規化を除く)はおよそ6分間であった。明らかに、最適化されたハードウェアで実行されるコンパイルされたコードははるかに高速であり得る。
上述した実施形態に対し、追加、削除または置換のいずれによってもさまざまなさなる変更を行って、追加の実施形態を提供することができ、それらのいずれもが、添付の特許請求の範囲の範囲内に包含されるように意図されている。

Claims (22)

  1. テスト・データ・セットにおいて異常データを特定する装置の作動方法であって、
    複数の標準データ・ケースの1つまたは複数の標準データ・セットを格納するステップであって、各前記標準データ・ケースが正常な非異常データを表す1つまたは複数の標準データ点を含む、ステップと、
    前記テスト・データ・セットにおける1つまたは複数のテスト・データ点と、複数の前記標準データ・ケースのうちの少なくとも2つにおける最近傍の対応する標準データ点のうちの1つまたは複数との間の第1の平均距離測度を計算するステップと、
    数の前記標準データ・ケースのうちの少なくとも2つにおける前記最近傍の対応する標準データ点の間の第2の平均距離測度を確定するステップと、
    少なくとも前記第1の平均距離測度および前記第2の平均距離測度に応じて、1つまたは複数の前記テスト・データ点に関連する正規化距離測度を計算するステップと、
    前記テスト・データ点に対する計算された前記正規化距離測度の値に応じて、テスト・データ点を異常であるものとして特定するステップと
    を含み、
    各前記標準データ・ケースは、前記標準データ点として複数の標準ピクセルまたはボクセルを含む標準画像であり、
    前記テスト・データ・セットは、前記テスト・データ点として複数のテスト・ピクセルまたはボクセルを含むテスト画像である、方法。
  2. 数の前記テスト・ピクセルまたはボクセルに関する複数の正規化距離測度が計算され、複数の前記正規化距離測度が、前記テスト画像に対応する正規化距離測度マップとして格納される、請求項1に記載の方法。
  3. 前記画像が、磁気共鳴撮像法(MRI)、コンピュータ断層撮影(CT)、超音波またはX線のうちの少なくとも1つを介して得られる医用画像である、請求項1または2に記載の方法。
  4. 前記テスト画像が、1つまたは複数の病理学的病変を含む可能性がある脳のMRI画像であり、前記標準画像が、いかなる局所性病変もない正常な脳の対応するMRI画像である、請求項3に記載の方法。
  5. 前記テスト・データ点を異常であるものとして特定するステップが、閾値に基づくセグメンテーション操作である、請求項1〜4のいずれか1項に記載の方法。
  6. 前記閾値が適応的閾値であり、前記適応的閾値が、前記適応的閾値が変化する際に異常であるものとして特定されるテスト・データ点の数の所定の変化率に応じて確定される、請求項5に記載の方法。
  7. セグメント化されたテスト・データ点をクラスタ化するようにクラスタリング操作を実行し、異常なセグメンテーションから、所定数未満の数のデータ点を含むクラスタ化されたテスト・データ点を除去するステップをさらに含む、請求項5または6に記載の方法。
  8. nおよびxが2以上である場合に、x個の対応する標準データ・ケースのn個のセットがあり、前記第1の平均距離測度が、各々が前記テスト・データ点からn個の対応する標準データ点までのx個のn次元距離測度の平均である、請求項1〜7のいずれか1項に記載の方法。
  9. 前記n次元距離測度がユークリッド距離である、請求項8に記載の方法。
  10. 各標準データ・ケースが第1の画像および第2の画像を含み、前記第2の画像が前記第1の画像の処理されたバージョンであり、前記テスト・データ・セットもまた2つのテスト画像を含み、テスト画像が、テスト・データ点としてテスト・ピクセルまたはボクセルを有し、前記第1の平均距離測度が、テスト画像の各対におけるそれぞれのテスト・ピクセルと前記標準の画像のセットにおけるそれぞれの対応する標準ピクセルとの間で取得される一連の2次元距離測度の平均である、請求項8または9に記載の方法。
  11. 前記テスト・データ・セットの前記テスト・データ点と、複数の前記標準データ・ケースの1つまたは複数のセットにおけるそれぞれの対応する前記標準データ点との間の対応関係を確立するステップをさらに含む、請求項1〜10のいずれか1項に記載の方法。
  12. 前記対応関係を確立するステップが、前記テスト・データ・セットおよび前記標準データ・セットとしての画像データに対し、前記テスト画像を前記標準画像と重ね合せるように位置合せすることを含む、請求項11に記載の方法。
  13. 前記正規化距離測度が、前記第1の平均距離測度および前記第2の平均距離測度の差として計算される、請求項1〜12のいずれか1項に記載の方法。
  14. 前記第1の平均距離測度が、前記テスト・データ点からk個の最近傍の対応する標準データ点までの平均距離であり、前記第2の平均距離測度が、k個の最近傍の対応する標準データ点の間の平均距離測度であり、kおよびkが異なる、請求項1〜13のいずれか1項に記載の方法。
  15. 記標準データ点および前記テスト・データ点がn次元を含み、nが1より大きく、前記n次元が、i)複数の集合したデータ点、ii)複数の空間ベクトル値、またはiii)データ点が対応する異なるタイプの同じ特徴の複数の表現のうちの1つを含む、請求項1〜14のいずれか1項に記載の方法。
  16. 前記異なるタイプの同じ特徴の複数の表現が、前記同じ特徴のそれぞれの複数の画像から得られるマルチスペクトル画像データ点である、請求項15に記載の方法。
  17. なくとも1つのプロセッサと、
    コンピュータ・プログラム・コードを含む少なくとも1つのメモリと
    を具備し、
    なくとも1つの前記メモリおよび前記コンピュータ・プログラム・コードが、少なくとも1つの前記プロセッサにより、当該装置に対し少なくとも
    複数の標準データ・ケースの1つまたは複数の標準データ・セットを提供することであって、各前記標準データ・ケースが正常の非異常データを表す1つまたは複数の標準データ点を含み、
    テスト・データ・セットにおける1つまたは複数のテスト・データ点と、前記標準データ・セットにおける複数の前記標準データ・ケースのうちの少なくとも2つにおける1つまたは複数の対応する最近傍の標準データ点との間の第1の平均距離測度を計算することと、
    前記標準データ・セットにおける複数の前記標準データ・ケースのうちの少なくとも2つにおける前記最近傍の対応する標準データ点の間の第2の平均距離測度を確定することと、
    少なくとも前記第1の平均距離測度および前記第2の平均距離測度に応じて、1つまたは複数の前記テスト・データ点に関連する正規化距離測度を計算することと、
    前記テスト・データ点に対する計算された前記正規化距離測度の値に応じて、テスト・データ点を異常であるものとして特定することと
    を実行させ、
    各前記標準データ・ケースは、前記標準データ点として複数の標準ピクセルまたはボクセルを含む標準画像であり、
    前記テスト・データ・セットは、前記テスト・データ点として複数のテスト・ピクセルまたはボクセルを含むテスト画像である、装置。
  18. 複数の標準データ・ケースの1つまたは複数の標準データ・セットを提供する手段であって、各標準データ・ケースが正常の非異常データを表す1つまたは複数の標準データ点を含む、手段と、
    テスト・データ・セットにおける1つまたは複数のテスト・データ点と、前記標準データ・セットにおける複数の前記標準データ・ケースのうちの少なくとも2つにおける1つまたは複数の対応する最近傍の標準データ点との間の第1の平均距離測度を計算する手段と、
    前記標準データ・セットにおける複数の前記標準データ・ケースのうちの少なくとも2つにおける最近傍の対応する標準データ点の間の第2の平均距離測度を確定する手段と、
    少なくとも前記第1の平均距離測度および前記第2の平均距離測度に応じて、1つまたは複数の前記テスト・データ点に関連する正規化距離測度を計算する手段と、
    前記テスト・データ点に対する計算された前記正規化距離測度の値に応じて、テスト・データ点を異常であるものとして特定する手段と
    を具備し、
    各前記標準データ・ケースは、前記標準データ点として複数の標準ピクセルまたはボクセルを含む標準画像であり、
    前記テスト・データ・セットは、前記テスト・データ点として複数のテスト・ピクセルまたはボクセルを含むテスト画像である、装置。
  19. 異常を特定するように構成されたシステムであって、
    使用時に、異常があるか解析すべきテスト・データが受け取られる入力と、
    正常データ値を表す複数の標準データ・セットを格納することができるデータ・メモリと、
    前記テスト・データに対し、前記テスト・データおよび前記標準データの対応する部分の間の距離と、前記対応する標準データの間の距離との差を表す正規化距離測度を計算するように構成されたデータ・プロセッサと、
    前記正規化距離測度の1つまたは複数の閾値との比較により異常なテスト・データを特定するように構成されたデータ・セグメント化器と
    を具備し、
    前記テスト・データは、複数のテスト・ピクセルまたはボクセルを含むテスト画像であり、
    前記標準データ・セットは、複数の標準ピクセルまたはボクセルを含む標準画像である、システム。
  20. テスト・データにおける異常を特定する装置の作動方法であって、
    異常があるか解析すべきテスト・データを受け取るステップと、
    正常データ値を表す複数の標準データ・セットを提供するステップと、
    前記テスト・データに対し、前記テスト・データおよび前記標準データの対応する部分の間の距離と、前記対応する標準データ内の最近傍の間の距離との差を表す正規化距離測度を計算するステップと、
    前記正規化距離測度の1つまたは複数の閾値との比較により異常なテスト・データをセグメント化するステップと
    を含み、
    前記テスト・データは、複数のテスト・ピクセルまたはボクセルを含むテスト画像であり、
    前記標準データ・セットは、複数の標準ピクセルまたはボクセルを含む標準画像である、方法。
  21. コンピュータによって実行されると、前記コンピュータに対し、請求項1〜16または20のいずれか1項に記載の方法に従って動作させるように構成された、コンピュータ・プログラムまたは1組のコンピュータ・プログラム。
  22. 請求項21に記載のコンピュータ・プログラムまたは1組のコンピュータ・プログラムのうちの少なくとも1つを格納するコンピュータ可読記憶媒体。
JP2013521204A 2010-07-26 2011-07-21 データ・セットにおける異常検出方法およびシステム Expired - Fee Related JP5893623B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1012519.3 2010-07-26
GBGB1012519.3A GB201012519D0 (en) 2010-07-26 2010-07-26 Method and system for anomaly detection in data sets
PCT/GB2011/001094 WO2012013920A1 (en) 2010-07-26 2011-07-21 Method and system for anomaly detection in data sets

Publications (2)

Publication Number Publication Date
JP2013535268A JP2013535268A (ja) 2013-09-12
JP5893623B2 true JP5893623B2 (ja) 2016-03-23

Family

ID=42752800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013521204A Expired - Fee Related JP5893623B2 (ja) 2010-07-26 2011-07-21 データ・セットにおける異常検出方法およびシステム

Country Status (5)

Country Link
US (1) US9633108B2 (ja)
EP (1) EP2599036B1 (ja)
JP (1) JP5893623B2 (ja)
GB (1) GB201012519D0 (ja)
WO (1) WO2012013920A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919457A1 (en) * 2012-02-28 2021-12-08 Corning Incorporated Glass articles with low-friction coatings
US9558347B2 (en) 2013-08-27 2017-01-31 Globalfoundries Inc. Detecting anomalous user behavior using generative models of user actions
EP3092618B1 (en) * 2014-01-06 2018-08-29 Koninklijke Philips N.V. Articulated structure registration in magnetic resonance images of the brain
US9652354B2 (en) 2014-03-18 2017-05-16 Microsoft Technology Licensing, Llc. Unsupervised anomaly detection for arbitrary time series
CN103955645B (zh) * 2014-04-28 2017-03-08 百度在线网络技术(北京)有限公司 恶意进程行为的检测方法、装置及系统
CN104050610A (zh) * 2014-06-10 2014-09-17 广东松山职业技术学院 一种Office阅卷组件
WO2016092394A1 (en) * 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning
SG10202005917SA (en) 2015-03-06 2020-07-29 Genentech Inc Ultrapurified dsba and dsbc and methods of making and using the same
US10697861B2 (en) * 2015-10-13 2020-06-30 Nec Corporation Structure abnormality detection device, structure abnormality detection method, storage medium, and structure abnormality detection system
US10387445B2 (en) 2016-01-06 2019-08-20 International Business Machines Corporation Hybrid method for anomaly classification
CN109074432B (zh) 2016-03-03 2023-09-29 斯特拉克斯私人有限公司 用于识别和量化异常的方法与设备
US10503144B2 (en) * 2017-10-24 2019-12-10 Applied Materials, Inc. Anomaly detection with correlation coeffiecients
US11607153B2 (en) 2017-10-30 2023-03-21 Maxell, Ltd. Abnormal data processing system and abnormal data processing method
JP7062923B2 (ja) 2017-11-21 2022-05-09 富士通株式会社 可視化方法、可視化装置及び可視化プログラム
US10789697B2 (en) 2018-02-22 2020-09-29 Canon Virginia, Inc. Devices, systems, and methods for spatial-neighborhood consistency in feature detection in image data
US10885627B2 (en) * 2018-04-03 2021-01-05 Nec Corporation Unsupervised neighbor-preserving embedding for image stream visualization and anomaly detection
CN110472646B (zh) * 2018-05-09 2023-02-28 富士通株式会社 数据处理设备、数据处理方法及介质
CN110648734B (zh) * 2018-06-27 2022-04-22 清华大学 一种基于均值的识别医疗中的异常案例的方法及装置
EP3832663A4 (en) * 2018-07-31 2022-04-27 Lily Medtech Inc. DIAGNOSTIC AID SYSTEM AND DIAGNOSTIC AID METHOD
US11916895B1 (en) * 2018-11-01 2024-02-27 Amazon Technologies, Inc. Certificate authority breach detection for network-connected devices
WO2020170101A1 (en) * 2019-02-19 2020-08-27 King Abdullah University Of Science And Technology Reduced feature generation for signal classification based on a position weight matrix
EP3754606A1 (en) * 2019-06-17 2020-12-23 Galgo Medical, SL A computer implemented method, a system and computer programs for computing simultaneous rectilinear paths using medical images
CN110189375B (zh) * 2019-06-26 2022-08-23 中国科学院光电技术研究所 一种基于单目视觉测量的图像目标识别方法
CN110852384B (zh) * 2019-11-12 2023-06-27 武汉联影医疗科技有限公司 医学影像质量检测方法、装置和存储介质
CN110889441B (zh) * 2019-11-19 2023-07-25 海南电网有限责任公司海南输变电检修分公司 一种基于距离和点密度的变电设备数据异常识别方法
US11561944B2 (en) 2020-03-27 2023-01-24 Tata Consultancy Services Llc Method and system for identifying duplicate columns using statistical, semantics and machine learning techniques
CN113822308B (zh) * 2020-06-20 2024-04-05 北京眼神智能科技有限公司 多模态生物识别的比对分数融合方法、装置、介质及设备
US20220044133A1 (en) * 2020-08-07 2022-02-10 Sap Se Detection of anomalous data using machine learning
WO2022087132A1 (en) * 2020-10-20 2022-04-28 Skinio, Llc Skin abnormality monitoring systems and methods
CN112991286B (zh) * 2021-03-05 2024-04-26 浙江大华技术股份有限公司 图像统计数据的检测方法、设备以及计算机可读存储介质
CN113780417A (zh) * 2021-09-10 2021-12-10 泰康保险集团股份有限公司 医保数据检测方法和装置
CN115389624B (zh) * 2022-10-27 2023-02-10 智能网联汽车(山东)协同创新研究院有限公司 一种加工用声波测试系统
CN116070150B (zh) * 2023-03-06 2023-06-09 济南市计量检定测试院 基于呼吸机运行参数的异常监测方法
CN116012539B (zh) * 2023-03-27 2023-06-06 埃尔法(山东)仪器有限公司 一种无人机与激光检测结合对气团三维成像的计算方法
CN117459072B (zh) * 2023-12-22 2024-03-29 深圳市消防救援支队 用于自生氧装置性能测试的数据处理方法
CN118163464B (zh) * 2024-04-15 2024-10-01 东莞九州方圆纸业有限公司 一种柔版印刷设备的印刷质量控制系统及方法
CN118152932B (zh) * 2024-05-11 2024-07-19 国网山东省电力公司枣庄供电公司 一种用于近电预警的动态预警阈值优化方法
CN118396782B (zh) * 2024-06-26 2024-10-15 深圳星际建筑工程有限公司 基于wbs技术的洁净房施工优化方法
CN118426997B (zh) * 2024-06-28 2024-10-18 北京云成金融信息服务有限公司 一种用于异常数据的定位及溯源方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000275757A (ja) * 1999-03-24 2000-10-06 Fuji Photo Film Co Ltd 画像評価方法及び装置
JP2004135868A (ja) 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出処理システム
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
US7668843B2 (en) * 2004-12-22 2010-02-23 Regents Of The University Of Minnesota Identification of anomalous data records
US7760941B2 (en) * 2005-09-23 2010-07-20 Mevis Research Gmbh Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object
US8271403B2 (en) * 2005-12-09 2012-09-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for automatic comparison of data sequences using local and global relationships
US8005771B2 (en) * 2007-10-04 2011-08-23 Siemens Corporation Segment-based change detection method in multivariate data stream

Also Published As

Publication number Publication date
WO2012013920A1 (en) 2012-02-02
EP2599036B1 (en) 2021-04-07
US20130304710A1 (en) 2013-11-14
GB201012519D0 (en) 2010-09-08
EP2599036A1 (en) 2013-06-05
JP2013535268A (ja) 2013-09-12
US9633108B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
JP5893623B2 (ja) データ・セットにおける異常検出方法およびシステム
JP7246866B2 (ja) 医用画像処理装置
CN107492097B (zh) 一种识别mri图像感兴趣区域的方法及装置
US11593940B2 (en) Method and system for standardized processing of MR images
US7653263B2 (en) Method and system for volumetric comparative image analysis and diagnosis
JP7139479B2 (ja) 画像処理装置、医用画像診断装置、及びプログラム
JP6510189B2 (ja) 医用画像処理装置
US20070003118A1 (en) Method and system for projective comparative image analysis and diagnosis
US20070014448A1 (en) Method and system for lateral comparative image analysis and diagnosis
WO2009105530A2 (en) System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors
WO2008092211A1 (en) Identification and analysis of lesions in medical imaging
US11182901B2 (en) Change detection in medical images
KR102178803B1 (ko) 흉부 의료 영상 판독 지원 시스템 및 방법
JP7413011B2 (ja) 医用情報処理装置
WO2014107402A1 (en) Classification of biological tissue by multi-mode data registration, segmentation and characterization
WO2014171830A1 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
Veluchamy et al. Brightness preserving optimized weighted bi‐histogram equalization algorithm and its application to MR brain image segmentation
Ramana Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN)
Myint et al. Effective kidney segmentation using gradient based approach in abdominal CT images
Alkhimova CUSUM Filter for Brain Segmentation on DSC Perfusion MR Head Scans with Abnormal Brain Anatomy
JP5132559B2 (ja) デジタル画像のセグメント化方法およびコンピュータ読み取り可能なプログラム記憶装置
Kaftan et al. Locally adaptive fuzzy pulmonary vessel segmentation in contrast enhanced CT data
Tirumalasetty et al. Graphical computational tool for segmentation of gray and white matter regions in brain MRI images
JP7318058B2 (ja) 画像処理装置
Kareem et al. Effective classification of medical images using image segmentation and machine learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160224

R150 Certificate of patent or registration of utility model

Ref document number: 5893623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees