JP3939359B2 - 二段分類器を使用するディジタル放射線画像中の塊検出 - Google Patents

二段分類器を使用するディジタル放射線画像中の塊検出 Download PDF

Info

Publication number
JP3939359B2
JP3939359B2 JP52537898A JP52537898A JP3939359B2 JP 3939359 B2 JP3939359 B2 JP 3939359B2 JP 52537898 A JP52537898 A JP 52537898A JP 52537898 A JP52537898 A JP 52537898A JP 3939359 B2 JP3939359 B2 JP 3939359B2
Authority
JP
Japan
Prior art keywords
spot
feature
measures
computer
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP52537898A
Other languages
English (en)
Other versions
JP2001510360A (ja
Inventor
エス アブデル―モタレブ,モハメッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2001510360A publication Critical patent/JP2001510360A/ja
Application granted granted Critical
Publication of JP3939359B2 publication Critical patent/JP3939359B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本願は以下の同一出願人による、共通に譲受され、ここに参照として組み入れられる特許出願及び特許、即ち:
1)1994年7月14日に出願され現在放棄されている米国特許出願第08/274,939号の継続出願である、「MASS DETECTI0N IN DIGITAL X-RAY IMAGES USING MULTIPLE THRESHOLDS TO DISCRIMINATE SPOTS」なる名称の1996年8月19日に出願された米国特許出願第08/699,182号;
2)「AUTOMATIC SEGMENTATI0N, SKINLINE AND NIPPLE DETECTION IN DIGITAL MAMMOGRAMS」なる名称の1996年11月5日に発行された米国特許第5,572,565号;
3)「MASS DETECTION BY COMPUTER USING DIGITAL MAMMOGRAMS OF THE SAME BREAST TAKEN FROM DIFFERENT VIEWING DIRECTIONS」なる名称の1996年11月26日に発行される米国特許第5,579,360号に発明について関連する。
本発明は概して元々ディジタル形式である、又はディジタル形式に変換される放射線画像のコンピュータ支援診断のための方法及びシステムに関する。更に特定的な面では、本発明は抽出されたスポットの複数の特徴尺度が計算される二段分類プロセスを使用する腫瘍に対応しうるスポットの識別に関連し、第1の分類段において、計算された特徴尺度に基づいて候補の疑わしい塊が識別される。次に第2の分類段では、候補の疑わしい塊の中からいわゆる「真陽性」が識別され、それによりいわゆる「偽陽性」を排除する。本発明は特にマンモグラムのコンピュータ支援診断(CADM)に関連するが、例えば胸部X線といった他の通常の放射線画像のコンピュータ支援診断に関してもまた有用である。
2.従来技術の説明
この一般的な種類の方法は米国特許第5,289,374号より既知である。
米国において女性では2番目に多い癌である乳癌の早期検出は生存の機会を大きく増加させうる。そのような早期検出は放射線技師又はマンモグラフ撮影者による多数の周期的なスクリーニングマンモグラムの撮影及び読影を必要とする。判断されるべきマンモグラムの数と、塊及び悪性腫瘍の潜在的徴候である微細石灰化を識別する困難さとは両方とも、読影を支援するために少なくとも疑わしい領域をマークするためのマンモグラムのコンピュータ支援診断(CADM)の開発の動機となる。同様に多数の胸部放射線写真の中の肺小結節の検出に関して関連する必要性がある。
コンピュータ支援診断に適したディジタル放射線画像は、従来のX線装置によって撮影されたフィルムを走査すること、又はフィルム中間物を生成する必要なく直接ディジタル化されうる電子画像信号を生成する他の種類のX線検出器を使用することによって獲得されうる。これらの種類の検出器は、X線画像増倍器/カメラのチェーン、光刺激リン板/レーザ読出し(米国特許第4,236,078号参照)及びセレン板/電位計読出し技術を含む。そのような技術はその空間解像度及び達成されるコントラスト感度について進歩しており、特に光刺激リン板/レーザ読出し及びセレン板/電位計読出し技術は近いうちにマンモグラフ及び胸部放射線写真の適用に広範な用途を見出すであろう。
引用された米国特許第5,289,374号といった従来の技術では、寸法、形状、エッジ勾配及び/又はコントラストに関する抽出されたスポットの様々な特徴尺度を計算し、典型的には候補の疑わしい塊及び/又は真陽性に関連するそのような特徴尺度のレンジ又は閾値、またはその組み合わせに関する前もって捕捉された知識に基づいて分類を行うことが知られている。
上述の技術に加え、Chan外の1995年Phys.Med.Biol.第40号第857乃至876頁の「Computer-aided classification of mammographic masses and normal tissue: linear discriminant analysis in texture feature space」より、ディジタルマンモグラム中の同一の一定の大きさの方形領域のデータセットの中で塊と正常な乳房柔組織とを区別するために複数のテクスチャ特徴を使用することが知られている。
CADMでは多くの調査が進められているが、1画像当たり実際の真陽性の許容可能な高い検出率と、偽陽性の許容可能な少ない数の検出との組み合わせは実現されていなかった。
本発明は、1画像当たり実際の真陽性検出の高い検出率及び偽陽性の少ない数の検出を有する放射線画像中の疑わしい塊のコンピュータ支援検出のための方法及びシステムを提供することを目的とする。充分に短い処理時間でそのような結果を与えるために、初期多次元特徴空間に対応する特徴尺度の初期セットを使用して候補の疑わしい塊が識別される第1の粗い分類段の後まで、計算するのに計算上高くつく特徴尺度の計算が延期されるよう、検出方法は少なくとも2つの分類段を有することが更に望ましい。次に第2の分類段又は最後の分類段において、初期特徴空間よりも多くの次元を有する増大又は拡張特徴空間の中で候補の疑わしい塊の中の真陽性を識別するために、更なる計算上高くつく特徴尺度は所定の候補の疑わしい塊に関してのみ計算される。
撮像装置から読影されるべき放射線画像が獲得された後、そして必要であればディジタル形式に変換された後、関心領域全体は放射線画像の種類に特定的な自動セグメンテーションによって、例えばマンモグラムの中でバックグラウンドから乳房を抽出するために識別される。するとスポット又は「連結成分」は、グレーレベルのヒストグラムから決定されたグレーレベルの比較的大きなレンジ(20を超過し、典型的には約50の連続するグレーレベル)の中の各グレーレベルにおいて画像を閾値処理することによって抽出される。レンジの中のグレーレベルにおいて区別される各スポットが抽出される。グレーレベルのレンジの中でただ1つの閾値レベルにおいてアイランドとして区別されるスポットでさえも抽出されるよう、多数のグレーレベルが使用される。
第1の分類段に入る前に、各抽出されたスポットに対して、特徴尺度の初期セット、即ち、領域、コンパクトさ、偏心率、コントラスト及び強度分散が計算される。特徴尺度の初期セットは候補の疑わしい塊を識別するために第1の分類段によって使用される。
第1の分類段において識別された又は認められた候補の疑わしい塊は、各候補の疑わしい塊が真陽性又は偽陽性のいずれかとして分類される第2の分類段に与えられる。これを行う前に、特徴尺度の初期セットは、特徴尺度の拡張セットを形成するよう、より計算上高くつく特徴尺度、特にエッジ方向偏差及びいわゆるLawsテクスチャ特徴によって増大される。
本発明によれば、初期の分類段は多重規則に基づき、規則は放射線技師又はマンモグラフ撮影者によって真陽性又はroiがマークされている放射線写真の学習セットから学習段階において決められる。本発明の重要な面は、最終の分類段は、候補スポットの拡張された特徴尺度のベクトルの拡張特徴空間中の位置と、第2の分類段に対する学習段階において拡張特徴空間の中の「真陽性」及び「偽陽性」の両方をマッピングすることから生じた位置との比較に基づくことである。
本発明の重要な面は、疑わしい塊は複数のクラスタ又はサブセット中に分布される特徴空間の中の点に対応するという認識による。
多重規則に基づく第1の分類段に関して、学習段階では個々の規則は各クラスタのために決められ、動作段階では抽出されたスポットはいずれかの個々の規則を通過すれば候補の疑わしい塊として認められる。
第2の分類段は、第1の分類段を通過する学習セットの全ての画像からの全てのスポットが放射線技師のマーク付けに基づいて分割される学習段階において学習される。真陽性は拡張特徴空間の中で複数のクラスタの中にクラスタ化され、偽陽性は拡張特徴空間の中で複数のクラスタの中にクラスタ化される。次に夫々のクラスタに対する平均及び共分散マトリックスが決定される。
第2の分類段の動作段階では、候補の疑わしい塊はクラスタのどの平均がマハラノビス距離に最も近いかに依存して分類される。最も近いクラスタが真陽性であれば、候補の疑わしい塊は真陽性として分類され、認められる。そうでなければ候補の疑わしい塊は偽陽性として分類され、排除される。
本発明は、マンモグラムに対する試験が、平均して1つの画像当たり90%を超える検出率及び3つ以下の偽陽性検出を示した非常に強固なコンピュータ支援診断方法を提供する。
本発明の他の目的、特徴及び利点は添付の図面及び以下の詳細な説明を読むことによって明らかとなり、図中:
図1はマンモグラムを撮影し処理するための本発明によるコンピュータ支援システムの概略図を示す図であり;
図2は動作段階にある図1のコンピュータによって実行される処理を示すフローチャートを示す図であり;
図3は図2の1つの段階の中でグレーレベルの間隔を決定するために使用されるマンモグラムの画素のグレー値のヒストグラムを示す図であり;
図4は図2の1つの段階の中で抽出される連結成分を示す図であり;
図5A及び5Bは夫々図2の第1及び第2の分類段の学習を示すフローチャートを示す図であり;
図6A乃至6Eは図2の第2の分類段のための特徴尺度の計算に使用されるいわゆるLawsテクスチャカーネルを示す図である。
まず図1を参照するに、X線ビーム15によって固定被写体の乳房14を照射するような向きとされたX線源12を含み、マンモグラムが頭尾方向(CC)のビューのために配置されているコンピュータ支援マンモグラフィーシステム10が図示されている。乳房14は所定の圧縮力又は重りを使用して略平坦な下方及び上方部材16,18の間に受容され、圧縮される。下方部材16の下には画素の矩形の野の中で乳房14及びその直ぐ外側の周辺部を通過するX線を検出する2次元X線検出器手段20がある。X線検出器手段20は或いはホルダ中に受容されるフィルム又は光刺激リン画像板、又はセレン板/電位計読み出し検出器である。X線源12,板14及び15並びに検出器手段20は図1中CC(頭尾方向)、LM又はML(側方−中間又は中間−側方)及びOB(斜角)とラベル付けされた任意のビュー方向に沿って乳房14を受容し照射するよう、横方向の軸Aの回りにユニットとして回転しうる。
どの検出器手段20の種類が使用されたとしても、RAM、ハードディスク、磁気光ディスク、WORMドライブ又は他のディジタル記憶手段を含みうるディジタル記憶装置22の中に画像ファイルとして記憶され、マンモグラムX線投影画像を示すディジタル画素の2次元配列が最終的に得られる。フィルムが使用される場合、これは現像され、ディジタイザ24の中で走査される。今日、フィルムは100ミクロンの空間解像度にディジタル化され、夫々が12ビットまでの強度解像度の、1672x2380から2344x3016までの範囲の寸法を有する典型的な画像を生成する。光刺激板が使用される場合、これはスキャナ26の中でレーザによって走査され、同様の画像寸法及び典型的に10ビットの強度解像度を生成する。最後に、セレン板/電位計読み出し装置といった検出器が使用される場合、これはそのアナログ・ディジタル変換器28によってディジタル形式に変換されるアナログ電気信号を直接生成する。
装置22の中に記憶され、マンモグラムを示すディジタル画素の2次元配列は、任意の識別された疑わしい塊又は微細石灰化のクラスタを含むマンモグラム中の関心特徴をマーク又は強調するため、また結果としての処理されたマンモグラムをCRTモニタといった表示装置32上に表示するためにコンピュータワークステーション30によって処理される。マンモグラムの実際の撮影の後の様々な段階はその直後に続く必要はなく、マンモグラムの撮影と同じ位置である必要がないことは理解されるべきである。
処理の予備的な段階として、記憶されたマンモグラムは、適当なメディアンフィルタによって空間的に、及び/又は打切りによって振幅について、モニタの空間及びグレースケール解像度と整合する500,000乃至2,500,000ピクセルのオーダで8ビット乃至10ビットの強度解像度の画像まで解像度が減少されうる。特に、1辺が400ミクロンの方形の画素及び1画素当たり256のグレーレベルは許容可能な結果を与えることが分かった。
特徴をマークする又は強調する処理では、マンモグラムは乳房に対応するフォアグラウンドと、乳房の外部の周囲部に対応するバックグラウンドとに分割され、このセグメンテーション中に皮膚の線が検出される。セグメンテーションは、マーク又は強調されるべき塊又は微細石灰化のクラスタといった関心特徴のサーチによってバッググラウンドが除去されることを可能にする。セグメンテーションは上述の共有される米国特許第5,572,565号に記載される方法によって実行されうる。疑わしい微細石灰化のクラスタの識別は本願と同一譲受人に譲受された「Computer Detection of Microcalcifications in Mammograms」なる名称の米国特許第5,365,429号に記載される。
ここで図2のフローチャートを参照するに、2次元マンモグラム投影画像中の疑わしい塊の識別を説明する。上述のように、34において元のマンモグラムは入力ディジタル放射線画像を形成するよう約250,000ピクセル(例えば480x520)まで空間解像度について減少される。次にステップ36において、バックグラウンド中の各画素が更なる考察から排除され、フォアグラウンド中の画素のグレー値のヒストグラムが計算され、閾値処理のためのグレーレベルの当該の間隔がヒストグラムから決定されるよう、皮膚の線の検出によってセグメンテーションが行われる。
典型的なヒストグラムは図3に図示されており、ヒストグラムの最小のグレーレベルSからグレーレベルGまでの、皮膚に対応する間隔「a」と、ヒストグラムのレベルGから最大のグレーレベルLまでの、乳房の内部に対応するより狭い間隔「b」とに細分化されうることがわかる。間隔「a」は各グレーレベルにおいて実質的に少ない数の画素を有し、一方間隔「b」は急勾配の側方を有する比較的高いピークを有する。間隔「b」は閾値処理のためのグレーレベルの当該の間隔として選択される。グレーレベルGは間隔「b」が、グレーレベルLとヒストグラムのピークにおけるグレーレベルPとの間の間隔「c」の2倍であるよう選択される。
本発明によれば、間隔「b」の中の各グレーレベルは閾値として使用される。典型的には256グレーレベル画像では間隔「b」は少なくとも20のグレーレベルを含み、しばしば50以上のグレーレベルを含む。ステップ38では、便利にこれらのグレーレベルは画像を閾値処理するために最小から最大へ、又は最大から最小へ現在の閾値レベルとして連続的に使用される。各現在の閾値レベルにおいて、2値画像、又はその画素が閾値レベル以下の強度を有するグレースケール画像はゼロ値が割り当てられる。
ステップ40では、閾値処理された画像から「連結成分」(CC)と称されるスポットが抽出される。各連結成分は非ゼロ値を有する画素の組であり、組の任意の2つの画素は最終的には組の中の隣接画素のランを通じて連結される。これらの組は以下の段階、即ち(a)ライン隣接グラフ(LAG)の生成、(b)異なる連結成分(CC)の数を決定するための走査、及び(c)マスク画像及び各CCを定義し記述する幾つかの合計配列を形成するために再びLAGを走査する段階によって適切に識別される。
上述の段階(a)のLAGを形成する方法は、1982年Computer Science社のPavlidisによる出版物「Algorithms for Graphics and Image Processing」第116乃至120頁の記載に基づいている。これは、閾値処理された画像の各ラインに対して隣接する非ゼロ値画素のランを見つけ、現在のラインのラン及び前の隣接するラインのランの位置を比較し、全ての重複を記録することを含む。
LAGはどのラインが重複するかを特定するが、これは連結成分を定義しない。従って段階(b)では、各ランがどのCCに属するかを決定するために重複するランの各レコードが走査される。同時に連結成分の総数が計算される。
一度CCの組が分かると、段階(c)においてマスク画像及び各CCを定義する幾つかのデータオブジェクトが計算される。マスク画像は本質的には全ての非ゼロ画素がそれらの属するCCの数を含む閾値処理された画像である。追加的なデータオブジェクトは各CCに対して境界ボックスB(最小及び最大の列及び行)を画成する配列を含む。CC及びその境界ボックスBは図4に図示される。
ステップ40における連結成分の抽出の後、ステップ42において5つの比較的計算上高くつかない特徴尺度の初期セットが各CCに対して個々に計算される。この初期セットのうち、まず各CCの中の画素の強度の分散尺度Varが以下の式、即ち:
Figure 0003939359
、ただしgiは位置iにおけるグレー値、μはCC中の画素のグレー値のサンプル平均、nはそれらの数である、によって計算されることが望ましい。その後、連結成分は収縮及び次に膨張によって平滑化される。収縮及び膨張には1の3x3のマトリックスである構造化要素が使用されることが望ましい。結果として連結された領域の境界の明瞭な不規則性は滑らかにされ、その内部の小さな空所は充填される。次に各平滑化されたCCに対して4つの特徴尺度、即ち領域(Area)、コンパクトさ(Compact)、コントラスト(Contrast)及び偏心率(Ecc)が計算される。
コンパクトさの尺度Compactは、PをCCの周囲長とし、AをCCの領域(Area)とすると、以下の式:
Figure 0003939359
として計算される。この尺度は円に対して最小である。
コントラストの尺度Contrastは連結成分の内側の平均グレー値から連結成分の外側のリングの中の平均グレー値を差し引くことによって計算される。このリングは連結成分を膨張させ、次に新しい画素のみを残すことによって獲得される。
偏心率の尺度Eccは、図4に示されるようにrmax及びrminを境界ボックスBの中心とCCの周囲との間の最大及び最小距離とすると、以下の式:
Figure 0003939359
によって計算される。
次に計算された特徴尺度の初期セットはCCの中から候補の疑わしい塊を識別するために多重規則に基づく第1の分類段44に与えられる。この段の動作段階は、まずその学習段階を議論することによって最もよく理解される。
図5Aに示される第1の分類段44の学習段階は、実際の真陽性に対応する関心領域(roi)が放射線技師によってマークされた学習画像の組を使用する。充分な結果は43の画像の学習セットから獲得されている。
この学習段階の第1のステップ54では、画像は放射線技師によるマークに一致する領域(CC)を抽出するために相互作用的に分割される。この段階はマークされたCCを区別する閾値レベルのレンジの相互作用的な選択を含む。次にステップ56において、図2のステップ42と同様に、各抽出されたCCに対して5つの特徴尺度(Var,Area,Compact,Contrast及びEcc)の初期セットが計算される。各CCに対する特徴尺度の初期セットは5次元の初期特徴空間にマッピングされた各CCの点として見ることができる。次にステップ58では、kはクラスタが非常にわずかな点のみを含むよう実験的に決定されているとするとき、初期特徴空間中のこれらのCCをkのクラスタにクラスタ化するためにK平均クラスタリングが実行される。K平均アルゴリズムは、例えば1975年John Wiley & Sons社のHartiganによる「Clustering Algorithms」第4章によって周知である。クラスタを囲む各ハイパー矩形は以下の、即ち:
(Area<=Areamax)且つ(Area>=Areamin)且つ(Compact<=Compactmax)且つ(Contrast>=Contrastmin)且つ(Ecc<=Eccmax)且つ(Var<=Varmax
の形の別の規則を決めるために使用される。
これらの規則は、連結成分は、その特徴尺度の初期セットがkの規則のいずれかを満たせば候補の疑わしい塊として認められるよう、図2の第1の分類段階44において使用される。
k=8のクラスタに対する典型的な規則の組は、以下の表:
Figure 0003939359
にまとめられる限界値を使用する。
図2のステップ46では、5つの計算上より高くつく更なる特徴尺度、即ち5つの特徴尺度の初期セットを10の特徴尺度の拡張セットへ増加させるためのエッジ方向及び4つのLawsテクスチャ特徴が計算される。エッジ方向特徴は、腫瘍が針状体によって囲まれている星状の病変によって引き起こされる組織の歪みをモデル化することに基づき、1993年International Journal of Pattern Recognition and Artificial Intelligence第7巻第6号第1477乃至1492頁のKegelmeyerによる「Evaluation of Stellate Lesion detection in a Standard Mammogram Data Set」の中で一般的に提案されている。腫瘍の回りの領域の中では、エッジは多数の異なる方向を有する。正常なマンモグラムは乳頭から放射状に延びる管構造を有するため、正常な領域は同様の方向のエッジを有する。この特徴尺度は候補の疑わしい塊に対して境界ボックスB中の各画素におけるエッジ方向を計算することによって計算される。次にエッジ方向のヒストグラムが計算され、エッジ方向の分布の標準偏差を計算することによってその平坦さが測定される。このような計算は、一定の大きさの窓が画像中の各画素に対して中心に配置され、窓の中の画素に対するエッジ方向が計算されるKegelmeyerによる方法とは異なる。本発明は窓の大きさが候補の疑わしい塊の大きさによって変化するという点で異なる。従って、窓は候補の疑わしい塊全体を常に含み、より適切な尺度を与える。
Lawsテクスチャ特徴は、画像を異なる局所性質に対応するよう指定された4つの5x5のカーネルの組によって畳込みを行い、続いてコンボリューション画像上の多様な統計値を測定することによって計算される。これらのカーネルは、K.I.Lawsによる1980年サザン・カリフォルニア大学博士号論文「Textured Image Segmentation」の中で提案されるように選択され、上記論文中、カーネルはE5L5,R5R5,E5S5,L5S5と称され(夫々図6A乃至6Dに図示される)、続いて絶対値の局所平均の計算が行われる。本発明の方法によれば、これらの尺度は図6Eに示されるカーネルL5L5によって正規化され、正規化された合計は候補の疑わしい塊に対する境界ボックスBの中の画素に対してのみ計算される。
10の特徴尺度の拡張セットは、図5Bに示される学習段階においてマッピングされた真陽性及び偽陽性に対する特徴空間中の近接に基づいて、候補の疑わしい塊を真陽性及び偽陽性に分離するよう、ステップ48において第2の分類段に対して与えられる。
塊は異なる特徴を伴う異なる種類を有し、偽陽性は異なる理由によって生じうるため、学習サンプルの全ての真陽性を含む拡張された空間中の単一のクラスタは、学習サンプルの全ての偽陽性を含む単一のクラスタと重複する傾向があることが予期される。従って候補の疑わしい塊に対応する10次元の拡張特徴空間中の点の、真陽性の単一のクラスタの平均及び偽陽性の単一のクラスタの平均に対する近接を決定することは有用ではない。一方、KNN(k−nearest neighbor)方法によるように、学習段階において真陽性の夫々及び偽陽性の夫々を別々のクラスとして扱うことは、学習サンプルからマップされた全ての点に対する距離を計算しソートすることを必要とするため、かなり時間がかかる。
本発明によれば、続く段落に示されるようにして獲得される真陽性及び偽陽性は夫々実験的に決定された複数のクラスタ又はサブクラスに夫々別々にクラスタ化される。これはそれらの重複を減少させ、従って真陽性及び偽陽性の間のよりよい分離を可能にする。
第2の分類段の学習段階の間、図2のステップ36乃至46は、図5Bのステップ60に示されるように、図5Aに示される第1の分類段階のために学習段階において生じた規則のいずれかを満たす領域の抽出を含む。次にステップ46と同様、ステップ62において、各抽出された領域に対して特徴尺度の拡張セットを形成するようテクスチャ及びエッジ方向の特性が計算される。拡張特徴空間中の結果としての点は放射線技師のマークに基づいて真陽性(TP)及び偽陽性(FP)に分割され、ステップ63及び64において別々に複数のクラスタにクラスタ化される。図5Aに示される第1の分類段のための学習段階に関して実行されるクラスタリングでは、(他のクラスタリングアプローチが可能であるが)K平均アルゴリズムが使用され、クラスタの数はどのクラスタも幾つかの点のみを含むことがないよう実験的に選択される。
すると、複数のクラスタの夫々に対して、平均及び共分散マトリックスが計算される。クラスタの共分散マトリックスは、マトリックスの期待値がその成分の期待値を取ることによって見つけられるとすると:
Figure 0003939359
によって定義される。ここで、ベクトルXはデータ値の10(又は一般的にd)成分列ベクトルであり、ベクトルμは平均値の10(一般的にd)成分列ベクトルである。
図2の第2の分類段48の動作的な段階では、候補の疑わしい塊に対応する拡張特徴空間の中の点からのマハラノビス距離は学習セットの真陽性の各クラスタの平均と、学習セットの偽陽性の各クラスタの平均とに対して測定され、候補の疑わしい塊はその平均がマハラノビス距離の中で最も近いクラスタのクラスと同一のクラスとして分類される。即ち、真陽性のクラスタの平均が最も近ければ、候補の疑わしい塊は真陽性として分類され、一方偽陽性のクラスタの平均が最も近ければ、偽陽性として分類される。i番目のクラスタからのマハラノビス距離Riは、Σi -1をi番目のクラスタに対する共役マトリックスの逆とし、ベクトルXを候補の疑わしい塊に対する拡張特徴空間の中の特徴ベクトルとし、ベクトルμをi番目のクラスタの平均とすると:
Figure 0003939359
によって定義される。
最後に、ステップ50において、検出された真陽性に属する画素は2進数の1に割り当てられ、異なる閾値レベルにおける同一の塊の重複した検出を調和させるためにこれらの2値の画素の結合体として2値のマスクが形成される。52において上記マスクの中の2進数の1を有する画素はディスプレイ32の中でハイライトされるべき疑わしい塊に属する。
個々に示されるアルゴリズムは放射線技師によってマークされた画像の学習セット43の上で学習された。その後、動作段階はやはりマークされた81の画像のテストセットについて試験された。7つの難しい症例を除き、アルゴリズムは平均で1画像当たり2.8の偽陽性を検出し、テストセットの中から全ての悪性の塊を検出した。幾つかの画像は同一の乳房の異なるビュー(頭尾方向及び斜角)であるため、いずれかのビューの中で発生したときに真陽性検出が計数されたとき真陽性検出率は90%以上であった。
本発明は特定的な細部について説明されたが、添付の請求項において定義される本発明の精神及び範囲の中で多くの変更が可能であることが理解されるべきである。

Claims (10)

  1. 放射線撮像装置の出力から得られたディジタル画素の記憶された入力2次元配列中で疑わしい塊をコンピュータに識別させる方法であって:
    a)スポットを区別するよう上記記憶された入力配列の画素の少なくとも一部を閾値処理する段階と、
    b)区別されたスポットに対して、第1の分類段において、
    i)初期特徴空間の中の位置を構成し、形状及び大きさの尺度を含む該スポットの特徴尺度の初期セットを計算すること、及び、
    ii)計算された初期セットが所定の規準を満たすかどうかを決定することによって、
    該スポットが候補の疑わしい塊であるかどうかを識別する段階と、
    c)候補の疑わしい塊であるとして識別された各スポットに対して、第2の分類段において、
    i)拡張特徴空間の中の位置を構成する特徴尺度の拡張セットを形成するよう更なる特徴尺度を計算すること、及び、
    ii)距離尺度を使用して、どの所定の位置がスポットの位置最も近いかを見つけることにより、該位置と、拡張特徴空間の中の真陽性に対応する所定の位置及び偽陽性対応する所定の位置とを比較することによって、
    該スポットが真陽性の疑わしい塊であるか、偽陽性の疑わしい塊であるかを決定する段階とを含む方法。
  2. 該拡張特徴空間の中の真陽性及び偽陽性の対応する所定の位置は、真陽性に対応する複数の所定の位置及び偽陽性に対応する複数の所定の位置を含む、請求項1記載の方法。
  3. 該所定の規準は、その特徴尺度のセットが複数の規則のいずれかを満たせばスポットが候補の疑わしい塊として識別されるよう構成された複数の規則を含む、請求項1記載の方法。
  4. 該真陽性の複数の所定の位置の各位置は、該第1の分類段に対する学習段階の中で生成された真陽性の複数のクラスタの異なるクラスタから決定され、該偽陽性の複数の所定の位置の各位置は、該学習段階の中で生成された偽陽性の複数のクラスタの異なるクラスタから決定される、請求項2記載の方法。
  5. 該複数の規則の各規則は、該第1の分類段に対する学習段階の中で生成された初期特徴空間の中の疑わしい塊の複数のクラスタの異なるクラスタから決められる、請求項3記載の方法。
  6. 該スポットの更なる特徴尺度は、その辺が上記スポットのエッジに隣接する境界ボックスの中の画素の強度のみに基づいて計算される複数のテクスチャ特徴尺度を含む、請求項1記載の方法。
  7. 該更なる特徴尺度はエッジ勾配方向分布の尺度を含む、請求項1記載の方法。
  8. 該距離尺度はマハラノビス距離である、請求項1記載の方法。
  9. 所定のビュー方向でX線放射によって検査されるべき人体の領域を照射するためのX線源を含む手段と、
    2次元の野の該ビュー方向から領域を出るX線放射を受取る手段と、
    受取られたX線放射の関数として、ディジタル画素の入力2次元配列に対応するディジタル信号を生成する手段と、
    コンピュータと、
    該コンピュータにアクセス可能なディジタルメモリ手段と、
    該信号に応じて、該ディジタルメモリ手段の中にディジタル画素の該入力2次元配列を記憶する手段とを含む、コンピュータ強調放射線画像を生成するシステムであって、
    該コンピュータは、
    a)スポットを区別するよう上記記憶された入力配列の画素の少なくとも一部を閾値処理し、
    b)区別された別々のスポットに対して、第1の分類段において、
    i)初期特徴空間の中の位置を構成し、形状及び大きさの尺度を含む該スポットの特徴尺度の初期セットを計算すること、及び、
    ii)計算された初期セットが所定の規準を満たすかどうかを決定することによって、
    該スポットが候補の疑わしい塊であるかどうかを識別し、
    c)候補の疑わしい塊であるとして識別された各スポットに対して、第2の分類段において、
    i)拡張特徴空間の中の位置を構成する特徴尺度の拡張セットを形成するよう更なる特徴尺度を計算すること、及び、
    ii)距離尺度を使用して、どの所定の位置がスポットの位置の最も近いかを見つけることにより、該位置と、拡張特徴空間の中の真陽性に対応する所定の位置及び偽陽性の対応する所定の位置とを比較することによって、
    該スポットが真陽性の疑わしい塊であるか、偽陽性の疑わしい塊であるかを決定することによって、ディジタル画素の記憶された入力2次元配列を処理するよう適合されるシステム。
  10. ディジタル画素の入力2次元配列に対応するディジタル信号を受信する入力と、
    コンピュータと、
    該コンピュータにアクセス可能なディジタルメモリ手段と、
    該信号に応じて、該ディジタルメモリ手段の中にディジタル画素の該入力2次元配列を記憶する手段とを含む、コンピュータ強調放射線画像を生成するコンピュータワークスステーションであって、
    該コンピュータは、
    a)スポットを区別するよう上記記憶された入力配列の画素の少なくとも一部を閾値処理し、
    b)区別された別々のスポットに対して、第1の分類段において、
    i)初期特徴空間の中の位置を構成し、形状及び大きさの尺度を含む該スポットの特徴尺度の初期セットを計算すること、及び、
    ii)計算された初期セットが所定の規準を満たすかどうかを決定することによって、
    該スポットが候補の疑わしい塊であるかどうかを識別し、
    c)候補の疑わしい塊であるとして識別された各スポットに対して、第2の分類段において、
    i)拡張特徴空間の中の位置を構成する特徴尺度の拡張セットを形成するよう更なる特徴尺度を計算すること、及び、
    ii)距離尺度を使用して、どの所定の位置がスポットの位置の最も近いかを見つけることにより、該位置と、拡張特徴空間の中の真陽性に対応する所定の位置及び偽陽性の対応する所定の位置とを比較することによって、
    該スポットが真陽性の疑わしい塊であるか、偽陽性の疑わしい塊であるかを決定することによって、ディジタル画素の記憶された入力2次元配列を処理するよう適合されるコンピュータワークステーション。
JP52537898A 1996-12-02 1997-09-03 二段分類器を使用するディジタル放射線画像中の塊検出 Expired - Fee Related JP3939359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/758,651 US5768333A (en) 1996-12-02 1996-12-02 Mass detection in digital radiologic images using a two stage classifier
US08/758,651 1996-12-02
PCT/IB1997/001052 WO1998024367A1 (en) 1996-12-02 1997-09-03 Mass detection in digital radiologic images using a two stage classifier

Publications (2)

Publication Number Publication Date
JP2001510360A JP2001510360A (ja) 2001-07-31
JP3939359B2 true JP3939359B2 (ja) 2007-07-04

Family

ID=25052549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52537898A Expired - Fee Related JP3939359B2 (ja) 1996-12-02 1997-09-03 二段分類器を使用するディジタル放射線画像中の塊検出

Country Status (4)

Country Link
US (1) US5768333A (ja)
EP (1) EP0923343A1 (ja)
JP (1) JP3939359B2 (ja)
WO (1) WO1998024367A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0839363A1 (en) * 1995-07-19 1998-05-06 Morphometrix Technologies Inc. Window texture extraction for image analysis
US6092059A (en) * 1996-12-27 2000-07-18 Cognex Corporation Automatic classifier for real time inspection and classification
US6826422B1 (en) 1997-01-13 2004-11-30 Medispectra, Inc. Spectral volume microprobe arrays
US5999639A (en) 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
US6970587B1 (en) 1997-08-28 2005-11-29 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
US6137898A (en) * 1997-08-28 2000-10-24 Qualia Computing, Inc. Gabor filtering for improved microcalcification detection in digital mammograms
US7308126B2 (en) * 1997-08-28 2007-12-11 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
US6996549B2 (en) 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
WO1999057683A1 (en) 1998-05-04 1999-11-11 The Johns Hopkins University Method and apparatus for segmenting small structures in images
US6112112A (en) * 1998-09-18 2000-08-29 Arch Development Corporation Method and system for the assessment of tumor extent in magnetic resonance images
US6606402B2 (en) 1998-12-18 2003-08-12 Cognex Corporation System and method for in-line inspection of stencil aperture blockage
EP1139864A1 (en) * 1998-12-23 2001-10-10 Medispectra Inc. Optical methods and systems for cervical screening
EP1161178A2 (en) 1998-12-23 2001-12-12 Medispectra Inc. Systems and methods for optical examination of samples
AUPP898499A0 (en) * 1999-03-02 1999-03-25 University Of Queensland, The Method for image texture analysis
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US6801645B1 (en) 1999-06-23 2004-10-05 Icad, Inc. Computer aided detection of masses and clustered microcalcifications with single and multiple input image context classification strategies
US20020007122A1 (en) * 1999-12-15 2002-01-17 Howard Kaufman Methods of diagnosing disease
US7206462B1 (en) 2000-03-17 2007-04-17 The General Hospital Corporation Method and system for the detection, comparison and volumetric quantification of pulmonary nodules on medical computed tomography scans
JP4731698B2 (ja) * 2000-04-06 2011-07-27 キヤノン株式会社 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
WO2002015559A2 (en) * 2000-08-10 2002-02-21 The Regents Of The University Of California High-resolution digital image processing in the analysis of pathological materials
US7187789B2 (en) * 2000-08-31 2007-03-06 Fuji Photo Film Co., Ltd. Prospective abnormal shadow detecting system, and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant
GB2377282A (en) * 2001-02-16 2003-01-08 Sanjay Kumar Chugh Computerised medical database
US20030204507A1 (en) * 2002-04-25 2003-10-30 Li Jonathan Qiang Classification of rare events with high reliability
AUPS205202A0 (en) * 2002-05-02 2002-06-06 Flinders Technologies Pty Ltd A method and system for computer aided detection of cancer
US6818903B2 (en) 2002-07-09 2004-11-16 Medispectra, Inc. Method and apparatus for identifying spectral artifacts
US6933154B2 (en) * 2002-07-09 2005-08-23 Medispectra, Inc. Optimal windows for obtaining optical data for characterization of tissue samples
US6768918B2 (en) 2002-07-10 2004-07-27 Medispectra, Inc. Fluorescent fiberoptic probe for tissue health discrimination and method of use thereof
US7260249B2 (en) * 2002-09-27 2007-08-21 Confirma Incorporated Rules-based approach for processing medical images
JP2004248817A (ja) * 2003-02-19 2004-09-09 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
JP4266930B2 (ja) * 2003-05-02 2009-05-27 富士通株式会社 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体
US7664302B2 (en) * 2003-07-18 2010-02-16 Hologic, Inc. Simultaneous grayscale and geometric registration of images
US7668358B2 (en) * 2003-07-18 2010-02-23 Hologic, Inc. Model-based grayscale registration of medical images
US7424672B2 (en) * 2003-10-03 2008-09-09 Hewlett-Packard Development Company, L.P. System and method of specifying image document layout definition
SE0400325D0 (sv) * 2004-02-13 2004-02-13 Mamea Imaging Ab Method and arrangement relating to x-ray imaging
US20060018549A1 (en) * 2004-07-20 2006-01-26 Jianming Liang System and method for object characterization of toboggan-based clusters
CN100355396C (zh) * 2004-07-30 2007-12-19 杭州吴越电子有限公司 带空气密度补偿的乳腺摄影装置
GB2425829A (en) * 2005-05-06 2006-11-08 Mv Res Ltd A classification system
DE102005058095A1 (de) * 2005-12-05 2007-06-06 Forschungszentrum Jülich GmbH Verfahren zur topographischen Darstellung von Veränderungen in einem untersuchten Gehirn
US20070206844A1 (en) * 2006-03-03 2007-09-06 Fuji Photo Film Co., Ltd. Method and apparatus for breast border detection
US8055593B2 (en) * 2006-11-02 2011-11-08 Siemens Medical Solutions Usa, Inc. Learning classifiers for multiple-label data analysis
US8027939B2 (en) * 2006-11-02 2011-09-27 Siemens Medical Solutions Usa, Inc. Automatic labeler assignment using a model built from multi-labeler data
US7881540B2 (en) * 2006-12-05 2011-02-01 Fujifilm Corporation Method and apparatus for detection using cluster-modified graph cuts
US8837677B2 (en) * 2007-04-11 2014-09-16 The Invention Science Fund I Llc Method and system for compton scattered X-ray depth visualization, imaging, or information provider
US20080253522A1 (en) * 2007-04-11 2008-10-16 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Tool associated with compton scattered X-ray visualization, imaging, or information provider
US8041006B2 (en) * 2007-04-11 2011-10-18 The Invention Science Fund I Llc Aspects of compton scattered X-ray visualization, imaging, or information providing
US20080253527A1 (en) * 2007-04-11 2008-10-16 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Limiting compton scattered x-ray visualizing, imaging, or information providing at particular regions
US7711089B2 (en) * 2007-04-11 2010-05-04 The Invention Science Fund I, Llc Scintillator aspects of compton scattered X-ray visualization, imaging, or information providing
US7623625B2 (en) * 2007-04-11 2009-11-24 Searete Llc Compton scattered X-ray visualization, imaging, or information provider with scattering event locating
US20080253525A1 (en) * 2007-04-11 2008-10-16 Boyden Edward S Compton scattered x-ray visualizing, imaging, or information providing of at least some dissimilar matter
US7724871B2 (en) * 2007-04-11 2010-05-25 The Invention Science Fund I, Llc Compton scattered X-ray visualization, imaging, or information provider in soft matter such as tissue, organs, or blood, and/or in hard matter such as bones or teeth
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
US20090092299A1 (en) * 2007-10-03 2009-04-09 Siemens Medical Solutions Usa, Inc. System and Method for Joint Classification Using Feature Space Cluster Labels
US9208556B2 (en) * 2010-11-26 2015-12-08 Quantitative Insights, Inc. Method, system, software and medium for advanced intelligent image analysis and display of medical images and information
JP5906071B2 (ja) * 2011-12-01 2016-04-20 キヤノン株式会社 情報処理方法、情報処理装置、および記憶媒体
US9548987B1 (en) * 2012-06-11 2017-01-17 EMC IP Holding Company LLC Intelligent remediation of security-related events
US9235781B2 (en) * 2013-08-09 2016-01-12 Kabushiki Kaisha Toshiba Method of, and apparatus for, landmark location
US10690759B2 (en) * 2015-03-31 2020-06-23 Felica Networks, Inc. Information processing device, information processing method, and information processing system
US20180046936A1 (en) * 2016-08-10 2018-02-15 Futurewei Technologies, Inc. Density-based apparatus, computer program, and method for reclassifying test data points as not being an anomoly

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7905433A (nl) * 1978-07-12 1980-01-15 Fuji Photo Film Co Ltd Werkwijze en inrichting voor het registreren en weergeven van een stralingsbeeld.
US5212637A (en) * 1989-11-22 1993-05-18 Stereometrix Corporation Method of investigating mammograms for masses and calcifications, and apparatus for practicing such method
US5289374A (en) * 1992-02-28 1994-02-22 Arch Development Corporation Method and system for analysis of false positives produced by an automated scheme for the detection of lung nodules in digital chest radiographs
US5537485A (en) * 1992-07-21 1996-07-16 Arch Development Corporation Method for computer-aided detection of clustered microcalcifications from digital mammograms
US5365429A (en) * 1993-01-11 1994-11-15 North American Philips Corporation Computer detection of microcalcifications in mammograms
CA2177472A1 (en) * 1993-11-29 1995-06-01 Maryellen L. Giger Automated method and system for improved computerized detection and classification of masses in mammograms
US5572565A (en) * 1994-12-30 1996-11-05 Philips Electronics North America Corporation Automatic segmentation, skinline and nipple detection in digital mammograms
US5579360A (en) * 1994-12-30 1996-11-26 Philips Electronics North America Corporation Mass detection by computer using digital mammograms of the same breast taken from different viewing directions
AU705713B2 (en) * 1995-03-03 1999-05-27 Arch Development Corporation Method and system for the detection of lesions in medical images
US5615243A (en) * 1996-03-12 1997-03-25 University Of Pittsburgh Identification of suspicious mass regions in mammograms

Also Published As

Publication number Publication date
WO1998024367A1 (en) 1998-06-11
EP0923343A1 (en) 1999-06-23
JP2001510360A (ja) 2001-07-31
US5768333A (en) 1998-06-16

Similar Documents

Publication Publication Date Title
JP3939359B2 (ja) 二段分類器を使用するディジタル放射線画像中の塊検出
US5579360A (en) Mass detection by computer using digital mammograms of the same breast taken from different viewing directions
US6553356B1 (en) Multi-view computer-assisted diagnosis
US5768406A (en) Mass detection in digital X-ray images using multiple threshold levels to discriminate spots
US5872859A (en) Training/optimization of computer aided detection schemes based on measures of overall image quality
Semmlow et al. A fully automated system for screening xeromammograms
US7646902B2 (en) Computerized detection of breast cancer on digital tomosynthesis mammograms
US5838815A (en) Method and system to enhance robust identification of abnormal regions in radiographs
Rangayyan et al. Measures of acutance and shape for classification of breast tumors
US7903861B2 (en) Method for classifying breast tissue density using computed image features
Kilday et al. Classifying mammographic lesions using computerized image analysis
US5572565A (en) Automatic segmentation, skinline and nipple detection in digital mammograms
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
US6067372A (en) Method and system to enhance robust identification of abnormal regions in radiographs
US6760468B1 (en) Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US6246782B1 (en) System for automated detection of cancerous masses in mammograms
US20080031506A1 (en) Texture analysis for mammography computer aided diagnosis
Schilham et al. Multi-scale nodule detection in chest radiographs
CN111079863B (zh) 利用能谱曲线统计指纹识别病灶组织的系统
CN111161258B (zh) 基于能谱曲线统计指纹的能谱ct图像分割方法
Catarious Jr et al. A mammographic mass CAD system incorporating features from shape, fractal, and channelized Hotelling observer measurements: preliminary results
Alolfe et al. Development of a computer-aided classification system for cancer detection from digital mammograms
Sample Computer assisted screening of digital mammogram images
WO2000005677A1 (en) System for automated detection of cancerous masses in mammograms
Daul et al. 3-D reconstruction of microcalcification clusters using stereo imaging: algorithm and mammographic unit calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061003

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070328

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees