JP3874113B2 - 医用画像処理方法 - Google Patents

医用画像処理方法 Download PDF

Info

Publication number
JP3874113B2
JP3874113B2 JP2003112019A JP2003112019A JP3874113B2 JP 3874113 B2 JP3874113 B2 JP 3874113B2 JP 2003112019 A JP2003112019 A JP 2003112019A JP 2003112019 A JP2003112019 A JP 2003112019A JP 3874113 B2 JP3874113 B2 JP 3874113B2
Authority
JP
Japan
Prior art keywords
image
filter bank
pass filter
filter
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003112019A
Other languages
English (en)
Other versions
JP2004313478A (ja
Inventor
良平 中山
良一 内山
晧二 山本
良二 渡辺
清 難波
Original Assignee
株式会社三重ティーエルオー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社三重ティーエルオー filed Critical 株式会社三重ティーエルオー
Priority to JP2003112019A priority Critical patent/JP3874113B2/ja
Priority to PCT/JP2004/003599 priority patent/WO2004091404A1/ja
Publication of JP2004313478A publication Critical patent/JP2004313478A/ja
Application granted granted Critical
Publication of JP3874113B2 publication Critical patent/JP3874113B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、マンモグラム等の医用画像に含まれる大きさが異なる円形孤立性の異常陰影や線状の異常陰影と、正常組織である血管や肋骨などを精度良く区別するための医用画像処理方法に関する。
【0002】
【従来の技術】
近年の食生活の欧米化に伴い、日本においても乳癌罹患者は増加の傾向にある。そのため、早期乳癌の発見に最も信頼性が高いとされる乳房X線写真(マンモグラム)を用いた検診が始まっている。このマンモグラフィ導入検診では大量の枚数のマンモグラムの読影が必要となる。したがって、1人の医師に要求される読影枚数の増加が予想され、疲労による病変の見落としが増えることが危惧されている。実際に、マンモグラフィ導入検診が行われてきた欧米では、約10〜30%の見落としがあることが報告されている。そこで、コンピュータを用いた画像処理により見落としやすい病変を検出し、その結果を「第2の意見」として医師に提示することにより、病変の見落とし抑制を目的としたコンピュータ支援診断(CAD:Conputer-Aided Diagnosis)に関する研究が行われている。
【0003】
乳房X線写真に含まれる微小石灰化クラスタは、触診や腫瘤として検出される以前に乳癌の兆候として現われるため、その検知は極めて重要である。しかし、微小石灰化クラスタを形成する個々の石灰化陰影は、画像上では微細でコントラストが小さいものが多いため、画像処理に際ししばしば見落としの原因となっている。それゆえ、微小石灰化クラスタの検出に関する多くの研究が行われてきており、最近ではウェーブレット変換における多重解像度の概念を取り入れたフィルタバンクを用いた画像処理方法が開発されている。
【0004】
【特許文献1】
特開平7-299053号公報
【発明が解決しようとする課題】
【0005】
一般的に、検出性能が高いコンピュータの結果を参考にした読影の方が、検出性能の低いコンピュータの結果を参考にした読影よりも医師の診断性能が向上するといわれる。したがって、より検出性能の高いCADシステムを開発する必要があり、そのCADに用いられる画像処理方法に関して更なる向上が望まれている。
【0006】
本発明が解決する課題は、マンモグラム等の医用画像に含まれる大きさが異なる円形孤立性の異常陰影や線状の異常陰影と、正常組織である血管や肋骨などを制度良く区別するため画像処理においてウェーブレット解析による新規なフィルタバンクを用いた医用画像処理方法を提供することである。
【0007】
【課題を解決するための手段】
この課題を解決するため本発明に係る医用画像処理方法は、分割部と合成部とからなり、前記分割部において入力された画像信号をフィルタ処理により帯域分割し、前記合成部においてはフィルタ処理により不要帯域を除去し、最後に各帯域信号を加算して出力画像信号を生成するようにした完全再構成フィルタバンクを用いた医用画像処理方法において、前記入力画像信号に含まれる異なる大きさの円形成分及び/又は線状成分とを検出するために、
フィルタ処理により帯域分割し、帯域分割された画像信号の水平方向、垂直方向及び斜め方向の2階差分画像を要素とするヘシアン行列式の最小固有値及び/又は最大固有値を、フィルタバンクが完全再構成を満たすための条件を緩和して、下記(3)式のみを満足する条件で求め、得られた前記最小固有値及び/又は最大固有値を前記出力画像信号の生成の際に用いることを特徴とする医用画像処理方法。
H L (Z)F L (Z)+H H (Z)F H (Z)=1 ・・・・ ( )
上記(3)式において、 H L (Z) H H (Z) は帯域分割フィルタバンク(ウェーブレット順変換)の低域通過フィルタ、及び高域通過フィルタを示し、 F L (Z) F H (Z) は帯域合成フィルタバンク(ウエーブレット逆変換)の低域通過フィルタ、及び高域通過フィルタを示す。
上記医用画像処理方法において、合成部の高域通過フィルタ F H (Z) を分割部に置換し、分割部の低域通過フィルタ H L (Z) を合成部に置換することにより2階差分画像を得ることができる。
上記医用画像処理方法において、前記フィルタバンクの分割部には、解像度jの高域通過フィルタがHH(Z)=(-Z+Z- )/2及び低域通過フィルタがHL(Z)=(Z+Z- )/2の伝達関数で与えられるとともに、前記合成部の解像度jの高域通過フィルタがF H (Z)=(Z j Z -j )/2及び低域通過フィルタがFL(Z)=(Zj+Z-j)/2の伝達関数で与えられているようにすることができる。
上記医用画像処理方法において、前記入力画像が微小石灰化クラスタを含む乳房X線写真である場合には、この乳房X線写真を所定の関心領域に区切り、各関心領域において、前記フィルタバンクより生成される出力画像信号から得られる所定の特徴量を用いて再合成することにより前記微小石灰化クラスタを検出するようにすることができる。
上記医用画像処理方法において、前記入力画像が骨部を含む胸部単純X線写真である場合には、前記フィルタバンクより生成される出力画像信号の水平方向成分の値をゼロとして再合成することにより、前記胸部X線写真における骨部を除去した画像を生成することができる。
また、本発明のコンピュータプログラムを記録した記録媒体は、上記の医用画像処理方法を実行するコンピュータプログラムを記録したものである。
【0008】
上記構成を有する医用画像処理方法を異常陰影等の検出に適用すれば、(1)マンモグラム等の医用画像に含まれる円形孤立性の異常陰影などの異なる大きさの円形パターンを強調できる、(2)正常組織である血管や肋骨など異なる大きさの線状パターンを強調できる、そして(3)それらの成分を取除いた形で再構成できるという特徴を持つ。
【0009】
つまり、異なる解像度ごとに分割部により各帯域分割された信号が、それら信号を各要素としたヘシアン行列式の最小固有値により上記(1)の特徴を有し、異なる解像度ごとに前記分割部により各帯域分割された信号が、それら信号を各要素としたヘシアン行列式の最大固有値により上記(2)の特徴を有している。そして、例えば、前記フィルタバンクの前記分割部には高域通過フィルタがHH(Z)=(-Z+Z-1)/2及び低域通過フィルタがHL(Z)=(Z+Z-1)/2の伝達関数で与えられるとともに、合成部の高域通過フィルタがFH(Z)=(Z-Z-1)/2及び低域通過フィルタがFL(Z)=(Z+Z-1)/2の伝達関数で与えられている構成にすることにより上記(3)の特徴を有するものになっている。
【0010】
したがって、この医用画像処理方法の上記(1)の特徴を応用することによって、例えば乳房X線写真における微小石灰化陰影を精度よく検出できるようになる。また、上記(2)の特徴を応用することによって、例えば胸部X線写真における間質性肺疾患の検出や、正常組織である肋骨の検出、さらに(3)の特徴を応用することによって、結節状陰影の検出の際に擬陽性候補となりうる骨部組織を事前に前処理として取り除くことができるようになる。
【0011】
【発明の実施の形態】
以下に本発明に係る医用画像処理方法の実施の形態について図面を参照して詳細に説明する。
【0012】
まず、一般的なウェーブレット変換を用いたフィルタバンクについて説明する。ウェーブレット変換は、1980年にフランスの石油探査技師J.Morletによって考案された時間(あるいは空間)周波数変換である。例えば、平面上で変動する信号曲線の中で検出したい波形があるとすると、その波形によく似た波をウェーブレット(さざ波)として設定し、そのウェーブレットを拡大縮小させながら、信号曲線の横軸方向にスキャニングし、波形の相似性を判定していくというもので、信号曲線の中で検出したい波形を適切に抽出することができる。
【0013】
このウェーブレット変換は、連続ウェーブレット変換と離散ウェーブレット変換とに大別される。連続ウェーブレット変換は、連続的な時間シフトと連続的なスケールをパラメータにもつ関数による変換であるが、これらのパラメータが離散的な値をとるとき、離散ウェーブレット変換とよばれる。
【0014】
通常、1次元離散ウェーブレット変換は、図1に示すような2分割フィルタバンクと呼ばれる低周波通過フィルタ(HL(Z),FL(Z))と高周波通過フィルタ(HH(Z),FH(Z))を組み合わせたフィルタ群により画像信号を複数の帯域に分割合成する変換方式である。このフィルタバンク10を基本として、図2に示すフィルタバンク20のような低域側のみを引き続き分割するオクターブ分割を施すことによって多重解像度解析(この場合Level1〜3)が実行される。
【0015】
図2に示されるHL(Z)、HH(Z)は、図中左側の帯域分割フィルタバンク(ウェーブレット順変換)21の低域通過フィルタと高域通過フィルタをそれぞれ示しており、FL(Z)、FH(Z)は、図中右側の帯域合成フィルタバンク(ウェーブレット逆変換)22の低域通過フィルタと高域通過フィルタをそれぞれ示している。図中の↓2は、ダウンサンプラと呼ばれ、信号の奇数番目の要素を取り出す操作に相当し、↑2はアップサンプラと呼ばれ、信号間に1個の零値を挿入する操作に相当する。
【0016】
図2に示されるように、原画像S0にフィルタバンク20の帯域分割フィルタバンク21を適用すると、まず最初の解像度レベル(Level1)の第1低周波成分W1 Lと第1高周波成分W1 Hが得られる。さらに、この第1低周波成分W1 Lを原画像S1とみなして次の解像度レベル(Level2)の帯域分割を行うと、第2低周波成分W2 Lと第2高周波成分W2 Hが得られる。このように次々にオクターブ分割を行うと、たった一つの低周波成分S3と、解像度の異なった高周波成分W1 H,W2 H,W3 Hの集まりが得られる。もちろん、帯域合成フィルタバンク22を用いると原画像S0を復元できるので、分解によって得られたこのような低周波成分S3と多重高周波成分W1 H,W2 H,W3 Hの集まりは原画像と同等である。
【0017】
ここで、基本となる2分割フィルタバンクが次の3つの条件式(1)、(2)、(3)を満たすならば、離散直交ウェーブレット変換となる。
直交条件:HH(Z)=-Z-(N-1)HL(-Z-1)・・・・・・(1)
エイリアス除去:HL(-Z)FL(Z)+HH(-Z)FH(Z)=0・・・(2)
無歪み:HL(Z)FL(Z)+HH(Z)FH(Z)=1・・・・(3)
【0018】
ただし、NはフィルタHL(Z)のタップ数であり、フィルタの相互関係をFL(Z)=HH(-Z)、FH(Z)=HL(-Z)と規定する。しかし、直交条件を満たし直線位相特性を持つフィルタバンクは、2タップのフィルタ(Haar関数)以外存在しないことが知られている。そのため、画像処理への応用など直線位相特性を必要とする場合には、直交条件(1)式を満たさない緩和された条件の下で設計されたフィルタバンクが使用されている。
【0019】
エイリアス除去の条件(2)式は、上述のアップサンプラ及びダウンサンプラを用いた場合のレート変換によって発生するエイリアシング成分及びイメージング成分を除去するための条件である。図1に示す基本フィルタバンク10では、入力された画像信号S0は、高低2つの帯域に分割されるが、ダウンサンプラ2↓のダウンサンプリングにより信号の間引きが行われるため、帯域分割されて出力される信号量の合計は入力された信号量と変わらない。通常、画像圧縮などに用いられる場合は、帯域分割された信号量を極力低減する目的でダウンサンプリングが行われる。しかし、医用画像において異常陰影などのコントラスト強調に用いる場合は、必ずしも帯域分割された信号量を低減する必要はなく、むしろ詳細な情報を確保するためには間引きは行わないほうがよい。本発明では、医用画像などに含まれる円形・線状パターンを強調するために、ダウンサンプリングを用いないフィルタバンクを採用する。したがって、エイリアス除去の条件(2)式も満たす必要がないので、フィルタバンクの設計条件は無歪みの条件(3)式のみとなる。
【0020】
図3は、無歪みの条件(3)式のみを満たしたフィルタバンク30が示されている。このフィルタバンク30において無歪みの条件(3)式が満たされるならば、信号の再構成は補償される。このようなダウンサンプリング及びアップサンプリングを用いない場合のフィルタバンクは、一般に解橡度レベルj番目を構成するフィルタの次数はZ2jとして与えられる。しかし、解像度レベルj番目のフィルタの次数をZ2jとした場合には、解橡度が粗くなるにつれてフィルタの次数が大きくなりすぎてしまうという欠点がある。そのため、医用画像に含まれる微細な陰影を分析しようとする場合には、最も細かい解像度のレベルでのみ陰影の特徴が表れてしまうことになる。そこで本発明では、解橡度を粗くしていった場合の微細な陰影の特徴の変化に関する情報を詳細に確保するために、例えば図中の解像度レベル2番目(Level2)のフィルタ(HL(Z2),HH(Z2))の次数をZ2としたように、解像度レベルj番目のフィルタの次数をZjした。
【0021】
1次元離散ウェーブレット変換は、もともと1次元信号に対するものである。画像に対してはそれを横方向と縦方向に適用すればよいのであるが、その組合せはいろいろ考えられる。最もよく使われる方法は、画像の水平(Horizontal)方向と垂直(Vertical)方向に別々に施して信号を分割する方法である。図4は、この方法によるフィルタバンク40が示されている。S0fは処理前の原画像を表しており、この原画像S0fの解橡度レベルをゼロとして設定する。S1f、WH 1f、WV 1f、WD 1fは、解像度レベル1の平滑化部分画像、水平部分画像、垂直部分画像、対角部分画像をそれぞれ表している。このフィルタバンク40を基本にして、平滑化部分画像を引き続き分割するオクターブ分割を施すことによって多重解像度に分解できる。基本フィルタバンク40が信号の再構成を補償するならば、オクターブ分割をすることによって得られるフィルタバンクも信号の完全な再構成を補償する。
【0022】
従来、さまざまな方向の2階差分フィルタの方向に関する最小値および最大値を用いることにより、医用画像における円形陰影や線状陰影を強調するための方法が提案されている(清水昭伸、長谷川純一、鳥脇純一郎共著“胸部X線像の塊状陰影陰影検出用の最小方向差分フィルタとその性質”信学論J76-D-2(2),241-249,1993.および“医用画像の計算機診断のための回転型2階差分フィルタの性質”信学論J78-D-2(1),29-39,1995.)。
【0023】
これらの文献には、Min-DDフィルタ、Max-DDフィルタと呼ばれるフィルタについての説明が記載されている。Min-DDフィルタは、2階差分フィルタの方向に関する最大値を出力とするため、血管影のような直線状の陰影に対する強調を抑制しながら、円状陰影を選択的に強調するのに適したフィルタである。一方、Max-DDフィルタは、2階差分フィルタの方向に関する最小値を出力するため、線状陰影の強調に適したフィルタである。
【0024】
ところで、2次関数f(x,y)の任意の方向θに関する2階微分は次式(数1)
【0025】
【数1】
Figure 0003874113
【0026】
として表すことができるから、2次関数f(x,y)のθ方向に関する2階微分に関する最小値および最大値は、上式のヘシアン行列(ヘッセ行列ともいう)の最小固有値、最大固有値として求めることができる。過去に行われた研究においても、へシアン行列の最小固有値を用いることによって、結節状陰影の強調が行われている(澤田晃、佐藤嘉伸、木戸尚治、田村進一共著“胸部X線画像における肺腫瘤陰影の検出−多重解像度フィルタ、エネルギー差分画像の利用と性能分析−”Med Img Tech,17(1),81-91,1999.および倉光智也、清水健治、柴田裕士、田中稔、安原美文、池添潤平、佐藤嘉伸、田村進一、柳原宏共著“Gauss平滑化とHessian行列の固有値にもとづく腫瘤(結節)と血管の識別”Med Imag Tech,19(3),196-207,2001.)。
【0027】
したがって、以上の説明から、へシアン行列の各要素を生成する帯域分割フィルタバンクが構築できれば、それらの各要素から計算される最小固有値あるいは最大固有値を求めることにより円形パターンあるいは線状パターンの強調が可能となる。図5のフィルタバンク50は、図4のフィルタバンク40を等価変換したものである。このフィルタバンク50において、帯域分割フィルタバンク51と帯域合成フィルタバンク52との間でフィルタを加える順番を換えるだけならば完全再横成の条件は満たされる。そこで、図6に示すフィルタバンク60のようにそれぞれのフィルタの位置を入れ換えた。次に、フィルタHH(Z)を1階差分フィルタとして次式で与えた。
HH(Z)=(-Z+Z-1)/2・・・・(5)
また、フィルタFH(Z)を
FH(Z)=(Z-Z-1)/2・・・・(6)
として与えたならば,フィルタHH(Z)FH(Z)は、
HH(Z)FH(Z)=(-Z2+2-Z-2)/4・・・・(7)
となり、2階差分フィルタとなる。つまり、図6に示されるフィルタバンク60のフィルタ群において上式(5)、(6)、(7)の伝達関数で与えられたフィルタを使用した場合には、帯域分割フィルタバンク61によって生成された水平部分画像WH 1f、垂直部分画像WV 1fは、それぞれ原画像S0fに対して垂直方向にこの2階差分フィルタ(HH(Z)FH(Z))を加えた画像、水平方向に同じくこの2階差分フィルタ(HH(Z)FH(Z))を加えた画像に相当する。また、対角部分画像WD 1fは、水平方向および垂直方向に1階差分フィルタ(HH(Z))を加えた画像となる。すなわち、これらの部分画像情報はヘシアン行列の各要素に相当する。残る問題は、帯域合成フィルタバンク62が再構成の条件を満たさなければならないことであるから、無歪みの条件を満たすように残りのフィルタを次のように決定した。
HL(Z)FL(Z)=((Z+Z-1)/2))(((Z+Z-1)/2))=(Z2+2+Z-2)/4・・・・(8)
【0028】
つまり、このフィルタは平滑化フィルタとなり、次の解像度レベルの平滑化部分画像を生成する。図6に示されるフィルタバンク60において、平滑化部分画像S1fを次々に分割していくオクターブ分割を施すことによって多重解像度に分解できる。図7は、オクターブ分割によって得られたフィルタバンク70を表している。各解像度レベル(Level1〜3)の部分画像情報は、より細かい解像度レベルの平滑化部分画像に対してそれぞれのフィルタを加えることによって生成される。各解像度レベルの円形パターン強調画像λj min(x,y)は、その解像度レベルの水平部分画像、垂直部分画像、対角部分画像を各要素とするヘシアン行列の最小固有値によって次式(数2)で与えられる。
【0029】
【数2】
Figure 0003874113
【0030】
一方、各解像度レベルの線状パターン強調画像λj max(x,y)はヘシアン行列の最大固有値として次式(数3)によって与えられる。
【0031】
【数3】
Figure 0003874113
【0032】
これら円形パターン強調画像λj min(x,y)と線状パターン強調画像λj max(x,y)を用いることにより、異なる大きさの円形パターンおよび線状パターンの強調が可能となる。
【0033】
本発明に係るフィルタバンクの特徴の一つである異なる大きさの円形パターンを強調することができることを、乳房X線写真における微小石灰化陰影を強調することに用いた。図8は、微小石灰化陰影(Micro calcification)を含む関心領域80、血管(Vessel)を含む関心領域81、背景(Background)の関心領域82と、それらの各解像度レベル(Level1〜4)における円形パターン強調画像λj min(x,y)(図中80a〜80d,81a〜81d,82a〜82d)をそれぞれ示している。図8に見られるように、石灰化陰影を含む関心領域80の円形パターン強調画像80a〜80dと背景の関心領域82の円形パターン強調画像82a〜82dを各解像度レベルで比較した場合、石灰化陰影を含む関心領域80の円形パターン強調画像80a〜80dの方が、背景の関心領域82の円形パターン強調画像82a〜82dに比べてコントラストの高い円形パターンを含む割合が明らかに高いことがわかる。
【0034】
また、石灰化陰影を含む関心領域80をこのような多重解像度空間で眺めた場合、詳細に見れば複雑な形状をしている石灰化陰影がスムージングの効果により、解像度が粗くなるにつれて理想的な円形パターンに近づいていることがわかる。そのため、陰影が理想的な円形パターンであることを想定したへシアン行列の最小固有値を出力するという本発明の特徴が生かされ、大きさや形状の異なる石灰化陰影が効果的に強調されている。次に、血管を含む関心領域81の円形パターン強調画像81a〜81dと石灰化陰影を含む関心領域80の円形パターン強調画像80a〜80dとを比較すると、血管を含む関心領域の方が明らかに円形パターンを含む割合は低いことがわかる。
【0035】
また、血管を含む関心領域81の円形パターン強調画像81a〜81dでは、血管などの線状パターンに関する情報が抑制されている。したがって、多重解像度空間における円形パターン強調画像に含まれる特徴を応用すれば、石灰化陰影を含む関心領域と、正常組織である血管および背景の関心領域を区別することができることを示している。
【0036】
フィルタバンクのもう一つの特徴である異なる大きさの線状パターンを強調することができることを、胸部単純X線写真における血管および肋骨を強調することに応用した。図9は、原画像である肋骨を含んだ関心領域90と、各解像度レベル(Level1〜4)の線状パターンを強調した画像λj max(x,y)90λa〜90λd、および各解橡度レベルの水平部分画像WfH j(x,y)90Ha〜90Hd、垂直部分画像WfV j(x,y)90Va〜90Vd、対角部分画像WfD j(x,y)90Da〜90Ddをそれぞれ示している。
【0037】
図9に見られるように、細かい解像度レベルでは小さな血管影や肋骨の縁が強調されており、粗い解像度レベルでは、太い線状成分である肋骨が強調されているのがわかる。つまり、フィルタバンクの異なる線状パターンを強調する手法を応用することによって、細かな血管や肋骨が選択的に強調できることを示している。次に、線状パターン強調画像を生成する各解像度レベルの部分画像情報の特徴を見てみると、垂直部分画像に肋骨に関する情報が多く含まれているのがわかる。本発明に係るフィルタバンクは、ある成分を取り除いた形で再横成できるという特徴を持つため、この性質を利用して垂直部分画像に関する情報を取り除き(値をゼロにする)、再構成することによって医用画像の骨部に関する情報を取り除いた画像が得ることができる。図10(b)は、このようにして得られた画像である。図10(a)の原画像と比較すると、骨部に関する情報の多くが取り除かれていることがわかる。一般に、胸部単純X線写真に含まれる結節状陰影を検出する場合などには、肋骨や血管およびその交差部で偽陽性が多いことが知られている。そのため、これらの情報を前処理として取り除いた画像を入力画像として用いたならば、これまで問題とされていた偽陽性候補となりうる要因を事前に取り除くことができる。
【0038】
本発明に係るフィルタバンクは、医用画像における異なる大きさの円形パターンおよび線状パターンを選択的に強調することができ、それらの成分を取り除いた形で再横成できるという特徴を持つ。このフィルタバンクの特徴を利用することによって、乳房X線写真における微小石灰化陰影が効果的に強調でき、また、胸部単純X線写真における血管および肋骨を強調し、肋骨に関する情報を取り除いた画像を生成することができる。
【実施例】
【0039】
実験試料は、ブレストピアなんば病院で撮影された乳房X線写真59枚で構成される。これらを、EPSON ES-8000(光学解像度800dpiX1600dpi、光学濃度レンジ3.3D)を用いて、空間分解能0.05mm/pixel、濃度分解能12bitでディジタイズしたものを解析対象画像として用いた。これらの解析対象画像は,微小石灰化クラスタを1個含んだ画像34枚、2個含んだ画像12枚、3個含んだ画像6枚、4個以上含んだ画像7枚からなり、実験試料に含まれる総クラスタ数は106個である。本実施例では、5mmX5mm当たり3個以上の石灰化陰影が存在する領域を微小石灰化クラスタとして定義した。78個の微小石灰化クラスタは、5mmX5mmの領域に十分に含まれる大きさであり、残り28個の微小石灰化クラスタは、10mmX10mmの領域に含まれる大きさである。したがって、本実施例で用いた乳房X線写真の多くは、極めて狭い領域に分布している早期段階の微小石灰化クラスタを含んでいることになる。
【0040】
微小石灰化クラスタ検出の処理手順は,解析対象である原画像S0fを円形・線状パターン検出のための図7に示したフィルタバンク70に入力し,各解像度レベルの円形パターン強調画像λj minf、線状パターン強調画像λj maxf、水平方向、垂直方向および対角方向2階差分画像(WH jf,WV jf,WD jf)を生成する。次に、解析対象画像の全体を関心領域(ROI)で区切り、その関心領域においてフィルタバンクによって生成された画像から微小石灰化クラスタと正常組織を区別するための特徴量を決定する。ここで、ROIのサイズは微小石灰化クラスタの定義に基づき5mmX5mmと設定した。最後に,そのROIが微小石灰化クラスタを含むのか、または正常組織であるのかを、判別分析を用いて識別する。
【0041】
一般に、コンピュータを用いて画像に含まれるパターン(アルファベットの文字など)を認識するときには、図11に示すような手順をとることが多い。画像11aが入力されると、まず前処理11bでノイズ除去などを行う。続いて特徴抽出11cでは、膨大な情報を持つ原画像からのパターンの認識に必要な本質的な特徴のみを抽出する。識別機11dでは、判別分析、ニューラルネットワーク、最近傍決定則法、サポートベクタマシンなどの数多くの方法が提案されている。
【0042】
本実施例では、コンピュータを用いた乳房X線写真における微小石灰化陰影の検出は、図12に示すような手順で行われる。まず乳房X線写真12aをスキャナなどでコンピュータに取り込む(図中12b)。次に粒状・線状パターン検出のためのフィルタバンクを用いて画像を分解し(図中12c)、得られた分解画像から所定の特徴を抽出する(図中12d)。画像全体を関心領域に区切り(図中12e)、各関心領域に微小石灰化陰影が含まれるかを識別機である判別分析を用いて行う(図中12f)。
【0043】
微小石灰化クラスタを含むROI、血管を含むROI、背景を含むROIが、フィルタバンクによって生成された画像おいて、どのような違いが見られるかについて述べる。
【0044】
図13と図14は、それぞれ微小石灰化クラスタを含むROI110、血管を含むROI120とそれらの画像を図7に示したフィルタバンク70に入力することにより生成された平滑化部分画像Sjf、水平部分画像WH jf、垂直部分画像WV jf、対角部分画像WD jfをそれぞれ示している。
【0045】
また、図15は、微小石灰化クラスタ(Clustered micro calcification)を含むROI130、血管(Blood vessel)を含むROI131、背景(Background)を含むROI132と、それらの各解像度レベル(Level1〜4)における線状パターン(Liner pattern)強調画像λj maxf、円形パターン(Nodular pattern)強調画像λj minfおよび解像度レベル1からレベル4までの円形パターン強調画像を加算した画像(Multi-size Nodular pattern)130a,131a,132aをそれぞれ示している。
【0046】
図13が示すように、微小石灰化クラスタROI110の画像処理では、水平、垂直、対角方向の2階差分画像(WHf,WVf,WDf)に同程度の値を持つ。しかし、図12が示すように、血管ROI120の画像処理では、垂直方向の2階差分画像(WVf)に高い値を持つ。つまり、血管を含んだROIでは血管の向きに対応した2階差分画像にのみ高い値を持つ偏りが見られる。図15の線状パターン強調画像λj maxfでは、微小石灰化クラスタROI130については、解像度レベル2からレベル3にかけて値が大きく減少しているのに対して、血管ROI131については大きな減少が見られない。また、背景ROI132についてはどの解像度レベルにおいてもあまり大きな値を持っていない。
【0047】
図15の円形パターン強調画像λj minfでは、微小石灰化クラスタROI130については、解像度レベル2において最も高い値を持ち、レベル3およびレベル4においてもある程度の値を持っている。しかし、血管ROI131および背景ROI132については、どの解像度レベルにおいてもほとんど値を持っていない。図15のレベル1からレベル4までの円形パターン強調画像を加算した画像130a,131a,132aでは、微小石灰化クラスタROI130については大きな値を持っているのに対して、血管ROI131および背景ROI132については明らかに値が小さいことがわかる。
【0048】
そこでフィルタバンク70によって生成された各画像情報から微小石灰化クラスタROI、血管ROI、背景ROIを識別するための特徴量の定量化を行う。最も単純な定量化の手法は、ROIの全画素値の合計として定量化することである。しかし、この手法では、石灰化陰影に相当する高い値の情報が、ROIの大部分を占める石灰化陰影以外の低い値に大きく影響を受けるために、画像に含まれる石灰化陰影の情報を正確に定量化できない問題がある。したがって、ROIにおける濃度ヒストグラムの上位5%の合計値として定量化した。ここで、ROIに石灰化陰影が3個存在するとき、石灰化陰影に属する画素数はROIの全画素数の5%程度である。
【0049】
本発明で用いた特徴量は、▲1▼解像度レベル1からレベル4までの各円形パターン強調画像を定量化した各レベルの円形成分、▲2▼解像度レベル1からレベル4までの各線状パターン強調画像を定量化した各レベルの線状成分。解像度レベル1からレベル4まで水平部分画像を加算した画像、垂直部分画像を加算した画像、対角部分画像を加算した画像のそれぞれの合計値を比較し、その値が最大となる画像を最大方向部分画像、2番目の大きさとなる画像を中間方向部分画像、最小となる画像を最小方向部分画像としたとき、▲3▼解像度レベル1からレベル4までの最大方向部分画像を定量化した各レベルの最大方向成分、▲4▼解像度レベル1からレベル4までの中間方向部分画像を定量化した各レベルの中間方向成分、▲5▼解像度レベル1からレベル4までの最小方向部分画像を定量化した各レベルの最小方向成分。また、▲6▼解像度レベル1からレベル4までの円形パターン強調画像を加算した画像を定量化した大小円形成分の合計21特徴量である。このうち、▲3▼、▲4▼、▲5▼は、血管のように一定の方向に伸びた陰影がROIの中に存在した場合には、最大方向成分のみが大きな値を持つという特性を調べるための特徴量である。
【0050】
実験試料の中から無作為に切り出した微小石灰化クラスタ60例、血管領域40例、背景領域40例の合計140例のROIを用いて、決定した特徴量が微小石灰化クラスタと正常組織の識別に有効であるか検討を行った。図16は、解像度レベル1からレベル4までの(a)円形成分(Nodular component)、(b)線状成分(Line component)、(c)最大方向成分(Maximum direction component)、(d)中間方向成分(Middle direction component)、(e)最小方向成分(Minimum direction component)のグラフを示している。ここで、表示している値は、微細石灰化クラスタ60例,、血管領域40例、背景領域40例のそれぞれの平均値であり、正常組織は血管領域40例および背景領域40例の平均値である。
【0051】
図16(a)の円形成分について見てみると、微小石灰化クラスタ(Clustered micro calcification)は解像度レベル1から2にかけてほぼ同程度の値を持つのに対して、正常組織(Normal tissue)では明らかな減少が見られる。また、各解像度レベルにおいて微細石灰化クラスタは、正常組織の約2倍の高い値を持つ。つまり、円形成分は微細石灰化クラスタを区別するのに極めて有効な特徴量であることを示している。また、解像度レベル3の微細石灰化クラスタの値が下がっているため、ほとんどの石灰化陰影の大きさが解像度レベル1とレベル2のフィルタサイズに相当すると考えられる。
【0052】
図16(b)では、解像度レベル間で微小石灰化クラスタと血管領域(Blood vessel)に同じような変化の傾向が現れている。このことは、石灰化陰影の大きさと血管陰影の幅が同程度であることを示している。また、微小石灰化クラスタの方が血管領域より高い線状成分を持っている。この理由は、石灰化陰影も局所的に見れば線状であること、ROIにおける濃度ヒストグラムの上位5%の合計値として定量化を行っていることが原因である。しかしながら、微小石灰化クラスタと正常組織を比較すると明らかに違いが見られるため、線状成分が識別に有効な特徴量であることが分かる。
【0053】
図16(c),(d),(e)を見てみると、微小石灰化クラスタは、最大方向成分に比べ中間方向成分および最小方向成分の値がそれぞれ小さいが、その値には大きな違いは見られない。一方、血管陰影では、最大方向成分に比べ最小方向成分の値が約半分であることが分かる。同様の傾向が血管陰影と背景領域を合わせて平均化した正常組織に対しても言えるため、これらの特徴量が微小石灰化クラスタと正常組織の区別に有効な特徴量であることが理解できる。
【0054】
また、微細石灰化クラスタ60例と正常組織80例の大小円形成分の平均値は、微細石灰化クラスタが18204.5、正常組織が9625.0であった。したがって、大小円形成分も微細石灰化クラスタと正常組織の区別に非常に有効な特徴量であると考えられる。
【0055】
これらの21個の特徴量を用いた判別分析により、微小石灰化クラスタ60例と正常組織80例の識別実験を行った。ここでは、データ分類法としてマハラノビスの距離を採用した。その結果、97.1%(136/140)の正答率、2.9%(4/140)の誤判別率を得た。誤って識別したROIは、いずれも微小石灰化クラスタを含むものであった。これらの結果により、フィルタバンクによって生成された各画像情報から得られた特徴量が、微細石灰化クラスタと正常組織の識別に有用であることが確認された。
【0056】
生成した判別関数を用いて、59枚のマンモグラムを対象にした微小石灰化クラスタ検出実験を行った。その結果、真陽性率94.3%(検出数:100例/微細石灰化クラスタ数:106例)、解析対象画像1枚あたりの偽陽性数0.051ヶ所を得た。図17は、微小石灰化クラスタ106例、正常組織45679例の合計45785例のマンモグラム59枚に含まれる全てのROIの判別得点ヒストグラムを示している。図17において、微細石灰化クラスタ(Clustered micro calcification)の頻度分布の中心と正常組織(Normal tissue)の頻度分布の中心が大きく離れているため、これらの識別に有意となる判別関数であることが理解できる。また、140例という少ない数のROIを用いて生成された判別関数を用いたにもかかわらず、判別関数を生成するときに用いなかった45640例のROIを正確に識別できていることから、用いた特徴量が非常に有効であったと考えられる。
【0057】
このようにフィルタバンクから生成される画像情報から得られた特徴量が、微小石灰化クラスタと正常組織を識別するための有効であり、また、これらの特徴量を用いた判別分析によって、マンモグラムにおける早期段階の微小石灰化クラスタを高い精度で検出することができる。
【0058】
以上詳述したように、本発明に係るフィルタバンクは、マンモグラム等の医用画像に含まれる円形孤立性の異常陰影などの異なる大きさの円形パターンを強調することができ、正常組織である血管や肋骨など異なる大きさの線状パターンを強調することがきるフィルタバンクである。尚、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々なる態様で実施できることは勿論である。
【0059】
【発明の効果】
本発明に係るフィルタバンクによれば、医用画像における異なる大きさの円形パターンおよび線状パターンを選択的に強調することができ、それらの成分を取り除いた形で再横成できるので、このフィルタバンクを用いることによって、乳房X線写真における微小石灰化陰影が効果的に強調でき、また、胸部単純X線写真における血管および肋骨を強調し、肋骨に関する情報を取り除いた画像を生成することができる。
【図面の簡単な説明】
【図1】一般的な2分割フィルタバンクの概略構成を示した図である。
【図2】図1の2分割フィルタバンクを基本とする離散ウェーブレット変換(レベル1〜レベル3)を行うフィルタバンクの概略構成を示した図である。
【図3】図2のフィルタバンクにおいてサンプリングオペレータを伴わないフィルタバンクを示した図である。
【図4】図3のフィルタバンクを2次元に適用したフィルタバンクの概略構成を示した図である。
【図5】図4のフィルタバンクと等価なフィルタバンクを示した図である。
【図6】本発明に係る円形・線状パターンを検出するためのフィルタバンクの概略構成を示した図である。
【図7】図4のフィルタバンクを基本とする離散ウェーブレット変換(レベル1〜レベル3)を行うフィルタバンクの概略構成を示した図である。
【図8】微小石灰化クラスタを含む画像等に本発明に係るフィルタバンクを用いて異なる解像度レベルにおける円形パターンの強調を行った画像を示した図である。
【図9】肋骨を含む画像に本発明に係るフィルタバンクを用いて異なる解像度レベルにおける線状パターンの強調を行った画像を示した図である。
【図10】肋骨を含む原画像と骨部領域を削除した画像の比較を示した図である。
【図11】一般的な画像処理手順を示した図である。
【図12】本発明に係る画像処理の手順を示した図である。
【図13】微小石灰化クラスタを含む画像領域に本発明に係るフィルタバンクを用いて異なる解像度レベルにおける円形パターンの強調を行った際のフィルタバンクの出力画像を示した図である。
【図14】血管を含む画像領域に本発明に係るフィルタバンクを用いて異なる解像度レベルにおける線状パターンの強調を行った際のフィルタバンクの出力画像を示した図である。
【図15】ヘシアン行列により生成された円形・線状パターン強調画像を示した図である。
【図16】各解像度レベルにおける特徴量を示した図である。
【図17】判別得点ヒストグラムを示した図である。
【符号の説明】
70 フィルタバンク
HL(Z) 分割側低域通過フィルタ
HH(Z) 分割側高域通過フィルタ
FL(Z) 合成側低域通過フィルタ
FH(Z) 合成側高域通過フィルタ
↓2 ダウンサンプラ
↑2 アップサンプラ
S0f 原画像
Sjf 平滑化部分画像
WH jf 水平部分画像
WV jf 垂直部分画像
WD jf 対角部分画像
λj minf 円形パターン強調画像
λj maxf 線状パターン強調画像

Claims (6)

  1. 分割部と合成部とからなり、前記分割部において入力された画像信号をフィルタ処理により帯域分割し、前記合成部においてはフィルタ処理により不要帯域を除去し、最後に各帯域信号を加算して出力画像信号を生成するようにした完全再構成フィルタバンクを用いた医用画像処理方法において、前記入力画像信号に含まれる異なる大きさの円形成分及び/又は線状成分とを検出するために、
    フィルタ処理により帯域分割し、帯域分割された画像信号の水平方向、垂直方向及び斜め方向の2階差分画像を要素とするヘシアン行列式の最小固有値及び/又は最大固有値を、フィルタバンクが完全再構成を満たすための条件を緩和して、下記(3)式のみを満足する条件で求め、得られた前記最小固有値及び/又は最大固有値を前記出力画像信号の生成の際に用いることを特徴とする医用画像処理方法。
    H L (Z)F L (Z)+H H (Z)F H (Z)=1 ・・・・ ( )
    上記(3)式において、 H L (Z) H H (Z) は帯域分割フィルタバンク(ウェーブレット順変換)の低域通過フィルタ、及び高域通過フィルタを示し、 F L (Z) F H (Z) は帯域合成フィルタバンク(ウエーブレット逆変換)の低域通過フィルタ、及び高域通過フィルタを示す。
  2. 前記において、合成部の高域通過フィルタ F H (Z) を分割部に置換し、分割部の低域通過フィルタ H L (Z) を合成部に置換することにより2階差分画像を得ることを特徴とする請求項1に記載の医用画像処理方法。
  3. 前記フィルタバンクの分割部には、解像度jの高域通過フィルタがHH(Z)=(-Z+Z- )/2及び低域通過フィルタがHL(Z)=(Z+Z- )/2の伝達関数で与えられるとともに、前記合成部の解像度jの高域通過フィルタがF H (Z)=(Z j Z -j )/2及び低域通過フィルタがFL(Z)=(Zj+Z-j)/2の伝達関数で与えられていることを特徴とする請求項1又は2に記載の医用画像処理方法。
  4. 前記入力画像が微小石灰化クラスタを含む乳房X線写真である場合には、この乳房X線写真を所定の関心領域に区切り、各関心領域において、前記フィルタバンクより生成される出力画像信号から得られる所定の特徴量を用いて再合成することにより前記微小石灰化クラスタを検出することを特徴とする請求項1からのいずれかに記載の医用画像処理方法。
  5. 前記入力画像が骨部を含む胸部単純X線写真である場合には、前記フィルタバンクより生成される出力画像信号の水平方向成分の値をゼロとして再合成することにより、前記胸部X線写真における骨部を除去した画像を生成することを特徴とする請求項1からのいずれかに記載の医用画像処理方法。
  6. 請求項1からのいずれかに記載の医用画像処理方法を実行するコンピュータプログラムを記録した記録媒体。
JP2003112019A 2003-04-16 2003-04-16 医用画像処理方法 Expired - Fee Related JP3874113B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003112019A JP3874113B2 (ja) 2003-04-16 2003-04-16 医用画像処理方法
PCT/JP2004/003599 WO2004091404A1 (ja) 2003-04-16 2004-03-17 医用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003112019A JP3874113B2 (ja) 2003-04-16 2003-04-16 医用画像処理方法

Publications (2)

Publication Number Publication Date
JP2004313478A JP2004313478A (ja) 2004-11-11
JP3874113B2 true JP3874113B2 (ja) 2007-01-31

Family

ID=33296018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003112019A Expired - Fee Related JP3874113B2 (ja) 2003-04-16 2003-04-16 医用画像処理方法

Country Status (2)

Country Link
JP (1) JP3874113B2 (ja)
WO (1) WO2004091404A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284579A1 (en) * 2005-07-27 2010-11-11 Tsuyoshi Kobayashi Abnormal shadow candidate detecting method and abnormal shadow candidate detecting apparatus
GB0602739D0 (en) 2006-02-10 2006-03-22 Ccbr As Breast tissue density measure
US8218850B2 (en) 2006-02-10 2012-07-10 Synarc Inc. Breast tissue density measure
US7773794B2 (en) * 2006-12-19 2010-08-10 Fujifilm Corporation Method and apparatus for candidate detection using Hessian peak characteristics
GB2463906A (en) * 2008-09-29 2010-03-31 Medicsight Plc Identification of medical image objects using local dispersion and Hessian matrix parameters
JP4940340B2 (ja) 2009-11-27 2012-05-30 富士フイルム株式会社 椎骨セグメンテーション装置、方法及びプログラム
JP5037705B2 (ja) * 2010-03-11 2012-10-03 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5501290B2 (ja) 2011-05-23 2014-05-21 富士フイルム株式会社 画像処理装置、放射線画像撮影システム、及び画像処理プログラム
WO2014192187A1 (ja) 2013-05-31 2014-12-04 国立大学法人東北大学 乳房画像病変検出システム、乳房画像病変検出方法、乳房画像病変検出プログラムおよび乳房画像病変検出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN105427283B (zh) * 2015-11-06 2018-01-19 北京航空航天大学 一种基于Hessian隐函数的交互式体分割方法
CN109669182B (zh) * 2018-12-05 2022-05-17 南京邮电大学 无源双基地sar动/静目标联合稀疏成像方法
KR102311472B1 (ko) * 2019-10-07 2021-10-08 연세대학교 산학협력단 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07299053A (ja) * 1994-04-29 1995-11-14 Arch Dev Corp コンピュータ診断支援方法
JP4187134B2 (ja) * 2001-02-20 2008-11-26 株式会社リコー 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2004091404A1 (ja) 2004-10-28
JP2004313478A (ja) 2004-11-11

Similar Documents

Publication Publication Date Title
Sharma et al. Identifying lung cancer using image processing techniques
Sharma et al. Computer aided diagnosis system for detection of lungcancer in CT scan images
Schilham et al. A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database
Karahaliou et al. Breast cancer diagnosis: analyzing texture of tissue surrounding microcalcifications
US8265728B2 (en) Automated method and system for the evaluation of disease and registration accuracy in the subtraction of temporally sequential medical images
EP2137672B1 (en) Method, apparatus and computer program for analysing medica image data
EP2070045B1 (en) Advanced computer-aided diagnosis of lung nodules
Al-Shamlan et al. Feature extraction values for breast cancer mammography images
JPH07299053A (ja) コンピュータ診断支援方法
JP3874113B2 (ja) 医用画像処理方法
WO2007119204A2 (en) Method for processing biomedical images
Rizzi et al. Computer aided detection of microcalcifications in digital mammograms adopting a wavelet decomposition
Beheshti et al. Classification of abnormalities in mammograms by new asymmetric fractal features
Panda et al. Feature extraction for classification of microcalcifications and mass lesions in mammograms
Roy Breast cancer Classification with Multi-Fusion Technique and Correlation Analysis.
JP5106047B2 (ja) 画像処理方法及び装置
US20100284586A1 (en) Segmentation of microcalcifications in a mammographic image
Catarious Jr et al. A mammographic mass CAD system incorporating features from shape, fractal, and channelized Hotelling observer measurements: preliminary results
Subashini et al. Pectoral muscle removal and detection of masses in digital mammogram using CCL
Aenney et al. Detection of Lung Nodules using Image Processing Techniques
Nakayama et al. Development of new filter bank for detection of nodular patterns and linear patterns in medical images
Ithayan et al. Machine Learning Approach for Brain Tumor Detection
Mohamed et al. Computer aided diagnosis of digital mammograms
Nakayama et al. Detection of clustered microcalcifications on mammograms using new filter bank
Jebarani et al. Survey on various feature extraction methods for Breast Cancer detection using soft computing approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050301

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050405

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061017

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees