JP3597272B2 - 異常陰影候補の検出方法 - Google Patents

異常陰影候補の検出方法 Download PDF

Info

Publication number
JP3597272B2
JP3597272B2 JP26402195A JP26402195A JP3597272B2 JP 3597272 B2 JP3597272 B2 JP 3597272B2 JP 26402195 A JP26402195 A JP 26402195A JP 26402195 A JP26402195 A JP 26402195A JP 3597272 B2 JP3597272 B2 JP 3597272B2
Authority
JP
Japan
Prior art keywords
value
image data
abnormal shadow
reading
shadow candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26402195A
Other languages
English (en)
Other versions
JPH09106448A (ja
Inventor
英哉 武尾
延淑 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP26402195A priority Critical patent/JP3597272B2/ja
Priority to US08/730,024 priority patent/US5714764A/en
Publication of JPH09106448A publication Critical patent/JPH09106448A/ja
Application granted granted Critical
Publication of JP3597272B2 publication Critical patent/JP3597272B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/043Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radiography Using Non-Light Waves (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像から異常陰影候補を検出する方法に関するものである。
【0002】
【従来の技術】
蓄積性蛍光体シートやフイルムに記録された被写体の放射線画像を読み取って画像データを得、この画像データに適切な画像処理を施した後、画像を表示装置等により再生することが種々の分野で行われている。特に近年、コンピューターとの組合わせによるコンピューテッドラジオグラフィー(CRという)というデジタルラジオグラフィーの技術が開発され、種々のデジタルラジオグラフィーが臨床応用されている。
【0003】
ところでこのCRでは、最適な被写体の放射線画像情報が放射線エネルギーレベルを媒体として蓄積記録されている蓄積性蛍光体シートを励起光により走査し、この走査により前記シートから発せられた輝尽発光光を光電読取手段により読み取って電気的画像信号(画像データ)を得る本読みに先立って、後にこの画像データに基づいて可視画像を再生したときにその再生画像が観察読影に最適な濃度、コントラストを有するものとなるように、予めこの本読みに用いられる励起光よりも低レベルの励起光により前記シートを走査してこのシートに蓄積記録された画像情報の概略を読み取る先読みを行い、この先読みにより得られた情報に基づいて前記本読みを行う際の読取感度(S値という)およびラチチュード(L値という)といった読取条件を決定する、EDR(Exposure Data Recognizer)と称する「読取感度・コントラスト調整機能」を採用している。
【0004】
そしてこのEDRにより得られた読取条件に従って前記本読みを行い、この本読みにより得られた画像信号を画像処理手段に入力し、この画像処理手段で撮影部位および撮影条件等に応じて診断目的に適した出力画像が得られるように画像データを処理し、この画像信号を写真感光材料等に可視出力画像として再生するシステムが知られており、その詳細は例えば本出願人が先に出願し、既に出願公開された特開昭58−67240号公報等に開示されている。
【0005】
またこのような先読み処理を行うことに伴う時間的ロスや処理および装置の複雑化を防止するために、蓄積性蛍光体シートから発光される輝尽発光光の検出レンジを十分に広く(例えば4桁程度)確保したうえで放射線画像情報の全体を読み取って画像データを得、この得られた画像データから最適な読取感度およびラチチュードを求め、得られた画像データをこれらの読取感度およびラチチュードに基づいて、これらの読取感度、ラチチュードで画像を再度読み取ったとした場合において得られる画像データと等価な画像データに変換処理する処理方法が採用されている(特開平2−108175号等)。
【0006】
この方法によれば、光電読取手段による励起光照射光量、感度、ダイナミックレンジ等の競って位置を改めて設定し直すことなく計算処理だけで、最適な画像を再生するのに必要な画像データを得ることができる。
【0007】
さらに、このように優れた特長を有するデジタルラジオグラフィーを、特に人体の医療診断用として、より積極的に活用することを目的とした、計算機(コンピューター)支援画像診断またはCADM(Computer Aided Diagnosis of Medical Image )と称される技術が提案されている。
【0008】
この計算機支援画像診断等は、医療の現場における画像読影を通じての診断を補助するものである。すなわち従来においては、フイルム等の記録媒体やCRT等の表示装置により再生された放射線画像を専門医が目視により観察読影し、癌等を表すものとしての異常な腫瘤陰影やこの腫瘤陰影よりも小さく低濃度の微小石灰化陰影等(以下、これらを総称して異常陰影という)を早期に発見するよう努めていた。しかし、放射線画像を観察読影する読影者間の読影能力の差等により、そのような異常陰影を見落としたり、主観的判断による思い違いを生ずる可能性もある。
【0009】
そこで計算機支援画像診断では、画像データに基づいて異常陰影と考えられる異常陰影候補を検出し、その検出した部位にマーキングを表示して放射線画像の読影者に注意を喚起し、あるいは読影者の客観的判断に役立つ材料として、検出した異常陰影候補の特徴的なものを定量的に提示することにより、上述のような読影者による見落としや思い違いの未然防止を目的としている(「DR画像における腫瘤影検出(アイリスフィルタ)」電子情報通信学会論文誌 D−II Vol.J75−D−II No.3 P663〜670 1992年3月、「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」同誌 D−II Vol.J75−D−II No.7 P1170 〜11761992年7月等参照)。
【0010】
ここで、モーフォロジー処理について説明する。モーフォロジー処理とは、腫瘤陰影とともに乳癌における特徴的形態である微小石灰化像の候補を検出する手法であり、マルチスケールλと構造要素(マスク)Bとを用い、(1)石灰化像そのものの抽出に有効であること、(2)複雑なバックグラウンド情報に影響されにくいこと、(3)抽出した石灰化像がひずまないこと、などの特徴がある。すなわち、この手法は一般の微分処理に比べて、石灰化像のサイズ・形状・濃度分布などの幾何学的情報をより良く保った検出が可能である。以下にその概要を述べる。
【0011】
(モーフォロジーの基本演算)
モーフォロジーは一般的にはN次元空間における集合論として展開されるが、直感的な理解のために2次元の濃淡画像を対象として説明する。
【0012】
濃淡画像を座標(x,y)の点が濃度値f(x,y)に相当する高さをもつ空間とみなす。ここで、濃度値f(x,y)は、濃度が低い(CRTに表示した場合には輝度が高い)ほど大きな画像信号となる高輝度高信号レベルの信号とする。
【0013】
まず、簡単のために、その断面に相当する1次元の関数f(x)を考える。モーフォロジー演算に用いる構造要素gは次式(1)に示すように、原点について対称な対称関数
【0014】
【数1】
Figure 0003597272
【0015】
であり、定義域内で値が0で、その定義域が下記式(2)であるとする。
【0016】
【数2】
Figure 0003597272
【0017】
このとき、モーフォロジー演算の基本形は式(3)〜(6)に示すように、非常に簡単な演算となる。
【0018】
【数3】
Figure 0003597272
【0019】
すなわち、ダイレーション(dilation)処理は、注目画素を中心とした、±m(構造要素Bに応じて決定される値)の幅の中の最大値を検索する処理であり(図5(A)参照)、一方、エロージョン(erosion )処理は、注目画素を中心とした、±mの幅の中の最小値を検索する処理である(図5(B)参照)。また、opening (またはclosing )処理は最小値(または最大値)探索の後に、最大値(または最小値)を探索することに相当する。すなわちopening (オープニング)処理は低輝度側から濃度曲線f(x)を滑らかにし、マスクサイズ2mより空間的に狭い範囲で変動する凸状の濃度変動部分(周囲部分よりも輝度が高い部分)を取り除くことに相当する(図5(C)参照)。一方closing (クロージング)処理は、高輝度側から濃度曲線f(x)を滑らかにし、マスクサイズ2mより空間的に狭い範囲で変動す凹状の濃度変動部分(周囲部分よりも輝度が低い部分)を取り除くことに相当する(図5(D)参照)。
【0020】
なお構造要素gが原点に対して対称ではない場合の、式(3)におけるダイレーション演算をミンコフスキー(Minkowski )和、式(4)におけるエロージョン演算をミンコフスキー差という。
【0021】
ここで、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、濃度値f(x)の画像信号値が高輝度高信号レベルの場合に対して大小関係が逆転するため、高濃度高信号レベルの信号におけるダイレーション処理は、高輝度高信号レベルにおけるエロージョン処理(図5(B))と一致し、高濃度高信号レベルの信号におけるエロージョン処理は、高輝度高信号レベルにおけるダイレーション処理(図5(A))と一致し、高濃度高信号レベルの信号におけるオープニング処理は、高輝度高信号レベルにおけるクロージング処理(図5(D))と一致し、高濃度高信号レベルの信号におけるクロージング処理は、高輝度高信号レベルにおけるオープニング処理(図5(C))と一致する。
【0022】
なお、本項では高輝度高信号レベルの画像信号(輝度値)の場合について説明する。
【0023】
(石灰化陰影検出への応用)
石灰化陰影の検出には、原画像から平滑化した画像を引き去る差分法が考えられる。単純な平滑化法では石灰化陰影と細長い形状の非石灰化陰影(乳腺や血管や乳腺支持組織等)の識別が困難であるため、東京農工大の小畑らは、多重構造要素を用いたopening (オープニング)演算に基づく下記式(7)で表されるモーフォロジーフィルターを提案している(「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」電子情報通信学会論文誌 D−II Vol.J75−D−II No.7 P1170 〜1176 1992年7月、「モルフォロジーの基礎とそのマンモグラム処理への応用」MEDICAL IMAGING TECHNOLOGY Vol.12 No.1 January 1994 )。
【0024】
【数4】
Figure 0003597272
【0025】
ここでBi (i=1,2,3,4)は図6に示す直線状の4つの構造要素Bである。構造要素Bを検出対象の石灰化陰影よりも大きく設定すれば、オープニング処理で、構造要素Bよりも細かな凸状の信号変化部分(空間的に狭い範囲で変動する画像部分)である石灰化像は取り除かれる。一方、細長い形状の非石灰化陰影はその長さが構造要素Bよりも長く、その傾き(延びる方向)が4つの構造要素Bi のうちいずれかに一致すればオープニング処理(式(7)の第2項の演算)をしてもそのまま残る。したがってオープニング処理によって得られた平滑化画像(石灰化陰影が取り除かれた画像)を原画像fから引き去ることで、小さな石灰化像の候補のみが含まれる画像が得られる。これが式(7)の考え方である。
【0026】
なお前述したように、高濃度高信号レベルの信号の場合においては、石灰化陰影は周囲の画像部分よりも濃度値が低くなり、石灰化陰影は周囲部分に対して凹状の信号変化部分となるため、オープニング処理に代えてクロージング処理を適用し、式(7)に代えて式(8)を適用する。
【0027】
【数5】
Figure 0003597272
【0028】
しかし、これによっても石灰化陰影と同等の大きさをもつ非石灰化陰影が一部残る場合があり、そのような場合については、次式(9)のモーフォロジー演算に基づく微分情報を利用して式(7)のPに含まれる非石灰化像をさらに除去する。
【0029】
【数6】
Figure 0003597272
【0030】
ここで、Mgradの値が大きいほど石灰化陰影の可能性が大きいので、石灰化候補画像Cs は下記式(10)により求めることができる。
【0031】
【数7】
Figure 0003597272
【0032】
なお、T1,T2は実験的に決められる、予め設定された閾値である。
【0033】
ただし、石灰化陰影の大きさとは異なる非石灰化陰影については、式(7)のPと所定の閾値T1との比較のみで除去できるため、石灰化陰影と同等の大きさをもつ非石灰化陰影が残ることのないような場合は、式(10)の第1項の条件(P(i,j)≧T1)を満たすだけでよい。
【0034】
最後に、式(11)に示す、マルチスケールのオープニング演算とクロージング演算との組合わせにより、石灰化陰影のクラスターCc を検出する。
【0035】
【数8】
Figure 0003597272
【0036】
ここで、λとλはそれぞれ融合したい石灰化陰影の最大距離と除去したい孤立陰影の最大半径とによって決められ、λ=λ+λである。
【0037】
なお、これらのモーフォロジーフィルターに関する説明は上述したように、高輝度高信号レベルの画像データの場合についてであるが、高濃度高信号レベルの画像データ(高濃度の画素ほど大きなデジタル値を持つ画像データ)の場合については、オープニング演算とクロージング演算とが逆の関係になる。
【0038】
ところで、上述のアイリスフィルターおよびモーフォロジーフィルターの処理における異常陰影候補であることを判定するための閾値T,T1,T2は、いずれも、予め実験的に設定された一定の値である。一方、これらの異常陰影候補の検出処理の対象となる画像データは、既述したように、EDRにより読取感度・ラチチュードが調整された信号値である。
【0039】
したがってこの信号値には、放射線画像に含まれている放射線の量子ノイズも含まれており、この量子ノイズの成分に係る画像データの大きさもEDRによる読取感度・ラチチュードの調整に応じて変動することとなる。
【0040】
このように量子ノイズの成分に係る画像データの大きさがEDRにより変動するのに対し、上記異常陰影候補であるか否かを判定するための閾値が常に一定値では、量子ノイズに係る画像データを異常陰影候補として誤検出する虞がある。
【0041】
そこで、EDRにより得られた読取感度および/またはラチチュードの値に応じて閾値の大きさを適切に設定して、異常陰影候補の検出精度を向上させる異常陰影検出方法が提案されている(特願平7−175997号)。
【0042】
【発明が解決しようとする課題】
一方、画像データ上における異常陰影候補の信号値は、その候補の周辺の画像データの変化量に応じて変化してしまうものである。例えば、図11(a)に示すように、比較的データ値の変化が小さい部分(以下平坦部とする)における異常陰影候補の信号値の大きさhは、モーフォロジー演算処理を施した後においても、図11(b)に示すようにその大きさは変化しないものである。しかしながら、異常陰影候補の周辺の画像データの変化が大きい部分(以下傾斜部とする)においては、図12(a)に示すようにその候補の信号値が平坦部における信号値と同一の値を示すものであっても、図12(b)に示すように信号値hよりも小さい値Hとして認識されてしまう。その結果、モーフォロジー演算処理を施した後の信号値も信号値hよりも小さい値Hとなってしまう。とくに、データ値の変化量が大きいほど信号値は小さい値として認識されてしまうものである。このように、画像データの変化量の大きさに応じて異常陰影候補の信号値の大きさが変動するのに対して、異常陰影候補であるか否かを検出するための閾値が常に一定値では、画像データの変化量の比較的大きい部分における異常陰影候補を検出できず、異常陰影を見落としてしまう虞がある。
【0043】
本発明は上記事情に鑑み、放射線画像から得られる画像データのデータ値の変化量の大きさに関わらずその検出性能を向上させた異常陰影候補の検出方法を提供することを目的とするものである。
【0044】
【課題を解決するための手段】
本発明の第1の異常陰影の検出方法は、放射線画像情報から異常陰影候補を検出するための所定の閾値を、異常陰影候補近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とするものである。
【0045】
ここで、異常陰影候補を検出するための所定の閾値とは、異常陰影候補か否かを判定するのに用いられる閾値を意味するものである。以下の発明においても同様である。
【0046】
また、本発明の第2の異常陰影候補の検出方法は、蓄積性蛍光体シートに蓄積記録された被写体の放射線画像情報を読み取って得られた画像データに基づいて、放射線画像情報を可視画像として再生するのに最適な読取条件と等価な正規化した読取感度およびラチチュードをさらに求め、
その放射線画像情報から異常陰影候補を検出するための所定の閾値を、正規化した読取感度が大きくなるのに応じて、および/または正規化したラチチュードが小さくなるのに応じて大きな値に設定するとともに、異常陰影候補近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とするものである。
【0047】
ここで、異常陰影候補の検出としては、1)高輝度高信号レベルの画像データに対して、マルチスケールおよび多重構造要素を用いてオープニング処理を施し、このオープニング処理の施された画像データをもとの画像データから減算するモーフォロジー演算により第1の値を求め、この第1の値と前記所定の閾値とを比較することにより行うモーフォロジーフィルターによる検出方法であってもよいし、また、2)この第1の値の他に、画像データのミンコフスキー和からミンコフスキー差を減算した微分情報に基づく第2の値を求め、第1の値および第2の値をそれぞれ対応する前記所定の閾値と比較し、これら両比較の結果により行うモーフォロジーフィルターによる検出方法であってもよい。
【0048】
なお上記1)にいう、高輝度高信号レベルの画像データに対するオープニング処理に基づくモーフォロジーフィルターによる検出方法には、高濃度高信号レベルの画像データに対するクロージング処理に基づくモーフォロジーフィルターによる検出方法をも含むものとする。高濃度高信号レベルの画像データに対するオープニング処理と高輝度高信号レベルの画像データに対するクロージング処理とは、ひとつの画像信号を濃度として見るか、輝度として見るかによる差しかなく、実質的に同一の処理だからである。
【0049】
なお、本発明の第2の異常陰影検出方法における上記閾値は、上記正規化したラチチュードに反比例するように設定し、若しくは正規化した読取感度の平方根に比例するように設定し、または正規化したラチチュードに反比例するとともに正規化した読取感度の平方根に比例するように設定するのが望ましい。
【0050】
ここで、本発明の第2の異常陰影検出方法における読取感度(S値)、ラチチュード(L値)について、以下に、詳細に説明する。
【0051】
CRでは、前述したEDRと呼ばれる「先読みによる読取感度・コントラスト調整機能」を採用している。その原理と処理フローを図7に示す。先読み、すなわち本番の読取り(本読み、という)に先立ち、蓄積性蛍光体シート(以下、IP;Imaging Plate という)を微弱なレーザー光で粗く走査して得られるEDR画像データと患者のID情報を登録した際に入力された撮影メニュー情報とから、まず分割撮影パターンを認識し、各分割領域毎に照射野絞り内の領域を抽出する。次に認識されたX線照射野内の濃度ヒストグラムを作成する。ヒストグラムは、図8に示すとおり、撮影部位や撮影方法で決まる撮影メニュー毎に特有のパターンを持っている。この性質を利用して有効な画像データの最大値Sと最小値Sを検出すれば画像濃度/コントラストが均一になるように本番の読取条件を決めることができる。
【0052】
読取条件とは上述の読取感度(S値)とラチチュード(L値)の2つのパラメータで規定され、具体的には光電子増倍管の感度と増幅器のゲインを決定するものである。このようにして読み取られた本読み画像データは、どのような被写体をどのような技法で撮影しても、常に一定のデジタル値に正規化されているため、画像処理やデータ保管を容易にし、またフイルムやCRTモニタ上に最適な濃度あるいは輝度とコントラストで再生することができる。
【0053】
図9に示すシステムの動作原理を用いてEDRの機能を詳細に説明する。
【0054】
第1象限はIPに照射されたX線照射量と輝尽発光強度の関係を表す。これはIPの特筆すべき特長の一つで、入射X線量の広い範囲にわたって、これに比例した輝尽性発光強度が得られる。
【0055】
第2象限はEDR機能、すなわち、読取部への入力としての輝尽発光強度とEDRによって決定された読取条件で得られる出力デジタル信号との関係が表現されている。
【0056】
第3象限では診断に適した表示特性に変換するための画像強調処理(周波数処理および階調処理)が行われる。本図では乳房撮影に適した階調処理曲線の例を示している。
【0057】
第4象限はCRシステムにおける出力写真の特性曲線を示している。具体的には横軸に入射X線量、縦軸下向きにフイルムの濃度を示しており、通常の蛍光スクリーン・フイルムシステムを用いたX線写真の特性曲線の上下を逆にした形で表現されている。前述のとおり、EDRではEDR画像データのヒストグラムから、診断に有効な画像信号の最大値Sおよび最小値Sを検出し、SおよびSを撮影メニュー毎に予め設定され値QおよびQに変換されるように読取条件を決定する。
【0058】
すなわち高X線量で画像レンジの狭い例(i) の場合は(A)が、低線量で画像レンジの広い例(ii)の場合は(B)が、それぞれEDRの決定する読取条件である。この結果、CRシステムの特性曲線はX線量の多少および画像レンジの大小に応じて任意に変化し、常に安定な画像濃度とコントラストを実現することができる。この点が従来のスクリーン/フイルムシステムの特性曲線と大幅に異なるところである。
【0059】
前述のとおり、CRにおける読取条件は読取感度とラチチュードの2つのパラメータで規定される。具体的には、図10に示すS値が読取感度を示す指標、L値がラチチュードを示す指標であり、これら2つの指標によりこの画像データに関する読取条件を知ることができる。
【0060】
S値は読取感度を表す指標であって、デジタル画素の中央値(10bit の場合は511 )に対応するIPの輝尽発光量を表す値Sk を用いて、次式(12),(13)で定義される。
【0061】
【数9】
Figure 0003597272
【0062】
ここに輝尽発光量を表す値Sk は、Mo 管球の管電圧25kVp で20mR(=5.16×10−6C/kg)が照射されたときの発光量を基準値 3.0とした、対数表現された尺度である。Sk 値がこの基準値 3.0の場合におけるS値は40であり、X線照射量が相対的に多くなるに応じてSk は大きくなり、それに応じてS値は小さくなることが分かる。これは、IPからの輝尽発光量が大きいため読取感度は低くても十分な信号が取り出せることを意味している。
【0063】
一方、L値はSk 値を中心にIPの輝尽発光量の何桁の範囲をデジタル化するかを表す指標で、EDRが検出した前述の特性値SおよびSとそれらに対応する画素値QおよびQとを用いて下記式(14)で定義される。
【0064】
【数10】
Figure 0003597272
【0065】
例えば、X線エネルギー的に同じコントラストの信号をL値=1とL値=2で別々に読み取った場合、L値=1の方がL値=2に比べてデジタル値的に2倍の差を持つことになる。
【0066】
EDRが決定する読取条件(S値とL値)は、あくまでも読影に適した濃度とコントラストを実現することに主眼をおいて決定される。例えば、ダイナミックレンジが狭い画像は積極的にコントラストをアップして、読影し易い画像になるよう制御している。
【0067】
以上がEDRが決定する読取条件であるS値とL値である。
【0068】
ところで、このEDRにおいて前述の先読みを行うことなく読取感度およびコントラストを最適化する技術が本願出願人によりすでに出願されており(特開平2−108175号)、以下、この先読みを行わないEDRについて説明する。
【0069】
前述した先読みを行うシステムでは、先読みにより、蓄積性蛍光体シートに蓄記録された放射線画像情報の概略を読み取っていたが、本発明の第1の異常陰影候補の検出方法では、先読みを行わないために放射線画像情報の概略が分からず、したがって蓄積性蛍光体シートから発せられる輝尽発光光を検出するための検出レンジを十分に広く設定しておく。これによって放射線画像情報の全体を読み取ることができ、この読み取って得られた画像データに基づいて、前述の先読みの場合と同様に、最適な再生画像を得るための読取条件である読取感度(S値)とラチチュード(L値)の2つのパラメータを求める。そしてこの求められた読取感度(S値)およびラチチュード(L値)に応じて、読み取って得られた画像データを変換処理すればよい。
【0070】
この変換処理に際しては、求められた読取感度(S値)およびラチチュード(L値)に基づいて変換テーブルを作成し、この変換テーブルに基づいてすべての画像データを変換処理するようにすればよい。
【0071】
そして、この変換処理して得られた画像データについて前述のモーフォロジーフィルター等によって異常陰影候補を検出する際の閾値もこれら読取感度、ラチチュードに応じて変化させてもよい。
【0072】
本発明の第3の異常陰影候補の検出方法は、前述の先読みを行うシステムにおいて、その先読みによって得られた読取感度およびラチチュードに基づいて、異常陰影候補を検出するための所定の閾値を、この読取感度が大きくなるのに応じて、および/またはラチチュードが小さくなるのに応じて、大きな値に設定するとともに、異常陰影候補近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とするものである。
【0073】
本発明の第3の異常陰影候補の検出方法においても、異常陰影候補の検出としては、前述の2つのモーフォロジーフィルターによる検出方法であることが好ましい。また閾値も、上記正規化したラチチュードに反比例するように設定し、若しくは正規化した読取感度の平方根に比例するように設定し、または正規化したラチチュードに反比例するとともに正規化した読取感度の平方根に比例するように設定するのが望ましい。
【0074】
なお上記本発明の異常陰影候補の検出方法を、前述した計算機支援画像診断装置において適用することもできる。
【0075】
すなわち、本発明の異常陰影候補の検出方法によって検出された異常陰影候補について再生画像にマーキングを施し、あるいはその特徴的なものを定量的に提示し、あるいは全体画像を標準の大きさでCRT等に表示しつつ異常陰影候補のみを拡大表示するなどの処理を計算機支援画像診断装置で行うことにより、画像読影者が判断を行うのに一層役立つものとなる。
【0076】
また、画像データの変化量に応じて閾値を設定する方法としては、異常陰影候補近傍の画像データの変化量に基づく所定の閾値の設定を、検出の対象となる画像を構成する全ての画素について各画素ごとに微分処理を施して画素ごとの傾斜量を求め、この傾斜量が大きいほど前記所定の閾値を小さな値に設定することにより行うことが好ましい。
【0077】
【発明の効果】
本発明の異常陰影候補の検出方法によれば、異常陰影候補近傍の画像データの変化量が大きいほど、異常陰影と異常陰影ではない陰影とを最終的に判定するための閾値は小さくなるように変動するため、画像データの変化量が大きく、異常陰影候補の検出処理において、異常陰影候補の信号値が実際より小さい値のものとして認識されてしまうような場合であっても、画像データの変化量に応じて閾値は変動されているため、信号値が小さくともその異常陰影候補を検出することができ、これにより、異常陰影の検出性能を向上し、異常陰影候補が検出できなくなることを防止することができる。
【0078】
【発明の実施の形態】
以下、本発明の異常陰影候補の検出方法の具体的な実施の形態について図面を用いて説明する。
【0079】
図1は被写体である乳房の画像Pを含むX線画像Pを示す図である。また図2は、図1のI−I線に沿ったX線画像Pの濃度値(デジタル画像データ)の分布を示すものである。なお、X線画像Pのうち乳房の画像P以外の領域は、X線が直接入射した直接X線部Pであり、最も濃度の高い部分である。
【0080】
また、本実施形態における画像データ(濃度値)は、画像Pの濃度の高いものほど高いデジタル画像値を示す高濃度高デジタル値の画像データである。
【0081】
また、図1のI−I線上には悪性腫瘍を示す微小石灰化陰影Pおよび所定の方向に延びた血管の陰影Pが存在し、さらに画像全体にはX線の量子化ノイズPも含まれる(図2参照)。
【0082】
この画像データに対して、血管陰影Pよりも小さく、微小石灰化陰影Pよりも大きく設定された構造要素を用いた前述の式(7)で表されるモーフォロジーフィルターによる処理を施すことにより、血管の陰影Pは除去され、石灰化陰影Pだけが検出される。
【0083】
しかし、これによっても石灰化陰影Pと同等の大きさをもつ、例えばノイズ成分Pの一部P′等が石灰化陰影Pとともに検出されるので、前述の式(9)のモーフォロジー演算に基づく微分情報を利用してこのノイズ成分の一部P′をさらに除去する。
【0084】
ここで、Mgradの値が大きいほど石灰化陰影Pの可能性が大きいので、石灰化候補画像Cs を前述の式(10)により求めることができる。
【0085】
なお、T1,T2は、石灰化陰影Pと非石灰化陰影(ノイズ成分P′等)とを判別するための閾値であるが、常に一定の値を採るのではなく、閾値T1,T2はそれぞれ画像データの変化量の大きさに応じて設定される。すなわち、図2および前述した図11(a),(b)に示すように、画像データの変化量が比較的小さい平坦部においては、異常陰影候補である石灰化陰影Pの信号値は、モーフォロジー演算に基づく処理によっても、その大きさは変化しないものである。しかしながら、異常陰影候補の近傍の画像データの変化が大きい傾斜部においては、その候補の信号値が平坦部における信号値と同一の値を示すものであっても、前述した図12(a),(b)に示すように信号値hよりも小さい値Hとして認識されてしまう。その結果、モーフォロジー演算処理を施した後の信号値も信号値hよりも小さい値Hとなってしまう。とくに、データ値の変化量が大きいほど信号値は小さい値として認識されてしまうものである。このように、画像データの変化量の大きさに応じて異常陰影候補の信号値の大きさが変動するのに対して、異常陰影候補であるか否かを検出するための閾値が常に一定値では、画像データの変化量の比較的大きい部分における異常陰影候補を検出できなくなってしまうおそれがある。
【0086】
そこで本発明においては、閾値の大きさを画像データの変化量に応じて以下のようにして設定する。
【0087】
まず下記の式(15)により、マルチ構造要素に基づくクロージング処理を図3(a)に示すような画像データfに対して施すことにより、モーフォロジー信号f′を得る。
【0088】
【数11】
Figure 0003597272
【0089】
この処理により得られるモーフォロジー信号f′は図3(b)に示す信号値の分布を示すものとなる。次いで、このモーフォロジー信号f′に対して15×15サイズのマスクによりフィルタリング処理を施すことにより、モーフォロジー信号f′をぼかして、図3(c)に示すようなモーフォロジー信号f″を得る。そしてこのようにして得られたモーフォロジー信号f″に対して単純微分処理を施す。この単純微分処理は、図4に示すように、微分処理を施すべき着目画素Pの近傍にある4つの画素a,b,c,dについて、下記の式(16)により着目画素Pにおける微分値Dを算出することにより行う。
【0090】
D=|a−b|+|c−d| (16)
このようにして算出された微分値Dが着目画素Pにおける画像データfの傾斜度を表すものとなる。
【0091】
次いで、下記の式(17)により予め定められた閾値Tを補正するための補正値αが算出される。
【0092】
α=D/2
但しif(α>4) then α=4 (17)
そして、補正値αによりあらかじめ定められた閾値を下記の式(18)により補正することにより、閾値T1′,T2′を得る。
【0093】
T1′=T1−α
T2′=T2−α (18)
このようにして閾値T1′,T2′を設定することにより、異常陰影候補(石灰化陰影P)の周辺の画像データの変化量が大きく、前述したようにモーフォロジー処理後の異常陰影候補の信号値が実際より小さくなるような場合であっても、石灰化陰影Pが検出できなくなることを防止して、石灰化陰影Pを検出することができる。
【0094】
また、上述した式(15)により得られたモーフォロジー信号f′に対して上述した補正値αを加算して、モーフォロジー信号(f′+α)を得、このモーフォロジー信号(f′+α)に基づいて上述した式(7)または(8)を用いて処理を施すようにしてもよい。
【0095】
なお上記実施形態は、異常陰影候補を検出する方法としてモーフォロジーフィルターを使用した場合のものであるが、本発明の異常陰影候補の検出方法は、モーフォロジーフィルターによる検出方法に限るものではなく、その他の閾値を用いて異常陰影候補を検出し得るいかなる方法についても適用することができる。
【0096】
なお、上述した計算機支援画像診断装置に本発明による異常陰影検出方法を適用するものであってもよい。
【0097】
また、閾値をEDR処理により求められた所定の読取感度(S値)、ラチチュード(L値)に応じて設定するようにしてもよい。
【0098】
これは、EDR処理によるS値およびL値に応じてノイズ成分Pの大きさも変動するため、常に一定の値を採るのでは、異常陰影を正確に検出することができないからである。この場合、閾値T1,T2はそれぞれEDR処理によるL値を用いて下記式(19),(20)で示すように設定されている。
【0099】
【数12】
Figure 0003597272
【0100】
これは、EDR処理によるL値が大きい場合には、収録される画像データの値の幅が小さくなるためノイズ成分の一部P′のコントラストも同時に縮小され、閾値を小さくしても石灰化陰影Pと非石灰化陰影であるノイズ成分の一部P′とを判別することができ、石灰化陰影Pのみを高精度で検出することができる。
【0101】
これとは反対に、EDR処理によるL値が小さい場合には、収録される画像データの値の幅が大きくなるためノイズ成分の一部P′のコントラストも同時に拡大され、従来のように閾値が一定では判別することができないが、本実施形態の方法によれば、L値が小さくなることによって閾値は大きくなり、石灰化陰影Pと非石灰化陰影であるノイズ成分の一部P′とを、判別することができる。
【0102】
さらに、閾値T1,T2はそれぞれ、EDR処理によるS値を用いて下記式(21),(22)で示すように、S値の平方根に比例するように設定してもよいし、式(23),(24)で示すように、L値に反比例し、かつS値の平方根に比例するように設定してもよい。
【0103】
【数13】
Figure 0003597272
【0104】
このようにEDR処理によるS値および/またはL値に基づいて閾値を設定することにより、EDRによる画像データの読取条件に拘らず、異常陰影の検出性能を向上することができる。
【0105】
なお、モーフォロジーフィルタによる方法の他、他の閾値を用いて異常陰影候補を検出し得るいかなる方法についてもEDR処理により得られたS値および/またはL値に基づいて閾値を変更するようにしてもよい。
【0106】
また、この場合においても、閾値Tは、EDR処理によるS値を用いて式(21),(22)で示すのと同様に、S値の平方根に比例するように設定してもよいし、式(23),(24)で示すのと同様に、L値に反比例し、かつS値の平方根に比例するように設定してもよい。
【図面の簡単な説明】
【図1】被写体である乳房の画像Pを含むX線画像Pを示す図
【図2】図1(A)のI−I線に沿ったX線画像Pの濃度値(デジタル画像データ)の分布図
【図3】閾値を設定するための処理を説明するための図
【図4】閾値を設定するための微分処理を説明するための図
【図5】モーフォロジーフィルターによる基本的な作用を説明するためのグラフ
【図6】モーフォロジーフィルターにおける構造要素を示す図
【図7】EDRの処理を示すフローチャート
【図8】X線照射野内の濃度ヒストグラム
【図9】EDRの動作原理を示す図
【図10】読取条件である読取感度(S値)とラチチュード(L値)を表す図
【図11】平坦部における異常陰影候補の信号値を示す図
【図12】傾斜部における異常陰影候補の信号値を示す図
【符号の説明】
P X線画像
乳房の画像
直接X線部
微小石灰化陰影
血管の陰影
X線の量子化ノイズ
′ノイズ成分Pの一部

Claims (12)

  1. 被写体の放射線画像情報が蓄積記録された蓄積性蛍光体シートを励起光により走査し、該走査により前記シートから発せられた輝尽発光光を光電読取手段により読み取って画像データを得、得られた画像データにモーフォロジーフィルターを用いた処理を施し、該処理により得られた値に閾値処理を施して、前記放射線画像情報から異常陰影の候補を検出する異常陰影候補の検出方法において、
    前記異常陰影候補を検出するための所定の閾値を、前記閾値処理における着目画素近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とする異常陰影候補の検出方法。
  2. 前記画像データに基づいて、前記放射線画像情報を可視画像として再生するのに最適な読取条件と等価な正規化した読取感度をさらに求め、
    前記所定の閾値を、前記正規化した読取感度が大きくなるのに応じてきな値にさらに設定することを特徴とする請求項1に記載の異常陰影候補の検出方法。
    (旧請求項2に対応)
  3. 前記画像データに基づいて、前記放射線画像情報を可視画像として再生するのに最適な読取条件と等価な正規化したラチチュードをさらに求め、
    前記所定の閾値を、前記正規化したラチチュードが小さくなるのに応じて大きな値にさらに設定することを特徴とする請求項1または2に記載の異常陰影候補の検出方法。
  4. 被写体の放射線画像情報が蓄積記録された蓄積性蛍光体シートを励起光により走査し、該走査により前記シートから発せられた輝尽発光光を光電読取手段により読み取って画像データを得る本読みに先立って、予め該本読みに用いられる励起光よりも低レベルの励起光により前記シートを走査して該シートに蓄積記録された画像情報の概略を読み取る先読みを行い、該先読みにより得られた情報に基づいて前記本読みを行う際の読取条件である読取感度を決定し、該読取条件に従って行う前記本読みにより得られた画像データにモーフォロジーフィルターを用いた処理を施し、該処理により得られた値に閾値処理を施して、前記放射線画像情報から異常陰影の候補を検出する異常陰影候補の検出方法において、
    前記異常陰影候補を検出するための所定の閾値を、前記読取感度が大きくなるのに応じて大きな値に設定するとともに、
    前記閾値処理における着目画素近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とする異常陰影候補の検出方法。
  5. 被写体の放射線画像情報が蓄積記録された蓄積性蛍光体シートを励起光により走査し、該走査により前記シートから発せられた輝尽発光光を光電読取手段により読み取って画像データを得る本読みに先立って、予め該本読みに用いられる励起光よりも低レベルの励起光により前記シートを走査して該シートに蓄積記録された画像情報の概略を読み取る先読みを行い、該先読みにより得られた情報に基づいて前記本読みを行う際の読取条件であるラチチュードを決定し、該読取条件に従って行う前記本読みにより得られた画像データにモーフォロジーフィルターを用いた処理を施し、該処理により得られた値に閾値処理を施して、前記放射線画像情報から異常陰影の候補を検出する異常陰影候補の検出方法において、
    前記異常陰影候補を検出するための所定の閾値を、前記ラチチュードが小さくなるのに応じて大きな値に設定するとともに、
    前記閾値処理における着目画素近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とする異常陰影候補の検出方法。
  6. 被写体の放射線画像情報が蓄積記録された蓄積性蛍光体シートを励起光により走査し、該走査により前記シートから発せられた輝尽発光光を光電読取手段により読み取って画像データを得る本読みに先立って、予め該本読みに用いられる励起光よりも低レベルの励起光により前記シートを走査して該シートに蓄積記録された画像情報の概略を読み取る先読みを行い、該先読みにより得られた情報に基づいて前記本読みを行う際の読取条件である読取感度およびラチチュードを決定し、該読取条件に従って行う前記本 読みにより得られた画像データにモーフォロジーフィルターを用いた処理を施し、該処理により得られた値に閾値処理を施して、前記放射線画像情報から異常陰影の候補を検出する異常陰影候補の検出方法において、
    前記異常陰影候補を検出するための所定の閾値を、前記読取感度が大きくなるのに応じて、およびラチチュードが小さくなるのに応じて、大きな値に設定するとともに、
    前記閾値処理における着目画素近傍の画像データの変化量が大きくなるのに応じて小さな値に設定することを特徴とする異常陰影候補の検出方法。
  7. 前記異常陰影の候補の検出は、高輝度高信号レベルの画像データに対して、マルチスケールおよび多重構造要素を用いてオープニング処理を施し、該オープニング処理の施された画像データをもとの画像データから減算するモーフォロジー演算により得られた値と前記所定の閾値とを比較することにより行うモーフォロジーフィルターによる検出方法であることを特徴とする請求項1から6のいずれか1項に記載の異常陰影候補の検出方法。
  8. 前記異常陰影の候補の検出は、高輝度高信号レベルの画像データに対して、マルチスケールおよび多重構造要素を用いてオープニング処理を施し、該オープニング処理の施された画像データをもとの画像データから減算するモーフォロジー演算により第1の値を求め、前記画像データのミンコフスキー和からミンコフスキー差を減算した微分情報に基づく第2の値を求め、前記第1の値および第2の値をそれぞれ対応する前記所定の閾値と比較し、これら両比較の結果により行うモーフォロジーフィルターによる検出方法であることを特徴とする請求項1から6のいずれか1項に記載の異常陰影候補の検出方法。
  9. 前記閾値は、前記読取感度の平方根に比例するように設定されたことを特徴とする請求項2、4または6のいずれか1項に記載の異常陰影候補の検出方法。
  10. 前記閾値は、前記ラチチュードに反比例するように設定されたことを特徴とする請求項3、5または6のいずれか1項に記載の異常陰影候補の検出方法。
  11. 前記異常陰影候補近傍の画像データの変化量に基づく前記所定の閾値の設定を、検出の対象となる画像を構成する全ての画素について各画素ごとに微分処理を施して該画素ごとの傾斜量を求め、該傾斜量が大きいほど前記所定の閾値を小さな値に設定することにより行うことを特徴とする請求項1から10のいずれか1項に記載の異常陰影候補の検出方法。
  12. 検出対象となる異常陰影候補よりも大きく、これ以外の陰影よりも小さく設定されたマルチ構造要素によるクロージング処理を前記画像データに対して施し、これにより得られたモーフォロジー信号をフィルタリング処理によりぼかし、該ぼかされたモーフォロジー信号の前記着目画素における微分値を前記傾斜量として求めることを特徴とする請求項11記載の異常陰影候補の検出方法。
JP26402195A 1995-10-12 1995-10-12 異常陰影候補の検出方法 Expired - Fee Related JP3597272B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26402195A JP3597272B2 (ja) 1995-10-12 1995-10-12 異常陰影候補の検出方法
US08/730,024 US5714764A (en) 1995-10-12 1996-10-11 Method for detecting prospective abnormal patterns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26402195A JP3597272B2 (ja) 1995-10-12 1995-10-12 異常陰影候補の検出方法

Publications (2)

Publication Number Publication Date
JPH09106448A JPH09106448A (ja) 1997-04-22
JP3597272B2 true JP3597272B2 (ja) 2004-12-02

Family

ID=17397458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26402195A Expired - Fee Related JP3597272B2 (ja) 1995-10-12 1995-10-12 異常陰影候補の検出方法

Country Status (2)

Country Link
US (1) US5714764A (ja)
JP (1) JP3597272B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415049B1 (en) * 1998-04-20 2002-07-02 Konica Corporation Apparatus for detecting and processing a radiation image
US6483122B1 (en) * 1999-09-29 2002-11-19 Konica Corporation Radiation image conversion panel and stimulable phosphor
US7155041B2 (en) * 2000-02-16 2006-12-26 Fuji Photo Film Co., Ltd. Anomalous shadow detection system
US20020051515A1 (en) * 2000-06-06 2002-05-02 Fuji Photo Film Co., Ltd. Method of and system for detecting prospective abnormal shadow
JP2002008009A (ja) * 2000-06-27 2002-01-11 Fuji Photo Film Co Ltd 画像処理条件決定方法および装置
JP4169954B2 (ja) * 2000-09-18 2008-10-22 富士フイルム株式会社 異常陰影候補の検出方法
JP2002099896A (ja) 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
JP2003057771A (ja) * 2001-08-20 2003-02-26 Fuji Photo Film Co Ltd 異常陰影検出装置
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5777650B2 (ja) * 2013-01-29 2015-09-09 富士フイルム株式会社 超音波診断装置および超音波画像生成方法
US10380690B2 (en) * 2015-05-21 2019-08-13 Chicago Mercantile Exchange Inc. Dataset cleansing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1203922A (en) * 1981-10-16 1986-04-29 Fuji Photo Film Co., Ltd. Radiation image read-out method and apparatus
US5046147A (en) * 1988-10-17 1991-09-03 Fuji Photo Film Co., Ltd. Radiation image processing method
JP3596786B2 (ja) * 1995-01-24 2004-12-02 富士写真フイルム株式会社 異常陰影候補の検出方法

Also Published As

Publication number Publication date
US5714764A (en) 1998-02-03
JPH09106448A (ja) 1997-04-22

Similar Documents

Publication Publication Date Title
US7155048B2 (en) PCI radiation image processing apparatus, PCI radiation image detecting apparatus, PCI radiation image outputting apparatus, and PCI image diagnosis supporting apparatus
US8009892B2 (en) X-ray image processing system
JP3596786B2 (ja) 異常陰影候補の検出方法
JP4604451B2 (ja) 医用画像処理装置及び悪性度の判定方法
JP2002162705A (ja) 位相コントラスト放射線画像処理装置
JP3597272B2 (ja) 異常陰影候補の検出方法
JP4307877B2 (ja) 画像処理装置及び画像処理方法
JPH08263641A (ja) アイリスフィルターの演算方法
CA2349224A1 (en) Method for automatic detection of region of interest for digital x-ray detectors using a filtered histogram
JP4169954B2 (ja) 異常陰影候補の検出方法
JP4737724B2 (ja) 放射線画像処理装置
JP2001357381A (ja) 異常陰影候補検出方法および検出システム
JP2002008009A (ja) 画像処理条件決定方法および装置
JP2002125961A (ja) 画像診断支援装置
JPH08287230A (ja) 計算機支援画像診断装置
JPWO2007108346A1 (ja) 放射線画像処理方法、放射線画像処理装置及び放射線画像撮影システム
JP2004351056A (ja) 医用画像処理装置
JP4628608B2 (ja) 異常陰影候補検出装置
JPH11155849A (ja) 骨画像情報取得方法
JP2001346787A (ja) 異常陰影候補検出方法および検出システム
JP2005109908A (ja) 画像処理装置および画像処理プログラム
JP3596792B2 (ja) 異常陰影候補領域を含む局所領域の抽出方法および装置
JPH10108859A (ja) 異常陰影候補の検出方法および装置
JP2001292324A (ja) 画像処理装置および画像処理方法
JP2002133396A (ja) 異常陰影候補検出装置および画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040908

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070917

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees