JP3751914B2 - 医用画像処理方法及びその装置 - Google Patents
医用画像処理方法及びその装置 Download PDFInfo
- Publication number
- JP3751914B2 JP3751914B2 JP2002205953A JP2002205953A JP3751914B2 JP 3751914 B2 JP3751914 B2 JP 3751914B2 JP 2002205953 A JP2002205953 A JP 2002205953A JP 2002205953 A JP2002205953 A JP 2002205953A JP 3751914 B2 JP3751914 B2 JP 3751914B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- temporal difference
- shadow
- difference image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 113
- 238000012545 processing Methods 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 48
- 238000013500 data storage Methods 0.000 claims description 37
- 238000003748 differential diagnosis Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 24
- 206010028980 Neoplasm Diseases 0.000 claims description 13
- 208000020816 lung neoplasm Diseases 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 201000010099 disease Diseases 0.000 claims description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 10
- 206010058467 Lung neoplasm malignant Diseases 0.000 claims description 9
- 201000005202 lung cancer Diseases 0.000 claims description 9
- 210000004072 lung Anatomy 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 5
- 230000036962 time dependent Effects 0.000 claims description 4
- 208000037819 metastatic cancer Diseases 0.000 claims description 3
- 208000011575 metastatic malignant neoplasm Diseases 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 210000000038 chest Anatomy 0.000 description 73
- 238000005259 measurement Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 206010027476 Metastases Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は、撮影時期の異なる2つのディジタル胸部画像に経時的差分処理を適用して作成された経時的差分画像を入力画像として画像処理を行って、結節状陰影の候補を検出すると共に、その候補と鑑別診断処理結果を記憶装置に保存し、ディスプレイに表示する方法及びその装置に関するものであり、特に、胸部正面画像を用いる医用診断に好適なものである。
【0002】
【従来の技術】
現在、日本国内においては、様々な集団検診が実施されてきているが、そのうちには、胸部X線検査、胃部X線造影検査等の画像診断を必要とするものが含まれている。
【0003】
特に、肺がんは近年急増しており、早期発見することが必須とされていて、集団検診による画像診断の必要性が特に大きい。しかし、従来のように、胸部単純X線画像を主に用いた画像診断では、肺がんの見落としの多さが指摘され、その改善が問題となっている。
【0004】
そこで、集団検診における有病正診率の改善を目的として、CADシステム(コンピュータ支援診断システム)が開発されてきているが、その一手法として、同一患者の撮影日時の異なる2つのディジタル胸部正面画像に対して、一方の画像から他方の画像を差し引くことによって、2つの画像に共通の正常構造を取り除き、新しい病巣、又は病巣の変化分だけを強調した経時的差分画像を作ることができる、いわゆる経時的差分法アルゴリズムが開発されてきた。
【0005】
その1つとして、時間的に連続した2つのディジタル胸部画像を入力として胸部画像間の変化を検出する技術に関しては、特開平7−37074号公報に開示されている。
【0006】
また、ディジタル化された原胸部画像の信号強調画像と信号抑制画像との差分をとった差分画像を生成し、この差分画像と原胸部画像とを使用して小結節の候補を特定する技術が特開平9−185714号公報に開示されている。
【0007】
【発明が解決しようとする課題】
しかしながら、以上のような従来技術にあっては、オリジナルのディジタル胸部画像をそのまま入力として使用するが、オリジナルのディジタル胸部画像上には人体の正常構造が重なり合って写っており、臓器の陰影と結節状陰影との区別が付きにくく、結節状陰影の候補を検出する処理を実行した場合に、誤った結節状陰影を検出してしまう可能性が大きいといった問題点があった。
【0008】
また、オリジナルのディジタル胸部画像上には経時的変化を表す情報が存在せず、通常、時間の経過で増大又は縮小する結節状陰影の情報を活用することができなかった。
【0009】
さらに、オリジナルのディジタル胸部画像上に結節状陰影の候補を表示するのは、正常構造と結節状陰影の区別が自明ではなく、読影医にとって見やすい情報になっていなかった。
【0010】
そこで、この発明は、以上のような従来技術の問題点を解消するために考えられたものであり、撮影時期の異なる2つのオリジナルのディジタル胸部画像に経時的差分処理を適用して作成された経時的差分画像を入力画像として画像処理を行って、結節状陰影の候補を検出すると共に、その候補と鑑別診断処理結果を経時的差分画像上に重ねて表示させて、診断結果の精度を向上するようにした医用画像処理方法とその装置を提供することを課題としている。
【0011】
【課題を解決するための手段】
かかる課題を解決するために、請求項1に記載の発明は、撮影時期の異なる2つのオリジナルのディジタル胸部画像に経時的差分処理を適用して作成された経時的差分画像を入力画像として該経時的差分画像に画像処理を施して得た結節状陰影候補を、前記オリジナルのディジタル胸部画像又は前記経時的差分画像に重ねて画像表示装置に表示するようにした医用画像処理方法であって、前記画像処理は前記経時的差分画像に背景傾向補正処理をした補正済み経時的差分画像の画素値に関するヒストグラムを作成し、画素値の小さい方から順に前記ヒストグラムの面積を累積していって、予め%値で設定された値に一致する画素値を閾値として多数の閾値を導出し、該多数閾値をそれぞれ前記補正済み経時的差分画像に適用して2値画像を作成し、該2値画像のそれぞれに対して閾値以下を表す連結領域をラベリングして島領域を全て導出し、前記多数閾値の異なる%値の島領域を組み合わせて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域を陰影候補から除去することで前記組み合わされた島領域の重複部分を除去した後の島領域を全て、初期結節状陰影候補とすることを特徴としている。
【0012】
請求項2に記載の発明は、請求項1の構成に加えて、前記オリジナルのディジタル胸部画像及び経時的差分画像を使用して導出したそれぞれの画像の特徴量を使用して偽陽性候補を決定し、該偽陽性候補を前記初期結節状陰影候補から除去することにより結節状陰影候補を得ることを特徴としている。
ここで、特徴量とは画像の特徴を表す指標であって、形状、位置に基づく特徴量と画素値に基づく特徴量とがある。形状、位置に基づく特徴量には、重心位置、面積、実効直径、円形度、周囲長等があり、画素値に基づく特徴量には、平均値、標準偏差、分散、最大値、最小値、歪度、尖度、コントラスト、エネルギー、エントロピー等がある。
【0013】
請求項3に記載の発明は、請求項2の構成に加えて、前記それぞれの画像の特徴量として、円形度、面積を含むデータを使用することを特徴としている。
【0014】
請求項4に記載の発明は、請求項2の構成に加えて、前記偽陽性候補を決定する手段として、ルールベース処理を適用することを特徴としている。
ここで、ルールベース処理とは、人工知能の分野ではエキスパートシステムによく利用されている方法のことである。
例えば、この発明にあっては、結節状陰影のデータ及び結節状陰影と間違いやすいデータを多く収集してきて、それらのデータ群の間に存在するルールを解釈して、if−thenルールの形式で与えられたクラス間の決定境界により判別する処理のことをいう。
【0016】
請求項5に記載の発明は、請求項1乃至4のいずれか1つに記載の医用画像処理方法を用いて導出された前記結節状陰影の候補、又は手動で指定された結節状陰影の候補に対して、良性腫瘍、原発性肺がん、肺転移がん等の疾病区分を識別する鑑別診断処理を実施することを特徴としている。
【0017】
請求項6に記載の発明は、請求項1乃至5のいずれか1つに記載の医用画像処理方法を用いて導出された前記結節状陰影の候補及び鑑別診断処理結果を、前記経時的差分画像上又は前記ディジタル胸部画像上に強調表示することを特徴としている。
【0018】
請求項7に記載の発明は、請求項1乃至5のいずれか1つに記載の医用画像処理方法を用いて導出された前記結節状陰影の候補及び鑑別診断処理結果を、前記経時的差分画像上又は前記ディジタル胸部画像上に計測データとして表示することを特徴としている。
【0021】
請求項8に記載の発明は、ディジタル胸部画像を保存する画像データ記憶部と、該画像データ記憶部に接続された画像データ蓄積メモリと、該画像データ蓄積メモリに接続された画像表示処理部と、該画像表示処理部に接続され画像表示装置とを有する医用画像処理装置において、前記画像データ蓄積メモリには、前記画像データ記憶部に保存されている撮影時期の異なる2つのオリジナルのディジタル胸部画像を読み出して経時的差分画像を作成する経時的差分画像作成部と、該経時的差分画像作成部で作成した経時的差分画像と前記オリジナルのディジタル胸部画像とに基づいて前記経時的差分画像に対して背景傾向補正処理を適用して補正済み経時差分画像を作成し、該補正済み経時的差分画像の画素値に関するヒストグラムを作成し、画素値の小さい方から順に前記ヒストグラムの面積を累積していって、予め%値で設定された値に一致する画素値を閾値として多数の閾値を導出し、該多数閾値をそれぞれ前記補正済み経時的差分画像に適用して2値画像を作成し、該2値画像のそれぞれに対して閾値以下を表す連結領域をラベリングして島領域を全て導出し、前記多数閾値の異なる%値の島領域を組み合わせて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域を陰影候補から除去することで前記組み合わされた島領域の重複部分を除去した後の島領域を全て、初期結節状陰影候補とする結節状陰影検出部が接続されており、前記結節状陰影の候補を前記経時的差分画像又は前記ディジタル胸部画像に重ねて前記画像表示装置に表示することを特徴としている。
【0022】
請求項9に記載の発明は、請求項8に記載の構成に加えて、前記画像データ蓄積メモリには、前記経時的差分画像、ディジタル胸部画像及び結節状陰影の候補とに基づいて良性腫瘍、原発性肺がん、肺転移がん等の疾病を識別する鑑別診断処理を実行する鑑別診断処理部が接続されており、前記鑑別診断処理結果を前記経時的差分画像又は前記ディジタル胸部画像に重ねて前記画像表示装置に表示することを特徴としている。
【0027】
【発明の実施の形態】
この発明の実施の形態に係る医用画像処理方法とその装置について、図面に従って説明する。
【0028】
図1は、この発明の実施の形態に係る医用画像処理装置の構成を示したブロック図である。
【0029】
この発明の実施の形態に係る医用画像処理装置Mは、ディジタル胸部画像1を入力し、経時的差分画像2と結節状陰影3とを入出力する画像データ記憶部4と、この画像データ記憶部4と接続された画像データ蓄積メモリ5とを有している。画像データ蓄積メモリ5では、ディジタル胸部画像1を入力画像とし、このディジタル胸部画像1を使用して経時的差分画像作成部6で作成された経時的差分画像2に基づいて、結節状陰影検出部7、鑑別診断処理部8、結節状陰影編集部9の処理を行い、その結果として結節状陰影3を出力する。この出力された結節状陰影3は経時的差分画像2又はディジタル胸部画像1と一緒にして、画像表示装置11に表示できる画像データに変換する画像表示処理部10を経て画像表示装置11に表示する。これにより、結節状陰影3の候補及び鑑別診断処理結果を、経時的差分画像2又はディジタル胸部画像1に重ねて表示することが可能となる。
【0030】
ディジタル胸部画像1は、この発明において入力画像となる胸部正面のディジタル画像であり、ファイル、データベース等の形式で格納されている。
【0031】
経時的差分画像2は、撮影時期の異なる2つのディジタル胸部画像1に経時的差分処理を適用して作成された経時的差分画像であって、この発明において入力画像となる共に出力画像の一部となり、ファイル、データベース等の形式で格納されている。
【0032】
結節状陰影3は、この発明において出力画像となる結節状陰影のデータであり、ファイル、データベース等の形式で格納されている。
【0033】
画像データ記憶部4は、ディジタル胸部画像1を指定された要求に基づいて読み込んで、画像データ蓄積メモリ5に格納する処理を行う部分である。また、経時的差分画像作成部6で作成された経時的差分画像2、及び結節状陰影検出部7、結節状陰影編集部9、鑑別診断処理部8で作成された結節状陰影3を画像データ蓄積メモリ5から取り出し、指定された要求に基づいて、ファイル、データベース等の何らかの形式で保存する部分である。
【0034】
画像データ蓄積メモリ5は、画像データ記憶部4で読み込まれたディジタル胸部画像1と、経時的差分画像作成部6で作成された経時的差分画像2、結節状陰影検出部7、結節状陰影編集部9及び鑑別診断処理部8で作成された結節状陰影3を一時的に蓄積しておく部分である。
【0035】
経時的差分画像作成部6は、画像データ蓄積メモリ5から入力された撮影時期の異なる時系列に並んだ2つのディジタル胸部画像1を基にして、1つの経時的差分画像2を作成して画像データ蓄積メモリ5に出力する部分である。
【0036】
結節状陰影検出部7は、画像データ蓄積メモリ5から入力された経時的差分画像2、ディジタル胸部画像1を基にして、結節状陰影3の候補を検出して画像データ蓄積メモリ5に出力する部分である。
【0037】
鑑別診断処理部8は、画像データ蓄積メモリ5から入力された結節状陰影3、経時的差分画像2及びディジタル胸部画像1を基にして、鑑別診断処理を実行して、鑑別診断処理結果を結節状陰影3の部分データとして画像データ蓄積メモリ5に出力する部分である。
【0038】
結節状陰影編集部9は、画像表示処理部10を経て画像表示装置11に表示されたディジタル胸部画像1又は経時的差分画像2の上で、指定された要求に基づいて、結節状陰影3を編集、入力、削除する処理を行う部分。
【0039】
画像表示処理部10は、画像データ蓄積メモリ5に格納されているディジタル胸部画像1又は経時的差分画像2、及び結節状陰影3を、指定された要求に基づいて画像表示装置11に表示する処理を行う部分である。
【0040】
画像表示装置11は、CRT、プラズマディスプレイ、液晶ディスプレイ等の表示装置であり、医用診断に使用するため、走査線1000本系以上の高精細表示装置であることが望ましい。
【0041】
以下、この発明の実施形態に係る医用画像処理装置が実現する処理について、詳細に説明する。
【0042】
まず、結節状陰影検出の詳細について説明する。
【0043】
図2は、結節状陰影検出の手順を示したフローチャートである。
【0044】
まず、経時的差分画像2の作成において、画像変形をしていない方のディジタル胸部画像1aを用いて、胸部領域12を抽出し、輪郭情報として出力する(ステップS1)。
【0045】
胸部領域12の抽出の具体的処理としては、ディジタル胸部画像1a上から、胸郭の外部輪郭境界(左右と上側の肋骨で象られる輪郭)を検出し、輪郭がない下部の部分を直線で結んで、一つの閉じた輪郭にする。胸部領域12として、肺野と縦隔を合せた領域を抽出することができれば十分であり、前記処理はその目的を達している。
【0046】
結節状陰影3は、胸部領域12の内部にのみ存在するとみなすことができる。以降の処理においては、ステップS1で導出された胸部領域12を利用することにより、計算効率を向上させることができる。
【0047】
次に、経時的差分画像2に対して、背景傾向補正処理(ステップS2)を適用して、新しい経時的差分画像としての補正済み経時的差分画像13を作成する。
【0048】
ステップS2の背景傾向補正処理は、具体的には次の3段階を経て実行する。
【0049】
まず、経時的差分画像2は、ステップS1で作成した胸部領域12の外部を全て固定値にする。指定する固定値は、経時的差分画像2の胸部領域12の内部の画素平均値とする。この処理により、胸部領域12の外部の画素分布の影響が除去される。
【0050】
次に、経時的差分画像2が構成する曲面の近似曲面を、2次元多項式近似を用いて導出する。
【0051】
最後に、経時的差分画像2から近似曲面を差し引き、適当なオフセットを全体に付加して画素値を正の値になるようにして、画像を出力する。この3番目の処理を実際に適用するのは胸部領域12の内部のみとし、胸部領域12の外部については画素値0を与える。
【0052】
ステップS2で導出された補正済み経時的差分画像13に対して、多重閾値処理を適用することにより、初期結節状陰影候補14を拾い上げる(ステップS3)。初期結節状陰影候補14は、補正済み経時的差分画像13上の連結領域として与えられる。
【0053】
次に、補正済み経時的差分画像13及びディジタル胸部画像1aを用いて、ステップS3で導出された初期結節状陰影候補14のそれぞれに関する特徴量15を計算する(ステップS4)。
【0054】
ここで、計算される特徴量15の具体的な例としては、次のようなものがあげられる。
【0055】
形状、位置に基づく特徴量15としては、連結領域の重心座標(画像座標)である重心位置、連結領域の画素数である面積、面積が一致する円の直径である実効直径、重心位置において実効直径の円を描いたときに円内に含まれる陰影候補の面積の割合である円形度、連結領域の周囲長である周囲長等がある。画素値に基づく特徴量15としては、平均値、標準偏差、分散、最大値、最小値、歪度、尖度等の一般統計量やコントラスト、エネルギー、エントロピー等がある。
【0056】
直接の結節状陰影検出対象である経時的差分画像2のみならず、オリジナルのディジタル胸部画像1aから求めた特徴量15を使用することにより、人体の正常構造など、経時的差分画像2上では現れない特徴を生かした処理を行うことが可能となる。
【0057】
次に、ステップS4で導出された特徴量15を使用して、ルールベース処理により判定を行い、偽陽性候補を決定する(ステップS5)。偽陽性候補を初期結節状陰影候補14から除去することにより、最終的な結節状陰影候補16が得られる。
【0058】
なお、経時的差分画像2は、原理的に、経時的変化分以外は、肋骨等の正常構造を含めて消えた画像になっているはずであるが、撮影体位のずれ、呼吸位のずれ等を原因とする偽画像成分が残っていることが多い。ステップS2の背景傾向補正処理によって、これらの偽画像成分のうち直流成分を取り除くことができる。その結果、多重閾値処理により結節状陰影候補16を拾い上げるときに、画像上の位置の違いによる影響が小さくなり、安定して処理を実行できる。
【0059】
以下、結節状陰影候補の拾い上げの詳細について説明する。
【0060】
図3は、結節状陰影候補の拾い上げの手順を示したフローチャートである。 結節状陰影候補16を拾い上げるために、多数の閾値を切換えながら閾値処理を実行する多重閾値処理を適用する。
【0061】
まず、補正済み経時的差分画像13の画素値に関するヒストグラム17を作成する(ステップS6)。補正済み経時的差分画像13上では、画素値0の領域は胸部領域12の外部を表すので、ヒストグラム作成の際には使用しない。
【0062】
ステップS6で導出されたヒストグラム17を使用して、ヒストグラム面積に対する%比率で定義して多重閾値18を導出する(ステップS7)。
【0063】
多重閾値18を導出するための具体的な処理としては、画素値の小さい方から順にヒストグラム面積を累積していって、予め%値で設定された値に一致する画素値を閾値として導出する。通常、%値は複数設定されているので、得られる閾値も複数であり、この発明ではこれを多重閾値と呼んでいる。
【0064】
ステップS7で導出された多重閾値18をそれぞれ、補正済み経時的差分画像13に適用して、2値画像19を作成する(ステップS8)。
【0065】
ステップS8で導出された2値画像19のそれぞれに対して、閾値以下を表す連結領域をラベリングして島領域20を全て導出する(ステップS9)。
【0066】
ステップS9で導出された島領域20には、互いに包含された状態にある重複した島領域20が存在する。この重複分を除去した(ステップS10)後の島領域を全て、初期結節状陰影候補14とする。
【0067】
ステップS10の島領域除去の具体的処理としては、異なる%値の島領域を組合せて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域(すなわち、面積の大きい方の島領域)を陰影候補から除去する。これにより、%値の小さい、すなわち画素値のできるだけ小さい部分で拾い上げられた結節状陰影3の候補を出力することができる。
【0068】
次に、閾値導出の考え方について説明する。
【0069】
補正済み経時的差分画像13上では、結節状陰影候補16は、周囲に比べて相対的に暗い(画素値の小さい)領域として表示されている。したがって、2値画像19を作成したときに島領域20として現れる結節状陰影候補16は、閾値よりも小さい領域の方である。結節状陰影候補16を洩れなく拾い上げるためには、画素値の小さい方から順に閾値を多段階に設定していって、それぞれ島領域を抽出していくものとする。
【0070】
具体的には、画素ヒストグラムの最小画素値を開始点として境界画素値を移動していって、全体面積に対する累積面積の比率が指定した%値になる画素値を、閾値として使用する。指定する境界画素値は、3%、6%、9%等と、%値で予め設定しておく。
【0071】
図4は、多重閾値導出の具体例を示したグラフである。
【0072】
多重閾値は、%比率で設定された境界画素値を基に、画素値に関するヒストグラム17から導出される。
【0073】
以下、鑑別診断処理の手順について詳細に説明する。
【0074】
図5は、鑑別診断処理の手順を示したフローチャートである。
【0075】
鑑別診断処理は図5(a)の学習処理と、図5(b)の識別処理との2つの処理で構成される。
【0076】
学習処理の最初には、補正済み経時的差分画像13及びディジタル胸部画像1を用いて、入力された結節状陰影3に対する特徴量15gを計算する(ステップS11)。
【0077】
ここで、直接の結節状陰影検出対象である経時的差分画像2のみならず、オリジナルのディジタル胸部画像1aを用いることにより、人体の正常構造等、経時的差分画像2上では現れない特徴を生かした処理を行うことができるといった利点が考えられる。
【0078】
次に、ステップS11で作成された特徴量15gを入力として、多クラス識別器を学習して多クラス識別器21を出力する(ステップS12)して、学習処理は終了となる。出力された多クラス識別器21は、次の識別処理において使用される。
【0079】
識別処理では、まず、学習処理における特徴量計算(ステップS11)と同様に特徴量15sを計算する(ステップS13)。
【0080】
次に、ステップS13で作成された特徴量15sを入力及びステップS12の多クラス識別器の学習により出力された多クラス識別器21を入力として多クラス識別器を実行し(ステップS14)、鑑別診断結果22を出力する。鑑別診断処理の実行装置には、最終的には多クラス識別器21を組込んで、識別処理を動作させるようにするとよい。
【0081】
学習処理は、その前段階として実行させておく必要がある。多クラス識別器の構造をどんなものにするにせよ、識別対象の結節状陰影3の特徴をよく表しているデータを相当数用意しておき、ジャックナイフ法等の適切な手順に従って学習させる。また、それぞれの識別器の特徴を活かして、適用方法を工夫する。
【0082】
多クラス識別器21としては、例えば、線形判別の多段実行による多クラス分類や人工ニューラルネットワーク等のような識別器を使用すればよい。
【0083】
鑑別診断の識別対象としては、良性腫瘍、原発性肺がん、肺転移がん等の疾病を識別し、鑑別診断結果22として出力するものとする。
【0084】
以下、画像表示処理の詳細について説明する。
【0085】
画像表示処理においては、基本的には、ディジタル胸部画像1、経時的差分画像2を画像表示装置11上に表示して読影を行う。この発明の実施の形態に係るコンピュータ支援診断装置Mに基づいて作成された結節状陰影3の候補及び鑑別診断結果22は、経時的差分画像2上又はディジタル胸部画像1上に重畳して表示して、読影を支援する。
【0086】
図6に、経時的差分画像をそのまま表示した例の概略図を示した。図7に、
結節状陰影の強調表示した例の概略図を示した。
【0087】
この発明の実施の形態に係る医用画像処理装置Mによれば、結節状陰影検出処理により作成された結節状陰影3の候補を使用して、図6に示したような、経時的差分画像2上に淡く写っている結節状陰影3を、図7に示したように強調表示することができる。強調表示することにより、読影者は、通常の読影手順の延長線上で、自動検出されたかどうかは意識せずに、結節状陰影3を自然と認識できるようになる。
【0088】
また、結節状陰影検出処理により作成された結節状陰影3の候補を使用して、経時的差分画像2上に淡く写っている結節状陰影3の場所を、計測データ表示の一環として、指し示すようにすることができる。この計測データ表示により、読影者は明確に結節状陰影3の候補を認識することができる。
【0089】
鑑別診断処理結果については、結節状陰影3の候補を色又はマークによって区分けして表示する。
【0090】
計測データ表示においては、例えば、良性腫瘍は緑色、原発性肺がんは黄色、肺転移がんは赤色というように交差線分を表示することで、区分の識別を明示することができる。また、+印、×印、□印というように、計測データ表示のマークを変えることもできる。
【0091】
図8は、計測データ表示の交差線分表示の例を示した概略図であり、結節状陰影候補の中心に交差線分を表示している。図9は、拡大表示の例を示した概略図であり、結節状陰影候補を含む領域を拡大表示している。
【0092】
【実施例】
次に、この発明の実施の形態に係る医用画像処理装置Mを適用した実施例について示す。
【0093】
まず、結節状陰影検出処理の実施例である症例の一覧を、表1に示す。
【0094】
【表1】
【0095】
症例データベースとしては、産業医科大学病院の放射線部で選択された90例を使用した。これらの症例は全て異常例であり、不明瞭なものが84%を占めていて、比較的難易度が高いといえる(難易度の判定は10人の読影者によって行われた際の平均値によった)。
【0096】
各症例は、撮像日時の異なる2つのディジタル胸部正面画像として用意され、経時的差分画像作成処理を実行して経時的差分画像を作成した後に、結節状陰影検出処理を実行した。
【0097】
結節状陰影は時間的に新しい画像の方に存在し、主観的難易度はこの画像を読影して決定されたものである。
【0098】
表2は、実施例(全90症例)に対する検出性能を示している。表3は、陰影種類別の検出感度の内訳を示している。
【0099】
【表2】
【0100】
【表3】
【0101】
表2及び3に示した実施例における検出性能は、予め用意された適用症例に対して設定調整されたものである。比較的難易度の高い症例を使用しているため、同一撮像条件のディジタル胸部画像であれば、安定した性能を発揮することがわかる。
【0102】
なお、この発明は、この実施例をもとに、さらに多くの改変を適用してから実施することが可能であることは言うまでもない。
【0103】
表4は、結節状陰影検出処理の設定パラメータの一覧表である。
【0104】
この実施例では、結節状陰影検出処理全体を2回ずつ実行するような仕組みにしている。それぞれの処理実行パスをパス1、パス2としている。最終結果としては、両方の実行結果を統合して出力するものとした。
【0105】
これにより、処理を2回実行することにより、異なる特性を持つ結節状陰影が検出できることがわかる。
【0106】
【表4】
【0107】
実施例(症例)のディジタル胸部画像は10ビットの画素値(0から1023までの値)を持っており、偽陽性候補判定ルールにおける標準偏差の値は、その事実に基づいて設定された。
【0108】
結節状陰影拾い上げ時の実行結果として、図10は結節状陰影(陽性)画像の分布の例を示した円形度と面積との関係のグラフであり、図11は偽陽性候補の分布の例を示した円形度と面積との関係のグラフである。
【0109】
ルールベース処理の設定について、その偽陽性候補の判定のために実行するルールベース処理の閾値の例を示したグラフを図12と図13に示した。図12は面積と円形度との関係を示し、図13に円形度と標準偏差との関係を示している。
【0110】
ルールベース処理の検出性能(処理別の内訳)を、拾い上げられた結節状陰影(全81症例)に対して計測した。その結果は表5のとおりであり、検出感度は処理実行の2回目では100%を達成した。
【0111】
【表5】
【0112】
【発明の効果】
以上説明したように、請求項1に記載の発明によれば、撮影時期の異なる2つのオリジナルのディジタル胸部画像に経時的差分処理を適用して作成された経時的差分画像を入力画像として該経時的差分画像に画像処理を施して得た結節状陰影候補を、オリジナルのディジタル胸部画像又は経時的差分画像に重ねて画像表示装置に表示するようにしたので、時間経過で増大又は縮小する結節状陰影の情報を活用することが可能となり、人体の正常構造など、経時的差分画像上では現れない特徴を生かした処理を行うことが可能となる。
また、経時的差分画像に対して背景傾向補正処理を適用して補正済み経時差分画像を作成し、該補正済み経時差分画像の画素値に関するヒストグラムを作成し、画素値の小さい方から順に前記ヒストグラムの面積を累積していって、予め%値で設定された値に一致する画素値を閾値として多数の閾値を導出し、該多数閾値をそれぞれ前記補正済み経時的差分画像に適用して2値画像を作成し、該2値画像のそれぞれに対して閾値以下を表す連結領域をラベリングして島領域を全て導出し、前記多数閾値の異なる%値の島領域を組み合わせて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域を陰影候補から除去することで前記組み合わされた島領域の重複部分を除去した後の島領域を全て、初期結節状陰影候補とするので、結節状陰影候補を抽出するときに、画像の位置の違いによる影響が小さくなり、安定した処理を実行できるとともに、%値の小さい、すなわち画素値のできるだけ小さい部分で拾い上げられた結節状陰影の候補を出力することができる。
【0113】
請求項2に記載の発明によれば、オリジナルのディジタル胸部画像及び経時的差分画像を使用して導出した画像の特徴量を使用して偽陽性候補を決定し、該偽陽性候補を初期結節状陰影候補から除去することにより最終の結節状陰影候補を得るので、特徴量を使用した学習処理を行った識別器を採用して画像識別の精度を向上することができる。
【0114】
請求項3に記載の発明によれば、画像の特徴量として、円形度、面積を含むデータを使用するので、請求項2の効果に加えて、放射状をした結節状陰影がより効率的に画像処理できる。
【0115】
請求項4に記載の発明によれば、偽陽性候補を決定する手段として、ルールベース処理を適用するので、過去の経験則が精度よく反映された結果を提供することができるため、請求項2に記載の効果に加えて、比較的容易により検出感度を向上させることが可能となる。
【0116】
請求項5に記載の発明によれば、請求項1乃至4のいずれか1つに記載の医用画像処理方法を用いて導出された結節状陰影の候補、又は手動で指定された結節状陰影の候補に対して、良性腫瘍、原発性肺がん、肺転移がん等の疾病区分を識別する画像識別処理を実施 するので、具体的な疾病区分の情報が得られることとなり、請求項1乃至4のいずれか1つの効果に加えて、病変判別の精度が向上する。
【0117】
請求項6に記載の発明によれば、請求項1乃至5のいずれか1つに記載の医用画像処理方法を用いて導出された結節状陰影の候補及び鑑別診断結果を、経時的差分画像上又はディジタル胸部画像上に強調表示するので、請求項1乃至5のいずれか1つの効果に加えて、読影者の読影にかかる負担を軽減でき、読影時間も短縮できる。
【0118】
請求項7に記載の発明によれば、請求項1乃至5のいずれか1つに記載の医用画像処理方法を用いて導出された結節状陰影画像の候補及び鑑別診断結果を、経時的差分画像上又はディジタル胸部画像上に計測データとして表示するので、疾病区分の情報を参考にする際の目安が与えられるため、請求項1乃至5のいずれか1つの効果に加えて、読影者の負担が一層軽減される。
【0119】
請求項8に記載の発明によれば、ディジタル胸部画像を保存する画像データ記憶部と、該画像データ記憶部に接続された画像データ蓄積メモリと、該画像データ蓄積メモリに接続された画像表示処理部と、該画像表示処理部に接続され画像表示装置とを有する医用画像処理装置において、画像データ蓄積メモリには、画像データ記憶部に保存されている撮影時期の異なる2つのオリジナルのディジタル胸部画像を読み出して経時的差分画像を作成する経時的差分画像作成部と、該経時的差分画像作成部で作成した経時的差分画像とオリジナルのディジタル胸部画像とに基づいて経時的差分画像に対して背景傾向補正処理を適用して補正済み経時差分画像を作成し、該補正済み経時差分画像に対して多重閾値処理を適用して結節状陰影候補を検出する結節状陰影検出部が接続されており、結節状陰影の候補を経時的差分画像又はディジタル胸部画像に重ねて画像表示装置に表示するので、時間経過で増大又は縮小する結節状陰影の情報を活用することが可能となり、人体の正常構造など、経時的差分画像上では現れない特徴を生かした処理を行うことが可能となる。
また、補正済み経時的差分画像の画素値に関するヒストグラムを作成し、画素値の小さい方から順に前記ヒストグラムの面積を累積していって、予め%値で設定された値に一致する画素値を閾値として多数の閾値を導出し、該多数閾値をそれぞれ前記補正済み経時的差分画像に適用して2値画像を作成し、該2値画像のそれぞれに対して閾値以下を表す連結領域をラベリングして島領域を全て導出し、前記多数閾値の異なる%値の島領域を組み合わせて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域を陰影候補から除去することで前記組み合わされた島領域の重複部分を除去した後の島領域を全て、初期結節状陰影候補とするので、結節状陰影候補を抽出するときに、画像の位置の違いによる影響が小さくなり、安定した処理を実行できるとともに、%値の小さい、すなわち画素値のできるだけ小さい部分で拾い上げられた結節状陰影の候補を出力することができる。
【0120】
請求項9に記載の発明によれば、画像データ蓄積メモリには、経時的差分画像、ディジタル胸部画像及び結節状陰影の候補とに基づいて良性腫瘍、原発性肺がん、肺転移がん等の疾病を識別する鑑別診断処理を実行する鑑別診断処理部が接続されており、鑑別診断処理結果を経時的差分画像又はディジタル胸部画像に重ねて画像表示装置に表示するので、具体的な疾病区分の情報が得られることとなり、請求項8の効果に加えて、病変判別の精度が向上する。
【図面の簡単な説明】
【図1】 この発明の実施の形態に係る医用画像処理装置の構成を示したブロック図である。
【図2】 同医用画像処理装置を使用した結節状陰影検出の手順を示したフローチャートである。
【図3】 同医用画像処理装置を使用した結節状陰影候補拾い上げの手順を示したフローチャートである。
【図4】 同医用画像処理装置を使用した多重閾値導出の具体例を示したグラフである。
【図5】 同医用画像処理装置を使用した鑑別診断処理の手順を示したフローチャートである。
【図6】 同医用画像処理装置の経時的差分画像をそのまま表示した例の概略図である。
【図7】 同医用画像処理装置の結節状陰影の強調表示した例の概略図である。
【図8】 同医用画像処理装置の計測データ表示の交差線分表示の例を示した概略図である。
【図9】 同医用画像処理装置の計測データ表示の拡大表示の例を示した概略図である。
【図10】 同医用画像処理装置の結節状陰影(陽性)の分布の例を示した円形度と面積との関係のグラフである。
【図11】 同医用画像処理装置の偽陽性候補の分布の例を示した円形度と面積との関係のグラフである。
【図12】 同医用画像処理装置のルールベース処理の閾値の例を示した面積と円形度との関係のグラフである。
【図13】 同医用画像処理装置のルールベース処理の閾値の例を示した円形度と標準偏差との関係のグラフである。
【符号の説明】
M 医用画像処理装置
1 ディジタル胸部画像
2 経時的差分画像
3 結節状陰影
4 画像データ記憶部
5 画像データ蓄積メモリ
6 経時的差分画像作成部
7 結節状陰影検出部
8 鑑別診断処理部
9 結節状陰影編集部
10 画像表示処理部
11 画像表示装置
S1 胸部領域の抽出
S2 背景傾向補正
S3 結節状陰影候補の拾い上げ
S4 特徴量計算
S5 偽陽性候補の判定
Claims (9)
- 撮影時期の異なる2つのオリジナルのディジタル胸部画像に経時的差分処理を適用して作成された経時的差分画像を入力画像として該経時的差分画像に画像処理を施して得た結節状陰影候補を、前記オリジナルのディジタル胸部画像又は前記経時的差分画像に重ねて画像表示装置に表示するようにした医用画像処理方法であって、
前記画像処理は前記経時的差分画像に背景傾向補正処理をした補正済み経時的差分画像の画素値に関するヒストグラムを作成し、画素値の小さい方から順に前記ヒストグラムの面積を累積していって、予め%値で設定された値に一致する画素値を閾値として多数の閾値を導出し、該多数閾値をそれぞれ前記補正済み経時的差分画像に適用して2値画像を作成し、該2値画像のそれぞれに対して閾値以下を表す連結領域をラベリングして島領域を全て導出し、前記多数閾値の異なる%値の島領域を組み合わせて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域を陰影候補から除去することで前記組み合わされた島領域の重複部分を除去した後の島領域を全て、初期結節状陰影候補とすることを特徴とするコンピュータ支援診断方法。 - 前記オリジナルのディジタル胸部画像及び前記経時的差分画像を使用して導出した画像の特徴量を使用して偽陽性候補を決定し、該偽陽性候補を前記初期結節状陰影候補から除去することにより結節状陰影候補を得ることを特徴とする請求項1に記載の医用画像処理方法。
- 前記画像の特徴量として、円形度、面積を含むデータを使用することを特徴とする請求項2に記載の医用画像処理方法。
- 前記偽陽性候補を決定する手段として、ルールベース処理を適用することを特徴とする請求項2に記載の医用画像処理方法。
- 請求項1乃至4のいずれか1つに記載の医用画像処理方法を用いて導出された結節状陰影の候補、又は手動で指定された結節状陰影の候補に対して、良性腫瘍、原発性肺がん、肺転移がん等の疾病区分を識別する鑑別診断処理を実施することを特徴とする医用画像処理方法。
- 請求項1乃至5のいずれか1つに記載の医用画像処理方法を用いて導出された結節状陰影の候補及び鑑別診断処理結果を、前記経時的差分画像上又は前記ディジタル胸部画像上に強調表示することを特徴とする医用画像処理方法。
- 請求項1乃至5のいずれか1つに記載の医用画像処理方法を用いて導出された前記結節状陰影の候補及び鑑別診断処理結果を、前記経時的差分画像上又は前記ディジタル胸部画像上に計測データとして表示することを特徴とする医用画像処理方法。
- ディジタル胸部画像を保存する画像データ記憶部と、該画像データ記憶部に接続された画像データ蓄積メモリと、該画像データ蓄積メモリに接続された画像表示処理部と、該画像表示処理部に接続され画像表示装置とを有する医用画像処理装置において、
前記画像データ蓄積メモリには、前記画像データ記憶部に保存されている撮影時期の異なる2つのオリジナルのディジタル胸部画像を読み出して経時的差分画像を作成する経時的差分画像作成部と、該経時的差分画像作成部で作成した経時的差分画像と前記オリジナルのディジタル胸部画像とに基づいて前記経時的差分画像に対して背景傾向補正処理を適用して補正済み経時差分画像を作成し、該補正済み経時的差分画像の画素値に関するヒストグラムを作成し、画素値の小さい方から順に前記ヒストグラムの面積を累積していって、予め%値で設定された値に一致する画素値を閾値として多数の閾値を導出し、該多数閾値をそれぞれ前記補正済み経時的差分画像に適用して2値画像を作成し、該2値画像のそれぞれに対して閾値以下を表す連結領域をラベリングして島領域を全て導出し、前記多数閾値の異なる%値の島領域を組み合わせて、互いに包含された状態にあるかどうかを検知して、%値の大きい方の島領域を陰影候補から除去することで前記組み合わされた島領域の重複部分を除去した後の島領域を全て、初期結節状陰影候補とする結節状陰影検出部が接続されており、前記結節状陰影の候補を前記経時的差分画像又は前記ディジタル胸部画像に重ねて前記画像表示装置に表示することを特徴とする医用画像処理装置。 - 前記画像データ蓄積メモリには、前記経時的差分画像、ディジタル胸部画像及び結節状陰影の候補とに基づいて良性腫瘍、原発性肺がん、肺転移がん等の疾病を識別する鑑別診断処理を実行する鑑別診断処理部が接続されており、前記鑑別診断処理結果を前記経時的差分画像又は前記ディジタル胸部画像に重ねて前記画像表示装置に表示することを特徴とする請求項8に記載の医用画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002205953A JP3751914B2 (ja) | 2002-07-15 | 2002-07-15 | 医用画像処理方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002205953A JP3751914B2 (ja) | 2002-07-15 | 2002-07-15 | 医用画像処理方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004048587A JP2004048587A (ja) | 2004-02-12 |
JP3751914B2 true JP3751914B2 (ja) | 2006-03-08 |
Family
ID=31711113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002205953A Expired - Fee Related JP3751914B2 (ja) | 2002-07-15 | 2002-07-15 | 医用画像処理方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3751914B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010050334A1 (ja) * | 2008-10-30 | 2010-05-06 | コニカミノルタエムジー株式会社 | 情報処理装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006087631A (ja) * | 2004-09-22 | 2006-04-06 | Sangaku Renkei Kiko Kyushu:Kk | 画像診断装置、画像処理装置、及び画像処理プログラムを記録した記録媒体 |
JP4748991B2 (ja) * | 2005-01-05 | 2011-08-17 | 株式会社日立メディコ | 医用画像診断支援装置 |
JP4626984B2 (ja) * | 2005-02-21 | 2011-02-09 | 株式会社日立メディコ | 差分画像生成装置及び方法 |
JP5393450B2 (ja) * | 2006-05-30 | 2014-01-22 | ニュートリション サイエンシス エン.ヴェー./エス.アー. | 腸管病原体に対する凝集剤として好適なトリ−およびテトラ−オリゴ糖 |
US7729533B2 (en) * | 2006-09-12 | 2010-06-01 | Boston Scientific Scimed, Inc. | Systems and methods for producing classifiers with individuality |
JP7086790B2 (ja) * | 2018-08-29 | 2022-06-20 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム |
-
2002
- 2002-07-15 JP JP2002205953A patent/JP3751914B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010050334A1 (ja) * | 2008-10-30 | 2010-05-06 | コニカミノルタエムジー株式会社 | 情報処理装置 |
JPWO2010050334A1 (ja) * | 2008-10-30 | 2012-03-29 | コニカミノルタエムジー株式会社 | 情報処理装置 |
JP5533662B2 (ja) * | 2008-10-30 | 2014-06-25 | コニカミノルタ株式会社 | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2004048587A (ja) | 2004-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0731952B1 (en) | Automated method and system for improved computerized detection and classification of masses in mammograms | |
Teramoto et al. | Fast lung nodule detection in chest CT images using cylindrical nodule-enhancement filter | |
Schilham et al. | A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database | |
EP0757544B1 (en) | Computerized detection of masses and parenchymal distortions | |
AU705713B2 (en) | Method and system for the detection of lesions in medical images | |
JP4184842B2 (ja) | 画像判別装置、方法およびプログラム | |
US20060122467A1 (en) | Method and system for computer aided detection (cad) cued reading of medical images | |
US8086002B2 (en) | Algorithms for selecting mass density candidates from digital mammograms | |
Suman et al. | Detection and classification of bleeding region in WCE images using color feature | |
WO1995014966A1 (en) | Automated method and system for the segmentation of medical images | |
EP0731953A1 (en) | Automated method and system for the detection of gross abnormalities and asymmetries in chest images | |
JP2007517610A (ja) | 医用画像のフィルタリングシステムおよび方法 | |
JPH09167238A (ja) | 異常陰影の検出方法 | |
JP2006034585A (ja) | 画像表示装置、画像表示方法およびそのプログラム | |
JP2014221163A (ja) | 画像診断支援装置及び支援方法 | |
Rad et al. | Computer-aided dental caries detection system from X-ray images | |
JP3751914B2 (ja) | 医用画像処理方法及びその装置 | |
JP2005253685A (ja) | 画像診断支援装置及び画像診断支援プログラム | |
US7672496B2 (en) | Forming three dimensional objects using a decision rule in medical image data | |
Loizidou et al. | A new method for breast micro-calcification detection and characterization using digital temporal subtraction of mammogram pairs | |
JP2005269214A (ja) | 画像診断支援装置及び画像診断支援方法及び画像診断支援プログラム及び画像診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2006181025A (ja) | 異常陰影検出方法および装置並びにプログラム | |
JP2005052329A (ja) | 異常陰影候補検出装置およびプログラム | |
Supanta et al. | An algorithm for feature extraction and detection of pulmonary nodules in digital radiographic images | |
JP3881265B2 (ja) | 異常陰影の検出領域設定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051208 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131216 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |