JP2571132B2 - 異常陰影検出装置 - Google Patents

異常陰影検出装置

Info

Publication number
JP2571132B2
JP2571132B2 JP1272211A JP27221189A JP2571132B2 JP 2571132 B2 JP2571132 B2 JP 2571132B2 JP 1272211 A JP1272211 A JP 1272211A JP 27221189 A JP27221189 A JP 27221189A JP 2571132 B2 JP2571132 B2 JP 2571132B2
Authority
JP
Japan
Prior art keywords
image
bone
shadow
image data
abnormal shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1272211A
Other languages
English (en)
Other versions
JPH03133430A (ja
Inventor
昌司 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP1272211A priority Critical patent/JP2571132B2/ja
Priority to US07/599,928 priority patent/US5123054A/en
Publication of JPH03133430A publication Critical patent/JPH03133430A/ja
Application granted granted Critical
Publication of JP2571132B2 publication Critical patent/JP2571132B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、被写体の放射線画像を表わす画像データに
基づいて放射線画像の異常陰影を検出する異常陰影検出
装置に関するものである。
(従来の技術) 記録された放射線画像を読み取って画像データを得、
この画像データに適切な画像処理を施した後、画像を再
生記録することは種々の分野で行なわれている。たとえ
ば、後の画像処理に適合するように設計されたガンマ値
の低いX線フイルムを用いてX線画像を記録し、このX
線画像が記録されたフイルムからX線画像を読み取って
電気信号(画像データ)に変換し、この画像データに画
像処理を施した後コピー写真等に可視像として再生する
ことにより、コントラスト,シャープネス,粒状性等の
画質性能の良好な再生画像を得ることが行なわれている
(特公昭61−5193号公報参照)。
また本出願人により、放射線(X線,α線,β線,γ
線,電子線,紫外線等)を放射するとこの放射線エネル
ギーの一部が蓄積され、その後可視光等の励起光を照射
すると蓄積されたエネルギーに応じて輝尽発光を示す蓄
積性蛍光体(輝尽性蛍光体)を利用して、人体等の被写
体の放射線画像情報をシート状の蓄積性蛍光体に一旦記
録し、この蓄積性蛍光体シートをレーザー光等の励起光
で走査して輝尽発光光を生ぜしめ、得られた輝尽発光光
を光電的に読み取って画像データを得、この画像データ
に基づき被写体の放射線画像を写真感光材料等の記録材
料、CRT等に可視像として出力させる放射線画像記録再
生システムがすでに提案されている(特開昭55−12429
号,同56−11395号,同55−163472号,同56−104645
号,同55−116340号等)。
このシステムは、従来の銀塩写真を用いる放射線写真
システムと比較して極めて広い放射線露出域にわたって
画像を記録しうるという実用的な利点を有している。す
なわち、蓄積性蛍光体においては、放射線露光量に対し
て蓄積後に励起によって輝尽発光する発光光の光量が極
めて広い範囲にわたって比例することが認められてお
り、従って種々の撮影条件により放射線露光量がかなり
大幅に変動しても、蓄積性蛍光体シートより放射される
輝尽発光光の光量を読取ゲインを適当な値に設定して光
電変更手段により読み取って電気信号に変換し、この電
気信号を用いて写真感光材料等の記録材料、CRT等の表
示装置に放射線画像を可視像として出力させることによ
って、放射線露光量の変動に影響されない放射線画像を
得ることができる。
上記X線フイルムや蓄積性蛍光体シート等を用いたシ
ステム、特に人体の医療診断用として構成されたシステ
ムにおいて、近年、単に観察(診断)に適した良好な画
質性能を備えた再生画像を得ることに加えて、画像の自
動認識が行なわれてきている(たとえば特開昭62−1254
81号公報参照)。
ここで画像の自動認識とは、画像データに種々の処理
を施すことにより、複雑な放射線画像から目的とするパ
ターンを抽出する操作をいい、たとえば人体の胸部X線
画像のような種々の線状,円形状のパターンの入り混じ
った非常に複雑な画像から、たとえば腫瘍に対応する陰
影を抽出する操作等をいう。
このような複雑な放射線画像(たてえば人体の胸部X
線画像)において目的とするパターン(たとえば腫瘍
影)を抽出し、その抽出したパターンを明示した可視画
像を再生表示することにより、観察者の観察の補助(た
とえば医者の診断の補助)を行なわせることができる。
上記画像認識を行なうにあたり、例えば通常の撮影に
より得られた人体の胸部X線画像、即ち、心臓部,横隔
膜部、肺野部の肋骨以外の組織等のいわゆる軟部組織と
肋骨等のいわゆる骨部との双方が記録された通常の胸部
X線画像に基づいてたとえば腫瘍影を自動認識すること
に代えて、骨部の影響による誤認識を避けるために、エ
ネルギーサブトラクション処理により得られた、、軟部
組織のみが記録された画像に基づいて腫瘍影の自動認識
を行なうことも試みられている(例えば「エネルギー差
分画像を用いた胸部X線像パターン認識」水谷克己,長
谷川純,鳥脇純一郎,西谷弘昭和62年度電気関係学会東
海支部連合大会 564ページ参照)。
ここで、エネルギーサブトラクション処理とは、被写
体の特定の部分が互いに異なるエネルギーを有する放射
線に対して異なる放射線吸収率を有することを利用し
て、同一の被写体に対して互いに異なるエネルギーを有
する各放射線による複数の放射線画像を得、これら複数
の放射線画像を適当に重み付けしてその差を演算するこ
とによって被写体の特定部分を抽出する処理をいう。本
出願人も蓄積性蛍光体シートを用いたエネルギーサブト
ラクションについて種々提案している(例えば特開昭59
−83486号公報,同60−225541号公報参照)。
(発明が解決しようとする課題) 被写体の軟部と骨部との双方が記録された放射線画像
(以下、「原画像」という。)に代えて被写体の主とし
て軟部が記録された放射線画像(以下、「軟部画像」と
いう。)に基づいてたとえば腫瘍等の異常陰影の自動認
識を行なうと骨部の影響による誤認識は少なくなるが、
一方、軟部画像は複数の放射線画像を処理することによ
り求めた画像であるため原画像と比べ画質が劣り、この
ため軟部自体で異常陰影の誤認識が増加するという問題
点がある。
本発明は、上記問題点を鑑み、異常陰影の自動認識の
精度をさらに向上させた異常陰影検出装置を提供するこ
とを目的とするものである。
(課題を解決するための手段) 第1図は、本発明の異常陰影検出装置の構成を明示し
たブロック図である。
互いにエネルギーの異なる少なくとも二種類の放射線
を軟部および骨部から構成される被写体に照射して得ら
れた複数の画像データS01,…,S0nが、たとえば放射線画
像読取装置あるいは放射線画像データ記憶装置等から画
像演算手段1に入力される。画像演算手段1では、これ
ら複数の画像データS01,…,S0nに基づいて、前記被写体
中の主として軟部が記録された軟部画像を表わす軟部画
像データS1と、前記被写体中の主として骨部が記録され
た骨部画像を表わす骨部画像データS2と、前記被写体中
の軟部と骨部との双方が記録された原画像を表わす原画
像データS3とが求められる。
これらの画像データS1,S2,S3は、異常陰影候補抽出手
段2に入力される。またたとえば骨部画像データS2等放
射線画像の骨部の位置情報を抽出し得る画像データが、
骨部抽出手段3に入力される。
異常陰影候補抽出手段2は、入力された各画像データ
S1,S2,S3のそれぞれに基づいて、異常陰影抽出フィルタ
を用いて軟部画像,骨部画像,原画像のそれぞれを走査
し、各画像に現われた異常陰影の抽出(異常陰影の有無
および異常陰影が存在する場合にその位置情報の抽出)
が行なわれる。ここで、「異常陰影抽出フィルタ」は特
定のフィルタに限られるものではなく、後述する実施例
で説明する各フィルタ、これらのフィルタの組合せ、ま
たは公知の種々のフィルタを用いることができる。ま
た、「異常陰影」とは、標準的陰影には見られない、た
とえば胸部X線画像における腫瘍,石炭嗅,胸膜の肥
厚,気胸等の陰影をいうが、この候補抽出手段1はこれ
らの異常陰影の全てを抽出するものである必要はなく、
たとえば腫瘍影のみを異常陰影として抽出するものであ
ってもよい。尚、本実施例で、後述する判定手段4にお
いて、上記のようにして抽出された異常陰影が真の異常
陰影であるかそれとも異常陰影であると誤認識したもの
であるかの判定を行なうため、この異常陰影候補手段2
で抽出され異常陰影を異常陰影候補と呼ぶこととする。
また、骨部抽出手段3には、上述したようにたとえば
骨部画像データS2等放射線画像の骨部の位置情報を求め
得る画像データが入力される。骨部抽出手段3では、入
力された画像データに基づいて、骨部画像のどの位置に
骨部が存在しているかという、骨部の位置情報Bが求め
られる。この骨部抽出手段3における骨部の位置情報B
の求め方は特定のアルゴリズムに限られるものではない
が、骨部画像の通常はほとんど骨部のみが記録された画
像であるため、例えば骨部画像データS2を用いて単純な
しきい値処理等を行なうことにより骨部の位置情報Bを
求めてもよい。
異常陰影候補抽出手段2で抽出された軟部画像,骨部
画像,および原画像上の異常陰影候補の位置情報J1,J2,
J3と、骨部抽出手段3で求められた骨部の位置情報Bは
判定手段4に入力される。判定手段4では、これらの位
置情報J1,J2,J3;Bに基づいて、異常陰影候補抽出手段2
で求められた異常陰影候補が異常陰影であるか否かの判
定が行なわれる。より具体的には、軟部画像、骨部画像
および原画像から異常陰影候補抽出手段で抽出された各
位置の異常陰影候補のそれぞれについて、軟部画像、骨
部画像および原画像のいずれから抽出されているかおよ
び骨部抽出手段で抽出された骨部上あるいは該骨の交差
部上に存在するか否かに基づいて、異常陰影であるか否
かの判定が行われる。この判定の具体的アルゴリズムは
特定のものに限定されるものではなく、被写体の特性、
軟部画像,骨部画像,原画像の各画質やその他の特徴、
および異常陰影である蓋然性がどの程度以上の異常陰影
候補を異常陰影とするかという設計思想等に応じて任意
に定めることができるものである。
(作用) 本発明の異常陰影検出装置は、軟部画像,骨部画像,
および原画像の各画像から異常陰影候補を抽出し、さら
に骨部画像から骨部の位置情報を求め、これらを総合し
て上記異常陰影候補が異常陰影であるか否かを判定する
ようにしたため、より具体的には、軟部画像、骨部画像
および原画像から異常陰影候補抽出手段で抽出された各
位置の異常陰影候補のそれぞれについて、軟部画像、骨
部画像および原画像のいずれから抽出されているかおよ
び骨部抽出手段で抽出された骨部上あるいは該骨の交差
部上に存在するか否かに基づいて、異常陰影であるか否
かを判定するようにしたため、従来のように原画像に基
づく異常陰影の自動認識、軟部画像に基づく異常陰影の
自動認識のいずれよりもさらに高精度の自動認識を行な
うことができる。
(実 施 例) 以下、本発明の実施例について、図面を参照して説明
する。尚、ここでは前述した蓄積性蛍光体シートを用
い、人体の肺内に典型的には略球形として生じる腫瘍の
陰影を異常陰影として検出する例について説明する。こ
の腫瘍は画像データに基づいて再生された可視画像上で
は周囲と比べ白っぽい(濃度が低い)略円形のパターン
として現われる。
第2図は、X線撮影装置の一例の概略図である。
このX線撮影装置10のX線源11からX線12が人体13の
胸部13aに向けて照射され、人体13を透過したX線12aが
第一の蓄積性蛍光体シート5に照射されることにより、
人体の胸部13aの第一のX線画像が第一の蓄積性蛍光体
シート5に蓄積記録される。
次に短時間内に第一の蓄積性蛍光体シート5に代えて
新たな第二の蓄積性蛍光体シート6をセットするととも
に、X線源11の管電圧を変え、再度X線撮影が行なわれ
る。これにより第二の蓄積性蛍光体シート6には、第一
の蓄積性蛍光体シート5に撮影記録された第一のX線画
像とはエネルギーの異なるX線12による同一被写体13の
第二のX線画像が蓄積記録される。尚、上記2回の撮影
において、被写体13にはマーク14,15が付さており、こ
のマーク14,15も一緒に撮影記録される。これらのマー
ク14,15(尚、ここでは簡単のため、X線画像上に撮影
記録されたマーク14,15の像も、マーク14,15と呼ぶ。)
は、シート5,6に蓄積記録された第一および第二のX線
画像の位置合わせの際に用いられる、 第3図は、X線画像読取装置の一例と、本発明の異常
陰影検出装置の一実施例であるコンピュータシステムと
を表わた斜視図である。
第2図に示すX線撮影装置10で撮影が行なわれた後、
第一および第二の蓄積性蛍光体シート5,6が一枚ずつこ
のX線画像読取装置の所定位置にセットされる。尚ここ
では、第一の蓄積性蛍光体シート5に蓄積記録された第
一のX線画像の読取りの場合について説明する。
この所定位置にセットされた、第一のX線画像が蓄積
記録された第一の蓄積性蛍光体シート5は、モータ21に
より駆動されるエンドレスベルト等のシート搬送手段22
により、矢印Y方向に搬送(副走査)される。一方、レ
ーザー光源23から発せられた光ビーム24はモータ25によ
り駆動され矢印方向に高速回転する回転多面鏡26によっ
て反射偏向され、fθレンズ等の集束レンズ27を通過し
た後、ミラー28により光路を変えて前記シート5に入射
し副走査の方向(矢印Y方向)と略垂直な矢印X方向に
主走査する。シート5の光ビーム24が照射された箇所か
らは、蓄積記録されているX線画像情報に応じた光量の
輝尽発光光29が発散され、この輝尽発光光29は光ガイド
30によって導かれ、フォトマルチプライヤ(光電子増倍
管)31によって光電的に検出される。上記光ガイド30は
アクリル板等の導光性材料を形成して作られたものであ
り、直線状をなす入射端面30aが主走査線に沿って延び
るように配され、円環状が形成された射出端面30bには
フォトマルチプライヤ31の受光面が結合されている。入
射端面30aから光ガイド30内に入射した輝尽発光光29
は、該光ガイド30の内部を全反射を繰り返して進み、射
出端面30bから射出してフォトマルチプライヤ31に受光
され、X線画像を表わす輝尽発光光29がフォトマルチプ
ライヤ31によって電気信号に変換される。
フォトマルチプライヤ31から出力されたアナログ出力
信号SAは対数増幅器32で対数的に増幅され、A/D変換器3
3でディジタル化され、電気信号としての画像データS0
が得られる。
このようにして得られた画像データS0は、コンピュー
タシステム40に入力される。この画像データS0は、第一
の蓄積性蛍光体シート5に蓄積記録された第一のX線画
像を表わすものであり、したがってここではこれを第一
の画像データS01と呼ぶ。
このコンピュータシステム40は、本発明の異常陰影検
出装置の一例を構成するものであり、CPUおよび内部メ
モリが内蔵された本体部41,補助メモリとしてのフロッ
ピィディスクが挿入され駆動されるドライブ部42,オペ
レータがこのコンピュータシステム40に必要な指示等を
入力するためのキーボード43,および必要な情報を表示
するためのCRTディスプレイ44から構成されている。
次に上記と同様にして、第二の蓄積性蛍光体シート6
に蓄積記録された第二のX線画像を表わす第二の画像信
号S02が得られ、この第二の画像信号S02もコンピュータ
システム40に入力される。
コンピュータシステム40に入力された第一および第二
の画像データS01,S02に基づいて、X線画像上の異常陰
影の検出が行なわれる。コンピュータシステム40では、
その機能上、第1図に示す各ブロック1〜4に対応する
演算が行なわれる。以下、第1図に示すブロック1〜4
をコンピュータシステム40の機能を表わすブロックと考
える。
第3図に示すようにX線画像を表わすディジタルの電
気信号としての画像データS01,S02が、コンピューター
システム40内の、第1図に示す画像演算手段1に入力さ
れる。
画像演算手段 上記第一および第二の画像データS01,S02は、前述し
たように互いに異なるエネルギーを有するX線を用いて
撮影記録された第一および第二のX線画像を表わすもの
であり、これら互いに異なるエネルギーを有するX線
は、被写体(ここでは人体の胸部)の軟部,骨部に対す
る透過率が互いに異なり、したがって、これら第一およ
び第二のX線画像のサブトラクション処理を行なうこと
により上記被写体の軟部のみが記録された軟部画像およ
び上記被写体の骨部のみが記録された骨部画像を得るこ
とができる。
コンピュータシステム40内の画像演算手段1では、入
力された第一および第二の画像データS01,S02が基づい
て、先ず以下のようにして位置合わせ処理が行なわれ
る。尚、ここで説明する位置合わせ処理は特開昭58−16
3388号公報に記載された方法である。
第一の画像データS01が担持する第一のX線画像に付
されたマーク14,15(これをマーク14′,15′とする。)
の各座標を(XA1,YA1),(XA2,YA2)とし、第二の画像
データS02が担持する第二のX線画像に付されたマーク1
4,15(これをマーク14″,15″とする。)の各座標を(X
B1,YB1),(XB2,YB2)とする。
このときこれら2つのX線画像の相対的な回転ズレの
ずれ角((XA1,YA1)と(XA2,YA2)とを結ぶ線分と(X
B1,YB1)と(XB2,YB2)とを結ぶ線分となす角)をθと
すると、 と表わされ、第一の線画像を角度θだけ回転されること
により2つのX線画像の回転位置が合わせられる。
さらに、2つのX線画像に付されたマーク14′;14″
のx方向,y方向の位置ずれΔX1,ΔY1は、それぞれ、 ΔX1=XB1−{α・(XA1−CX)・cosθ −α(YA1−CY)・sinθ+CX} …(2) ΔY1=YB1−{α・XA1−CX)・sinθ +α(YA1−CY)・cosθ+CY} …(3) と表わされ、2つのX線画像に付されたもう一つのマー
ク15′;15″のx方向,y方向の位置ずれΔX2,ΔY2は、上
記と同様に、 ΔX2=XB2−{α・(XA2−CX)・cosθ −α(YA2−CY)・sinθ+CX} …(4) ΔY2=YB2−{α・(XA2−CX)・sinθ +α(YA2−CY)・cosθ+CY} …(5) と表わされる。尚、(2)〜(5)式においてCX,CY
回転中心のそれぞれX座標,Y座標である。
ここでΔX1とΔX2,ΔY1とΔY2は理想的には互いに等
しい値となるが、2つの画像信号S01,S02のサンプリン
グに伴う誤差等により多少異なることもあり、X方向,Y
方向の位置調整量ΔX,ΔYとしては、 ΔX=(ΔX1+ΔX2)/2 …(6) ΔY=(ΔY1+ΔY2)/2 …(7) が用いられ、第一のX線画像のX方向,Y方向への位置調
整が行なわれる。
以上のようにして第一および第二のX線画像の位置合
わせが行なわれた後、画像演算手段1において、位置合
わせ後の第一および第二の画像データS01′,S02′に基
づいて、各画素毎に S1=Wa・S01′−Wb・S02′+C …(8) ただし、Wa,Wbは重み付け係数、Cはバイアス分を表わ
す。
の演算処理(サブトラクション処理)が行なわれ、軟部
画像を表わす軟部画像データS1が求められる。またこれ
と同様に、重み付け係数およびバイアスを変えて S2=Wa′・S01′ −Wb′・S02′+C′ …(9) ただし、Wa′,Wb′は重み付け係数、C′はバイアス分
を表わす。
の演算を各画素毎に行なうことにより、骨部画像データ
S2が求められる。
また、上記第一のX線画像、第二のX線画像は互いに
軟部,骨部の濃度(画像データの値)は異なるが両画像
とも軟部および骨部の双方が記録された画像であり、し
たがって第一のX線画像もしくは第二のX線画像のいず
れかを原画像として用いてもよいが、本実施例ではX線
のゆらぎ等によりX線画像に現われる雑音を低減するた
めに、各画素毎に、 S3=Wa″・S01′ +Wb″・S02″ …(9) ただし、Wa″,Wb″重み付け係数を表わす。
の重ね合わせ処理を行ない、この重ね合わせ処理の後の
画像データS3が軟部と骨部との双方が記録された原画像
を表わす原画像データS3として用いられる。尚、本実施
例における画像演算手段1は2つのX線画像を表わす画
像データS01,S02に基づいて軟部画像,骨部画像,およ
び原画像を求めたが、さらに多数の画像データS01,S02,
…,S0nを用いて軟部画像,骨部画像,原画像を求めても
よいことはもちろんである(特開昭59−083486号公報参
照)。
第4A図,第4B図,および第4C図は、それぞれ軟部画
像,骨部画像,および原画像の一例を略示した図であ
る。
軟部画像(第4A図)には被写体のX線画像中の骨部が
消去され、軟部組織のみが記録されている。一方骨部画
像(第4B図)には、被写体のX線画像中の軟部が消去さ
れ骨部のみが記録されている。また原画像(第4C図)に
は、軟部組織と骨部との双方が記録されている。
コンピュータシステム40内の画像演算手段1において
上記のようにして得られた各画像データS1,S2,S3は、コ
ンピュータシステム40内の異常陰影候補抽出手段2に入
力される。また本実施例においては、コンピュータシス
テム40内の骨部抽出手段3に骨部画像データS2が入力さ
れる。
尚、上記画像演算手段1では、第一および第二の画像
データS01,S02、もしくは軟部画像データS1,骨部画像デ
ータS2,原画像データS3に、必要に応じて、たとえば周
波数強調処理,スムージング処理,ノイズ除去処理等上
記以外の各種画像処理も行なわれる。
異常陰影候補抽出手段 コンピュータシステム40内の異常陰影候補抽出手段2
では、入力された各画像データS1,S2,S3に基づいて、腫
瘍影抽出フィルタを用いて軟部画像,骨部画像,および
原画像の各画像上に走査することにより、これら各画像
に現われた腫瘍影の候補を抽出する。
第5図は、腫瘍影を抽出する実空間フィルタの例を説
明するために、X線画像上の所定の画素P0を中心に該画
像上に仮想的に描いた図である。所定の画素P0が腫瘍影
内の画素であるか否かが判定される。ここで示すような
フィルタを用いて各画像上を走査することにより、該各
画像に現われる腫瘍影が抽出されるが、ここでは原画像
上を走査する場合を中心に説明する。尚、以下において
最初に説明するフィルタは、特開平1−162904号に記載
されたフィルタである。
第6図は、上記所定の画素P0を中心とした、第5図の
線分L1とL5の延びる方向(x方向)の原画像のプロファ
イルの一例を示した図である。ここでは所定の画素P
0は、肋骨影56の極く近傍にある腫瘍影57のほぼ中心に
あるものとする。腫瘍影57は典型的にはほぼ左右対称の
プロファイルとして現われるが、この例のように腫瘍影
57が肋骨影56の極く近傍にある場合等には、原画像にお
いて左右対称とはならない場合もある。このような場合
にもこの腫瘍影57を抽出できることが重要である。尚第
6図の破線58は腫瘍がない場合のプロファイルの一例で
ある。
第5図に示すように、X線画像内の所定の画素P0から
該X線画像の周囲に延びる複数(ここでは8本)線分Li
(i=1,2,…,8)を想定し、さらに所定の画素P0を中心
とした、それぞれ半径r1,r2,r3の円Rj(j=1,2,3)を
想定する。所定の画素P0の画像データをf0とし、各線分
Liと各円Rjとの各交点に位置する各画素Pij(第5図に
はP11,P12,P13,P51,P52,P53について記号を示してあ
る。)の画像データをfij(i=1,2,…,8;j=1,2,3)と
する。
ここで、所定の画素P0の画像データf0と各画素Pij
画像データfijとの差分Δijが下記(11)式に従って求
められる。
Δij=fij−f0 …(11) (i=1,2,…,8;j=1,2,3) 次に各線分Li毎に、(11)式で求められた差分Δij
大値が求められる。即ち、線分L1,L5について例を示す
と、線分L1については、画素P11,P12,P13に対応する各
差分 Δ11=f11−f0 Δ12=f12−f0 Δ13=f13−f0 のうちの最大値が求められる。この例では、第6図に示
すようにΔ13<Δ12<Δ11<0であり、したがってΔ11
が最大値となる。また線分L5については画素P51,P52,P
53に対応する各差分 Δ51=f51−f0 Δ52=f52−f0 Δ53=f53−f0 のうち最大値Δ53が求められる。
このように所定の画素P0と、各線分Li毎に複数の画素
との差分の最大値を求めるようにすることにより、種々
のサイズの腫瘍影に対処することができる。
次に、所定の画素P0から互いに反対方向に延びる2本
の線分をひと組として、即ち線分L1と線分L5、線分L2
線分L6、線分L3と線分L7、および線分L4と線分L8のそれ
ぞれをひと組として、各組毎に2つの最大値の平均値
(それぞれM15,M26,M37,M48)が求められる。線分L1
線分L5と組については、その平均値M15として求められる。
このように所定の画素P0か互いに反対方向に延びる2
本の線分をひと組として取り扱うことにより、第6図に
示すように腫瘍影57がたとえば肋骨影56の近傍にあって
その画像データの分布が非対称となっていても腫瘍影を
確実に検出することができる。
上記のようにして平均値M15,M26,M37,M48が求められ
ると、これらの平均値M15,M26,M37,M48に基づいて、以
下のようにして、所定の画素P0が腫瘍影内の画素である
か否かの判定に用いる特性値C1が求められる。
第7図は、この特性位C1の求め方を説明するための図
である。横軸は上記のようにして求めた平均値M15,M26,
M37,M48、縦軸はこれらの平均値に対応する各評価値
C15,C26,C37,C48である。
平均値M15,M26,M37,M48がある値M1より小さい場合評
価値は零、ある値M2より大きい場合評価値は1.0、M1〜M
2の中間では、その値の大きさに応じて0.0〜1.0の間の
値が評価値となる。このようにして、各平均値M15,M26,
M37,M48にそれぞれ対応する評価値C15,C26,C37,C48が求
められ、これらの評価値C15,C26,C37,C48の和 C1=C15+C26+C37+C48 …(13) が特性値C1とされる。即ち、この特性値C1は最小値0.0
と最大値4.0との間のいずれかの値を有する。
この特性値C1が所定のしきい値Th1と比較され、C1≧T
h1であるか、C1<Th1であるかにより、所定の画素P0
それぞれ腫瘍影内の画素であるか否かが判定される。
尚、腫瘍影を抽出するフィルタのアルゴリズムは、上
記アルゴリズムに限定されるものではない。以下に、他
の例について説明する(特願平1−162905号参照)。
第5図の各画素Pij(i=1,2,…,8;j=1,2,3)の画像
データfijのグラジェンと∇fijが求められる。
ここでグラジェントとは、X線画像上である画素Pの
xy座標を(m,n)、該画素Pとx方向、y方向に隣接す
る画素P′,P″の座標をそれぞれ(m+1,n),(m,n+
1)とし、それらの画素P,P′,P″の画像データをそれ
ぞれf(m,n),f(m+1,n),f(m,n+1)としたと
き、 ∇f(m,n)=(f(m+1,n)−f(m,n), f(m,n+1)−f(m,n)) …(14) で表わされるベクトルをいう。
第8図は、上記グラジェントおよび以下に示す演算方
法を示す図である。
グラジェント∇fijが求められた後、これらのグラジ
ェント∇fijのベクトルの長さが1.0に揃えられる。即
ち、グラジェント∇fijの大きさを|∇fij|としたと
き、規格化グラジュント∇fij/|∇fij|が求められる。
次に、この規格化グラジェント∇fij/|∇fij|の、線
分Liの方向の成分が求められる。即ち、各画素Pijから
所定の画素P0に向かう単位ベクテルをеとしたとき、
∇fij/|∇fij|*е(ただし*は内積を表わす)が求
められる。
その後、該成分について内向き(所定の画素P0の方
向)を正、外向きを負としたとき、各線分Li(i=1,2,
……,8)毎に各最大値 {∇fij/|∇fij|*е (i=1,2,…,8) が求められ、さらにこれら各最大値 {∇fij/|∇fij|*е を加算した加算値 が求められる。この加算値 を特性値C2として、この特性値C2が所定のしきい値Th2
と比較され、C2≧Th2であるか、C2<Th2であるかによ
り、所定の画素P0がそれぞれ腫瘍影内の画素であるか否
かが判定される。
このフィルタは、グラジェント∇fijの大きさ|∇fij
|を規格化し、その方向(成分Liとの方向の相違の程
度)のみに注目することにより、周囲とのコントラスト
によらず形状が円形であることにより大きな値を持つ特
性値C2が求められ、これにより腫瘍影が大きな確度をも
って抽出される。
次に、さらに異なるアルゴリズムを有するフィルタに
ついて説明する(特願平1−162909号参照)。
第5図に示すQ0およびQij(i=1,2,…,8;j=1,2,3)
(ただし第5図には、明示的にはQ0およびQ11,Q12,Q13,
Q51,Q52,Q53のみ示してある)は、それぞれ画素P0を含
む中央領域および各画素Pij(i=1,2,…,8;j=1,2,3)
を含む各周辺領域を表わしている。
この各領域Q0およびQij(i=1,2,…,8;j=1,2,3)毎
に、該各領域Q0,Qij内の多数の各画素に対応する多数の
各画像データの平均値Q0,Qij(i=1,2,…,8;j=1,2,
3)が求められる。尚、ここでは簡単のため、各領域Q0,
Qij(i=1,2,…,8;j=1,2,3)を指す記号と該各領域内
の画像データの平均値を指す記号とで同一の記号を用い
ている。
次に中央領域の平均値Q0と各周辺領域の平均値Qij
それぞれとの各差分Δij(i=1,2,…,8;j=1,2,3)が Δij=Qij−Q0 …(15) として求められ、さらに各線分Li毎に、差分Δijの最大
値Δが求められる。即ち、線分L1,L5について例を示
すと、線分L1についてはΔ111213のうちの最大値
Δ、線分L5についてはΔ515253のうちの最大値
Δが求められる。
次に、最大値Δ(i=1〜8)を代表する第一の特
性値Uと最大値Δ(i=1〜8)のばらつきを表わす
第二の特性値Vとが求められる。このために、まず以下
の演算式に従って各特性値U1〜U4,V1〜V4が求められ
る。
U1=(Δ+Δ+Δ+Δ)/4 …(16) U2=(Δ+Δ+Δ+Δ)/4 …(17) U3=(Δ+Δ+Δ+Δ)/4 …(18) U4=(Δ+Δ+Δ+Δ)/4 …(19) V1=U1/U3 …(20) V2=U2/U4 …(21) V3=U3/U1 …(22) V4=U4/U2 …(23) ここで、たとえば(16)式に従って特性値U1を求める
場合について説明すると、隣接する2つの領域(Δ
Δ、またはΔとΔ)について加算することは平滑
化を意味し、また画素P0を挾んだ互いに反対側の領域
(Δ+ΔとΔ+Δ)について加算することは前
述した最初のフィルタと同様に、第6図に示すように画
像データが非対称であっても腫瘍影を検出することがで
きるようにすることを意味している。
また、たとえば(20)式に従って特性値V1を求める場
合について説明すると、特性値U1と特性値U3と互いに直
交する方向について求めた特性値であり、したがって第
6図に示す腫瘍影57が円形であればV1≒1.0となり円形
から外れる場合、即ち画素P0が肋骨影のように直線上の
陰影内にある場合はV1は1.0から外れることになる。
上記差分の最大値Δ(i=1〜8)を代表する第一
の特性値Uとしては、U1〜U4の最大値 U=MAX(U1,U2,U3,U4) …(24) が採用され、上記差分の最大値Δ(i=1〜8)のば
らつきを表わす第二の特性値Vとしては、V1〜V4の最大
値 V=MAX(V1,V2,V3,V4) …(25) が採用される。このようにして第一および第二の特性値
U,Vが求められると、所定の画素P0が腫瘍影内の画素で
あるか否かを判定するための特性値C3として、これら第
一および第二の特性値の比率 が採用される、この特性値C3が所定のしきい値Th3と比
較され、C3≧Th3であるか、C3<Th3であるかにより、画
素P0がそれぞれ腫瘍影内の画素であるか否かが判定され
る。
尚、上記各フィルタ例においては、第5図に示すよう
に8本の線分L1〜L8の上の画素Pijや平均値Qij等を用い
たが、この線分は8本である必要がなく、たとえば16本
等であってもよいことはもちろんである。また、所定の
画素P0からの距離についてもr1,r2,r3の3つの距離につ
いて演算を行なったが、これについても3つの距離に限
るものでもなく、抽出すべき腫瘍影の大きさがほぼ一定
している場合は距離は1つでもよく、また、種々の大き
さの腫瘍影をさらに精度よく抽出するために、距離をr1
からr3まで連続的に変えて演算を行なってもよい。ま
た、異常陰影候補抽出手段2では上記各フィルタに限ら
ず、さらに異なるフィルタを用いてもよく、さらに原画
像,軟部画像,骨部画像のそれぞれについて互いに異な
るフィルタを用いてもよい。
骨部抽出手段 前述したように、本実施例においては、画像演算手段
1で求められた骨部画像(第4B図参照)を表わす骨部画
像データS2は、骨部抽出手段3にも入力される。
骨部抽出手段3では、入力された骨部画像データS2に
基づいて、骨部画像中、骨の存在している位置の情報が
求められる。
第9図は、骨の陰影の位置情報の求め方の一例を説明
するために、第4B図に示す骨部画像の一部の拡大図のそ
の骨部画像データS2のグラフとともに示した図である。
第9図(a)に示す骨部画像には2本の肋骨の陰影56
が示されている。この2本の肋骨の陰影56はその一部56
aが重なって現われている。第9図(b)は、第9図
(a)のy軸に沿った各画素の骨部画像データS2を表わ
した図である。骨部画像の骨の陰影のみを抽出した画像
であるため、骨の陰影の領域とそれ以外の領域とはかな
り明確に区分けすることができ、したがって、たとえば
骨部画像データがしきい値Th4以上であるか否かにより
骨の陰影が記録された領域であるか否かを求めることが
でき、これにより骨の陰影の位置情報が求められる。ま
た肋骨の重なった領域56aは、例えば各肋骨の陰影を2
次曲線で近似し、これらの近似曲線が交差する領域とし
て求めることができる。
尚、骨の陰影の位置情報の求め方は、上記しきい値処
理に限られるものではなく、例えば骨部画像データS2を
微分処理してそのピークを検出する方法を採用してもよ
い。また必ずしめ骨部画像データS2を用いる必要はな
く、例えば原画像データS3を用いて「間接撮影胸部X線
写真における肋骨影の識別」(社団法人電子通信学界
1972年10月26日画像工学研究会資料 資料番号IT72−24
(1972−10))に記載された方法等を採用してもよい。
この文献に記載された方法は、線に敏感なフィルタを用
いて胸部X線画像を走査して線画像を抽出し、その線図
形のX線画像上の位置,線図の延びる方向等から肋骨影
に対応する線を抽出し、さらに肋骨影境界線を二次関数
近似することにより肋骨影を抽出する方法である。
判定手段 以上のようにして、異常陰影候補抽出手段2で抽出さ
れた原画像,軟部画像および骨部画像の各画像上の腫瘍
影候補の位置情報J1,J2,J3と、骨部抽出手段で求められ
た骨部の位置情報Bは、コンピュータシステム40内の判
定手段4に入力される。
本実施例における判定手段4では、軟部画像、骨部画
像および原画像から異常陰影候補抽出手段2で抽出され
た各位置の腫瘍影候補のそれぞれについて、軟部画像、
骨部画像および原画像のいずれから抽出されているかお
よび骨部抽出手段3で抽出された肋骨上あるいは該肋骨
の交差部上に存在するか否かに基づいて、腫瘍影である
かそれとも誤検出によるものであるかが判定される。
先ず、原画像には軟部と骨部との双方の情報が含まれ
ているため、原画像上で抽出されなかった腫瘍影候補
は、軟部画像上もしくは骨部画像上で抽出されたとして
も、腫瘍影ではないと判定される。
原画像上で腫瘍影候補J3が抽出された場合、さらに以
下のように判断される。
i) 軟部画像上で腫瘍影候補J1として抽出され、骨部
画像上で対応する位置からは抽出されず、かつ該腫瘍影
候補J1が肋骨の交差部(第9図参照)上になかった場合
は、引きつづきい腫瘍影候補として残しておき、後述す
る腫瘍影と血管影とを区分する演算により腫瘍影である
と判断された場合のみ該腫瘍影候補は腫瘍影であると判
定される。
ii) 軟部画像上で腫瘍影候補J1として抽出され、その
腫瘍影候補J1が肋骨の交差部上にあった場合は、肋骨交
差部上にある腫瘍影であると判定される。
iii) 骨部画像上で腫瘍影候補J2として抽出され、そ
の腫瘍影候補J2の位置が肋骨の交差部でもなく、かつ軟
部画像上で対応する位置からは抽出されなかった場合
は、結核の跡等の石炭化した領域である疑いが強いと判
断される。
iv) 骨部画像上で腫瘍影候補J2の位置が肋骨の交差部
であり、かつ軟部画像上では腫瘍影候補が対応する位置
において抽出されなかった場合は、肋骨の交差部を腫瘍
影候補であると誤って抽出したものであると判断し腫瘍
影ではないものと判定する。
v) 原画像上では腫瘍影候補J3が抽出されたにも拘わ
らず軟部画像および骨部画像の双方とも腫瘍影候補とし
て抽出されず、かつその腫瘍影候補J3が肋骨上に存在し
ている場合は、肋骨を腫瘍影候補であると誤って抽出し
たものであると判断し、腫瘍影ではないものと判定す
る。
vi) 原画像上では腫瘍影候補J3が抽出されたにも拘ら
ず軟部画像および骨部画像の双方とも腫瘍影候補として
抽出されなかった場合であって、かつその腫瘍影候補J3
が肋骨以外の領域に存在している場合は、原画像と比べ
軟部画像の画質が悪い(S/N比が悪い)ことにより軟部
画像からは腫瘍影候補として抽出されなかったものと判
断し、腫瘍影であると判定する。
ここで、上記i)の場合における腫瘍影と血管影とを
区別する演算アルゴリズムの一例について説明する(特
願平1−162906号参照)。
第10A図,第10B図は、腫瘍影候補として抽出された、
それぞれ真正の腫瘍影および血管等の密集した領域の軟
部画像を示す図である。各図において破線59に囲まれた
領域が腫瘍影候補として抽出された領域Aであり、各グ
ラフは各領域A内のx方向,y方向のプロファイル(軟部
画像データS1をプロットしたもの)である。
真正の腫瘍影(第10A図)は、x方向,y方向とも中央
付近に谷を有する比較的平坦なプロファイルを有し、血
管等が密集した領域(第10B図)では、ほとんどの場
合、一方向(第10A図ではx方向)に細かな変動を有す
るプロファイルとなり他の方向(y方向)は比較的平坦
なプロファイルとなる。そこで、ここでは、このプロフ
ァイルの相違を利用して、腫瘍影候補として抽出された
血管等が密集した領域を腫瘍影から除外する。即ち、x
方向に並ぶ画素をm(m=1,2,…)、y方向に並ぶ画素
をn(n=1,2,…)で表わし、(m,n)で表わされる画
素の画像データをf(m,n)とする。このとき、次式に
示すように、領域A内の画像データの一次差分値の二乗
の平均値が算出される。
次に、腫瘍影として存続させるか腫瘍影から除外する
かを判定するための特性値C4として、上記ZxとZyのうち
値の小さい方min(Zx,Zy)、値の大きな方をmax(Zx,
Zy)としたとき、 が算出され、この特性値C4を所定のしきい値Th5と比較
し、C4≧Th5のとき腫瘍影として存続させ、C4<Th5のと
き腫瘍影から除外する。
尚、上記特性値C4としては(29)式で算出されるもの
に限られず、たとえば C2=|Zx−Zy| …(31) 等であってもよい。また上記例ではx,yの2方向の一次
差分f(m+1,n)−f(m,n),f(m,n+1)−f(m,
n)を求めたが、たとえば斜め方向(x方向,y方向のい
ずれとも直交しない方向)の差分を求めてもよい。
第3図に示すコンピュータシステム40内の判定手段4
では、以上のようにして、異常陰影候補抽出手段2で抽
出された腫瘍影候補が腫瘍影であるか否かの判定が行な
われる。
以上の実施例は、蓄積性蛍光体を用いて得られた人体
の胸部X線画像に典型的には円形として現われる腫瘍影
を抽出する例であるが、本発明は円形の腫瘍影の抽出に
限られるものではなく、また胸部X線画像に限られるも
のでもなく、さらに蓄積性蛍光体を用いるシステムに限
られるものでもなく、被写体の放射線画像を表わす画像
データに基づいて該放射線画像上の異常陰影を検出する
際に広く用い得る構成を備えているものである。
(発明の効果) 以上詳細に説明したように、本発明は異常陰影検出装
置は、互いに同一被写体および互いに異なるエネルギー
を有する放射線を用いて記録された複数のX線画像を表
わす複数の画像データS01,S02,…,S0nに基づいて、軟部
画像,骨部画像,および原画像を表わす画像データS1,S
2,S3を求め、これら各画像中に現われる異常陰影の候補
を抽出し、またいずれかの画像データに基づいて骨部の
位置情報を求め、軟部画像、骨部画像および原画像から
抽出された各位置の異常陰影候補のそれぞれについて、
軟部画像、骨部画像および原画像のいずれから抽出され
ているかおよび骨部上あるいは該骨の交差部上に存在す
るか否かに基づいて抽出された異常陰影候補が異常陰影
であるか否かを判定するようにしたため、異常陰影を高
精度に検出することができる。
【図面の簡単な説明】
第1図は、本発明の異常陰影検出装置の構成を明示した
ブロック図、 第2図は、X線画像撮影装置の一例を概略図、 第3図は、X線画像読取装置の一例と、本発明の異常陰
影検出装置の一実施例であるコンピューターシステムと
を表わした斜視図、 第4A図,第4B図,および第4C図は、それぞれ軟部画像,
骨部画像,および原画像の一例を略示した図、 第5図は、腫瘍影を抽出する実空間フィルタの例を説明
するために、X線画像上の所定の画素P0を中心に該画像
上に仮想的に描いた図、 第6図は、上記所定の画素P0を中心とした、第5図の線
分L1とL5の延びる方向(x方向)のX線画像のプロファ
イルの一例を示した図、 第7図は、所定の画素P0が腫瘍影内の画素であるか否か
の判定に用いる特性値の求め方を説明するための図、 第8図は、画像データfijグラジェント∇fij等のベクト
ルを示す図、 第9図は、第4B図に示す骨部画像の一部の拡大図をその
骨部画像データS2のグラフとともに示した図、 第10A図、第10B図は、一旦腫瘍影として抽出された、そ
れぞれ真正の腫瘍影および血管等の密集した領域のX線
画像とそのx方向,y方向のプロファイルを表わした図で
ある。 1……画像演算手段 2……異常陰影候補抽出手段 3……骨部抽出手段、4……判定手段 5,6……蓄積性蛍光体シート 10……X線撮影装置、20……X線画像読取装置 23……レーザ光源、26……回転多面鏡 29……輝尽発光光、30……光ガイド 31……フォトマルチプライヤ 40……コンピュータシステム 56……肋骨影

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】軟部および骨部から構成される被写体の放
    射線画像を表わす画像データに基づいて、前記放射線画
    像上の異常陰影を検出する異常陰影検出装置において、 互いにエネルギーの異なる少なくとも二種類の放射線を
    前記被写体の照射して得られた複数の放射線画像のそれ
    ぞれを表わす複数の画像データに基づいて、前記被写体
    中の主として軟部が記録された軟部画像を表わす軟部画
    像データと、前記被写体中の主として骨部が記録された
    骨部画像を表わす骨部画像データと、前記複写体中の軟
    部と骨部との双方が記録された原画像を表わす原画像デ
    ータとを求める画像演算手段、 異常陰影抽出フィルタを用いて前記軟部画像、前記骨部
    画像、および前記原画像のそれぞれを走査することによ
    り、これらの各画像中に現われる異常陰影の候補を抽出
    する異常陰影候補抽出手段、 前記放射線画像に現われる骨部の位置情報を求める骨部
    抽出手段、および 前記軟部画像、前記骨部画像、および前記原画像から前
    記異常陰影候補抽出手段で抽出された各位置の異常陰影
    候補のそれぞれについて、前記軟部画像、前記骨部画像
    および前記原画像のいずれから抽出されているかおよび
    前記骨部抽出手段で抽出された骨部上あるいは該骨の交
    差部上に存在するか否かを基づいて、異常陰影であるか
    否かを判定する判定手段を備えたことを特徴とする異常
    陰影検出装置。
JP1272211A 1989-10-19 1989-10-19 異常陰影検出装置 Expired - Lifetime JP2571132B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP1272211A JP2571132B2 (ja) 1989-10-19 1989-10-19 異常陰影検出装置
US07/599,928 US5123054A (en) 1989-10-19 1990-10-19 Abnormal pattern detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1272211A JP2571132B2 (ja) 1989-10-19 1989-10-19 異常陰影検出装置

Publications (2)

Publication Number Publication Date
JPH03133430A JPH03133430A (ja) 1991-06-06
JP2571132B2 true JP2571132B2 (ja) 1997-01-16

Family

ID=17510660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1272211A Expired - Lifetime JP2571132B2 (ja) 1989-10-19 1989-10-19 異常陰影検出装置

Country Status (1)

Country Link
JP (1) JP2571132B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400778B2 (en) 2003-05-07 2008-07-15 Canon Kabushiki Kaisha Diagnosis support apparatus and image processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162026A1 (ja) * 2020-02-10 2021-08-19 キヤノン株式会社 画像処理装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400778B2 (en) 2003-05-07 2008-07-15 Canon Kabushiki Kaisha Diagnosis support apparatus and image processing method

Also Published As

Publication number Publication date
JPH03133430A (ja) 1991-06-06

Similar Documents

Publication Publication Date Title
EP0599345A2 (en) Method for adjusting positions of radiation images
JP2574181B2 (ja) 異常陰影検出装置
US5123054A (en) Abnormal pattern detecting apparatus
JP2867055B2 (ja) エッジ判定方法および装置
JP2001202507A (ja) 画像の位置合わせ処理方法および位置合わせ処理装置
JP2571132B2 (ja) 異常陰影検出装置
JP2961437B2 (ja) 画像出力方法
JP2582669B2 (ja) 乳房腫瘤影の良性/悪性判定装置
JP2582667B2 (ja) 線状パターン幅演算装置
JP2582653B2 (ja) 異常陰影検出装置
JP2582664B2 (ja) パターン認識装置
JP2582660B2 (ja) 異常陰影検出装置
JP2867036B2 (ja) 異常陰影検出装置
JPH06215108A (ja) 放射線画像の位置合せ方法
JP2582665B2 (ja) 異常陰影検出装置
JP3165538B2 (ja) 放射線画像の位置合せ方法および装置
JP2867067B2 (ja) パターン判定方法および装置
JP2582666B2 (ja) 異常陰影検出装置
JP3661797B2 (ja) 放射線画像の位置合せ用対応点決定方法
JPH08215183A (ja) 石灰化検出方法および装置
JP2987634B2 (ja) 異常陰影判定装置
JP2987633B2 (ja) 異常陰影検出装置
JP2631747B2 (ja) 円形パターン判定方法および装置
JP2525650B2 (ja) 照射野輪郭候補点正誤判定方法
JP2561158B2 (ja) パターン認識装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071024

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071024

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 13

EXPY Cancellation because of completion of term