JPH08299315A - 1個またはそれ以上の放射線画像域を認識する方法 - Google Patents

1個またはそれ以上の放射線画像域を認識する方法

Info

Publication number
JPH08299315A
JPH08299315A JP8142201A JP14220196A JPH08299315A JP H08299315 A JPH08299315 A JP H08299315A JP 8142201 A JP8142201 A JP 8142201A JP 14220196 A JP14220196 A JP 14220196A JP H08299315 A JPH08299315 A JP H08299315A
Authority
JP
Japan
Prior art keywords
image
hypothesis
signal
hypotheses
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8142201A
Other languages
English (en)
Other versions
JP3111023B2 (ja
Inventor
Piet Dewaele
ピエト・デウエレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agfa Gevaert NV
Original Assignee
Agfa Gevaert NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agfa Gevaert NV filed Critical Agfa Gevaert NV
Publication of JPH08299315A publication Critical patent/JPH08299315A/ja
Application granted granted Critical
Publication of JP3111023B2 publication Critical patent/JP3111023B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

(57)【要約】 【課題】 放射線画像域を認識する。 【解決手段】 単一の画像の上に多重露出を行うために
X線に不透明な材料を使用することができる。得られた
画像はX線に不透明な材料が投げる陰影から得られる比
較的露出が少ない区域を含んでいる。多重露出の間の境
界、および各々の露出の内部における信号および陰影の
区域の間の境界の軌跡を自動的に決定する。このような
境界の軌跡に関する多くの仮説をつくり、ルール・ベー
スの推論ネットワークに関する結果に基づいて正しい仮
説についての最終的な決定を行う。

Description

【発明の詳細な説明】
【0001】
【本発明の分野】本発明はディジタル・ラジオグラフィ
ーの分野に関する。さらに詳細には本発明は放射線画像
域の遮蔽物(即ち照射線に対しスクリーンを部分的に遮
蔽する手段)により光誘導性燐のスクリーン上に放射線
の画像を記録するシステムにおいて、1種またはそれ以
上の放射線画像域を認識する方法に関する。
【0002】
【従来法の説明】放射線技師はX線に不透明な材料を使
用し被写体がX線に不必要に暴露されるのを防ぐことが
できる。この材料をX線ビームの経路に置き、診断上重
要でないと考えられる患者の部分を遮蔽する。得られる
像はX線に不透明な材料が落とす影から成る比較的暴露
されていない区域を含んでいる。
【0003】さらに放射線技師は得られる像の全体の区
域が露光するのを防ぐために、同様なX線に不透明な材
料を使用することができる。後で不透明な材料を移動さ
せると、空間的に重なり合わせないで同じ像を多数露光
させることができる。その目的は例えば同じ対象の二つ
の異なった像(即ち部分画像)を同じ画面上に並べて表
示することである。
【0004】コンピュータを使用するラジオグラフィー
においては、X線の画像を二次元の数の配列としてディ
ジタル化する。その数の大きさは患者を通って検出器に
到達したX線の強度に関係している。表示または印刷を
行う前に、この配列の値の縮尺を変更して、診断上興味
のある区域の視覚的コントラストを最大にする。このよ
うな縮尺の再調整は部分的にはX線強度のヒストグラム
に依存し、或いは適用できる場合にはその部分画像に依
存する。この機能を自動的に得る場合、各部分画像に対
して視準材料の落とす陰影を考慮に入れないでよい時に
最良の結果が得られる。何故ならばこの陰影は有用な情
報を全く含まず、強度ヒストグラムの低い方の端の大部
分を占めているからである。
【0005】視準材料の陰影区域が存在するために、像
をフィルム上に表示する場合さらに問題が生じる。ここ
では陰影部分は比較的明るく、修正せずに表示すると、
露光されていない区域が比較的大きな場合には特に、眩
光のために微妙な病変部の診断を誤る恐れがある。
【0006】下記に説明するような早期の研究は、X線
画像全体が1回だけ露出された(即ち多重露出を行われ
なかった)場合にだけ適用される。
【0007】Adachiの米国特許第4,952,8
07号には、視準材料は被写体を部分的に覆ってはいな
い、即ち陰影領域が画像の被写体部分にではなく周囲の
背景に接触しているということを仮定し、被写体または
背景に対応するピクセルだけを、即ち「信号」の区域を
選択することにより画像処理条件を調節する方法が記載
されている。しかし腰部の脊椎および肩の検査の場合の
ような多くの種類の検査において、X線による不必要な
被曝を避けるために、患者を部分的に遮蔽している。
【0008】米国特許第4,804,842号において
は、画像処理条件を調節するために、陰影区域のピクセ
ルに対応するヒストグラムの低い方の端部を除去する方
法が記載されている。
【0009】しかしヒストグラムを修正する方法だけで
は第2の問題、即ち眩光の問題を処理できない。それを
解決するためには陰影区域を信号区域から明確に区別し
て検出する必要がある。このようにして邪魔になる陰影
区域を表示過程から取り除く。さらに最適のコントラス
トを得るために最初の縮尺の再調整の問題を信号区域に
対してだけ行うことができ、この場合陰影区域は強度の
ヒストグラムに複雑な影響を及ぼすことはない。
【0010】信号/陰影区域を自動的に描画する分野に
おける初期の研究は解決を行うための断片的な試みに基
づくものであった。
【0011】提案された方法の多くは、信号/陰影の境
界と交叉すると考えられる予め決められた線に沿った第
1の差に関して閾値を設定することにより、候補の信号
/陰影部分の境界のピクセル(即ち信号区域と陰影区域
の間の境界にあるピクセル)を集めることに基づいてい
る。このような方法の典型的な例はFunahashi
の米国特許第4,970,393号に提案されている。
信号の区域は第1の差が正または負の一定の規定された
閾値を越えるピクセルによって取り囲まれた区域として
認識されている。
【0012】この方法の改良はヨーロッパ特許0 34
2 379号に提案されており、この方法では検索ライ
ンに沿った多くの候補のピクセルに等級を付け、信号/
陰影境界を組み立てる際に各検索ラインで最高の等級を
もつ候補だけを考慮する。両方の方法においてその中に
含まれる仮定は、信号/陰影境界がどの場所でも強いコ
ントラストをもっているということである。しかし多く
の場合、信号/陰影境界の部分に沿ったコントラスト
は、特に視準材料が体の極めて密度の高い部分を部分的
に覆っている場合、殆どゼロである。従って認識される
信号/陰影境界が大きな差をもったピクセルから組み立
てられている場合、一般に大きなギャップが起こる。
【0013】ヨーロッパ特許第0 285 174号に
おいては、ハフ(Hough)変換法を直接適用して、
多角形と仮定された信号/陰影境界を描く方法が提案さ
れている。差をとることより得られた期待される縁点に
対しハフ変換を行う。ここで行われる仮定は、信号/陰
影境界は部分的には直線であり、信号区域内部の線の特
性に関し高いコントラストをもっているということであ
る。しかし実験的事実によれば、信号区域内部の縁、例
えば骨の縁はしばしば信号/陰影境界に比べ高いコント
ラストをもっている。その結果直線状の骨の境界に対応
するハフ変換を行った空間の点は、実際の信号/陰影境
界の幾つかの部分よりも高いスコアをもつことができ、
この場合には描画処理は失敗に終わる。
【0014】ヨーロッパ特許第0 360 231号に
は別の方法が記載されている。画像を互いに隣接した重
なり合わないタイルの形に分割する。画像空間または周
波数空間において差をとることによりタイルの縁の内容
を示す統計的なパラメータを計算する。これによりタイ
ルを適当な画像域に属するかか否かで分類する。
【0015】本出願人等は多くの実験を行い、縁のコン
トラスト、即ち期待される信号/陰影境界の両側におけ
る局所的な統計的パラメータ、例えば平均値、最小値、
最大値、変動または空間的頻度係数に基づいた単一な基
準は、高度の信頼性、例えば>98%の信頼性をもって
放射線画像を描画するには不適当であるという結論に達
した。本発明出願人等は信号/陰影境界のコントラスト
が或る場合には消失することを見出した。即ち解剖学的
な構造は直線的であり、高いコントラストをもった縁を
もっている。散乱光が多く、放射線が体の幾つかの部分
を透過することが困難な場合、陰影区域の画像信号(局
所的な照射量を表す)はしばしば遮蔽されない(即ち診
断すべき)画像区域の信号よりもコントラストが大きく
なる。さらに本発明出願人等は放射線が殆ど透過しない
骨に対応した画像区域と、遮蔽された部分に対応する区
域との間には実質的に差がないことを見出した。両方の
種類の区域は平均値が極めて低く(即ち照射量が低
い)、同じような雑音レベルをもち(両方とも量が限定
されている)、他の特徴をもっていない(信号対雑音比
が非常に小さいから)ことを特徴としている。
【0016】成功の割合を高くするために好適な方法で
は、信号/陰影境界の位置(期待される信号/陰影境界
とも呼ばれる)に関する仮説を考え、縁のような或る仮
説の個別的成分を保持または破棄する代わりに、各仮定
を「全体として」保持または破棄するようにしなければ
ならない。
【0017】米国特許第4,952,805号記載の方
法では信号/陰影境界の位置に関する多くの仮説が考慮
されている。対応する候補の信号区域のそれぞれに対
し、二つの信号のヒストグラム、即ち候補の放射線画像
域についてその内部のピクセルに対するものと、外側の
ピクセルに対するものとを計算する。両方のヒストグラ
ムから決定された最大のクラス間の分離度によって特徴
付けられる候補の境界が認識された放射線画像域である
として選択される。クラス間の分離度は両方のヒストグ
ラムの間で殆ど重なりがない場合に高い値が得られるよ
うに定義される。従ってこの基準は放射線画像域の内部
の信号の値の範囲が遮蔽された区域の信号の値から十分
離れている場合だけしか有効ではない。しかし本出願人
等が種々の検査からディジタル・ラジオグラフィーに基
づいて証明したように、このようなことは多くの場合実
際には成立しない。また上記の方法の適用可能性に関し
実際的な限界が存在する。即ち放射線画像域の位置に関
する仮説の数は取り扱いできないほど多い。
【0018】一般に従来法では、放射線画像域の境界が
実質的に非常に少数の殆ど局所的な基準に基づいている
ような方法に焦点が当てられて来た。広い範囲に亙り検
査を再検証すると、個々の基準は非常に限られた場合に
しか当て嵌まらないことが確かめられる。局部的な画像
の特徴から全体的な制限に亙る多くの証拠を組み合わせ
た場合にだけ、高い成功率が得られるのである。
【0019】Agfa−Gevaert N.V.社の
ヨーロッパ特許明細書A−610.605号に従えば、
境界の位置に関する多くの仮定がつくられ、正しい仮定
に関する最終的な決定は互いに適用される幾つかの高度
の試験結果に基づいて行われる。
【0020】ヨーロッパ特許明細書A−610.605
号には、(i)X線画像から低レベルの原始特徴(pr
imitive){X(i,j)}を抽出し、(ii)
この原始特徴からそれよりも数の少ない中間的な原始特
徴を見出し、(iii)この中間レベルの原始特徴の組
み合わせから単一の陰影境界の位置に関する仮説をつく
り、この過程において各組み合わせについて中間レベル
の試験を行ってその仮説の一部または全部を破棄するか
または受け入れ、(iv)各仮説について高レベルの試
験を行ってその仮説を破棄するかまたはある程度のコス
トを付けてを受け入れ、(v)最もコストの少ない仮説
を選択する過程から成る、ディジタル信号表現で表現さ
れたX線画像の中で信号/陰影境界の位置を決定する方
法が記載されている。
【0021】患者の周りに視準材料を置き、多重露出を
行うように工夫する場合の放射線技師の挙動は、広い意
味において一組の簡単な規則によって特徴付けられる。
この発明においては部分的に見て輪郭が直線で表される
陰影を生じるような視準材料だけを使用するものとされ
ている。さらに詳細には、個別的な露光に対し、信号と
陰影区域の間の境界は任意の位置と向きをもった矩形と
仮定する。信号区域はその内部にあり、矩形の境界の任
意の部分は(矩形の)検出器に対し、従って画像の配列
に対し保護されていてもいなくてもよいと仮定する。図
1参照。また多重露出が出来るようにするためのX線に
対して不透明な材料(マスク)の位置は、常に画像を二
つのほぼ等しい部分に垂直または水平方向に分割するよ
うな位置であると仮定する。図2参照。多重露出と患者
の遮蔽(視準)とを組み合わせ、多くの種類の露出区域
の形をつくることができる。図3参照。
【0022】
【本発明の目的】本発明の目的はマスクとして放射線画
像域の遮蔽を使用し放射線の画像を多重露出したシステ
ムにおいて、単一の放射線画像の中にそれぞれ独立に獲
得された多数の放射線画像域を認識する方法を提供する
ことである。
【0023】本発明の他の目的はX線画像がディジタル
信号表現により表現され、多重露出境界がマスクを使用
して得られる二つまたはそれ以上の部分画像の間の境界
の軌跡であるようにX線画像の多重画像境界の位置を決
定する方法を提供することである。
【0024】本発明のさらに他の目的は該方法をディジ
タル・ラジオグラフィー・システムに適用することであ
る。
【0025】本発明のさらに他の目的は以下の説明から
明らかになるであろう。
【0026】
【本発明の説明】上記目的を達成するために、本発明に
おいては(i)x線画像から低水準の線の原始特徴を抽
出し、(ii)この低水準の原始特徴から中間水準の原
始特徴をつくり、(iii)中間水準の原始特徴の組み
合わせから多重露出境界の軌跡に関する仮説(hypothese
s)をつくり、(iv)該仮説の各々に対してコストを付
け、(v)分割を行うためのルール・ベースの推論ネッ
トワークを介して該仮説の各々に評価試験を行い、(v
i)該仮説の各々にコストを付け、(vii)付けられ
たコストが最も小さい仮説を選び、(viii)選ばれ
た仮説によって画像を部分画像に分割し、(ix)次い
で信号/陰影境界を検出するために該部分画像の各々に
対し下記(ix)〜(vii)の過程を行い、(x)各
部分画像から低水準の原始特徴を抽出し、(xi)部分
画像から抽出された低水準の原始特徴から中間水準の原
始特徴をつくり、(xii)中間水準の原始特徴の組み
合わせから信号/陰影境界の軌跡に関する仮説をつく
り、(xiii)該仮説の各々にコストを付け、(xi
v)視準に関するルール・ベースの推論ネットワークを
介して該仮説の各々に対し評価試験を行い、(xv)該
仮説の各々にコストを付け、(xvi)付けられたコス
トが最も小さい仮説を選択し、(xvii)信号と陰影
区域を表すバイナリー値をもつマスク画像をつくり、該
バイナリー値をもったマスク画像を使用してX線画像中
の信号区域を抽出する過程からなることを特徴とするデ
ィジタル信号表現で表現された多重露出X線画像中の部
分画像の間の多重露出境界を決定し、各部分画像中の信
号/陰影境界を決定する方法が提供される。
【0027】本発明は二つの推論ネットワーク(ルール
・ベース・システム)を含んでいる。このネットワーク
はそれぞれのノードにおいて、多重露出境界および信号
−陰影境界の両方に関する仮定の構築、コスト付け、お
よび評価に対するルールを含んでいる。分割すべき境界
を検出し、部分画像の信号−陰影境界を検出するには異
なった組のルールを使用する。第1の組のルールは分割
ルール・ネットワークと呼ばれ、第2の組のルールは視
準ルール・ネットワークと呼ばれている。
【0028】これらのネットワークは次の性質をもって
いる。
【0029】(a)仮説を先ず位相的特性として、次に
幾何学的な構造タイプとして分類するような推論ネット
ワークの配置。
【0030】(b)このように分類された仮説をさらに
精密化し評価するネットワークの配置。
【0031】(c)ルールの挙動を相互作用的に変更
し、次いで現在の仮定を評価してこの変更の結果を監視
することによりネットワークを訓練する能力。
【0032】ヨーロッパ特許明細書610 605号記
載の方法との主な差は次の通りである。
【0033】(A)各X線画像において多重露出境界お
よび(恐らくは二つ以上の)信号/陰影境界を同時に検
出出来る点。
【0034】(B)多重露光境界および信号/陰影境界
の位置に対し構造型の分類、精密化および評価を具体化
した推論ネットワークを利用した点。
【0035】本発明方法を用いれば、多重露出境界およ
び信号/陰影境界、並びにそれに付随した区域の幾何学
的形状、位相幾何学的性質および統計的性質についてエ
キスパート・システム型の知識によるコーディングを行
うことができる。
【0036】本発明は例えば部分的に遮蔽された被写体
をX線に露出して得られる画像を光誘導性燐のスクリー
ンに露出し、このスクリーンを励起用放射線で走査し、
誘導により放射される光を検出し、検出した光をディジ
タル信号表現に変換することによって得られるディジタ
ル画像信号に応用することができる。
【0037】通常ディジタル信号はこれを出力装置に送
って再生または表示する前に、これに対してコントラス
トの増強および信号から密度マップへの変換のような画
像処理が行われる。X線画像のコントラスト増強処理の
結果に対し、そのX線画像の各部分画像の診断に用いら
れる信号部分について別々の計算を行うことにより精密
化が施される。別々の計算の結果を各部分画像に独立に
適用し、最適のコントラストをもった画像の信号部分を
つくり、診断の際眩光部分が生じるのを避けるために陰
影区域の明るさを減少させる。
【0038】本発明の特許請求の範囲および以下の説明
において、「X線画像」という言葉は、二次元の物理的
検出器、例えば光誘導性燐のスクリーンに到達するX線
の強度に関連した大きさをもつ数を要素とした配列とし
て表現された二次元のディジタル画像表現を意味するも
のとして使用される。
【0039】「原始特徴」という言葉は、低水準の画像
処理の結果、画像から抽出された線(図5参照)と隅、
交点等(図6参照)のような特徴を意味する。
【0040】「中間水準の原始特徴」は仮説をつくる際
に総括的に考え得る(基本的な)原始特徴の組み合わせ
である。中間水準の原始特徴は(基本的な)原始特徴に
比べ一般に数が少なく、(空間的に)大きな部分を占め
ている。各原始特徴はピクセルの互いに排他的な組から
つくられる。中間水準の原始特徴の各々は(基本的な)
原始特徴の相互に排他的な組からつくられる。例えば線
(原始特徴)を組み合わせて線クラスター(中間水準の
原始特徴)にする例を図7に示す。この場合線クラスタ
ーLc(図7(c))は2本の線l3およびl4(図7
(b))を一緒にして単一の実在要素とした結果得られ
る。
【0041】「信号区域」という言葉はX線源から光線
が直接当たる直線的な視野が視準材料によって隠されて
いない画像の空間的な区域を意味する。図1b参照。
【0042】「陰影区域」という言葉はX線源から光線
が直接当たる直線的な視野が視準材料によって隠された
画像の空間的な区域を意味する。図1b参照。
【0043】「多重露出境界」はX線遮蔽材料の縁が画
像の上に突き出した部分である。(図2参照)。図3
(a)および図3(c)のように、各々の部分画像にお
ける視準材料のによってはその突出部を横切ってコント
ラストが殆どまたは全くない場合もあり得る。この場合
「多重露出境界」は、いずれかの部分画像の信号区域と
交叉することなく、画像を二つの部分画像に分割する直
線を意味する。
【0044】「信号/陰影境界」は信号区域と陰影区域
との境界の軌跡である。例えば信号区域と陰影区域の間
の境界のピクセル値である。
【0045】本発明方法の過程(i)および(ii)に
より多重露出境界の位置に関し組み立てて仮定をつくる
ことができる数の減った原始特徴の組が得られる。同様
に各部分画像に対しては本発明方法の過程(vi)およ
び(vii)によって信号/陰影境界の位置に関し組み
立てて仮定をつくり得る数の減った原始特徴の組が得ら
れる。
【0046】視準材料の検出に関連し、「仮説」は、元
の画像を信号および陰影区域へ、例えば信号および陰影
区域に対するピクセルのラベルを用いつくられたX線画
像と同形をなす数を要素とした二次元配列へ分割する
(同様な区域への分割)ために、本発明方法により提案
された可能な解として定義される。
【0047】仮定は数を減らされた(中間水準の)組を
基にして生成される。何故ならば低水準原始特徴の数は
多すぎてすべての可能な組み合わせをとり(過程iii
およびix)全部について評価する(過程ivおよび
x)ことはできないからである。
【0048】過程(v)および(xi)を参照すると、
中間水準の原始特徴のすべての位相幾何学的組み合わせ
から成る推論ネットワークにより徹底的な検索(評価を
含む)を行った後、最も小さい欠点をもった過程が解と
して採用される。
【0049】過程(xii)においては、多重露出境界
に対する解(もし存在すれば)、および信号/陰影境界
(各部分画像の)の解を組み合わせることにより、最終
結果が組み立てられる。この最終結果は信号区域(の各
々)に対して特有な各ピクセルに(整数の)ラベルが付
けられ、また陰影区域に特有な各ピクセルにラベルが付
けられたマスク画像である。
【0050】項(a)における「推論ネットワーク」と
は、各ノードが現在の仮説に作用を及ぼすバイナリー値
をもったルールに対応し、親のノードでのルールの値が
真の場合、それぞれの親のノードから子のノードへと向
かう矢印が現在の仮説に対し親から子へ至る制御の流れ
を示す方向付きのグラフを意味する。図8参照。
【0051】それぞれ独自の入力点と末端ノードを有す
る実質的に独立した推論ネットワークが二つ存在する。
この二つのネットワークは多重露出仮説の評価、および
視準(信号/影)仮説の評価に使用される。
【0052】項(a)に置ける「構造型」は原始的な
−位相幾何学的および形状幾何学的− (或る仮説に属
した)配置であり、推論ネットワークの主要分枝に対応
する付随したルールの組に依存していることができる。
項(b)で述べられているように、これらの主要な(構
造型の)各分枝の内部で、該構造型に付随した特定の幾
何学的および統計的特性を強調しながら構造型の確定、
精密化および評価を行うルールが設計される。図9参
照。
【0053】次に添付図面を参照して本発明の特定の実
施例および好適具体化例を説明する。
【0054】
【実施例】過程(i)および(ii) 線の検出とクラ
スター化 これらの過程はヨーロッパ特許明細書A−610 60
5号に過程(i)および(ii)として詳細に説明され
ている。
【0055】これらの過程はヨーロッパ特許明細書A−
610 605号記載のシステムと変わっていない。即
ち低水準の画像処理と解析を全画像に対して適用する。
【0056】しかし本発明のシステムにおいては、その
結果を多重露出境界の検出と局所化(過程iii、iv
およびv)の問題に適用するが、以前のシステムにおい
ては信号/陰の境界の検出および局所化(この場合は過
程ix、xおよびxi)に適用して来た。
【0057】過程(i)および(ii)は次のように行
われる。
【0058】過程(i) 低水準原始特徴の抽出 好適な低水準原始特徴は線である。これはX線画像から
2段階で、即ち縁の検出と分割化により得られる。
【0059】1.1 縁の検出 この段階の目的は縁画像をつくることである。
【0060】本発明のシステムにはキャンニー(Can
ny)の縁検出処理法が含まれている。
【0061】キャンニー縁処理法に使用される幾つかの
述語について下記の定義を行う。
【0062】キャンニー縁処理法:随時平滑化を行い、
次いで縁画像をつくっている縁を検出するための特定の
方法。この場合、或るピクセルが存在する点におけるソ
ベル(Sobel)の二乗値が、ソベルの方向に対して
垂直な(一次元の)軌跡に沿って局所的な最大値である
場合、且つその場合に限り、そのピクセルに縁ピクセル
としての印が付けられる。
【0063】キャンニーの縁画像{E(r)}は画像の
勾配の方向、即ちソベルの方向に垂直な方向のソベル二
乗値に対し、非極大値抑制法(non−maximal
suppresion)を適用してつくられる。
【0064】 G(r)>G(r+Rq)>=G(r−Rq)の時 E(r)=1 それ以外の場合 E(r)=0 ここでRq
【0065】
【数1】
【0066】rをベクトルとすれば、rqは画像面上の
二次元座標を表す(例えばr=(i,j))。
【0067】平滑化された画像:X線画像から誘導され
る固有画像。この場合低い空間的な周波数に比べ高い空
間的な周波数は抑制される。例:X線画像に対し(二次
元の)ガウス関数を用いてコンヴォリューション(co
nvolution)処理を行って得られた結果。
【0068】ソベルの二乗値:下記の式によって決定さ
れる画像{x(i,j)}の勾配の大きさの二乗を表す
ピクセルの値G(i,j)。
【0069】G(i,j)={X(i+1,j)−X
(i−1,j))2+{X(i,j+1)−X(i,j
−1))2 ソベルの方向:下記の式で決定された画像{X(i,
j)}の等勾配の大きさに対する切線方向を表すピクセ
ルの値Q(i,j)。
【0070】Q(i,j)=atan2(X(i+1,
j)−X(i−1,j)),X(i,j+1)−X
(i,j−1)) ここでatan2(y,x)は区間[−π、π]で定義
される逆正接C言語関数である。
【0071】本発明のシステムに導入されている縁検出
処理法は4つの段階から成っている。
【0072】1.1.1 X線画像の減数サンプリング 減数サンプリングにより画像のピクセルの数が減少す
る。例えば光誘導性燐のスクリーンに保存された放射線
の画像を読んで得られた約5,000,000個のピク
セルから成る元の画像のピクセル数は、元の画像のアス
ペクト比を保存したまま約20,000の12ビットの
ピクセルに減数させる。
【0073】減数サンプリングした画像をキャンニーの
縁検出器に通してソベル二乗値{G(i,j)},ソベ
ルの方向{Q(i,j)}および縁画像{E(i,
j)}をもつ画像をつくる。対称的な5×5の重み付き
のコンヴォリューション・マスクを用いて計算してガウ
ス関数による平滑化を行い、標準偏差0.35ピクセル
を得た。
【0074】1.1.3 弱い縁の除去 勾配が小さい縁点は弱い縁を示している。研究の結果信
号/陰影境界は一般にコントラストが大きく、大きな勾
配の値を与える。従って非常に弱い縁が信号/陰影境界
の一部になることはあまりない。閾値2000より小さ
いソベル二乗値は{E(i,j)}から、またそれに対
応して{Q(i,j)}から除去される。
【0075】1.1.4 軌跡の角度 縁の画像{E(i,j)}の中の縁点の軌跡の向き{O
(i,j)}は縁の細線化、連結性の解析、線形回帰の
3段階で行われる。
【0076】1.1.4.1 細線化 縁画像に対し幅を細くして細線化を行う。その目的は三
つある。
【0077】1.一致度を含む回帰直線のパラメータを
縁点の空間的分布から、より正確に決定する。
【0078】2.種々の種類の分岐部(末端、T−分岐
点、...)を一層容易に検出する。これは隅を検出す
るのに必要である(下記参照)。
【0079】3.そうすると直線の長さとそれをつくる
(連結された)縁ピクセルの数との間に密接な対応性が
できる。これは線の統計処理に対し必要である(下記参
照)。
【0080】細線化は、縁ピクセルの中で他の縁ピクセ
ルの局所的(3×3)連結性に影響を与えないピクセル
を除去することにより達成される。
【0081】1.1.4.2 連結性の解析 縁を反復的に跡って行くことにより連結された縁に一意
的に印(ラベル)を付け、ラベル画像{L(i,j)}
をつくる。互いに連結したすべての縁ピクセルは共通
の、他の点については一意的な印を分け合っている。
【0082】1.1.4.3 線形回帰 この点について先ず下記の定義を行う。
【0083】線形回帰:構成要素である縁ピクセルの空
間的位置に従って縁を最適な方法でパラメータ化し得る
処理法。例:(Y軸の値に対し)最小二乗法を適用し、
直線のパラメータ、即ち(原点からの)法線距離とX軸
に対する向きを決定する。重み付き線形回帰:構成要素
であるピクセルの空間的位置、およびその正しい分類
(ラベル)に関する精度の両方に従って縁を最適な方法
でパラメータ化し得る処理法。例:(Y軸の値に対し)
重みとしてソベル二乗値を用い、重み付きの最小二乗法
を適用し、直線のパラメータ、即ち(原点からの)法線
距離RWLRとX軸に対する向きQWLRを決定する。
【0084】pkを線を構成する縁ピクセル(番号k)
の位置 pk=(pk (x),pk (y)) とし、また位置の共変マトリックスをΓ
【0085】
【数2】
【0086】とし、{x,y}のa,bに対して
【0087】
【数3】
【0088】で与えられるとすると、
【0089】
【数4】
【0090】となる。Γの固有値λ+λ-は各主軸方向
の、即ち最も良く合った直線に沿った方向およびそれに
垂直な方向の残渣平方和である(即ち分散に比例す
る)。
【0091】
【数5】
【0092】本発明のこの具体化例においては、各点に
おける軌跡の向きは局所的な隣接点(7×7)の中の連
結された縁点について線形回帰を行うことにより計算さ
れる。{L(i,j)}において共通の印(ラベル)を
もったピクセルだけを含ませることにより連結性が保証
される。位置の共変マトリックスはデータの最大分散の
方向を与え、これはまた自由度2をもつ最少二乗法で合
わせた直線の向きである。
【0093】重み付き線形回帰の定義を参照すれば、w
k=1の場合、Q(i,j)=QWLRは元の縁の向きに関
係なく縁点の軌跡の向きである。軌跡の向きにおける不
確定性はソベルの方向Q(r)の概念を用いると解決す
る。等しいソベル二乗値をもつ等高線に対する切線の向
きは、常にキャンニーの縁検出器によって決定された縁
点の軌跡に対する切線の向きに近い。
【0094】従ってこの方向を調節してO(i,j)と
Q(i,j)との角度間隔を最小にする。
【0095】
【数6】
【0096】ここでnは結果が[0,2π]の範囲に入
るように選ばれる。
【0097】1.2 分割化 線の原始特徴は残った縁からつくられる。縁ピクセルの
連鎖を分解しきれぎれの直線部分にし、各直線部分から
得たピクセルを組み立てて線構造をつくる。この処理に
は4段解がある。
【0098】1.2.1 頂点解析 固有画像{V(i,j)}は{E(i,j)}における
縁ピクセルの分類に用いた印を使用してつくられる。
{E(i,j)}の縁ピクセルの3×3の連結性に従っ
て、次の印の一つを{V(i,j)}の対応する点に与
える。ISOLATED−POINT(分離した点)、
TERMINAL(末端点)、EDGE−POINT
(縁の点)、T−JUNCTION(T−分岐点)、X
−JUNCTION(X−分岐点)。
【0099】1.2.2 隅の検出 {V(i,j)}の印、EDGE−POINTの精密化
により隅を検出する。これには2段階がある。
【0100】1.2.2.1 曲線の検出 {V(i,j)}においてEDGE−POINTの印に
対応する各ピクセルに帰属された値を用い固有画像{U
(i,j)}を計算する。[U(i,j)}のピクセル
値は7×7の隣接点における{E(i,j)}の縁ピク
セルが直線に局所的に一致する目安を示す。位置の共変
マトリックスはすべてのwk=1にして1.1.4.3
記載の方法で計算する。
【0101】一致度(直線に対する)は位置の共変マト
リックスの固有値の大きな値対小さな値の比λ+/λ−
としてとられる。この一致度が閾値よりも小さい場合、
{V(i,j)}で予めEDGE−POINTの印を付
けられたピクセルにCURVEの印を付け直す。
【0102】V(i,j)=EDGE−POINTで且
つλ−λ+>0.04ならばV(i,j)=CURVE
である。
【0103】1.2.2.2 非極大値の抑制 {U(i,j)}のピクセルが共に{V(i,j)}の
CURVEの点であり(即ち或る閾値より大きい値をも
ち)、3×3の隣接点において局所的な極大値である場
合、{U(i,j)}のピクセルを隅であると識別す
る。この時{V(i,j)}の対応するピクセルにCO
RNERS(隅)という印を付け直す。
【0104】1.2.2 連結された隅の抽出 なおEDGE−POINTの分類を保持している{V
(i,j)}のピクセルは低水準原始特徴の中に包含さ
せる候補である。このようなピクセルを{V(i,
j)}から抽出し、例えば{S(i,j)}にする。こ
れは固有画像年手の線形分割である。ピクセルの各連結
された連鎖には{S(i,j)}の中で一意的な印が付
けられる。次いで各連結されたピクセルの組を集めて低
水準原始特徴である線構造にする。
【0105】1.2.2.1 短い線の除去 研究の結果によれば、信号/陰影境界の両側には一般
に、縁検出器が縁ピクセルの切れていない連鎖を与える
ような長さをもった部分が、少なくとも若干存在するこ
とが示されている。従って誤った画像を得るのを避ける
ために、該境界の片側は非常に短い縁の連鎖ばかりから
成っているのではなく、実質的な長さをもった線が(線
のグループの中に)少なくとも1本存在しなければなら
ないという暗黙の規則をつくる。従って線の原始特徴を
分割し抽出する前に、或る閾値より短い縁ピクセルの連
鎖をこの時点において({S(i,j)}から)除去す
る。この方法により、精度を落とすことなく、低水準原
始特徴の数を減少させる。短い線はデータ検索に続く最
終的な仮説の一部になることができる。
【0106】1.2.3 重み付き直線回帰 各線に対し重み付き直線回帰を行い、この方法により最
適パラメータ(原点に対する法線および向き)と一致度
が記録される。重みは寄与する縁ピクセルのソベル二乗
値を最大のソベル二乗値で割った値である。
【0107】
【数7】
【0108】1.2.3.1 悪い線の除去 線はもはや「局所的な」実在要素ではない。ここでその
線の中の縁のピクセルの(任意の大きさの)数によって
与えられる余分の精度に従って許容度の小さい閾値を用
い直線への一致度の試験を繰り返す。
【0109】1.2.4 線形外挿法 残った線についてそれが画像の縁と交叉するか、または
その線に属さない({S(i,j)}の印から決定し
て)縁の点と交叉するまで各端から外挿を行う。このよ
うにして決定された「極限」を線構造に保存する。その
線の二つの端に対応する二つの極限の各々を区別する。
この区別は線の向きに関係がある。
【0110】1.2.5 データ検索 ここで{V(i,j)}の中でEDGE−POINTと
分類されない(恐らくCORNER、CURVEまたは
JUNCTIONと印を付け直されたため){E(i,
j)}から縁の点を回収する。各線に対し、回帰によっ
て得られたパラメータRWLRおよびQWLRによって与えら
れる線の延長上にそれぞれ中心を置く(配置された)二
つの矩形の区域を{E(i,j)}の中で走査する。こ
の矩形は線の終点から外挿によって決定される極限まで
延びている。この矩形の幅は5ピクセルである。ここで
今までこの線に寄与していなかった{E(i,j)}の
すべての縁の点が含まれる。
【0111】過程(ii) 中間水準の原始特徴の抽出 2.1 線形集団クラスター化 この点に関して下記の定義を行う。
【0112】「線形集団クラスター化」は一般に十分に
類似していると考えられる(或る基準で)線を一緒にグ
ループ化する繰り返し処理である。例:分散試験の解析
に基づく対にした集団クラスター化処理。広義にはPr
oc.IEEE Cont.on Automatio
n and Robotics誌、1986年版、29
9〜304頁記載のJ.F.Silvermanおよび
D.B.Cooperの「画像または領域データにおけ
る平滑表面への多項式近似の非管理的評価」と題する論
文参照。混ぜ合わせ可能な実体要素は区域ではなくて線
であり、二つの混ぜ合わせ可能な区域が接触するという
拘束条件は2本の線(または線クラスター)が線形的に
コヒーレントであるという拘束条件で置き換えられる。
【0113】「分散の解析」とは内在する分布がガウス
関数であるという仮定の下に二つの試料分布(の類似性
を)を比較する統計的方法である。但し分散は未知であ
る。この方法でF−統計が決定される。これは真の自由
度を考慮して正規化された二つの試料の分散の比であ
る。
【0114】同じ親分布をもつ二つの分布の類似性を決
定する試験の場合、この比は説明不可能な分散と説明可
能な分散との比である。対にするクラスター化に適用す
る場合、説明不可能な分散は提案された混ぜ合わせ処理
によって齎される余剰分である。
【0115】
【数8】
【0116】ここでa,bおよびmはそれぞれ分離され
た項目および混ぜ合わされた実体要素を表し、χおよび
νはχ2変量および対応する自由度を表す。説明可能な
分散は提案された混ぜ合わせ処理を行う前の分散
【0117】
【数9】
【0118】をもつF統計である。
【0119】F統計を使用して偶然に起こるより以上の
確率値を与える累積分布関数Q(F|νa,νb)に番
号を付ける。説明不可能な分散(上記のように分数の値
として)が小さいと、Fは小さく、Q(F|νa,ν
b)は大きい。この場合実体要素は安全にクラスター化
される。
【0120】本発明の上記具体化例においては、線に対
しその線形コヒーレンス試験に従って線形集団クラスタ
ー化を行う。線または線クラスターの対のすべてに対
し、この対が線形コヒーレンス試験に合格すれば、分散
に基づくF統計を計算する。最大の確率Q(F|νa,
νb)をもった対を混ぜ合わせる。混ぜ合わされた線ク
ラスターのパラメータおよび限界を重み付き線形回帰を
使用して再計算する。どの線クラスターも線形コヒーレ
ンス試験に合格しなくなるまで全過程を繰り返す。
【0121】2.1.1 線形コヒーレンス 定義:線形的なコヒーレンス性をもっていること:2本
の線または線クラスターは、それが潜在的に矩形の信号
/陰影境界の同じ側の一部をなすことができる場合、線
形的にコヒーレンスであると言われる。
【0122】線形集団クラスター化:十分に類似してい
ると考えられる(或る基準で)線を一緒にグループ化す
る繰り返し処理。例:分散試験の解析に基づく対にした
集団クラスター化処理。広義には前記Silverma
nおよびCooperの論文参照。但し混ぜ合わせ可能
な実体要素は区域ではなくて線であり、二つの混ぜ合わ
せ可能な区域が接触するという拘束条件は2本の線(ま
たは線クラスター)が線形的にコヒーレントであるとい
う拘束条件で置き換えられる。
【0123】本発明の具体化例においては、線形集団ク
ラスター化を行う際、各線または線クラスターに対し線
形コヒーレンス試験を行う。
【0124】2本の線または線クラスターがクラスター
化を行うための実際の候補になるためには、 1.これらの線は近似的に同一直線性をもっていなけれ
ばならない。
【0125】2.それらの外挿値は重なるか接触しなけ
ればならない。
【0126】2.1.1.1 同一直線性 次の場合2本の線クラスターは同一直線せいをもってい
ると決定される。
【0127】1.線クラスターが近似的に平行である場
合、即ち
【0128】
【数10】
【0129】の場合、および 2.2本の線クラスターの間の最近接間隔が或る閾値よ
り小さい場合、即ち dc < 4ピクセル の場合。
【0130】2.1.1.2 重なっている線 2本の線クラスターはそのいずれかが他方に対し垂直の
投影をもっている時重なった外挿部分を有すると言われ
る。
【0131】2.1.2 分散解析 二つの試料分布が同じ親分布から生じている可能性を試
験するためには、分散解析に基づくF統計を用いる。分
散解析および重み付き線形回帰の定義を参照すれば、χ
2変量は最も合った直線の残渣平方和である。
【0132】χj 2=λ-(j) ここで線クラスターの番号jはa,b,mの中の任意の
ものである。対応する自由度は νa=Na−2 νb=Nb−2 νm=Na+Nb−2 ここでNaおよびNbは線(それぞれ印aおよびbが付け
られた)の縁のピクセルの数である。
【0133】過程(iii) 仮説の構築および検証 探索木の役割は多重露出画像の証拠となり得る最大二つ
の線クラスターをもったすべての仮説を見出すことであ
る。多重露出境界に対して最大二つまで線クラスターを
許す理由は、各部分画像を保護するためのX線マスク材
料を配置する場合、完全に縁を合わせないでも良いよう
にするためである。完全に縁を合わせてマスクを配置し
た場合、図2に示すような単一の縁が得られるであろ
う。図10には部分画像を完全にきちんと配置しなかっ
た場合に起こる可能な状況が示されている。これらは2
本の線クラスターを含む、従って探索木の3番目の水準
の段階にある仮説に対応している。
【0134】探索木は線クラスターのすべての論理的に
正しい組み合わせから作られる。探索木は画像が多重露
出ではなく単一露出であることを示すヌル仮説に対応し
たルート・ノード(線クラスターなし)から出発する。
【0135】探索木は最大三つの水準をもっており、そ
れらはヌル仮設の水準、および多重露出境界をつくり得
る2本の線クラスターのそれぞれに対する水準に対応し
ている。探索木の各ノードはそれ自身独立に一つの仮説
を表している。探索木における線クラスター間の連結、
仮説およびノードを図11に例示する。
【0136】図11を参照すれば、仮説の構築に関与す
る線(a,b,cおよびd)だけに印が付けられてい
る。実際にはすべての線クラスターおよび線クラスター
の対について完全な探索が行われ、それがある仮説に包
含され得るかどうかを試験する。しかしこの探索は線ク
ラスターが或る仮説の一部となり得るかどうかのみを選
択するための線クラスターの配置に関する一組のルール
に基づいている。例えばこの中には画像のほぼ中央にあ
り、ほぼ水平または垂直に走っているクラスターだけを
選ぶ規則が含まれる。
【0137】構築の段階で仮説のコスト(cost)を
計算する。この仮説の中にn個の線クラスターが存在
し、且つ各クラスター(番号k)に対して縁のデータが
存在する長さの割合がfkである場合、コストは
【0138】
【数11】
【0139】例:ヌル仮説は既定値として0のコストを
もっている。縁のデータで支持された長さの割合が0.
3の一つの線クラスターをもつ仮説はコストが−1.7
である。明らかに多くの線クラスターを含み、支持する
縁のデータが多い仮説の方が有利である。
【0140】過程(iv) 仮説の評価 各仮設は推論ネットワークを通って伝わって行く。ネッ
トワークの各ノードは、仮説がそのノードの下位のノー
ドの方へ伝播して行くためには真の値を返さなければな
らないルールを含んでいる。下位ノードのルールの値は
その上位ノードの値との論理的なANDである。共通の
上位ノードをもつノードでのルールの値は論理的なOR
である。図8に一例が示されている。即ち各仮設は複雑
な論理的表現に従い、仮説が証明されるためにはその値
は真でなければならない。
【0141】ルールは評価すべき仮説を含む線クラスタ
ーおよび得られる部分画像についての試験を含んでい
る。これらの試験により下記の量に制限(上限および下
限)が課せられる。
【0142】幾何学的形状:線クラスターの対の平行性
(二つ以上存在する場合)。
【0143】線クラスターの角度。
【0144】得られた部分画像のアスペクト比。
【0145】線クラスターの統計量:直線性。
【0146】完全性(画像の一辺から他の辺に至る)。
【0147】コントラスト(クラスターに垂直な方
向)。
【0148】部分画像の統計量:マスクが重なる区域の
平均グレイ・レベル(適用できる場合、図10b参
照)。
【0149】不完全なマスクの区域の平均グレイ・レベ
ル(適用できる場合)。
【0150】過程(V)結果の選択 推論ネットワークの末端ノードに到達するすべての仮説
は証明されていると考える。過程(iii)においてす
べての仮説がつくられると、過程(iv)において証明
されたコストが最も小さい仮説が結果として選ばれる。
既定値の仮説は画像が単一露出だけであるという仮説で
ある。この仮説は常に真であることが証明されるが、可
能な最高のコスト(=0)をもっており、従って他の実
現可能な仮説にを考慮して無視される。
【0151】過程(vi) 部分画像の分割 画像が多重露出されている場合、その画像は、受け入れ
られる仮説を含む線クラスターの軌跡と矛盾しない二つ
の部分画像に分割される。
【0152】唯1本の線クラスターが存在する場合、こ
れを切断のための指標として使用する。線クラスターが
画像の縁に正確に平行になっていれば、この軌跡で切断
を行う。画像の縁に正確には平行でない場合、2個の完
全な矩形の部分画像が得られるように線クラスターを二
分する。2本の線クラスターがある場合は、マスク部分
が重なった所または不完全にマスクが行われた帯状部分
で出来るだけ矩形になるように切断を行う。
【0153】この過程で得られる結果は1個(ヌル仮説
の場合)または2個の矩形の部分画像であり、これらの
画像を個別的に視準検出処理(過程vii〜xi)にか
ける。ヌル仮説の場合には、得られた(単一の)部分画
像は全体の画像と同一であると(以後)考える。
【0154】過程(vii)および(viii) 線の
検出とクラスター化 これらの過程は既にヨーロッパ特許A−610 605
号に詳細に(過程iおよびiiとして)記載されてい
る。これらの過程は前記の過程(i)および(ii)と
同じである。これにより部分画像に対し低水準の画像処
理および解析が行われる。
【0155】過程(ix) 仮説の構築とコストの計算 探索木の役割は信号/陰影境界の証拠となり得る最大4
個の線クラスターをもったすべての仮説を見出すことで
ある。
【0156】探索木は線クラスターのすべての論理的に
正しい組み合わせから作られる。探索木は現在の部分画
像において信号/陰影境界が存在しない、従って視準画
像が存在しないヌル仮説に対応したルート・ノード(線
クラスターなし)から出発する。
【0157】探索木は最大五つの水準をもっており、そ
れらはヌル仮設の水準、および信号/陰影境界をつくり
得る4本の線クラスターのそれぞれに対する水準に対応
している。探索木の各ノードはそれ自身独立に一つの仮
説を表している。探索木における線クラスター間の連
結、仮説およびノードを図12に例示する。
【0158】図12を参照すれば、すべての線クラスタ
ーおよび線クラスターの組み合わせに対し(最高4の深
さまで)完全な探索が行われ、或る仮説が含まれている
可能性を試験する。しかしこの探索は仮説の一部をなし
得る組み合わせだけを選ぶための線クラスターの組み合
わせの幾何学的形状に関する一組のルールに基づいてい
る。このルールには例えば (a)互いに直交(矩形の辺が)するクラスターだけを
選ぶためのルール。
【0159】(b)自分自身の間で、或いは部分画像の
隅を含む閉じた境界をつくる組み合わせを選ぶためのル
ールが含まれる。
【0160】例えばクラスターb、c、d、gまたはe
がいずれも片側の仮説をつくり得ないことは閉じた境界
のルールを強化することによって行われる。
【0161】構築の段階で仮説のコストを計算する。こ
の仮説の中にn個の線クラスターが存在し、且つ各クラ
スター(番号k)に対して縁のデータが存在する長さの
割合がfkである場合、コストは
【0162】
【数12】
【0163】例:ヌル仮説は既定値として0のコストを
もっている。縁のデータで支持された長さの割合が0.
3の一つの線クラスターをもつ仮説はコストが−1.7
である。明らかに多くの線クラスターを含み、支持する
縁のデータが多い仮説の方が有利である。
【0164】過程(x) 仮説の評価 各仮設は推論ネットワークを通って伝わって行く。ネッ
トワークの各ノードは、仮説がそのノードの下位のノー
ドの方へ伝播して行くためには真の値を返さなければな
らないルールを含んでいる。下位ノードのルールの値は
その上位ノードの値との論理的なANDである。共通の
上位ノードをもつノードでのルールの値は論理的なOR
である。図8に一例が示されている。即ち各仮設は複雑
な論理的表現に従い、仮説が証明されるためにはその値
は真でなければならない。
【0165】ルールは評価すべき仮説を含む線クラスタ
ーおよび得られる部分画像についての試験を含んでい
る。これらの試験により下記の量に制限(上限および下
限)が課せられる。
【0166】幾何学的形状:線クラスターの直交性(2
本以上ある場合)。
【0167】線クラスターの向き。
【0168】得られた信号区域が部分画像の中でどの程
度中心に存在するか。
【0169】得られた信号区域のアスペクト比。
【0170】線クラスターの統計量:直線性。
【0171】完全性(画像の一辺から他の辺へ至る)。
【0172】コントラスト(クラスターに対して垂直な
方向)。
【0173】区域の統計量:信号および陰影の区域の平
均グレイ・レベル。
【0174】信号および陰影の区域の分散。
【0175】信号および陰影の区域の縁の点の密度。
【0176】各クラスターの陰影の側の半分の面の平均
グレイ・レベル。
【0177】各クラスターの陰影の側の半分の面の縁の
点の密度。
【0178】過程(xi) 結果の選択 推論ネットワークの末端ノードに達するすべての仮説は
証明されると考える。過程(ix)においてつくられた
すべての仮説が試験されると、過程(x)で証明された
コストが最も小さい仮説が結果として選択される。既定
値の仮説は視準がなく、従って現在の部分画像が完全に
露出されているという仮説である。この仮説は常に真で
あると証明されるが、最高の可能なコスト(=0)をも
ち、従って他の実現可能な仮説を考慮して無視される。
【0179】過程(xii) バイナリー・マスク画像 バイナリー・マスクは過程(vii)〜(xi)を順次
繰り返し行うことにより決定されるような、信号区域の
すべてのピクセルを或る整数値に設定することにより作
られる画像である。或る信号区域のすべてのピクセルに
同じ整数を帰属する。この場合それぞれの信号区域には
異なった整数を用いる。残った(値0の)ピクセルは多
重露出マスクの重なり合った区域(図10b)の陰影の
区域にあるか、不完全なマスクの多重露出区域(例示せ
ず)にあると考える。このマスクをヒストグラムの同一
化および画像の表示に使用し、さらに処理を行い表示す
る機能に対するマスクとして使用する(元のX線画像に
対して行う)。
【0180】ネットワークの特性(a) 構造型の分類 多重露出および信号/陰影の推論ネットワークによって
それぞれ構造型の分類および精密化の方式が具体化され
る。構造型の分類とは、その分類に従う現在の仮説がは
っきりと定義された位相幾何学的特性および幾何学的形
状の組として通される(伝えられる)ように、ネットワ
ークの高い所にある(早い段階の)分枝が設計されてい
ることを意味する。多重露出ネットワークの場合、図1
3に構造型を例示する。信号/陰影の推論ネットワーク
の場合、これらの構造型は図14に示されている。
【0181】高い場所にある分枝のノードにおけるルー
ルはなおそれぞれ工程ivおよびxに記載された組に属
している。しかしこれらのルールの役割は主要な分枝の
一つの中にある下方深くにあるノードの方へ現在の仮説
を移動させる目的で、フィルターとして作用することで
ある。この意味において現在の仮説は構造型により分類
されていると考えられる。
【0182】ネットワークの特性(b) 精密化 仮説の分類を行った後、これが証明されると考える前に
他のルールを満足させねばならない。これらの精密化さ
れたルールを探し、与えられた位相幾何学的および形状
幾何学的な分類に対して広い意味で必要な線クラスター
または区域の統計量をもっていないすべての仮説を排除
する。これらの統計的な制限は、ネットワークの学習段
階から真の仮説に付属するように経験的に見出だされも
のである。適当な場合にはこの精密化の際に他の幾何学
的ルールを適用することもできる。
【0183】ネットワークの特性(c) 学習 ネットワークのすべての段階におけるルールの閾値は、
良い仮説と悪い仮説(真の仮説と偽の仮説)とがネット
ワークを通って移動するのを相互作用的に監視すること
によって得られる。仮説を分類する、即ち精密化/破棄
するために使用する関数のルールと矛盾しないようにル
ールの閾値を変更する。このような学習の目的は、すべ
ての真の仮説、および多くの偽の仮説が精密化の段階を
乗り切れるようなネットワークに到達することである。
このネットワークは以前に検証された仮説に関する記憶
を含んでおり、検証の際に行われる調節は以前の学習過
程と矛盾せず、ネットワークの挙動は安定な方向へ収束
する。
【0184】本発明の主な特徴及び態様は次の通りであ
る。 1.(i)x線画像から低水準の線の原始特徴を抽出
し、(ii)この低水準の原始特徴から中間水準の原始
特徴をつくり、(iii)中間水準の原始特徴の組み合
わせから多重露出境界の軌跡に関する仮説をつくり、
(iv)該仮説の各々に対してコストを付け、(v)分
割を行うためのルール・ベースの推論ネットワークを介
して該仮説の各々に評価試験を行い、(vi)該仮説の
各々にコストを付け、(vii)付けられたコストが最
も小さい仮説を選び、(viii)選ばれた仮説によっ
て画像を部分画像に分割し、(ix)次いで信号/陰影
境界を検出するために該部分画像の各々に対し下記(i
x)〜(vii)の過程を行い、(x)各部分画像から
低水準の原始特徴を抽出し、(xi)部分画像から抽出
された低水準の原始特徴から中間水準の原始特徴をつく
り、(xii)中間水準の原始特徴の組み合わせから信
号/陰影境界の軌跡に関する仮説をつくり、(xii
i)該仮説の各々にコストを付け、(xiv)視準に関
するルール・ベースの推論ネットワークを介して該仮説
の各々に対し評価試験を行い、(xv)該仮説の各々に
コストを付け、(xvi)付けられたコストが最も小さ
い仮説を選択し、(xvii)信号と陰影の区域を表す
バイナリー値をもつマスク画像をつくり、該バイナリー
値をもったマスク画像を使用してX線画像中の信号区域
を抽出する過程からなるディジタル信号表現で表現され
た多重露出X線画像中の部分画像の間の多重露出境界を
決定し、各部分画像中の信号/陰影の境界を決定する方
法。
【0185】2.該低水準の原始特徴は線であり、該中
間水準の原始特徴を線のグループであり、多重露出境界
に対する該仮説は多重露出境界が存在しないという仮説
を含めすべての可能な線クラスターおよび線クラスター
の対からつくられる上記第1項記載の方法。
【0186】3.多重露出境界の軌跡に関する仮説は下
記の試験、即ち − 今考えている仮説の中の線クラスターを外挿した時
に、各々の端が画像の縁に達している場合合格となる境
界の閉じ方に関する試験、 − 該線クラスターが画像の中心付近を通っている場合
に合格となる境界の位置に関する試験、 − 線クラスターが該画像の辺に殆ど平行である場合に
合格となる境界の配置に関する試験、 − 低水準の原始特徴からの証拠が存在する境界の周の
長さの割合が或る与えられた閾値より大きい場合に合格
となる境界の完成度に関する試験の論理的組み合わせか
らなる上記第1項記載の方法。
【0187】4.各多重露出の仮説に付けるコストは、
或る仮説が二つの殆ど平行な線クラスターから成る場合
に最低であり、或る仮説の目に見える線クラスターの数
が減少するにつれて該コストは増加し、仮説が線クラス
ターをもたない場合コストは最高である上記第1項記載
の方法。
【0188】5.X線画像の該ディジタル信号表現に対
して行われる画像処理は信号/陰影境界の内部の該画像
のピクセル値に限定される上記第1項記載の方法。
【0189】6.X線画像のディジタル信号表現は露出
された光誘導性燐のスクリーンを励起照射線で走査し、
誘導により放出される光を検出し、検出した光をディジ
タル信号表現に変えることにより得られる上記第1項記
載の方法。
【図面の簡単な説明】
【図1】典型的な信号露出画像に対する信号および陰影
の区域を示す。
【図2】多重露出の例である。
【図3】多重露出と視準画像とを組み合わせた例を示
す。
【図4】多重露出境界の位置を示す。
【図5】縁の定義を示す。
【図6】低水準の原始特性を示す。
【図7】線クラスターを示す。
【図8】推論ネットワークの例である。
【図9】信号/陰影境界の構造型を示す。
【図10】多重露出境界の形状を導き出す方法を例示す
る。
【図11】線クラスター、多重露出境界の探索木、およ
び仮説の間の関係を示す。
【図12】線クラスター、信号/陰影境界および探索木
の間の関係を示す。
【図13】多重露出推論ネットワークの構造型の完全な
組を示す。
【図14】視準(信号/陰影)推論ネットワークの構造
型の完全な組を示す。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 (i)x線画像から低水準の線の原始特
    徴を抽出し、 (ii)この低水準の原始特徴から中間水準の原始特徴
    をつくり、 (iii)中間水準の原始特徴の組み合わせから多重露
    出境界の軌跡に関する仮説をつくり、 (iv)該仮説の各々に対してコストを付け、 (v)分割を行うためのルール・ベースの推論ネットワ
    ークを介して該仮説の各々に評価試験を行い、 (vi)該仮説の各々にコストを付け、 (vii)付けられたコストが最も小さい仮説を選び、 (viii)選ばれた仮説によって画像を部分画像に分
    割し、 (ix)次いで信号/陰影境界を検出するために該部分
    画像の各々に対し下記(ix)〜(vii)の過程を行
    い、 (x)各部分画像から低水準の原始特徴を抽出し、 (xi)部分画像から抽出された低水準の原始特徴から
    中間水準の原始特徴をつくり、 (xii)中間水準の原始特徴の組み合わせから信号/
    陰影境界の軌跡に関する仮説をつくり、 (xiii)該仮説の各々にコストを付け、 (xiv)視準に関するルール・ベースの推論ネットワ
    ークを介して該仮説の各々に対し評価試験を行い、 (xv)該仮説の各々にコストを付け、 (xvi)付けられたコストが最も小さい仮説を選択
    し、 (xvii)信号と陰影区域を表すバイナリー値をもつ
    マスク画像をつくり、該バイナリー値をもったマスク画
    像を使用してX線画像中の信号区域を抽出する過程から
    なることを特徴とするディジタル信号表現で表現された
    多重露出X線画像中の部分画像の間の多重露出境界を決
    定し、各部分画像中の信号/陰影境界を決定する方法。
JP08142201A 1995-05-11 1996-05-13 1個またはそれ以上の放射線画像域を認識する方法 Expired - Lifetime JP3111023B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE95201215.1 1995-05-11
EP95201215A EP0742536B1 (en) 1995-05-11 1995-05-11 Method of recognising one or more irradiation fields

Publications (2)

Publication Number Publication Date
JPH08299315A true JPH08299315A (ja) 1996-11-19
JP3111023B2 JP3111023B2 (ja) 2000-11-20

Family

ID=8220284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08142201A Expired - Lifetime JP3111023B2 (ja) 1995-05-11 1996-05-13 1個またはそれ以上の放射線画像域を認識する方法

Country Status (4)

Country Link
US (1) US5651042A (ja)
EP (1) EP0742536B1 (ja)
JP (1) JP3111023B2 (ja)
DE (1) DE69518829T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493375B1 (ko) * 2011-03-09 2015-02-13 캐논 가부시끼가이샤 화상처리장치, 화상처리방법, 및 컴퓨터 판독가능한 기억매체

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09329527A (ja) * 1996-04-08 1997-12-22 Advantest Corp 画像処理方法および画像処理装置
JP4083251B2 (ja) * 1996-08-16 2008-04-30 富士フイルム株式会社 照射野外画像処理方法および装置
US6226398B1 (en) * 1996-12-04 2001-05-01 Minolta-Qms, Inc. Method and apparatus for reformatting a high resolution image file for printing on a lower resolution printer
JP3923131B2 (ja) * 1997-03-31 2007-05-30 富士フイルム株式会社 放射線画像の照射野認識方法および装置、並びに黒化処理方法および装置
US6212291B1 (en) 1998-01-29 2001-04-03 Eastman Kodak Company Method for recognizing multiple irradiation fields in digital radiography
WO1999057683A1 (en) 1998-05-04 1999-11-11 The Johns Hopkins University Method and apparatus for segmenting small structures in images
EP1037166A1 (de) 1999-03-16 2000-09-20 Philips Corporate Intellectual Property GmbH Verfahren zur Detektion von Konturen in einem Röntgenbild
JP2001144966A (ja) * 1999-11-11 2001-05-25 Canon Inc 画像処理装置及びその方法
US6278765B1 (en) * 1999-12-30 2001-08-21 Leonard Berliner Process for producing diagnostic quality x-ray images from a fluoroscopic sequence
DE10112947A1 (de) * 2001-03-17 2002-09-26 Zeiss Carl Jena Gmbh Verfahren zur Auswertung von Schichtbildern
JP2003141548A (ja) * 2001-10-22 2003-05-16 Ge Medical Systems Global Technology Co Llc 3次元ラベリング装置及びその方法
US7391895B2 (en) 2003-07-24 2008-06-24 Carestream Health, Inc. Method of segmenting a radiographic image into diagnostically relevant and diagnostically irrelevant regions
US7394924B2 (en) * 2003-10-14 2008-07-01 Mirada Solutions Limited Scatter correction in scanning imaging systems
DE502004004942D1 (de) * 2004-05-04 2007-10-25 Agfa Gevaert Healthcare Gmbh Verfahren zur Erfassung und Darstellung eines in einer Phosphorschicht gespeicherten Röntgenbildes
DE102004060127B4 (de) * 2004-12-13 2007-05-24 Siemens Ag Röntgendiagnostikeinrichtung sowie Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Ermittlung von die Bildqualität der Röntgendiagnostikeinrichtung bzw. die Sichtbarkeit klinisch relevanter Objekte bestimmenden Werten
WO2006081438A2 (en) * 2005-01-27 2006-08-03 Tandent Vision Science, Inc. Differentiation of illumination and reflection boundaries
DE102005006658B4 (de) 2005-02-14 2011-12-15 Siemens Ag Verfahren bzw. Röntgensystem zur Aufnahme von Röntgenabbildungen eines auf einem digitalen Röntgendetektor abgebildeten Untersuchungsobjektes
US8976174B2 (en) * 2006-01-27 2015-03-10 Tandent Vision Science, Inc. Bi-illuminant dichromatic reflection model for image manipulation
US8976173B2 (en) * 2006-01-27 2015-03-10 Tandent Vision Science, Inc. Bi-illuminant dichromatic reflection model for image manipulation
JP4981336B2 (ja) * 2006-03-08 2012-07-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
FR2903211B1 (fr) * 2006-06-30 2009-03-06 Gen Electric Procedes et dispositifs de correction d'une mammographie a implant et de segmentation d'un implant
US20080123929A1 (en) * 2006-07-03 2008-05-29 Fujifilm Corporation Apparatus, method and program for image type judgment
CA2668297C (en) * 2006-09-19 2017-10-24 Cedara Software Corp. System and method for shutter detection
EP1916624B1 (en) 2006-10-25 2016-11-23 Agfa HealthCare NV Method for segmenting a digital medical image.
US7760912B2 (en) * 2007-08-01 2010-07-20 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US20090060372A1 (en) * 2007-08-27 2009-03-05 Riverain Medical Group, Llc Object removal from images
EP2131325B1 (en) 2008-05-08 2013-01-30 Agfa Healthcare Method for mass candidate detection and segmentation in digital mammograms
US8260050B2 (en) * 2008-12-05 2012-09-04 Tandent Vision Science, Inc. Test bed for optimizing an image segregation
US8139867B2 (en) * 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Image segregation system architecture
US8139850B2 (en) * 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Constraint generation for use in image segregation
US20100142846A1 (en) * 2008-12-05 2010-06-10 Tandent Vision Science, Inc. Solver for image segregation
US20130134332A1 (en) * 2009-04-17 2013-05-30 University Hospitals Of Cleveland Shield and method for using same
US8194975B2 (en) * 2009-06-29 2012-06-05 Tandent Vision Science, Inc. Use of an intrinsic image in face recognition
US20140264078A1 (en) * 2013-03-12 2014-09-18 Agfa Healthcare Nv Radiation Image Read-Out and Cropping System
US20140270489A1 (en) * 2013-03-12 2014-09-18 Microsoft Corporation Learned mid-level representation for contour and object detection
US9256939B1 (en) 2014-07-17 2016-02-09 Agfa Healthcare System and method for aligning mammography images
CN109242840B (zh) * 2018-08-29 2021-01-12 上海联影医疗科技股份有限公司 检测乳房图像中限束器区域的方法、在乳房图像中确定边界的方法和医疗设备
EP3785222B1 (en) 2018-05-30 2024-04-17 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
WO2024123294A1 (en) * 2022-12-05 2024-06-13 Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ A method for segmentation - based x-ray image collimation area detection and anatomical area decomposition

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63257879A (ja) * 1987-04-16 1988-10-25 Fuji Photo Film Co Ltd 放射線画像の分割パタ−ン認識方法
JPH01238654A (ja) * 1988-03-19 1989-09-22 Fuji Photo Film Co Ltd 放射線画像の分割パターン認識方法
JPH04261649A (ja) * 1990-08-20 1992-09-17 Fuji Photo Film Co Ltd 放射線画像解析方法および装置
JPH06251127A (ja) * 1993-02-11 1994-09-09 Agfa Gevaert Nv 照射領域の認識方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891757A (en) * 1986-04-14 1990-01-02 Picker International, Inc. Medical imaging system and method having gray scale mapping means for indicating image saturation regions
EP0342379B1 (en) * 1988-04-20 1994-03-09 Fuji Photo Film Co., Ltd. Method for recognizing the contour of an irradiation field
US5265173A (en) * 1991-03-20 1993-11-23 Hughes Aircraft Company Rectilinear object image matcher
US5268967A (en) * 1992-06-29 1993-12-07 Eastman Kodak Company Method for automatic foreground and background detection in digital radiographic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63257879A (ja) * 1987-04-16 1988-10-25 Fuji Photo Film Co Ltd 放射線画像の分割パタ−ン認識方法
JPH01238654A (ja) * 1988-03-19 1989-09-22 Fuji Photo Film Co Ltd 放射線画像の分割パターン認識方法
JPH04261649A (ja) * 1990-08-20 1992-09-17 Fuji Photo Film Co Ltd 放射線画像解析方法および装置
JPH06251127A (ja) * 1993-02-11 1994-09-09 Agfa Gevaert Nv 照射領域の認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493375B1 (ko) * 2011-03-09 2015-02-13 캐논 가부시끼가이샤 화상처리장치, 화상처리방법, 및 컴퓨터 판독가능한 기억매체
US8983122B2 (en) 2011-03-09 2015-03-17 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium

Also Published As

Publication number Publication date
US5651042A (en) 1997-07-22
DE69518829D1 (de) 2000-10-19
EP0742536A1 (en) 1996-11-13
EP0742536B1 (en) 2000-09-13
DE69518829T2 (de) 2001-03-15
JP3111023B2 (ja) 2000-11-20

Similar Documents

Publication Publication Date Title
JP3111023B2 (ja) 1個またはそれ以上の放射線画像域を認識する方法
EP0610605B1 (en) Method of recognising an irradiation field
US10565479B1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US7269278B2 (en) Extracting shape information contained in cell images
JP3619270B2 (ja) ヒストグラム領域を検知し、ディジタル放射線撮影画像のトーンスケールの再現を改善する方法
Lefebvre et al. A fractal approach to the segmentation of microcalcifications in digital mammograms
US5661820A (en) Method and apparatus for detecting a desired behavior in digital image data
US5796861A (en) Mosaic construction, processing, and review of very large electronic micrograph composites
EP0576961A2 (en) Method for automatic foreground and background detection in digital radiographic images
JP2000137804A (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
US10674972B1 (en) Object detection in full-height human X-ray images
Poon et al. Automated image detection and segmentation in blood smears
US20210398282A1 (en) Digital tissue segmentation using image entropy
EP3663982B1 (en) Method to improve the segmentation performance of a computer implemented deep learning algorithm
US6212291B1 (en) Method for recognizing multiple irradiation fields in digital radiography
US7231086B2 (en) Knowledge-based hierarchical method for detecting regions of interest
Bengtsson et al. High resolution segmentation of cervical cells.
Sallam Image unwarping and difference analysis: a technique for detecting abnormalities in mammograms
Carreira et al. Computer-aided lung nodule detection in chest radiography
Putzu Computer aided diagnosis algorithms for digital microscopy
Liu et al. Automatic segmentation of bones from digital hand radiographs
Benke et al. Application of x-ray instrumentation in medicine: discrimination of neoplasms in radiographs by digital image processing
Casiraghi A computer aided diagnosis system for lung nodules detection in postero anterior chest radiographs
Wang et al. Method for recognizing multiple radiation fields in computed radiography
Draelos Interactive image segmentation

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130914

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term