JP3996555B2 - 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体 - Google Patents

画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体 Download PDF

Info

Publication number
JP3996555B2
JP3996555B2 JP2003182673A JP2003182673A JP3996555B2 JP 3996555 B2 JP3996555 B2 JP 3996555B2 JP 2003182673 A JP2003182673 A JP 2003182673A JP 2003182673 A JP2003182673 A JP 2003182673A JP 3996555 B2 JP3996555 B2 JP 3996555B2
Authority
JP
Japan
Prior art keywords
self
mapping
learning
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003182673A
Other languages
English (en)
Other versions
JP2004174219A (ja
Inventor
和人 佐藤
洋和 間所
さくら 門脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2003182673A priority Critical patent/JP3996555B2/ja
Publication of JP2004174219A publication Critical patent/JP2004174219A/ja
Application granted granted Critical
Publication of JP3996555B2 publication Critical patent/JP3996555B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば磁気共鳴映像装置(Magnetic Resonance Imaging device)等の医用画像診断装置に組み込まれる、又は医療用ワークステーション等によって提供される画像処理装置等に関する。
【0002】
【従来の技術】
医用画像は、被検体についての多くの臨床情報を画像により提供するものであり、疾病の診断、治療や手術計画等を初めとする多くの医療行為において重要な役割を果たしている。医用画像は、医療用画像機器(例えば、超音波診断装置、X線CT装置、核医学診断装置、磁気共鳴診断装置等)によって収集されたデータに、当該医療用画像機器に内蔵される、又は医療用ワークステーション等によって実現される画像処理装置により、所定の画像処理を施すことで生成される。
【0003】
この医用画像を利用した診断では、より客観性の高い診断を実現するために、臓器や病変部の特徴を生かして例えばMR画像を組織分類し、その形態を定量的に画像診断するための評価法を確立する必要がある。脳萎縮の診断における脳組織の輪郭抽出を例にとれば、脳組織は個体差が大きく、一様な処理では輪郭を抽出することはできないため、マニュアル操作にて注目する輪郭線を抽出する等の処理によるのが現状である。従来用いられている代表的な手法としては、スネークモデルを用いた輪郭抽出法、ニューラルエッジ検出器を用いた輪郭抽出法がある。スネークモデルを用いた輪郭抽出法は、濃淡画像を与えられたとき、本来現れるエッジが欠けたり途切れた場合であっても、これらを修復しながら脳表面の輪郭を抽出することができる利点がある。また、ニューラルエッジ検出器を用いた輪郭抽出法は、医師等の専門家が辿った輪郭から作成した理想的なエッジ像と入力画像とを階層型ニューラルネットワークに学習させることにより、専門医による輪郭とよく一致する輪郭抽出を実現できる利点がある。
【0004】
しかしながら、スネークモデルを用いた輪郭抽出法では、抽出処理を自動化することは困難である。これは、画像の濃度による制約と抽出対象との輪郭形状に関する制約のバランスを決定するパラメータが、画像毎に微妙な調整を必要とするからである。また、初期輪郭の統計モデルの作成も困難であり、従って操作者によって与えられる初期輪郭モデルの内容により抽出精度も大きく異なるため、客観性に乏しい。
【0005】
また、ニューラルエッジ検出器を用いた輪郭抽出法では、教師データとして与えられる理想的なエッジ像(教師データ)の内容が、医師等の専門家毎に異なるため、輪郭抽出結果の再現性・客観性が乏しい。また、当該手法の輪郭抽出精度は、階層型ニューラルネットワークに入力する特徴量とネットワーク構成(中間層ユニットの数)に依存することから、抽出対象となる画像毎の設定を必要とし、操作者への負担が大きい。
【0006】
これらの手法が抱える問題は、診断部位が脳である場合に限らず、客観的基準かつ効率的な輪郭抽出法が確立されていない診断部位についても同様である。
【0007】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、例えば医用画像において、客観的基準かつ効率的に、関心対象の輪郭を自動的に抽出する画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体を提供することを目的としている。
【0008】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のような手段を講じている。
【0009】
本発明の第1の視点は、被検体の所定部位に関する第1の画像を記憶する記憶手段と、前記第1の画像に基づいて、前記所定部位の第1の輪郭線を抽出する第1の輪郭線抽出手段と、前記第1の輪郭線を構成する各画素の位置を入力とし、個別の重み係数に基づく対応付けにより複数の出力ユニットと当該複数の出力ユニットの中から決定される勝者ユニットとを取得する二つの自己写像手段であって、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第1のサイズとして収束させながら更新する自己写像を繰り返し実行する第1の自己写像手段と、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第2のサイズとして収束させながら更新する自己写像を繰り返し実行する第2の自己写像手段と、前記第1の自己写像手段により取得された前記複数の出力ユニットに対応する前記重み係数と、前記第2の自己写像手段により取得された前記複数の出力ユニットに対応する前記重み係数と、に基づいて前記第2の輪郭線を含む前記第2の画像を生成する画像生成手段と、を具備することを特徴とする画像処理装置である。
【0010】
本発明の第2の視点は、第1の視点に係る装置において、前記第1の自己写像手段又は前記第2の自己写像手段によって取得される複数の出力ユニットの数は、任意に設定可能であることを特徴とするものである。
【0011】
本発明の第3の視点は、第1又は第2の視点に係る装置において、前記第1の自己写像手段又は前記第2の自己写像手段において用いられる前記学習近傍領域のサイズは、任意に設定可能であることを特徴とするものである。
【0012】
本発明の第4の視点は、第1乃至第3のうちのずれかの視点に係る装置において、前記第1の自己写像手段又は前記第2の自己写像手段によって取得される前記複数の出力ユニットは、閉空間を形成することを特徴とするものである。
【0013】
本発明の第5の視点は、第1乃至第4のうちのずれかの視点に係る装置において、前記第1の自己写像手段において用いられる前記学習近傍領域は、前記第1の自己写像の進行に従って線形に収束することを特徴とするものである。
【0014】
本発明の第6の視点は、第1乃至第4のうちのずれかの視点に係る装置において、前記第2の自己写像手段において用いられる前記学習近傍領域は、前記第2の自己写像の進行に従って線形に収束することを特徴とするものである。
【0015】
本発明の第7の視点は、画像処理装置の制御手段が、被検体の所定部位に関する第1の画像に基づいて、前記所定部位の第1の輪郭線を抽出する第1の輪郭線抽出ステップと、前記第1の輪郭線を構成する各画素の位置を入力とし、個別の重み係数に基づく対応付けにより複数の出力ユニットと当該複数の出力ユニットの中から決定される勝者ユニットとを取得する二つの自己写像ステップであって、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第1のサイズとして収束させながら更新する自己写像を繰り返し実行する第1の自己写像ステップと、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第2のサイズとして収束させながら更新する自己写像を繰り返し実行する第2の自己写像ステップと、
前記第1の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、前記第2の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、に基づいて前記第2の輪郭線を含む前記第2の画像を生成する画像生成ステップと、を具備することを特徴とする画像処理方法である。
【0016】
本発明の第8の視点は、第7の視点に係る方法において、前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される複数の出力ユニットの数は、任意に設定可能であることを特徴とするものである。
【0017】
本発明の第9の視点は、第7又は8の視点に係る方法において、前記第1の自己写像ステップ又は前記第2の自己写像ステップにおいて用いられる前記学習近傍領域のサイズは、任意に設定可能であることを特徴とするものである。
【0018】
本発明の第10の視点は、第7乃至第9のうちのずれかの視点に係る方法において、前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される前記複数の出力ユニットは、閉空間を形成することを特徴とするものである。
【0019】
本発明の第11の視点は、第7乃至第10のうちのずれかの視点に係る方法において、前記第1の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第1の自己写像の進行に従って線形に収束することを特徴とするものである。
【0020】
本発明の第12の視点は、第7乃至第10のうちのずれかの視点に係る方法において、前記第2の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第2の自己写像の進行に従って線形に収束することを特徴とするものである。
【0021】
本発明の第13の視点は、コンピュータに、被検体の所定部位に関する第1の画像に基づいて、前記所定部位の第1の輪郭線を抽出する第1の輪郭線抽出ステップと、前記第1の輪郭線を構成する各画素の位置を入力とし、個別の重み係数に基づく対応付けにより複数の出力ユニットと当該複数の出力ユニットの中から決定される勝者ユニットとを取得する二つの自己写像ステップであって、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第1のサイズとして収束させながら更新する自己写像を繰り返し実行する第1の自己写像ステップと、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第2のサイズとして収束させながら更新する自己写像を繰り返し実行する第2の自己写像ステップと、前記第1の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、前記第2の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、に基づいて前記第2の輪郭線を含む前記第2の画像を生成する画像生成ステップと、を実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0022】
本発明の第14の視点は、第13の視点に係る記録媒体において、前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される複数の出力ユニットの数は、任意に設定可能であることを特徴とするものである。
【0023】
本発明の第15の視点は、第13又は第14の視点に係る記録媒体において、前記第1の自己写像ステップ又は前記第2の自己写像ステップにおいて用いられる前記学習近傍領域のサイズは、任意に設定可能であることを特徴とするものである。
【0024】
本発明の第16の視点は、第13乃至第15のうちのずれかの視点に係る記録媒体において、前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される前記複数の出力ユニットは、閉空間を形成することを特徴とするものである。
【0025】
本発明の第17の視点は、第13乃至第16のうちのずれかの視点に係る記録媒体において、前記第1の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第1の自己写像の進行に従って線形に収束することを特徴とするものである。
【0026】
本発明の第18の視点は、第13乃至第16のうちのずれかの視点に係る記録媒体において、前記第2の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第2の自己写像の進行に従って線形に収束することを特徴とするものである。
【0027】
このような構成によれば、例えば医用画像において、客観的基準かつ効率的に、関心対象の輪郭を自動的に抽出する画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体を実現することができる。
【0028】
【発明の実施の形態】
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【0029】
本実施形態に係る画像処理装置は、例えば診断部位等の関心領域を好適に観察することができる画像を対象に、おおまかな初期輪郭のX、Y座標情報を学習データとする近傍領域の異なる二つの自己組織化マップ(Self-Organizing Map:以下「SOM」と称する。)を用いて、前記おおまかな初期輪郭のスムージングを行い、最適な輪郭抽出を行うものである。以下においては、説明を具体的にするため、脳萎縮の診断に供する頭部MR画像のT強調水平断において、おおまかな初期輪郭と上矢状静脈洞エッジ情報のX、Y座標を学習データとし、大脳縦裂特徴点と組織の境界とがあいまいな初期輪郭のスムージングを行い、最適な脳表面輪郭を自動抽出する場合を例とする。
【0030】
しかしながら、本発明の技術的思想は、これに限定されない。例えば、輪郭抽出の対象とする画像は、X線CT画像等の他の断層画像でもよく、また、脳以外の診断においても有益であることは、言うまでもない。
【0031】
図1は、本実施形態に係る画像処理装置10のブロック構成図を示している。同図に示すように、画像処理装置10は、MRIデータベース11、組織カラーマップ記憶部12、学習フェーズ13、SOM重み記憶部15、生成フェーズ17、統合フェーズ19、脳表面輪郭線画像記憶部21を具備している。
【0032】
MRIデータベース11は、被検体(患者)毎の複数のMR画像を格納している。
【0033】
組織カラーマップ記憶部12は、診断に供するMR画像に対して、組織の自動分類法を適用することで得られる組織カラーマップを記憶している。組織の自動分類法とは、診断に供するMR画像の画像特性を自己写像することで、画像を組織毎に分類するものである。この組織の自動分類法については、後で詳しく説明する。
【0034】
学習フェーズ13は、前処理部130、自己学習部131を有している。前処理部130は、SOMの入力としての学習データを設定するため、所定の前処理を行う。具体的には、前処理部130は、組織カラーマップを脳組織と背景とに分類した2値化画像の生成、脳の仮想中心Cの算出、仮想中心Cから脳組織の上半球を対象とするフィルター処理、8近傍オペレータによる初期輪郭の抽出、上矢状静脈洞のエッジ情報の抽出、SOM処理のための学習データ生成を実行する。この学習データは、SOMの入力となるデータであり、8近傍オペレータによって抽出された初期輪郭と上記エッジ情報とを合成して生成される脳の大まかな輪郭線である(図3参照)。
【0035】
自己学習部131は、前処理部130によって生成された学習データに基づいて、所定の重み係数によって自己学習を繰り返し、組織輪郭の座標及び上矢状静脈洞のエッジ情報の座標を学習する。すなわち、自己学習部131は、学習データ上のX、Y座標を入力とし、位相構造の重み係数を逐次更新しながら、初期近傍領域を1/8近傍領域としたSOM処理、及び初期近傍領域を3/4近傍領域としたSOM処理を行う。各SOMによる写像先であるマッピング層は、最初のユニットと最終のユニットが近傍として連結した閉空間とする。自己学習部131によって実行されるSOMについては、後で詳しく説明する。
【0036】
SOM重み記憶部15は、SOM処理により得られた位相構造の重み係数分布を格納する。
【0037】
生成フェーズ17は、重みプロット部170、線形補間部171を有している。重みプロット部170は、初期近傍領域が1/8のSOM処理によって得られた重み係数と初期近傍領域が3/4のSOM処理によって得られた重み係数をそれぞれ画像スケールに変換してX、Y座標にプロットする。線形補間部171は、X、Y座標にプロットされた代表点を線形補間し、各SOM処理に対応する輪郭線を生成する(以下、1/8近傍領域SOM処理に対応する輪郭線を「初期近傍領域1/8の輪郭線」と、3/4近傍領域SOM処理に対応する輪郭線を「初期近傍領域3/4の輪郭線」と、それぞれ呼ぶことにする。)。
【0038】
統合フェーズ19は、基準点抽出部190、輪郭線統合部191、画像合成部192を有している。基準点抽出部190は、初期近傍領域1/8の輪郭線と初期近傍領域3/4の輪郭線とを重ね合わせ、例えば初期近傍領域1/8の輪郭線上において、大脳縦裂特徴点を抽出する。輪郭線統合部191は、基準点抽出部190によって抽出された基準点と初期近傍領域1/8の輪郭線と初期近傍領域3/4の輪郭線に基づいて、初期近傍領域1/8の輪郭線と初期近傍領域3/4の輪郭線とを統合し脳輪郭線画像を生成する。
【0039】
画像合成部192は、必要に応じて、診断に供するMR画像(組織カラーマップの原画像)と脳輪郭線画像とを合成した合成画像を生成する。
【0040】
脳表面輪郭線画像記憶部21は、画像合成部192によって生成された合成画像、脳輪郭線画像等を格納し、要求に応じて図示していない表示部等に出力する。
【0041】
なお、図1においては、MRIデータベース11、組織カラーマップ記憶部12、SOM重み記憶部15をそれぞれ個別に表現した。しかしながら、単一のメモリによって各構成を実現する構成であってもよい。また、MRIデータベース11や組織カラーマップ記憶部12を本画像処理装置10と別体として設け、ネットワークを介してMR画像や組織カラーマップを取得する構成であってもよい。
【0042】
(自己組織化マップ:Self−Organizing Map)
次に、自己組織化マップ(SOM)について説明する。SOMは、入力データの位相を保存し、トポロジカルなマッピングを行うものであり、その学習過程では、明示的な教師を必要としない。
【0043】
一般のSOMは、図2に示すように、入力ユニットを含む入力層と、出力ユニットを含むマッピング層との二層からなる。典型的なSOMの学習アルゴリズムは、次の様である。
【0044】
(1)wij(1≦i≦n)を時刻tにおける入力ユニットiから出力ユニットjへの重み係数とする。ユニットの重み係数を乱数で初期化し、ノードjの近傍の初期範囲を大きく設定する。
【0045】
(2)x(1≦i≦n)を時刻tにおけるノードiへの入力とする。
【0046】
(3)入力データと出力ノードjとのユークリッド距離dを次の式(1)にて計算する。
【0047】
【数1】
Figure 0003996555
【0048】
(4)ユークリッド距離dが最小となる出力ユニットを検索する。
【0049】
(5)N(t)で定義される近傍に含まれるユニットへの重み係数を、次の式(2)にて更新する。
ij(t+1)=wij(t)+α(t)(x(t)−wij(t))(2)
ここで、α(t)は学習率係数(0<α<1)、N(t)は近傍領域のサイズであり、時間とともに減少させる。
【0050】
(6)上記(2)〜(5)の処理を繰り返す。
【0051】
本実施形態においては、初期輪郭線と上矢状静脈洞のエッジ部分とを合成して生成される脳の大まかな輪郭線を構成する複数の点(画素)の一部又は全部を、当該患者の脳の輪郭線を代表する代表点と見なす。この代表点を学習データとするSOM処理を繰り返し実行することで、より客観性の高い代表点を取得する。特に、以下に説明する例は、二種類のSOM処理を実行しその結果を合成することで、対象の複雑さに応じた輪郭抽出を実現するものである。二種類のSOM処理の一方は「初期近傍領域が3/4のSOM処理」と呼ばれ、他方は「初期近傍領域が1/8のSOM処理」と呼ばれる。
【0052】
初期近傍領域が3/4のSOM処理では、図3に示すように、学習データ上の所定の各画素に関するX座標及びY座標を入力層における入力とし、所定の各重み係数によって、マッピング層における各出力ユニットに写像し、その中から最適な出力ユニット(勝者ユニット)を選択するSOM処理が繰り返し実行される。その際、各SOM処理においては、学習近傍領域内に存在する出力ユニットに対応する各重み係数の更新が実行される。ここで、学習近傍領域とは、得られた勝者ユニットを少なくとも含む領域であり、学習回数の進行に従って収束するものである。また、初期近傍領域とは、学習近傍領域の初期設定を意味する。本SOM処理では、初期近傍領域を、出力ユニット総数の3/4として設定し、所定の直線又は曲線に従って収束させる。
【0053】
定量的な例により、上記初期近傍領域が3/4のSOM処理の内容をより詳しく説明すると、次のようである。すなわち、学習データ上の所定画素の座標(x,y)を入力とし、当該所定画素に対して式(1)に基づいてユークリッド距離dを算出する。ここで、iは1≦i≦最大学習回数(100000回)を満たす整数、jは1≦j≦マッピング層の出力ユニット総数(1000ユニット)を満たす整数である。算出されたユークリッド距離dが最小となるユニットを勝者ユニットとし、勝者ユニット及び当該勝者ユニットを中心とした近傍領域内の出力ユニット(近傍ユニット)に対して式(2)に基づいて重み係数を更新する。今の場合、初期近傍領域が3/4であるから、当該領域内に存在する出力ユニットの総数は750ユニットとなる。
【0054】
このように学習近傍領域を収束させつつ、当該領域内に存在する出力ユニットに対応する重み係数を式(2)によって逐次更新しながら、学習データ上の各画素についてのSOM処理を複数回(例えば100000回)実行する。最終的に、学習データ上の各画素の座標は、それぞれ所定の出力ユニットに収束するようになる。
【0055】
また、初期近傍領域が1/8のSOM処理では、図3に示すように、初期近傍領域を最初に出力ユニット総数の1/8として設定し、所定の直線又は曲線に従って収束させながら、同様の処理をおこなう。
【0056】
なお、本実施形態では、図4(a)に示すように、各SOM処理における複数の出力ユニットは、第1出力ユニット(最初の出力ユニット)と第1000出力ユニット(最後の出力ユニット)とが連結された閉空間を構成している。これにより、第1000出力ユニットは、第1出力ユニットの近傍ユニットとして判断され、式(2)による重み係数の更新に影響することになる。この様に閉空間の出力ユニットを採用するのは、抽出しようとする輪郭が閉曲線であるからである。これにより、第1出力ユニットと第1000出力ユニットとの相関度合いが高くなり、より精度の高い結果を得ることができる。
【0057】
また、処理の収束性の観点から、学習回数が進行するに従って、各SOM処理における近傍領域のサイズ及び学習率係数を線形で減少させることが好ましい。
【0058】
(組織カラーマップの作成)
本画像処理装置10は、輪郭抽出の前段の処理として、組織カラーマップを作成し、組織カラーマップ記憶部12内に格納する。この組織カラーマップは、上記SOM処理を利用した組織の自動分類法により、例えば次のように生成される。
【0059】
すなわち、図4(b)に示すように、組織分類の対象となるMR画像(以下、「分類対象画像」と称する。図7(a)参照。)に対して、ランダムに抽出される複数の局所ブロックに関する4つの特徴量(注目画素の輝度値、局所ブロックを構成する各画素の輝度値の平均値、注目画素の輝度値と局所ブロックを構成する画素の輝度値の最大値との差、注目画素の輝度値と局所ブロックを構成する画素の輝度値の最小値との差)を入力層における入力とし、所定の重み係数によって患者の所定部位の組織分布を分類対象画像の特徴空間における画像の位相特性として自己写像する。この自己写像により、入力としての各局所ブロックは、SOM処理により背景(BG)、脳脊髄液(CSF)、白質(WM)、灰白質(GM)の4つの出力ユニットA、B、C及びDのいずれかに写像される。
【0060】
すなわち、いまx1=注目画素の輝度値、x2=局所ブロックを構成する各画素の輝度値の平均値、x3=注目画素の輝度値と局所ブロックを構成する画素の輝度値の最大値との差、x4=注目画素の輝度値と局所ブロックを構成する画素の輝度値の最小値との差、とする。各局所ブロックにおける各特徴量x(ただし、iは1≦i≦4を満たす整数)を入力し、式(1)に基づいて、初期設定の重み係数wijによってユークリッド距離dを算出する。なお、今の場合、j=1が出力ユニットCSFに対応、j=2が出力ユニットGMに対応、j=3が出力ユニットWM、j=4が出力ユニットBGに対応するものとして、jは1≦j≦4を満たす整数とする。
【0061】
入力は、算出されたユークリッド距離d、d、d、dのうち、最小のものに対応する出力ユニットに写像される。なお、当該自己写像においてユークリッド距離が最小になる出力ユニットは、勝者ユニットと呼ばれる。
【0062】
また、この抽出された局所ブロックに対するSOM処理は、式(2)によって逐次重み係数を更新しながら、複数回(例えば1000000回)実行される。この様に、重み係数を更新しながら、SOM処理を複数回繰り返し学習する。学習が進むに従って、各局所ブロックは、所定の出力ユニットに収束するようになる。
【0063】
このSOM処理の結果と、図7(a)に示す分類対象画像において生成される、各画素を注目画素とする複数の局所ブロック(3×3画素)の4つの特徴量とに基づいて、分類対象画像の各画素を背景(BG)、脳脊髄液(CSF)、白質(WM)、灰白質(GM)のいずれかに組織分類し、各画素に所定の色を割り当てることで、図7(b)に示す組織カラーマップを生成することができる。
【0064】
次に、上記のように構成した画像処理装置10によって実行される輪郭抽出処理について、図5、図6を参照しながら説明する。
【0065】
図5、図6は、画像処理装置10が実行する輪郭抽出処理の流れを示したフローチャートである。図5において、まず、前段の処理として、既述の手法により組織カラーマップを作成し、組織カラーマップ記憶部12に格納する(ステップS1)。学習フェーズ13の前処理部130は、組織カラーマップ記憶部12から図7(b)に示す組織カラーマップを読み出し、所定の閾値処理によって当該組織カラーマップを脳組織と背景とに2値化した2値化画像を生成する(図7(c)参照)。また、前処理部130は、生成した2値化画像に対して、脳組織のXY射影から脳の仮想中心C(C,C)を算出する(ステップS2)。
【0066】
次に、前処理部130は、仮想中心Cから脳組織の上半球を対象にフィルター処理を施し(ステップS3)、仮想中心Cから画像上方向に走査して、輪郭始点Sを求め、8近傍オペレータにより脳の大まかな初期輪郭を抽出する(ステップS4)。ここで、8近傍オペレータによる初期輪郭の抽出とは、例えば、輪郭始点Sに接する8個の画素に関して、画素値(輝度値)が最も近い画素を輪郭と判断し、この輪郭と判断された画素に接する8個の画素に関しても、同様の判断を逐次繰り返して輪郭を抽出するものである。すなわち、輪郭始点Sを中心とする第1近傍(3×3)内の画素に対して、背景領域に隣接する脳組織上の画素を順次抽出する処理である。
【0067】
次に、前処理部130は、上矢状静脈洞のエッジ情報を抽出(ステップS5)、当該エッジ情報と抽出した上記初期輪郭とを合成し、学習データを生成する(図3参照)。自己学習部131は、生成された学習データ上の各画素のX座標x及びY座標yをSOMに入力し、既述の初期近傍領域が3/4のSOM処理及び初期近傍領域が1/8のSOM処理を実行し、各SOM処理における各勝者ユニットを決定する(ステップS7)。このSOM処理による自己学習は、式(2)に従って逐次重み係数を更新しながら、信頼できる結果が得られる適当な回数(例えば、100000回)繰り返される(ステップS8)。
【0068】
次に、重みプロット部170は、上記初期近傍領域が3/4のSOM処理によって得られた各重み係数を画像空間上の対応する座標にプロットし、各座標間を線形補間部171が線形補間することで当該初期近傍領域3/4の輪郭線を生成する。また、同様の処理により、初期近傍領域1/8の輪郭線を生成する(ステップS9)。これにより、各SOM処理によって得られた高精度の代表点に基づく各輪郭線が得られる。
【0069】
次に、統合フェーズ19の基準点抽出部190は、図8(a)に示す初期近傍領域3/4の輪郭線と図8(b)に示す初期近傍領域1/8の輪郭線とを図8(c)に示す様に重ね合わせ(ステップS10)、初期近傍領域1/8の輪郭線上において、大脳縦裂特徴点を基準点Dとして抽出する(ステップS11)。
【0070】
次に、輪郭線統合部191は、基準点抽出部190によって抽出された基準点Dに基づいて、初期近傍領域1/8の輪郭線と初期近傍領域3/4の輪郭線とを合成し脳輪郭線を生成する(ステップS12、ステップS13)。すなわち、輪郭線統合部191は、図9に示す様に、上記基準点D(大脳縦裂特徴点)から輪郭線を左右に走査し、初期近傍領域3/4の輪郭線との一つ目の左交点をL、二つ目の左交点をLとし、初期近傍領域3/4の輪郭線との一つ目の右交点をR、二つ目の右交点をRとする。得られたL−R間の輪郭線は初期近傍領域1/8の輪郭線とし、それ以外は初期近傍領域3/4の輪郭線として合成することで、脳輪郭線を生成する。なお、この様にL−R間の領域を初期近傍領域1/8の輪郭線とするのは、複雑な輪郭を持つ大脳縦裂特徴点に対応する領域を、より微細な構造を反映することができる輪郭初期近傍領域1/8の輪郭線で表すためである。また、L−R間以外の領域を初期近傍領域3/4の輪郭線とするのは、比較的複雑な輪郭を持たない領域を、曲線のスムーズな初期近傍領域3/4の輪郭線で表すためである。
【0071】
本実施形態に係る画像処理装置によれば、個々の画像特性から大まかな初期輪郭を抽出し学習データとすることにより、組織の境界があいまいな画像に対しても最適な輪郭を、迅速かつ簡便に自動抽出することができる。従って、医師等に対して有益な診断情報を効率的に提供することができ、診断の質の向上に寄与することができる。
【0072】
また、本実施形態に係る画像処理装置では、SOM処理によって得られる内部的な基準に基づいて、輪郭の抽出が行われる。すなわち、従来の様に輪郭抽出のための基準ベクトルを外部に持つ必要がないことから、対象画像毎に複雑なパラメータの主観的設定を必要としない。従って、客観性の高い輪郭抽出を自動的に実行することができる。
【0073】
実施形態において初期近傍領域が3/4のSOM処理と初期近傍領域が1/8のSOM処理とを実行した様に、本画像処理装置は、学習近傍領域及びマッピング層ユニット数を任意に設定することができる。従って、輪郭線のスムージング度合いを任意に設定することができ、その結果組織の複雑さの程度に合わせた最適な輪郭抽出を実現することができる。
【0074】
本実施形態に係る画像処理装置では、マッピング層ユニットは、組織の境界領域線を多角形近似する頂点となっている。従って、再帰的処理により組織の境界があいまいでかつ不連続な画像において連続する境界線を抽出することができる。
【0075】
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。例えば以下に示すように、その要旨を変更しない範囲で種々変形可能である。
【0076】
本実施形態で説明した輪郭抽出処理は、当該方法をコンピュータに実行させるプログラムによって、パーソナルコンピュータやワークステーション等によっても実現することができる。この場合、コンピュータに当該方法を実行させることのできるプログラムは、磁気ディスク(フロッピーディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することができる。
【0077】
また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0078】
【発明の効果】
以上本発明によれば、例えば医用画像において、客観的基準かつ効率的に、関心対象の輪郭を自動的に抽出する画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体を実現できる。
【図面の簡単な説明】
【図1】図1は、本実施形態に係る画像処理装置10のブロック構成図を示している。
【図2】図2は、一般的な自己組織化マップ(SOM)処理を説明するための図である。
【図3】図3は、本実施形態に係る画像処理装置が実施する自己組織化マップ(SOM)処理を説明するための図である。
【図4】図4(a)は、本実施形態に係る画像処理装置が実施する自己組織化マップ(SOM)処理を説明するための図である。図4(b)は、組織の自動分類法において実施される自己組織化マップ(SOM)処理を説明するための図である。
【図5】図5は、画像処理装置10が実行する輪郭抽出処理の流れを示したフローチャートである。
【図6】図6は、画像処理装置10が実行する輪郭抽出処理の流れを示したフローチャートである。
【図7】図7(a)は、組織の自動分類法の対象とする分類対象画像(MR画像)を示した写真である。図7(b)は、組織の自動分類法によって得られる組織カラーマップを示した写真である。図7(c)は、組織カラーマップを2値化して得られる2値化画像を示した写真である。
【図8】図8(a)は、初期近傍領域3/4の輪郭線を模式的に示した図である。図8(b)は、初期近傍領域1/8の輪郭線を模式的に示した図である。図8(c)は、初期近傍領域3/4の輪郭線と初期近傍領域1/8の輪郭線とを重ね合わせた画像を模式的に示した図である。
【図9】図9は、図8(c)の基準点Dの近傍の拡大図である。
【符号の説明】
10…画像処理装置
11…MRIデータベース
12…組織カラーマップ記憶部
13…学習フェーズ
15…SOM重み記憶部
17…生成フェーズ
19…統合フェーズ
21…脳表面輪郭線画像記憶部
130…前処理部
131…自己学習部
170…重みプロット部
171…線形補間部
190…基準点抽出部
191…輪郭線統合部
192…画像合成部

Claims (18)

  1. 被検体の所定部位に関する第1の画像を記憶する記憶手段と、
    前記第1の画像に基づいて、前記所定部位の第1の輪郭線を抽出する第1の輪郭線抽出手段と、
    前記第1の輪郭線を構成する各画素の位置を入力とし、個別の重み係数に基づく対応付けにより複数の出力ユニットと当該複数の出力ユニットの中から決定される勝者ユニットとを取得する二つの自己写像手段であって、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第1のサイズとして収束させながら更新する自己写像を繰り返し実行する第1の自己写像手段と、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第2のサイズとして収束させながら更新する自己写像を繰り返し実行する第2の自己写像手段と、
    前記第1の自己写像手段により取得された前記複数の出力ユニットに対応する前記重み係数と、前記第2の自己写像手段により取得された前記複数の出力ユニットに対応する前記重み係数と、に基づいて前記第2の輪郭線を含む前記第2の画像を生成する画像生成手段と、
    を具備することを特徴とする画像処理装置。
  2. 前記第1の自己写像手段又は前記第2の自己写像手段によって取得される複数の出力ユニットの数は、任意に設定可能であることを特徴とする請求項1記載の画像処理装置。
  3. 前記第1の自己写像手段又は前記第2の自己写像手段において用いられる前記学習近傍領域のサイズは、任意に設定可能であることを特徴とする請求項1又は2記載の画像処理装置。
  4. 前記第1の自己写像手段又は前記第2の自己写像手段によって取得される前記複数の出力ユニットは、閉空間を形成することを特徴とする請求項1乃至3のうちいずれか一項記載の画像処理装置。
  5. 前記第1の自己写像手段において用いられる前記学習近傍領域は、前記第1の自己写像の進行に従って線形に収束することを特徴とする請求項1乃至4のうちいずれか一項記載の画像処理装置。
  6. 前記第2の自己写像手段において用いられる前記学習近傍領域は、前記第2の自己写像の進行に従って線形に収束することを特徴とする請求項1乃至4のうちいずれか一項記載の画像処理装置。
  7. 画像処理装置の制御手段が、
    被検体の所定部位に関する第1の画像に基づいて、前記所定部位の第1の輪郭線を抽出する第1の輪郭線抽出ステップと、
    前記第1の輪郭線を構成する各画素の位置を入力とし、個別の重み係数に基づく対応付けにより複数の出力ユニットと当該複数の出力ユニットの中から決定される勝者ユニットとを取得する二つの自己写像ステップであって、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第1のサイズとして収束させながら更新する自己写像を繰り返し実行する第1の自己写像ステップと、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第2のサイズとして収束させながら更新する自己写像を繰り返し実行する第2の自己写像ステップと、
    前記第1の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記 重み係数と、前記第2の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、に基づいて前記第2の輪郭線を含む前記第2の画像を生成する画像生成ステップと、
    を具備することを特徴とする画像処理方法。
  8. 前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される複数の出力ユニットの数は、任意に設定可能であることを特徴とする請求項7記載の画像処理方法。
  9. 前記第1の自己写像ステップ又は前記第2の自己写像ステップにおいて用いられる前記学習近傍領域のサイズは、任意に設定可能であることを特徴とする請求項7又は8記載の画像処理方法。
  10. 前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される前記複数の出力ユニットは、閉空間を形成することを特徴とする請求項7乃至9のうちいずれか一項記載の画像処理方法。
  11. 前記第1の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第1の自己写像の進行に従って線形に収束することを特徴とする請求項7乃至10のうちいずれか一項記載の画像処理方法。
  12. 前記第2の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第2の自己写像の進行に従って線形に収束することを特徴とする請求項7乃至10のうちいずれか一項記載の画像処理方法。
  13. コンピュータに、
    被検体の所定部位に関する第1の画像に基づいて、前記所定部位の第1の輪郭線を抽出する第1の輪郭線抽出ステップと、
    前記第1の輪郭線を構成する各画素の位置を入力とし、個別の重み係数に基づく対応付けにより複数の出力ユニットと当該複数の出力ユニットの中から決定される勝者ユニットとを取得する二つの自己写像ステップであって、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第1のサイズとして収束させながら更新する自己写像を繰り返し実行する第1の自己写像ステップと、前記勝者ユニット及びその学習近傍領域に存在する前記出力ユニットのそれぞれに対応する前記重み係数を、前記学習近傍領域の初期設定を第2のサイズとして収束させながら更新する自己写像を繰り返し実行する第2の自己写像ステップと、
    前記第1の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、前記第2の自己写像ステップにより取得された前記複数の出力ユニットに対応する前記重み係数と、に基づいて前記第2の輪郭線を含む前記第2の画像を生成する画像生成ステップと、
    を実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. 前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される複数の出力ユニットの数は、任意に設定可能であることを特徴とする請求項13記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  15. 前記第1の自己写像ステップ又は前記第2の自己写像ステップにおいて用いられる前記学習近傍領域のサイズは、任意に設定可能であることを特徴とする請求項13又は14記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. 前記第1の自己写像ステップ又は前記第2の自己写像ステップによって取得される前記複数の出力ユニットは、閉空間を形成することを特徴とする請求項13乃至15のうちいずれか一項記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  17. 前記第1の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第1の自己写像の進行に従って線形に収束することを特徴とする請求項13乃至16のうちいずれか一項記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  18. 前記第2の自己写像ステップにおいて用いられる前記学習近傍領域は、前記第2の自己写像の進行に従って線形に収束することを特徴とする請求項13乃至16のうちいずれか一項記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2003182673A 2002-10-01 2003-06-26 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体 Expired - Fee Related JP3996555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003182673A JP3996555B2 (ja) 2002-10-01 2003-06-26 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002289310 2002-10-01
JP2003182673A JP3996555B2 (ja) 2002-10-01 2003-06-26 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体

Publications (2)

Publication Number Publication Date
JP2004174219A JP2004174219A (ja) 2004-06-24
JP3996555B2 true JP3996555B2 (ja) 2007-10-24

Family

ID=32715631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003182673A Expired - Fee Related JP3996555B2 (ja) 2002-10-01 2003-06-26 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体

Country Status (1)

Country Link
JP (1) JP3996555B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816373B2 (ja) * 2006-09-28 2011-11-16 大日本印刷株式会社 医用画像処理システム
WO2008083386A2 (en) * 2006-12-29 2008-07-10 Verathon Inc. System and method for ultrasound harmonic imaging
RU2553078C2 (ru) * 2009-04-28 2015-06-10 Конинклейке Филипс Электроникс Н.В. Способ микродиссекции и система обработки информации
US10410348B2 (en) * 2016-12-21 2019-09-10 Elekta, Inc. Online learning enhanced atlas-based auto-segmentation
CN110059522B (zh) * 2018-01-19 2021-06-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
KR102108630B1 (ko) * 2018-07-30 2020-05-07 주식회사 모두의연구소 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04125779A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 画像処理方法
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
JP2873955B1 (ja) * 1998-01-23 1999-03-24 東京工業大学長 画像処理方法および装置

Also Published As

Publication number Publication date
JP2004174219A (ja) 2004-06-24

Similar Documents

Publication Publication Date Title
US11645746B2 (en) Dental image segmentation and registration with machine learning
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
CN108205806B (zh) 一种锥束ct图像三维颅面结构的自动解析方法
JP2018509216A (ja) T1 mriからの自動3dセグメンテーション及び皮質表面再構築
US9629599B2 (en) Imaging device, assignment system and method for assignment of localization data
Kim et al. Automatic extraction of inferior alveolar nerve canal using feature-enhancing panoramic volume rendering
Chang et al. 3D segmentation of maxilla in cone-beam computed tomography imaging using base invariant wavelet active shape model on customized two-manifold topology
JPWO2020022027A1 (ja) 学習装置及び学習方法
CN106960439B (zh) 一种脊椎骨识别装置及方法
CN111681230A (zh) 脑白质高信号评分系统及其评分方法
JP5105997B2 (ja) 医用画像処理装置、医用画像診断装置、及びプログラム
CN115661149A (zh) 一种基于肺部组织数据的肺部影像处理系统
Bodzioch et al. New approach to gallbladder ultrasonic images analysis and lesions recognition
CN111383759A (zh) 一种肺炎自动诊断系统
JP3996555B2 (ja) 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
CN111445575A (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
JP4473578B2 (ja) 体の構造の孤立した視覚化されたものを形成する方法及び装置
JP7187680B2 (ja) 線構造抽出装置及び方法、プログラム並びに学習済みモデル
JP2004174218A (ja) 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP7456928B2 (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
JP4807819B2 (ja) 画像処理装置
JP2004174217A (ja) 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
Desai et al. Image segmentation using hybrid representations
Roy et al. MDL-IWS: multi-view deep learning with iterative watershed for pulmonary fissure segmentation
Chen et al. Detection of Various Dental Conditions on Dental Panoramic Radiography Using Faster R-CNN

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees