JPH0889503A - 医療診断用画像処理装置 - Google Patents

医療診断用画像処理装置

Info

Publication number
JPH0889503A
JPH0889503A JP6258873A JP25887394A JPH0889503A JP H0889503 A JPH0889503 A JP H0889503A JP 6258873 A JP6258873 A JP 6258873A JP 25887394 A JP25887394 A JP 25887394A JP H0889503 A JPH0889503 A JP H0889503A
Authority
JP
Japan
Prior art keywords
image
contour line
closed curve
contour
desired organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6258873A
Other languages
English (en)
Other versions
JP3626974B2 (ja
Inventor
Masami Ogata
昌美 緒形
Mitsuru Takashima
充 高島
Taro Minagawa
太郎 皆川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP25887394A priority Critical patent/JP3626974B2/ja
Publication of JPH0889503A publication Critical patent/JPH0889503A/ja
Application granted granted Critical
Publication of JP3626974B2 publication Critical patent/JP3626974B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Picture Signal Circuits (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

(57)【要約】 【目的】本発明は、医療診断用画像処理装置について、
所望器官の輪郭線を自動的に抽出する。 【構成】入力された医療診断用静止画像を空間的に平滑
化した後複数の境界線を抽出する。当該複数の境界線よ
り所望器官の輪郭に対応する境界線を輪郭線として抽出
し、当該輪郭線の形状を修正して所望器官の輪郭線とし
て抽出する。これにより、所望器官の輪郭線を自動的に
抽出することができる医療診断用画像処理装置(1)を
実現し得る。

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段(図1、図20、図21、図
23、図24) 作用 実施例 (1)第1実施例(図1〜図19) (2)第2実施例(図20〜図22) (3)第3実施例(図23) (4)第4実施例(図24〜図30) (5)第5実施例(図31〜図35) (6)他の実施例 発明の効果
【0002】
【産業上の利用分野】本発明は医療診断用画像処理装置
に関し、例えば超音波画像やNMR(nuclear magnetic
resonance、核磁気共鳴)画像を用いて医療診断を行う
場合に適用して好適なものである。
【0003】
【従来の技術】今日、医療分野において、医療診断の1
つの方法として、超音波診断装置によつて得られる超音
波画像を用いて、医師が例えば患者の心臓内膜、心臓
弁、動脈内膜等の循環器系器官の動きを捉えて医療診断
を行うことが知られている。この場合、一般に医師は静
止画像上を目で見ながら各器官の境界を「なぞる」とい
う方法で医療診断を行つている。
【0004】
【発明が解決しようとする課題】ところが超音波診断装
置で得られる超音波画像は、画像自体が不鮮明であるた
め、上述のように医師が静止画像上を目で見ながら各器
官の境界をなぞつて診断を行う方法では誤差が大きくな
り、正確な診断を行うことができず、また診断に時間が
かかるという問題があつた。
【0005】本発明は以上の点を考慮してなされたもの
で、所望器官の輪郭線を自動的に抽出し得る医療用画像
処理装置を提案しようとするものである。
【0006】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、医療診断用静止画像より所望器官
の輪郭線を抽出する医療診断用画像処理装置(1)にお
いて、入力される医療診断用静止画像を空間的に平滑化
する空間フイルタリング手段(8)と、空間フイルタリ
ング手段(8)で得られた画像より複数の境界線を抽出
する境界線抽出手段(4)と、境界線抽出手段(4)に
よつて抽出された複数の境界線より所望器官の輪郭に対
応する境界線を輪郭線として抽出する輪郭線抽出手段
(4)と、輪郭線抽出手段(4)によつて抽出された輪
郭線の形状を修正する輪郭線形状修正手段(4)とを設
けるようにした。
【0007】また本発明においては、医療診断用動画像
より周期的な動きのある所望器官の輪郭線を抽出する医
療診断用画像処理装置(20)において、所望器官の動
きの繰り返し周期毎に医療診断用動画像を入力する画像
サンプリング手段(22)と、画像サンプリング手段
(22)で得られた複数の画像を画素毎に加算して時間
平滑化された画像を生成する同期加算手段(22D)
と、同期加算手段(22D)で得られた画像を空間的に
平滑化する空間フイルタリング手段(8)と、空間フイ
ルタリング手段(8)で得られた画像より境界線を抽出
する境界線抽出手段(4)と、境界線抽出手段(4)に
よつて抽出された境界線より所望器官の輪郭に対応する
輪郭線を抽出する輪郭線抽出手段(4)と、輪郭線抽出
手段(4)によつて抽出された輪郭線の形状を修正する
輪郭線形状修正手段(4)とを設けるようにした。
【0008】また本発明においては、医療診断用動画像
より周期的な動きのある所望器官の輪郭線を抽出する医
療診断用画像処理装置(30)において、所望器官の動
きの繰り返し周期より短い間隔で医療診断用動画像を入
力する画像サンプリング手段(31)と、画像サンプリ
ング手段(31)で得られた画像より所望器官の同じ状
態に対応する画像を集めて画素毎に加算して所望器官の
状態毎に時間平滑化された画像を生成する同期加算手段
(22D)と、同期加算手段(22D)で得られた所望
器官の状態毎の画像をそれぞれ空間的に平滑化する空間
フイルタリング手段(8)と、空間フイルタリング手段
(8)で得られた各画像より境界線を抽出する境界線抽
出手段(4)と、境界線抽出手段(4)によつて抽出さ
れた各境界線より所望器官の輪郭に対応する輪郭線をそ
れぞれ抽出する輪郭線抽出手段(4)と、輪郭線抽出手
段(4)によつて抽出された各輪郭線の形状を修正する
輪郭線形状修正手段(4)とを設けるようにした。
【0009】また本発明においては、医療診断用静止画
像より所望器官の輪郭線を抽出する医療診断用画像処理
装置(1)において、入力される医療診断用静止画像を
空間的に平滑化する空間フイルタリング手段(8)と、
抽出すべき所望器官の輪郭線に囲まれた領域内の任意の
点をその内側に含む閉曲線を生成する閉曲線生成手段
(4)と、空間フイルタリング手段(8)で平滑化され
た画像のレベル変化に基づいて、閉曲線生成手段(4)
で生成された閉曲線を変形し、所望器官のおおよその輪
郭線を抽出する閉曲線変形手段(4)と、閉曲線変形手
段(4)で得られた輪郭線の形状を修正する輪郭線形状
修正手段(4)とを設けるようにした。
【0010】また本発明においては、医療診断用動画像
より周期的な動きのある所望器官の輪郭線を抽出する医
療診断用画像処理装置(20)において、所望器官の動
きの繰り返し周期毎に医療診断用動画像を入力する画像
サンプリング手段(22)と、画像サンプリング手段
(22)で得られた複数の画像を画素毎に加算して時間
平滑化された画像を生成する同期加算手段(22D)
と、同期加算手段(22D)で得られた画像を空間的に
平滑化する空間フイルタリング手段(8)と、抽出すべ
き所望器官の輪郭線に囲まれた領域内の任意の点をその
内側に含む閉曲線を生成する閉曲線生成手段(4)と、
空間フイルタリング手段(8)で平滑化された画像のレ
ベル変化に基づいて、閉曲線生成手段(4)で得られた
閉曲線を変形し、所望器官のおおよその輪郭線を抽出す
る閉曲線変形手段(4)と、閉曲線変形手段(4)で得
られた輪郭線の形状を修正する輪郭線形状修正手段
(4)とを設けるようにした。
【0011】また本発明においては、医療診断用動画像
より周期的な動きのある所望器官の輪郭線を抽出する医
療診断用画像処理装置(40)において、所望器官の動
きの繰り返し周期よりも短い間隔で医療診断用動画像を
入力する画像サンプリング手段(31)と、画像サンプ
リング手段(31)で得られた画像より所望器官の同じ
状態に対応する画像を集めて画素毎に加算して所望器官
の状態毎に時間平滑化された画像を生成する同期加算手
段(22D)と、同期加算手段(22D)で得られた所
望器官の状態毎の画像をそれぞれ空間的に平滑化する空
間フイルタリング手段(42)と、抽出すべき所望器官
の輪郭線に囲まれた領域内の任意の点をその内側に含む
閉曲線を各画像毎に生成する閉曲線生成手段(4)と、
空間フイルタリング手段(42)で平滑化された各画像
のレベル変化に基づいて、閉曲線生成手段(4)で得ら
れた各閉曲線を変形し、所望器官のおおよその輪郭線を
各画像毎に抽出する閉曲線変形手段(4)と、閉曲線変
形手段(4)で得られた各輪郭線の形状を修正する輪郭
線形状修正手段(4)とを設けるようにした。
【0012】
【作用】入力された医療診断用静止画像を空間的に平滑
化した後複数の境界線を抽出する。当該複数の境界線よ
り所望器官の輪郭に対応する境界線を輪郭線として抽出
し、当該輪郭線の形状を修正して所望器官の輪郭線とし
て抽出するようにした。これにより、所望器官の輪郭線
を自動的に抽出することができるので、医療診断を迅速
かつ正確に行うことができる。
【0013】また、入力された医療診断用動画像を所望
器官の動きの繰り返し周期毎にサンプリングして同期加
算して時間方向のノイズを低減した後、この時間平滑化
された画像を空間的に平滑化して複数の境界線を抽出す
る。当該複数の境界線より所望器官の輪郭に対応する境
界線を輪郭線として抽出し、当該輪郭線の形状を修正し
て所望器官の輪郭線として抽出する。これにより所望器
官の輪郭線を自動的に抽出することができるので医療診
断を迅速かつ正確に行うことができる。
【0014】また、入力された医療診断用動画像を所望
器官の動きの繰り返し周期よりも短い間隔でサンプリン
グし、所望器官の同じ状態にある画像を同期加算して時
間方向のノイズを低減した後、所望器官の状態毎に時間
平滑化された画像をそれぞれ空間的に平滑化して各画像
毎に複数の境界線を抽出する。当該複数の境界線より所
望器官の輪郭に対応する境界線を輪郭線として各画像毎
に抽出し、当該各輪郭線の形状を修正して所望器官の輪
郭線として抽出する。これにより、所望器官の輪郭線を
時相毎に自動的に抽出することができるので所望器官の
輪郭線の時間的変化を観察することができ、医療診断を
迅速かつ正確に行うことができる。またこれらの輪郭線
より輪郭線の速度など診断に必要なパラメータを計算す
ることができる。
【0015】また、入力された医療診断用静止画像を空
間的に平滑化した後、抽出すべき所望器官の輪郭線に囲
まれた領域内の任意の点をその内側に含む閉曲線を生成
する。この閉曲線を平滑化された画像のレベル変化に基
づいて変形して所望器官のおおよその輪郭線を抽出し、
この輪郭線の形状を修正して所望器官の輪郭線として抽
出する。これにより、所望器官の輪郭線を自動的に抽出
することができるので医療診断を迅速かつ正確に行うこ
とができる。
【0016】また、入力された医療診断用動画像を所望
器官の動きの繰り返し周期毎にサンプリングして同期加
算して時間方向のノイズを低減する。この時間平滑化さ
れた画像を空間的に平滑化した後、抽出すべき所望器官
の輪郭線に囲まれた領域内の任意の点をその内側に含む
閉曲線を生成する。この閉曲線を平滑化された画像のレ
ベル変化に基づいて変形して所望器官のおおよその輪郭
線を抽出し、この輪郭線の形状を修正して所望器官の輪
郭線として抽出する。これにより、所望器官の輪郭線を
自動的に抽出することができるので医療診断を迅速かつ
正確に行うことができる。
【0017】また、入力された医療診断用動画像を所望
器官の動きの繰り返し周期よりも短い間隔でサンプリン
グし、所望器官の同じ状態にある画像を同期加算して時
間方向のノイズを低減する。次に、所望器官の状態毎に
時間平滑化された画像をそれぞれ空間的に平滑化して、
抽出すべき所望器官の輪郭線に囲まれた領域内の任意の
点をその内側に含む閉曲線を各画像毎に生成する。これ
らの各閉曲線を平滑化された画像のレベル変化に基づい
て変形して所望器官のおおよその輪郭線を抽出し、これ
らの輪郭線の形状を修正して所望器官の輪郭線として抽
出する。これにより、所望器官の輪郭線を時相毎に自動
的に抽出することができるので所望器官の輪郭線の時間
的変化を観察することができので、医療診断を迅速かつ
正確に行うことができる。またこれらの輪郭線より輪郭
線の速度など診断に必要なパラメータを計算することが
できる。
【0018】
【実施例】以下図面について、本発明の一実施例を詳述
する。
【0019】(1)第1実施例 図1において、1は全体として本発明の第1実施例によ
る医療診断用画像処理装置を示している。この医療診断
用画像処理装置1では、入力された超音波画像の医療診
断用静止画像を空間的に平滑化した後複数の境界線を抽
出し、当該境界線より所望器官の輪郭に対応する境界線
を輪郭線として選択し、当該輪郭線の形状を修正して所
望器官の輪郭線として抽出するようになされている。
【0020】アナログデイジタル変換器(A/D変換
器)2に入力した入力画像信号は、デイジタル化された
後、フレームメモリ3に格納される。ここで入力画像は
輝度成分だけを有するグレースケール画像とする。フレ
ームメモリ3に格納された画像は、マイクロコンピユー
タ4の指示の下に画像表示装置5に表示される。
【0021】座標入力装置6は、例えばマウス等のポイ
ンテイングデバイスでなり、所望器官領域のほぼ中心位
置(以下これを基準位置と呼ぶ)の座標(ic, jc ) を入
力するためのものであり、マイクロコンピユータ4によ
つて制御される。この座標入力装置6によつて画像表示
装置5上のある位置を指定することにより座標を入力す
ることができ、指定された座標はメモリ7に記憶され
る。座標入力装置6によつて座標入力が完了すると、フ
レームメモリ3上の画像データが図2に示す走査順序で
読み出されて空間フイルタ8に入力される。
【0022】空間フイルタ8では、次式
【数1】 によるフイルタリング処理が行われる。ここでX(i,j)
は入力画像Xの位置(i,j) の座標値を表し、Y(i,j) は
空間フイルタ8より出力される画像の位置(i,j)を表
す。またadidjは2次元のフイルタ係数を表す。フイル
タ係数としては、例えば図3や図4に示すようなフイル
タ係数を用いる。図3に示すようなフイルタ係数を有す
るフイルタは低域通過型フイルタであり、この低域通過
型フイルタを用いた場合、後述の境界線抽出で得られる
境界線は低域成分の等高線になる。また図4に示すよう
なフイルタ係数を有するフイルタはラプラシアンGと呼
ばれる平滑化微分フイルタであり、ガウス関数の2階微
分をデイジタル化したものである。この平滑化微分フイ
ルタによつて得られる境界線は、輝度変化の大きなエツ
ジに相当する。
【0023】空間フイルタ8の出力は2値化器9に入力
され、2値化器9では、空間フイルタ8の出力を、予め
設定されているしきい値TH1によつて2値化する。す
なわち入力値がしきい値TH1よりも大きな値の場合に
は「1」、小さな値の場合には「0」に変換される。こ
の出力値はフレームメモリ3の所定の位置に上書きされ
る。
【0024】このようにして入力画像全体に対する2値
化処理が終了すると、図5に示すように、マイクロコン
ピユータ4は境界線抽出処理SP1、輪郭線抽出処理S
P2及び輪郭線形状修正処理SP3を実行する。以下に
マイクロコンピユータ4によるこれらの処理について説
明する。ここで後述するように、メモリ10及び11に
は、マイクロコンピユータ4による計算結果が格納され
る。すなわちメモリ10には選択された輪郭線を構成す
る点の座標系列が格納され、メモリ11には輪郭線の形
状を修正するための変曲点の情報が格納される。
【0025】まずマイクロコンピユータ4による境界線
抽出処理SP1の処理手順について説明する。図6に示
すように、境界線抽出処理SP1の第1の処理としての
境界線開始点の検出処理SP10において、マイクロコ
ンピユータ4は図2に示す順序でフレームメモリ3を走
査し、各位置で次式
【数2】 の関係が満たされているか否かを調べる。(2)式にお
いて、X(i,j) はフレームメモリ3上の位置(i,j) にお
ける座標値を表す。フレームメモリ3を走査していると
き、最初に(2)式を満足する位置(i,j) を境界線の開
始位置とする。なお以下において、フレームメモリ3上
の位置を表す場合にpを用い、例えばその点の座標が
(i,j) である場合には、p=(i,j) と表す。また検出さ
れた境界開始点をp0 とする。
【0026】境界開始点p0 が検出されると、この位置
における2値画像の値(「0」又は「1」)がレジスタ
0 に保存され、新たなラベルLが生成されてフレーム
メモリ3上の境界開始点p0 の位置に値「L」が保存さ
れる。ここでラベル番号Lは、予め格納されている2値
画像と混同しないように「2」以上の整数を用いる。境
界線抽出処理SP1は、境界開始点を検出するための走
査が画像の右下に到達した時点で終了する。
【0027】次にマイクロコンピユータ4は、境界線抽
出処理SP1の第2の処理としての境界線追跡処理SP
11において、検出された境界開始点p0 を含む境界線
を構成する点列(境界点)pk (k=0、1…)を近傍
探索によつて順次追跡する。この近傍探索処理を図7を
用いて説明する。フレームメモリ3上の2値画像を表す
図7において、いま境界点pk までが確定しているとす
る。このとき、境界点pk の近傍8画素の値を時計回り
に順に調べ、レジスタr0 と同じ値(すなわち境界点p
k と同じ値)をもつ最初の位置を次の境界点pk+1 とす
る。境界点pkの近傍8画素のいずれから探索を開始す
るかは、境界点pk の1つ前に確定した境界点pk-1
境界点pk との位置関係によつて決まる。
【0028】すなわち境界点pk-1 を中心とした近傍8
画素の中で、時計回りに見た場合に境界点pk よりも順
序が1つ前に当たる位置を、境界点pk+1 を求める際の
探索開始点とする。図7においては、境界点pk 上に位
置する画素が近傍探索の開始点となり、右隣の画素が境
界点pk+1 として検出される。フレームメモリ3上のp
k+1 の位置にはラベル番号Lを保存する。以上の操作
を、(A)次の境界点が境界開始点p0 と一致するか、
又は(B)次の境界点が1つ前の境界点pk-1 と一致す
るかの2つの条件のいずれかが満たされるまで繰り返
す。
【0029】条件(A)は境界線が閉じたことを意味し
ており、1つの境界線の追跡が完了したことになる。こ
の場合、次の境界線の開始点を検出するため、現在の境
界開始点p0 の次の走査位置から再び境界開始点検出処
理SP10を行う。条件(B)は、追跡中の境界線が閉
じていないことを意味する。この場合図8に示すよう
に、境界開始点p0 に戻り、近傍探索を反時計回りに行
なうことで、反対方向に境界線を追跡する。反対方向へ
の追跡が終了した時点で、境界開始点p0 の次の走査位
置から境界開始点P0 の検出を再開する。
【0030】このようにして境界線を抽出すると、マイ
クロコンピユータ4は輪郭線抽出処理SP2を開始す
る。図9に示すように、まずマイクロコンピユータ4は
輪郭線選択処理SP20において、上述の方法によつて
抽出した各境界線毎にフレームメモリ3を走査し、ラベ
ルLを値としてもつ位置(i,j) とメモリ7に保存されて
いる基準位置(ic, jc ) との距離dを次式
【数3】 によつて計算する。ラベルLをもつすべての位置に対し
て距離dを計算し、図10に示すように、その最小値を
ラベルLの境界線と基準位置との距離dl とする。全て
の境界線の中で、基準位置との距離dl が最も小さい境
界線を輪郭線として選択する。なお各境界線の基準位置
との距離dl は、上述の境界線の追跡において計算して
おくこともできる。
【0031】次にマイクロコンピユータ4は、輪郭線座
標系列生成処理SP21において、フレームメモリ3で
選択された輪郭線を構成する点の座標を順次メモリ10
に保存して座標系列を生成する。この処理手順は、図6
に示す境界線抽出処理と同じであるが、境界線開始点の
検出処理では、各位置において(2)式を評価する代わ
りに、その位置のラベルが、選択された輪郭線のもので
あるか否かを調べる。すなわち走査中、最初に輪郭線の
ラベルに遭遇した位置を境界線開始点p0 とする。また
追跡すべき対象は1つしかないので境界線開始点の検出
は1度でけである。
【0032】この座標系列の生成において、上述の追跡
停止条件(B)すなわち次の境界点が1つ前の境界点p
k-1 と一致した場合には、この時点までに生成した座標
系列の順序を逆転させた後、逆方向の追跡を開始する。
逆方向の追跡が完了した段階で、再び全座標系列の順序
を逆転させる。これにより、生成された座標系列が輪郭
線を時計回りになぞる順序になることが保証される。
【0033】このようにして輪郭線抽出処理SP2が終
了すると、マイクロコンピユータ4は図11に示す処理
手順に従つて輪郭線形状修正処理SP3を開始する。こ
の場合、心臓のようなほぼ楕円形の器官の輪郭線を抽出
する場合について説明し、図12及び図13に示すよう
な輪郭形状を修正する場合について説明する。図12に
示すような輪郭線が生成される原因としては、空間平滑
化のための隣接領域の融合が考えられる。また図13に
示すようなくぼみは、所望器官に他の器官が重なつてい
る場合に発生すると考えられ、心臓の超音波画像におけ
る乳頭筋がその1例である。
【0034】まずマイクロコンピユータ4は輪郭線形状
修正処理SP3として、変曲点検出処理SP30におい
て、図14に示すように、メモリ10に格納されている
座標系列の各点に対して曲率ρを次式
【数4】 によつて計算する。ここで座標(in, jn ) はメモリ10
においてn番目に格納されている座標であり、kは注目
点前後の輪郭線の傾きを計算するための定数である。曲
率ρの絶対値が予め設定されたしきい値TH2よりも大
きい場合にはこの点を変曲点とみなし、メモリ11のn
番目に曲率ρの値を保存する。曲率ρの絶対値がしきい
値TH2以下の場合には、メモリ11のn番目には
「0」を保存する。ここで図14に示すように、(4)
式の符号は変曲点の種類を表す。すなわち(4)式によ
つて得られる値が正の値となる場合には、この変曲点は
輪郭線の中心部に対して凹と考えられ、逆に負である場
合には凸であると考えられる。
【0035】ここで融合領域の除去処理SP31は、図
15に示すように、曲率ρの特に大きな凹の変曲点で挟
まれた部分を除去することによつて実現する。すなわち
メモリ11の中で正の値を有し、その絶対値が予め設定
されたしきい値TH3よりも大きい点を融合接点とす
る。しきい値TH3は、変曲点検出処理SP30で用い
たしきい値TH2よりも大きな値に設定される。融合接
点が2つ以上検出された場合には、各融合接点に対し
て、隣の融合接点までの画像上での直線距離を計算す
る。隣接する融合接点間の距離が予め設定されたしきい
値TH4よりも小さい場合には、この2つの融合接点に
挟まれたメモリ11上の各位置に特別な値ρ∞を代入
し、輪郭線より除去する。図16に示すように、輪郭線
が閉じている場合には、2つの融合接点によつて分けら
れる輪郭線の2つの部分についてそれぞれ重心を計算
し、基準位置から遠い方を除去する。
【0036】(4)式において、定数kやしきい値TH
4の選び方によつては、実質的に1つの融合接点である
にもかかわらず、連結した複数の点が融合接点として検
出される場合がある。この場合、連結した融合接点の中
から1つを代表点として選び、代表点に挟まれた部分を
除去する。例えば代表点として、連結する融合接点の中
で曲率ρの絶対値が最大のものを選ぶことができる。
【0037】次にマイクロコンピユータ4は、くぼみ部
分の除去処理SP32において、図17に示すように、
しきい値TH2で検出された2つの凸変曲点の間に、同
じしきい値TH2で検出された凹変曲点が存在する場合
に、2つの凸変曲点で挟まれた部分を除去することによ
つて実現する。すなわち、まず融合領域の除去処理が施
されたメモリ11の値を順に調べ、正の値を有する凹変
曲点を検出する。次にこの凹変曲点から両方向に、負の
値を有する凸変曲点を探索し、各方向において最初に遭
遇した凸変曲点を検出する。これらの2つの凸変曲点に
挟まれたメモリ11上の各位置に特別な値ρ∞を代入し
て輪郭線から除去する。
【0038】この場合上述の融合接点と同様に、凹変曲
点や凸変曲点も連結して検出される場合があるが、この
場合にも代表点を用いればよい。また心臓の超音波画像
における乳頭筋のように、これによつて生ずるくぼみの
輪郭線全体に対する相対的な位置がおおよそ予測できる
場合には、凹変曲点、凸変曲点の出現位置を予め制限す
ることができる。すなわち、ある制限された範囲に出現
した変曲点に対してのみ、くぼみ部分を除去することが
できる。
【0039】補間処理は、上述の2つの除去処理によつ
て輪郭線に発生した非連結部分を補間するための処理で
あり、連結した新しい輪郭線の座標系列を生成する。図
18に示すように、ある部分を除去した結果発生した輪
郭線の端点座標をps =(is,js ) 、pe =(ie , je )
とすると、例えばこの端点ps 及びpe 間を次式
【数5】 ような2次関数で補間する。(5)式において、tは媒
介変数であり、pm =(im , jm ) は、上述の2つの除
去処理の後に残つている輪郭線構成点の重心pgから図
18のように定まる点である。すなわち点pm は、端点
s を通り重心pg と端点ps を結ぶ線分に直交する直
線と、端点pe を通り重心pg と端点peを結ぶ線分に
直交する直線との交点である。(5)式によつて、端点
s と端点pe を結ぶ補間座標系列を発生させるため
に、p0 =ps として次の処理を繰り返す。
【0040】いま点pn までの補間座標系列が確定して
いるとすると、補間点pn に隣接するいくつかの近傍点
p=(i,j) において次式
【数6】 を計算し、sの値が最小となる点を次の補間点pn+1
する。ここで(6)式を計算する近傍は、図19に示す
ように補間点pn と1つ前に確定した点pn-1 との位置
関係によつて決まる。すなわち補間点pn をはさんで点
n-1 の反対側5画素(図19の斜線で示す部分)で
(6)式を計算する。また(6)式のt1 及びt2 はそ
れぞれ実数であり、かつ0.0 以上1.0 以下の値となる必
要があり、図19に示した近傍点のなかで、さらにこの
条件を満たすものの中から(6)式を最小にするものを
選ぶ。補間点pn+1 が端点pe と一致した時点で、補間
座標系列が完成する。メモリ11上の端点ps の次か
ら、端点pe の1つ前までの座標を消去し、消去した座
標の代わりに、生成した補間点の座標系列を挿入する。
このような補間処理を、除去処理によつて生じた全ての
端点間に適用して新たな輪郭線の座標系列を生成する。
この場合、必要であれば、この座標系列中の各点をフレ
ームメモリ3に書き込み、画像表示装置5に表示するこ
ともできる。
【0041】以上の構成によれば、入力された超音波画
像の医療診断用静止画像を空間的に平滑化した後複数の
境界線を抽出して当該境界線のうち基準位置との距離d
が最も小さい境界線を輪郭線として選択し、当該輪郭線
の形状を修正して所望器官の輪郭線として抽出したこと
により、所望器官の輪郭線を自動的に抽出することがで
きるので医療診断を迅速かつ正確に行うことができる。
【0042】(2)第2実施例 図1との対応部分に同一符号を付して示す図20におい
て、20は全体として本発明の第2実施例による医療診
断用画像処理装置を示している。医療診断用画像処理装
置20では、入力された超音波画像の医療診断用動画像
を所望器官の動きの繰り返し周期毎にサンプリングして
同期加算して時間方向のノイズを低減した後、この時間
平滑化された画像を空間的に平滑化して複数の境界線を
抽出する。当該境界線より所望器官の輪郭に対応する境
界線を輪郭線として抽出し、当該輪郭線の形状を修正し
て所望器官の輪郭線として抽出するようになされてい
る。
【0043】ここでこの実施例では、医療診断用動画像
として周期的な動きのある心臓の動画像を用い、また後
述する第3実施例及び第4実施例においても医療診断用
動画像として心臓の動画像を用いる。
【0044】遅延素子21は画像サンプリング器22に
おいて心電図波形の解析に必要な時間だけ入力データを
遅延させる。フレーム同期信号生成器23は遅延素子2
1で遅延される前のフレーム開始のタイミングを示す信
号を画像サンプリング器22に出力する。画像サンプリ
ング器22は、画像と同期して心電図モニタ装置24よ
り送出される心電図波形に基づいて、各フレームの入力
開始時にそのフレームをサンプリングするか否かを判断
し、サンプリングされた画像の時間平均値画像をフレー
ムメモリ3上に生成する。予め設定された周期分の時間
平均が行なわれた後、第1実施例と同様の処理により輪
郭線が抽出される。フレームメモリ3の値は測定開始時
にリセツトされる。また必要であれば、抽出された輪郭
線をフレームメモリ3に書き込み、画像表示装置5に表
示することもできる。
【0045】画像サンプリング器22の構成を図21に
示す。図21に示すように、画像サンプリング器22
は、基準点検出器22A、タイマ22B、時相検出器2
2C及び同期加算器22Dによつて構成されている。基
準点検出器22Aは心電図モニタ装置24より時々刻々
入力される心電図波形の基準点を検出する。基準点は、
心電図波形にその繰り返し周期毎に現われる点であり、
例えば図22に示すように、R波のピーク(各周期にお
いて最大値となる位置)を基準点として用いている。基
準点が検出されると、タイマ22Bがリセツトされ、リ
セツト後タイマ22Bは次にリセツトされるまで一定の
時間間隔で値をインクリメントする。
【0046】時相検出器22Cはフレーム同期信号生成
器23よりフレームの開始を示す信号を受け取ると、タ
イマ22Bの値を読み取り、予め設定されている値t
(以下これを時相と呼ぶ)との差を計算する。この値t
がしきい値TH5以下である場合だけ、次に入力される
フレームデータが同期加算器22Dに送出され、これ以
外の場合には入力データは破棄される。同期加算器22
Dでは、入力データに対応するフレームメモリ3上のデ
ータが読み出され、入力データとの平均値を次式
【数7】 によつて計算する。
【0047】ここでXn (i, j)は画像をサンプリングし
始めた時点からn番目のサンプリング画像における位置
(i, j)のデータ値を表し、X′n-1 (i, j)はn−1番目
までの平均画像における位置(i, j)のデータ値、すなわ
ちn番目の画像がサンプリングされた時点でフレームメ
モリ3に保存されているデータの値を表している。
(7)式によつて得られる計算結果はフレームメモリ3
の同じ位置に保存される。ただし測定開始直後は入力デ
ータとフレームメモリ3上の値との平均値計算は行われ
ず、入力データがそのままフレームメモリ3に書き込ま
れる。
【0048】ここで画像をサンプリングする時相を、基
準点からの時間ではなく、繰り返し周期における位相と
して指定することもできる。すなわち基準点検出器22
Aでは、ある基準点から次の基準点までの時間Tを検出
し、はじめの基準点からT/aの時刻に入力されたフレ
ームをサンプリングする。この方法によれば、各繰り返
しにおける周期のゆらぎを吸収することができるので、
一段と正確に同期加算することができる。
【0049】以上の構成によれば、入力された心臓の動
画像を、心臓の動きの繰り返し周期毎にサンプリングし
て同期加算して時間方向のノイズを低減した後、この時
間平滑化された画像をさらに空間的に平滑化して複数の
境界線を抽出し、当該境界線のうち基準位置との距離d
が最も小さい境界線を輪郭線として選択し、この輪郭線
の形状を修正して心臓の輪郭線として抽出するようにし
たことにより、心臓の輪郭線を自動的に抽出することが
できるので医療診断を迅速かつ正確に行うことができ
る。
【0050】(3)第3実施例 図20との対応部分に同一符号を付して示す図23にお
いて、30は全体として本発明の第3実施例による画像
処理装置を示している。この画像処理装置30では、入
力された超音波画像の医療診断用動画像を、所望器官の
繰り返し周期よりも短い間隔でサンプリングし、当該器
官の同じ状態にある画像を同期加算して時間方向のノイ
ズを低減した後、所望器官の状態毎に時間平滑化された
各画像をそれぞれ空間的に平滑化して時相毎に複数の境
界線を抽出する。複数の境界線より所望器官の輪郭に対
応する境界線を輪郭線として時相毎に選択し、当該各輪
郭線の形状を修正して所望器官の輪郭線を時相毎に抽出
するようになされている。
【0051】画像サンプリング器31は、画像サンプリ
ング器22とほぼ同じであるが、画像をサンプリングす
る時相として複数の値t0、t1、……が予め設定され
ている。画像サンプリング器31において各時相でサン
プリングされた画像は時相毎に平均画像が生成され、各
時相に対応するフレームメモリ32に出力される。ここ
でフレームメモリ32はサンプリング時相の数と同数用
意されており、各フレームメモリ32には同時相の平均
画像が格納される。このように、予め設定された周期分
の時間平均が行なわれた後、各フレームメモリ32上の
平均画像に対して第1実施例と同様の処理によつて輪郭
線を抽出する。
【0052】なお必要であれば、時相の異なる複数の輪
郭線を、フレームメモリ32のいづれか1つのフレーム
メモリ33に重ね書きし、画像表示装置5によつて静止
画像として表示させてもよい。また各時相の輪郭線を異
なるフレームメモリ32に書き込み、これらを時間的に
切り替えて画像表示装置5に表示させるようにしてもよ
い。
【0053】以上の構成によれば、入力された心臓の動
画像を、心臓の動きの繰り返し周期において、予め設定
した複数の時相でサンプリングし、同時相毎に同期加算
して時間方向のノイズを低減した後、異なる時相毎に時
間平滑化された画像をそれぞれ空間的に平滑化して各画
像より複数の境界線を抽出し、当該各複数の境界線のう
ち基準位置との距離dが最も小さい境界線を輪郭線とし
て抽出し、当該各輪郭線の形状を修正して心臓の輪郭線
として抽出するようにしたことにより、心臓の輪郭線を
時相毎に自動的に抽出することができるので、心臓の輪
郭線の時間的変化を観察することができ、これにより医
療診断を迅速かつ正確に行うことができる。また抽出さ
れた輪郭線より、輪郭線の速度等診断に必要なパラメー
タを計算することができる。
【0054】(4)第4実施例 図23との対応部分に同一符号を付して示す図24にお
いて、40は全体として本発明の第4実施例による画像
処理装置を示している。この画像処理装置40では、1
枚の2値画像を保存するための2値画像用フレームメモ
リ41が設けられており、空間フイルタとして図3に示
す低域通過型フイルタ42を用いている。
【0055】すなわち画像処理装置40では、画像処理
装置30と同様に時間平均の施された画像に対して、空
間フイルタ42による空間的平滑化処理が行われ、空間
フイルタ42の出力は直接フレームメモリ32に書き込
まれる。マイクロコンピユータ4では、空間的平滑化処
理が完了した各画像に対して図25に示すように閉曲線
の生成、輪郭線の抽出及び輪郭線形状の修正を行つて輪
郭線を抽出する。すなわちマイクロコンピユータ4は、
閉曲線の生成処理SP1において所望器官の輪郭線の内
側に存在する閉曲線を生成し、輪郭線の抽出処理SP2
において、得られた閉曲線を外側に向けて拡大すること
によつておおよその輪郭線形状を抽出し、輪郭線形状の
修正処理SP3において、抽出された輪郭線の形状を第
1実施例で述べた輪郭線形状修正処理(図11)と同じ
方法で修正する。
【0056】閉曲線の生成処理(SP1)の処理手順を
図26に示す。まずマイクロコンピユータ4は、しきい
値の初期化処理SP10において、座標入力装置6によ
つて指定された基準位置における画素値をフレームメモ
リ32より読み出し、これをしきい値として設定する。
次に2値化処理SP11において、フレームメモリ32
上の画像データを読み出し、設定されているしきい値に
よつて2値化を行い、その結果を2値画像用フレームメ
モリ41に保存する。次に境界線の抽出処理SP12に
おいて、この2値画像の境界線を第1実施例で述べた境
界線抽出処理(図6)と同じ方法で抽出する。
【0057】次にマイクロコンピユータ4は、境界線の
選択処理SP13において、境界線の抽出処理SP12
で得られた境界線のうち、座標入力装置6によつて指定
された基準位置との距離dが最も小さい境界線を選択す
る。この処理は第1実施例で述べた輪郭線抽出処理(図
9)と同じである。次に閉曲線の判定処理SP14にお
いて、境界線の選択処理SP13で選択された境界線に
対して次の2つの条件、すなわち(A)開始点と終了点
が隣接しているか、(B)境界線の長さが予め設定され
たしきい値TH6より小さいかについて調べる。
【0058】条件(A)又は(B)のいずれかの条件を
満たされない場合には、マイクロコンピユータ4はしき
い値の修正処理SP15に進み、現在のしきい値を一段
と小さい値に設定し直して、2値化処理SP11からし
きい値の修正処理SP15までの処理ループを実行す
る。この2つの条件がともに満足されている場合には、
マイクロコンピユータ4は抽出された境界線を閉曲線と
判定し、その座標系列を閉曲線の修正処理SP16に送
る。
【0059】閉曲線の修正処理SP16において、マイ
クロコンピユータ4は、抽出された閉曲線の形状を変曲
点に応じて修正する。この処理は第1実施例で述べた輪
郭線形状修正処理(図11)と同じである。ただしここ
では、不用なふくらみが生ずることを回避するためにく
ぼみ部分の補間を(5)式の2次曲線ではなく、次式
【数8】 に示す直線で行うことも可能である。直線補間による補
間座標系列を発生させるためには、(6)式の代わりに
次式
【数9】 を満たす近傍点p=(i,j) を追跡すればよい。
【0060】次に輪郭線の抽出処理(図25のSP2)
の処理手順を図27に示す。まずマイクロコンピユータ
4は、閉曲線の重心位置の算出処理SP20において、
形状の修正された閉曲線(以下単に閉曲線と呼ぶ)の重
心点pg =(ig , jg ) を計算する。次に輪郭点の検出
処理SP21において、図28に示すように、閉曲線を
構成する各点pk =(ik ,jk ) に対して、重心pg
ら各点に向かう直線に沿つて入力画像の1次微分を計算
し、点pk から見て最初に次式
【数10】 の条件を満たす点を、真の輪郭線を構成する点pk ′=
(ik ′, jk ′) として検出する。
【0061】ここでXkm は重心点pg から閉曲線上の
点pk に向かう直線に沿つて入力画像の値を並べた1次
元データ列で、Xk0 が重心位置における画素値に相当
する。 devm は、この配列における1次微分の絶対値で
ある。またTH1、TH2、TH3は予め設定された正
の値である。(10)式は、レベルそのものが増加して
いると同時に、図29に示すように1次微分の絶対値が
しきい値TH3よりも大きく、かつその変化が増加から
減少に転じる点を表しており、点pk から見て最初にこ
の条件を満足する点が輪郭点として検出される。
【0062】最後に、輪郭点の補間処理SP22におい
て、マイクロコンピユータ4は検出された輪郭点の間を
補間して輪郭線を構成する。この補間処理は第1実施例
で述べた補間処理(図18)とほぼ同じである。ただし
第4実施例では、図30に示すように、隣接する輪郭点
の間を全て補間する。またこの場合補間する区間が短い
ために、(8)式に示すような直線補間を行うことがで
きる。なおこの輪郭点の補間処理の前に、検出された輪
郭点の位置を次のように平滑化することもできる。
【0063】例えば、検出されたk番目の輪郭点と重心
点との距離lk を(3)式のように計算し、これをkの
方向に平滑化する。この平滑化処理には、例えば、1次
元の平均化フイルタやメデイアンフイルタ等を用いる。
平滑化されたlk ′を用いて新しい輪郭点の位置を(ig
+(ik − ig )k′/ lsk, jg +(jk − jg )k′/
sk) とすることにより、最終的に滑らかな輪郭線を得
ることができる。ここでlsk′は閉曲線上のk番目の点
と重心点との距離を表す。
【0064】以上の構成によれば、入力された心臓の動
画像を、心臓の動きの繰り返し周期よりも短い間隔でサ
ンプリングし、心臓の同じ状態にある画像を同期加算し
て時間方向のノイズを低減した後、心臓の状態毎に時間
平滑化された各画像をそれぞれ空間的に平滑化して、全
ての点が抽出すべき輪郭線の内側に存在するように閉曲
線を各画像毎に生成し、この各閉曲線を外側に向けて拡
大することによつて心臓のおおよその輪郭線を抽出し、
当該各輪郭線の形状を修正して心臓の輪郭線として抽出
するようにしたことにより、心臓の輪郭線を時相毎に自
動的に抽出することができるので、心臓の輪郭線の時間
的変化を観察することができ、これにより医療診断を迅
速かつ正確に行うことができる。またこれらの輪郭線よ
り輪郭線の速度など診断に必要なパラメータを計算する
ことができる。
【0065】(5)第5実施例 この実施例では、心臓の単軸断面の超音波画像より心内
膜の輪郭線を抽出する場合について説明する。心臓の単
軸断面画像には、図31に示すように同心円状に並ぶレ
ベルの高い2つの領域A、Bが存在し、外側のリング状
領域Aでは、当該領域Aの上部及び下部に相当する部分
Cが特にレベルが高くなる傾向がある。抽出すべき心内
膜は、内側のリング状領域Bの内側面に相当する。
【0066】この実施例の医療診断用画像処理装置の構
成(図示せず)は画像処理装置40とほぼ同じである
が、2値画像を保存するための2値画像用フレームメモ
リ41は設けられていない。またこの実施例におけるマ
イクロコンピユータ4による処理の流れは図25に示し
たものと同じであるが、各処理の内容は異なる。すわな
ちマイクロコンピユータ4は、閉曲線の生成処理SP1
では、所望器官の輪郭線の外側に存在する閉曲線として
円を生成し、輪郭線の抽出処理SP2では、生成された
内側に向けて縮小することによつておおよその輪郭線形
状を抽出する。輪郭線形状の修正処理SP3は第4実施
例と全く同じように処理する。
【0067】閉曲線の生成処理(図25のSP1)の処
理手順を図32に示す。まずマイクロコンピユータ4
は、極小点の検出処理SP10では、空間的平滑化処理
の施されたフレームメモリ32上の画像から垂直方向の
1次元データ列を読み出し、そのレベル変化を解析す
る。ここで垂直方向のレベル変化の解析を図33に示
す。図33において、iは現在注目している画像上の水
平座標を示し、図中の曲線は、水平座標iに対応する垂
直方向の画素値(レベル)を表している。
【0068】このデータ例において、まずj<jC の範
囲においてレベルが最大となる座標jL と、j>jC
範囲においてレベルが最大となる座標jU を検出する。
ただしjC は座標入力装置6によつて指定された基準位
置pC =(iC 、 jC ) の垂直座標である。次にjL 及び
U からそれぞれに向けてレベル変化を調べ、最初に遭
遇する極小点の座標jLP及びjUPを検出する。検出され
た2つの垂直座標jLP及びjUPは画像上での点pL
(i,jLP) 、点pU =(i,juP) に対応する。これらの点
は、上述した同心円状に並ぶ2つの領域に挟まれた部分
に存在すると考えられ、抽出すべき心内膜よりも外側に
位置する。
【0069】次に次式
【数11】 を満たす全ての水平座標に対して同じ解析を行い、(2Δ
i +1)×2個の極小点を検出する。なおΔi は予め設定
された正の定数である。
【0070】次に円近似処理SP11において、マイク
ロコンピユータ4は、検出された(2Δi +1)個の極小点
を1つの円で近似し、その中心座標(a, b)及び半径rを
求める。ここで、検出された複数の極小点を適当な順序
に並べ、k番目の点の座標を(ik , jk ) と表す。これ
らを円の方程式に代入すると、次式
【数12】 となる。ここでk>0に対応する式よりk=0の式を引
くことにより、次式
【数13】 を得ることができる。これを最小自乗法を用いて解くこ
とにより中心座標(a, b)を求める。半径rは、得られた
中心座標を(12)式の全ての式に代入し、それぞれか
ら求まるrを平均することによつて算出する。
【0071】次に円の生成処理SP12において、マイ
クロコンピユータ4は、算出された中心座標(a, b)と半
径rとを用いて、円を構成する座標系列Sを生成する。
これは例えば座標(a , b-r) を開始点として次式
【数14】 の値を最小とする近傍点の追跡処理を行うことにより生
成することができる。近傍点の追跡は第1実施例におけ
る補間座標系列の生成と同様に行うことができる。
【0072】次に輪郭線の抽出処理(図25のSP2)
の処理手順は、図27に示す処理手順とほぼ同じである
が、閉曲線の重心位置は円の中心として既に求められて
いるので、重心位置の算出処理(図27のSP20)は
必要ない。輪郭点の検出処理(図27のSP21)にお
いて、マイクロコンヒユータ4は、図34に示すよう
に、円を構成する各点pk =(ik, jk ) から重心点(円
の中心)pg (a , b)に向かう直線に沿つて入力画像の
1次微分を計算し、最初に次式
【数15】 を満たす点を、真の輪郭線を構成する点p′k
(i′k ,j ′k ) として検出する。(15)式の各記号
は(10)式で述べたものと同じである。ただしXkm
は円上の点pk からその中心pg に向かう直線に沿つて
画像値を並べた1次元データ列であり、Xk0 は円上の
点の画素値に相当する。(15)式は、レベルそのもの
が減少していると同時に、図35に示すように1次微分
の絶対値がしきい値TH3よりも大きく、かつその変化
が増加から減少に転じる点を表しており、円上の点から
見て最初にこの条件を満足する点が輪郭点として検出さ
れる。
【0073】以上の構成によれば、入力された心臓の単
軸断面の超音波画像を、心臓の動きの繰り返し周期より
も短い間隔でサンプリングし、心臓の同じ状態にある画
像を同期加算して時間方向のノイズを低減した後、心臓
の状態毎に時間平滑化された各画像をそれぞれ空間的に
平滑化して、全ての点が抽出すべき心内膜の輪郭線の外
側に存在するように閉曲線を各画像毎に生成し、この各
閉曲線を内側に向けて縮小することによつて心内膜のお
およその輪郭線を抽出し、当該各輪郭線の形状を修正し
て心内膜の輪郭線として抽出するようにしたことによ
り、心内膜の輪郭線を時相毎に自動的に抽出することが
できるので、心内膜の輪郭線の時間的変化を観察するこ
とができ、これにより迅速かつ正確に医療診断を行うこ
とができる。またこれらの輪郭線より輪郭線の速度など
診断に必要なパラメータを計算することができる。
【0074】(6)他の実施例 なお上述の実施例においては、医療診断用動画像として
心臓の動画像を本発明の医療診断用画像処理装置に適用
した場合について述べたが、本発明はこれに限らず、他
の周期的な動きのある器官の動画像を本発明の医療診断
用画像処理装置に適用しても同様の効果を得ることがで
きる。
【0075】また上述の第1実施例においては、入力さ
れた静止画像において、境界線の抽出処理(図5)を行
うことによつて所望器官の輪郭線を抽出する場合につい
て述べたが、本発明はこれに限らず、第4実施例及び第
5実施例のように、閉曲線の生成処理(図25)によつ
て所望器官の輪郭線を抽出するようにしてもよい。
【0076】この場合、入力された静止画像を空間的に
平滑化した後、抽出すべき所望器官の輪郭線に囲まれた
領域内の任意の点をその内側に含む閉曲線を生成し、当
該閉曲線を平滑化画像のレベル変化に基づいて変形する
ことによつて所望器官のおおよその輪郭線を抽出し、当
該輪郭線の形状を修正して所望器官の輪郭線として抽出
する。
【0077】また上述の第2実施例においては、入力さ
れた動画像において、境界線の抽出処理(図5)を行う
ことによつて所望器官の輪郭線を抽出する場合について
述べたが、本発明はこれに限らず、第4実施例及び第5
実施例のように、閉曲線の生成処理(図25)を行うこ
とによつて所望器官の輪郭線を抽出するようにしてもよ
い。
【0078】この場合、入力された動画像を、所望器官
の動きの繰り返し周期毎にサンプリングして同期加算し
て時間方向のノイズを低減した後、この時間平滑化され
た画像を空間的に平滑化して、抽出すべき所望器官の輪
郭線に囲まれた領域内の任意の点をその内側に含む閉曲
線を生成し、この閉曲線を平滑化画像のレベル変化に基
づいて変形することによつて所望器官のおおよその輪郭
線を抽出し、当該輪郭線の形状を修正して所望器官の輪
郭線として抽出する。
【0079】また上述の実施例においては、医療診断用
画像として超音波画像を本発明の医療診断用画像処理装
置に適用した場合について述べたが、本発明はこれに限
らず、他の医療診断用画像を本発明の医療診断用画像処
理装置に適用してもよい。
【0080】
【発明の効果】上述のように本発明によれば、入力され
た医療診断用静止画像を空間的に平滑化した後複数の境
界線を抽出し、当該複数の境界線より所望器官の輪郭に
対応する境界線を輪郭線として抽出し、当該輪郭線の形
状を修正して所望器官の輪郭線として抽出するようにし
たことにより、所望器官の輪郭線を自動的に抽出するこ
とができる医療診断用画像処理装置を実現し得る。
【0081】また本発明によれば、入力された医療診断
用動画像を所望器官の動きの繰り返し周期毎にサンプリ
ングして同期加算して時間方向のノイズを低減した後、
この時間平滑化された画像を空間的に平滑化して複数の
境界線を抽出し、当該複数の境界線より所望器官の輪郭
に対応する境界線を輪郭線として抽出し、当該輪郭線の
形状を修正して所望器官の輪郭線として抽出するように
したことより、所望器官の輪郭線を自動的に抽出するこ
とができる医療診断用画像処理装置を実現し得る。
【0082】また本発明によれば、入力された医療診断
用動画像を所望器官の動きの繰り返し周期よりも短い間
隔でサンプリングし、所望器官の同じ状態にある画像を
同期加算して時間方向のノイズを低減した後、所望器官
の状態毎に時間平滑化された画像をそれぞれ空間的に平
滑化して各画像毎に複数の境界線を抽出し、当該複数の
境界線より所望器官の輪郭に対応する境界線を輪郭線と
して各画像毎に抽出し、当該各輪郭線の形状を修正して
所望器官の輪郭線として抽出するようにしたことによ
り、所望器官の輪郭線を時相毎に自動的に抽出すること
ができる医療診断用画像処理装置を実現し得る。
【0083】また本発明によれば、入力された医療診断
用静止画像を空間的に平滑化した後、抽出すべき所望器
官の輪郭線に囲まれた領域内の任意の点をその内側に含
む閉曲線を生成し、この閉曲線を平滑化された画像のレ
ベル変化に基づいて変形して所望器官のおおよその輪郭
線を抽出し、この輪郭線の形状を修正して所望器官の輪
郭線として抽出するようにしたことにより、所望器官の
輪郭線を自動的に抽出することができる医療診断用画像
処理装置を実現し得る。
【0084】また入力された医療診断用動画像を所望器
官の動きの繰り返し周期毎にサンプリングして同期加算
して時間方向のノイズを低減した後、この時間平滑化さ
れた画像を空間的に平滑化して、抽出すべき所望器官の
輪郭線に囲まれた領域内の任意の点をその内側に含む閉
曲線を生成し、この閉曲線を平滑化された画像のレベル
変化に基づいて変形して所望器官のおおよその輪郭線を
抽出し、この輪郭線の形状を修正して所望器官の輪郭線
として抽出するようにしたことにより、所望器官の輪郭
線を自動的に抽出することができる医療診断用画像処理
装置を実現し得る。
【0085】また本発明によれば、入力された医療診断
用動画像を所望器官の動きの繰り返し周期よりも短い間
隔でサンプリングし、所望器官の同じ状態にある画像を
同期加算して時間方向のノイズを低減した後、所望器官
の状態毎に時間平滑化された画像をそれぞれ空間的に平
滑化して、抽出すべき所望器官の輪郭線に囲まれた領域
内の任意の点をその内側に含む閉曲線を各画像毎に生成
し、これらの各閉曲線を平滑化された画像のレベル変化
に基づいて変形して所望器官のおおよその輪郭線を抽出
し、これらの輪郭線の形状を修正して所望器官の輪郭線
として抽出するようにしたことにより、所望器官の輪郭
線を時相毎に自動的に抽出することができる医療診断用
画像処理装置を実現し得る。
【図面の簡単な説明】
【図1】本発明の第1実施例による医療診断用画像処理
装置の構成を示すブロツク図である。
【図2】画像の走査手順を示す略線図である。
【図3】空間フイルタのフイルタ係数の一例を示す図表
である。
【図4】空間フイルタのフイルタ係数の一例を示す図表
である。
【図5】マイクロコンピユータの処理の流れの説明に供
するフローチヤートである。
【図6】境界線抽出処理の処理手順の説明に供するフロ
ーチヤートである。
【図7】境界線追跡のための近傍探索の説明に供する略
線図である。
【図8】境界線の追跡方向の説明に供する略線図であ
る。
【図9】輪郭線抽出処理の処理手順の説明に供するフロ
ーチヤートである。
【図10】輪郭線の選択処理の説明に供する略線図であ
る。
【図11】輪郭線形状修正処理の処理手順の説明に供す
るフローチヤートである。
【図12】隣接領域が融合した場合の輪郭形状の一例を
示す略線図である。
【図13】くぼみを有する輪郭形状の一例を示す略線図
である。
【図14】変曲点の検出の説明に供する略線図である。
【図15】融合領域の除去の説明に供する略線図であ
る。
【図16】輪郭線が閉じている場合の融合領域の除去の
説明に供する略線図である。
【図17】くぼみの除去の説明に供する略線図である。
【図18】補間処理の説明に供する略線図である。
【図19】補間点の検出の説明に供する略線図である。
【図20】本発明の第2実施例による医療診断用画像処
理装置の構成を示すブロツク図である。
【図21】画像サンプリング器の構成を示すブロツク図
である。
【図22】心電図波形における基準点の説明に供する波
形図である。
【図23】本発明の第3実施例による医療診断用画像処
理装置の構成を示すブロツク図である。
【図24】本発明の第4実施例による医療診断用画像処
理装置の構成を示すブロツク図である。
【図25】第4実施例におけるマイクロコンピユータの
処理の流れを示すフローチヤートである。
【図26】第4実施例における閉曲線生成処理の処理手
順を示すフローチヤートである。
【図27】第4実施例における輪郭線抽出処理の処理手
順を示すフローチヤートである。
【図28】第4実施例における輪郭点の探索方向の説明
に供する略線図である。
【図29】第4実施例における輪郭点の検出の説明に供
する波形図である。
【図30】第4実施例における輪郭点の補間の説明に供
する略線図である。
【図31】心臓の単軸断面画像を示す略線図である。
【図32】第5実施例における閉曲線生成処理の処理手
順を示すフローチヤートである。
【図33】極小点の検出処理の説明に供する波形図であ
る。
【図34】第5実施例における輪郭点の探索方向の説明
に供する略線図てある。
【図35】第5実施例における輪郭点の検出の説明に供
する波形図である。
【符号の説明】
1、20、30、40……医療診断用画像処理装置、2
……アナログデイジタル変換回路(A/D変換器)、
3、32……フレームメモリ、4……マイクロコンピユ
ータ、5……画像表示装置、6……座標入力装置、7、
10、11……メモリ、8……空間フイルタ、9……2
値化器、21……遅延素子、22、31……画像サンプ
リング器、23……フレーム同期信号生成器、24……
心電図モニタ装置。41……2値画像用フレームメモ
リ、42……低域通過型空間フイルタ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 皆川 太郎 岐阜県岐阜市福光西1丁目7番1号(102)

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】医療診断用静止画像より所望器官の輪郭線
    を抽出する医療診断用画像処理装置において、 入力される上記医療診断用静止画像を空間的に平滑化す
    る空間フイルタリング手段と、 上記空間フイルタリング手段で得られた画像より複数の
    境界線を抽出する境界線抽出手段と、 上記境界線抽出手段によつて抽出された上記複数の境界
    線より上記所望器官の輪郭に対応する境界線を輪郭線と
    して抽出する輪郭線抽出手段と、 上記輪郭線抽出手段によつて抽出された上記輪郭線の形
    状を修正する輪郭線形状修正手段とを具えることを特徴
    とする医療診断用画像処理装置。
  2. 【請求項2】医療診断用動画像より周期的な動きのある
    所望器官の輪郭線を抽出する医療診断用画像処理装置に
    おいて、 上記所望器官の動きの繰り返し周期毎に上記医療診断用
    動画像を入力する画像サンプリング手段と、 上記画像サンプリング手段で得られた複数の画像を画素
    毎に加算して時間平滑化された画像を生成する同期加算
    手段と、 上記同期加算手段で得られた画像を空間的に平滑化する
    空間フイルタリング手段と、 上記空間フイルタリング手段で得られた画像より境界線
    を抽出する境界線抽出手段と、 上記境界線抽出手段によつて抽出された上記境界線より
    上記所望器官の輪郭に対応する境界線を輪郭線として抽
    出する輪郭線抽出手段と、 上記輪郭線抽出手段によつて抽出された上記輪郭線の形
    状を修正する輪郭線形状修正手段とを具えることを特徴
    とする医療診断用画像処理装置。
  3. 【請求項3】医療診断用動画像より周期的な動きのある
    所望器官の輪郭線を抽出する医療診断用画像処理装置に
    おいて、 上記所望器官の動きの繰り返し周期より短い間隔で上記
    医療診断用動画像を入力する画像サンプリング手段と、 上記画像サンプリング手段で得られた画像より上記所望
    器官の同じ状態に対応する画像を集めて画素毎に加算し
    て上記所望器官の状態毎に時間平滑化された画像を生成
    する同期加算手段と、 上記同期加算手段で得られた上記所望器官の状態毎の画
    像をそれぞれ空間的に平滑化する空間フイルタリング手
    段と、 上記空間フイルタリング手段で得られた上記各画像より
    境界線を抽出する境界線抽出手段と、 上記境界線抽出手段によつて抽出された上記各境界線よ
    り上記所望器官の輪郭に対応する境界線を輪郭線として
    抽出する輪郭線抽出手段と、 上記輪郭線抽出手段によつて抽出された上記各輪郭線の
    形状を修正する輪郭線形状修正手段とを具えることを特
    徴とする医療診断用画像処理装置。
  4. 【請求項4】上記空間フイルタリング手段によつて空間
    的に平滑化された上記画像の出力値を、予め設定された
    しきい値によつて2値化する2値化手段を有し、上記境
    界線抽出手段は、上記2値化手段によつて得られた2値
    画像の境界線を追跡するようにしたことを特徴とする請
    求項1、請求項2又は請求項3に記載の医療診断用画像
    処理装置。
  5. 【請求項5】上記空間フイルタリング手段は、上記入力
    された医療診断用静止画像又は上記同期加算手段より得
    られる画像を空間的に平滑化して2階微分するようにし
    たことを特徴とする請求項1、請求項2又は請求項3に
    記載の医療診断用画像処理装置。
  6. 【請求項6】上記空間フイルタリング手段によつて空間
    的に平滑化されて2階微分された上記画像の出力値を予
    め設定されたしきい値によつて2値化する2値化手段を
    有し、上記境界線抽出手段は、上記2値化手段によつて
    得られた2値画像の境界線を追跡するようにしたことを
    特徴とする請求項5に記載の医療診断用画像処理装置。
  7. 【請求項7】上記輪郭線抽出手段は、上記医療診断静止
    画像又は上記同期加算手段より得られる上記画像におけ
    る上記所望器官の領域のほぼ中心位置を指定し、上記境
    界線抽出手段で得られた境界線のうち、上記中心位置か
    ら最も近い位置にある境界線を輪郭線として抽出するよ
    うにしたことを特徴とする請求項1、請求項2又は請求
    項3に記載の医療診断用画像処理装置。
  8. 【請求項8】医療診断用静止画像より所望器官の輪郭線
    を抽出する医療診断用画像処理装置において、 入力される上記医療診断用静止画像を空間的に平滑化す
    る空間フイルタリング手段と、 抽出すべき上記所望器官の輪郭線に囲まれた領域内の任
    意の点をその内側に含む閉曲線を生成する閉曲線生成手
    段と、 上記空間フイルタリング手段で平滑化された上記画像の
    レベル変化に基づいて、上記閉曲線生成手段で生成され
    た上記閉曲線を変形し、上記所望器官のおおよその輪郭
    線を抽出する閉曲線変形手段と、 上記閉曲線変形手段で得られた上記輪郭線の形状を修正
    する輪郭線形状修正手段とを具えることを特徴とする医
    療診断用画像処理装置。
  9. 【請求項9】医療診断用動画像より周期的な動きのある
    所望器官の輪郭線を抽出する医療診断用画像処理装置に
    おいて、 上記所望器官の動きの繰り返し周期毎に上記医療診断用
    動画像を入力する画像サンプリング手段と、 上記画像サンプリング手段で得られた複数の画像を画素
    毎に加算して時間平滑化された画像を生成する同期加算
    手段と、 上記同期加算手段で得られた画像を空間的に平滑化する
    空間フイルタリング手段と、 抽出すべき上記所望器官の輪郭線に囲まれた領域内の任
    意の点をその内側に含む閉曲線を生成する閉曲線生成手
    段と、 上記空間フイルタリング手段で空間的に平滑化された上
    記画像のレベル変化に基づいて、上記閉曲線生成手段で
    得られた閉曲線を変形し、上記所望器官のおおよその輪
    郭線を抽出する閉曲線変形手段と、 上記閉曲線変形手段で得られた上記輪郭線の形状を修正
    する輪郭線形状修正手段とを具えることを特徴とする医
    療診断用画像処理装置。
  10. 【請求項10】医療診断用動画像より周期的な動きのあ
    る所望器官の輪郭線を抽出する医療診断用画像処理装置
    において、 上記所望器官の動きの繰り返し周期よりも短い間隔で上
    記医療診断用動画像を入力する画像サンプリング手段
    と、 上記画像サンプリング手段で得られた画像より上記所望
    器官の同じ状態に対応する画像を集めて画素毎に加算し
    て上記所望器官の状態毎に時間平滑化された画像を生成
    する同期加算手段と、 上記同期加算手段で得られた上記所望器官の状態毎の画
    像をそれぞれ空間的に平滑化する空間フイルタリング手
    段と、 抽出すべき上記所望器官の輪郭線に囲まれた領域内の任
    意の点をその内側に含む閉曲線を上記各画像毎に生成す
    る閉曲線生成手段と、 上記空間フイルタリング手段で平滑化された上記各画像
    のレベル変化に基づいて、上記閉曲線生成手段で得られ
    た上記各閉曲線を変形し、上記所望器官のおおよその輪
    郭線を上記各画像毎に抽出する閉曲線変形手段と、 上記閉曲線変形手段で得られた上記各輪郭線の形状を修
    正する輪郭線形状修正手段とを具えることを特徴とする
    医療診断用画像処理装置。
  11. 【請求項11】上記閉曲線生成手段は、全ての点が上記
    抽出すべき輪郭線の内側に存在するように上記閉曲線を
    生成し、上記閉曲線変形手段は、上記閉曲線生成手段で
    生成された上記閉曲線を外側に向けて拡大するようにし
    たことを特徴とする請求項8、請求項9又は請求項10
    に記載の医療診断用画像処理装置。
  12. 【請求項12】上記閉曲線生成手段は、上記所望器官の
    ほぼ中心位置を指定し、当該中心位置を中心に十分に小
    さい半径を有する円又は楕円を上記閉曲線として生成す
    るようにしたことを特徴とする請求項8、請求項9、請
    求項10又は請求項11に記載の医療診断用画像処理装
    置。
  13. 【請求項13】上記閉曲線生成手段は、全ての点が上記
    抽出すべき輪郭線の外側に存在するように上記閉曲線を
    生成し、上記閉曲線変形手段は、上記閉曲線生成手段で
    生成された上記閉曲線を内側に向けて拡大するようにし
    たことを特徴とする請求項8、請求項9又は請求項10
    に記載の医療診断用画像処理装置。
  14. 【請求項14】上記閉曲線生成手段は、上記所望器官の
    ほぼ中心位置を指定し、当該中心位置を中心に十分に大
    きい半径を有する円又は楕円を上記閉曲線として生成す
    るようにしたことを特徴とする請求項8、請求項9、請
    求項10又は請求項13に記載の医療診断用画像処理装
    置。
  15. 【請求項15】上記閉曲線変形手段は、上記閉曲線生成
    手段で得られた上記閉曲線上の各点を、当該点と上記閉
    曲線の内側の点とを結ぶ直線に沿つて、上記平滑化され
    た画像のレベル変化が大きい位置に移動させると共に、
    当該移動前の順序に従つて移動後の点を補間することに
    よつて上記所望器官のおおよその輪郭線を抽出するよう
    にしたことを特徴とする請求項8、請求項9又は請求項
    10に記載の医療診断用画像処理装置。
  16. 【請求項16】上記輪郭線形状修正手段は、上記輪郭線
    抽出手段によつて抽出された上記輪郭線を構成する各点
    において接線の傾きが大きく変化する変曲点を検出し、
    当該変曲点に基づいて上記輪郭線上の不要な点を除去し
    て上記輪郭線の形状を修正するようにしたことを特徴と
    する、請求項1、請求項2、請求項3、請求項8、請求
    項9又は請求項10に記載の医療診断用画像処理装置。
  17. 【請求項17】心電図モニタ手段を有し、上記画像サン
    プリング手段は、当該心電図モニタ手段より得られる心
    電図信号の繰り返し周期毎に上記医療診断用動画像を入
    力するようにしたことを特徴とする請求項2又は請求項
    9に記載の医療診断用画像処理装置。
  18. 【請求項18】心電図モニタ手段を有し、上記画像サン
    プリング手段は、当該心電図モニタ装置より得られる心
    電図信号の繰り返し周期よりも短い間隔で上記医療診断
    用動画像を入力するようにしたことを特徴とする請求項
    3又は請求項10に記載の医療診断用画像処理装置。
JP25887394A 1994-09-28 1994-09-28 医療診断用画像処理装置 Expired - Fee Related JP3626974B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25887394A JP3626974B2 (ja) 1994-09-28 1994-09-28 医療診断用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25887394A JP3626974B2 (ja) 1994-09-28 1994-09-28 医療診断用画像処理装置

Publications (2)

Publication Number Publication Date
JPH0889503A true JPH0889503A (ja) 1996-04-09
JP3626974B2 JP3626974B2 (ja) 2005-03-09

Family

ID=17326235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25887394A Expired - Fee Related JP3626974B2 (ja) 1994-09-28 1994-09-28 医療診断用画像処理装置

Country Status (1)

Country Link
JP (1) JP3626974B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126182A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 腫瘍診断方法
JP2000308619A (ja) * 1999-04-28 2000-11-07 Toshiba Iyo System Engineering Kk 関心領域形状の修正方法および医用画像表示装置
US6687392B1 (en) 1998-09-30 2004-02-03 Matsushita Electric Industrial Co., Ltd. System for accurately obtaining a contour and/or quantitative information from an echo image with reduced manual operation
WO2006040640A3 (en) * 2004-07-09 2007-05-24 Aloka Co Ltd Method and apparatus of image processing to detect and enhance edges
JP2008100073A (ja) * 2006-10-18 2008-05-01 Medison Co Ltd 対象体の大きさを測定するための超音波診断装置及び方法
JP2008194189A (ja) * 2007-02-13 2008-08-28 Aloka Co Ltd 超音波診断装置
JP2008253379A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2009000509A (ja) * 2007-05-01 2009-01-08 Biosense Webster Inc 超音波画像におけるエッジ検出
EP2541469A2 (en) 2011-06-30 2013-01-02 Fujitsu Limited Image recognition device, image recognition method and image recognition program
CN104299238A (zh) * 2014-10-22 2015-01-21 北京航空航天大学 一种基于医学图像的器官组织轮廓线提取方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687392B1 (en) 1998-09-30 2004-02-03 Matsushita Electric Industrial Co., Ltd. System for accurately obtaining a contour and/or quantitative information from an echo image with reduced manual operation
US6839456B2 (en) 1998-09-30 2005-01-04 Matsushita Electric Industrial Co., Ltd. System for accurately obtaining a contour and/or quantitative information from an echo image with reduced manual operation
JP2000126182A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 腫瘍診断方法
JP2000308619A (ja) * 1999-04-28 2000-11-07 Toshiba Iyo System Engineering Kk 関心領域形状の修正方法および医用画像表示装置
WO2006040640A3 (en) * 2004-07-09 2007-05-24 Aloka Co Ltd Method and apparatus of image processing to detect and enhance edges
JP2008505675A (ja) * 2004-07-09 2008-02-28 アロカ株式会社 エッジの検出と強調を行うイメージ処理の方法および装置
JP2008100073A (ja) * 2006-10-18 2008-05-01 Medison Co Ltd 対象体の大きさを測定するための超音波診断装置及び方法
JP2008194189A (ja) * 2007-02-13 2008-08-28 Aloka Co Ltd 超音波診断装置
JP2008253379A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2009000509A (ja) * 2007-05-01 2009-01-08 Biosense Webster Inc 超音波画像におけるエッジ検出
EP2541469A2 (en) 2011-06-30 2013-01-02 Fujitsu Limited Image recognition device, image recognition method and image recognition program
US8824734B2 (en) 2011-06-30 2014-09-02 Fujitsu Limited Device, method and recording to determine depressed portions of image regions using shortcut line analysis
CN104299238A (zh) * 2014-10-22 2015-01-21 北京航空航天大学 一种基于医学图像的器官组织轮廓线提取方法

Also Published As

Publication number Publication date
JP3626974B2 (ja) 2005-03-09

Similar Documents

Publication Publication Date Title
US5768405A (en) Digital image processing method for local determination of the center and the width of objects in the form of contrasting bands on a background
Parthasarathy et al. Automatic landmarking of cephalograms
US20110002532A1 (en) Data Reconstruction Using Directional Interpolation Techniques
US5457754A (en) Method for automatic contour extraction of a cardiac image
US8538098B2 (en) Image processing method for displaying information relating to parietal motions of a deformable 3-D object
US7724929B2 (en) System and method for myocardium segmentation in realtime cardiac MR data
JP4885138B2 (ja) 一連の画像における動き修正のための方法およびシステム
US20110028843A1 (en) Providing a 2-dimensional ct image corresponding to a 2-dimensional ultrasound image
KR19980041862A (ko) 심장 영상에서의 심근 측정 시스템
Palti-Wasserman et al. Identifying and tracking a guide wire in the coronary arteries during angioplasty from x-ray images
JPH07271976A (ja) 画像処理方法
JP2004105737A (ja) 心臓磁気共振潅流データのための統合的画像記録方法
JP2003503138A (ja) 延長視野超音波診断イメージングシステム
Karssemeijer et al. Recognition of organs in CT-image sequences: a model guided approach
CN111009032B (zh) 基于改进外极线约束匹配的血管三维重建方法
JP2002204790A (ja) 画像を重ね合わす方法及び装置
JPH0889503A (ja) 医療診断用画像処理装置
Unser et al. Automated detection of the tongue surface in sequences of ultrasound images
US10285586B2 (en) Registration across frame boundaries in AO-SLO capture
Barrett et al. Determination of left ventricular contours: A probabilistic algorithm derived from angiographic images
JP6371515B2 (ja) X線画像処理装置、x線画像処理方法、及びプログラム
JP7382059B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JPH11328395A (ja) 画像中のノイズの低減方法
CN109785340A (zh) 基于多图谱的心脏磁共振图像右心室分割计算设备及方法
Kauffmann et al. Simplified active contour model applied to bone structure segmentation in digital radiographs

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041020

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091217

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees