JPH07320068A - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置

Info

Publication number
JPH07320068A
JPH07320068A JP6109914A JP10991494A JPH07320068A JP H07320068 A JPH07320068 A JP H07320068A JP 6109914 A JP6109914 A JP 6109914A JP 10991494 A JP10991494 A JP 10991494A JP H07320068 A JPH07320068 A JP H07320068A
Authority
JP
Japan
Prior art keywords
image
edge
target object
frame
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6109914A
Other languages
English (en)
Other versions
JP3383072B2 (ja
Inventor
Hideki Yoshioka
秀樹 吉岡
Mayumi Yuasa
真由美 湯浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP10991494A priority Critical patent/JP3383072B2/ja
Publication of JPH07320068A publication Critical patent/JPH07320068A/ja
Application granted granted Critical
Publication of JP3383072B2 publication Critical patent/JP3383072B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 本発明は、時間的に連続した2次元あるいは
3次元の画像データを有した複数のフレームから構成さ
れる動画像中の対象物体のエッジの検出を行う画像処理
装置において、動画像において各フレーム毎に画像のコ
ントラストが異なる場合でも、1フレーム毎にしきい値
を調整する必要がない動画像処理におけるエッジ検出方
法を提供する。 【構成】 エッジ検出処理を行う現フレームの画像中に
おける、この現フレームの時間的に一つ前のフレームで
ある前フレームの画像中での対象物体の位置と同一位置
もしくはその近傍の画像情報の強調処理を行う強調処理
部105と、この強調処理部105により強調した画像
情報を有する前記現フレームの画像にエッジ検出オペレ
ータ処理を行い対象物体のエッジ検出を行うエッジ検出
オペレータ適用部106とよりなるものである。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、2次元あるいは3次元
の画像データ中の対象物体のエッジまたは輪郭を抽出す
る際に使用する画像処理方法及びその装置に関する。
【0002】
【従来の技術】従来、画像情報からエッジを抽出する方
法としては、1次微分や2次微分などの濃度勾配を用い
たものや、1次微分においてはその計算を簡便にしたSo
bel オペレータ等の差分オペレータが広く用いられてい
る。
【0003】これらのエッジ検出方法は、基本的に濃度
勾配の大きさに応じた値を出力する。従って、濃度勾配
が大きな場所ではその出力値が大きく、濃度勾配が小さ
な場所では出力値が小さくなる。
【0004】前記オペレータによる画像処理では、この
ように濃度勾配の大きさによってそれぞれ異なった値が
出力となる。そのため、画像中の対象物体のエッジ検出
を行なう場合には、前記オペレータ出力によるエッジ画
像をしきい値処理により2値化することが行なわれる。
【0005】図14は、上記のエッジオペレータを用い
てエッジを検出する場合の図である。
【0006】図14(a),(c)は、座標に対する輝
度値の変化であって、横軸は画像上のある方向(例えば
X軸やY軸)を表し、縦軸は輝度値を表す。
【0007】図14(b),(d)は、上記エッジオペ
レータの出力値の座標に対する変化を示す図(エッジ画
像)である。
【0008】図14(a)において、エッジ画像をしき
い値処理により,2値化し対象物体131の対象物体エ
ッジ132を検出する場合、しきい値がTaのように小
さいと不必要なエッジ133が多く検出される。一方、
Tbのように大きいと必要なエッジ132が欠落してし
まうことになる。
【0009】そのため、しきい値を何度も変更しながら
Tcのような最適なしきい値を探す必要がある。
【0010】また、図14(c)は、図14(a)の画
像のコントラストが変わったものであるが、図14
(a)と同様のしきい値Tcでは不必要なノイズエッジ
133が混入してしまい新たに最適なしきい値を設定し
直す必要がある。
【0011】従って、動画像において対象物体エッジの
検出をする場合、画像のコントラストが変化しないよう
な場合においては一度しきい値を設定するのみで済む
が、画像のコントラストがフレーム毎に変化するような
場合には、1フレーム毎に前述のしきい値調整を行なわ
ねばならず、多大な労力が必要であった。
【0012】また、従来、画像情報から物体の輪郭を抽
出する方法としては、Snakes:Active Contour Models
(M.Kass,et.al:Int.J.Computer Vision,1,321-331,198
8)が提案されている。この方法は、複数個の離散点が有
する弾性エネルギーと、画像エネルギーとの和を最小に
するように離散点を移動させることにより、物体の輪郭
を抽出する方法である。
【0013】具体的には図30に示すように、輪郭抽出
の対称とする物体1の例えば内側に閉輪郭2を定義す
る。この閉輪郭2の弾性エネルギーは次式で表される。
【0014】
【数1】 [数1]において、α,βはそれぞれ弾性エネルギーの
一次及び二次の項の重みで、それぞれ閉輪郭2の収縮及
び滑らかさに関与している。sは閉輪郭2上での座標で
ある。また画像エネルギーとしては次式のEimage のよ
うなエッジなどの画像の特徴を表すものが用いられる。
【0015】
【数2】
【数3】 である。但し、wimage は画像エネルギーEimage の重
みである。このEall が最小になるように、閉輪郭2を
移動させることにより、対称物体1の輪郭を抽出する。
【0016】対称とする物体輪郭のエッジ情報の欠落が
大きい場合には、ノイズの影響を避けるために、弾性エ
ネルギーの滑らかさを大きくする必要がある。すなわ
ち、[数1]における弾性エネルギーの二次の項の係数
βを大きくしなければならない。
【0017】例えば、図31のような画像を考える。3
の点線が求めたい輪郭を、4がエッジを表している。
【0018】このような画像に対して、βを小さくして
輪郭抽出を行うと、図32のようになる。5が抽出され
た輪郭である。これに対して、βを大きくすると、図3
3のようになる。
【0019】このように滑らかさを大きくすると、今度
は逆にエッジ情報が存在する部分で、抽出した輪郭がエ
ッジからずれてしまうという問題点がある。
【0020】
【発明が解決しようとする課題】前記したように、画像
中の対象物体のエッジ検出において2値化を行なう場合
に、しきい値を何度も変更しながら設定し直す必要があ
り、動画像のように複数フレームから構成される画像に
おいて、画像のコントラストがフレーム毎に変化するよ
うな場合には1フレーム毎に前述のしきい値調整を行な
う必要があり、多大な労力を要するといった問題点があ
った。
【0021】そこで、第1、2の発明は、動画像におい
て各フレーム毎に画像のコントラストが異なる場合で
も、1フレーム毎にしきい値を調整する必要がない動画
像処理における画像処理方法を提供することを目的とす
る。
【0022】また、上記のように、従来、対称とする物
体の輪郭のエッジ情報の欠落が大きい場合に、弾性エネ
ルギーの二次の係数を小さくすると、ノイズを避けるこ
とができないし、ノイズを避けるために弾性エネルギー
の二次の係数を大きくすると、エッジ情報が存在する部
分で、抽出した輪郭がエッジからずれてしまうという問
題点があった。
【0023】そこで、第3の発明は、抽出した輪郭がエ
ッジと一致するようにすることを目的とする画像処理方
法を提供する。
【0024】
【課題を解決するための手段】第1の発明の画像処理方
法は、時間的に連続した複数のフレームから構成される
動画像中の対象物体のエッジ検出を行う画像処理方法で
あって、エッジ検出処理を行う現フレームの画像中にお
ける、この現フレームの時間的に一つ前のフレームの画
像中での対象物体の位置と同一位置もしくはその近傍の
画像情報の強調処理を行い、この強調した画像情報を有
する前記現フレームの画像にエッジ検出オペレータ処理
を行い対象物体のエッジ検出を行うものである。
【0025】第2の発明の画像処理方法は、時間的に連
続した2次元あるいは3次元の画像データを有した複数
のフレームから構成される動画像中の対象物体のエッジ
検出を行う画像処理方法であって、エッジ検出処理を行
うべき現フレームの画像にエッジ検出オペレータ処理を
行い、この処理を行った現フレームの画像中における、
この現フレームの時間的に一つ前のフレームの画像中で
の対象物体の位置と同一位置もしくはその近傍の前記処
理後の出力値の強調処理を行い対象物体のエッジ検出を
行うものである。
【0026】第3の発明は、2次元あるいは3次元の画
像データからの物体の輪郭抽出に際し、前記画像データ
における複数の離散点が有する弾性エネルギーと、画像
エネルギーと、必要に応じて付加される外部エネルギー
の重みつきの総和が最小となるように、前記複数個の離
散点を前記画像データ上で移動させることにより、前記
物体の輪郭を抽出する画像処理方法であって、前記複数
個の離散点の中のある離散点の画像中の位置における画
像情報、もしくはその離散点の画像中の位置の近傍の画
像情報から計算される統計量を、しきい値と比較して、
一定の条件を満たす場合には、その離散点における画像
エネルギーに対する重み係数の絶対値を他の離散点より
も小さくしてエッジ対応点以外の点とするものである。
【0027】
【作 用】第1の画像処理方法について説明する。
【0028】まず、エッジ検出処理を行う現フレームの
画像中における、この現フレームの時間的に一つ前のフ
レームの画像中での対象物体の位置と同一位置もしくは
その近傍の画像情報の強調処理を行う。
【0029】そして、この強調した画像情報を有する前
記現フレームの画像にエッジ検出オペレータ処理を行い
対象物体のエッジ検出を行う。
【0030】第2の発明の画像処理方法について説明す
る。
【0031】まず、エッジ検出処理を行う現フレームの
画像にエッジ検出オペレータ処理を行う。
【0032】そして、この処理を行った現フレームの画
像中における、この現フレームの時間的に一つ前のフレ
ームの画像中での対象物体の位置と同一位置もしくはそ
の近傍の出力値の強調処理を行い対象物体のエッジ検出
を行う。
【0033】両発明では、このようにすることで、フレ
ーム毎に画像のコントラストが変化するような場合でも
その影響を受けにくくなり、フレーム毎にエッジ検出の
しきい値調整を行なう必要がなくなる。
【0034】第3の発明の画像処理方法について説明す
る。
【0035】複数個の離散点を移動させることにより、
前記物体の輪郭を抽出する画像処理方法であって、前記
複数個の離散点の中のある離散点の画像中の位置におけ
る画像情報、もしくはその離散点の画像中の位置の近傍
の画像情報から計算される統計量を、しきい値と比較す
る。そして、比較結果が一定の条件を満たす場合には、
その離散点における画像エネルギーに対する重み係数の
絶対値を他の離散点よりも小さくしてエッジ対応点以外
の点とする。
【0036】これにより、エッジがとぎれた部分の影響
を小さくし、精度よく輪郭を抽出する。
【0037】
【実施例】第 1 , 2 発 明 以下、本発明の一実施例を図1〜図13を用いて説明す
る。
【0038】[各フレームのエッジ抽出方法]図1は、
時間的に連続したフレームにおいて、各フレーム中の対
象物体の輪郭を抽出する方法の全体の処理の流れを示す
図である。
【0039】図1において、nフレーム目のエッジを抽
出する例を説明する。
【0040】 データ入力部101でnフレーム目の
画像が入力される。
【0041】 エッジ検出部102において、入力画
像のエッジが検出される。この際、n−1フレーム(前
フレーム)目での対象物体の輪郭抽出結果が用いられ
る。
【0042】 エッジ検出部102においてエッジ検
出後、輪郭抽出部103において対象物体の輪郭抽出が
行われる。ここでの輪郭抽出結果はn+1フレーム目
(次フレーム)でのエッジ検出に用いられる。
【0043】対象物体の輪郭抽出の方法は、エッジ強度
の最大値を追跡(尾根線追跡)していく方法や、エネル
ギー最小化原理を用いた方法("Snakes:Active Contour
Models";M.Kass,etal.:Int.J.Computer Vision,321-331
(1988)) 等のいずれの方法でもよい。
【0044】[エッジ検出部102でのエッジ検出処理
の第1の実施例]図2は,図1におけるエッジ検出部1
02での処理を詳しく示した図である。
【0045】 強調値設定部104は、データ入力部
101で入力された画像である現フレームと、時間的に
一つ前のフレーム(以下、前フレームという)での輪郭
抽出結果を用いて、強調値Thの設定を行う。
【0046】この時の強調値Thは、前フレームで抽出
された対象物体の輪郭を、入力された画像上の同一位置
に配置した場合の輪郭上での輝度もしくはその近傍での
輝度を用いて設定される。
【0047】また、その際の輝度の設定は、輪郭上の輝
度やその近傍の輝度の平均値、または一部の平均値、ま
たは一部の輝度等の輪郭近辺の輝度情報を表すものであ
ればいずれを用いてもよい。
【0048】 その後、強調処理部105は、エッジ
検出処理を行うべき現在のフレーム(以下、現フレーム
という)の画像中において強調値Thの輝度を強調する
処理を行う。
【0049】この際の強調処理には様々な方法が考えら
れるが、例えば、図3に示すような方法を用いることが
できる。
【0050】図3(a)は、通常の画像における輝度分
布であるが、これを図3(b)に示すように強調値Th
を中心としたガウス型の輝度分布となるように変更すれ
ば、画像中でThの輝度が強調される。
【0051】また、図3(c)のように輝度分布を変更
させる処理を行なってもよい。
【0052】 このようにして強調値Thを強調した
画像を作成し、エッジ検出オペレータ適用部106にお
いて対象物体エッジの検出を行なう。
【0053】ここに示すエッジ検出オペレータとは、1
次微分や2次微分に基づく方法、1次微分の計算を簡便
にしたSobel オペレータや、輝度値または色またはこれ
らの分散値またはそれらの組み合わせによって分割され
た領域を利用する方法や、画像をフーリエ変換等の周波
数領域に展開する方法等によって対象物体のエッジを検
出するオペレータを示す。
【0054】具体的には、図4または図5に示ようにし
て、対象物体エッジ132を検出する。
【0055】図4及び図5において、横軸は画像上での
座標を示し、(a)(b)(d)の縦軸は輝度値、
(c)(e)の縦軸はエッジオペレータ出力を示す。
【0056】図4は、nフレーム目の対象物体の大きさ
が、n−1フレーム目より大きく変化した場合を示して
いる。
【0057】図4(a)に示すようにn−1フレーム目
において対象物体輪郭121が抽出される。
【0058】図4(b)に示すnフレーム目には前輪郭
位置121での輝度値が強調値Thとして設定される。
【0059】図4(d)に示すごとく強調処理が行われ
る。図4(d)における強調処理は、図3(c)に示し
た処理方法を用いたものである。
【0060】図4ではこのような処理が以下のフレーム
画像全てにわたり行われ、常に対象物体の輝度値が強調
される。
【0061】従って、図4(c)及び図4(e)に示す
ように対象物体エッジ132よりも大きな出力値を有す
るノイズエッジ133が存在していても、強調処理後に
は対象物体エッジ132の出力の方がノイズエッジ13
3より大きくなる。
【0062】図5は、nフレーム目の対象物体の大きさ
が、n−1フレーム目より小さく変化した場合を示して
いる。
【0063】図5においても図4と同様の処理が行われ
るが、対象物体の周りの輝度値を強調し、相対的に対象
物体のエッジ132の出力値を強調するものである。
【0064】図5においては、図5(b)のようにnフ
レーム目における前輪郭位置121での輝度値は単一の
値ではない。このような場合には図6に示すような2種
類の強調値Th1、Th2を強調するような処理を行え
ばよい。
【0065】図5においても、図4と同様に上記の処理
が以下のフレーム画像全てにわたり行われる。
【0066】図4及び図5ではフレーム毎にコントラス
トは変化していないが、変化している場合でも常に対象
物体のエッジ出力が強調されることは自明である。従っ
て、はじめにある程度大きなしきい値Tbを設定してお
けば不必要なエッジを多く検出したり、必要な対象物体
のエッジが欠落することもなくなる。また、その設定も
全てのフレームにわたって行う必要がなくなる。
【0067】[具体例]次に、実際の画像に適用した場
合についての具体例を説明する。
【0068】図7は、MRIやX線CT等で得られる心
臓部の医用画像で、n−1フレーム目〜n+1フレーム
目へと心臓が拡張していく場合の模式図である。
【0069】このような医用画像では、内壁の輪郭を抽
出して心筋梗塞等の診断が行なわれる。しかし、血流と
内壁とのコントラストが悪く、各フレームでコントラス
トも変化し、内壁のエッジを首尾よく検出するのは困難
である。
【0070】 図7で示した画像において、n−1フ
レーム目での内壁の輪郭抽出結果121をnフレーム目
の画像上の同一位置に配置する。
【0071】 この時、n−1フレーム目での内壁の
輪郭抽出結果121上での輝度またはその近傍での輝度
の平均値を前述の強調値Thとし、Thを強調させる処
理を行なう(この場合には、血液の輝度を強調すること
になる)。
【0072】 その後、エッジ検出オペレータによっ
てエッジ検出を行ない、内壁の輪郭を抽出する。同様に
してn+1フレーム目では、nフレーム目の輪郭抽出結
果122を用いて、n+1フレーム目における血液輝度
の強調が行なわれる。
【0073】上記のような処理を繰り返すことで、各フ
レームでコントラストが変化していても、調整を必要と
せず常に、対象物体近辺のある輝度部分が強調(図7の
場合は血液部分)されるため、対象物体の境界部分にお
けるエッジ検出オペレータの出力が大きくなる。
【0074】従って、エッジ検出オペレータ適用後、2
値化を行なう場合でも各フレーム毎にしきい値を調整す
る必要がなくなり、首尾よくエッジ検出を行なうことが
できる。
【0075】[エッジ検出部102でのエッジ検出処理
の他の実施例]図8は、図1におけるエッジ検出部10
2での処理の第2の実施例を示す図である。
【0076】 データ入力部101から入力された画
像は、エッジ検出オペレータ適用部106において対象
物体エッジの検出が行なわれる。
【0077】 次に、強調値設定部104で前フレー
ムでの輪郭抽出結果を用いて強調値の設定が行なわれ
る。この時の強調値は、前フレームで抽出された物体の
輪郭を入力された画像上の同一位置に配置した場合の輪
郭上でのエッジ強度(前述のエッジ検出オペレータの出
力値)、もしくはその近傍でのエッジ強度を用いて設定
される。
【0078】この場合も図2の場合と同様に、強調値は
エッジ強度の平均値や一部のエッジ強度等輪郭近辺のエ
ッジ強度を表すものであればいずれを用いてもよい。
【0079】 その後、強調処理部105において、
設定されたエッジ強度の強調値Thを強調する処理が行
なわれ、輪郭抽出部103で対象物体の輪郭が抽出され
て、その結果は次のフレームでのエッジ検出に用いられ
る。
【0080】図9、図10は、図1におけるエッジ検出
部102での処理の第3,4の実施例を示す図である。
【0081】すなわち、図2及び図8におけるエッジ検
出部102に2値化処理部107を加えた場合を示す。
上述したように、本実施例ではフレーム毎のコントラス
ト変化に影響を受けにくいため、2値化処理部107で
のしきい値はフレーム毎に変更する必要はない。
【0082】[対象物体が移動している場合のエッジ検
出方法]図11は、図7のように物体が同心円状に変化
するのではなく、対象物体が等速の平行移動を伴って変
化をする場合の第1の実施例の図である。
【0083】対象物体の運動方向と速度があらかじめわ
かっている場合には、図11に示すように前フレームで
の輪郭抽出結果を移動分Δxだけシフトさせてやり、上
記と同様に強調処理とエッジ検出オペレータを適用すれ
ばよい。
【0084】また、対象物体の運動方向と速度があらか
じめわかっていない場合には、n−1フレーム目の輪郭
抽出結果121とnフレーム目の輪郭抽出結果122か
ら次のフレームでの移動距離Δxを予測する。続いて、
n+1フレーム目ではnフレーム目での輪郭抽出結果を
Δx分移動させ、強調処理とエッジ検出オペレータの適
用を行なえばよい。
【0085】図12は、対象物体が移動する場合の第2
の実施例の図で、前フレームでの輪郭抽出結果を用いる
際に抽出された輪郭よりも小さな輪郭を用いる場合であ
る。
【0086】 n−1フレーム目の輪郭抽出結果12
1とnフレーム目での輪郭抽出結果からn+1フレーム
目での移動距離Δxを予測する。
【0087】 次にn+1フレーム目で強調値を設定
する際に、nフレーム目での輪郭抽出結果122よりも
小さな輪郭121´を用いる。
【0088】このようにすることで図12に示すよう
に、物体が加速度を伴っており予測値ΔxよりさらにΔ
x’ずれた場合においても対象物体の内側の輝度を強調
することができ、エッジ検出を行なうことができる。
【0089】上記の実施例において、n−1フレーム目
(または動画像における1番初めのフレーム)における
輪郭抽出及び平行移動を伴う場合のn−1フレーム目と
nフレーム目の輪郭抽出は、手動で行なってもよく、従
来のようにエッジ検出におけるしきい値調整を手動で行
なった後、前述の尾根線追跡やSNAKESを用いて輪郭抽出
を行なう方法、輝度分布等を用いて領域抽出を行なう方
法いずれの方法でもよい。
【0090】[その他の実施例]上記実施例において、
エッジ検出における強調処理の強調値の設定には前フレ
ームでの対象物体の輪郭を用いていたが、図13に示す
ように領域抽出結果を用いてもよい。
【0091】図13において、エッジ検出部102で対
象物体のエッジが検出された後、領域抽出部108でエ
ッジで囲まれた内部の領域が抽出される。
【0092】この際の領域抽出方法としては、図9また
は図10で2値化されたエッジ画像に対して画像をラス
タスキャンし、エッジが存在する範囲を長方形状に抽出
する方法や、上述の輪郭抽出を行なってからその内部と
して領域を抽出する方法等が考えられるが、いずれの方
法を用いても差しつかえない。
【0093】前フレームにおいて抽出された領域の次フ
レーム画像における同一位置またはその近傍での画像情
報(例えば領域内の画像輝度の平均値等)を強調するこ
とにより、次フレームのエッジ検出を行なえばよい。
【0094】また、上記の実施例において強調値Thと
しては輝度値やエッジ検出オペレータの出力値を用いた
が、輝度値またはエッジ検出オペレータの出力値の分散
値や、画像がカラーの場合はその一部の色や色差やそれ
らの分散値、あるいはこれらを複数個組み合わせたもの
でも差しつかえない。
【0095】さらに、上記実施例の画像の強調方法以外
の方法として、一部の濃度部分の階調を変化させるよう
な強調方法や、濃度ヒストグラムを変化させるような強
調方法を用いてもよい。
【0096】第 3 の 発 明 以下、本実施例を図15〜図29を用いて説明する。
【0097】[第1の実施例]図15は、本発明の第1
の実施例の構成を表す図である。
【0098】図16のような2次元画像から、内側の輪
郭を抽出する場合を例にして説明する。
【0099】画像入力部6では、対象とする画像データ
を入力する。
【0100】概輪郭抽出部7でおおまかな輪郭を抽出す
る。
【0101】概輪郭抽出部7の例を図17に示す。ここ
では複数個の離散点の持つエネルギーを最小化すること
により輪郭抽出する方法を採用している。
【0102】初期値設定部12で複数個の離散点の位置
座標の初期値を設定する。
【0103】初期値の例を図18に示す。
【0104】離散点移動部9では[数4]においてEal
l で表されるような全エネルギーが最小になるように前
記複数個の離散点を移動させる。
【0105】
【数4】 iは図19で表されるような複数個の離散点の番号であ
る。wimage(i)、wext(i)は重み係数である。Eint(i)
は弾性エネルギーであり、本実施例では次式を用いる。
【0106】
【数5】 但し、vi =(xi ,yi )は離散点の位置座標であ
る。Eimage(i)は画像エネルギーであり、ここでは[数
6]を用いる。
【0107】
【数6】 Eext(i)は必要に応じて付加する外部エネルギーであ
る。本実施例では[数7]は離散点をある点v0 から遠
ざけたり、v0 に近付けたりするエネルギーである。遠
ざけるか近付けるかは係数kの正負によって決まる。
【0108】
【数7】 エネルギーの総和が最小となるような離散点の位置を求
める解法として、変分法による方法を用いる。変分法に
よれば[数4]が最小となるためには[数8]のような
連立方程式が成り立つことが必要である。
【0109】
【数8】 但し、
【数9】 とする。
【0110】今、x座標のみを考えるとすると、[数
8]の連立方程式はベクトル表示で次式のように表すこ
とができる。
【0111】
【数10】 但し、
【数11】 である。
【0112】この連立方程式をヤコビ法を用いて逐次近
似法で解く。Aを次式のように対角行列Dとそれ以外の
部分Fに分ける。
【0113】
【数12】 n回目の近似解をxn とすると、n+1回目の近似解x
n+1 は、
【数13】 となる。但し、γは収束速度パラメータである。
【0114】離散点移動部9の構成例を図20に示す。
【0115】画像エネルギー算出部14、外部エネルギ
ー算出部15において、それぞれ[数4]におけるEim
age(i)、Eext(i)を算出する。また、パラメータ記憶部
17には各エネルギーの重み係数、[数13]における
行列D、Fの要素の値、γ等が記憶されている。次座標
算出部16では、[数13]を用いて各離散点の次座標
を計算して、離散点を移動させる。
【0116】離散点を移動させるごとに、収束判定部1
0で収束条件を満たすかどうかを判定し、収束条件を満
たさない場合には再び離散点移動部9で離散点の移動を
行い、収束条件を満たすまで繰り返す。
【0117】収束条件としては、本実施例では[数1
4]で表されるようなn回目の繰り返しでのエネルギー
の変化量△Eall n がある一定値より小さくなったとき
とする。
【0118】
【数14】 収束判定部10の一構成例を図21に示す。エネルギー
算出部18において、[数4]におけるEall を算出す
る。それをn回目の値Eall n として、記憶部19に記
憶しておく。そしてエネルギー比較部20で、記憶部1
9に予め記憶しておいたn−1回目の値Eall n-1 との
差の絶対値△Eall n を求めて、それが一定量εより小
さければ収束したと判定し、大きければ収束していない
と判定する。
【0119】以上のようにして抽出された概輪郭の例を
図22に示す。
【0120】ここで、必要に応じて離散点の再配置を行
う。具体的には、隣接する離散点間の距離を算出し、そ
の距離が最も近い離散点を取り除き、最も遠い離散点間
の中点に挿入するということを、最も近い離散点間距離
が、最も遠い離散点間距離の半分を超えたら終了すると
いう方法を用いる。
【0121】エッジ対応点決定部8では、概輪郭抽出部
17で求めた複数個の離散点に対して、それぞれエッジ
対応点かどうかを判断する。
【0122】エッジ対応点決定部8の一構成例を図23
に示す。図中のNは離散点の数を表す。
【0123】エッジ強度算出部21でi番目の制御点に
おけるエッジ強度Iedge(i) を算出する。
【0124】エッジ強度は、微分値、差分値等の画像中
の画素値の急激に変化する部分で大きくなる量であり、
様々なオペレータが存在する。ここでは、一次差分を用
いる方法を使用した。
【0125】エッジ強度比較部22で、Iedge(i) とし
きい値Ithreを比較し、
【数15】 を満たす場合には、その制御点をエッジ対応点とする。
Iedge(i) としては、
【数16】 を用いる。
【0126】離散点移動部9、収束判定部10では概輪
郭抽出部7における離散点移動部9、収束判定部10と
同様の処理を行う。すなわち、図20、21で表される
処理である。但し、全エネルギーとしては、次式を用い
る。
【0127】
【数17】 但し、
【数18】 収束判定部10で収束条件を満たせば、出力部11で結
果を出力する。結果の出力方法としては、データとして
ファイルに記録したり、ディスプレイに表示するなどの
方法があるが、本実施例ではディスプレイに表示する。
【0128】このようにエッジが存在しない部分の画像
エネルギーの係数を小さくすることにより、対象とする
物体の輪郭のエッジ情報の欠落が大きい場合に、弾性エ
ネルギーの二次の係数を小さくしても、輪郭以外の部分
からのノイズの影響が少なくなり、精度よく輪郭抽出を
行うことができるようになる。図29が、図16の輪郭
抽出の図である。
【0129】[第2の実施例]次に本発明の第2の実施
例について説明する。
【0130】第2の実施例は、エッジ対応点検出をエッ
ジ強度ではなく、画素値の一つである輝度を用いて行
う。
【0131】全体の構成としては、第1の実施例と同様
である。但し、エッジ対応点検出部に対しては図24を
用いる。
【0132】画素平均算出部23では、離散点iの近傍
の画素値の平均値Imean(i) を算出する。画素平均比較
部24ではImean(i) としきい値Ithreを比較し、
【数19】 を満たす場合には、その制御点をエッジ対応点とする。
つまり画素値が小さい部分の画像エネルギーの係数の絶
対値を小さくする。
【0133】以後の処理は第1の実施例と同様である。
【0134】このように画素値が低い部分の画像エネル
ギーの係数を小さくすることにより、対象とする物体の
輪郭のエッジ情報の欠落が大きい場合に、弾性エネルギ
ーの二次の係数を小さくしても、輪郭以外の部分からの
ノイズの影響が少なくなり、精度よく輪郭抽出を行うこ
とができるようになる。
【0135】この方法は特に磁気標識付きMR画像の場
合に有効である。
【0136】なお、画素値として色情報を用いてもよ
い。
【0137】[第3の実施例]次に本発明の第3の実施
例について説明する。
【0138】全体の構成としては、第1の実施例と同様
である。
【0139】但し、離散点移動部9及び収束判定部10
で、画像エネルギーEimage(i)として、
【数20】 を用いる。但し、Ecornerは以下に述べる角点の特徴を
表すエネルギーである。なお、角点とは、エッジ対応点
である離散点とそうでないと判断された離散点の境界に
属するどちらかの点である。
【0140】次に本実施例で用いたEcornerについて説
明する。
【0141】まず、注目する画素(x,y)について、
8方向の微分を計算する。その大きさがあるしきい値を
超える方向の数Nedgeを数える。例えば図25の場合に
は、3となる。
【0142】このNedgeは例えば、図26のように注目
画素(x,y)が角部分になっている場合には、Nedge
=5になる。
【0143】また、図27のように上にある場合には、
Nedge=3となり、エッジの方向にNedge=3の点が並
ぶようになる。
【0144】したがってEcornerとしては、例えば次式
のようなものを用いればよい。
【0145】
【数21】 但し、
【数22】 とする。
【0146】このようなエネルギーを用いることで、角
点及び角点に近い点でのエネルギーが低くなり、かつ図
27のように輪郭の途中の部分にある場合はエネルギー
が高くなり、角点部分に引き付けられるエネルギーとな
る。
【0147】Ecornerとして、このようなものを用いれ
ば、画素値の分布が平坦な場合やある一方向にエッジが
存在する場合にはEcornerの絶対値が非常に小さくなる
ため、角点部分に離散点を近付けることができる。
【0148】[他の実施例]なお、本発明はここに挙げ
た実施例に限定されるものではない。
【0149】第1〜3の実施例において、収束判定部1
0における収束条件としては、エネルギーの変化量によ
る方法を挙げたが、複数個の離散点の移動量がある一定
値より小さくなったとき、あるいはこのような条件で収
束しない場合もあることを考慮して、繰り返しの回数で
収束させる、すなわち、ある一定回数収束演算を行った
ら収束したとみなすようにすることもできる。
【0150】また、概輪郭抽出部7で、輪郭抽出方法と
してエネルギー最小化による方法の例を示したが、手で
輪郭抽出した結果を用いても差し支えない。
【0151】第1の実施例において、エッジ強度とし
て、[数16]に示す一次微分を用いたものを用いた
が、例えばソーベルフィルタや二次微分のような他のエ
ッジ検出方法によって求めても差し支えない。
【0152】エッジ対応点決定部では離散点の画像中で
の位置でのエッジ強度の値を用いたが、離散点近傍のエ
ッジ強度の平均値や分散値を用いても差し支えない。
【0153】第2の実施例において、エッジ対応点決定
部では離散点近傍の画素値の平均値を用いたが、離散点
における画素値そのものを用いても差し支えない。
【0154】第3の実施例において、角点の特徴を表す
エネルギーとして、エッジ強度の大きな方向の数を用い
る方法を用いたが、エッジの方向の変化量を用いる方法
や、マスクを使用する方法を用いても差し支えない。
【0155】また、以下のような画素値の分散を利用す
る方法を用いても差し支えない。
【0156】図28で示されるような注目する画素
(x,y)を中心とした幅D(この図ではD=5)のウ
インドウを考える。
【0157】図28中でa、b、c、dで表される4方
向について、このウインドウ内でD個の画素の分散を求
める。例えばaの方向の場合には、注目画素の座標を
(x,y)とすると、
【数23】 である。Va はa方向の分散を表す。但し、Ia は次式
で表されるa方向の画素値の平均である。
【0158】
【数24】 Vb 、Vc 、Vd についても同様である。
【0159】これらの値を用いてEcornerを
【数25】 とする。但しrは正の定数である。
【0160】Ecornerとして、このようなものを用いれ
ば、画素値の分布が平坦な場合や、ある一方向にエッジ
が存在する場合にはEcornerの絶対値が非常に小さくな
るため、角点部分に離散点を近付けることができる。
【0161】
【発明の効果】第1,2の発明の画像処理方法によれ
ば、コントラストがフレーム毎に異なる動画像において
も、各フレーム毎にしきい値を調整をすることなく対象
物体のエッジ検出を行なうことができる。
【0162】第3の発明の画像処理方法によれば、画像
中の物体の輪郭のとぎれが大きな画像からの輪郭抽出が
容易となる。
【図面の簡単な説明】
【図1】第1,2の発明の一実施例の輪郭処理の流れを
示す図。
【図2】エッジ検出部の処理の流れを示す図。
【図3】輝度強調方法の一例を示す図。
【図4】対象物体エッジの強調効果を示す図。
【図5】対象物体エッジの強調効果を示す他の実施例の
図。
【図6】図5における輝度強調方法の一例を示す図。
【図7】医用画像に適用した場合を説明するための図。
【図8】エッジ検出部でのエッジ検出処理の第2の実施
例を示す図。
【図9】エッジ検出部でのエッジ検出処理の第3の実施
例を示す図。
【図10】エッジ検出部でのエッジ検出処理の第4の実
施例を示す図。
【図11】対象物体が移動する場合の第1の実施例を示
す図。
【図12】対象物体が移動する場合の第2の実施例を示
す図。
【図13】本発明のその他の処理の流れを示す図。
【図14】従来のエッジ検出におけるしきい値調整を説
明するための図。
【図15】第3の発明の第1の実施例の構成を表す図。
【図16】磁気標識MR画像の例。
【図17】概輪郭抽出部の例を表す図。
【図18】初期値の例。
【図19】離散点の番号を表す図。
【図20】離散点移動部の例を表す図。
【図21】収束判定部の例を表す図。
【図22】概輪郭の例。
【図23】エッジ対応点決定部の例を表す図。
【図24】第2の実施例におけるエッジ対応点決定部の
例を表す図。
【図25】角点エネルギーの説明図。
【図26】角点エネルギーの説明図。
【図27】角点エネルギーの説明図。
【図28】分散のウインドウを表す図。
【図29】図16の輪郭抽出の図。
【図30】従来例を表す図。
【図31】従来例を表す図。
【図32】従来例を表す図。
【図33】従来例を表す図。
【符号の説明】
101 データ入力部 102 エッジ検出部 103 輪郭抽出部 104 強調値設定部 105 強調処理部 106 エッジ検出オペレータ適用部 107 2値化処理部 108 領域処理部 121 n−1フレーム目の輪郭抽出結果 122 nフレーム目の輪郭抽出結果 122’ nフレーム目の輪郭抽出結果より小さく設定
された輪郭 131 対象物体 132 対象物体のエッジオペレータ出力 133 対象物体以外のエッジオペレータ出力(ノイズ
エッジ) 1 輪郭抽出の対象となる物体 2 閉輪郭 3 求めたい輪郭(点線) 4 エッジ(太い実線) 5 抽出された輪郭(実線) 6 画像入力部 7 概輪郭抽出部 8 エッジ対応点決定部 9 離散点移動部 10 収束判定部 11 出力部 12 初期値設定部 13 初期値の例 14 画像エネルギー算出部 15 外部エネルギー算出部 16 次座標算出部 17 記憶部 18 エネルギー算出部 19 記憶部 20 エネルギー比較部 21 エッジ強度算出部 22 エッジ強度比較部 23 画素平均算出部 24 画素平均比較部

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】時間的に連続した複数のフレームから構成
    される動画像中の対象物体のエッジ検出を行う画像処理
    方法において、 エッジ検出処理を行う現フレームの画像中における、こ
    の現フレームの時間的に一つ前のフレームの画像中での
    対象物体の位置と同一位置もしくはその近傍の画像情報
    の強調処理を行い、 この強調した画像情報を有する前記現フレームの画像に
    エッジ検出オペレータ処理を行い対象物体のエッジ検出
    を行うことを特徴とする画像処理方法。
  2. 【請求項2】時間的に連続した複数のフレームから構成
    される動画像中の対象物体のエッジ検出を行う画像処理
    方法において、 エッジ検出処理を行うべき現フレームの画像にエッジ検
    出オペレータ処理を行い、 この処理を行った現フレームの画像中における、この現
    フレームの時間的に一つ前のフレームの画像中での対象
    物体の位置と同一位置もしくはその近傍の前記処理後の
    出力値の強調処理を行い対象物体のエッジ検出を行うこ
    とを特徴とする画像処理方法。
  3. 【請求項3】前記一つ前フレームの画像中での対象物体
    の位置と同一位置もしくはその近傍における前記現フレ
    ームの画像中での位置において前記画像情報、もしく
    は、前記出力値の強調処理を行うことを特徴とする請求
    項1もしくは2記載の画像処理方法。
  4. 【請求項4】対象物体が移動する場合において、 前記現フレームの画像中での対象物体の移動位置を予測
    して、この予測位置において前記画像情報、もしくは、
    前記出力値の強調処理を行うことを特徴とする請求項1
    もしくは2記載の画像処理方法。
  5. 【請求項5】前記画像情報として、一定の輝度または一
    定の色の情報を用いるか、もしくは、輝度または色の情
    報の平均値を用いることを特徴とする請求項1記載の画
    像処理方法。
  6. 【請求項6】前記処理後の出力値として、一定の出力値
    を用いるか、もしくは、出力値の平均値を用いることを
    特徴とする請求項2記載の画像処理方法。
  7. 【請求項7】時間的に連続した複数のフレームから構成
    される動画像中の対象物体のエッジ検出を行う画像処理
    装置において、 エッジ検出処理を行うべき現フレームの画像中におけ
    る、この現フレームの時間的に一つ前のフレームの画像
    中での対象物体の位置と同一位置もしくはその近傍の画
    像情報の強調処理を行う強調処理手段と、 この強調処理手段により強調した画像情報を有する前記
    現フレームの画像にエッジ検出オペレータ処理を行い対
    象物体のエッジ検出を行うエッジ検出オペレータ処理手
    段とよりなることを特徴とする画像処理装置。
  8. 【請求項8】時間的に連続した複数のフレームから構成
    される動画像中の対象物体のエッジ検出を行う画像処理
    装置において、 エッジ検出処理を行うべき現フレームの画像にエッジ検
    出オペレータ処理を行うエッジ検出オペレータ処理手段
    と、 このエッジ検出オペレータ処理手段により処理を行った
    現フレームの画像中における、この現フレームの時間的
    に一つ前のフレームの画像中での対象物体の位置と同一
    位置もしくはその近傍の前記処理後の出力値の強調処理
    を行い対象物体のエッジ検出を行う強調処理手段とより
    なることを特徴とする画像処理装置。
  9. 【請求項9】2次元あるいは3次元の画像データからの
    物体の輪郭抽出に際し、前記画像データにおける複数の
    離散点が有する弾性エネルギーと、画像エネルギーと、
    必要に応じて付加される外部エネルギーの重みつきの総
    和が最小となるように、前記複数個の離散点を前記画像
    データ上で移動させることにより、前記物体の輪郭を抽
    出する画像処理方法において、 離散点の画像中の位置における画像情報、もしくはその
    離散点の画像中の位置の近傍の画像情報から計算される
    統計量を、しきい値と比較して、一定の条件を満たす場
    合には、その離散点における画像エネルギーに対する重
    み係数の絶対値を他の離散点よりも小さくしてエッジ対
    応点以外の点とすることを特徴とする画像処理方法。
  10. 【請求項10】前記画像情報として、エッジ強度を用い
    ることを特徴とする請求項9記載の画像処理方法。
  11. 【請求項11】前記画像情報として、輝度もしくは色情
    報である画素値を用いることを特徴とする請求項9記載
    の画像処理方法。
  12. 【請求項12】画像エネルギーの重み係数の絶対値を他
    の離散点より小さくした離散点が前記画像データ上で複
    数個連続して存在する場合に、それらの連続する離散点
    と他の離散点との境界部分の離散点に、角部分の特徴を
    表す画像エネルギーを与えることを特徴とする請求項9
    記載の画像処理方法。
JP10991494A 1994-05-24 1994-05-24 画像処理方法及び画像処理装置 Expired - Lifetime JP3383072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10991494A JP3383072B2 (ja) 1994-05-24 1994-05-24 画像処理方法及び画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10991494A JP3383072B2 (ja) 1994-05-24 1994-05-24 画像処理方法及び画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002199198A Division JP3742035B2 (ja) 2002-07-08 2002-07-08 画像処理方法

Publications (2)

Publication Number Publication Date
JPH07320068A true JPH07320068A (ja) 1995-12-08
JP3383072B2 JP3383072B2 (ja) 2003-03-04

Family

ID=14522347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10991494A Expired - Lifetime JP3383072B2 (ja) 1994-05-24 1994-05-24 画像処理方法及び画像処理装置

Country Status (1)

Country Link
JP (1) JP3383072B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
JP2009502426A (ja) * 2005-08-01 2009-01-29 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 医用画像ボリューム内の身体の抽出システムおよび方法
EP2157546A2 (en) 2008-08-18 2010-02-24 Kabushiki Kaisha Toshiba Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (Computed Tomography) apparatus, and method of processing medical image
WO2011004640A1 (ja) * 2009-07-09 2011-01-13 コニカミノルタエムジー株式会社 輪郭抽出装置およびプログラム
US8480582B2 (en) 2002-03-05 2013-07-09 Kabushiki Kaisha Toshiba Image processing apparatus and ultrasonic diagnosis apparatus
US9779510B2 (en) 2014-08-26 2017-10-03 Toshiba Medical Systems Corporation Medical image processing apparatus, medical image processing method and medical image device
CN110662112A (zh) * 2019-09-23 2020-01-07 四川长虹电器股份有限公司 基于对比度识别动漫图像的观影限制方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
US8480582B2 (en) 2002-03-05 2013-07-09 Kabushiki Kaisha Toshiba Image processing apparatus and ultrasonic diagnosis apparatus
JP2009502426A (ja) * 2005-08-01 2009-01-29 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 医用画像ボリューム内の身体の抽出システムおよび方法
JP4837036B2 (ja) * 2005-08-01 2011-12-14 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド デジタル化された医用画像内の身体とは異なる構造物の識別方法およびコンピュータ可読プログラム記憶装置
EP2157546A2 (en) 2008-08-18 2010-02-24 Kabushiki Kaisha Toshiba Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (Computed Tomography) apparatus, and method of processing medical image
US7991108B2 (en) 2008-08-18 2011-08-02 Kabushiki Kaisha Toshiba Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (computed tomography) apparatus, and method of processing medical image
WO2011004640A1 (ja) * 2009-07-09 2011-01-13 コニカミノルタエムジー株式会社 輪郭抽出装置およびプログラム
US8532392B2 (en) 2009-07-09 2013-09-10 Konica Minolta Medical & Graphic, Inc. Contour extraction device and program
JP5299511B2 (ja) * 2009-07-09 2013-09-25 コニカミノルタ株式会社 輪郭抽出装置およびプログラム
US9779510B2 (en) 2014-08-26 2017-10-03 Toshiba Medical Systems Corporation Medical image processing apparatus, medical image processing method and medical image device
US10489910B2 (en) 2014-08-26 2019-11-26 Canon Medical Systems Corporation Medical image processing apparatus, medical image processing method and medical image device
CN110662112A (zh) * 2019-09-23 2020-01-07 四川长虹电器股份有限公司 基于对比度识别动漫图像的观影限制方法
CN110662112B (zh) * 2019-09-23 2021-10-29 四川长虹电器股份有限公司 基于对比度识别动漫图像的观影限制方法

Also Published As

Publication number Publication date
JP3383072B2 (ja) 2003-03-04

Similar Documents

Publication Publication Date Title
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
CN110688965B (zh) 基于双目视觉的ipt模拟训练手势识别方法
EP2416294B1 (en) Face feature point detection device and program
Kervrann et al. A hierarchical Markov modeling approach for the segmentation and tracking of deformable shapes
EP1465109A2 (en) Method for automated analysis of digital chest radiographs
JP2006524394A (ja) 画像における人体輪郭描写
US10249046B2 (en) Method and apparatus for object tracking and segmentation via background tracking
CN106204570B (zh) 一种基于非因果分数阶梯度算子的角点检测方法
Zhang et al. Level set evolution driven by optimized area energy term for image segmentation
CN108320300A (zh) 一种融合粒子滤波的时空上下文视觉跟踪方法
Levienaise-Obadia et al. Adaptive segmentation of ultrasound images
CN103810499A (zh) 复杂背景下红外弱目标检测与跟踪的应用
Chen et al. Vessel attachment nodule segmentation using integrated active contour model based on fuzzy speed function and shape–intensity joint Bhattacharya distance
Sanchez et al. Statistical chromaticity models for lip tracking with B-splines
CN106934819A (zh) 一种提高图像中运动物体检测精度的方法
Deng et al. A modified fuzzy C-means algorithm for brain MR image segmentation and bias field correction
CN106204637A (zh) 光流计算方法
Moreno-Garcia et al. Video sequence motion tracking by fuzzification techniques
JPH07320068A (ja) 画像処理方法及び画像処理装置
JP3716455B2 (ja) 領域抽出方法及び領域抽出装置
Zheng An intensive restraint topology adaptive snake model and its application in tracking dynamic image sequence
Li et al. A SVM-based framework for autonomous volumetric medical image segmentation using hierarchical and coupled level sets
phadke Robust multiple target tracking under occlusion using Fragmented Mean Shift and Kalman Filter
JP3742035B2 (ja) 画像処理方法
Höwing et al. Tracking of non-rigid articulatory organs in X-ray image sequences

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131220

Year of fee payment: 11

EXPY Cancellation because of completion of term