JP3046326B2

JP3046326B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP3046326B2
Application number: JP2155506A
Authority: JP
Inventors: 昭南大橋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-06-15
Filing date: 1990-06-15
Publication date: 2000-05-29
Anticipated expiration: 2015-05-29
Also published as: JPH0452873A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、画像、例えばMRI画像、CT画像等の医用画
像を少なくとも２つの領域に区分する画像処理装置及び
画像処理方法に関し、特に、操作者との対話により、所
望の領域に関する情報をニューラルネットワークに学習
させ、そのニューラルネットワークを利用して画像から
所望の関心領域を半自動的に抽出す画像処理装置及び画
像処理方法に関する。

（従来の技術）従来、画像全体から所望の関心領域（以下、ROI（Reg
ion of Interest）と称する）を抽出する装置として
は、手動で行なう装置と、自動的に行なう装置とがあ
る。手動で行なうものとしては、（1a）矩形、円などの
定形のROIカーソルをマウス等で移動、拡大してROIを指
定する装置と、（1b）任意のROIをマウス等で作画する
装置がある。自動的に行なうものとしては、（2a）画像
データに二次元フィルタ（二次微分等）をかけてエッジ
を検出する装置（Medical Imaging Technology,1989,Vo
1.7,P55:「MRIからの頭部浮腫画像のＶフィルタによる
鮮尖鋭化」）と、（2b）閾値（スレッシユホルド）によ
りROIの内外を区別する装置がある。

従来装置（1a）は簡単な操作でROIが指定でき、統計
量などを求める場合によく使用される。しかし、カーソ
ルが定形であるので腫瘍、臓器など任意の形状のROIを
指定することはできない。従来装置（1b）では操作が非
常に煩わしい。従来装置（2a）はフィルタが対象にマッ
チすれば、正確にエッジが検出できるが、フィルタの選
択が難しい。フィルタがマッチしない場合は、エッジの
検出能力がかなり低くなる。対象によりフィルタが異な
るので、一般的な多くの画像を対象に出来ない。そのた
め、研究的、あるいは特定の画像を対象にするためには
有効であるが、実用上、使用できる範囲が狭い。従来装
置（2b）は単純な方法であり、実用上はよく使用されて
いる。この方法は簡単であるが、閾値だけで区分してい
るので、人間が画像を見て定めた境界と必ずしも一致し
ない。

（発明が解決しようとする課題）したがってこの発明の目的は、画像から任意の形状の
関心領域を精度よく、しかも簡単に抽出できる画像処理
装置及び画像処理方法を提供することである。

［発明の構成］（課題を解決するための手段）この発明による画像処理装置は、ニューラルネットワ
ークを利用して画像を少なくとも関心領域とそれ以外の
領域に区分する画像処理装置において、関心領域の概略
を示す領域を関心領域の候補領域として指定するための
第１入力手段と、候補領域と関心領域との間の領域の少
なくとも一画素を学習領域として指定するための第２入
力手段と、学習領域に含まれる画素の画素情報と、該画
素の周辺画素の画素情報とに基づいて、上記ニューラル
ネットワークの学習データを作成する手段と、学習デー
タに基づいて上記ニューラルネットワークを学習させる
手段と、関心領域と候補領域との間の領域に含まれる画
素の画素情報と、該画素の周辺画素の画素情報とを上記
学習済みのニューラルネットワークへ入力し、ニューラ
ルネットワークの出力と予め決められた値とを比較し、
比較の結果に基づいて関心領域と候補領域との間の領域
に含まれる画素が関心領域に含まれるか否かを判断する
手段と、候補領域に判断手段により関心領域に含まれる
と判断された画素を含めることにより候補領域を更新す
る手段とを具備する。ここで、更新後の候補領域が関心
領域として適当でない場合、更新後の候補領域と関心領
域との間の領域の少なくとも一画素を学習領域として指
定するための第３入力手段をさらに具備し、作成手段、
学習手段、判断手段、更新手段を再び動作させてもよ
い。

また、本発明のニューラルネットワークを利用して画
像の関心領域を示すROIを設定する画像処理方法は、関
心領域の内部に矩形の第１のROIを設定し、関心領域の
外部に矩形の第２のROIを設定し、関心領域に含まれる
が、第１のROIには含まれない矩形の第３のROIを設定
し、第３のROI内の画素の画素情報と、該画素の周辺画
素の画素情報とに基づいて、上記ニューラルネットワー
クをが学習させ、第１のROIと第２のROIとの間の領域に
含まれる画素の画素情報と、該画素の周辺画素の画素情
報とを上記学習済みのニューラルネットワークへ入力
し、ニューラルネットワークの出力と予め決められた値
とを比較し、比較の結果に基づいて第１のROIと第２のR
OIとの間の領域に含まれる画素が関心領域に含まれるか
否かを判断し、関心領域に含まれると判断された画素と
第１のROI内の画素とに基づいてROI候補を設定する。こ
こで、観察者によりROI候補が関心領域と一致していな
いと判断された場合は、関心領域に含まれるが、ROI候
補には含まれない第３のROIを再設定し、ニューラルネ
ットワークの学習からROI候補の設定までを再度実行し
てもよい。

（作用）この発明によれば、関心領域の特徴をニューラルネッ
トワークに学習させ、この学習結果に基づいて関心領域
を示すROIの候補を求め、表示されたROI候補と関心領域
とのずれを操作者がニューラルネットワークへフィード
バックさせ、ニューラルネットワークを再度学習させる
ことにより、関心領域を示すROIを半自動的に設定する
ことができる。このため、任意形状のROIを精度良く、
しかも簡単に作成することができる。

（実施例）以下図面を参照してこの発明による画像処理装置及び
画像処理方法の実施例を説明する。第１図は実施例の構
成を示すブロック図である。MRI画像、Ｘ線CT（Compute
d Tomography）画像、CR（Computed Radiology）画像等
の画像、あるいはＸ線写真等をディジタイザ等で読み込
んだ画像等が画像記憶装置10に格納されている。CPU等
からなる制御部12が画像記憶装置10、ニューラルネット
ワーク14、画像表示装置16に接続され、画像表示装置16
には位置指定装置としてのマウス18が接続される。

第２図に画像の一例としてのＸ線CTにより得られた頭
部のアキシャル（Axial）画像を模式的に示す。周囲の
二重の楕円は滑であり、中の楕円は腫瘍を表している。
第３図は、第２図に示した画像の横方向における画素値
のプロフィールである。縦軸は画素値、横軸は画素の位
置を示す。腫瘍がある領域の画素値は周囲の画素値に比
較して高い。第３図から明らかなように、骨のように周
囲との画素値の差が大きいものは、領域の抽出が比較的
容易であり、自動抽出も可能である。しかし、腫瘍のよ
うな場合には、環境が明瞭でなく、自動抽出はかなり困
難である。そのため、現状では操作者がマウスなどを利
用して、手動で描くことが多い。このため、３次元表示
等の場合は、多数枚の画像についてROIを描くことが必
要があり、作業量が多くなる。ROIは画像の種類により
異なるので、種々のROIを自動で抽出することは困難で
あるが、各ROIの特色はそれなりに纏まりがある。した
がって、求めようとするROI（以下、目的ROIと称する）
の一部が判れば残りの領域を自動的に求めることも可能
である。この発明では、操作者が指定した目的ROIの一
部をニューラルネットワークで学習し、それに基づいて
目的ROIの全体を求めるものである。その際、１回の学
習で目的ROIの全体が求められない場合は、同様の操
作、学習を繰り返すことにより、ROIの候補を順次目的R
OIに近づけることが可能である。

この発明により抽出できるROIの典型的な例は、第２
図の画像中の腫瘍のような閉ループ領域であり、その閉
ループ内に他のROIを含まない場合である。しかし、こ
の発明では、このようなROI以外の以下に示すようなROI
も求めることができる。第４図は第２図を拡大した例で
あり、ROI（腫瘍）が画像のフレームからはみ出してい
る。第５図は血管の画像であり、ROI（血管）の両端が
画像のフレームからはみ出している。第６図は１つのRO
I1中に他のROI2が更に存在する。第７図は１つのROI1が
他のROI2に接している例である。第８図は１つのROI1と
他のROI2との境界が明確でない例である。この場合、RO
I1のROI2と接している部分以外の情報を学習してもROI2
との境界を判定することは困難である。逆に、ROI1のRO
I2との境界部分の情報を学習すると、残りの部分が判定
できなくなる。しかし、これらの領域についてもこの発
明を応用することが可能である。第４図から第８図の例
については、後に変形例として説明する。

また、ROIのプロフィールは第３図に示すような凸型
のみではなく、凹型でもよい。また、凸型の場合、ROI
の境界付近でオーバシュトが生じ、境界付近の画素値を
ROI外の画素値より大幅に低い画素が存在する場合もあ
る。逆に、凹型の場合、ROIの境界付近ではオーバシュ
トが生じ、境界付近の画素値がROI外の画素値より大幅
に高い画素が存在する場合もある。これらについても、
後に変形例として説明する。

さらに、画像にノイズが多く、この発明を直接実施出
来ない場合もあるが、それについても、後に変形例とし
て説明する。

ここでは説明を簡単にするために、第２図に示すよう
に、ROIは閉ループ領域であり、そのなかに他のROIを含
まないとする。また、画像にノイズは少ないとする。

先ず、以下の説明に使用する言葉の定義をしておく。

ある画素ｍの隣接画素mnを第９図に示すように定義す
る。また、隣接画像mn（ｎ＝１〜４）を４−隣接画素、
ｎ＝１〜８を８−隣接画素、ｎ＝１〜25を25−隣接画素
と称する。画像の座標は横軸Ｘ、縦軸をＹ、左上の角の
画素の座標を（１、１）、画像の右方向を＋Ｘ、下方向
を＋Ｙと定める。

以下、第10図を参照してこの実施例の概略動作を説明
する。ステップ＃1000で制御部12は画像記憶装置10に記
憶された画像のうち、指定された１枚の画像を画像表示
装置16に表示する。ステップ＃2000で所定のテーブル、
画像、ポインンタ等を初期化する。初期化するものは後
に示す。ステップ＃3000で目的でROIの概略を示すROIの
初期候補（領域）を設定する。

ステップ＃4000でニューラルネットワークへ学習させ
る学習領域を指定（追加）、登録する。学習領域は目的
ROIの内部領域、外部領域の２種類である。初期状態の
場合は、必ず両方を指定する必要があるが、２回目から
は、表示されたROIの候補と操作者が認識した目的ROIと
がずれている部分を学習領域として指定する。これには
候補ROIの内部が目的ROIの外部である場合と、候補ROI
の外部が目的ROIの内部である場合の２種類がある。ス
テップ＃5000で学習データを作成する。ステップ＃6000
でニューラルネットワーク14を用いて登録された学習領
域の情報を学習する。ステップ＃7000で目的ROIの候補
を求め、これを表示する。

ステップ＃8000で表示された候補ROIが目的ROIとして
適当かを操作者が判定する。適当でなく候補ROIの修正
の必要がる場合は、ステップ＃4000に戻り、学習領域を
追加修正する。修正の必要がない場合はそれが目的ROI
になるので、動作は終了する。

以下、各ステップの詳細を説明する。先ず、ステップ
＃3000の目的ROIの初期領域の設定、表示について第11
図、第12図を参照して説明する。ステップ＃3100で目的
ROIの概略の中心位置の画素AC（ACx,ACy）をマウス18で
指定し、表示確認する。必要なら訂正する。ステップ＃
3200で画素ACを含み、目的ROIの内部に完全に含まれ、
かつ出来るだけ大きい第１の矩形ROI11を設定する。ス
テップ＃3300で矩形ROI11の内部を指定領域として登録
する。具体的には、１枚の画像に対応する第１の３値画
像（初期値は全て“0"）の画素のうち、矩形ROI11の内
部に相当する全ての画素を“1"にする。ステップ＃3400
で目的ROIを完全に含み、かつ出来るだけ小さい第２の
矩形ROI12を設定する。ステップ＃3500で矩形ROI12の外
部を領域外として第１の３値画像に登録する。すなわ
ち、第１の３値画像の画素のうち、矩形ROI12の外部に
相当する全ての画素を“1"にする。

ステップ＃3600で第２の矩形ROI12の左上の角の画素
の座標を（RI2NX、RI2NY）、右下の角の画素の座標を
（RI2MX,RI2MY）とする。ここで、目的ROIの探索範囲を
座標（RLTNX,RLTNY），（RLTMX,RLTMY）で囲まれた矩形
領域であるとする。すなわち、この場合は、RLTNX＝RI2
NX,RLTNY＝RI2NY,RLTMX＝RI2MX,RLTMY＝RI2MYとする。
ステップ＃3700で第１の３値画像を第２の３値画像に写
す。第１の３値画像は変化しない。ステップ＃3800で第
２の３値画像において、画素ACを中心として、画素値が
１である連続する領域の境界を求める。これは公知の技
術である。この場合、境界は第１の矩形ROI11と同じに
なる。ステップ＃3900で境界（矩形ROI11）を目的ROIの
初期候補として表示する。

次に、ステップ＃4000の学習領域の指定、登録につい
て第12図、第13図を参照して説明する。ステップ＃4100
で操作者は表示されているROIの候補（初期の場合は第
１の矩形ROI11）を見ながら、目的ROIとずれている部分
を学習領域として指定する。この場合、ずれている部分
の全てを指定する必要はなく、ずれの大きい部分だけを
指定すればよい。この指定は第３の矩形ROI13（第12
図）を学習領域に設定することにより行うが、矩形ROI1
3の大きさは任意に設定でき、最小は１画素である。し
たがって、１点（画素）でも学習可能である。矩形ROI1
3の画素数をSRNとする。ステップ＃4200で矩形ROI13の
内部の画素が目的ROIの内部／外部のどちらに所属する
かを指定する。これを内部／外部所属と称する。内部所
属の場合はステップ＃4300を実行し、外部所属の場合は
ステップ＃4500を実行する。

ステップ＃4300では矩形ROI13の内部の画素を、指定
領域として登録する。すなわち第１の３値画像の画素の
うち、矩形ROI13の内部に相当する全ての画素を“1"に
する。ステップ＃4400で矩形ROI13の左上の角の画素の
座標を（RI2NX,RI2NY）、右下の角の画素の座標を（RI2
MX,RI2MY）とし、ROI13が探索領域よりはみ出している
場合は、ROIの探索領域を再設定する。すなわち、１）RI2NX＜RLTNXならば RLTNX＝RI2NXとし、２）RI2NY＜RLTNYならば RLTNY＝RI2NYとし、３）RLTMX＜RI2MXならば RLTMX＝RI2MXとし、４）RLTMY＜RI2MYならば RLTMY＝RI2MYとする。

なお、条件に合致しない場合は、変更しない。外部所属
の場合は、ステップ＃4500で矩形ROI13の内部の画素
を、領域外として登録する。すなわち第１の３値画像の
画素のうち、矩形ROI13の内部に相当する全ての画素を
“−1"にする。

ステップ＃4600で矩形ROI13の内部の画素を内部／外
部学習領域データとして登録する。ステップ＃4700で他
に学習領域を指定する必要があるか否か判定する。ま
だ、学習領域が残っている場合は、ステップ＃4100に戻
る。初期の場合は内部、外部の両方の学習領域を指定す
る必要があるので、２回以上はこの処理が繰り返され
る。全部の学習領域を指定したら、処理が終了する。

次に、ステップ＃4600の学習領域データの登録につい
て第14図を参照して説明する。ここで、学習領域データ
は内部／外部それぞれ別々に登録される。それぞれに登
録できる最大数をLDMXとする。現在登録されている学習
領域データ数を、内部／外部それぞれLDN1、LDN2（初期
値はともに０）とする。学習領域データを登録するテー
ブルをLDT1、LDT2とする。以下、内部所属の学習領域デ
ータを登録する場合について説明し、外部所属の場合は
｛…｝内に示す。

ステップ＃4610で指定された領域のデータ数SRNが登
録できるか否かを調べる。既に、多くのデータが登録さ
れており、今回指定された領域のデータが登録できない
場合は、登録されているデータの一部を消去し、登録メ
モリの記憶領域を確保する。この場合、登録時期の早い
データから消去していく。ステップ＃4620でレジスタCO
UNTに１をセットする。ステップ＃4630でレジスタWPT1
にLDN1＋１｛LDN2＋１｝をセットする。ステップ＃4640
で指定された領域の第COUNT番目の画素の座標（PXX,PX
Y）を取り出し、学習領域用の第３の３値画像の画素（P
XX,PYY）の画素値を読み取る。この画素値が“0"であれ
ば、ステップ＃4660を実行する。画素値が“1"｛“−
1"｝であればステップ＃4690を実行する。画素値が“−
1"｛“1"｝であればステップ＃4650を実行する。

ステップ＃4650でLDT2｛LDT1｝の画素（PXX,PXY）の
データを消去する。ステップ＃4660で指定された領域の
第COUNT番目の画素の座標（PXX,PXY）とその画素値、お
よびその８−隣接画素の画素値を取り出し、LDT1｛LDT
2｝の第WPT1番目の記憶位置に記憶する。ステップ＃467
0で第３の３値画像の画素（PXX,PXY）を“1"｛“−1"｝
とする。ステップ＃4680でレジスタLDN1｛LDN2｝の値を
インクリメントする。ステップ＃4690でレジスタCOUN
T、レジスタWPT1の値をインクリメントする。ステップ
＃46A0でCOUNT≦SRNが否か判定する。イエスの場合は、
ステップ＃4640に戻る。ノーの場合は、処理を終了す
る。

次に、ステップ＃4610の登録メモリの確保について第
15図を参照して説明する。ステップ＃4611でレジスタLD
NWにLDN1＋SRN｛LDN2＋SRN｝とセットする。ステップ＃
4612でLDNW＞LDMXか否か判定する。ノーであれば、処理
を終了する。イエスの場合は、ステップ＃4613を実行す
る。ステップ＃4613でレジスタWPT2にLDNW−LDMX＋１を
セットする。ステップ＃4614でレジスタWPT1に１をセッ
トする。

ステップ＃4615でテーブルLDT1｛LDT2｝の第WPT1番目
のデータの画素の座標（PXX,PXY）を取り出す。学習領
域用の第３の３値画像の画素（PXX,PXY）を“0"とす
る。ステップ＃4616でテーブルLDT1｛LDT2｝の第WPT2番
目のデータをテーブルLDT1｛LDT2｝の第WPT1番目の記憶
位置に移動する。ステップ＃4617でレジスタWPT1、レジ
スタWPT2の値をインクリメントする。ステップ＃4618で
WPT2＞LDMXが否か判定する。ノーの場合は、ステップ＃
4615に戻る。イエスの場合は、ステップ＃4619でレジス
タLDN1｛LDN2｝にLDMX−SRNをセットし、処理を終了す
る。

次に、ステップ＃4650の（PXX,PYY）画素のデータの
削除について第16図を参照して説明する。ステップ＃46
51でレジスタWPT3に１をセットする。ステップ＃4652で
テーブルLDT2｛LDT1｝の第WPT3番目のデータの画素の座
標（PXXW,PXYW）を取り出す。ステップ＃4653でPXXW＝P
XX、かつPXYW＝PXYか否か判定する。イエスの場合は、
ステップ＃4656を実行し、ノーの場合は、ステップ＃46
54を実行する。ステップ＃4654でレジスタWPT3の値をイ
ンクリメントする。ステップ＃4655でWPT3≦LDN2｛LDN
1｝か否か判定する。イエスの場合は、ステップ＃4652
の戻り、ノーの場合はシステムエラーとする。

ステップ＃4656で学習領域用の第３の３値画像の画素
（PXX,PXY）を“0"とする。ステップ＃4657でレジスタW
PT4にWPT3＋１をセットする。ステップ＃4658でテーブ
ルLDT2｛LDT1｝の第WPT4番目のデータをテーブルLDT2
｛LDT1｝の第WPT3番目の記憶位置に移動する。ステップ
＃4659でレジスタWPT3、レジスタWPT4の値をインクリメ
ントする。ステップ＃465AでWPT4≦LDN2｛LDN1｝か否か
判定する。イエスの場合は、ステップ＃4658に戻る。ノ
ーの場合は、ステップ＃465BでレジスタLDN2｛LDN1｝の
値をディクリメントして、処理を終了する。

次に、ステップ＃5000の学習データの作成について詳
細に説明する。学習の方式は１）マシンラーニングによ
る方式、２）ニューラルネットワークによる方式などが
ある。この発明は学習方式には限定されないが、ここで
はニューラルネットワークによる方式について説明す
る。ニューラルネットワーク14の概略を第17図に示す。
ニューラルネットワークの構成はこの実施例に限定され
ないが、ここでは、ニューラルネットワークは３層から
なる階層型とし、各素子の変換関数はシグモイド関数を
使用している。入力層14aは９個の素子で構成されてい
る。各素子はそれぞれ、対象画素とその８−隣接画素に
対応しており、素子への入力値はそれぞれの画素値であ
る。この場合、画素値は変形例で説明したように０〜１
に正規化される場合が多いが、ここでは説明を簡単にす
るために、画素値がそのまま入力されるものとする。中
間層14bの素子数は経験的に決定するが、ここでは50個
にしている。出力層14cの素子数は１個である。素子の
活性度（出力）が１に近い値の場合はその画素が領域内
の画素であることを示す。０に近い値の場合は、その画
素がその領域内の画素でないことを示している。

ニューラルネットワークの学習を行うためには、最初
に学習データを作成する必要がある。１個の学習データ
は入力素子（この場合は９個）への入力データと、出力
素子（この場合は１個）に正しい答えを考えるための教
師データから構成される。第１表に学習データの一覧表
を示す。学習データは学習領域データより作成する。

第18図を参照してステップ＃5000の学習データの作成
について説明する。ステップ＃5100で内部／外部の学習
領域データLDT1、LDT2の個数を揃える。この個数をLDNX
とする。ステップ＃5200でレジスタpp、qqに１をセット
する。ステップ＃5300でテーブルLDT1の第pp番目の画素
の画素値を、学習データの第pp番目の素子１の入力デー
タとして設定する。ステップ＃5400でこの画素の８−隣
接画素の画素値８個を、学習データの第pp番目の素子２
〜素子９の入力データとして設定する。ステップ＃5500
で学習データの第pp番目の教師データとして１（領域
内）を設定する。ステップ＃5600でレジスタppの値をイ
ンクリメントする。ステップ＃5700でテーブルLDT2の第
qq番目の画素の画素値を、学習データの第pp番目の素子
１の入力データとして設定する。ステップ＃5800でこの
画素の８−隣接画素の画素値８個を、学習データの第pp
番目の素子２〜素子９の入力データとして設定する。ス
テップ＃5900で学習データの第pp番目の教師データとし
て０（領域外）を設定する。ステップ＃59A0でレジスタ
pp、qqの値をインクリメントする。ステップ＃59B0でqq
≦LDNXか否か判定する。イエスであれば、ステップ＃53
00に戻る。ノーであれば、処理を終了する。

次に、ステップ＃5100のデータ数を揃える処理につい
て第19図を参照して説明する。ステップ＃5110でレジス
タLDNXにLDN1、LDN2の最大値max（LDN1,LDN2）をセット
する。ステップ＃5120でLDN1とLDN2を較べる。LDN1＝LD
N2の場合は、処理を終了する。LDN1＞LDN2ならば、ステ
ップ＃51070を実行する。LDN1＜LDN2ならば、ステップ
＃5130でレジスタrrにLDN1−（LDN2−LDN1）＋１をセッ
トし（もしrr≦０ならば、rr＝１にする）、レジスタqq
にLDN1＋１をセットする。ステップ＃5140でテーブルLD
T1の第rr番目のデータ（９個）をテーブルLDT1の第qq番
目のデータ記憶位置に複写する。ステップ＃5150でレジ
スタrr、qqの値をインクリメントする。ステップ＃5160
でqq≦LDN2か否か判定する。イエスの場合は、ステップ
＃5140に戻る。ノーの場合は、処理を終了する。

ステップ＃5170でレジスタrrにLDN2−（LDN1−LDN2）
＋１をセットし（もしrr≦０ならば、rr＝１にする）、
レジスタqqにLDN2＋１をセットする。ステップ＃5180で
テーブルLDT2の第rr番目のデータ（９個）をテーブルLD
T2の第qq番目のデータ記憶位置に複写する。ステップ＃
5190でレジスタrr、qqの値をインクリメントする。ステ
ップ＃51A0でqq≦LDN1か否か判定する。イエスの場合
は、ステップ＃5180に戻る。ノーの場合は、処理を終了
する。

学習データを作成したら、次にニューラルネットワー
クの学習を行う。学習方式は実施例に限定されないが、
ここでRumelhartの提唱したバックプロパゲーション法
により学習を行う。バックプロパゲーション法は公知で
あるので説明は省略する。学習は、学習データを与えた
ときの出力データと教師データとの誤差があらかじめ決
められた値（ELMT）以下になるか、あるいはあらかじめ
決められた学習回数（LCLMT）に達するまで、学習デー
タを繰り返し与える。実施例は全学習データを均一に学
習する方式であるが、誤差の多い学習データを優先的に
学習するなど、学習順序、学習データごとの学習回数は
均一でなくてもよい。

ステップ＃6000のニューラルネットワークの学習につ
いて第20図を参照して説明する。ステップ＃6100でレジ
スタppにLDNX＋LDNXをセットする。ステップ＃6200でレ
ジスタssに１セットする。ステップ＃6300でレジスタqq
に１をセットし、レジスタERMAXに０をセットする。ス
テップ＃6400で第qq番目の学習データの入力値（画素
値）を入力層の９個の素子に、教師データを出力素子に
与えてニューラルネットワークの学習を行う。学習方式
はバックプロパゲーション法を用いているが、バックプ
ロパゲーション法に限定されない。これを１回の学習と
いう。このときの出力層の誤差をER1とする。ステップ
＃6500でERMAX≦ER1ならばERMAX＝ER1とする。ステップ
＃6600でレジスタqq,ssの値をインクリメントする。ス
テップ＃6700でLCLMT＜ssか否か判定する。イエスなら
ば、処理を終了する。ノーの場合は、ステップ＃6800で
qq≦ppか否か判定する。イエスの場合は、ステップ＃64
00に戻る。ノーの場合（pp＜qq）は、全学習データを学
習したことになる。これを１サイクルの学習という。１
サイクルの最大誤差がERMAXである。そして、ステップ
＃6900でELMT＜ERMAXか否か判定する。イエスならば、
ステップ＃6300に戻る。ノーならば、処理を終了する。

次に、ステップ＃7000の目的ROI候補の探索について
説明する。探索方式は実施例に限定されないが、ここで
は２種類の方式について説明する。

第１の方式について第21図を参照して説明する。ステ
ップ＃7100で第１の３値画像を第２の３値画像に複写す
る。ステップ＃7200でレジスタppyにRLTNYをセットす
る。ステップ＃7300でレジスタppxにRLTNXをセットす
る。ステップ＃7400で第２の３値画像の画素（ppx,pp
y）の画素値が“0"か否か判定する。“0"でなければ、
ステップ＃7700を実行する。“0"の場合は、ステップ＃
7500で画素（ppx,ppy）について、領域の内外を判定す
る。これは、画素（ppx,ppy）、およびその８−隣接画
素の計９個に画素の画素値をニューラルネットワーク14
に入力する。入力に関してはニューラルネットワークを
学習をせる場合と同様である。ニューラルネットワーク
の入力項目は実施例では９個の画素値であるが、これに
限定されない。

ステップ＃7600でニューラルネットワーク14の出力Hp
を得る。このHpに基づいて以下の処理を行なう。

１）HP≧rsならば、この画素は領域内であると判断し、
第２の３値画像の画素（ppx,ppy）の画素値を“1"に変
える。

２）HP≧rsならば、この画素は領域外であると判断し、
第２の３値画像の画素（ppx,ppy）の画素値を“−1"に
変える。ここで、rsは定数であり、実施例ではrs＝0.5
としているが、これに限定されない。ステップ＃7700で
レジスタppxの値をインクリメントする。ステップ＃780
0でppx≦RLTMXか否か判定する。イエスならば、ステッ
プ＃7400に戻る。ノーならば、ステップ＃7900でレジス
タppyの値をインクリメントする。ステップ＃7A00でppy
≦RLTMYか否か判定する。イエスならば、ステップ＃730
0に戻る。ノーならば、ステップ＃7B00で第２の３値画
像において“1"である画素の領域を領域３とし、この領
域３から必要に応じて、例えば下記のような公知の方法
により目的ROIの候補を求める。

１）領域３を、そのまま目的ROIの候補とする。

２）領域３から画素ACを含む連続領域（閉ループ領域）
を求め、これをROI4とする。ROI4を目的ROIの候補とす
る。

３）ROI4のエッジをもとめ、それを滑らかにスムージン
グし、その内部を目的ROIの候補とする。

４）この発明の方式でも、ROI4のなかには“島”のよう
に領域外の部分が残る場合がある。しかし、通常はエッ
ジに囲まれた領域全てがROI内であることが多い。その
ため、ROI4のエッジで囲まれた領域全てを目的ROIの候
補とする。

第２の方式について第22図を参照して説明する。ステ
ップ＃7C00で第１の３値画像を第２の３値画像の複写す
る。ステップ＃7D00で第２の３値画像において“1"であ
る画素のうち、画素ACを含む連続した閉ループ領域を求
める。この方法は公知である。この閉ループ領域を領域
２とする。領域２のエッジを求め、これをエッジ２とす
る。エッジ２の画素数をMMとする。ステップ＃7E00でエ
ッジ２の全画素の８−隣接画素について、領域の内外を
判定し、領域内であれば、第２の３値画素のその画素の
画素値を“1"に、領域外であればその画素値を“−1"に
変更する。ステップ＃7F00で画素値が“1"に変更された
画素があれば、ステップ＃7D00に戻る。“1"に変更され
た画素が１画素もない場合は、ステップ＃7G00を実行す
る。ステップ＃7G00は第１の方式におけるステップ＃7B
00と同一である。

次に、ステップ＃7E00のエッジ画素の隣接画素の内外
の判定について第23図を参照して説明する。ステップ＃
7E10でレジスタｍに１をセットする。ステップ＃7E20で
エッジ２の第ｍ番目の画素を取り出す。これを画素ｍと
する。画素ｍのｎ番目の隣接画素を画素mnとする。ステ
ップ＃7E30でレジスタｎに１をセットするステップ＃7E
40で第２の３値画像の画素mnの画素値が“0"であるか否
か判定する。ノーであれば、ステップ＃7E70を実行す
る。イエスならば、ステップ＃7E50で画素mn、およびそ
の８−隣接画素の計９個の画素の画素値をニューラルネ
ットワーク14に入力する。入力に関してニューラルネッ
トワークを学習させる場合と同様である。

ステップ＃7E60でニューラルネットワークの出力Hpを
得る。このHpに応じて以下の処理を行なう。

１）HP≧rsならば、画素mnは領域内であると判断し、第
２の３値画像の画素mnの画素値を“1"に変える。

２）HP≧rsならば、この画素mnは領域外であると判断
し、第２の３値画像の画素mnの画素値を“−1"に変え
る。ここで、rsは定数であり、実施例ではrs＝0.5とし
ているが、これに限定されない。ステップ＃7E70でレジ
スタｎの値をインクリメントする。ステップ＃7E80でｎ
≦８で否か判定する。イエスの場合は、ステップ＃7E40
に戻る。ノーの場合は、ステップ＃7E90でレジスタｍの
値をインクリメントする。ステップ＃7EA0でｍ≦MMか否
か判定する。イエスの場合は、ステップ＃7E20に戻る。
ノーの場合は、処理を終了する。

最後に、第10図に示すステップ＃1000において初期化
する項目について説明する。（１）指定領域を示す第１
の３値画像の全画素を“0"、すなわち指定されていない
状態にする。（２）学習領域を示す第３の３値画像の全
画素を“0"、すなわち指定されていない状態にする。
（３）現在登録されている学習領域データ数LDN1,LDN2
に０をセットする。

以上説明したように、この実施例によれば、ニューラ
ルネットワークを用いて目的とするROIの特徴を学習さ
せ、ニューラルネットワークによりROIの候補を求め、
表示されたROI候補と目的ROIとのずれをニューラルネッ
トワークへフィードバックさせ再度学習をさせることに
より、画像から所望のROIを半自動的に抽出することが
できる。このため、任意形状のROIの作成が容易になる
ので、医用画像に応用した場合、３次元表示、手術計画
などの操作性が向上する。

この発明は上述した実施例に限定されずに、種々変形
可能であり、以下に変形例を説明する。

実施例では学習方式はニューラルネットワークによる
方式を説明したが、マシンラーニングなどの方式であっ
てもよい。

実施例ではニューラルネットワークへの入力値を画素
値そのものとしているが、これを画像の表示ウィンド
（ウィンドウレベルおよびウィンドウ幅）で正規化して
もよい。すなわち、画素値をＸ、ウィンドウレベルをW
L、ウィンドウ幅をWW、ニューラルネットワークへの入
力値をＹとすると、１）（WL＋WW）/2≦Ｙの場合は、Ｙ＝１とし、２）（WL−WW）/2≦Ｙ≦（WL＋WW）/2の場合は、Ｙ＝
｛（Ｘ−WL）/WW｝＋1/2とし、３）Ｙ≦WL−WWの場合は、Ｙ＝０とする。これにより、
画素値が表示の明るさに変換される。ROIは操作者が自
分が見ている画像において作成したものであるから、画
素値そのものを学習するよりROIの明るさを学習する方
がより適切である。

実施例ではニューラルネットワークへの入力項目を自
分自身とその８−隣接画素の画素値としているが、自分
自身とその４−隣接画素、あるいは25−隣接画素の画素
値としてもよい。また、自分自身とその周辺の任意の画
素の画素値としてもよい。

実施例では領域２のエッジから８−隣接画素を探索し
ているが、探索範囲は４−隣接画素であってもよい。

また、画像のノイズの影響を避けるために、あらかじ
め画像に２次元フィルターを掛け、その後に学習、およ
びROIを求めるようにしてもよい。

第４図に示すように、ROIの一部が画像からはみでて
いる場合には、画像の端をROIのエッジとして扱い、そ
の画像の端の部分を学習データには含めないようにすれ
ば、実施例と同様の方法によりこの発明を実施できる。

第５図に示すように、血管がROIの場合は、ROIの両側
が同一の性質を有している場合は上下の端を除き実施例
の場合と同様に実施できる。

両側が異なる性質を有している場合は第６図と同様の方
法で実施できる。上下の端については第４図の場合と同
様の方法で実施できる。

第６図、第７図の場合は、ニューラルネットワークの
出力素子を２個にし、以下のように実施する。

１）ROI1に関する学習データを作成する。この場合、教
師データは素子１を“1"に、素子２を“0"にする。

２）ROI2に関する学習データを作成する。この場合、教
師データは素子１を“0"に、素子２を“1"にする。

３）領域外に関する学習データを作成する。この場合、
教師データは素子１、素子２とも“0"にする。

４）学習データ数は３種類のうち、最も多い数に揃え
る。

５）データの順序は上記の１〜３の順に１個づつ設定す
る。

６）実施例と同様に学習を行う。

７）学習後のニューラルネットワークにより領域を決定
する。この場合の判定基準は以下のとおりである。素子
１、素子２の出力値をHP1、HP2とすると、ａ）HP1＜rs、かつHP2＜rsならば、領域外、ｂ）ａ）でなく、HP1≦HP2ならばROI1、ｃ）ａ）ではく、HP1＜HP2ならばROI2とする。

第８図の場合には、他のROIとの境界が明確でなく、
人間はROI全体の形状、および他の情報からROIの境界を
判断している。したがって、隣接画素の値だけでは人間
でも境界を判定できない。この場合は、その境界以外の
部分をこの発明により実施し、操作者がマウスなどで、
その境界の部分を指定（修正）できる機能を付加すれ
ば、この発明を実施できる。

次に、ROIは３次元の塊であるので、１枚の画像でROI
を求め、次に連続したスライスで連続したROIを求める
場合には、初期学習データの設定を省略し、前回学習し
たネットワークをそのまま使用してROIをもとめ、その
後に修正していく方が効率的である。CT画像、MRI画像
で心臓等の動きを動画として表示することができる。上
の場合は、スライス方向に異なる位置の画像のROIを求
める場合であったが、動画の場合は同一のスライス位置
で時間の異なる画像である。この場合も上と全く同様の
方法により実施できる。さらに、同一画像の中に同種類
のROIが複数存在する場合もある。この場合も上の変形
例を適用できる。

前項までは領域内に含まれる全画素を抽出する場合に
ついて説明したが、領域の輪郭だけを抽出する場合にも
応用可能である。

第24図に示すようにROIの種類によってはROI内／外の
画素値が似ており、境界（エッジ）のみが、異なった画
素値を持っている場合もある。このような場合にはROI
内／外の画素値を学習してもROI内／外を判定すること
はできない。この場合には、実施例におけるROI内の学
習データの代わりに境界（エッジ）のデータを、ROI外
の学習データの代わりに境界（エッジ）以外のデータを
学習すれば良い。そして、探索は次にように行なう。

１）境界（エッジ）のデータを学習する。

２）境界（エッジ）以外のデータを学習する。

３）中心画素ACから一定方向に領域の境界を探す。境界
の判定にこの発明の方式を適用する。

４）公知の技術により領域の境界に沿って輪郭を抽出す
る。この場合の境界の判定にこの発明の方式を適用す
る。

さらに、この発明の方式はボクセルで構成されている
３次元画像の場合にも適用できる。ただし、その場合に
は探索方向が３次元になる。

実施例ではニューラルネットワークは３層であるが、
４層以上でもよい。

実施例ではニューラルネットワークへの入力は９個の
画素値としているが、隣接画素の画素値の変わりに、隣
接画素と中心の画素の画素値の差を入力としてもよい。
また、入力層の素子数を画素数よりも多くして、画素値
と合わせて隣接画素間の差分値も入力としてもよい。ま
た、差分の変わりに２次差分を用いてもよい。また、そ
れらのすべてを入力にしてもよい。

［発明の効果］以上説明したように、この発明によれば、画像から任
意の形状の関心領域を精度よく、しかも簡単に抽出でき
る画像処理装置及び画像処理方法を提供することができ
る。

【図面の簡単な説明】

第１図はこの発明による画像処理装置の実施例のブロッ
ク図、第２図は画像の一例を示す図、第３図は第２図の
画素値のプロフィール、第４図乃至第８図は画像の他の
例を示す図、第９図は実施例で定義される隣接画素を示
す図、第10図は実施例の全体の動作を示す図、第１図乃
至第23図は第10図の各処理の詳細を示す図、第24図は変
形例を説明する図である。 10…画像記憶装置、12…制御部、14…ニューラルネット
ワーク、16…画像表示装置、18…マウス。

Claims

(57)【特許請求の範囲】

【請求項１】ニューラルネットワークを利用して画像を
少なくとも関心領域とそれ以外の領域に区分する画像処
理装置において、前記関心領域の概略を示す領域を関心領域の候補領域と
して指定するための第１入力手段と、前記候補領域と前記関心領域との間の領域の少なくとも
一画素を学習領域として指定するための第２入力手段
と、前記学習領域に含まれる画素の画素情報と、該画素の周
辺画素の画素情報とに基づいて、上記ニューラルネット
ワークの学習データを作成する手段と、前記学習データに基づいて上記ニューラルネットワーク
を学習させる手段と、前記関心領域と前記候補領域との間の領域に含まれる画
素の画素情報と、該画素の周辺画素の画素情報とを上記
学習済みのニューラルネットワークへ入力し、ニューラ
ルネットワークの出力と予め決められた値とを比較し、
前記比較の結果に基づいて前記関心領域と前記候補領域
との間の領域に含まれる画素が前記関心領域に含まれる
か否かを判断する手段と、前記候補領域に前記判断手段により前記関心領域に含ま
れると判断された画素を含めることにより前記候補領域
を更新する手段と、を具備する画像処理装置。
【請求項２】前記更新後の候補領域が関心領域として適
当でない場合、前記更新後の候補領域と前記関心領域と
の間の領域の少なくとも一画素を学習領域として指定す
るための第３入力手段をさらに具備し、前記作成手段、
前記学習手段、前記判断手段、前記更新手段を再び動作
させることを特徴とする請求項１記載の画像処理装置。
【請求項３】ニューラルネットワークを利用して画像の
関心領域を示すROIを設定する画像処理方法において、関心領域の内部に矩形の第１のROIを設定し、関心領域の外部に矩形の第２のROIを設定し、関心領域に含まれるが、第１のROIには含まれない矩形
の第３のROIを設定し、第３のROI内の画素の画素情報と、該画素の周辺画素の
画素情報とに基づいて、上記ニューラルネットワークを
学習させ、前記第１のROIと第２のROIとの間の領域に含まれる画素
の画素情報と、該画素の周辺画素の画素情報とを上記学
習済みのニューラルネットワークへ入力し、ニューラル
ネットワークの出力と予め決められた値とを比較し、前
記比較の結果に基づいて前記第１のROIと第２のROIとの
間に領域に含まれる画素が前記関心領域に含まれるか否
かを判断し、前記関心領域に含まれると判断された画素と前記第１の
ROI内の画素とに基づいてROI候補を設定する画像処理方
法。
【請求項４】観察者により前記ROI候補が関心領域と一
致していないと判断された場合は、前記関心領域に含ま
れるが、前記ROI候補には含まれない第３のROIを再設定
し、前記ニューラルネットワークの学習からROI候補の
設定までを再度実行することを特徴とする請求項３記載
の画像処理方法。