JPH0452873A

JPH0452873A - 画像処理装置及び画像処理方法

Info

Publication number: JPH0452873A
Application number: JP2155506A
Authority: JP
Inventors: Akinami Ohashi; 大橋　昭南
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-06-15
Filing date: 1990-06-15
Publication date: 1992-02-20
Anticipated expiration: 2015-05-29
Also published as: JP3046326B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、画像、例えばＭＲｒ画像、ＣＴ両画像の医用
画像を少なくとも２つの領域に区分する画像処理装置に
関し、特に、操作者との対話により、所望の領域に関す
る情報をニューラルネットワークに学習させ、そのニュ
ーラルネットワークを利用して画像から所望の関心領域
を半自動的に抽出する画像処理装置に関する。

（従来の技術）従来、画像全体から所望の関心領域（以下、ＲＯＩ　（
Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）と称する）、
を抽出する装置としては、手動で行なう装置と、自動的
に行なう装置とがある０手動で行なうものとしては、（
ｌａ）矩形、円などの定形のＲＯｉカーソルをマウス等
で移動、拡大してＲＯＩを指定する装置と、（１ｂ）任
意のＲＯＩをマウス等で作画する装置がある。自動的に
行なうものとしては、（２ａ）画像データに二次元フィ
ルタ（二次微分等）をかけてエツジを検出する装置（Ｍ
ｅｄｉｃａｌ　Ｉｍａｇｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ
１９８９、　Ｖｏｌ、　７．　Ｐ５５：　　ｒＭＲＩか
らの頭部浮腫画像の■フィルタによる鮮美鋭化」）と、
（２ｂ）閾値（スレッシュホルド）によりＲＯＩの内外
を区別する装置がある。

従来装置（ｌａ）は簡単な操作でＲＯＩが指定でき、統
計量などを求める場合によく使用される。しかし、カー
ソルが定形であるので腫瘍、臓器など任意の形状のＲＯ
Ｉを指定することはできない、従来装置（ｌｂ）では操
作が非常に煩わしい。従来装置（２ａ）はフィルタが対
象にマツチすれば、正確にエツジが検出できるが、フィ
ルタの選択が難しい。

フィルタがマツチしない場合は、エツジの検出能力がか
なり低くなる。対象によりフィルタが異なるので、−船
釣な多くの画像を対象に出来ない。

そのため、研究的、あるいは特定の画像を対象にするた
めには有効であるが、実用上、使用できる範囲が狭い、
従来装置（２ｂ）は単純な方法であり、実用上はよく使
用されている。この方法は簡単であるが、閾値だけで区
分しているので、人間が画像を見て定めた境界と必ずし
も一致しない。

（発明が解決しようとする課題）したがってこの発明の目的は、画像から任意の形状の関
心領域を精度よく、しかも簡単に抽出できる画像処理装
置を提供することである。

［発明の構成］（課題を解決するための手段）この発明による画像処理装置は、少なくとも２種類の領
域の中の指定された区分の領域内の一部の画素の情報を
学習する手段と、この学習結果を用いて、画像の画素が
これらの少なくとも２種類の領域のいずれに属するかを
判断する手段とを具備する。

（作用）この発明によれば、目的とするＲＯＩの特徴を学習し、
この学習結果を利用してＲＯＩの候補を求め、表示され
たＲＯＩ候補と目的ＲＯＩとのずれを操作者が学習手段
へフィードバックさせ再度学習をさせることにより、画
像から所望のＲＯＩを半自動的に抽出することができる
。このため、精度の良い任意形状のＲＯＩの作成が容易
になる。

（実施例）以下図面を参照してこの発明による画像処理装置の実施
例を説明する。第１図は実施例の構成を示すブロック図
である。ＭＲＩ画像、ＸｉＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔ
ｏｍｏｇｒａｐｈｙ）画＠％ＣＲ（Ｃｏｍｐｕｔｅｄ　
Ｒａｄｉｏｌｏｇｙ）画像等の画像、あるいはＸ線写真
等をディジタイザ等で読み込んだ画像等が画像記憶装置
１０に格納されている。ＣＰＵ等からなる制御部１２が
画像記憶装置１０、ニューラルネットワーク１４、画像
表示装置１６に接続され、画像表示装置１６には位置指
定装置としてのマウス１８が接続される。

第２図に画像の一例としてのＸｌｌ１ＩＣＴにより得ら
れた頭部のアキシャル（Ａｘｉａｌ）画像を模式的に示
す。周囲の二重の楕円は骨であり、中の楕円は腫瘍を表
している。第３図は、第２図に示した画像の横方向にお
ける画素値のプロフィールである。

縦軸は画素値、横軸は画素の位置を示す。腫瘍がある領
域の画素値は周囲の画素値に比較して高い。

第３図から明らかなように、骨のように周囲との画素値
の差が太きいものは、領域の抽出が比較的容易であり、
自動抽出も可能である。しかし、腫瘍のような場合には
、境界が明瞭でなく、自動抽出はかなり困難である。そ
のため、現状では操作者がマウスなどを利用して、手動
で描くことが多い、このため、３次元表示等の場合は、
多数枚の画像についてＲＯＩを描くことが必要があり、
作業量が多くなる。ＲＯＩは画像の種類により異なるの
で、種々のＲＯＩを自動で抽出することは困難であるが
、各ＲＯＩの特色はそれなりに纏まりがある。　したが
って、求めようとするＲＯＩ　　（以下、目的ＲＯＩと
称する）の一部が判れば残りの領域を自動的に求めるこ
とも可能である。この発明では、操作者が指定した目的
ＲＯＩの一部をニューラルネットワークで学習し、それ
に基づいて目的ＲＯＩの全体を求めるものである。その
際、１回の学習で目的ＲＯＩの全体が求められない場合
は、同様の操作、学習を繰り返すことにより、ＲＯＩの
候補を順次目的Ｒ○■に近づけることが可能である。

この発明により抽出できるＲＯＩの典型的な例は、第２
図の画像中の腫瘍のような閉ループ領域であり、その閉
ループ内に他のＲＯＩを含まない場合である。しかし、
この発明では、このようなＲＯＩ以外の以下に示すよう
なＲＯＩも求めることができる。第４図は第２図を拡大
した例であり、ＲＯＩ（腫瘍）が画像のフレームからは
み出している。第５図は血管の画像であり、ＲＯＩ（血
管）の両端が画像のフレームからはみ出している。第６
図は１つのＲＯＩＩ中に他のＲＯＩ２が更に存在する。

第７図は１つのＲｏｌｌが他のＲＯＩ２に接している例
である。第８図は１つのＲＯＩＩと他のＲＯＩ２との境
界が明確でない例である。

この場合、ＲＯＩ１のＲＯＩ２と接している部分以外の
情報を学習してもＲＯＩ２との境界を判定することは困
難である。逆に、ＲＯＩＩのＲＯＩ２との境界部分の情
報を学習すると、残りの部分が判定できなくなる。しか
し、これらの領域についてもこの発明を応用することが
可能である。第４図から第８図の例については、後に変
形例として説明する。

また、ＲＯＩのプロフィールは第３図に示すような凸型
のみではなく、凹型でもよい、また、凸型の場合、ＲＯ
Ｉの境界付近でオーバシュドが生じ、境界付近の画素値
がＲＯＩ外の画素値より大幅に低い画素が存在する場合
もある。逆に、凹型の場合、ＲＯＩの境界付近でオーバ
シュドが生じ、境界付近の画素値がＲＯＩ外の画素値よ
り大幅に高い画素が存在する場合もある。これらについ
ても、後に変形例として説明する。

さらに、画像にノイズが多く、この発明を直接実施出来
ない場合もあるが、それについても、後に変形例として
説明する。

ここでは説明を簡単にするために、第２図に示すように
、ＲＯＩは閉ループ領域であり、そのなかに他のＲＯＩ
を含まないとする。また、画像にノイズは少ないとする
。

先ず、以下の説明に使用する言葉の定義をしてお　く。

ある画素ｍの隣接画素ｍｎを第９図に示すように定義す
る。また、隣接画像ｍｎ　（ｎ＝１〜４）を４−隣接画
素、ｎ＝１〜８を８−隣接画素、ｎ＝１〜２５を２５−
隣接画素と称する。画像の座標は横軸をＸ、縦軸をＹ、
左上の角の画素の座標を（ｌ、　１）、画像の右方向を
＋Ｘ、下方向を＋Ｙと定める。

以下、第１０図を参照して二の実施例の概略動作を説明
する。ステップ＃１０００で制御部１２は画像記憶装置
ｌＯに記憶された画像のうち、指定された１枚の画像を
画像表示装置１６に表示する。ステップ＃２０００で所
定のテーブル、画像、ポインタ等を初期化する。初期化
するものは後に示す。ステップ＃３０００で目的ＲＯＩ
の概略を示すＲＯＩの初期候補（領域）を設定する。

ステップ＃４０００でニューラルネットワークへ学習さ
せる学習領域を指定（追加）、登録する。

学習領域は目的ＲＯＩの内部領域、外部領域の２種類で
ある。初期状態の場合は、必ず両方を指定する必要があ
るが、　２回目からは、表示されたＲＯＩの候補と操作
者が認識した目的ＲＯＩとがずれている部分を学習領域
として指定する。これには候補ＲＯＩの内部が目的Ｒ○
■の外部である場合と、候補ＲＯＩの外部が目的ＲＯＩ
の内部である場合の２種類がある。ステップ＃５０００
で学習データを作成する。ステップ＃６０００でニュー
ラルネットワーク１４を用いて登録された学習領域の情
報を学習する。ステップ＃７０００で目的ＲＯＩの候補
を求め、これを表示する。

ステップ＃８０００で表示された候補Ｒ○■が目的ＲＯ
Ｉとして適当かを操作者が判定する。適当でなく候補Ｒ
ＯＩの修正の必要がある場合は、ステップ＃４０００に
戻り、学習領域を追加修正する。修正の必要がない場合
はそれが目的Ｒ○■になるので、動作は終了する。

以下、各ステップの詳細を説明する。先ず、ステップ＃
３０００の目的Ｒ○■の初期領域の設定、表示について
第１１図、第１２図を参照して説明する。ステップ＃３
１００で目的ＲＯＩの概略の中心位置の画素ＡＣ（ＡＣ
ｘ、ＡＣｙ）をマウス１８で指定し、表示確認する。必
要なら訂正する。

ステップ＃３２００で画素ＡＣを含み、目的ＲＯ■の内
部に完全に含まれ、かつ出来るだけ大きい第１の矩形Ｒ
○Ｉｌｌを設定する。ステップ＃３３００で矩形ＲＯＩ
ＩＩの内部を指定領域として登録する。　具体的には、
　１枚の画像に対応する第１の３値画像（初期値は全て
”　ｏ　”　＞の画素のうち、矩形ＲＯＩＩＩの内部に
相当する全ての画素を“１”にする、ステップ＃３４０
０で目的ＲＯ■を完全に含み、かつ出来るだけ小さい第
２の矩形ＲＯ１１２を設定する。ステップ＃３５００で
矩形ＲＯ１１２の外部を領域外として第１の３値画像に
登録する。すなわち、第１の３値画像の画素のうち、矩
形ＲＯ１１２の外部に相当する全ての画素を”　−１”
にする。

ステップ＃３６００で第２の矩形Ｒ○１１２の左上の角
の画素の座標を（ＲＩ２ＮＸ、ＲＩ２ＮＹ）、右下の角
の画素の座標を（ＲＩ２ＭＸ、ＲＩ　２ＮＹ）とする、
ここで、目的ＲＯＩの探索範囲を座標（ＲＬＴＮＸ、Ｒ
ＬＴＮＹ）、　　（ＲＬＴＭＸ、ＲＬＴＭＹ）で囲まれ
た矩形領域であるとする。すなわち、この場合は、ＲＬ
ＴＮＸ＝Ｒｌ２ＮＸ、ＲＬＴＮＹ＝ＲＩ２ＮＹ、ＲＬＴ
ＭＸ＝ＲＩ２ＭＸ、ＲＬＴＭＹ＝ＲＩ２ＭＹとする。ス
テップ＃３７００で第１の３値画像を第２の３値画像に
写す。第１の３値画像は変化しない。ステップ＃３８０
０で第２の３値画像において、画素ＡＣを中心として、
画素値が１である連続する領域の境界を求める。これは
公知の技術である。この場合、境界は第１の矩形ＲＯＩ
ＩＩと同じになる。ステップ＃３９００で境界（矩形Ｒ
Ｏ１１１）を目的ＲＯＩの初期候補として表示する。

次に、ステップ＃４０００の学習領域の指定、登録につ
いて第１２図、第１３図を参照して説明する。ステップ
＃４１００で操作者は表示されているＲＯＩの候補（初
期の場合は第１の矩形ＲＯＩｌｌ）を見ながら、目的Ｒ
ＯＩとずれている部分を学習領域として指定する。この
場合、ずれている部分の全てを指定する必要はなく、ず
れの大きい部分だけを指定すればよい、この指定は第３
の矩形Ｒ○■１３（第１２図）を学習領域に設定するこ
とにより行うが、矩形ＲＯ１１３の大きさは任意に設定
でき、最小は１画素である。したがって、　１点（画素
）でも学習可能である。矩形Ｒ○１１３の画素数をＳＲ
Ｎとする。ステップ＃４２００で矩形ＲＯ１１３の内部
の画素が目的ＲＯＩの内部／外部のどちらに所属するか
を指定する。

これを内部／外部所属と称する。内部所属の場合はステ
ップ＃４３００を実行し、外部所属の場合はステップ＃
４５００を実行する。

ステップ＃４３００では矩形ＲＯＩＩ３の内部の画素を
、指定領域として登録する。すなわち第１の３値画像の
画素のうち、矩形ＲＯ１１３の内部に相当する全ての画
素をＬＬ　Ｉ　Ｉ＋にする６　ステップ＃４４００で矩
形ＲＯ１１３の左上の角の画素の座標を（ＲＩ　２ＮＸ
、　　ＲＩ　２ＮＹ）、右下の角の画素の座標を（ＲＩ
　２ＭＸ、　　ＲＩ　２ＮＹ）とし、Ｒ○１１３が探索
領域よりはみ出している場合は、ＲＯＩの探索領域を再
設定する。すなわち、１）ＲＩ　２　ＮＸ＜ＲＬ　ＴＮ
ＸならばＲＬＴＮＸ＝ＲＩ　　２ＮＸと　し、２）ＲＩ　２ＮＹ＜ＲＬＴＮＹならばＲＬＴＮＹ＝ＲＩ　　２ＮＹ　と　し、３）ＲＬＴＭＸ
＜ＲＩ　２ＭＸならばＲＬＴＭＸ＝ＲＩ　　２ＭＸ　と　し、４）ＲＬＴＭＹ
＜ＲＩ　２ＮＹならばＲＬＴＭＹ＝ＲＩ　２ＮＹとする。

なお、条件に合致しない場合は、変更しない。

外部所属の場合は、ステップ＃４５００で矩形ＲＯＩ１
３の内部の画素を、領域外として登録する。すなわち第
１の３値画像の画素のうち、矩形ＲＯ１１３の内部に相
当する全ての画素を−１″にする。

ステップ＃４６００で矩形ＲＯ１１３の内部の画素を内
部／外部学習領域データとして登録する。

ステップ＃４７００で他にも学習領域を指定する必要が
あるか否か判定する。まだ、学習領域が残っている場合
は、ステップ＃４１００に戻る。初期の場合は内部、外
部の両方の学習領域を指定する必要があるので、２回以
上はこの処理が繰り返される。全部の学習領域を指定し
たら、処理が終了する。

次に、ステップ＃４６００の学習領域データの登録につ
いて第１４１１を参照して説明する。ここで、学習領域
データは内部／外部それぞれ別々に登録される。それぞ
れに登録できる最大数をＬＤＭＸとする。現在登録され
ている学習領域データ数を、内部／外部それぞれＬＤＮ
Ｉ、ＬＤＮ２　（初期値はともにＯ）とする、学習領域
データを登録するテーブルをＬＤＴ　１、　ＬＤＴ２と
する。以下、内部所属の学習領域データを登録する場合
について説明し、外部所属の場合は（・・・）内に示す
。

ステップ＃４６１０で指定された領域のデータ数ＳＲＮ
が登録できるか否かを調べる。既に、多くのデータが登
録されており、今回指定された領域のデータが登録でき
ない場合は、登録されているデータの一部を消去し、登
録メモリの記憶領域を確保する。この場合、登録時期の
早いデータから消去していく。ステップ＃４６２０でレ
ジスタＣ０ＵＮＴに１をセットする。ステップ＃４６３
０でレジスタＷＰＴ　１にＬＤＮｌ＋１　　（ＬＤＮＺ
＋１）をセットする。ステップ＃４６４０で指定された
領域の第Ｃ０ＵＮＴ番目の画素の座標（ＰＸ　Ｘ、　　
Ｐ　Ｘ　Ｙ　）を取り出し、学習領域用の第３の３値画
像の画素（Ｐ　Ｘ　Ｘ、　　Ｐ　Ｙ　Ｙ　）の画素値を
読み取る。この画素値がｒＬ　ＯＩＩであれば、ステッ
プ１４、６６０を実行する６　画素値が”１”（”−１
″）であればステップ１４．６９０を実行する。画素値
が“−１”（’“１″）であればステップ＃４６５０を
実行する。

ステップ＃４６５０でＬＤＴ２　（ＬＤＴＩ）の画素（
Ｐ　Ｘ　Ｘ、　　Ｐ　Ｘ　Ｙ　）のデータを消去する。

ステップ＃４６６０で指定された領域の第Ｃ０ＵＮＴ番
目の画素の座標（Ｐ　Ｘ　Ｘ、　　Ｐ　Ｘ　Ｙ　）とそ
の画素値、およびその８−隣接画素の画素値を取り出し
、ＬＤＴＩ、（ＬＤＴ２）の第ＷＰＴ　１番目の記憶位
置に記憶する。ステップ＃４６７０で第３の３値画像の
画素（Ｐ　Ｘ　Ｘ、　　Ｐ　Ｘ　Ｙ　）をＩＩ　Ｉ　Ｉ
Ｉ　　（ｌｌ−１”）　とする。ステップ＃４６８０で
レジスタＬＤＮＩ　　（ＬＤＮ２）の値をインクリメン
トする。

ステップ＃４６９０でレジスタＣ０ＵＮＴ、レジスタＷ
　Ｐ　７．１の値をインクリメントする。ステップ＃　
４．６　Ａ　ＯでＣ０ＵＮＴ≦ＳＲＮか否か判定する。

イエスの場合は、ステップ＃４６４０に戻る。

ノーの場合は、処理を終了する。

次に、ステップ＃４６１０の登録メモリの確保について
第１５図を参照して説明する。ステップ＃４６１１でレ
ジスタＬＤＮＷにＬＤＮ１＋ＳＲＮ　（ＬＤＮ２＋５Ｒ
Ｎ）をセットする。ステップ＃４６１２でＬＤＮＷ＞Ｌ
ＤＭＸか否か判定する。

ノーであれば、処理を終了する。イエスの場合は、ステ
ップ＃４６１３を実行する。ステップ＃４６１３でレジ
スタＷＰＴ　２＋＝ＬＤＮＷ−ＬＤＭＸ＋１をセットす
る。ステップ＃４６１４でレジスタＷＰＴＩに１をセッ
トする。

ステップ＃４６１５でテーブルＬＤＴＩ　　（ＬＤＴ２
）の第ＷＰＴ１番目のデータの画素の座標（Ｐ　Ｘ　Ｘ
、　　Ｐ　Ｘ　Ｙ　）を取り出す。学習領域用の第３の
３値画像の画素（ＰＸＸ、ＰＸＹ）　を”Ｏ”　とする
、ステップ＃４６１６でテーブルＬＤＴＩ　　（ＬＤＴ
２）の第ＷＰＴ２番目のデータをテーブルＬＤＴＩ　　
（ＬＤＴ２）の第ＷＰＴ　１番目の記憶位置に移動する
。ステップ＃４６１７でレジスタＷＰＴＩ、　レジスタ
ＷＰＴ２の値をインクリメントスル、ステップ＃４６１
８でＷＰＴ２＞ＬＤＭＸか否か判定する。ノーの場合は
、ステップ＃４６１５に戻る。イエスの場合は、ステッ
プ＃４６１９”？”レジスタＬＤＮ１　　（ＬＤＮ２）
Ｇ：ＬＤＭＸ−８ＲＮをセットし、処理を終了する。

次ニ、ステップ＃４６５０ノ（ＰＸＸ、　　ＰＹＹ）画
素のデータの削除について第１６図を参照して説明する
。ステップ＃４６５１でレジスタＷ−ＰＴ３に１をセッ
トする。ステップ＃４６５２でテーブルＬＤＴ２　（Ｌ
ＤＴＩ）の第ＷＰＴ３番目のデータノ画素の座標（ＰＸ
ＸＷ、ＰＸＹＷ）　を取り出す。ステップ＃４６５　：
３Ｃ−ＰＸＸＷ＝ＰＸＸ、かつＰＸＹＷ＝ＰＸＹか否か
判定する。イエスの場合は、ステップ＃４６５６を実行
し、ノーの場合は、ステップ＃４６５４を実行する。ス
テップ＃４６５４でレジスタＷＰＴ３の値をインクリメ
ントする。ステップ＃４６５５でＷＰＴ３≦ＬＤＮ２　
（ＬＤＮＩ）か否か判定する。イエスの場合は、ステッ
プ＃４６５２に戻り、ノーの場合はシステムエラーとす
る。

ステップ＃４６５６で学習領域用の第３の３値画像ノ画
素（ＰＸＸ、ＰＸＹ）　を”Ｏ”　とする。

ステップ＃４６５７でレジスタＷＰＴ４にＷＰＴ３＋１
をセットする。ステップ＃４６５８でテーブルＬＤＴ２
　（ＬＤＴＩ）の第ＷＰＴ４番目のデ−夕をテーブルＬ
ＤＴ２　（ＬＤＴＩ）の第ＷＰＴ３番目の記憶位置に移
動する。ステップ＃４６５９でレジスタＷＰＴ３、　レ
ジスタＷＰＴ４の値をインクリメントする。ステップ＃
４６５ＡでＷＰＴ４≦ＬＤＮ２　（ＬＤＮＩ）か否か判
定する。イエスの場合は、ステップ＃４６５８に戻る。

ノーの場合は、ステップ＃４６５ＢでレジスタＬＤＮ２
　（ＬＤＮＩ）の値をディクリメントして、処理を終了
する。

次に、ステップ＃５０００の学習データの作成について
詳細に説明する。学習の方式は１）マシンラーニングに
よる方式、２）ニューラルネットワークによる方式など
がある。この発明は学習方式には限定されないが、ここ
ではニューラルネットワークによる方式について説明す
る。ニューラルネットワーク１４の概略を第１７図に示
す。ニューラルネットワークの構成はこの実施例に限定
されないが、ここでは、ニューラルネットワークは３層
からなる階層型とし、各素子の変換関数はシグモイド関
数を使用している。入力層１４ａは９個の素子で構成さ
れている。各素子はそれぞれ、対象画素とその８−隣接
画素に対応しており、素子への入力値はそれぞれの画素
値である。この場合、画素値は変形例で説明したように
Ｏ〜１に正規化される場合が多いが、ここでは説明を簡
単にするために、画素値がそのまま入力されるものとす
る。

中間層１４ｂの素子数は経験的に決定するが、ここでは
５０個にしている。出力層１４ｃの素子数は１個である
。素子の活性度（出力）が１に近い値の場合はその画素
が領域内の画素であることを示す、Ｏに近い値の場合は
、その画素がその領域内の画素でないことを示している
。

ニューラルネットワークの学習を行うためには、最初に
学習データを作成する必要がある。　１個の学習データ
は入力素子（この場合は９個）への入力データと、出力
素子（この場合は１個）に正しい答えを教えるための教
師データから構成される。

第１表に学習データの一覧表を示す、学習データは学習
領域データより作成する。

第１表第１８図を参照してステップ＃５０００の学習データの
作成について説明する。ステップ＃５１００で内部／外
部の学習領域データＬＤＴ　１、ＬＤＴ２の個数を揃え
る。この個数をＬＤＮＸとする。ステツー１７’＃５２
００でレジスタｐｐ、ｑｑに１をセットする。ステップ
＃５３００でテーブルＬＤＴ　１の第ｑｑ番目の画素の
画素値を、学習データの第ｐｐ番目の素子１の入力デー
タとして設定する。ステップ＃５４００でこの画素の８
−隣接画素の画素値８個を、学習データの第ｐｐ番目の
素子２〜素子９の入力データとして設定する。

ステップ＃５５００で学習データの第ｐｐ番目の教師デ
ータとして１　（領域内）を設定する。ステップ＃５６
００でレジスタｐｐの値をインクリメントする。ステッ
プ＃５７００でテーブルＬＤＴ２の第ｑｑ番目の画素の
画素値を、学習データの第ｐｐ番目の素子ｌの入力デー
タとして設定する。

ステップ＃５８００でこの画素の８−隣接画素の画素値
８個を、学習データの第ｐｐ番目の素子２〜素子９の入
力データとして設定する。ステップ＃５９００で学習デ
ータの第ｐｐ番目の教師データとしてＯ（領域外）を設
定する。ステップ＃５９ＡＯでレジスタｐｐ、ｑｑの値
をインクリメントする。ステップ＃５９ＢＯでｑｑ≦Ｌ
ＤＮＸか否か判定する。イエスであれば、ステップ＃５
３００に戻る。ノーであれば、処理を終了する。

次に、ステップ＃５１００のデータ数を揃える処理につ
いて第１９図を参照して説明する。ステップ＃５１１０
でレジスタＬＤＮＸにＬＤＮＩ。

ＬＤＮ２の最大値ｍａｘ　（ＬＤＮＩ、ＬＤＮ２）をセ
ットする。ステップ＃５１２０でＬＤＮＩとＬＤＮ２を
較べる。ＬＤＮ１＝ＬＤＮ２の場合は、処理を終了する
。ＬＤＮＩ＞ＬＤＮ２ならば、ステップ＃５１７０を実
行する。ＬＤＮＩ＜ＬＤＮ２ならば、ステップ＃５１３
０でレジスタｒｒにＬＤＮＩ−（ＬＤＮ２−ＬＤＮＩ）
＋１をセットしくもしｒｒ≦０ならば、　ｒｒ＝１にす
る）、　レジスタｑｑにＬＤＮｌ＋１をセットする。ス
テップ＃５１４０でテーブルＬＤＴＩの第ｒｒ番目のデ
ータ（９個）をテーブルＬＤＴＩの第ｑｑ番目のデータ
記憶位置に複写する。ステップ＃５１５０でレジスタｒ
ｒ、　ｑｑの値をインクリメントする。ステップ＃５１
６０でｑｑ≦ＬＤＮ２か否か判定する。イエスの場合は
、ステップ＃５１４０に戻る。ノーの場合は、処理を終
了する。

ステップ＃５１７０でレジスタｒｒにＬＤＮ２（ＬＤＮ
Ｉ−ＬＤＮ２）＋１をセットしくもしｒｒ≦０ならば、
　ｒ　ｒ＝１にする）、レジスタｑｑにＬＤＮ２＋１を
セットする。ステップ＃５１８０でテーブルＬＤＴ２の
第ｒｒ番目のデータ（９個）をテーブルＬＤＴ２の第ｑ
ｑ番目のデータ記憶位置に複写する。ステップ＃５１９
０でレジスタｒｒ、ｑｑの値をインクリメントする。ス
テップ＃５１ＡＯでｑｑ≦ＬＤＮＩか否か判定する。

イエスの場合は、ステップ＃５１８０に戻る。ノーの場
合は、処理を終了する。

学習データを作成したら、次にニューラルネットワーク
の学習を行う。学習方式は実施例に限定されないが、こ
こではＲｕｍｅｌｈａｒｔの提唱したバックプロパゲー
ション法により学習を行う。バックプロパゲーション法
は公知であるので説明は省略する。学習は、学習データ
を与えたときの出力データと教師データとの誤差があら
かじめ決められた値（ＥＬＭＴ）以下になるか、あるい
はあらかじめ決められた学習回数（ＬＣＬＭＴ）に達す
るまで、学習データを繰り返し与える。実施例は全学習
データを均一に学習する方式であるが、誤差の多い学習
データを優先的に学習するなど、学習順序、学習データ
ごとの学習回数は均一でなくてもよい。

ステップ＃６０００のニューラルネットワークの学習に
ついて第２０図を参照して説明する。ステップ＃６１０
０でり、ジスタｐｐＧ：ＬＤＮＸ＋ＬＤＮＸをセットす
る。ステップ＃６２００でレジスタＳＳに１をセットす
る。ステップ１６３．００でレジスタｑｑに１をセット
し、レジスタＥＲＭＡＸにＯをセットする。ステップ＃
６４００で第ｑｑ番目の学習データの入力値（画素値）
を入力層の９個の素子に、教師データを出力素子に与え
てニューラルネットワークの学習を行う、学習方式はバ
ックプロパゲーション法を用いているが、バックプロパ
ゲーション法に限定されない。これを１回の学習という
。このときの出力層の誤差をＥＲｌとする。ステップ＃
６５００でＥＲＭＡＸ≦Ｅ　Ｒｌ　ｆｔらばＥＲＭＡＸ
＝ＥＲ１とする。ステップ＃６６００でレジスタｑｑ＋
ｓｓの値をインクリメントする。ステップ＃６７００で
ＬＣＬＭＴ（ｓｓか否か判定する。イエスならば、処理
を終了する。ノーの場合は、ステップ＃６８００でｑｑ
≦ｐｐか否か判定する。イエスの場合は、ステップ＃６
４００に戻る。ノーの場合（ｐｐ＜４ｑ）は、全学習デ
ータを学習したことになる。これを１サイクルの学習と
いう。　ｌサイクルの最大誤差がＥＲＭＡＸである。そ
して、ステップ＃６９００でＥＬＭＴ＜ＥＲＭＡＸか否
か判定する。

イエスならば、ステップ＃６３００に戻る。ノーならば
、処理を終了する。

次に、ステップ＃７０００の目的ＲＯ−Ｉ候補の探索に
ついて説明する。探索方式は実施例に限定されないが、
ここでは２種類の方式について説明する。

第１の方式について第２１図を参照して説明する。ステ
ップ＃７１００で第１の３値画像を第２の３値画像に複
写する。ステップ＃７２００でレジスタｐｐｙにＲＬＴ
ＮＹをセットする。ステップ＃７３００でレジスタＩ）
ｐｘにＲＬＴＮＸをセットする。ステップ＃７４００で
第２の３値画像の画素（ｐｐｘ、ｐｐｙ）の画素値がＩ
Ｉ　ＯＩＩか否か判定する。　０″′でなければ、ステ
ップ＃７７００を実行する。　“０′″の場合は、ステ
ップ＃７５００で画素（ｐｐｘ、ｐｐｙ）について、領
域の内外を判定する。これは、画素（ｐｐｘ、ｐｐｙ）
、およびその８−隣接画素の計９個の画素の画素値をニ
ューラルネットワーク１４に入力する。

入力に関してはニューラルネットワークを学習させる場
合と同様である。ニューラルネットワークの入力項目は
実施例では９個の画素値であるが、これに限定されない
。

ステップ＃７６００でニューラルネットワーク１４の出
力Ｈｐを得る。このＨｐに基づいて以下の処理を行なう
。

１）ＨＰ≧ｒｓならば、この画素は領域内であると判断
し、第２の３値画像の画素（ｐｐｘ、ｐｐｙ）の画素値
を１′”に変える。

２）ＨＰ＜ｒｓならば、この画素は領域外であると判断
し、第２の３値画像の画素（ｐｐｘ、ｐｐｙ）の画素値
を′−１′″に変える。ここで、　ｒｓは定数であり、
実施例ではｒｓ＝０．５としているが、これに限定され
ない、ステップ＃７７００でレジスタｐｐＸの値をイン
クリメントする。ステップ＃７８００でｐｐｘ≦ＲＬＴ
ＭＸか否か判定する。イエスならば、ステップ＃７４０
０に戻る。ノーならば、ステップ＃７９００でレジスタ
ｐｐｙの値をインクリメントする。ステップ＃７ＡＯＯ
でｐｐｙ≦ＲＬＴＭＹか否か判定する。イエスならば、
ステップ＃７３００に戻る。ノーならば、ステップ＃７
ＢＯＯで第２の３値画像において“１　”である画素の
領域を領域３とし、この領域３から必要に応じて、例え
ば下記のような公知の方法により目的ＲＯＩの候補を求
める。

■）領域３を、そのまま目的ＲＯＩの候補とする。

２）領域３から画素ＡＣを含む連続領域（閉ループ領域
）を求め、これをＲＯｒ４とする。ＲＯＩ４を目的ＲＣ
）Ｉの候補とする。

３）ＲＯＩ４のエツジをもとめ、それを滑らかにスムー
ジングし、その内部を目的ＲＯＩの候補とする。

４）この発明の方式でも、ＲＯＩ４のなかには″島″の
ように領域外の部分が残る場合がある。しかし、通常は
エツジに囲まれた領域全てがＲＯＩ内であることが多い
、そのため、ＲＯＩ４のエツジで囲まれた領域全てを目
的ＲＯＩの候補とする。

第２の方式について第２２図を参照して説明する。ステ
ップ３７ＣＯＯで第１の３値画像を第２の３値画像に複
写する。ステップ＃７ＤＯＯで第２の３値画像において
′ｌ″′である画素のうち、画素ＡＣを含む連続した閉
ループ領域を求める。

この方法は公知である。この閉ループ領域を領域２とす
る。領域２のエツジを求め、これをエツジ２とする。エ
ツジ２の画素数をＭＭとする。ステップ＃７ＥＯＯでエ
ツジ２の全画素の８−隣接画素について、領域の内外を
判定し、領域内であれば、第２の３値画像のその画素の
画素値をＩＩ　Ｉ　ＩＩに、領域外であればその画素値
を　−Ｉ　ＩＩに変更する。ステップ８７ＦＯＯで画素
値が″“１″に変更された画素があれば、ステップ＃７
ＤＯＯに戻る　ＩＩ　Ｉ　１１に変更された画素が１画
素もない場合は、ステップ８７ＧＯＯを実行する。ステ
ップ＃７ＧＯＯは第１の方式におけるステップ８７ＢＯ
Ｏと同一である。

次に、ステップ＃７ＥＯＯのエツジ画素の隣接画素の内
外の判定について第２３図を参照して説明する。ステッ
プ＃７Ｅ１０でレジスタｍに１をセットする。ステップ
＃７Ｅ２０でエツジ２の第ｍ番目の画素を取り出す。こ
れを画素ｍとする。

画素ｍのｎ番目の隣接画素を画素ｍｎとする。ステップ
＃７Ｅ３０でレジスタｎに１をセットする。

ステップ＄７Ｅ４０で第２の３値画像の画素ｍｎの画素
値が“０′″であるか否か判定する。ノーであれば、ス
テップ＃７Ｅ７０を実行する。イエスならば、ステップ
＃７Ｅ５０で画素ｍｎ、およびその８−隣接画素の計９
個の画素の画素値をニューラルネットワーク１４に入力
する。入力に関してはニューラルネットワークを学習さ
せる場合と同様である。

ステップ＃７Ｅ６０でニューラルネットワークの出力Ｈ
ｐを得る。このＨｐに応じて以下の処理を行なう。

１）ＨＰ≧ｒｓならば、画素ｍｎは領域内であると判断
し、第２の３値画像の画素ｍｎの画素値をＩ　１１に変
える。

２）ＨＰ＜ｒｓならば、画素ｍｎは領域外であると判断
し、第２の３値画像の画素ｍｎの画素値を一１″に変え
る。ここで、　ｒｓは定数であり、実施例ではｒｓ＝０
．５としているが、これに限定されない。ステップ＃７
Ｅ７０でレジスタｎの値をインクリメントする。ステッ
プ＃７Ｅ８０でｎ≦８で否か判定する。イエスの場合は
、ステップ＃７Ｅ４０に戻る。ノーの場合は、ステップ
＃７Ｅ９０でレジスタｍの値をインクリメントする。

ステップ＃７ＥＡＯでｍ５ＭＭか否か判定する。

イエスの場合は、ステップ＃７Ｅ２０に戻る。ノーの場
合は、処理を終了する。

最後に、第１０図に示すステップ＃１０００において初
期化する項目について説明する。（１）指定領域を示す
第１の３値画像の全画素を“′Ｏ″、すなわち指定され
ていない状態にする。（２）学習領域を示す第３の３値
画像の全画素をＩＩ　Ｏ１１、すなわち指定されていな
い状態にする。（３）現在登録されている学習領域デー
タ数ＬＤＮＩ、ＬＤＮ２に０をセットする。

以上説明したように、この実施例によれば、ニューラル
ネットワークを用いて目的とするＲＯＩの特徴を学習さ
せ、ニューラルネットワークによりＲＯＩの候補を求め
、表示されたＲ○■候補と目的ＲＯＩとのずれをニュー
ラルネットワークへフィードバックさせ再度学習をさせ
ることにより、画像から所望のＲＯＩを半自動的に抽出
することができる。このため、任意形状のＲＯＩの作成
が容易になるので、医用画像に応用した場合、　３次元
表示、手術計画などの操作性が向上する。

この発明は上述した実施例に限定されずに、種々変形可
能であり、以下に変形例を説明する。

実施例では学習方式はニューラルネットワークによる方
式を説明したが、マシンラーニングなどの方式であって
もよい。

実施例ではニューラルネットワークへの入力値を画素値
そ°のものとしているが、これを画像の表示ウィンド（
ウィンドウレベルおよびウィンドウ幅）で正規化しても
よい。すなわち、画素値をＸ、ウィンドウレベルをＷＬ
、ウィンドウ幅をＷＷ、ニューラルネットワークへの入
力値をＹとすると、１）（ＷＬ＋ＷＷ）／２≦Ｙの場合
は、Ｙ＝１とし、２）（ＷＬ−ＷＷ）／２≦Ｙ≦　（ＷＬ＋ＷＷ）／２の
場合は、Ｙ＝　（（Ｘ−ＷＬ）／ＷＷ）　＋１／２と　
し、３）Ｙ≦ＷＬ−ＷＷの場合は、Ｙ＝Ｏとする。これによ
り、画素値が表示の明るさに変換される。

ＲＯＩは操作者が自分が見ている画像において作成した
ものであるから、画素値そのものを学習するよりＲＯＩ
の明るさを学習する方がより適切である。

実施例ではニューラルネットワークへの入力項目を自分
自身とその８−隣接画素の画素値としているが、自分自
身とその４−隣接画素、あるいは２５−隣接画素の画素
値としてもよい。また、自分自身とその周辺の任意の画
素の画素値としてもよい。

実施例では領域２のエツジから８−隣接画素を探索して
いるが、探索範囲は４−隣接画素であってもよい。

また、画像のノイズの影響を避けるために、あらかじめ
画像に２次元フィルターを掛け、その後に学習、および
ＲＯＩを求めるようにしてもよい。

第４図に示すように、ＲＯＩの一部が画像からはみでて
いる場合には、画像の端をＲＯｒのエツジとして扱い、
その画像の端の部分を学習データには含めないようにす
れば、実施例と同様の方法によりこの発明を実施できる
。

第５図に示すように、血管がＲＯＩの場合は、ＲＯＩの
両側が同一の性質を有している場合は上下の端を除き実
施例の場合と同様に実施できる。

両側が異なる性質を有している場合は第６図と同様の方
法で実施できる。上下の端については第４図の場合と同
様の方法で実施できる。

第６図、第７図の場合は、ニューラルネットワークの出
力素子を２個にし、以下のように実施する。

１）ＲＯＩＩに関する学習データを作成する。この場合
、教師データは素子ｌを１″に、素子２を″０″にする
。

２）ＲＯＩ２に関する学習データを作成する。この場合
、教師データは素子１を′０″に、素子２を１１１１１
にする。

３）領域外に関する学習データを作成する。この場合、
教師データは素子１、素子２とも”　ｏ　”にする。

４）学習データ数は３種類のうち、最も多い数に揃える
。

５）データの順序は上記の１〜３の順に１個づつ設定す
る。

６）実施例と同様に学習を行う。

７）学習後のニューラルネットワークにより領域を決定
する。この場合の判定基準は以下のとおりである。素子
１、素子２の出力値をＨＰＩ、ＨＦ２とすると、ａ）ＨＰＩ＜ｒｓ、かツＨＰ　２　（ｒ　ｓならば、領
域外、ｂ）ａ）でなく、ＨＰＩ≧ＨＰ２ならばＲＯＩＩ、ｃ）
ａ）でなく、ＨＰＩ（ＨＦ２ならばＲＯＩ２とする。

第８図の場合には、他のＲＯＩとの境界が明確でなく、
人間はＲＯＩ全体の形状、および他の情報からＲＯＩの
境界を判断している。したがって、隣接画素の値だけで
は人間でも境界を判定できない。この場合は、その境界
以外の部分をこの発明により実施し、操作者がマウスな
どで、その境界の部分を指定（修正）できる機能を付加
すれば、この発明を実施できる。

次に、ＲＯＩは３次元の塊であるので、　１枚の画像で
ＲＯＩを求め、次に連続したスライスで連続したＲＯＩ
を求める場合には、初期学習データの設定を省略し、前
回学習したネットワークをそのまま使用してＲ−Ｏｆを
もとめ、その後に修正していく方が効率的である。ＧＴ
画振　ＭＲＩ画像で心臓等の動きを動画として表示する
ことがある。

上の場合は、スライス方向に異なる位置の画像のＲＯＩ
を求める場合であったが、動画の場合は同一のスライス
位置で時間の異なる画像である。この場合も上と全く同
様の方法により実施できる。

さらに、同一画像の中に同種類のＲＯＩが複数存在する
場合もある。この場合も上の変形例を適用できる。

前項までは領域内に含まれる全画素を抽出する場合につ
いて説明したが、領域の輪郭だけを抽出する場合にも応
用可能である。

第２４図に示すようにＲＯＩの種類によってはＲＯＩ内
／内金外素値が似ており、境界（エツジ）のみが、異な
った画素値を持っている場合もある。

このような場合にはＲＯＩ内／内金外素値を学習しても
ＲＯＩ内／内金外定することはできない。

この場合には、実施例におけるＲＯＩ内の学習データの
代わりに境界（エツジ）のデータを、ＲＯＩ外の学習デ
ータの代わりに境界（エツジ）以外のデータを学習すれ
ば良い、そして、探索は次にように行なう。

ｌ）境界（エツジ）のデータを学習する。

２）境界（エツジ）以外のデータを学習する。

３）中心画素ＡＣから一定方向に領域の境界を探す、境
界の判定にこの発明の方式を適用する。

４）公知の技術により領域の境界に沿って輪郭を抽出す
る。この場合の境界の判定にこの発明の方式を適用する
。

さらに、この発明の方式はボクセルで構成されている３
次元画像の場合にも適用できる。ただし、その場合には
探索方向が３次元になる６実施例ではニューラルネット
ワークは３層であるが、４層以上でもよい。

実施例ではニューラルネットワークへの入力は９個の画
素値としているが、隣接画素の画素値の変わりに、隣接
画素と中心の画素の画素値の差を入力としてもよい６　
また、入力層の素子数を画素数よりも多くして、画素値
と合わせて隣接画素間の差分値も入力としてもよい。ま
た、差分の変わりに２次差分を用いてもよい。また、そ
れらのすべてを入力にしてもよい。

［発明の効果コ以上説明したように、この発明によれば、画像から任意
の形状の関心領域を精度よく、しかも簡単に抽出できる
画像処理装置を提供するができる。

【図面の簡単な説明】

第１図はこの発明による画像処理装置の実施例のブロッ
ク図、第２図は画像の一例を示す図、第３図は第２図の
画素値のプロフィール、第４図乃至第８図は画像の他の
例を示す図、第９図は実施例で定義される隣接画素を示
す図、第１０図は実施例の全体の動作を示す図、第１１
図乃至第２３図は第１Ｏ図の各処理の詳細を示す図、第
２４図は変形例を説明する図である。１０・・・画像記憶装置、ユーラルネットワーク、８・・・マウス。

Claims

【特許請求の範囲】

　画像を少なくとも２種類の領域に区分する画像処理装
置において、指定された区分の領域内の一部の画素の情
報を学習する手段と、前記学習手段の学習結果を用いて
、前記画像の画素が前記少なくとも２種類の領域のいず
れに属するかを判断する手段を具備することを特徴とす
る画像処理装置。