JPH10105678A

JPH10105678A - 画像処理装置及び画像処理方法

Info

Publication number: JPH10105678A
Application number: JP8254603A
Authority: JP
Inventors: Mayumi Yuasa; 真由美湯浅; Mutsumi Watanabe; 睦渡辺; Hideki Yoshioka; 秀樹吉岡; Masahide Nishiura; 正英西浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-09-26
Filing date: 1996-09-26
Publication date: 1998-04-24

Abstract

(57)【要約】【課題】輪郭の像と原画像とを比較対比を容易にでき、
形状の比較判定を容易、かつ、精度良くできるようにす
る。【解決手段】画像中の対象物の輪郭を抽出する手段２
と、抽出した輪郭を表示部分と非表示部分に分けて、対
象画像と輪郭中の表示部分とを重ね合わせて表示する手
段３，４を備える。また、画像中の対象物の輪郭を抽出
し、抽出した輪郭領域を、画像中の対象画像上に重ね合
わせて表示すると共に、輪郭は拡大縮小切り替えして表
示できる構成とする。また、輪郭を色を変えて表示した
り、輪郭の重ね書きされた画像と、原画像のみの画像を
切り替えて表示できる構成とする。これにより、輪郭の
像と原画像とを比較対比することが楽にでき、形状の比
較判定が容易、かつ、精度良くできるようになる。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、対象物の輪郭を抽
出すると共に、その抽出輪郭が前記対象物と合うか否か
を容易に判断することができよう画像表示するための画
像処理装置及び画像処理方法に関する。

【従来の技術】近年、特に超音波診断装置等の医用機器
において、撮像された画像とともに、その対象物を解析
するために、手動または自動で、対象物の輪郭を抽出す
る機能を持った装置がみられるようになってきている。
例えば、心臓の超音波像では、その動きを心臓の種々の
位置において解析することができれば、心機能の様々な
診断に有用であると考えらえられる。そのためには、そ
の時々の輪郭を抽出して各部分々々の運動状態を追跡す
ることができれば、心臓の各部の機能状態が適確に掴め
ることになり、より有効な診断が期待できる。しかしな
がら、従来における超音波画像として得た心臓の輪郭表
示方法は、抽出した輪郭を、元の画像に重ねるようにし
たり、あるいは全く別に表示するといったことしかして
いない。そのため、抽出された輪郭が正しいかどうかさ
えも判断するのが困難であり、この輪郭表示像からは各
部分々々の運動状態を追跡することなど全くできなかっ
た。したがって、心機能の細かい機能状態の把握に応用
するなど、おぼつかないのが現状である。また、従来、
図形を描いたり、着色したり、フィルタリング処理した
りするためのソフトウエアに、コンピュータ図形描画ソ
フト（いわゆるドローツール）があり、計算機上でこの
ドローツールを用いることで、手動で輪郭などの図形を
形成したり、この手動形成した輪郭の変形、拡大・縮
小、色の変化といった処理を可能にしたものもあるが、
これらは対象物が撮像された画像との重畳比較、経時的
な変形状態の解析といった機能は存在しないから、先に
示したような、輪郭抽出結果の正確さの評価や、運動す
る対象物について、その画像の輪郭線を用いた運動状態
の解析などには利用できない。

【発明が解決しようとする課題】上記のように、従来の
輪郭表示方法では、例えば超音波診断装置像から得られ
る動画像の輪郭を抽出し、表示するにしても、抽出した
輪郭を、元の画像に重ねるようにしたり、あるいは全く
別に表示するといったことができる程度であり、そのた
め、抽出された輪郭が正しいかどうかさえも判断するの
が困難であり、ましてや、この抽出した輪郭の情報から
は各部分々々の運動状態を追跡することなど全くできな
かった。したがって、心機能の細かい機能状態の把握に
応用するなど、おぼつかない。そこでこの発明の目的と
するところは、このような問題点を解決して、抽出され
た輪郭が正しいかどうかを容易に判断でき、この抽出し
た輪郭の情報から各部分々々の運動状態を追跡して解析
できるようにして、診断などに役立てることができるよ
うに画像表示する画像処理装置及び画像処理方法を提供
することにある。

【課題を解決するための手段】上記目的を達成するため
第１の本発明は、画像内の対象物の輪郭を抽出する装置
において、抽出した輪郭を前記画像の対象物上に重ねて
表示するとともに、その表示する輪郭は点線もしくは少
なくとも所望部分の輪郭線とする手段を備えたことを特
徴としている。そして、画像内の対象物の輪郭を抽出
し、この抽出した輪郭は点線にして前記画像の対象物上
に重ねた表示画像として生成するか、もしくは全体中の
所要部分領域について前記画像の対象物上に重ねた表示
画像として生成し、出力する。このように、輪郭を点線
表示したり、あるいは輪郭の例えば上半分、右半分等と
いった具合に部分的に表示されるようにする等、表示さ
れた部分のみの情報から輪郭の全容を推定できる程度の
表示をすることができる。その結果、抽出輪郭と、対象
物との形状比較が容易になる。また、第２の本発明は、
画像内の対象物の輪郭を抽出する装置において、位置指
示操作及び移動指示操作のための手段と、前記抽出され
た輪郭を、前記対象物と重ねて前記画像上に表示すべく
表示画像を生成するとともに、前記位置指示操作及び移
動指示操作により、前記輪郭全体、または輪郭のうちの
前記位置指示操作により指示された部分を含む一部を前
記移動指示操作対応に一時的に変形または一時的に位置
移動して前記画像上に前記対象物と共に表示すべく表示
画像を生成する手段とを備えて構成する。そして、画像
内の対象物の輪郭を抽出し、この抽出した輪郭は前記画
像の対象物上に重ねた画像に生成して表示画像とし、表
示に供すると共に、位置の指示操作により前記輪郭の所
望位置の指示が与えられ、移動の指示操作により前記輪
郭の移動先が指示されると、この指示に従い前記輪郭全
体、または輪郭のうちの前記指示操作により指示された
部分を含む一部について、前記画像上では一時的に変形
または位置移動させた表示画像に変更し、表示に供す
る。これにより、表示画像上において、例えば、マウス
操作により輪郭の一部を指定して引っ張るなどの操作を
することで輪郭の一部を引っ張るかたちで一時的に変形
させて表示することができ、操作を解くとその引っ張ら
れていた輪郭の一部は元の位置に戻るといった表示形態
とすることができる。その結果、抽出輪郭と、対象物と
の形状比較が容易になる。また、第３の本発明は、前記
第２の発明における前記表示画像を生成するための手段
は、前記抽出した輪郭全体または一部が、前記指示操作
に対応して所定量外側に広げるか、または内側に縮めて
表示すべく処理する機能を備えていることを特徴とす
る。そして、前記指示操作により指示されると、前記抽
出した輪郭の全体または一部を、前記指示操作に対応し
て所定量外側に広げるか、または内側に縮めた表示画像
に変更し、表示に供する。その結果、抽出輪郭と、対象
物との形状比較が容易になる。また、第４の本発明は、
前記第２の発明における前記表示画像を生成するための
手段は、前記輪郭領域全体または一部を、前記指示操作
に対応して所定量左右または上下に移動して表示させる
べく処理する機能を備えている。そして、前記指示操作
により指示されると、前記輪郭の全体または指示された
一部を、前記指示操作に対応して所定量左右または上下
に移動させた表示画像に変更し、表示に供する。これに
より表示画像上の輪郭をその形、および大きさを保った
まま、手動で位置変更することができる。その結果、抽
出輪郭と、対象物との形状比較が容易になる。また、第
５の本発明は、画像内の対象物の輪郭を抽出する装置に
おいて、前記抽出した輪郭全体または一部を、画像内の
対象物の輪郭位置を基準に所定量外側または内側、また
は外側と内側の両方向に振動させて前記画像上に表示さ
せる手段を有することを特徴とする。そして、画像内の
対象物の輪郭を抽出し、この抽出した輪郭はその全体ま
たは一部を、前記画像上において当該画像内の対象物の
輪郭位置を基準に所定量外側または内側、または外側と
内側の両方向に、振動させるべく繰り返し移動変更させ
た表示画像に変更し、表示に供する。そのため、表示画
像上の輪郭の像は、その形を保ったまま、振動するかた
ちで表示されることになり、抽出輪郭と、対象物との形
状比較が容易になる。また、第６の本発明は、画像内の
対象物の輪郭を抽出する装置において、所定時間間隔で
輪郭の表示／非表示を切り替え指令する手段と、この切
り替え指令が輪郭表示の指令期間は前記表示させる前記
輪郭を前記画像上に重ねた表示画像を、その他は前記画
像のみの表示画像を生成する手段とを有し、輪郭画像を
点滅表示させるようにしたことを特徴とする。そして、
画像内の対象物の輪郭を抽出し、この抽出した輪郭は前
記画像の対象物上に重ねた画像に生成して表示画像と
し、表示に供すると共に、指令を与えると周期的に輪郭
表示と輪郭非表示の期間を切り替え、輪郭非表示の期間
は前記輪郭を除去して前記画像のみの表示画像に変更
し、輪郭表示の期間は前記表示させる前記輪郭を前記画
像上に重ねた表示画像に変更し、表示に供する。この結
果、指令を与えれば輪郭が点滅表示されることになり、
抽出輪郭と、対象物との形状比較が容易になる。また、
第７の本発明は、画像内の対象物の輪郭を抽出する装置
において、切り替え指示をするための手段と、この切り
替え指示に応じて前記対象物の前記輪郭を前記画像上に
重ねた表示画像を生成し、前記切り替え指示に応じて前
記画像のみの表示画像を生成する手段とを有することを
特徴とする。そして、画像内の対象物の輪郭を抽出し、
この抽出した輪郭は前記画像の対象物上に重ねた画像に
生成して表示画像とし、表示に供すると共に、切り替え
指示を与えると前記画像のみの表示画像に変更し、表示
に供する。その結果、切り替え指示を人間の操作により
与えるようにすると、人的操作にて輪郭を消したり、表
示させたりできるようになり、抽出輪郭と、対象物との
形状比較が容易になる。また、第８の本発明は、画像内
の対象物の輪郭を抽出する装置において、前記抽出した
輪郭中の所望の領域を指定する指定手段と、切り替え指
示をするための手段と、この切り替え指示に応じて前記
対象物の前記輪郭を前記画像上に重ねた表示画像を生成
し、また、前記切り替え指示に応じて前記画像のみの表
示画像を生成すると共に、前記輪郭を前記画像上に重ね
た表示画像を生成するときは前記指定手段にて指定され
た領域の輪郭は除去するか、または、その指定された領
域の輪郭以外の輪郭を除去した輪郭を前記画像上に重ね
た表示画像を生成する手段とを備えることを特徴とす
る。そして、画像内の対象物の輪郭を抽出し、この抽出
した輪郭は前記画像の対象物上に重ねた画像に生成して
表示画像とし、表示に供するようにし、前記抽出した輪
郭中の所望の領域を指定し、切り替え指示すると、この
切り替え指示に応じて前記領域の指定部分は輪郭は除去
するか、または、その指定部分の輪郭以外の輪郭を除去
した輪郭を前記画像上に重ねた表示画像に変更して表示
に供するようにし、また、切り替え指示すると、この切
り替え指示に応じて前記画像のみの表示画像に変更し、
表示に供する。この結果、切り替え指示を人間の操作に
より与えるようにすると、人的操作にて輪郭を消した
り、表示させたりできるようになり、また、消す範囲ま
たは表示する範囲も指定できて、抽出輪郭と、対象物と
の形状比較が容易になる。また、第９の本発明は、画像
内の対象物の輪郭を抽出する装置において、前記抽出し
た輪郭は、画像の輝度値を原画像に比例させ、かつ原画
像と異なる色で表示させるべく前記画像を処理して表示
画像を生成する手段を備え、輪郭と原画像は異なる色で
表示させることを特徴とする。そして、画像内の対象物
の輪郭を抽出し、この抽出した輪郭は前記画像の対象物
上に重ねた画像に生成して表示画像とし、表示に供する
ようにすると共に、前記対象物上の輪郭は、画像の輝度
値を原画像に比例させ、かつ原画像と異なる色に置き換
えて前記表示画像とする。そして、このことにより、輪
郭と原画像は異なる色で表示させる。つまり、輪郭部分
を半透明化して表示する。この結果、輪郭部分において
も原画像部分が見えるが、輪郭部分であることがわか
り、抽出輪郭と、対象物との形状比較が容易になる。こ
のように本発明は、画像中の対象物の輪郭を抽出し、抽
出した輪郭を表示部分と非表示部分に分けて、対象画像
と輪郭中の表示部分とを重ね合わせて表示するようにし
たものである。また、画像中の対象物の輪郭を抽出し、
抽出した輪郭領域を、画像中の対象画像上に重ね合わせ
て表示すると共に、輪郭は拡大縮小切り替えして表示で
きるようにしたものである。また、輪郭を色を変えて表
示したり、輪郭の重ね書きされた画像と、原画像のみの
画像を切り替えて表示できるようにしたものである。従
って、輪郭の像と原画像とを比較対比することが楽にで
き、形状の比較判定が容易に、かつ、精度良くできるよ
うになる。従って、輪郭抽出結果の正確さの評価や、運
動する対象物について、その画像の輪郭線を用いた運動
状態の解析などに利用できるみちを拓く。

【発明の実施の形態】以下、本発明の具体例について、
図面を参照して説明する。（第１の具体例）図１は本発明の第１の具体例の構成を
表す図である。図において、１は画像入力部、２は輪郭
抽出部、３は表示領域決定部、４は表示画像生成部であ
る。これらのうち、画像入力部１は、原画像を入力する
ためのものであり、輪郭抽出部２はこの画像入力部１に
より入力された原画像から対象物の輪郭を抽出する機能
を有するものである。表示領域決定部３はこの輪郭抽出
部２により抽出された輪郭領域（抽出した輪郭線の全領
域）から、表示する部分を決めるためのものであり、表
示画像生成部４は、表示領域決定部３において決めた輪
郭領域中の表示領域と、予め画像入力部１で入力された
原画像を重ね合わせて表示画像を生成するためのもので
あり、画像表示部５は、表示画像生成部４で得られた画
像を表示するためのものである。このような構成におい
て、画像入力部１は、超音波像などの原画像を入力す
る。そして、輪郭抽出部２はこの画像入力部１より受け
た原画像から、対象物の輪郭を抽出する。表示領域決定
部３では抽出された輪郭領域（抽出した輪郭線の全領
域）から、表示する部分を決定し、表示画像生成部４
は、表示領域決定部３において決定された輪郭領域中の
表示領域（輪郭線の全領域中の表示対象となる領域部
分）と、予め画像入力部１で入力された原画像とを重ね
合わせて表示画像を生成する。そして、画像表示部５で
は、この表示画像生成部４で得られた画像を表示する。
この結果、表示された画像は、輪郭線の部分々々と、原
画像とが重ね合わされた像となるので、原画像と輪郭線
の双方を観察できるようになる。そのため、輪郭線が対
象部に合っているかを容易に検証でき、また、画像も観
察できるようになる。本装置の概要はこのようなもので
あるが、もう少し詳しく説明をする。＜画像入力部１の構成例＞画像入力部１の構成例を図２
に示す。画像入力部１は撮像装置６、画像データ変換部
７、画像記憶部８から構成されている。これらのうち、
撮像装置６は動画像（静止画でも可）をリアルタイムに
得る装置で、ここでは例えば超音波診断装置などの医用
診断装置が該当する。画像データ変換部７は、この撮像
装置６にて得られた画像信号を、コマ単位（画面単位）
で輪郭抽出部２で扱えるデータ形式に変換する装置であ
り、画像記憶部８はこの画像データ変換部７で変換され
た画像信号のデータを記憶保存するためのものである。
このような構成の画像入力部１では、超音波診断装置な
どの撮像装置６からの画像信号を、画像データ変換部７
において、輪郭抽出部２で扱えるデータ形式に変換し、
画像記憶部８で記憶する。そして、画像記憶部８の記憶
データを読み出して輪郭抽出部２および表示画像生成部
４に与える。＜輪郭抽出部２の構成例＞輪郭抽出部２の構成例を図３
に示す。ここでは動的輪郭モデルにより輪郭を抽出する
例について説明する。輪郭抽出部２は初期値設定部９、
エネルギー算出部１０、収束判定部１１、離散点移動部
１２から構成されている。これらのうち、初期値設定部
９は、初期輪郭を設定するためのものであり、ここでは
手動で初期輪郭の座標を与えるようにして輪郭の入力を
する。手動での初期輪郭の座標の付与は、ＧＵＩ（グラ
フィカルユーザインターフェース）を用い、マウスやペ
ン、トラックボールなどのポインティングデバイスを用
い、そのポインティングデバイスの指示カーソルを操作
してディスプレイ画面上で指定することにより、画面上
にプロットして入力するような構成を採用する。ディス
プレイ画面上には原画像が表示され、ポインティングデ
バイスを用いてこの原画像上で、輪郭線の位置の座標を
指定し、入力する。この入力された座標位置は、画面上
に表示され、かつ、座標位置情報として保存される。こ
のようにして入力された輪郭は、輪郭上の代表点の座標
の集合として表現し、その形式で記憶する。また、エネ
ルギー算出部１０は、この得られた輪郭のデータを元
に、この輪郭の持つ内部エネルギーと、画像エネルギー
と、必要に応じて与える外部エネルギーとの総和を算出
するためのものであり、離散点移動部１２は、エネルギ
ー算出部１０において算出したエネルギーの総和が、よ
り小さくなるように、輪郭を移動させる処理（収束計
算）を行うためのものである。また、収束判定部１１
は、エネルギー算出部１０の算出するエネルギーの総和
の情報を受け、エネルギーの総和の変化量が所定の値よ
り小さくなったか否かを判定して、当該エネルギーの総
和の変化量が所定の値より小さくなったとき、これを以
て収束と判定し、収束計算を中止する指令をエネルギー
算出部１０に出して、エネルギー算出部１０での収束計
算を終了させるといった機能を有する。表示領域決定部
３は、輪郭抽出部２において得られた輪郭の代表点を直
線または曲線で結ぶ領域として設定するものであり、そ
の領域中において表示する部分を決定するものである。
表示画像生成部４は、画像入力部１より入力された原画
像の画素値を表示領域決定部３において決定された輪郭
領域中の表示領域部分にあたる部分のみ、別の画素値で
置き換える処理を行うことで、輪郭領域中の表示領域部
分が重ね書きされた表示画像を生成するものである。画
像表示部５は、この表示画像生成部４において生成され
た画像をディスプレイなどの表示装置に表示するための
ものである。このような構成の輪郭抽出部２は次のよう
に動作する。まず、初期値設定部９において、初期輪郭
を設定する。ここでは手動で初期輪郭の座標を与える。
輪郭は、輪郭上の代表点の座標の集合として表現し、そ
の形式で記憶する。初期値設定部９により、初期輪郭が
設定されると、エネルギー算出部１０ではこの初期輪郭
の持つ内部エネルギーと、画像エネルギーと、必要に応
じて与えられる外部エネルギーとの総和を算出する。そ
して、離散点移動部１２では、エネルギー算出部１０に
おいて算出したエネルギーの総和がより小さくなるよう
に、輪郭を移動させる。収束判定部１１においては、エ
ネルギー算出部１０において算出されたエネルギーの総
和の変化量を監視し、この変化量が所定の値より小さく
なったか否かを判定して当該変化量が当該所定値より小
さくなったとき、収束計算を中止する指令を離散点移動
部１２に出す。なお、当該所定の値より大きい場合に
は、再び離散点移動部１２にて移動を行なうことを繰り
返すように収束判定部１１は動作する。その結果、変化
量が所定値より小さくなったとき、離散点移動部１２は
離散点移動を終了する。一方、表示領域決定部３では、
輪郭抽出部２において得られた輪郭の代表点を直線また
は曲線で結ぶ領域として設定する。そして、表示領域決
定部３はその領域中において表示する部分を決定する。
例えば、それはその輪郭を一定の間隔で表示、非表示を
繰り返すような領域である（図４参照）。そして、表示
画像生成部４では、画像入力部１において入力した原画
像の画素値を、表示領域決定部３において決定された輪
郭領域中の表示領域部分にあたる部分のみ、別の画素値
で置き換えることで、表示画像を生成する。画像表示部
５においては、この表示画像生成部４において生成され
た画像をディスプレイなどの表示装置に表示する（図５
参照）。このように輪郭領域の一部を表示しないこと
で、輪郭抽出結果の情報と原画像の輪郭近傍の情報を同
時に呈示することができる。要するにこの第１の具体例
は、原画像を入力して、この原画像の対象部位、例え
ば、この原画像が心臓の超音波像であったとすると、こ
の心臓の超音波像に大雑把に輪郭を入力し、これを元
に、入力輪郭線をエネルギー計算などにより自動修正し
てから指定した表示対象部分の輪郭線あるいは輪郭領域
の画像を、原画像上に表示するようにしたものであり、
さらには、表示する輪郭線あるいは輪郭領域の像は、周
期的に元の原画像と置き換えるようにすることにより、
原画像における対象部位と明確に比較できるようにした
ものである。従って、原画像に対して目的部分の輪郭抽
出を簡単に行うことができ、しかも、原画像との直接的
な比較のもとに、抽出輪郭が正しいかどうかの判断を使
用者が容易に行なうことができる装置となる。従って、
抽出輪郭の正確さの評価を行って、しかも、得たその精
度の高い抽出輪郭の情報を解析に利用することにより、
運動する対象物の画像の輪郭線を用いたその対象物の運
動状態の解析などの応用の道が拓ける。輪郭線の別の抽
出表示例を次に説明する。（第２の具体例）第２の具体例では、人間が対話的に入
力する手段により、輪郭を一定量外側に広がって、また
は内側に縮んで表示される例について述べる。第２の具
体例の構成を表す図を図６に示す。図６において、１は
画像入力部、２は輪郭抽出部、３は表示画像生成部、４
は表示画像生成部、５は画像表示部、１３は操作入力部
である。この第２の具体例において、画像入力部１、輪
郭抽出部２、表示画像生成部４、画像表示部５について
は第１の具体例と共通である。本装置では操作入力部１
３が新たに付加されている。この操作入力部１３は、デ
ィスプレイ画面での目的部分（対象部）の画像表示倍率
を指定するものであり、画面上に図８に示すような形態
で表示され、マウスカーソルなどで選択することで拡大
縮小率を指定することができる。図８に示すように操作
入力部１３の操作ボタンには、“拡大”、“縮小”、
“復帰”の三つのボタン１３ａ，１３ｂ，１３ｃがあ
り、そして、“拡大”ボタン１３ａを押すと、画像の拡
大・収縮率αが大きくなり、“縮小”のボタン１３ｂを
押すと画像の拡大・収縮率αが小さくなり、“復帰”ボ
タン１３ｃを押すと画像の拡大・収縮率αが元に戻って
“１”倍表示になるように指示を出すことができる。こ
の指示は拡大・収縮率αの値で出力する。本具体例で
は、操作入力部１３としてボタンによる例を示したが、
スライドバー、ダイアル、マウス等の入力手段でも差し
支えない。表示領域決定部３は、この操作入力部１３か
ら与えられた拡大・収縮率αを基に随時、輪郭データＸＸ＝｛（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ₂ ），…，（ｘ_n ，ｙ_n ）｝ …(1) に対して、その座標位置をＸ´＝｛（ｘ₁ ´，ｙ₁ ´），（ｘ₂ ´，ｙ₂ ´），…，（ｘ_n ´，ｙ_n ´ ）｝ …(2) に変換する（図７参照）。ただし、ｘｉ´＝ｘ₀ ＋α
（ｘ_i −ｘ₀ ）、ｙｉ´＝ｙ₀ ＋α（ｙ_i −ｙ₀ ）であ
り、ｎは代表点の数、（ｘ₀ , ｙ₀ ）は輪郭の重心であ
る。

【数１】操作の例を以下に示す。図９に示すものは画像表示部５
に表示された画面であり、輪郭抽出部２において、第１
の具体例で示した処理を行ない、表示画像生成部４にお
いて原画像上に抽出された輪郭領域（抽出した輪郭線の
全部）を重ね合わせた表示画像１４を生成し、それを画
像表示部５において表示した直後の状態での画面であ
る。この画面では１４が輪郭領域を重ね合わせた目的部
位（対象部）の像であり、１５がボタン１３ａ〜１３ｃ
である。また、図１０に示すものはボタン操作時におけ
る画像表示部５の表示画面であり、“拡大”ボタン１３
ａを押した直後の例を示す。拡大は輪郭領域（抽出した
輪郭線）に対してのみ、行われ、目的部位の画像は拡大
されない。このように、輪郭領域（抽出した輪郭線）の
みが外側に広がることにより、輪郭領域近傍の原画像を
見ることができる。また、この後、“復帰”ボタン１３
ｃを押すことにより、元の画面状態に戻ることができる
（図１１）。また、輪郭領域が外側よりも内側に縮まっ
た方が見易い場合には、“縮小”ボタン１３ｂを押すこ
とで、内側に縮めることもできる（図１２）。このよう
に、この具体例は、輪郭領域（抽出した輪郭線全体）の
像を原画像上に拡大、縮小して表示するようにした。そ
のため、輪郭領域の像と原画像とを比較対比することが
楽にでき、形状の比較判定が容易に、かつ、精度良くで
きるようになる。さらに別の例を第３の具体例に示す。（第３の具体例）第３の具体例では、輪郭が抽出された
輪郭位置を基準に、所定量内側及び外側に振動させて表
示する例について述べる。第３の具体例の構成は、第２
の具体例と同様であるが、操作入力部１３においては、
振動の振幅Ａ、周期Ｔを指定することができるようにし
た。ただし、これらを自動的に与える構成としてもかま
わない。また、本具体例のシステムでは、表示領域決定
部３は振動の振幅Ａ、周期Ｔが与えられると、輪郭領域
（抽出した輪郭線全体）の像を振幅Ａ、周期Ｔで移動さ
せ、原画像上に表示する如きの画像を生成する機能を有
する。また、本システムは、操作入力部１３を備えてお
り、この操作入力部１３において、振動の振幅Ａ、周期
Ｔを指定すると、これらの情報は表示領域決定部３に与
えられる構成となっている。また、表示領域決定部３は
操作入力部１３から振動の振幅Ａ、周期Ｔが与えられる
と、各輪郭の代表点（ｘ_i ，ｙ_i ）を次の式(5) 、式
(6) で表される座標（ｘ_i ´，ｙ_i ´）に変換する処理
を行うようにしてある。ｘ_i ´＝ｘ₀ ＋Ａ（ｘ_i −ｘ₀ ）sin （２πｔ／Ｔ） …(5) ｙ_i ´＝ｙ₀ ＋Ａ（ｙ_i −ｙ₀ ）sin （２πｔ／Ｔ） …(6) ただし、πは円周率、ｔは時間を示し、また、（ｘ_i，
ｙ_i）は第２の具体例で述べた輪郭の重心を示す。この
ような構成の本システムは、第１の具体例と同様な手順
を踏んで、輪郭領域（輪郭線全体）が求められ、原画像
の目的部位（対象部）上にこの輪郭領域が重ねて表示さ
れるような画像が表示画像生成部４にて生成されて、画
像表示部５により、ディスプレイなどの表示装置に表示
される。一方、本システムは、その操作入力部１３にお
いて、振動の振幅Ａ、周期Ｔを指定すると、これらの情
報は表示領域決定部３に与えられる。そして、表示領域
決定部３は、各輪郭の代表点（ｘ_i ，ｙ_i ）を式(5) 、
式(6) で表される座標（ｘ_i ´，ｙ_i ´）に変換する。
その結果、各輪郭の代表点（ｘ_i ，ｙ_i ）は、指定され
た振動の振幅Ａ、周期Ｔで変化することになり、表示領
域決定部３は、この変化を反映した輪郭領域を原画像の
上に合成するので、表示装置に表示される画像は輪郭領
域が振幅Ａ、周期Ｔで変化することになる。そのため、
輪郭領域の像と原画像とを比較対比することが楽にで
き、形状の比較判定が容易にしかも、精度良くできるよ
うになる。本具体例を計算機を利用してソフトウエアに
より実現する方法について触れておく。ソフトウエア処
理は、時間ｔが所定の間隔Δｔを経過する毎に、式(7)
、式(8) に従って各輪郭上の代表点列の座標を計算
し、次にそれらの代表点列から、直線または曲線近似に
より、輪郭領域を生成し、そして、原画像データをディ
スプレイ上に再描画した後、さらにこの得られた輪郭領
域を再描画するといった手順を踏むようにする。このよ
うにプログラムし、計算機で実行することでも本具体例
は実現可能である。なお、本具体例では、第２の具体例
とは異なり、輪郭領域を自動的に与えるようにしても構
わない。表示される輪郭領域は、周期的に移動されるた
め、人の手をわずらわせることなく、画像中の輪郭近傍
と抽出された輪郭領域とを見ることができる。しかも、
前記振動の周期Ｔを小さくすれば、残像効果により輪郭
領域が透明化して見えるため、より効果的である。別の
例を第４の具体例として示す。（第４の具体例）図１３に第４の具体例の構成を示す。
図において、１は画像入力部、２は輪郭抽出部、４は表
示画像生成部、５は画像表示部である。これらのうち、
画像入力部１、輪郭抽出部２は第１の具体例と同じであ
る。本具体例のシステムにおいては、表示画像生成部４
では、原画像中の輪郭抽出部２において抽出された輪郭
領域にあたる部分を、一定の画素値に置き換える処理を
行う構成とする。このような構成の本システムは、第１
の具体例と同様な手順を踏んで、輪郭領域（輪郭線）が
求められる。そして、表示画像生成部４では、原画像中
の輪郭抽出部２において抽出された輪郭領域にあたる部
分を、一定の画素値に置き換える処理を行い、表示画像
を生成する。一方、画像表示部５は、原画像と、表示画
像生成部４で生成された画像とを所定の時間間隔で交互
に切り替えて表示するように制御する。そのため、表示
画像生成部４にて生成された画像と、原画像は画像表示
部５により、交互に表示装置に表示される。このよう
に、本システムは、表示画像生成部４では、原画像にお
ける輪郭領域該当部分を、一定の画素値に置き換えた像
を作成し、表示装置には原画像そのものと、この表示画
像生成部４で生成した画像を交互に表示するようにし
た。そのため、輪郭領域が描画されない時間があるた
め、原画像の情報をより正確にとらえることができるよ
うになり、また、入の手をわずらわせることなく、画像
中の輪郭近傍と抽出された輪郭領域とを見ることができ
るようになって操作性も良いものとなる。しかも、前記
所定の時間間隔ｔを小さくすれば、残像効果により輪郭
領域が透明化して見えるためより、効果的に観察できる
メリットもある。なお、本具体例の表示切り替えは計算
機を利用してソフトウエア処理で実現することもでき
る。その方法について述べておく。ソフトウエア処理に
よる表示切り替えは次のようにする。すなわち、所定の
時間間隔をΔｔとするとき、時間ｔが２ｎΔｔ（ただ
し、ｎは整数）であるときに、原画像データをディスプ
レイ上に再描画する。一方、時間ｔが（２ｎ＋１）Δｔ
であるときに、原画像データをディスプレイ上に再描画
した後、さらに先に得られた輪郭領域を再描画する。こ
のようにすると、表示画像生成部４で生成した画像と、
原画像とを交互に表示することができる。第４の具体例
に示した方式は、第３の具体例とは異なり、輪郭領域が
描画されない時間があるため、原画像の情報をより正確
にとらえることができる。また、入の手をわずらわせる
ことなく、画像中の輪郭近傍と抽出された輪郭領域とを
見ることができる。しかも、前記所定の時間間隔ｔを小
さくすれば、残像効果により輪郭領域が透明化して見え
るためより効果的である。さらに別の具体例を第５の具
体例として説明する。（第５の具体例）図１４は第５の具体例の構成を示す。
図において、１は画像入力部、２は輪郭抽出部、４は表
示画像生成部、５は画像表示部である。画像入力部１、
輪郭抽出部２、表示画像生成部４については第４の具体
例と共通である。本システムにおいては、画像表示部５
は、原画像と表示画像生成部４において生成された画像
とを交互に表示する制御動作を行うが、表示画像生成部
４の生成画像の表示は操作入力部１３において、手動で
指令を与えている間だけとするように構成とした。その
ため、操作入力部１３にはその指定操作のためのボタン
（表示ボタン）を設けた。本システムにおいては、操作
入力部１３のボタン（表示ボタン）を押している間は画
像入力部１から得た原画像のみを表示し、ボタン（表示
ボタン）を離すと今度は画像表示部５における生成画像
のみを表示する。この操作は逆に、押しているときに画
像表示部５における生成画像が表示され、離すと原画像
が表示されるようにしても良い。また、ボタンを押す毎
に、表示画像が“画像表示部５の生成画像”→“原画
像”→“画像表示部５の生成画像”→“原画像”という
具合に切り替わるようにしても良い。また、操作するも
のはボタン以外の例えばスライドバー、ダイヤル、マウ
ス等でも良い。本具体例では、第４の具体例とは異な
り、輪郭領域の表示／非表示の切り替えのタイミングを
自在に決めることができるようにしたものであり、自在
に切り替えができるため、より使用者の意思に沿つた、
表示を行なうことが可能となる。次に第６の具体例を説
明する。（第６の具体例）第６の具体例の構成は第４の具体例と
共通である（図１３）。また、画像入力部１、輪郭抽出
部２、画像表示部５は第１の具体例と共通である（図
１）。表示画像生成部４においては、原画像中の輪郭抽
出部２において抽出された輪郭領域にあたる部分の画像
について、その画素値を次のような変換処理を行って変
換した画像を生成するようにする。画素値を変換処理
は、例えば、原画像の輝度がＲＧＢ表示で（Ｉ，Ｉ，
Ｉ）であり、新しい輝度がＲＧＢ表示で（Ｉ，Ｉ，０）
であったとすると、Ｒ＝ＩＧ＝ＩＢ＝０なる変換処理とする。つまり、原画像がカラー画像であ
ったとして、その原画像の輝度がＲ成分（赤成分）、Ｇ
成分（緑成分）、Ｂ成分（青成分）共にＩで、同値であ
り、無色（Ｉの値がいつであるかにより、白かまたは灰
色となる）であったものが、この変換処理では、Ｒ成分
とＧ成分は“Ｉ”，Ｂ成分は“０”（零）にする変換を
行うようにする。このような変換処理することで、Ｒ成
分、Ｇ成分、Ｂ成分が共にＩであったモノクローム画素
は、Ｒ成分とＧ成分のみになり、これは黄系統であるか
ら、このような処理を経た輪郭領域は黄色に変わること
になる。しかし、その輝度の大きさは原画像に比例して
いるため（つまり、値は“Ｉ”であるから輝度の大きさ
は原画像に比例）、輪郭領域中であっても原画像の情報
を得ることができ、しかも、色の変化により、輪郭抽出
結果の情報も得られるため、輪郭抽出結果の評価を容易
に行なうことができる。ここでは輪郭領域を表す色とし
て黄色を用いたが、他の色であっても、勿論、構わな
い。また、輪郭領域中の輝度値を保存するものであれ
ば、他の変換方式でも構わない。また、前記例におい
て、Ｂ＝０で一定としたが、これが時間的に“０”と
“Ｉ”の間で変化するようにしても構わない。また、そ
の場合に、その変化が時問的に振動しても良いし、手動
で切り替えてもよい。このように変化させると、視覚的
により、強くアピールすることになり、輪郭領域の認識
がし易くなる。以上、本発明は、画像中の対象物の輪郭
を抽出し、抽出した輪郭を表示部分と非表示部分に分け
て、対象画像と輪郭中の表示部分とを重ね合わせて表示
するようにしたものである。また、画像中の対象物の輪
郭を抽出し、抽出した輪郭領域を、画像中の対象画像上
に重ね合わせて表示すると共に、輪郭は拡大縮小切り替
えして表示できるようにしたものである。また、輪郭を
色を変えて表示したり、輪郭の重ね書きされた画像と、
原画像のみの画像を切り替えて表示できるようにしたも
のである。従って、輪郭の像と原画像とを比較対比する
ことが楽にでき、形状の比較判定が容易に、かつ、精度
良くできるようになる。従って、輪郭抽出結果の正確さ
の評価や、運動する対象物について、その画像の輪郭線
を用いた運動状態の解析などに利用できるみちを拓く。
なお、本発明は上述した具体例に限定されるものではな
く、種々変形して実施可能である。また、第１乃至第５
の各具体例に記載し、各図を参照して説明した手法は、
ソフトウエア化することができ、そのソフトウエア化し
て得られるプログラムは、コンピュータに実行させるこ
とのできるプログラムとして、磁気ディスク（フロッピ
ーディスク、ハードディスクなど）、光ディスク（ＣＤ
−ＲＯＭ、ＤＶＤなど）、半導体メモリなどのコンピュ
ータ読取り可能な記録媒体に格納して頒布することもで
きる。

【発明の効果】以上、本発明によれば、従来困難であっ
た、抽出された輪郭が正しいかどうかの判断を容易にで
きるようになり、また、正しい輪郭を用いることによっ
て、運動する対象物について、その画像の輪郭線を用い
た運動状態の解析などに利用できるみちを拓くことがで
きるようになるなどの優れた効果の期待できる画像処理
装置および画像処理方法を提供できる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
第１の具体例の構成を示す概略図。

【図２】本発明を説明するための図であって、図１に示
す本発明の第１の具体例における画像入力部の構成例を
示す概略図。

【図３】本発明を説明するための図であって、図１に示
す本発明の第１の具体例における輪郭抽出部の構成例を
示す概略図。

【図４】本発明を説明するための図であって、図１に示
す本発明の第１の具体例における表示領域の例を示す
図。

【図５】本発明を説明するための図であって、図１に示
す本発明の第１の具体例における画像表示の例を示す
図。

【図６】本発明を説明するための図であって、本発明の
第２の具体例の構成例を示す概略図。

【図７】本発明を説明するための図であって、本発明の
第２の具体例における輪郭の拡大の例を説明するための
図。

【図８】本発明を説明するための図であって、本発明の
第２の具体例における操作入力部を示す図。

【図９】本発明を説明するための図であって、本発明の
第２の具体例における操作例を説明するための図。

【図１０】本発明を説明するための図であって、本発明
の第２の具体例における操作例を説明するための図。

【図１１】本発明を説明するための図であって、本発明
の第２の具体例における操作例を説明するための図。

【図１２】本発明を説明するための図であって、本発明
の第２の具体例における操作例を説明するための図。

【図１３】本発明を説明するための図であって、本発明
の第４の具体例の構成を示す概略図。

【図１４】本発明を説明するための図であって、本発明
の第５の具体例の構成を示す概略図。

【符号の説明】

１…画像入力部２…輪郭抽出部３…表示領域決定部４…表示画像生成部５…画像表示部６…撮像装置７…画像データ変換部８…画像記憶部９…初期値設定部１０…エネルギー算出部１１…収束判定部１２…離散点移動部１３…操作入力部１３ａ…“拡大”ボタン１３ｂ…“縮小”ボタン１３ｃ…“復帰”ボタン１４…抽出された輪郭領域１５…操作ボタン。

───────────────────────────────────────────────────── フロントページの続き (72)発明者西浦正英大阪府大阪市北区大淀中１丁目１番30号株式会社東芝関西支社内

Claims

【特許請求の範囲】

【請求項１】画像内の対象物の輪郭を抽出する装置にお
いて、抽出した輪郭を前記画像の対象物上に重ねて表示すると
ともに、その表示する輪郭を点線もしくは少なくとも所
望部分の輪郭線とする手段を有することを特徴とする画
像処理装置。
【請求項２】画像内の対象物の輪郭を抽出する装置にお
いて、位置指示操作及び移動指示操作のための手段と、前記抽出された輪郭を、前記対象物と重ねて前記画像上
に表示すべく表示画像を生成するとともに、前記位置指
示操作及び移動指示操作により、前記輪郭全体、または
輪郭のうちの前記位置指示操作により指示された部分を
前記移動指示操作に応じて一時的に変形または一時的に
位置移動して前記画像上に前記対象物と共に表示すべく
表示画像を生成する手段と、を有することを特徴とする
画像処理装置。
【請求項３】前記表示画像を生成するための手段は、前記抽出した少なくとも輪郭の一部を、前記指示操作に
応じて所定量外側に広げるか、または内側に縮めて表示
すべく処理する手段を備えていることを特徴とする請求
項２記載の画像処理装置。
【請求項４】前記表示画像を生成するための手段は、前記輪郭領域の少なくとも一部を、前記指示操作に対応
して所定量左右または上下もしくはその両方に移動して
表示せるべく処理する手段を備えていることを特徴とす
る請求項２記載の画像処理装置。
【請求項５】画像内の対象物の輪郭を抽出する装置にお
いて、前記抽出した輪郭の少なくとも一部を、前記画像内の対
象物の輪郭位置を基準に所定量外側または内側、または
外側と内側の両方向に振動させて前記画像上に表示させ
る手段を有することを特徴とする画像処理装置。
【請求項６】画像内の対象物の輪郭を抽出する装置にお
いて、所定時間間隔で輪郭の表示または非表示を切り替え指令
する手段と、この切り替え指令によって輪郭表示の指令される期間は
前記表示させる前記輪郭を前記画像上に重ねた表示画像
を、その他は前記画像のみの表示画像を生成する手段
と、を有し、前記表示画像のうち、輪郭の画像を点滅表
示させるようにしたことを特徴とする画像処理装置。
【請求項７】画像内の対象物の輪郭を抽出する装置にお
いて、切り替え指示をするための手段と、この切り替え指示に応じて前記対象物の前記輪郭を前記
画像上に重ねた表示画像を生成し、前記切り替え指示に
応じて前記画像のみの表示画像を生成する手段と、を有
することを特徴とする画像処理装置。
【請求項８】画像内の対象物の輪郭を抽出する装置にお
いて、前記抽出した輪郭中の所望の領域を指定する指定手段
と、切り替え指示をするための手段と、この切り替え指示に応じて前記対象物の前記輪郭を前記
画像上に重ねた表示画像を生成し、また、前記切り替え
指示に応じて前記画像のみの表示画像を生成すると共
に、前記輪郭を前記画像上に重ねた表示画像を生成する
ときは前記指定手段にて指定された領域の輪郭は除去す
るか、または、その指定された領域の輪郭以外の輪郭を
除去した輪郭を前記画像上に重ねた表示画像を生成する
手段と、を備えることを特徴とする画像処理装置。
【請求項９】画像内の対象物の輪郭を抽出する装置にお
いて、前記抽出した輪郭は、画像の輝度値を原画像に比例さ
せ、かつ原画像と異なる色で表示させるべく前記画像を
処理して表示画像を生成する手段を備えることを特徴と
する画像処理装置。
【請求項１０】画像内の対象物の輪郭を抽出し、この抽出した輪郭は点線にして前記画像の対象物上に重
ねた表示画像として生成するか、もしくは少なくとも輪
郭線の所望部分について前記画像の対象物上に重ねた表
示画像として生成し、出力することを特徴とする画像処
理方法。
【請求項１１】画像内の対象物の輪郭を抽出し、この抽出した輪郭は前記画像の対象物上に重ねた画像に
生成して表示画像とし、表示に供すると共に、位置の指示操作により前記輪郭の所望位置の指示が与え
られ、移動の指示操作により前記輪郭の移動先が指示さ
れると、この指示に従い前記輪郭全体、または輪郭のう
ちの前記指示操作により指示された部分を前記画像上で
は一時的に変形または位置移動させた表示画像に変更
し、表示に供することを特徴とする画像処理方法。
【請求項１２】前記指示操作により指示されると、前記抽出した少なくとも輪郭の一部を、前記指示操作に
応じて所定量外側に広げるか、または内側に縮めた表示
画像に変更し、表示に供することを特徴とする請求項１
１記載の画像処理方法。
【請求項１３】前記指示操作により指示されると、前記輪郭の少なくとも指示された一部を、前記指示操作
に応じて所定量左右または上下のうち、少なくともいず
れかに移動させた表示画像に変更し、表示に供すること
を特徴とする請求項１１記載の画像処理装置。
【請求項１４】画像内の対象物の輪郭を抽出し、この抽出した輪郭は少なくとも一部を、前記画像上にお
いて当該画像内の対象物の輪郭位置を基準に所定量外側
または内側、または外側と内側の両方向に、振動させる
べく繰り返し移動変更させた表示画像に変更し、表示に
供することを特徴とする画像処理方法。
【請求項１５】画像内の対象物の輪郭を抽出し、この抽出した輪郭は前記画像の対象物上に重ねた画像に
生成して表示画像とし、表示に供すると共に、指令を与えると周期的に輪郭表示と輪郭非表示の期間を
切り替え、輪郭非表示の期間は前記輪郭を除去して前記
画像のみの表示画像に変更し、輪郭表示の期間は前記表
示させる前記輪郭を前記画像上に重ねた表示画像に変更
し、表示に供することを特徴とする画像処理方法。
【請求項１６】画像内の対象物の輪郭を抽出し、この抽出した輪郭は前記画像の対象物上に重ねた画像に
生成して表示画像とし、表示に供すると共に、切り替え指示を与えると前記画像のみの表示画像に変更
し、表示に供することを特徴とする画像処理方法。
【請求項１７】画像内の対象物の輪郭を抽出し、この抽出した輪郭は前記画像の対象物上に重ねた画像に
生成して表示画像とし、表示に供するようにし、前記抽出した輪郭中の所望の領域を指定し、切り替え指
示すると、この切り替え指示に応じて前記領域の指定部
分は輪郭は除去するか、または、その指定部分の輪郭以
外の輪郭を除去した輪郭を前記画像上に重ねた表示画像
に変更して表示に供するようにし、また、切り替え指示
すると、この切り替え指示に応じて前記画像のみの表示
画像に変更し、表示に供するようにすることを特徴とす
る画像処理方法。
【請求項１８】画像内の対象物の輪郭を抽出し、この抽出した輪郭は前記画像の対象物上に重ねた画像に
生成して表示画像とし、表示に供するようにすると共
に、前記対象物上の輪郭は、画像の輝度値を原画像に比例さ
せ、かつ原画像と異なる色に置き換えて前記表示画像と
することにより、輪郭と原画像は異なる色で表示させる
ことを特徴とする画像処理方法。