JP3576759B2

JP3576759B2 - 画像処理装置

Info

Publication number: JP3576759B2
Application number: JP20279297A
Authority: JP
Inventors: 篤郎松岡; 洋樹高羽; 竜士船山; 峰弘紺矢; 充宏斗谷
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-07-29
Filing date: 1997-07-29
Publication date: 2004-10-13
Anticipated expiration: 2017-07-29
Also published as: JPH1145345A

Description

【０００１】
【発明の属する技術分野】
本発明は，２次元画像内の一部分を抽出する画像処理装置に関する。
【０００２】
【従来の技術】
近年、スキャナ、デジタルスチルカメラ、およびビデオカメラであるような撮像装置を用いて物体を撮像して得られる２次元画像は、２値のデジタルデータ信号である画像信号として記録媒体に記憶される。このように記憶される２次元画像は、後日コンピュータ等の電子機器を用いて電子的に加工する事ができる。
【０００３】
このような２次元画像の加工処理には、たとえば２次元画像内の一部分の像を電子機器の操作者が選択して抽出するものがある。このとき、操作者は、たとえばマウスを操作して、２次元画像内の所望の領域の輪郭を、マウスに連動して画像内を移動するマウスカーソルによってなぞることで、所望の領域を指定する。
【０００４】
このような手法では、所望の領域の輪郭形状が複雑に入組むとき、輪郭を正確になぞることが困難である。このため、所望の領域の指定のための作業時間が長くなり、また操作者の手間も増加する。
【０００５】
このような２次元画像の加工に関する従来技術としては、対象となる２次元画像を、画素データが類似する１または複数の画素を含む複数の分割領域に分割し、装置の操作者に所望の抽出領域を内包する輪郭領域を指定させ、指定手段で指定された輪郭領域の各画素と輪郭領域以外の位置関係から、分割された領域の重み演算を行ない、それに従い抽出領域を判定するものがある。
【０００６】
【発明が解決しようとする課題】
しかしこの上記の方法では、操作者は所望の抽出領域を完全に内包するように輪郭領域を指定する必要があり、輪郭領域を指定する方法及び指定の精度によっては、操作者が抽出領域を完全に内包するように輪郭領域を指定することが出来ない場合に対応することが出来ない。また操作者が所望の領域を完全に内包するように指定しようとするために、操作者が指定する輪郭領域が所望する抽出領域より過大に大きくなり、初期領域として利用する輪郭領域が、より不正確な情報にしかなりえず、所望の画像領域を抽出することが困難になる場合がある。
【０００７】
前述の方法においては、抽出すべき領域を完全に内包するように輪郭領域を指定する必要があったが、本発明は、操作者の輪郭領域の指定方法に柔軟に対応し、かつ、画像抽出の精度の向上を計り、確実に所望の画像を抽出することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の請求項１によれば、複数の画素からなる２次元画像を処理する画像処理装置において、２次元画像を画素データが類似する１または複数の画素を含む複数の分割領域に分割する分割手段と、２次元画像から、抽出すべき抽出領域を全部または一部含む初期領域を指定する初期領域指定手段と、分割手段によって分割された各分割領域と初期領域指定手段で指定された初期領域との位置関係から、各分割領域の各画素が抽出領域に含まれるか否かを判定する抽出判定手段と、抽出判定手段によって抽出領域に含まれると判定された分割領域の画素データを、画像信号から抽出する手段とを備えることにより上記課題を解決する。
【０００９】
本発明の請求項１に従えば、画像処理装置は、まず処理対象の２次原画像を複数の分割領域に分割する。次いで、操作者に、抽出すべき抽出領域の輪郭近傍を指定させる。
【００１０】
この指定は、必ずしも抽出領域を全て含む必要はない。続いて、画像処理装置は指定された輪郭領域を初期領域として、この初期領域の輪郭から輪郭領域外部、及び内部にある分割領域内の各画素との位置関係を調べ、各画素の位置関係を基準として各分割領域の各画素が抽出領域に含まれるか否かを判定し、該当する画素データを抽出する。
【００１１】
これにより、装置の操作者は、所望の抽出領域の輪郭近傍を指定するだけで、抽出領域を含む分割領域の画素データを抽出させることが出来る。指定する初期領域は必ずしも抽出領域を全て含む必要はないため、操作者が操作ミスや、指定デバイスの精度により、抽出領域を内包するように輪郭領域を指定できない場合にも抽出処理を行なうことができ、操作者の指定する初期領域に対し、柔軟に対応することが可能になる。
【００１２】
本発明の請求項２によれば、前記分割手段は、前記２次元画像内の画素と周囲の複数の画素の、個々の表示特性の数値、または各該画素近傍の表示特性の数値を累積し重み演算を行なった数値の差分値を算出する差分値演算手段を備え、差分値演算手段により得られる差分値と比較すべき基準差分値を設定し、その基準差分値を越える差分値を持つ２次元画像内の画素で、かつ、その差分値が周囲の画素の差分値より大きい場合には、該画素と周囲の画素とが異なる領域に含まれ、それ以外の場合には同一領域に含まれると判定し、各分割領域が同一領域に含まれる画素だけを含むように２次元画像を分割することにより上記課題を解決する。
【００１３】
本発明の請求項２に従えば、前記画素データは組み合わせの異なる色彩光の輝度を表す輝度データ信号であるような、複数の表示特性を含み、分割手段はこれら表示特性のうちのいずれか一特性の数値の画素間における差分値を基準として、前記領域分割を行なう。ここで、差分値は対象画素の各数値の差分とは限らない。
【００１４】
たとえば、対象画素の近傍の画素の表示特性数値を平均化して、対象画素の特性数値とし、この差分値を用いても良い。これにより、対象とする画素間での表示特性の差分値は、単一画素間での関係を表すのではなく、周囲の画素データの特性を含ませることが出来る。更に、対象画素の差分値が指定された基準差分値を越え、かつ周囲の画素の差分値より大きい場合に該画素が周囲と違う領域に含まれると判定するため、画素の表示特性がノイズなどにより連続的に変動している場合でも、領域を過度に分割し過ぎることなく、安定した領域分割処理を行なうことができる。
【００１５】
本発明の請求項３によれば、前記初期領域指定手段において指定された輪郭領域の輪郭位置から、輪郭領域外部及び内部の各画素までの距離を算出する距離算出手段と、算出された輪郭位置からの距離値によって、前記分割手段によって分割された分割領域が抽出すべき抽出領域内に含まれるかどうかを判定する抽出判定手段を備え、抽出すべき領域内に含まれるかどうかの判定を、判定対象となる分割領域の、輪郭領域の外部に含まれる面積値と内部に含まれる面積値の割合から判定することにより上記課題を解決する。
【００１６】
本発明の請求項３に従えば、初期領域の輪郭の外部にある前記分割手段により分割された分割領域の画素が初期領域の輪郭外にある場合でも、分割領域の初期領域内部に含まれる面積値が基準値より大きければ、抽出対象領域であると判定する。また逆に初期領域内部に含まれる面積値が基準値より小さければ、初期領域の輪郭内にある分割領域の画素でも、非抽出対象領域であると判定する。これにより、背景と対象の像を判別し、所望の対象の像を得ることができる。
【００１７】
また、本発明の請求項４によれば、前記抽出判定手段において、判定対象となる領域の各画素を初期領域の輪郭位置から輪郭外部、及び内部への距離値によって領域を区分けする区分け手段と、区分け手段により、初期領域の輪郭から外部、及び内部へ区分けされた各領域に含まれる面積値をそれぞれ演算する面積演算手段を備え、判定対象領域の各画素が抽出すべき領域内に含まれるかどうかの判定を、区分けされた領域に含まれる面積値、及び各画素が含まれる区分け領域によって判定することにより上記課題を解決する。
【００１８】
本発明の請求項４に従えば、まず初期領域内外にある分割領域を、初期領域の輪郭線を中心とした位置関係により区分けを行なう。次いで複数の区分け領域にまたがる分割領域に関しては、各区分け領域に含まれる面積値を基準値として抽出領域に含まれるかどうかの判定を行なう。
【００１９】
初期領域の輪郭線から中心方向に向かってより内側にある区分け領域内に含まれる画素ほど抽出対象により近いとし、逆に輪郭線からより外側にある区分け領域内に含まれる画素ほど非抽出対象に近いとする。
【００２０】
この輪郭線を中心とした区分け領域の重みづけと、その区分け領域に含まれる面積値をもとに抽出判定を行なうことで、より正確な抽出処理を行なうことができる。
【００２１】
更に、分割領域の抽出判定を行なう際に、分割領域全体としての抽出判定とは別に、各画素ごとに、該画素が含まれる区分け領域に応じて判定を行なう。すなわち初期領域の輪郭線から外側にある一定以上の距離がある区分け領域内に含まれる画素に関しては、分割領域全体が抽出対象であるとみなされた場合でも、非抽出対象とする。逆に輪郭線から内側にある一定以上の距離がある区分け領域内に含まれる画素に関しては、分割領域全体が非抽出対象であるとみなされた場合でも、抽出対象とする。
【００２２】
これにより、画像の分割処理が十分正確に行なえなかった場合でも、操作者の指定する初期領域の輪郭形状に沿った領域を抽出するため、操作者の意図をある程度反映した抽出画像を得ることができる。
【００２３】
【発明の実施の形態】
図１は本発明による画像処理装置の一笑施例を説明するための構成図である。１は処理対象となる２次元画像を入力するための画像入力装置である。２は操作者が対象画像に対応する初期領域を指定するための領域指定装置である。
【００２４】
３〜５は処理対象画像と、初期領域入力装置２で指定された初期領域座標、および抽出処理を行なった結果得た抽出領域座標を格納するための記憶装置である。６は３〜５に記憶された画像もしくは座標を、画面上に表示するための表示装置である。また表示装置６は記憶装置４〜５から得た座標列をもとに、画面上に座標間を連続してつなげた単一の輪郭線分として表示を行なう。また同装置はこの輪郭線分内部に対応する入力画像を抽出して抽出画像の表示を行なう。
【００２５】
７は本発明の主要な処理を行なう演算処理装置であり、後述の画像分割部８、領域区分処理部９、抽出判定部１０、抽出処理部１１により構成される。さらに画像分割部８は、画像特性取得部８ａ、平滑化部８ｂ、差分計算部８ｃ、近傍比較部８ｄからなり、また領域区分処理部９は、初期領域輪郭抽出部９ａ、輪郭内外距離算出部９ｂ、区分領域決定部９ｃからなり、また抽出判定部１０は、面積計算部１０ａ、抽出画素判定部１０ｂから構成されている。
【００２６】
画像入力装置１は、対象となる画像信号を本画像処理装置に入力するための装置である。この画像信号は複数の画素が行列状に配列されて構成される２次元画像であり、各画素を表す画素データを有するデジタル信号である。
【００２７】
各画素データには、２次元画像内の画素の位置を表す位置データ、および画素の表示特性を表す数値データが含まれる。表示特性を表す数値データは、２次元画像がカラー画像であるならば、たとえば赤青緑の各単色光毎の輝度を表す輝度データを含む。
【００２８】
画像入力装置１は、たとえばハードディスク、フロッピーディスク、光ディスクおよびビデオテープであるような記憶媒体からの信号読みだし装置である。読みだされた信号は記憶装置３に格納される。このとき、これらの記憶媒体には、たとえば撮像装置によって物体からの画像光を撮像して得られた画像信号が記憶されている。撮像装置には、たとえばスキャナ、デジタルカメラ、およびビデオカメラが含まれる。また画像入力装置１自体が撮像装置を有し、得られた画像信号を記憶媒体を経ずに、直接本画像処理装置の記憶装置３に導入しても良い。さらに、画像信号は、上述の撮像装置以外の装置および手法によって生成されてもよい。また、たとえばＣＤ−ＲＯＭのような記憶媒体を用いて配布されるような、本画像処理装置の操作者以外の第三者が作成された画像の画像信号であってもよい。これらの画像信号の取得動作は、後述の本画像処理装置の画像処理動作の事前にあらかじめ準備されていても良いし、処理動作の直前に行なわれても良い。
【００２９】
領域位置指定装置２は、たとえばマウスやトラックボール、ペンなどのポインティングデバイスを含んでおり、操作者は後述する表示装置６に表示される画像入力装置１によって導入された原画像を見ながら、抽出処理を実行させたい領域を含むように前記ポインティングデバイスによって初期領域の輪郭座標位置を指定する。
【００３０】
指定された輪郭座標位置は記憶装置４に格納される。また指定された輪郭座標位置は表示装置６に反映され、たとえば、各座標間を結ぶ線分として表示される。
【００３１】
表示装置６は、記憶装置３〜５に格納された画像データもしくは座標データを、たとえば陰極線管や液晶表示装置などに表示する。画面上でには、入力された原画像が表示され、かつ、操作者が領域位置指定装置２によって入力した座標を前記の原画像上に各座標間を結ぶ線分として表示する。また、後述の画像処理動作によって生成される抽出領域の輪郭座標列をもとに、輪郭座標列内部の原画像を抽出し表示する。
【００３２】
図２は、後述する画像処理動作の初期段階で、表示装置６に表示される画像を示す。２１は画像入力装置１によって読みだされた原画像であり、物体を表す物体像を複数個含む。２１は、煙突のある三角屋根の家２２、ビル２３、樹木２４、空２５、地面２６からなる。
【００３３】
この原画像２１上に重ねて、操作者が入力した初期領域２７が表示される。ここで三角屋根の家２２を抽出するべき対象物とし、それ以外の２３、２４、２５、２６を背景とする。初期領域２７は、操作者が抽出するべき対象物である三角屋根の家２２を含むように単一の線分で指定した領域である。
【００３４】
図２では、対象物である三角屋根の家２２の煙突、屋根のひさしの一部が初期領域２７内に含まれていない。また逆に、背景であるビル２３、樹木２４、空２５、地面２６の一部が初期領域２７に含まれている。
【００３５】
図３は図１に示す画像処理装置によって実施される画像処理動作を説明するためのフローチャートである。このフローチャートを用いて、図２に示す原画像２１に対し、操作者が初期領域２７を指定した場合に、原画像２１から抽出対象物２２を抽出する画像処理動作を説明する。
【００３６】
まず、画像入力画像入力装置１は、対象となる原画像２１を記憶装置３に格納する（ステップＳ１）。次に表示装置６は、記憶装置３に格納された原画像２１を画面上に表示する（ステップＳ２）。続けて記憶装置３に格納された原画像２１を分割処理部８の画像特性取得部８ａが読み込み、画像の表示特性を取得する（ステップＳ３）。ここで画像の表示特性は、格納されていた特性値をそのまま用いても良いし、必要ならば読み込まれた画素の表示特性を別の表示特性値に変換しても良い。たとえば、単色光の組合せ赤、緑、青の輝度値から、ＨＳＶ値に変換を行ない、その特性値を用いても良い。
【００３７】
次いで、この画像特性値を用いて領域分割処理を行なう（ステップＳ４）。このステップＳ４では平滑化部８ｂ、差分計算部８ｃ、近傍比較部８ｄを用いて、画像の特性値が類似する画素が連続する領域を、単一の領域として原画像から分割する。原画像２１の各物体像２２〜２６では、２２ａ〜２２ｄ、２３ａ〜２３ｂ、２４ａ〜２４ｂ、２５、２６が単一領域として分割される。ステップＳ４の詳細に関しては後述する。
【００３８】
ここまでの処理が終ると本画像処理装置は初期状態となる。この後、操作者が後述の初期領域指定操作を終了しないかぎり、この初期状態を保つ。なお、画像処理動作が終った後に再度処理をやり直す場合は、この初期状態に戻れば良い。
【００３９】
またステップ３による領域分割結果を表示装置６に表示し、操作者の初期領域指定の際の参考情報としても良い。またステップＳ３、Ｓ４は、次に示すステップＳ５、Ｓ６と並行して実施されても良い。
【００４０】
次いで、操作者が領域位置指定装置２を用いて初期領域を指定する（ステップＳ５）。この初期領域は、初期領域の情報、たとえば、座標列、または２次元画像データ（マスク画像）として記憶装置４に格納される。操作者が初期領域の指定を終えた後で、次のステップＳ６へ移る。
【００４１】
ステップＳ６では、領域区分処理部９により、ステップＳ５により生成された初期領域の情報から、原画像を初期領域の輪郭を中心に輪郭内外の領域を複数の領域に区分し、原画像内の全ての画素がどの区分領域に含まれるかを決定する。具体的には、領域区分処理部９では初期領域輪郭抽出部９ａ、輪郭内外距離算出部９ｂ、区分領域決定部９ｃを順に用いて、上記処理を実施する。
【００４２】
まず最初に初期領域輪郭抽出部９ａを用いて、記憶装置４に格納された初期領域の情報から、初期領域の輪郭を抽出する。たとえば、操作者が初期領域として初期領域の最外縁部上の座標を指定し、記憶装置４にその座標列が順に格納されている場合ならば、その座標列を順に結ぶ線分上の全ての座標を、初期領域輪郭として抽出する。
【００４３】
次に、輪郭内外距離算出部９ｂを用いて、初期領域輪郭から輪郭外部、および内部の各画素までの距離値を算出する。距離値を算出する手法としては、たとえば、輪郭線上の全ての画素を０とし、次に距離未確定の画素の周囲８近傍の画素で距離が確定している画素がある場合に、確定された距離値を調べ、この最小値に「１」を加算した値を該画素の距離値として確定する。
【００４４】
最後に、区分領域決定部９ｃを用いて、原画像内の全ての画素について、どの区分領域に属するかを決定する。区分領域は、あらかじめ設定された距離範囲内に収まる距離値をもつ画素の集合である。距離範囲は後述する領域判定処理に対応するように、事前に適当な値に設定されているとする。この値は事前に操作者が設定しておいても良い。区分領域決定部９ｃは原画像内の全ての画素について輪郭内外距離算出部９ｂによって得られた距離値を調べ、該当する区分領域を決定する。
【００４５】
区分領域の様子を図４に模式的に示す。４１は操作者が指定した初期領域の輪郭を示す。この輪郭から外側に一定距離離れた画素を結んだ閉曲線が４２、４３である。この閉曲線は、すなわち初期領域の輪郭を外側に膨張させたものに同じである。また逆に、初期領域の輪郭から内側に一定距離離れた画素を結んだ閉曲線が４４、４５である。この閉曲線は、すなわち初期領域の輪郭を内側に縮小させたものに同じである。つまり、図４における区分領域は、閉曲線４５より内側、閉曲線４５より外側で閉曲線４４の内側、閉曲線４４より外側で閉曲線４１の内側、閉曲線４１より外側で閉曲線４３の内側、閉曲線４３より外側で閉曲線４２の内側、閉曲線４２より外側、の計６つの領域に区分けされる。
【００４６】
上述のステップＳ６の動作が終ると、動作はステップＳ７に進む。ステップＳ７では、ステップＳ３で生成された分割領域の各画素を、ステップＳ６で生成された各区分け領域に含まれる分割領域の面積の割合と各画素が含まれる区分け領域に応じて、各画素が抽出すべき対象であるかを判定する。
【００４７】
ステップＳ３で生成された原画像２１の単一領域領域２２ａ〜２６は、２２ａ〜２２ｄが抽出対象であると判定される。ここで、初期領域２７に一部含まれていなかった家の煙突２２ａや、家の屋根２２ｂは、ステップＳ６で生成された初期領域輪郭外側の区分領域と輪郭内部の区分領域の両方にまたがって含まれているが、外部に含まれる区分領域に比べて内部の区分領域に含まれる割合が高いため、２２ａおよび２２ｂのすべての画素が抽出対象として判定される。ステップＳ７の詳細に関しては後述する。
【００４８】
なお、ステップＳ６で区分けされる領域数は原画像、および操作者の初期領域指定方法に応じて変更しても良い。たとえば、原画像が自然画像ではなく、各対象物に使用されている色数が少ない場合は、区分け領域は２つでも十分な場合がある。このとき区分け領域は、輪郭線の内側の領域と外側の領域となるため、ステップＳ７の処理は請求項３に示す輪郭領域の外部に含まれる面積値と内部に含まれる面積値の割合から、抽出領域を判定する処理を実現することに同じである。
【００４９】
続いて、ステップＳ７で抽出対象として選択された画素領域から抽出輪郭座標列を生成し、記憶装置５に格納する（ステップＳ８）。ここで抽出輪郭座標列は、たとえば原画像がいわゆる自然画像である場合、抽出対象となる画素領域の輪郭部分が色ずれやリンギングなどのノイズの影響により、背景部分の画素を含んでいる可能性がある。したがって、このステップ８で、たとえば、Ｓｎａｋｅ法と称される手法で対象物の抽出輪郭座標を生成しても良い。なお、Ｓｎａｋｅ法は「Ｍ．Ｅａｓｓ．：Ｓｎａｋｅｓ：ＡｃｔｉｖｅＣｏｎｔｏｕｒＭｏｄｅｌｓ，Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ，Ｐ．３２１，１９８８」に示されている。
【００５０】
最後にステップＳ９で記憶装置５に格納された抽出輪郭座標列をもとに、原画像の抽出対象画像領域部分を抜き出し、表示装置６に表示する。
【００５１】
図５は、図３に示したフローチャートのステップＳ４の原画像領域分割処理の詳細を表すフローチャートである。このフローチャートを用いて、画像分割部８の動作を説明する。また図６はこの処理動作を、簡単のために原画像の横方向の画素の並び、すなわち１次元画像に関して適応した場合に、得られる結果を表した図である。
【００５２】
図３のフローチャートでステップＳ３が終了すると、処理対象である原画像の画像特性値が原画像内の全ての画素について求まる。図６の６１は、ステップＳ３によって生成された画像特性値の例を示す。この結果をもとに図４のフローチャートのステップＳ４の原画像領域分割処理が開始され、図５のフローチャートで示すステップＳ５１に進むことになる。
【００５３】
まずステップＳ５１では、同一領域かどうかを判定する原画像内の２画素を選択する。通常これらの画素は隣り合った２画素であり、たとえば、図６に示すような１次元方向に順に画素特性値を取り出す場合ならば、左右に隣り合った２画素である。図６の６１では６３と６４を判定対象としている。ただし、処理速度向上のために処理をはぶく場合などは、必ずしも隣り合っている必要はない。
【００５４】
次にステップＳ５２では、各画素の画像特性値を、対象画素近傍の特性値を参照することにより、近傍の画素特性値も組み入れた新しい特性値として算出する。具体的には、平滑化部８ｂを用いて対象画素と近傍の複数の画素とを平滑化し、その結果を対象画素の画像特性値とする。近傍の画素は対象画素の８近傍の画素でも良いし、対象の左右数画素を用いても良い。
【００５５】
平滑化は、各要素の画像特性値の単純な加算とその結果を要素数により除算する、いわゆる平均化でも良いし、近傍位置による重みづけ係数を設定し、各要素に乗算し結果を加算する方法でも良い。図６の６３と６４を判定対象としたときに、平滑化の方法として、６３より左３画素を平均した値と６４より右３画素を平均した値を用いた場合についての結果を６２に示す。
【００５６】
次にステップＳ５３では、差分計算部Ｓ８ｃを用いて、ステップＳ５２で求めた対象画素の画像特性値を減算し、その差分値の絶対値を求める。図６の６１に対してこの処理を適応した結果を図６の６に示す。
【００５７】
続いてステップＳ５４では、この差分値があらかじめ設定された基準値より大きいか小さいかを判定する。もし大きい場合はステップＳ５５へ進む。それ以外の場合はステップＳ５７へ進む。図６では、比較する基準値を８と設定し、それを越える差分値を図６の６６に示す。
【００５８】
ステップＳ５５では、近傍比較部８ｄを用いて、ステップＳ５３で算出された差分値が対象画素の周囲の差分値より大きいかを調べる。ここで周囲の差分値とは、２次元画像では、たとえば対象画素の８近傍において上記のステップＳ５１とＳ５２の処理を行なった結果の差分値を指す。ここで、もし差分値が周囲の画素より大きければ、ステップＳ５６に進む。それ以外であればステップＳ５７へ進む。
【００５９】
ステップＳ５６では、対象となる画素は異なる領域であると判断し、たとえば別々のラベル番号を付けることにより、異なる領域であることを明示する。
【００６０】
ステップＳ５７では、対象となる画素は同じ領域であると判断し、同一領域として、たとえば同一ラベル番号を付けることにより、同じ領域であることを明示する。ステップＳ５６、Ｓ５７が終ると、ステップＳ５８へ移り、まだ処理していない画素があるかを調べる。もし未処理の画素がないなならば、当該フローチャートの動作を終了する。そうでなければステップＳ５１に戻り、再び次の２画素を選択して上記の動作を続行する。ここで、図６に示す１次元画像の場合、ステップ５３で求められた、基準差分値より大きい差分値６６の中で周囲の差分値より差分値が大きいのは、図６の６７であり、結局６７より左側と右側の領域に画像が分割されることが分かる。
【００６１】
なお、上記分割処理は必ずしも全ての画素間で行なわれなくても良く、対象となる原画像の横方向の画素の並びに関してのみ行ない、上下方向に関しては別の方式、たとえば、画素間の色差値のみを用いて分割処理を実施しても良い。
【００６２】
このように上記分割処理により、いわゆる自然画像を原画像とした場合に、各対象物間の境目部分が原画像撮像時のノイズなどの影響で画像特性値が乱れて連続的に変動している場合でも、境目部分で領域を過度に分割し過ぎるることなく、安定した領域分割を行なうことができる。
【００６３】
図７は、図３に示したフローチャートのステップＳ７の領域判定処理の詳細を表すフローチャートである。このフローチャートを用いて、抽出判定部１０の動作を説明する。
【００６４】
また図８は区分領域を表す図である。この図では、フローチャート図３のステップＳ６により領域が４つに区分けされた場合について示している。図８には初期領域の輪郭線８１、輪郭線内側の閉曲線８２、輪郭線外側の開曲線８３、および領域判定対象の分割領域８４を含み、輪郭線内側の閉曲線８２より更に内側の領域を対象領域（図中８５）、輪郭線内側の閉曲線８２から輪郭線までにある領域を準対象領域（図中８６）、輪郭線から輪郭線外側の閉曲線８３までにある領域を準背景領域（図中８８）、輪郭線外側の閉曲線８３より更に外側にある領域を背景領域（図中８８）と定義する。
【００６５】
図３のフローチャートでステップＳ６が終了すると、ステップＳ７の領域判定処理が開始され、図７のフローチャートで示すステップＳ７０１に進むことになる。
【００６６】
最初にステップＳ７０１では、図３のステップＳ４で生成された各分割領域について、面積計算部１０ａを用いて、図３のステップＳ６で生成された各区分領域内に含まれる面積を計算する。具体的には、原画像内の全ての画素に対応する区分領域が区分領域決定部９ｃにより決定されているため、各分割領域内の全ての画素について該画素がどの区分領域に含まれるかが分かり、これに基づき区分領域ごとに含まれる画素総数を算出すれば良い。
【００６７】
以降背景領域に含まれる面積値をＺ１、準背景領域に含まれる面積値をＺ２、準対象領域に含まれる面積をＺ３、対象領域に含まれる面積をＺ４とする。
【００６８】
以降のステップは、抽出画素判定部１０ｂを用いて実施される。まずステップＳ７０２では、各分割領域内の抽出判定を行なう画素を、分割領域内のまだ抽出判定されていない画素の中から任意に選ぶ。この画素を判定対象画素と定義する。
【００６９】
次いで、ステップＳ７０３では、判定対象画素がどの区分領域に含まれているかを距離値に基づいて調べる。ステップＳ７０３の結果、判定対象画索が、背景領域に含まれている場合はステップＳ７０４へ、準背景領域に含まれている場合はステップＳ７０５へ、準対象領域に含まれる場合はステップＳ７０６へ、対象領域に含まれる場合はステップＳ７０７へ進む。
【００７０】
ステップＳ７０４では、判定対象画素は無条件に非抽出対象と決定し、ステップＳ７１２へ進む。ステップＳ７０５は、判定対象画素が準背景領域に含まれている場合であり、この時点では抽出の判断できないとし、続いてステップＳ７０８へ進む。ステップ７０８では、Ｚ１〜Ｚ４の面積値を比較し、その中の最大値を調べる。最大値が準対象、または対象領域の面積値であるＺ３またはＺ４である場合は、ステップＳ７〜０９へ進む。それ以外の場合は、判定対象画素は非抽出対象と決定し、ステップＳ７１２へ進む。
【００７１】
ステップＳ７０９では、準背景、および背景領域の面積値であるＺ１とＺ２を加算した面積値Ｚ１＋Ｚ２が、基準値Ｉ１より大きい場合は、判定対象画素は非抽出対象と決定し、ステップ７１２へ進む。それ以外の場合は、判定対象画素は抽出対象領域と決定し、ステップＳ７１３へ進む。
【００７２】
ステップＳ７０６は、判定対象画素が準対象領域に含まれている場合であり、この時点では抽出の判断はできないとし、続いてステップＳ７１０へ進む。ステップ７１０では、Ｚ１〜Ｚ４の面積値を比較し、その中の最大値を調べる。最大値が準背景、または背景領域の面積値であるＺ１またはＺ２である場合は、ステップＳ７１１へ進む。それ以外の場合は、判定対象画素は抽出対象と決定し、ステップＳ７１３へ進む。
【００７３】
ステップＳ７１１では、対象領域の面積値であるＺ４が基準値Ｉ２より大きい場合、または、準背景および背景領域の面積値であるＺ１とＺ２を加算した面積値Ｚ１＋Ｚ２が、基準値Ｉ３より小さく、かつ、準対象および対象領域の面積値であるＺ３とＺ４を加算した面積値Ｚ３＋Ｚ４が、基準値Ｉ４より大きい場合は、判定対象画素は抽出対象と決定し、ステップ７１３へ進む。それ以外の場合は、判定対象画素は非抽出対象領域と決定し、ステップＳ７１２へ進む。
【００７４】
ステップＳ７０７では、判定対象画素は無条件に抽出対象と決定し、ステップＳ７１３へ進む。ステップ７１２は、判定対象画素が非抽出対象と判断された場合である。ここで判定対象画素に対し、判定結果を表す情報を付与する。たとえば、非抽出としてラベル「０」を定義し、該画素の座標の情報とともに格納しておく。この後、ステップ７１４へ進む。
【００７５】
ステップ７１３は、判定対象画素が抽出対象と判断された場合である。ここで判定対象画素に対し、判定結果を表す情報を付与する。たとえば、抽出としてラベル「１」を定義し、該画素の座標の情報とともに格納しておく。この後、ステップ７１４へ進む。
【００７６】
ステップＳ７１４では、すべての画素に関して抽出判定が行なわれたならば、当該フローチャートの動作を終了し、図３のステップＳ８へ進む。まだ判定が行なわれていない画素がある場合には、ステップＳ７０２へ戻る。
【００７７】
なお、ステップＳ７０９、Ｓ７１１で使用される基準値Ｉ１〜Ｉ４は、あらかじめ任意に設定した値を用いる。この値は区分領域の範囲を考慮して設定される。また、操作者が原画像、および操作者の初期領域指定方法に応じて適宜変更できるようにしても良い。
【００７８】
ここでステップＳ７０５以降のステップ動作から分かるように、判定対象画素が初期領域の輪郭外部にある場合でも、判定対象画素が属する分割領域の、輪郭内部の面積が十分に大きく、かつ輪郭外部の面積がそれに対し十分小さければ、抽出対象とみなされることが分かる。逆にステップＳ７０６以降の動作から分かるように、判定対象画素が初期領域の輪郭内部にある場合も、対象画素が属する分割領域の、輪郭外部の面積が十分に大きく、かつ輪郭内部の面積がそれに対し十分に小さければ、非抽出対象とみなされることが分かる。これにより、初期領域の輪郭外であっても抽出すべき抽出対象を取り込み、また、輪郭内であっても非抽出対象、すなわち背景を取り除くことができる。
【００７９】
また、ステップＳ７０４、Ｓ７０７からは、ある一定距離以上初期領域の輪郭から離れている画素は、その判定対象画素の属する分割領域によらず、画素の位置が初期領域の輪郭の内か外によって抽出対象の決定がなされることが分かる。これにより、画像分割処理が十分正確に行なえなかった場合でも、操作者の指定する初期領域の輪郭形状に沿った抽出処理が行なえるため、操作者の意図をある程度反映した抽出像を得ることができる。
【００８０】
【発明の効果】
本発明の請求項１により、複数の画素からなる２次元画像を、画素データが類似する１または複数の画素を含む複数の分割領域に分割した領域と、操作者が指定した抽出すべき抽出領域を全部または一部含む初期領域から、原画像の各画素が抽出領域に含まれるか否かを判定し、操作者が所望する領域の画素データを、画像信号から抽出することができる。操作者が指定する初期領域は必ずしも抽出対象をすべて含む必要はなく、操作者の操作ミスや、指定デバイスの精度が悪い場合に対しても、抽出処理を安定して実施しすることができる。またこれにより、操作者の指定処理動作の負担を減らすことができる。
【００８１】
また本発明の請求項２により、画像分割手段は、２次元画像内の画素と周囲の複数の画素の、個々の表示特性の数値、または各該画素近傍の表示特性の数値を累積し重み演算を行なった数値の差分値を算出し、得た差分値とあらかじめ設定した比較すべき基準差分値を越える差分値を持つ２次元画像内の画素で、かつ、その差分値が周囲の画素の差分値より大きい場合には、該画素と周囲の画素とが異なる領域に含まれ、それ以外の場合には、周辺の画素と同一領域に含まれると判定し、各分割領域が同一領域に含まれる画素だけを含むように２次元画像を分割する。これにより、いわゆる自然画像を原画像とした場合に、各対象物間の境目部分が原画像撮像時のノイズなどの影響で画像特性値が乱れて連続的に変動している場合でも、境目部分で領域を過度に分割し過ぎることなく、安定した領域分割を行なうことができる。
【００８２】
また本発明の請求項３によれば、初期領域の輪郭の外部にある前記分割手段により分割された分割領域の画素が指定された初期領域の輪郭外にある場合でも、分割領域の初期領域内部に含まれる面積値が基準値より大きければ、抽出対象領域であると判定する。また逆に初期領域内部に含まれる面積値が基準値より小さければ、初期領域の輪郭内にある分割領域の画素でも、非抽出対象領域であると判定する。これにより、背景と対象の像を判別し、所望の対象の像を得ることができる。
【００８３】
さらに本発明の請求項４によれば、前記抽出判定手段において、判定対象となる領域の各画素を初期領域の輪郭位置から輪郭外部、及び内部への距離値によって領域を区分けすることにより、判定対象領域の各画素が抽出すべき領域内に含まれるかどうかの判定を、区分けされた領域に含まれる面積値、及び各画素が含まれる区分け領域によって判定する。この輪郭線を中心とした区分け領域の重みづけと、その区分け領域に含まれる面積値をもとに抽出判定を行なうことで、より正確な抽出処理を行なうことができる。また、分割領域の抽出判定を行なう際に、分割領域全体としての抽出判定とは別に、各画素ごとに、該画素が含まれる区分け領域に応じて判定を行なうことにより、画像分割処理が十分正確に行なえなかった場合でも、操作者の指定する初期領域の輪郭形状に沿った領域を抽出するため、操作者の意図をある程度反映した抽出画像を得ることができる。
【図面の簡単な説明】
【図１】本発明における画像処理装置の一実施形態を示すブロック図である。
【図２】表示装置６に表示される画像の具体例を示す図である。
【図３】本発明における画像処理装置の処理動作を示すフローチャートである。
【図４】本発明における領域区分処理を示す模式図である。
【図５】本発明における原画像領域分割処理の詳細を示すフローチャートである。
【図６】本発明における原画像領域分割処理を、原画像の横方向の画素の並びに適応した場合の結果を示す模式図である。
【図７】本発明における領域判定処理の詳細を示すフローチャートである。
【図８】本発明における領域判定処理を示す模式図である。
【符号の説明】
１画像入力装置
２領域指定装置
３〜５記憶装置
６表示装置
７演算処理装置
８画像分割部
９領域区分処理部
１０抽出判定部
１１抽出処理部

Claims

複数の画素からなる２次元画像を処理する画像処理装置において、
２次元画像を画素データが類似する１または複数の画素を含む複数の分割領域に分割する分割手段と、
２次元画像から、抽出すべき抽出領域を全部または一部含む初期領域を指定する初期領域指定手段と、
分割手段によって分割された各分割領域と初期領域指定手段で指定された初期領域に基づいて、各分割領域の各画素が抽出領域に含まれるか否かを判定する抽出判定手段と、
抽出判定手段によって抽出領域に含まれると判定された分割領域の画素データを、画像信号から抽出する手段とを備え、
前記抽出判定手段は、
判定対象となる領域を初期領域の輪郭位置から輪郭外部、及び内部への距離値によって複数の区分け領域に区分けする区分け手段と、
区分け手段により初期領域の輪郭から外部、及び内部へ区分けされた各区分け領域に含まれる分割領域の面積値をそれぞれ演算する面積演算手段を備え、
分割領域の画素が抽出領域内に含まれるか否かの判定を、各区分け領域に含まれる分割領域の面積値の割合と、画素が含まれる区分け領域とに応じて判定することを特徴とする画像処理装置。
前記分割手段は、前記２次元画像内の画素と周囲の複数の画素の、個々の表示特性の数値、または該各画素近傍の表示特性の数値を累積し重み演算を行なった数値の差分値を算出する差分値演算手段を備え、差分値演算手段により得られる差分値と比較すべき基準差分値を設定し、その基準差分値を越える差分値を持つ２次元画像内の画素で、かつ、その差分値が周囲の画素の差分値より大きい場合には、該画素と周囲の画素とが異なる領域に含まれ、それ以外の場合には同一領域に含まれると判定し、各分割領域が同一領域に含まれる画素だけを含むように２次元画像を分割することを特徴とする請求項１記載の画像処理装置。