JPH08167028A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【目的】処理に膨大なメモリ容量を要することなく画像
の目的部分を抽出処理することができるようにする。 【構成】処理対象の画像を区分けし、この区分けしたも
のを単位に、第１段階での領域統合を行い、この領域統
合が済んだ後、この処理済みの画像を取り纏めて元の１
画面分の画像として扱い、第２段階での領域統合を行っ
て、目的の領域の抽出を可能にする。本発明では処理対
象の画像を分割あるいはブロック化して領域統合処理を
行うことで、領域統合処理毎の一度に取り扱う画素・ク
ラスタ・領域の個数を限定することができようにし、こ
れによって記憶資源の小さな電子計算機においても演算
処理が可能となるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理方法にかかわ
り、特に画像データをある特徴を有する領域毎に分割す
るための画像処理方法に関する。

【０００２】

【従来の技術】印刷・写真・絵画等の分野においては、
画像の明度・色相・彩度・座標（位置）等を総合的にと
らえ、「ライト、中間、シャドウ」のように画像の部分
を分類することが多い。そして、これは例えば、人物を
表す写真の校正段階において「人物の“ライト”をさら
に明るく」等と云った具合に、画像のある部分を特定す
るためにこれらの「ライト、中間、シャドウ」という概
念が用いられる。そして、「ライト、中間、シャドウ」
の区分け判断は、専ら作業者個人の判断に委ねられてお
り、この判断をするに当たって、作業者は画像の明度・
色相・彩度・座標等を総合的に考慮することになる。

【０００３】ところで近年、印刷等の分野においては、
原稿画像をコンピュータにより処理することが多くなっ
た。そのため、「ライト、中間、シャドウ」の分類につ
いても同様にコンピュータにより自動的に抽出処理でき
ることが好ましい。コンピュータにより画像中のある領
域を抽出する場合に利用可能な一般的な手法としては、
“濃度差を有する画像を所定の閾値を用いて領域分割を
行う方法”、“濃度または色度等のヒストグラムにより
決定された閾値を用いて領域分割を行う方法”、“画像
のエッジを領域の境界線と看做して領域分割を行う方
法”等がある。

【０００４】しかしながら、これら従来の画像処理方法
は、いずれも画像の明度，色相，彩度，座標等の各要素
を総合的にとらえるものではなく、一つの要素について
のみを対象として判断し、領域分割を行うものである。
故に、従来の画像処理方法により分割された領域は、
「ライト、中間、シャドウ」という概念による領域とは
異なったものとなってしまう。すなわち、上述した画像
処理方法では画像を「ライト、中間、シャドウ」のよう
な概念に当て嵌めて分割しようとしても、人間の認識に
合うような領域分割はできない。

【０００５】また、「ライト、中間、シャドウ」の分割
・分類に階層性があることに着目すれば、階層的クラス
タ分析法を画像に適用して、この「ライト、中間、シャ
ドウ」の各領域を分割・分類することも考えられる。と
ころが、この場合には以下の問題が生じる。

【０００６】それは階層的クラスタリング（階層的領域
分け）を行うためには、全ての画素対についての色空間
上の距離を計算し、この中から最小距離のクラスタ対を
見つけ出さなければならないと云う点である。このた
め、画素数が増えると、計算対象とするクラスタ対の数
は膨大な数となり、処理時間および必要とするメモリ容
量は膨大なものとなってしまう。

【０００７】例えば、画素数が５１２×５１２の画像デ
ータにあっては、全画素数ｎがｎ＝５１２×５１２＝２
６２１４４になるが、この２６２１４４画素での画素対
の組み合わせの数は、 _nＣ₂ ＝３．４３６×１０⁶ にも
なる。そして、このような膨大な数のデータを保持する
には、およそ２００〜４００ＧＢｙｔｅｓもの大容量メ
モリを必要とする。

【０００８】また、画素数ｎについての画素対の数は _n
Ｃ₂ ＝ｎ（ｎ＋１）／２で表されることから、演算対象
となる画素対の数は画素数ｎの二乗に比例して増加する
ことが確認できる。従って、かかる方法を利用してコン
ピュータで処理するには、あまりにも膨大な計算時間と
膨大なメモリ容量を必要とすることなるから、高精細画
像を対象としたクラスタリングには適用できず、上述の
ような「ライト、中間、シャドウ」の各領域に分割する
処理に適用するには不適当である。

【０００９】故に、従来の画像処理方法はいずれも画像
を「ライト、中間、シャドウ」の各領域に分割する処理
に適用するに不向きである。そこで、これら問題を解決
するために本発明者は、特願平５−３４００７７号（以
下、先行技術と呼ぶ）に示す如き階層的な領域抽出方法
を提案した。この方法を次に説明する。

【００１０】［先行技術］すなわち、この先行技術に適
用した手法は、 ［Ｉ］ 画像データ中の対比される２つの領域の類似度
を、色空間上における当該２つの領域の座標に基づき算
出し、上記画像データ中の一の領域に隣接した複数の他
の領域のうち、当該一の領域との類似度が最大となる他
の領域を当該一の領域に順次統合する。

【００１１】［II］ また、上述の［Ｉ］の処理に加
え、さらに領域統合の順序および領域統合された領域間
の類似度を表わす履歴データを生成し、上記履歴データ
に従い領域統合された画像データのうち、所定範囲の類
似度の領域対を、領域統合の順序と逆の順序で順次分割
する。

【００１２】これらのうち［Ｉ］の方法は、まず画像デ
ータ中の対比される２つの領域（クラスタ）の類似度
を、色空間上における当該２つの領域の座標に基づき算
出する。この演算結果は、２つの領域の色度等が近似し
ている場合に、類似度は大きくなる。そして、画像デー
タ中の一の領域に隣接した複数の他の領域の中から、当
該一の領域との類似度が最大となる他の領域を当該一の
領域に順次統合する。その結果、色度の近似した領域同
士が統合され、領域間のコントラストを十分に高くする
ことができることになる。

【００１３】また、［II］の方法では、まず、画像デー
タ中の対比される２つの領域の類似度を、色空間上にお
ける当該２つの領域の座標に基づき算出する。そして、
上記画像データ中の一の領域に隣接した複数の他の領域
のうち、当該一の領域との類似度が最大となる他の領域
を当該一の領域に順次統合する。このとき、領域統合の
順序および領域統合された領域間の類似度を表わす履歴
データを生成しておく。そして、領域統合された画像デ
ータのうち、上記履歴データに従い、所定範囲の類似度
の領域対を、領域統合の順序と逆の順序で順次分割す
る。すなわち、領域統合された画像データは、ある程度
特徴の近似した領域毎に再度分割されるので、画像デー
タ中から所望の領域を抽出することができるようにな
る。

【００１４】さらに詳細を説明しておく。ここで先行技
術において採用している階層的クラスタリングの概要を
先ず説明する。先行技術における階層的クラスタリング
とは、色相、明度、彩度等の特徴が近似している（つま
り類似度の大きい）領域（クラスタ）同士を順次統合し
ていくことにより画像の領域分割を行うと云う処理であ
る。

【００１５】この類似度の大きい領域同士を順次統合し
ていくと云う手法によれば、与えられた画像について人
物と背景との領域に分割すると云ったことが可能とな
る。先行技術の手法を採用した画像処理装置（コンピュ
ータ）に、例えば、物と背景からなるｎ画素構成のカラ
ー画像のデータ（画像データ）を与えたとする。すると
この画像処理装置では、ｎ画素の画像データ中の各画素
の色空間上の座標点を初期クラスタとして背景部分と人
物部分の切り分けをする処理を進めることになる。

【００１６】色空間上におけるｎ個のクラスタは、背景
を表す画素と、人物を表す画素とに対応して２つの固ま
った分布をなす。そこで、先行技術では、画面を構成す
るｎ個の初期クラスタの中の一のクラスタに着目し、色
空間上において当該クラスタの色度に近い他のクラスタ
を探し出し、統合するようにする。すなわち、画像処理
装置は一のクラスタと他の全てのクラスタとの色度等を
色空間上の座標により計算し、色度の近似した他のクラ
スタを探し出す。

【００１７】このようにして検出されたクラスタ対は、
実画像における色相、明度、彩度等が互いに近似したも
のとなる。従って、この検出されたクラスタ対を統合す
る。この検出されたクラスタ対を統合することにより、
クラスタの数はｎ−１個となる。この処理を繰り返し実
行し、色度の近似したクラスタ同士を順次統合すると、
クラスタの数は次第に減り、最終的にはクラスタの数は
１個となるが、ここでは、画像処理装置が領域統合の過
程においてクラスタの数が２個となった時点において領
域統合を中止するようにする。

【００１８】この段階で領域統合を中止することで、与
えられた画像の各画素を２つのクラスタに分類したこと
になる。このようにして得られた２つのクラスタについ
て見てみると、同一のクラスタを構成する画素同士は互
いに色度が近似しているが、異なるクラスタ間の画素同
士は色度が大きく異なっている。すなわち、画像データ
は特徴の異なる２つのグループに分割されたことにな
る。以上の処理により、画像を背景部分と人物部分の２
つの領域に分割することが可能となる。

【００１９】図１５は画像データおよび領域統合処理の
概念図である。図１５中の符号２１は、入力された画像
データのうちの一部（９画素分）を示している。また、
図１６はＬ^* ａ^* ｂ^* 色空間上における画像データを表
す図である。先行技術にあっては、例えばある画素（ク
ラスタ）２１０と、他のいずれの画素を統合させるかを
以下のように判断している。

【００２０】先ず、画像処理装置は、上記ある画素（以
下、着目画素と呼ぶ）２１０に隣接する他の画素（四近
傍（画素は方形として考えて、着目画素の四辺に接する
４つの画素）または八近傍（着目画素の四辺に接する４
つの画素と、着目画素における対角位置に接する４つの
画素の計８画素））を探し出す。すなわち、着目画素２
１０に対して隣接する画素のみが、当該着目画素２１０
と統合可能な対象画素である。

【００２１】そして、画像処理装置は、着目画素２１０
に隣接する他の画素のうち、対比強度尺度値が最小とな
る（類似度が最大となる）画素を探し出す。対比強度尺
度値は、後述するようにＬ^* ａ^* ｂ^* 色空間（図１６）
上において領域統合をした場合に、クラスタの分散値の
変化を表わしたものである。

【００２２】Ｌ^* ａ^* ｂ^* 色空間は均等色空間であり、
この空間上における距離は視覚上の色度の差に略比例し
たものとなっている。すなわち、Ｌ^* ａ^* ｂ^* 色空間に
おける対比強度尺度値が小さいということは、クラスタ
対の色度等が近似している（類似度が大きい）ことを意
味し、対比強度尺度値が大きいということは領域対の色
度等が相違（類似度が小さい）ということを意味してい
る。

【００２３】例えば、Ｌ^* ａ^* ｂ^* 色空間において着目
画素２１０に対してその周囲の各画素について対比強度
尺度値の大小を調べる。その結果、着目画素２１０に対
して、画素２１１の持つ対比強度尺度値が最小であった
とすると、画像処理装置は着目画素２１０とこの対比強
度尺度値最小の画素２１１との領域統合を行う。そし
て、これが終わると再びこの統合された着目画素２１０
に対するこのような処理を繰り返す。このような処理を
繰り返す毎に、隣接する画素（クラスタ）対のうち、そ
の時点での比較対象中における対比強度尺度値最小のも
のが着目画素に統合されてゆくことで、色度等の近似し
たもの同士が順次統合されて、画素（クラスタ）対は一
つずつ減少し、最終的には元の９個の画素は１つのクラ
スタ（領域）にまとめられることになる。

【００２４】上述した階層的クラスタリング処理を効率
良く行うために、先行技術ではいわゆるグラフ構造によ
るデータ処理を行っている。すなわち、画像データを構
成する画素（クラスタ）を頂点とみなし、Ｌ^* ａ^* ｂ^*
色空間における画素（クラスタ）間の対比強度尺度値を
辺とみなし、各領域および各領域間の類似度等をグラフ
として扱うものである。これらの頂点および辺の全体を
グラフとしてとらえると、階層的クラスタリングの処理
はいわゆる木（ｔｒｅｅ）を構成することになる。以下
に、本画像処理装置における各種データ構造を図１８〜
図２１を参照しながら説明する。

【００２５】図１８は、頂点のデータ５０および辺のデ
ータ５１を表わしている。頂点のデータ５０はクラスタ
の情報を表すものであり、以下のデータにより構成され
ている。同図において、ラベル５０１はグラフ中の一意
の記号であれば良いが、本先行技術では頂点であるクラ
スタの実画像上の座標（ｘ，ｙ）を表わしている。例え
ば、３２ビットのデータのうちの上位１６ビットをｙ座
標値、下位１６ビットをｘ座標値とすると、ラベル５０
１はｙ×６５５３６＋ｘのように表わされる。また、画
像の幅をｗとし、ｘ＋ｙ×ｗのようにラベル５０１を表
わすことも可能である。

【００２６】Ｌ^* 平均値５０２、ａ^* 平均値５０３、ｂ
^* 平均値５０４は、クラスタ内の各画素についてのＬ^*
ａ^* ｂ^* 色空間における各座標の平均値を表わしたもの
である。サンプル数５０５は、クラスタを構成する全画
素数を表わしている。リストへのポインタ５０６は、コ
ンピュータにおけるメモリ上に置かれたリストデータ６
０のアドレスを表わすものである。また、リストデータ
６０は、辺のデータのポインタよりなるものであり、こ
れについては後述する（図１９）。二分木へのポインタ
５０７は、統合前の頂点を表わす二分木のノードを表わ
すものである。すなわち、二分木のデータはクラスタの
統合履歴をツリー構造のデータとして表わしたものであ
る。

【００２７】辺のデータ５１は以下のように構成されて
いる。対比強度尺度値５１１は辺の両端にある頂点（ク
ラスタ）間のＬ^* ａ^* ｂ^* 色空間上における分散変化を
表わしている。すなわち、対比強度尺度値５１１は、対
比される２つのクラスタを統合したと仮定して、統合前
後におけるＬ^* ａ^* ｂ^* 色空間上のクラスタの分散値の
変化を表わしたものである。

【００２８】従って、“対比強度尺度値が小さい”と云
うことは、２つのクラスタを統合した場合における分散
値の変化が少ないと云うことであり、これはすなわち、
２つのクラスタの色度が近似している（類似度が大き
い）と云うことを意味している。

【００２９】逆に、“対比強度尺度値が大きい”と云う
ことは、２つのクラスタを統合した場合における分散値
の変化が大きいと云うことであり、これは結局のとこ
ろ、２つのクラスタの色度が相違している（類似度が小
さい）と云うことを意味している。なお、図１６におい
て、対比強度尺度値ｄ_pqの算出式に従い、対比強度尺度
値を算出する際に、Ｌ^* ａ^* ｂ^* の各成分に重み付けを
しても良い。

【００３０】辺のデータ５１中の頂点のデータへのポイ
ンタ５１２，５１３は、辺の両端の頂点のデータのアド
レスを示している。従って、辺のデータ５１を参照する
ことにより、クラスタの連結関係および各クラスタ間の
類似度を容易に判断することが可能となる。

【００３１】図１９は、リストデータ６０、頂点のデー
タ５０、辺のデータ５１の関係を表わしている。この図
の頂点のデータ５０、辺のデータ５１は上述した通りの
ものであり、また、リストデータ６０は、辺のデータ５
１のアドレスを示すポインタ６０１より構成されてい
る。よって、リストデータ６０を参照することにより、
辺および頂点の連結関係を把握することが可能となる。
また、辺のデータ５１中のポインタ５１２，５１３を参
照することにより、辺の両端にある２つの頂点のデータ
５０を探し出すことができ、頂点のデータ５０中のリス
トへのポインタ５０６を参照することによりリストデー
タ６０を探し出すことができる。

【００３２】図２０は、頂点のデータ５０、ツリー構造
のノードデータ７０を表わしている。ノードデータ７０
には、２つの頂点（クラスタ）を統合する際の情報が含
まれており、二分木のデータの一部を構成するものであ
る。ラベル７０１は統合後の頂点のラベルで、本先行技
術では、統合前の２つの頂点のラベルのいずれかとして
ある。

【００３３】Ｌ^* 平均値７０２、ａ^* 平均値７０３、ｂ
^* 平均値７０４は、２つのクラスタを統合した後の各色
成分の平均値である。すなわち、各クラスタの総画素数
に従い各色成分の値を加重平均したものが、Ｌ^* 平均値
７０２、ａ^* 平均値７０３、ｂ^* 平均値７０４である。
対比強度尺度値７０５は、上述したように２つのクラス
タを統合した場合におけるＬ^* ａ^* ｂ^* 色空間上の分散
値の変化を示している。

【００３４】サブ・ツリーへのポインタ７０６，７０７
は、統合されたノードデータ７０を指し示すものであ
る。このように階層的構造をなすノードデータ７０を辿
っていくことにより、領域統合の過程を把握することが
できる。

【００３５】図２１は、Ｂ−木（ｔｒｅｅ）を表わす図
である。このＢ−木８０は、対比強度尺度値をキー（検
索項目）としてリスト８１〜８６、…の中から対比強度
尺度の最小となる辺のデータを検索するために用いられ
る。すなわち、このＢ−木８０を参照することにより、
ある頂点（クラスタ）と、この頂点に隣接した他の頂点
とを結ぶ辺の中から色度が最も類似したものを、極めて
少ないメモリアクセスで検索することが可能となる。

【００３６】この図において、リスト８１〜８６、…に
は辺のデータ５１のアドレスを指し示すポインタが書き
込まれており、同一リストのポインタで示される辺のデ
ータ５１は同一の対比強度尺度値をもつものである。こ
れらのポインタは辺のデータ５１中の対比強度尺度値５
１１の昇順に対応して並んでいる。従って、最上位のリ
スト８１に登録されたポインタを調べ、このポインタの
示す辺のデータ５１を探し出すことにより、対比強度尺
度値が最小となる辺のデータ５１を探索できる。なお、
対比強度尺度値が同一となる辺が複数存在する場合に
は、同一のリストに複数のポインタが登録される。

【００３７】Ｂ−木８０における根のノードは４つのキ
ー８１１〜８１４からなり、さらにそれぞれのキーの前
後に５つのポインタ８２１〜８２５があり、各ポインタ
は一つのノードを指し、各キーは一つのリストをポイン
トする。これらは、全体として階層構造をなしている。
根の５つのポインタ８２１〜８２５はそれぞれ、キー８
１１より小さいキー、キー８１１より大きくキー８１２
より小さいキー、キー８１２より大きくキー８１２より
小さいキー、キー８１２より大きくキー８１３より小さ
いキー、…、キー８１４より大きいキーのようにデータ
が分割して割り当てられ、これらの各ポインタに接続さ
れた各ノードには、さらにデータが分割して割り当てら
れている。

【００３８】従って、各層毎に最上位のノード８０１，
８０２，８０３を辿っていくことにより、最小の対比強
度尺度値を示す辺のデータへのポインタのリスト８１を
探索することができる。なお、Ｂ−木８０は、リスト８
１、…の追加、削除が容易であると云う利点を備えてい
る。

【００３９】また、同一リスト内に複数の対比強度尺度
値が登録されている場合、このうちの一つが削除された
としても、リストが空になるまでそのキーは削除される
ことはない。すなわち、Ｂ−木８０は常に平衡状態を保
つため、高速の検索が可能となる。

【００４０】［先行技術における階層的クラスタリング
処理の具体例］続いて、本先行技術における階層的クラ
スタリング処理、すなわち各クラスタを１つのクラスタ
に統合するまでの処理を説明する。図１７は本先行技術
における領域統合の処理を表わすフローチャートであ
る。本先行技術を適用したコンピュータによる画像処理
装置には先ず、画像データを入力して、これを画像メモ
リに記憶させる。ここで、図１５に示される画像データ
２１が入力されたとする。実際の画像データはこれより
遥かに画素数が多いが、ここでは話しを簡潔にするため
に便宜的に３×３の画素の画像データ２１を例に説明を
進める。

【００４１】ステップＳ４１において、プロセッサは画
像データ２１に基づき、頂点のデータ５０、辺のデータ
５１、ノードデータ７０を算出することにより、いわゆ
る格子グラフを生成する（ステップＳ４１）。このステ
ップＳ４１の処理を詳細に表わしたものが、ステップＳ
４１１，Ｓ４１２のサブルーチンである。

【００４２】次にまずステップＳ４１１において、画像
データ２１の各画素についての頂点のデータを算出す
る。頂点のデータ５０は上述したように、ラベル５０
１、Ｌ^*ａ^* ｂ^* 色空間における各色成分の平均値５０
２〜５０４、サンプル数５０５、リストへのポインタ５
０６、二分木へのポインタ５０７により構成される。な
お、この時点では領域統合は行われてないため、ラベル
５０１は各画素の画像データ上の座標値となり、サンプ
ル数５０５は“１”となる。また、各色成分の平均値５
０２〜５０４は画素毎のＬ^* ａ^* ｂ^* 色空間上の座標値
となる。

【００４３】さらに、プロセッサは各画素について、二
分木のノードデータ７０を登録する。このとき、領域統
合は行われていないため所謂サブツリーは存在せず、よ
ってサブツリーへのポインタ７０６，７０７は空欄（ゼ
ロ）となる。また、クラスタの分散の変化を表わす対比
強度尺度値７０５も空欄（ゼロ）となる。

【００４４】つぎにステップＳ４１２の処理に移る。こ
のステップＳ４１２においては、辺のデータ５１を以下
の手順で算出する。先ず、プロセッサは、画像データ２
１中の画素２１０に着目し、この着目画素２１０と、こ
の画素２１０に隣接する（例えば４近傍）画素２１１〜
２１４との間のＬ^* ａ^* ｂ^* 色空間上における対比強度
尺度値を求める。

【００４５】すなわち、プロセッサはステップＳ４１１
で算出された頂点データ５０中のＬ^* ａ^* ｂ^* の各色成
分５０２〜５０４に基づき、着目画素２１０と画素２１
１〜２１４との各画素間における各色成分５０２〜５０
４の分散の変化を調べる。そして、これらの分散の変化
を、対比強度尺度値５１１として着目画素２１０の辺の
データ５１に登録する。また、辺のデータ５１のポイン
タ５１２，５１３には着目画素２１０の辺の両端にある
頂点のデータ５０のアドレスを書き込む。このようにし
て、着目画素２１０を中心としたこの着目画素２１０に
おける４つの辺のデータ５１が生成される。

【００４６】このようにして生成された辺のデータ５１
は、図２１のＢ−木８０にその検索用のキー（検索項
目）の情報と辺のデータへのポインタと共に登録する。
すなわち、プロセッサは、対比強度尺度値の小さい順に
辺のデータ５１のポインタを登録してゆくことで、リス
ト８１、…が完成する。以上のステップＳ４１１，Ｓ４
１２の処理により、頂点および辺のデータよりなる初期
格子グラフが完成する（ステップＳ４１）。

【００４７】これが終わると、総クラスタ数が“１”に
なったか否かを判断する（Ｓ４２）。このとき、領域統
合は行われていないため、画素数がそのまま総クラスタ
数となる。従って、総クラスタ数が“１”でないから、
ステップＳ４２の判断結果はＮＯとなり、次の対比強度
最小のクラスタ対（辺）の検出処理を行う（ステップＳ
４３）。つまり、ステップＳ４３での処理は、Ｂ−木８
０を参照し、リスト８１、…の中から対比強度尺度値が
最小となる辺のデータ５１を検索し、そして、検索が終
了したならば、リスト８１を先出し、または、後出し、
もしくは何らかの規定に従ってリスト全体から削除する
すると云った内容である。

【００４８】対比強度尺度値の最小となる辺のデータ５
１が検索されると、つぎにこの辺のデータ５１の両端に
ある頂点を統合する処理を行う（ステップＳ４４）。例
えば、着目画素２１０と画素２１１との対比強度尺度値
が最小であったとすると、着目画素２１０と画素２１１
との統合を行う。これに伴い、プロセッサは頂点のデー
タ５０、辺のデータ５１、二分木のデータ７０等の更新
も実施する。

【００４９】頂点のデータ５０の更新処理は、ステップ
Ｓ４３において統合された画素２１０，２１１のそれぞ
れに対応する２つの頂点のデータ５０を読み出し、いず
れか一方の頂点のデータ５０を他方の頂点のデータ５０
に統合することで行う。

【００５０】例えば、着目画素２１０に係る頂点のデー
タ５０を画素２１１に係る頂点のデータに統合したとす
る。２つの画素２１０，２１１が一つのクラスタに統合
されるとその結果、統合後のクラスタのＬ^* ａ^* ｂ^* 色
空間上における各色成分の平均値５０２〜５０４は変動
する。従って、統合されたクラスタにおける各色成分の
平均値５０２〜５０４も、着目画素２１０に係る頂点の
データ５０に登録する。

【００５１】ここで頂点のデータ５０中の二分木へのポ
インタ５０７の更新は、先ず、新たなノードデータ７０
を生成し、着目画素２１０の頂点のデータ５０中のポイ
ンタ５０７を、新たなノードデータ７０のポインタ７０
６に、そして、画素２１１の頂点のデータ中のポインタ
５０７を、新たなノードデータ７０のポインタ７０７に
それぞれ登録することで行う。また、着目画素２１０の
ラベル５０１を新たなノードデータ７０のラベル７０１
に、また、画素２１０，２１１の色成分５０２〜５０４
の平均値を新たなノードデータ７０の色成分７０２〜７
０４に、画素２１０，２１１を結ぶ辺のデータ５１中の
対比強度尺度値５１１を新たなノードデータ７０の対比
強度尺度値７０５にそれぞれ登録する。

【００５２】上記辺のデータ５１の更新処理は、画素２
１０，２１１の双方のリスト６０から頂点２１０，２１
１に関する辺のデータを削除すると云った処理となる。
これは２つの頂点を統合した場合、各頂点が保有してい
た情報が重複してしまうことがあることから、リストデ
ータ６０、Ｂ−木８０中の重複したデータを削除する必
要があるためであり、従って、画素２１０，２１１を統
合する第１回目の領域統合の段階においては、画素２１
０，２１１が重複して連結する辺が存在しないため、か
かる処理は必要がない。

【００５３】このようにして新たに統合された領域に対
する非類似度の更新を、これに隣接するすべての領域に
ついて行う。

【００５４】以上により、画素２１０，２１１が一つの
頂点（クラスタ）２１６に統合される。この後、ステッ
プＳ４２の処理に戻り、Ｓ４２〜Ｓ４４の処理を繰り返
し実行する。このようにして、画素データ２１の領域統
合の段階で、例えば図１６に示されるようにそれぞれ複
数の画素を有するクラスタＰ，Ｑ，Ｒが生成されたとす
る。

【００５５】この段階ではステップＳ４２の判断ルーチ
ンにおいて、まだ総クラスタ数が“１”でないから、こ
れらのクラスタＰ，Ｑ，Ｒの領域統合を行う処理が続
く。すなわち、ステップＳ４２の判断の結果、“ＮＯ”
であるから、クラスタＰ，Ｑ，Ｒの領域統合の処理を行
うべく、ステップＳ４３の処理に移り、ここでプロセッ
サはＢ−木８０を参照し、リスト８１、…の中から対比
強度尺度値が最小となる辺のデータ５１を検索する。

【００５６】検索が終了すると、次にリストからその検
索された他の登録を削除し、リストが空であれば、その
キーをＢ−木から削除する。対比強度尺度値の最小とな
る辺のデータ５１が検索されると、この辺のデータ５１
の両端にある頂点を統合する（ステップＳ４４）。例え
ば、クラスタＰとクラスタＱとの対比強度尺度値が最小
であったとすると、クラスタＰとクラスタＱとの統合が
行われる。これに伴い、頂点のデータ５０、辺のデータ
５１、二分木のデータ７０等の更新も行う（ステップＳ
４４）。

【００５７】つまり、頂点のデータ５０の更新処理は、
ステップＳ４３において統合されたクラスタＰ，Ｑのそ
れぞれに対応する２つの頂点のデータ５０を読み出し、
いずれか一方の頂点のデータ５０を他方の頂点のデータ
５０に統合すると云ったことで行う。そしてその結果、
例えば、クラスタＰに係る頂点のデータ５０をクラスタ
Ｑに係る頂点のデータに統合したとすると、２つのクラ
スタＰ，Ｑが一つのクラスタに統合された結果、統合後
のクラスタのＬ^* ａ^* ｂ^* 色空間上における各色成分の
平均値５０２〜５０４は変動するから、統合されたクラ
スタにおける各色成分の平均値５０２〜５０４を、クラ
スタＱに係る頂点のデータ５０に登録する。

【００５８】また、頂点のデータ５０中の二分木へのポ
インタ５０７については、先ず、新たなノードデータ７
０を生成し、着目画素２１０に係る頂点のデータ５０中
のポインタ５０７を新たなノードデータ７０のポインタ
７０６に、画素２１１に係る頂点のデータ中のポインタ
５０７を新たなノードデータ７０のポインタ７０７にそ
れぞれ登録し、また、着目画素２１０に係るラベル５０
１を新たなノードデータ７０のラベル７０１に、画素２
１０，２１１に係る色成分５０２〜５０４の平均値を新
たなノードデータ７０の色成分７０２〜７０４に、画素
２１０，２１１を結ぶ辺のデータ５１中の対比強度尺度
値５１１を新たなノードデータ７０の対比強度尺度値７
０５にそれぞれ登録することで更新される。

【００５９】辺のデータ５１については、先ず、画素２
１０，２１１の双方のリスト６０から頂点２１０，２１
１に係る辺のデータを削除すると云った更新処理をす
る。これは２つの頂点を統合した場合、各頂点が保有し
ていた情報が重複してしまうと云った事態が生じること
があるためであり、そこで、リストデータ６０、Ｂ−木
８０中の重複したデータを削除する。しかし、画素２１
０，２１１を統合する第１回目の領域統合の段階におい
ては、画素２１０，２１１が重複して連結するような辺
が存在しないため、このような処理は必要がない。従っ
て、新たに統合された領域に対する非類似度の更新を、
これに隣接する全ての領域について行う。

【００６０】以上により、画素２１０，２１１が一つの
頂点（クラスタ）２１６に統合される。この後、プロセ
ッサの処理はステップＳ４２に戻り、ステップＳ４２〜
Ｓ４４の処理を繰り返し実行する。

【００６１】このようにして、画素データ２１の領域統
合の段階で、例えば図１６に示されるようにそれぞれ複
数の画素を有するクラスタＰ，Ｑ，Ｒが生成されたとす
る。これらのクラスタＰ，Ｑ，Ｒについて次に再び領域
統合の処理を次のようにして行う。

【００６２】まず、ステップＳ４３においてはＢ−木８
０を参照し、リスト８１、…の中から対比強度尺度値が
最小となる辺のデータ５１を検索する。検索が終了する
と、次にリストからその検索された他の登録を削除し、
リストが空であれば、そのキーをＢ−木から削除する。
対比強度尺度値の最小となる辺のデータ５１が検索され
ると、この辺のデータ５１の両端にある頂点を統合す
る。例えば、クラスタＰとクラスタＱとの対比強度尺度
値が最小であったとすると、クラスタＰとクラスタＱと
の統合が行われる。これに伴い、プロセッサは頂点のデ
ータ５０、辺のデータ５１、二分木のデータ７０等を更
新する（ステップＳ４４）。

【００６３】頂点のデータ５０中の二分木へのポインタ
５０７の更新は、先ず、新たなノードデータ７０を生成
し、クラスタＰに係る頂点のデータ５０中のポインタ５
０７を新たなノードデータ７０のポインタ７０６に、ク
ラスタＱに係る頂点のデータ中のポインタ５０７を新た
なノードデータ７０のポインタ７０７にそれぞれ登録す
ると云った処理をなすことで行われる。また、クラスタ
Ｐに係るラベル５０１を新たなノードデータ７０のラベ
ル７０１に、クラスタＰ，Ｑに係る色成分５０２〜５０
４の平均値を新たなノードデータ７０の色成分７０２〜
７０４に、クラスタＰ，Ｑを結ぶ辺のデータ５１中の対
比強度尺度値５１１を新たなノードデータ７０の対比強
度尺度値７０５にそれぞれ登録する。

【００６４】辺のデータ５１の更新処理は図１９に示す
ように、先ず、頂点Ｐ，Ｑを結ぶ辺ＰＱを示すポインタ
６０１をリストデータ６０から削除し、また、頂点Ｐ，
Ｑがともに連結する頂点Ｒが存在する場合、ＣＰＵは頂
点Ｐ，Ｑに関するリストデータ６０から、辺ＱＲまたは
辺ＲＰのポインタ６０１を削除し、Ｂ−木８０から辺Ｑ
Ｒまたは辺ＲＰに関するデータを削除し、さらに、頂点
Ｐに連結する辺のポインタ６０１を頂点Ｑのそれにマー
ジすると云った処理である。このような処理により、重
複したデータの削除等が行われ、辺のデータ５１に関す
る更新処理が終了する。

【００６５】さらに、原点Ｐ，Ｑと連結していた他の頂
点Ｔとの辺のデータ５１中の対比強度尺度値５１１は、
統合後のＰおよびＴのＬ^* ａ^* ｂ^* の平均値と構成画素
数に基づき更新処理される（図１６中段の式）。この処
理は、上述した頂点データ５０の更新処理におけるもの
と同様である。統合後の新たな対比強度尺度値５１１の
更新に際し、更新されるべき辺のデータは一時Ｂ−木か
ら削除され、対比強度尺度値５１１が更新されると、プ
ロセッサは新たな対比強度尺度値５１１をキーとしてデ
ータ５１へのポインタをＢ−木８０に登録する。

【００６６】以上により、ステップＳ４４の処理が終了
する。この後、処理はステップＳ４２に戻り、画像デー
タ２１の総クラスタ数が“１”になるまでステップＳ４
２〜Ｓ４４の処理を繰り返し実行する。そして、総クラ
スタ数が“１”になった時点で、領域統合処理は終了す
る。この結果、画像データ２１は１つの頂点（クラス
タ）２５０に統合される。

【００６７】なお、上述した領域統合処理は、一つのク
ラスタに他のクラスタを順次統合させるものであるが、
領域統合を画像データの局所において並列に行うことも
可能である。このような並列処理は特に初期の統合過程
において有効である。

【００６８】図１７のフローチャートで表わされた手順
による領域統合処理が終了すると、次に統合履歴を表わ
す二分木のノードデータ７０を、外部記憶装置に書き込
んで保存する。なお、二分木を構成するノードデータ７
０の数は画像データの総画素数の約２倍となることか
ら、二分木のデータ数は膨大な数に達する。従って、二
分木のデータの全ての二分木探索を行っていたのでは、
この探索に費やす負担が重過ぎる。

【００６９】そこで、本先行技術においては、二分木を
構成するノードデータ７０毎に、これを二分木探索の順
に外部記憶装置に書き込み、読み出し時にはこれと逆の
順序でノードデータ７０毎に外部記憶装置から読み込ん
で探索に利用する。このようにすることにより、二分木
再配置のための負担を大幅に低減することが可能にな
る。

【００７０】外部記憶装置に対するルートノードからの
書き込みおよび読み込み時の処理を図２０に基づき説明
する。

【００７１】書き込み時においては、ルートノードまた
は所定のノードを始点として以下の処理を再帰的に実行
する。先ず、始点となるノードデータ７０中のラベル７
０１、Ｌ^* ａ^* ｂ^* の各平均値７０２〜７０４、対比強
度尺度値７０５を外部記憶装置に書き込む。次に、この
ノードデータ７０サブ・ツリーへのポインタ７０６を参
照し、サブ・ツリーへのポインタ７０６が空欄でなけれ
ば、サブ・ツリー７０６が示す次のノードデータ７０を
外部記憶装置に書き込む。ポインタ７０６が空欄である
場合には、このポインタ７０６が書き込まれたノードデ
ータ７０が「葉」である旨を外部記憶装置に書き込んで
から一つ上の親ノードに戻り、ポインタ７０７について
も同様の処理を行う。以上の処理を繰り返すことによ
り、ノードデータ７０を二分木探索の順に外部記憶装置
に書き込むことができる。

【００７２】なお、上記書き込み処理において、二分木
の「葉」となるノードデータ７０の判別をサブ・ツリー
へのポインタ７０６，７０７が空欄か否かにより行って
いるが、対比強度尺度値７０５が空欄か否かにより行っ
ても良い。また、ノードデータ７０に対応する頂点デー
タ５０中のサンプル数５０５が“１”になったことをも
って当該ノードデータ７０が「葉」であることを判断し
ても良い。

【００７３】続いて、ノードデータ７０の読み込み処理
を説明する。先ず、画像処理装置では作業領域となる自
己のワークメモリ上にノードデータ７０の領域を確保
し、ここに外部記憶装置から読み出された始点となるノ
ードデータ７０中の各データを転送する。次にワークメ
モリから読み出されるノードデータはこのノードデータ
７０のポインタ７０６がポイントするものとして新たな
ノードデータ７０を確保し、そこにワークメモリからの
データを読み込む。このとき、読み込まれたデータが
「葉」でなければ、ノードデータ７０のポインタ７０６
について同様の処理を繰り返す。「葉」である場合に
は、このノードデータ７０のポインタ７０６，７０７を
空欄として一つ上のノードに戻り、そのノードのポイン
タ７０７にポイントされるものとして新たなノードデー
タ７０の確保と、ワークメモリからのデータの読み込み
を行い、このノードデータ７０のポインタ７０６につい
て処理を継続する。

【００７４】続いて、この二分木を利用した領域抽出の
処理について説明する。上述した領域統合処理により、
図１５の（ａ）に示されるように画像データは最終的に
１つのクラスタ（頂点）２５０に統合された。この領域
統合の過程を逆に辿ることにより、図１５の（ｂ）に示
されるように、画像データ２１を分割した画像データ２
２を得ることが可能である。すなわち、背景、人物等を
表す画像データを、背景の画像領域、人物の画像領域等
に分割し、所望の画像領域を抽出することができること
になる。

【００７５】つまり、二分木（履歴データ）をルートノ
ードから「葉（リーフ）」に向かって辿っていくことに
より、１のクラスタを順次２つのクラスタに分割するこ
とができるわけであるが、二分木をどの深さまで辿るか
を以下の手順で予め決定しておく。

【００７６】先ず、分割を終了させる条件として対比強
度尺度値の下限（類似度の範囲）を、予め設定してお
く。すなわち、二分木に従い一つのクラスタを分割して
いく過程において、各クラスタの色度がある程度近似し
たならば分割処理を中止させるためである。この対比強
度尺度値の下限（類似度の範囲）を定めてこの下限で分
割を終了させることにより、画像を特徴の全く相違する
領域毎に分割することができるようになる。

【００７７】対比強度尺度値の下限値が定められると、
これを基準として対比強度尺度値の大小判断を行う。す
なわち、ルートのノードデータ７０中の対比強度尺度値
７０５が指示された下限値より小さいか否かを判断す
る。このとき、対比強度尺度値７０５が下限値より小さ
い（類似度が所定値以上）場合には処理を終了する。

【００７８】一方、対比強度尺度値７０５が下限値より
も大きい（類似度が所定値以下）場合には、ノードデー
タ７０中のポインタ７０６，７０７を参照し、そして、
ポインタ７０６，７０７が空欄である場合（すなわち、
サブ・ツリーが存在しない場合）には、処理を終了す
る。ポインタ７０６，７０７が空欄でない場合には、ポ
インタ７０６，７０７で示されたサブ・ツリーのノード
データ７０を参照する。そして、このサブ・ツリーの対
比強度尺度値７０５が下限値よりも小さい場合には処理
を終了する。

【００７９】これらの処理を繰り返すことにより、二分
木が限定される（二分木の枝が途中で切断される）。そ
して、このようにして限定された二分木の「葉」によっ
て示される各クラスタは、ある程度特徴が相違したもの
となっている。

【００８０】図１５の（ｂ）に示されるように、ノード
２５０をルートとする二分木は画像データ２１の各画素
に向かって延びているが、この二分木を途中で切断する
ことにより、４つのクラスタを「葉」とする二分木が得
られる。

【００８１】このようにして限定された二分木の各葉
を、それ以下のサブ・ツリーのルートノードとして、分
割された領域を示す領域指定データを生成する。なお、
この領域指定データは画像データ２１に対応した座標値
を持つ二次元データである。この領域指定データ生成処
理は次のようにして行う。先ず、ルートノードのポイン
タ７０６，７０７を参照する。そして、ポインタ７０
６，７０７が空欄である場合には、ラベル７０１から実
画像におけるｘ，ｙ座標を算出し、このｘ，ｙ座標に対
応した領域指定データの座標にラベル７０１を書き込
む。一方、ポインタ７０６，７０７が空欄でない場合に
は、これらのポインタ７０６，７０７で示されたサブ・
ツリーのノードデータ７０を参照し、上記と同様の処理
を繰り返していく。

【００８２】このような処理を行うことにより、上述の
分割された各領域にラベル７０１が付される。そして、
各領域に付されたラベル７０１を基に、画像データ２１
から所望の領域を抽出することが可能となる。従って、
上述の人物と背景とを表す画像データから、人物を表す
領域のみを抽出すると云ったことができることになる。

【００８３】このような手法の先行技術で画像処理を行
うことにより、領域分割された画像の一例を図２２およ
び図２３に示す。図２２は原画像を表わしている。図２
３はこの原画像を領域分割したデータを表わしている。
図２２の原画像について階層的クラスタリングを行うこ
とにより、図２３の（ａ）、（ｂ）、（ｃ）のように、
順にクラスタが統合されていく。

【００８４】図２４は、図２２の原画像を領域統合する
過程を表わしたツリーである。このツリーの横軸は領域
統合の非類似度を対数で表わしたものである。また、図
２４に付された矢印（Ａ）、（Ｂ）、（Ｃ）の各段階の
画像が、図２３の（ａ）、（ｂ）、（ｃ）にそれぞれ対
応している。

【００８５】図２６、図２７、図２８は、領域統合の各
段階における頂点および辺を示すグラフであり、それぞ
れ図２３の（ａ）、（ｂ）、（ｃ）に対応していて、そ
れぞれ領域統合の各段階における頂点および辺を示して
いる。図２６は図２４の矢印（Ａ）の段階のグラフであ
り、図２７は図２４の矢印（Ｂ）の段階のグラフであ
る。さらに、図２８は図２４の矢印（Ｃ）の段階のグラ
フを表わしている。

【００８６】図２５は、原画像１２１（図２２に示され
たものと同一）を領域統合する各段階での画像１２１ａ
〜１２１ｆを示している。この図の画像１２１ｃ，１２
１ｄ，１２１ｅは、図２３の（ａ）、（ｂ）、（ｃ）に
対応している。

【００８７】以上、本発明者の提案した先行技術として
の階層的な領域抽出方法の詳細を説明した。そして、こ
の先行技術では、隣接するクラスタ対のうち、色空間上
の対比強度尺度値の最小となる（類似度の最大となる）
もの同士を統合することにより、階層的クラスタリング
を行っている。従って、領域統合の判断を隣接するクラ
スタについてのみ行えば良いため、処理時間を大幅に短
縮できるとともに処理に要するメモリ容量を軽減でき
る。

【００８８】また、Ｌ^* ａ^* ｂ^* 色空間上の分散変化の
最小となるクラスタ同士を統合するため、大局的な対比
関係を捉えると云う視覚特性に合致した領域分割が可能
となる。例えば、写真、映像、印刷等の分野において
は、階調を「ライト、中間、シャドウ」のように主観的
に分類することがある。この先行技術によれば、視覚特
性に合致したＬ^* ａ^* ｂ^* 色空間を用いて領域分割を行
っているため「ライト、中間、シャドウ」のような主観
的な画像の分割が可能となる。

【００８９】

【発明が解決しようとする課題】従来知られている画像
処理方法のいずれもが、画像を「ライト、中間、シャド
ウ」の各領域に分割する処理に適用するには不向きであ
り、この問題を解決するために本発明者は、特願平５−
３４００７７号に示す如き階層的な領域抽出方法を提案
した。そして、この先行技術においては画像処理に階層
的クラスタ分析法を使用している。

【００９０】一般的に、階層的クラスタ分析法の画像へ
の適用には、その処理にあたって計算機の記憶資源を大
量に必要とし、通常の電子計算機ではその処理実行に関
して、非現実的な記憶容量が必要とされる。

【００９１】すなわち、階層的領域抽出の実行を、全画
面に対して一回で終了させようとすると、グラフ構造に
より、隣接する領域関係の管理だけをしても、相当量の
記憶資源が必要となる。

【００９２】四近傍隣接の管理だけをするとしても、隣
接関係の組み合わせは、縦横がｈ×ｗ画素の画像におい
ては、 ２ｈｗ−（ｗ＋ｈ） となる。これは、全ての画素の組み合わせ（非類似度行
列を用いる場合）を取り扱えば、 ｈｗＣ₂ ＝ｈｗ（ｈｗ−１）／２ となり、明らかに前者は、発生し管理しなければならな
い画素対の最大が、総画素数に比例し、後者はその最大
数が総画素数の二乗に比例する。それでも、グラフ構造
を用いて実現しようとする場合、一つのクラスタ対あた
り２００から３００Ｂｙｔｅの記憶容量を必要とし、５
１２＊５１２程度の画像においても１００ＭＢｙｔｅ近
くの記憶容量が必要となる。

【００９３】膨大なデータを電子計算機で処理する場
合、処理速度を重視するならば、データを電子計算機の
主記憶（メインメモリ）におくことが望ましい。そし
て、主記憶として、上述のような記憶容量のメモリを確
保することは、実現性と云う視点でとらえれば、全く不
可能な数字ではないが、その一方で現時点における記憶
資源のコストが高価であると云う現実があることから、
これ程の記憶容量を主記憶として用意するには経済的に
制約が大きい。また、主記憶の代わりに仮想記憶を用い
ることも可能であるが、外部記憶とのデータの授受は膨
大なオーバーヘッドとなり、処理時間が急激に増大する
こととなるから、実用性の面で問題が大きい。

【００９４】また、グラフ構造により近傍隣接する画素
の対のみを管理するようにする場合、全ての画素の対の
非類似度の情報はないため、それで、再帰的に非類似度
を算出する方法（組み合わせ的方法）の適用範囲が限定
される。

【００９５】この問題を解決するため、上述した先行技
術では、計算機記憶資源の必要量が処理を行う画像の総
画素数に比例して使用されるようにするために、グラフ
構造を利用するようにした。これにより、電子計算機で
の処理に適合するようになったが、これであっても記憶
容量の小さな電子計算機で処理をしようとすることを考
えると、記憶容量あるいは実行速度の点から支障があ
る。

【００９６】そこで、本発明の目的とするところは、階
層的クラスタ分析により、画像の画面上の色の対局的な
対比関係によって相互に分化し成立する階層的な領域構
造を抽出するにあたり、比較的記憶資源の小さな電子計
算機においても処理可能にする画像処理方法を提供する
ことにある。

【００９７】

【課題を解決するための手段】上記目的を達成するため
に本発明は次のようにする。すなわち、第１には処理対
象の画像を所要の単位に分け、この分けた画像を単位
に、その構成画素について領域統合する第１の領域統合
処理工程と、この第１の領域統合処理工程により得られ
た上記各単位の画像を取り纏めてこれらを初期クラスタ
とする１画面分の画像とし、この画像のクラスタについ
て領域統合を行うとともに、統合履歴を保存する第２の
領域統合処理工程とよりなることを特徴とする。

【００９８】また第２には、処理対象の画像を所要の単
位に分け、この分けた画像を単位に、その構成画素につ
いて領域統合する第１の領域統合処理工程と、この第１
の領域統合処理工程により得られた上記各単位の画像を
取り纏めてこれらを初期クラスタとする１画面分の画像
とし、この画像のクラスタについて領域統合を行うとと
もに、領域統合の履歴情報を二分木により管理すべく情
報保存する第２の領域統合処理工程とよりなることを特
徴とする。

【００９９】さらには、領域統合の履歴は、領域統合の
順序および領域統合された領域間の類似度を表わす情
報、統合されるクラスタの座標情報を含むと共に、二分
木で管理することを特徴とする。

【０１００】

【作用】本発明では、処理対象の画像を適宜な単位に分
け、この分けた画像を単位に、その構成クラスタについ
て領域統合する第１段階での領域統合を行って構成クラ
スタを減少させ、この第１段階での領域統合が済んだ
後、この統合処理済みのクラスタを取り纏めて元の１画
面分の画像として扱い、第２段階での領域統合を行うと
ともに、統合履歴を保持することで目的の領域の抽出を
可能にする。

【０１０１】第１段階での領域統合は画素数つまりクラ
スタ数を少なくするための前処理に相当し、この段階で
得られたものを初期クラスタとして第２段階での領域統
合を行うことで、各段階において少ないデータ数で処理
ができるようになり、記憶資源の限られた計算機におい
て十分処理を可能にしており、また、統合の履歴をその
時々の各クラスタの色成分情報とともに保存しておくの
で、この履歴を辿ってゆくことで目的の領域の画像抽出
を可能にする。

【０１０２】非類似度列を用いるにせよ、グラフ構造を
用いるにせよ、階層的クラスタ分析法により、画像の画
面上の対比により相互に分化成立する階層的領域の抽出
は、計算機利用による処理上、膨大な記憶資源を必要と
する。そこで、本発明では処理対象の画像を分割あるい
はブロック化して領域統合処理を行うことで、領域統合
処理毎の一度に取り扱う画素・クラスタ・領域の個数を
限定することができようにし、これによって記憶資源の
小さな電子計算機においても処理が可能になるようにし
た。

【０１０３】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【０１０４】非類似度列を用いるにせよ、グラフ構造を
用いるにせよ、階層的クラスタ分析法により、画像の画
面上の対比により相互に分化成立する階層的領域の抽出
は、計算機利用による処理上、膨大な記憶資源を必要と
する点を改善するために、本発明では処理対象の画像を
分割あるいはブロック化して領域統合処理を行うこと
で、領域統合処理毎の一度に取り扱う画素・クラスタ・
領域の個数を限定することができようにし、これによっ
て記憶資源の小さな電子計算機においても処理が可能に
なるようにしている。

【０１０５】例えば、画面を３２×３２（＝１０２４）
画素の単位となるブロックに分割するとする。非類似度
行列として発生する画素の対の組み合わせは、５２３７
７６個となり、画素対１あたりのデータ量が仮に５０Ｂ
yte （非類似度行列のほうがデータ構造はグラフ構造に
比して簡単であるので、処理単位あたりに要する記憶資
源は小さい）とすれば、この行列を主記憶上に構成する
のに必要とされる記憶容量は、約２５ＭＢyte となり、
標準的な計算機の記憶資源の大きさとなる。また、非類
似度行列を用いる場合は、処理単位、即ち画素数が少な
くなれば、二乗に比例して画素対の組み合わせが減少す
る。この条件で、グラフ構造を用いた場合は、初期の画
素対の個数は１９８４個、記憶資源の必要量は、約０．
５５ＭＢyte となる。

【０１０６】各ブロックでの領域統合は、完了させるの
ではなく、非類似度またはクラスタ数等が適当な条件に
達した所で停止保留し、これらの統合履歴を保存し、こ
の処理を他の全てのブロックに対して実行する。全ての
ブロックに対してこの処理が終了した段階で、任意のブ
ロックの任意の領域を他のブロックの他の領域との関係
をしらべ、全画像については、再度、グラフ構造または
非類似度行列を構成し、階層的領域統合の処理を再度実
行して、領域統合を完成させる。

【０１０７】各ブロックでの領域統合の停止は、２回目
の領域統合である第２の領域統合処理工程を実施するに
際して、画像全体でグラフ構造または非類似度行列が組
める程度の領域数に減少していること、また、各クラス
タ対の非類似度の分布ができるだけ均一となっているよ
うにすることがポイントとなる。

【０１０８】また、本発明の実施例では、画像を正方形
のブロックの単位で分割した例で説明するが、画像の画
面の局所局所に適合してブロックは任意の矩形としても
構わなければ、不定形であっても構わない他、また、ブ
ロックが一つで一度に階層的領域抽出が実現できる場合
も本発明方法の変形例としての地位を有するものである
ことを予め断っておく。

【０１０９】以下、本発明の実施例の詳細を説明する。
本実施例に係る画像処理方法を実行可能な画像処理装置
のブロック図を図１に示す。この画像処理装置はコンピ
ュータを利用するもので、操作部９、バス１０、ＣＰＵ
（プロセッサ）１１、入力Ｉ／Ｆ（インタフェース）１
２、プログラムメモリ１３、ワークメモリ１４、画像メ
モリ１５、出力Ｉ／Ｆ（インタフェース）１６、外部記
憶装置１７、ＧＤＣ（グラフィック・ディスプレイ・コ
ントローラ）１８、ディスプレイ１９等により構成され
ている。

【０１１０】操作部９は、キーボードあるいはジョイス
ティック、マウスなどと云ったシステムに操作入力を与
えたり、指令を与えたりするためのマンマシンインタフ
ェースであり、条件設定や、二分木を辿ると云った操作
等にも使用される。

【０１１１】ＣＰＵ１１は、プログラムメモリ１３に記
憶されたプログラムに従い画像の領域分割等の処理を実
行するものである。入力Ｉ／Ｆ１２は、処理対象となる
画像データを本画像処理装置に入力するためのインタフ
ェースである。画像データは自然画像を表わし、例えば
５１２×５１２画素のＲＧＢ（Ｒはレッド、Ｇはグリー
ン、Ｂはブルー）（またはＣＭＹＫ（Ｃはシアン、Ｍは
マゼンタ、Ｙはイエロー、Ｋはブラック）、あるいはＣ
ＩＥ ＬＡＢ）のカラーのデータより構成される。

【０１１２】プログラムメモリ１３は、上述したＣＰＵ
１１の処理手順を表すプログラムデータを格納するため
のものであり、ＣＰＵ１１はこのプログラムメモリ１３
の格納プログラムを実行して目的の処理を行う。

【０１１３】ワークメモリ１４はＣＰＵ１１が領域分割
の処理に伴い算出するデータ（後述するツリーデータ、
リストデータ等）を一時保持しておくためのものであ
る。また、画像メモリ１５は入力Ｉ／Ｆ１２から入力さ
れた画像データを蓄えるためのものである。

【０１１４】出力Ｉ／Ｆ１６は、領域分割された画像デ
ータ等を外部機器（プリンタ等）に出力するためのディ
ジタルインタフェースであり、また、外部記憶装置１７
は、ハードディスクユニット、光磁気ディスクユニット
等により構成され、画像データ、領域分割された画像デ
ータ、ツリーデータ、リストデータ、プログラムデータ
等を保存する大容量記憶装置である。

【０１１５】ＧＤＣ１８は画像データおよび領域分割後
の画像データ等に基づき、表示データを生成するもので
あり、ディスプレイ１９はこの表示データに基づく画像
を表示して操作者に提示するためのものである。

【０１１６】本実施例に係る画像処理方法の詳細を説明
する。本発明の実施例では、画像を階層的クラスタリン
グするにあたり（つまり、例えば、自然画像における画
面上の色の分布の大局的対比の階層的関係・構造を抽出
するにあたり）、隣接するクラスタ対のうち、色空間上
の対比強度尺度値の最小となる（類似度の最大となる）
もの同士を次々に統合するが、ここでの階層的クラスタ
リングは処理すべき１枚の画像について、図２に示すよ
うにまず第１段階として、処理し易い大きさに分割する
ことにより複数の分割画像とし、処理すべき画素数を少
なくして扱い易いようにする（Ｓ１１０）。そして、個
々の分割画像についてそれぞれ階層的クラスタリングを
行う（Ｓ１２０）。

【０１１７】そして、個々の分割画像についてそれぞれ
階層的クラスタリングが成された段階で、次に第２段階
の処理として、階層的クラスタリングが成されたこれら
分割画像全体を取り纏めて１枚の画像として扱い、つま
り初期クラスタとして用い、これを階層的クラスタリン
グする（Ｓ１３０，Ｓ１４０）。その際、統合の履歴を
その時々のクラスタの色成分情報と共に保存する。そし
て、統合の履歴を辿り、所望の色成分の情報を呈するク
ラスタを知ってこれを抽出することにより、画像の所望
の領域部分を分割することができるようにする。

【０１１８】一枚の画像を小分けしてクラスタリングし
てから、クラスタリング済みの分割画像を一枚の全体画
像に取り纏め、初期クラスタとし、再びこれをクラスタ
リングすると云った手法を採用することにより、一度に
処理しなければならないデータ量を大幅に少なくして、
有り余る程にはメモリ資源を持たないパソコンなどの装
置を画像処理装置として使用した場合でも、画像中の目
的の像領域を分割することができるようにする。

【０１１９】本発明では、階層的領域抽出に当たって、
グラフ構造を用いた階層的領域抽出法と、非類似度行列
を用いての階層的領域抽出法等が利用できるが、グラフ
構造を用いた階層的領域抽出法に関しては既に述べたの
で、ここでは非類似度行列を用いての階層的領域抽出を
例に本発明を説明する。尚、処理対象画像の画像データ
は、自然画像、色空間は任意であるが、ここでは、ＣＬ
ＥＬＡＢ表色の画像を用いるものとする。

【０１２０】本発明では入力された処理対象画像に対し
て、第１段階の領域統合処理においては、操作部９によ
り操作者が設定したブロックサイズ設定情報に従うか、
あるいは後述する条件に従って、ＣＰＵ１１は図２に示
すように画像を処理し易いサイズに分割する（Ｓ１１
０）。１枚の画像Ｆを一定サイズの矩形でブロックＢに
分割して分割画像化した例を図５に示す。この例では各
ブロック（各分割画像）Ｂの矩形のサイズを３２×３２
画素とする。従って、各ブロック（各分割画像）Ｂの総
画素数はそれぞれ１０２４画素となる。

【０１２１】図６は各ブロック（各分割画像）Ｂの詳細
を示したものである。また、図４は、本発明の処理フロ
ーの概略である。カラム、ラインの相対座標とブロック
内での非類似度行列のインデクスを示してある。

【０１２２】また、１枚の画像を等ブロックサイズに分
割してゆくと、そのサイズに満たない矩形が生じること
がある。この場合、画像の縁辺部が問題にならないので
あれば、ブロック群の位置を適当にセンタリングするな
り、端物となったブロック（分割画像）を無視するよう
にすることも可能であり、また、１画面の縁片部に位置
するブロック（分割画像）については上記ブロックサイ
ズに満たない半端ブロックであるとして処理するように
しても構わない。また、この場合であれば、縦横各辺
を、各ブロックの総画素数が１０２４を越えないように
等分割し、全てのブロックのサイズを揃えることなどの
方法が考えられる。

【０１２３】本発明の実施例に係る画像処理方法は、全
体として、階層的領域統合を２段階で実現する手法とす
るが、その第１段階目の領域統合処理として、１画面の
画像のブロック化を終えたならば、各ブロック（各分割
画像）単位での暫定的な領域統合を行う（図２のＳ１２
０）。

【０１２４】ステップＳ２０において実施される暫定的
な領域統合の処理は、図３（ａ）に示すように、まず初
めに、統合リストを初期化し（Ｓ１２１ａ）、全ブロッ
クの統合処理が終了したか否かを判定して（Ｓ１２１
ｂ）、その結果、終了していなければブロックｉについ
てそのクラスタの領域統合処理を実施する（Ｓ１２２，
Ｓ１２３）。ブロックｉについてそのクラスタの領域統
合処理を終了したならば、ｉを更新し（つぎのブロッ
ク）、統合処理が未終了のブロックがあるか、否かをチ
ェックする（Ｓ１２１ｂ）。その結果、統合処理が未終
了のブロックがあれば、更新したブロックｉについてそ
のクラスタの領域統合処理を実施する（Ｓ２２，Ｓ１２
３）。そして、Ｓ１２１ｂのチェックをする（Ｓ１２１
ｂ）。その結果、統合処理が未終了のブロックがなくな
れば、統合処理を終える。

【０１２５】ステップＳ１２３において実施したブロッ
クｉについてのクラスタの領域統合処理の詳細を図３
（ｂ）に示す。

【０１２６】領域統合処理はまず各画素毎にインデック
スを振り、１画素１クラスタとして扱えるようにする
（Ｓ１２３−１）。つぎに、初期非類似度行列の生成を
行い、各画素間（クラスタ間）で、非類似度ｄ_ij(x,y)
、ｄ（ｌ^* ａ^* ｂ^* ）を求める（Ｓ１２３−２）。つ
ぎに、ブロック間領域数はｋｉになったか否かを調べ
（Ｓ１２３−３）、なっていなければｄ_ij(x,y) ＜１，
２^1/2 でｄ（ｌ^* ａ^* ｂ^* ）が最小の画素対（クラスタ
対）を検出し、統合処理を行う（Ｓ１２３−４）。

【０１２７】そして、非類似度行列の更新を行い（Ｓ１
２３−５）、つぎに、ブロック間領域数はｋｉになった
か否かを調べ（Ｓ１２３−３）、なっていなければＳ１
２３−４以降の処理を繰り返す。ステップＳ１２３−３
の判定の結果、ブロック間領域数はｋｉになったならば
領域統合履歴を全てリストに登録する（Ｓ１２３−
６）。

【０１２８】以上が各ブロック（各分割画像）単位での
暫定的な領域統合処理である。ここで、当該暫定的な領
域統合を行うことにより、１画面分の画像全体では１０
２４個の領域に統合するものとする。１画面分の画像全
体で１０２４個の領域に統合されたならば、ＣＰＵ１１
は第２段階目の領域統合処理に入る。

【０１２９】第２段階目の領域統合処理は、この第１段
階での領域統合処理により得られた１０２４個の領域を
初期クラスタとして利用し、当該１０２４個の領域を取
り纏めて元の１画面分の画像とし、これら１０２４個の
領域を初期クラスタとして、階層的統合をする。

【０１３０】本発明では各段階での処理を、このような
１０２４個のデータについて行うようにすることによ
り、少ないメモリ資源の画像処理系で処理することを可
能にしている。しかし、これは実施例としての一例であ
って、もちろん、扱うデータ数としての１０２４個に限
定されるものではない。

【０１３１】ここで、第１段階での各ブロックの最終領
域統合数（最終的にそのブロックで残る領域の数）の割
り付けは、単純に、１画面の画素数をこの総ブロック数
１０２４で割り、均一に分配するもので良いが、１画面
の像の複雑さを考慮して、各ブロックはそれぞれの位置
に応じた絵柄の複雑さを評価して、それに応じた最終領
域統合数に暫定的に配分する方法等が考えられる。例え
ば、各ブロックの分散を求め、これらブロック毎の分散
の総和で各ブロックの分散を割り、その値を、この場合
では、１０２４に対するそのブロックの暫定的な領域統
合の配分の比として利用する。そして、これにより得ら
れた数を、各ブロックの暫定的な領域統合の数として使
用するが、適当な整数に丸め直す方法なども考えられ
る。この時、ブロックに割り当てられる最終領域統合数
は最低でも“１”でなければならないものとする。

【０１３２】ここでは、また、非類似度を揃えるのであ
れば、各ブロック中最小の非類似度を有するクラスタ対
を検出し、これら対の最小の非類似度を有するものから
統合してゆき、各ブロック内の領域数の総和が、この場
合１０２４に達するまで行うようにすることも考えられ
る。しかし、これは基本的に計算効率が極めて悪くなる
可能性が高い。そこでこれを回避するには、暫定的に目
標となる非類似度を設定し、各ブロック毎にこの非類似
度以上のクラスタ対が現われるまで階層的領域統合を実
行し、最後に各ブロックの領域を総和して、１０２４を
越えている場合は、再度、目標非類似度を高めに設定
し、最後に画像における総クラスタ数が１０２４を越え
なくなるまで実行する方法が考えられる。

【０１３３】ここでは、各ブロックの分散が画面上での
画像の色の対比によって分化成立する階層的領域の複雑
の尺度あるものとして、上記第１段階の領域統合を実現
するものとする。

【０１３４】１画面分の画像データが入力Ｉ／Ｆ１２を
介して入力されると画像処理装置のＣＰＵ（プロセッ
サ）１１はこれを画像メモリ１５に取り込み、そして、
この取り込んだ画像データについて、上述したような第
１段階の領域統合処理を行う。この第１段階の領域統合
処理を開始するに当たり前処理を行うが、この前処理
は、上記画像データのブロック分割である（Ｓ１１
０）。そして、ブロックに分割されるとつぎに第１段階
の領域統合処理に入る（Ｓ１２０）。

【０１３５】［第１段階の領域統合処理］ここでの処理
（Ｓ１２０での処理）は、基本的に順次各ブロックにお
ける領域処理を対象にしており、一つのブロックの領域
統合処理が終わると次の別なブロックの領域統合処理に
移るといったループをなす。各ブロックにおける領域処
理では、まず図６に示すように各画素にインデクスまた
はラベル付を行う。インデクスについては非類似度行列
の成分に対応するので“１”から始まる連続する整数を
順次割り振り、また、ラベル付けについてはここでは相
対的なラスタの座標値を用いるようにした。

【０１３６】ラベルはブロック内で一意である他、画像
全体でも一意であるように、ここでは、画像全体に対す
る各画素の座標値より定めるものとする。例えば、図６
に示すようにラベル１９０が３２ビットのデータである
とすれば、その上位１６ビットにラインの座標値、下位
１６ビットにカラムの座標値をセットすると云った手法
をとる。

【０１３７】（非類似度行列生成）ブロック内の各画素
に対するインデクスまたはラベル付を終えると、ＣＰＵ
１１は次に非類似度行列を生成する。

【０１３８】非類似度行列は、図７に示すような２次元
配列１２０とした。そして、配列の成分１２１の値は、
上記ブロックにおけるクラスタの座標値（インデック
ス）の対に対応するように定める。各配列成分は画素対
（クラスタ対）の情報を有する構造体１３０へのポイン
タである。この情報構造体１３０を図８（ａ）に示すよ
うに、クラスタＰの状態情報構造体へのポインタ情報部
１３１、クラスタＱの状態情報構造体へのポインタ情報
部１３２、色空間上でのＰ，Ｑの非類似度情報部１３
３、画面上でのＰ，Ｑの非類似度情報部１３４にて構成
する。

【０１３９】非類似度行列生成にあたり領域統合課程の
初期条件として、第１段階の領域統合処理においては１
画素１クラスタであるとして扱う。そして、この場合、
構造体１３０のメンバは、対をなすクラスタそれぞれの
クラスタの状態を示す構造体１４０へのポインタ情報を
保持させるための情報部１３１，１３２と、このクラス
タ対における非類似度の情報を保持させるための情報部
１３３，１３４で構成してある。

【０１４０】また、非類似度の情報は画面上の距離に関
する非類似度を情報部１３４に保持させ、色空間分布に
関する非類似度を情報部１３３に保持させる。上記画面
上の距離に関する非類似度情報部１３４に格納される非
類似度情報は、クラスタ間の画面上の距離に関する非類
似度を示すものであり、色空間分布に関する非類似度情
報部１３３に格納される非類似度情報は、クラスタ間の
色の類似性に関する非類似度を示すものである。

【０１４１】画面上の距離に関する非類似度としては、
ここでは、隣接関係の尺度を表わし、この場合、最小距
離法として定められるものとする。また、色空間分布に
関する非類似度は色の類似性の尺度となるが、ここで
は、Ｗａｒｄ（ワード）法により与えられるものとす
る。

【０１４２】また、各クラスタの状態の情報を保持する
構造体１４０は図８（ｂ）に示すように、そのクラスタ
のラベルを格納したラベル情報部１４１と、サンプル数
（画素数ｎ）を格納した情報部１４２、そしてこの例の
場合にはさらに、各色成分Ｌ^* ，ａ^* ，ｂ^* の平均値情
報を格納した情報部１４３，１４４，１４５と統合履歴
へのポインタ情報を格納した情報部１４６からなり、こ
れらの情報を保持する。

【０１４３】非類似度行列生成は、初期の非類似度行列
の生成の場合、図３（ｂ）に示す初期の非類似度行列の
生成ステップＳ１２３−２において行われる。この初期
の非類似度行列の生成ステップＳ１２３−２において
は、クラスタの状態に関する構造体１４０及びクラスタ
対に関する構造体１３０に、各画素および画素対の情報
を書き込み、そして、図７における行列成分１２１に、
これへのポインタを書き込むことによりなす。すなわ
ち、クラスタの状態に関する構造体１４０には、各画素
の色成分の値と個数として“１”と云う値と、そして、
ルートノードのみからなる二分木１５０へのポインタと
を書き込む。

【０１４４】次に、ＣＰＵ１１はクラスタ対の情報を保
持する構造体１３０に全ての画素対に関しての必要な初
期情報を登録する。構造体１３０には全ての画素対に関
してその対となる各画素のデータへのポインタ１３１、
色空間上での非類似度情報部１３３、および画面上での
非類似度情報部１３４があり、構造体１３０におけるポ
インタ１３１には全ての画素対に関してその対となる各
画素のデータへの目印となるポインタ値が登録され、そ
して、色空間上での非類似度情報部１３３には色成分の
非類似度情報が登録され、また、画面上での非類似度情
報部１３４には画面上の距離としての最小距離法の非類
似度が登録される。画面上の距離としての最小距離法の
非類似度としては、例えば、ユークリッド距離を求め、
それを用いる。

【０１４５】このようにして、領域統合初期の非類似度
行列は完成される。非類似度行列が完成されると、ＣＰ
Ｕ１１は次にブロック内の階層的な領域統合処理に入る
（ステップＳ１２３−４）。

【０１４６】ステップＳ１２３−４におけるブロック内
の階層的な領域統合処理は、まず、非類似度行列を参照
し、隣接関係にあって、しかも色の類似性の高いクラス
タ対から順次クラスタ統合をする。

【０１４７】この「隣接関係にあって、色の類似性の高
いクラスタ対」の特定は例えば、この場合であると、最
小距離法による非類似度が、所定値以下で、Ｗａｒｄ法
による非類似度が、最小のものを以て決める。ここで前
記所定値として“１”をとれば、隣接関係は四近傍隣接
になり、所定値として“ルート２（＝２^1/2 ）”以下と
すれば八近傍隣接となる。

【０１４８】あるクラスタと、そのクラスタにおける四
近傍隣接あるいは八近傍隣接のクラスタについてその非
類似度が最小のものとなる関係のクラスタ、すなわち、
クラスタ対が特定されたならば、ＣＰＵ１１は次にま
ず、この二つのクラスタの対を一つのクラスタの情報に
する。すなわち、新たなるクラスタ状態情報構造体１４
０を生成する。

【０１４９】クラスタ状態情報構造体１４０は図８
（ｂ）に示すようにラベル情報部１４１、画素数ｎ情報
部１４２、μＬ^＊情報部１４３、μａ^＊情報部１４４、
μｂ^＊情報部１４５、領域統合履歴の二分木ルート・ノ
ードへのポインタ情報部１４６からなり、データの生成
はつぎのようにする。

【０１５０】まず、ラベルについては、統合される二つ
のクラスタのラベルの内の何れか一方を以てラベル情報
とし、これをラベル情報部１４１に格納し、また、画素
数ｎ情報については上記二つのクラスタの画素数の和を
求めてこれを画素数ｎ情報とし、これを画素数ｎ情報部
１４２に格納し、また、統合後の色の各成分の各平均値
を求め直してこれを各色成分Ｌ^* ，ａ^* ，ｂ^* の平均値
情報格納用の情報部１４３，１４４，１４５に格納す
る。これにより、ある統合される二つのクラスタの領域
統合後のデータを書き込んだクラスタ状態情報構造体１
４０を得る。

【０１５１】また、領域統合履歴の二分木のルートノー
ドへのポインタ情報部１４６には、図９の（ａ）に示す
如き構造の新たなる二分木ノードの構造体１５０を生成
して記録する。すなわち、二分木ノードの構造体１５０
は、枝Ｐのノードへのポインタ情報部１５１、枝Ｒのノ
ードへのポインタ情報部１５２、統合状態情報へのポイ
ンタ情報部１５３からなり、統合されるクラスタの統合
履歴へのポインタを、今生成した二分木ノードの構造体
１５０における枝Ｐのノードへのポインタ情報部１５
１，枝Ｒのノードへのポインタ情報部１５２に登録す
る。そして、この新たに生成された二分木を、これによ
る統合のルートノードとして、クラスタ状態の情報構造
体１４０のポインタ情報部１４６にそのポインタ情報を
記録する。

【０１５２】また、この新たなるルートノード１５０の
データとして、統合状態情報の構造体１６０を得る。統
合状態情報の構造体１６０は、図９の（ｂ）に示す如
く、ラベル情報部１６１、統合後の画素数ｎ情報部１６
２、μＬ^＊情報部１６３、μａ^＊情報部１６４、μｂ^＊
情報部１６５、色空間上での非類似度情報部１６６、画
面上での非類似度情報部１６７の各部からなり、統合後
のラベル情報をラベル情報部１６１に、統合後の画素数
ｎを統合後の画素数ｎ情報部１６２に、統合後のＬ^＊色
成分の平均値をμＬ^＊情報部１６３に、統合後のａ^＊色
成分の平均値をμａ^＊情報部１６４に、統合後のａ^＊色
成分の平均値をμｂ^＊情報部１６５に、統合時の色空間
上での非類似度を色空間上での非類似度情報部１６６
に、そして、統合時の画面上での非類似度を画面上での
非類似度情報部１６７に記録し、これへのポインタを１
５３に記録する。

【０１５３】なお、初期状態すなわち１画素１クラスタ
のときの、二分木ノードの状態を図１０に示す。

【０１５４】図１０においては、二分木ノードの構造体
１５０における枝Ｐのノードへのポインタ情報部１５
１，枝Ｒのノードへのポインタ情報部１５２は図１１に
示すようにヌルポインタであり、これ以上の枝を持たな
いこと示している。また、この二分木ノードの構造体１
５０のポイントする統合状態情報１６０はその画素の状
態を示している。すなわち、図１１に示すようラベル情
報部１６１はその画素のラベルの値が、また、サンプル
数である画素数ｎ情報部１６２には画素数として“１”
が、また、色成分の平均値を格納する統合後の画素数ｎ
情報部１６２、μＬ^＊情報部１６３、μａ^＊情報部１６
４、μｂ^＊情報部１６５には、その画素の色成分値がそ
れぞれ格納されるが、このときの二つの非類似度情報部
１６６，１６７は情報未設定となる。

【０１５５】領域統合を実施する度に、これら統合履歴
が新たなるルートノードの下に配置されるので、この初
期状態は統合履歴二分木においてはリーフの状態とな
る。領域統合を次々に実施した結果、得られる統合履歴
二分木を図１２に示す。この統合履歴二分木をリストに
登録し（Ｓ１３７）、後からこのリストを辿ることによ
り統合の履歴が再現できるようにする。なお、図１３に
図１２に示す統合履歴二分木のリストノード構造体１７
０を示す。

【０１５６】リストノード構造体１７０は次ノードへの
ポインタ情報を格納する次ノードへのポインタ情報部１
７１、前ノードへのポインタ情報を格納する前ノードへ
のポインタ情報部１７２、データへのポインタ情報を格
納するデータへのポインタ情報部１７３よりなる。

【０１５７】以上により、各ブロックにおける構成画素
（クラスタ）の領域統合に関する処理が終了する。統合
されたクラスタに対するクラスタ状態情報構造体４０は
不要となるので、ここで破棄する。

【０１５８】上述したように、ステップＳ１２３−４に
おいて実施される統合処理は、ステップＳ１２３−３か
らＳ１２３−５のループの処理を繰り返すことで、その
時々での非類似度の最も小さいクラスタ対に対して統合
してゆく。そして、領域数（クラスタ数）が所定値ｋｉ
になった段階で統合を終了させるが、このとき統合処理
は非類似度行列の更新をしながら領域数（クラスタ数）
が所定値ｋｉになるまで繰り返す。

【０１５９】従って、ステップＳ１２３−５において行
われた非類似度行列の更新処理について、ここで触れて
おく。非類似度行列の更新処理は、最小距離法ではつぎ
のようにして行っている。非類似度ｄなる統合前の二つ
のクラスタをｐ，ｑとし、統合されたこれらと対をなす
クラスタをｒとし、ｐ，ｑを統合して生成されたクラス
タをｔとしてクラスタｉ，ｊ間の非類似度をｄ_ijとする
時、最小距離法では、 ｄ_tr＝ｍｉｎ（ｄ_pr，ｄ_qr） となり、Ｗａｒｄ法では、 ｄ_tr＝ ｛（ｎ_p ＋ｎ_r ）／（ｎ_p ＋ｎ_q ＋ｎ_r ）｝ｄ
_pr＋｛（ｎ_q ＋ｎ_r ）／（ｎ_p ＋ｎ_q ＋ｎ_r ）｝ｄ_qr−
｛ｎ_r ／（ｎ_p ＋ｎ_q ＋ｎ_r ）｝ｄ_pq と再帰的に算出される。

【０１６０】ここで、ｐあるいはｑのいずれかと対をな
すクラスタ情報を、非類似度行列から抹消し、行列成分
としてはヌルポインタを代入して、登録抹消されたこと
示す。つぎに、残されたクラスタｐまたはｑに隣接する
対のクラスタについて、そのクラスタ対における情報を
それらに該当するクラスタ対情報構造体１３０全てにつ
いて、その非類似度を更新する（色空間上でのＰ，Ｑの
非類似度情報部１３３，画面上でのＰ，Ｑの非類似度情
報部１３４の内容更新）。

【０１６１】最後に、統合された二つのクラスタの対に
関する情報を非類似度行列上から抹消して、ブロック単
位での第１段階の領域統合処理が完了する。

【０１６２】各ブロックそれぞれについて、先に定めら
れた暫定的な領域数（クラスタ数）に達するまでこの処
理を繰り返す。そして領域統合処理を行うことによって
先の暫定的な領域数に到達した時（その領域数に領域統
合が成された時に）、各クラスタの有する統合履歴を保
存する。これは例えば、各統合履歴のルートノードへの
ポインタをスタックする（統合履歴リスト）等して保存
する。また、必要があれば、非類似度行列を残存するク
ラスタのサイズに縮退させてこの非類似度行列を保管す
る。

【０１６３】このようにして、全てのブロックそれぞれ
について暫定的な領域統合を実行し、その統合履歴を保
管する（図３（ｂ）のＳ１２３−６）。以上で、第１段
階の領域統合処理が終わる。

【０１６４】［第２段階の領域統合処理］第１段階の領
域統合処理が終わると次に第２段階の領域統合処理に入
る。

【０１６５】第２段階の領域統合処理は、第１段階の領
域統合処理であるブロック毎の階層的領域統合によって
得られた領域を初期クラスタとして用い、これら各初期
クラスタを取り纏めて得た画像全体について領域統合を
行う処理である（図２のＳ１３０，Ｓ１４０の処理）。
この段階では領域統合の履歴をその時々のクラスタの色
成分情報と共に保存する。そして、統合の履歴を辿り、
所望の色成分の情報を呈するクラスタを知ってこれを抽
出することにより、画像の所望の領域部分を分割するこ
とができるようにする。

【０１６６】この第２段階の領域統合処理においては、
まず前処理としてステップＳ１３０の処理を実行し、各
ブロック毎の領域統合の劣化を、画像全体のそれになる
ような非類似度行列を生成する。すなわち、任意のブロ
ックにおける任意の領域とその他の任意のブロックの任
意の領域との関係による非類似度行列を生成する。

【０１６７】第１段階の領域統合処理における各ブロッ
ク毎の処理で、縮退して非類似度行列を保管してあれ
ば、ブロック内の領域間の関係は保持される。しかし、
統合履歴のみの場合は領域間の関係は保持されていない
ので、この場合はここでもう一度非類似度行列を再構成
せねばならない。

【０１６８】ここで非類似度行列を再構成する場合、最
小距離法による非類似度は、隣接関係のための尺度であ
り、隣接関係を四近傍（四辺に接する４つ）または八近
傍（四辺に接する４つと、対角位置に接する４つの計
８）に限定しているのであれば、この段階では全ての領
域（クラスタの対）について非類似度を求める必要はな
い。以下、統合履歴のみから、非類似度行列を再構成す
る一例を図４のフローチャートを参照して説明する。

【０１６９】非類似度行列を再構成するには、まず初め
に、ラベル画像生成処理を行う（Ｓ１３１）。これはま
ず、ワークメモリ１４に処理対象の画像と同サイズの記
憶領域をラベル画像用として用意し、これにラベル画像
を次のように書き込んで生成することから始める。

【０１７０】すなわち、ラベル画像は保管してある統合
履歴を参照し（この場合はリストとして参照する）、各
統合履歴のルートノードから二分木を辿り、葉（リー
フ）の位置に到達したならば、その葉が指す統合初期の
領域の情報（すなわち、画素の情報）からラベルを読出
し、その画素のライン（行）またはカラム（列）の座標
値を算出すると共に、先に確保したワークメモリ１４上
のラベル画像用の記憶領域の、その座標値に対応する所
にその統合履歴のルートノードのラベルの値を書き込む
ことで行う。

【０１７１】このような処理を全ての統合履歴の二分木
について実行すれば、ラベル画像が得られ、このラベル
画像があれば、前記第１段階での領域統合結果の画面分
割の状況が、その領域のラベルの値によって参照できる
状態になる。

【０１７２】ラベル画像が生成されたならば、次に初期
非類似度行列を生成する（Ｓ１３２）。そして、これを
用い、各領域について、上記のラベル画像上で輪郭追跡
を行う（Ｓ１３５）。この輪郭追跡の段階で、それと相
対して接した領域はこの領域に隣接する領域であり、輪
郭追跡の仕方を四近傍でするか八近傍でするかにより、
領域の隣接関係の限定を満たすことができる。

【０１７３】これを実現したものを図１４に示す。図１
４はブロックＩ，IIの領域統合の様子を示している。領
域Ａの統合履歴から得られるラベルから、領域内の１点
Ａ１が得られる。この座標から左へ移行してブロック境
界Ａ３に達する。領域Ａと他の領域との最後の境界はＡ
２であり、これを領域Ａの外側の境界上の１点として、
これより輪郭追跡を開始する。この追跡によって領域Ａ
に接する領域が、ｂ，ｄ，ｅ，ａ，ｃであることが判
る。ブロック境界に接する領域ｅについてみれば、領域
ｅに接する領域はｂ，ｉ，ｋ，ｌ，ｍ，ｇ，ｎ，ａ，Ａ
となる。このようにしてラベル画像上で輪郭追跡を行う
ことができる。

【０１７４】具体的に説明する。まず、初期非類似度行
列としてデータ未登録状態の非類似度行列を生成し（Ｓ
１３２）、次にもう一度、スタック（統合履歴リスト）
をリストとして参照する（Ｓ１３４）。各領域統合履歴
のルートノードのラベルはその領域内の一点となる。ラ
ベル画像上のこの点から、上、下、右または左のいずれ
かに移動してゆき、領域の外側の境界を決定する。これ
は領域がトーラス状になっている可能性があるためであ
る。また、領域の外側の境界であることの判別は、この
点のラベル画像上の移動で、その領域の属するブロック
の境界に到達するまでに、最後に該領域から他の領域に
移った点であるとする。

【０１７５】当該領域であるか否かは、ラベル画像のそ
の時々での画像の値（ラベル値）を参照し、それが、当
該領域のものと一致するか否かで識別し得る。この点が
定まったならば、この点を起点として輪郭追跡を開始す
る（Ｓ１３５）。

【０１７６】輪郭追跡は、追跡点の右または左に当該領
域外の点があるとの条件に従えば実行できる。そして、
追跡点が追跡開始点と一致したところでこの追跡を終了
し、次の統合履歴による処理に移る。

【０１７７】この輪郭追跡の際に、当該領域に接する
（移動点に対して、当該領域と反対方向にある）領域の
画素のラベル値を参照し、これを当該領域に接する領域
とする。移動時に、直前に参照した、隣接領域のラベル
の値を記憶しておけば、現隣接領域のラベル値とそれが
変わった時にのみ、非類似度行列の書き込みを実行する
だけで良い。

【０１７８】非類似度行列のインデクスは、統合履歴の
登録の順番とする。

【０１７９】ここで新たな隣接領域が見つかった場合、
統合履歴のリストから、隣接領域と同じラベルを持つル
ートノードを検出する。そして、当該領域とこの隣接領
域に関してクラスタ対の情報構造体を生成し、この二つ
の領域の非類似度行列のインデクス位置にこのクラスタ
対情報構造体へのポインタを登録する（図４のステップ
Ｓ１３６）。また、二つの領域の統合履歴のルートノー
ドのクラスタ情報構造体からＷａｒｄ法における非類似
度を算出する。また、この時の最小距離法による非類度
として、実際の距離ではなく（隣接していれば、非類似
度は“１”または“ルート２（２の平方根）”になる）
でも良く、ここでは、単に隣接していることを意味する
“０”をセットする。

【０１８０】さらに、このクラスタ対の情報構造体が示
すクラスタ状態情報構造体へのポインタの欄に、統合履
歴のルートノードのクラスタ情報の構造体へのポインタ
の値をそれぞれセットする。

【０１８１】二つ目の領域以降は、すでに登録された隣
接関係を検出する可能性がある。また、一つ目の領域で
も輪郭追跡が完了するまでに一度隣接が終わった領域に
２度以上隣接することも起こり得る。この場合は、非類
似度の当該二つの領域のインデクスが参照したとき、そ
れが登録済みであるか否かを見て、未登録である場合に
のみ、登録処理を実行するようにする（Ｓ１３６）。

【０１８２】以上のようにして、領域統合履歴のリスト
の全ての履歴について輪郭追跡による隣接領域の検出を
行い、それが終了したならば（Ｓ１３３）、非類似度行
列をそのインデクスを順次あたってゆくことにより、未
登録のインデクスの対を検出する（Ｓ１３７）。

【０１８３】ステップＳ１３７の処理においては未登録
のインデクスの対が、検出されたならば、インデクスに
基づき、統合履歴リストを検索し、隣接領域の時と同じ
要領でクラスタ対情報構造体を生成し、登録する。この
とき、Ｗａｒｄ法での非類度は、隣接領域間で行ったと
同様にして算出する。最小距離法の非類似度は隣接して
いないと云うことを示すために“１”とする。また、こ
れらクラスタ対をなす各クラスタの状態情報への参照
は、隣接領域間でしたのと同様になる。

【０１８４】ＣＰＵ１１による以上の操作により、第２
段階の領域統合処理に用いるための非類似度行列が完成
する。また、この時点でラベル画像は不必要となるの
で、ワークメモリ１４上から消去する。

【０１８５】以上でステップＳ１３０の処理が終り、次
にステップＳ１４０の処理に入る。ステップＳ１４０の
処理は領域統合である。ここで行う領域統合処理におけ
る階層的領域統合は、基本的には第１の段階のそれと全
く同じであるが、この第２段階での領域統合処理では、
領域が最終的に一つの領域に統合されるまで行い、領域
統合を完了させる。

【０１８６】この第２段階での領域統合処理でも、ＣＰ
Ｕ１１は第１段階での領域統合処理と同様にやはり、統
合履歴を生成し続け、これを最終的な出力とする。そし
て、ＣＰＵ１１は当該生成した統合履歴を外部記憶装置
１７に保存する。

【０１８７】統合履歴の二分木の取り扱いに関しては先
に先行技術で説明したものと同様であるが、階層下位に
おいては、ブロック形状に即した領域が検出されること
があるのでその点を了解して、統合履歴を扱う必要があ
る。

【０１８８】以上の実施例は、非類似度行列による階層
的領域統合について述べたが、非類似度行列の代わりに
グラフ構造を用いても同様な処理結果が得られる。

【０１８９】また、本発明方法は必ずしも、１画面の画
素全体を対象にブロックに分割する必要はなく、何らか
の前処理、例えばサンプリングピッチまたは解像度の粗
い画像（ラフ画像）を利用して、一度、階層的領域統合
しておいてから、抽出対象領域と背景その他の部分を決
定しておき、この境界部分を記録し、今度は解像度の高
いまたはサンプリングピッチの小さな画像（フル画像）
のこの部分に限定して、本方法を適用することにより、
領域抽出を実現すると云った手法を採用することができ
る。

【０１９０】ラフ画像の境界をフル画像に投影すれば、
当然境界線は間欠的となるか、多角形近似されたものと
なる。しかし、これに適当な幅を持たせたトーラスにす
るか、矩形ブロックでこの多角形を包含するように囲み
込んでゆき、これらをブロックとして扱い、本発明によ
る階層的領域統合を行い、統合履歴を得れば、この得ら
れた統合履歴を用いてフル画像における輪郭抽出を実施
することが可能となる。

【０１９１】本発明の実施例を取り纏めておく。本発明
の基本的な考え方は、与えられた画像に対して第１段階
での領域統合処理を実施し、クラスタ数を少なくした
後、これを初期クラスタとして第２段階での領域統合処
理を実施する点にある。その際、隣接関係があり、色空
間上の非類似度最小のクラスタから優先的に領域統合し
てゆくが、この時の履歴管理をする。この履歴管理には
例えば、二分木で管理するという手法を採用する。

【０１９２】先行技術に対する本発明の異なる点は、第
１段階の領域統合処理として、まず、画像を適当な計算
機記憶資源に十分対応可能な大きさのブロックに分割
し、このブロック内で、ある程度の階層的な領域統合を
行うことによって、これら統合領域の個数を階層的クラ
スタ分析可能な程度に減少させ、次に第２段階の領域統
合処理としてこれらの領域を再度、初期クラスタとし
て、領域統合を実行し、領域統合を完了させるようにし
た点である。

【０１９３】すなわち、非類似度列を用いるにせよ、グ
ラフ構造を用いるにせよ、階層的クラスタ分析法によ
り、画像の画面上の対比により相互に分化成立する階層
的領域の抽出は、計算機上大量の記憶資源を必要とす
る。そこで、本発明では、第１段階の領域統合処理とし
て、まず、画像を適当な計算機記憶資源に十分対応可能
な大きさのブロックに分割し、このブロック内で、ある
程度の階層的な領域統合を行うことによって、これら統
合領域の個数を階層的クラスタ分析可能な程度に減少さ
せる。そして、第１段階の統合処理により上記各ブロッ
クでは領域統合されてデータ数（領域数）が少なくなっ
ており、これら各ブロックを取り纏めて１画面として扱
い、第２段階の領域統合処理を行うようにすることによ
り、第２段階の領域統合処理においても、元の画像は上
記の適当な計算機記憶資源に十分対応可能な大きさで取
り扱うことができるようになる。

【０１９４】第２段階の領域統合処理では、上記領域統
合後の領域を初期クラスタとして、再度、領域統合を実
行し、領域統合を完了させる。

【０１９５】当然のことながら、精度上の問題等、必要
があれば、この二段階の領域統合処理をさらに三段、四
段と増やすようにしても構わない。また、初期時でのブ
ロックの設定の仕方としては、最も、単純には適当なラ
イン・カラム各方向適当なオフセットで矩形に分割して
ゆく方法があり、これを適用する。また、必要があれ
ば、これら矩形のサイズは必ずしも一定にする必要はな
い。また、形状も矩形に限られるものではなく、不定形
であっても構わない。

【０１９６】そして、不定形とした場合、その不定形ブ
ロックは、１つだけであって、階層化統合を１段階にし
ても構わない。

【０１９７】領域の隣接関係を非類似度行列またはグラ
フ構造で管理し、領域の隣接関係の構造を生成しようと
する場合は、ブロックを構成する画素の属性（主に座標
値）が分かっていれば十分であり、任意の画素対または
隣接画素の対を求めることは容易である。尚、上述した
“非類似度行列で隣接関係を管理し、領域の階層的統合
を実現する”とは、領域間の隣接関係を画面上での最小
距離法（または、その他）で、領域間の色の類似性また
は対比の度合いをＷａｒｄ法（または、その他）で求
め、これらを非類似度行列で管理すると共に、非類似度
最小のものを領域統合することである。

【０１９８】そして、非類似度行列を用いることのメリ
ットは、種々の組み合わせ的方法を全て適用することが
可能であると云う点である。非類似度行列を用いて、階
層的領域統合を行う場合、例えば、以下の条件画面上
で、最小距離としての非類似度が、所定値以下であり、
色空間上での色の類似性がＷａｒｄ尺度において、所定
値以下または最小値であると云う２つの条件を同時に満
たすクラスタ対の中から、適宜選択されるものとする等
が考えられる。

【０１９９】実施例では非類似度または階層的領域抽出
の実行単位は、１枚の画像をブロックに区分し、階層的
領域抽出を２段階で実行するものとした。この場合、ま
ず、第１段階として、ブロック分割を行い、これらに、
個々のブロックに対して統合履歴を作成して行く。領域
統合は各ブロックとも、基本的には、ある程度の統合で
領域統合を停止・保留する。階層的領域抽出の手法は、
グラフによる階層的領域抽出は先行技術と同様であり、
非類似度行列による階層的領域抽出の場合は上述の手法
で実行される。また、統合履歴の生成に関してはこの段
階では、先行技術と同様に二分木で記録し、二分木を辿
ることで画像の明度，色相，彩度，座標等の各要素を総
合的にとらえた所望の領域抽出を可能にする管理ができ
るようにして、画像を「ライト、中間、シャドウ」の各
領域に分割することができるようにする。

【０２００】第１段階での領域統合は、各ブロック内で
の統合が完了するまで実行するのではなく、所定の条件
が満たされたところで停止・保留し、他のブロックの処
理を同様に継続してゆく。全てのブロックについてこの
段階の処理が終了した時点で、画像全体に関して、各ブ
ロックのクラスタの関係を整理し統合し直す。

【０２０１】各ブロックの第１段階での領域統合の停止
・保留の条件とは、基本的には、画像全体として見たと
きの全クラスタの対比の形成状態や、これらの関係がほ
ぼ一定範囲内に収まり、それと同時に、全体でのクラス
タの個数が、非類似度行列で、あるいはグラフで管理可
能な個数になっていること、すなわち、計算機の記憶資
源容量内にデータが収まった状態であるものとする。

【０２０２】この停止条件として考えられるものとして
は、(a) ブロック内のクラスタが一定数になるか、また
はそれ以下となった時、(b) ブロック内の各クラスタの
色空間上での非類似度がある一定以上に達した時等であ
る。しかし、この条件に達せず、ブロックが一つのクラ
スタに統合されたときはこれを以て停止とする。

【０２０３】各ブロックの第１段階の領域統合処理が終
了した段階で、総クラスタ数がある一定値以上であれ
ば、最も対比状態の小さいブロックからもう１回の領域
統合を実行し、総クラスタ数が所定値になるまで、一領
域づつのクラスタ数削減を実行する。

【０２０４】各ブロックの統計的パラメータ、例えば、
分散値等から、各ブロックの許容クラスタ数を定め、第
１段階の領域統合をこのクラスタの個数を以て停止保留
する。

【０２０５】以上、第１の段階の領域統合処理が終了し
たら、第２段階の領域統合処理に入る。ここでは画像全
体の領域構造への再編成のために、まず全画像のクラス
タに一意のラベル付けをし、これらクラスタの全画像画
面における対の関係を求める。

【０２０６】これら対の関係を管理する方法としては、
非類似度行列を生成する方法や、グラフ構造として管理
する方法等が適用でき、その何れであっても、原理的に
は構わない。いずれの方法にしても、任意のブロックの
任意の領域に対して、他のブロックの任意の領域との間
の関係を求めることとなる。

【０２０７】この前処理として各領域の境界部の情報を
求め、これら領域間の画面上における距離を求め直すこ
とを考える。

【０２０８】その一つとして、全ての領域については輪
郭追跡を行い、その境界の座標値を記録する。但し、領
域とその画面上の位置を対応づけるには、統合過程を表
す二分木のルートノードのラベルからその領域の内の一
つの画素の座標値が得られるものとする。

【０２０９】すなわち、１画素１クラスタを初期状態と
したとき、各画素にはその座標値から一意に対応するよ
うなラベルを割り振っておくものとする（先行技術参
照）。任意の領域間の最小距離は、これら領域の境界座
標値の集合間の任意の要素間の距離のうち、最小になる
ものを以て定める。ここで、グラフ構造によるものは、
隣接する領域、すなわち、距離ゼロのものだけに着目す
るので、任意のブロックの任意の領域について輪郭追跡
を行い、追跡点がブロック境界上に達したとき、それに
相対する境界のブロックのその座標値上にある領域とそ
のラベルを参照してブロック間の隣接関係を求める。平
均値法・重心法・Ｗａｒｄ法等は、新たに発生した領域
対に関しては、各領域の非類似度およびそのクラスタを
構成するサンプル数からこれらの非類似度を再帰的に算
出することができる。

【０２１０】以上の手順により、再度、グラフまたは非
類似度行列を構成して、再度、領域統合処理を実行す
る。２段階で階層的領域統合が完了するようにしたので
あれば、この第２段階での領域統合処理においてクラス
タが一つに統合された段階で、階層的領域統合を終了す
る。

【０２１１】そして、領域統合にあたっては、統合した
領域がその時々でどのようになったかを後から辿ること
ができるようにするために、二分木による履歴管理をし
ており、その時々の統合されたクラスタの明度，色相，
彩度，座標等の各要素の情報を含めて履歴管理するよう
にしているので、この履歴管理の情報により、画像の明
度，色相，彩度，座標等の各要素を総合的にとらえた所
望の領域抽出を可能にする。

【０２１２】以上のように本発明は、処理対象の画像を
適宜な単位に分割あるいはブロック化し、この分割ある
いはブロック化したものを単位に、第１段階での領域統
合を行い、この第１段階での領域統合が済んだ後、この
処理済みの画像を初期クラスタとして用い、これら初期
クラスタを取り纏めて元の１画面分の画像として扱い、
第２段階での領域統合を行うと共に、統合の履歴をその
時々のクラスタの色成分情報と共に保存しておき、そし
て、統合の履歴を辿り、所望の色成分の情報を呈するク
ラスタを知ってこれを抽出することにより、画像の所望
の領域部分を分割することができるようにするものであ
る。

【０２１３】本発明では処理対象の画像を分割あるいは
ブロック化して領域統合処理を行うことで、領域統合処
理毎の一度に取り扱う画素・クラスタ・領域の個数を制
限するようにし、これによって記憶資源の小さな電子計
算機においても演算処理が可能となるように改善した。

【０２１４】すなわち、自然画像における階層的領域抽
出の実行（自然画像における画面上の色の分布の大局的
対比の階層的関係・構造を抽出する処理）を、全画面に
対して一回で終了させようとすると、グラフ構造によ
り、隣接する領域関係の管理だけをしても、相当量の記
憶資源が必要となる。例えば、四近傍隣接の管理だけを
するとしても、隣接関係の組み合わせは、縦横（ｈ×
ｗ）画素の画像においては 、 ２ｈｗ−（ｗ＋ｈ） となる。これは、全ての画素の組み合わせ（非類似度行
列を用いる場合）を取り扱えば、 ｈｗＣ₂ ＝ｈｗ（ｈｗ−１）／２ となり、明らかに前者は、発生し管理しなければならな
い画素対の最大が、総画素数に比例し、後者はその最大
数が総画素数の二乗に比例する。それでも、グラフ構造
を用いて実現しようとする場合、一つのクラスタ対あた
り２００から３００Ｂｙｔｅの記憶容量を必要とし、５
１２＊５１２程度の画像においても１００ＭＢｙｔｅ近
くの記憶容量が必要となる。

【０２１５】膨大なデータを電子計算機で処理する場
合、処理速度を重視するならば、データを電子計算機の
主記憶（メインメモリ）におくことが望ましい。そし
て、主記憶として、上述のような記憶容量のメモリを確
保することは、実現性と云う視点でとらえれば、全く不
可能な数字ではないが、その一方で現時点における記憶
資源のコストが高価であると云う現実があることから、
これ程の記憶容量を主記憶として用意するには経済的に
制約が大きい。また、主記憶の代わりに仮想記憶を用い
ることも可能であるが、外部記憶とのデータの授受は膨
大なオーバーヘッドとなり、処理時間が急激に増大する
こととなるから、実用性の面で問題が大きい。

【０２１６】また、グラフ構造により近傍隣接する画素
の対のみを管理するようにする場合、全ての画素の対の
非類似度の情報はないため、それで、再帰的に非類似度
を算出する方法（組み合わせ的方法）の適用範囲が限定
される。

【０２１７】そこで、本発明では処理対象の画像を適宜
な単位に分割あるいはブロック化し、この分割あるいは
ブロック化したものを単位に、第１段階での領域統合を
行い、この第１段階での領域統合が済んだ後、この処理
済みの画像を取り纏めて元の１画面分の画像として扱
い、第２段階での領域統合を行って、目的の領域の抽出
を可能にする。本発明では処理対象の画像を分割あるい
はブロック化して領域統合処理を行うことで、領域統合
処理毎の一度に取り扱う画素・クラスタ・領域の個数を
限定することができようにし、これによって記憶資源の
小さな電子計算機においても演算処理が可能となるよう
に改善した。

【０２１８】例えば、画面を３２×３２（１０２４）画
素の単位となるブロックに分割するとする。非類似度行
列として発生する画素の対の組み合わせは、５２３７７
６個となり、画素対１あたりのデータ量が仮に５０Ｂyt
e （非類似度行列のほうがデータ構造はグラフ構造に比
して簡単であるので、処理単位あたりに要する記憶資源
は小さい）とすれば、この行列を主記憶上に構成するの
に必要とされる記憶容量は、約２５ＭＢyte となり、標
準的な計算機の記憶資源の大きさとなる。また、非類似
度行列を用いる場合は、処理単位、即ち画素数が少なく
なれば、二乗に比例して画素対の組み合わせが減少す
る。（この条件で、グラフ構造を用いた場合は、初期の
画素対の個数は１９８４個、記憶資源の必要量は、約
０．５５ＭＢyte となる）。

【０２１９】各ブロックでの領域統合は、完了させるの
ではなく、非類似度またはクラスタ数等が適当な条件に
達した所で停止保留し、これらの統合履歴を保存し、こ
の処理を他の全てのブロックに対して実行する。全ての
ブロックに対してこの処理が終了した段階で、任意のブ
ロックの任意の領域を他のブロックの他の領域との関係
をしらべ、全画像については、再度、グラフ構造または
非類似度行列を構成し、階層的領域統合の処理を再度実
行して、領域統合を完成させる。

【０２２０】各ブロックでの領域統合の停止は、２回目
の領域統合を行うに際して、画像全体でグラフ構造また
は非類似度行列が組める程度の領域数に減少しているこ
と、また、各クラスタ対の非類似度の分布ができるだけ
均一となっているようにすることがポイントとなる。

【０２２１】また、画像を正方形のブロックの単位で分
割した例での説明を行ったが、画像の画面の局所局所に
適合してブロックは任意の矩形としても構わなければ、
不定形であっても構わない。また、ブロックが一つで一
度に階層的領域抽出が実現できる場合も本法の特種形と
して扱うものとする。

【０２２２】本発明により、画像の階層的領域抽出が、
比較的主記憶の小さな計算機においても実現可能となる
他、また、処理速度に関しては、非類似度行列を用いる
場合、ブロック単位を小さくすることにより処理効率が
飛躍的に改善されるようになる。

【０２２３】また、１画面をブロックに分割することで
特定の画像部分に限定して、階層的領域統合を実行する
ことが可能となる。また、これにより、生成される領域
統合履歴の記憶容量を少なくできるようになり、処理に
よっては不必要な領域統合履歴を省くことも可能とな
る。

【０２２４】また、非類似度行列に対応できるようにな
ったことで、グラフ構造では大幅に制約を受けていた組
み合わせ的方法による非類似度の算出方法に制約がなく
なった。

【０２２５】なお、本発明は上述した実施例に限定する
ことなく、種々変形して実施し得る。

【０２２６】

【発明の効果】以上、詳述したように本発明によれば、
自然画像における画面上の色の分布の大局的対比の階層
的関係・構造を抽出する処理を、比較的主記憶の小さな
計算機においても実現可能となり、また、処理速度に関
しては、非類似度行列を用いる場合、ブロック単位を小
さくすることにより処理効率が飛躍的に改善される等の
効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための図であって、
本発明の一実施例に係る画像処理装置の構成を示すブロ
ック図である。

【図２】本発明の実施例を説明するための図であって、
本発明の一実施例に係る全体的な処理手順の概要を説明
するためのフローチャートである。

【図３】本発明の実施例を説明するための図であって、
本発明の一実施例に係る領域統合処理の詳細を説明する
ためのフローチャートである。

【図４】本発明の実施例を説明するための図であって、
本発明の一実施例に係る第２段階での領域統合処理の詳
細を説明するためのフローチャートである。

【図５】本発明の実施例を説明するための図であって、
１枚の画像を一定サイズの矩形でブロックに分割して分
割画像化した例を示す図。

【図６】本発明の実施例を説明するための図であって、
各ブロック（各分割画像）の詳細を示した図である。

【図７】本発明の実施例を説明するための図であって、
本発明の一実施例に係る非類似度行列の例を示す図であ
る。

【図８】本発明の実施例を説明するための図であって、
本発明の一実施例に係る情報構造体のうちの画素対の情
報を有する情報構造体１３０および各クラスタの状態の
情報を保持する構造体１４０を説明するための図であ
る。

【図９】本発明の実施例を説明するための図であって、
本発明の一実施例に係る二分木ノードの構造体１５０お
よび統合状態情報の構造体１６０を説明するための図で
ある。

【図１０】本発明の実施例を説明するための図であっ
て、本発明の一実施例における初期状態（１画素１クラ
スタ）のときの、二分木ノードの状態を示す図である。

【図１１】本発明の実施例を説明するための図であっ
て、本発明の一実施例における初期状態時での二分木ノ
ードの構造体１５０の内容例を示す図である。

【図１２】本発明の実施例を説明するための図であっ
て、本発明の一実施例に係る領域統合を次々に実施した
結果、得られる統合履歴二分木を示す図である。

【図１３】本発明の実施例を説明するための図であっ
て、本発明の一実施例に係る統合履歴二分木のリストノ
ード構造体１７０の例を示す図である。

【図１４】本発明の実施例を説明するための図であっ
て、一例としてのブロックＩ，IIの領域統合の様子を示
した図である。

【図１５】先行技術の説明をするための図であって、先
行技術の一実施例に係る画像データ、グラフ構造のデー
タ等を表わす図である。

【図１６】先行技術の説明をするための図であって、先
行技術の一実施例に係る対比強度尺度値の計算式および
Ｌ^* ａ^* ｂ^* 色空間を表わす図である。

【図１７】先行技術の説明をするための図であって、先
行技術の一実施例に係る画像処理装置の領域統合処理を
表わすフローチャートである。

【図１８】先行技術の説明をするための図であって、先
行技術の一実施例に係る頂点のデータ、辺のデータを表
わす図である。

【図１９】先行技術の説明をするための図であって、先
行技術の一実施例に係る頂点のデータ、辺のデータ、リ
ストデータを表わす図である。

【図２０】先行技術の説明をするための図であって、先
行技術の一実施例に係る頂点のデータ、ノードデータを
表わす図である。

【図２１】先行技術の説明をするための図であって、先
行技術の一実施例に係るＢ−木等を表わす図である。

【図２２】先行技術の説明をするための図であって、先
行技術の一実施例に係る画像データを表わす図である。

【図２３】先行技術の説明をするための図であって、先
行技術の一実施例に係る領域分割された画像データを示
す図である。

【図２４】先行技術の説明をするための図であって、先
行技術の一実施例に係る領域統合を表わすツリーであ
る。

【図２５】先行技術の説明をするための図であって、先
行技術の一実施例に係る領域分割された画像データを示
す図である。

【図２６】先行技術の説明をするための図であって、先
行技術の一実施例に係る領域統合過程における頂点およ
び辺を表わすグラフである。

【図２７】先行技術の説明をするための図であって、先
行技術の一実施例に係る領域統合過程における頂点およ
び辺を表わすグラフである。

【図２８】先行技術の説明をするための図であって、先
行技術の一実施例に係る領域統合過程における頂点およ
び辺を表わすグラフである。

【符号の説明】

１１ ＣＰＵ（プロセッサ） １２ 入力Ｉ／Ｆ（インタフェース） １３ プログラムメモリ １７ 外部記憶装置 １８ ＧＤＣ（グラフィック・ディスプレイ・コント
ローラ） １９ ディスプレイ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 処理対象の画像を所要の単位に分け、こ
   の分けた画像を単位に、その構成画素について領域統合
   する第１の領域統合処理工程と、 この第１の領域統合処理工程により得られた上記各単位
   の画像を取り纏めてこれらを初期クラスタとする１画面
   分の画像とし、この画像のクラスタについて領域統合を
   行うとともに、統合履歴を保存する第２の領域統合処理
   工程とよりなることを特徴とする画像処理方法。
2. 【請求項２】 処理対象の画像を所要の単位に分け、こ
   の分けた画像を単位に、その構成画素について領域統合
   する第１の領域統合処理工程と、 この第１の領域統合処理工程により得られた上記各単位
   の画像を取り纏めてこれらを初期クラスタとする１画面
   分の画像とし、この画像のクラスタについて領域統合を
   行うとともに、領域統合の履歴情報を二分木により管理
   すべく情報保存する第２の領域統合処理工程とよりなる
   ことを特徴とする画像処理方法。
3. 【請求項３】 領域統合は隣接関係があり、色空間上の
   非類似度最小のクラスタから優先的に統合することを特
   徴とする請求項１または２いずれか一方記載の画像処理
   方法。
4. 【請求項４】 領域統合の順序および領域統合された領
   域間の類似度を表わす情報、統合されるクラスタの座標
   情報を含む、統合されるクラスタの統合履歴を保存する
   とともに、二分木で管理することを特徴とする請求項１
   または２いずれか一方記載の画像処理方法。