JP3557555B2

JP3557555B2 - 映像の領域区分方法および装置

Info

Publication number: JP3557555B2
Application number: JP2001321476A
Authority: JP
Inventors: 相均金; ドミトリーニコライェフ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2000-11-22
Filing date: 2001-10-19
Publication date: 2004-08-25
Anticipated expiration: 2021-10-19
Also published as: KR20020039721A; KR100374791B1; US20020102017A1; JP2002197458A; US7076095B2

Description

【０００１】
【発明の属する技術分野】
本発明は映像処理に係り、特に、映像を複数の領域に区分する方法および装置に関する。
【０００２】
【従来の技術】
映像を形成する重要な因子としては、色あい、照度（ｉｌｌｕｍｉｎａｎｔ）、物体の形状（ｓｈａｐｅ）およびテキスチャー、物体の位置、物体の幾何学的な相互配置（ｇｅｏｍｅｔｒｙ）、および観察者と映像形成装置との位置関係などが挙げられる。映像形成は、これら種々の環境条件や各種装置の違いにより影響を受ける。
理想的な映像分割とは、前述した映像形成に影響を及ぼす各種の要因に関係なく、人間が認知するのと同じように、映像の中の背景や同一色の領域から意味のある物体や領域を効率よく区分することであり、このための映像領域分離技術が従来から数多く開示されている。
【０００３】
この映像領域分離技術の一つが、Ｄ．ＣｏｍａｎｉｃｉｕおよびＰ．Ｍｅｅｒらによりにより発表された「Ｄｉｓｔｒｉｂｕｔｉｏｎｆｒｅｅｄｅｃｏｍｐｏｓｉｔｉｏｎｏｆｍｕｌｔｉｖａｒｉａｔｅｄａｔａ」（ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＡｐｐｌｉｃａｔｉｏｎ，１９９９，Ｖｏｌ，２，ｐ２２−３０）に記載されている。この中ではポイント−クラスタリング（Ｐｏｉｎｔ−Ｃｌｕｓｔｅｒｉｎｇ）アルゴリズムが利用されている。
【０００４】
ポイント−クラスタリングアルゴリズムは、色空間における色点の分布の状態、すなわち、映像の中から任意に選択した画素の色に類似する色を持つ画素群を、映像の中から検出する。そして、映像内において、任意に選択した画素からの離間距離が所定範囲内に属する総ての画素に対してこれを行うことで、同じ色の領域を決定する。
【０００５】
このような従来の映像の領域分離技術は、同一の色領域を素早く区分することができる。しかし、テキスチャーが領域に含まれる場合、映像を区分し過ぎてしまうという問題点を有する。さらに、陰影効果を適宜認識できないので、陰影を有する３次元物体の領域を正常に区分できないという問題点も有する。
【０００６】
この陰影効果を認識することのできる映像の領域分離技術として、米国特許米国特許ＵＳ５，９３３，５２４号に「Ｍｅｔｈｏｄｆｏｒｓｅｇｍｅｎｔａｔｉｏｎｏｆｄｉｇｉｔａｌｃｏｌｏｒｉｍａｇｅｓ」というタイトルで開示されてものがある。
【０００７】
この領域分離技術では、カラー映像の領域を区分するために、ライン−クラスタリングアルゴリズムが用いられている。この領域区分技術は、まず、特定の物体のカラーヒストグラムを求め、これを正規化したカラーヒストグラムに変換する。これは、光源の違いによる物体のカラーヒストグラムの変化の発生を低減させるためである。このようにして得られた色空間上の色クラスターを３つのモデルにより媒介関数化する。ここで、特定の物体を定義する媒介関数は、色空間における色画素間の距離を計算するのに用いられ、その結果、映像中の特定の物体が効率的に区分される。
【０００８】
しかし、この映像の領域区分方法を、様々な色分布を有する実際の映像の領域を区分するために利用するには限界がある。さらに、この方法では、３次元空間上に最適な状態で分布させるモデルを求めるための固有値が必要となり、この固有値を求めるために複雑な計算が必要となる。その結果、カラー映像の領域を区分するために要する時間が長くなるという問題を有している。
【０００９】
【発明が解決しようとする課題】
本発明は上記事情に鑑みてなされたものであり、その目的は、様々な特徴を持つ映像領域を、人が認識するのと同じような形で抽出することができる映像の領域区分方法を提供することにある。さらに、本発明の他の目的は、前記映像の領域区分方法を行う映像の領域区分装置を提供することにある。
【００１０】
【発明が解決しようとする課題】
前記目的を達成するために、入力映像を多数の領域に区分する映像の領域区分方法は、前記入力映像の各画素を輝度軸を含む任意の色空間における色座標に変換させる（ａ）段階と、前記色空間を輝度（Ｌ）軸を基準として断面に分割し、分割された各断面を色（αおよびβ）軸を基準としてビンに分割する（ｂ）段階と、上位断面に含まれた前記ビンのうち前記色空間上の画素を最も多く含むビン内の所定位置に存在する基本画素の特徴と最も類似した特徴を有する画素が最も多く密集されている上位最終円を平均値シフト解析により求める（ｃ）段階と、前記上位断面に連続して隣接する下位断面において、前記上位最終円の中心と同一の位置に存在する基本画素の特徴と最も類似した特徴を有する画素が最も多く密集されている下位最終円を前記平均値シフト解析により求める（ｄ）段階と、前記上位最終円および前記下位最終円の中心間の距離が第１閾値よりも小さい場合、前記上位最終円および前記下位最終円を同一のクラスターに含ませ、前記下位断面に後続して隣接する他の下位断面が存在すれば、前記下位断面を新しい前記上位断面として決定し、前記他の下位断面を新しい前記下位断面として決定すると共に、前記（ｄ）段階に戻る（ｅ）段階と、前記上位および前記下位最終円の中心間の距離が前記第１閾値よりも大きい、あるいは連続して隣接する前記他の下位断面が存在しなければ、前記クラスターに含まれた最終円のうち色平均値、テキスチャー平均値および位置平均値を計算するために用いられた色空間上の画素を最も少なく含む最終円を用いて前記クラスターを分割する（ｆ）段階と、前記上位または前記下位最終円に含まれていない残存する画素に対して前記（ｃ）〜前記（ｆ）段階を行い、前記色空間上に存在する全ての画素に対して得られたクラスターを用いて映像グラフを生成する（ｇ）段階とを備える（請求項１に相当）。
【００１１】
また、映像の領域区分方法は、前記入力映像を所定回数だけ繰り返して平滑化させ、前記（ａ）段階に戻る段階をさらに備え、前記輝度軸を含む任意の色空間はＬαβ色空間に該当し、前記（ａ）段階は平滑化した映像の各画素をＬαβ色空間における色座標に変換させる（請求項２に相当）。
【００１２】
また、映像の領域区分方法は、前記（ｇ）段階の後に、色−テキスチャー距離と第２閾値とを比較し、比較された結果に応じて前記映像グラフに表示された領域を併合して最終の映像グラフを求める段階をさらに備える（請求項３に相当）。
【００１３】
さらに、前記（ｃ）段階は（ｃ１）前記所定の位置を中心とする上位任意円に含まれた画素のうち、前記上位任意円の中心に位置した画素のテキスチャー特性値よりも小さいテキスチャー特性値を有し、映像面で前記上位任意円の中心に位置した画素からの離間距離が所定距離以内にある画素だけを選択すると共に、選択された画素に対する前記色平均値、前記テキスチャー平均値および映像面における前記位置平均値を求める段階と、（ｃ２）前記Ｌαβ色空間上において、前記平均値および前記上位任意円の中心基本画素の特性値の間の差から求めた離隔度が第１所定値以下であるかどうかを判断する段階と、（ｃ３）前記離隔度が前記第１所定値よりも大きければ、計算された色平均値の位置を中心とする仮想の基本画素を指定し、前記仮想の基本画素のテキスチャー特性値および映像面における位置情報を前記（ｃ１）段階で計算されたテキスチャー平均値および映像面における位置平均値と指定した後、前記指定された仮想の基本画素を中心とする新しい前記上位任意円を決定し、前記（ｃ１）段階に戻る段階と、（ｃ４）前記離隔度が前記第１所定値以下であれば、前記上位任意円を前記上位最終円として決定し、前記（ｄ）段階に進む段階とを備える（請求項４に相当）。
【００１４】
さらに、前記（ｄ）段階は、（ｄ１）前記下位断面で前記上位最終円の中心と同一の位置を中心とする下位任意円に含まれた画素のうち、前記上位最終円の中心と同一の位置に存在する基本画素のテキスチャー特性値よりも小さいテキスチャー特性値を有すると共に、前記基本画素の映像面における位置からの離間距離が所定距離以内にある画素だけを選択し、選択された画素に対する色平均値、テキスチャー平均値および前記映像面における位置平均値を求める段階と、（ｄ２）前記Ｌαβ色空間上において、前記（ｄ１）段階で求めた平均値および前記下位任意円の中心基本画素の特性値の間の差から求めた離隔度が前記第１所定値以下であるかどうかを判断する段階と、（ｄ３）前記（ｄ２）段階において、前記離隔度が前記第１所定値よりも大きければ、前記（ｄ１）段階で求めた前記色平均値の位置を仮想の基本画素と指定し、前記仮想の基本画素のテキスチャー特性値および映像面における位置情報を前記（ｄ１）段階で計算されたテキスチャー平均値および映像面における位置平均値と指定した後、前記仮想の基本画素を中心とする新しい下位任意円を決定し、前記（ｄ１）段階に戻る段階と、（ｄ４）前記（ｄ２）段階において、前記離隔度が前記第１所定値以下であれば、前記下位任意円を前記下位最終円として決定し、前記（ｅ）段階に進む段階とを備える（請求項５に相当）
【００１５】
また、前記（ｃ１）段階は、前記上位任意円の内部に存在するある画素と前記上位任意円の中心に位置した画素との距離Δ’が第２所定値よりも小さければ、前記平均値を計算する時に前記ある画素に対する色平均値、テキスチャー平均値および前記映像面における位置平均値を反映し、前記画素間の距離Δ’は下記のように計算される（請求項６に相当）。

（ここで、ＸおよびＹは前記画素各々の前記映像面における座標を各々表わし、αおよびβは前記色空間での色成分を各々表わし、θは前記テキスチャー応答を表わし、σ _Gは前記所定距離を表わし、σ _Cは前記上位任意円の半径を表わし、σθは前記テキスチャー特性値の大小の度合いを表わす。）
【００１６】
さらに、前記（ｄ１）段階は、前記下位任意円の内部に存在するある画素と前記下位任意円の中心に位置した画素との距離Δ’が第２所定値よりも小さければ、前記平均値を計算する時に前記ある画素に対するＬ、αおよびβ平均値、前記テキスチャー平均値および前記映像面における位置平均値を反映し、前記画素間の距離Δ’は下記のように計算される（請求項７に相当）。

（ここで、ＸおよびＹは前記画素各々の前記映像面における座標を各々表わし、αおよびβは前記色空間での色成分を各々表わし、θは前記テキスチャー応答を表わし、σ _Gは前記所定距離を表わし、σ _Cは前記上位任意円の半径を表わし、σθは前記テキスチャー特性値の大小の度合いを表わす。）
【００１７】
また、前記上位断面は、前記下位断面よりも明るい輝度レベルを有し、前記上位断面は、前記下位断面よりも暗い輝度レベルを有する（請求項８，請求項９に相当）。
【００１８】
前記他の目的を達成するために、入力映像を多数の領域に区分する映像の領域区分装置は、前記入力映像を所定回数だけ繰り返して平滑化させ、平滑化した映像でエッジ部分を強調して出力する映像前処理部と、前記映像前処理部から出力される映像から色特性値および前記テキスチャー特性値を画素単位に計算して出力する特性値計算部と、前記平均値シフト解析に基づき、前記映像前処理部から出力される映像の各画素に対する前記色テキスチャー、映像面上の位置情報および前記特性値計算部から出力される前記テキスチャー特性値を用いて得られた前記クラスターから前記映像グラフを生成して出力する主要領域区分部と、前記特性値計算部から出力される前記色特性値および前記テキスチャー特性値を用いて計算した色−テキスチャー距離と第２閾値とを比較し、比較された結果に応じて前記映像グラフを単純化させ、単純化した映像グラフから得られた最終の映像グラフを出力する映像グラフ単純化部とを備える（請求項１０に相当）。
【００１９】
【発明の実施の形態】
以下、添付した図面に基づいて、本発明にかかる映像の領域区分方法およびその方法を行う映像の領域区分装置の構成および動作について説明する。
【００２０】
図１および図２は、本発明にかかる映像の領域区分方法を説明するためのフローチャートである。図１および図２に示すように、本発明の方法には、入力映像の各画素をＬαβ色空間上の色座標（または画素群）に変換し、色空間を断面およびビンに分割する段階（第１０段階、第１２段階）と、平均値シフト解析により上位最終円および下位最終円を求める段階（第１４段階、第１６段階）と、クラスターを形成および分割する段階（第１８段階乃至第２６段階）と、クラスターを用いて映像グラフを生成および単純化させる段階（第２８段階、第３０段階）とが含まれる。
【００２１】
図３は、図１および図２のフローチャートに従って映像の領域区分を行う映像の領域区分装置の好適な一実施形態のブロック図である。この映像の領域区分装置は、映像前処理部３２と、特性値計算部３４と、主要領域区分部３６と、映像グラフ単純化部３８とを備える。
【００２２】
図１乃至図３に示すように、主要領域区分部３６は、入力映像の各画素をＬαβ色空間内の色座標に変換する（第１０段階）。ここで、Ｌは輝度、αおよびβはそれぞれ色成分を意味する。これら各要素は、下記式（１）で表される。
【００２３】
【数１】

【００２４】
ここで、ｒ、ｇ、ｂは各画素の色値を示す。
【００２５】
第１０段階では、主要領域区分部３６には、入力映像が入力端子ＩＮ１から直接、または映像前処理部３２を介して入力される（図３参照）。映像前処理部３２は入力端子ＩＮ１を介して入力された入力映像の平滑化を所定回数だけ繰り返し、エッジ部分の強調により平滑化された映像を前処理された映像として、特性値計算部３４および主要領域区分部３６にそれぞれ出力する。
【００２６】
したがって、主要領域区分部３６は映像前処理部３２から出力された平滑化された映像もしくは入力端子ＩＮ１を介して入力された入力映像の各画素を、Ｌαβ色空間内の色座標（画素群）に変換する。
【００２７】
映像前処理部３２で行われる入力映像の平滑化について、以下に詳細に説明する。
一般に、カメラセンサもしくはビデオ映像信号により取り込まれた入力映像は、ノイズと有意味信号とより構成され、これら映像の各構成要素（ノイズと有意味信号）は異なる種類の情報を含んでいる。これらの各構成要素（ノイズと有意味信号）を区分する本発明にかかるの統計的な方法では、入力映像を各種の他の性質を有した要素に分解にする。
【００２８】
例えば、映像前処理部３２は入力端子ＩＮ１を介して入力された入力映像を平滑化させてノイズを除去し、平滑化した映像を顕著なエッジを有する部分と顕著なエッジを有しない部分とに分解して物体のエッジ部分を生かすエッジ保存映像平滑化（Ｅｄｇｅ−ｐｒｅｓｅｒｖｉｎｇｉｍａｇｅｓｍｏｏｔｈｉｎｇ）を行う。
エッジ保存映像平滑化は、１９９８年にＰ．Ａ．Ｃｈｏｃｈｉａにより”ＯｐｔｉｃａｌＭｅｍｏｒｙａｎｄＮｅｕｒａｌＮｅｔｗｏｒｋｓ”というジャーナルに”ＴｗｏＴａｓｋｓｉｎＩｍａｇｅＥｎｈａｎｃｅｍｅｎｔＴｅｃｈｎｏｌｏｇｙ”という題目で発表された論文に開示されており、下記のような技術である。
【００２９】
すなわち、一定の大きさのウィンドウの内部に存在する画素の集り｛ｘ｝を下記式（２）のように表わし、異なる大きさの他のウインドウに応用して、ウインドウ中に存在する画素の中で特異な輝度値を有する画素を除いた残りの画素を平滑化させるという技術である。
【００３０】
【数２】

【００３１】
入力映像に対して平滑化をｑ回繰り返した後に得られるウインドウ

における輝度値

は、ｑ−１回の平滑化を行った際に得られるウインドウの輝度値

を用いて、下記式（３）より求められる。
【００３２】
【数３】

【００３３】
ここで、ｗ（ｘ’）は所定の加重関数であって、ｘ’が−σと＋σとの間にある時にはｗ（ｘ’）＝１となり、そうでなければ、ｗ（ｘ’）＝０となる。
【００３４】
ｑ−１回の平滑化を行った際のウインドウについて得られた輝度値

は、ｑ−１回の平滑化を行った際のウインドウ

における加重関数の中心値を意味する。
なお、入力映像を初めて平滑化する時には、ｘ_ｍｍが

の代わりに用いられる。
この時、Ｑ回の平滑化が行われた画素の輝度値ｓ’_ｍｍは

で表わされる。
【００３５】
したがって、ｓ’_ｍｍは、Ｑ枚のウィンドウをもって映像画素を平滑化した結果値を意味する。実験の結果求められた平滑化の好適な回数は２回であって、最初の平滑化では３−５画素の広さを有するウィンドウを用い、第２番目の平滑化では１０−４０画素の広さを有するウィンドウを用いた。
これらのウィンドウを用いると、ノイズの多い映像から平滑化した成分を抽出するのに良好な性能が確認され、計算される結果値の自乗平均エラーは０．５％以内であった。
【００３６】
第１０段階の後に、Ｌαβ色空間をＬ軸を基準として断面に分割し、分割された各断面をαおよびβ軸を基準としてビンに分割する（第１２段階）。この時に、映像面上の各断面に含まれる画素の位置（Ｘ、Ｙ）を記憶する。
【００３７】
以下、第１２段階で形成された断面およびビンについて図４を参照して説明する。
【００３８】
図４には、断面およびビンのＬαβ色空間が示されている。Ｌαβ色空間は複数の断面４０，４２，…４６に分割され、さらに各断面４０，４２，４４，…４６は複数のビンにそれぞれ分割されている。例えば、断面４０は複数のビン５０，５１，５２，５３，５４，…より構成され、断面４２は複数のビン６０，６１，６２，６４，…より構成され、断面４６は複数のビン７０，７１，７２，７４，…より構成される。このＬαβ色空間の各軸は０から２^Ｐ’−１までの範囲を有している。各ビンは横、縦および高さがそれぞれＰ’’である立方体である。
【００３９】
まず、Ｌ軸（輝度）は２５６＝２^８（ｐ’＝８）通りの異なる輝度を有し、α軸およびβ軸は、それぞれ２５６＝２^８（ｐ’＝８），ｐ’’＝４通りの異なる種類の色のを有すると仮定する。
また、図４に示されたある２つの断面において、輝度が小さい断面を「下位断面」と、輝度がより大きい断面を「上位断面」であると定義する。すなわち、断面４０は断面４２に対して上位断面となり、断面４２は断面４０に対して下位断面となる。一方で、断面４２は断面４４に対して上位断面となり、断面４４は断面４２に対して下位断面となる。
【００４０】
このような前提の下で、Ｌαβの各座標軸からなる色空間のＬ軸上の４つの輝度値が、色空間を６４個の断面に分割されてなる各断面４０，４２，４４，…４６に割り当てられる。
すなわち、輝度値２５５，２５４，２５３，２５２を断面４０に割当てることができる。また、この色空間はα軸およびβ軸に対しても断面４０，４２，…４４というように分割されているので、この色空間全体として６４×６４個のビンが存在することになる。
【００４１】
第１２段階の後に、図４に示す第１上位断面４０を構成するビン５０，５１，５２，５３，５４，．．．のうち、ローカルマキシマに該当するビン内の所定位置にある初期画素の特徴に最も類似した特徴を有する画素が最も多く含まれている上位最終円を平均値シフト解析により求める（第１４段階）。
ここで、ローカルマキシマとは、ある断面に含まれたビンの中で、画素を最も多く含むビンを意味する。
【００４２】
以下、添付した図面に基づき、主要領域区分部３６が第１４段階を行う際に用いる平均値シフト解析の望ましい一実施形態を図５および図６を参照して説明する。
【００４３】
図５は、図１に示す第１４段階を行う際に利用する平均値シフト解析を説明するためのフローチャートである。この平均値シフト解析は、はじめに任意の上位円に含まれる画素の中から選択された画素群について、色平均、テキスチャー平均値、および映像平面における平均位置（Ｘ，Ｙ）を求める。そして、求めた各値と、前記基本画素についてのこれら各値（色平均、テキスチャー平均値、および映像平面における平均位置（Ｘ，Ｙ）とをそれぞれ比較する。最後に、選択された画素について求めた各平均値が収斂しているかどうかを決定する（第９０段階〜第９６段階）。
この第９０段階〜第９６段階は収斂された上位任意円が求められるまで繰り返す。そして、収斂された上位任意円を上位最終円として決定する（第９８段階）。
【００４４】
図６（ａ）、（ｂ）は、平均値シフト解析を説明するための図であって、図６の（ａ）に示された上位断面１２０は一つ以上の上位任意円１０６，１０８，…１１０より構成され、図６の（ｂ）に示された下位断面１３０は一つ以上の下位任意円１３２，１３４，…１３６より構成される。
ここで、上位断面１２０および下位断面１３０の横軸はβ軸であり、縦軸はα軸である。ここで使用するα，βは、前記Ｌαβ色空間上の軸αβと同一である（図４参照）。
ここで、本発明にかかる平均値シフト解析を説明するために、図６（ａ）、（ｂ）には、上位任意円（１０６，１０８，…，１１０）、および下位任意円（１３２，１３４，…，１３６）がそれぞれ複数示されているが、通常の場合、各断面には一つの上位任意円（下位任意円）のみが存在することができる。
【００４５】
図６（ａ）に示すように、最高の輝度を有する上位断面１２０内の所定位置１００に中心が位置すると共に半径がσｃである第１上位任意円１０６の中に含まれる画素の中から、テキスチャー特性値が、第１上位任意円１０６の中心１００に位置する画素（以下、基本画素という）のテキスチャー特性値よりもテキスチャー距離σθだけ小さく、基本画素からの離間距離が所定距離σＧよりも小さい画素のみを選択する（段階９０）。
第９０段階を行うために必要とされる各画素のテキスチャー特性値は、図３に示された特性値計算部３４から出力される。
【００４６】
図３に示す特性値計算部３４の動作について以下に説明する。
特性値計算部３４は、映像前処理部３２から出力された前処理後の映像から色特性値およびテキスチャー特性値を画素毎に計算し、その計算結果である色特性値およびテキスチャー特性値を主要領域区分部３６および映像グラフ単純化部３８にそれぞれ出力する。
【００４７】
はじめに、特性値計算部３４において計算された色特性値を参照し、通常の特性空間の基準を提供するために、色特性空間およびテキスチャー特性空間が共に利用される。
この際、映像中の各画素における色特性値は色特性空間およびテキスチャー特性空間を定義することで明確化できる。
各画素の色特性値、すなわち、輝度Ｂ、色合いＨおよび彩度Ｓは下記式（４）のように表わされる。
【００４８】
【数４】

【００４９】
ここで、ｕ＝ｍｉｎ（ｒ，ｇ，ｂ）である。
【００５０】
次に、特性値計算部３４において計算されたテキスチャー特性値を参照し、画素毎の多重方向の局所変動ｖ（ｌｏｃａｌｖａｒｉａｔｉｏｎ）および局所振動ｆ（ｌｏｃａｌｏｓｃｉｌｌａｔｉｏｎ）を求め、求めたこれらの値を合成することで、テキスチャー特性空間の形成に用いられる多重サイズ（ｍｕｌｔｉｐｌｅｓｃａｌｅｓ）のテキスチャー特性値および多重方向（ｍｕｌｔｉｐｌｅｏｒｉｅｎｔａｔｉｏｎｓ）のテキスチャー特性値を得る。
【００５１】
このテキスチャー映像の分析方法は、グレーレベル差分法（ＧｒａｙＬｅｖｅｌＤｉｆｆｅｒｅｎｃｅＭｅｔｈｏｄ）と呼ばれる。
グレーレベル差分法は１９７４年にＥ．Ｊ．Ｃａｒｔｏｎ，Ｊ．Ｓ．ＷｅｓｚｋａおよびＡ．Ｒｏｓｅｎｆｅｌｄがマリーランド大学（Ｕｎｉｖ．ｏｆＭａｒｙｌａｎｄ）の技術報告書（ＴＲ：ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ）−２８８に”ＳｏｍｅＢａｓｉｃＴｅｘｔｕｒｅＡｎａｌｙｓｉｓＴｅｃｈｎｉｑｕｅｓ”という題目で発表した論文および１９８５年にＬ．ＶａｎＧｏｏｌ，Ｐ．ＤｅｗａｅｌｅおよびＡ．ＯｏｓｔｅｒｌｉｎｃｋがコンファランスＣＶＧＩＰで”ＴｅｘｔｕｒｅＡｎａｌｙｓｉｓＡｎｎｏ”という題目で発表した論文に各々開示されている。
前記式（４）に示された映像の輝度値Ｂが、このようなテキスチャー特性値を抽出するのに用いられる。
【００５２】
まず、局所変動ｖについて説明する。映像内の画素画素群（長さ２Ｌ’を有し、中心ｍ，ｎ（ここで、ｍおよびｎは映像面における画素の空間的な位置（Ｘ，Ｙ）と同一である））を、画素ｍ，ｎを中心として角度α’_ｋ＝ｋπ／Ｋ、ｋ＝０，１，…，Ｋ−１だけ回転させる。
この方法により均一に分布させた画素群中の一つの画素の輝度Ｂをｌ_ｉ（−Ｌ≦ｉ≦Ｌ）で表すと、上向き加重変動ｖ^＋、および下向き加重変動ｖ⁻は下記式（５）のように表わされる。
【００５３】
【数５】

【００５４】
ここで、ｄ_ｉは、画素の配列の中で隣接する画素同士の輝度の差ｌ_ｉ＋１−ｌ_ｉを示す。ｗ_ｉは、コサイン加重関数Ａｃｏｓ（ｉπ／（２Ｌ’＋１））である。
コサイン加重関数において、係数Ａは、

を得るための値として用いられる。この時、局所変動ｖ_ｋは下記式（６）に示す上向き基準変動ｖ^＋、および下向き基準変動ｖ⁻のなかで小さい値を示す。
【００５５】
【数６】

【００５６】
局所振動は、ｄ_ｉ（ｄ_ｉは振動の大きさを示す）の数で定義される。さらにｄｉの大きさは、配列の長さ２Ｌ’（−Ｌ≦ｉ≦Ｌ）より求められるｄ_ｉの符号が変わるのと同時に所定の閾値を超える）
この時、各画素のテキスチャー特性値

を得るために、各画素の局所変動ｖ_ｋおよび局所振動ｆ_ｋが乗算される。また、求められたテキスチャー特性値をさらに平滑化するため、下記式（７）を利用する。
【００５７】
【数７】

【００５８】
前記式（７）から明らかなように、テキスチャー特性値ｔ_ｋは、ｈ×１の大きさを有するウィンドウの平均値に平滑化され、ハイパーボリックタンジェント（ｔａｎｈ）を用いた変換により、高いテキスチャー特性値は小さくなり、低いテキスチャー特性値は大きくなる。この際、映像の大きさを他の周波数でＺ回だけ縮める（毎回１／２だけ）と、前記式（７）の各画素のテキスチャー特性値ｔ_ｋは下記式（８）のように表わせる。
【００５９】
【数８】

【００６０】
前記式（８）から、各画素のＫＺテキスチャー特性値

が明確になる。
【００６１】
一方、図５に示す第９０段階の後に、主要領域区分部３６は選択された画素群について、映像面上の色平均値、テキスチャー平均値、および位置平均値をそれぞれ求める（第９２段階）。
ここで、色平均値は、与えられた輝度軸（Ｌ軸）に対する断面の中から選択された画素群についての色成分α，βの平均値を意味し、これをＬαβ平均値という。テキスチャー平均値は、選択された画素群のテキスチャー平均値を意味し、位置平均値は選択された画素群の映像面における位置の平均値を意味する。
【００６２】
第９２段階の後に、計算された前記各平均値と、第１上位任意円１０６の中心に位置する基本画素１００の各平均値とをそれぞれ比較し、その離隔度が第１所定値以下であるか、それとも同じであるかを判断する（第９４段階）。
【００６３】
ここで、第９４段階において、第９２段階で求められた平均値と基本画素１００が有する平均値との差から求められる前記隔離度について以下に説明する。
計算により求められた離隔度が第１所定値よりも大きい場合、第９２段階で得られた色平均値に該当する位置１０２に中心が位置する画素を、仮想基本画素として指定し、この仮想基本画素の映像面におけるテキスチャー特性値および位置を、第９２段階で計算された映像面のテキスチャー平均値および位置平均値と指定する。そして、中心が位置１０２に位置する新しい上位任意円、すなわち第２上位任意円１０８が決定され、第９０段階に戻る（第９６段階）。
【００６４】
前述した第９０段階〜第９６段階は、離隔度が、第１所定値以下になるまで、すなわち、上位任意円から選択された画素群の色平均、テキスチャー平均、および平均位置が、当該上位任意円の基本画素の特性値（色、テキスチャー、位置）に収斂するまで、図６（ａ）に示された矢印方向１２２の順序で順次上位任意円を変更しながら行われる。
すなわち、図６（ａ）に示すように、上位任意円１１０における各平均値（色平均値、テキスチャー平均値または位置平均値）と、当該上位任意円１１０の中心に位置する基本画素１０４の各特性値（色、テキスチャー、位置）との差より求められる離隔度が第１所定値以下であれば、収斂されたと見なし、当該上位任意円１１０を、図３に示された上位最終円８４として決定する（第９８段階）。
この際、上位最終円８４または上位任意円１１０には、仮想基本画素１０４の特性値に最も類似した特性値を有する画素が多数含まれることになる。
【００６５】
一方、図１に示す第１４段階の後に、上方任意円の基本画素と同じ特性（テキスチャーおよび位置）を有する仮想基本画素が、上位断面４０に隣接する下位断面４２の上方任意円８４の中心位置（α，β）と同じ位置に設定される。そして、この下位断面４２の仮想基本画素の各特性と類似する特性を最も多く含む下位最終円８２が平均値シフト解析により求められる（第１６段階）。
【００６６】
以下、添付図面に基づいて、主要領域区分部３６で第１６段階を行う時に使用する平均値シフト解析の望ましい一実施形態について説明する。
【００６７】
図７は、図１に示す第１６段階で用いられる本発明にかかる平均値シフト解析を説明するためのフローチャートである。この平均値シフト解析には、収斂された下位任意円が求められるまで、下位任意円に含まれた画素群の中から選択された画素の色平均値、テキスチャー平均値、および映像面の位置平均値を求める段階（段階第１５０〜第１５６段階）と、収斂された下位任意円を下位最終円として決定する段階（第１５８段階）とが含まれている。
【００６８】
図６（ａ）、（ｂ）に示すように、半径σｃを有すると共に、中心が下位断面１３０内の位置１４０（この位置１４０は、上位断面１２０の上位最終円１１０の中心１０４に相当する）に位置する第１下位任意円１３２に含まれた画素群の中から、テキスチャー特性値が、設定された基本画素１４０のテキスチャー特性値よりもσθ小さく、かつ設定された基本画素１４０からの離間距離が所定距離σＧ以内である画素を選択する（段階１５０）。
この第１５０段階で用いられるテキスチャー特性値は、前述したように、特性値計算部３４で計算される。
【００６９】
本実施の形態では、前記第９０段階および第１５０段階において、以下に説明する手法に基づいて、任意円の内部に存在する画素群の中から画素が選択される。
【００７０】
はじめに、▲１▼：映像平面における位置の違いΔＸ，ΔＹ、▲２▼：色成分の違いΔα，Δβ、および▲３▼：上位任意円（または下位任意円）内に位置する任意の画素のテキスチャー特性値と上位任意円（または下位任意円）の中心に位置する中心画素のテキスチャー特性値との違いΔθを利用して、任意に選択された画素と中心画素との距離の差Δ’を下記式（９）に基づいて求める。
【００７１】
【数９】

【００７２】
ここで、θはテキスチャー応答であって、前記式（８）に示された過程で得られた各画素に対するＫＺ個のテキスチャー特性値の配列θ［ＫＺ］を意味する。ここで、σθ_ｉは、Ｋ個の相異なるテキスチャー距離の大きさのなかで、ｉ番目の大きさに対するテキスチャー距離を意味する。
【００７３】
前記式（９）に基づいて求められた画素間の距離Δ’が、第２所定距離値、例えば「１」よりも小さい場合、その画素を任意の円の平均値と見なして選択する。一方、「１」よりも大きい場合、その画素を選択しない。
【００７４】
第１５０段階の後に、第１下位任意円１３２に含まれた画素群の中から選択された該当画素に対する色平均値（Ｌαβ平均値）、テキスチャー平均値、および映像面の位置平均値を求める（第１５２段階）。ここで、前記各平均値は前記第９２段階において説明した方法に従い求める。
【００７５】
第１５２段階において求めた各平均値を、第１下位任意円１３２の中心１４０に位置する基本画素の各平均値と比較し、その離隔度が第１所定値以上であるか否かを判断する（第１５４段階）。
ここで、図５における第９４段階または図７における第１５４段階で用いられる離隔度は、前記式（９）より求められる。すなわち、第９４段階または第１５４段階では、離隔度Δ’を求めるために、上位任意円（または下位任意円）について段階９４または段階１５４において求められた平均位置と、上位任意円（または下位任意円）における中心画素の仮想平面上の位置との差をそれぞれΔＸ，ΔＹと、色平均値と中心画素の色成分との差をΔα，Δβと、平均テキスチャーと中心画素のテキスチャー特性値との差を前記式Δθとする。
【００７６】
計算された離隔度が第１所定値よりも大きい場合、第１５２段階で得られた色平均値に対応する位置１４２を仮想基本画素と仮定し、この仮想基本画素のテキスチャー特性値および映像面における位置が、第１５２段階で計算されたテキスチャー特性値および位置平均値となる。そして、この新しい基本画素が中心１４２に位置する新しい下位任意円、すなわち第２下位任意円１３４が決定され、第１５０段階に戻る（第１５６段階）。
【００７７】
第１５０段階〜第１５６段階での処理は、離隔度が所定の第１所定値以下になるまで、すなわち、下位任意円に対する選択画素の色平均、テキスチャー平均および映像面における位置平均がその下位任意円の基本画素の特性値（色、テキスチャー、位置）に収斂するまで、図６（ｂ）の矢印１３８に沿って下位任意円を順次変更しながら行われる。
すなわち、図６（ｂ）に示すように、下位任意円１３６の中央に位置する基本画素の特性値（色、テキスチャー、位置）と下位任意円１３６の平均値（色、テキスチャー、位置）との差より求めた離隔度が第１所定値以下の場合、収斂されたと見なし、当該下位任意円１３６を図４に示す下位最終円８２と決定する（第１５８段階）。
この際、下位最終円８２または１３６には、基本画素１４４の特性値と最も類似した特性値を有する画素が最も多く含まれていることになる。
【００７８】
前述したように、輝度が小さい断面を「下位断面」と、輝度が大きい断面を「上位断面」とそれぞれ定義するので、第１４段階および第１６段階において輝度が大きい断面についての最終円を求めた後に、輝度が小さい断面についての最終円は求められる。
逆に、輝度の大きい断面を「下位断面」と、輝度の小さい断面を「上位断面」とそれぞれ定義すると、第１４段階および第１６段階において輝度の小さい断面についての最終円を求めた後に、輝度の大きい断面についての最終円が求められることになる。
【００７９】
図１に示す第１６段階の後に、類似した彩度と、陰影効果による段階的な輝度の変化とを有する画素を集めるために、上位断面内で決定された上位最終円が下位断面内で決定された下位最終円と選択的に接続される（第１８段階）。
【００８０】
すなわち、第１６段階の後に、上位最終円１１０の中心（α_１，β_１）１０４と、下位最終円１３６の中心（α_２，β_２）１４４との間の距離［（α_２−α_１）^２＋（β_２−β_１）^２］^１／２が、第１閾値ｔｈ１よりも小さいか否かを判断する（第１８段階）。そして、第１閾値ｔｈ１よりも小さい場合には、上位最終円１１０および下位最終円１３６（または８４および８２）は同一のクラスター８６に含まれる（第２０段階）。
【００８１】
図８（ａ）は、図１乃至図３に示す、本発明にかかる映像の領域区分方法および装置により形成されたクラスター１６０の一例を説明するための図である。
図８（ａ）に示すように、クラスター１６０には多数の最終円１７０，１７２，１７４，１７６，１７８，…１８０が含まれている。
図８（ｂ）は、ローカルミニマムを説明するためのグラフであって、縦軸は画素の個数を、横軸は断面を各々表わす。
【００８２】
第２０段階の後に、下位断面に連続して隣接する他の下位断面が存在するか否かを判断する（第２２段階）。すなわち、最後の断面４６に対する最終円が求められたか否かを判断する。
下位断面に連続して隣接する他の下位断面が存在する場合、すなわち、最後の断面４６に対する最終円が求められていない場合、第１６段階に戻る。
この際、下位断面と見なされていた断面は新たな上位断面となるので、この新たな上位断面に隣接する新たな下位断面について、前記第１６段階〜第２２段階での操作を行う。
たとえば、他の下位断面４４（図４）において最終円を得るために前記第１６段階〜第２２段階を行う場合、以前の下位断面４２は新しい上位断面となり、他の下位断面４４は新しい下位断面となる。
【００８３】
一方、上位最終円１１０の中心（α_１，β_１）と下位最終円１３６の中心（α_２，β_２）との距離が第１閾値ｔｈ１よりも大きい場合、若しくは連続して隣接する他の断面が存在しない場合、クラスター１６０を、最終円を用いて分割する（第２４段階）（図２参照）。なお、この最終円は、図８（ａ）に示すクラスター１６０に含まれる最終円１７０，１７２，１７４，１７６，１７８，１８０の中からＬαβ平均値を計算するために用いられた色空間上の画素を最も少なく含んでいるものである。
【００８４】
すなわち、上位最終円１１０の中心（α_１，β_１）と下位最終円１３６の中心（α_２，β_２）との距離が第１閾値ｔｈ１よりも大きい場合、隣接する下位断面が存在しない、若しくは一つのクラスターのみが形成されるので、第２４段階を行う。第２４段階は、同一のクラスター内に含まれると共に、類似の色度を有しかつ異なる輝度を有する様々な物体によりもたらされる誤りを最小化するために行われる
【００８５】
例えば、図８（ａ）に示された最終円１７０，１７２，１７４，１７６，１７８，１８０が、画素を５，１５，２３，１７，３４，１４個づつそれぞれ含むと仮定した場合、クラスター１６０は、Ｌαβ平均値を求めるために、１７個の画素だけを含む最終円１７６を用いて分割される。ここで、円１７６は、図８（ｂ）に示すように、ローカルミニマムモード１９０に該当する。
【００８６】
第２４段階の後に、各断面４４，４２，４０内に存在する最終円８４，８２，８０のいずれにも画素群が含まれていないか否かを判断する（第２６段階）（図４参照）。
各最終円８４，８２，８０のいずれにも画素群が含まれていない場合、最終円８４，８２，８０のいずれにも属さない残りの画素群について第１４段階〜第２４段階までの一連の操作を行うために、第１４段階に移行する。
しかしながら、最終円８４，８２，８０のいずれにも属さない画素群が存在しない場合、色空間上に存在する全ての画素群に対して得られたクラスター群を用いて得られた基礎領域区分地図から映像グラフを生成する（第２８段階）。
【００８７】
図９は、基礎領域区分地図を説明するための一例図であり、１，２，３，４，５の領域番号がそれぞれ割り当てられた５つの領域２００，２０２，２０４，２０６，２０８から構成される。
【００８８】
図１０は、図９の基礎領域区分地図から得られた映像グラフの一例図である。図９から明らかなように、基礎領域区分地図において隣接した領域は、互いに連結されている。ここで、▲１▼，▲２▼，▲３▼，▲４▼，▲５▼は、図９に示された５つの領域２００，２０２，２０４，２０６，２０８をそれぞれ示す。
【００８９】
図３に示す主要領域区分部３６は、前記第１０段階〜第２６段階の間での一連の操作により得られたクラスターから、図９に示された基礎領域区分地図を生成する。そして、この基礎領域区分地図を用いて図１０に示す映像グラフを作る（第２８段階）。
この際、主要領域区分部３６は各領域についての情報、たとえば画素数、色平均、およびテキスチャー特性値などを貯蔵する。特に、色平均は、各画素の輝度・色あい・彩度（ＢＨＳ）を特性値計算部３４で平均化することで求められる。
ここで、図１０に示す映像グラフは、図９に示された基礎領域区分地図において、どの領域が相互に隣接しているかに関する情報、および隣接した領域間の枠接線の長さに対する加重値ｗｔ１，ｗｔ２，ｗｔ３，ｗｔ４，ｗｔ５に関する情報を与える。
【００９０】
第２８段階の後に、図３に示す映像グラフ単純化部３８は、入力端子ＩＮ２を介して入力された色−テキスチャー距離と第２閾値ｔｈ２とを比較し、当該比較結果にもとづいて、主要領域区分部３６から出力された映像グラフに表示された領域とを掛け合わせて最終映像グラフを生成する。そして、生成された最終映像グラフを出力端子ＯＵＴ１を介して出力する（第３０段階）。
【００９１】
以下に、図２に示す第３０段階を詳細に説明する。
図１１は、第３０段階で色−テキスチャー距離を測定するのに用いられる色−テキスチャー距離測定装置のブロック図である。この色−テキスチャー距離測定装置は、色距離計算部２１０、テキスチャー距離計算部２１２、および色−テキスチャー距離発生部２１４を含んでいる。
【００９２】
色距離計算部２１０には、映像における画素群の色特性値より構成される色特性空間の２点ｘ、ｙの色特性値（輝度Ｂ、彩度Ｓ、色あいＨ）が入力端子ＩＮ３を介して入力される。そして、この色距離計算部２１０において、入力された輝度の差、彩度の差および色合いの差にそれぞれ別々の加重値を割り当て、割り当てられた加重値に比例して輝度差、彩度差および色合い差をいずれも加算し、加算された結果を２点（ｘ、ｙ）間の色距離として色−テキスチャー距離発生部２１４に出力する。
【００９３】
この際、前記加重値は、ＢＨＳよりなる色特性空間上において、以下に示す３つの基準条件を用いて決定される。
第１に、色合いＨは、輝度Ｂや彩度Ｓよりも、加重値の決定においてより重要である。第２に、輝度Ｂが絶対値、すなわち、「０」に近づくならば、映像の色は色合いＨや彩度Ｓに関係なく黒色となる。第３に、彩度Ｓが絶対値「０」に近づくならば、すなわち、灰色に近づくと、色合いＨは任意の値を有する。
【００９４】
色距離計算部２１０は、前記基準条件に基づき決定した加重値を輝度差、彩度差および色合い差に割り当て、下記式（１０）に基づいて色距離［Ｄ_ＢＨＳ１（ｘ，ｙ）］を求める。
【００９５】
【数１０】

【００９６】
ここで、Ｂ（０），Ｈ（０），Ｓ（０）は色特性値（すなわち、位置０（０はｘまたはｙに該当する）における輝度、色合い、彩度）をそれぞれ示す。

はＢ（ｘ）およびＢ（ｙ）の平均値を表わし、

はＳ（ｘ）およびＳ（ｙ）の平均値を示す。Ｗ_Ｂ、ａ、ｂはそれぞれ定数である。Ｆ_ｓ（ｊ）は彩度に対する線形補正関数を表わし、Ｆ_Ｈ（ｊ）は色合いに対する線形補正関数を表わす。
【００９７】
この際、線形補正関数Ｆ_ｓ（ｊ）、Ｆ_Ｈ（ｊ）は低輝度および低彩度の条件下で、色合いと彩度との差を抑えるために用いられる。このために、線形補正関数Ｆ_ｓ（ｊ），Ｆ_Ｈ（ｊ）は、ｊが１以下である場合ｊとなり、ｊが１よりも大きい場合１となる。
【００９８】
前記式（１０）から明らかなように、輝度差［Ｂ（ｘ）−Ｂ（ｙ）］、色合い差［Ｈ（ｘ）−Ｈ（ｙ）］、および彩度差［Ｓ（ｘ）−Ｓ（ｙ）］は、前記加重値に基づいて決定される、それぞれ別々の係数を有している。
この際、色距離計算部２１０は、前記式（１０）の代わりに、輝度差、彩度差、および色合い差に関する前記基準条件に基づいて決定された加重値を用いて下記式（１１）から色距離［Ｄ_ＢＨＳ２ ^２（ｘ，ｙ）］を求めても良い。
【００９９】
【数１１】

【０１００】
ここで、Ｗ_Ｈ、Ｗ_Ｓは定数であり、Ｆ_Ｓ（（，（）は彩度に対する非線形補正関数、Ｆ_Ｂ（（，（）は輝度に対する非線形補正関数である。
【０１０１】
前記式（１１）から明らかなように、輝度差の２乗［Ｂ（ｘ）−Ｂ（ｙ）］^２、色合い差の２乗［Ｈ（ｘ）−Ｈ（ｙ）］^２、および彩度差の２乗［Ｓ（ｘ）−Ｓ（ｙ）］^２には、前記加重値に基づいて決定されたそれぞれ別々の係数が与えられている。
【０１０２】
色距離計算部２１０が、前記式（１０）または式（１１）を用いて色距離を求めると、輝度の変化の影響を受けることなく、安定してかつ整然と領域区分が行われる。
さらに、低輝度領域の識別力を向上させるために、色距離計算部２１０は下記式１２に基づいて、色距離［Ｄ_ＢＨＳ３（ｘ，ｙ）］を求めることも可能である。
【０１０３】
【数１２】

【０１０４】
ここで、Ｄ_ＢＨＳは前記式（１０）または式（１１）に示された色距離［Ｄ_ＢＨＳ１（ｘ，ｙ）］または色距離［Ｄ_ＢＨＳ２ ^２（ｘ，ｙ）］に該当する。
【０１０５】
一方、図１１に示されたテキスチャー距離計算部２１２には、前記特性値計算部３４から出力された画素群に対するテキスチャー特性値より構成されるテキスチャー特性空間内に与えられた二つの点ｘ，ｙのテキスチャー特性値が入力端子ＩＮ４を介して入力される。そして、テキスチャー距離計算部２１２は、入力されたテキスチャー特性値同士の差を検出し、検出された差およびテキスチャー多重大きさに適用される加重係数を利用して、二点ｘ、ｙの間のテキスチャー距離を計算する。そして、計算されたテキスチャー距離を色−テキスチャー距離発生部２１４に出力する。
ここで、テキスチャー距離計算部２１２は下記式（１３）に基づいてテキスチャー距離［Ｄ_ｔ（ｘ，ｙ）］を求めても良い。
【０１０６】
【数１３】

【０１０７】
ここで、ｗ^ｚはテキスチャーの多重大きさに加わる加重係数を表わす。
【０１０８】
色−テキスチャー距離発生部２１４は、細分化された領域の特性に応じて変化する色加重値［ｗ_ｃ（ｕ’，ｖ’）］およびテキスチャー加重値［ｗ_ｔ（ｕ’，ｖ’）］を用いて色−テキスチャー距離を計算する。
ここで、細分化された領域に対する特性は、細分化した領域のテキスチャー程度［ｔ（ｕ’，ｖ’）］（ここで、ｕ’およびｖ’は図９に示す基礎領域区分地図における細分化された領域をそれぞれ表す）、細分化された領域の大きさ［ｐ（ｕ’，ｖ’）］および細分化した領域の彩度［ｓ（ｕ’，ｖ’）］を意味する。
【０１０９】
すなわち、色−テキスチャー距離発生部２１４は、可変自在な色加重値［ｗ_ｃ（ｕ’，ｖ’）］および可変自在なテキスチャー加重値［ｗ_ｔ（ｕ’，ｖ’）］と、前記式（１０）、式（１１）、式（１２）に示された色距離および前記式（１３）に示されたテキスチャー距離とを各々乗算し、乗算された結果を互いに加算し、加算された結果を色−テキスチャー距離として出力端子ＯＵＴ２を介して映像グラフ単純化部３８に出力する。
【０１１０】
図１２は、図１１に示された色−テキスチャー距離発生部２１４のブロック図である。この色−テキスチャー距離発生部２１４は、色加重値計算部２２０と、テキスチャー加重値計算部２２２と、第１乗算器２２４と、第２乗算器２２６と、加算器２２８とを含んでいる。
【０１１１】
図１２に示された色加重値計算部２２０は、下記式（１４）に基づいて色加重値［ｗ_ｃ（ｕ’，ｖ’）］を計算し、計算された色加重値を第１乗算器２２４に出力する。
【０１１２】
【数１４】

【０１１３】
ここで、

および

は、色加重定数およびテキスチャー加重定数を各々示す。テキスチャー程度［ｔ（ｕ’，ｖ’）］は下記式（１５）のように表わされる。
【０１１４】
【数１５】

【０１１５】
ここで、Ｔ_ｍａｘはテキスチャー程度の最大値を表わし、Ｔ（ｕ’）は下記式（１６）のように表わされる。
【０１１６】
【数１６】

【０１１７】
ここで、

は、領域ｕ’の大きさがｚである場合における方向ｋを有する平均テキスチャー特性値を意味する。加重値ｗ^ｚは前記式（１３）に示された加重係数である。また、前記式（１４）におけるｐ（ｕ’，ｖ’）は下記式（１７）のように表わされる。
【０１１８】
【数１７】

【０１１９】
ここで、Ｐｏは基礎区分領域地図上に示された細分化した領域の大きさの閾値を表わす。また、前記式１４におけるｓ（ｕ’，ｖ’）は下記式１８のように表わされる。
【０１２０】
【数１８】

【０１２１】
ここで、Ｓｏは彩度の閾値を表わす。前記式（１７）および前記式（１８）における関数Ｆは、小さ過ぎる領域や低彩度による悪影響を抑えるために用いられた。
【０１２２】
図１２に示すテキスチャー加重値計算部２２２は、テキスチャー加重値［ｗ_ｔ（ｕ’，ｖ’）］を下記式（１９）より計算し、計算されたテキスチャー加重値を第２乗算器２２６に出力する。
【０１２３】
【数１９】

【０１２４】
図１２に示された色加重値計算部２２０およびテキスチャー加重値計算部２２２には入力端子ＩＮ６を介して（ここで、入力端子ＩＮ６は図１１に示された入力端子ＩＮ５に該当する）平均テキスチャー特性値が入力される。
そして、この色加重値計算部２２０およびテキスチャー加重値計算部２２２には、色加重定数およびテキスチャー加重定数の要求量、テキスチャー程度の最大値、平均テキスチャー値、加重係数、基礎区分領域地図上に示された細分化された領域の大きさの閾値および彩度程度の閾値などが入力として、前記入力端子ＩＮ６を介して外部から入力される、もしくはそれらを予め内部に貯蔵する構成としても良い。
【０１２５】
第１乗算器２２４は、前記式（１０）、式（１１）または式（１２）に示された色距離Ｄ_ｃと、色加重値計算部２２０から出力される色加重値［ｗ_ｃ（ｕ’，ｖ’）］とを乗算する。そして、乗算結果を加算器２２８に出力する。
第２乗算器２２６は、前記式（１３）に示されたテキスチャー距離Ｄ_ｔと、テキスチャー加重値計算部２２２から出力されるテキスチャー加重値［ｗ_ｔ（ｕ’，ｖ’）］と乗算する。そして、乗算結果を加算器２２８に出力する。
加算器２２８は第１乗算器２２４から出力された乗算結果と、第２乗算器２２６から出力された乗算結果とを加算し、下記式（２０）に示す加算結果を、映像グラフを単純化させるために必要な色−テキスチャー距離

として、出力端子ＯＵＴ３を介して映像グラフ単純化部３８に出力する。
【０１２６】
【数２０】

【０１２７】
ここで、Ｄ_ｃ（ｕ’，ｖ’）およびＤ_ｔ（ｕ’，ｖ’）は各々色距離およびテキスチャー距離を示す。
【０１２８】
一方、前述したように、色−テキスチャー距離を計算するために、映像グラフ単純化部３８で用いられる色加重値Ｗ_ｃおよびテキスチャー加重値Ｗ_ｔは、所定値ではなく変数である。その理由は、細分化された領域のテキスチャー程度、細分化した領域の大きさ、および細分化した領域の彩度が変化すると、色−テキスチャー距離を調節する必要があるためである。
例えば、細分化された領域ｕ’，ｖ’の大きさが、細分化された領域の大きさの閾値Ｐｏよりも小さい場合、前記式（２０）に示す色加重値［ｗ_ｃ（ｕ’，ｖ’）］が増加すると共に、テキスチャー加重値［ｗ_ｔ（ｕ’，ｖ’）］が減少する。
また、細分化された領域ｕ’，ｖ’のテキスチャー程度が増加した場合、色加重値［ｗ_ｃ（ｕ’，ｖ’）］は減少すると共に、テキスチャー加重値［ｗ_ｔ（ｕ’，ｖ’）］が増加する。
【０１２９】
求められた色−テキスチャー距離を用いて、映像グラフ単純化部３８が第３０段階を行う過程を以下に説明する。
【０１３０】
まず、主要領域区分部３６から出力される映像グラフに示された領域をその大きさが減る順序で配列させる。つづいて、配列させた領域の中で、任意の中心領域（以下、ベース領域という）と、当該ベース領域と連結された各隣接領域との間の色−テキスチャー距離を前記式（２０）から求める。
求めた領域間の色−テキスチャー距離が、第２閾値ｔｈ２以下である場合、ベース領域と当該隣接領域とを併合する。
【０１３１】
すなわち、該当する隣接領域をベース領域に合流させる。このように、ベース領域に隣接領域が取り込まれると、ベース領域の特性、すなわち、色、テキスチャー、ベース領域の大きさおよび枠などのベース領域の特性は変化するので、映像グラフにおいてベース領域と関連する部分、すなわち、ベース領域と隣り合う領域間の連結関係などを修正する必要がある。
【０１３２】
新たに修正されたベース領域と、これに隣接するさらに他の領域との合流は、前述した方法にしたがって行うことができる。隣接領域取り込み後のベース領域の修正と、修正されたベース領域へのさらなる隣接領域の取り込みが完了した後、再び領域取り込み工程を行うためにさらなる隣接領域の取り込みにより形成された新しい大きな領域を、新たなベース領域とする。
この領域取り込み工程は、映像グラフ上に示された全ての領域に対して行われるまで繰り返す。
【０１３３】
このイメージグラフを単純化する工程は、第２閾値の値にかかわらず完全に行うことができない。この問題を克服するために、映像グラフ単純化部３８は、取り込まれた領域を複数の副領域（以下、下位併合部という）に分割することができる。このために、前記式（２０）における色加重値、テキスチャー加重値、色距離、テキスチャー距離を各下位併合部ごとに変更すると共に、第２閾値ｔｈ２を領域の大きさに応じて動的に変更する。
【０１３４】
図１３は映像グラフ単純化部３８のブロック図である。この映像グラフ単純化部３８は、第１次領域併合部２４０、第２次領域併合部２４２、第３次領域併合部２４４、および閾値発生部２４６を含んで構成される。
図１３に示す閾値発生部２４６は、下記式（２１）のように、第２閾値ｔｈ２を動的に変更すると共に、第２閾値ｔｈ２を、第１次領域併合部２４０、第２次領域併合部２４２、第３次領域併合部２４４に各々出力する。
【０１３５】
【数２１】

【０１３６】
ここで、Ｐ’は比較される二つの領域のうち小さい領域の大きさを表わし、Ｐ’ｏは小さい領域が一般的に有しうる所定の大きさを表わす定数である。α’は、閾値定数であり、α’，β’は比較される二つの領域のうち大きい領域の閾値を意味する。
【０１３７】
第１次領域併合部２４０は、入力端子ＩＮ８を介して入力された色−テキスチャー距離（前記式（２０）に示す）と、閾値値発生部２４６から入力された第２閾値ｔｈ２とを比較する。
そして、色−テキスチャー距離が第２閾値ｔｈ２以下である場合、入力端子ＩＮ７を通じて入力された映像グラフ上に示された二つの細分化された領域ｕ’，ｖ’を併合する。そして、この方法により併合された最終結果を反映して生成した第１中間映像グラフを第２次領域併合部２４２に出力する。
第１次領域併合部２４０の性能は、前記式（２１）の閾値定数α’を徐々に増加させることで改善される。
【０１３８】
第２次領域併合部２４２は、入力端子ＩＮ８を通じて入力された第１色−テキスチャー距離と、閾値発生部２４６から入力された第２閾値ｔｈ２とを比較する。そして、第１色−テキスチャー距離が第２閾値ｔｈ２以下である場合、第１中間映像グラフに示される二つの領域ｕ’’、ｖ’’同士を併合し、この方法により併合された最終結果を反映して生成した第２中間映像グラフを第３次領域併合部２４４に出力する。
【０１３９】
ここで、第１色−テキスチャー距離は、色加重定数

を「０」と設定して前記式１４および式１９から求めた色加重値およびテキスチャー加重値と、Ｗ_Ｈ≪Ｗ_ＢおよびＷ_Ｓ≪Ｗ_Ｂの条件の下で前記式（１０）、式（１１）、式（１２）から求めた色距離およびテキスチャー距離とを、それぞれ前記式（２０）に代入して求められる。
【０１４０】
すなわち、図１１に示す色−テキスチャー距離発生部２１４の第１乗算器２２４および第２乗算器２２６は、Ｗ_Ｈ≪Ｗ_ＢおよびＷ_Ｓ≪Ｗ_Ｂの条件の下で、色距離計算部２１０より出力された色距離およびテキスチャー距離計算部２１２より出力されたテキスチャー距離により色加重定数

が「０」となる場合に、色加重値計算部２２０から出力される色加重値［ｗ_ｃ（ｕ’’，ｖ’’）］と、テキスチャー加重値計算部２２２から出力されるテキスチャー加重値［ｗ_ｔ（ｕ’’，ｖ’’）］をそれぞれ乗算する。
【０１４１】
この際、加算器２２８は乗算された結果同士を加算し、加算された結果を第１色−テキスチャー距離として出力端子ＯＵＴ３を介して映像グラフ単純化部３８に出力する。これは、領域ｕ’’およびｖ’’の輝度が極めて低い時に限って行える。
【０１４２】
第３次領域併合部２４４は、入力端子ＩＮ８を介して入力された第２色−テキスチャー距離と、閾値発生部２４６から入力された第２閾値ｔｈ２とを比較する。そして、第２色−テキスチャー距離が第２閾値ｔｈ２以下である場合、第２中間映像グラフに示される二つの領域ｕ’’’，ｖ’’’を併合し、この方法により併合された最終結果を反映して生成した最終映像グラフを、出力端子ＯＵＴ４を介して出力する。
【０１４３】
ここで、第２色−テキスチャー距離は、

の条件の下、前記式（１４）および式（１９）より求められる色加重値およびテキスチャー加重値と、前記式（１０）、式（１１）、式（１２）、式（１３）から求められる色距離およびテキスチャー距離とを前記式（２０）に代入して求められる。
すなわち、図１１に示された色−テキスチャー距離発生部２１４の第１乗算器２２４は、

の条件のもと、色加重値計算部２２０から出力される色加重値を色距離で色加重値［ｗ_ｃ（ｕ’’’，ｖ’’’）］乗算する。
一方第２乗算器２２６は、

の条件のもと、テキスチャー加重値計算部２２２から出力されるテキスチャー加重値［ｗ_ｔ（ｕ’’’，ｖ’’’）］をテキスチャー距離で乗算する。
【０１４４】
この際、加算器２２８は、第１乗算器２２４および第２乗算器２２６で乗算された結果をそれぞれ加算し、加算された結果を第２色−テキスチャー距離として出力端子ＯＵＴ３を介して映像グラフ単純化部３８に出力する。第３次領域併合部２４４は領域ｕ’’’、ｖ’’’のテキスチャー程度が高い場合に限って行える。
【０１４５】
図１４（ａ）、（ｂ）は、入力または前処理された映像を表わし、本発明による映像領域区分方法および装置により区分された領域をそれぞれ表わす。
図１５（ａ）、（ｂ）は、入力または前処理された他の映像を表わし、本発明による映像領域区分方法および装置により区分された領域をそれぞれ表わす。
図１６（ａ）、（ｂ）は、入力または前処理されたさらに他の映像を表わし、本発明による映像領域区分方法および装置により区分された領域をそれぞれ表わす。
【０１４６】
図１４（ａ）乃至図１６（ａ）に示す映像は、主要領域区分部３６で同一の領域の複数のクラスターの集まりに区分される。そして、映像グラフ単純化部３８は区分された領域を併合して単純化させる。この際、単純化された結果に関する情報を有する最終映像グラフを用いて、図１４（ｂ）乃至図１６（ｂ）に示す区分された映像が得られる。
【０１４７】
以上説明したように、本発明にかかる映像の領域区分方法および装置は、デジタル方式の双方向映像システムにおいて効率よく使用できる。近年、デジタル放送の大衆的な普及を控えて、使用者が放送を視聴することにより情報を得ていた受動的な姿勢から脱皮して使用者と放送事業者との間で、直接的かつ能動的な双方向情報交換が可能なデジタル方式の双方向映像システムを開発するための努力がなされつつある。
例えば、デジタル方式の双方向映像システムでは、コンテンツとして提供されているドラマ、映画、ショー、広告または教養プログラム、ショッピングまたは競売などの画面上に表示された対象物の中から、視聴者自身が、任意のコンテンツを選択することで、視聴者が所望する情報が画面上に表示される。
【０１４８】
例えば、画面に登場する人気歌手の服、ドラマの中で映し出される家具、人物、または料理プログラムに必要な材料および方法などがコンテンツとして意味のある対象となりえ、これらの対象を使用者が選択すれば、選択した対象に関する情報を使用者に提供できる。このためにまず、解決すべき課題として、放送される映像内に存在する意味のある対象が効率よく区分されていなければならない。
【０１４９】
放送される映像内に存在する意味のある対象が占める領域を他の背景や物体と効率よく区分するためには、該当する対象が有する各種の特徴を最大限に用いなければならない。この選択された対象が有しうる特徴には物体の色、テキスチャーまたは形状などがあり、このうち色またはテキスチャーは対象を単一領域化するのに重要な手がかりを提供できる。
前述したように、本発明にかかる映像の領域区分方法および装置は、画素の色、テキスチャー特性値および映像面において画素の位置情報を総て利用する平均値シフト解析を行うため、輝度軸に沿って次第に変化する陰影を有する３次元物体を含む映像の領域だけではなく、同一の色または同一のテキスチャーを含む映像の領域も安定的に、かつ鮮明に区分可能にする最終映像グラフを提供する。
また、本発明による領域区分方法および装置は、選択された対象が各種の色または各種のテキスチャーよりなる場合にも映像の領域を安定的に区分できる。
【０１５０】
さらに、本発明による映像の領域区分方法および装置は、デジタル放送と関わる製品およびソフトウェアにおいて基本モジュールとしての役割を行う。
一方、本発明による映像の領域区分方法および装置は、映像内に存在する意味のある対象を検索および認識したり、あるいは意味のある対象をトラッキングするのに有用である。すなわち、本発明による映像の領域区分方法および装置で求められた最終映像グラフを用いて意味のある対象が占める領域に関する情報を抽出できる。この時、本発明による映像の領域区分方法および装置は、抽出された情報と類似した情報を有する対象が以前にディスプレーされた画面を検索したり、あるいは認識するのに利用でき、抽出された情報と類似した情報を有する対象が以前にディスプレーされた全ての画面をトラッキングするのに利用できる。また、抽出された情報は映像を編集したり、あるいは製作するのにも利用できる。
【０１５１】
また、ＭＰＥＧなどの映像圧縮方式により圧縮されて伝送される映像で意味のある対象だけを効率よく伝送しようとする時、抽出された情報に該当する部分だけをさらに細かく圧縮させて伝送可能にすることにより、伝送効率を極大化可能にする。
【０１５２】
【発明の効果】
以上述べたように、本発明による映像の領域区分方法および装置は、各種の特性を有する映像、すなわち、陰影を有する映像、テキスチャーが含まれた映像または各種の色分布を有する映像の領域を人間の認知と類似した形に安定的に抽出できる効果を有するだけではなく、前述したように、各種の分野に応用できる効果をも有する。
【図面の簡単な説明】
【図１】本発明にかかる映像の領域区分方法を説明するためのフローチャートである。
【図２】本発明にかかる映像の領域区分方法を説明するためのフローチャートである。
【図３】本発明にかかる映像の領域区分装置の望ましい一実施形態のブロック図である。
【図４】断面およびビンを説明するためのＬαβ色空間を示す図である。
【図５】図１に示された第１４段階を行う本発明による平均値シフト解析を説明するためのフローチャートである。
【図６】平均値シフト解析を説明するための図である。
【図７】図１に示された第１６段階を行う本発明による平均値シフト解析を説明するためのフローチャートである。
【図８】（ａ）は、本発明による領域区分方法および装置により形成された例示的なクラスターを説明するための図であり、
（ｂ）は、ローカルミニマムを説明するためのグラフである。
【図９】基礎領域区分地図を説明するための例示的な図である。
【図１０】基礎領域区分地図から生成した映像グラフの例示的な図である。
【図１１】図１に示された第３０段階で用いられる色−テキスチャー距離を測定する色−テキスチャー距離測定装置のブロック図である。
【図１２】図１０に示された色−テキスチャー距離発生部のブロック図である。
【図１３】映像グラフ単純化部のブロック図である。
【図１４】（ａ）は入力または前処理された映像を表す。
（ｂ）は本発明にかかる映像領域区分方法および装置により区分された領域を表す。
【図１５】（ａ）は入力または前処理された映像を表す。
（ｂ）は本発明にかかる映像領域区分方法および装置により区分された領域を表す。
【図１６】（ａ）は入力または前処理された映像を表す。
（ｂ）は本発明にかかる映像領域区分方法および装置により区分された領域を表す。
【符号の説明】
３２・・・映像前処理部
３４・・・特性値生産部
３６・・・主要領域区分部
３８・・・映像グラフ単純化部
２１０・・色距離計算部
２１２・・テキスチャー距離計算部
２１４・・色−テキスチャー距離発生部
２２０・・色加重値計算部
２２２・・テキスチャー加重値計算部
２４０・・第１次領域併合部
２４２・・第２次領域併合部
２４４・・第３次領域併合部
２４６・・閾値発生部

Claims

入力映像を多数の領域に区分する映像の領域区分方法において、
（ａ）前記入力映像の各画素を輝度軸を含む任意の色空間における色座標に変換させる段階と、
（ｂ）前記色空間を輝度（Ｌ）軸を基準として断面に分割し、分割された各断面を色（αおよびβ）軸を基準としてビンに分割する段階と、
（ｃ）上位断面に含まれた前記ビンのうち前記色空間上の画素を最も多く含むビン内の所定位置に存在する基本画素の特徴と最も類似した特徴を有する画素が最も多く密集されている上位最終円を平均値シフト解析により求める段階と、
（ｄ）前記上位断面に連続して隣接する下位断面において、前記上位最終円の中心と同一の位置に存在する基本画素の特徴と最も類似した特徴を有する画素が最も多く密集されている下位最終円を前記平均値シフト解析により求める段階と、
（ｅ）前記上位最終円および前記下位最終円の中心間の距離が第１閾値よりも小さい場合、前記上位最終円および前記下位最終円を同一のクラスターに含ませ、前記下位断面に連続して隣接する他の下位断面が存在すれば、前記下位断面を新しい前記上位断面として決定し、前記他の下位断面を新しい前記下位断面として決定すると共に、前記（ｄ）段階に戻る段階と、
（ｆ）前記上位最終円および前記下位最終円の中心間の距離が前記第１閾値よりも大きい、あるいは連続して隣接する前記他の下位断面が存在しなければ、前記クラスターに含まれた最終円のうち色平均値、テキスチャー平均値および位置平均値を計算するために用いられた色空間上の画素を最も少なく含む最終円を用いて前記クラスターを分割する段階と、
（ｇ）前記上位最終円または前記下位最終円に含まれていない残存する画素に対して前記（ｃ）〜前記（ｆ）段階を行い、前記色空間上に存在する全ての画素に対して得られたクラスターを用いて映像グラフを生成する段階とを備えることを特徴とする映像の領域区分方法。
前記映像の領域区分方法は、
前記入力映像を所定回数だけ繰り返して平滑化させ、前記（ａ）段階に戻る段階をさらに備え、
前記輝度軸を含む任意の色空間はＬαβ色空間に該当し、前記（ａ）段階は平滑化した映像の各画素をＬαβ色空間における色座標に変換させることを特徴とする請求項１に記載の映像の領域区分方法。
前記映像の領域区分方法は、
前記（ｇ）段階の後に、色−テキスチャー距離と第２閾値とを比較し、比較された結果に応じて前記映像グラフに表示された領域を併合して最終の映像グラフを求める段階をさらに備えることを特徴とする請求項２に記載の映像の領域区分方法。
前記（ｃ）段階は
（ｃ１）前記所定の位置を中心とする上位任意円に含まれた画素のうち、前記上位任意円の中心に位置した画素のテキスチャー特性値よりも小さいテキスチャー特性値を有し、映像面で前記上位任意円の中心に位置した画素からの離間距離が所定距離以内にある画素だけを選択すると共に、選択された画素に対する前記色平均値、前記テキスチャー平均値および映像面における前記位置平均値を求める段階と、
（ｃ２）前記Ｌαβ色空間上において、前記平均値および前記上位任意円の中心基本画素の特性値の間の差から求めた離隔度が第１所定値以下であるかどうかを判断する段階と、
（ｃ３）前記離隔度が前記第１所定値よりも大きければ、計算された色平均値の位置を中心とする仮想の基本画素を指定し、前記仮想の基本画素のテキスチャー特性値および映像面における位置情報を前記（ｃ１）段階で計算されたテキスチャー平均値および映像面における位置平均値と指定した後、前記指定された仮想の基本画素を中心とする新しい前記上位任意円を決定し、前記（ｃ１）段階に戻る段階と、
（ｃ４）前記離隔度が前記第１所定値以下であれば、前記上位任意円を前記上位最終円として決定し、前記（ｄ）段階に進む段階とを備えることを特徴とする請求項３に記載の映像の領域区分方法。
前記（ｄ）段階は、
（ｄ１）前記下位断面で前記上位最終円の中心と同一の位置を中心とする下位任意円に含まれた画素のうち、前記上位最終円の中心と同一の位置に存在する基本画素のテキスチャー特性値よりも小さいテキスチャー特性値を有すると共に、前記基本画素の映像面における位置からの離間距離が所定距離以内にある画素だけを選択し、選択された画素に対する色平均値、テキスチャー平均値および前記映像面における位置平均値を求める段階と、
（ｄ２）前記Ｌαβ色空間上において、前記（ｄ１）段階で求めた平均値および前記下位任意円の中心基本画素の特性値の間の差から求めた離隔度が前記第１所定値以下であるかどうかを判断する段階と、
（ｄ３）前記（ｄ２）段階において、前記離隔度が前記第１所定値よりも大きければ、前記（ｄ１）段階で求めた前記色平均値の位置を仮想の基本画素と指定し、前記仮想の基本画素のテキスチャー特性値および映像面における位置情報を前記（ｄ１）段階で計算されたテキスチャー平均値および映像面における位置平均値と指定した後、前記仮想の基本画素を中心とする新しい下位任意円を決定し、前記（ｄ１）段階に戻る段階と、
（ｄ４）前記（ｄ２）段階において、前記離隔度が前記第１所定値以下であれば、前記下位任意円を前記下位最終円として決定し、前記（ｅ）段階に進む段階とを備えることを特徴とする請求項４に記載の映像の領域区分方法。
前記（ｃ１）段階は、前記上位任意円の内部に存在するある画素と前記上位任意円の中心に位置した画素との距離Δ’が第２所定値よりも小さければ、前記平均値を計算する時に前記ある画素に対する色平均値、テキスチャー平均値および前記映像面における位置平均値を反映し、前記画素間の距離Δ’は下記のように計算されることを特徴とする請求項４に記載の映像の領域区分方法。

（ここで、ＸおよびＹは前記画素各々の前記映像面における座標を各々表わし、αおよびβは前記色空間での色成分を各々表わし、θは前記テキスチャー応答を表わし、σ _Gは前記所定距離を表わし、σ _Cは前記上位任意円の半径を表わし、σθは前記テキスチャー特性値の大小の度合いを表わす。）
前記（ｄ１）段階は、前記下位任意円の内部に存在するある画素と前記下位任意円の中心に位置した画素との距離Δ’が第２所定値よりも小さければ、前記平均値を計算する時に前記ある画素に対するＬ、αおよびβ平均値、前記テキスチャー平均値および前記映像面における位置平均値を反映し、前記画素間の距離Δ’は下記のように計算されることを特徴とする請求項５に記載の映像の領域区分方法。

（ここで、ＸおよびＹは前記画素各々の前記映像面における座標を各々表わし、αおよびβは前記色空間での色成分を各々表わし、θは前記テキスチャー応答を表わし、σ _Gは前記所定距離を表わし、σ _Cは前記上位任意円の半径を表わし、σθは前記テキスチャー特性値の大小の度合いを表わす。）
前記上位断面は、前記下位断面よりも明るい輝度レベルを有することを特徴とする請求項１に記載の映像の領域区分方法。
前記上位断面は、前記下位断面よりも暗い輝度レベルを有することを特徴とする請求項１に記載の映像の領域区分方法。
入力映像を多数の領域に区分する請求項１に記載の映像の領域区分方法を実行させるための映像の領域区分装置であって、
前記入力映像を所定回数だけ繰り返して平滑化させ、平滑化した映像でエッジ部分を強調して出力する映像前処理部と、
前記映像前処理部から出力される映像から色特性値および前記テキスチャー特性値を画素単位に計算して出力する特性値計算部と、
前記平均値シフト解析に基づき、前記映像前処理部から出力される映像の各画素に対する前記色テキスチャー、映像面上の位置情報および前記特性値計算部から出力される前記テキスチャー特性値を用いて得られた前記クラスターから前記映像グラフを生成して出力する主要領域区分部と、
前記特性値計算部から出力される前記色特性値および前記テキスチャー特性値を用いて計算した色-テキスチャー距離と第２閾値とを比較し、比較された結果に応じて前記映像グラフを単純化させ、単純化した映像グラフから得られた最終の映像グラフを出力する映像グラフ単純化部と
を備えることを特徴とする映像の領域区分装置。