JP3554930B2 - 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は映像処理に係り、特に、映像で画素間の色−テクスチャ距離を測定する方法及び装置と、測定された色−テクスチャ距離を用いて映像の領域を区分する方法及び装置に関する。
【０００２】
【従来の技術】
映像の形成に重要な因子として、色、照明、撮像される物体（以下、「オブジェクト（ｏｂｊｅｃｔ）」という。）の形状、オブジェクトの幾何学的な相互配置（ｇｅｏｍｅｔｒｙ）及び観察者と映像入力装置との間の相対的位置関係等が挙げられる。更に、映像の形成は、映像入力装置や環境条件による影響を受ける。
【０００３】
理想的な映像分割は、前述した映像の形成における数多くの因子及びそれらの条件が存在するにもかかわらず、人間が認知できる形態で、映像において意味のあるオブジェクトまたは同一色の領域を、その他のオブジェクトまたは背景から効果的に区分させることである。このため、従来の映像領域の分離を行なうための技術分野において、このような理想的な映像分割を具現させようとする種々の手法が開示されている。
【０００４】
従来の映像領域を分離する技術の１つとして、米国特許ＵＳ５７５１４５０に、「Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｍｅａｓｕｒｉｎｇ ｃｏｌｏｒ ｄｉｆｆｅｒｅｎｃｅ（色差の測定方法及びシステム）」の発明が開示されている。この発明で開示されている、映像領域を分離する技術は、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）によって、一義的に色距離を計算し、この計算による色距離を基準として映像の領域を分離するものである。
【０００５】
そして、前記映像に含まれる任意のオブジェクトを、その映像の背景画面と分離させようとする際に用いられる、このような従来の映像領域を分離する技術においては、オブジェクトに存在する２つの画素の輝度と彩度が互いに異なるが、前記２つの画素の色相が等しい場合、前記２つの画素の色相を同一に取り扱う必要があるにもかかわらず、前記２つの画素の色相があたかも相異なるようにして取り扱うという問題点を有する。
【０００６】
なぜならば、前記従来の映像領域を分離する技術においては、前記計算によって一義的に求められた色距離を用いて映像の領域を分離するからである。その結果、このような状況で映像領域を分離する技術では、同一のオブジェクトに属する２つの画素を、あたかも相異なるオブジェクトに属するように取り扱って映像領域を分離するため、映像の領域を正確に分離することが甚だ困難であった。
【０００７】
また、前記従来の映像領域を分離する技術では、背景の画面に含まれる画素とオブジェクトの画素との間に色相の差が存在する状況で、輝度や彩度のレベルが一定のレベル以下になると、この２つの画素の色相に差がないものとして取り扱っていた。それゆえ、２つに分離された領域が、本来は他の領域に含まれなければならない画素を、１つの同一の領域に含めるため、映像の領域を正確に分離することが極めて困難であった。
【０００８】
更に、従来の一般的な映像領域を区分する方法では、併合する領域の大きさや、領域の間に接するエッジの長さを考慮することなく２つの領域の併合を決定するために、映像の領域を的確に分離することが困難であるという問題点があった。
【０００９】
【発明が解決しようとする課題】
本発明が解決する第１の技術的課題は、色とテクスチャ特性空間とで与えられた２点の各々が有する色相、輝度及び彩度の相対的または絶対的変化に関係なく２点間の色−テクスチャ距離を正確に測定することができる色−テクスチャ距離の測定方法を提供することである。
【００１０】
また、本発明が解決する第２の技術的課題は、色−テクスチャ距離の測定方法を実行する色−テクスチャ距離測定装置を提供することである。
【００１１】
更に、本発明が解決する第３の技術的課題は、前記測定された色−テクスチャ距離を用いて、映像で同一の色及び同一のテクスチャの両方またはいずれか一方でなされた領域を、安定して更に明確に区分することができる映像の領域区分方法を提供することである。
【００１２】
そして、本発明が解決する第４技術的課題は、前記映像の領域区分方法を実行する映像の領域区分装置を提供することである。
【００１３】
【課題を解決するための手段】
前記第１の技術的課題を解決するための、本発明に係る色−テクスチャ距離の測定方法は、映像の画素が有する色特性値で構成される色特性空間上で与えられた２点間の輝度差、彩度差及び色相差に相異なる重要度を割り当て、このように割り当てられた前記重要度に比例した輝度差、彩度差及び色相差を加算して前記２点間の色距離を求める（ａ）段階、前記画素に対するテクスチャ特性値で構成されるテクスチャ特性空間上で与えられた前記２点間のテクスチャ特性値差と、テクスチャの多重度とに適用される加重係数を用いて前記２点間のテクスチャ距離を求める（ｂ）段階、及び前記色距離を色加重値と乗算し、前記テクスチャ距離をテクスチャ加重値と乗算し、これらの乗算の結果同士を加算して前記２点間の色−テクスチャ距離を求める（ｃ）段階で構成され、色相が輝度や彩度より重要であって輝度が絶対値に接近するにつれて次第に色は黒色になって、彩度が絶対値に接近するにつれて次第に色相は任意の値を有するようになるという事実に基づいて前記重要度を決定することを特徴とする。（請求項１）
【００１４】
そして、前記（ａ）段階は、下記式（１）に基づき、前記色距離を求めることができる。（請求項２）
【００１５】
【数３３】

【００１６】
前記式（１）中、Ｄ_ＢＨＳ１（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」における輝度、色相及び彩度を示し、前記任意の点「ｏ」は前記点ｘまたはｙを示し、下記記号（Ｓ１）はＢ（ｘ）とＢ（ｙ）の平均値を示し、下記記号（Ｓ２）はＳ（ｘ）とＳ（ｙ）の平均値を示し、Ｗ_Ｂ、ａ及びｂは各々定数であり、Ｆ_Ｓ（ｊ）は彩度に対する線形補正関数を示し、Ｆ_Ｈ（ｊ）は色に対する線形補正関数を示す。
【００１７】
【数３４】

【００１８】
【数３５】

【００１９】
また、前記彩度に対する線形補正関数Ｆ_Ｓ（ｊ）、または前記色に対する線形補正関数Ｆ_Ｈ（ｊ）は各々、ｊが１より小さいときにはｊとなり、ｊが１以上であるときには１となることが好ましい。（請求項３）
【００２０】
更に、前記（ａ）段階は、下記式（２）に基づき、前記色距離を求めることができる。（請求項４）
【００２１】
【数３６】

【００２２】
前記式（２）中、Ｄ_ＢＨＳ２ ^２（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」における輝度、色相及び彩度を示し、前記任意の点「ｏ」は前記点ｘまたはｙを示し、Ｗ_Ｂ、Ｗ_Ｈ及びＷ_Ｓは各々所定の定数を示し、Ｆ_Ｓ（Ｓ（ｘ）、Ｓ（ｙ））は彩度に対する非線形補正関数を示し、Ｆ_Ｂ（Ｂ（ｘ）、Ｂ（ｙ））は輝度に対する非線形補正関数を示す。
【００２３】
また、前記（ｂ）段階は、下記式（３）に基づき、前記テクスチャ距離［Ｄ_ｔ（ｘ、ｙ）］を求めることができる。（請求項５）
【００２４】
【数３７】

【００２５】
前記式（３）中、Ｄ_ｔ（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙのテクスチャ距離を表わし、ｗ^ｚは前記加重係数を示し、下記記号（Ｓ３）及び記号（Ｓ４）は前記の２点ｘ及びｙの前記テクスチャ特性値であって、ｋ＝１、２、…、Ｋであり、Ｚは所定の定数を示す。
【００２６】
【数３８】

【００２７】
【数３９】

【００２８】
前記第２の技術的課題を解決するために、測定された色−テクスチャ距離を用いて入力映像を複数の領域に区分する、本発明に係る映像の領域区分方法は、前記入力映像を所定回数だけ繰り返して平滑化させ、平滑化された映像でエッジ部分を強調する段階（ｄ）と、前記色特性値と前記テクスチャ特性値を映像の画素単位で求めて、前記（ａ）段階にもどる段階（ｅ）と、前記（ｃ）段階の後に、ピラミッド領域区分法によって、前記色−テクスチャ距離と第１スレショルド値とを比較し、この比較の結果に対応させて前記映像の領域を細分化し、このように細分化された領域に関する情報を有する基礎領域区分マップから映像グラフを求める段階（ｆ）、及び前記色−テクスチャ距離と第２スレショルド値とを比較し、この比較の結果に対応させて前記映像グラフに表示される領域を併合して最終映像グラフを求める（ｇ）段階で構成されることを特徴とする。（請求項６）
【００２９】
更に、前記（ｆ）段階で用いられる前記色−テクスチャ距離は、所定の色加重値ｗ_ｃ（ｕ′、ｖ′）及び所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を用いて決定されることが好ましい。（請求項７）
但し、前記所定の色加重値ｗ_ｃ（ｕ′、ｖ′）及び前記所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）中のｕ′、ｖ′は、各々前記細分化された領域を示す。
【００３０】
また、前記（ｇ）段階で用いられる前記色−テクスチャ距離は、前記細分化された領域が有する特性に対応させて可変される前記所定の色加重値ｗ_ｃ（ｕ′、ｖ′）、及び前記所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を用いて決定されることができる。（請求項８）
但し、前記所定の色加重値ｗ_ｃ（ｕ′、ｖ′）及び前記所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）中のｕ′及びｖ′は各々、前記細分化された領域を示す。
【００３１】
また、前記細分化された領域が有する特性は、細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の大きさｐ（ｕ′、ｖ′）及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）を含むことが好ましい。（請求項９）
但し、前記細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の大きさｐ（ｕ′、ｖ′）及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）中のｕ′及びｖ′は各々、前記細分化された領域を示す。
【００３２】
更に、前記色加重値ｗ_ｃ（ｕ′、ｖ′）は、下記式（１２）に基づいて求められ、前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）は、下記式（１７）に基づいて求められることが好ましい。（請求項１０）
【００３３】
【数４０】

【００３４】
【数４１】

【００３５】
前記式（１２）及び式（１７）中、下記記号（Ｓ５）及び記号（Ｓ６）は各々、色及びテクスチャ加重定数を示すとともに、下記式（１３）、式（１５）及び式（１６）を満たす。
【００３６】
【数４２】

【００３７】
【数４３】

【００３８】
【数４４】

【００３９】
前記式（１３）中、Ｔ_ｍａｘは前記テクスチャ度の最大値を示す。
【００４０】
【数４５】

【００４１】
前記式（１５）中、Ｐｏは前記細分化された領域の大きさのスレショルド値を示す。
【００４２】
【数４６】

【００４３】
前記式（１６）中、Ｓｏは前記細分化された領域の彩度のスレショルド値を示す。
【００４４】
また、前記（ｇ）段階は、前記色−テクスチャ距離と前記第２スレショルド値とを比較した結果に対応させて、前記映像グラフ上に表示される２つの前記細分化された領域ｕ′とｖ′とを併合する段階（ｇ１）と、前記（ｇ１）段階で領域ｕ′とｖ′を併合した最終結果を反映した映像グラフに表示される２つの領域をｕ”及びｖ”としたとき、前記色加重定数（下記記号（Ｓ５）））を「０」に設定してＷ_Ｈ≪Ｗ_Ｂ及びＷ_Ｓ≪Ｗ_Ｂの条件を付与して決定された前記色加重値ｗ_ｃ（ｕ”、ｖ”）、前記テクスチャ加重値ｗ_ｔ（ｕ”、ｖ”）、前記色距離及び前記テクスチャ距離を用いて求めた前記色−テクスチャ距離と前記第２スレショルド値とを比較した結果に対応させて、前記２つの領域ｕ”とｖ”とを併合する段階（ｇ２）と、前記（ｇ２）段階で領域ｕ”とｖ”を併合した最終結果を反映した映像グラフに表示される２つの領域をｕ”′及びｖ”′としたとき、下記式（２０）を満たすように設定して決定された前記色加重値ｗ_ｃ（ｕ”′、ｖ”′）及び前記テクスチャ加重値ｗ_ｔ（ｕ”′、ｖ”′）を用いて求めた前記色−テクスチャ距離と、前記第２スレショルド値とを比較した結果に対応させて、前記２つの領域ｕ”′とｖ”′とを併合し、前記２つの領域を併合して得られた最終結果を反映させた前記最終映像グラフを求める段階（ｇ３）とを備え、前記第２スレショルド値は、前記領域の大きさに応じて変化することが好ましい。（請求項１１）
【００４５】
【数４７】

【００４６】
【数４８】

【００４７】
前記第３の技術的課題を達成するための、本発明に係る色−テクスチャ距離測定装置は、映像の画素が有する色特性値で構成される色特性空間上で、２点間の輝度差、彩度差及び色相差に相異なる重要度を割り当て、このように割り当てられた重要度に比例して輝度差、彩度差及び色相差を加算し、この加算の結果を前記２点間の色距離として出力する色距離計算部と、前記画素に対するテクスチャ特性値で構成されるテクスチャ特性空間上で前記２点が有するテクスチャ特性値を入力し、入力したテクスチャ特性値間の差を検出し、テクスチャの多重度に適用される加重係数及び検出された差から前記２点間のテクスチャ距離を計算し、この計算された前記テクスチャ距離を出力するテクスチャ距離計算部及び前記色距離計算部から出力される前記色距離を色加重値と乗算し、前記テクスチャ距離計算部から出力される前記テクスチャ距離をテクスチャ加重値と乗算し、これらの乗算の結果同士を加算し、この加算の結果を色−テクスチャ距離として出力する色−テクスチャ距離発生部で構成され、色相が輝度や彩度より重要であって輝度が絶対値に接近するにつれて次第に色は黒色化し、彩度が絶対値に接近するにつれて次第に色相は任意の値を有するようになるという事実に基づいて前記重要度が決定されることを特徴とする。（請求項１２）
【００４８】
前記色距離計算部は、下記式（１）に基づき、前記色距離を求めることができる。（請求項１３）
【００４９】
【数４９】

【００５０】
前記式（１）中、Ｄ_ＢＨＳ１（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」に対する輝度、色相及び彩度を示し、前記任意の点「ｏ」は前記ｘまたはｙを示し、下記記号（Ｓ１）はＢ（ｘ）とＢ（ｙ）の平均値を示し、下記記号（Ｓ２）はＳ（ｘ）とＳ（ｙ）の平均値を示し、Ｗ_Ｂ、ａ及びｂは各々定数であり、Ｆ_Ｓ（ｊ）は彩度に対する線形補正関数を示し、Ｆ_Ｈ（ｊ）は色に対する線形補正関数を示す。
【００５１】
【数５０】

【００５２】
【数５１】

【００５３】
また、前記彩度に対する線形補正関数Ｆ_Ｓ（ｊ）、または前記色に対するＦ_Ｈ（ｊ）は各々、ｊが１より小さいときにはｊとなり、ｊが１以上であるときには１となることが好ましい。（請求項１４）
【００５４】
また、前記色距離計算部は、下記式（２）に基づき、前記色距離を求めることができる。（請求項１５）
【００５５】
【数５２】

【００５６】
前記式（２）中、Ｄ_ＢＨＳ２ ^２（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」に対する輝度Ｂ、色相Ｈ及び彩度Ｓを示し、前記任意の点「ｏ」はｘまたはｙを示し、Ｗ_Ｂ、Ｗ_Ｈ及びＷ_Ｓは各々所定の定数を示し、Ｆ_Ｓ（Ｓ（ｘ）、Ｓ（ｙ））は彩度に対する非線形補正関数を示し、Ｆ_Ｂ（Ｂ（ｘ）、Ｂ（ｙ））は輝度に対する非線形補正関数を示す。
【００５７】
更に、前記テクスチャ距離計算部は、下記式（３）に基づき、前記テクスチャ距離を求めることができる。（請求項１６）
【００５８】
【数５３】

【００５９】
前記式（３）中、Ｄ_ｔ（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙのテクスチャ距離を表わし、ｗ^ｚは前記加重係数を示し、下記記号（Ｓ３）及び下記記号（Ｓ４）は各々、ｘ及びｙの前記テクスチャ特性値を示し、ｋ＝１、２、…、Ｋであり、ｚ＝１、２、…、Ｚであり、Ｚは所定の定数を示す。
【００６０】
【数５４】

【００６１】
【数５５】

【００６２】
前記第４の技術的課題を解決するために、前記色−テクスチャ距離発生部から出力される前記色−テクスチャ距離を用いて入力映像を複数の領域に区分する、本発明に係る映像の領域区分装置は、前記入力映像を所定回数だけ繰り返し平滑化させ、平滑化された映像でエッジ部分を強調して出力する映像前処理部と、前記映像前処理部から出力される映像から前記色特性値と前記テクスチャ特性値を画素単位で計算し、この計算された前記色及び前記テクスチャ特性値を前記色−テクスチャ距離測定装置に出力する特性値計算部と、ピラミッド領域区分法によって、前記色−テクスチャ距離発生部から出力される前記色−テクスチャ距離と第１スレショルド値とを比較し、この比較の結果に対応させて前記映像の領域を細分化し、このように細分化された領域に関する情報を有する基礎領域区分マップから映像グラフを生成して出力する主要領域区分部及び前記色−テクスチャ距離発生部から出力される前記色−テクスチャ距離と第２スレショルド値とを比較し、この比較の結果に対応させて前記映像グラフを単純化し、このように単純化された映像グラフから得られた最終映像グラフを出力する映像グラフ単純化部で構成されることを特徴とする。（請求項１７）
【００６３】
前記色−テクスチャ距離発生部は、所定の前記色加重値ｗ_ｃと前記色距離とを乗算し、所定の前記テクスチャ加重値ｗ_ｔと前記テクスチャ距離とを乗算し、これらの乗算の結果同士を加算し、この加算の結果を前記色−テクスチャ距離として前記主要領域区分部に出力することが好ましい。（請求項１８）
【００６４】
また、前記色−テクスチャ距離発生部は、前記細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の大きさｐ（ｕ′、ｖ′）、及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）に対応させて可変される前記色加重値ｗ_ｃ（ｕ′、ｖ′）及び前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を、前記色距離及び前記テクスチャ距離の各々に乗算し、これらの乗算の結果同士を加算し、この加算の結果を前記色−テクスチャ距離として前記映像グラフ単純化部に出力することが好ましい。（請求項１９）
但し、前記細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の彩度ｓ（ｕ′、ｖ′）、及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）、前記色加重値ｗ_ｃ（ｕ′、ｖ′）及び及び前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）中のｕ′、ｖ′は各々、前記細分化された領域を示す。
【００６５】
また、前記色−テクスチャ距離発生部は、下記式（１２）に基づき、前記色加重値ｗ_ｃ（ｕ′、ｖ′）を計算する色加重値計算部と、下記式（１７）に基づき、前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を計算するテクスチャ加重値計算部とを備えることが好ましい。（請求項２０）
【００６６】
【数５６】

【００６７】
【数５７】

前記式（１２）及び式（１７）中、下記記号（Ｓ５）及び記号（Ｓ６）は各々、色及びテクスチャ加重定数を示し、更に下記式（１３）、式（１５）及び式（１６）を満たす。
【００６８】
【数５８】

【００６９】
【数５９】

【００７０】
【数６０】

前記式（１３）中、Ｔ_ｍａｘは前記細分化された映像のテクスチャ度の最大値を示す。
【００７１】
【数６１】

前記式（１５）中、Ｐｏは前記細分化された領域の大きさのスレショルド値を示す。
【００７２】
【数６２】

前記式（１６）中、Ｓ_ｏは前記細分化された領域の彩度のスレショルド値を示す。
【００７３】
更に、映像グラフ単純化部は、前記色−テクスチャ距離と前記第２スレショルド値とを比較し、この比較の結果に対応させて前記映像グラフ上に表示される２つの前記細分化された領域ｕ′とｖ′とを併合し、このように併合した最終結果を反映させて生成した第１中間映像グラフを出力する第１次領域併合部と、第１色−テクスチャ距離と前記第２スレショルド値とを比較し、この比較の結果に対応させて前記第１中間映像グラフ上に表示される２つの領域ｕ”とｖ”とを併合し、このように併合した最終結果を反映させて生成した第２中間映像グラフを出力する第２次領域併合部と、第２色−テクスチャ距離と前記第２スレショルド値とを比較し、この比較の結果に対応させて前記第２中間映像グラフ上に表示される２つの領域ｕ”′とｖ”′とを併合し、このように併合した最終結果を反映させて生成した前記最終映像グラフを出力する第３次領域併合部を備え、前記色−テクスチャ距離発生部は、前記色加重定数下記記号（Ｓ５）が「０」に設定されるとき、前記色加重値計算部から出力される前記色加重値ｗ_ｃ（ｕ”、ｖ”）及び前記テクスチャ加重値計算部から出力される前記テクスチャ加重値ｗ_ｔ（ｕ”、ｖ”）を、Ｗ_Ｈ≪Ｗ_Ｂ及びＷ_Ｓ≪Ｗ_Ｂの条件にて、前記色及び前記テクスチャ距離計算部から各々出力される前記色距離及び前記テクスチャ距離に各々乗算し、この乗算の結果を加算し、この加算の結果を前記第１色−テクスチャ距離として出力し、前記色−テクスチャ距離発生部は、下記式（２０）の条件にて、前記色及び前記テクスチャ加重値計算部から各々出力される前記色加重値ｗ_ｃ（ｕ”′、ｖ”′）及び前記テクスチャ加重値ｗ_ｔ（ｕ”′、ｖ”′）を前記色距離及び前記テクスチャ距離に各々乗算し、この乗算の結果同士を加算し、この加算の結果を前記第２色−テクスチャ距離として出力し、前記第２スレショルド値は、前記領域の大きさによって流動的に変わることが好ましい。（請求項２１）
【００７４】
【数６３】

【００７５】
【数６４】

【００７６】
【発明の実施の形態】
以下、本発明に係る色−テクスチャ距離の測定方法と、その方法を実行する装置の構成及び動作を、添付した図面を参照しながら説明する。
図１は、本発明に係る色−テクスチャ距離の測定方法を説明するためのフローチャートであって、この測定方法は、色距離とテクスチャ距離を求める段階（第１０及び第１２段階）及び色距離、テクスチャ距離、これらに各々対応する加重値を用いて色−テクスチャ距離を求める段階（第１４段階）で構成されている。
【００７７】
図２は、図１に示される色−テクスチャ距離の測定方法を実行するための本発明に係る色−テクスチャ距離測定装置のブロック図であって、色距離計算部２０、テクスチャ距離計算部２２、及び色−テクスチャ距離発生部２４で構成される。
【００７８】
図１を参照すると、図２に示される色距離計算部２０は、映像の画素が有する色特性値で構成される色特性空間上で与えられた２点であるｘ及びｙの各々が有する色特性値、すなわち、輝度（Ｂ：Ｂｒｉｇｈｔｎｅｓｓ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）及び色相（Ｈ：Ｈｕｅ）を、入力端子ＩＮ１を通して入力し、入力した輝度Ｂ差、彩度Ｓの差、及び色相Ｈの差に相異なる重要度を割り当て、このように割り当てられた重要度に比例して輝度Ｂの差、彩度Ｓの差及び色相Ｈの差をすべて加算し、これらを加算した結果を、前記の２点ｘ及びｙ間の色距離として色−テクスチャ距離発生部２４に出力する（第１０段階）。
【００７９】
このとき、本発明に係る色−テクスチャ測定方法は、ＢＨＳ（輝度Ｂ、彩度Ｓ、色相Ｈ）で構成される色特性空間上で次のような３種の基準条件を用いて重要度を決定する。第１の条件；色相Ｈは輝度Ｂや彩度Ｓより格段に重要な役割を果たす。第２の条件；輝度Ｂが絶対値、すなわち「０」に接近する場合、映像の色は色相Ｈや彩度Ｓとは関係なく黒色となる。第３の条件；彩度Ｓが絶対値「０」に接近する場合、すなわち灰色になれば色相Ｈは任意の値を有するようになる。
【００８０】
本発明に係る望ましい１実施例では、色距離計算部２０は、前述した３種の基準条件を基にして決定した重要度を、輝度Ｂの差、彩度Ｓの差及び色相Ｈの差に割り当て、下記式（１）で示される色距離Ｄ_ＢＨＳ１（ｘ、ｙ）を求める。
【００８１】
【数６５】

【００８２】
前記式（１）中、Ｂ（ｏ）（ｏはｘまたはｙに対応する）、Ｈ（ｏ）及びＳ（ｏ）は各々、前記の２点ｘ及びｙの中の任意の点「ｏ」に対する色特性値、すなわち、輝度Ｂ、色相Ｈ及び彩度Ｓを示す。これらについては後で詳細に説明する。また、下記記号（Ｓ１）はＢ（ｘ）とＢ（ｙ）の平均値を示し、下記記号（Ｓ２）はＳ（ｘ）とＳ（ｙ）の平均値を示し、Ｗ_Ｂ、ａ及びｂは各々定数であり、Ｆ_Ｓ（ｊ）は彩度Ｓに対する線形補正関数を示し、Ｆ_Ｈ（ｊ）は色相Ｈに対する線形補正関数を示す。このとき、線形補正関数［Ｆ_Ｓ（ｊ）またはＦ_Ｈ（ｊ）］は、低い輝度Ｂと低い彩度Ｓの条件下で、色相Ｈと彩度Ｓの差異を抑制するために用いられたものである。このため、線形補正関数［Ｆ_Ｓ（ｊ）またはＦ_Ｈ（ｊ）］は、ｊが１より小さければｊとなり、ｊが１以上であれば１となり得る。
【００８３】
【数６６】

【００８４】
【数６７】

【００８５】
前記式（１）から分かるように、輝度Ｂの差［Ｂ（ｘ）−Ｂ（ｙ）］、色相Ｈの差［Ｈ（ｘ）−Ｈ（ｙ）］及び彩度Ｓの差［Ｓ（ｘ）−Ｓ（ｙ）］には相異なる値が乗算されており、このように乗算される値は前述した重要度によって決定されたものである。
【００８６】
本発明に係る望ましい他の実施例で、色距離計算部２０は、前述した基準条件を基にして決定された重要度を、輝度Ｂの差、彩度Ｓの差及び色相Ｈの差に割り当て、下記式（２）で示される色距離［Ｄ_ＢＨＳ２ ^２（ｘ、ｙ）］を求める。
【００８７】
【数６８】

【００８８】
前記式（２）中、Ｗ_Ｈ及びＷ_Ｓは各々、定数であり、Ｆ_Ｓ（Ｓ（ｘ）、Ｓ（ｙ））は彩度に対する非線形補正関数を示し、Ｆ_Ｂ（Ｂ（ｘ）、Ｂ（ｙ））は輝度Ｂに対する非線形補正関数を示す。
【００８９】
前記式（２）から分かるように、輝度Ｂの差の自乗（［Ｂ（ｘ）−Ｂ（ｙ）］^２）、色相差の自乗（［Ｈ（ｘ）−Ｈ（ｙ）］^２）、及び彩度Ｓの差の自乗（［Ｓ（ｘ）−Ｓ（ｙ）］^２）には、相異なる値が乗算されており、このように乗算される値は前述した重要度によって決定されたものである。
【００９０】
一方、第１０段階の後に、テクスチャ距離計算部２２は、画素に対するテクスチャ特性値で構成されるテクスチャ特性空間上で与えられた２点であるｘ及びｙが有する、後述のテクスチャ特性値を、入力端子ＩＮ２を通して入力し、この入力したテクスチャ特性値間の差を検出し、テクスチャの多重度に適用される加重係数、及び検出された差を用いて前記の２点ｘ及びｙ間のテクスチャ距離を計算し、この計算されたテクスチャ距離を色−テクスチャ距離発生部２４に出力する（第１２段階）。このため、本発明に係る望ましい実施例では、下記式（３）を用いてテクスチャ距離Ｄ_ｔ（ｘ、ｙ）を求める。
【００９１】
【数６９】

【００９２】
前記式（３）中、ｗ^ｚはテクスチャの多重度に適用される加重係数を示し、下記記号（Ｓ３）及び記号（Ｓ４）はｘ及びｙのテクスチャ特性値であり、これらについては後述される。また、ｋ＝１、２、…、Ｋであり、ｚ＝１、２、…、Ｚであり、Ｚは所定の定数であって、これについては後述される。
ここで、テクスチャ特性値はＫＺのみ存在する。
【００９３】
【数７０】

【００９４】
【数７１】

【００９５】
第１２段階の後に、下記式（１２）に示したように、色−テクスチャ距離発生部２４は色距離計算部２０から入力した前記式（１）または式（２）で示される色距離Ｄ_ＢＨＳ１またはＤ_ＢＨＳ２を色加重値ｗ_ｃと乗算し、前記式（３）で表されるテクスチャ距離［Ｄ_ｔ（ｘ、ｙ）］をテクスチャ加重値ｗ_ｔと乗算し、これらの乗算の結果同士を加算し、この加算の結果を２点間の色−テクスチャ距離［Ｄ（ｘ、ｙ）］として出力端子ＯＵＴ１を通して出力する（第１４段階）。
ここで、色−テクスチャ距離発生部２４から出力される色−テクスチャ距離が映像の領域を区分するのに用いられる場合、色−テクスチャ距離発生部２４は色加重値とテクスチャ加重値を求めるために必要な値を例えば、平均テクスチャ値を、入力端子ＩＮ３を通して入力する。
【００９６】
【数７２】

【００９７】
以下、図１及び図２に示される本発明に係る方法及び装置によって測定された色−テクスチャ距離を用いて入力映像を複数の領域に区分する、本発明に係る映像の領域区分方法とその方法を実行する装置の構成及び動作を、添付した図面を参照して説明する。
【００９８】
図３は、本発明に係る映像の領域区分方法を説明するためのフローチャートであって、入力映像を前処理した後、色及びテクスチャ特性値を求める段階（第３０及び第３２段階）、測定された色−テクスチャ距離を第１及び第２スレショルド値と各々比較して映像を細分及び併合する段階（第３４〜第３８段階）で構成される。
【００９９】
図４は、図３に示される方法を実行する本発明に係る映像の領域区分装置のブロック図であって、映像前処理部（ｐｒｅ−ｐｒｏｃｅｓｓｏｒ）４０、特性値計算部４２、色−テクスチャ測定装置４４、主要領域区分部４６及び映像グラフ単純化部４８から構成されている。
ここで、色−テクスチャ測定装置４４は、図２に示される色−テクスチャ距離測定装置に対応して同一の機能を実行するので、それに対する構成及び動作の説明は省略する。
【０１００】
図４に示される映像前処理部４０は、入力端子ＩＮ４を通して入力した入力映像を所定回数だけ繰り返して平滑化させ、平滑化された映像でエッジ部分を強調して前処理された映像を特性値計算部４２に出力する（第３０段階）。第３０段階を詳細に説明すると次の通りある。
【０１０１】
一般にカメラセンサを通して撮影される、あるいはビデオ映像信号に対応する入力映像は、統計的な構成要素である雑音に相当する部分と、意味のある構成要素である雑音以外に相当する部分とから構成されている。
ここで、映像の各構成要素は他の種の情報を含む。このような構成要素の統計的区別方法は入力映像を多様な他の性質を有する要素に分解できるようにする。
【０１０２】
例えば、第３０段階で、入力映像を平滑化させ雑音を除去し、平滑化された映像を顕著なエッジを有する部分と顕著なエッジを有しない部分とに分解してオブジェクトのエッジ部分を生かすエッジ保存映像平滑化（Ｅｄｇｅ−ｐｒｅｓｅｒｖｉｎｇ ｉｍａｇｅ ｓｍｏｏｔｈｉｎｇ）が実行される。エッジ保存映像平滑化は、１９９８年度にＰ．Ａ．Ｃｈｏｃｈｉａによって「Ｏｐｔｉｃａｌ Ｍｅｍｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」という学術誌に発表された「Ｔｗｏ Ｔａｓｋｓ ｉｎ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ」に開示されており、次のように要約される。
【０１０３】
一定な大きさのウィンドウ内部に存在する画素の集合［｛ｘ｝］が、下記式（５）で表現されるとき、他の大きさのウィンドウを適用しながらウィンドウ内部に存在する画素の輝度値のうち、顕著な輝度値を有する画素を除外した残り画素を平滑化（ｓｍｏｏｔｈｉｎｇ）する。
【０１０４】
【数７３】

【０１０５】
入力映像に対してｑ回平滑化を繰り返した後得られる映像画素の輝度値［ｌ^ｑ _ｍｎ］は、以前に得られた結果である輝度値［ｌ^ｑ−１ _ｍｎ］を用いてウィンドウ［Ｗ^ｑ _ｍｎ］から下記式（６）を用いて求められる。
【０１０６】
【数７４】

【０１０７】
前記式（６）中、ｗ（ｘ′）は所定の加重値関数であって、ｘ′が−σと＋σ間にあるときはｗ（ｘ′）＝１となり、そうでなければｗ（ｘ′）＝０となる。前述した輝度値［ｌ^ｑ−１ _ｍｎ］は以前ウィンドウで加重値関数の中心値を意味する。最初に入力映像を平滑化するときはｘ_ｍｎがｌ^ｑ−１ _ｍｎの代りに用いられる。
【０１０８】
このとき、最後反復回数であるＱ回平滑化された画素の輝度値［ｓ′_ｍｎ］はｌ^Ｑ _ｍｎで表現される。すなわち、ｓ′_ｍｎはＱ個のウィンドウを有して平滑化した映像画素の結果の値を意味する。実験の結果、得られた望ましい平滑化回数は２回であって、最初平滑化では３−５画素の面積を有するウィンドウを用いて、第２回目の平滑化では１０−４０画素の面積を有するウィンドウを用いた。このとき、雑音が多い映像で平滑化された成分を抽出するのに良い性能を示しており、計算結果の値の自乗平均エラー（ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）は０．５％以内であった。
【０１０９】
第３０段階の後に、図４に示される特性値計算部４２は、映像前処理部４０から出力される前処理された映像から色特性値とテクスチャ特性値を画素単位で計算し、この計算された色及びテクスチャ特性値を色−テクスチャ距離測定装置４４に出力する（第３２段階）。
【０１１０】
まず、第３２段階で求める色特性値について説明すると、まず、色の特性空間とテクスチャの特性空間とを一緒に用いて、一般的な特性空間を提供するための基礎を作る。このとき、色の特性空間とテクスチャの特性空間を定義することによって、映像に存在する各画素の色特性値を指定することができる。各画素の色特性値、すなわち、輝度Ｂ、色相Ｈ及び彩度Ｓは下記式（７）で表される。
【０１１１】
【数７５】

【０１１２】
前記式（７）中、ｒ、ｇ及びｂは各々、各画素の色値を示し、ｕ＝ｍｉｎ（ｒ、ｇ、ｂ）（前記ｒ、ｇ、ｂのうちの最小値）を示す。
【０１１３】
次に、第３２段階で求めるテクスチャ特性値について説明すると、テクスチャ特性空間を形成するために用いられる多重度と、多重方向のテクスチャ特性値（ｏｒｉｅｎｔｅｄ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ）は各々、画素当たり多重方向の局所変動ｖ（ｌｏｃａｌ ｖａｒｉａｔｉｏｎ）と局所振動ｆ（ｌｏｃａｌ ｏｓｃｉｌｌａｔｉｏｎ）とを計算した後、これらを合成して得られる。
【０１１４】
このようなテクスチャ映像分析は、グレーレベル差分法（Ｇｒａｙ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ Ｍｅｔｈｏｄ）に相当するものである。このグレーレベル差分法は、１９７４年度にＥ．Ｊ．Ｃａｒｔｏｎ、Ｊ．Ｓ．Ｗｅｓｚｋａ及びＡ．Ｒｏｓｅｎｆｅｌｄがメリーランド大学（Ｕｎｉｖ．ｏｆ Ｍａｒｙｌａｎｄ）の技術報告書（ＴＲ：Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ）−２８８に発表した「Ｓｏｍｅ Ｂａｓｉｃ Ｔｅｘｔｕｒｅ Ａｎａｌｙｓｉｓ Ｔｅｃｈｎｉｑｕｅｓ」、及び１９８５年度にＬ．Ｖａｎ Ｇｏｏｌ、Ｐ．Ｄｅｗａｅｌｅ及びＡ．ＯｏｓｔｅｒｌｉｎｃｋがコンファレンスＣＶＧＩＰで発表した「Ｔｅｘｔｕｒｅ Ａｎａｌｙｓｉｓ Ａｎｎｏ」に各々開示されている。前記式（７）で定義される映像の輝度値Ｂは、このようなテクスチャ特性値を抽出する際に用いられる。
【０１１５】
また、局所変動ｖについて説明すると、映像で各画素ｍ、ｎを中心に２Ｌ長さの画素が存在し、この画素ｍ、ｎを中心に角度α_ｋ＝ｋπ／Ｋ、ｋ＝０、１、…、Ｋ−１だけを回転させる。このとき、ｌ_ｉ（−Ｌ≦ｉ≦Ｌ）がこのように均一に分布された配列の画素中で１つの画素の輝度値Ｂを示すというとき、上向加重変動ｖ^＋と下向加重変動ｖ⁻は下記式（８）のように表現される。
【０１１６】
【数７６】

【０１１７】
前記式（８）中、ｄ_ｉは画素の配列で隣接する画素の輝度Ｂの値の差異（ｇｒａｄｉｅｎｔ）（ｌ_ｉ＋１−ｌ_ｉ）を示し、ｗ_ｉはＡｃｏｓ（ｉπ／（２Ｌ＋１））であってコサイン加重関数である。コサイン加重関数におけるＡは係数としてを作るための値として用いられる。このとき、局所変動ｖ_ｋは下記式（９）で表されるように、上向加重変動ｖ^＋と下向加重変動ｖ⁻の最小値に指定される。
【０１１８】
【数７７】

【０１１９】
ここで、配列の長さ（−Ｌ≦ｉ≦Ｌ）に沿って求められるｄ_ｉの中で、方向（ｓｉｇｎ）が変わると同時に、その振動の大きさであるｄ_ｉの大きさが、定まった敏感度を越える個数を、局所振動ｆとして定義する。このとき、求められる各画素の局所変動値ｖ_ｋと局所振動値ｆ_ｋとを乗算して該画素のテクスチャ特性値（下記式（２１））を求める。また、このようにして求められるテクスチャ特性値を更に均一にするために、下記式（１０）で表される変形式を利用する。
【０１２０】
【数７８】

【０１２１】
【数７９】

【０１２２】
前記式（１０）から分かるように、テクスチャ特性値ｔ_ｋはｈ×１の大きさを有する窓の平均値に平滑化され、双曲線タンジェント（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ）を用いた変形により、高いテクスチャ特性値は小さくなって低いテクスチャ特性値は大きくなる。このとき、映像の大きさを、他の周波数でＺ回だけ減らしながら（毎回１／２ずつ）、前記式（１０）で表される各画素のテクスチャ特性値ｔ_ｋを下記式（１１）で表わすことができる。
【０１２３】
【数８０】

【０１２４】
前記式（１１）で表されるような各画素のＫＺテクスチャ特性値（下記記号（Ｓ３０））が生じる。
【０１２５】
【数８１】

【０１２６】
第３２段階の後に、図４に示される色−テクスチャ測定装置４４は、図２に示される構成で、図１に示される色−テクスチャ測定方法によって、色−テクスチャ距離を測定し、測定された色−テクスチャ距離を主要領域区分部４６（図４）に出力する（第３４段階）。
【０１２７】
第３４段階（図３）の後に、ピラミッド領域区分法によって、主要領域区分部４６（図４）は、色−テクスチャ測定装置４４で測定された色−テクスチャ距離と第１スレショルド値Ｔｈ１とを比較し、映像前処理部４０から入力した前処理された映像の領域を、前記比較の結果に対応させて細分化し、このように細分化された領域に関する情報を有する基礎領域区分マップから映像グラフを生成して映像グラフ単純化部４８に出力する（第３６段階）。すなわち、主要領域区分部４６は前処理された映像に存在する画素間の関係を把握して、前処理された映像を小さい領域のグループを有するベクトル映像に変換する。
【０１２８】
主要領域区分部４６（図４）で用いられるピラミッド領域区分法（ｐｙｒａｍｉｄａｌ ｒｅｃｕｒｓｉｖｅ ａｐｐｒｏａｃｈ）は、１９７９年にＧ．Ｍ．Ｈｕｎｔｅｒ及びＫ．Ｓｔｅｉｇｌｉｔｚによって、学術誌；ＰＡＭＩ−１ジャーナルのＩＥＥＥ Ｔｒａｎｓに掲載された「Ｏｐｅｒａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｑｕａｄｔｒｅｅｓ」、及び１９８０年にＡ．Ｒｏｓｅｎｆｅｌｄによってパターン認識に関する第５回国際会議（５ｔｈ Ｉｎｔ．Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）の会報（Ｐｒｏｃｅｅｄｉｎｇ）に掲載された「Ｑｕａｄｔｒｅｅｓ ａｎｄ Ｐｙｒａｍｉｄｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ」に記載されている。
【０１２９】
このピラミッド領域区分法は、第１番目に、映像を重複しないように多くの領域のグループに分け、第２番目に、順次に小さくなる種々の大きさ（ｍｕｌｔｉｐｌｅ ｓｃａｌｅ ｏｒ ｒｅｓｏｌｕｔｉｏｎ）の映像を作製し、第３番目に、下位階層の１つの構成分子と上位階層の１つの構成分子との間の相互関係を成立させる均一な規則を選択し、第４番目に、この規則を繰り返し、すべての階層の全領域に対して適用するものである。
【０１３０】
前記ピラミッド領域区分法によって、図４に示される主要領域区分部４６が基礎領域区分マップを作製する過程を説明すると次の通りある。
図５は、各階層の領域が、２×２形式を有する４分ツリー（ｔｒｅｅ）（または、クォッド・ツリー（ｑｕａｄ ｔｒｅｅ））を示す図面であって、第１階層６０、…、第Ｎ−２階層６２、第Ｎ−１階層６４、第Ｎ階層６６から構成されたものである。
ここで、第１階層６０は複数の画素６８で構成され、縦軸は階層を示す。
【０１３１】
ピラミッド領域区分法は、基礎領域区分マップを作製するために、図５に示されるクォッド・ツリー形式で、直接パス及び逆パスにて次のような動作を実行する。
【０１３２】
まず、前記直接パスで実行される動作について説明すると、直接パスは最下位階層である全体映像６０から１つのノード０を有する最上位階層６６方向の経路であり、直接パスですべてのピラミッド階層６０、…、６２、６４、及び６６に対して反復的な分析が実行される。直接パスで実行される動作は、図５に示されるようなピラミッド構造の形成と、各ツリーノードに相当する情報、すなわち、平均輝度値、エッジ線等を決定することである。
【０１３３】
例えば、第Ｎ−２階層６２における４個の各ノードのグループは、第Ｎ−１階層６４におけるノードと相対ノードを形成するので、４分ツリー構造で各ノードは、その下位階層に存在する４個のノードに関する情報を包含する。ピラミッド領域区分法の基本は、近接する画素や領域を比較分析して併合して行くことにある。このため、すべての階層でエッジを定義するエッジマップの作製が必要となる。もし、各階層で画素間の距離が所定の第１スレショルド値Ｔｈ１よりも大きければ、その画素間には水平や垂直方向のエッジを表示する。図５に示される第２階層から第Ｎ階層６６までの階層の中のいずれか１つの階層は、それより下位の階層のエッジマップの内容を含む。
【０１３４】
図６は、図５に示された、ある階層に存在することができる４個の映像構成分子の領域７０、７２、７４、７６及びこれらの領域７０、７２、７４及び７６と隣接する領域０ｒ、２ｒ、０ｂ、及び１ｂを示す図面であり、各領域に記載された番号はその領域のノード番号を示す。
【０１３５】
各階層のエッジマップを作製するために、まず、図６に示される領域７０及び７２間の距離、領域７４及び７６間の距離、領域７０及び７４間の距離、並びに、領域７２及び７６間の色−テクスチャ距離を前記式（４）を用いて求める。このとき、前記式（４）において、色加重値ｗ_ｃ及びテクスチャ加重値ｗ_ｔの各々は、予め設定された所定値である。
【０１３６】
すなわち、色−テクスチャ距離発生部２４は、所定の色加重値ｗ_ｃと色距離とを乗算し、所定のテクスチャ加重値ｗ_ｔとテクスチャ距離とを乗算し、これらの乗算の結果同士を加算し、この加算の結果を色−テクスチャ距離として、出力端子ＯＵＴ１を通して主要領域区分部４６に出力する。このように求められた色−テクスチャ距離のうち、第１スレショルド値Ｔｈ１を超過する色−テクスチャ距離を求めた領域間にエッジを表示する。
【０１３７】
また、前記エッジが表示されない領域は、同じ性質（色またはテクスチャ）を有する同一の領域とみなす。例えば、領域７２及び７６間の色−テクスチャ距離と、領域７４及び７６間の色−テクスチャ距離が、第１スレショルド値Ｔｈ１を超過する場合、領域７２及び７６間と、領域７４及び７６間には、水平及び垂直方向のエッジ８０及び７８が各々表示され、領域７０、７２及び７４は、他の領域７６と区分される。
【０１３８】
次に、図６に示される領域７０、７２、７４及び７６が、図５に示される第Ｎ−２階層６２の２四分面に相当する場合、同一の性質を有する領域７０、７２及び７４の輝度Ｂ、色度Ｈ及び彩度Ｓに対する平均値は、上位階層である第Ｎ−１階層６４の該ノード６８に伝えられる。一方、残された領域７６に関する情報、すなわち、輝度Ｂ、色度Ｈ、及び彩度Ｓは、第Ｎ−１階層６４の該ノード６８に伝えられずに残る。
【０１３９】
最後に、上位階層のためのエッジマップを生成する。例えば、第Ｎ−２階層６２の２四分面の４個の領域７０、７２、７４で生成されたエッジマップの情報を有し、４個を合せた第Ｎ−１階層６４の該領域６８の右側と下のエッジを設定する。すなわち、図６に示される領域７２及び７６と領域０ｒ及び２ｒとの間、領域７４及び７６と領域０ｂ及び１ｂとの間に第Ｎ−１階層６４のためのエッジを設定する。このようにして、直接パスで実行されるすべての動作が完了すると、各階層の各領域は上位階層の領域に属したり、下位階層の領域を含んだりして構成される。
【０１４０】
前記直接パスで対応する動作がすべて実行された後、図５に示される最上位階層６６から第１階層６０方向の経路である逆パスで実行される動作について説明すると、各階層で１つのノードに関する分析が次のように実行される。
【０１４１】
まず、各階層で分離された領域のノードが領域番号を何ら持っていない場合には、新しい領域番号を該ノードに割り当てる。例えば、第Ｎ−１階層６４でノード０、１、２が同一の領域に対応して、ノード３は他の領域に対応する場合には、このノード０、１、２が併合された同一の領域に領域番号１′を割り当て、分離された領域であるノード３に新しい領域番号２′を割り当てる。
【０１４２】
次に、ノードに既に領域番号が与えられていれば、直接パスで動作を実行するとき、該領域番号を有するノードに連結した下位階層のノードに該領域番号を割り当てる。例えば、第Ｎ−２階層６２の１四分面でノード１、２、３が同一の領域に対応してノード０は他の領域に対応し、第Ｎ−２階層６２の２四分面でノード０、１、２が同一の領域に対応してノード３は他の領域に対応し、第Ｎ−２階層６２の３四分面でノード０、１、２が同一の領域に対応してノード３は他の領域に対応し、第Ｎ−２階層６２の４四分面でノード０、１、２が同一の領域に対応してノード３は他の領域に対応すると仮定する。このとき、１四分面のノード１、２、３の各々に第Ｎ−１階層６４のノード１に割り当てられた領域番号１′を割り当て、他の領域であるノード０に新しい領域番号３′を割り当てる。
【０１４３】
同様にして、第Ｎ−２階層６２の２四分面のノード０、１、２、及び３四分面のノード０、１、２の各々に第Ｎ−１階層６４のノード０、２に与えられた領域番号１′を割り当て、４四分面のノード０、１、２に第Ｎ−１階層６４のノード３に与えられた領域番号２′を割り当て、他の領域である第２四分面、第３四分面、及び第４四分面の該ノード３、３、３に新しい領域番号４′、５′、６′を各々割り当てる。前述した逆パスで対応する動作がすべて実行された後、領域区分に必要な基礎領域区分マップが作製される。
【０１４４】
図７は、基礎領域区分マップを説明するための例示的な図面であって、１、２、３、４、５の領域番号が与えられた五つの領域９０、９２、９４、９６、９８から構成されている。
【０１４５】
図８は、図７に示される基礎領域区分マップから生成した映像グラフの例示的な図面であって、基礎領域区分マップ上で隣接した領域は相互連結されていることが分かる。
【０１４６】
前記主要領域区分部４６（図４）は、図７に示される基礎領域区分マップを用いて図８に示される映像グラフを作製して、各領域が含む情報、すなわち、画素の個数や平均色などを記憶する。
ここで、図８に示される映像グラフは、図７に示される基礎領域区分マップからどの領域が隣接しているかに関する情報、及び隣接した領域間のエッジ接線の長さに対して加重値ｗｔ１、ｗｔ２、ｗｔ３、ｗｔ４及びｗｔ５がどの程度の大きさを有するかについての情報を提供する。
【０１４７】
前記主要領域区分部４６（図４）は、前述したように、ピラミッド領域区分法を用いて領域を微細に区分するべく、領域の閉鎖を保障して区分された領域が明確にすることができるという利点を有する。
前記第３６段階（図３）の後に、前記色−テクスチャ距離発生部２４（図２）から出力される色−テクスチャ距離と、第２スレショルド値とを比較し、前記主要領域区分部４６（図４）で生成した映像グラフを、前記比較の結果に対応させて単純化し、このように単純化された映像グラフを最終映像グラフとして出力端子ＯＵＴ２を通して出力する（第３８段階（図３））。
【０１４８】
前記第３８段階（図３）で用いられる色−テクスチャ距離を発生するために、前記色−テクスチャ距離発生部２４（図２）は、所定の色加重値ｗ_ｃと、所定のテクスチャ加重値ｗ_ｔとを用いる代わりに、細分化された領域に対する特性を用いる。
ここで、細分化された領域に対する特性というのは、細分化された領域のテクスチャ度［ｔ（ｕ′、ｖ′）］（ｕ′及びｖ′は各々、基礎領域区分マップに表示される細分化された領域を示す）、細分化された領域の大きさ［ｐ（ｕ′、ｖ′）］及び細分化された領域の彩度［ｓ（ｕ′、ｖ′）］に対応して可変される色加重値［ｗ_ｃ（ｕ′、ｖ′）］及びテクスチャ加重値［ｗ_ｔ（ｕ′、ｖ′）］を意味する。すなわち、色−テクスチャ距離発生部２４は可変される色加重値［ｗ_ｃ（ｕ′、ｖ′）］及び可変されるテクスチャ加重値［ｗ_ｔ（ｕ′、ｖ′）］を、前記式（１）または式（２）で表される色距離及び前記式（３）で表されるテクスチャ距離と各々乗算し、これらの乗算の結果同士を加算し、この加算の結果を色−テクスチャ距離として映像グラフ単純化部４８に出力する。
【０１４９】
図９は、図２に示される色−テクスチャ距離発生部２４の本発明に係る望ましい１実施例のブロック図であって、色加重値計算部１００、テクスチャ加重値計算部１０２、第１及び第２乗算器１０４及び１０６及び加算器１０８から構成されている。
【０１５０】
図９に示される色加重値計算部１００は、下記式（１２）で表される色加重値［ｗ_ｃ（ｕ′、ｖ′）］を計算し、この計算された色加重値を第１乗算器１０４に出力する。
【０１５１】
【数８２】

【０１５２】
前記式（１２）中、下記記号（Ｓ５）及び記号（Ｓ６）は各々、色及びテクスチャ加重定数を示し、ｔ（ｕ′、ｖ′）は下記式（１３）で表される。
【０１５３】
【数８３】

【０１５４】
【数８４】

【０１５５】
【数８５】

【０１５６】
前記式（１３）中、Ｔ_ｍａｘはテクスチャ度の最大値を示し、Ｔ（ｕ′）は下記式（１４）で表される。
【０１５７】
【数８６】

【０１５８】
前記式（１４）中、下記記号（Ｓ７）は領域ｕ′の大きさｚにおいて方向ｋを有する平均テクスチャ値を意味する。加重値ｗ^ｚは前記式（３）で示される加重係数である。また、前記式（１２）中、ｐ（ｕ′、ｖ′）は下記式（１５）で表される。
【０１５９】
【数８７】

【０１６０】
【数８８】

【０１６１】
前記式（１５）中、Ｐｏは基礎区分領域マップ上に表示される細分化された領域の大きさのスレショルド値を示す。また、前記式（１２）中、ｓ（ｕ′、ｖ′）は下記式（１６）で表される。
【０１６２】
【数８９】

【０１６３】
前記式（１６）中、Ｓｏは彩度のスレショルド値を示す。前記式（１５）と式（１６）の各々に含まれる関数Ｆは、非常にサイズが小さな領域や、低い彩度の影響を抑制するために用いられたものである。
【０１６４】
図９に示されるテクスチャ加重値計算部１０２は、テクスチャ加重値［ｗ_ｔ（ｕ′、ｖ′）］を下記式（１７）を用いて計算し、この計算されたテクスチャ加重値を第２乗算器１０６に出力する。
【０１６５】
【数９０】

【０１６６】
図９に示される色加重値計算部１００及びテクスチャ加重値計算部１０２は入力端子ＩＮ５を通して（入力端子ＩＮ５は図２に示される入力端子ＩＮ３に対応する）平均テクスチャ値を入力し、前述した色及びテクスチャ加重定数、テクスチャ度の最大値、平均テクスチャ値加重係数、基礎区分領域マップ上に表示される細分化された領域の大きさのスレショルド値及び彩度程度のスレショルド値の中で対応する値を、入力端子ＩＮ５を通して外部から入力したり、予め記憶したりすることができる。
【０１６７】
図９に示される第１乗算器１０４は、前記式（１）または（２）で示される色距離Ｄｃと色加重値計算部１００から出力される色加重値［ｗ_ｃ（ｕ′、ｖ′）］を乗算し、この乗算の結果を加算器１０８に出力する。第２乗算器１０６は、前記式（３）で示されるテクスチャ距離Ｄｔをテクスチャ加重値計算部１０２から出力されるテクスチャ加重値［ｗ_ｔ（ｕ′、ｖ′）］と乗算し、この乗算の結果を加算器１０８に出力する。加算器１０８は、第１乗算器１０４で乗算された結果と第２乗算器１０６で乗算された結果とを加算し、下記式（１８）で表わされる加算の結果を、映像グラフを単純化させるために必要な、下記式（１８）で表される色−テクスチャ距離として出力端子ＯＵＴ３を通して映像グラフ単純化部４８に出力する。
【０１６８】
【数９１】

【０１６９】
前記式（１８）中、Ｄ_ｃ（ｕ′、ｖ′）及びＤ_ｔ（ｕ′、ｖ′）は各々色距離及びテクスチャ距離であって、前記式（４）で示される色距離及びテクスチャ距離と同一である。
【０１７０】
一方、前述したように、映像グラフ単純化部４８で用いられる色−テクスチャ距離を求めるために用いられる色加重値ｗ_ｃと、テクスチャ加重値ｗ_ｔとが所定値ではない変数である理由は、細分化された領域のテクスチャ度、細分化された領域の大きさ、及び細分化された領域の彩度が可変とされる場合、色−テクスチャ距離を適宜調節するためである。例えば、細分化された領域ｕ′及びｖ′の大きさが細分化された領域の大きさのスレショルド値Ｐｏよりも小さい場合に、前記式（１８）に示すように、色加重値［ｗ_ｃ（ｕ′、ｖ′）］が増加すると、テクスチャ加重値［ｗ_ｔ（ｕ′、ｖ′）］が減少する。もし、細分化された領域のテクスチャ度が増加すると、色加重値［ｗ_ｃ（ｕ′、ｖ′）］は減少すると同時にテクスチャ加重値［ｗ_ｔ（ｕ′、ｖ′）］は増加する。
【０１７１】
以上のような構成を通して、映像グラフ単純化部４８（図４）が第３８段階（図３）を実行する過程を説明すると次の通りある。
まず、主要領域区分部４６（図４）から出力される映像グラフに表示される領域を、その大きさが減少する方向に配列させる。
【０１７２】
次に、このように配列された領域中で、任意の領域を中心に（以下、中心となる領域を「ベース領域」と称する）、そのベース領域と連結された隣接する領域間の色−テクスチャ距離を前記式（１８）から求める。もし、計算された領域間の色−テクスチャ距離が第２スレショルド値θ以下であれば、ベース領域と対応する隣接領域を併合する。すなわち、対応する隣接領域をベース領域に含める。
【０１７３】
このように、ベース領域が隣接する領域を含むようになれば、ベース領域の特性、すなわち、色、テクスチャ、ベース領域の大きさ、及びエッジなどが変化するので、映像グラフでベース領域と関連する部分、すなわち、ベース領域と隣接する領域間の連結関係などを修正する。このとき、新しく修正されたベース領域を中心に、これと隣接する領域間の併合を前述したように新規に実行する。このようにベース領域を新しく更新し、この更新されたベース領域を中心に隣接する領域と併合させる過程をすべて終了すると、次の大きさの領域をベース領域に新しく指定して前述した併合過程を実行する。このような併合過程は、映像グラフ上に表示される全領域に対して実行した後、終了する。
【０１７４】
一方、第２スレショルド値θがいかなる値となっても、映像グラフを単純化させる過程は完全に実行することが困難である。この問題点を克服するには、映像グラフ単純化部４８（図４）を、多様な下部併合部に分けることが好ましい。このため、前記式（１８）で表される色及びテクスチャ加重値と、色及びテクスチャ距離の値とを差別化し、領域の大きさに従って第２スレショルド値θを動的に変化させる。これについて詳細に説明すると次の通りある。
【０１７５】
図１０は、図４に示される映像グラフ単純化部４８で映像グラフを単純化する過程を説明するためのフローチャートであって、第１次、第２次及び第３次領域併合段階（１２０〜１２４）から構成されている。
【０１７６】
図１１は、映像グラフ単純化部４８（図４）の本発明に係る望ましい１実施例のブロック図であって、第１次、第２次及び第３次領域併合部１４０、１４２、１４４、及びスレショルド値発生部１４６から構成されている。
図１１に示されるスレショルド値発生部１４６は、下記式（１９）で表される第２スレショルド値θを動的に変化させて、第１次領域併合部１４０、第２次領域併合部１４２及び第３次領域併合部１４４に、各々出力する。
【０１７７】
【数９２】

【０１７８】
前記式（１９）中、Ｐ′は比較される２つの領域の中で、より小さい方の領域の大きさを示し、Ｐｏ′は小さい領域が一般的に有し得る所定の大きさを示す定数であり、αはスレショルド値定数であり、αβは比較される２つの領域の中で大きな領域のスレショルド値を意味する。
【０１７９】
第１次領域併合部１４０は、前記式（１８）で表される色−テクスチャ距離と第２スレショルド値とを比較し、色−テクスチャ距離がスレショルド値発生部１４６から入力した第２スレショルド値以下の場合映像グラフ上に表示される２つの細分化された領域ｕ′、ｖ′を併合し、このように併合した最終結果を反映させて生成した第１中間映像グラフを第２次領域併合部１４２に出力する（第１２０段階）。前記式（１９）でαを徐々に増加させることによって第１次領域併合部１４０の性能を改善することができる。
【０１８０】
第１２０段階（図１０）の後に、第２次領域併合部１４２（図１１）は、第１色−テクスチャ距離と第２スレショルド値とを比較し、第１色−テクスチャ距離が第２スレショルド値以下の場合には、第１中間映像グラフ区分マップに表示される２つの領域ｕ”、ｖ”を併合し、このように併合した最終結果を反映させて生成した第２中間映像グラフを第３次領域併合部１４４に出力する（第１２２段階（図１０））。
【０１８１】
ここで、第１色−テクスチャ距離は、前記式（１２）及び式（１７）において、下記記号（Ｓ５）色加重定数を「０」に設定して求めた色加重値及びテクスチャ加重値、前記式（３）、式（１）、式（２）にＷ_Ｈ≪Ｗ_Ｂ及びＷ_Ｓ≪Ｗ_Ｂの条件を反映させて求めたテクスチャ距離、及び色距離を前記式（１８）に代入して求めた色−テクスチャ距離に対応する。
【０１８２】
【数９３】

【０１８３】
すなわち、図９に示される色−テクスチャ距離発生部の第１乗算器１０４及び第２乗算器１０６は各々、下記記号（Ｓ５）で表される色加重定数が「０」の場合に、色加重値計算部１００から出力される色加重値［ｗ_ｃ（ｕ”、ｖ”）］、及びテクスチャ加重値計算部１０２から出力されるテクスチャ加重値［ｗ_ｔ（ｕ”、ｖ”）］を、Ｗ_Ｈ≪Ｗ_Ｂ及びＷ_Ｓ≪Ｗ_Ｂの条件で、色及びテクスチャ距離計算部２０、２２から各々出力される色距離とテクスチャ距離に乗算する。
【０１８４】
【数９４】

【０１８５】
このとき、加算器１０８（図９）は前記乗算の結果同士を加算し、この加算の結果を、第１色−テクスチャ距離として出力端子ＯＵＴ３を通して映像グラフ単純化部４８に出力する。第１２２段階（図１０）は、領域ｕ”及びｖ”の輝度が非常に低い場合のみ実行することができる。
【０１８６】
第１２４段階（図１０）の後に、第３次領域併合部１４４（図１１）は、第２色−テクスチャ距離と、スレショルド値発生部１４６（図１１）から入力した第２スレショルド値θとを比較し、第２色−テクスチャ距離が第２スレショルド値以下の場合、第２中間映像グラフに表示される２つの領域ｕ”′、ｖ”′を併合し、このように併合した最終結果を反映させて生成した最終映像グラフを、出力端子ＯＵＴ４を通して出力する（第１２４段階）。
【０１８７】
ここで、第２色−テクスチャ距離は、前記式（１２）及び式（１７）に、下記式（２０）の条件を反映させて求めた色加重値及びテクスチャ加重値、前記式（１）または式（２）で表される色距離と、前記式（３）で表されるテクスチャ距離を前記式（１８）に代入して求めた色−テクスチャ距離に対応する。
【０１８８】
【数９５】

【０１８９】
すなわち、図９に示される色−テクスチャ距離発生部の第１乗算器１０４及び第２乗算器１０６は、前記式（２０）の条件で色及びテクスチャ加重値計算部１００、１０２から各々出力される色加重値ｗ_ｃ（ｕ”′、ｖ”′）とテクスチャ加重値ｗ_ｔ（ｕ”′、ｖ”′）とを、色距離とテクスチャ距離とに各々乗算する。
【０１９０】
このとき、加算器１０８（図９）は第１乗算器１００及び第２乗算器１０２の乗算の結果同士を加算し、この加算の結果を第２色−テクスチャ距離として出力端子ＯＵＴ３を通して映像グラフ単純化部４８に出力する。第３次領域併合部１４４（図１１）は、領域ｕ”′、ｖ”′のテクスチャ度が高い場合にのみ実行することができる。
【０１９１】
図１２は入力または前処理された映像を示し、図１３は本発明に係る映像領域区分方法及び装置によって区分された領域を示す図面である。
図１４は入力または前処理された映像を示し、図１５は本発明に係る映像領域区分方法及び装置によって区分された領域を示す図面である。
図１６は入力または前処理された映像を示し、図１７は本発明に係る映像領域区分方法及び装置によって区分された領域を示す図面である。
【０１９２】
図１２、図１４、図１６に示される映像は，主要領域区分部４６（図４）で、例えば１６００個程度の領域に細分化され、映像グラフ単純化部４８（図４）はこの領域を例えば１６個等に減らす、すなわち、細分化された領域を併合して単純化させる。このとき、単純化された結果に関する情報を有する最終映像グラフを用いて、図１３、図１５、図１７に示されるような区分された映像を得ることができる。
【０１９３】
以上、説明した本発明に係る色−テクスチャ測定方法及び装置、その測定された色−テクスチャを用いた映像の領域区分方法及び装置は、デジタル方式の対話形デジタルシステムで効果的に用いられる。デジタル放送の一般大衆への普及を控えた現在、ユーザが放送を視聴して情報を得るというこれまでの受動的な姿勢から脱皮して、ユーザと放送者との間で直接的かつ能動的な双方向での情報交換を可能とする、デジタル方式の対話形ビデオシステムの開発が益々活発となっている。
【０１９４】
例えば、デジタル方式の対話形ビデオシステムでは、現在放映中のテレビドラマ、映画、教養番組、広告、教養プログラム、ショッピング、競売等で、ユーザが所望のオブジェクトに関する情報を得たい場合、この所望のオブジェクトをユーザが画面上で直接選択すると、この選択された情報が画面上にディスプレーされる。ユーザにとって関心のあるオブジェクトとしては、例えば、画面に登場している人気歌手の衣服、ドラマでディスプレーされている家具や人物、あるいは料理番組のレシピなどが挙げられる。このようなユーザにとって関心のあるオブジェクトを、ユーザが選択すると、選択されたオブジェクトに関する情報がユーザに提供される。
【０１９５】
これを具現するには、放映中の映像の中から意味のあるオブジェクトを効果的に区分することが必要である。放映中の映像の中で、意味のあるオブジェクトが占める領域を、他の背景やオブジェクトと効果的に区分するには、対応するオブジェクトが有する様々な特徴を最大限に利用することが必要となる。この選択されたオブジェクトが有する特徴としては、色、テクスチャまたは形状などが挙げられ、この中で、特に色またはテクスチャは、オブジェクトを単一の領域に単純化する際の糸口を与える。
【０１９６】
以上説明した、本発明に係る領域区分方法及び装置は、同一色または同一テクスチャを有する領域が、１つの意味のあるオブジェクトである可能性が高いという事実に基づいて、色距離とテクスチャ距離をすべて用いて映像の領域を安定して、明確に区分できる最終映像グラフを提供する。
【０１９７】
また、このような本発明に係る領域区分方法及び装置は、選択されたオブジェクトが多様な色、または多様なテクスチャで構成される場合にも、細分化された映像を併合して、意味のあるオブジェクトが占める領域を効果的に区分することを可能とする。
【０１９８】
更に、本発明に係る色−テクスチャ距離の測定方法及び装置と、測定された距離を用いた映像の領域区分方法及び装置は、デジタル放送と関連した製品、及びソフトウェアで基本モジュールとしての役割を果たすこともできる。
【０１９９】
一方、本発明に係る映像の領域区分方法及び装置は、映像内に存在する意味のあるオブジェクトを検索及び認識したり、意味のあるオブジェクトをトラックキングしたりする際に好適である。すなわち、本発明に係る方法及び装置から求められた最終映像グラフを用いて、意味のあるオブジェクトが占める領域に関する情報を抽出することができる。
【０２００】
このとき、抽出された情報と似た情報を有するオブジェクトが以前にディスプレーされた画面を検索したり認識したりすることができ、抽出された情報と似た情報を有するオブジェクトが以前にディスプレーされたすべての画面をトラックキングすることもできる。また、抽出された情報は、映像を編集したり、映像を作製したりすることに利用することができる。
【０２０１】
また、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）のような映像圧縮方式で圧縮されて伝送される映像で、意味のあるオブジェクトのみを効率的に伝送しようとする場合に、抽出された情報に対応する部分のみを更に微細に圧縮して伝送することにより、伝送効率を最大限に高めることが可能である。
【０２０２】
【発明の効果】
以上、説明した通りに構成される本発明によれば、低い輝度、低い彩度からなる領域及びその領域の大きさや、その領域間に接したエッジの長さなどを考慮した、正確な色−テクスチャ距離を求めることが可能な色−テクスチャ距離の測定方法及び装置と測定された色−テクスチャ距離を用いた映像の領域区分方法及び装置を提供することができる。
【０２０３】
また、本発明によれば、従来の技術に比べて、映像の領域をより効率的に区分することができ、色とテクスチャとを同時に用いて求めた色−テクスチャ距離によって映像の領域を安定に区分することができ、テクスチャ特性値を簡単な計算によって求めて安定した映像区分の実行速度を維持することができ、数回にわたって行なわれる領域併合によって平均して優れた領域区分性能を具現することが可能である。その結果、本発明によれば、入力映像から同一の色、または同一のテクスチャを有する領域を、人間の認知と類似した形態で抽出することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る色−テクスチャ距離の測定方法を説明するためのフローチャートである。
【図２】図１に示される色−テクスチャ距離の測定方法を実行する、本発明に係る色−テクスチャ距離測定装置のブロック図である。
【図３】本発明に係る映像の領域区分方法を説明するためのフローチャートである。
【図４】図３に示される方法を実行する、本発明に係る映像の領域区分装置のブロック図である。
【図５】各階層の領域が２×２形式を有する４分割ツリーを示す図面である。
【図６】図５に示す、ある階層に存在し得る４個の映像構成要素の領域と隣接する領域とを示す図面である。
【図７】基礎領域区分マップを説明するための例示的な図面である。
【図８】図７に示す基礎領域区分マップから生成した映像グラフの例示的な図面である。
【図９】図２に示す色−テクスチャ距離発生部の本発明に係る望ましい１実施例のブロック図である。
【図１０】図４に示す映像グラフ単純化部で映像グラフを単純化する過程を説明するためのフローチャートである。
【図１１】映像グラフ単純化部の本発明に係る望ましい１実施例のブロック図である。
【図１２】入力または前処理された映像を示す図面である。
【図１３】本発明に係る映像領域区分方法及び装置によって区分された領域を示す図面である。
【図１４】入力または前処理された映像を示す図面である。
【図１５】本発明に係る映像領域区分方法及び装置によって区分された領域を示す図面である。
【図１６】入力または前処理された映像を示す図面である。
【図１７】本発明に係る映像領域区分方法及び装置によって区分された領域を示す図面である。

Claims (21)

1. （ａ）映像の画素が有する色特性値で構成される色特性空間上で与えられた２点間に、互いに独立して異なる、輝度差、彩度差及び色相差の各重要度を割り当て、このように割り当てられた前記各重要度に比例した輝度差、彩度差及び色相差を加算して前記２点間の色距離を求める段階と、
   （ｂ）前記画素に対するテクスチャ特性値で構成されるテクスチャ特性空間上で与えられた前記２点間のテクスチャ特性値差と、テクスチャの多重度とに適用される加重係数を用いて前記２点間のテクスチャ距離を求める段階と、
   （ｃ）前記色距離と色加重値とを乗算し、かつ前記テクスチャ距離とテクスチャ加重値とを乗算し、これらの乗算の結果同士を加算して前記２点間の色−テクスチャ距離を求める段階と
   を備え、色相が輝度や彩度よりも重要であり、輝度が絶対値に接近するにつれて次第に色が黒色を呈するようになり、彩度が絶対値に接近するにつれて次第に色相が任意の値を有するようになるという事実に基づいて前記重要度を決定することを特徴とする色−テクスチャ距離の測定方法。
2. 前記（ａ）段階は、下記式（１）に基づき、前記色距離を求めることを特徴とする請求項１に記載の色−テクスチャ距離の測定方法。
   

   

   前記式（１）中、Ｄ_ＢＨＳ１（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」における輝度、色相及び彩度を示し、前記任意の点「ｏ」は前記点ｘまたはｙを示し、下記記号（Ｓ１）はＢ（ｘ）とＢ（ｙ）の平均値を示し、下記記号（Ｓ２）はＳ（ｘ）とＳ（ｙ）の平均値を示し、Ｗ_Ｂ、ａ及びｂは各々定数であり、Ｆ_Ｓ（ｊ）は彩度に対する線形補正関数を示し、Ｆ_Ｈ（ｊ）は色に対する線形補正関数を示す。
   

   

   
3. 前記彩度に対する線形補正関数Ｆ_Ｓ（ｊ）、または前記色に対する線形補正関数Ｆ_Ｈ（ｊ）は各々、ｊが１より小さいときにはｊとなり、ｊが１以上であるときには１となることを特徴とする請求項２に記載の色−テクスチャ距離の測定方法。
4. 前記（ａ）段階は、下記式（２）に基づき、前記色距離を求めることを特徴とする請求項１に記載の色−テクスチャ距離の測定方法。
   

   

   前記式（２）中、Ｄ_ＢＨＳ２ ^２（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」における輝度、色相及び彩度を示し、前記任意の点「ｏ」は前記点ｘまたはｙを示し、Ｗ_Ｂ、Ｗ_Ｈ及びＷ_Ｓは各々所定の定数を示し、Ｆ_Ｓ（Ｓ（ｘ）、Ｓ（ｙ））は彩度に対する非線形補正関数を示し、Ｆ_Ｂ（Ｂ（ｘ）、Ｂ（ｙ））は輝度に対する非線形補正関数を示す。
5. 前記（ｂ）段階は、下記式（３）に基づき、前記テクスチャ距離［Ｄ_ｔ（ｘ、ｙ）］を求めることを特徴とする請求項２または４に記載の色−テクスチャ距離の測定方法。
   

   

   前記式（３）中、Ｄ_ｔ（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙのテクスチャ距離を表わし、ｗ^ｚは前記加重係数を示し、下記記号（Ｓ３）及び下記記号（Ｓ４）は前記の２点ｘ及びｙの前記テクスチャ特性値であって、ｋ＝１、２、…、Ｋであり、Ｚは所定の定数を示す。
   

   

   
6. 請求項５に記載の色−テクスチャ距離の測定方法で求めた色−テクスチャ距離を用いて、入力映像を複数の領域に区分する映像の領域区分方法であって、
   （ｄ）前記入力映像を所定回数だけ繰り返して平滑化させ、平滑化された映像でエッジ部分を強調する段階と、
   （ｅ）前記色特性値と前記テクスチャ特性値とを映像の画素単位で求め、前記（ａ）段階にもどる段階と、
   （ｆ）前記（ｃ）段階の後に、ピラミッド領域区分法によって、前記色−テクスチャ距離と第１スレショルド値（閾値）とを比較し、この比較の結果に対応させて前記映像の領域を細分化し、このように細分化された領域に関する情報を有する基礎領域区分マップから映像グラフを求める段階と、
   （ｇ）前記色−テクスチャ距離と第２スレショルド値とを比較し、この比較の結果に対応させて前記映像グラフに表示される領域を併合して最終映像グラフを求める段階とを備えること、
   を特徴とする色−テクスチャ距離を用いた映像の領域区分方法。
7. 前記（ｆ）段階で用いられる前記色−テクスチャ距離は、所定の色加重値ｗ_ｃ（ｕ′、ｖ′）及び所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を用いて決定されることを特徴とする請求項６に記載の色−テクスチャ距離を用いた映像の領域区分方法。
   但し、前記所定の色加重値ｗ_ｃ（ｕ′、ｖ′）及び前記所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）中のｕ′、ｖ′は、各々前記細分化された領域を示す。
8. 前記（ｇ）段階で用いられる前記色−テクスチャ距離は、前記細分化された領域が有する特性に対応させて可変される前記所定の色加重値ｗ_ｃ（ｕ′、ｖ′）、及び前記所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を用いて決定されることを特徴とする請求項７に記載の色−テクスチャ距離を用いた映像の領域区分方法。
   但し、前記所定の色加重値ｗ_ｃ（ｕ′、ｖ′）及び前記所定のテクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）中のｕ′及びｖ′は各々、前記細分化された領域を示す。
9. 前記細分化された領域が有する特性は、細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の大きさｐ（ｕ′、ｖ′）及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）を含むことを特徴とする請求項８に記載の色−テクスチャ距離を用いた映像の領域区分方法。
   但し、前記細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の大きさｐ（ｕ′、ｖ′）及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）中のｕ′及びｖ′は各々、前記細分化された領域を示す。
10. 前記色加重値ｗ_ｃ（ｕ′、ｖ′）は、下記式（１２）に基づいて求められ、
    前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）は、下記式（１７）に基づいて求められることを特徴とする請求項９に記載の色−テクスチャ距離を用いた映像の領域区分方法。
    

    

    

    前記式（１２）及び式（１７）中、下記記号（Ｓ５）及び記号（Ｓ６）は各々、色及びテクスチャ加重定数を示すとともに、下記式（１３）、式（１５）及び式（１６）を満たす。
    

    

    

    

    前記式（１３）中、Ｔ_ｍａｘは前記テクスチャ度の最大値を示す。
    

    

    前記式（１３）中、Ｐｏは前記細分化された領域の大きさのスレショルド値を示す。
    

    

    前記式（１４）中、Ｓｏは前記細分化された領域の彩度のスレショルド値を示す。
11. 前記（ｇ）段階は、
    （ｇ１）前記色−テクスチャ距離と前記第２スレショルド値とを比較した結果に対応させて、前記映像グラフ上に表示される２つの前記細分化された領域ｕ′とｖ′とを併合する段階と、
    （ｇ２）前記（ｇ１）段階で領域ｕ′とｖ′を併合した最終結果を反映した映像グラフに表示される２つの領域をｕ”及びｖ”としたとき、前記色加重定数（下記記号（Ｓ５）））を「０」に設定してＷ_Ｈ≪Ｗ_Ｂ及びＷ_Ｓ≪Ｗ_Ｂの条件を付与して決定された前記色加重値ｗ_ｃ（ｕ”、ｖ”）、前記テクスチャ加重値ｗ_ｔ（ｕ”、ｖ”）、前記色距離及び前記テクスチャ距離を用いて求めた前記色−テクスチャ距離と前記第２スレショルド値とを比較した結果に対応させて、前記２つの領域ｕ”とｖ”とを併合する段階と、
    （ｇ３）前記（ｇ２）段階で領域ｕ”とｖ”を併合した最終結果を反映した映像グラフに表示される２つの領域をｕ”′及びｖ”′としたとき、下記式（２０）を満たすように設定して決定された前記色加重値ｗ_ｃ（ｕ”′、ｖ”′）及び前記テクスチャ加重値ｗ_ｔ（ｕ”′、ｖ”′）を用いて求めた前記色−テクスチャ距離と、前記第２スレショルド値とを比較した結果に対応させて、前記２つの領域ｕ”′とｖ”′とを併合し、前記２つの領域を併合して得られた最終結果を反映させた前記最終映像グラフを求める段階と
    を備え、前記第２スレショルド値は、前記領域の大きさに応じて変化することを特徴とする請求項１０に記載の色−テクスチャ距離を用いた映像の領域区分方法。
    

    

    
12. 映像の画素が有する色特性値で構成される色特性空間上で、２点間の輝度差、彩度差及び色相差に相異なる重要度を割り当て、このように割り当てられた重要度に比例して輝度差、彩度差及び色相差を加算し、この加算の結果を前記２点間の色距離として出力する色距離計算部と、
    前記画素に対するテクスチャ特性値で構成されるテクスチャ特性空間上で前記２点が有するテクスチャ特性値を入力し、この入力したテクスチャ特性値間の差を検出し、テクスチャの多重度に適用される加重係数及び前記検出された差から前記２点間のテクスチャ距離を計算し、この計算された前記テクスチャ距離を出力するテクスチャ距離計算部と、
    前記色距離計算部から出力される前記色距離を色加重値と乗算し、前記テクスチャ距離計算部から出力される前記テクスチャ距離をテクスチャ加重値と乗算し、これらの乗算の結果同士を加算し、この加算の結果を色−テクスチャ距離として出力する色−テクスチャ距離発生部と
    を備え、
    色相が輝度や彩度よりも重要であり、輝度が絶対値に接近するにつれて次第に色は黒色となり、彩度が絶対値に接近するにつれて次第に色相は任意の値を有するようになるという事実に基づいて前記重要度が決定されることを特徴とする色−テクスチャ距離測定装置。
13. 前記色距離計算部は、下記式（１）に基づき、前記色距離を求めることを特徴とする請求項１２に記載の色−テクスチャ距離測定装置。
    

    

    前記式（１）中、Ｄ_ＢＨＳ１（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」に対する輝度、色相及び彩度を示し、前記任意の点「ｏ」は前記ｘまたはｙを示し、下記記号（Ｓ１）はＢ（ｘ）とＢ（ｙ）の平均値を示し、下記記号（Ｓ２）はＳ（ｘ）とＳ（ｙ）の平均値を示し、Ｗ_Ｂ、ａ及びｂは各々定数であり、Ｆ_Ｓ（ｊ）は彩度に対する線形補正関数を示し、Ｆ_Ｈ（ｊ）は色に対する線形補正関数を示す。
    

    

    
14. 前記彩度に対する線形補正関数Ｆ_Ｓ（ｊ）、または前記色に対するＦ_Ｈ（ｊ）は各々、ｊが１より小さいときにはｊとなり、ｊが１以上であるときには１となることを特徴とする請求項１３に記載の色−テクスチャ距離測定装置。
15. 前記色距離計算部は、下記式（２）に基づき、前記色距離を求めることを特徴とする請求項１２に記載の色−テクスチャ距離測定装置。
    

    

    前記式（２）中、Ｄ_ＢＨＳ２ ^２（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙの色距離を表わし、Ｂ（ｏ）、Ｈ（ｏ）及びＳ（ｏ）は各々、任意の点「ｏ」に対する輝度、色相及び彩度を示し、前記任意の点「ｏ」はｘまたはｙを示し、Ｗ_Ｂ、Ｗ_Ｈ及びＷ_Ｓは各々所定の定数を示し、Ｆ_Ｓ（Ｓ（ｘ）、Ｓ（ｙ））は彩度に対する非線形補正関数を示し、Ｆ_Ｂ（Ｂ（ｘ）、Ｂ（ｙ））は輝度に対する非線形補正関数を示す。
16. 前記テクスチャ距離計算部は、下記式（３）に基づき、前記テクスチャ距離を求めることを特徴とする請求項１３または１５に記載の色−テクスチャ距離測定装置。
    

    

    前記式（３）中、Ｄ_ｔ（ｘ、ｙ）は前記色特性空間上における２点であるｘとｙのテクスチャ距離を表わし、ｗ^ｚは前記加重係数を示し、下記記号（Ｓ３）及び記号（Ｓ４）は各々、ｘ及びｙの前記テクスチャ特性値を示し、ｋ＝１、２、…、Ｋであり、ｚ＝１、２、…、Ｚであり、Ｚは所定の定数を示す。
    

    

    
17. 請求項１６に記載の色−テクスチャ距離測定装置の色−テクスチャ距離発生部から出力される前記色−テクスチャ距離を用いて入力映像を複数の領域に区分する映像の領域区分装置であって、
    前記入力映像を所定回数だけ繰り返して平滑化させ、この平滑化された映像でエッジ部分を強調して出力する映像前処理部と、
    前記映像前処理部から出力される映像から前記色特性値と前記テクスチャ特性値とを画素単位で計算し、この計算された前記色及び前記テクスチャ特性値を前記色−テクスチャ距離測定装置に出力する特性値計算部と、
    ピラミッド領域区分法によって、前記色−テクスチャ距離発生部から出力される前記色−テクスチャ距離と第１スレショルド値とを比較し、この比較の結果に対応させて前記映像の領域を細分化し、このように細分化された領域に関する情報を有する基礎領域区分マップから映像グラフを生成して出力する主要領域区分部と、
    前記色−テクスチャ距離発生部から出力される前記色−テクスチャ距離と第２スレショルド値とを比較し、この比較の結果に対応させて前記映像グラフを単純化し、このように単純化された映像グラフから生成した最終映像グラフを出力する映像グラフ単純化部とを備えること、
    を特徴とする色−テクスチャ距離を用いた映像の領域区分装置。
18. 前記色−テクスチャ距離発生部は、所定の前記色加重値ｗ_ｃと前記色距離とを乗算し、所定の前記テクスチャ加重値ｗ_ｔと前記テクスチャ距離とを乗算し、これらの乗算の結果同士を加算し、この加算の結果を前記色−テクスチャ距離として前記主要領域区分部に出力することを特徴とする請求項１７に記載の色−テクスチャ距離を用いた映像の領域区分装置。
19. 前記色−テクスチャ距離発生部は、前記細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の大きさｐ（ｕ′、ｖ′）、及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）に対応させて可変される前記色加重値ｗ_ｃ（ｕ′、ｖ′）及び前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を、前記色距離及び前記テクスチャ距離の各々に乗算し、これらの乗算の結果同士を加算し、この加算の結果を前記色−テクスチャ距離として前記映像グラフ単純化部に出力することを特徴とする請求項１８に記載の色−テクスチャ距離を用いた映像の領域区分装置。
    但し、前記細分化された領域のテクスチャ度ｔ（ｕ′、ｖ′）、前記細分化された領域の彩度ｓ（ｕ′、ｖ′）、及び前記細分化された領域の彩度ｓ（ｕ′、ｖ′）、前記色加重値ｗ_ｃ（ｕ′、ｖ′）及び及び前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）中のｕ′、ｖ′は各々、前記細分化された領域を示す。
20. 前記色−テクスチャ距離発生部は、
    下記式（１２）に基づき、前記色加重値ｗ_ｃ（ｕ′、ｖ′）を計算する色加重値計算部と、
    下記式（１７）に基づき、前記テクスチャ加重値ｗ_ｔ（ｕ′、ｖ′）を計算するテクスチャ加重値計算部と
    を備えることを特徴とする請求項１９に記載の色−テクスチャ距離を用いた映像の領域区分装置。
    

    

    

    前記式（１２）及び式（１７）中、下記記号（Ｓ５）及び記号（Ｓ６）は各々、色及びテクスチャ加重定数を示し、更に下記式（１３）、式（１５）及び式（１６）を満たす。
    

    

    

    

    前記式（１３）中、Ｔ_ｍａｘは前記細分化された映像のテクスチャ度の最大値を示す。
    

    

    前記式（１５）中、Ｐｏは前記細分化された領域の大きさのスレショルド値を示す。
    

    

    前記式（１６）中、Ｓ_ｏは前記細分化された領域の彩度のスレショルド値を示す。
21. 映像グラフ単純化部は、
    前記色−テクスチャ距離と前記第２スレショルド値とを比較し、この比較の結果に対応させて前記映像グラフ上に表示される２つの前記細分化された領域ｕ′とｖ′とを併合し、このように併合した最終結果を反映させて生成した第１中間映像グラフを出力する第１次領域併合部と、
    第１色−テクスチャ距離と前記第２スレショルド値とを比較し、この比較の結果に対応させて前記第１中間映像グラフ上に表示される２つの領域ｕ”とｖ”とを併合し、このように併合した最終結果を反映させて生成した第２中間映像グラフを出力する第２次領域併合部と、
    第２色−テクスチャ距離と前記第２スレショルド値とを比較し、この比較の結果に対応させて前記第２中間映像グラフ上に表示される２つの領域ｕ”′とｖ”′とを併合し、このように併合した最終結果を反映させて生成した前記最終映像グラフを出力する第３次領域併合部を備え、
    前記色−テクスチャ距離発生部は、前記色加重定数下記記号（Ｓ５）が「０」に設定されるとき、前記色加重値計算部から出力される前記色加重値ｗ_ｃ（ｕ”、ｖ”）及び前記テクスチャ加重値計算部から出力される前記テクスチャ加重値ｗ_ｔ（ｕ”、ｖ”）を、Ｗ_Ｈ≪Ｗ_Ｂ及びＷ_Ｓ≪Ｗ_Ｂの条件にて、前記色及び前記テクスチャ距離計算部から各々出力される前記色距離及び前記テクスチャ距離に各々乗算し、この乗算の結果を加算し、この加算の結果を前記第１色−テクスチャ距離として出力し、
    前記色−テクスチャ距離発生部は、下記式（２０）の条件にて、前記色及び前記テクスチャ加重値計算部から各々出力される前記色加重値ｗ_ｃ（ｕ”′、ｖ”′）及び前記テクスチャ加重値ｗ_ｔ（ｕ”′、ｖ”′）を前記色距離及び前記テクスチャ距離に各々乗算し、この乗算の結果同士を加算し、この加算の結果を前記第２色−テクスチャ距離として出力し、
    前記第２スレショルド値は、前記領域の大きさによって流動的に変わることを特徴とする請求項２０に記載の色−テクスチャ距離を用いた映像の領域区分装置。
    

    

    

Images