JP2721107B2

JP2721107B2 - 映像特徴処理方法

Info

Publication number: JP2721107B2
Application number: JP5032908A
Authority: JP
Inventors: 徹定方; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-02-23
Filing date: 1993-02-23
Publication date: 1998-03-04
Anticipated expiration: 2013-03-04
Also published as: JPH06251147A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像を分類する技術に
関し、特に色特徴を用いて映像を分類する映像特徴処理
方法に関するものである。

【０００２】

【従来の技術】映像は情報量が多く、意味的にも多義性
を持っている。映像を便利に取り扱うためにはわかりや
すい特徴量を映像の中から取り出し、似た映像を一つに
まとめる映像シーン分類が必要になってくる。映像から
１フレームを取り出し、１フレームの特徴量を取り出し
て内容を記述したり、記述された内容を基に映像を自動
分類したりするための研究が、従来よりなされている。

【０００３】例えば、これまでに、（１）山根、ＧＯＮＧ、佐藤、坂内“映像シーン記述言
語を用いたビデオシーン検出システムについての一考
察”信学会秋全大、Ｄ−２８２，１９９２（２）佐藤、山根、ＧＯＮＧ、坂内“シーン記述言語を
用いた動画像シーン分類”信学会秋全大、Ｄ−２８３，
１９９２が発表されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の技術による映像の特徴量の取り出しには、まだまだ
人手が必要であるということ、ならびに映像全体を記述
することが困難であるという問題点があった。

【０００５】本発明は、上記問題点を解決するためにな
されたものであり、その目的は、映像から自動的に特徴
量を取り出し、映像を自動的に分類する処理方法を提供
することにある。また、映像から取り出した特徴量によ
り映像全体を記述する処理方法を提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の映像特徴処理方法においては、まず、カラ
ー映像の１フレームまたは数フレームからなる映像のか
たまりに対し、該映像を色相、彩度、明度のいずれか又
はそれらの組み合わせからなる情報に変換し、次に、該
情報からヒストグラムを計測し、次に、該ヒストグラム
から極値や、極値の前後で画素数の合計が一定の画素数
になるために必要な色相値の幅などをｎ個の代表値とし
て取り出し、次に、該代表値を特徴量とするｎ次元の特
徴空間における前記映像のかたまり位置から映像のかた
まり相互間の距離を計算し、次に、該距離が一定内の映
像のかたまり同志をクラスタリングすることによりそれ
ら映像のかたまりをまとめて映像のまとまりとすること
を特徴としている。また、本発明では、上記において得
られた映像のまとまりのクラスタリング条件パラメータ
によって全体映像を記述することを特徴としている。

【０００７】また、本発明では、上記において得られた
映像のまとまりのクラスタリング条件パラメータによっ
て全体映像を記述することを特徴としている。

【０００８】

【作用】本発明の映像特徴処理方法では、映像のかたま
りを変換した色相、彩度、明度のいずれか又はそれらの
組み合わせからなる情報より、ヒストグラムを計測し、
そのヒストグラムから極値等を代表値として取り出して
特徴量とする。これにより、特徴量の取り出しを自動的
に行えるようにする。また、特徴量の数を次元とする特
徴空間に前記の映像のかたまりを展開し、その位置から
複数の映像のかたまり相互間の距離を計算し、一定距離
内の前記映像のかたまり同志をクラスタリングすること
により、それら映像のかたまりを自動的に分類可能とす
る。それとともに、そのクラスタリング条件パラメータ
によって映像全体の記述を可能にする。

【０００９】

【実施例】以下、本発明の具体的な実施例を、図面を参
照して詳細に説明する。

【００１０】以下に説明する例では、色変換に長岡技術
科学大学で提案されているＭＴＭ変換「宮原、吉田“色
データ（Ｒ，Ｇ，Ｂ）⇔（Ｈ，Ｖ，Ｃ）数学的変換方
法”、テレビ学誌Ｖｏｌ．４３Ｎｏ．１０（１９８
９）」を用いるが、これはＨＳＩ、ＨＳＶ、ＨＳＬなど
色相、彩度、明度へ変換する他の方法を用いてもよい。
また、以下に説明する例では色相を用いて代表値を決定
しているが、彩度や明度を併用するなどして代表値を決
定してもよい。

【００１１】図１は本発明の一実施例を示すフローチャ
ートである。

【００１２】まず、処理手順の概要を説明する。最初
に、対象映像（原画像）の各フレームＲＧＢデータを色
変換し、色相、彩度、明度の値にする（ただし、以下で
使用する値すなわち本例では少なくとも色相値のみに変
換すれば十分である）。このうち色相値から、色相ヒス
トグラムを計測し、その色相ヒストグラムから各フレー
ムの色相代表値を選択し、特徴量として決定する。この
色相代表値を特徴量とする色特徴空間にその色相代表値
を展開し、各フレームをそれぞれ空間内での位置として
表す。つぎに、各フレーム間の距離を計算し、近いもの
同志をクラスタリングし、各クラスタごとに分類するこ
とで、各フレームのかたまり即ち映像シーンを分類す
る。

【００１３】以下に上記の各処理の詳細を説明する。

【００１４】＜色変換＞計算機の中で表現されている画
像情報は計算機のフレームバッファなどの関係からＲＧ
Ｂで表現されていることが多い。このＲＧＢ情報から、
人間の感覚に近い色相、彩度、明度の情報に色情報を変
換する。ここでは、色変換手法として長岡技術科学大学
で提案されているＭＴＭ変換を用いるが、先にも述べた
とおり、これはＨＳＩ、ＨＳＶ、ＨＳＬなどＲＧＢ情報
を色相、彩度、明度へ変換する他の方法を用いてもよ
い。また、画像情報が色相、彩度、明度で表現されてい
る場合は、そのまま用いて構わない。

【００１５】＜色相ヒストグラムの計測＞次に、変換さ
れた色相値を用いて各フレームごとに色相ヒストグラム
を計算する。色相ヒストグラムの一例を図２に示す。横
軸は色相値（Ｈｕｅ）である。色相は図３に示すように
環状に表現されているが、ここでは一次元の直線で表し
ている。縦軸は各々の色相値をとる画素数（Ｐｉｘｅｌ
ｓ）である。本実施例では２５６×２４０画素の原画像
を用いているので画素の総数は６１４４０画素で一定で
ある。

【００１６】＜代表値選択＞次に、色相ヒストグラムか
ら各フレームを特徴付ける色相代表値を求める。本実施
例では色相ヒストグラムの極大値をフレームの色相代表
値すなわち特徴量とする。このとき、代表値は任意の個
数を選んで構わない。本実施例では極大値のなかで画素
数が多いものから二つをそのフレームの代表値とする。
ここでは極大値を用いるが、色相ヒストグラムの最大値
や最小値なども用いることができる。

【００１７】色相ヒストグラムの極大値を求める方法に
ついて詳しく述べる。

【００１８】色相ヒストグラムの一例を図４に示す。色
相ヒストグラムは、このままでは各色相値で微小な変化
があり、多くの極大値を持っている。そこで色相ヒスト
グラムの微小な変化を消し、大きな変化（第一のピー
ク，第二のピーク）のみを検出するため、次のような処
理を行う。

【００１９】まず、色相ヒストグラムを色相累積ヒスト
グラムに変換する。図５に累積ヒストグラムの一例を示
す。次に、色相値ｕからある色相幅ｄ（ｕ）をとったと
き、一定の画素数Ｔになるために必要な色相幅ｄ（ｕ）
を計算する。関係式を以下に示す。

【００２０】

【数１】

【００２１】Ｔ：定数（一定画素数）ｈｉｓｔ（ｈ）：色相ヒストグラムｄ（ｕ）：一定画素数になるために必要な色相幅本実施例では一定画素数Ｔを全画素数（６１４４０画
素）の１０％である６１４４画素で計測した例で説明す
る。これは、極値の微小な変化が無くなればよく、適当
な値で構わない。次に、この関係式から色相値と色相幅
の関係について説明する。色相ヒストグラムにおいて画
素数の多い色相値では幅ｄ（ｕ）は小さくなり、色相ヒ
ストグラムにおいて画素数が少ない色相値では幅ｄ
（ｕ）は大きくなる。

【００２２】図６に上記の色相値（Ｈｕｅ）ｕと幅（Ｗ
ｉｄｔｈ）ｄ（ｕ）のグラフを示す。図４で大きな変化
を持つ二つの極大値である色相値が図６では極小値とし
て表現される。本実施例では図６の極小値のうち小さい
ものから二つを代表値として用いた。この処理を各フレ
ームの色相ヒストグラムに行い代表値を求める。また、
これは、映像により任意の数、ｎ個の代表値を選んで構
わない。

【００２３】＜特徴空間への展開＞次に各フレームの代
表値を色特徴空間に展開する。ここでは代表値として二
つの色相値を用いた場合について説明する。色特徴空間
の一例を図７に示す。代表値として用いる二つの色相値
のうち大きい値を横軸に、小さい値を縦軸にとり、各フ
レームの代表値として色特徴空間に位置付ける。この場
合は、代表色相値の幅ｄの大小には関係無く横軸、縦軸
を決める。つまり図７の斜線掛部分のみに各フレームの
特徴量が位置として表される。例えば一例として代表値
の色相値が“緑”と“紫”ならば図７のＡの位置に付け
られる。

【００２４】図８に１５８秒（４７４０フレーム）、４
６ショットからなる映像の代表値を色特徴空間に展開し
た結果を示す。もちろん、代表色相値の各々の幅ｄも含
めた四次元の空間をつくり、そのなかに位置付けても構
わない。また、ｎ個の色相値を代表値とした場合、ｎ次
元の空間を作り、そのなかに位置付けることも出来る。
また、ｎ個の色相値とそれぞれの幅ｄを代表値とした場
合、２ｎ次元の空間をつくり、そのなかに位置付けるこ
とも出来る。

【００２５】＜特徴空間内でのクラスタリング＞次に、
上記の色特徴空間内に分布した各フレームの位置を用い
て空間内で近いもの同志をクラスタリングする。クラス
タリングの手法としては、ｎ次元の色特徴空間における
各々映像の位置から相互の距離を計算し、距離の近いも
の同志をクラスタリングする方法や、ｎ次元のＫ平均ク
ラスタリングや、横軸、縦軸への投影による切り出し、
モホロジー等を使った連結等が使える。色特徴空間の分
布からクラスタリングを行い映像シーンの分類を行った
結果を図９に示す。この映像は船上でのシーンと海底で
のダイビングのシーンで構成されている。Ａの部分は海
底のダイビングのショットが中心で船上でのショットが
幾つか入っている。Ｂの部分はほぼ船上のショットから
なっている。

【００２６】以上のように、色特徴空間の中の位置を用
いて各フレームをクラスタリングすることにより、映像
分類が出来る。また、上記クラスタリング条件パラメー
タによって、映像全体の記述が可能である。すなわち、
図９の例では、各次元の色相値の組み合わせで各シーン
を記述することができるなお、始めにも述べたように、
本発明は、その主旨に沿って種々に応用され、種々の実
施態様を取り得るものである。

【００２７】

【発明の効果】以上の説明で明らかなように、本発明の
映像特徴処理方法によれば、映像の色特徴に着目して映
像シーン等の分類を自動的に行える。例えば、似たよう
な映像をまとめることが出来れば、蓄積効率を上げるこ
とが出来る。また、映像の再利用を考えたときにいくつ
かの似た映像をまとめて管理することが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例を示すフローチャート

【図２】上記実施例における色相ヒストグラムの一例を
示す図

【図３】上記実施例における色相値を説明するための色
相環の説明図

【図４】上記実施例における色相ヒストグラムの一例と
その中の極大値の説明図

【図５】上記実施例において色相幅を計算するために用
いる色相の累積ヒストグラムの一例を示す図

【図６】上記実施例における色相値と色相幅のグラフ

【図７】上記実施例で用いる２次元の色特徴空間の説明
図

【図８】上記実施例において映像の特徴量を上記色特徴
空間に展開した結果を示す図

【図９】図８の色特徴空間の分布からクラスタリングを
行い映像シーンの分類を行った結果を示す図

Claims

(57)【特許請求の範囲】

【請求項１】まず、カラー映像の１フレームまたは数
フレームからなる映像のかたまりに対し、該映像を色
相、彩度、明度のいずれか又はそれらの組み合わせから
なる情報に変換し、次に、該情報からヒストグラムを計
測し、次に、該ヒストグラムから極値や、極値の前後で
画素数の合計が一定の画素数になるために必要な色相値
の幅などをｎ個の代表値として取り出し、次に、該代表
値を特徴量とするｎ次元の特徴空間における前記映像の
かたまり位置から映像のかたまり相互間の距離を計算
し、次に、該距離が一定内の映像のかたまり同志をクラ
スタリングすることによりそれら映像のかたまりをまと
めて映像のまとまりとすることを特徴とする映像特徴処
理方法。
【請求項２】請求項１記載の映像特徴処理方法におい
て、得られた映像のまとまりのクラスタリング条件パラ
メータによって全体映像を記述することを特徴とする映
像特徴処理方法。