JP4445131B2

JP4445131B2 - ビデオコンテントのヒストグラム式特徴付け方法

Info

Publication number: JP4445131B2
Application number: JP2000560544A
Authority: JP
Inventors: アーマルティノジャックリン; ディミトローファネフェンカ; ハーエレンバースイアン; リュートヘルスヨブ
Original assignee: アイピージーエレクトロニクス５０３リミテッド
Priority date: 1998-07-16
Filing date: 1999-07-07
Publication date: 2010-04-07
Anticipated expiration: 2019-07-07
Also published as: EP1038269A1; JP2002520747A; WO2000004498A1; DE69940541D1; EP1038269B1; US6473095B1

Description

【０００１】
発明の背景
１．発明の分野
本発明はディジタル画像処理、特にビデオコンテントを特徴付ける技術分野に関するものでる。
【０００２】
２．関連技術
米国特許第５，１７９，８３２号はビデオデータストリーム内に幾つかのタイプのデータを用いてシーン変化を見つける技術を開示している。シーン変化は連続するフレーム内のデータの比較により決定される。
【０００３】
発明の要約
本発明の目的はビデオコンテントの有用な特徴付け（特徴記述）を生成することにある。
この目的は、キーフレームを抽出し、キーフレームをファミリーに分類し（グループ分けし）、ファミリー表現を生成することにより達成される。ファミリー表現はヒストグラムの形にするのが好適である。
【０００４】
ファミリー表現を用いて番組の境界を識別すること、テープに索引を付けること、番組資料を識別すること、ビデオコンテントを編集すること、又はビデオコンテントを例えばウェブ検索エンジンの一部分として検索することができる。
【０００５】
好適実施例の詳細な説明
図１は本発明を含むシステムを示す。プロセッサ１０３はユーザ出力デバイス１０１、ユーザ入力デバイス１０２及びメモリデバイス１０４に接続されている。メモリ１０４はディジタルビデオフレームデータ及びフレームから抽出されたデータを蓄積する。プロセッサ１０３は通信リンク１０６及びネットワーク１０５を経てある遠隔デバイス（図示せず）に接続される。通信リンクは有線又は無線にすることができるとともに、ネットワーク以外の方法で遠隔デバイスに導くこともできる。ネットワークはインターネットとすることもできる。
【０００６】
図２は本発明の好適実施例の操作を記述するフローチャートを示す。
ボックス２０１において、キーフレームを見つけ、そのフレーム番号を記憶する。各キーフレームと関連するフレーム番号を処理の間中保持する必要がある。キーフレームの識別は米国特許出願第０８／８６７，１４０及び０８／８６７，１４５に従って行うことができ、これらの米国特許出願が参考のためにここに含まれているものとする。
【０００７】
ボックス２０２において、キーフレームに対しヒストグラムを導出する。ビデオフレームからのヒストグラムの導出はR.C.Gonzalez及びR.E.Woods著「Digital Image Processing」(Addition WESLEY1992)pp.235-247に記載されている。基本的には、どの画像も多数の色(パレットという)で記述される。パレット内の色の数は用途に応じて選択することができる。ヒストグラムは色ごとに数値を与える。この数値はキーフレーム内のその色を有する画素の数である。各ヒストグラムをフレーム番号と関連させる必要がある。
【０００８】
処理速度のため及び本発明の目的のためには、完全とは言えないパレットを選択するのが好ましい。すべてのフレームに現われるであろう黒、白及び肌色のような色はパレットに対し選択しない、又は低い重みを与えるのが好ましい。完全とは言えないパレットでは、各選択色を「ビン」という。例えば下記のビンを使用することができる。
【０００９】

【００１０】
このビンセットは一般に使用されている色空間に従って選択されているが、任意の色空間、例えばＨＳＶ，ＹＵＶ，ＲＧＢを用いることもできる。ヒストグラム形成についてのもっと詳細な情報はR.C.Gonzalez及びR.E.Woods著「Digital Image Processing」(Addition WESLEY1992)pp.171-182を参照されたい。上記のビンセットは８つのビンを含むが、他の数のビンを使用することもできる。また、設計者が何をもっとも印象的と見るかに応じて他の定義のビンを使用することもできる。種々のビンに、それらがどのぐらい重要であるかに応じて種々の重みを割り当て、それらの重みを上記の表の追加の列とすることもできる。
【００１１】
キーフレームに対しヒストグラムをビンの色に基づいて決定した後に、ボックス２０３においてこのキーフレームを任意の蓄積キーフレームと比較する。この比較は次式：
Diff(Ｈ_i,Ｈ_i-1)＝Σ_j(ｗ_i＊ｖ_j＊｜Ｈ_i(j)−Ｈ_i-1(j)｜)<Threshold
(1)
に基づいて行われる。
【００１２】
この式において、変数Ｈ_iは添数ｉのキーフレームと関連するヒストグラムを表わす。ベクトル値Ｈ_i(j)はこのヒストグラムの添数ｊのビンと関連する数値である。変数Threshold（閾値）はその値以下では両ヒストグラムは同一とみなせる限界値を表わす。
【００１３】
変数ｖ_jは添数ｊのビンと関連する重みである。すべてのビンが同一の重みを有するものとみなせる場合にはこの重みは式(1)から省略することができる。
【００１４】
変数ｗ_iは添数ｉのキーフレームに割り当てられた重みを表わす。極めて短い持続時間のシーンはたいてい番組にとって重要でなく、コマーシャルを表わすこともあるので、これらのシーンと関連するキーフレームには低い重みを与えるべきである。このようにして極めて短いシーンはそれらより前のシーンから相違するものとみなすべきでなく、次のステップおいて新しいファミリーを開始する基礎とみなすべきでない。
【００１５】
短いシーンが決して何かの目的に使用されない場合には、ボックス２０１の後でシーンの長さを試験するのが簡単で効率が良く、シーンの長さが不十分である場合には、制御をフローチャートの残りの部分へ進めずにボックス２０１に戻すことができる。
【００１６】
式(1)はヒストグラム間の距離を計算する多くの計算方法の一つにすぎない。このような距離の他の計算方法はS.Antani等著「Pattern Recognition Methods in Image and Video Databases: Past, Present and Future」Proceedings7^thInternational Workshop on Structural and Systematic Patter Recognition and 2^nd International Workshop on Statistical Technique in Pattern Recognition (1998年8月、シドニー、オーストラリア)において検討されている(この文献は1998年9月7日にインターネットにより、http://machine vision.cse.psu.edu/〜antani/pubs.htmlのアドレスに予備公表されている)。
【００１７】
ボックス２０５で分岐する。式(1)に従って計算された差がThreshold（閾値）より小さい場合には、現ヒストグラムにより表わされるキーフレームはボックス２０４で蓄積ファミリーに分類される。差が閾値より大きい場合には、ボックス２０６で新しいファミリーが形成される。現ヒストグラムと関連するシーンの持続時間が十分長い場合、例えば１分以上である場合にのみ、ボックス２０６で新しいファミリーが形成されるか、ボックス２０４で現ファミリーに分類される。
【００１８】
ボックス２０６において、新しいファミリーが形成され、このファミリーは、ファミリーヒストグラムと、総持続時間と、構成ヒストグラム及びフレーム番号に対するポインタとを含むデータ構造である。即ち、各ファミリーは構成ヒストグラム及びフレーム番号の各々に対するポインタと、現ヒストグラムに初期化されたファミリーヒストグラムと、総持続時間を表わす変数（現ヒストグラムにより表わされるシーンの持続時間に初期化される）とを有するデータ構造により構成される。
【００１９】
ボックス２０４において、ファミリーヒストグラムは次式：

に従って分類される。
【００２０】
この式において、
lはビン番号を表わす変数であり、
famはこの特定のファミリーを表わす添数であり、
Ｈ_famはファミリーヒストグラムを表わすベクトルであり、
ｉはシーン番号を表わす添数であり、この添数は当該ファミリーに付加された第１シーンに対し１で始まり、当該ファミリー内のシーンの数(付加中の現シーンも含む)をとる。
Dur_iはシーンｉの持続時間を表わす変数である。この持続時間は現在のキーフレームｉのフレーム番号から次のキーフレームi+1に対応するフレーム番号を引き算することにより得られる。
Ｈ_i(l)はキーフレーム番号ｉに対するビンlの画素数を示す数値である。
total_dur_famはファミリー内に既に存在する全シーンの総合持続時間を表わす変数である。この変数は式(2)の計算前に現ヒストグラムと関連するシーンの持続時間を加算することにより更新する必要がある。
【００２１】
ボックス２０７において、すべてのキーフレームが見つけ出されたか試験される。ノーであれば、制御はボックス２０１に戻る。イエスであれば、各ファミリーが、ビデオコンテントのストリーム内に新しいキーフレームが検出されたときに比較のために使用された単一のヒストグラムで表現される。殆どの３０分番組を約３つのファミリーのヒストグラムで表わすことができるものと予想されるが、番組に依存してもっと多数の又もっと少数のファミリーヒストグラムを使用することもできる。もっと長い番組はもっと多数のファミリーヒストグラムを必要とするかもしれない。本発明によれば番組を特徴付けるキーフレームのファミリーをオンザフライ生成することができる。また、ユーザが識別を望むかもしれない既存の番組に対応してキーフレームのファミリーを事前蓄積することもできる。
【００２２】
ファミリーが生成されたら、これらのファミリーを種々の目的のために使用することができる。例えば、これらのファミリーを用いて番組の境界を識別することができる。
【００２３】
図３はヒストグラムで表わされたキーフレームに分類されたビデオ情報を示す。本例では、これらのヒストグラムをＨ₁，Ｈ₂，Ｈ₃，Ｈ₄，Ｈ₅，Ｈ₆，Ｈ₇及びＨ₈という。実際のビデオ情報はもっと多数の又は少数のキーフレームを有することができる。これらのヒストグラムの幾つかはファミリーに分類される(グループ化される)。例えば，Ｈ₁及びＨ₄はともにヒストグラムＨ_1,4で表わされるファミリーに含まれ、Ｈ₃及びＨ₅はともにヒストグラムＨ_3,5で表わされるファミリーに含まれ、Ｈ₇及びＨ₈はともにヒストグラムＨ_7,8表わされるファミリーに含まれる。ヒストグラムＨ₂及びＨ₆は「破壊的」と分類する。換言すれば、これらのキーフレームと関連するビデオ持続時間は短くて番組の識別に有用であるとみなせない。従って、式(1)内のそれらの重みｗ₂及びｗ₆は小さく、これらのキーフレームは図２のボックス２０４及び２０６に従ってファミリーに分類されない。これらのファミリーの形成は図２においてボックス２０４、２０５及び２０６に従って行われる。
【００２４】
図に示す添数は純粋に例示である。当業者であれば実際のビデオコンテントに応じてもっと多数の又は少数の異なる値の添数を使用することができる。
【００２５】
番組の境界がＨ7とＨ6の間に位置することが図２のボックス２０９において決定される。
この場合にはファミリーヒストグラムＨ_1,4及びＨ_3,5で第１の番組の特徴付けを構成することができる。これらのファミリーヒストグラムをデータベース又はＶＣＲに、番組検索用に蓄積することができる。
【００２６】
ヒストグラムのファミリーの他の可能な使用法は番組を比較することである。
番組の境界は図３に従って見つけることができる。また、番組の境界は手動的に決定することもできる。番組の境界を検出するアルゴリズムは次の通りである。
【００２７】
＊＊＊＊＊＊＊＊
Ｆ_iをファミリーグループＦのリスト内のファミリーグループｉであるものとし、ｎをファミリーグループのリストの大きさとする。
MIN(F_i)をファミリーグループＦ_i内の最小キーフレームＮrとし、
MAX(F_i)をファミリーグループＦ_i内の最大キーフレームＮrとする。
【００２８】
アルゴリズム：
仮定：ＦはMIN(F_i)で分類されているものとする。
FOR(i=0; i<n-1; i++)
DO
J=i+1;
IF((MAX(Fi)<(MIN(Fj))
THEN
Boundary Begin = MAX(MIN(Fj),Boundary Begin)
Boundary End = MAX(MAX(Fj),Boundary End)
ELSE
Boundary Begin = MAX(MIN(Fj),Boundary Begin)
CBoundary End = MAX(MAX(Fi),Boundary End)
ENDIF
IF(Boundary End < Boundary Begin)
THEN
PRINT ‘Found a BOUNDARY between Boundary End and Boundary Begin’
ENDIF
DONE
PRINT ‘BOUNDARY at n(end of video)’
＊＊＊＊＊＊＊＊
【００２９】
番組の境界及びファミリーが決定された後に、例えば番組Ｓを４つのファミリーヒストグラムで、
ＳＨ＝（ＳＨ₁，ＳＨ₂，ＳＨ₃，ＳＨ₄）
と特徴付けるとともに、例えば番組Ｂを４つのヒストグラムで、
ＢＨ＝（ＢＨ₁，ＢＨ₂，ＢＨ₃，ＢＨ₄）
と特徴付ける。
【００３０】
次に２つの番組の差を次式に従って計算する。

ここで、

及びＨ_i(k)はヒストグラムＨ_iのビンｋの値である。
【００３１】
また、番組を特徴づけるのに特に重要とみなせる所定のファミリーには重みを与えることもでき、この場合には関数Ｄを次式に従って定義することができる。

この番組間の差をビデオコンテントのデータベース又はワールドワイドウェブの検索に使用することができる。また、この差を用いて、予期されるものではないと思われる番組をマークすることもでき、例えばビデオストリーム内に定期番組ではなく割込み番組が挿入される場合にこの番組をマークすることができる。このような場合には、ユーザは割込み番組をスキップすること、又はこの番組に特別の注意を払うことを望む。番組比較は不所望な番組を識別してビデオコンテントのデータベースから削除するのに使用することもできる。
【００３２】
一連の番組を特徴づけるには、一連の番組に対しスーパーヒストグラムを発生させるのが有効である。このような場合には、式(2)を一連の番組の数個の番組からのシーンを組み合わせて数個の番組の全体を特徴付けるファミリーを生じさせることができる。このようなスーパーヒストグラムを用いてデータベース又はビデオコンテントのストリーム内の一連の番組を検索することができる。
【図面の簡単な説明】
【図１】本発明に基づくシステムの高レベル図である。
【図２】本発明の処理を示すフローチャートである。
【図３】ビデオ資料のキーフレーム、ファミリー及び番組への分類を示す。

Claims

ビデオコンテントを特徴付けるためのディジタルデータ処理方法であって、ディジタルデータ処理装置において次のステップ：
ビデオコンテンツから抽出されたビデオコンテント内の各別のシーンを表わす各別のキーフレームについて、当該キーフレーム中において予め定めた色空間における予め選定した複数の色を有する画素の数から前記キーフレームの各々に対して１つのヒストグラムを導出するステップ、
各キーフレームのヒストグラムの比較に基づいて、キーフレームの少なくとも幾つかをキーフレームの少なくとも１つのファミリーに分類するステップ、
前記ファミリーに対し、前記ファミリーにおける前記キーフレームのヒストグラムを組み合わせることにより決定されるファミリーヒストグラムであるファミリー表現をそれぞれ設定するステップ、及び
ビデオコンテントを特徴付けるために、少なくとも１つのこのようなファミリー表現を前記ディジタルデータ処理装置で読取り可能な記憶媒体内に含めるステップ、
を実行することを特徴とするディジタルデータ処理方法。
各新しいキーフレームを少なくとも１つのファミリーヒストグラムと比較して差測定値を発生させ、
各比較処理において前記差測定値が所定の閾値を越える場合にはこの新しいキーフレームはファミリー内に入らないものと決定し、
前記差測定値が所定の閾値よりも小さい場合には前記新しいキーフレームが前記ファミリーに入り、前記ファミリーに前記新しいキーフレームを分類することを特徴とする請求項１記載の方法。
ビデオストリームの中で特定された１組のファミリーヒストグラムにより既知のビデオ番組を特徴付け、当該組のファミリーヒストグラムを用いて既知でないビデオストリーム内の番組境界であるシーン変化を特定するステップを更に含むことを特徴とする、請求項２に記載の方法。