JP4942883B2 - 動き記述子およびカラー記述子を用いてビデオを要約化する方法 - Google Patents
動き記述子およびカラー記述子を用いてビデオを要約化する方法 Download PDFInfo
- Publication number
- JP4942883B2 JP4942883B2 JP2001229656A JP2001229656A JP4942883B2 JP 4942883 B2 JP4942883 B2 JP 4942883B2 JP 2001229656 A JP2001229656 A JP 2001229656A JP 2001229656 A JP2001229656 A JP 2001229656A JP 4942883 B2 JP4942883 B2 JP 4942883B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame
- frames
- motion
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はビデオに関し、特に、圧縮ビデオの要約化に関する。
【０００２】
【従来の技術】
ビデオの要約を自動的に生成すること、特に圧縮デジタルビデオから要約を生成することが望ましい。
【０００３】
圧縮ビデオフォーマット
ビデオをデジタル信号として圧縮する基本的な方法が、ＭＰＥＧ（Motion Picture Expert Group）に採用されている。ＭＰＥＧ規格は、画像のフルフレームについての情報を時折作成することで、高いデータ圧縮率を達成する。フル画像フレーム、すなわちフレーム内符号化フレームは「Ｉフレーム」または「アンカーフレーム」と呼ばれることが多く、あらゆる他のフレームとは独立したフルフレーム情報を含む。画像差フレーム、すなわちフレーム間符号化フレームは、「Ｂフレーム」および「Ｐフレーム」、または「予測フレーム」と呼ばれることが多く、これは、Ｉフレーム間で符号化され、基準フレームからの画像差、すなわち残余のみを反映する。
【０００４】
通常、ビデオシーケンスの各フレームは、より小さな画素、すなわちピクセルのデータブロックに分割される。各ブロックは離散コサイン変換（ＤＣＴ）関数を施され、統計上依存した空間領域ピクセルを独立周波数領域ＤＣＴ係数に変換する。「マクロブロック」と呼ばれる、それぞれの８ラ８、または１６ラ１６ブロックのピクセルは、ＤＣＴ関数を施されて、符号化信号を提供する。
【０００５】
ＤＣＴ係数は通常エネルギー集中的であるため、１つのマクロブロックにおいて少数の係数のみが、ピクチャ情報の主要部分を含む。たとえば、マクロブロックがオブジェクトのエッジ境界を含む場合、変換後のそのブロックのエネルギー、すなわちＤＣＴ係数で表されるものは比較的大きなＤＣ係数を含み、係数のマトリクスにわたってＡＣ係数がランダムに分散される。
【０００６】
一方、非エッジマクロブロックは通常、同様の大きなＤＣ係数と、そのブロックに関連する他の係数よりも実質的に大きな隣接ＡＣ係数とを特徴とする。ＤＣＴ係数は通常、適応量子化を施されてから、送信媒体に関してランレングス符号化および可変長符号化される。このため、送信データのマクロブロックは通常、８ラ８のマトリクスに満たない符号語を含む。
【０００７】
フレーム内符号化データ、すなわち符号化ＰまたはＢフレームデータのマクロブロックは、予測ピクセルとマクロブロックにおける実際のピクセルの間の差分のみを表す。フレーム内符号化データおよびフレーム間符号化データのマクロブロックはまた、用いられた量子化のレベル、マクロブロックのアドレスインジケータまたはロケーションインジケータ、ならびにマクロブロックのタイプ等の情報も含む。後者の情報は、「ヘッダ」または「オーバーヘッド」情報と呼ばれる。
【０００８】
各Ｐフレームは、最後のＩフレームまたはＰフレームから予測される。各Ｂフレームは、これを挟むＩフレームまたはＰフレームから予測される。予測符号化プロセスは、Ｉフレームのどのマクロブロックの変位量が現在符号化されているＢフレームまたはＰフレームのマクロブロックと最も密接にマッチしているかを示す、「動きベクトル」としばしば呼ばれる変位ベクトルの生成を含む。Ｉフレームにおけるマッチするブロックのピクセルデータが、符号化されているＰフレームまたはＢフレームのブロックからピクセル毎に減じられ、残余が現れる。変換された残余およびベクトルは、ＰフレームまたはＢフレームの符号化データの一部を形成する。
【０００９】
ビデオ分析
ビデオ分析は、ビデオコンテンツの理解を意図してのビデオ処理として定義することができる。ビデオの理解は、「低レベル」の統辞語的理解から「高レベル」の意味論的理解までの範囲としうる。
【００１０】
低レベルの理解は、カラー、モーション、テクスチャ、形状等、低レベルの特徴を分析することでなされる。低レベルの特徴は、ビデオを「ショット」に区分化することのために用いることができる。本明細書において、ショットは、カメラへの電源投入時に始まり、カメラの電源オフまで続くフレームシーケンスとして定義される。通常、ショットにおけるフレームシーケンスは、単一の「シーン」を取り込む。低レベルの特徴を用いて、記述子を生成することが可能である。そして、記述子を用いて、たとえばビデオにおける各ショットおよびおそらくその長さの索引など、ビデオを索引付けることができる。
【００１１】
ビデオの意味論的理解は、コンテンツの部類に関係し、その統語論的な構造には関係ない。たとえば、高レベルの特徴は、ビデオがアクションビデオであるか、ミュージックビデオであるか、「トーキングヘッド（talking head：画面に話し手が登場するもの）」のビデオであるかなどを表す。
【００１２】
ビデオ要約化
ビデオ要約化とは、ビデオの意味論的本質を伝えるビデオのコンパクトな表現を作成することと定義することができる。コンパクトな表現には、「キー」フレームまたは「キー」セグメント、あるいはキーフレームとセグメントの組み合わせを含めることができる。一例として、テニスの試合のビデオ要約は、２つのフレーム、すなわち双方の選手を取り込んだ第１のフレームと、トロフィーを持った勝者を取り込んだ第２のフレームと、を含みうる。より詳細かつ長い要約には、マッチポイントを取り込んだすべてのフレームをさらに含めることができる。このような要約を手動で生成することは確かに可能であるが、これには時間と費用がかかる。したがって、自動要約化が望まれる。
【００１３】
自動ビデオ要約化方法は周知であり、S. Pfeifer他による「Abstracting Digital Movies Automatically」（J. Visual Comm. Image Representation, vol. 7, no. 4, pp. 345 − 353, １９９６年１２月）および「An Integrated Scheme for Automated Video Abstraction Based on Unsupervised Cluster − Validity Analysis」（IEEE Trans. On Circuits and Systems for Video Technology, Vol. 9, No. 8, １９９９年１２月）を参照されたい。
【００１４】
最も良く知られているビデオ要約化方法は、専らカラーベースの要約化に集中している。Pfeiffer他だけが、ビデオ要約の作成に、動きを他の特徴と組み合わせて用いている。しかし、Pfeiffer他による方法は単に、組み合わせた特徴間で考えられうる修正を見過ごした重み付き組み合わせを用いるだけにすぎない。要約化方法によっては、動き特徴を用いてキーフレームを抽出するものもある。
【００１５】
図１に示すように、従来技術によるビデオ要約化方法は殆ど、カラー特徴に基づくクラスタ化を強調している。これは、カラー特徴が抽出し易くかつノイズに耐性があるためである。典型的な方法は、ビデオＡ１０１を入力としてとり、カラーベースの要約化プロセス１００を適用してビデオ要約Ｓ（Ａ）１０２を作成する。ビデオ要約は、ビデオ全体の１つの要約、あるいは関心を引くフレームのセットのいずれかからなる。
【００１６】
方法１００は通常、以下のステップを含む。第１に、カラー特徴に従いビデオのフレームをクラスタ化する。第２に、クラスタをアクセスし易い階層データ構造にする。第３に、各クラスタからキーフレームまたはキーフレームシーケンスを抽出して、要約化する。
【００１７】
動きアクティビティ記述子
ビデオはまた、様々なレベルのアクティビティ、またはアクション強度を有するものとして直観的に理解することができる。比較的高レベルのアクティビティの例は、スポーツイベントビデオでの得点チャンスであり、一方ニュースビデオは比較的低レベルのアクティビティを有する。最近提案されたＭＰＥＧ−７映像規格は、ビデオでの動きアクティビティに関連する記述子を提供する。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、カラーおよびテクスチャの特徴等、他の低レベルの特徴と組み合わせて、動き特徴、特に動きアクティビティ特徴を用いて自動ビデオ要約化方法を提供することである。
【００１９】
【課題を解決するための手段】
本発明の背後にある主な洞察は、次の仮定を根拠としている。ビデオの動きアクティビティは、ビデオの要約化の相対的な困難さを示すのによい目安である。動きの量が多くなるほど、そのビデオの要約化は困難である。ビデオ要約は、包含するフレームの数、たとえばキーフレームの数、またはキーセグメントのフレームの数等により、量的に記述することができる。
【００２０】
ビデオの動きアクティビティの相対強度は、カラー特徴の変化と強く相関する。換言すれば、動きアクティビティの強度が高い場合、カラー特徴の変化も高い可能性が高い。カラー特徴の変化が高い場合、カラー特徴をベースとする要約には比較的多数のフレームが含まれることになり、カラー特徴の変化が低い場合には、要約にはより少数のフレームが含まれることになる。
【００２１】
たとえば、「トーキングヘッド」ビデオでは、動きアクティビティのレベルが低く、また同様にカラー変化もごくわずかである。要約化がキーフレームをベースとする場合、ビデオの要約化には１つのキーフレームで十分である。キーセグメントを用いる場合、視覚的なビデオの要約化には、１秒のフレームシーケンスで十分である。一方、スポーツイベントでの得点チャンスでは動きアクティビティ強度およびカラー変化が非常に高く、したがって要約化には数個のキーフレームまたは数秒が必要である。
【００２２】
より具体的に、本発明は、まずビデオから動きアクティビティの強度を抽出することで、ビデオの要約化をする方法を提供する。次に、該動きアクティビティの強度を用いて、ビデオを要約化の容易なセグメントと困難なセグメントとに区分する。
【００２３】
要約化が容易なセグメントは、単一フレーム、またはセグメントのどこかから選択されたフレームで表される。要約化が容易なセグメントではフレーム間の差がごくわずかであるため、このフレームはいずれのフレームでもよい。困難なセグメントの要約化には、カラーベースの要約化プロセスを用いる。このプロセスは、要約化の困難な各セグメントからフレームシーケンスを抽出する。単一フレームおよび抽出したフレームシーケンスを組み合わせて、ビデオの要約を形成する。
【００２４】
組み合わせには、時間的、空間的、または意味論的な順序付けを用いることができる。時間的配置の場合、たとえば最初から最後に、または最後から最初になどある時間順序で、フレームを繋ぎ合わせる。空間的配置の場合、フレームの縮小版を組み合わせてモザイクやある配列、たとえば長方形にし、１つのフレームで選択された要約フレームのいくつかの縮小版を見せる。意味論的順序の要約は、興奮度の高いものから低いものに移行する。
【００２５】
【発明の実施の形態】
本発明は、カラー特徴および動き特徴を用いて、圧縮ビデオを要約化する。したがって、本発明の要約化方法は最初に、圧縮ビデオから特徴を抽出する。
【００２６】
特徴抽出
カラー特徴
既知の技術を用いて、ＩフレームのＤＣ係数を正確かつ容易に抽出することができる。ＰおよびＢのフレームの場合、ＤＣ係数は、完全に圧縮解除することなく動きベクトルを用いて近似することができる。たとえば、Ｙｅｏ他著「On the Extraction of DC Sequence from MPEG video」（IEEE ICIP Vol. 2, １９９５年）を参照されたい。ＤＣ画像のＹＵＶ値は、カラー特徴を抽出するために、別の色空間に変形することができる。
【００２７】
最も一般に使用される技術は、カラーヒストグラムを用いる。カラーヒストグラムは、画像および映像の索引付けおよび検索に広く用いられてきている。Smith他による「Automated Image Retrieval Using Color and Texture」（IEEE Transaction on Pattern Analysis and Machine Intelligence, １９９６年１１月）を参照されたい。通常、３チャネルＲＧＢ色空間では、各チャネルに４つのビンがあり、カラーヒストグラムには総計６４（４×４×４）個のビンが必要である。
【００２８】
動き特徴
動き情報は、大抵動きベクトルに埋め込まれる。動きベクトルは、ＰフレームおよびＢフレームから抽出することができる。動きベクトルは通常、実際の光の流れに対する荒く、散在した近似であるため、ここでは動きベクトルを質的にのみ用いる。動きベクトルを用いる多くの異なる方法が知られている。Tan他による「A new method for camera motion parameter estimation」（Proc. IEEE International Conference on Image Processing, Vol. 2, pp. 722 − 726, １９９５年）、IEEE Trans. on Circuits and Systems for Video Technology １９９９年に見られるTan他による「Rapid estimation of camera motion from compressed video with application to video annotation」、Kobla他による「Detection of slow-motion replay sequences for identifying sports videos」（Proc. IEEE Workshop on Multimedia Signal Processing, １９９９年）、Kobla他による「Special effect edit detection using VideoTrails: a comparison with existing techniques」（Proc. SPIE Conference on Storage and Retrieval for Image and Video Databases VII, １９９９年）、Kobla他による「Compressed domain video indexing techniques using DCT and motion vector information in MPEG video」（Proc. SPIE Conference on Storage and Retrieval for Image and Video Databases V, SPIE Vol. 3022, pp. 200 − 211, １９９７年）、およびMeng他による「CVEPS − a compressed video editing and parsing system」（Proc. ACM Multimedia 96, １９９６年）を参照されたい。
【００２９】
上述したように、殆どの従来技術による要約化方法は、カラー特徴のクラスタ化をベースとして、カラー記述子を得る。カラー記述子は、定義上比較的ノイズに耐性があるが、ビデオの動き特徴を含まない。しかし、動き記述子はノイズに対する耐性がより低い傾向があるため、ビデオの要約化に広くは用いられていない。
【００３０】
Divakaran他出願の米国特許出願第０９／４０６，４４４号「Activity Descriptor for Video Sequences」は、圧縮画像における動きベクトルから導出した動き特徴を用いて、ビデオにおける動きアクティビティおよびビデオにおける動きアクティビティの空間分布を決定する方法を記載している。このような記述子は、ビデオ閲覧への適用に関してはうまくいく。本明細書では、このような動き記述子をビデオ要約化に適用する。
【００３１】
本明細書では、ビデオにおけるアクティビティの相対レベルを用いて、ビデオの「要約化難易度」を測定できるものと仮定する。不都合なことに、この仮定をテストする単純で客観的な尺度はない。しかし、動きの変化はカラー特徴の変化によってなされることが多いため、動きアクティビティの相対強度とビデオのカラー特徴変化の間の関係を調べる。
【００３２】
動きおよび色の変化
ＭＰＥＧ−７「テストセット」から、ビデオのカラー特徴および動き特徴を抽出することで、これを行う。動きベクトルの大きさの平均を計算することですべてのＰフレームから動きアクティビティ特徴を抽出するとともに、すべてのＩフレームから６４ビンＲＧＢヒストグラムを抽出する。次に、ＩフレームからＩフレームへのヒストグラムにおける変化を計算する。メジアンフィルタをフレーム毎のカラーヒストグラム変化のベクトルに適用し、セグメントカット（segment cut）または他のセグメント遷移に対応する変化をなくす。図２および図３に示すように、フレーム毎に動きアクティビティ強度対メジアンフィルタ済カラー変化をグラフ化する。
【００３３】
図２および図３はそれぞれ、「jornaldanoite1」および「news1」テストセットについての動きアクティビティ強度とカラー相違の間の関係を示す。動きアクティビティ強度とカラー変化の間には明確な相関がある。アクティビティが低い場合、カラー変化も低いことは非常にはっきりとしている。アクティビティレベルが高いほど、高アクティビティの予想されるソースが多くなり、カラーコンテンツ変化が原因ではないものもありうるため、相関は明確ではなくなる。しかし、アクティビティが非常に低い場合、コンテンツがフレーム毎に変化しない可能性が高い。本発明では、この情報を用いてビデオを予めフィルタリングし、殆ど静的なセグメントを検出し、したがって静的セグメントを単一のキーフレームで要約化する。これらの結果に基づき、以下の要約化方法を提供する。
【００３４】
要約化方法
図４は、入力圧縮ビデオＡ４０１を要約化して要約Ｓ（Ａ）４０２を作成するための方法４００を示す。
【００３５】
入力圧縮ビデオ４０１は、当分野で周知であり、かつ上述した標準的な技術を用いて「ショット」に区分化される。最初にビデオをショットに区分化することで、各ショットが同質であり、シーン変更を含まないよう確実にする。よって、たとえば、意味論的レベルでは同一に見える連続した異なる１０の「トーキングヘッド」ショットのビデオを適宜要約化する。この点から、ビデオはショット毎に処理される。
【００３６】
ステップ４１０は、各ショットの各フレームについての動きアクティビティの相対強度を決定する。各フレームは、第１あるいは第２のクラスのいずれかに分類される。第１のクラスは、要約化が比較的容易なフレームを包含し、第２のクラス４１２は要約化が比較的困難なフレームを包含する。換言すれば、この分類は動きをベースとするものである。
【００３７】
分類が同じである各ショットの連続フレームは、要約化が「容易」なセグメント４１１あるいは要約化が「困難」なセグメント４１２のいずれかにグループ化される。
【００３８】
各ショットの容易なセグメント４１１では、セグメントからキーフレームまたはキーフレームシーケンスを選択する（４２１）ことで、セグメントの単純な要約化４２０を行う。容易なセグメント中のフレームはすべて意味論的に同様であるものとみなされるため、選択されるキーフレーム４２１は、セグメント中の任意のフレームであることができる。
【００３９】
各ショットの困難なセグメント４１２については、カラーベースの要約化プロセス５００を適用して、セグメントをキーフレームシーケンス４３１として要約化する。
【００４０】
各ショットのキーフレーム４２１および４３１を組み合わせて各ショットの要約を形成し、ショットの要約を組み合わせてビデオの最終的な要約Ｓ（Ａ）４０２を形成することができる。
【００４１】
フレームの組み合わせには、時間的、空間的、または意味論的な順序付けを用いることができる。時間的配置の場合、たとえば最初から最後に、または最後から最初になどある時間順序で、フレームを繋ぎ合わせる。空間的配置の場合、フレームの縮小版を組み合わせてモザイクやある配列、たとえば長方形にし、１つのフレームで選択された要約フレームのいくつかの縮小版を見せる。意味論的順序では、興奮度の高いものから低いもの、または音の静かなものから大きなものであることができる。
【００４２】
図５は、好ましいカラーベースの要約化プロセス５００のステップを示す。ステップ５１０は、困難なセグメント４１２それぞれのフレームをカラー特徴に従ってクラスタにクラスタ化する。ステップ５２０は、該クラスタを階層データ構造５２１としてアレンジする。ステップ５３０は、クラスタからフレームシーケンスを抽出してクラスタの要約５３１を作成することで、困難なセグメント４１２の各クラスタ５１１を要約化する。ステップ４４０は、クラスタの要約を組み合わせて、困難なセグメント４１２を要約するキーフレームシーケンス４３１を形成する。
【００４３】
ビデオのコンテンツは主に、キーフレームで要約化可能な、「トーキングヘッド」の低アクションフレームを含むため、この方法は、ニュースビデオタイプのシーケンスに最も有効である。カラーベースのクラスタ化プロセス５００は、より高いレベルのアクションを有するフレームシーケンスにのみ実行する必要があり、このため全体的な計算負荷が低減する。
【００４４】
図６は、要約化方法４００を図で示す。入力ビデオ６０１をショット６０３に区分化する（６０２）。動きアクティビティ分析６０４をショットのフレームに適用し、容易なセグメントおよび困難なセグメント６０５を決定する。容易なセグメントから抽出した（６０７）キーフレーム、セグメント、またはショット６０６を、クラスト化カラー分析（６０９）から導出されたカラーベースの要約６０８と組み合わせ、最終的な要約６１０を形成する。
【００４５】
１つの適用において、要約は圧縮ビデオから動的に作成されるため、閲覧者は、ビデオ全体の要約をビデオ「再生」開始してから数分以内に見ることができる。したがって、閲覧者は動的に作成される要約を用いて、ビデオを「拾い読み」することができる。
【００４６】
さらに、動的に作成される要約に基づき、ユーザは、特定の部分を進行中に再要約化するよう要求することができる。換言すれば、ビデオが再生されるにつれ、ユーザが、選択プロセスには要約自体を用いて、おそらく異なる部分については異なる要約化技術を用いて、ビデオの選択部分を様々な詳細レベルで要約化する。したがって、本発明は、今までの従来技術による静的要約化技術では不可能であった高度に対話的な閲覧様式を提供する。
【００４７】
好ましい実施形態の例を通して本発明を説明したが、本発明の精神および範囲内で、他の様々な適合および変更を行いうることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるかかる変形および変更すべてを網羅することである。
【図面の簡単な説明】
【図１】 従来技術によるビデオ要約化方法のブロック図である。
【図２】 ＭＰＥＧテストビデオの動きアクティビティ対カラー変化を表すグラフである。
【図３】 ＭＰＥＧテストビデオの動きアクティビティ対カラー変化を表すグラフである。
【図４】 本発明によるビデオ要約化方法の流れ図である。
【図５】 本発明によるカラーベースの要約化プロセスの流れ図である。
【図６】 本発明による要約化方法を示すブロック図である。
【発明の属する技術分野】
本発明はビデオに関し、特に、圧縮ビデオの要約化に関する。
【０００２】
【従来の技術】
ビデオの要約を自動的に生成すること、特に圧縮デジタルビデオから要約を生成することが望ましい。
【０００３】
圧縮ビデオフォーマット
ビデオをデジタル信号として圧縮する基本的な方法が、ＭＰＥＧ（Motion Picture Expert Group）に採用されている。ＭＰＥＧ規格は、画像のフルフレームについての情報を時折作成することで、高いデータ圧縮率を達成する。フル画像フレーム、すなわちフレーム内符号化フレームは「Ｉフレーム」または「アンカーフレーム」と呼ばれることが多く、あらゆる他のフレームとは独立したフルフレーム情報を含む。画像差フレーム、すなわちフレーム間符号化フレームは、「Ｂフレーム」および「Ｐフレーム」、または「予測フレーム」と呼ばれることが多く、これは、Ｉフレーム間で符号化され、基準フレームからの画像差、すなわち残余のみを反映する。
【０００４】
通常、ビデオシーケンスの各フレームは、より小さな画素、すなわちピクセルのデータブロックに分割される。各ブロックは離散コサイン変換（ＤＣＴ）関数を施され、統計上依存した空間領域ピクセルを独立周波数領域ＤＣＴ係数に変換する。「マクロブロック」と呼ばれる、それぞれの８ラ８、または１６ラ１６ブロックのピクセルは、ＤＣＴ関数を施されて、符号化信号を提供する。
【０００５】
ＤＣＴ係数は通常エネルギー集中的であるため、１つのマクロブロックにおいて少数の係数のみが、ピクチャ情報の主要部分を含む。たとえば、マクロブロックがオブジェクトのエッジ境界を含む場合、変換後のそのブロックのエネルギー、すなわちＤＣＴ係数で表されるものは比較的大きなＤＣ係数を含み、係数のマトリクスにわたってＡＣ係数がランダムに分散される。
【０００６】
一方、非エッジマクロブロックは通常、同様の大きなＤＣ係数と、そのブロックに関連する他の係数よりも実質的に大きな隣接ＡＣ係数とを特徴とする。ＤＣＴ係数は通常、適応量子化を施されてから、送信媒体に関してランレングス符号化および可変長符号化される。このため、送信データのマクロブロックは通常、８ラ８のマトリクスに満たない符号語を含む。
【０００７】
フレーム内符号化データ、すなわち符号化ＰまたはＢフレームデータのマクロブロックは、予測ピクセルとマクロブロックにおける実際のピクセルの間の差分のみを表す。フレーム内符号化データおよびフレーム間符号化データのマクロブロックはまた、用いられた量子化のレベル、マクロブロックのアドレスインジケータまたはロケーションインジケータ、ならびにマクロブロックのタイプ等の情報も含む。後者の情報は、「ヘッダ」または「オーバーヘッド」情報と呼ばれる。
【０００８】
各Ｐフレームは、最後のＩフレームまたはＰフレームから予測される。各Ｂフレームは、これを挟むＩフレームまたはＰフレームから予測される。予測符号化プロセスは、Ｉフレームのどのマクロブロックの変位量が現在符号化されているＢフレームまたはＰフレームのマクロブロックと最も密接にマッチしているかを示す、「動きベクトル」としばしば呼ばれる変位ベクトルの生成を含む。Ｉフレームにおけるマッチするブロックのピクセルデータが、符号化されているＰフレームまたはＢフレームのブロックからピクセル毎に減じられ、残余が現れる。変換された残余およびベクトルは、ＰフレームまたはＢフレームの符号化データの一部を形成する。
【０００９】
ビデオ分析
ビデオ分析は、ビデオコンテンツの理解を意図してのビデオ処理として定義することができる。ビデオの理解は、「低レベル」の統辞語的理解から「高レベル」の意味論的理解までの範囲としうる。
【００１０】
低レベルの理解は、カラー、モーション、テクスチャ、形状等、低レベルの特徴を分析することでなされる。低レベルの特徴は、ビデオを「ショット」に区分化することのために用いることができる。本明細書において、ショットは、カメラへの電源投入時に始まり、カメラの電源オフまで続くフレームシーケンスとして定義される。通常、ショットにおけるフレームシーケンスは、単一の「シーン」を取り込む。低レベルの特徴を用いて、記述子を生成することが可能である。そして、記述子を用いて、たとえばビデオにおける各ショットおよびおそらくその長さの索引など、ビデオを索引付けることができる。
【００１１】
ビデオの意味論的理解は、コンテンツの部類に関係し、その統語論的な構造には関係ない。たとえば、高レベルの特徴は、ビデオがアクションビデオであるか、ミュージックビデオであるか、「トーキングヘッド（talking head：画面に話し手が登場するもの）」のビデオであるかなどを表す。
【００１２】
ビデオ要約化
ビデオ要約化とは、ビデオの意味論的本質を伝えるビデオのコンパクトな表現を作成することと定義することができる。コンパクトな表現には、「キー」フレームまたは「キー」セグメント、あるいはキーフレームとセグメントの組み合わせを含めることができる。一例として、テニスの試合のビデオ要約は、２つのフレーム、すなわち双方の選手を取り込んだ第１のフレームと、トロフィーを持った勝者を取り込んだ第２のフレームと、を含みうる。より詳細かつ長い要約には、マッチポイントを取り込んだすべてのフレームをさらに含めることができる。このような要約を手動で生成することは確かに可能であるが、これには時間と費用がかかる。したがって、自動要約化が望まれる。
【００１３】
自動ビデオ要約化方法は周知であり、S. Pfeifer他による「Abstracting Digital Movies Automatically」（J. Visual Comm. Image Representation, vol. 7, no. 4, pp. 345 − 353, １９９６年１２月）および「An Integrated Scheme for Automated Video Abstraction Based on Unsupervised Cluster − Validity Analysis」（IEEE Trans. On Circuits and Systems for Video Technology, Vol. 9, No. 8, １９９９年１２月）を参照されたい。
【００１４】
最も良く知られているビデオ要約化方法は、専らカラーベースの要約化に集中している。Pfeiffer他だけが、ビデオ要約の作成に、動きを他の特徴と組み合わせて用いている。しかし、Pfeiffer他による方法は単に、組み合わせた特徴間で考えられうる修正を見過ごした重み付き組み合わせを用いるだけにすぎない。要約化方法によっては、動き特徴を用いてキーフレームを抽出するものもある。
【００１５】
図１に示すように、従来技術によるビデオ要約化方法は殆ど、カラー特徴に基づくクラスタ化を強調している。これは、カラー特徴が抽出し易くかつノイズに耐性があるためである。典型的な方法は、ビデオＡ１０１を入力としてとり、カラーベースの要約化プロセス１００を適用してビデオ要約Ｓ（Ａ）１０２を作成する。ビデオ要約は、ビデオ全体の１つの要約、あるいは関心を引くフレームのセットのいずれかからなる。
【００１６】
方法１００は通常、以下のステップを含む。第１に、カラー特徴に従いビデオのフレームをクラスタ化する。第２に、クラスタをアクセスし易い階層データ構造にする。第３に、各クラスタからキーフレームまたはキーフレームシーケンスを抽出して、要約化する。
【００１７】
動きアクティビティ記述子
ビデオはまた、様々なレベルのアクティビティ、またはアクション強度を有するものとして直観的に理解することができる。比較的高レベルのアクティビティの例は、スポーツイベントビデオでの得点チャンスであり、一方ニュースビデオは比較的低レベルのアクティビティを有する。最近提案されたＭＰＥＧ−７映像規格は、ビデオでの動きアクティビティに関連する記述子を提供する。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、カラーおよびテクスチャの特徴等、他の低レベルの特徴と組み合わせて、動き特徴、特に動きアクティビティ特徴を用いて自動ビデオ要約化方法を提供することである。
【００１９】
【課題を解決するための手段】
本発明の背後にある主な洞察は、次の仮定を根拠としている。ビデオの動きアクティビティは、ビデオの要約化の相対的な困難さを示すのによい目安である。動きの量が多くなるほど、そのビデオの要約化は困難である。ビデオ要約は、包含するフレームの数、たとえばキーフレームの数、またはキーセグメントのフレームの数等により、量的に記述することができる。
【００２０】
ビデオの動きアクティビティの相対強度は、カラー特徴の変化と強く相関する。換言すれば、動きアクティビティの強度が高い場合、カラー特徴の変化も高い可能性が高い。カラー特徴の変化が高い場合、カラー特徴をベースとする要約には比較的多数のフレームが含まれることになり、カラー特徴の変化が低い場合には、要約にはより少数のフレームが含まれることになる。
【００２１】
たとえば、「トーキングヘッド」ビデオでは、動きアクティビティのレベルが低く、また同様にカラー変化もごくわずかである。要約化がキーフレームをベースとする場合、ビデオの要約化には１つのキーフレームで十分である。キーセグメントを用いる場合、視覚的なビデオの要約化には、１秒のフレームシーケンスで十分である。一方、スポーツイベントでの得点チャンスでは動きアクティビティ強度およびカラー変化が非常に高く、したがって要約化には数個のキーフレームまたは数秒が必要である。
【００２２】
より具体的に、本発明は、まずビデオから動きアクティビティの強度を抽出することで、ビデオの要約化をする方法を提供する。次に、該動きアクティビティの強度を用いて、ビデオを要約化の容易なセグメントと困難なセグメントとに区分する。
【００２３】
要約化が容易なセグメントは、単一フレーム、またはセグメントのどこかから選択されたフレームで表される。要約化が容易なセグメントではフレーム間の差がごくわずかであるため、このフレームはいずれのフレームでもよい。困難なセグメントの要約化には、カラーベースの要約化プロセスを用いる。このプロセスは、要約化の困難な各セグメントからフレームシーケンスを抽出する。単一フレームおよび抽出したフレームシーケンスを組み合わせて、ビデオの要約を形成する。
【００２４】
組み合わせには、時間的、空間的、または意味論的な順序付けを用いることができる。時間的配置の場合、たとえば最初から最後に、または最後から最初になどある時間順序で、フレームを繋ぎ合わせる。空間的配置の場合、フレームの縮小版を組み合わせてモザイクやある配列、たとえば長方形にし、１つのフレームで選択された要約フレームのいくつかの縮小版を見せる。意味論的順序の要約は、興奮度の高いものから低いものに移行する。
【００２５】
【発明の実施の形態】
本発明は、カラー特徴および動き特徴を用いて、圧縮ビデオを要約化する。したがって、本発明の要約化方法は最初に、圧縮ビデオから特徴を抽出する。
【００２６】
特徴抽出
カラー特徴
既知の技術を用いて、ＩフレームのＤＣ係数を正確かつ容易に抽出することができる。ＰおよびＢのフレームの場合、ＤＣ係数は、完全に圧縮解除することなく動きベクトルを用いて近似することができる。たとえば、Ｙｅｏ他著「On the Extraction of DC Sequence from MPEG video」（IEEE ICIP Vol. 2, １９９５年）を参照されたい。ＤＣ画像のＹＵＶ値は、カラー特徴を抽出するために、別の色空間に変形することができる。
【００２７】
最も一般に使用される技術は、カラーヒストグラムを用いる。カラーヒストグラムは、画像および映像の索引付けおよび検索に広く用いられてきている。Smith他による「Automated Image Retrieval Using Color and Texture」（IEEE Transaction on Pattern Analysis and Machine Intelligence, １９９６年１１月）を参照されたい。通常、３チャネルＲＧＢ色空間では、各チャネルに４つのビンがあり、カラーヒストグラムには総計６４（４×４×４）個のビンが必要である。
【００２８】
動き特徴
動き情報は、大抵動きベクトルに埋め込まれる。動きベクトルは、ＰフレームおよびＢフレームから抽出することができる。動きベクトルは通常、実際の光の流れに対する荒く、散在した近似であるため、ここでは動きベクトルを質的にのみ用いる。動きベクトルを用いる多くの異なる方法が知られている。Tan他による「A new method for camera motion parameter estimation」（Proc. IEEE International Conference on Image Processing, Vol. 2, pp. 722 − 726, １９９５年）、IEEE Trans. on Circuits and Systems for Video Technology １９９９年に見られるTan他による「Rapid estimation of camera motion from compressed video with application to video annotation」、Kobla他による「Detection of slow-motion replay sequences for identifying sports videos」（Proc. IEEE Workshop on Multimedia Signal Processing, １９９９年）、Kobla他による「Special effect edit detection using VideoTrails: a comparison with existing techniques」（Proc. SPIE Conference on Storage and Retrieval for Image and Video Databases VII, １９９９年）、Kobla他による「Compressed domain video indexing techniques using DCT and motion vector information in MPEG video」（Proc. SPIE Conference on Storage and Retrieval for Image and Video Databases V, SPIE Vol. 3022, pp. 200 − 211, １９９７年）、およびMeng他による「CVEPS − a compressed video editing and parsing system」（Proc. ACM Multimedia 96, １９９６年）を参照されたい。
【００２９】
上述したように、殆どの従来技術による要約化方法は、カラー特徴のクラスタ化をベースとして、カラー記述子を得る。カラー記述子は、定義上比較的ノイズに耐性があるが、ビデオの動き特徴を含まない。しかし、動き記述子はノイズに対する耐性がより低い傾向があるため、ビデオの要約化に広くは用いられていない。
【００３０】
Divakaran他出願の米国特許出願第０９／４０６，４４４号「Activity Descriptor for Video Sequences」は、圧縮画像における動きベクトルから導出した動き特徴を用いて、ビデオにおける動きアクティビティおよびビデオにおける動きアクティビティの空間分布を決定する方法を記載している。このような記述子は、ビデオ閲覧への適用に関してはうまくいく。本明細書では、このような動き記述子をビデオ要約化に適用する。
【００３１】
本明細書では、ビデオにおけるアクティビティの相対レベルを用いて、ビデオの「要約化難易度」を測定できるものと仮定する。不都合なことに、この仮定をテストする単純で客観的な尺度はない。しかし、動きの変化はカラー特徴の変化によってなされることが多いため、動きアクティビティの相対強度とビデオのカラー特徴変化の間の関係を調べる。
【００３２】
動きおよび色の変化
ＭＰＥＧ−７「テストセット」から、ビデオのカラー特徴および動き特徴を抽出することで、これを行う。動きベクトルの大きさの平均を計算することですべてのＰフレームから動きアクティビティ特徴を抽出するとともに、すべてのＩフレームから６４ビンＲＧＢヒストグラムを抽出する。次に、ＩフレームからＩフレームへのヒストグラムにおける変化を計算する。メジアンフィルタをフレーム毎のカラーヒストグラム変化のベクトルに適用し、セグメントカット（segment cut）または他のセグメント遷移に対応する変化をなくす。図２および図３に示すように、フレーム毎に動きアクティビティ強度対メジアンフィルタ済カラー変化をグラフ化する。
【００３３】
図２および図３はそれぞれ、「jornaldanoite1」および「news1」テストセットについての動きアクティビティ強度とカラー相違の間の関係を示す。動きアクティビティ強度とカラー変化の間には明確な相関がある。アクティビティが低い場合、カラー変化も低いことは非常にはっきりとしている。アクティビティレベルが高いほど、高アクティビティの予想されるソースが多くなり、カラーコンテンツ変化が原因ではないものもありうるため、相関は明確ではなくなる。しかし、アクティビティが非常に低い場合、コンテンツがフレーム毎に変化しない可能性が高い。本発明では、この情報を用いてビデオを予めフィルタリングし、殆ど静的なセグメントを検出し、したがって静的セグメントを単一のキーフレームで要約化する。これらの結果に基づき、以下の要約化方法を提供する。
【００３４】
要約化方法
図４は、入力圧縮ビデオＡ４０１を要約化して要約Ｓ（Ａ）４０２を作成するための方法４００を示す。
【００３５】
入力圧縮ビデオ４０１は、当分野で周知であり、かつ上述した標準的な技術を用いて「ショット」に区分化される。最初にビデオをショットに区分化することで、各ショットが同質であり、シーン変更を含まないよう確実にする。よって、たとえば、意味論的レベルでは同一に見える連続した異なる１０の「トーキングヘッド」ショットのビデオを適宜要約化する。この点から、ビデオはショット毎に処理される。
【００３６】
ステップ４１０は、各ショットの各フレームについての動きアクティビティの相対強度を決定する。各フレームは、第１あるいは第２のクラスのいずれかに分類される。第１のクラスは、要約化が比較的容易なフレームを包含し、第２のクラス４１２は要約化が比較的困難なフレームを包含する。換言すれば、この分類は動きをベースとするものである。
【００３７】
分類が同じである各ショットの連続フレームは、要約化が「容易」なセグメント４１１あるいは要約化が「困難」なセグメント４１２のいずれかにグループ化される。
【００３８】
各ショットの容易なセグメント４１１では、セグメントからキーフレームまたはキーフレームシーケンスを選択する（４２１）ことで、セグメントの単純な要約化４２０を行う。容易なセグメント中のフレームはすべて意味論的に同様であるものとみなされるため、選択されるキーフレーム４２１は、セグメント中の任意のフレームであることができる。
【００３９】
各ショットの困難なセグメント４１２については、カラーベースの要約化プロセス５００を適用して、セグメントをキーフレームシーケンス４３１として要約化する。
【００４０】
各ショットのキーフレーム４２１および４３１を組み合わせて各ショットの要約を形成し、ショットの要約を組み合わせてビデオの最終的な要約Ｓ（Ａ）４０２を形成することができる。
【００４１】
フレームの組み合わせには、時間的、空間的、または意味論的な順序付けを用いることができる。時間的配置の場合、たとえば最初から最後に、または最後から最初になどある時間順序で、フレームを繋ぎ合わせる。空間的配置の場合、フレームの縮小版を組み合わせてモザイクやある配列、たとえば長方形にし、１つのフレームで選択された要約フレームのいくつかの縮小版を見せる。意味論的順序では、興奮度の高いものから低いもの、または音の静かなものから大きなものであることができる。
【００４２】
図５は、好ましいカラーベースの要約化プロセス５００のステップを示す。ステップ５１０は、困難なセグメント４１２それぞれのフレームをカラー特徴に従ってクラスタにクラスタ化する。ステップ５２０は、該クラスタを階層データ構造５２１としてアレンジする。ステップ５３０は、クラスタからフレームシーケンスを抽出してクラスタの要約５３１を作成することで、困難なセグメント４１２の各クラスタ５１１を要約化する。ステップ４４０は、クラスタの要約を組み合わせて、困難なセグメント４１２を要約するキーフレームシーケンス４３１を形成する。
【００４３】
ビデオのコンテンツは主に、キーフレームで要約化可能な、「トーキングヘッド」の低アクションフレームを含むため、この方法は、ニュースビデオタイプのシーケンスに最も有効である。カラーベースのクラスタ化プロセス５００は、より高いレベルのアクションを有するフレームシーケンスにのみ実行する必要があり、このため全体的な計算負荷が低減する。
【００４４】
図６は、要約化方法４００を図で示す。入力ビデオ６０１をショット６０３に区分化する（６０２）。動きアクティビティ分析６０４をショットのフレームに適用し、容易なセグメントおよび困難なセグメント６０５を決定する。容易なセグメントから抽出した（６０７）キーフレーム、セグメント、またはショット６０６を、クラスト化カラー分析（６０９）から導出されたカラーベースの要約６０８と組み合わせ、最終的な要約６１０を形成する。
【００４５】
１つの適用において、要約は圧縮ビデオから動的に作成されるため、閲覧者は、ビデオ全体の要約をビデオ「再生」開始してから数分以内に見ることができる。したがって、閲覧者は動的に作成される要約を用いて、ビデオを「拾い読み」することができる。
【００４６】
さらに、動的に作成される要約に基づき、ユーザは、特定の部分を進行中に再要約化するよう要求することができる。換言すれば、ビデオが再生されるにつれ、ユーザが、選択プロセスには要約自体を用いて、おそらく異なる部分については異なる要約化技術を用いて、ビデオの選択部分を様々な詳細レベルで要約化する。したがって、本発明は、今までの従来技術による静的要約化技術では不可能であった高度に対話的な閲覧様式を提供する。
【００４７】
好ましい実施形態の例を通して本発明を説明したが、本発明の精神および範囲内で、他の様々な適合および変更を行いうることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるかかる変形および変更すべてを網羅することである。
【図面の簡単な説明】
【図１】 従来技術によるビデオ要約化方法のブロック図である。
【図２】 ＭＰＥＧテストビデオの動きアクティビティ対カラー変化を表すグラフである。
【図３】 ＭＰＥＧテストビデオの動きアクティビティ対カラー変化を表すグラフである。
【図４】 本発明によるビデオ要約化方法の流れ図である。
【図５】 本発明によるカラーベースの要約化プロセスの流れ図である。
【図６】 本発明による要約化方法を示すブロック図である。
Claims (5)
- 動き特徴およびカラー特徴を含む圧縮ビデオを要約化する方法であって、
前記圧縮ビデオを複数のショットに区分化するステップと、
各ショットの各フレームを前記動き特徴に従って、比較的低い動きアクティビティを有する第１のクラスのフレームと、比較的高い動きアクティビティを有する第２のクラスのフレームとに分類するステップと、
前記同じ分類を有する連続フレームをセグメントにグループ化するステップと、
前記第１のクラスの各セグメントから任意の１つまたは複数のフレームを選択するステップと、
前記カラー特徴を用いて、前記第２のクラスの各セグメントからフレームのシーケンスを生成するステップと、
各ショットの各セグメントの前記選択されたフレームおよび前記生成されたフレームのシーケンスを、時間的順序、空間的順序、または、映像の意味的な情報に基づく順序で組み合わせて、前記圧縮ビデオの要約を形成するステップと、
を含む、方法。 - 前記選択されたフレームおよび前記生成されたフレームのサイズを縮小して縮小フレームを形成するステップをさらに含む、請求項１記載の方法。
- 前記第２のクラスの各セグメントのフレームを、前記カラー特徴に従ってクラスタにグループ化するステップと、
各クラスタにクラスタの要約を生成するステップと、
前記クラスタの要約を組み合わせて、前記生成されたフレームのシーケンスを形成するステップと、
をさらに含む、請求項１記載の方法。 - 前記要約は、前記ビデオの再生中に作成される、請求項１記載の方法。
- 前記要約は、前記ビデオの再要約化に使用される、請求項１記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/634364 | 2000-08-09 | ||
| US09/634,364 US6697523B1 (en) | 2000-08-09 | 2000-08-09 | Method for summarizing a video using motion and color descriptors |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002135804A JP2002135804A (ja) | 2002-05-10 |
| JP4942883B2 true JP4942883B2 (ja) | 2012-05-30 |
Family
ID=24543473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001229656A Expired - Fee Related JP4942883B2 (ja) | 2000-08-09 | 2001-07-30 | 動き記述子およびカラー記述子を用いてビデオを要約化する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6697523B1 (ja) |
| EP (1) | EP1182582A3 (ja) |
| JP (1) | JP4942883B2 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6236395B1 (en) * | 1999-02-01 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US7194687B2 (en) * | 1999-09-16 | 2007-03-20 | Sharp Laboratories Of America, Inc. | Audiovisual information management system with user identification |
| WO2001045391A1 (en) | 1999-12-16 | 2001-06-21 | Kent Ridge Digital Labs | System and method for video production |
| JP3810268B2 (ja) * | 2000-04-07 | 2006-08-16 | シャープ株式会社 | オーディオビジュアルシステム |
| US8028314B1 (en) | 2000-05-26 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US20020051077A1 (en) * | 2000-07-19 | 2002-05-02 | Shih-Ping Liou | Videoabstracts: a system for generating video summaries |
| US8020183B2 (en) * | 2000-09-14 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Audiovisual management system |
| EP1354318A1 (en) * | 2000-12-22 | 2003-10-22 | Muvee Technologies Pte Ltd | System and method for media production |
| JP3774662B2 (ja) * | 2000-12-27 | 2006-05-17 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 |
| US20030061610A1 (en) * | 2001-03-27 | 2003-03-27 | Errico James H. | Audiovisual management system |
| US7904814B2 (en) * | 2001-04-19 | 2011-03-08 | Sharp Laboratories Of America, Inc. | System for presenting audio-video content |
| JP2002359842A (ja) * | 2001-05-31 | 2002-12-13 | Monolith Co Ltd | 画像符号化方法と装置および画像復号方法と装置 |
| US20030121040A1 (en) * | 2001-07-02 | 2003-06-26 | Ferman A. Mufit | Audiovisual management system |
| US20030206710A1 (en) * | 2001-09-14 | 2003-11-06 | Ferman Ahmet Mufit | Audiovisual management system |
| US6965645B2 (en) * | 2001-09-25 | 2005-11-15 | Microsoft Corporation | Content-based characterization of video frame sequences |
| US7474698B2 (en) * | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
| US6990146B2 (en) * | 2001-11-16 | 2006-01-24 | Koninklijke Philips Electronics N.V. | Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video |
| US8214741B2 (en) * | 2002-03-19 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Synchronization of video and data |
| KR100510098B1 (ko) * | 2002-05-08 | 2005-08-23 | 한국전자통신연구원 | 골프 비디오 이벤트 자동 검출 장치 및 그 방법 |
| JP2003333505A (ja) * | 2002-05-14 | 2003-11-21 | Pioneer Electronic Corp | 記録媒体、映像記録装置、映像再生装置及び映像記録再生装置 |
| US7590286B2 (en) | 2002-07-26 | 2009-09-15 | National Institute Of Information And Communications Technology Incorporated Administrative Agency | Image recognition apparatus and program for recognizing the substance of an image, particularly in a motion picture environment |
| US7657907B2 (en) * | 2002-09-30 | 2010-02-02 | Sharp Laboratories Of America, Inc. | Automatic user profiling |
| US7143352B2 (en) * | 2002-11-01 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc | Blind summarization of video content |
| US6963378B2 (en) * | 2002-11-01 | 2005-11-08 | Motorola, Inc. | Method and apparatus for reduction of visual content |
| US20040098744A1 (en) * | 2002-11-18 | 2004-05-20 | Koninklijke Philips Electronics N.V. | Creation of a stereotypical profile via image based clustering |
| US20060174262A1 (en) * | 2003-03-19 | 2006-08-03 | Koninklijke Philips Electronics N. V. | Method for transmitting a user-specific program |
| US20040197088A1 (en) * | 2003-03-31 | 2004-10-07 | Ferman Ahmet Mufit | System for presenting audio-video content |
| US8356317B2 (en) | 2004-03-04 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Presence based technology |
| US8949899B2 (en) * | 2005-03-04 | 2015-02-03 | Sharp Laboratories Of America, Inc. | Collaborative recommendation system |
| US7594245B2 (en) * | 2004-03-04 | 2009-09-22 | Sharp Laboratories Of America, Inc. | Networked video devices |
| US20050228849A1 (en) * | 2004-03-24 | 2005-10-13 | Tong Zhang | Intelligent key-frame extraction from a video |
| US7697785B2 (en) * | 2004-03-31 | 2010-04-13 | Fuji Xerox Co., Ltd. | Generating a highly condensed visual summary |
| US7639839B2 (en) * | 2004-03-31 | 2009-12-29 | Fuji Xerox Co., Ltd. | Extracting video regions of interest |
| US8411902B2 (en) * | 2004-04-07 | 2013-04-02 | Hewlett-Packard Development Company, L.P. | Providing a visual indication of the content of a video by analyzing a likely user intent |
| US7409407B2 (en) * | 2004-05-07 | 2008-08-05 | Mitsubishi Electric Research Laboratories, Inc. | Multimedia event detection and summarization |
| US7302451B2 (en) * | 2004-05-07 | 2007-11-27 | Mitsubishi Electric Research Laboratories, Inc. | Feature identification of events in multimedia |
| US20060059120A1 (en) * | 2004-08-27 | 2006-03-16 | Ziyou Xiong | Identifying video highlights using audio-visual objects |
| US20060239591A1 (en) * | 2005-04-18 | 2006-10-26 | Samsung Electronics Co., Ltd. | Method and system for albuming multimedia using albuming hints |
| KR20060116335A (ko) * | 2005-05-09 | 2006-11-15 | 삼성전자주식회사 | 이벤트를 이용한 동영상 요약 장치 및 방법과 그 장치를제어하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수있는 기록 매체 |
| US7760956B2 (en) | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
| AU2006314066B2 (en) | 2005-11-15 | 2012-11-08 | Briefcam, Ltd. | Method and system for producing a video synopsis |
| US8949235B2 (en) * | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
| WO2007073347A1 (en) * | 2005-12-19 | 2007-06-28 | Agency For Science, Technology And Research | Annotation of video footage and personalised video generation |
| JP5212610B2 (ja) * | 2006-02-08 | 2013-06-19 | 日本電気株式会社 | 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム |
| US20070226624A1 (en) * | 2006-02-23 | 2007-09-27 | Peker Kadir A | Content-based video summarization using spectral clustering |
| US8689253B2 (en) * | 2006-03-03 | 2014-04-01 | Sharp Laboratories Of America, Inc. | Method and system for configuring media-playing sets |
| KR101225062B1 (ko) * | 2006-03-10 | 2013-01-23 | 삼성전자주식회사 | 이미지 프레임의 선택적 출력 장치 및 방법 |
| US7431797B2 (en) * | 2006-05-03 | 2008-10-07 | Applied Materials, Inc. | Plasma reactor with a dynamically adjustable plasma source power applicator |
| KR100850791B1 (ko) * | 2006-09-20 | 2008-08-06 | 삼성전자주식회사 | 방송 프로그램 요약 생성 시스템 및 그 방법 |
| US8000533B2 (en) * | 2006-11-14 | 2011-08-16 | Microsoft Corporation | Space-time video montage |
| AU2007345938B2 (en) | 2007-02-01 | 2011-11-10 | Briefcam, Ltd. | Method and system for video indexing and video synopsis |
| US8200063B2 (en) * | 2007-09-24 | 2012-06-12 | Fuji Xerox Co., Ltd. | System and method for video summarization |
| CN100594713C (zh) * | 2008-04-21 | 2010-03-17 | 中国科学院计算技术研究所 | 一种产生视频大纲的方法和系统 |
| KR101027159B1 (ko) * | 2008-07-28 | 2011-04-05 | 뮤추얼아이피서비스(주) | 타겟 영상 검출 장치 및 그 방법 |
| EP2419861A1 (en) * | 2009-04-14 | 2012-02-22 | Koninklijke Philips Electronics N.V. | Key frames extraction for video content analysis |
| US9171578B2 (en) | 2010-08-06 | 2015-10-27 | Futurewei Technologies, Inc. | Video skimming methods and systems |
| EP2823754A4 (en) | 2012-03-07 | 2015-12-30 | Olympus Corp | Image processing device, program and image processing method |
| CN104203065B (zh) | 2012-03-08 | 2017-04-12 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
| EP2839770A4 (en) | 2012-04-18 | 2015-12-30 | Olympus Corp | Image processing device, program and image processing method |
| US10373470B2 (en) | 2013-04-29 | 2019-08-06 | Intelliview Technologies, Inc. | Object detection |
| CA2847707C (en) | 2014-03-28 | 2021-03-30 | Intelliview Technologies Inc. | Leak detection |
| US10943357B2 (en) | 2014-08-19 | 2021-03-09 | Intelliview Technologies Inc. | Video based indoor leak detection |
| WO2016038522A1 (en) * | 2014-09-08 | 2016-03-17 | Google Inc. | Selecting and presenting representative frames for video previews |
| KR101650153B1 (ko) * | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
| AU2016231661A1 (en) | 2016-09-27 | 2018-04-12 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting a video frame |
| CN110868630A (zh) * | 2018-08-27 | 2020-03-06 | 北京优酷科技有限公司 | 预告片的生成方法及装置 |
| CN113225586B (zh) * | 2020-02-05 | 2023-03-10 | 字节跳动有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5835163A (en) * | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| JP3341574B2 (ja) * | 1996-03-11 | 2002-11-05 | ソニー株式会社 | 映像信号記録／再生装置 |
| JP3250467B2 (ja) * | 1996-10-04 | 2002-01-28 | 松下電器産業株式会社 | 映像要約方法および映像表示方法 |
| US5963203A (en) * | 1997-07-03 | 1999-10-05 | Obvious Technology, Inc. | Interactive video icon with designated viewing position |
| JP2000175149A (ja) * | 1998-12-09 | 2000-06-23 | Matsushita Electric Ind Co Ltd | 映像検出装置、及び要約映像生成装置 |
| US6236395B1 (en) * | 1999-02-01 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US6404925B1 (en) * | 1999-03-11 | 2002-06-11 | Fuji Xerox Co., Ltd. | Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition |
| US6535639B1 (en) * | 1999-03-12 | 2003-03-18 | Fuji Xerox Co., Ltd. | Automatic video summarization using a measure of shot importance and a frame-packing method |
| KR20010009273A (ko) * | 1999-07-08 | 2001-02-05 | 김영환 | 움직임 정도 기술방법을 이용한 동영상 색인 및 검색방법 |
| US7003038B2 (en) * | 1999-09-27 | 2006-02-21 | Mitsubishi Electric Research Labs., Inc. | Activity descriptor for video sequences |
| US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
| US6490320B1 (en) * | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
| US6813313B2 (en) * | 2000-07-06 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for high-level structure analysis and event detection in domain specific videos |
-
2000
- 2000-08-09 US US09/634,364 patent/US6697523B1/en not_active Expired - Fee Related
-
2001
- 2001-07-23 EP EP01117828A patent/EP1182582A3/en not_active Withdrawn
- 2001-07-30 JP JP2001229656A patent/JP4942883B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002135804A (ja) | 2002-05-10 |
| EP1182582A3 (en) | 2005-06-29 |
| US6697523B1 (en) | 2004-02-24 |
| EP1182582A2 (en) | 2002-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4942883B2 (ja) | 動き記述子およびカラー記述子を用いてビデオを要約化する方法 | |
| JP4267327B2 (ja) | 動き記述子を用いてビデオを要約化する方法 | |
| JP4256940B2 (ja) | 可視索引付けシステムのための重要情景検出及びフレームフィルタリング | |
| JP3719933B2 (ja) | 階層的ディジタル動画要約及び閲覧方法、並びにその装置 | |
| Gargi et al. | Performance characterization of video-shot-change detection methods | |
| US6125229A (en) | Visual indexing system | |
| US6496228B1 (en) | Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds | |
| US7003038B2 (en) | Activity descriptor for video sequences | |
| JP4667697B2 (ja) | 速い動きのシーンを検出する方法及び装置 | |
| JP2009135957A (ja) | データ圧縮パラメータを利用したビデオコンテンツ分析方法およびシステム | |
| Faernando et al. | Scene change detection algorithms for content-based video indexing and retrieval | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| Ratakonda et al. | Hierarchical video summarization | |
| KR20050033075A (ko) | 비디오 이미지들의 시퀀스에서 콘텐트 속성을 검출하는 유닛 및 방법 | |
| Lie et al. | News video summarization based on spatial and motion feature analysis | |
| JP2003519971A (ja) | カット検出におけるフォールスポジティブを低減するための方法及び装置 | |
| Boccignone et al. | Automated threshold selection for the detection of dissolves in MPEG video | |
| Fernando | Sudden scene change detection in compressed video using interpolated macroblocks in B-frames | |
| He et al. | Approach of sports programs classification with motion information in MPEG domain | |
| O'Toole | Analysis of shot boundary detection techniques on a large video test suite | |
| Nakajima et al. | Automatic anchorperson detection from an MPEG coded TV program | |
| Tekalp | Semantic multimedia analysis for content-adaptive video streaming | |
| Chakraborty | Video structuring for multimedia applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120228 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |