JP4733328B2 - 効率的な概観及びブラウジングのためのビデオ要約記述構造と、ビデオ要約記述データ生成の方法及びシステム - Google Patents
効率的な概観及びブラウジングのためのビデオ要約記述構造と、ビデオ要約記述データ生成の方法及びシステム Download PDFInfo
- Publication number
- JP4733328B2 JP4733328B2 JP2001530817A JP2001530817A JP4733328B2 JP 4733328 B2 JP4733328 B2 JP 4733328B2 JP 2001530817 A JP2001530817 A JP 2001530817A JP 2001530817 A JP2001530817 A JP 2001530817A JP 4733328 B2 JP4733328 B2 JP 4733328B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- description
- browsing
- representative
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
（技術分野）
本発明は効率的なビデオ概観（overview）及びブラウジングのためのビデオ要約記述構造に関する。また、ビデオ要約記述構造によってビデオ要約を記述するためのビデオ要約記述生成の方法及びシステムに関する。本発明の属する技術分野は、内容を基にしたビデオ索引（ｉｎｄｅｘｉｎｇ）及びブラウジング／検索の分野で、ビデオを内容に基づいて要約し、これを記述する分野である。
【０００２】
（発明の背景）
ビデオ要約形態は大きく分けて、動的要約と静的要約になる。本発明によるビデオ記述構造は動的要約と静的要約とを統一的記述構造で効率的に記述するためのものである。
【０００３】
一般に、既存のビデオ要約及び記述構造はビデオ要約に含まれたビデオ区間に関する情報を提供するだけなので、現状のビデオ要約と記述構造は要約ビデオの再現を通じて全体ビデオの内容を伝達するのに限定される。しかし、多くの場合、要約ビデオを通じて全体内容を概観するだけよりは、全体内容の概観を通じて関心のある部分を識別し再び呼び出すためのブラウジングが必要である。
【０００４】
また、既存のビデオ要約はビデオ要約提供者が定めた基準によって重要であると判断されるビデオ区間だけを使用者に提供する。したがって、使用者とビデオ提供者の基準が異なる場合、あるいは使用者が特別な基準を持つ場合、使用者は所望のビデオ要約を得ることができない。つまり、既存の要約ビデオは、いくつかのレベルの要約ビデオを提供して使用者が所望のレベルの要約ビデオを選択できるが、要約ビデオの内容による選択ができないので使用者の選択範囲が制限的である。
【０００５】
発明の名称が“ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｖｉｄｅｏ ｂｒｏｗｓｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｎｔｅｎｔ ａｎｄ ｓｔｒｕｃｔｕｒｅ”で、登録番号がＵＳ５８２１９４５である特許では、ビデオを集約的に再現し、その再現を通じて所望の内容のビデオに接近する（access）ブラウジング機能を提供する。しかし、この特許では、代表フレームに基づいた静的な要約であって、既存の静的要約はビデオショットの代表フレームを利用して要約するが、この特許の代表フレームは単にそのショットを代表する映像情報だけを提供するため、要約を利用した情報伝達に限界がある。この特許に比べて、前記ビデオ記述構造とブラウジング方法はビデオセグメントに基づいた動的要約を利用する。
【０００６】
１９９９年７月にＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ−７ Ｏｕｔｐｕｔ Ｄｏｃｕｍｅｎｔ Ｎｏ．Ｎ２８４４として発表された“ＭＰＥＧ−７ Ｄｅｓｃｒｉｐｔｉｏｎ Ｓｃｈｅｍｅ（Ｖ０．５）”で提案されたビデオ要約記述構造は、動的要約ビデオの各ビデオセグメントの区間情報だけを記述する。これは動的要約を記述する基本的な機能は提供するが、次の側面で問題点を持っている。まず、従来は要約ビデオを構成する要約セグメントから原ビデオへの接近（access）を提供できないという短所がある。つまり、使用者は要約ビデオを通じた概観と要約内容（summary contents）に基づいてより詳細な内容把握のために原ビデオへ接近しようとするが、従来はこれが提供できなかった。また、オーディオ要約記述機能が十分に提供できない。最後に事件基盤の要約（event-based summary）を表現しようとする時、重複記述と探索の複雑性が不回避となる短所を持っている。
【０００７】
（発明の概要）
したがって、本発明は上記の問題点を改善するために、要約ビデオと共に要約ビデオに含まれた各ビデオ区間ごとに代表フレーム情報、代表音響情報を含み、要約ビデオの内容に対する使用者の選択を提供する使用者注文形（user customized）の事件基盤要約（event based summary）と効果的なブラウジングを可能にする階層的ビデオ要約記述構造と、その記述構造を利用したビデオ要約記述データ生成方法及びシステムを提供するのにその目的がある。
【０００８】
このような目的を達成するための本発明の一つの実施例による階層的要約記述構造は、ハイライトレベルを記述している一つ以上のハイライトレベル記述構造を含み、前記ハイライトレベル記述構造は、そのハイライトレベルの要約ビデオを構成するハイライトセグメント情報を記述している最少限ハイライトセグメント記述構造を含むことを特徴とする。
【０００９】
好ましくは、前記ハイライトレベル記述構造は一つ以上の下位レベルのハイライトレベルＤＳ（ＤＳ＝記述構造）で構成されることを特徴とする。
【００１０】
更に好ましくは、前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの時間情報又はビデオ自身を記述しているビデオセグメント位置指定記述構造を含むことを特徴とする。
【００１１】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表フレームを記述している映像位置指定ＤＳを、更に含むことが望ましい。
【００１２】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表音響情報を記述している音響位置指定ＤＳを、更に含むことが一層望ましい。
【００１３】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表フレームを記述している映像位置指定ＤＳ及び前記該当ハイライトセグメントの代表音響情報を記述している音響位置指定ＤＳを、更に含むことが望ましい。
【００１４】
前記映像位置指定ＤＳが、前記該当ハイライトセグメントに対応するビデオ区間の代表フレームの時間情報又は映像データを、記述することが一層望ましい。
【００１５】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの音響要約を構成している音響セグメント情報を記述している音響セグメント位置指定ＤＳを、更に含むことが望ましい。
【００１６】
前記音響セグメント位置指定ＤＳが、前記該当ハイライトセグメントの音響区間の時間情報又は音響データを記述することが一層望ましい。
【００１７】
好ましくは、前記階層的要約記述構造は、前記階層的要約記述構造に含まれる全てのサマリーコンポーネントタイプを列挙し、記述しているサマリーコンポーネントリストを含むことを特徴とする。
【００１８】
好ましくは、前記階層的要約記述構造は、要約に含まれた事件または主題を列挙し、そのＩＤを記述している要約主題リスト記述構造（Summary Theme List DS）を含み、事件中心の要約を記述し、使用者が要約ビデオを前記要約主題リストに記述された主題または事件別にブラウジングできるようにすることを特徴とする。
【００１９】
前記要約主題リストＤＳが、要素としての要約主題を任意件数含み、前記要約主題が、該当する事件又は主題を表わすｉｄ（識別記号）の属性を含み、この要約主題が、上位レベルの事件又は主題のｉｄを記述する親ＩＤの属性を更に含むことが一層望ましい。
【００２０】
共通の事件又は主題の前記ｉｄ属性を記述している主題Ｉｄの属性を、前記ハイライトレベルＤＳが含むと好ましい場合は、該当ハイライトレベルを構成している全てのハイライトセグメント及びハイライトレベルが共通の事件と主題を有する場合である。
【００２１】
前記ハイライトセグメントＤＳが、前記ｉｄ属性を記述している主題Ｉｄの属性を含み、該当ハイライトセグメントの事件又は主題を記述することが望ましい。
【００２２】
また、本発明によると、階層的要約記述構造が保存されたコンピュータで読むことができる記録媒体が提供される。階層的要約記述構造が、ハイライトレベルを記述しているハイライトレベルＤＳを一つ以上含み、ハイライトレベルＤＳが、ハイライトレベルの要約ビデオを構成しているハイライトセグメント情報を記述しているハイライトセグメントＤＳを一つ以上含み、ハイライトセグメントＤＳが、前記該当ハイライトセグメントの時間情報又はビデオ自身を記述しているビデオセグメント位置指定ＤＳを含むことが望ましい。
【００２３】
また、本発明によると、原ビデオを入力してビデオ要約記述構造に従ってビデオ要約記述データを生成するビデオ要約記述データ生成方法が提供される。これは原ビデオを入力して分析し、ビデオ分析結果を出力するビデオ分析段階と；要約ビデオ区間を選択するための要約規則を定義する要約規則定義段階；前記原ビデオ分析結果と前記要約規則とを入力して原ビデオからビデオ内容を要約することができるビデオ区間を選択して、要約ビデオ区間情報を構成する要約ビデオ区間選択段階；及び前記要約ビデオ区間選択段階から出力された要約ビデオ区間情報の入力を受けて、階層的要約記述構造によってビデオ要約記述データを生成するビデオ要約記述段階を含んでなることを特徴とする。
【００２４】
また、本発明によると、原ビデオを入力してビデオ要約記述構造に従ってビデオ要約記述データを生成するビデオ要約記述データ生成システムが提供される。これは原ビデオを入力して分析し、ビデオ分析結果を出力するビデオ分析手段と；要約ビデオ区間を選択するための要約規則を定義する要約規則定義手段；前記原ビデオ分析結果と前記要約規則とを入力して原ビデオからビデオ内容を要約することができるビデオ区間を選択して、要約ビデオ区間情報を構成する要約ビデオ区間選択手段；及び前記要約ビデオ区間選択手段で定義された要約ビデオ区間情報の入力を受けて、階層的要約記述構造を有するビデオ要約記述データを生成するビデオ要約記述手段を含んでなることを特徴とする。
【００２５】
また、本発明によると、上述したようなビデオ要約記述データ生成方法でビデオを階層的要約するビデオ要約記述データ生成システムを機能させるためのプログラムを記録したコンピュータで読むことができる記録媒体が提供される。
【００２６】
また、本発明によるサーバー／クライアント環境でのビデオブラウジングシステムは、原ビデオの入力を受けて階層的要約記述構造に基づいてビデオ要約記述データを生成し、前記原ビデオとビデオ要約記述データとをリンクするビデオ要約記述データ生成システムを備えたサーバーと；
前記ビデオ要約記述データを利用して前記原ビデオを概観し、前記サーバーの原ビデオに接近してビデオをブラウジング及びナビゲーションするクライアントを備えることを特徴とする。
【００２７】
以下、添付した図面を参照して本発明の好ましい一実施例を詳細に説明する。図中、参照番号は同一部分または同様部分を識別するために用いる。
【００２８】
図１は本発明による記述構造（description scheme）によってビデオ要約記述データを生成するためのシステムを示したブロック図である。図１に示すように、本発明によるビデオ要約記述データ生成装置は特徴抽出部１０１、事件検出部１０２、エピソード検出部１０３、要約ビデオ区間選択部１０４、要約規則定義部１０５、代表フレーム抽出部１０６、代表音響抽出部１０７、及びビデオ要約記述部１０８で構成される。
【００２９】
特徴抽出部１０１は原ビデオを入力して要約ビデオを生成するために必要な特徴を抽出する。一般的な特徴としてはショット境界、カメラの動き、字幕領域、顔領域などがある。特徴抽出段階ではこれら特徴を抽出して特徴の種類とこれら特徴が検出されるビデオ時間区間を（特徴種類、特徴一連番号、時間区間）の形態で事件検出段階に出力する。例えば、カメラ動きの場合（カメラズーム、１、１００〜１５０）には第１カメラズームが１００〜１５０番目のフレームで検出されたという情報を表現する。
【００３０】
事件検出部１０２は原ビデオに含まれたキーになる事件を検出する。これら事件は原ビデオの内容を代表的によく表現しなければならず、要約ビデオを生成するのに基準となるものであるため、一般に原ビデオのジャンルに従って区別するように定義される。事件は上位の意味レベルを示すこともあり、上位の意味を直接類推することができるビジュアル特徴であることもある。例えば、サッカービデオの場合、ゴール、シュート、字幕、リプレー（ｒｅｐｌａｙ）などを事件として定義することができる。
【００３１】
事件検出部１０２は検出した事件の種類とその時間区間を（事件種類、事件番号、時間区間）形態で出力する。例えば、最初のゴールが２００〜３００フレームの間で発生したという事件情報は（ゴール、１、２００〜３００）の形態で出力する。
【００３２】
エピソード検出部１０３は検出された事件に基づいてビデオを話の筋に基づいた一つの事件よりさらに大きい単位のエピソードに分割する。キー事件を検出した後、そのキー事件を中心にその事件による付属事件を含んで一つのエピソードを検出する。一例として、サッカービデオの場合、ゴールとシュートはキー事件になり、その事件の付属事件としてゴールやシュートが発生した時のベンチ場面、観衆席場面、ゴールセレモニー場面、ゴール場面のリプレーなどがその事件の付属事件を構成する。つまり、ゴールとシュートとを中心にエピソードを検出する。
【００３３】
エピソード検出情報は（エピソード番号、時間区間、優先順位、特徴ショット、関連事件情報）の形態で出力する。ここでエピソード番号はエピソードの一連番号であり、時間区間はそのエピソードの時間区間をショット単位で示す。優先順位はそのエピソードの重要度を示す。特徴ショットはそのエピソードを構成するショットの中で最も重要な情報を含んだショット番号を示し、関連事件情報はそのエピソードと関係する事件の事件番号を示す。例えば、（エピソード１、４〜６、１、５、ゴール１、字幕３）のようなエピソード情報を表示する場合、その情報は、第１エピソードが４〜６番目ショットを含み、優先順位が最高（１）、特徴ショットが５番ショットであり、関連事件が１番ゴールと３番字幕であることを示す。
【００３４】
要約ビデオ区間選択部１０４は、検出されたエピソードに基づいて原ビデオ内容をよく要約することができるビデオ区間を選択する。この区間選択基準は予め決められた要約規則定義部１０５の要約規則によって行う。
【００３５】
要約規則定義部１０５は要約区間を選択するための規則を定義して要約区間を選択するための制御信号を出力する。また、要約規則定義部１０５は要約ビデオ区間選択の基盤となる要約事件種類をビデオ要約記述部１０８に出力する。
【００３６】
要約ビデオ区間選択部１０４は選択された要約ビデオの区間の時間情報をフレーム単位に出力し、ビデオ区間に対応する事件種類を出力する。つまり、（１００〜２００、ゴール）、（５００〜７００、シュート）等の形態は要約ビデオ区間として選択されたビデオセグメントが、１００〜２００フレーム、５００〜７００フレーム等であって、各セグメントの事件はゴールとシュートであることを示す。または、要約ビデオ区間だけで構成された追加的ビデオに接近できるようにファイル名などの情報を出力することも可能である。
【００３７】
要約ビデオ区間選択が完了すれば、その要約ビデオ区間情報を利用して、代表フレームと代表音響を代表フレーム抽出部１０６と代表音響抽出部１０７から各々抽出する。代表フレーム抽出部１０６はその要約ビデオ区間を代表する映像のフレーム番号またはその映像データを出力する。代表音響抽出部１０７はその要約ビデオ区間を代表する音響データまたは音響時間区間を出力する。
【００３８】
ビデオ要約記述部１０８は、図２に記述された本発明による階層的記述構造によって効果的な要約及びブラウジング機能を可能にする関連情報を記述する。階層的要約ＤＳの主要情報は、要約ビデオの要約事件種類、各要約ビデオ区間を記述する時間情報、代表フレーム、代表音響、及び各区間の事件種類を含む。
【００３９】
ビデオ要約記述部１０８は図２に示された記述構造によるビデオ要約記述データを出力する。
【００４０】
図２は、本発明によるビデオ要約記述データを記述する階層的要約記述構造（Hierarchical Summary DS）のデータ構造をＵＭＬ（Unified Modeling Language）で示した図面である。
【００４１】
ビデオ要約を記述する階層的要約記述構造２０１は一つ以上のハイライトレベル記述構造（Highlight Level DS）２０２と１個または０個の要約主題リスト記述構造（Summary Theme List DS）２０３を含んでいる。要約主題リストＤＳ（Summary Theme List DS）は要約を構成する主題または事件の情報を網羅的に記述することで、事件中心の要約及びブラウジングの機能を提供する。
【００４２】
ハイライトレベル記述構造（Highlight Level DS）２０２は、そのレベルの要約ビデオを構成するビデオ区間数だけの個数のハイライトセグメント記述構造（Highlight Segment DS）２０４と０個または数個のハイライトレベル記述構造（Highlight Level DS）で構成される。ハイライトセグメント記述構造は各要約ビデオ区間に対応する情報を記述する。ハイライトセグメント記述構造は一つのビデオセグメント位置指定記述構造（Video Segment Locator DS）２０５、０個または数個の映像位置指定記述構造（Image Locator DS）２０６、そして０個または数個の音響位置指定記述構造（Sound Locator DS）２０７及びオーディオセグメント位置指定記述構造（Audio Segment Locator DS）２０８を含んでいる。
【００４３】
以下、この階層的要約記述構造についてより詳細に説明する。
【００４４】
階層的要約記述構造（Hierarchical Summary DS）は階層的要約ＤＳにより包括される要約形態を明確に示すサマリーコンポーネントリスト（Summary Component List）という属性（attribute）を有する。サマリーコンポーネントリスト（Summary Component List）は要約タイプ（Summary Component Type）に基づいて派生し、サマリーコンポーネントタイプを含む全てのものを列挙して記述する。
【００４５】
サマリーコンポーネントリストにはキーフレーム、キービデオクリップ、キーオーディオクリップ、キーイベント及びアンコンストレイン（unconstrained）の５種類がある。キーフレームは代表フレームで構成されたキーフレーム要約を示す。キービデオクリップは主要ビデオ区間の集合で構成されたキービデオクリップ要約を示し、キーイベントは事件または主題に対応するビデオ区間で構成された要約を示し、キーオーディオクリップは代表オーディオ区間の集合で構成されたキーオーディオクリップ要約を示す。アンコンストレインは前記要約以外の、使用者が定義した要約形態を示す。
【００４６】
また、事件中心の要約を記述するために階層的要約記述構造は要約に含まれた事件（または主題）を列挙してそのＩＤを記述する要約主題リスト記述構造（Summary Theme List DS）を含むこともできる。
【００４７】
要約主題リストは任意の数の要約テーマを要素（element）として持つ。要約テーマはＩＤ形のｉｄという属性を有して親ＩＤという属性を選択的に持つ。
【００４８】
要約主題リスト記述構造は、要約主題リストに記述された各事件又はいくつかの主題の観点から、使用者が要約ビデオをブラウジングできるようにする。つまり、記述データを入力する応用ツールは、要約主題リスト記述構造を解析し、この情報を使用者に提示して、使用者が望む主題を選択させる。この時、このような主題を単純な形態に列挙する場合、主題の数が多ければ使用者が望む主題を探すのが容易でないことがある。
【００４９】
したがって、目次（ToC=Table of Content）と類似したツリー構造として主題を表現することによって、使用者は、所望の主題を発見した後、主題別ブラウジングが効率的にできる。このために本発明では、要約テーマに親ＩＤの属性を選択的に使用できるようにする。この親ＩＤとは、ツリー構造における上位の要素（上位の主題）を意味する。
【００５０】
本発明の階層的要約記述構造はハイライトレベル記述構造（Highlight Level DSs）を含み、各ハイライトレベル記述構造は、要約ビデオを構成するビデオセグメント（または区間）に対応する一つ以上のハイライトセグメント記述構造を含む。
【００５１】
ハイライトレベル記述構造はＩＤＲＥＦＳ形のテーマＩｄｓの属性を有する。このテーマＩｄｓは、該当ハイライトレベルに含まれた全てのハイライトセグメント記述構造または該当ハイライトレベル記述構造の子ハイライトレベル記述構造に共通した、主題及び事件ｉｄを記述するが、このｉｄは前記要約主題リスト記述構造に記述されている。テーマＩｄｓは数個の事件を意味することができ、事件中心の要約をする時、そのレベルを構成する全セグメント内で同一ｉｄが不必要に繰り返される問題点を解決するために、そのレベルを構成するハイライトセグメント内で共通した主題の形を示すテーマＩｄｓをおく。
【００５２】
ハイライトセグメント記述構造は一つのビデオセグメント位置指定記述構造（Video Segment Locator DS）と、一つ以上の映像位置指定記述構造（Image Locator DS）と、０個または１個の音響位置指定記述構造（Sound Locator DS）と、０個または１個のオーディオセグメント位置指定記述構造（Audio Segment Locator DS）を含む。
【００５３】
ここで、ビデオセグメント位置指定記述構造は、要約ビデオを構成するビデオセグメントのビデオ自身または時間情報を記述する。映像位置指定記述構造は、そのビデオセグメントの代表フレームの映像データ情報を記述する。音響位置指定記述構造は、該当ビデオセグメント区間を代表する音響情報を記述する。オーディオセグメント位置指定記述構造は、オーディオ要約を構成するオーディオセグメントの区間時間情報又はオーディオ情報自身を記述する。
【００５４】
ハイライトセグメント記述構造はテーマＩｄｓの属性を有する。このテーマＩｄｓは、該当ハイライトセグメントに関連する前記要約主題リスト記述構造内で記述された主題又は事件を、要約主題リスト記述構造内で定義されたｉｄを利用して、記述する。テーマＩｄｓは複数の事件を意味することができ、一つのハイライトセグメントに複数の主題を含ませることができるようにして、事件基盤の要約をするための既存の方法を使う時、事件（または主題）毎にビデオセグメントを記述することにより生ずる不可避な重複記述の問題点を解決するという、本発明の効率的な記述方法である。
【００５５】
要約ビデオを構成するハイライトセグメントを記述する時、単にそのハイライトビデオ区間の時間情報だけを記述した既存の階層的要約記述構造とは異なって、各ハイライトセグメントのビデオ区間情報、代表フレーム情報、代表音響情報を記述できるように、ビデオセグメント位置指定記述構造、映像セグメント位置指定記述構造、サウンド位置指定記述構造を設定して、本発明は、ハイライトセグメントビデオを通じた概観とそのセグメントの代表フレーム及び代表音響を活用したナビゲーション及びブラウジングを、要約ビデオを構成するハイライトセグメントを記述するためのハイライトセグメント記述構造を導入し、効率的に使えるようにする。
【００５６】
ビデオ区間に該当する代表音響を記述することができるサウンド位置指定記述構造を設定して、実際に、そのビデオ区間を代表できる特徴的な音響、例えば銃声、かん声、サッカーでアンカーのコメント（例、ゴール、シュート）、ドラマでの俳優の名前、特定単語などを通じて、そのビデオ区間を再生してみなくても短時間に、その区間が使用者が望む内容を含む重要な区間であるかどうか、どんな内容が含まれた区間であるかを大略的に把握することで効率的なブラウジングが可能である。
【００５７】
図３は、図２と同じ記述構造で記述されたビデオ要約記述データを入力する要約ビデオの再生及びブラウジングのためのツールの使用者インターフェースの構成図である。ビデオ再現部３０１は使用者の制御に従って原ビデオまたは要約ビデオを再生する。原ビデオ代表フレーム部３０５は原ビデオのショットの代表フレームを再現する。つまり、一連の縮小映像で構成される。原ビデオのショットの代表フレームは、本発明の階層的要約記述構造ではなく別途の記述構造で記述され、この記述データが本発明の階層的要約記述構造で記述された要約記述データと共に提供される時に、活用できる。使用者は、代表フレームをクリックすることにより代表フレームに対応する原ビデオのショットに、接近する。要約ビデオレベル０代表フレーム部及び代表音響部３０７と要約ビデオレベル１代表フレーム部及び代表音響部３０６は、要約ビデオレベル０と要約ビデオレベル１夫々の各ビデオ区間を代表するフレームと音響情報を与える。つまり、一連の縮小された映像及び音響を示すアイコン状映像で構成される。使用者が要約ビデオ代表フレーム部及び代表音響部の代表フレームをクリックすると、その代表フレームに対応する原ビデオ区間に接近する。この時、要約ビデオの代表フレームに対応する代表音響アイコンをクリックすると、そのビデオ区間の代表音響が再生される。
【００５８】
要約ビデオ制御部３０２は要約ビデオを再生するために使用者の選択のための制御を入力する。多階層の要約ビデオが提供される場合、使用者がレベル選択部３０３を通じて所望のレベルの要約を選択することにより、概観しブラウジングする。事件選択部３０４は要約主題リストによって提供される事件及び主題を列挙して、使用者は所望の事件を選択することにより概観し、ブラウジングする。結局、これが使用者注文形の要約を実現する。
【００５９】
図４は、本発明の要約ビデオを利用した階層的ブラウジングのためのデータ及び制御の流れに関する構成図である。ブラウジングは図３の使用者インターフェースを利用して図４の方法でブラウジングのためのデータに接近して行う。ブラウジングのためのデータは要約ビデオと要約ビデオの代表フレーム、原ビデオ４０６と原ビデオ代表フレーム４０５である。要約ビデオは二つのレベルを有するものとする。もちろん要約ビデオが二つ以上のレベルを有することもある。要約ビデオレベル０（記号４０１）は要約ビデオレベル１（記号４０３）より短く要約されたものである。つまり、要約ビデオレベル１が要約ビデオレベル０より多くの内容を含んでいる。要約ビデオレベル０代表フレーム４０２は要約ビデオレベル０の代表フレームであり、要約ビデオレベル１代表フレーム４０４は要約ビデオレベル１の代表フレームである。
【００６０】
要約ビデオと原ビデオは、図３のビデオ再現部３０１を通じて再現される。要約ビデオレベル０代表フレームは要約ビデオレベル０代表フレーム部及び代表音響部３０６で表示され、要約ビデオレベル１代表フレームは要約ビデオレベル１代表フレーム部及び代表音響部３０７で表示される。原ビデオ代表フレームは原ビデオ代表フレーム部３０５に表示される。
【００６１】
図４に示された階層的ブラウジング方法は、次の例のように多様な形態の階層的経路を有することができる。
場合１）（１）−（２）
場合２）（１）−（３）−（５）
場合３）（１）−（３）−（４）−（６）
場合４）（７）−（５）
場合５）（７）−（４）−（６）
【００６２】
全体的なブラウジング技法は次の通りである。まず、原ビデオの要約ビデオを見て原ビデオの全体内容を把握する。この時、要約ビデオは要約ビデオレベル０又は要約ビデオレベル１を再現できる。要約ビデオを見た後、要約ビデオでさらに詳細にブラウジングしようとする時、関心のあるビデオ区間を要約ビデオ代表フレームを通じて確認する。正確に探そうとする場面が要約ビデオ代表フレームで確認できると、その代表フレームを連結された原ビデオのビデオ区間に直ちに接近して再生する。より詳細な情報が必要な場合、次のレベルの代表フレームを把握したり、原ビデオの代表フレームの内容を階層的に把握して、所望の原ビデオに接近する。このような階層的ブラウジング技法は所望の内容に接近するために、原ビデオを再生しながらブラウジングすると多くの時間がかかるが、原ビデオの内容を階層化された代表フレームを通じて直接に接近するために、ブラウジング時間を相当減らすことができる。
【００６３】
既存の一般的なビデオ索引及びブラウジング技法は、原ビデオをショット単位に分割し、各ショットを代表する代表フレームを構成して代表フレームから所望のショットを認識してそのショットに接近する。この場合、原ビデオのショットの個数が非常に多いので多くの数の代表フレームから所望の内容をブラウジングするのに多くの時間と努力を要する。本発明では要約ビデオの代表フレームで階層的代表フレームを構成して速く所望のビデオに接近することができる。
【００６４】
場合１）は、要約ビデオレベル０を再現して要約ビデオレベル０代表フレームから直ちに原ビデオに接近する場合である。場合２）は、要約ビデオレベル０を再現して要約ビデオレベル０代表フレームから最も関心のある代表フレームを選択して原ビデオに接近する前にさらに詳細な情報を把握するために、その代表フレームの近くに該当する要約ビデオレベル１の代表フレーム内に所望の場面を確認して、原ビデオに接近する場合である。場合３）は、場合２）で要約ビデオレベル１代表フレームから直ちに原ビデオに接近するのが難しい場合、さらに詳細な情報を得るために最も関心のある代表フレームを選択し、その代表フレーム近くの原ビデオ代表フレームによって所望の場面を確認し、原ビデオの代表フレームを利用して原ビデオに接近する場合である。場合４）と場合５）とは、要約ビデオレベル１の再現で開始して経路は上述した場合と類似している。
【００６５】
このような本発明をサーバー／クライアント環境に適用すると、複数のクライアントが一つのサーバーに接近してビデオを概観及びブラウジングできるシステムを提供することができる。サーバーに原ビデオを受信して階層的要約記述構造に基づいてビデオ要約記述データを生成し、前記原ビデオとビデオ要約記述データをリンクするビデオ要約記述データ生成システムを設ける。クライアントは通信網を通じてサーバーに接近し、ビデオ要約記述データを利用してビデオを概観して原ビデオに接近してビデオをブラウジング及びナビゲーションする。
【００６６】
本発明の技術思想は前記の好ましい実施例によって具体的に記述されたが、前記実施例はその説明のためのものであり、その制限のためのものでないことを注意するべきである。また、本発明の技術分野の通常の専門家であれば本発明の技術思想の範囲内で様々な実施例が可能であるが理解できるであろう。
【００６７】
以上で説明したように本発明は、要約ビデオの生成と記述構造を通じてビデオ全体内容を速い時間に把握し、要約ビデオの各ビデオ区間の代表フレーム情報と代表音響情報を利用して効果的な階層的ブラウジングを可能にする。また、事件基盤の要約ビデオ記述を通じて事件及び主題による要約ビデオ及びブラウジング使用者に提供できる使用者注文形の機能も含む。
【図面の簡単な説明】
【図１】 本発明による記述構造（description scheme:DS）によってビデオ要約記述データを生成するためのシステムを示したブロック図である。
【図２】 本発明による要約ビデオを記述するための階層的記述構造の資料構造をＵＭＬ（Unified Modeling Language）で示した図面である。
【図３】 本発明による要約ビデオの再現及びブラウジングツールの使用者インターフェースの一実施例である。
【図４】 本発明によるビデオ要約記述データを利用した階層的ブラウジングのためのデータ及び制御流れに関する構成図である。
（技術分野）
本発明は効率的なビデオ概観（overview）及びブラウジングのためのビデオ要約記述構造に関する。また、ビデオ要約記述構造によってビデオ要約を記述するためのビデオ要約記述生成の方法及びシステムに関する。本発明の属する技術分野は、内容を基にしたビデオ索引（ｉｎｄｅｘｉｎｇ）及びブラウジング／検索の分野で、ビデオを内容に基づいて要約し、これを記述する分野である。
【０００２】
（発明の背景）
ビデオ要約形態は大きく分けて、動的要約と静的要約になる。本発明によるビデオ記述構造は動的要約と静的要約とを統一的記述構造で効率的に記述するためのものである。
【０００３】
一般に、既存のビデオ要約及び記述構造はビデオ要約に含まれたビデオ区間に関する情報を提供するだけなので、現状のビデオ要約と記述構造は要約ビデオの再現を通じて全体ビデオの内容を伝達するのに限定される。しかし、多くの場合、要約ビデオを通じて全体内容を概観するだけよりは、全体内容の概観を通じて関心のある部分を識別し再び呼び出すためのブラウジングが必要である。
【０００４】
また、既存のビデオ要約はビデオ要約提供者が定めた基準によって重要であると判断されるビデオ区間だけを使用者に提供する。したがって、使用者とビデオ提供者の基準が異なる場合、あるいは使用者が特別な基準を持つ場合、使用者は所望のビデオ要約を得ることができない。つまり、既存の要約ビデオは、いくつかのレベルの要約ビデオを提供して使用者が所望のレベルの要約ビデオを選択できるが、要約ビデオの内容による選択ができないので使用者の選択範囲が制限的である。
【０００５】
発明の名称が“ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｖｉｄｅｏ ｂｒｏｗｓｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｎｔｅｎｔ ａｎｄ ｓｔｒｕｃｔｕｒｅ”で、登録番号がＵＳ５８２１９４５である特許では、ビデオを集約的に再現し、その再現を通じて所望の内容のビデオに接近する（access）ブラウジング機能を提供する。しかし、この特許では、代表フレームに基づいた静的な要約であって、既存の静的要約はビデオショットの代表フレームを利用して要約するが、この特許の代表フレームは単にそのショットを代表する映像情報だけを提供するため、要約を利用した情報伝達に限界がある。この特許に比べて、前記ビデオ記述構造とブラウジング方法はビデオセグメントに基づいた動的要約を利用する。
【０００６】
１９９９年７月にＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ−７ Ｏｕｔｐｕｔ Ｄｏｃｕｍｅｎｔ Ｎｏ．Ｎ２８４４として発表された“ＭＰＥＧ−７ Ｄｅｓｃｒｉｐｔｉｏｎ Ｓｃｈｅｍｅ（Ｖ０．５）”で提案されたビデオ要約記述構造は、動的要約ビデオの各ビデオセグメントの区間情報だけを記述する。これは動的要約を記述する基本的な機能は提供するが、次の側面で問題点を持っている。まず、従来は要約ビデオを構成する要約セグメントから原ビデオへの接近（access）を提供できないという短所がある。つまり、使用者は要約ビデオを通じた概観と要約内容（summary contents）に基づいてより詳細な内容把握のために原ビデオへ接近しようとするが、従来はこれが提供できなかった。また、オーディオ要約記述機能が十分に提供できない。最後に事件基盤の要約（event-based summary）を表現しようとする時、重複記述と探索の複雑性が不回避となる短所を持っている。
【０００７】
（発明の概要）
したがって、本発明は上記の問題点を改善するために、要約ビデオと共に要約ビデオに含まれた各ビデオ区間ごとに代表フレーム情報、代表音響情報を含み、要約ビデオの内容に対する使用者の選択を提供する使用者注文形（user customized）の事件基盤要約（event based summary）と効果的なブラウジングを可能にする階層的ビデオ要約記述構造と、その記述構造を利用したビデオ要約記述データ生成方法及びシステムを提供するのにその目的がある。
【０００８】
このような目的を達成するための本発明の一つの実施例による階層的要約記述構造は、ハイライトレベルを記述している一つ以上のハイライトレベル記述構造を含み、前記ハイライトレベル記述構造は、そのハイライトレベルの要約ビデオを構成するハイライトセグメント情報を記述している最少限ハイライトセグメント記述構造を含むことを特徴とする。
【０００９】
好ましくは、前記ハイライトレベル記述構造は一つ以上の下位レベルのハイライトレベルＤＳ（ＤＳ＝記述構造）で構成されることを特徴とする。
【００１０】
更に好ましくは、前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの時間情報又はビデオ自身を記述しているビデオセグメント位置指定記述構造を含むことを特徴とする。
【００１１】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表フレームを記述している映像位置指定ＤＳを、更に含むことが望ましい。
【００１２】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表音響情報を記述している音響位置指定ＤＳを、更に含むことが一層望ましい。
【００１３】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表フレームを記述している映像位置指定ＤＳ及び前記該当ハイライトセグメントの代表音響情報を記述している音響位置指定ＤＳを、更に含むことが望ましい。
【００１４】
前記映像位置指定ＤＳが、前記該当ハイライトセグメントに対応するビデオ区間の代表フレームの時間情報又は映像データを、記述することが一層望ましい。
【００１５】
前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの音響要約を構成している音響セグメント情報を記述している音響セグメント位置指定ＤＳを、更に含むことが望ましい。
【００１６】
前記音響セグメント位置指定ＤＳが、前記該当ハイライトセグメントの音響区間の時間情報又は音響データを記述することが一層望ましい。
【００１７】
好ましくは、前記階層的要約記述構造は、前記階層的要約記述構造に含まれる全てのサマリーコンポーネントタイプを列挙し、記述しているサマリーコンポーネントリストを含むことを特徴とする。
【００１８】
好ましくは、前記階層的要約記述構造は、要約に含まれた事件または主題を列挙し、そのＩＤを記述している要約主題リスト記述構造（Summary Theme List DS）を含み、事件中心の要約を記述し、使用者が要約ビデオを前記要約主題リストに記述された主題または事件別にブラウジングできるようにすることを特徴とする。
【００１９】
前記要約主題リストＤＳが、要素としての要約主題を任意件数含み、前記要約主題が、該当する事件又は主題を表わすｉｄ（識別記号）の属性を含み、この要約主題が、上位レベルの事件又は主題のｉｄを記述する親ＩＤの属性を更に含むことが一層望ましい。
【００２０】
共通の事件又は主題の前記ｉｄ属性を記述している主題Ｉｄの属性を、前記ハイライトレベルＤＳが含むと好ましい場合は、該当ハイライトレベルを構成している全てのハイライトセグメント及びハイライトレベルが共通の事件と主題を有する場合である。
【００２１】
前記ハイライトセグメントＤＳが、前記ｉｄ属性を記述している主題Ｉｄの属性を含み、該当ハイライトセグメントの事件又は主題を記述することが望ましい。
【００２２】
また、本発明によると、階層的要約記述構造が保存されたコンピュータで読むことができる記録媒体が提供される。階層的要約記述構造が、ハイライトレベルを記述しているハイライトレベルＤＳを一つ以上含み、ハイライトレベルＤＳが、ハイライトレベルの要約ビデオを構成しているハイライトセグメント情報を記述しているハイライトセグメントＤＳを一つ以上含み、ハイライトセグメントＤＳが、前記該当ハイライトセグメントの時間情報又はビデオ自身を記述しているビデオセグメント位置指定ＤＳを含むことが望ましい。
【００２３】
また、本発明によると、原ビデオを入力してビデオ要約記述構造に従ってビデオ要約記述データを生成するビデオ要約記述データ生成方法が提供される。これは原ビデオを入力して分析し、ビデオ分析結果を出力するビデオ分析段階と；要約ビデオ区間を選択するための要約規則を定義する要約規則定義段階；前記原ビデオ分析結果と前記要約規則とを入力して原ビデオからビデオ内容を要約することができるビデオ区間を選択して、要約ビデオ区間情報を構成する要約ビデオ区間選択段階；及び前記要約ビデオ区間選択段階から出力された要約ビデオ区間情報の入力を受けて、階層的要約記述構造によってビデオ要約記述データを生成するビデオ要約記述段階を含んでなることを特徴とする。
【００２４】
また、本発明によると、原ビデオを入力してビデオ要約記述構造に従ってビデオ要約記述データを生成するビデオ要約記述データ生成システムが提供される。これは原ビデオを入力して分析し、ビデオ分析結果を出力するビデオ分析手段と；要約ビデオ区間を選択するための要約規則を定義する要約規則定義手段；前記原ビデオ分析結果と前記要約規則とを入力して原ビデオからビデオ内容を要約することができるビデオ区間を選択して、要約ビデオ区間情報を構成する要約ビデオ区間選択手段；及び前記要約ビデオ区間選択手段で定義された要約ビデオ区間情報の入力を受けて、階層的要約記述構造を有するビデオ要約記述データを生成するビデオ要約記述手段を含んでなることを特徴とする。
【００２５】
また、本発明によると、上述したようなビデオ要約記述データ生成方法でビデオを階層的要約するビデオ要約記述データ生成システムを機能させるためのプログラムを記録したコンピュータで読むことができる記録媒体が提供される。
【００２６】
また、本発明によるサーバー／クライアント環境でのビデオブラウジングシステムは、原ビデオの入力を受けて階層的要約記述構造に基づいてビデオ要約記述データを生成し、前記原ビデオとビデオ要約記述データとをリンクするビデオ要約記述データ生成システムを備えたサーバーと；
前記ビデオ要約記述データを利用して前記原ビデオを概観し、前記サーバーの原ビデオに接近してビデオをブラウジング及びナビゲーションするクライアントを備えることを特徴とする。
【００２７】
以下、添付した図面を参照して本発明の好ましい一実施例を詳細に説明する。図中、参照番号は同一部分または同様部分を識別するために用いる。
【００２８】
図１は本発明による記述構造（description scheme）によってビデオ要約記述データを生成するためのシステムを示したブロック図である。図１に示すように、本発明によるビデオ要約記述データ生成装置は特徴抽出部１０１、事件検出部１０２、エピソード検出部１０３、要約ビデオ区間選択部１０４、要約規則定義部１０５、代表フレーム抽出部１０６、代表音響抽出部１０７、及びビデオ要約記述部１０８で構成される。
【００２９】
特徴抽出部１０１は原ビデオを入力して要約ビデオを生成するために必要な特徴を抽出する。一般的な特徴としてはショット境界、カメラの動き、字幕領域、顔領域などがある。特徴抽出段階ではこれら特徴を抽出して特徴の種類とこれら特徴が検出されるビデオ時間区間を（特徴種類、特徴一連番号、時間区間）の形態で事件検出段階に出力する。例えば、カメラ動きの場合（カメラズーム、１、１００〜１５０）には第１カメラズームが１００〜１５０番目のフレームで検出されたという情報を表現する。
【００３０】
事件検出部１０２は原ビデオに含まれたキーになる事件を検出する。これら事件は原ビデオの内容を代表的によく表現しなければならず、要約ビデオを生成するのに基準となるものであるため、一般に原ビデオのジャンルに従って区別するように定義される。事件は上位の意味レベルを示すこともあり、上位の意味を直接類推することができるビジュアル特徴であることもある。例えば、サッカービデオの場合、ゴール、シュート、字幕、リプレー（ｒｅｐｌａｙ）などを事件として定義することができる。
【００３１】
事件検出部１０２は検出した事件の種類とその時間区間を（事件種類、事件番号、時間区間）形態で出力する。例えば、最初のゴールが２００〜３００フレームの間で発生したという事件情報は（ゴール、１、２００〜３００）の形態で出力する。
【００３２】
エピソード検出部１０３は検出された事件に基づいてビデオを話の筋に基づいた一つの事件よりさらに大きい単位のエピソードに分割する。キー事件を検出した後、そのキー事件を中心にその事件による付属事件を含んで一つのエピソードを検出する。一例として、サッカービデオの場合、ゴールとシュートはキー事件になり、その事件の付属事件としてゴールやシュートが発生した時のベンチ場面、観衆席場面、ゴールセレモニー場面、ゴール場面のリプレーなどがその事件の付属事件を構成する。つまり、ゴールとシュートとを中心にエピソードを検出する。
【００３３】
エピソード検出情報は（エピソード番号、時間区間、優先順位、特徴ショット、関連事件情報）の形態で出力する。ここでエピソード番号はエピソードの一連番号であり、時間区間はそのエピソードの時間区間をショット単位で示す。優先順位はそのエピソードの重要度を示す。特徴ショットはそのエピソードを構成するショットの中で最も重要な情報を含んだショット番号を示し、関連事件情報はそのエピソードと関係する事件の事件番号を示す。例えば、（エピソード１、４〜６、１、５、ゴール１、字幕３）のようなエピソード情報を表示する場合、その情報は、第１エピソードが４〜６番目ショットを含み、優先順位が最高（１）、特徴ショットが５番ショットであり、関連事件が１番ゴールと３番字幕であることを示す。
【００３４】
要約ビデオ区間選択部１０４は、検出されたエピソードに基づいて原ビデオ内容をよく要約することができるビデオ区間を選択する。この区間選択基準は予め決められた要約規則定義部１０５の要約規則によって行う。
【００３５】
要約規則定義部１０５は要約区間を選択するための規則を定義して要約区間を選択するための制御信号を出力する。また、要約規則定義部１０５は要約ビデオ区間選択の基盤となる要約事件種類をビデオ要約記述部１０８に出力する。
【００３６】
要約ビデオ区間選択部１０４は選択された要約ビデオの区間の時間情報をフレーム単位に出力し、ビデオ区間に対応する事件種類を出力する。つまり、（１００〜２００、ゴール）、（５００〜７００、シュート）等の形態は要約ビデオ区間として選択されたビデオセグメントが、１００〜２００フレーム、５００〜７００フレーム等であって、各セグメントの事件はゴールとシュートであることを示す。または、要約ビデオ区間だけで構成された追加的ビデオに接近できるようにファイル名などの情報を出力することも可能である。
【００３７】
要約ビデオ区間選択が完了すれば、その要約ビデオ区間情報を利用して、代表フレームと代表音響を代表フレーム抽出部１０６と代表音響抽出部１０７から各々抽出する。代表フレーム抽出部１０６はその要約ビデオ区間を代表する映像のフレーム番号またはその映像データを出力する。代表音響抽出部１０７はその要約ビデオ区間を代表する音響データまたは音響時間区間を出力する。
【００３８】
ビデオ要約記述部１０８は、図２に記述された本発明による階層的記述構造によって効果的な要約及びブラウジング機能を可能にする関連情報を記述する。階層的要約ＤＳの主要情報は、要約ビデオの要約事件種類、各要約ビデオ区間を記述する時間情報、代表フレーム、代表音響、及び各区間の事件種類を含む。
【００３９】
ビデオ要約記述部１０８は図２に示された記述構造によるビデオ要約記述データを出力する。
【００４０】
図２は、本発明によるビデオ要約記述データを記述する階層的要約記述構造（Hierarchical Summary DS）のデータ構造をＵＭＬ（Unified Modeling Language）で示した図面である。
【００４１】
ビデオ要約を記述する階層的要約記述構造２０１は一つ以上のハイライトレベル記述構造（Highlight Level DS）２０２と１個または０個の要約主題リスト記述構造（Summary Theme List DS）２０３を含んでいる。要約主題リストＤＳ（Summary Theme List DS）は要約を構成する主題または事件の情報を網羅的に記述することで、事件中心の要約及びブラウジングの機能を提供する。
【００４２】
ハイライトレベル記述構造（Highlight Level DS）２０２は、そのレベルの要約ビデオを構成するビデオ区間数だけの個数のハイライトセグメント記述構造（Highlight Segment DS）２０４と０個または数個のハイライトレベル記述構造（Highlight Level DS）で構成される。ハイライトセグメント記述構造は各要約ビデオ区間に対応する情報を記述する。ハイライトセグメント記述構造は一つのビデオセグメント位置指定記述構造（Video Segment Locator DS）２０５、０個または数個の映像位置指定記述構造（Image Locator DS）２０６、そして０個または数個の音響位置指定記述構造（Sound Locator DS）２０７及びオーディオセグメント位置指定記述構造（Audio Segment Locator DS）２０８を含んでいる。
【００４３】
以下、この階層的要約記述構造についてより詳細に説明する。
【００４４】
階層的要約記述構造（Hierarchical Summary DS）は階層的要約ＤＳにより包括される要約形態を明確に示すサマリーコンポーネントリスト（Summary Component List）という属性（attribute）を有する。サマリーコンポーネントリスト（Summary Component List）は要約タイプ（Summary Component Type）に基づいて派生し、サマリーコンポーネントタイプを含む全てのものを列挙して記述する。
【００４５】
サマリーコンポーネントリストにはキーフレーム、キービデオクリップ、キーオーディオクリップ、キーイベント及びアンコンストレイン（unconstrained）の５種類がある。キーフレームは代表フレームで構成されたキーフレーム要約を示す。キービデオクリップは主要ビデオ区間の集合で構成されたキービデオクリップ要約を示し、キーイベントは事件または主題に対応するビデオ区間で構成された要約を示し、キーオーディオクリップは代表オーディオ区間の集合で構成されたキーオーディオクリップ要約を示す。アンコンストレインは前記要約以外の、使用者が定義した要約形態を示す。
【００４６】
また、事件中心の要約を記述するために階層的要約記述構造は要約に含まれた事件（または主題）を列挙してそのＩＤを記述する要約主題リスト記述構造（Summary Theme List DS）を含むこともできる。
【００４７】
要約主題リストは任意の数の要約テーマを要素（element）として持つ。要約テーマはＩＤ形のｉｄという属性を有して親ＩＤという属性を選択的に持つ。
【００４８】
要約主題リスト記述構造は、要約主題リストに記述された各事件又はいくつかの主題の観点から、使用者が要約ビデオをブラウジングできるようにする。つまり、記述データを入力する応用ツールは、要約主題リスト記述構造を解析し、この情報を使用者に提示して、使用者が望む主題を選択させる。この時、このような主題を単純な形態に列挙する場合、主題の数が多ければ使用者が望む主題を探すのが容易でないことがある。
【００４９】
したがって、目次（ToC=Table of Content）と類似したツリー構造として主題を表現することによって、使用者は、所望の主題を発見した後、主題別ブラウジングが効率的にできる。このために本発明では、要約テーマに親ＩＤの属性を選択的に使用できるようにする。この親ＩＤとは、ツリー構造における上位の要素（上位の主題）を意味する。
【００５０】
本発明の階層的要約記述構造はハイライトレベル記述構造（Highlight Level DSs）を含み、各ハイライトレベル記述構造は、要約ビデオを構成するビデオセグメント（または区間）に対応する一つ以上のハイライトセグメント記述構造を含む。
【００５１】
ハイライトレベル記述構造はＩＤＲＥＦＳ形のテーマＩｄｓの属性を有する。このテーマＩｄｓは、該当ハイライトレベルに含まれた全てのハイライトセグメント記述構造または該当ハイライトレベル記述構造の子ハイライトレベル記述構造に共通した、主題及び事件ｉｄを記述するが、このｉｄは前記要約主題リスト記述構造に記述されている。テーマＩｄｓは数個の事件を意味することができ、事件中心の要約をする時、そのレベルを構成する全セグメント内で同一ｉｄが不必要に繰り返される問題点を解決するために、そのレベルを構成するハイライトセグメント内で共通した主題の形を示すテーマＩｄｓをおく。
【００５２】
ハイライトセグメント記述構造は一つのビデオセグメント位置指定記述構造（Video Segment Locator DS）と、一つ以上の映像位置指定記述構造（Image Locator DS）と、０個または１個の音響位置指定記述構造（Sound Locator DS）と、０個または１個のオーディオセグメント位置指定記述構造（Audio Segment Locator DS）を含む。
【００５３】
ここで、ビデオセグメント位置指定記述構造は、要約ビデオを構成するビデオセグメントのビデオ自身または時間情報を記述する。映像位置指定記述構造は、そのビデオセグメントの代表フレームの映像データ情報を記述する。音響位置指定記述構造は、該当ビデオセグメント区間を代表する音響情報を記述する。オーディオセグメント位置指定記述構造は、オーディオ要約を構成するオーディオセグメントの区間時間情報又はオーディオ情報自身を記述する。
【００５４】
ハイライトセグメント記述構造はテーマＩｄｓの属性を有する。このテーマＩｄｓは、該当ハイライトセグメントに関連する前記要約主題リスト記述構造内で記述された主題又は事件を、要約主題リスト記述構造内で定義されたｉｄを利用して、記述する。テーマＩｄｓは複数の事件を意味することができ、一つのハイライトセグメントに複数の主題を含ませることができるようにして、事件基盤の要約をするための既存の方法を使う時、事件（または主題）毎にビデオセグメントを記述することにより生ずる不可避な重複記述の問題点を解決するという、本発明の効率的な記述方法である。
【００５５】
要約ビデオを構成するハイライトセグメントを記述する時、単にそのハイライトビデオ区間の時間情報だけを記述した既存の階層的要約記述構造とは異なって、各ハイライトセグメントのビデオ区間情報、代表フレーム情報、代表音響情報を記述できるように、ビデオセグメント位置指定記述構造、映像セグメント位置指定記述構造、サウンド位置指定記述構造を設定して、本発明は、ハイライトセグメントビデオを通じた概観とそのセグメントの代表フレーム及び代表音響を活用したナビゲーション及びブラウジングを、要約ビデオを構成するハイライトセグメントを記述するためのハイライトセグメント記述構造を導入し、効率的に使えるようにする。
【００５６】
ビデオ区間に該当する代表音響を記述することができるサウンド位置指定記述構造を設定して、実際に、そのビデオ区間を代表できる特徴的な音響、例えば銃声、かん声、サッカーでアンカーのコメント（例、ゴール、シュート）、ドラマでの俳優の名前、特定単語などを通じて、そのビデオ区間を再生してみなくても短時間に、その区間が使用者が望む内容を含む重要な区間であるかどうか、どんな内容が含まれた区間であるかを大略的に把握することで効率的なブラウジングが可能である。
【００５７】
図３は、図２と同じ記述構造で記述されたビデオ要約記述データを入力する要約ビデオの再生及びブラウジングのためのツールの使用者インターフェースの構成図である。ビデオ再現部３０１は使用者の制御に従って原ビデオまたは要約ビデオを再生する。原ビデオ代表フレーム部３０５は原ビデオのショットの代表フレームを再現する。つまり、一連の縮小映像で構成される。原ビデオのショットの代表フレームは、本発明の階層的要約記述構造ではなく別途の記述構造で記述され、この記述データが本発明の階層的要約記述構造で記述された要約記述データと共に提供される時に、活用できる。使用者は、代表フレームをクリックすることにより代表フレームに対応する原ビデオのショットに、接近する。要約ビデオレベル０代表フレーム部及び代表音響部３０７と要約ビデオレベル１代表フレーム部及び代表音響部３０６は、要約ビデオレベル０と要約ビデオレベル１夫々の各ビデオ区間を代表するフレームと音響情報を与える。つまり、一連の縮小された映像及び音響を示すアイコン状映像で構成される。使用者が要約ビデオ代表フレーム部及び代表音響部の代表フレームをクリックすると、その代表フレームに対応する原ビデオ区間に接近する。この時、要約ビデオの代表フレームに対応する代表音響アイコンをクリックすると、そのビデオ区間の代表音響が再生される。
【００５８】
要約ビデオ制御部３０２は要約ビデオを再生するために使用者の選択のための制御を入力する。多階層の要約ビデオが提供される場合、使用者がレベル選択部３０３を通じて所望のレベルの要約を選択することにより、概観しブラウジングする。事件選択部３０４は要約主題リストによって提供される事件及び主題を列挙して、使用者は所望の事件を選択することにより概観し、ブラウジングする。結局、これが使用者注文形の要約を実現する。
【００５９】
図４は、本発明の要約ビデオを利用した階層的ブラウジングのためのデータ及び制御の流れに関する構成図である。ブラウジングは図３の使用者インターフェースを利用して図４の方法でブラウジングのためのデータに接近して行う。ブラウジングのためのデータは要約ビデオと要約ビデオの代表フレーム、原ビデオ４０６と原ビデオ代表フレーム４０５である。要約ビデオは二つのレベルを有するものとする。もちろん要約ビデオが二つ以上のレベルを有することもある。要約ビデオレベル０（記号４０１）は要約ビデオレベル１（記号４０３）より短く要約されたものである。つまり、要約ビデオレベル１が要約ビデオレベル０より多くの内容を含んでいる。要約ビデオレベル０代表フレーム４０２は要約ビデオレベル０の代表フレームであり、要約ビデオレベル１代表フレーム４０４は要約ビデオレベル１の代表フレームである。
【００６０】
要約ビデオと原ビデオは、図３のビデオ再現部３０１を通じて再現される。要約ビデオレベル０代表フレームは要約ビデオレベル０代表フレーム部及び代表音響部３０６で表示され、要約ビデオレベル１代表フレームは要約ビデオレベル１代表フレーム部及び代表音響部３０７で表示される。原ビデオ代表フレームは原ビデオ代表フレーム部３０５に表示される。
【００６１】
図４に示された階層的ブラウジング方法は、次の例のように多様な形態の階層的経路を有することができる。
場合１）（１）−（２）
場合２）（１）−（３）−（５）
場合３）（１）−（３）−（４）−（６）
場合４）（７）−（５）
場合５）（７）−（４）−（６）
【００６２】
全体的なブラウジング技法は次の通りである。まず、原ビデオの要約ビデオを見て原ビデオの全体内容を把握する。この時、要約ビデオは要約ビデオレベル０又は要約ビデオレベル１を再現できる。要約ビデオを見た後、要約ビデオでさらに詳細にブラウジングしようとする時、関心のあるビデオ区間を要約ビデオ代表フレームを通じて確認する。正確に探そうとする場面が要約ビデオ代表フレームで確認できると、その代表フレームを連結された原ビデオのビデオ区間に直ちに接近して再生する。より詳細な情報が必要な場合、次のレベルの代表フレームを把握したり、原ビデオの代表フレームの内容を階層的に把握して、所望の原ビデオに接近する。このような階層的ブラウジング技法は所望の内容に接近するために、原ビデオを再生しながらブラウジングすると多くの時間がかかるが、原ビデオの内容を階層化された代表フレームを通じて直接に接近するために、ブラウジング時間を相当減らすことができる。
【００６３】
既存の一般的なビデオ索引及びブラウジング技法は、原ビデオをショット単位に分割し、各ショットを代表する代表フレームを構成して代表フレームから所望のショットを認識してそのショットに接近する。この場合、原ビデオのショットの個数が非常に多いので多くの数の代表フレームから所望の内容をブラウジングするのに多くの時間と努力を要する。本発明では要約ビデオの代表フレームで階層的代表フレームを構成して速く所望のビデオに接近することができる。
【００６４】
場合１）は、要約ビデオレベル０を再現して要約ビデオレベル０代表フレームから直ちに原ビデオに接近する場合である。場合２）は、要約ビデオレベル０を再現して要約ビデオレベル０代表フレームから最も関心のある代表フレームを選択して原ビデオに接近する前にさらに詳細な情報を把握するために、その代表フレームの近くに該当する要約ビデオレベル１の代表フレーム内に所望の場面を確認して、原ビデオに接近する場合である。場合３）は、場合２）で要約ビデオレベル１代表フレームから直ちに原ビデオに接近するのが難しい場合、さらに詳細な情報を得るために最も関心のある代表フレームを選択し、その代表フレーム近くの原ビデオ代表フレームによって所望の場面を確認し、原ビデオの代表フレームを利用して原ビデオに接近する場合である。場合４）と場合５）とは、要約ビデオレベル１の再現で開始して経路は上述した場合と類似している。
【００６５】
このような本発明をサーバー／クライアント環境に適用すると、複数のクライアントが一つのサーバーに接近してビデオを概観及びブラウジングできるシステムを提供することができる。サーバーに原ビデオを受信して階層的要約記述構造に基づいてビデオ要約記述データを生成し、前記原ビデオとビデオ要約記述データをリンクするビデオ要約記述データ生成システムを設ける。クライアントは通信網を通じてサーバーに接近し、ビデオ要約記述データを利用してビデオを概観して原ビデオに接近してビデオをブラウジング及びナビゲーションする。
【００６６】
本発明の技術思想は前記の好ましい実施例によって具体的に記述されたが、前記実施例はその説明のためのものであり、その制限のためのものでないことを注意するべきである。また、本発明の技術分野の通常の専門家であれば本発明の技術思想の範囲内で様々な実施例が可能であるが理解できるであろう。
【００６７】
以上で説明したように本発明は、要約ビデオの生成と記述構造を通じてビデオ全体内容を速い時間に把握し、要約ビデオの各ビデオ区間の代表フレーム情報と代表音響情報を利用して効果的な階層的ブラウジングを可能にする。また、事件基盤の要約ビデオ記述を通じて事件及び主題による要約ビデオ及びブラウジング使用者に提供できる使用者注文形の機能も含む。
【図面の簡単な説明】
【図１】 本発明による記述構造（description scheme:DS）によってビデオ要約記述データを生成するためのシステムを示したブロック図である。
【図２】 本発明による要約ビデオを記述するための階層的記述構造の資料構造をＵＭＬ（Unified Modeling Language）で示した図面である。
【図３】 本発明による要約ビデオの再現及びブラウジングツールの使用者インターフェースの一実施例である。
【図４】 本発明によるビデオ要約記述データを利用した階層的ブラウジングのためのデータ及び制御流れに関する構成図である。
Claims (6)
- ビデオ要約記述データをブラウジングする装置において、
前記ビデオ要約記述データは階層的要約記述構造を有し、
前記階層的要約記述構造は、
要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する複数のハイライトセグメント記述構造を有するハイライトレベル記述構造と；
要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造とを含み、
前記ビデオ要約記述データをブラウジングする装置は、
原ビデオや要約ビデオを再生するビデオ再生部と；
原ビデオの代表フレームを再生する原ビデオ代表フレーム部と；
第１要約レベルの各ビデオ区間を代表する代表フレームと代表音響情報を再生する第１要約ビデオ代表フレーム部および代表音響部と；
前記第１要約レベルより精巧に要約された第２要約レベルの各ビデオ区間を代表する代表フレームと代表音響情報を再生する第２要約ビデオ代表フレーム部および代表音響部と；
前記第１要約レベルまたは前記第２要約レベルを選択して、前記ビデオ再生部が該当する要約レベルの要約ビデオを再生するようにするレベル選択部と；
前記要約主題リスト記述構造によって提供される事件および主題を列挙して、使用者が所望の事件をブラウジングするようにする事件選択部とを含むことを特徴とする、ビデオ要約記述データのブラウジング装置。 - 前記ハイライトセグメント記述構造は、
前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造と、
前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造と
を含むことを特徴とする、請求項１に記載のビデオ要約記述データのブラウジング装置。 - ビデオ要約記述データをブラウジングする装置が実施する方法において、
前記ビデオ要約記述データは階層的要約記述構造を有し、
前記階層的要約記述構造は、要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する一つ以上のハイライトセグメント記述構造を有するハイライトレベル記述構造を含み、
前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造、および前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造を含み、
前記ビデオ要約記述データをブラウジングする方法は、
ビデオ再生部が前記ハイライトセグメント記述構造と関連する第１要約レベルの要約ビデオを再生する第１段階と；
第１要約ビデオ代表フレーム部および代表音響部によって再生される要約ビデオ代表フレームを通じて前記第１段階で探そうとする場面が確認されると、前記ビデオ再生部が前記代表フレームに連結された原ビデオのビデオ区間を再生する第２段階と；
を含むことを特徴とする、ビデオ要約記述データのブラウジング方法。 - 前記ビデオ要約記述データをブラウジングする方法は、前記第１段階で探そうとする場面が確認されない場合、前記ビデオ再生部が前記第１要約レベルより精巧に要約された第２要約レベルの要約ビデオを再生する第３段階をさらに含むことを特徴とする、請求項３に記載のビデオ要約記述データのブラウジング方法。
- 前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造をさらに含み、
前記第２段階は、前記第１要約ビデオ代表フレーム部および代表音響部によって再生される要約ビデオ代表音響情報を通じて前記第１段階で探そうとする場面を確認する段階を含むことを特徴とする、請求項３または４に記載のビデオ要約記述データのブラウジング方法。 - 前記階層的要約記述構造は、要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造をさらに含むことを特徴とする、請求項３乃至５のうちのいずれか一項に記載のビデオ要約記述データのブラウジング方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1999/43712 | 1999-10-11 | ||
| KR19990043712 | 1999-10-11 | ||
| PCT/KR2000/001084 WO2001027876A1 (en) | 1999-10-11 | 2000-09-29 | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003511801A JP2003511801A (ja) | 2003-03-25 |
| JP2003511801A5 JP2003511801A5 (ja) | 2007-12-06 |
| JP4733328B2 true JP4733328B2 (ja) | 2011-07-27 |
Family
ID=19614707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001530817A Expired - Fee Related JP4733328B2 (ja) | 1999-10-11 | 2000-09-29 | 効率的な概観及びブラウジングのためのビデオ要約記述構造と、ビデオ要約記述データ生成の方法及びシステム |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1222634A4 (ja) |
| JP (1) | JP4733328B2 (ja) |
| KR (1) | KR100371813B1 (ja) |
| CN (2) | CN100485721C (ja) |
| AU (1) | AU7689200A (ja) |
| CA (1) | CA2387404A1 (ja) |
| WO (1) | WO2001027876A1 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7134074B2 (en) | 1998-12-25 | 2006-11-07 | Matsushita Electric Industrial Co., Ltd. | Data processing method and storage medium, and program for causing computer to execute the data processing method |
| JP2001333353A (ja) * | 2000-03-16 | 2001-11-30 | Matsushita Electric Ind Co Ltd | データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム |
| US20020108112A1 (en) * | 2001-02-02 | 2002-08-08 | Ensequence, Inc. | System and method for thematically analyzing and annotating an audio-visual sequence |
| US7432940B2 (en) | 2001-10-12 | 2008-10-07 | Canon Kabushiki Kaisha | Interactive animation of sprites in a video production |
| KR100464076B1 (ko) * | 2001-12-29 | 2004-12-30 | 엘지전자 주식회사 | 동영상 비디오 브라우징 방법과 장치 |
| CN101127899B (zh) * | 2002-04-12 | 2015-04-01 | 三菱电机株式会社 | 提示信息描述方法 |
| CN100367794C (zh) | 2002-04-12 | 2008-02-06 | 三菱电机株式会社 | 元数据编辑装置 |
| JP4228662B2 (ja) * | 2002-11-19 | 2009-02-25 | 日本電気株式会社 | 映像閲覧システムおよび方法 |
| JP4218319B2 (ja) * | 2002-11-19 | 2009-02-04 | 日本電気株式会社 | 映像閲覧システムおよび方法 |
| US8392834B2 (en) | 2003-04-09 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Systems and methods of authoring a multimedia file |
| EP1538536A1 (en) | 2003-12-05 | 2005-06-08 | Sony International (Europe) GmbH | Visualization and control techniques for multimedia digital content |
| EP1708101B1 (en) * | 2004-01-14 | 2014-06-25 | Mitsubishi Denki Kabushiki Kaisha | Summarizing reproduction device and summarizing reproduction method |
| JP4525437B2 (ja) * | 2005-04-19 | 2010-08-18 | 株式会社日立製作所 | 動画処理装置 |
| CN100455011C (zh) * | 2005-10-11 | 2009-01-21 | 华为技术有限公司 | 一种提供媒体资源预览信息的方法 |
| US8301669B2 (en) | 2007-01-31 | 2012-10-30 | Hewlett-Packard Development Company, L.P. | Concurrent presentation of video segments enabling rapid video file comprehension |
| JP5092469B2 (ja) * | 2007-03-15 | 2012-12-05 | ソニー株式会社 | 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム |
| US8238719B2 (en) | 2007-05-08 | 2012-08-07 | Cyberlink Corp. | Method for processing a sports video and apparatus thereof |
| CN101753945B (zh) * | 2009-12-21 | 2013-02-06 | 无锡中星微电子有限公司 | 一种节目预览的方法和装置 |
| US10679671B2 (en) | 2014-06-09 | 2020-06-09 | Pelco, Inc. | Smart video digest system and method |
| US9998799B2 (en) * | 2014-08-16 | 2018-06-12 | Sony Corporation | Scene-by-scene plot context for cognitively impaired |
| KR101640317B1 (ko) * | 2014-11-20 | 2016-07-19 | 소프트온넷(주) | 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법 |
| CN104391960B (zh) * | 2014-11-28 | 2019-01-25 | 北京奇艺世纪科技有限公司 | 一种视频标注方法及系统 |
| KR102350917B1 (ko) * | 2015-06-15 | 2022-01-13 | 한화테크윈 주식회사 | 감시 시스템 |
| KR102592904B1 (ko) * | 2016-02-19 | 2023-10-23 | 삼성전자주식회사 | 영상 요약 장치 및 방법 |
| US10409279B2 (en) * | 2017-01-31 | 2019-09-10 | GM Global Technology Operations LLC | Efficient situational awareness by event generation and episodic memory recall for autonomous driving systems |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999032993A1 (en) * | 1997-12-19 | 1999-07-01 | Sharp Kabushiki Kaisha | Method for hierarchical summarization and browsing of digital video |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3407840B2 (ja) * | 1996-02-13 | 2003-05-19 | 日本電信電話株式会社 | 映像要約方法 |
| JPH1169281A (ja) * | 1997-08-15 | 1999-03-09 | Media Rinku Syst:Kk | 要約生成装置及び映像表示装置 |
| JPH1188807A (ja) * | 1997-09-10 | 1999-03-30 | Media Rinku Syst:Kk | 映像ソフト再生方法、映像ソフト処理方法、映像ソフト再生プログラムを記録した媒体、映像ソフト処理プログラムを記録した媒体、映像ソフト再生装置、映像ソフト処理装置及び映像ソフト記録媒体 |
| WO1999041684A1 (en) * | 1998-02-13 | 1999-08-19 | Fast Tv | Processing and delivery of audio-video information |
| US6278446B1 (en) * | 1998-02-23 | 2001-08-21 | Siemens Corporate Research, Inc. | System for interactive organization and browsing of video |
-
2000
- 2000-09-22 KR KR10-2000-0055781A patent/KR100371813B1/ko not_active IP Right Cessation
- 2000-09-29 WO PCT/KR2000/001084 patent/WO2001027876A1/en not_active Application Discontinuation
- 2000-09-29 CN CNB008147469A patent/CN100485721C/zh not_active Expired - Fee Related
- 2000-09-29 AU AU76892/00A patent/AU7689200A/en not_active Abandoned
- 2000-09-29 CA CA002387404A patent/CA2387404A1/en not_active Abandoned
- 2000-09-29 EP EP00966554A patent/EP1222634A4/en not_active Ceased
- 2000-09-29 CN CN2008101619850A patent/CN101398843B/zh not_active Expired - Fee Related
- 2000-09-29 JP JP2001530817A patent/JP4733328B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999032993A1 (en) * | 1997-12-19 | 1999-07-01 | Sharp Kabushiki Kaisha | Method for hierarchical summarization and browsing of digital video |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1382288A (zh) | 2002-11-27 |
| WO2001027876A1 (en) | 2001-04-19 |
| JP2003511801A (ja) | 2003-03-25 |
| KR100371813B1 (ko) | 2003-02-11 |
| AU7689200A (en) | 2001-04-23 |
| EP1222634A4 (en) | 2006-07-05 |
| CN101398843B (zh) | 2011-11-30 |
| CN101398843A (zh) | 2009-04-01 |
| EP1222634A1 (en) | 2002-07-17 |
| CA2387404A1 (en) | 2001-04-19 |
| KR20010050596A (ko) | 2001-06-15 |
| CN100485721C (zh) | 2009-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4733328B2 (ja) | 効率的な概観及びブラウジングのためのビデオ要約記述構造と、ビデオ要約記述データ生成の方法及びシステム | |
| US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| JP4408768B2 (ja) | 記述データの生成装置、記述データを利用したオーディオビジュアル装置 | |
| JP3810268B2 (ja) | オーディオビジュアルシステム | |
| Dimitrova et al. | Applications of video-content analysis and retrieval | |
| JP4652462B2 (ja) | メタデータ処理方法 | |
| JP4107811B2 (ja) | オーディオビジュアルシステムの使用方法 | |
| US20020108112A1 (en) | System and method for thematically analyzing and annotating an audio-visual sequence | |
| KR100493674B1 (ko) | 멀티미디어 데이터 검색 및 브라우징 시스템 | |
| JP2001028722A (ja) | 動画像管理装置及び動画像管理システム | |
| JP2006525537A (ja) | コンテンツ解析を用いて音楽ビデオを要約する方法及び装置 | |
| KR20090125292A (ko) | 음성 인식 기술을 이용하여 생성된 메타데이터로 영상 콘텐츠에 주석을 달기 위한 방법 및 장치 | |
| KR100370247B1 (ko) | 등장인물 관계 기반 동영상 검색 방법 | |
| JP5079817B2 (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
| JP2005525608A (ja) | 高音質のサウンドを用いたビデオ・インデキシング方法 | |
| JP4732418B2 (ja) | メタデータ処理方法 | |
| JP4652389B2 (ja) | メタデータ処理方法 | |
| Sezan et al. | Content description for efficient video navigation, browsing and personalization | |
| EP1085756A2 (en) | Description framework for audiovisual content | |
| Mu | Decoupling the information application from the information creation: Video as learning objects in three-tier architecture | |
| Wakita et al. | Extended Package-Segment Model and Adaptable Applications | |
| JP2004326166A (ja) | マルチメディアデータ管理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070927 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100720 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100727 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100820 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20101221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101221 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110422 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |