JP3494368B2 - 動映像の検索、ブラウジングまたは要約を行うための動映像表現方法と、その処理装置および処理方法 - Google Patents
動映像の検索、ブラウジングまたは要約を行うための動映像表現方法と、その処理装置および処理方法Info
- Publication number
- JP3494368B2 JP3494368B2 JP2000371572A JP2000371572A JP3494368B2 JP 3494368 B2 JP3494368 B2 JP 3494368B2 JP 2000371572 A JP2000371572 A JP 2000371572A JP 2000371572 A JP2000371572 A JP 2000371572A JP 3494368 B2 JP3494368 B2 JP 3494368B2
- Authority
- JP
- Japan
- Prior art keywords
- fidelity
- keyframe
- keyframes
- unit
- tree structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000014509 gene expression Effects 0.000 title description 9
- 238000012545 processing Methods 0.000 title description 5
- 238000003672 processing method Methods 0.000 title 1
- 238000000605 extraction Methods 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100400378 Mus musculus Marveld2 gene Proteins 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、動映像資料の検索
および要約方法に関し、より詳しくは、動映像資料を各
単位（例えばショット(Shot)やセグメント(Segment)）
に区分あるいは分割し、各単位に対するキーフレームを
抽出する過程においてツリー構造(Tree-Structure)にキ
ーフレームを階層化(Key Frame Hierarchy)させること
によって、各キーフレームがその下位ツリー(Subtree)
情報を表現する程度を示す忠実度の値を各キーフレーム
間のエッジ(edge)に貯蔵し、その忠実度の値を用いて検
索及び要約する、動映像資料の効果的で効率的な検索及
び要約装置及び方法に関する。
および要約方法に関し、より詳しくは、動映像資料を各
単位（例えばショット(Shot)やセグメント(Segment)）
に区分あるいは分割し、各単位に対するキーフレームを
抽出する過程においてツリー構造(Tree-Structure)にキ
ーフレームを階層化(Key Frame Hierarchy)させること
によって、各キーフレームがその下位ツリー(Subtree)
情報を表現する程度を示す忠実度の値を各キーフレーム
間のエッジ(edge)に貯蔵し、その忠実度の値を用いて検
索及び要約する、動映像資料の効果的で効率的な検索及
び要約装置及び方法に関する。
【０００２】
【従来の技術】従来の動映像資料の検索及び要約方法に
おいて、キーフレームを用いた検索及び要約はあったも
のの、その検索及び要約をより有効で効率的に適用する
ためのキーフレームの忠実度は考慮されていなかった。
例えばパーデュ大学(Purdue University)では、ベクト
ル量子化(Tree-Structured Vector Quantization；ＴＳ
ＶＱ)を適用し、三角不等式(triangle inequality)に基
づいてブランチ・アンド・バウンド(branch and bound)
検索方式を使用して、検索速度をかなり高めることので
きる静止映像の検索及び要約方法を提案している。要約
については、階層的構造での類似ピラミッド(Similarit
y Pyramid)を形成するアクティブ・ブラウジング(Activ
e Browsing)を提案しており、類似ピラミッドの各レベ
ルは２−Ｄグリッド(grid)に構成された類似したイメー
ジの群集(cluster)を含む。ピラミッドの下部に下りる
ぼど群集の大きさは次第に減少し、最下位レベルではそ
れぞれのイメージを示す構造を有する。ここで、要約の
基本的な機能として遮断(Pruning)と再構成(Reorganiza
tion)が提示されており、これは使用者帰還情報(Releva
nce Feedback)を適用して要約方式を効果的に遂行する
ことを示している。しかし、この場合も、要約に対する
方式はサーバーの一方的な形式であるばかり、使用者の
立場から見ると、どれほど効果的な要約であるかは判断
する基準がない。
おいて、キーフレームを用いた検索及び要約はあったも
のの、その検索及び要約をより有効で効率的に適用する
ためのキーフレームの忠実度は考慮されていなかった。
例えばパーデュ大学(Purdue University)では、ベクト
ル量子化(Tree-Structured Vector Quantization；ＴＳ
ＶＱ)を適用し、三角不等式(triangle inequality)に基
づいてブランチ・アンド・バウンド(branch and bound)
検索方式を使用して、検索速度をかなり高めることので
きる静止映像の検索及び要約方法を提案している。要約
については、階層的構造での類似ピラミッド(Similarit
y Pyramid)を形成するアクティブ・ブラウジング(Activ
e Browsing)を提案しており、類似ピラミッドの各レベ
ルは２−Ｄグリッド(grid)に構成された類似したイメー
ジの群集(cluster)を含む。ピラミッドの下部に下りる
ぼど群集の大きさは次第に減少し、最下位レベルではそ
れぞれのイメージを示す構造を有する。ここで、要約の
基本的な機能として遮断(Pruning)と再構成(Reorganiza
tion)が提示されており、これは使用者帰還情報(Releva
nce Feedback)を適用して要約方式を効果的に遂行する
ことを示している。しかし、この場合も、要約に対する
方式はサーバーの一方的な形式であるばかり、使用者の
立場から見ると、どれほど効果的な要約であるかは判断
する基準がない。
【０００３】結局、パーデュ大学で提案した方式は、使
用者が満足できるような臨界値は設定せず、使用者に対
するサーバーの一方的な静止映像検索結果のみを誘導す
る水準に止まっている。また要約においても、動映像資
料のキーフレームを抽出し、抽出したキーフレームを使
用して要約はしているものの、要約する過程において、
それがどれほど効果的に動映像資料を表現するかについ
ては示していなかった。このような検索及び要約に関す
る技法は、１つのツリー構造を用いた方式でなく、相違
したメカニズムに基づいて形成された独自的ツリーを用
いた検索及び要約方法であるため、あまり効率よい検索
方法とならなかった。一方、割合−制限的(Rate-Constr
aints)動映像要約に関する研究では、時間的制約による
キーフレーム抽出技法が提案されたことがある。しかし
その技法は、使用者の希望する時間を充足させる動映像
要約でなく、類似フレームの群集のなかからキーフレー
ムを抽出したとき、抽出された各キーフレームが一定の
臨界範囲、つまり指定した時間以上に隔たるように抽出
されるようにするアルゴリズムをいう。例えば、２時間
所要の動映像を１０分所要に要約し得る技法ではない。
したがって、使用者の所望時間だけの効果的な要約を可
能にする動映像検索および要約方法への開発が切実に要
求されている。
用者が満足できるような臨界値は設定せず、使用者に対
するサーバーの一方的な静止映像検索結果のみを誘導す
る水準に止まっている。また要約においても、動映像資
料のキーフレームを抽出し、抽出したキーフレームを使
用して要約はしているものの、要約する過程において、
それがどれほど効果的に動映像資料を表現するかについ
ては示していなかった。このような検索及び要約に関す
る技法は、１つのツリー構造を用いた方式でなく、相違
したメカニズムに基づいて形成された独自的ツリーを用
いた検索及び要約方法であるため、あまり効率よい検索
方法とならなかった。一方、割合−制限的(Rate-Constr
aints)動映像要約に関する研究では、時間的制約による
キーフレーム抽出技法が提案されたことがある。しかし
その技法は、使用者の希望する時間を充足させる動映像
要約でなく、類似フレームの群集のなかからキーフレー
ムを抽出したとき、抽出された各キーフレームが一定の
臨界範囲、つまり指定した時間以上に隔たるように抽出
されるようにするアルゴリズムをいう。例えば、２時間
所要の動映像を１０分所要に要約し得る技法ではない。
したがって、使用者の所望時間だけの効果的な要約を可
能にする動映像検索および要約方法への開発が切実に要
求されている。
【０００４】
【発明が解決しようとする課題】本発明の目的は、前述
した本発明の属する技術分野における技術的要求に応え
るために、定量的な情報を表す忠実度の値を適用した階
層的キーフレームを用いた、効果的で効率的な動映像検
素及び要約方法及びその装置を提供することにある。本
発明の他の目的は、キーフレームの忠実度に対する臨界
値を適用して、そのような臨界範囲内で効果的な要約を
可能にし、使用者が希望する任意の数にキーフレームを
抽出することができ、忠実度の値に基づく動映像の要約
を可能にする動映像検索及び要約方法及び装置を提供す
ることにある。
した本発明の属する技術分野における技術的要求に応え
るために、定量的な情報を表す忠実度の値を適用した階
層的キーフレームを用いた、効果的で効率的な動映像検
素及び要約方法及びその装置を提供することにある。本
発明の他の目的は、キーフレームの忠実度に対する臨界
値を適用して、そのような臨界範囲内で効果的な要約を
可能にし、使用者が希望する任意の数にキーフレームを
抽出することができ、忠実度の値に基づく動映像の要約
を可能にする動映像検索及び要約方法及び装置を提供す
ることにある。
【０００５】
【課題を解決するための手段】本発明の一態様は、動映
像資料から動映像の各単位境界を区分し検出する単位境
界検出部と； 前記単位境界検出部で区分された各単位
に対して予め設定されたキーフレーム抽出関数を用いて
キーフレームを抽出し、各単位に該当するキーフレーム
番号とともに貯蔵するキーフレーム抽出部と； 前記キ
ーフレーム抽出部に貯蔵されたキーフレームを受けて各
キーフレームの特性値を抽出し、全体キーフレームの特
牲値を含む歪曲範囲を設定してルートキーフレームと設
定した後、特性値の歪曲範囲をさらに小さく調整して下
位ッリーを構成する方法で下向的に動映像ツリー構造を
構成し、抽出された各キーフレームの特性値を用いて上
位キーフレームの下位キーフレームに対する忠実度を計
算する忠実度計算部と； 前記忠実度計算部で計算され
た忠実度を上下位キーフレーム間のエッジに貯蔵する忠
実度貯蔵部と； を含めて構成されることを特徴とする
階層的動映像ツリー構造におけるキーフレームの忠実度
を用いた効率的な動映像要約装置を提供する。
像資料から動映像の各単位境界を区分し検出する単位境
界検出部と； 前記単位境界検出部で区分された各単位
に対して予め設定されたキーフレーム抽出関数を用いて
キーフレームを抽出し、各単位に該当するキーフレーム
番号とともに貯蔵するキーフレーム抽出部と； 前記キ
ーフレーム抽出部に貯蔵されたキーフレームを受けて各
キーフレームの特性値を抽出し、全体キーフレームの特
牲値を含む歪曲範囲を設定してルートキーフレームと設
定した後、特性値の歪曲範囲をさらに小さく調整して下
位ッリーを構成する方法で下向的に動映像ツリー構造を
構成し、抽出された各キーフレームの特性値を用いて上
位キーフレームの下位キーフレームに対する忠実度を計
算する忠実度計算部と； 前記忠実度計算部で計算され
た忠実度を上下位キーフレーム間のエッジに貯蔵する忠
実度貯蔵部と； を含めて構成されることを特徴とする
階層的動映像ツリー構造におけるキーフレームの忠実度
を用いた効率的な動映像要約装置を提供する。
【０００６】本発明の他の態様は、使用者から質疑フレ
ームとともに臨界値を受信する段階と； 使用者より入
力された質疑フレームから特徴ベクトルを抽出し、デー
タベース内のツリー構造に索引されて貯蔵されている動
映像の最上位レベルキーフレームの特徴ベクトルと比較
して、それらの両フレーム間の距離メトリックを計算す
る段階と； 前記段階で両フレーム間の距離メトリック
が臨界値とサブツリーの距離メトリックとの和より小さ
いとサブツリーを検索し、前記両フレーム間の距離メト
リックが臨界値とサブツリーの距離メトリックとの和よ
り大きい場合には、検索経路を遮断して新規の経路を検
索する段階と； 下位レベルに経路を探索した後、現在
比較するキーフレームが最下位レベルのキーフレームの
場合には質疑フレームと現在フレームの類似度が臨界値
より大きいか確認し、大きいと現在キーフレームを出力
し、臨界値より小さいと検索経路を遮断して新規の経路
を探索する段階と； を含めて構成されることを特徴と
する階層的動映像ツリー構造におけるエッジに貯蔵され
たキーフレームの忠実度を用いた効率的な動映像検索方
法を提供する。
ームとともに臨界値を受信する段階と； 使用者より入
力された質疑フレームから特徴ベクトルを抽出し、デー
タベース内のツリー構造に索引されて貯蔵されている動
映像の最上位レベルキーフレームの特徴ベクトルと比較
して、それらの両フレーム間の距離メトリックを計算す
る段階と； 前記段階で両フレーム間の距離メトリック
が臨界値とサブツリーの距離メトリックとの和より小さ
いとサブツリーを検索し、前記両フレーム間の距離メト
リックが臨界値とサブツリーの距離メトリックとの和よ
り大きい場合には、検索経路を遮断して新規の経路を検
索する段階と； 下位レベルに経路を探索した後、現在
比較するキーフレームが最下位レベルのキーフレームの
場合には質疑フレームと現在フレームの類似度が臨界値
より大きいか確認し、大きいと現在キーフレームを出力
し、臨界値より小さいと検索経路を遮断して新規の経路
を探索する段階と； を含めて構成されることを特徴と
する階層的動映像ツリー構造におけるエッジに貯蔵され
たキーフレームの忠実度を用いた効率的な動映像検索方
法を提供する。
【０００７】本発明のさらに他の様態は、使用者より要
求されるフレームの数または要約時間を受信する段階
と； 最上位ルートキーフレームをバッファに貯蔵する
段階と； バッファに貯蔵されたフレームの数が使用者
が設定した数と一致するまで反復的にルートフレームを
始めとして忠実度の値に基づいて忠実度の小さいサブツ
リーを分離し、分離されたサブツリーのルートキーフレ
ームをバッファに貯蔵する段階と； を含むことを特徴
とする階層的動映像ツリー構造におけるエッジに貯蔵さ
れたキーフレームの忠実度を用いた効率的な動映像要約
方法を提供する。
求されるフレームの数または要約時間を受信する段階
と； 最上位ルートキーフレームをバッファに貯蔵する
段階と； バッファに貯蔵されたフレームの数が使用者
が設定した数と一致するまで反復的にルートフレームを
始めとして忠実度の値に基づいて忠実度の小さいサブツ
リーを分離し、分離されたサブツリーのルートキーフレ
ームをバッファに貯蔵する段階と； を含むことを特徴
とする階層的動映像ツリー構造におけるエッジに貯蔵さ
れたキーフレームの忠実度を用いた効率的な動映像要約
方法を提供する。
【０００８】
【発明の実施の形態】以下、本発明の構成を添付図面に
基づいて詳細に説明する。まず、本発明は、ツリー構造
に階層化されたキーフレームに対する忠実度を適用して
動映像を検索及び要約することを特徴とする。本発明に
おいて、キーフレーム(Key Frame)は、代表フレーム(Re
presentative Frame)ともいい、任意の動映像資料で幾
つかのフレームを代表する１つのフレームを意味する。
つまり、動映像が各単位(ショット又はセグメント)に区
分されたとき、各単位は特徴的又は意味的に重複性(red
undancy)があるので、定量的な臨界範囲に対する代表フ
レームをキーフレームという。例えば図１(ａ)におい
て、ｆ1,ｆ2,ｆ3,ｆ4,ｆ5の５つのフレームに対し、ｆ3
をそれらの５つのフレームを代表するキーフレームとし
て設定することができる。
基づいて詳細に説明する。まず、本発明は、ツリー構造
に階層化されたキーフレームに対する忠実度を適用して
動映像を検索及び要約することを特徴とする。本発明に
おいて、キーフレーム(Key Frame)は、代表フレーム(Re
presentative Frame)ともいい、任意の動映像資料で幾
つかのフレームを代表する１つのフレームを意味する。
つまり、動映像が各単位(ショット又はセグメント)に区
分されたとき、各単位は特徴的又は意味的に重複性(red
undancy)があるので、定量的な臨界範囲に対する代表フ
レームをキーフレームという。例えば図１(ａ)におい
て、ｆ1,ｆ2,ｆ3,ｆ4,ｆ5の５つのフレームに対し、ｆ3
をそれらの５つのフレームを代表するキーフレームとし
て設定することができる。
【０００９】本発明において、キーフレームを選定する
方式は特に制限されなく、周知のさまざなまなキーフレ
ーム抽出方式の中から最も効果的な抽出方法を選択して
使用すれば良い。かかる周知のキーフレーム抽出方法の
例を下記に示す。 1) ショットの最初フレームをキーフレームとして選択
（図１(ｂ)） 2) ショットの最初及び最終フレームをキーフレームと
して選択 3) ショットのモーション指標(motion indicator)に基
づくキーフレームの抽出 4) ショットの作用指標(activity indicator)に基づく
キーフレームの抽出 5) 視覚的内容複雑指標(visual content complexity i
ndicator)に基づくキーフレームの抽出 6) カメラモーション(camera motion)を用いた複合イ
メージ形成によるキーフレームの抽出
方式は特に制限されなく、周知のさまざなまなキーフレ
ーム抽出方式の中から最も効果的な抽出方法を選択して
使用すれば良い。かかる周知のキーフレーム抽出方法の
例を下記に示す。 1) ショットの最初フレームをキーフレームとして選択
（図１(ｂ)） 2) ショットの最初及び最終フレームをキーフレームと
して選択 3) ショットのモーション指標(motion indicator)に基
づくキーフレームの抽出 4) ショットの作用指標(activity indicator)に基づく
キーフレームの抽出 5) 視覚的内容複雑指標(visual content complexity i
ndicator)に基づくキーフレームの抽出 6) カメラモーション(camera motion)を用いた複合イ
メージ形成によるキーフレームの抽出
【００１０】これらの方法のほかにも、キーフレーム抽
出方法としては様々なものが提案されており、現在にも
続いて研究されているところである。本発明で使用可能
なキーフレーム抽出方法は、特に制限されないが、本発
明の実施例では視覚的内容複雑指標を用いた抽出方法を
採用しており、点集合理論に基づいて予め指定された歪
曲範囲内における最小のキーフレームを抽出する方式を
使用している。
出方法としては様々なものが提案されており、現在にも
続いて研究されているところである。本発明で使用可能
なキーフレーム抽出方法は、特に制限されないが、本発
明の実施例では視覚的内容複雑指標を用いた抽出方法を
採用しており、点集合理論に基づいて予め指定された歪
曲範囲内における最小のキーフレームを抽出する方式を
使用している。
【００１１】充実度(Fidelity)とは、本発明の核心とな
る要素で、動映像情報からキーフレームを抽出する過程
において子孫フレーム(progeny Frames)に対するキーフ
レームの表現程度を表す定量的な惰報を意味する値のこ
とをいう。忠実度は、一般に、特徴ベクトルと類似度を
用いて得られる。一般に、映像自体をもって他の映像と
比較を行うことには多くの計算量が要されるので、一般
に、映像の代表的な特性を有する特徴ベクトルを使用す
ることになる。かかる特徴ベクトルの例には、ヒストグ
ラムと色コレログラム(Color Correlogram)[１]が挙げ
られる。カラーヒストグラムは色の程度を示すものであ
って、その式は下記のように示される。
る要素で、動映像情報からキーフレームを抽出する過程
において子孫フレーム(progeny Frames)に対するキーフ
レームの表現程度を表す定量的な惰報を意味する値のこ
とをいう。忠実度は、一般に、特徴ベクトルと類似度を
用いて得られる。一般に、映像自体をもって他の映像と
比較を行うことには多くの計算量が要されるので、一般
に、映像の代表的な特性を有する特徴ベクトルを使用す
ることになる。かかる特徴ベクトルの例には、ヒストグ
ラムと色コレログラム(Color Correlogram)[１]が挙げ
られる。カラーヒストグラムは色の程度を示すものであ
って、その式は下記のように示される。
【００１２】
【数１】
【００１３】Ｉは全体映像を表し、pは映像内の座標値
を表し、Ｉ(・)はその座標のカラー値を表し、ｃiはｉ
番目のベクトル元素のカラー値を表す。カラーヒストグ
ラム特徴ベクトルは演算量が少ないが、位置に関する情
報がないため、正確度に劣る。
を表し、Ｉ(・)はその座標のカラー値を表し、ｃiはｉ
番目のベクトル元素のカラー値を表す。カラーヒストグ
ラム特徴ベクトルは演算量が少ないが、位置に関する情
報がないため、正確度に劣る。
【００１４】色コレログラム(Color Correlogram)は与
えられた色が、周辺の色の決められた距離内にいくら分
布されているかを確率的に計算した値であって、その式
は下記のように示される。
えられた色が、周辺の色の決められた距離内にいくら分
布されているかを確率的に計算した値であって、その式
は下記のように示される。
【００１５】
【数２】
【００１６】Ｐrはコレログラム(Correlogram)の各ビン
(bin)の確立値で、ｐ1,ｐ2はピクセルの座標値、ｋは距
離値、ｃiは色の値を表す。一般に、ある映像における
色コレログラム(Color Correlogram)を適用した特徴抽
出情報量は相当多く、計算量が多いため、同一色に関す
る空間的な相関度を抽出するオート・コレログラム(aut
ocorrelogram)を用いる。
(bin)の確立値で、ｐ1,ｐ2はピクセルの座標値、ｋは距
離値、ｃiは色の値を表す。一般に、ある映像における
色コレログラム(Color Correlogram)を適用した特徴抽
出情報量は相当多く、計算量が多いため、同一色に関す
る空間的な相関度を抽出するオート・コレログラム(aut
ocorrelogram)を用いる。
【００１７】
【数３】
【００１８】忠実度を求めるためにこのような特徴ベク
トルを用いた類似度を求めて階層構造における各キーフ
レーム同士間の忠実度を求めることになる。類似度は、
キーフレーム間の距離(distance metric)から得られる
が、かかる距離（ｄ(・)関数）は、下記のような特徴を
有する必要がある。 1) ミニマリティ(Minimality)；全てのａ,ｂに対し
て、ｄ(a,b)≧ｄ(a,a)＝0 2) 対称(Symmetry)；全てのａ,ｂに対して、ｄ(a,b)＝
ｄ(b,a) 3) 三角不等式(The triangular inequality)；全ての
ａ,ｂに対して、ｄ(a,c)≦d(a,b)＋ｄ(b,c)＝0 かかる２つの映像（Ｉa,Ｉb）の特徴ベクトル（ｆa,ｆ
b)間の距離関数は次のように一般化した関数、Ｌp、ノ
ーム(norm)を使用する。
トルを用いた類似度を求めて階層構造における各キーフ
レーム同士間の忠実度を求めることになる。類似度は、
キーフレーム間の距離(distance metric)から得られる
が、かかる距離（ｄ(・)関数）は、下記のような特徴を
有する必要がある。 1) ミニマリティ(Minimality)；全てのａ,ｂに対し
て、ｄ(a,b)≧ｄ(a,a)＝0 2) 対称(Symmetry)；全てのａ,ｂに対して、ｄ(a,b)＝
ｄ(b,a) 3) 三角不等式(The triangular inequality)；全ての
ａ,ｂに対して、ｄ(a,c)≦d(a,b)＋ｄ(b,c)＝0 かかる２つの映像（Ｉa,Ｉb）の特徴ベクトル（ｆa,ｆ
b)間の距離関数は次のように一般化した関数、Ｌp、ノ
ーム(norm)を使用する。
【００１９】
【数４】
【００２０】計算量を減らすために、Ｌ1ノーム(norm)
を多く使用する。これに対するカラーヒストグラムとコ
レログラム(correlogram)の距離関数は下記のようであ
る。
を多く使用する。これに対するカラーヒストグラムとコ
レログラム(correlogram)の距離関数は下記のようであ
る。
【００２１】
【数５】
【００２２】このような距離関数を用いてノードaにお
けるノード忠実度（εa）とエッジ忠実度（ｅa）はそれ
ぞれ下記のように得られる。
けるノード忠実度（εa）とエッジ忠実度（ｅa）はそれ
ぞれ下記のように得られる。
【００２３】
【数６】
【００２４】Ｔaはａのサブツリーを表し、Ｐaはａの親
ノードを表し、ｄは[０]から[１]までの正規化された距
離値を表す。 １ ；自分のサブツリーを完全に表すキーフレーム ０.８；自分のサブツリーを極めて良好に表すキーフレ
ーム ０.６；自分のサブツリーを良好に表すキーフレーム ０.４；自分のサブツリーを適宜表すキーフレーム ０.２；自分のサブツリーを良好に表せないキーフレー
ム
ノードを表し、ｄは[０]から[１]までの正規化された距
離値を表す。 １ ；自分のサブツリーを完全に表すキーフレーム ０.８；自分のサブツリーを極めて良好に表すキーフレ
ーム ０.６；自分のサブツリーを良好に表すキーフレーム ０.４；自分のサブツリーを適宜表すキーフレーム ０.２；自分のサブツリーを良好に表せないキーフレー
ム
【００２５】忠実度の値が高いということは、キーフレ
ームが自分のサブツリーをより良好に表すということを
意味する。図１(ｃ)でエッジ忠実度ｅ9,ｅ10は、下記の
ように得られる。
ームが自分のサブツリーをより良好に表すということを
意味する。図１(ｃ)でエッジ忠実度ｅ9,ｅ10は、下記の
ように得られる。
【００２６】
【数７】
【００２７】また、ノード忠実度ε1,ε2,ε3は、下記
の式によって求める。
の式によって求める。
【００２８】
【数８】
【００２９】また、ノード忠実度とエッジ忠実度は、下
記の関係式を満足する。
記の関係式を満足する。
【００３０】
【数９】
【００３１】図１(ｃ)でノード忠実度ε3とエッジ忠実
度ｅ9,ｅ10の関係は、
度ｅ9,ｅ10の関係は、
【００３２】
【数１０】
【００３３】となることが、式（８−３）と式（７−
１）,（７−２）から容易に分かる。
１）,（７−２）から容易に分かる。
【００３４】図１(ｃ)は、トータル８つのキーフレーム
に対して２つのサブツリーを有する下向的ツリー構成方
式を用いた動映像ツリー構造を示す。図１(ｂ)における
ものとは異なり、時間的に離れている類似度の高いフレ
ームについても考慮して１つのキーフレームを選択する
方式である。このような抽出方法に対する定量的な数式
表現の一例として次のような表現が可能である。 ｄ9＝max｛ｄ(ｆ6,ｆ1),ｄ(ｆ6,ｆ2),ｄ(ｆ6,ｆ3),ｄ(ｆ6,ｆ5)｝ ｄ10＝max｛ｄ(ｆ6,ｆ4),ｄ(ｆ6,ｆ6),ｄ(ｆ6,ｆ7),ｄ(ｆ6,ｆ8)｝ ここで、ｄ(ｆi,ｆj)は、距離メトリック(distance met
ric)であって、類似の程度を表す値を有する。
に対して２つのサブツリーを有する下向的ツリー構成方
式を用いた動映像ツリー構造を示す。図１(ｂ)における
ものとは異なり、時間的に離れている類似度の高いフレ
ームについても考慮して１つのキーフレームを選択する
方式である。このような抽出方法に対する定量的な数式
表現の一例として次のような表現が可能である。 ｄ9＝max｛ｄ(ｆ6,ｆ1),ｄ(ｆ6,ｆ2),ｄ(ｆ6,ｆ3),ｄ(ｆ6,ｆ5)｝ ｄ10＝max｛ｄ(ｆ6,ｆ4),ｄ(ｆ6,ｆ6),ｄ(ｆ6,ｆ7),ｄ(ｆ6,ｆ8)｝ ここで、ｄ(ｆi,ｆj)は、距離メトリック(distance met
ric)であって、類似の程度を表す値を有する。
【００３５】仮に、使用者がこの方式により質疑イメー
ジｆqを検索するとき（ｄ10＜ｄ9と仮定する)、使用者
指定値のｅに対し、第１に、ｄ(ｆq,ｆ6))＜ｄ10＋ｄ0
のとき、２つのサブツリーとも探索し、第２に、ｄ10＋
ｄ0＜ｄ(ｆq,ｆ6)＜ｄ9＋ｄ0のとき、ｆ2をルートとす
るサブツリーを遮断(pruning)し、他のサブツリー（ｆ6
をルートとするサブツリー）を探索し、第３に、ｄ9＋
ｄ0＜ｄ(ｆq,ｆ6)のとき、２つのサブツリーとも遮断す
る。この技法は、検索過程で、質疑イメージｆqに対
し、下向的検索による不要な比較過程を細部にわたって
検査することにより、遮断条件を既存方式より詳細化さ
せて遮断の可能性をさらに付与して検索効率をもう一層
高めることができる。
ジｆqを検索するとき（ｄ10＜ｄ9と仮定する)、使用者
指定値のｅに対し、第１に、ｄ(ｆq,ｆ6))＜ｄ10＋ｄ0
のとき、２つのサブツリーとも探索し、第２に、ｄ10＋
ｄ0＜ｄ(ｆq,ｆ6)＜ｄ9＋ｄ0のとき、ｆ2をルートとす
るサブツリーを遮断(pruning)し、他のサブツリー（ｆ6
をルートとするサブツリー）を探索し、第３に、ｄ9＋
ｄ0＜ｄ(ｆq,ｆ6)のとき、２つのサブツリーとも遮断す
る。この技法は、検索過程で、質疑イメージｆqに対
し、下向的検索による不要な比較過程を細部にわたって
検査することにより、遮断条件を既存方式より詳細化さ
せて遮断の可能性をさらに付与して検索効率をもう一層
高めることができる。
【００３６】図１(ｄ)は、トータル８つのキーフレーム
に対して３つのサブツリーを有する下向的ツリー構成方
式を用いた動映像ツリー構造を示す図である。
に対して３つのサブツリーを有する下向的ツリー構成方
式を用いた動映像ツリー構造を示す図である。
【００３７】
【表１】
【００３８】図１(ｄ)の動映像ツリー構造に対し、ノー
ド忠実度とエッジ忠実度を用いた動映像検索は、下記の
ような相違を示す。ノード忠実度では、忠実度が下位ノ
ード忠実度を代表するため、下位ノードのいずれも三角
不等式を満足しないと必ず検索を行う必要があったが、
エッジ忠実度ではそれぞれの下位ノードにわたるエッジ
を比較するため、それぞれに対して三角不等式を適用し
て不要な検索を避けることができる。
ド忠実度とエッジ忠実度を用いた動映像検索は、下記の
ような相違を示す。ノード忠実度では、忠実度が下位ノ
ード忠実度を代表するため、下位ノードのいずれも三角
不等式を満足しないと必ず検索を行う必要があったが、
エッジ忠実度ではそれぞれの下位ノードにわたるエッジ
を比較するため、それぞれに対して三角不等式を適用し
て不要な検索を避けることができる。
【００３９】ｄ0は検索臨界値を表し、ｄ9,ｄlO,ｄll
(ｄ9＜ｄ10＜ｄll)はそれぞれ親ノードからサブツリー
ｆ9,ｆ10,ｆ11間の距離を表し、次のような条件を有す
る。エッジ忠実度ではｄ9＝１−ｅg、ｄ10＝１−ｅ10、
ｄ11＝１−ｅ11で表され、ノード忠実度では式(１０)の
性質により[ｄ9＝ｄ10＝ｄ11]となる。
(ｄ9＜ｄ10＜ｄll)はそれぞれ親ノードからサブツリー
ｆ9,ｆ10,ｆ11間の距離を表し、次のような条件を有す
る。エッジ忠実度ではｄ9＝１−ｅg、ｄ10＝１−ｅ10、
ｄ11＝１−ｅ11で表され、ノード忠実度では式(１０)の
性質により[ｄ9＝ｄ10＝ｄ11]となる。
【００４０】本発明は、このようなキーフレームに対す
る忠実度を、動映像資料における効率的で効果的よい検
索および要約に応用して使用者にさらに満足できるよう
な検索結果イメージを提供することができ、要約におい
ても、動映像資料をより迅速で含縮的に表現できる優れ
た機能を行うことができる。また、動映像について比率
制制御上(Rate-Constrained)の要約を可能にし得る。例
えば、制限された時間で動映像を可能にするために、任
意の個数だけのキーフレームを抽出できなければならな
いが、本発明は予め忠実度の値に関してかかる忠実度値
に基づいた動映像要約を可能にする。
る忠実度を、動映像資料における効率的で効果的よい検
索および要約に応用して使用者にさらに満足できるよう
な検索結果イメージを提供することができ、要約におい
ても、動映像資料をより迅速で含縮的に表現できる優れ
た機能を行うことができる。また、動映像について比率
制制御上(Rate-Constrained)の要約を可能にし得る。例
えば、制限された時間で動映像を可能にするために、任
意の個数だけのキーフレームを抽出できなければならな
いが、本発明は予め忠実度の値に関してかかる忠実度値
に基づいた動映像要約を可能にする。
【００４１】図２は、本発明に適用される階層的キーフ
レームの忠実度を用いる検索並びに要約および割合制限
上キーフレーム抽出方法を説明するための索引された動
映像ツリー構造を示す例示図である。まず、任意の動映
像に対し、前記提示したキーフレーム抽出方法を用いて
１１個のキーフレームを抽出し、全てのキーフレームの
特牲値を含む歪曲範囲を設定してｆ4をルートとして設
定する。その後、直前過程での歪曲範囲より小さく調整
してｆ4とｆ６を抽出して下位ツリーに構成させる。
レームの忠実度を用いる検索並びに要約および割合制限
上キーフレーム抽出方法を説明するための索引された動
映像ツリー構造を示す例示図である。まず、任意の動映
像に対し、前記提示したキーフレーム抽出方法を用いて
１１個のキーフレームを抽出し、全てのキーフレームの
特牲値を含む歪曲範囲を設定してｆ4をルートとして設
定する。その後、直前過程での歪曲範囲より小さく調整
してｆ4とｆ６を抽出して下位ツリーに構成させる。
【００４２】これと同様な方式により、その次の下位レ
ベルに対しては前過程でツリーを形成させるために使用
された歪曲範囲よりも小さくすることにより、下位レベ
ルに行くほどフレームの鮮明度が段々高くなる。このよ
うな下向的ツリーの形成は、既存の上向的ツリーの形成
に比べ、ツリー構造をより均衡よくする。言い換えれ
ば、既存の上向的ツリー構成方式に比べ、下向的ツリー
構成方式は、ツリー構成時の歪曲範囲を適正に設定する
場合、各歪曲範囲に対する抽出されたキーフレームに対
して全般的に似ている個数の子孫キーフレームを含むこ
とになる。
ベルに対しては前過程でツリーを形成させるために使用
された歪曲範囲よりも小さくすることにより、下位レベ
ルに行くほどフレームの鮮明度が段々高くなる。このよ
うな下向的ツリーの形成は、既存の上向的ツリーの形成
に比べ、ツリー構造をより均衡よくする。言い換えれ
ば、既存の上向的ツリー構成方式に比べ、下向的ツリー
構成方式は、ツリー構成時の歪曲範囲を適正に設定する
場合、各歪曲範囲に対する抽出されたキーフレームに対
して全般的に似ている個数の子孫キーフレームを含むこ
とになる。
【００４３】これに対し、上向的ツリー構成は、各親キ
ーフレーム(parent keyframe)が含む子孫キーフレーム
の数が不均衡である。このような特性のため、検索にお
いて遮断が起こる場合、均衡したツリーである場合、相
当部分を検索過程で除去することにより検索時間をかな
り短縮させ得ることになる。たとえ、実質的には親キー
フレームごとに同数の子孫キーフレームを含み、ツリー
が構成されることではないものの、下向的ツリー構造を
構成することにより、副最適(sub-optimal)にそれに相
序する結果をきたすことができることになる。
ーフレーム(parent keyframe)が含む子孫キーフレーム
の数が不均衡である。このような特性のため、検索にお
いて遮断が起こる場合、均衡したツリーである場合、相
当部分を検索過程で除去することにより検索時間をかな
り短縮させ得ることになる。たとえ、実質的には親キー
フレームごとに同数の子孫キーフレームを含み、ツリー
が構成されることではないものの、下向的ツリー構造を
構成することにより、副最適(sub-optimal)にそれに相
序する結果をきたすことができることになる。
【００４４】各キーフレームはそれぞれの固有の忠実度
の値であるＦ値を有している。これは、キーフレーム抽
出部のうちキーフレームの忠実度計算部１２３０でなさ
れた値である。キーフレームの忠実度は、そのキーフレ
ームを最上位ノードとするサブツリーの特性を全体とし
て説明する値である。仮に、図２において、レベル３に
位置するキーフレームｆ4の忠実度[０.６],[０.８８],
[０.６５]はレベル３のｆ4がそれの左側サブツリーに属
しているｆ1,ｆ2を[０.６]の水準で情報を表現し、中間
サブツリーであるｆ3,ｆ4,ｆ5の特性を[０.８８]の水準
で情報を表現することを意味する。そして、右側サブツ
リーを構成するｆ8,ｆ10,ｆ11を[０.６５]の水準で情報
を表現することを意味する。
の値であるＦ値を有している。これは、キーフレーム抽
出部のうちキーフレームの忠実度計算部１２３０でなさ
れた値である。キーフレームの忠実度は、そのキーフレ
ームを最上位ノードとするサブツリーの特性を全体とし
て説明する値である。仮に、図２において、レベル３に
位置するキーフレームｆ4の忠実度[０.６],[０.８８],
[０.６５]はレベル３のｆ4がそれの左側サブツリーに属
しているｆ1,ｆ2を[０.６]の水準で情報を表現し、中間
サブツリーであるｆ3,ｆ4,ｆ5の特性を[０.８８]の水準
で情報を表現することを意味する。そして、右側サブツ
リーを構成するｆ8,ｆ10,ｆ11を[０.６５]の水準で情報
を表現することを意味する。
【００４５】換言すると、既に提示したキーフレームの
忠実度とはやや異なる概念を意味するが、それぞれのキ
ーフレームは、自分のサブツリーの情報を個別的にそれ
ぞれのエッジに置くことによって動映像情報め表現をさ
らに明確で細密な表現とする。これにより、後で動映像
の検索における遮断の条件がさらに細分化されることに
よって検索の遮断過程を既に提示した忠実度概念よりも
一段階向上した結果を誘導することになる。これに対す
る数式的な表現は前述のとおりである。
忠実度とはやや異なる概念を意味するが、それぞれのキ
ーフレームは、自分のサブツリーの情報を個別的にそれ
ぞれのエッジに置くことによって動映像情報め表現をさ
らに明確で細密な表現とする。これにより、後で動映像
の検索における遮断の条件がさらに細分化されることに
よって検索の遮断過程を既に提示した忠実度概念よりも
一段階向上した結果を誘導することになる。これに対す
る数式的な表現は前述のとおりである。
【００４６】他の例として、レベル２にあるキーフレー
ムｆ11の忠実度[０.９２],[０.８８],[０.９５]は、ｆ
8,ｆ10,ｆ11のルートで、その子孫フレームを表現する
程度を示す値を意味する。ここで、ｆ11が同じフレーム
であるにもかかわらず、忠実度が[１]とならないこと
は、最下位のフレームは固有の動映像フレームでなく、
抽出されたキーフレームを意味するためである。忠実度
の値が大きくなるほど、そのキーフレームはそのキーフ
レームに属する下位レベルのフレームをよりよく代表す
ると言える。すなわち、忠実度の値が高くなるほどその
キーフレームと下位レベルフレーム間の類似度が高い。
結局、忠実度とフレーム間の距離関数による距離値とは
互いに反比例することを表す。
ムｆ11の忠実度[０.９２],[０.８８],[０.９５]は、ｆ
8,ｆ10,ｆ11のルートで、その子孫フレームを表現する
程度を示す値を意味する。ここで、ｆ11が同じフレーム
であるにもかかわらず、忠実度が[１]とならないこと
は、最下位のフレームは固有の動映像フレームでなく、
抽出されたキーフレームを意味するためである。忠実度
の値が大きくなるほど、そのキーフレームはそのキーフ
レームに属する下位レベルのフレームをよりよく代表す
ると言える。すなわち、忠実度の値が高くなるほどその
キーフレームと下位レベルフレーム間の類似度が高い。
結局、忠実度とフレーム間の距離関数による距離値とは
互いに反比例することを表す。
【００４７】本発明の階層的動映像ツリー構造におい
て、忠実度を用いた効率的な動映像検索及び要約装置の
一実施例を図３に基づいて説明する。本発明の装置は、
動映像資料から動映像の各単位境界を区分し検出する単
位境界検出部１１００と、該単位境界検出部１１００で
区分された各単位に対して予め設定されたキーフレーム
抽出関数を用いてキーフレームを抽出し、各単位に該当
するキーフレーム番号とともに貯蔵するキーフレーム抽
出部１２００と、該キーフレーム抽出部１２００に貯蔵
されたキーフレームを受けて各キーフレームの特性値を
抽出し、全体キーフレームの特性値を含む歪曲範囲を設
定してルートキーフレームと設定した後、特性値の歪曲
範囲をさらに小さく調整して下位ツリーを構成する方法
で下向的に動映像ツリー構造を構成し、抽出された各キ
ーフレームの特性値を用いて上位キーフレームの下位キ
ーフレームに対する忠実度を計算する忠実度計算部１６
０１と、該忠実度計算部１６０１で計算された忠実度を
上下位キーフレーム間のエッジに貯蔵する忠実度貯蔵部
０６０２と、を含めて構成される。本発明で、キーフレ
ームの忠実度はサブツリーの情報を定量的に表す数値で
ある。
て、忠実度を用いた効率的な動映像検索及び要約装置の
一実施例を図３に基づいて説明する。本発明の装置は、
動映像資料から動映像の各単位境界を区分し検出する単
位境界検出部１１００と、該単位境界検出部１１００で
区分された各単位に対して予め設定されたキーフレーム
抽出関数を用いてキーフレームを抽出し、各単位に該当
するキーフレーム番号とともに貯蔵するキーフレーム抽
出部１２００と、該キーフレーム抽出部１２００に貯蔵
されたキーフレームを受けて各キーフレームの特性値を
抽出し、全体キーフレームの特性値を含む歪曲範囲を設
定してルートキーフレームと設定した後、特性値の歪曲
範囲をさらに小さく調整して下位ツリーを構成する方法
で下向的に動映像ツリー構造を構成し、抽出された各キ
ーフレームの特性値を用いて上位キーフレームの下位キ
ーフレームに対する忠実度を計算する忠実度計算部１６
０１と、該忠実度計算部１６０１で計算された忠実度を
上下位キーフレーム間のエッジに貯蔵する忠実度貯蔵部
０６０２と、を含めて構成される。本発明で、キーフレ
ームの忠実度はサブツリーの情報を定量的に表す数値で
ある。
【００４８】図４は、図３のキーフレーム抽出部１２０
０についての詳細ブロック図である。本発明の動映像検
索及び要約装置におけるキーフレーム抽出部１２００
は、大別してキーフレーム抽出関数部１２１０、抽出キ
ーフレーム貯蔵部１２２０、及びキーフレームの忠実度
計算部１２３０から構成される。本発明の装置におい
て、キーフレーム抽出関数部１２１０は、単位境界検出
部１１００で区分された各単位に対し、予め設定された
キーフレーム抽出関数を用いてキーフレームを抽出す
る。本発明において、キーフレーム抽出関数は特に制限
されなく、既存に使用されているもののなかで任意のも
のを使用するといい。一例として、本発明のキーフレー
ム抽出関数部１２１０は、視覚的内容複雑指標(visual
content complexity indicator)を用いる、所定の歪曲
範囲内における最小のキーフレームを抽出する関数を使
用することができる。
０についての詳細ブロック図である。本発明の動映像検
索及び要約装置におけるキーフレーム抽出部１２００
は、大別してキーフレーム抽出関数部１２１０、抽出キ
ーフレーム貯蔵部１２２０、及びキーフレームの忠実度
計算部１２３０から構成される。本発明の装置におい
て、キーフレーム抽出関数部１２１０は、単位境界検出
部１１００で区分された各単位に対し、予め設定された
キーフレーム抽出関数を用いてキーフレームを抽出す
る。本発明において、キーフレーム抽出関数は特に制限
されなく、既存に使用されているもののなかで任意のも
のを使用するといい。一例として、本発明のキーフレー
ム抽出関数部１２１０は、視覚的内容複雑指標(visual
content complexity indicator)を用いる、所定の歪曲
範囲内における最小のキーフレームを抽出する関数を使
用することができる。
【００４９】キーフレーム抽出関数部１２１０により各
単位区間ごとに一定数のキーフレームが抽出されると、
そのキーフレームは抽出キーフレーム貯蔵部１２２０に
送られて、各単位に該当するキーフレームの番号が貯蔵
される。その貯蔵されたキーフレームはキーフレームの
忠実度計算部１２３０に送られて忠実度の値が設定さ
れ、抽出キーフレーム貯蔵部１２２０とキーフレームの
忠実度計算部１２３０の反復過程により最終に動映像資
料の忠実度を適用したキーフレームが抽出される。本発
明で前記抽出キーフレーム貯蔵部１２２０はキーフレー
ムの忠実度計算部１２３０で計算されたキーフレーム忠
実度の値をキーフレーム間のエッジに貯蔵する。
単位区間ごとに一定数のキーフレームが抽出されると、
そのキーフレームは抽出キーフレーム貯蔵部１２２０に
送られて、各単位に該当するキーフレームの番号が貯蔵
される。その貯蔵されたキーフレームはキーフレームの
忠実度計算部１２３０に送られて忠実度の値が設定さ
れ、抽出キーフレーム貯蔵部１２２０とキーフレームの
忠実度計算部１２３０の反復過程により最終に動映像資
料の忠実度を適用したキーフレームが抽出される。本発
明で前記抽出キーフレーム貯蔵部１２２０はキーフレー
ムの忠実度計算部１２３０で計算されたキーフレーム忠
実度の値をキーフレーム間のエッジに貯蔵する。
【００５０】図５に基づき、キーフレームの忠実度を用
いた本発明の動映像検索方法を詳細に説明する。まず、
使用者の質疑が始まると、使用者は所望の質疑フレーム
を入力する（Ｓ１）。その後、質疑フレームとデータベ
ース内のツリー構造に索引された動映像情報の最上位キ
ーフレームが類似するかを比較する（Ｓ２）。比較の結
果、類似度が高ければ、下位レベルに経路を探索し（Ｓ
３）、類似度が低ければ、キーフレームの忠実度の適正
性を判断して、忠実度が高ければ、検索経路を遮断(pru
ning)して新たな経路を探索し、忠実度が低ければ、下
位レベルに経路を探索する（Ｓ４）。下位レベルに経路
を探索した後、現在比較したキーフレームが最下位レベ
ルのキーフレームであるかを判断して、最下位フレーム
である場合、類似度の適正性を判断して、適正である
と、検索結果フレームを貯蔵し、適正でなければ、新た
な経路を探索する（Ｓ５）。
いた本発明の動映像検索方法を詳細に説明する。まず、
使用者の質疑が始まると、使用者は所望の質疑フレーム
を入力する（Ｓ１）。その後、質疑フレームとデータベ
ース内のツリー構造に索引された動映像情報の最上位キ
ーフレームが類似するかを比較する（Ｓ２）。比較の結
果、類似度が高ければ、下位レベルに経路を探索し（Ｓ
３）、類似度が低ければ、キーフレームの忠実度の適正
性を判断して、忠実度が高ければ、検索経路を遮断(pru
ning)して新たな経路を探索し、忠実度が低ければ、下
位レベルに経路を探索する（Ｓ４）。下位レベルに経路
を探索した後、現在比較したキーフレームが最下位レベ
ルのキーフレームであるかを判断して、最下位フレーム
である場合、類似度の適正性を判断して、適正である
と、検索結果フレームを貯蔵し、適正でなければ、新た
な経路を探索する（Ｓ５）。
【００５１】次いで、検索結果の貯蔵後、検索が完全に
実行されたかを判断して、完全に実行された場合、検索
された結果フレームをディスプレイし、一方、最下位レ
ベルまで検索が完了されていない場合には、第5段階
（Ｓ５）に進行し、最下位レベルに至るまで類似度比較
段階を繰り返す（Ｓ６）。
実行されたかを判断して、完全に実行された場合、検索
された結果フレームをディスプレイし、一方、最下位レ
ベルまで検索が完了されていない場合には、第5段階
（Ｓ５）に進行し、最下位レベルに至るまで類似度比較
段階を繰り返す（Ｓ６）。
【００５２】図６は、本発明の他の実施例であり、キー
フレームの忠実度及び距離メトリック特性(distance me
tric property)を考慮した検索エンジンでの検索方法を
示すフローチャートである。同図に示すように、本発明
の方法により動映像を検索する過程は、使用者から質疑
フレームとともに臨界値を受信する段階と；使用者より
入力された質疑フレームから特徴ベクトルを抽出し、デ
ータベース内のツリー構造に索引されて貯蔵されている
動映像の最上位レベルキーフレームの特徴ベクトルと比
較して、それらの両フレーム間の距離メトリックを計算
する段階と；前記段階で両フレーム間の距離メトリック
が臨界値とサブツリーの距離メトリックとの和より小さ
いとサブツリーを検索し、前記両フレーム間の距離メト
リックが臨界値とサブツリーの距離メトリックとの和よ
り大きい場合には、検索経路を遮断して新規の経路を検
索する段階と；下位レベルに経路を探索した後、現在比
較するキーフレームが最下位レベルのキーフレームの場
合には質疑フレームと現在フレームの類似度が臨界値よ
り大きいか確認し、大きいと現在キーフレームを出力
し、臨界値より小さいと検索経路を遮断して新規の経路
を探索する段階と；を含む。
フレームの忠実度及び距離メトリック特性(distance me
tric property)を考慮した検索エンジンでの検索方法を
示すフローチャートである。同図に示すように、本発明
の方法により動映像を検索する過程は、使用者から質疑
フレームとともに臨界値を受信する段階と；使用者より
入力された質疑フレームから特徴ベクトルを抽出し、デ
ータベース内のツリー構造に索引されて貯蔵されている
動映像の最上位レベルキーフレームの特徴ベクトルと比
較して、それらの両フレーム間の距離メトリックを計算
する段階と；前記段階で両フレーム間の距離メトリック
が臨界値とサブツリーの距離メトリックとの和より小さ
いとサブツリーを検索し、前記両フレーム間の距離メト
リックが臨界値とサブツリーの距離メトリックとの和よ
り大きい場合には、検索経路を遮断して新規の経路を検
索する段階と；下位レベルに経路を探索した後、現在比
較するキーフレームが最下位レベルのキーフレームの場
合には質疑フレームと現在フレームの類似度が臨界値よ
り大きいか確認し、大きいと現在キーフレームを出力
し、臨界値より小さいと検索経路を遮断して新規の経路
を探索する段階と；を含む。
【００５３】本発明の他の態様は、忠実度を用いた階層
的ツリー構造の動映像要約方法である。図７に基づいて
この要約方法を説明すると、まず、サーバーに使用者が
要約の要請を始め、使用者の所望する臨界範囲の臨界値
を入力する（Ｓ７１）。その後、データベースの最上位
レベルのキーフレーム忠実度と使用者指定臨界値とを比
較する（Ｓ７２）。この比較の結果、キーフレームの忠
実度が臨界値より大きければ、現在のキーフレームをバ
ッファに貯蔵させる（Ｓ７３）。仮に、臨界値より小さ
ければ、下位レベルキーフレームの忠実度と比較し、そ
の結果、キーフレームの忠実度が臨界値より大きけれ
ば、結果イメージとしてバッファに貯蔵させ、小さけれ
ば下位レベルの新たな経路に進入して同一過程を繰り返
す（Ｓ７４）。最下位レベルまでの比較が終わったと判
断されると、最終にバッファに貯蔵されたイメージをデ
ィスプレイする（Ｓ７５）。
的ツリー構造の動映像要約方法である。図７に基づいて
この要約方法を説明すると、まず、サーバーに使用者が
要約の要請を始め、使用者の所望する臨界範囲の臨界値
を入力する（Ｓ７１）。その後、データベースの最上位
レベルのキーフレーム忠実度と使用者指定臨界値とを比
較する（Ｓ７２）。この比較の結果、キーフレームの忠
実度が臨界値より大きければ、現在のキーフレームをバ
ッファに貯蔵させる（Ｓ７３）。仮に、臨界値より小さ
ければ、下位レベルキーフレームの忠実度と比較し、そ
の結果、キーフレームの忠実度が臨界値より大きけれ
ば、結果イメージとしてバッファに貯蔵させ、小さけれ
ば下位レベルの新たな経路に進入して同一過程を繰り返
す（Ｓ７４）。最下位レベルまでの比較が終わったと判
断されると、最終にバッファに貯蔵されたイメージをデ
ィスプレイする（Ｓ７５）。
【００５４】本発明のさらに他の態様は、階層的ツリー
構造の動映像の要約方法である。本発明の方法により動
映像を要約することにおいては、任意の数に対する要約
及び忠実度に基づいた要約が要求できる。まず、使用者
が所望の任意のフレーム数に対する要約方法を図８に基
づいて説明する。使用者が所望のフレーム数(Ｎ)又は要
約時間を設定する（Ｓ８１）。その後、ルートキーフレ
ームを貯蔵し（Ｓ８２）、貯蔵されたキーフレームのキ
ーフレーム選定に関与しなかった忠実度の値のなかで最
小値を有するサブツリーのルートをバッファに貯蔵する
（Ｓ８３）。このように、ルートキーフレームを始めと
して、忠実度の値に基づいて忠実度の小さいサブツリー
のルートをバッファに続けて貯蔵しながら、バッファに
貯蔵されたフレーム数が使用者が指定したフレーム数
(Ｎ)より小さい場合、第８３段階（Ｓ８３）に進行し、
フレーム数が使用者が指定値に到達するまで繰り返し遂
行する（Ｓ８４）。最終に、バッファに貯蔵されたフレ
ーム数が最初に設定された数(Ｎ)と一致すると、バッフ
ァに貯蔵されたフレームをディスプレイする（Ｓ８
５）。これに適用されるアルゴリズムを図９(ａ)及び図
９(ｂ)に示す。
構造の動映像の要約方法である。本発明の方法により動
映像を要約することにおいては、任意の数に対する要約
及び忠実度に基づいた要約が要求できる。まず、使用者
が所望の任意のフレーム数に対する要約方法を図８に基
づいて説明する。使用者が所望のフレーム数(Ｎ)又は要
約時間を設定する（Ｓ８１）。その後、ルートキーフレ
ームを貯蔵し（Ｓ８２）、貯蔵されたキーフレームのキ
ーフレーム選定に関与しなかった忠実度の値のなかで最
小値を有するサブツリーのルートをバッファに貯蔵する
（Ｓ８３）。このように、ルートキーフレームを始めと
して、忠実度の値に基づいて忠実度の小さいサブツリー
のルートをバッファに続けて貯蔵しながら、バッファに
貯蔵されたフレーム数が使用者が指定したフレーム数
(Ｎ)より小さい場合、第８３段階（Ｓ８３）に進行し、
フレーム数が使用者が指定値に到達するまで繰り返し遂
行する（Ｓ８４）。最終に、バッファに貯蔵されたフレ
ーム数が最初に設定された数(Ｎ)と一致すると、バッフ
ァに貯蔵されたフレームをディスプレイする（Ｓ８
５）。これに適用されるアルゴリズムを図９(ａ)及び図
９(ｂ)に示す。
【００５５】まず、最初に図９(ａ)に示すように形成さ
れた動映像ツリー構造において使用者が望む任意の数に
対する要約をすることにあって、１つである場合、ルー
トキーフレームであるＡが選択される。２つである場合
に限っては、ルートキーフレームであるＡを含み、その
下位サブツリーのルートであるＢ,Ｃ,Ｄの一つが選択で
きる。ここで、Ｂ,Ｃ,Ｄの一つが選択される方法におい
て、Ａに対するＢ,Ｃ,Ｄサブツリーを表現する忠実度の
値を比較して、忠実度の最小であるエッジを切断するこ
とで、２つのツリーに構成させる。図９(ａ)において
は、Ｆ1,Ｆ2,Ｆ3のなかでＦ3が最小であると仮定する
と、ＡとＤを連結するエッジを切断することにより、図
９(ｂ)のような形態にツリーが分けられる。結局、切断
されたエッジでのサブツリーに対するルートであるＤが
選択される。同様な方式に従い、任意の数Ｎに対する抽
出方式でＮ個が抽出されるまで分けられたツリーのルー
トに対する忠実度の値のなかで、最小のサブツリーのル
ートを抽出することにより、忠実度に基づいた任意の数
への要約を最適化可能にする。
れた動映像ツリー構造において使用者が望む任意の数に
対する要約をすることにあって、１つである場合、ルー
トキーフレームであるＡが選択される。２つである場合
に限っては、ルートキーフレームであるＡを含み、その
下位サブツリーのルートであるＢ,Ｃ,Ｄの一つが選択で
きる。ここで、Ｂ,Ｃ,Ｄの一つが選択される方法におい
て、Ａに対するＢ,Ｃ,Ｄサブツリーを表現する忠実度の
値を比較して、忠実度の最小であるエッジを切断するこ
とで、２つのツリーに構成させる。図９(ａ)において
は、Ｆ1,Ｆ2,Ｆ3のなかでＦ3が最小であると仮定する
と、ＡとＤを連結するエッジを切断することにより、図
９(ｂ)のような形態にツリーが分けられる。結局、切断
されたエッジでのサブツリーに対するルートであるＤが
選択される。同様な方式に従い、任意の数Ｎに対する抽
出方式でＮ個が抽出されるまで分けられたツリーのルー
トに対する忠実度の値のなかで、最小のサブツリーのル
ートを抽出することにより、忠実度に基づいた任意の数
への要約を最適化可能にする。
【００５６】
【発明の効果】以上説明したように、本発明による検索
及び動映像要約に関する効果を考慮すると、検索にあた
っては、使用者の適正な臨界値の設定により検索時間を
かなり短縮させ得るだけでなく、検索結果も使用者の満
足水準を保障することができる。これは、後にインター
ネットでのビデオ検索エンジンがサービスされる場合、
ネットワークの制限されたサービス速度と時間に対しど
のくらい克服できることを保障することができる。ま
た、要約の側面で見ると、サーバー環境で追求する動映
像情報の効果的で概略的な表現を定量的な臨界範囲内で
表現し得るので、所望範囲内のキーフレームを多様に表
現することができる。このような情報表現の可変性及び
多様化により、使用者により易しく所望の靖報を提供す
ることができる。
及び動映像要約に関する効果を考慮すると、検索にあた
っては、使用者の適正な臨界値の設定により検索時間を
かなり短縮させ得るだけでなく、検索結果も使用者の満
足水準を保障することができる。これは、後にインター
ネットでのビデオ検索エンジンがサービスされる場合、
ネットワークの制限されたサービス速度と時間に対しど
のくらい克服できることを保障することができる。ま
た、要約の側面で見ると、サーバー環境で追求する動映
像情報の効果的で概略的な表現を定量的な臨界範囲内で
表現し得るので、所望範囲内のキーフレームを多様に表
現することができる。このような情報表現の可変性及び
多様化により、使用者により易しく所望の靖報を提供す
ることができる。
【００５７】更に、動映像要約においては、使用者が所
望の時間制限上の要約を可能にすることにより、そのよ
うな制限要件により、ネットワークの帯域制限又は放送
映像の時間制限に対する映像編集を正確で容易にサービ
スすることができる。
望の時間制限上の要約を可能にすることにより、そのよ
うな制限要件により、ネットワークの帯域制限又は放送
映像の時間制限に対する映像編集を正確で容易にサービ
スすることができる。
【図１】キーフレームの定義と、キーフレーム抽出方法
の例を示す概念図。
の例を示す概念図。
【図２】本発明に適用されるキーフレームの忠実度を用
いた動映像の検索、ブラウジングおよび要約の方法を説
明するための、索引された動映像ツリー構造を示す図。
いた動映像の検索、ブラウジングおよび要約の方法を説
明するための、索引された動映像ツリー構造を示す図。
【図３】本発明の階層的動映像ツリー構造において、忠
実度を用いる検索、ブラウジングおよび要約装置の一実
施例のブロック図。
実度を用いる検索、ブラウジングおよび要約装置の一実
施例のブロック図。
【図４】図３に示す装置におけるキーフレーム抽出部の
詳細ブロック図。
詳細ブロック図。
【図５】本発明によるキーフレームの忠実度を用いる検
索方法の処理手順を示す図。
索方法の処理手順を示す図。
【図６】本発明によるキーフレームの忠実度およびメト
リック特性を考慮した検索方法の処理手順を示す図。
リック特性を考慮した検索方法の処理手順を示す図。
【図７】本発明によりキーフレームの忠実度を用いるブ
ラウジング装置でのブラウジング方法の処理手順を示す
図。
ラウジング装置でのブラウジング方法の処理手順を示す
図。
【図８】本発明による階層的ツリー構造の動映像の要約
方法の処理手順を示す図。
方法の処理手順を示す図。
【図９】本発明によるキーフレーム抽出のためのＭａｘ
−Ｃｕｔアルゴリズムを説明するための図。
−Ｃｕｔアルゴリズムを説明するための図。
１０００ 動映像資料
１１００ 単位境界検出部
１２００ キーフレーム抽出部
１２１０ キーフレーム抽出関数部
１２２０ 抽出キーフレーム貯蔵部
１２３０ キーフレームの忠実度計算部
１３００ ブラウジング装置応用部
１４００ 検索エンジン応用部
１５００ 動映像要約装置応用部
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 張 現盛
大韓民国大田市西區萬年洞 江邊アパー
ト112棟506号
(56)参考文献 国際公開99／032993（ＷＯ，Ａ１)
當麻徹，宮森恒，富永英義，ディジタ
ル動画像の自動的構造化及び要約作成手
法に関する研究，電子情報通信学会技術
研究（ＩＥ95−149），1996年 ３月15
日，第95巻，第584号，第９〜14頁
柴田正啓，金淵培，シーン記述に基づ
く映像の要約再生，電子情報通信学会技
術研究報告（ＩＥ95−152），1996年
３月15日，第95巻，第584号，第27〜32
頁
田中聡，脇本浩司，神田準史郎，シー
ン検出による動画情報の自動要約・閲覧
技術の開発，電子情報通信学会技術研究
報告（ＩＥ99−20），1999年 ７月15
日，第99巻，第183号，第53〜58号
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 17/30
ＪＩＣＳＴファイル（ＪＯＩＳ)
ＷＰＩ（ＤＩＡＬＯＧ)
Claims (7)
- 【請求項１】 階層的動映像ツリー構造におけるキーフ
レームの忠実度を用いた効率的な動映像要約装置であっ
て、 動映像資料から動映像の各単位境界を区分し検出する単
位境界検出部と； 前記単位境界検出部で区分された各単位に対して予め設
定されたキーフレーム抽出関数を用いてキーフレームを
抽出し、各単位に該当するキーフレーム番号とともに貯
蔵するキーフレーム抽出部と； 前記キーフレーム抽出部に貯蔵されたキーフレームを受
けて各キーフレームの特性値を抽出し、全体キーフレー
ムの特性値を含む歪曲範囲を設定してルートキーフレー
ムと設定した後、特性値の歪曲範囲をさらに小さく調整
して下位ツリーを構成する方法で下向的に動映像ツリー
構造を構成し、抽出された各キーフレームの特性値を用
いて上位キーフレームの下位キーフレームに対する忠実
度を計算する忠実度計算部と； 前記忠実度計算部で計算された忠実度を上下位キーフレ
ーム間のエッジに貯蔵する忠実度貯蔵部と； を含んで構成されることを特徴とする階層的動映像ツリ
ー構造におけるキーフレームの忠実度を用いた効率的な
動映像要約装置。 - 【請求項２】 前記キーフレーム抽出部は、視覚的内容
複雑指標を用い、点集合理論に基づいて予め指定された
歪曲範囲内における最小のキーフレームを抽出する関数
を使用することを特徴とする請求項１に記載の階層的動
映像ツリー構造におけるキーフレームの忠実度を用いた
効率的な動映像要約装置。 - 【請求項３】 前記キーフレームの忠実度計算部は、 各フレームから同一の色に関する空間的相関度を計算し
て特徴ベクトルを抽出する抽出関数部と; 前記特徴ベクトル抽出関数部で抽出された各キーフレー
ムの特徴ベクトルから下向的に構成された動映像ツリー
構造で上下位キーフレーム間の距離メトリックを計算す
る非類似度計算部と; 前記非類似度計算部で計算されたキーフレーム間の距離
を用いてエッジ忠実度を計算するエッジ忠実度関数部
と; 前記エッジ忠実度関数部で計算されたエッジ忠実度を各
キーフレームのエッジに貯蔵する忠実度貯蔵部とからな
ることを特徴とする請求項１に記載の階層的動映像ツリ
ー構造におけるキーフレームの忠実度を用いた効率的な
動映像要約装置。 - 【請求項４】 前記忠実度は、 特徴ベクトル関数部で、階層的動映像ツリー構造で上下
位キーフレームから同一の色に対する空間的相関度を抽
出するオート・コレログラムを計算し; 非類似度計算部で、前記オート・コレログラムから前記
二つのキーフレームの特徴ベクトル間の距離メトリック
を計算し; エッジ忠実度関数部で、前記上下位キーフレーム間の距
離メトリックのうち最大値の逆数をとって計算された上
下位キーフレーム間の距離メトリックを正規化した後、
定数から前記正規化された距離メトリックの最大値を引
いてエッジ忠実度を計算して得られることを特徴とする
請求項３に記載の階層的動映像ツリー構造におけるキー
フレームの忠実度を用いた効率的な動映像要約装置。 - 【請求項５】 階層的動映像ツリー構造におけるエッジ
に貯蔵されたキーフレームの忠実度を用いた効率的な動
映像検索方法であって、 使用者から質疑フレームとともに臨界値を受信する段階
と; 使用者より入力された質疑フレームから特徴ベクトルを
抽出し、ヂータベース内のツリー構造に索引されて貯蔵
されている動映像の最上位レベルキーフレームの特徴ベ
クトルと比較して、それらの両フレーム間の距離メトリ
ックを計算する段階と; 前記段階で両フレーム間の距離メトリックが臨界値とサ
ブツリーの距離メトリックとの和より小さいとサブツリ
ーを検索し、前記両フレーム間の距離メトリックが臨界
値とサブツリーの距離メトリックとの和より大きい場合
には、検索経路を遮断して新規の経路を検索する段階
と; 下位レベルに経路を探索した後、現在比較するキーフレ
ームが最下位レベルのキーフレームの場合には質疑フレ
ームと現在フレームの類似度が臨界値より大きいか確認
し、大きいと現在キーフレームを出力し、臨界値より小
さいと検索経路を遮断して新規の経路を探索する段階と
を含んで構成されることを特徴とする階層的動映像ツリ
ー構造におけるエッジに貯蔵されたキーフレームの忠実
度を用いた効率的な動映像検索方法。 - 【請求項６】 前記各サブツリーの距離メトリックは、
［距離メトリック＝１−忠実度］の関係を持つことを特
徴とする請求項５に記載の階層的動映像ツリー構造にお
けるエッジに貯蔵されたキーフレームの忠実度を用いた
効率的な動映像検索方法。 - 【請求項７】 階層的動映像ツリー構造におけるエッジ
に貯蔵されたキーフレームの忠実度を用いた効率的な動
映像要約方法であって、 使用者より要求されるフレームの数または要約時間を受
信する段階と; 最上位ルートキーフレームをバッファに貯蔵する段階
と; バッファに貯蔵されたフレームの数が使用者が設定した
数と一致するまで反復的にルートフレームを始めとして
忠実度の値に基づいて忠実度の小さいサブツリーを分離
し、分離されたサブツリーのルートキーフレームをバッ
ファに貯蔵する段階とを含むことを特徴とする階層的動
映像ツリー構造におけるエッジに貯蔵されたキーフレー
ムの忠実度を用いた効率的な動映像要約方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1999-55228 | 1999-12-06 | ||
| KR10-1999-0055228A KR100371513B1 (ko) | 1999-12-06 | 1999-12-06 | 계층적 동영상 트리구조에서의 에지에 저장하는 키프레임의 충실도를 이용한 효율적인 동영상 요약 및 브라우징 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001216332A JP2001216332A (ja) | 2001-08-10 |
| JP3494368B2 true JP3494368B2 (ja) | 2004-02-09 |
Family
ID=19623797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000371572A Expired - Fee Related JP3494368B2 (ja) | 1999-12-06 | 2000-12-06 | 動映像の検索、ブラウジングまたは要約を行うための動映像表現方法と、その処理装置および処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6792163B2 (ja) |
| EP (2) | EP1355243A3 (ja) |
| JP (1) | JP3494368B2 (ja) |
| KR (1) | KR100371513B1 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100436828B1 (ko) * | 2001-10-09 | 2004-06-23 | 한국방송공사 | 주문형 동영상 요약 서비스 시스템 |
| KR100859396B1 (ko) * | 2001-12-24 | 2008-09-22 | 주식회사 케이티 | 요약시간을 이용한 시간제한 경계값을 갖는 계층적 샷 클러스터링 방식의 비디오 요약방법 및 그 기록매체 |
| KR20030067135A (ko) * | 2002-02-07 | 2003-08-14 | (주)지토 | 내용기반 동영상 자동분할 기술을 응용한 인터넷 방송기술 |
| AU2002309307A1 (en) * | 2002-06-03 | 2003-12-19 | Magiceyes Digital Co. | Apparatus for gathering and providing status information from and to a number of unspecified persons and method for processing status information |
| US20040163044A1 (en) * | 2003-02-14 | 2004-08-19 | Nahava Inc. | Method and apparatus for information factoring |
| GB2400291A (en) * | 2003-04-05 | 2004-10-06 | Autodesk Canada Inc | Image processing using switch nodes |
| US7552387B2 (en) * | 2003-04-30 | 2009-06-23 | Hewlett-Packard Development Company, L.P. | Methods and systems for video content browsing |
| US7778469B2 (en) * | 2003-10-03 | 2010-08-17 | Fuji Xerox Co., Ltd. | Methods and systems for discriminative keyframe selection |
| EP1557837A1 (en) * | 2004-01-26 | 2005-07-27 | Sony International (Europe) GmbH | Redundancy elimination in a content-adaptive video preview system |
| KR100642888B1 (ko) * | 2004-10-19 | 2006-11-08 | 한국과학기술원 | 스토리 이해 가능한 서사 구조 중심의 비디오 요약생성방법 및 그 방법을 구현하기 위한 프로그램이 저장된기록매체 |
| KR100681017B1 (ko) * | 2005-02-15 | 2007-02-09 | 엘지전자 주식회사 | 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법 |
| US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
| US7970239B2 (en) | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
| US8019179B2 (en) * | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
| US20070233678A1 (en) * | 2006-04-04 | 2007-10-04 | Bigelow David H | System and method for a visual catalog |
| US8797273B2 (en) * | 2006-12-13 | 2014-08-05 | Thomson Licensing | Method for operating a reproduction apparatus via a user interface having touch elements |
| CN101394522B (zh) * | 2007-09-19 | 2010-07-21 | 中国科学院计算技术研究所 | 一种视频拷贝的检测方法和系统 |
| GB0901351D0 (en) * | 2009-01-28 | 2009-03-11 | Univ Dundee | System and method for arranging items for display |
| US8209330B1 (en) | 2009-05-29 | 2012-06-26 | Google Inc. | Ordering image search results |
| US8352465B1 (en) * | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
| WO2011050280A2 (en) * | 2009-10-22 | 2011-04-28 | Chintamani Patwardhan | Method and apparatus for video search and delivery |
| JP5510012B2 (ja) * | 2010-04-09 | 2014-06-04 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8724910B1 (en) | 2010-08-31 | 2014-05-13 | Google Inc. | Selection of representative images |
| US8326825B2 (en) | 2010-11-05 | 2012-12-04 | Microsoft Corporation | Automated partitioning in parallel database systems |
| WO2012077332A1 (ja) * | 2010-12-06 | 2012-06-14 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| US8429163B1 (en) * | 2012-01-25 | 2013-04-23 | Hewlett-Packard Development Company, L.P. | Content similarity pyramid |
| KR101331242B1 (ko) * | 2012-07-27 | 2013-11-26 | 차병래 | 검색가능 이미지 암호화 시스템 |
| CN104794189B (zh) * | 2015-04-16 | 2018-05-08 | 惠州Tcl移动通信有限公司 | 一种图像筛选方法及筛选系统 |
| KR102282463B1 (ko) * | 2015-09-08 | 2021-07-27 | 한화테크윈 주식회사 | 이벤트를 보존하는 비디오 축약 방법 및 이를 위한 장치 |
| KR101623321B1 (ko) * | 2015-11-30 | 2016-05-20 | (주)클로닉스 | 디지털 포렌식에서 대용량 동영상 증거물에 대한 고속 검색 장치 및 방법 |
| CN114154117B (zh) * | 2021-06-15 | 2022-08-23 | 元橡科技(苏州)有限公司 | 一种slam方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0664631B2 (ja) * | 1987-09-09 | 1994-08-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 文字認識装置 |
| GB9322260D0 (en) * | 1993-10-28 | 1993-12-15 | Pandora Int Ltd | Digital video processor |
| US5559562A (en) * | 1994-11-01 | 1996-09-24 | Ferster; William | MPEG editor method and apparatus |
| US5821945A (en) * | 1995-02-03 | 1998-10-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| GB2312119B (en) * | 1996-04-12 | 2000-04-05 | Lightworks Editing Systems Ltd | Digital video effects apparatus and method therefor |
| US8107015B1 (en) * | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
| US6195470B1 (en) * | 1996-09-11 | 2001-02-27 | Sony Corporation | Special effect system, image processing method, and symmetrical image generating method |
| US6097853A (en) * | 1996-09-11 | 2000-08-01 | Da Vinci Systems, Inc. | User definable windows for selecting image processing regions |
| US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| JPH11213174A (ja) * | 1998-01-28 | 1999-08-06 | Hitachi Denshi Ltd | 動画像編集方法 |
| US6560281B1 (en) * | 1998-02-24 | 2003-05-06 | Xerox Corporation | Method and apparatus for generating a condensed version of a video sequence including desired affordances |
| JP3057055B2 (ja) * | 1998-07-21 | 2000-06-26 | インターナショナル・ビジネス・マシーンズ・コーポレイション | コンピュータ、オーバーレイ処理装置、及びオーバーレイ処理実施方法 |
| US6298145B1 (en) * | 1999-01-19 | 2001-10-02 | Hewlett-Packard Company | Extracting image frames suitable for printing and visual presentation from the compressed image data |
| US6535639B1 (en) * | 1999-03-12 | 2003-03-18 | Fuji Xerox Co., Ltd. | Automatic video summarization using a measure of shot importance and a frame-packing method |
| US6331859B1 (en) * | 1999-04-06 | 2001-12-18 | Sharp Laboratories Of America, Inc. | Video skimming system utilizing the vector rank filter |
| JP2001009444A (ja) * | 1999-06-30 | 2001-01-16 | L & L:Kk | 液状廃棄物処理装置 |
| AU1937701A (en) * | 1999-12-01 | 2001-06-12 | Mikael Bourges-Sevenier | Optimized bifs encoder |
-
1999
- 1999-12-06 KR KR10-1999-0055228A patent/KR100371513B1/ko not_active IP Right Cessation
-
2000
- 2000-12-05 EP EP03016982A patent/EP1355243A3/en not_active Ceased
- 2000-12-05 EP EP00126704A patent/EP1109111A1/en not_active Ceased
- 2000-12-06 US US09/731,197 patent/US6792163B2/en not_active Expired - Lifetime
- 2000-12-06 JP JP2000371572A patent/JP3494368B2/ja not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| 柴田正啓，金淵培，シーン記述に基づく映像の要約再生，電子情報通信学会技術研究報告（ＩＥ９５−１５２），１９９６年 ３月１５日，第９５巻，第５８４号，第２７〜３２頁 |
| 田中聡，脇本浩司，神田準史郎，シーン検出による動画情報の自動要約・閲覧技術の開発，電子情報通信学会技術研究報告（ＩＥ９９−２０），１９９９年 ７月１５日，第９９巻，第１８３号，第５３〜５８号 |
| 當麻徹，宮森恒，富永英義，ディジタル動画像の自動的構造化及び要約作成手法に関する研究，電子情報通信学会技術研究（ＩＥ９５−１４９），１９９６年 ３月１５日，第９５巻，第５８４号，第９〜１４頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010033693A1 (en) | 2001-10-25 |
| KR100371513B1 (ko) | 2003-02-07 |
| JP2001216332A (ja) | 2001-08-10 |
| EP1355243A3 (en) | 2004-08-25 |
| KR20010054421A (ko) | 2001-07-02 |
| EP1355243A2 (en) | 2003-10-22 |
| EP1109111A1 (en) | 2001-06-20 |
| US6792163B2 (en) | 2004-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3494368B2 (ja) | 動映像の検索、ブラウジングまたは要約を行うための動映像表現方法と、その処理装置および処理方法 | |
| Wu et al. | A novel clustering method for static video summarization | |
| CN110019396B (zh) | 一种基于分布式多维分析的数据分析系统及方法 | |
| RU2628192C2 (ru) | Устройство для семантической классификации и поиска в архивах оцифрованных киноматериалов | |
| JP3568117B2 (ja) | ビデオ画像の分割、分類、および要約のための方法およびシステム | |
| CN107918657B (zh) | 一种数据源的匹配方法和装置 | |
| CN113779303B (zh) | 视频集合的索引方法、装置和存储介质及电子设备 | |
| CN111177432B (zh) | 一种基于分层深度哈希的大规模图像检索方法 | |
| CN102799684A (zh) | 一种视音频文件编目标引、元数据存储索引与搜索方法 | |
| US7286724B2 (en) | Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy | |
| CN108733676A (zh) | 视频缩略图的提取方法及装置 | |
| CN113821657A (zh) | 基于人工智能的图像处理模型训练方法及图像处理方法 | |
| CN102236714A (zh) | 一种基于xml的交互应用多媒体信息检索方法 | |
| CN104008177B (zh) | 面向图像语义标注的规则库结构优化与生成方法及系统 | |
| US20230086735A1 (en) | Systems and methods for retrieving videos using natural language description | |
| KR20220070482A (ko) | 이미지 증분 클러스터링 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품 | |
| KR102281266B1 (ko) | 영상 내 자막 키워드 추출 및 순위 산정 시스템 및 방법 | |
| CN112148942B (zh) | 基于数据聚类的业务指标数据分类方法及装置 | |
| WO2024188044A1 (zh) | 视频标签生成方法、装置、电子设备及存储介质 | |
| Kuzovkin et al. | Context in photo albums: Understanding and modeling user behavior in clustering and selection | |
| Bartolini et al. | Shiatsu: semantic-based hierarchical automatic tagging of videos by segmentation using cuts | |
| CN116684528A (zh) | 一种视频彩铃不同视角的推荐方法 | |
| CN107480155A (zh) | 一种视频搜索系统 | |
| CN115442540A (zh) | 音乐视频生成方法、装置、计算机设备及存储介质 | |
| KR100466421B1 (ko) | 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081121 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |