JP3943880B2 - 動画データ処理装置及び方法 - Google Patents
動画データ処理装置及び方法 Download PDFInfo
- Publication number
- JP3943880B2 JP3943880B2 JP2001283960A JP2001283960A JP3943880B2 JP 3943880 B2 JP3943880 B2 JP 3943880B2 JP 2001283960 A JP2001283960 A JP 2001283960A JP 2001283960 A JP2001283960 A JP 2001283960A JP 3943880 B2 JP3943880 B2 JP 3943880B2
- Authority
- JP
- Japan
- Prior art keywords
- editing
- segments
- data processing
- moving image
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画データ処理方法及び装置に関する。
【０００２】
【従来の技術】
従来、動画データの記録方法として、磁気テープ等のテープデバイスに記憶させることが行われている。このようなテープデバイスに記憶された動画データに対してはランダムアクセスが出来ないため、ビデオ編集においては実際に動画ストリームを作成する必要があった。しかし、近年、動画をハードディスクのようなランダムアクセスできるデバイスに記憶することが可能となり、再生する動画区間を連続して指定することにより仮想的な編集が可能となった。
【０００３】
このような仮想的な編集によれば、編集のやり直し等を容易に行なうことができ、非常に便利である。また、ランダムアクセスが可能なデバイスに動画を記憶させた場合は、メタデータによる動画検索（シーン検索）や、ダイジェスト的に動画再生を行なうサマリー再生が可能となり、多機能な動画再生装置を提供することができる。
【０００４】
【発明が解決しようとする課題】
動画を編集した際には、これに追従してメタデータやサマリーデータを編集する必要がある。例えば、動画編集内容がメタデータに反映されなかった場合は、メタデータによって編集後の動画を検索、再生しようとしたときに、編集後の動画には含まれない部分が検索されてしまう可能性がある。すなわち、動画の仮想編集とメタデータの更新を同期させ、メタデータを用いてビデオセグメントの検索を行う場合にも、仮想編集で削除されたビデオセグメントを検索ヒット結果に出さないようにする配慮が必要である。
【０００５】
また、動画が多量にある場合に、動画のサマリーを見て内容確認・把握を行なうが、動画編集内容がサマリーデータに反映されていないと、サマリーを再生したときに編集後の動画とサマリーの間に不一致が生じることになる。例えば、仮想編集においてビデオセグメントの並び順序を変更したりビデオセグメントを削除した場合に、サマリー再生によるシーンの順序が編集後の動画と異なったり、削除されたシーンが再生されたりして、動画を見る人に対して違和感を与えてしまう。
【０００６】
しかしながら、動画の編集に伴ってメタデータやサマリーデータを編集することは非常に煩わしいものであり、動画そのものの編集が容易になっても、編集作業の手間はむしろ増加する傾向にある。
【０００７】
本発明は上記の課題に鑑みてなされたものであり、動画の仮想編集にメタデータの更新を自動的に追従させるようにし、編集者のメタデータ再編集の負担を軽減することを目的とする。
【０００８】
また、本発明の他の目的は、動画の仮想編集に追従してサマリーデータを自動的に更新可能とし、動画の編集後においても違和感を与えないサマリー再生を可能とすることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による動画データ処理装置は以下の構成を備える。すなわち、
動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理手段と、
前記複数のセグメントの各々より抽出された連続した複数フレームからなる少なくとも１つの部分フレーム群と、その抽出元のセグメントのＩＤとを関連づけて管理する部分フレーム群管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段と、
前記編集結果記憶手段に記憶された内容に基づいて前記部分フレーム群管理手段で管理されている部分フレーム群を順次再生するサマリー再生手段とを備える。
また、上記の目的を達成するための本発明他の態様による動画データ処理装置は以下の構成を備える。すなわち、
動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段とを備え、
前記編集結果記憶手段は、編集の結果削除されたセグメントのＩＤを示す削除情報を更に記憶する。
また、上記の目的を達成するための本発明他の態様による動画データ処理装置は以下の構成を備える。すなわち、
動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で、前記複数のセグメントの各々を管理するセグメント管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段と、
前記複数のセグメントの各々に対応するメタデータを、各セグメントに対応するＩＤと関連づけることによって管理するメタデータ管理手段と、
前記メタデータを用いて画像検索を行なう検索手段と、
前記検索手段の検索結果に前記編集結果記憶手段に格納された内容を反映する反映手段とを備える。
【００１０】
また、上記の目的を達成するための本発明の一態様による動画データ処理方法は以下の工程を備える。すなわち、
動画データ処理装置による動画データ処理方法であって、
セグメント管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
部分フレーム群管理手段が、前記複数のセグメントの各々より抽出された連続した複数フレームからなる少なくとも１つの部分フレーム群と、その抽出元のセグメントのＩＤとを関連づけて管理する部分フレーム群管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程と、
サマリー再生手段が、前記編集結果記憶工程により前記メモリに記憶された内容に基づいて前記部分フレーム群管理工程で管理されている部分フレーム群を順次再生するサマリー再生工程とを備える。
更に、上記の目的を達成するための本発明の他の態様による動画データ処理方法は以下の工程を備える。すなわち、
動画データ処理装置による動画データ処理方法であって、
グループ管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程とを備え、
前記編集結果記憶工程では、更に、編集の結果削除されたセグメントのＩＤを示す削除情報が前記メモリに記憶される。
更に、上記の目的を達成するための本発明の他の態様による動画データ処理方法は以下の工程を備える。すなわち、
動画データ処理装置による動画データ処理方法であって、
グループ管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程と、
メタデータ管理手段が、前記複数のセグメントの各々に対応するメタデータを、各セグメントに対応するＩＤと関連づけることによって管理するメタデータ管理工程と、
検索手段が、前記メタデータを用いて画像検索を行なう検索工程と、
反映手段が、前記検索工程の検索結果に、前記編集結果記憶工程によって前記メモリに格納された内容を反映する反映工程とを備える。
【００１１】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について詳細に説明する。
【００１２】
図１は本実施形態による動画処理装置の構成を示すブロック図である。図１において、１０１はＣＰＵであり、ＲＯＭ１０２或いはＲＡＭ１０３に格納された制御プログラムを実行することにより、後述のフローチャートに示される制御を含む各種制御を実行する。１０２はＲＯＭであり、ＣＰＵ１０１によって実行される制御プログラムや各種データが格納される。１０３はＲＡＭであり、外部記憶装置に格納された制御プログラムをロードする領域や、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。
【００１３】
１０４は表示器であり、動画再生等各種表示を行なう。１０５は操作部であり、キーボードやマウスを備える。１０６は動画再生装置であり、例えばＤＶＤに記録された動画を再生する。１０７は外部記憶装置であり、ＣＰＵ１０１によって実行されるべき制御プログラム１１５の他、ビデオセグメント区間情報１１０、メタデータ情報１１１、部分再生区間情報１１２、編集結果情報１１３、サマリー再生情報１１４を格納する。１１０〜１１４によって示される各情報は、動画毎に生成、保持されるが、各々の詳細については後述する。１０８は、上述の各構成を接続するシステムバスである。
【００１４】
以上の構成を備えた本実施形態の動画処理装置の動作について、以下に説明する。
【００１５】
図２は、本実施形態の動画処理装置の動作概要を示すフローチャートである。まず、ステップＳ２０１において動画データをセグメント化し、各セグメントにＩＤを付与して、各セグメントを管理する。ステップＳ２０１の処理について、図９及び図１０を参照して更に詳細に説明する。
【００１６】
図３は本実施形態によるビデオセグメント区間情報生成処理を説明するフローチャートである。図９は本実施形態によるビデオセグメントへの分割の概念を示す図である。また、図１０は本実施形態によるビデオセグメント区間情報１１０のデータ構成例を示す図である。
【００１７】
ステップＳ３０１では、図９に示すように一連の画像フレームを、複数の画像フレームから構成されるビデオセグメントに分割する。なお、ビデオセグメントへの分割の方法としては、(1)表示した画面に対して操作部１０５から指示を与えて、マニュアルでビデオセグメントへ分割する、(2)自動的にシーンチェンジを検出し、この検出結果に従ってビデオセグメントに分割する、或いは(3)自動的にシーンチェンジ検出を行ってビデオセグメント分けした後、マニュアルで修正を行う等が挙げられる。もちろんこれ以外の方法を採用することも可能であり、ビデオセグメントへの分割方法は問わない。
【００１８】
次に、ステップＳ３０２において、複数のビデオセグメントに対してシーケンシャルにＩＤを割り付ける。そして、このＩＤを用いてビデオセグメントを管理する為の、図１０の如きビデオセグメント区間情報１１０を生成し、外部記憶装置１０７に記憶する。
【００１９】
図１０に示されるように、本実施形態のビデオセグメント区間情報は、各ビデオセグメントの開始点と終了点で各セグメントの区間を表現する。なお、図１０では区間情報（開始点、終了点）をタイムコードで表現しているが、フレーム番号を用いてもよい。すなわち、ビデオ区間を表現できるものであればその表現方法は問わない。
【００２０】
図２に戻り、以上のようにしてステップＳ２０１における処理を終えると、ステップＳ２０２へ進み、メタデータ情報１１１が生成され、外部記憶装置１０７に格納される。この処理について、図４及び図１１を参照して更に詳しく説明する。図４はメタデータ情報の生成手順を説明するフローチャートである。また、図１１は本実施形態によるメタデータ情報のデータ構成例を示す図である。
【００２１】
まず、ステップＳ４０１でメタデータを付与するビデオセグメントＩＤを指定する。ＩＤの指定方法としては、操作部１０５よりＩＤ番号を直接入力してもよいし、動画再生を行なっている最中に、所望の場面で所定操作（例えば動画再生領域をクリックする等）を行なうことにより、当該所望の場面が含まれるビデオセグメントＩＤが特定されるようにしてもよい。
【００２２】
次に、ステップＳ４０２において、指定されたビデオセグメントＩＤに対応するメタデータフィールドへマニュアルで、或いは自動的に、或いは半自動でメタデータを記述する。なお、自動、半自動による記述例としては次のような例が挙げられる。例えば日時などは完全に自動付与できる。またＧＰＳがあれば場所も自動付与出来るし、大まかな地名だけでなく建物の名前などまで付与する場合にはマニュアルで付加することになる。さらに、例えば結婚式の様に進行イベントがとタイムテーブルがハッキリしているものの場合に、時間情報や時系列関係更にはパターンマッチングを用いて推測する事により、ビデオセグメントに「挙式」、「披露宴」、更に細かくは「指輪交換」「キス」「入場」「主賓挨拶」「乾杯」「ケーキカット」などのメタデータがある程度の間違いはあっても付与できる可能性がある。本実施形態ではこれを「自動」付与と称する。また、自動付与が間違えた場合に人間がこれを補正する、或いは自動付与出来るものと出来ないものが混在している場合を「半自動」付与と称する。そして、ステップＳ４０３において、メタデータ情報１１１として外部記憶装置１０７に格納する。図１１に示すのがメタデータスキーマの一例である。この例では動画毎にテーブルを作成し、ビデオセグメントＩＤ毎にステップＳ４０２で記述されたメタデータを管理している。
【００２３】
図２に戻り、次に、ステップＳ２０３において、サマリー再生のための部分再生区間情報１１２を生成し、これを外部記憶装置１０７に格納する。図５は、ステップＳ２０３における部分再生区間情報の生成手順を説明すフローチャートである。また、図１２は本実施形態によるサマリー再生のための部分再生区間情報のデータ構成例を示す図である。ここで言う動画サマリーとは、部分動画をシーケンシャルに再生するものである。なお、図１２では、サマリーのための部分再生区間は説明の簡略化のため各ビデオセグメントに１つとしたが、それは本発明の制限を示すものではなく、各ビデオセグメントに対して任意の数の部分再生区間を持つことが可能である。すなわち、各ビデオセグメントについて登録されるサマリー再生すべき部分動画は１つでも複数でもかまわない。
【００２４】
図５のフローでは、一括して動画サマリーを再生するための情報を生成する処理の例を示している。ステップＳ５０１でサマリー再生の対象にするビデオセグメントを選択し、ステップＳ５０２で部分再生開始点および部分再生終了点を指定する。この処理は実際に動画を目視で確認しながらマニュアルで割り付けてもよいし、何らかの画像解析処理を行なって自動的に部分動画を抽出するようにしてもよい。画像解析による自動抽出方法としては、例えば動きの激しい区間や逆に動きの大人しい区間を検出して、再生すべき部分動画とすること等が挙げられる。もちろん他の手法によって再生すべき部分動画を決定してもよく、その手法は問わない。
【００２５】
ステップＳ５０３では、ステップＳ５０１で指定されたビデオセグメント中に更にサマリー再生するための部分再生区間が存在するか否かを判定（例えば、他の部分再生区間を設定する旨の指示があったか否かで判定する）し、存在する場合には再びステップＳ５０２に戻り他の部分再生区間を指定する。こうして、同一のビデオセグメント中に複数の部分再生区間を設定することが可能となる。これ以上指定すべき部分再生区間がない旨指示されると、ステップＳ５０３からステップＳ５０４へ進み、部分再生区間を設定すべき他のビデオセグメントがあるかどうかを判定する（例えば、部分再生区間を設定する他のビデオセグメントが指定されたか否かで判定する）。そして、他のビデオセグメントがあればステップＳ５０１へ戻り、無ければ本処理を終了する。
【００２６】
以上のようにして図１２に示すごとき部分再生区間情報１１２が生成され、外部記憶装置１０７に格納される。部分再生区間情報１１２は動画サマリーを再生するための情報であり、後述の仮想編集によって変化しないものである。図１２に示されるように、部分再生区間情報１１２は、各ビデオセグメントに対して動画サマリーとして再生すべき部分動画のリストという形態で表現されている。また、部分動画は、ビデオセグメント区間情報１１０と同様に開始点と終了点で表現される。なお、図１２では部分動画の区間をタイムコードで表現しているが、フレーム番号等を用いてもよく、ビデオ区間を表現できるものであればその表現を問わないことはビデオセグメント区間情報１１０の場合と同様である。
【００２７】
図２に戻り、以上のステップＳ２０１からＳ２０３の処理により、ビデオセグメント区間情報１１０、メタデータ情報１１１、部分再生区間情報１１２が生成され、外部記憶装置１０７に保持される。なお、ステップＳ２０２、Ｓ２０３で示した処理（メタデータ情報１１１、部分再生区間情報１１２の生成）は、ビデオセグメントが形成された後（ステップＳ２０１の処理後）であればいかなるタイミングで生成されても構わない。また、部分再生区間情報１１２の生成を先に実行してもよい。
【００２８】
以上の処理を終えると、ステップＳ２０４以降に進み、各種操作に応じた処理が実行される。操作部１０５より編集の開始を指示する操作があると、ステップＳ２０４からステップＳ２０５へ進み、動画の編集処理を行なう。以下に説明するように、ここで行なわれる編集処理は仮想的なものであり、編集の結果としてビデオセグメント編集結果情報１１３が生成、格納される。以下、ステップＳ２０５における編集処理と、その結果生成される編集結果情報について図６及び図１３を参照して説明する。
【００２９】
図６は、ステップＳ２０５による動画の編集処理を説明するフローチャートである。また、図１３は本実施形態による編集結果情報のデータ構成例を示す図である。
【００３０】
まず、ステップＳ６０１において、入力部１０５を介した操作により、動画の編集処理を行なう。ここで行われる編集処理とは、ビデオセグメントの移動および削除である。本実施形態の編集操作におけるビデオセグメントの並び順序の指定方法は、既存の編集システムの様に、各シーン（ビデオセグメント）の代表画像フレームをアイコンとして表示させ、それらの順番を入れ替えたり、あるいは削除することにより行うものとする。但し、他の編集操作方法で実現してもよく、その手法は問わない。
【００３１】
本実施形態で言う編集とは、オリジナルの動画を編集した通りにビデオセグメントを並べ替えるものではなく、ビデオセグメントＩＤを編集された並び順序に並べ替え、並べ替えられたビデオセグメントＩＤの順序でビデオセグメントを再生することで実現されもの、すなわち仮想的な編集である。また、削除したビデオセグメントも実際には削除されておらず、再生されないだけである。
【００３２】
次にステップＳ６０２において、ステップＳ６０１でなされた編集内容を反映した編集結果情報１１３を生成し、外部記憶装置１０７に格納する。編集結果情報１１３について図１３により説明する。
【００３３】
編集を行なう前のセグメント並び情報は図１３の初期時に示すようにシーケンシャルである。これに対して、ステップＳ６０１で編集操作を行い、ステップＳ６０２でその編集結果を反映した編集後のレコード１３０１（編集後のビデオセグメントの並び順を示す）が生成される。このレコード１３０１には、編集後のセグメント並び情報が格納されており、「＊」付きのＩＤは編集操作によって削除が指示されたビデオセグメントである。従ってこの例では、編集されたビデオを再生すると、０→１→３→４の順番でビデオセグメントがランダムアクセス再生され終了する。もちろん、編集によって、０→１→４→３のようにビデオセグメントの前後が入れ代わるようにしてもよい。
【００３４】
なお、削除されたビデオセグメントの表現方法に関して「＊」を用いたが、削除してないビデオセグメントと区別が付けばその表現方法は問わない。或いは、削除したビデオセグメントＩＤを別途管理する方法も考えられる。また、初期時のセグメント並び情報は単にシーケンシャルなので冗長であり、編集後のセグメント並び情報だけを保存しておいても良い。
【００３５】
さて、本実施形態によれば、以上のような編集操作がなされても、編集結果情報１１３に格納されるビデオセグメント並び情報が更新されるのみで、セグメントＩＤとビデオセグメントの関係は変化しない。このため、メタデータとビデオセグメントの対応関係も保証される。従って、編集が行われビデオセグメント並び情報が更新された瞬間でも、図１１に示されるスキーマ（メタデータ情報１１１）を参照するにおいては何等不整合は発生せず、動画編集と同期してメタデータが更新されたことと等価になる。
【００３６】
図２に戻り、動画再生の指示があると、ステップＳ２０６からステップＳ２０７へ進み、指定された動画の再生が行なわれる。なお、動画の再生に際しては、編集結果情報（図１３）が参照され、編集後のレコード１３０１が存在する場合は、これに従ってビデオセグメントを再生する。図１３の例によれば、ビデオセグメント０→１→３→４の順に再生されることになる。
【００３７】
また、サマリー再生の指示があると、ステップＳ２０８からステップＳ２０９へ進み、編集結果を反映したサマリー再生が行なわれる。このとき、上述のごとく動画編集が行われていると、ビデオセグメントの並びが変化している。従って、サマリー再生時には、その並びに対応して部分動画を再生しなければ、見ている人は動画再生時とサマリー再生時の時系列の不整合から違和感を受ける。また、編集で削除されたビデオセグメントに含まれる部分動画がサマリーとして再生されるのは不適切であり、このような部分動画はサマリー再生時に再生されるべきではない。
【００３８】
本実施形態のサマリー再生では、上記課題を解決するものであり、以下、図７及び図１４を参照して説明する。図７はステップＳ２０９において実行されるサマリー再生の手順を説明するフローチャートである。また、図１４は、編集結果を反映したサマリー再生のための部分再生区間情報の一例を示す図である。
【００３９】
ステップＳ７０１において、サマリー再生するべく指定された画像の編集結果情報を読み込む。そして、ステップＳ７０２で、編集結果情報のレコード１３０１に示されるビデオセグメントの並び順序を保ちながら、削除対象のビデオセグメントを除外して、ビデオセグメント並び順序が保たれた有効なビデオセグメントのリストを作成する。そして、そのリスト中の有効なビデオセグメントの個数を得、Ｎとする。そして、ステップＳ７０３において、ループカウンタＩを０にリセットし、ステップＳ７０２で生成したリストの先頭のビデオセグメントＩＤを得る。
【００４０】
ステップＳ７０４ではＩ＜Ｎ、即ちループカウンタＩが有効なビデオセグメントのリストの個数Ｎを超えたかどうかを判定し、越えない間はステップＳ７０５へ、越えた場合はステップＳ７０８へ処理を分岐する。
【００４１】
ステップＳ７０５では、部分再生区間情報１１２（図１２）を参照して、現在処理対象のビデオセグメントＩＤに対応するビデオセグメントのサマリーのための部分再生区間情報を得る。なお、一つのビデオセグメントＩＤに複数の部分再生区間情報がある場合は、全ての部分再生区間情報を得る。
【００４２】
続いてステップＳ７０６において、ステップＳ７０５で得た部分再生区間情報をサマリーのための部分再生区間情報へ追記する。このとき、前回の処理で追記された部分再生区間情報の後に、新たに得られた部分再生区間情報を追記するようにし、ステップＳ７０２で生成したリストの順序（すなわち編集結果情報のビデオセグメント順序）を保持する。
【００４３】
続くステップＳ７０７ではループカウンタＩをＩ＝Ｉ＋１によりインクリメントし、ステップＳ７０４に戻る。こうして、ループカウンタがＩ＜ＮとなるまでステップＳ７０５、Ｓ７０６の処理が繰り返され、サマリーのための部分区間再生情報１１４を生成する。
【００４４】
こうして、サマリーのための部分区間再生情報１１４は、図１４にその一例を示すように、図１３の編集結果情報のレコード１３０１に表されたビデオセグメントの並び順序を保存したものとなる。
【００４５】
ステップＳ７０４でＩ＞Ｎが確認されると、ステップＳ７０８へ進み、サマリーのための部分再生区間情報１１４を完成し、外部記憶装置１０７に記憶する。そして、ステップＳ７０９において、ステップＳ７０８で記憶した部分再生区間情報１１４を参照して、部分動画を順次再生し、サマリー再生を行なう。
【００４６】
以上の処理によれば、編集後のビデオセグメントの再生順序に従って、対応する部分動画が再生されるので、サマリー再生を自動的に編集結果に対応した物とすることができる。
【００４７】
再び図２に戻り、操作部１０５より動画検索指示がなされると、ステップＳ２１０からステップＳ２１１へ進み、メタデータを用いた検索処理が実行される。メタデータを用いてビデオセグメントの検索を行う場合にも、メタデータ検索で検索条件に合致したビデオセグメントが編集で削除されたビデオセグメントに成っていないか編集結果情報を用いて確認し、削除されたビデオセグメントを検索ヒット結果に出さないようにする。
【００４８】
図８はステップＳ２１１の検索処理を説明するフローチャートである。この処理では、編集によって削除されたビデオセグメントは検索結果から除外されている。
【００４９】
まず、ステップＳ８０１では、検索の対象とするメタデータ属性と検索クエリーを指定する。本実施形態では、図１１に示したように、メタデータは複数の属性（「オブジェクト」「アノテーション」等）を含み、それぞれに値が記録されている。ステップＳ８０１では、検索クエリーを指定するとともに、当該検索クエリーと一致するデータが存在するか否かを調べるべきメタデータの属性を指定する。
【００５０】
ステップＳ８０２では、ステップＳ８０１で指定されたメタデータ属性のメタデータについて調査し、検索クエリーに合致しているビデオセグメントＩＤのリストを生成する。ステップＳ８０３では、編集結果情報の編集後のビデオセグメント並び順序（レコード１３０１）を参照し、「＊」マークの付いたビデオセグメントＩＤ（編集で削除されたビデオセグメントのＩＤ）をステップＳ８０２で生成したリストから除外する。図１３の例では、ＩＤ＝２、５が削除されているので、ステップＳ８０２で生成したリストにＩＤ＝２、５が存在する場合に、これらを削除する。
【００５１】
例えば、メタデータ属性として「オブジェクト」を選択し、手が映っているビデオセグメントを探した場合、図１１のメタデータ情報からはビデオセグメントＩＤ＝１と２がヒットする。しかし、編集結果情報１１３においてビデオセグメントＩＤ＝２は削除されているため、ビデオセグメントＩＤ＝１のみが検索結果として返されることになる。
【００５２】
以上の処理によれば、検索結果に編集で削除したデータが含まれることを防止できる。
【００５３】
また、編集の結果削除されたビデオセグメントを検索結果から除外する他に、検索結果を提示する際に編集結果として得られたビデオセグメントＩＤの並びを反映させる（例えば、ビデオセグメントＩＤの並びの順に検索結果を提示する）ようにしてもよい。
【００５４】
また、上記実施形態では、ビデオセグメント区間情報１１０、メタデータ情報１１１、部分再生区間情報１１２及び編集結果情報１１３に関し、固定のフィールドに格納する様な概念図を用いたが、これに限られるものではない。例えば、ＸＭＬやＨＴＭＬやＳＧＭＬ等の構造記述言語を用いれば、識別子（ＴＡＧ）を用いて属性を表すことができるので、サイズや記述位置の制約が無くなる。また、これら１１０，１１１，１１２，１１３等の一連の情報をその他の構造記述言語を用いて表現しても良い。
【００５５】
また、本実施形態では編集の単位をビデオセグメントとしたが、ショット単位や内容理解に基づく単位としても構わない。
【００５６】
また、本実施形態では、メタデータを用いてビデオセグメントの検索を行う際に、検索対象のフィールドをなめて検索を行ったが、効率的な検索のためのインデックスを予め作成しておき、これを参照することにより該当するビデオセグメントＩＤを効率的に得るようにしてもよい。例えば、ビデオに映っている人を記述するメタデータフィールドがあったとする。このビデオに登場する人物がＡ，Ｂ，Ｃの３人がいる場合、インデックスとはA、B、Cそれぞれが映っているビデオセグメントのＩＤのリストを用意しておくことを意味する。Aが映っているビデオセグメントを検索する指示があった場合に、上記Aが映っているビデオセグメントのＩＤのリストをそのまま検索結果として利用出来るので極めて高速である。他方、インデックスが無い場合にはビデオに登場する人物を記述するフィールドを全て舐めて検索するので処理時間が掛かる。
【００５７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、動画の仮想編集にメタデータの更新を自動的に追従させることができ、編集者のメタデータ再編集の負担が軽減されることになる。
また、本発明によれば、動画の仮想編集に追従してサマリーデータが自動的に更新されるので、動画の編集後においても違和感を与えないサマリー再生が可能となる。
【図面の簡単な説明】
【図１】本実施形態による動画処理装置の構成を示すブロック図である。
【図２】本実施形態の動画処理装置の動作概要を示すフローチャートである。
【図３】本実施形態によるビデオセグメント区間情報生成処理を説明するフローチャートである。
【図４】メタデータ情報の生成手順を説明するフローチャートである。
【図５】本実施形態による部分再生区間情報の生成手順を説明すフローチャートである。
【図６】本実施形態による動画の編集処理を説明するフローチャートである。
【図７】本実施形態によるサマリー再生の手順を説明するフローチャートである。
【図８】本実施形態による検索処理を説明するフローチャートである。
【図９】本実施形態によるビデオセグメントへの分割の概念を示す図である。
【図１０】本実施形態によるビデオセグメント区間情報のデータ構成例を示す図である。
【図１１】本実施形態によるメタデータ情報のデータ構成例を示す図である。
【図１２】本実施形態によるサマリー再生のための部分再生区間情報のデータ構成例を示す図である。
【図１３】本実施形態による編集結果情報のデータ構成例を示す図である。
【図１４】編集結果を反映したサマリー再生のための部分再生区間情報の一例を示す図である。
【発明の属する技術分野】
本発明は、動画データ処理方法及び装置に関する。
【０００２】
【従来の技術】
従来、動画データの記録方法として、磁気テープ等のテープデバイスに記憶させることが行われている。このようなテープデバイスに記憶された動画データに対してはランダムアクセスが出来ないため、ビデオ編集においては実際に動画ストリームを作成する必要があった。しかし、近年、動画をハードディスクのようなランダムアクセスできるデバイスに記憶することが可能となり、再生する動画区間を連続して指定することにより仮想的な編集が可能となった。
【０００３】
このような仮想的な編集によれば、編集のやり直し等を容易に行なうことができ、非常に便利である。また、ランダムアクセスが可能なデバイスに動画を記憶させた場合は、メタデータによる動画検索（シーン検索）や、ダイジェスト的に動画再生を行なうサマリー再生が可能となり、多機能な動画再生装置を提供することができる。
【０００４】
【発明が解決しようとする課題】
動画を編集した際には、これに追従してメタデータやサマリーデータを編集する必要がある。例えば、動画編集内容がメタデータに反映されなかった場合は、メタデータによって編集後の動画を検索、再生しようとしたときに、編集後の動画には含まれない部分が検索されてしまう可能性がある。すなわち、動画の仮想編集とメタデータの更新を同期させ、メタデータを用いてビデオセグメントの検索を行う場合にも、仮想編集で削除されたビデオセグメントを検索ヒット結果に出さないようにする配慮が必要である。
【０００５】
また、動画が多量にある場合に、動画のサマリーを見て内容確認・把握を行なうが、動画編集内容がサマリーデータに反映されていないと、サマリーを再生したときに編集後の動画とサマリーの間に不一致が生じることになる。例えば、仮想編集においてビデオセグメントの並び順序を変更したりビデオセグメントを削除した場合に、サマリー再生によるシーンの順序が編集後の動画と異なったり、削除されたシーンが再生されたりして、動画を見る人に対して違和感を与えてしまう。
【０００６】
しかしながら、動画の編集に伴ってメタデータやサマリーデータを編集することは非常に煩わしいものであり、動画そのものの編集が容易になっても、編集作業の手間はむしろ増加する傾向にある。
【０００７】
本発明は上記の課題に鑑みてなされたものであり、動画の仮想編集にメタデータの更新を自動的に追従させるようにし、編集者のメタデータ再編集の負担を軽減することを目的とする。
【０００８】
また、本発明の他の目的は、動画の仮想編集に追従してサマリーデータを自動的に更新可能とし、動画の編集後においても違和感を与えないサマリー再生を可能とすることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による動画データ処理装置は以下の構成を備える。すなわち、
動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理手段と、
前記複数のセグメントの各々より抽出された連続した複数フレームからなる少なくとも１つの部分フレーム群と、その抽出元のセグメントのＩＤとを関連づけて管理する部分フレーム群管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段と、
前記編集結果記憶手段に記憶された内容に基づいて前記部分フレーム群管理手段で管理されている部分フレーム群を順次再生するサマリー再生手段とを備える。
また、上記の目的を達成するための本発明他の態様による動画データ処理装置は以下の構成を備える。すなわち、
動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段とを備え、
前記編集結果記憶手段は、編集の結果削除されたセグメントのＩＤを示す削除情報を更に記憶する。
また、上記の目的を達成するための本発明他の態様による動画データ処理装置は以下の構成を備える。すなわち、
動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で、前記複数のセグメントの各々を管理するセグメント管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段と、
前記複数のセグメントの各々に対応するメタデータを、各セグメントに対応するＩＤと関連づけることによって管理するメタデータ管理手段と、
前記メタデータを用いて画像検索を行なう検索手段と、
前記検索手段の検索結果に前記編集結果記憶手段に格納された内容を反映する反映手段とを備える。
【００１０】
また、上記の目的を達成するための本発明の一態様による動画データ処理方法は以下の工程を備える。すなわち、
動画データ処理装置による動画データ処理方法であって、
セグメント管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
部分フレーム群管理手段が、前記複数のセグメントの各々より抽出された連続した複数フレームからなる少なくとも１つの部分フレーム群と、その抽出元のセグメントのＩＤとを関連づけて管理する部分フレーム群管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程と、
サマリー再生手段が、前記編集結果記憶工程により前記メモリに記憶された内容に基づいて前記部分フレーム群管理工程で管理されている部分フレーム群を順次再生するサマリー再生工程とを備える。
更に、上記の目的を達成するための本発明の他の態様による動画データ処理方法は以下の工程を備える。すなわち、
動画データ処理装置による動画データ処理方法であって、
グループ管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程とを備え、
前記編集結果記憶工程では、更に、編集の結果削除されたセグメントのＩＤを示す削除情報が前記メモリに記憶される。
更に、上記の目的を達成するための本発明の他の態様による動画データ処理方法は以下の工程を備える。すなわち、
動画データ処理装置による動画データ処理方法であって、
グループ管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程と、
メタデータ管理手段が、前記複数のセグメントの各々に対応するメタデータを、各セグメントに対応するＩＤと関連づけることによって管理するメタデータ管理工程と、
検索手段が、前記メタデータを用いて画像検索を行なう検索工程と、
反映手段が、前記検索工程の検索結果に、前記編集結果記憶工程によって前記メモリに格納された内容を反映する反映工程とを備える。
【００１１】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について詳細に説明する。
【００１２】
図１は本実施形態による動画処理装置の構成を示すブロック図である。図１において、１０１はＣＰＵであり、ＲＯＭ１０２或いはＲＡＭ１０３に格納された制御プログラムを実行することにより、後述のフローチャートに示される制御を含む各種制御を実行する。１０２はＲＯＭであり、ＣＰＵ１０１によって実行される制御プログラムや各種データが格納される。１０３はＲＡＭであり、外部記憶装置に格納された制御プログラムをロードする領域や、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。
【００１３】
１０４は表示器であり、動画再生等各種表示を行なう。１０５は操作部であり、キーボードやマウスを備える。１０６は動画再生装置であり、例えばＤＶＤに記録された動画を再生する。１０７は外部記憶装置であり、ＣＰＵ１０１によって実行されるべき制御プログラム１１５の他、ビデオセグメント区間情報１１０、メタデータ情報１１１、部分再生区間情報１１２、編集結果情報１１３、サマリー再生情報１１４を格納する。１１０〜１１４によって示される各情報は、動画毎に生成、保持されるが、各々の詳細については後述する。１０８は、上述の各構成を接続するシステムバスである。
【００１４】
以上の構成を備えた本実施形態の動画処理装置の動作について、以下に説明する。
【００１５】
図２は、本実施形態の動画処理装置の動作概要を示すフローチャートである。まず、ステップＳ２０１において動画データをセグメント化し、各セグメントにＩＤを付与して、各セグメントを管理する。ステップＳ２０１の処理について、図９及び図１０を参照して更に詳細に説明する。
【００１６】
図３は本実施形態によるビデオセグメント区間情報生成処理を説明するフローチャートである。図９は本実施形態によるビデオセグメントへの分割の概念を示す図である。また、図１０は本実施形態によるビデオセグメント区間情報１１０のデータ構成例を示す図である。
【００１７】
ステップＳ３０１では、図９に示すように一連の画像フレームを、複数の画像フレームから構成されるビデオセグメントに分割する。なお、ビデオセグメントへの分割の方法としては、(1)表示した画面に対して操作部１０５から指示を与えて、マニュアルでビデオセグメントへ分割する、(2)自動的にシーンチェンジを検出し、この検出結果に従ってビデオセグメントに分割する、或いは(3)自動的にシーンチェンジ検出を行ってビデオセグメント分けした後、マニュアルで修正を行う等が挙げられる。もちろんこれ以外の方法を採用することも可能であり、ビデオセグメントへの分割方法は問わない。
【００１８】
次に、ステップＳ３０２において、複数のビデオセグメントに対してシーケンシャルにＩＤを割り付ける。そして、このＩＤを用いてビデオセグメントを管理する為の、図１０の如きビデオセグメント区間情報１１０を生成し、外部記憶装置１０７に記憶する。
【００１９】
図１０に示されるように、本実施形態のビデオセグメント区間情報は、各ビデオセグメントの開始点と終了点で各セグメントの区間を表現する。なお、図１０では区間情報（開始点、終了点）をタイムコードで表現しているが、フレーム番号を用いてもよい。すなわち、ビデオ区間を表現できるものであればその表現方法は問わない。
【００２０】
図２に戻り、以上のようにしてステップＳ２０１における処理を終えると、ステップＳ２０２へ進み、メタデータ情報１１１が生成され、外部記憶装置１０７に格納される。この処理について、図４及び図１１を参照して更に詳しく説明する。図４はメタデータ情報の生成手順を説明するフローチャートである。また、図１１は本実施形態によるメタデータ情報のデータ構成例を示す図である。
【００２１】
まず、ステップＳ４０１でメタデータを付与するビデオセグメントＩＤを指定する。ＩＤの指定方法としては、操作部１０５よりＩＤ番号を直接入力してもよいし、動画再生を行なっている最中に、所望の場面で所定操作（例えば動画再生領域をクリックする等）を行なうことにより、当該所望の場面が含まれるビデオセグメントＩＤが特定されるようにしてもよい。
【００２２】
次に、ステップＳ４０２において、指定されたビデオセグメントＩＤに対応するメタデータフィールドへマニュアルで、或いは自動的に、或いは半自動でメタデータを記述する。なお、自動、半自動による記述例としては次のような例が挙げられる。例えば日時などは完全に自動付与できる。またＧＰＳがあれば場所も自動付与出来るし、大まかな地名だけでなく建物の名前などまで付与する場合にはマニュアルで付加することになる。さらに、例えば結婚式の様に進行イベントがとタイムテーブルがハッキリしているものの場合に、時間情報や時系列関係更にはパターンマッチングを用いて推測する事により、ビデオセグメントに「挙式」、「披露宴」、更に細かくは「指輪交換」「キス」「入場」「主賓挨拶」「乾杯」「ケーキカット」などのメタデータがある程度の間違いはあっても付与できる可能性がある。本実施形態ではこれを「自動」付与と称する。また、自動付与が間違えた場合に人間がこれを補正する、或いは自動付与出来るものと出来ないものが混在している場合を「半自動」付与と称する。そして、ステップＳ４０３において、メタデータ情報１１１として外部記憶装置１０７に格納する。図１１に示すのがメタデータスキーマの一例である。この例では動画毎にテーブルを作成し、ビデオセグメントＩＤ毎にステップＳ４０２で記述されたメタデータを管理している。
【００２３】
図２に戻り、次に、ステップＳ２０３において、サマリー再生のための部分再生区間情報１１２を生成し、これを外部記憶装置１０７に格納する。図５は、ステップＳ２０３における部分再生区間情報の生成手順を説明すフローチャートである。また、図１２は本実施形態によるサマリー再生のための部分再生区間情報のデータ構成例を示す図である。ここで言う動画サマリーとは、部分動画をシーケンシャルに再生するものである。なお、図１２では、サマリーのための部分再生区間は説明の簡略化のため各ビデオセグメントに１つとしたが、それは本発明の制限を示すものではなく、各ビデオセグメントに対して任意の数の部分再生区間を持つことが可能である。すなわち、各ビデオセグメントについて登録されるサマリー再生すべき部分動画は１つでも複数でもかまわない。
【００２４】
図５のフローでは、一括して動画サマリーを再生するための情報を生成する処理の例を示している。ステップＳ５０１でサマリー再生の対象にするビデオセグメントを選択し、ステップＳ５０２で部分再生開始点および部分再生終了点を指定する。この処理は実際に動画を目視で確認しながらマニュアルで割り付けてもよいし、何らかの画像解析処理を行なって自動的に部分動画を抽出するようにしてもよい。画像解析による自動抽出方法としては、例えば動きの激しい区間や逆に動きの大人しい区間を検出して、再生すべき部分動画とすること等が挙げられる。もちろん他の手法によって再生すべき部分動画を決定してもよく、その手法は問わない。
【００２５】
ステップＳ５０３では、ステップＳ５０１で指定されたビデオセグメント中に更にサマリー再生するための部分再生区間が存在するか否かを判定（例えば、他の部分再生区間を設定する旨の指示があったか否かで判定する）し、存在する場合には再びステップＳ５０２に戻り他の部分再生区間を指定する。こうして、同一のビデオセグメント中に複数の部分再生区間を設定することが可能となる。これ以上指定すべき部分再生区間がない旨指示されると、ステップＳ５０３からステップＳ５０４へ進み、部分再生区間を設定すべき他のビデオセグメントがあるかどうかを判定する（例えば、部分再生区間を設定する他のビデオセグメントが指定されたか否かで判定する）。そして、他のビデオセグメントがあればステップＳ５０１へ戻り、無ければ本処理を終了する。
【００２６】
以上のようにして図１２に示すごとき部分再生区間情報１１２が生成され、外部記憶装置１０７に格納される。部分再生区間情報１１２は動画サマリーを再生するための情報であり、後述の仮想編集によって変化しないものである。図１２に示されるように、部分再生区間情報１１２は、各ビデオセグメントに対して動画サマリーとして再生すべき部分動画のリストという形態で表現されている。また、部分動画は、ビデオセグメント区間情報１１０と同様に開始点と終了点で表現される。なお、図１２では部分動画の区間をタイムコードで表現しているが、フレーム番号等を用いてもよく、ビデオ区間を表現できるものであればその表現を問わないことはビデオセグメント区間情報１１０の場合と同様である。
【００２７】
図２に戻り、以上のステップＳ２０１からＳ２０３の処理により、ビデオセグメント区間情報１１０、メタデータ情報１１１、部分再生区間情報１１２が生成され、外部記憶装置１０７に保持される。なお、ステップＳ２０２、Ｓ２０３で示した処理（メタデータ情報１１１、部分再生区間情報１１２の生成）は、ビデオセグメントが形成された後（ステップＳ２０１の処理後）であればいかなるタイミングで生成されても構わない。また、部分再生区間情報１１２の生成を先に実行してもよい。
【００２８】
以上の処理を終えると、ステップＳ２０４以降に進み、各種操作に応じた処理が実行される。操作部１０５より編集の開始を指示する操作があると、ステップＳ２０４からステップＳ２０５へ進み、動画の編集処理を行なう。以下に説明するように、ここで行なわれる編集処理は仮想的なものであり、編集の結果としてビデオセグメント編集結果情報１１３が生成、格納される。以下、ステップＳ２０５における編集処理と、その結果生成される編集結果情報について図６及び図１３を参照して説明する。
【００２９】
図６は、ステップＳ２０５による動画の編集処理を説明するフローチャートである。また、図１３は本実施形態による編集結果情報のデータ構成例を示す図である。
【００３０】
まず、ステップＳ６０１において、入力部１０５を介した操作により、動画の編集処理を行なう。ここで行われる編集処理とは、ビデオセグメントの移動および削除である。本実施形態の編集操作におけるビデオセグメントの並び順序の指定方法は、既存の編集システムの様に、各シーン（ビデオセグメント）の代表画像フレームをアイコンとして表示させ、それらの順番を入れ替えたり、あるいは削除することにより行うものとする。但し、他の編集操作方法で実現してもよく、その手法は問わない。
【００３１】
本実施形態で言う編集とは、オリジナルの動画を編集した通りにビデオセグメントを並べ替えるものではなく、ビデオセグメントＩＤを編集された並び順序に並べ替え、並べ替えられたビデオセグメントＩＤの順序でビデオセグメントを再生することで実現されもの、すなわち仮想的な編集である。また、削除したビデオセグメントも実際には削除されておらず、再生されないだけである。
【００３２】
次にステップＳ６０２において、ステップＳ６０１でなされた編集内容を反映した編集結果情報１１３を生成し、外部記憶装置１０７に格納する。編集結果情報１１３について図１３により説明する。
【００３３】
編集を行なう前のセグメント並び情報は図１３の初期時に示すようにシーケンシャルである。これに対して、ステップＳ６０１で編集操作を行い、ステップＳ６０２でその編集結果を反映した編集後のレコード１３０１（編集後のビデオセグメントの並び順を示す）が生成される。このレコード１３０１には、編集後のセグメント並び情報が格納されており、「＊」付きのＩＤは編集操作によって削除が指示されたビデオセグメントである。従ってこの例では、編集されたビデオを再生すると、０→１→３→４の順番でビデオセグメントがランダムアクセス再生され終了する。もちろん、編集によって、０→１→４→３のようにビデオセグメントの前後が入れ代わるようにしてもよい。
【００３４】
なお、削除されたビデオセグメントの表現方法に関して「＊」を用いたが、削除してないビデオセグメントと区別が付けばその表現方法は問わない。或いは、削除したビデオセグメントＩＤを別途管理する方法も考えられる。また、初期時のセグメント並び情報は単にシーケンシャルなので冗長であり、編集後のセグメント並び情報だけを保存しておいても良い。
【００３５】
さて、本実施形態によれば、以上のような編集操作がなされても、編集結果情報１１３に格納されるビデオセグメント並び情報が更新されるのみで、セグメントＩＤとビデオセグメントの関係は変化しない。このため、メタデータとビデオセグメントの対応関係も保証される。従って、編集が行われビデオセグメント並び情報が更新された瞬間でも、図１１に示されるスキーマ（メタデータ情報１１１）を参照するにおいては何等不整合は発生せず、動画編集と同期してメタデータが更新されたことと等価になる。
【００３６】
図２に戻り、動画再生の指示があると、ステップＳ２０６からステップＳ２０７へ進み、指定された動画の再生が行なわれる。なお、動画の再生に際しては、編集結果情報（図１３）が参照され、編集後のレコード１３０１が存在する場合は、これに従ってビデオセグメントを再生する。図１３の例によれば、ビデオセグメント０→１→３→４の順に再生されることになる。
【００３７】
また、サマリー再生の指示があると、ステップＳ２０８からステップＳ２０９へ進み、編集結果を反映したサマリー再生が行なわれる。このとき、上述のごとく動画編集が行われていると、ビデオセグメントの並びが変化している。従って、サマリー再生時には、その並びに対応して部分動画を再生しなければ、見ている人は動画再生時とサマリー再生時の時系列の不整合から違和感を受ける。また、編集で削除されたビデオセグメントに含まれる部分動画がサマリーとして再生されるのは不適切であり、このような部分動画はサマリー再生時に再生されるべきではない。
【００３８】
本実施形態のサマリー再生では、上記課題を解決するものであり、以下、図７及び図１４を参照して説明する。図７はステップＳ２０９において実行されるサマリー再生の手順を説明するフローチャートである。また、図１４は、編集結果を反映したサマリー再生のための部分再生区間情報の一例を示す図である。
【００３９】
ステップＳ７０１において、サマリー再生するべく指定された画像の編集結果情報を読み込む。そして、ステップＳ７０２で、編集結果情報のレコード１３０１に示されるビデオセグメントの並び順序を保ちながら、削除対象のビデオセグメントを除外して、ビデオセグメント並び順序が保たれた有効なビデオセグメントのリストを作成する。そして、そのリスト中の有効なビデオセグメントの個数を得、Ｎとする。そして、ステップＳ７０３において、ループカウンタＩを０にリセットし、ステップＳ７０２で生成したリストの先頭のビデオセグメントＩＤを得る。
【００４０】
ステップＳ７０４ではＩ＜Ｎ、即ちループカウンタＩが有効なビデオセグメントのリストの個数Ｎを超えたかどうかを判定し、越えない間はステップＳ７０５へ、越えた場合はステップＳ７０８へ処理を分岐する。
【００４１】
ステップＳ７０５では、部分再生区間情報１１２（図１２）を参照して、現在処理対象のビデオセグメントＩＤに対応するビデオセグメントのサマリーのための部分再生区間情報を得る。なお、一つのビデオセグメントＩＤに複数の部分再生区間情報がある場合は、全ての部分再生区間情報を得る。
【００４２】
続いてステップＳ７０６において、ステップＳ７０５で得た部分再生区間情報をサマリーのための部分再生区間情報へ追記する。このとき、前回の処理で追記された部分再生区間情報の後に、新たに得られた部分再生区間情報を追記するようにし、ステップＳ７０２で生成したリストの順序（すなわち編集結果情報のビデオセグメント順序）を保持する。
【００４３】
続くステップＳ７０７ではループカウンタＩをＩ＝Ｉ＋１によりインクリメントし、ステップＳ７０４に戻る。こうして、ループカウンタがＩ＜ＮとなるまでステップＳ７０５、Ｓ７０６の処理が繰り返され、サマリーのための部分区間再生情報１１４を生成する。
【００４４】
こうして、サマリーのための部分区間再生情報１１４は、図１４にその一例を示すように、図１３の編集結果情報のレコード１３０１に表されたビデオセグメントの並び順序を保存したものとなる。
【００４５】
ステップＳ７０４でＩ＞Ｎが確認されると、ステップＳ７０８へ進み、サマリーのための部分再生区間情報１１４を完成し、外部記憶装置１０７に記憶する。そして、ステップＳ７０９において、ステップＳ７０８で記憶した部分再生区間情報１１４を参照して、部分動画を順次再生し、サマリー再生を行なう。
【００４６】
以上の処理によれば、編集後のビデオセグメントの再生順序に従って、対応する部分動画が再生されるので、サマリー再生を自動的に編集結果に対応した物とすることができる。
【００４７】
再び図２に戻り、操作部１０５より動画検索指示がなされると、ステップＳ２１０からステップＳ２１１へ進み、メタデータを用いた検索処理が実行される。メタデータを用いてビデオセグメントの検索を行う場合にも、メタデータ検索で検索条件に合致したビデオセグメントが編集で削除されたビデオセグメントに成っていないか編集結果情報を用いて確認し、削除されたビデオセグメントを検索ヒット結果に出さないようにする。
【００４８】
図８はステップＳ２１１の検索処理を説明するフローチャートである。この処理では、編集によって削除されたビデオセグメントは検索結果から除外されている。
【００４９】
まず、ステップＳ８０１では、検索の対象とするメタデータ属性と検索クエリーを指定する。本実施形態では、図１１に示したように、メタデータは複数の属性（「オブジェクト」「アノテーション」等）を含み、それぞれに値が記録されている。ステップＳ８０１では、検索クエリーを指定するとともに、当該検索クエリーと一致するデータが存在するか否かを調べるべきメタデータの属性を指定する。
【００５０】
ステップＳ８０２では、ステップＳ８０１で指定されたメタデータ属性のメタデータについて調査し、検索クエリーに合致しているビデオセグメントＩＤのリストを生成する。ステップＳ８０３では、編集結果情報の編集後のビデオセグメント並び順序（レコード１３０１）を参照し、「＊」マークの付いたビデオセグメントＩＤ（編集で削除されたビデオセグメントのＩＤ）をステップＳ８０２で生成したリストから除外する。図１３の例では、ＩＤ＝２、５が削除されているので、ステップＳ８０２で生成したリストにＩＤ＝２、５が存在する場合に、これらを削除する。
【００５１】
例えば、メタデータ属性として「オブジェクト」を選択し、手が映っているビデオセグメントを探した場合、図１１のメタデータ情報からはビデオセグメントＩＤ＝１と２がヒットする。しかし、編集結果情報１１３においてビデオセグメントＩＤ＝２は削除されているため、ビデオセグメントＩＤ＝１のみが検索結果として返されることになる。
【００５２】
以上の処理によれば、検索結果に編集で削除したデータが含まれることを防止できる。
【００５３】
また、編集の結果削除されたビデオセグメントを検索結果から除外する他に、検索結果を提示する際に編集結果として得られたビデオセグメントＩＤの並びを反映させる（例えば、ビデオセグメントＩＤの並びの順に検索結果を提示する）ようにしてもよい。
【００５４】
また、上記実施形態では、ビデオセグメント区間情報１１０、メタデータ情報１１１、部分再生区間情報１１２及び編集結果情報１１３に関し、固定のフィールドに格納する様な概念図を用いたが、これに限られるものではない。例えば、ＸＭＬやＨＴＭＬやＳＧＭＬ等の構造記述言語を用いれば、識別子（ＴＡＧ）を用いて属性を表すことができるので、サイズや記述位置の制約が無くなる。また、これら１１０，１１１，１１２，１１３等の一連の情報をその他の構造記述言語を用いて表現しても良い。
【００５５】
また、本実施形態では編集の単位をビデオセグメントとしたが、ショット単位や内容理解に基づく単位としても構わない。
【００５６】
また、本実施形態では、メタデータを用いてビデオセグメントの検索を行う際に、検索対象のフィールドをなめて検索を行ったが、効率的な検索のためのインデックスを予め作成しておき、これを参照することにより該当するビデオセグメントＩＤを効率的に得るようにしてもよい。例えば、ビデオに映っている人を記述するメタデータフィールドがあったとする。このビデオに登場する人物がＡ，Ｂ，Ｃの３人がいる場合、インデックスとはA、B、Cそれぞれが映っているビデオセグメントのＩＤのリストを用意しておくことを意味する。Aが映っているビデオセグメントを検索する指示があった場合に、上記Aが映っているビデオセグメントのＩＤのリストをそのまま検索結果として利用出来るので極めて高速である。他方、インデックスが無い場合にはビデオに登場する人物を記述するフィールドを全て舐めて検索するので処理時間が掛かる。
【００５７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、動画の仮想編集にメタデータの更新を自動的に追従させることができ、編集者のメタデータ再編集の負担が軽減されることになる。
また、本発明によれば、動画の仮想編集に追従してサマリーデータが自動的に更新されるので、動画の編集後においても違和感を与えないサマリー再生が可能となる。
【図面の簡単な説明】
【図１】本実施形態による動画処理装置の構成を示すブロック図である。
【図２】本実施形態の動画処理装置の動作概要を示すフローチャートである。
【図３】本実施形態によるビデオセグメント区間情報生成処理を説明するフローチャートである。
【図４】メタデータ情報の生成手順を説明するフローチャートである。
【図５】本実施形態による部分再生区間情報の生成手順を説明すフローチャートである。
【図６】本実施形態による動画の編集処理を説明するフローチャートである。
【図７】本実施形態によるサマリー再生の手順を説明するフローチャートである。
【図８】本実施形態による検索処理を説明するフローチャートである。
【図９】本実施形態によるビデオセグメントへの分割の概念を示す図である。
【図１０】本実施形態によるビデオセグメント区間情報のデータ構成例を示す図である。
【図１１】本実施形態によるメタデータ情報のデータ構成例を示す図である。
【図１２】本実施形態によるサマリー再生のための部分再生区間情報のデータ構成例を示す図である。
【図１３】本実施形態による編集結果情報のデータ構成例を示す図である。
【図１４】編集結果を反映したサマリー再生のための部分再生区間情報の一例を示す図である。
Claims (16)
- 動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理手段と、
前記複数のセグメントの各々より抽出された連続した複数フレームからなる少なくとも１つの部分フレーム群と、その抽出元のセグメントのＩＤとを関連づけて管理する部分フレーム群管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段と、
前記編集結果記憶手段に記憶された内容に基づいて前記部分フレーム群管理手段で管理されている部分フレーム群を順次再生するサマリー再生手段とを備えることを特徴とする動画データ処理装置。 - 前記サマリー再生手段は、前記編集結果記憶手段に記憶されている前記ＩＤの並びに従って前記部分フレーム群管理手段によって管理されている部分フレーム群を順次再生することを特徴とする請求項１に記載の動画データ処理装置。
- 前記編集結果記憶手段は更に、編集の結果削除されたセグメントのＩＤを示す削除情報を記憶し、
前記サマリー再生手段は、前記削除情報で示されるＩＤと関連付けられた部分フレーム群を再生しないことを特徴とする請求項１に記載の動画データ処理装置。 - 動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段とを備え、
前記編集結果記憶手段は、編集の結果削除されたセグメントのＩＤを示す削除情報を更に記憶することを特徴とする動画データ処理装置。 - 動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で、前記複数のセグメントの各々を管理するセグメント管理手段と、
前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びを記憶する編集結果記憶手段と、
前記複数のセグメントの各々に対応するメタデータを、各セグメントに対応するＩＤと関連づけることによって管理するメタデータ管理手段と、
前記メタデータを用いて画像検索を行なう検索手段と、
前記検索手段の検索結果に前記編集結果記憶手段に格納された内容を反映する反映手段とを備えることを特徴とする動画データ処理装置。 - 前記反映手段は、前記編集結果記憶手段に記憶されている編集後のＩＤの並びに従って検索結果を提示することを特徴とする請求項５に記載の動画データ処理装置。
- 前記編集結果記憶手段に記憶される編集結果は編集によって削除されたセグメントに対応するＩＤを示す削除情報を含み、
前記反映手段は、前記検索結果より前記削除情報で示されるＩＤに対応する検索結果を削除することを特徴とする請求項５に記載の動画データ処理装置。 - 動画データ処理装置による動画データ処理方法であって、
セグメント管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
部分フレーム群管理手段が、前記複数のセグメントの各々より抽出された連続した複数フレームからなる少なくとも１つの部分フレーム群と、その抽出元のセグメントのＩＤとを関連づけて管理する部分フレーム群管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程と、
サマリー再生手段が、前記編集結果記憶工程により前記メモリに記憶された内容に基づいて前記部分フレーム群管理工程で管理されている部分フレーム群を順次再生するサマリー再生工程とを備えることを特徴とする動画データ処理方法。 - 前記サマリー再生工程では、前記編集結果記憶工程により前記メモリに記憶された前記ＩＤの並びに従って前記部分フレーム群管理工程で管理されている部分フレーム群を順次再生することを特徴とする請求項８に記載の動画データ処理方法。
- 前記編集結果記憶工程は更に、編集の結果削除されたセグメントのＩＤを示す削除情報を前記メモリに記憶し、
前記サマリー再生工程では、前記削除情報で示されるＩＤと関連付けられた部分フレーム群を再生しないことを特徴とする請求項８に記載の動画データ処理方法。 - 動画データ処理装置による動画データ処理方法であって、
グループ管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程とを備え、
前記編集結果記憶工程では、更に、編集の結果削除されたセグメントのＩＤを示す削除情報が前記メモリに記憶されることを特徴とする動画データ処理方法。 - 動画データ処理装置による動画データ処理方法であって、
グループ管理手段が、動画データを連続する複数フレームからなる複数のセグメントに分割してＩＤを付与した状態で前記複数のセグメントの各々を管理するセグメント管理工程と、
編集結果記憶手段が、前記動画データの編集結果として得られた、前記複数のセグメントのＩＤの並びをメモリに記憶する編集結果記憶工程と、
メタデータ管理手段が、前記複数のセグメントの各々に対応するメタデータを、各セグメントに対応するＩＤと関連づけることによって管理するメタデータ管理工程と、
検索手段が、前記メタデータを用いて画像検索を行なう検索工程と、
反映手段が、前記検索工程の検索結果に、前記編集結果記憶工程によって前記メモリに格納された内容を反映する反映工程とを備えることを特徴とする動画データ処理方法。 - 前記反映工程では、前記編集結果記憶工程によって前記メモリに記憶された編集後のＩＤの並びに従って検索結果が提示されることを特徴とする請求項１２に記載の動画データ処理方法。
- 前記編集結果記憶工程において前記メモリに記憶される編集結果は編集によって削除されたセグメントに対応するＩＤを示す削除情報を含み、
前記反映工程では、前記検索結果より前記削除情報で示されるＩＤに対応する検索結果が削除されることを特徴とする請求項１２に記載の動画データ処理方法。 - 請求項８乃至１４のいずれか１項に記載の動画データ処理方法をコンピュータに実行させるための制御プログラム。
- 請求項８乃至１４のいずれか１項に記載の動画データ処理方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283960A JP3943880B2 (ja) | 2001-09-18 | 2001-09-18 | 動画データ処理装置及び方法 |
| US10/242,618 US7257311B2 (en) | 2001-09-18 | 2002-09-13 | Moving image data processing apparatus and method |
| US11/751,107 US8644683B2 (en) | 2001-09-18 | 2007-05-21 | Moving image data processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283960A JP3943880B2 (ja) | 2001-09-18 | 2001-09-18 | 動画データ処理装置及び方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003092723A JP2003092723A (ja) | 2003-03-28 |
| JP2003092723A5 JP2003092723A5 (ja) | 2007-01-11 |
| JP3943880B2 true JP3943880B2 (ja) | 2007-07-11 |
Family
ID=19107368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001283960A Expired - Fee Related JP3943880B2 (ja) | 2001-09-18 | 2001-09-18 | 動画データ処理装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7257311B2 (ja) |
| JP (1) | JP3943880B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6752505B2 (en) * | 1999-02-23 | 2004-06-22 | Solid State Opto Limited | Light redirecting films and film systems |
| JP3943880B2 (ja) * | 2001-09-18 | 2007-07-11 | キヤノン株式会社 | 動画データ処理装置及び方法 |
| JP4335492B2 (ja) * | 2002-03-05 | 2009-09-30 | キヤノン株式会社 | 動画像管理方法及び装置 |
| US7286749B2 (en) * | 2002-04-16 | 2007-10-23 | Canon Kabushiki Kaisha | Moving image playback apparatus, moving image playback method, and computer program thereof with determining of first voice period which represents a human utterance period and second voice period other than the first voice period |
| JP3677779B2 (ja) | 2003-04-04 | 2005-08-03 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP2005004866A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| EP1494237A1 (en) * | 2003-07-01 | 2005-01-05 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for editing a data stream |
| EP1494241A1 (en) * | 2003-07-01 | 2005-01-05 | Deutsche Thomson-Brandt GmbH | Method of linking metadata to a data stream |
| EP1494238B1 (en) * | 2003-07-01 | 2009-12-23 | Thomson Licensing | Method and apparatus for editing a data stream |
| JP4412159B2 (ja) * | 2004-01-29 | 2010-02-10 | セイコーエプソン株式会社 | 画像処理装置、プリンタ及びプリンタの制御方法 |
| US8667401B1 (en) * | 2004-05-26 | 2014-03-04 | Adobe Systems Incorporated | System and method for archiving collaborative electronic meetings |
| WO2006016605A1 (ja) * | 2004-08-10 | 2006-02-16 | Sony Corporation | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| JP2006099671A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 動画像のメタデータの検索テーブル |
| US7752548B2 (en) * | 2004-10-29 | 2010-07-06 | Microsoft Corporation | Features such as titles, transitions, and/or effects which vary according to positions |
| JP4251131B2 (ja) * | 2004-11-17 | 2009-04-08 | ソニー株式会社 | データ処理装置及び方法 |
| KR100739770B1 (ko) * | 2004-12-11 | 2007-07-13 | 삼성전자주식회사 | 멀티 앵글 타이틀에 적용 가능한 메타 데이터를 포함하는저장 매체, 그 재생 장치 및 방법 |
| US20060271855A1 (en) * | 2005-05-27 | 2006-11-30 | Microsoft Corporation | Operating system shell management of video files |
| FR2891081B1 (fr) * | 2005-09-21 | 2009-05-29 | Little Worlds Studio Soc Respo | Procede et dispositif d'elaboration d'un dvd-video; programme, support d'enregistrement et module d'instanciation pour ce procede |
| EP1949376A1 (en) | 2005-11-07 | 2008-07-30 | Koninklijke Philips Electronics N.V. | Method and apparatus for editing a program on an optical disc |
| US20070204238A1 (en) * | 2006-02-27 | 2007-08-30 | Microsoft Corporation | Smart Video Presentation |
| JP2007281680A (ja) * | 2006-04-04 | 2007-10-25 | Sony Corp | 画像処理装置および画像表示方法 |
| US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
| US20080065693A1 (en) * | 2006-09-11 | 2008-03-13 | Bellsouth Intellectual Property Corporation | Presenting and linking segments of tagged media files in a media services network |
| JP4918836B2 (ja) * | 2006-09-29 | 2012-04-18 | 富士ゼロックス株式会社 | 動的情報処理装置及び情報処理プログラム |
| US8375302B2 (en) | 2006-11-17 | 2013-02-12 | Microsoft Corporation | Example based video editing |
| US8650489B1 (en) * | 2007-04-20 | 2014-02-11 | Adobe Systems Incorporated | Event processing in a content editor |
| KR101445074B1 (ko) * | 2007-10-24 | 2014-09-29 | 삼성전자주식회사 | 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치 |
| EP2220591A1 (en) * | 2007-11-15 | 2010-08-25 | Netcat.Biz PTY Limited | System and method for transforming documents for publishing electronically |
| US8639086B2 (en) | 2009-01-06 | 2014-01-28 | Adobe Systems Incorporated | Rendering of video based on overlaying of bitmapped images |
| KR101700811B1 (ko) * | 2010-09-02 | 2017-02-01 | 주식회사 케이티 | 이동형 사용자 단말 위치에 기반한 콘텐츠 연속 이용 제공 방법 및 서버 |
| CA2878735C (en) * | 2012-07-10 | 2018-08-14 | Sharp Kabushiki Kaisha | Playback device, playback method, distribution device, distribution method, distribution program, playback program, recording medium, and metadata |
| US10516893B2 (en) | 2015-02-14 | 2019-12-24 | Remote Geosystems, Inc. | Geospatial media referencing system |
| US9936214B2 (en) * | 2015-02-14 | 2018-04-03 | Remote Geosystems, Inc. | Geospatial media recording system |
| US10645468B1 (en) * | 2018-12-03 | 2020-05-05 | Gopro, Inc. | Systems and methods for providing video segments |
| CN110798744A (zh) | 2019-11-08 | 2020-02-14 | 北京字节跳动网络技术有限公司 | 多媒体信息处理方法、装置、电子设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3377677B2 (ja) * | 1996-05-30 | 2003-02-17 | 日本電信電話株式会社 | 映像編集装置 |
| WO1999038166A2 (en) * | 1998-01-21 | 1999-07-29 | Kabushiki Kaisha Toshiba | Video data recording medium, video data recording apparatus and video data playback apparatus |
| JPH11238071A (ja) | 1998-02-20 | 1999-08-31 | Toshiba Corp | ダイジェスト作成装置及びダイジェスト作成方法 |
| US7457415B2 (en) * | 1998-08-20 | 2008-11-25 | Akikaze Technologies, Llc | Secure information distribution system utilizing information segment scrambling |
| US6192783B1 (en) * | 1998-08-28 | 2001-02-27 | Jidosha Kiki Co., Ltd. | Brake booster |
| US7134074B2 (en) * | 1998-12-25 | 2006-11-07 | Matsushita Electric Industrial Co., Ltd. | Data processing method and storage medium, and program for causing computer to execute the data processing method |
| US6462754B1 (en) * | 1999-02-22 | 2002-10-08 | Siemens Corporate Research, Inc. | Method and apparatus for authoring and linking video documents |
| JP2001028722A (ja) * | 1999-07-13 | 2001-01-30 | Matsushita Electric Ind Co Ltd | 動画像管理装置及び動画像管理システム |
| JP3943880B2 (ja) * | 2001-09-18 | 2007-07-11 | キヤノン株式会社 | 動画データ処理装置及び方法 |
-
2001
- 2001-09-18 JP JP2001283960A patent/JP3943880B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-13 US US10/242,618 patent/US7257311B2/en not_active Expired - Fee Related
-
2007
- 2007-05-21 US US11/751,107 patent/US8644683B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20070230807A1 (en) | 2007-10-04 |
| US8644683B2 (en) | 2014-02-04 |
| US7257311B2 (en) | 2007-08-14 |
| US20030052910A1 (en) | 2003-03-20 |
| JP2003092723A (ja) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3943880B2 (ja) | 動画データ処理装置及び方法 | |
| US5537528A (en) | System and method for inputting scene information | |
| JP4514928B2 (ja) | 編集装置及び方法 | |
| JP4354806B2 (ja) | 動画像管理装置及び方法 | |
| JPH08249348A (ja) | 映像検索方法および装置 | |
| JP2005215894A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
| KR20060050611A (ko) | 재생을 위해 컨텐츠의 우선순위를 정하는 정보 처리 장치및 그 방법 | |
| JP2001236251A (ja) | ファイルシステム | |
| JP2001028722A (ja) | 動画像管理装置及び動画像管理システム | |
| JP3574606B2 (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
| JPH08115312A (ja) | マルチメディア文書再生装置、マルチメディア文書編集装置およびマルチメディア文書編集再生装置 | |
| JP2001157155A (ja) | 記録媒体、記録装置、再生装置、記録方法、及びコンピュータ読みとり可能な記録媒体 | |
| KR20080036946A (ko) | 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및기록 매체 | |
| JPH1013773A (ja) | デジタル画像管理検索システム及びデジタルカメラシステム | |
| KR20000038290A (ko) | 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조 | |
| KR100585668B1 (ko) | 가상 미디어파일 시스템을 이용한 멀티미디어 편집 방법및 장치와 멀티미디어 파일 구조 | |
| JP2002142188A (ja) | 動画像編集方法及び装置 | |
| JP2007287204A (ja) | 再生装置、再生方法、プログラム | |
| JP2000134565A (ja) | 記録媒体、記録装置、再生装置、記録方法、及びコンピュ―タ読みとり可能な記録媒体 | |
| JP2002344849A (ja) | 動画像処理装置、動画像処理方法、記録媒体、及び制御プログラム | |
| JP4021449B2 (ja) | 動画像編集方法および動画像編集装置 | |
| JP3690313B2 (ja) | 動画像管理装置、情報入力方法および動画像検索方法 | |
| JP2005149658A (ja) | データ処理方法、データ処理装置、データ処理プログラム、およびコンピュータ読み取り可能な記録媒体 | |
| JP2000125253A (ja) | 動画編集装置および記録媒体 | |
| JP4674726B2 (ja) | ファイルの管理方法および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |