JP4125140B2 - 情報処理装置、情報処理方法ならびにプログラム - Google Patents
情報処理装置、情報処理方法ならびにプログラム Download PDFInfo
- Publication number
- JP4125140B2 JP4125140B2 JP2003012511A JP2003012511A JP4125140B2 JP 4125140 B2 JP4125140 B2 JP 4125140B2 JP 2003012511 A JP2003012511 A JP 2003012511A JP 2003012511 A JP2003012511 A JP 2003012511A JP 4125140 B2 JP4125140 B2 JP 4125140B2
- Authority
- JP
- Japan
- Prior art keywords
- transition
- clip
- transition clip
- information processing
- multimedia data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 27
- 230000007704 transition Effects 0.000 claims description 252
- 238000000034 method Methods 0.000 claims description 73
- 230000000694 effects Effects 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 25
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチメディアデータの編集／再生などの処理を行うための情報処理技術に関するするものである。
【０００２】
【従来の技術】
小型の計算機システムの能力向上や低価格化によって、家庭電化製品の中にはその制御や情報処理のために、計算機を内蔵するものが一般的となっている。家庭用のビデオ機器も、アナログで放送を記録したり、メディアで供給される映像や音楽を楽しむという状態から、高品位で劣化しないデジタルデータとして動画や音声を記録する機器へと遷移するとともに、小型で安価なビデオ記録装置などにより、普通の家庭で購入できるビデオカメラが出現し、家庭内でビデオ撮影を行い、これを見て楽しむ時代へと変化している。
【０００３】
また、一般家庭内にもコンピュータや地球規模のネットワークであるインターネットが普及してきたことによって、デジタルデータで供給される映像や音声などの高品位のコンテンツが以前よりも容易に扱えるようになり、映像や音声、文字等が混在したマルチメディアデータが広く流通するようになってきた。
【０００４】
さらに、インターネット上に多数の個人サイトがあることからも分かるように、個人が創作的な活動をする機会が多くなってきている。
【０００５】
このような背景の下、以前のように、ただビデオを撮影したり供給された映像を見るだけではなく、従来、放送系の企業などが行っていた、ビデオ編集を家庭でも行いたいという要求が高まってきている。
【０００６】
一般家庭でビデオの編集を行う方法としては、例えば、ＶＴＲからＶＴＲへ、またはビデオカメラからＶＴＲへという様に、再生用機器から録画用機器へダビングしながら編集する方法がある。これは、再生用のマスターテープを早送りしたり巻き戻したりして好きなシーンを探し出し、録画用のテープへダビングしながら編集してビデオを作り出す編集方法で、２台以上の再生用機器を用いたり、録画用機器へダビングする時にビデオ編集機器やコンピュータ装置等を使うことにより、例えば、シーンの切り替えに特殊なトランジション効果を加えたり、テロップやスーパーなどを合成するなど、画面に特殊な編集効果を加えることが可能になる。しかし、この方法は、専用の編集機材や編集に対する熟練が必要とされ、手間暇もかかるため、素人ユーザにとっては特に敷居が高く取り付き難い編集方法であった。
【０００７】
これに対して最近では、ビデオキャプチャカードやＩＥＥＥ１３９４インターフェース、ＤＶ編集カード等を使ってコンピュータ装置等にビデオ映像を取り込み、取り込んだ映像を編集する方法がでてきている。この方法は、市販されているビデオ編集ソフトウエアを使うことによって、様々な編集効果を使うことも可能になる。
【０００８】
特に、現在は、性能の良いＰＣでも比較的安価で手に入るようになり、一般家庭にＰＣが普及してきていることや、プロ並みの編集機能をもつソフトウエアが市販されていることから、コンピュータ装置等を使った編集方法が主流になっている。
【０００９】
また、最近のデジタルビデオカメラの中には、簡単なトランジション効果を加えたり、タイトルを入れるなどの簡単なビデオ編集機能が搭載されている機種もあり、様々な編集効果を撮影時または撮影後に与えることができるようになってきている。また、ダビングしながら編集する方法では、この様なビデオカメラを再生用機器として使用することによって、ビデオ編集機器を用いずに不要な部分の削除やシーンの並べ替えといった編集効果を映像に加えることも可能になる。
【００１０】
今後、編集機能をもつビデオカメラの低価格化や、編集機能の高機能化が進み、この様に編集機能が搭載されたビデオカメラが普及していくことによって、コンピュータを使うことができないユーザでもビデオ編集を行うことが可能になるため、ユーザにとってビデオ編集は身近な機能になっていくことが考えられる。
【００１１】
いずれにしても、ビデオ編集を家庭でも行いたいという要求の高まりの下、性能のよいＰＣやビデオカメラを用いれば、専用の編集機材を必要としなくとも、ビデオ編集が可能な環境が実現しつつある。
【００１２】
【発明が解決しようとする課題】
しかしながら上記従来例では次のような欠点があった。
【００１３】
マルチメディアデータ、特に映像の編集作業には専門的な知識や技術が必要であり、複雑な操作を行う必要があるため、家庭向けビデオカメラで撮影した映像を編集することは、ビデオ編集に不慣れな一般ユーザにとっては、依然として非常に敷居が高く、難しいものであった。
【００１４】
上述のように、最近では、コンピュータ装置上でビデオ映像の編集を行うためのソフトウエアの編集機能や、ビデオカメラに搭載された編集機能も、素人ユーザでも比較的簡単にビデオ編集作業を行うことができるよう工夫されきてはいるが、ビデオ編集においては、技術的な用語の理解や編集におけるノウハウが必要であるため、ビデオ編集に関する専門知識を持たない初心者ユーザにとっては、これらのソフトウエアも必ずしも理解し易いものではなく、また編集したものがユーザを満足させるとは限らなかった。
【００１５】
具体的には、ビデオ編集ソフトウエアとして、例えば、ユーザが編集するシーンを自由に選択／配置して繋ぎあわせ、挿入するトランジションクリップを任意に指定して編集を行うことができるソフトウエアが市販されている。また、ビデオカメラとして、シーンの切り替えに任意のトランジションクリップを加えることが可能な編集機能を搭載したビデオカメラが市販されている。
【００１６】
しかし、ビデオ編集に不慣れで編集に関する専門知識を持たないユーザの場合、このようなトランジションクリップをユーザが任意に選択する方法だと、どのクリップを挿入したらよいのか分からず迷ったり、テーマや前後のシーンのシチュエーションには合わない不適切なクリップを選択して不自然なビデオ映像になったり、また編集効果が過剰で見にくいビデオが出来あがってしまう可能性がある。
【００１７】
他に、簡単にビデオ編集できるソフトウエアとして、例えば、子供の運動会や誕生日、結婚式などの各テーマ（イベント情報）に合わせた編集シナリオがテンプレート等で用意されており、撮影したシーンをビデオテープから取り込んで並べるだけで編集を行うことができるソフトウエアも市販されている。これは、指定された順番通りにシーンを配置するだけでよく、複雑な作業を必要としないので、初心者ユーザであっても比較的簡単にビデオ編集を行うことができる。
【００１８】
しかし、テーマ（イベント情報）ごとに挿入できるシチュエーション、及びトランジションクリップが編集シナリオによって決められており、編集できる内容が限られているため、編集の自由度が少なく、ユーザの個性を活かすことができないという問題があった。また、編集用テンプレートによって指定されているトランジションクリップが、必ずしもユーザの好みや要求にあっているとは限らないという問題があった。
【００１９】
また、上述したように２つのシーンを編集して１つに繋ぎあわせ、一本のビデオにする場合だけでなく、２つ以上のシーンを続けて再生する場合にも、シーンの切り替えにトランジションクリップを挿入することができるが、その場合でも同様の問題が発生する。
【００２０】
本発明は、上記課題を鑑みてなされたものであり、シーンの切り替えにトランジションクリップを挿入することでビデオ編集を行う場合において、編集に関する専門知識を持たないユーザにも理解し易く、容易に扱うことができるようにすることを目的とする。
【００２１】
そして、編集に不慣れなユーザでも、映像効果を加えた洗練された映像を作成することができるようにすることを目的とする。
【００２２】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
入力されたマルチメディアデータの編集を行う情報処理装置であって、
前記マルチメディアデータのメタデータを取得する取得手段と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択手段と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理手段とを備える。
【００２３】
【発明の実施の形態】
以下、本発明に係る実施形態について、図面を参照して詳細に説明する。
【００２４】
［第１の実施形態］
本実施形態では、コンピュータ装置内部に取り込まれた映像を編集し、シーンの切り替えにトランジション効果（カットとカットとの間をつなぐときに使う映像表現）を設定する場合の例について説明する。
【００２５】
ビデオカメラなどの撮影装置で撮影した動画像データをコンピュータ装置に取り込むには、例えば、外部記憶媒体に記憶されたデータをコンピュータ装置に読み込む方法や、ビデオキャプチャカードやＩＥＥＥ１３９４インターフェース等を介して取り込む方法がある。取り込まれたデータは、クリップ（ビデオの一部または短いひとまとまり）ごとにファイルになっていても、複数のクリップが同一のファイルになっていてもよい。
【００２６】
トランジション効果の設定には、動画像データに付与されたメタデータを利用することができる。メタデータは、検索などのアプリケーションで利用するためにマルチメディア・データの内容を記述したデータで、例えば、ＭＰＥＧ−７で規格化されているスキーマに基づいて記述することができる。
【００２７】
図１は、本発明の一実施形態に係る情報処理装置を備える情報処理システム全体の構成の一例を示す図である。
【００２８】
図示の構成において、１１はマイクロプロセッサ（ＣＰＵ）であり、各種処理のための演算、論理判断等を行い、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭ１２やＲＡＭ１３上のプログラムによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００２９】
アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは各構成機器相互間のデータ転送を行う。
【００３０】
１２は読出し専用の固定メモリ（ＲＯＭ）であり、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。ＲＯＭには、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００３１】
１３は書込み可能なランダムアクセスメモリ（ＲＡＭ）であって、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１１以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００３２】
これらＲＯＭ１２やＲＡＭ１３などの記憶媒体には、本実施形態のデータ編集を実現する計算機プログラムやデータなどが格納されており、これらの記録媒体に格納されたプログラムコードを、ＣＰＵ１１が読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。
【００３３】
また、本発明に係るプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭ１３などの書き換え可能な記憶媒体上に前記の記憶媒体から、そのプログラムがＲＡＭ１３上にコピーされる可能性があるが、その記憶媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、メモリカード、光磁気ディスクなどを用いることができるものと思われるが、このような方式も採用可能である。
【００３４】
１４はハードディスク（ＤＩＳＫ）であり、さまざまな計算機プログラムやデータ等を記憶するための外部メモリとして機能する。ハードディスク（ＤＩＳＫ）は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種計算機プログラムやデータ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１３上に完全もしくは部分的に呼び出される。
【００３５】
また、これらのプログラムやデータを格納する記録媒体としては、ＲＯＭ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、メモリカード、光磁気ディスクなどを用いることができる。
【００３６】
１５はメモリカード（ＭｅｍＣａｒｄ）であり、着脱型の記憶媒体である。この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００３７】
１６はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。なお、マウスのようなポインティングデバイスも含むこともできる。
【００３８】
１７はカーソルレジスタ（ＣＲ）である。ＣＰＵ１１により、カーソルレジスタの内容を読み書きできる。後述するＣＲＴコントローラＣＲＴＣ１９は、ここに蓄えられたアドレスに対する表示装置ＣＲＴ２０上の位置にカーソルを表示する。
【００３９】
１８は表示用バッファメモリ（ＤＢＵＦ）で、表示すべきデータのパターンを蓄える。
【００４０】
１９はＣＲＴコントローラ（ＣＲＴＣ）であり、表示用バッファＤＢＵＦ１８に蓄えられた内容を表示装置ＣＲＴ２０に表示する役割を担う。
【００４１】
２０は陰極線管等を用いた表示装置（ＣＲＴ）であり、その表示装置ＣＲＴにおけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラ１９で制御する。
【００４２】
２１はキャラクタジェネレータ（ＣＧ）であって、表示装置ＣＲＴ２０に表示する文字、記号のパターンを記憶するものである。
【００４３】
２２は他のコンピュータ装置等と通信を行うための通信デバイス（ＮＣＵ）であり、これを利用することで、本実施形態のプログラムやデータを、他の装置と共有することが可能になる。図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でもかまわない。なお、ネットワークの種類などは何でもかまわないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでもかまわない。
【００４４】
２３は人工衛星などを利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ)で受信して、放送されているデータを取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、前記ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。
【００４５】
かかる各構成要素からなる情報処理システムにおいては、通信デバイスＮＣＵ２２から供給されるＩＥＥＥ１３９４端子（ＤＶ端子）にビデオカメラ等のＩＥＥＥ１３９４端子を接続することにより、コンピュータ装置からビデオカメラ等のビデオ機器を制御して、ビデオ機器に記録されている映像データ及び音声データをキャプチャしてコンピュータ装置側に取り込み、図１のＲＯＭ１２、ＲＡＭ１３、ハードディスクＤＩＳＫ１４、メモリカードＭｅｍＣａｒｄ１５のような記憶装置に格納することができる。また、ＬＡＮなどを介して、他の記憶装置に格納することによって、利用することもできる。
【００４６】
また、本発明に係るプログラムを格納した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、記録媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【００４７】
図２は、図６において、ユーザが、トランジションクリップの複数候補の中から所望のクリップを指示する場合の表示例である。これは、ウィンドウシステムを利用した場合の画面の例で、本実施形態における情報処理装置によって、表示装置ＣＲＴ２０に表示される。
【００４８】
図示において、２１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分である。
【００４９】
２２はリストボックスで、操作者が指定したシーンの切り替えに対する適切なトランジションクリップがリスト表示され、操作者は、挿入するトランジションクリップを指示することができる。図では、「オープンハート」「クロスズーム」「クロスフェード」等が存在することを示しており、現在、「クロスズーム」という項目が指示され、反転表示しているところである。操作者が、キーボードＫＢ１５上のカーソル移動キーを押下することによって、反転表示部は「クロスズーム」から「オープンハート」または「クロスフェード」というように遷移し、操作者はリストの中から所望のトランジションクリップを任意に指示することができる。
【００５０】
２３は、反転表示されたトランジションクリップのイメージを表示する部分である。操作者は、アニメーション等のサンプル画像を見ることにより、映像が遷移するイメージを確認することができる。
【００５１】
画面下の２４は、反転表示されたトランジションクリップに対する説明文がテキストで表示される領域で、図２では、現在反転表示している「クロスズーム」の説明が表示されているところである。
【００５２】
本実施形態では、トランジションクリップに関する表示イメージと説明を合わせて表示することによって、ユーザにより分かりやすく示している。２３、２４の領域に表示されるサンプル画像やテキストは、図１のハードディスクＤＩＳＫ１４等の記録媒体に保存されている。また、図１の通信デバイスＮＣＵ２２経由でＬＡＮ上のＰＣなどの計算機や受信デバイスＤＴＵ２３経由で外部ネットワーク上の計算機上に保有するようにすることもできる。
【００５３】
２５〜２７はボタンで、キーボードＫＢ１６上のマウスを操作するかまたはキーを操作することによって指示することができる。
【００５４】
２５は、「詳細設定」ボタンで、トランジションクリップに対して、方向や長さなどの詳細情報を操作者が任意に設定するためのものである。「詳細設定」ボタンを選択した場合の表示画面、及び設定できる詳細項目は、トランジションクリップの種類によって異なる。
【００５５】
２６は、「ＯＫ」ボタンで、現在指示されているトランジションクリップ及び入力された詳細情報に対する決定を最終的に指示する部分である。「ＯＫ」ボタンを選択すると、リストボックス２２で現在反転表示しているトランジションクリップ、及びボタン２５を押下して入力された詳細情報が確定し、これを保存する処理へ移行する。
２７は、「キャンセル」ボタンで、これを選択すると入力された内容が破棄されることとなる。
【００５６】
本発明に係る情報処理装置におけるトランジション効果の設定には、動画像データに付与されたメタデータを利用する。これらのメタデータは、例えば、ＭＰＥＧ−７で規格化されている方法に従って記述することができる。
【００５７】
以下、本発明に係る情報処理装置において、動画像データに付与されたメタデータについて説明する。
【００５８】
図３は、データと、これに付与されたメタデータの一例を示しており、動画像データに含まれる一連のフレームに対して、それぞれのデータの内容や特徴を表す情報、例えばイベント情報、登場人物（イベントに関連する登場人物や物等を総称して「オブジェクト」と呼ぶ、以下同じ）、状態、場所などの情報がメタデータとして付与されていることを示している。ここでは、データの内容や特徴を言葉（キーワード）で表現し、文字情報（テキスト）などを主に格納しているが、自由形式の説明文や、文法的に構造解析された文章、５Ｗ１Ｈで構造化された文章を記述することもできる。また、他にもイベント情報やオブジェクト間の関係やシーン間の関係を記述したものや、階層構造や相対的重要度を保有するものや、また、文字以外にも、計算機が処理しやすい形式でデータの特徴を記述した非言語的な情報も付与可能である。
【００５９】
動画像データやそのメタデータは、図１のハードディスクＤＩＳＫ１４等の記録媒体に保存されている。また、図１の通信デバイスＮＣＵ２２経由でＬＡＮ上のＰＣなどの計算機上に保持されたデータを利用したり、受信デバイスＤＴＵ２３経由で外部ネットワーク上の計算機から利用することも可能である。
【００６０】
以下、本発明に係る情報処理装置におけるトランジションクリップ編集時の処理を、具体例を挙げて説明する。
【００６１】
図４は、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【００６２】
ステップＳ４１では、編集する前後のシーンの指定を受けつける処理を行う。シーンやトランジションクリップの指定は、本実施形態における情報処理装置上で動作するビデオ編集ソフトウエアなどで、ユーザが図１のキーボードＫＢ１６を操作して、各素材（クリップ）を指示し、タイムラインやストーリーボード上に配置することによって指定することができる。また、必要に応じて、開始点、終了点を指定することによってビデオクリップの中から使いたい長さを取り出すこともできる。
【００６３】
ここで、シーンとは、編集対象の動画像データ中でユーザが採用したい区間であり、編集時の最小単位である。編集中のシーンに関する情報は、例えば、動画像クリップにおいて採用された区間の開始点と終了点のフレームＩＤなどで表わすことができる。
【００６４】
指定されたシーンは、映像の編集状態を保持するテーブルに保存される。これは、選択されたシーンやシーンの再生順、映像に挿入するテロップやトランジションクリップ等の特殊効果などの映像の編集状態を示した情報で、図１のＤＩＳＫ１４、ＲＡＭ１３等の記録媒体に保存されることとなる。
【００６５】
ステップＳ４２は、ユーザが指定したシーンの切り替え時にトランジションクリップを挿入することを指示するステップである。
【００６６】
本実施形態では、前後のシーンを選択した後で、その二つのシーンの切り替えにトランジションクリップを設定することを想定しているが、トランジションクリップ挿入の指示は、あらかじめ全てのシーンを選択し再生する順番を決定した後で、それぞれのシーンの切り替えにトランジションクリップを指定してもよい。
【００６７】
ステップＳ４３は、トランジションクリップの挿入が指示された位置に対する前後のシーンに対応したメタデータを取得する処理を示している。メタデータは、図３に示すようなデータで、図１のＤＩＳＫ１４等の記録媒体に保存されている。取得されたメタデータは、図１のＲＡＭ１３等の記録媒体に保存され、ステップＳ４４の処理で利用される。
【００６８】
ステップＳ４４では、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を取得する処理を行う。トランジションクリップの候補の取得は、例えば、図７に示すような、前後のシーンに付与されたメタデータのイベント情報とトランジションクリップの関係を示したテーブルを参照することによって処理することができる。例えば、前のシーンに付与されたメタデータのイベント情報が披露宴−お色直しで、後のシーンに付与されたメタデータのイベント情報が披露宴−キャンドルサービスの場合は、トランジションクリップとして、オープンハート、クロスフェード、スライドが検索される。
【００６９】
また、この方法以外にも、例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、適切なトランジションクリップを検索する方法も考えられる。その場合の処理については、後述する図５のフローチャートを用いて詳細に説明する。
【００７０】
ステップＳ４５は、ステップＳ４４で、トランジションクリップの候補が存在するかどうかを判定する処理であり、候補が存在する場合には、ステップＳ４６に進み、候補がなかった場合は、終了する。
【００７１】
ステップＳ４６は、ステップＳ４４で取得したトランジションクリップの候補が複数存在するかどうかを判定する処理であり、候補が複数存在する場合にはステップＳ４７の処理を行い、候補が一つしかない場合はステップＳ４８の処理に進む。
【００７２】
ステップＳ４７は、ステップＳ４４で取得したトランジションクリップの候補の中から、最適なものを決定する処理である。このステップは、例えば、重要度などによって複数候補の中から最適なものを求める方法や、ユーザが複数候補の中から所望のトランジションクリップを指示する方法などによって処理することができる。ユーザが複数候補の中から指示する処理については、後述する図６のフローチャートを用いて詳細に説明する。
【００７３】
ステップＳ４８は、ステップＳ４７で決定されたトランジションクリップに対して、詳細項目の設定が指示されたかどうかを判定する処理であり、設定が指示された場合には、ステップＳ４９に進み、指示されなかった場合は、ステップＳ４１０に進む。詳細項目の設定の指示は、例えば、図２における「詳細設定」ボタン２５を選択することによって行われ、トランジションクリップに対する方向や長さなどの詳細情報を操作者が任意に設定することができる。
【００７４】
ステップＳ４９は、ユーザによる詳細項目の設定を、データ処理システムが受け付けるステップである。ユーザは、キーボードＫＢ１６を操作することによって、実際に、トランジションクリップに関する詳細情報を入力することができる。詳細項目を設定する場合の表示画面、及び設定できる詳細項目は、トランジションクリップの種類によって異なる。
【００７５】
ステップＳ４１０では、ステップＳ４７で決定されたトランジションクリップとステップＳ４９で入力された詳細情報とを、映像の編集状態を保持するテーブルに保存する処理を行う。
【００７６】
編集された結果は、保存された編集状態に基づいてレンダリング処理を行い、画像・音声ファイルから最終的な動画像ファイルを自動的に生成する。
【００７７】
次に、図４のステップＳ４４においてトランジションクリップを候補を取得する他の処理方法について、図５を用いて詳細に説明する。
【００７８】
図５は、図４におけるステップＳ４４の処理を詳細化したフローチャートで、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を取得するための処理を示している。
【００７９】
ステップＳ５１では、データに付与されたメタデータを解析することによって、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別する処理を行う。図１０は、イベント情報や、そのイベント情報に含まれる個々のサブイベント情報、メタデータのオブジェクト等の相関関係、また各イベント情報やオブジェクトの特徴が定義されているテンプレートの例を示しており、この様な情報を参照することによって、メタデータを解析する。例えば、図１０において、前のシーンを表わしているイベント情報がＥ２で、後のシーンを表しているイベントがＥ３の場合は、前後のシーンはＲ２の関係を持っていることが分かる。前後のシーンの関係は、一つとは限らず、複数の関係を保持していることもある。
【００８０】
ステップＳ５２は、ステップＳ５１でメタデータを解析した結果に基づいて、前後のシーンの切り替えに適切なトランジションクリップの意味分類の検出を行う処理である。図９は、図１のＤＩＳＫ１４、ＲＯＭ１２、ＲＡＭ１３、ＭｅｍＣａｒｄ１５のような記憶装置に格納されており、メタデータのイベント情報やオブジェクト間の関係と、それぞれのトランジションクリップが与える印象や効果に基づいてトランジションクリップを意味的に分類した情報、との関係を示している。このような情報を参照することによって、前後のシーンに付与されたメタデータの関係に対応したトランジションクリップの意味分類を検出する。例えば、ステップＳ５１で解析された結果として関係Ｒ２が導き出された場合、Ｒ２に対応付けられている強調、変化、誘導等の意味分類が検出されることとなる。前後のシーンの関係が複数ある場合は、それぞれの関係に対応付けられている意味分類を全て検出する。
【００８１】
ステップＳ５３は、ステップＳ５２で検出された意味分類に基づいて、トランジションクリップの候補を検索するステップである。図８は、各トランジションクリップのタイトルに対して意味分類やその他の情報が付与されていることを示したテーブルで、この様なテーブルを参照することによって、トランジションクリップの候補を検索する。検出された意味分類が複数ある場合は、それぞれの意味分類が付与されているトランジションクリップをすべて検索し、その和を候補とする。
【００８２】
次に、図４におけるステップＳ４７のトランジションクリップの決定処理について、図６を用いて詳細に説明する。
【００８３】
図６は、図４におけるステップＳ４７の処理を詳細化したフローチャートで、ステップＳ４４で抽出した複数候補の中からユーザが所望のトランジションクリップを決定するための処理を示している。
【００８４】
ステップＳ６１は、図４の処理で抽出されたトランジションクリップの候補に関する様々な情報を、ＤＩＳＫ１４やＲＡＭ１３上で利用できるようにする処理を行う。
【００８５】
ステップＳ６２は、図４の処理で抽出されたトランジションクリップの候補をユーザに表示する処理を行う。トランジションクリップの候補は、例えば、リスト形式でＣＲＴ２０に表示される。図２は、その表示例を示した図である。これは、ウィンドウシステムを利用した場合の画面の例であり、結婚式の披露宴を撮影して得た動画像のデータのうち、お色直しとキャンドルサービスの場面の切り替え時にトランジションクリップを挿入することを想定している。
【００８６】
ステップＳ６３では、ユーザによるトランジションクリップの指示をデータ処理システムが受け付ける処理を行う。ユーザは、キーボードＫＢ１６を操作することによって、ステップＳ６２で示したトランジションクリップの候補の中から、所望のものを指示することができる。
【００８７】
トランジションクリップに関しては、専門的な用語で表現されているため、ビデオ編集に関する専門知識を持たない初心者ユーザにとっては理解しにくいものである。そこで、各トランジションクリップの候補について、例えば、アニメーション表示などによって映像を切り替えるイメージを表現したり、説明文などで示すことによって、ユーザにより分かり易い情報を提示し、ユーザが指示しやすくすることが望ましい。
【００８８】
図７は、前後のシーンに付与されたメタデータのイベント情報とトランジションクリップの関係が記述されているテーブルの例である。これらの情報を利用することにより、図４のステップＳ４４では、前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を抽出することができる。例えば、図７では、披露宴というイベント情報に含まれるサブイベント情報であるお色直しとキャンドルサービスのシーンの切り替えには、オープンハート、クロスフェード、スライドといったトランジションクリップが適していることを示している。
【００８９】
これらの情報は図１のＤＩＳＫ１４等に格納することができる。この実施形態では、イベント情報を単位とすることで、ホームビデオのコンテンツなどに対して、シーンを切り替えるのに適した例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【００９０】
図８は、トランジションクリップの候補を検索するための情報を示したテーブルで、各トランジションクリップのタイトルに対して、各種情報が付与されている。例えば、本実施形態では、それぞれのトランジションクリップが与える印象や意味に基づいて分類した、効果を示す情報、及び各トランジションクリップの与える印象の強さや効果の大きさを数値で表した強度などで構成されている。
【００９１】
強度は、０から１０の絶対値で与えられ、符号が効果の適用状態をあらわす。すなわち、強度が正数である場合は、強度数値が大きいほど意味的な結びつきが強い（与える印象が強い）ことを示し、逆に強度が負数である場合は、強度値が大きいほど関連性が低い（逆の意味を強く持つ）ことを示す。例えば、トランジションクリップ「クロスフェード」に対応する「曖昧」は、「９」の強さでユーザに印象
（効果）を与え、「メリハリ」は、強度が負数であるので「８」の強さで逆の印象
（効果）を与えるという意味である。
【００９２】
また、図２で、トランジションクリップのイメージや説明を２３、２４の領域に表示するためのファイルやテキストも格納されている。
【００９３】
これらの情報やファイルは、図１のハードディスクＤＩＳＫ１４等の記録媒体に保存されている。また、図１の通信デバイスＮＣＵ２２経由でＬＡＮ上のＰＣなどの計算機や受信デバイスＤＴＵ２３経由で外部ネットワーク上の計算機上に保有するようにすることもできる。
【００９４】
図９は、メタデータのイベント情報やオブジェクト間の関係と、それぞれのトランジションクリップが与える印象や効果に基づいてトランジションクリップの持つ意味を分類した情報、との関係を示したテーブルの例である。このような情報を利用することにより、図５のステップＳ５２では、メタデータを解析した結果に基づいて、前後のシーンの切り替えに適切な意味分類の検出を行うことができる。
【００９５】
図９中のＲｎ（ｎは整数）は、イベント情報Ｅｎ（ｎは整数）やオブジェクト情報Ｏｂｊｎ（ｎは整数）の関係を表しており、各関係に対してトランジションクリップの意味分類が対応付けられている。
【００９６】
例えば、関係Ｒ２によって、イベント情報が「原因と結果」と関係付けられている場合は、後を強調、変化、誘導といった意味や効果を持つトランジションクリップによって、前と後のシーンの関係が印象付けられることとなる。
【００９７】
これらの情報は図１のＤＩＳＫ１４等に格納することができる。この実施形態では、映像データなどに対して、シーンを切り替えるのに適した例となっている。しかし、本発明は、データに応じたトランジション効果を選ぶことで、映像以外のデータにも利用しやすいように対応することが可能である。
【００９８】
図１０は、メタデータのイベント情報や、そのイベント情報に含まれる個々のサブイベント情報、オブジェクト情報等の相関関係が定義されているテンプレートの例を示している。これらの情報を利用することにより、図５のステップＳ５１では、メタデータを解析し、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別することができる。
【００９９】
図１０中のＥｎ（ｎは整数）はイベント情報を、Ｏｂｊｎ（ｎは整数）はオブジェクト情報を表している。１つのイベント情報は、時間や因果関係をもつ複数のイベント情報から成り立っており、また、イベント情報には、その出来事に関連する人物や物等のオブジェクト情報が存在する。各イベント情報同士にはある種の関係があり、またオブジェクト情報同士にもある種の関係がある。これを、Ｒｎ（ｎは数字）で表している。また、イベント情報やオブジェクト情報は、さまざまな特徴を持つことができる。
【０１００】
例えば、結婚式の披露宴の場合、「結婚式の披露宴」というイベント情報Ｅ１と、Ｅ１に含まれる「控え室での新郎新婦の様子」というサブイベント情報Ｅ２や「新郎新婦の入場」というサブイベント情報Ｅ３は、Ｒ１という関係を持つ。また、Ｅ１のサブイベント情報どうしであるＥ２とＥ３は、Ｒ２という関係を持ち、これらのイベント情報の中に存在する「新郎」というオブジェクト情報Ｏｂｊ１と「新婦」というオブジェクト情報Ｏｂｊ２は、恋愛関係Ｒ４を持っている。
【０１０１】
これらの情報は図１のＤＩＳＫ１４等に格納することができる。この実施形態では、イベント情報や登場人物などのオブジェクト情報を単位とすることで、ホームビデオのコンテンツなどに対して、内容を解析するのに適した例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【０１０２】
このようにして、各イベント情報や各オブジェクト情報等の相関関係、特徴が予め定義され、その情報はメタデータの解析時に利用されることとなる。
【０１０３】
以上の説明から明らかなように、本実施形態によれば、各トランジションクリップが与える印象や意味に基づいて、前後のシーンの関係や内容、時間、場所等に最適なトランジションクリップを、ユーザが容易に指示することができるようになり、編集に関する専門知識を持たないユーザでも、容易にビデオ編集を行うことが可能となる。
【０１０４】
［第２の実施形態］
上記第１の実施形態では、マルチメディアデータのメタデータに基づいて、適切なトランジションクリップの候補を抽出し、当該複数の候補の中から指示することとしたが、マルチメディアデータのメタデータに基づいて、不適切なトランジションクリップの候補を抽出しておき、ユーザが不適切なトランジションクリップを指示しようとした場合に、エラーメッセージを発生させるようにしてもよい。
【０１０５】
以下に、本発明の第２の実施形態にかかる情報処理装置におけるトランジションクリップ編集時の処理を、具体例を挙げて説明する。
【０１０６】
図１１は、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【０１０７】
ステップＳ４１〜Ｓ４３までは、上記第１の実施形態と同様であるため、説明は省略する。
【０１０８】
ステップＳ１１４では、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに不適切なトランジションクリップを抽出する処理を行う。不適切なトランジションクリップの抽出は、上記第１の実施形態同様、図７に示すようなテーブルを参照することによって、処理することができる。つまり、前のシーンのイベントと、後のシーンのイベントに対して、不適切なトランジションクリップを記載したテーブルを用いることで、不適切なトランジションクリップを抽出することができる。
【０１０９】
また、この方法以外にも、例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、不適切なトランジションクリップを検索する方法も考えられる。その場合の処理については、後述する図１２のフローチャートを用いて詳細に説明する。
【０１１０】
ステップＳ１１５では、ステップＳ１１４で取得したトランジションクリップをＲＡＭ１３等の記録媒体に保存する。
【０１１１】
ステップＳ４４〜Ｓ４１０までの処理は、上記第１の実施形態と同様であるため、説明は省略する。
【０１１２】
図１２は、図１１におけるステップＳ１１４の処理を詳細化したフローチャートで、ステップＳ４３で取得した前後のシーンのメタデータを解析し、照合することによって、前後のシーンの切り替えに不適切なトランジションクリップを抽出するための処理を示している。
【０１１３】
ステップＳ１２１では、データに付与されたメタデータを解析することによって、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別する処理を行う。上記第１の実施形態同様、図１０に示す情報を参照することによって、メタデータを解析する。
【０１１４】
例えば、図１０において、前のシーンを表しているイベント情報がＥ２で、後のシーンを表しているイベント情報がＥ３の場合は、前後のシーンはＲ２の関係を持っていることがわかる。前後のシーンの関係は、１つとは限らず、複数の関係を保持していることもある。
【０１１５】
ステップＳ１２２は、ステップＳ１２１でメタデータを解析した結果に基づいて、前後のシーンの切り替えに適切なトランジションクリップの意味分類の検出を行う処理である。上記第１の実施形態同様、図９に示すような情報を参照することによって、前後のシーンに付与されたメタデータの関係に対応したトランジションクリップの意味分類を検出する。例えば、ステップＳ１２１で解析された結果として関係Ｒ２が導き出された場合、Ｒ２に対応付けられている強調、変化、誘導等の意味分類が検出されることとなる。前後のシーンの関係が複数ある場合は、それぞれの関係に対応付けられている意味分類を全て検出する。
【０１１６】
ステップＳ１２３は、ステップＳ１２２で検出された意味分類に対して、不適切なトランジションクリップを検索するステップである。上記第１の実施形態同様、図８に示すようなテーブルを参照することによって、トランジションクリップを検索することができる。例えば、図８の場合は、トランジションクリップに対して負数の強度が付与されている意味分類は、逆の印象・意味を持つということを表しているので、本実施形態のように不適切なトランジションクリップを抽出する場合には、検出された意味分類に対して強度が負数であるトランジションクリップをすべて検索し、その和を結果とする。
【０１１７】
図１３は、ユーザが、トランジションクリップの候補の中から不適切なクリップを指示した場合に表示するエラーメッセージの表示例である。これは、ウィンドウシステムを利用した場合の画面の例で、本実施形態における情報処理装置によって、表示装置ＣＲＴ２０に表示される。このようなメッセージを表示することによって、情報処理装置は、指示されたトランジションクリップがシーンの切り替えに不適切であることをユーザに対して通知する。「ＯＫ」ボタンを押下すると、この画面が消え、ユーザは、再度トランジションクリップの指示画面を用いて、リスト表示されたトランジションクリップの候補の中から、所望のクリップを決定することができる。
【０１１８】
［第３の実施形態］
上記第１の実施形態では、マルチメディアデータのメタデータに基づいて、適切なトランジションクリップの候補を抽出したうえで、最適なトランジションクリップを決定することとしたが、これに限らず、マルチメディアのメタデータに基づいて、各トランジションクリップの適合率（編集されるフレームに対する各トランジションクリップの適合度を示す値）を算出・表示することで、ユーザは当該適合率を見ながら、トランジションクリップを決定することが可能なようにしてもよい。以下に、本発明の第３の実施形態にかかる情報処理装置におけるトランジションクリップ編集時の処理を、具体例を挙げて説明する。
【０１１９】
図１４は、図６において、ユーザが、トランジションクリップの複数の候補の中から所望のクリップを指示する場合の表示例である。これは、ウィンドウシステムを利用した場合の画面の例で、本実施形態における情報処理装置によって表示装置ＣＲＴ２０に表示される。
【０１２０】
同図において、２１および２３〜２８は上記第１の実施形態において示した図２と同様であるため、説明は省略する。
【０１２１】
１４２は、リストボックスで、操作者が指定したシーンの切り替えに対する適切なトランジションクリップがリスト表示され、操作者は、挿入するトランジションクリップを指示することができる。リストボックスの右側には、そのトランジションクリップの適合率を示す値が表示されており、ユーザは、各トランジションクリップが指定されたシーン切り替えにどの程度適切なのかを数値で確認することができる。
【０１２２】
本実施形態では、適合率を０〜１の間の少数値で表現しており、１に近いほど適合性が高いことを示している。また、リストボックスに表示するトランジションクリップの候補は、適合率がある閾値以上のものや適合率上位の１０個までというように、検索した結果すべてでなくてもよく、トランジションクリップのリストは求められた適合率の高い順にソートされている。図では、「オープンハート」が適合率０．８５、「クロスズーム」が適合率０．７８、「スライドイン」が適合率０．７５で存在することを示しており、現在、「クロスズーム」という項目が指示され、反転表示しているところである。操作者が、キーボードＫＢ１５上のカーソル移動キーを押下することによって、反転表示部は「クロスズーム」から「オープンハート」または「スライドイン」というように遷移し、操作者はリストの中から所望のトランジションクリップを任意に指示することができる。
【０１２３】
本実施形態においても、上記第１の実施形態同様、トランジション効果の設定には、動画像データに付与されたメタデータを利用する。これらのメタデータは、例えば、ＭＰＥＧ−７で規格化されている方法に従って記述することができる。
【０１２４】
次に本実施形態にかかる情報処理装置におけるトランジションクリップ編集時の処理を具体例を挙げて説明する。
【０１２５】
図１５は、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【０１２６】
ステップＳ４１〜Ｓ４３までは、上記第１の実施形態において示した図４と同様であるため、説明は省略する。
【０１２７】
ステップＳ１５４では、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を検索する処理を行う。トランジションクリップの候補の検索は、例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、重要度などを用いて各候補の適合率を求めることによって、適切なトランジションクリップを抽出することができる。その場合の処理については、後述する図１６のフローチャートを用いて詳細に説明する。
【０１２８】
ステップＳ１５５では、ステップＳ１５４で取得したトランジションクリップの候補が複数存在するかどうかを判定する処理であり、候補が複数存在する場合にはステップＳ１５６の処理を行い、候補が１つしかない場合はステップＳ４８の処理に進む。
【０１２９】
ステップＳ１５６では、ステップＳ１５４で取得したトランジションクリップの候補の中から、最適なものを決定する処理を行う。ステップＳ１５４で求めた適合率に従い、例えば最も値の大きいものを使用するトランジションクリップとして確定してもよいし、または、ステップＳ１５４の結果からある閾値以上の適合率をもつものや上位いくつかを候補としてユーザに提示し、この中から所望のトランジションクリップを指示させることもできる。ユーザが複数の候補の中から指示する処理については、上記第１の実施形態において示した図６と同じであるため、説明は省略する。また、ステップＳ４８〜Ｓ４１０についても、上記第１の実施形態において示した図４と同様であるため、説明は省略する。
【０１３０】
図１６は、図１５におけるステップＳ１５４の処理を詳細化したフローチャートで、重要度などを用いて各候補の適合率を計算することによって、最適なトランジションクリップを決定するための処理を示している。
【０１３１】
ステップＳ１６１では、図１５のステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を抽出する処理を行う。例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、適切なトランジションクリップを検索することができる。その場合の処理については、図１７のフローチャートを用いた詳細に説明する。
【０１３２】
ステップＳ１６２では、ステップＳ１６１で抽出したトランジションクリップの各候補に対して、上記第１の実施形態において示した図８のテーブルを参照して、図１７のステップＳ１７２で検出した意味分類に対する強度を取得するステップである。ステップＳ１７２で検出した意味分類は複数存在する場合もあり、また、１つのトランジションクリップに対して、検出した意味分類のうちの複数が対応している場合もあるので、ステップＳ１７２で検出した意味分類全てに対する強度を取得する。ここで得た強度は、図にはないが、ＲＡＭ１３上のワークメモリに格納される。
【０１３３】
次にステップＳ１６３では、各トランジションクリップに対する適合率を計算する。ＲＡＭ１３上に格納された強度値全ての和を求め、これを適合率として各トランジションクリップに対応したＲＡＭ１３上の領域に格納する。
【０１３４】
以上の処理をステップＳ１６１で取得した全てのトランジションクリップについて行う。ステップＳ１６４では、各トランジションクリップに対して求めた適合率を大きい順にソートする処理を行う。
【０１３５】
図１５におけるステップＳ１５６のトランジションクリップの決定処理については、上記第１の実施形態において示した図６と同様であるため、説明は省略する。
【０１３６】
次に図１６のステップＳ１６１においてトランジションクリップの候補を抽出する処理方法について、図１７を用いて詳細に説明する。
【０１３７】
図１７は、図１６におけるステップＳ１６１の処理を詳細化したフローチャートで、図１５のステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を抽出するための処理を示している。
【０１３８】
ステップＳ１７１では、データに付与されたメタデータを解析することによって、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別する処理を行う。上記第１の実施形態同様、図１０に示すような情報を参照することによって、メタデータを解析する。例えば、図１０のいて、前のシーンはＲ２の関係を持っていることがわかる。前後のシーンの関係は、１つとは限らず、複数の関係を保持していることもある。
【０１３９】
ステップＳ１７２は、ステップＳ１７１でメタデータを解析した結果に基づいて、前後のシーンの切り替えに適切なトランジションクリップの意味分類の検出を行う処理である。上記第１の実施形態同様、図９に示すような情報を参照することによって、前後のシーンに付与されたメタデータの関係に対応したトランジションクリップの意味分類を検出する。
【０１４０】
例えば、ステップＳ１７１で解析された結果として関係Ｒ２が導き出された場合、Ｒ２に対応付けられた強調、変化、誘導等の意味分類が検出されることとなる。前後のシーンの関係が複数ある場合は、それぞれの関係に対応付けられている意味分類を全て検出する。
【０１４１】
ステップＳ１７３は、ステップＳ１７２で検出された意味分類に基づいて、トランジションクリップの候補を検索するステップである。上記第１の実施形態同様、図８に示すようなテーブルを参照することによって、トランジションクリップの候補を検索する。検出された意味分類が複数ある場合は、それぞれの意味分類が付与されているトランジションクリップをすべて検索し、その和を候補とする。
【０１４２】
以上の説明から明らかなように、本実施形態によれば、適合率を数値で示すことにより、ユーザにとってよりわかりやすい表現となり、指示しやすくなる効果がある。
【０１４３】
【他の実施形態】
上記の実施形態において、編集対象となる蓄積情報として映像データを用いて説明したが、例えば、画像データや音声データなど、映像以外のマルチメディアデータについても、付与するメタデータやメタデータの解析方法、トランジション効果をコンテンツに応じたものにすることで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【０１４４】
また、本実施形態では、図３のメタデータ、即ち、動画像データの内容を表す情報として、イベント情報、登場人物、状態、場所などを表したキーワードを、図１０のメタデータのイベント情報やオブジェクト情報の相関関係を示すテンプレートを用いて解析することによって、適切なトランジションクリップを抽出したが、動画像データに、イベント情報やオブジェクト間の関係を記述したメタデータを付与することにより、図９のメタデータの関係とトランジションクリップの意味分類との関係を利用して、同様にトランジションクリップを抽出することができる。
【０１４５】
また、動画像データに、シーン間の関係を記述したメタデータを付与し、図にはないがシーン間の関係とトランジションクリップの関係を定義することによって、同様にトランジションクリップを抽出することができる。
【０１４６】
また、本実施形態では、コンピュータ装置内部に取り込まれた映像データを編集し、シーンの切り替えにトランジション効果を設定する場合の例について説明したが、本発明をビデオカメラなどの撮影装置に搭載されたビデオ編集機能の一部として実現し、映像の撮影時または撮影後にトランジション効果を加えることもできる。その場合、撮影装置のＤＩＳＫ、ＲＯＭ、ＲＡＭ、またはメモリカード等の記憶装置に、図３に示すメタデータ、及び図９に示すイベント情報やオブジェクト情報等の相関関係や特徴を定義した情報、図１０に示すトランジションクリップに付与された情報等が格納されている必要がある。これらの情報は、ＬＡＮなどから入手して、記憶装置に格納することで利用することも可能である。撮影時に編集された映像データは、レンダリング処理を行い、ビデオカメラ等の記憶装置に保存される。
【０１４７】
また、本実施形態では、映像データを編集する際、シーンの切り替えにトランジション効果を設定する場合の例について説明したが、映像データを編集／加工せずに複数のシーンを続けて再生する場合にも適応することができ、本実施形態と同様にシーンの切り替えに適切なトランジション効果を挿入することが可能になる。
【０１４８】
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適応しても、単一の機器からなる装置（例えば、複写機、ファクシミリ装置など）に適応してもよい。
【０１４９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることはいうまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１５０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されることはいうまでもない。
【０１５１】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１５２】
なお、本発明に係る実施態様の例を以下に列挙する。
【０１５３】
［実施態様１］ 入力されたマルチメディアデータの編集を行う情報処理方法であって、
前記マルチメディアデータのメタデータを取得する取得工程と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択工程と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理工程と
を備えることを特徴とする情報処理方法。
【０１５４】
［実施態様２］ 前記選択工程は、
あらかじめ格納されたトランジションクリップの中から、前記マルチメディアデータに付加するトランジション効果として適した複数の候補を抽出する抽出工程と、
前記抽出された複数の候補の中から、最適なトランジションクリップを決定する決定工程と
を備えることを特徴とする実施態様１に記載の情報処理方法。
【０１５５】
［実施態様３］ 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報に関連づけられた、複数のトランジションクリップの候補を抽出することを特徴とする実施態様２に記載の情報処理方法。
【０１５６】
［実施態様４］ 前記抽出工程は、
前記マルチメディアデータのの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報とオブジェクト情報との相関に関連づけられたトランジション効果に対応する複数のトランジションクリップの候補を抽出することを特徴とする実施態様２に記載の情報処理方法。
【０１５７】
［実施態様５］ 前記決定工程は、
前記抽出された複数のトランジションクリップの候補を表示する工程と、
前記表示された複数のトランジションクリップの候補の中から、任意の１つを指示する工程と、を備え、
前記指示されたトランジションクリップを最適なトランジションクリップとして決定することを特徴とする実施態様２に記載の情報処理方法。
【０１５８】
［実施態様６］ 前記選択工程は、
あらかじめ格納されたトランジションクリップの中から、前記マルチメディアデータに付加するトランジション効果として適切でない、候補を抽出する抽出工程と、
最適なトランジションクリップを決定する決定工程と
を備えることを特徴とする実施態様１に記載の情報処理方法。
【０１５９】
［実施態様７］ 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報に関連づけられた、複数のトランジションクリップの候補を抽出することを特徴とする実施態様６に記載の情報処理方法。
【０１６０】
［実施態様８］ 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報とオブジェクト情報との相関に関連づけられたトランジション効果に対応する複数のトランジションクリップの候補を抽出することを特徴とする実施態様６に記載の情報処理方法。
【０１６１】
［実施態様９］ 前記決定工程は、
前記トランジションクリップを表示する工程と、
前記表示された複数のトランジションクリップの中から、任意の１つを指示する工程と、
前記指示されたトランジションクリップが、前記抽出工程により抽出された不適切なトランジションクリップであった場合に、エラーメッセージを表示する工程と
を備えることを特徴とする実施態様６に記載の情報処理方法。
【０１６２】
［実施態様１０］ 前記選択工程は、
前記マルチメディアデータのうち、編集されるフレームに対する各トランジションクリップの適合度を示す適合率を算出する工程と
前記算出された適合率の高い順に、前記各トランジションクリップを表示する工程と、
前記表示されたトランジションクリップの中から、任意の１つを指示する工程と
を備えることを特徴とする実施態様１に記載の情報処理方法。
【０１６３】
［実施態様１１］ 入力されたマルチメディアデータの編集を行う情報処理装置であって、
前記マルチメディアデータのメタデータを取得する取得手段と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択手段と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理手段と
を備えることを特徴とする情報処理装置。
【０１６４】
［実施態様１２］ 実施態様１乃至１０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
【０１６５】
【発明の効果】
以上説明したように、本発明によれば、シーンの切り替えにトランジションクリップを挿入することでビデオ編集を行う場合において、編集に関する専門知識を持たないユーザにも理解し易く、容易に扱うことができる。そして、編集に不慣れなユーザでも、映像効果を加えた洗練された映像を作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる情報処理装置の全体構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる情報処理装置においてトランジションクリップ指示時の表示画面を示した図である。
【図３】本発明の第１の実施形態にかかる情報処理装置における、データとデータに付与されたメタデータとの関係を示すテーブル図である。
【図４】本発明の第１の実施形態にかかる情報処理装置におけるトランジションクリップ挿入処理の全体動作を説明したフローチャートである。
【図５】本発明の第１の実施形態にかかる情報処理装置における、トランジションクリップの候補の抽出処理の動作を説明したフローチャートである。
【図６】本発明の第２の実施形態にかかる情報処理装置における、トランジションクリップ決定処理の動作を説明したフローチャートである。
【図７】本発明の第１の実施形態にかかる情報処理装置における、メタデータのイベント情報とトランジションクリップの関係を示す図である。
【図８】本発明の第１の実施形態にかかる情報処理装置における、トランジションクリップに付与された情報を示す図である。
【図９】本発明の第１の実施形態にかかる情報処理装置における、メタデータの関係と、トランジションクリップ持つ意味分類との関係を示す図である。
【図１０】本発明の第１の実施形態にかかる情報処理装置における、メタデータの相関関係や特徴の定義を示す図である。
【図１１】本発明の第２の実施形態にかかる情報処理装置における、トランジションクリップ挿入の全体動作を説明したフローチャートである。
【図１２】本発明の第２の実施形態にかかる情報処理装置における、前後のシーンの切り替えに不適切なトランジションクリップの抽出処理の動作を説明したフローチャートを示す図である。
【図１３】本発明の第２の実施形態にかかる情報処理装置における、不適切なトランジションクリップを指示した場合のエラーメッセージの表示画面を示した図である。
【図１４】本発明の第３の実施形態にかかる情報処理装置においてトランジションクリップ指示時の表示画面を示した図である。
【図１５】本発明の第３の実施形態にかかる情報処理装置における、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【図１６】本発明の第３の実施形態にかかる情報処理装置における、トランジションクリップの候補の抽出処理の動作を説明したフローチャートである。
【図１７】本発明の第３の実施形態にかかる情報処理装置における、トランジションクリップの候補の抽出処理の動作を詳細に説明したフローチャートである。
【発明の属する技術分野】
本発明は、マルチメディアデータの編集／再生などの処理を行うための情報処理技術に関するするものである。
【０００２】
【従来の技術】
小型の計算機システムの能力向上や低価格化によって、家庭電化製品の中にはその制御や情報処理のために、計算機を内蔵するものが一般的となっている。家庭用のビデオ機器も、アナログで放送を記録したり、メディアで供給される映像や音楽を楽しむという状態から、高品位で劣化しないデジタルデータとして動画や音声を記録する機器へと遷移するとともに、小型で安価なビデオ記録装置などにより、普通の家庭で購入できるビデオカメラが出現し、家庭内でビデオ撮影を行い、これを見て楽しむ時代へと変化している。
【０００３】
また、一般家庭内にもコンピュータや地球規模のネットワークであるインターネットが普及してきたことによって、デジタルデータで供給される映像や音声などの高品位のコンテンツが以前よりも容易に扱えるようになり、映像や音声、文字等が混在したマルチメディアデータが広く流通するようになってきた。
【０００４】
さらに、インターネット上に多数の個人サイトがあることからも分かるように、個人が創作的な活動をする機会が多くなってきている。
【０００５】
このような背景の下、以前のように、ただビデオを撮影したり供給された映像を見るだけではなく、従来、放送系の企業などが行っていた、ビデオ編集を家庭でも行いたいという要求が高まってきている。
【０００６】
一般家庭でビデオの編集を行う方法としては、例えば、ＶＴＲからＶＴＲへ、またはビデオカメラからＶＴＲへという様に、再生用機器から録画用機器へダビングしながら編集する方法がある。これは、再生用のマスターテープを早送りしたり巻き戻したりして好きなシーンを探し出し、録画用のテープへダビングしながら編集してビデオを作り出す編集方法で、２台以上の再生用機器を用いたり、録画用機器へダビングする時にビデオ編集機器やコンピュータ装置等を使うことにより、例えば、シーンの切り替えに特殊なトランジション効果を加えたり、テロップやスーパーなどを合成するなど、画面に特殊な編集効果を加えることが可能になる。しかし、この方法は、専用の編集機材や編集に対する熟練が必要とされ、手間暇もかかるため、素人ユーザにとっては特に敷居が高く取り付き難い編集方法であった。
【０００７】
これに対して最近では、ビデオキャプチャカードやＩＥＥＥ１３９４インターフェース、ＤＶ編集カード等を使ってコンピュータ装置等にビデオ映像を取り込み、取り込んだ映像を編集する方法がでてきている。この方法は、市販されているビデオ編集ソフトウエアを使うことによって、様々な編集効果を使うことも可能になる。
【０００８】
特に、現在は、性能の良いＰＣでも比較的安価で手に入るようになり、一般家庭にＰＣが普及してきていることや、プロ並みの編集機能をもつソフトウエアが市販されていることから、コンピュータ装置等を使った編集方法が主流になっている。
【０００９】
また、最近のデジタルビデオカメラの中には、簡単なトランジション効果を加えたり、タイトルを入れるなどの簡単なビデオ編集機能が搭載されている機種もあり、様々な編集効果を撮影時または撮影後に与えることができるようになってきている。また、ダビングしながら編集する方法では、この様なビデオカメラを再生用機器として使用することによって、ビデオ編集機器を用いずに不要な部分の削除やシーンの並べ替えといった編集効果を映像に加えることも可能になる。
【００１０】
今後、編集機能をもつビデオカメラの低価格化や、編集機能の高機能化が進み、この様に編集機能が搭載されたビデオカメラが普及していくことによって、コンピュータを使うことができないユーザでもビデオ編集を行うことが可能になるため、ユーザにとってビデオ編集は身近な機能になっていくことが考えられる。
【００１１】
いずれにしても、ビデオ編集を家庭でも行いたいという要求の高まりの下、性能のよいＰＣやビデオカメラを用いれば、専用の編集機材を必要としなくとも、ビデオ編集が可能な環境が実現しつつある。
【００１２】
【発明が解決しようとする課題】
しかしながら上記従来例では次のような欠点があった。
【００１３】
マルチメディアデータ、特に映像の編集作業には専門的な知識や技術が必要であり、複雑な操作を行う必要があるため、家庭向けビデオカメラで撮影した映像を編集することは、ビデオ編集に不慣れな一般ユーザにとっては、依然として非常に敷居が高く、難しいものであった。
【００１４】
上述のように、最近では、コンピュータ装置上でビデオ映像の編集を行うためのソフトウエアの編集機能や、ビデオカメラに搭載された編集機能も、素人ユーザでも比較的簡単にビデオ編集作業を行うことができるよう工夫されきてはいるが、ビデオ編集においては、技術的な用語の理解や編集におけるノウハウが必要であるため、ビデオ編集に関する専門知識を持たない初心者ユーザにとっては、これらのソフトウエアも必ずしも理解し易いものではなく、また編集したものがユーザを満足させるとは限らなかった。
【００１５】
具体的には、ビデオ編集ソフトウエアとして、例えば、ユーザが編集するシーンを自由に選択／配置して繋ぎあわせ、挿入するトランジションクリップを任意に指定して編集を行うことができるソフトウエアが市販されている。また、ビデオカメラとして、シーンの切り替えに任意のトランジションクリップを加えることが可能な編集機能を搭載したビデオカメラが市販されている。
【００１６】
しかし、ビデオ編集に不慣れで編集に関する専門知識を持たないユーザの場合、このようなトランジションクリップをユーザが任意に選択する方法だと、どのクリップを挿入したらよいのか分からず迷ったり、テーマや前後のシーンのシチュエーションには合わない不適切なクリップを選択して不自然なビデオ映像になったり、また編集効果が過剰で見にくいビデオが出来あがってしまう可能性がある。
【００１７】
他に、簡単にビデオ編集できるソフトウエアとして、例えば、子供の運動会や誕生日、結婚式などの各テーマ（イベント情報）に合わせた編集シナリオがテンプレート等で用意されており、撮影したシーンをビデオテープから取り込んで並べるだけで編集を行うことができるソフトウエアも市販されている。これは、指定された順番通りにシーンを配置するだけでよく、複雑な作業を必要としないので、初心者ユーザであっても比較的簡単にビデオ編集を行うことができる。
【００１８】
しかし、テーマ（イベント情報）ごとに挿入できるシチュエーション、及びトランジションクリップが編集シナリオによって決められており、編集できる内容が限られているため、編集の自由度が少なく、ユーザの個性を活かすことができないという問題があった。また、編集用テンプレートによって指定されているトランジションクリップが、必ずしもユーザの好みや要求にあっているとは限らないという問題があった。
【００１９】
また、上述したように２つのシーンを編集して１つに繋ぎあわせ、一本のビデオにする場合だけでなく、２つ以上のシーンを続けて再生する場合にも、シーンの切り替えにトランジションクリップを挿入することができるが、その場合でも同様の問題が発生する。
【００２０】
本発明は、上記課題を鑑みてなされたものであり、シーンの切り替えにトランジションクリップを挿入することでビデオ編集を行う場合において、編集に関する専門知識を持たないユーザにも理解し易く、容易に扱うことができるようにすることを目的とする。
【００２１】
そして、編集に不慣れなユーザでも、映像効果を加えた洗練された映像を作成することができるようにすることを目的とする。
【００２２】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
入力されたマルチメディアデータの編集を行う情報処理装置であって、
前記マルチメディアデータのメタデータを取得する取得手段と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択手段と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理手段とを備える。
【００２３】
【発明の実施の形態】
以下、本発明に係る実施形態について、図面を参照して詳細に説明する。
【００２４】
［第１の実施形態］
本実施形態では、コンピュータ装置内部に取り込まれた映像を編集し、シーンの切り替えにトランジション効果（カットとカットとの間をつなぐときに使う映像表現）を設定する場合の例について説明する。
【００２５】
ビデオカメラなどの撮影装置で撮影した動画像データをコンピュータ装置に取り込むには、例えば、外部記憶媒体に記憶されたデータをコンピュータ装置に読み込む方法や、ビデオキャプチャカードやＩＥＥＥ１３９４インターフェース等を介して取り込む方法がある。取り込まれたデータは、クリップ（ビデオの一部または短いひとまとまり）ごとにファイルになっていても、複数のクリップが同一のファイルになっていてもよい。
【００２６】
トランジション効果の設定には、動画像データに付与されたメタデータを利用することができる。メタデータは、検索などのアプリケーションで利用するためにマルチメディア・データの内容を記述したデータで、例えば、ＭＰＥＧ−７で規格化されているスキーマに基づいて記述することができる。
【００２７】
図１は、本発明の一実施形態に係る情報処理装置を備える情報処理システム全体の構成の一例を示す図である。
【００２８】
図示の構成において、１１はマイクロプロセッサ（ＣＰＵ）であり、各種処理のための演算、論理判断等を行い、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭ１２やＲＡＭ１３上のプログラムによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００２９】
アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは各構成機器相互間のデータ転送を行う。
【００３０】
１２は読出し専用の固定メモリ（ＲＯＭ）であり、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。ＲＯＭには、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００３１】
１３は書込み可能なランダムアクセスメモリ（ＲＡＭ）であって、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１１以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００３２】
これらＲＯＭ１２やＲＡＭ１３などの記憶媒体には、本実施形態のデータ編集を実現する計算機プログラムやデータなどが格納されており、これらの記録媒体に格納されたプログラムコードを、ＣＰＵ１１が読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。
【００３３】
また、本発明に係るプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭ１３などの書き換え可能な記憶媒体上に前記の記憶媒体から、そのプログラムがＲＡＭ１３上にコピーされる可能性があるが、その記憶媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、メモリカード、光磁気ディスクなどを用いることができるものと思われるが、このような方式も採用可能である。
【００３４】
１４はハードディスク（ＤＩＳＫ）であり、さまざまな計算機プログラムやデータ等を記憶するための外部メモリとして機能する。ハードディスク（ＤＩＳＫ）は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種計算機プログラムやデータ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１３上に完全もしくは部分的に呼び出される。
【００３５】
また、これらのプログラムやデータを格納する記録媒体としては、ＲＯＭ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、メモリカード、光磁気ディスクなどを用いることができる。
【００３６】
１５はメモリカード（ＭｅｍＣａｒｄ）であり、着脱型の記憶媒体である。この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００３７】
１６はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。なお、マウスのようなポインティングデバイスも含むこともできる。
【００３８】
１７はカーソルレジスタ（ＣＲ）である。ＣＰＵ１１により、カーソルレジスタの内容を読み書きできる。後述するＣＲＴコントローラＣＲＴＣ１９は、ここに蓄えられたアドレスに対する表示装置ＣＲＴ２０上の位置にカーソルを表示する。
【００３９】
１８は表示用バッファメモリ（ＤＢＵＦ）で、表示すべきデータのパターンを蓄える。
【００４０】
１９はＣＲＴコントローラ（ＣＲＴＣ）であり、表示用バッファＤＢＵＦ１８に蓄えられた内容を表示装置ＣＲＴ２０に表示する役割を担う。
【００４１】
２０は陰極線管等を用いた表示装置（ＣＲＴ）であり、その表示装置ＣＲＴにおけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラ１９で制御する。
【００４２】
２１はキャラクタジェネレータ（ＣＧ）であって、表示装置ＣＲＴ２０に表示する文字、記号のパターンを記憶するものである。
【００４３】
２２は他のコンピュータ装置等と通信を行うための通信デバイス（ＮＣＵ）であり、これを利用することで、本実施形態のプログラムやデータを、他の装置と共有することが可能になる。図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でもかまわない。なお、ネットワークの種類などは何でもかまわないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでもかまわない。
【００４４】
２３は人工衛星などを利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ)で受信して、放送されているデータを取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、前記ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。
【００４５】
かかる各構成要素からなる情報処理システムにおいては、通信デバイスＮＣＵ２２から供給されるＩＥＥＥ１３９４端子（ＤＶ端子）にビデオカメラ等のＩＥＥＥ１３９４端子を接続することにより、コンピュータ装置からビデオカメラ等のビデオ機器を制御して、ビデオ機器に記録されている映像データ及び音声データをキャプチャしてコンピュータ装置側に取り込み、図１のＲＯＭ１２、ＲＡＭ１３、ハードディスクＤＩＳＫ１４、メモリカードＭｅｍＣａｒｄ１５のような記憶装置に格納することができる。また、ＬＡＮなどを介して、他の記憶装置に格納することによって、利用することもできる。
【００４６】
また、本発明に係るプログラムを格納した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、記録媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【００４７】
図２は、図６において、ユーザが、トランジションクリップの複数候補の中から所望のクリップを指示する場合の表示例である。これは、ウィンドウシステムを利用した場合の画面の例で、本実施形態における情報処理装置によって、表示装置ＣＲＴ２０に表示される。
【００４８】
図示において、２１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分である。
【００４９】
２２はリストボックスで、操作者が指定したシーンの切り替えに対する適切なトランジションクリップがリスト表示され、操作者は、挿入するトランジションクリップを指示することができる。図では、「オープンハート」「クロスズーム」「クロスフェード」等が存在することを示しており、現在、「クロスズーム」という項目が指示され、反転表示しているところである。操作者が、キーボードＫＢ１５上のカーソル移動キーを押下することによって、反転表示部は「クロスズーム」から「オープンハート」または「クロスフェード」というように遷移し、操作者はリストの中から所望のトランジションクリップを任意に指示することができる。
【００５０】
２３は、反転表示されたトランジションクリップのイメージを表示する部分である。操作者は、アニメーション等のサンプル画像を見ることにより、映像が遷移するイメージを確認することができる。
【００５１】
画面下の２４は、反転表示されたトランジションクリップに対する説明文がテキストで表示される領域で、図２では、現在反転表示している「クロスズーム」の説明が表示されているところである。
【００５２】
本実施形態では、トランジションクリップに関する表示イメージと説明を合わせて表示することによって、ユーザにより分かりやすく示している。２３、２４の領域に表示されるサンプル画像やテキストは、図１のハードディスクＤＩＳＫ１４等の記録媒体に保存されている。また、図１の通信デバイスＮＣＵ２２経由でＬＡＮ上のＰＣなどの計算機や受信デバイスＤＴＵ２３経由で外部ネットワーク上の計算機上に保有するようにすることもできる。
【００５３】
２５〜２７はボタンで、キーボードＫＢ１６上のマウスを操作するかまたはキーを操作することによって指示することができる。
【００５４】
２５は、「詳細設定」ボタンで、トランジションクリップに対して、方向や長さなどの詳細情報を操作者が任意に設定するためのものである。「詳細設定」ボタンを選択した場合の表示画面、及び設定できる詳細項目は、トランジションクリップの種類によって異なる。
【００５５】
２６は、「ＯＫ」ボタンで、現在指示されているトランジションクリップ及び入力された詳細情報に対する決定を最終的に指示する部分である。「ＯＫ」ボタンを選択すると、リストボックス２２で現在反転表示しているトランジションクリップ、及びボタン２５を押下して入力された詳細情報が確定し、これを保存する処理へ移行する。
２７は、「キャンセル」ボタンで、これを選択すると入力された内容が破棄されることとなる。
【００５６】
本発明に係る情報処理装置におけるトランジション効果の設定には、動画像データに付与されたメタデータを利用する。これらのメタデータは、例えば、ＭＰＥＧ−７で規格化されている方法に従って記述することができる。
【００５７】
以下、本発明に係る情報処理装置において、動画像データに付与されたメタデータについて説明する。
【００５８】
図３は、データと、これに付与されたメタデータの一例を示しており、動画像データに含まれる一連のフレームに対して、それぞれのデータの内容や特徴を表す情報、例えばイベント情報、登場人物（イベントに関連する登場人物や物等を総称して「オブジェクト」と呼ぶ、以下同じ）、状態、場所などの情報がメタデータとして付与されていることを示している。ここでは、データの内容や特徴を言葉（キーワード）で表現し、文字情報（テキスト）などを主に格納しているが、自由形式の説明文や、文法的に構造解析された文章、５Ｗ１Ｈで構造化された文章を記述することもできる。また、他にもイベント情報やオブジェクト間の関係やシーン間の関係を記述したものや、階層構造や相対的重要度を保有するものや、また、文字以外にも、計算機が処理しやすい形式でデータの特徴を記述した非言語的な情報も付与可能である。
【００５９】
動画像データやそのメタデータは、図１のハードディスクＤＩＳＫ１４等の記録媒体に保存されている。また、図１の通信デバイスＮＣＵ２２経由でＬＡＮ上のＰＣなどの計算機上に保持されたデータを利用したり、受信デバイスＤＴＵ２３経由で外部ネットワーク上の計算機から利用することも可能である。
【００６０】
以下、本発明に係る情報処理装置におけるトランジションクリップ編集時の処理を、具体例を挙げて説明する。
【００６１】
図４は、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【００６２】
ステップＳ４１では、編集する前後のシーンの指定を受けつける処理を行う。シーンやトランジションクリップの指定は、本実施形態における情報処理装置上で動作するビデオ編集ソフトウエアなどで、ユーザが図１のキーボードＫＢ１６を操作して、各素材（クリップ）を指示し、タイムラインやストーリーボード上に配置することによって指定することができる。また、必要に応じて、開始点、終了点を指定することによってビデオクリップの中から使いたい長さを取り出すこともできる。
【００６３】
ここで、シーンとは、編集対象の動画像データ中でユーザが採用したい区間であり、編集時の最小単位である。編集中のシーンに関する情報は、例えば、動画像クリップにおいて採用された区間の開始点と終了点のフレームＩＤなどで表わすことができる。
【００６４】
指定されたシーンは、映像の編集状態を保持するテーブルに保存される。これは、選択されたシーンやシーンの再生順、映像に挿入するテロップやトランジションクリップ等の特殊効果などの映像の編集状態を示した情報で、図１のＤＩＳＫ１４、ＲＡＭ１３等の記録媒体に保存されることとなる。
【００６５】
ステップＳ４２は、ユーザが指定したシーンの切り替え時にトランジションクリップを挿入することを指示するステップである。
【００６６】
本実施形態では、前後のシーンを選択した後で、その二つのシーンの切り替えにトランジションクリップを設定することを想定しているが、トランジションクリップ挿入の指示は、あらかじめ全てのシーンを選択し再生する順番を決定した後で、それぞれのシーンの切り替えにトランジションクリップを指定してもよい。
【００６７】
ステップＳ４３は、トランジションクリップの挿入が指示された位置に対する前後のシーンに対応したメタデータを取得する処理を示している。メタデータは、図３に示すようなデータで、図１のＤＩＳＫ１４等の記録媒体に保存されている。取得されたメタデータは、図１のＲＡＭ１３等の記録媒体に保存され、ステップＳ４４の処理で利用される。
【００６８】
ステップＳ４４では、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を取得する処理を行う。トランジションクリップの候補の取得は、例えば、図７に示すような、前後のシーンに付与されたメタデータのイベント情報とトランジションクリップの関係を示したテーブルを参照することによって処理することができる。例えば、前のシーンに付与されたメタデータのイベント情報が披露宴−お色直しで、後のシーンに付与されたメタデータのイベント情報が披露宴−キャンドルサービスの場合は、トランジションクリップとして、オープンハート、クロスフェード、スライドが検索される。
【００６９】
また、この方法以外にも、例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、適切なトランジションクリップを検索する方法も考えられる。その場合の処理については、後述する図５のフローチャートを用いて詳細に説明する。
【００７０】
ステップＳ４５は、ステップＳ４４で、トランジションクリップの候補が存在するかどうかを判定する処理であり、候補が存在する場合には、ステップＳ４６に進み、候補がなかった場合は、終了する。
【００７１】
ステップＳ４６は、ステップＳ４４で取得したトランジションクリップの候補が複数存在するかどうかを判定する処理であり、候補が複数存在する場合にはステップＳ４７の処理を行い、候補が一つしかない場合はステップＳ４８の処理に進む。
【００７２】
ステップＳ４７は、ステップＳ４４で取得したトランジションクリップの候補の中から、最適なものを決定する処理である。このステップは、例えば、重要度などによって複数候補の中から最適なものを求める方法や、ユーザが複数候補の中から所望のトランジションクリップを指示する方法などによって処理することができる。ユーザが複数候補の中から指示する処理については、後述する図６のフローチャートを用いて詳細に説明する。
【００７３】
ステップＳ４８は、ステップＳ４７で決定されたトランジションクリップに対して、詳細項目の設定が指示されたかどうかを判定する処理であり、設定が指示された場合には、ステップＳ４９に進み、指示されなかった場合は、ステップＳ４１０に進む。詳細項目の設定の指示は、例えば、図２における「詳細設定」ボタン２５を選択することによって行われ、トランジションクリップに対する方向や長さなどの詳細情報を操作者が任意に設定することができる。
【００７４】
ステップＳ４９は、ユーザによる詳細項目の設定を、データ処理システムが受け付けるステップである。ユーザは、キーボードＫＢ１６を操作することによって、実際に、トランジションクリップに関する詳細情報を入力することができる。詳細項目を設定する場合の表示画面、及び設定できる詳細項目は、トランジションクリップの種類によって異なる。
【００７５】
ステップＳ４１０では、ステップＳ４７で決定されたトランジションクリップとステップＳ４９で入力された詳細情報とを、映像の編集状態を保持するテーブルに保存する処理を行う。
【００７６】
編集された結果は、保存された編集状態に基づいてレンダリング処理を行い、画像・音声ファイルから最終的な動画像ファイルを自動的に生成する。
【００７７】
次に、図４のステップＳ４４においてトランジションクリップを候補を取得する他の処理方法について、図５を用いて詳細に説明する。
【００７８】
図５は、図４におけるステップＳ４４の処理を詳細化したフローチャートで、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を取得するための処理を示している。
【００７９】
ステップＳ５１では、データに付与されたメタデータを解析することによって、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別する処理を行う。図１０は、イベント情報や、そのイベント情報に含まれる個々のサブイベント情報、メタデータのオブジェクト等の相関関係、また各イベント情報やオブジェクトの特徴が定義されているテンプレートの例を示しており、この様な情報を参照することによって、メタデータを解析する。例えば、図１０において、前のシーンを表わしているイベント情報がＥ２で、後のシーンを表しているイベントがＥ３の場合は、前後のシーンはＲ２の関係を持っていることが分かる。前後のシーンの関係は、一つとは限らず、複数の関係を保持していることもある。
【００８０】
ステップＳ５２は、ステップＳ５１でメタデータを解析した結果に基づいて、前後のシーンの切り替えに適切なトランジションクリップの意味分類の検出を行う処理である。図９は、図１のＤＩＳＫ１４、ＲＯＭ１２、ＲＡＭ１３、ＭｅｍＣａｒｄ１５のような記憶装置に格納されており、メタデータのイベント情報やオブジェクト間の関係と、それぞれのトランジションクリップが与える印象や効果に基づいてトランジションクリップを意味的に分類した情報、との関係を示している。このような情報を参照することによって、前後のシーンに付与されたメタデータの関係に対応したトランジションクリップの意味分類を検出する。例えば、ステップＳ５１で解析された結果として関係Ｒ２が導き出された場合、Ｒ２に対応付けられている強調、変化、誘導等の意味分類が検出されることとなる。前後のシーンの関係が複数ある場合は、それぞれの関係に対応付けられている意味分類を全て検出する。
【００８１】
ステップＳ５３は、ステップＳ５２で検出された意味分類に基づいて、トランジションクリップの候補を検索するステップである。図８は、各トランジションクリップのタイトルに対して意味分類やその他の情報が付与されていることを示したテーブルで、この様なテーブルを参照することによって、トランジションクリップの候補を検索する。検出された意味分類が複数ある場合は、それぞれの意味分類が付与されているトランジションクリップをすべて検索し、その和を候補とする。
【００８２】
次に、図４におけるステップＳ４７のトランジションクリップの決定処理について、図６を用いて詳細に説明する。
【００８３】
図６は、図４におけるステップＳ４７の処理を詳細化したフローチャートで、ステップＳ４４で抽出した複数候補の中からユーザが所望のトランジションクリップを決定するための処理を示している。
【００８４】
ステップＳ６１は、図４の処理で抽出されたトランジションクリップの候補に関する様々な情報を、ＤＩＳＫ１４やＲＡＭ１３上で利用できるようにする処理を行う。
【００８５】
ステップＳ６２は、図４の処理で抽出されたトランジションクリップの候補をユーザに表示する処理を行う。トランジションクリップの候補は、例えば、リスト形式でＣＲＴ２０に表示される。図２は、その表示例を示した図である。これは、ウィンドウシステムを利用した場合の画面の例であり、結婚式の披露宴を撮影して得た動画像のデータのうち、お色直しとキャンドルサービスの場面の切り替え時にトランジションクリップを挿入することを想定している。
【００８６】
ステップＳ６３では、ユーザによるトランジションクリップの指示をデータ処理システムが受け付ける処理を行う。ユーザは、キーボードＫＢ１６を操作することによって、ステップＳ６２で示したトランジションクリップの候補の中から、所望のものを指示することができる。
【００８７】
トランジションクリップに関しては、専門的な用語で表現されているため、ビデオ編集に関する専門知識を持たない初心者ユーザにとっては理解しにくいものである。そこで、各トランジションクリップの候補について、例えば、アニメーション表示などによって映像を切り替えるイメージを表現したり、説明文などで示すことによって、ユーザにより分かり易い情報を提示し、ユーザが指示しやすくすることが望ましい。
【００８８】
図７は、前後のシーンに付与されたメタデータのイベント情報とトランジションクリップの関係が記述されているテーブルの例である。これらの情報を利用することにより、図４のステップＳ４４では、前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を抽出することができる。例えば、図７では、披露宴というイベント情報に含まれるサブイベント情報であるお色直しとキャンドルサービスのシーンの切り替えには、オープンハート、クロスフェード、スライドといったトランジションクリップが適していることを示している。
【００８９】
これらの情報は図１のＤＩＳＫ１４等に格納することができる。この実施形態では、イベント情報を単位とすることで、ホームビデオのコンテンツなどに対して、シーンを切り替えるのに適した例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【００９０】
図８は、トランジションクリップの候補を検索するための情報を示したテーブルで、各トランジションクリップのタイトルに対して、各種情報が付与されている。例えば、本実施形態では、それぞれのトランジションクリップが与える印象や意味に基づいて分類した、効果を示す情報、及び各トランジションクリップの与える印象の強さや効果の大きさを数値で表した強度などで構成されている。
【００９１】
強度は、０から１０の絶対値で与えられ、符号が効果の適用状態をあらわす。すなわち、強度が正数である場合は、強度数値が大きいほど意味的な結びつきが強い（与える印象が強い）ことを示し、逆に強度が負数である場合は、強度値が大きいほど関連性が低い（逆の意味を強く持つ）ことを示す。例えば、トランジションクリップ「クロスフェード」に対応する「曖昧」は、「９」の強さでユーザに印象
（効果）を与え、「メリハリ」は、強度が負数であるので「８」の強さで逆の印象
（効果）を与えるという意味である。
【００９２】
また、図２で、トランジションクリップのイメージや説明を２３、２４の領域に表示するためのファイルやテキストも格納されている。
【００９３】
これらの情報やファイルは、図１のハードディスクＤＩＳＫ１４等の記録媒体に保存されている。また、図１の通信デバイスＮＣＵ２２経由でＬＡＮ上のＰＣなどの計算機や受信デバイスＤＴＵ２３経由で外部ネットワーク上の計算機上に保有するようにすることもできる。
【００９４】
図９は、メタデータのイベント情報やオブジェクト間の関係と、それぞれのトランジションクリップが与える印象や効果に基づいてトランジションクリップの持つ意味を分類した情報、との関係を示したテーブルの例である。このような情報を利用することにより、図５のステップＳ５２では、メタデータを解析した結果に基づいて、前後のシーンの切り替えに適切な意味分類の検出を行うことができる。
【００９５】
図９中のＲｎ（ｎは整数）は、イベント情報Ｅｎ（ｎは整数）やオブジェクト情報Ｏｂｊｎ（ｎは整数）の関係を表しており、各関係に対してトランジションクリップの意味分類が対応付けられている。
【００９６】
例えば、関係Ｒ２によって、イベント情報が「原因と結果」と関係付けられている場合は、後を強調、変化、誘導といった意味や効果を持つトランジションクリップによって、前と後のシーンの関係が印象付けられることとなる。
【００９７】
これらの情報は図１のＤＩＳＫ１４等に格納することができる。この実施形態では、映像データなどに対して、シーンを切り替えるのに適した例となっている。しかし、本発明は、データに応じたトランジション効果を選ぶことで、映像以外のデータにも利用しやすいように対応することが可能である。
【００９８】
図１０は、メタデータのイベント情報や、そのイベント情報に含まれる個々のサブイベント情報、オブジェクト情報等の相関関係が定義されているテンプレートの例を示している。これらの情報を利用することにより、図５のステップＳ５１では、メタデータを解析し、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別することができる。
【００９９】
図１０中のＥｎ（ｎは整数）はイベント情報を、Ｏｂｊｎ（ｎは整数）はオブジェクト情報を表している。１つのイベント情報は、時間や因果関係をもつ複数のイベント情報から成り立っており、また、イベント情報には、その出来事に関連する人物や物等のオブジェクト情報が存在する。各イベント情報同士にはある種の関係があり、またオブジェクト情報同士にもある種の関係がある。これを、Ｒｎ（ｎは数字）で表している。また、イベント情報やオブジェクト情報は、さまざまな特徴を持つことができる。
【０１００】
例えば、結婚式の披露宴の場合、「結婚式の披露宴」というイベント情報Ｅ１と、Ｅ１に含まれる「控え室での新郎新婦の様子」というサブイベント情報Ｅ２や「新郎新婦の入場」というサブイベント情報Ｅ３は、Ｒ１という関係を持つ。また、Ｅ１のサブイベント情報どうしであるＥ２とＥ３は、Ｒ２という関係を持ち、これらのイベント情報の中に存在する「新郎」というオブジェクト情報Ｏｂｊ１と「新婦」というオブジェクト情報Ｏｂｊ２は、恋愛関係Ｒ４を持っている。
【０１０１】
これらの情報は図１のＤＩＳＫ１４等に格納することができる。この実施形態では、イベント情報や登場人物などのオブジェクト情報を単位とすることで、ホームビデオのコンテンツなどに対して、内容を解析するのに適した例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【０１０２】
このようにして、各イベント情報や各オブジェクト情報等の相関関係、特徴が予め定義され、その情報はメタデータの解析時に利用されることとなる。
【０１０３】
以上の説明から明らかなように、本実施形態によれば、各トランジションクリップが与える印象や意味に基づいて、前後のシーンの関係や内容、時間、場所等に最適なトランジションクリップを、ユーザが容易に指示することができるようになり、編集に関する専門知識を持たないユーザでも、容易にビデオ編集を行うことが可能となる。
【０１０４】
［第２の実施形態］
上記第１の実施形態では、マルチメディアデータのメタデータに基づいて、適切なトランジションクリップの候補を抽出し、当該複数の候補の中から指示することとしたが、マルチメディアデータのメタデータに基づいて、不適切なトランジションクリップの候補を抽出しておき、ユーザが不適切なトランジションクリップを指示しようとした場合に、エラーメッセージを発生させるようにしてもよい。
【０１０５】
以下に、本発明の第２の実施形態にかかる情報処理装置におけるトランジションクリップ編集時の処理を、具体例を挙げて説明する。
【０１０６】
図１１は、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【０１０７】
ステップＳ４１〜Ｓ４３までは、上記第１の実施形態と同様であるため、説明は省略する。
【０１０８】
ステップＳ１１４では、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに不適切なトランジションクリップを抽出する処理を行う。不適切なトランジションクリップの抽出は、上記第１の実施形態同様、図７に示すようなテーブルを参照することによって、処理することができる。つまり、前のシーンのイベントと、後のシーンのイベントに対して、不適切なトランジションクリップを記載したテーブルを用いることで、不適切なトランジションクリップを抽出することができる。
【０１０９】
また、この方法以外にも、例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、不適切なトランジションクリップを検索する方法も考えられる。その場合の処理については、後述する図１２のフローチャートを用いて詳細に説明する。
【０１１０】
ステップＳ１１５では、ステップＳ１１４で取得したトランジションクリップをＲＡＭ１３等の記録媒体に保存する。
【０１１１】
ステップＳ４４〜Ｓ４１０までの処理は、上記第１の実施形態と同様であるため、説明は省略する。
【０１１２】
図１２は、図１１におけるステップＳ１１４の処理を詳細化したフローチャートで、ステップＳ４３で取得した前後のシーンのメタデータを解析し、照合することによって、前後のシーンの切り替えに不適切なトランジションクリップを抽出するための処理を示している。
【０１１３】
ステップＳ１２１では、データに付与されたメタデータを解析することによって、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別する処理を行う。上記第１の実施形態同様、図１０に示す情報を参照することによって、メタデータを解析する。
【０１１４】
例えば、図１０において、前のシーンを表しているイベント情報がＥ２で、後のシーンを表しているイベント情報がＥ３の場合は、前後のシーンはＲ２の関係を持っていることがわかる。前後のシーンの関係は、１つとは限らず、複数の関係を保持していることもある。
【０１１５】
ステップＳ１２２は、ステップＳ１２１でメタデータを解析した結果に基づいて、前後のシーンの切り替えに適切なトランジションクリップの意味分類の検出を行う処理である。上記第１の実施形態同様、図９に示すような情報を参照することによって、前後のシーンに付与されたメタデータの関係に対応したトランジションクリップの意味分類を検出する。例えば、ステップＳ１２１で解析された結果として関係Ｒ２が導き出された場合、Ｒ２に対応付けられている強調、変化、誘導等の意味分類が検出されることとなる。前後のシーンの関係が複数ある場合は、それぞれの関係に対応付けられている意味分類を全て検出する。
【０１１６】
ステップＳ１２３は、ステップＳ１２２で検出された意味分類に対して、不適切なトランジションクリップを検索するステップである。上記第１の実施形態同様、図８に示すようなテーブルを参照することによって、トランジションクリップを検索することができる。例えば、図８の場合は、トランジションクリップに対して負数の強度が付与されている意味分類は、逆の印象・意味を持つということを表しているので、本実施形態のように不適切なトランジションクリップを抽出する場合には、検出された意味分類に対して強度が負数であるトランジションクリップをすべて検索し、その和を結果とする。
【０１１７】
図１３は、ユーザが、トランジションクリップの候補の中から不適切なクリップを指示した場合に表示するエラーメッセージの表示例である。これは、ウィンドウシステムを利用した場合の画面の例で、本実施形態における情報処理装置によって、表示装置ＣＲＴ２０に表示される。このようなメッセージを表示することによって、情報処理装置は、指示されたトランジションクリップがシーンの切り替えに不適切であることをユーザに対して通知する。「ＯＫ」ボタンを押下すると、この画面が消え、ユーザは、再度トランジションクリップの指示画面を用いて、リスト表示されたトランジションクリップの候補の中から、所望のクリップを決定することができる。
【０１１８】
［第３の実施形態］
上記第１の実施形態では、マルチメディアデータのメタデータに基づいて、適切なトランジションクリップの候補を抽出したうえで、最適なトランジションクリップを決定することとしたが、これに限らず、マルチメディアのメタデータに基づいて、各トランジションクリップの適合率（編集されるフレームに対する各トランジションクリップの適合度を示す値）を算出・表示することで、ユーザは当該適合率を見ながら、トランジションクリップを決定することが可能なようにしてもよい。以下に、本発明の第３の実施形態にかかる情報処理装置におけるトランジションクリップ編集時の処理を、具体例を挙げて説明する。
【０１１９】
図１４は、図６において、ユーザが、トランジションクリップの複数の候補の中から所望のクリップを指示する場合の表示例である。これは、ウィンドウシステムを利用した場合の画面の例で、本実施形態における情報処理装置によって表示装置ＣＲＴ２０に表示される。
【０１２０】
同図において、２１および２３〜２８は上記第１の実施形態において示した図２と同様であるため、説明は省略する。
【０１２１】
１４２は、リストボックスで、操作者が指定したシーンの切り替えに対する適切なトランジションクリップがリスト表示され、操作者は、挿入するトランジションクリップを指示することができる。リストボックスの右側には、そのトランジションクリップの適合率を示す値が表示されており、ユーザは、各トランジションクリップが指定されたシーン切り替えにどの程度適切なのかを数値で確認することができる。
【０１２２】
本実施形態では、適合率を０〜１の間の少数値で表現しており、１に近いほど適合性が高いことを示している。また、リストボックスに表示するトランジションクリップの候補は、適合率がある閾値以上のものや適合率上位の１０個までというように、検索した結果すべてでなくてもよく、トランジションクリップのリストは求められた適合率の高い順にソートされている。図では、「オープンハート」が適合率０．８５、「クロスズーム」が適合率０．７８、「スライドイン」が適合率０．７５で存在することを示しており、現在、「クロスズーム」という項目が指示され、反転表示しているところである。操作者が、キーボードＫＢ１５上のカーソル移動キーを押下することによって、反転表示部は「クロスズーム」から「オープンハート」または「スライドイン」というように遷移し、操作者はリストの中から所望のトランジションクリップを任意に指示することができる。
【０１２３】
本実施形態においても、上記第１の実施形態同様、トランジション効果の設定には、動画像データに付与されたメタデータを利用する。これらのメタデータは、例えば、ＭＰＥＧ−７で規格化されている方法に従って記述することができる。
【０１２４】
次に本実施形態にかかる情報処理装置におけるトランジションクリップ編集時の処理を具体例を挙げて説明する。
【０１２５】
図１５は、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【０１２６】
ステップＳ４１〜Ｓ４３までは、上記第１の実施形態において示した図４と同様であるため、説明は省略する。
【０１２７】
ステップＳ１５４では、ステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を検索する処理を行う。トランジションクリップの候補の検索は、例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、重要度などを用いて各候補の適合率を求めることによって、適切なトランジションクリップを抽出することができる。その場合の処理については、後述する図１６のフローチャートを用いて詳細に説明する。
【０１２８】
ステップＳ１５５では、ステップＳ１５４で取得したトランジションクリップの候補が複数存在するかどうかを判定する処理であり、候補が複数存在する場合にはステップＳ１５６の処理を行い、候補が１つしかない場合はステップＳ４８の処理に進む。
【０１２９】
ステップＳ１５６では、ステップＳ１５４で取得したトランジションクリップの候補の中から、最適なものを決定する処理を行う。ステップＳ１５４で求めた適合率に従い、例えば最も値の大きいものを使用するトランジションクリップとして確定してもよいし、または、ステップＳ１５４の結果からある閾値以上の適合率をもつものや上位いくつかを候補としてユーザに提示し、この中から所望のトランジションクリップを指示させることもできる。ユーザが複数の候補の中から指示する処理については、上記第１の実施形態において示した図６と同じであるため、説明は省略する。また、ステップＳ４８〜Ｓ４１０についても、上記第１の実施形態において示した図４と同様であるため、説明は省略する。
【０１３０】
図１６は、図１５におけるステップＳ１５４の処理を詳細化したフローチャートで、重要度などを用いて各候補の適合率を計算することによって、最適なトランジションクリップを決定するための処理を示している。
【０１３１】
ステップＳ１６１では、図１５のステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を抽出する処理を行う。例えば、前後のシーンに付与されたメタデータの関係を解析し、その解析結果とトランジションクリップの意味や効果等から、適切なトランジションクリップを検索することができる。その場合の処理については、図１７のフローチャートを用いた詳細に説明する。
【０１３２】
ステップＳ１６２では、ステップＳ１６１で抽出したトランジションクリップの各候補に対して、上記第１の実施形態において示した図８のテーブルを参照して、図１７のステップＳ１７２で検出した意味分類に対する強度を取得するステップである。ステップＳ１７２で検出した意味分類は複数存在する場合もあり、また、１つのトランジションクリップに対して、検出した意味分類のうちの複数が対応している場合もあるので、ステップＳ１７２で検出した意味分類全てに対する強度を取得する。ここで得た強度は、図にはないが、ＲＡＭ１３上のワークメモリに格納される。
【０１３３】
次にステップＳ１６３では、各トランジションクリップに対する適合率を計算する。ＲＡＭ１３上に格納された強度値全ての和を求め、これを適合率として各トランジションクリップに対応したＲＡＭ１３上の領域に格納する。
【０１３４】
以上の処理をステップＳ１６１で取得した全てのトランジションクリップについて行う。ステップＳ１６４では、各トランジションクリップに対して求めた適合率を大きい順にソートする処理を行う。
【０１３５】
図１５におけるステップＳ１５６のトランジションクリップの決定処理については、上記第１の実施形態において示した図６と同様であるため、説明は省略する。
【０１３６】
次に図１６のステップＳ１６１においてトランジションクリップの候補を抽出する処理方法について、図１７を用いて詳細に説明する。
【０１３７】
図１７は、図１６におけるステップＳ１６１の処理を詳細化したフローチャートで、図１５のステップＳ４３で取得した前後のシーンのメタデータを照合して、前後のシーンの切り替えに適切なトランジションクリップの候補を抽出するための処理を示している。
【０１３８】
ステップＳ１７１では、データに付与されたメタデータを解析することによって、全体のストーリーにおける前後のシーンの関係や個々のシーンの特徴などを判別する処理を行う。上記第１の実施形態同様、図１０に示すような情報を参照することによって、メタデータを解析する。例えば、図１０のいて、前のシーンはＲ２の関係を持っていることがわかる。前後のシーンの関係は、１つとは限らず、複数の関係を保持していることもある。
【０１３９】
ステップＳ１７２は、ステップＳ１７１でメタデータを解析した結果に基づいて、前後のシーンの切り替えに適切なトランジションクリップの意味分類の検出を行う処理である。上記第１の実施形態同様、図９に示すような情報を参照することによって、前後のシーンに付与されたメタデータの関係に対応したトランジションクリップの意味分類を検出する。
【０１４０】
例えば、ステップＳ１７１で解析された結果として関係Ｒ２が導き出された場合、Ｒ２に対応付けられた強調、変化、誘導等の意味分類が検出されることとなる。前後のシーンの関係が複数ある場合は、それぞれの関係に対応付けられている意味分類を全て検出する。
【０１４１】
ステップＳ１７３は、ステップＳ１７２で検出された意味分類に基づいて、トランジションクリップの候補を検索するステップである。上記第１の実施形態同様、図８に示すようなテーブルを参照することによって、トランジションクリップの候補を検索する。検出された意味分類が複数ある場合は、それぞれの意味分類が付与されているトランジションクリップをすべて検索し、その和を候補とする。
【０１４２】
以上の説明から明らかなように、本実施形態によれば、適合率を数値で示すことにより、ユーザにとってよりわかりやすい表現となり、指示しやすくなる効果がある。
【０１４３】
【他の実施形態】
上記の実施形態において、編集対象となる蓄積情報として映像データを用いて説明したが、例えば、画像データや音声データなど、映像以外のマルチメディアデータについても、付与するメタデータやメタデータの解析方法、トランジション効果をコンテンツに応じたものにすることで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【０１４４】
また、本実施形態では、図３のメタデータ、即ち、動画像データの内容を表す情報として、イベント情報、登場人物、状態、場所などを表したキーワードを、図１０のメタデータのイベント情報やオブジェクト情報の相関関係を示すテンプレートを用いて解析することによって、適切なトランジションクリップを抽出したが、動画像データに、イベント情報やオブジェクト間の関係を記述したメタデータを付与することにより、図９のメタデータの関係とトランジションクリップの意味分類との関係を利用して、同様にトランジションクリップを抽出することができる。
【０１４５】
また、動画像データに、シーン間の関係を記述したメタデータを付与し、図にはないがシーン間の関係とトランジションクリップの関係を定義することによって、同様にトランジションクリップを抽出することができる。
【０１４６】
また、本実施形態では、コンピュータ装置内部に取り込まれた映像データを編集し、シーンの切り替えにトランジション効果を設定する場合の例について説明したが、本発明をビデオカメラなどの撮影装置に搭載されたビデオ編集機能の一部として実現し、映像の撮影時または撮影後にトランジション効果を加えることもできる。その場合、撮影装置のＤＩＳＫ、ＲＯＭ、ＲＡＭ、またはメモリカード等の記憶装置に、図３に示すメタデータ、及び図９に示すイベント情報やオブジェクト情報等の相関関係や特徴を定義した情報、図１０に示すトランジションクリップに付与された情報等が格納されている必要がある。これらの情報は、ＬＡＮなどから入手して、記憶装置に格納することで利用することも可能である。撮影時に編集された映像データは、レンダリング処理を行い、ビデオカメラ等の記憶装置に保存される。
【０１４７】
また、本実施形態では、映像データを編集する際、シーンの切り替えにトランジション効果を設定する場合の例について説明したが、映像データを編集／加工せずに複数のシーンを続けて再生する場合にも適応することができ、本実施形態と同様にシーンの切り替えに適切なトランジション効果を挿入することが可能になる。
【０１４８】
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適応しても、単一の機器からなる装置（例えば、複写機、ファクシミリ装置など）に適応してもよい。
【０１４９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることはいうまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１５０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されることはいうまでもない。
【０１５１】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１５２】
なお、本発明に係る実施態様の例を以下に列挙する。
【０１５３】
［実施態様１］ 入力されたマルチメディアデータの編集を行う情報処理方法であって、
前記マルチメディアデータのメタデータを取得する取得工程と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択工程と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理工程と
を備えることを特徴とする情報処理方法。
【０１５４】
［実施態様２］ 前記選択工程は、
あらかじめ格納されたトランジションクリップの中から、前記マルチメディアデータに付加するトランジション効果として適した複数の候補を抽出する抽出工程と、
前記抽出された複数の候補の中から、最適なトランジションクリップを決定する決定工程と
を備えることを特徴とする実施態様１に記載の情報処理方法。
【０１５５】
［実施態様３］ 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報に関連づけられた、複数のトランジションクリップの候補を抽出することを特徴とする実施態様２に記載の情報処理方法。
【０１５６】
［実施態様４］ 前記抽出工程は、
前記マルチメディアデータのの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報とオブジェクト情報との相関に関連づけられたトランジション効果に対応する複数のトランジションクリップの候補を抽出することを特徴とする実施態様２に記載の情報処理方法。
【０１５７】
［実施態様５］ 前記決定工程は、
前記抽出された複数のトランジションクリップの候補を表示する工程と、
前記表示された複数のトランジションクリップの候補の中から、任意の１つを指示する工程と、を備え、
前記指示されたトランジションクリップを最適なトランジションクリップとして決定することを特徴とする実施態様２に記載の情報処理方法。
【０１５８】
［実施態様６］ 前記選択工程は、
あらかじめ格納されたトランジションクリップの中から、前記マルチメディアデータに付加するトランジション効果として適切でない、候補を抽出する抽出工程と、
最適なトランジションクリップを決定する決定工程と
を備えることを特徴とする実施態様１に記載の情報処理方法。
【０１５９】
［実施態様７］ 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報に関連づけられた、複数のトランジションクリップの候補を抽出することを特徴とする実施態様６に記載の情報処理方法。
【０１６０】
［実施態様８］ 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報とオブジェクト情報との相関に関連づけられたトランジション効果に対応する複数のトランジションクリップの候補を抽出することを特徴とする実施態様６に記載の情報処理方法。
【０１６１】
［実施態様９］ 前記決定工程は、
前記トランジションクリップを表示する工程と、
前記表示された複数のトランジションクリップの中から、任意の１つを指示する工程と、
前記指示されたトランジションクリップが、前記抽出工程により抽出された不適切なトランジションクリップであった場合に、エラーメッセージを表示する工程と
を備えることを特徴とする実施態様６に記載の情報処理方法。
【０１６２】
［実施態様１０］ 前記選択工程は、
前記マルチメディアデータのうち、編集されるフレームに対する各トランジションクリップの適合度を示す適合率を算出する工程と
前記算出された適合率の高い順に、前記各トランジションクリップを表示する工程と、
前記表示されたトランジションクリップの中から、任意の１つを指示する工程と
を備えることを特徴とする実施態様１に記載の情報処理方法。
【０１６３】
［実施態様１１］ 入力されたマルチメディアデータの編集を行う情報処理装置であって、
前記マルチメディアデータのメタデータを取得する取得手段と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択手段と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理手段と
を備えることを特徴とする情報処理装置。
【０１６４】
［実施態様１２］ 実施態様１乃至１０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
【０１６５】
【発明の効果】
以上説明したように、本発明によれば、シーンの切り替えにトランジションクリップを挿入することでビデオ編集を行う場合において、編集に関する専門知識を持たないユーザにも理解し易く、容易に扱うことができる。そして、編集に不慣れなユーザでも、映像効果を加えた洗練された映像を作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる情報処理装置の全体構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる情報処理装置においてトランジションクリップ指示時の表示画面を示した図である。
【図３】本発明の第１の実施形態にかかる情報処理装置における、データとデータに付与されたメタデータとの関係を示すテーブル図である。
【図４】本発明の第１の実施形態にかかる情報処理装置におけるトランジションクリップ挿入処理の全体動作を説明したフローチャートである。
【図５】本発明の第１の実施形態にかかる情報処理装置における、トランジションクリップの候補の抽出処理の動作を説明したフローチャートである。
【図６】本発明の第２の実施形態にかかる情報処理装置における、トランジションクリップ決定処理の動作を説明したフローチャートである。
【図７】本発明の第１の実施形態にかかる情報処理装置における、メタデータのイベント情報とトランジションクリップの関係を示す図である。
【図８】本発明の第１の実施形態にかかる情報処理装置における、トランジションクリップに付与された情報を示す図である。
【図９】本発明の第１の実施形態にかかる情報処理装置における、メタデータの関係と、トランジションクリップ持つ意味分類との関係を示す図である。
【図１０】本発明の第１の実施形態にかかる情報処理装置における、メタデータの相関関係や特徴の定義を示す図である。
【図１１】本発明の第２の実施形態にかかる情報処理装置における、トランジションクリップ挿入の全体動作を説明したフローチャートである。
【図１２】本発明の第２の実施形態にかかる情報処理装置における、前後のシーンの切り替えに不適切なトランジションクリップの抽出処理の動作を説明したフローチャートを示す図である。
【図１３】本発明の第２の実施形態にかかる情報処理装置における、不適切なトランジションクリップを指示した場合のエラーメッセージの表示画面を示した図である。
【図１４】本発明の第３の実施形態にかかる情報処理装置においてトランジションクリップ指示時の表示画面を示した図である。
【図１５】本発明の第３の実施形態にかかる情報処理装置における、動画像データ編集時にトランジションクリップを挿入するための処理について示したフローチャートである。
【図１６】本発明の第３の実施形態にかかる情報処理装置における、トランジションクリップの候補の抽出処理の動作を説明したフローチャートである。
【図１７】本発明の第３の実施形態にかかる情報処理装置における、トランジションクリップの候補の抽出処理の動作を詳細に説明したフローチャートである。
Claims (12)
- 入力されたマルチメディアデータの編集を行う情報処理方法であって、
前記マルチメディアデータのメタデータを取得する取得工程と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択工程と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理工程と
を備えることを特徴とする情報処理方法。 - 前記選択工程は、
あらかじめ格納されたトランジションクリップの中から、前記マルチメディアデータに付加するトランジション効果として適した複数の候補を抽出する抽出工程と、
前記抽出された複数の候補の中から、特定のトランジションクリップを決定する決定工程と
を備えることを特徴とする請求項１に記載の情報処理方法。 - 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報に関連づけられた、複数のトランジションクリップの候補を抽出することを特徴とする請求項２に記載の情報処理方法。 - 前記抽出工程は、
前記マルチメディアデータのの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報とオブジェクト情報との相関に関連づけられたトランジション効果に対応する複数のトランジションクリップの候補を抽出することを特徴とする請求項２に記載の情報処理方法。 - 前記決定工程は、
前記抽出された複数のトランジションクリップの候補を表示する工程と、
前記表示された複数のトランジションクリップの候補の中から、任意の１つを指示する工程と、を備え、
前記指示されたトランジションクリップを特定のトランジションクリップとして決定することを特徴とする請求項２に記載の情報処理方法。 - 前記選択工程は、
あらかじめ格納されたトランジションクリップの中から、前記マルチメディアデータに付加するトランジション効果として適切でない、候補を抽出する抽出工程と、
特定のトランジションクリップを決定する決定工程と
を備えることを特徴とする請求項１に記載の情報処理方法。 - 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報に関連づけられた、複数のトランジションクリップの候補を抽出することを特徴とする請求項６に記載の情報処理方法。 - 前記抽出工程は、
前記マルチメディアデータの有する各シーンのうち、トランジションクリップが挿入される位置の前後のシーンが有するメタデータのイベント情報とオブジェクト情報との相関に関連づけられたトランジション効果に対応する複数のトランジションクリップの候補を抽出することを特徴とする請求項６に記載の情報処理方法。 - 前記決定工程は、
前記トランジションクリップを表示する工程と、
前記表示された複数のトランジションクリップの中から、任意の１つを指示する工程と、
前記指示されたトランジションクリップが、前記抽出工程により抽出された不適切なトランジションクリップであった場合に、エラーメッセージを表示する工程と
を備えることを特徴とする請求項６に記載の情報処理方法。 - 前記選択工程は、
前記マルチメディアデータのうち、編集されるフレームに対する各トランジションクリップの適合度を示す適合率を算出する工程と
前記算出された適合率の高い順に、前記各トランジションクリップを表示する工程と、
前記表示されたトランジションクリップの中から、任意の１つを指示する工程と
を備えることを特徴とする請求項１に記載の情報処理方法。 - 入力されたマルチメディアデータの編集を行う情報処理装置であって、
前記マルチメディアデータのメタデータを取得する取得手段と、
前記メタデータに基づいて、前記マルチメディアデータにトランジション効果を付加するためのトランジションクリップを選択する選択手段と、
前記トランジションクリップにより、前記マルチメディアデータに対して、トランジション効果を得るための処理をする処理手段と
を備えることを特徴とする情報処理装置。 - 請求項１乃至１０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003012511A JP4125140B2 (ja) | 2003-01-21 | 2003-01-21 | 情報処理装置、情報処理方法ならびにプログラム |
| US10/759,501 US20040146275A1 (en) | 2003-01-21 | 2004-01-16 | Information processing method, information processor, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003012511A JP4125140B2 (ja) | 2003-01-21 | 2003-01-21 | 情報処理装置、情報処理方法ならびにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004228779A JP2004228779A (ja) | 2004-08-12 |
| JP2004228779A5 JP2004228779A5 (ja) | 2006-03-09 |
| JP4125140B2 true JP4125140B2 (ja) | 2008-07-30 |
Family
ID=32732780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003012511A Expired - Fee Related JP4125140B2 (ja) | 2003-01-21 | 2003-01-21 | 情報処理装置、情報処理方法ならびにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040146275A1 (ja) |
| JP (1) | JP4125140B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8062746B2 (en) | 2003-03-10 | 2011-11-22 | Ppg Industries, Inc. | Resin compatible yarn binder and uses thereof |
| US8105690B2 (en) | 1998-03-03 | 2012-01-31 | Ppg Industries Ohio, Inc | Fiber product coated with particles to adjust the friction of the coating and the interfilament bonding |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4464079B2 (ja) * | 2003-06-24 | 2010-05-19 | キヤノン株式会社 | 再生装置 |
| US7818350B2 (en) | 2005-02-28 | 2010-10-19 | Yahoo! Inc. | System and method for creating a collaborative playlist |
| US7844820B2 (en) * | 2005-10-10 | 2010-11-30 | Yahoo! Inc. | Set of metadata for association with a composite media item and tool for creating such set of metadata |
| US20070157071A1 (en) * | 2006-01-03 | 2007-07-05 | William Daniell | Methods, systems, and computer program products for providing multi-media messages |
| US20090052871A1 (en) * | 2006-01-24 | 2009-02-26 | Nec Corporation | Image Playback System, Image Playback Method, and Image Playback Program |
| WO2008115195A1 (en) * | 2007-03-15 | 2008-09-25 | Thomson Licensing | Methods and apparatus for automated aesthetic transitioning between scene graphs |
| US7856429B2 (en) * | 2007-05-03 | 2010-12-21 | Magix Ag | System and method for a digital representation of personal events enhanced with related global content |
| US7975226B2 (en) * | 2007-06-15 | 2011-07-05 | Eastman Kodak Company | Determining presentation effects for a sequence of digital content records |
| KR20090032702A (ko) * | 2007-09-28 | 2009-04-01 | 한국전자통신연구원 | 네트워크 기반의 맞춤형 콘텐츠 제공을 위한 사용자 장치및 그 방법과 저작 장치 및 그 방법 |
| US9190110B2 (en) | 2009-05-12 | 2015-11-17 | JBF Interlude 2009 LTD | System and method for assembling a recorded composition |
| US11232458B2 (en) | 2010-02-17 | 2022-01-25 | JBF Interlude 2009 LTD | System and method for data mining within interactive multimedia |
| EP2428957B1 (en) * | 2010-09-10 | 2018-02-21 | Nero Ag | Time stamp creation and evaluation in media effect template |
| US9667886B2 (en) * | 2014-03-27 | 2017-05-30 | Sony Corporation | Apparatus and method for editing video data according to common video content attributes |
| US9653115B2 (en) | 2014-04-10 | 2017-05-16 | JBF Interlude 2009 LTD | Systems and methods for creating linear video from branched video |
| US9792957B2 (en) | 2014-10-08 | 2017-10-17 | JBF Interlude 2009 LTD | Systems and methods for dynamic video bookmarking |
| US11412276B2 (en) * | 2014-10-10 | 2022-08-09 | JBF Interlude 2009 LTD | Systems and methods for parallel track transitions |
| US10460765B2 (en) | 2015-08-26 | 2019-10-29 | JBF Interlude 2009 LTD | Systems and methods for adaptive and responsive video |
| US11164548B2 (en) | 2015-12-22 | 2021-11-02 | JBF Interlude 2009 LTD | Intelligent buffering of large-scale video |
| US11856271B2 (en) | 2016-04-12 | 2023-12-26 | JBF Interlude 2009 LTD | Symbiotic interactive video |
| US11050809B2 (en) | 2016-12-30 | 2021-06-29 | JBF Interlude 2009 LTD | Systems and methods for dynamic weighting of branched video paths |
| US10257578B1 (en) | 2018-01-05 | 2019-04-09 | JBF Interlude 2009 LTD | Dynamic library display for interactive videos |
| CN108495171A (zh) * | 2018-04-03 | 2018-09-04 | 优视科技有限公司 | 视频处理方法及其装置、存储介质、电子产品 |
| US11601721B2 (en) | 2018-06-04 | 2023-03-07 | JBF Interlude 2009 LTD | Interactive video dynamic adaptation and user profiling |
| US11490047B2 (en) | 2019-10-02 | 2022-11-01 | JBF Interlude 2009 LTD | Systems and methods for dynamically adjusting video aspect ratios |
| CN111083526B (zh) * | 2019-12-31 | 2021-12-10 | 广州酷狗计算机科技有限公司 | 视频转场方法、装置、计算机设备及存储介质 |
| US11245961B2 (en) | 2020-02-18 | 2022-02-08 | JBF Interlude 2009 LTD | System and methods for detecting anomalous activities for interactive videos |
| GB2600910A (en) * | 2020-09-04 | 2022-05-18 | Whisper Holdings Pte Ltd | Video editing |
| US11882337B2 (en) | 2021-05-28 | 2024-01-23 | JBF Interlude 2009 LTD | Automated platform for generating interactive videos |
| US11934477B2 (en) | 2021-09-24 | 2024-03-19 | JBF Interlude 2009 LTD | Video player integration within websites |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4979050A (en) * | 1983-12-02 | 1990-12-18 | Lex Computer And Management Corporation | Video composition method for assembling video segments |
| US5101364A (en) * | 1990-02-09 | 1992-03-31 | Massachusetts Institute Of Technology | Method and facility for dynamic video composition and viewing |
| US6026232A (en) * | 1995-07-13 | 2000-02-15 | Kabushiki Kaisha Toshiba | Method and system to replace sections of an encoded video bitstream |
| US6154600A (en) * | 1996-08-06 | 2000-11-28 | Applied Magic, Inc. | Media editor for non-linear editing system |
| US6549911B2 (en) * | 1998-11-02 | 2003-04-15 | Survivors Of The Shoah Visual History Foundation | Method and apparatus for cataloguing multimedia data |
| US7020381B1 (en) * | 1999-11-05 | 2006-03-28 | Matsushita Electric Industrial Co., Ltd. | Video editing apparatus and editing method for combining a plurality of image data to generate a series of edited motion video image data |
| US7111010B2 (en) * | 2000-09-25 | 2006-09-19 | Hon Hai Precision Industry, Ltd. | Method and system for managing event attributes |
| JP4438217B2 (ja) * | 2000-11-10 | 2010-03-24 | ソニー株式会社 | 番組付加データ作成装置、映像番組編集装置及び番組付加データの作成画面表示方法 |
| US7660510B2 (en) * | 2000-12-28 | 2010-02-09 | Sony Corporation | Device for creating content from multiple video and/or audio materials and method therefor |
| US20020108112A1 (en) * | 2001-02-02 | 2002-08-08 | Ensequence, Inc. | System and method for thematically analyzing and annotating an audio-visual sequence |
| US7102643B2 (en) * | 2001-11-09 | 2006-09-05 | Vibe Solutions Group, Inc. | Method and apparatus for controlling the visual presentation of data |
| JP4061458B2 (ja) * | 2001-12-05 | 2008-03-19 | ソニー株式会社 | ビデオデータ検索方法およびビデオデータ検索システムおよびビデオデータ編集方法およびビデオデータ編集システム |
| US20030123737A1 (en) * | 2001-12-27 | 2003-07-03 | Aleksandra Mojsilovic | Perceptual method for browsing, searching, querying and visualizing collections of digital images |
| AU2003249663A1 (en) * | 2002-05-28 | 2003-12-12 | Yesvideo, Inc. | Summarization of a visual recording |
| US7073127B2 (en) * | 2002-07-01 | 2006-07-04 | Arcsoft, Inc. | Video editing GUI with layer view |
| US7734144B2 (en) * | 2002-10-30 | 2010-06-08 | Koninklijke Philips Electronics N.V. | Method and apparatus for editing source video to provide video image stabilization |
| US7127120B2 (en) * | 2002-11-01 | 2006-10-24 | Microsoft Corporation | Systems and methods for automatically editing a video |
-
2003
- 2003-01-21 JP JP2003012511A patent/JP4125140B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-16 US US10/759,501 patent/US20040146275A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8105690B2 (en) | 1998-03-03 | 2012-01-31 | Ppg Industries Ohio, Inc | Fiber product coated with particles to adjust the friction of the coating and the interfilament bonding |
| US8062746B2 (en) | 2003-03-10 | 2011-11-22 | Ppg Industries, Inc. | Resin compatible yarn binder and uses thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040146275A1 (en) | 2004-07-29 |
| JP2004228779A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4125140B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
| US20220229536A1 (en) | Information processing apparatus display control method and program | |
| JP4250301B2 (ja) | 映像シーケンスを編集する方法及びシステム | |
| JP4200741B2 (ja) | ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム | |
| JP4261644B2 (ja) | マルチメディア編集方法及び装置 | |
| JP5552769B2 (ja) | 画像編集装置、画像編集方法及びプログラム | |
| RU2413292C2 (ru) | Графический дисплей | |
| US7051048B2 (en) | Data management system, data management method, and program | |
| US20130155088A1 (en) | Method, apparatus and system for generating an image slideshow | |
| JP5079817B2 (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
| JP4343027B2 (ja) | スライドショー作成装置および方法ならびにプログラム | |
| US7844163B2 (en) | Information editing device, information editing method, and computer product | |
| US6421062B1 (en) | Apparatus and method of information processing and storage medium that records information processing programs | |
| JP2006050469A (ja) | コンテンツ生成装置、コンテンツ生成方法、プログラムおよび記録媒体 | |
| JP2008205820A (ja) | コンテンツ表示装置、コンテンツ表示方法、プログラム及び記憶媒体 | |
| JP2007079736A (ja) | データ編集装置、データ編集方法およびデータ編集プログラム | |
| US7197698B2 (en) | Information processing method and apparatus | |
| JP3826043B2 (ja) | 情報処理装置及び方法 | |
| JP2005167822A (ja) | 情報再生装置及び情報再生方法 | |
| US20110231763A1 (en) | Electronic apparatus and image processing method | |
| JP3826048B2 (ja) | 情報処理装置及び方法 | |
| AU745436B2 (en) | Automated visual image editing system | |
| JP4366083B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
| JPH0512406A (ja) | 動画データ作成方法 | |
| JP2002175298A (ja) | データ管理システム、データ管理方法、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080507 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4125140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |