JP4261644B2 - マルチメディア編集方法及び装置 - Google Patents
マルチメディア編集方法及び装置 Download PDFInfo
- Publication number
- JP4261644B2 JP4261644B2 JP28315398A JP28315398A JP4261644B2 JP 4261644 B2 JP4261644 B2 JP 4261644B2 JP 28315398 A JP28315398 A JP 28315398A JP 28315398 A JP28315398 A JP 28315398A JP 4261644 B2 JP4261644 B2 JP 4261644B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- audio
- duration
- elements
- content information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00183—Photography assistance, e.g. displaying suggestions to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は全体としてマルチメディア編集に関し、特に構成要素のコンテント情報を製品構築におけるガイドに用いるマルチメディア製品の創作方法に関する。
【０００２】
【従来の技術】
静止画、文字、ビデオ、音及び他のマルチメディア要素をまとめて一つの製品にするのは、多様な領域における膨大な知識を必要とする複雑な作業である。多種の要素をまとめて一つの最終制作物にするということは、ビデオ編集において既に十分確立した領域である。ビデオ制作物においてしばしば用いられる要素の種類は画像、音声及び文字である。画像要素はビデオ、静止画及びアニメーション等を含む。音声要素は背景音、音声効果、コメント及びビデオクリップの録音音声等を含む。文字要素はタイトル、クレジット及びサブタイトル等を含む。
【０００３】
これらの要素は変更したり、効果を付けたりすることのできるいろいろな特性を有している。そして、要素は最終制作物を形成するために多くの異なった方法で結合することができ、それぞれの結合において行わねばならない選択に関する多くの知識が存在する。
【０００４】
長年、このような制作はテレビ局や大規模な制作会社でのみ可能だった。家庭用ビデオカメラ、パーソナルコンピュータ、安価なビデオキャプチャカード及びビデオ編集ソフトウェアの出現によって、現在では多くの人々が自分のビデオ制作物を創作することが可能となっている。
【０００５】
しかしながら、よい選択を行うのに必要な知識は、制作物の創作者から教わらなければならない。２つか３つの単純な制作物を作りたいと考えている多くの人にとって、学習曲線は非常に急なものであり、結果として知識を用いた判断が行われないことによる低品質の制作物が創作されている。デジタル化された静止画と音楽、静止画と文字、ビデオ素材単独または音楽素材単独から構成される制作物を創作しようとした場合にも、同様の問題が起こる。
【０００６】
よって、ユーザーに対して補助や指導を提供するガイド付きの制作物創作のための装置、システム及び／又は方法に対する必要性が存在する。
【０００７】
【課題を解決するための手段】
本発明の第１の要旨は、コンピュータによって実行される、ユーザによる、知覚的認識のための動的制作物の創作方法であって、制作物がユーザが理解できる少なくとも１つの音声要素及び画像要素を含み、方法が
（ａ）少なくとも１つの要素の少なくとも１つの部分から、その部分の知覚可能なコンテントに関連するコンテント情報を抽出するステップと
（ｂ）制作物を、抽出されたコンテント情報に従って、部分に制作規則の所定の（第１）セットの少なくとも１つを適用して創作するステップと
を含むことを特徴とする創作方法に存する。
【０００８】
また、ステップ（ａ）の前に、
（ａａ） 少なくとも１つの部分に、制作規則の所定の（第２の）セットの少なくとも１つを適用し、対応するコンテント情報を形成するステップと、
（ａｂ） コンテント情報を対応する部分に関連づけするステップ
とをさらに有することが好ましい。
【０００９】
また、本発明の別の要旨は、音声メディア及び画像メディア少なくとも１つの要素を有するソースメディアから動的メディアを形成する電算化された方法であって、
（ａ） ソースメディアを受信するステップと、
（ｂ） ソースメディアの少なくとも１つの部分について制作規則の所定のセットを用いて要素の少なくとも１つを分析し、そこからソースメディアの対応する部分に関連したコンテント情報を抽出するステップと、
（ｃ） 対応する要素に適用可能な制作規則の限定セットを決定するために部分の少なくとも１つのコンテント情報を調べるステップと、
（ｄ） 対応する要素を変更するように制作規則の少なくとも１つを対応する要素の１つに選択的に適用するステップと
（ｅ） 少なくとも変更要素を他のメディアと結合し、メディア制作物を形成するステップとを有することを特徴とする電算化された方法に存する。
【００１０】
装置、システム及びコンピュータプログラム製品を含む本発明の他の見地は以下の説明及び本明細書に記載された請求の範囲を理解することによって明らかになるであろう。
【００１１】
【発明の実施の形態】
図１は、マルチメディア編集装置１００の好ましい実施形態の概要を示すブロック図である。マルチメディア編集装置１００は処理部１０１、記憶部１０２、ユーザーインタフェース部１０３及び通信ポートとそれに対応するバス１０４とを有している。記憶部１０２には処理部１０１がユーザーインタフェース部１０３のコントロール及びユーザーインタフェース部１０３に対する応答のために用いるアプリケーションプログラムコードが記憶されている。記憶部１０２はまた、制作物の創作に使われる種々の規則や、制作物に使用される１つ以上の要素の保存にも使用される。ここにおいて、「制作物」という単語は一般的な意味で用いられている。それは制作物がビデオ制作物、音楽制作物、スライドショーの様に表現される連続した静止画写真やそれらの組み合わせとなりうるからである。
【００１２】
上述の通り、要素はきわめて一般的に、制作物の構成要素として表現することのできる、画像要素、音声要素及び／又は文字要素を含む。画像要素はビデオ(video footage)及びその一部であるビデオクリップ、１ビデオフレーム、映画全体、コンピュータクリップアート、写真及びビデオアニメーションで用いられるような作られた画像を含んでよい。音声要素は音声記録、音声効果、音楽及び楽譜、一つ及び多重の調子又は音色を含んでよい。文字要素は制作物のタイトル及びクレジット、ロゴやスローガンのような広告及び／又は他のしるしを含んでよい。
【００１３】
好ましい実施形態の概要において、通信ポート及び対応するバス１０４は記憶部１０２へのデータ転送及び記憶部１０２からのデータ転送に用いられる。このデータは典型的には上述した要素のデジタル表現である。通信ポート及び対応するバス１０４は例えばアプリケーションソフトウェアコードのダウンロード又はアップロードなど他の目的にも使用される。バス１０４及び対応するインターフェースは、例えばＩＥＥＥ１３９４高速シリアルバス標準で規定されたものである。
【００１４】
処理部１０１はコンテント情報を抽出するために、アプリケーションソフトウェアに補助されて要素を解析する。抽出されたコンテント情報は記憶部１０２に保存され、そのコンテント情報を抽出した要素と対応付けされる。コンテント情報は、多種の異なる種類の要素（例えば画像、音声、文字）に固有のもので、処理部１０１がソフトウェアと連携して行う上述の解析も適宜変化する。多種の要素に対し、コンテント情報の抽出（いくつかの場合にはその生成）のために行われる解析については、以下の対応する部分において説明されるであろう。
【００１５】
コンテント情報を抽出する解析は、多種の要素が記憶部１０２にダウンロードされてからある時間後になされる、一つのオフラインプロセスとして行うことができる。しかし、全部ではない少なくともいくつかの解析を、バス１０４から記憶部１０２にダウンロードされた多種のデータに対し、その場で（オン・ザ・フライで）行うことが可能であることは想像される。好ましい構成において、多種のデータに対する解析は少なくともその一部分を、要素の獲得に用いられる録音又はキャプチャ装置が行う。例えば、デジタルビデオカメラ（ＤＶＣ）は、画像及び音声データだけでなく、日付、時間、ビデオフレームの数等のメタデータの保存／記録を行うように改造することができる。好ましい実施形態において用いることができる、選択された要素をキャプチャリングするＤＶＣの例は、以下”拡張収集装置”（Enhanced Gathering Apparatus）として説明される。
【００１６】
図２は、制作物を生成する複数の画像要素と音声要素からなる入力スクリプト１３００を示すブロック図である。図２の入力スクリプト１３００はビデオプレゼンテーション制作物の例を示すが、音声制作物、スライドショータイプの静止画プレゼンテーション、印刷物としての制作物（本、カタログ等）等、他の形式に対する入力スクリプトもまた可能である。スクリプト１３００の画像要素はビデオセグメント１３０２、１３０４及び１３０５を有している。これらセグメントはデジタル形式で保存されていることが好ましい。また、デジタル静止画１３０３は、ディスプレイ上で静止画としての見かけを提供するように、ある時間再生された一つの画像や、予め定めた期間ポーズされた１フレームの画像を含むビデオセグメントでもよい。
【００１７】
音声要素は音声バッキングトラック１３０１及び１３０６から構成される。一般的に、音声バッキングトラックは音楽トラック及び／又は音声効果を有する。また、いくつかの場合、音声バッキングトラックはビデオセグメントに対応した音声トラックに付加される音声トラックである。この説明を通して、逆の明示をしない限り、ビデオセグメントという参照は、対応する有効な音声トラックを含んだビデオセグメントを示す。例えば、ビデオには通常、人の声や背景ノイズといった、それに対応した録音音声がある。録音音声の情報は好ましい実施形態の説明の目的において、ビデオセグメントの一部であると仮定するが、実施形態の実施は、画像及び音声源情報のいずれかのみを用いることが好ましい。
【００１８】
入力スクリプトは、状況に応じて、または必要に応じて順次又は並行して実行（再生）される。入力スクリプト１３００は好ましくは順次実行される。しかし、大半のマルチメディア装置において、概して音声要素は異なるチャネルを介して並行して画像要素に供給される。入力スクリプト１３００の配列において、第１音声バッキングトラック１３０１が開始し、画像要素１３０２、１３０３及び１３０４の表示装置への出力と同時に、音声装置に出力される。画像要素１３０４の終わりに、音声バッキングトラック１３０１から次のシーケンシャル音声バッキングトラック１３０６へのトランジションが起こり、更なるシーケンシャル画像要素１３０５が音声バッキングトラック１３０６と同時に表示される。画像用途と音声バッキングトラックとの同期が望まれ、要素が画像、音声、文字のいずれであっても、各要素とそれに関連するタイミング情報が符号化されていることが好ましい。例えば、画像及び／又は音源の録音中のように、コンテント情報の抽出はライブで行われる。これはユーザーの入力によって自動又は半自動で実現される。
【００１９】
いくつかの例において、コンテント情報は録音終了後の手動制御または自動化された後処理によって生成される。各要素は更に、
・処理アプリケーションに元データ及び要素に対応したコンテントデータを示す情報
・要素の期間、元データに関するオフセットスタート時間等の捕捉情報
を有することが好ましい。
【００２０】
図３は、好ましい実施形態におけるビート同期プロセス１４２０のフローチャートである。ビート同期プロセス１４２０は、予め定められたシーケンス又は順序で、複数の要素、すなわち要素の入力アレイの形で入力を受信する。ビート同期プロセス１４２０の出力は、図２に示す入力スクリプト１３００の形式と同じ入力スクリプトである。しかしながら、要素の入力アレイを構成する各要素は、ビート同期プロセス１４２０において変化したりしなかったりする。
【００２１】
先ず、ステップ１４００において、ビート同期プロセス１４２０は入力として、制作物の要素（画像、音声、その他）のアレイを、好ましくは予め定めた順序で受信する。次に、入力アレイの要素の数と実質的に似た数の入力スロットを有する空の出力アレイがステップ１４０１において作られる。この作成ステップ１４０１において、ポインタもまた入力アレイの第１要素の開始点に初期化される。コントロールは次のステップである、入力アレイ中に処理すべき要素があるかどうかを決定する決定ステップ１４１４に移行する。ステップ１４１４の決定結果が「偽」であれば、現在の出力アレイが入力スクリプト１３００で示される形式で出力される。一方、少なくとも１つの要素が存在した場合には、決定ステップ１４１４は「真」を返し、入力アレイ（ソースアレイ）の現在の要素を出力アレイのスロットにコピーするコピーステップ１４０２に移行する。
【００２２】
フローチャート１４２０において、コピーステップ１４０２の次にある音声要素決定ステップ１４０３では、現在の要素が音声バッキングトラックであれば真を、そうでなければ偽を返す。音声要素決定ステップ１４０３において真の結果が得られると、プロセスは読み込み入力ステップ１４０６に移行する。ステップ１４０６では、現在の要素の補足情報部分からビート期間を読み取り、それに応じてカレントビート期間をセットする。このステップではビート期間の計算を含んでもよい。ポインタはステップ１４１３において入力アレイの次の要素に進む。音声要素決定ステップ１４０３において偽の結果が得られた場合には、追加の決定ステップ１４０４においてカレントビート期間が既にセットされているかどうかを調べる。決定ステップ１４０４は、カレントビート期間が既にセットされていれば真を、そうでなければ偽を返す。ステップ１４０４の結果が偽の場合、ステップ１４１３においてポインタが入力アレイの次の要素に進む。
【００２３】
決定ステップ１４０４の結果が真の場合、プロセス１４２０は更に別の決定ステップ１４０５へ移行し、ここで現在の要素がカレントビート期間の影響を受けているかどうかを決定する。この決定において現在の要素がカレントビート期間の影響を受けていなければ、ステップ１４１３でポインタが次の要素に進む。現在の要素がビート期間の影響を受けているかどうかを決定する決定ステップ１４０５において真の結果が得られた場合には、現在の要素が静止画シーケンスであるかどうかを決定する別の決定ステップ１４１０に移行する。この決定ステップにおいて、現在の要素が静止画である場合には、トリミングステップ１４０８が現在の要素に実施され、現在の要素は出力アレイの現在の要素、すなわちステップ１４０２においてコピーされた要素となる。トリミングステップ１４０８に続くステップ１４１３において、ポインタは次の要素に進む。
【００２４】
決定ステップ１４１０において偽の結果（すなわち、現在の要素が静止画でない）が返された場合には、決定ステップ１４１１において、バッキングトラック又は静止画でない現在の要素が、ズームショットシーケンス、パンショットシーケンス又は他の予め定めたビデオ特殊効果のような、予め定めたビデオコンディションを含むかどうかが決定される。現在の要素にいかなるビデオコンディションも検出（決定）されなければ、現在の要素にトリミングステップ１４０８が実行される。それぞれの場合で要素（画像要素）に対してトリミングステップ１４０８が実行され、要素はカレントビート期間の実質的な倍数にトリミングされる。
【００２５】
前述の通り、トリミングステップ１４０８に続くステップ１４１３でポインタが次の要素に進む（出力アレイにコピーされるべき次の入力要素がもしあれば）。ステップ１４１１においてビデオコンディションが確認された場合には、ステップ１４１１から真が返され、ステップ１４１２において現在の要素は各ビデオコンディションに対して予め定義された規則に従ってトリミングされる。適用される予め定義された規則の例は後に説明する。トリミングステップ１４１２に続くプロセスフローは前述したポインタ進行ステップ１４１３である。ポインタが次の要素に進むと、決定ステップ１４０７が入力アレイに更なる要素があるかどうかをチェックする。もしあれば、プロセスはコピーステップ１４０２にループバックし、更なる入力要素をチェックする決定ステップ１４０７において偽が返され、ステップ１４０９において出力アレイが出力されてビート同期プロセス１４２０が再呼び出しされるまで終了する状態になるまで、上述したコピーステップ１４０２に引き続くステップを実行する。上の説明においては、ビデオをトリミングする場合を説明したが、類似の処理をビデオをビート周波数に適合するように行う伸長又は圧縮に適用してもよい。
【００２６】
図４は、好ましい実施形態によるトランジション生成プロセス１５００のフローチャートを示す。トランジション生成プロセス１５００はビデオ要素間で用いられるトランジションのタイプ及びトランジション期間を決定する。トランジションは最終制作物が出力表示装置に表示されるまでは表現されない。
【００２７】
最初に、トランジション生成プロセス１５００は入力として入力用アレイを受信する。入力アレイの各要素は、対応する１つ又は複数のチャネルの情報を有する。まずプロセス１５００の最初のステップ１５０１において、入力アレイのエレメント数と実質的に同じ数のスロットを有する空の出力アレイを作成する。このステップ１５０１において初期化手順も実行される。例えば、ソースポインタが入力アレイの最初の要素を指すようにセットされ、行き先ポインタが出力アレイの最初の有効なスロットを指すようにセットされ、ビート期間に対する新しい値が決定されるまで、ビート期間変数がデフォルト値にセットされる。さらに、各ビデオチャネルに対し、変数（すなわち”PrevEle”）が先のビデオ要素を示すように支持される。最初は先立つビデオ要素がないので、変数PrevEleは先のビデオ要素がないことを示す値を割り当てられる。初期化に続いて、プロセス１５００は決定ステップ１５０７に移行する。このステップでは入力アレイ中に処理すべき要素があるかないかを決定する。処理すべき要素がなければ、決定ステップ１５０７は偽を返し、出力アレイの現在の値が図２に示す入力スクリプトの形式で出力される。
【００２８】
入力アレイが空の場合は、空の入力スクリプトが得られる。すなわち、いかなる入力スクリプトも得られない。しかし、入力アレイに処理すべき要素がある場合には、決定ステップ１５０７は真を返し、コピーステップ１５０２に移行する。コピーステップ１５０２において、現在の入力（アレイ）要素は出力アレイの有効スロットにコピーされる。コピーステップ１５０２に引き続き、現在の要素（コピーされた要素）が音声バッキングトラックであるか否かを決定する決定ステップ１５０３が実行される。現在の要素が音声バッキングトラックならば、現在のビート期間を抽出された値にステップ１５０６でセットし、ステップ１５１８において、入力アレイの次の要素にインクリメントされる。
【００２９】
一方、決定ステップ１５０３において現在の要素が音声バッキングトラックでないと決定された場合は、次のステップ１５０４において、現在の要素にトランジションを必要とする先のビデオ要素が現在の要素のビデオチャネルにあるかないかを決定する。もし現在のビデオチャネルに先立つビデオ要素がなければ、変数PrevEleを現在の要素を指すようにセットするPrevEleセットステップ１５０５が実行され、インクリメントステップ１５１８へ移行する。一方、先立つビデオ要素（現在の（ビデオ）要素に対する）が存在する場合は、決定ステップ１５０８に移行し、ここでマルチメディア編集装置１００のユーザが固定トランジションスタイル（例えばバットエディットトランジション）を選択しているか否かをチェックする。固定トランジションが選択されている場合は、マーキングステップ１５１０において、現在のビデオ要素へトランジションするために先のビデオ要素にマークする。
【００３０】
固定トランジションが選択されていない場合、決定ステップ１５０８から色データ抽出ステップ１５１３に移行する。輝度データは先のビデオ要素の終端及び現在のビデオ要素の始端から抽出されることが好ましい。次のステップ１５１４において、抽出された色データに基づき、ステップ１５１５で選択されるディゾルブトランジションか、ステップ１５１６で選択されるワイプトランジションのいずれかを決定する。ワイプトランジションの場合、さらなるステップ１５１７において、ワイプトランジションの詳細を決定するための、先のビデオ要素と現在のビデオ要素の動きベクトル解析を行う。ワイプトランジションの詳細には、開始点、ワイプ速度等が含まれる。
【００３１】
ワイプトランジションの選択による追加ステップ１５１７又はディゾルブトランジション選択ステップ１５１５からはいずれも前述のマーキングステップ１５１０に戻る。マーキングステップ１５１０において、先のビデオ要素は現在のビデオ要素へのトランジションのために、選択されたトランジション（すなわち、ディゾルブ、ワイプ、固定、等）に応じてマークされる。マーキングステップ１５１０に続き、決定ステップ１５１１において選択されたトランジションが予め定めた持続時間よりも長い持続時間を有するか否かがチェックされる。決定ステップ１５１１においてはまた、所定持続時間に加え、或いはその替わりに固定トランジションのチェックを行っても良い。
【００３２】
決定ステップ１５１１において、”真”値は選択されたトランジションの持続時間が予め定めた持続時間よりも長いことを示し、その場合にはステップ１５１２において、選択されたトランジションの持続時間を現在のビート期間の倍数となるようにマークする。一方、決定ステップ１５１１が”偽”を返した場合は選択されたトランジションの持続時間が予め定めた持続時間よりも短いことを示す。この場合には、PrevEleセットステップ１５０５に戻る。さらに、決定ステップ１５１２が選択されたトランジションの持続時間にマークすると、同様にPrevEleセットステップ１５０５に復帰する。
【００３３】
前述したように、PrevEleセットステップ１５０５は、変数PrevEleを現在のビデオ要素を指すようにセットし、インクリメントを行う次の入力要素ステップ１５１８に戻る。ステップ１５１８はソースポインタをインクリメントし、これまで説明したように次の入力要素への処理を継続する。
【００３４】
トランジション生成プロセス１５００は処理する入力要素がなくなった時点で終了する。その場合、出力アレイの現在の要素は図２に示した入力スクリプト１３００の形式で出力される。
【００３５】
図５は、本発明の好適な実施形態による編集プロセス１１００の概要を示す。最初に、制作物セットアップステップ１１０１がユーザに対し、制作物に用いたい画像、音声及び／又は文字要素の選択を許可する。次に、スクリプトプロセス１１０２がユーザの選択した要素に適用される。これらのスクリプトプロセス１１０２はそれぞれ図３及び図４を用いて説明したビート同期プロセス及びトランジション生成プロセスを含む。本発明の範囲及びその精神を離れることなく、他のスクリプトプロセス、例えば、静止画又はビデオクリップのフレームのピクチャ要素を操作して編集する編集プロセスを適用することができる。スクリプトプロセスの出力は、実質的に図２を用いて説明した入力スクリプトであることが好ましい。
【００３６】
スクリプトプロセス１１０２で得られた入力スクリプトは、次のステップ１１０３において、スクリプトインタプリタによってそれぞれ翻訳される。決定ステップ１１０４では、各入力スクリプトに対し、その出力が出力装置で処理されるべきものか否かを決定する。ステップ１１０４での結果がＮＯであれば、図５に示されるように、ユーザの更なる選択のために制作物セットアップステップ１１０１へ戻る。しかし、ステップ１１０４での結果が、出力が出力装置で処理されるべきであることを示すＹＥＳであれば、制作物の要素を構成する各入力スクリプトはステップ１１０５において対応する出力装置において処理される。例えば、音声要素とビデオ要素とからなる入力スクリプトにおいて、音声要素は音声出力装置で演奏し、ビデオ要素に対応したサウンドトラックもまた音声出力装置で演奏しながらビデオ要素のビデオ部分は表示装置で表示する。図５においては単独のインタプリタを参照しているが、一般にはソースデータの各タイプ及び対応する出力装置（例えば音声、画像）に対して１つずつインタプリタが設けられる。
【００３７】
最後の決定ステップ１１０６は、制作が終了したのか、引き続きユーザへの選択を許可するために制作セットアップステップ１１０１に戻るのかをチェックする。セットアップステップへ戻ることにより、ユーザは制作物のプレビューができる。制作物セットアップステップ１１０１において、ユーザはまたどのスクリプトプロセスを適用するか、或いはしないかについての選択をすることもできる。例えば、ビート同期を行ないたくないユーザはそのオプションをオフにする。更に、ユーザは希望する出力装置を選択することもできる。
【００３８】
図６は、図５におけるスクリプト適用ステップ１１０２の詳細を示す。最初のステップ１２０１において、オリジナルの変更を避けるため、ユーザが選択した要素のコピーが行われる。そして、適用されるスクリプトプロセスのリストが作成される。次に、決定ステップ１２０２がリストにある全てのスクリプトプロセスの適用が終わったか否かを判断する。すなわち、決定ステップ１２０２はスクリプトプロセスのリストがまだ適用していないスクリプトを有するか否かを判断する。全てのスクリプトプロセスの適用が終了し、結果がＮＯであれば、スクリプトプロセスで作成された入力スクリプトは図５を用いて説明したようにスクリプトインタプリタに送られる。しかし、ステップ１２０２においてまだ全ての（リスト上の）スクリプトプロセスの適用が終わっていない場合、コピーされた要素は対応するスクリプトプロセス１２０３へ引き渡される。例えば、もし現在のコピーされた要素にビート同期プロセスを適用すべき時は、その要素はビート同期プロセスへ向けて送られる。次のステップ１２０４は適用したスクリプトプロセスからマークを外し、適用すべき他のスクリプトプロセスの有無を調べるため決定ステップ１２０２へループバックする。適用すべきスクリプトプロセスが無くなると、最後に生成された入力スクリプトが処理１１０３のためにスクリプトインタプリタに送られる（図５参照）。
【００３９】
ここで、要素の集まりからの制作物創作をガイドするための、予め定めた規則のセットを定義して良いが、ここで述べる規則のセットは単に例示のために提示されるものであって、それに限定されるべきものではない。その規則のセットは以下に説明される好ましい実施形態に関連して用いることができるが、規則の種類は達成しようとする最終制作物効果に依存する。よって、当業者が認識する、規則の異なる組み合わせ及び／又は異なる種類の規則の適用は、本発明の範囲又は本質から離れることなく適用することができる。例えば、ビデオクリップ全体の動き平均が最も少ないビデオスクリーンの一部に、ビデオクリップのオーバーレイとして、ビデオスクリーンに表示すべきタイトル又はテキスト情報を指定する規則を作成することができる。規則の種類もまた、多種多様の要素から抽出されるコンテント情報の種類に依存する。以下のセクションにおいて、制作物の創作そのもの、或いは創作を補助するために使用される、いろいろな要素から抽出された異なるコンテント情報及び対応する規則について説明する。
【００４０】
＜ビート同期＞
図７は、ビート２１０がその上に表された音声トラック２００と、ビデオクリップ（又はビデオ）２１４との自動ビート同期例を示す。一般的に、ビートが捜されてビデオクリップ２１４との同期に使用される音声トラック２００は音楽である。ビートは音声トラックで演じられる音楽の音楽的なビート（musical beat）であることが好ましいが、音声トラック２００から抽出された実質的に一定な周波数も同期目的のビートとして用いることができる。
【００４１】
ビデオクリップの同期を実現するビートの抽出技術の例を説明する。制作物の音声要素を表現する入力音声信号及び特に音声信号のビートが要求される部分は、音声信号の周波数を所定の範囲に制限するためにバンドパスフィルタを通して分析される。周波数を制限された信号はそのリードエッジを検出するリードエッジ検出回路を通される。ビートを求める音声信号の持続時間において検出された各リードエッジの時間間隔を記録し、平均時間間隔を計算する。この平均時間間隔は音楽を所望のビデオクリップに同期させるビートとして用いることができる。
【００４２】
図７のビデオクリップ２１４は、音声トラックのビートと同期を取るべくトリミングされる前の、トリミングされていないビデオを示している。本例において、未トリミングのビデオ２１４はビデオ２１４の所定のシーンを表現する３つのセクション２０１、２０２及び２０３から構成される。本例において、シーン間のトランジションはシーンをバットエディッテイング（butt editing）して構成している。すなわち、通常それぞれが複数のフレームからなる３つのセクションは、端と端で結合されている。
【００４３】
未トリミングのビデオのセクション２０１、２０２及び２０３間のトランジションは、図７に示された例において、垂直な線２０４及び２０５で示されている。未トリミングビデオ２０４のトランジション２０４は音声トラック２００のビート２１０と一致していない。未トリミングビデオ２１４の最初のセクション２０１は、次のセクション２１２との間に音声トラック２１０のビートと一致するトランジション２０３を有するようなセクション２１１にトリミングされる。同様に、残りのセクション２０２及び２０３はそれぞれセクション２１２および２１３にトリミングされ、セクション２１１、２１２、及び２１３の間のトランジションが音声トラックのビート２１０と同期する。トリミングされたセクション２１１、２１２及び２１３は協調して、シーン中のイベント又は変化の間のトランジションが音声トラック２００のビートと同期したビデオクリップ（又はビデオ）を形成する。
【００４４】
図３のステップ１４１３で説明したように、ビデオをトリミングし、トリミングされた各セクションからビデオフレームを除去する際には、セクションのどの部分からフレームを除去しても良い。しかし、セクションの内容を所定の効果について評価し、最終的に制作物を見た際の断絶が最小限になるようにフレームを除去することが好ましい。例えば、ズーム又はパンを含むビデオセクションであれば、ズームやパンの中間でないフレームを除去することが望ましい。また、ビデオの動きの少ない部分、すなわち、ビデオの中の本質的に静止画である部分を評価し、動きの少ない部分から実質的にフレームを除去することもできる。さらに、ビデオの所定セクションにおけるピントの合っていない部分を取り除くこともできる。
【００４５】
さらに、ビデオ２１４を音声トラック２００に同期させる際、音声トラック２００とビデオ２１４の同期精度を向上するために、実質的に音声がひずまない程度でビートの時間間隔を増減する処理を音声トラックに行うことを許してもよい。前述したように、編集することなくビデオのスピードを増減するように処理を行っても良い。
【００４６】
＜トランジション速度及びタイミング規則＞
一般にビデオフレームレート（フレーム／秒）はほぼ一定であるから、ビデオにおける所定のフレーム数はほぼ特定の時間間隔を規定する。よって、ビデオにおける第１セクションと第２セクション間の時間間隔、すなわちトランジション速度はトランジションに使われるビデオのフレーム数に依存する。トランジションは、図７に示されるような、２つのセクションをバットエディットすることにより得られる、ビデオのあるシーンから異なるシーンへの単純なトランジションでよい。しかし、トランジションは１つのシーンから次のシーンへディゾルブトランジションするといった特殊効果を供給するよう、目的を持って計画することが好ましい。ワイプやフェードを含む他のトランジション形式によって所定の特殊効果を用いてシーンを変えることができる。
【００４７】
好ましい実施形態において、このようなトランジションのタイミング及びスピードは、予め定めた音声トラックと同期されており、ビデオフレームを複製、付加及び除去できることを除けば、ビート同期について説明した方法と実質的に似た方法でスムースに同期したトランジション効果が得られる。タイミング及びトランジションスピード規則は最初の所定のビートマーカーにおいて選択したトランジションが開始するように適用される。そして、トランジションを有効にするための所定フレーム数を許可することによって、トランジションの最終フレームが第２の所定のビートマーカーと一致していることを確認する。音声トランジションは交差区間でそれぞれのビートが一致するようにアレンジすることによって達成される。
【００４８】
＜音声レベルの調整＞
図８に、音声バッキングトラック３０１の音声レベル情報と、この音声バッキングトラックと連携しようとするビデオクリップ３２０−３２２のシーケンスを示す。図８の横軸３００は経過時間軸３００であり、縦軸はデシベルで測定された音声レベルをしめしている（注：図８は一定の縮尺で記載されていない）。ビデオカメラの良い機能は、映像とともに音も記録できることである。しかし、制作物を構成しようとすると、他の音声チャネルである音声バッキングチャネルを含ませたくなるのが普通である。背景音声を提供する追加バッキングトラックは、専門家が編集した結婚式のビデオのような、専門家が制作したビデオ制作物では当たり前の機能である。しかしながら、そういった編集は技術に通じたビデオ編集者が苦労してまとめ上げた大変な作業である。
【００４９】
本発明の好適な実施形態において、ビデオクリップ３２０から３２２の間のトランジションは自動的に検出され、音声レベルも自動的に検出される。例えばビデオクリップ３２０に対応する音声レベル３０３はゼロデシベル（０ｄＢ）と検出され、ビデオクリップ３２１に対応する音声レベル３０４は無いと検出され、−１００ｄＢにセットされる。また、ビデオクリップ３２２に対応する音声レベル３０５は−３ｄＢと検出される。
【００５０】
制作物ビデオを演出する際、あるクリップから次のクリップへのビデオトランジションに対応するそれぞれのポイント３１１において、予め定めた傾斜(ramping)３１０によって最終減衰波形３１３が生成される。最終減衰波形３１３は、好ましくはビデオ３０７のバッキングトラックとして使用される１つかそれ以上の楽譜のレベルセッティングの制御に用いられる。さらに、減衰波形はバッキングトラックがビデオに対応する音声から一定の時間残るよう、バッキングトラックに適用することもできる。さらに、もし望まれる場合には、バッキングトラックによって録音音声がじゃまされないように、ユーザはビデオカメラで録音された音声と、バッキングトラックの音声レベルとの希望するレベル差を設定することができる。
【００５１】
＜音声マッチング＞
好ましい実施形態において、第１の音声トラックは選択され、またこの選択された第１の音声トラックはまた、複数の音声トラックから予め定められた、実質的に第１の音声トラックと類似した音声トラックの検索及び選択に用いることができる。これら予め定められた音声トラックは、選択された第１の音声トラックと一緒に、或いはその替わりに用いることができる。複数の音声トラックから類似の音声トラックを決定する技術は、選択された第１音声トラックの特性と比較された各音声トラックの音声信号の特性に基づく。特性は、例えば平均ボリューム、ビート及び卓越振動数(dominant frequency)といったものの単独または組み合わせを含む。
【００５２】
以下、この音声マッチング規則がビデオ制作物にどの様に適用されるのかについて例を用いて説明する。例えば、製造者から選択された第１音声トラックとともに、ビデオ制作物用のテンプレートが供給される。ユーザは、ユーザが好む複数の替わりの音声トラックを、テンプレートとともに供給された第１音声トラックに対してオファーすることができる。音声選択規則が第１トラックの１つかそれ以上の予め定めた特性に基づき、複数の代替音声トラックの中から最も適した音声トラックを選択する。
【００５３】
＜映像コンテントとモーション＞
ビデオにおいて、複数の重要な映像イベントは、そのビデオに任意に適用される所定の特殊効果において、ビデオのセグメントを特定する手がかりとされる。
【００５４】
例えば、ビデオセグメント（クリップ）と次のビデオセグメント間における好ましいトランジションのタイプをガイドするために、当分野で知られる動き検出技術がビデオに適用される。
図９には、ビデオ５００と、それに結合されたズームシーケンス５０１が各フレーム５０３の下に表示された相対ズーム比とともに示されている。
【００５５】
相対ズーム比５０２は、各フレームで検出された動きベクトルを用いて決定される。本発明の本質又は範囲を外れることなく、相対ズーム比５０２を例えば符号化されビデオに付随したメタデータから計算することもできる。
【００５６】
符号化されたメタデータは、ビデオカメラ、具体的にはズームセンサ及び回路を、現在のズーム状況に対応するメタデータを供給可能なようにしたビデオカメラにより記録され、また得ることができる。
【００５７】
図１０は、小屋６０１のビデオパンシーケンスからなるパンショット６００を示す。ズームシーケンス５０１についての説明とほぼ同様の方法によって、パンショットは動きベクトルから検出することができる。ビデオカメラのパニングセンサがビデオカメラの動き情報を発生するようにしても良く、その情報をパンショットにおけるパン量の決定に用いても良い。
【００５８】
ビデオからのズーム及びパンショット検出において、相対ズーム比が所定フレーム数以内でズーム閾値を超えているズームのみを検出したり、相対パン移動量が所定のフレーム以内でパン閾値を超えるパンショットのみを検出したりすることを可能にするために、所定のズーム閾値及びパン閾値が任意に設定される。例えば、所定フレーム数を２、ズーム閾値を３とセットし、２フレーム以内で１：３を超える相対ズーム比が発生すれば、ズームシーケンス検出において検出されることになる。
【００５９】
パンショット又はズームが検出されたそれぞれのケースにおいて、ユーザに受け入れ又は拒否の選択を与えるようにし、それに応じて検出されたパン又はズームにマークをすることもできる。しかし、パンショット又はズームの位置を示すためにビデオにマークを付ける処理は、検出された各ズーム及びパンに所定の基準に基づいてマークするような自動化処理に代えることもできる。
【００６０】
＜印刷によるビデオの要約＞
パンショット及び／又はズームのマークは、特殊効果を適用すべきビデオセグメントや、印刷のために印刷装置に読み出され、或いはビデオのアイコンを生成するために読み出されるビデオのセグメントを容易に識別するためのものである。例えば、図１０のパンシーケンス６００はつなぎ合わされ、すなわち、フレーム毎に合成され、図１１に示される静止画パンを形成する。このビデオフレームのつなぎ合わせのプロセスは、当該技術分野において知られたもので、例えば、デジタイズされた表現において、ビデオの各フレームの所定の画像（picture）要素のトランジションを検出することにより行うことができる。
【００６１】
図１２は、特徴的静止画（salient still image）７０４を得るための、ビデオのフレーム７０１〜７０３の合成を示している。印刷装置で印刷するための特徴的静止画に合成されるフレーム７０１〜７０３は、ビデオのズーム部分のフレームから抽出することが好ましい。図１２に示される３つのフレーム７０１〜７０３は、図９に示したズームシーケンスから選択され、特徴的静止画７０４を作るために用いられる。特徴的静止画７０４を合成するには、フレーム７０１で表される最初の画像を第１の所定ファクタで変倍し、変倍された画像は特徴的静止画７０４の第１部分７０５として用いられる。図１２において示されるように、第１部分７０５は８×８の成分を指す。次に、フレーム７０２で表される第２の画像を第２の所定ファクタで変倍し、変倍された画像を特徴的静止画７０４の第２部分７０６となるよう、第１部分７０５に重畳或いは挿入される。最後に、フレーム７０３で表される第３の画像が第３部分７０７となるよう、第２部分７０６に重畳（又は挿入）される。結果として得られる特徴的静止画７０４は異なる解像度から得られ、１つの特徴的静止画７０４を形成するために合成された画像７０４の３つの部分７０５〜７０７から構成される。特徴的静止画７０４は印刷装置で印刷されても良い。
【００６２】
パンショット及びズームシーケンスが検出されたビデオにおいて、そのビデオを撮影した写真家又はカメラマンが特定のシーンをパン又はズームしたいと考えていたものと仮定すると、そのビデオにおけるパンショット及びズームシーケンスは特別な興味の対象である可能性がある。よって、図１１及び１２を参照して説明したように、それらの特別なシーンから得られた画像が印刷装置での印刷用に選択される。
【００６３】
全てのビデオがパンショット及び／又はズームシーケンスを含んでいるわけではないし、パン又はズームが特別に興味のある画像を含んでいないこともある。このような場合には、印刷装置で印刷しようとするビデオの画像は、動き解析や、フォーカス、スローモーションブラー(slow motion blur)といったビデオの他の特性に基づいて選択される。例えば、選択キーフレームにおいて起こる動きの局所最小値の決定は、カメラマンがシーンの中の興味ある場所で停止（ポーズ）したり、重要性を強調するために人物がジェスチャーを休止したりして選択キーフレームが興味の対象である場合の良い推定である。
【００６４】
＜動きの選択されたトランジション＞
図１３は、第１ビデオセグメント９０１及びその後第２ビデオセグメント９０２を表示する表示装置９００を示す。最初に表示されたビデオセグメント９０１は表示装置９００の右下角で発生する動きを有している。この動きは表示装置９００の右下角に動きベクトルの第１セット９０３で示されている。表示装置９００に表示された第２ビデオセグメントに対する動きベクトルの第２セット９０４は、第１及び第２のビデオセグメント９０１及び９０２の間で表示装置９００の右下角から表示装置９００の左側へ変化した動きを示している。
【００６５】
従って、第１及び第２のビデオセグメント９０１及び９０２が連続して表示される場合には、トランジションの発生が必要である。好ましい実施形態によれば、トランジション形式は表示されるビデオセグメントにおける動きの場所及び量によって選択される。第１ビデオセグメントと第２ビデオセグメントの間のトランジション形式は垂直又は水平及び／又は斜めのワイプ、フェード及び同様のトランジションを含む。
【００６６】
図１４に、図１３のビデオセグメントに対する水平ワイプトランジション９０５の例を示す。トランジション９０５において、第１ビデオセグメント９０１は去っていくシーンで、第２ビデオセグメント９０２は入ってくるシーンである。ビデオセグメント９０１及び９０２のぞれぞれの動きの場所から、表示装置における右から左への水平ワイプトランジションが自動的に提案（又は選択）される。右から左への水平ワイプトランジション９０５は視聴者の注意を第１ビデオセグメントで発生する動きから第２ビデオセグメントで発生する動きに効果的に移行させ、またトランジションが発生してゆっくりと表示装置９００を横切っている間視聴者の注意を維持させる。トランジション形式はビデオセグメント間で起こる（目に見える）動きの場所と量に基づき選ばれる。本発明の範囲及び本質を離れることなく、上述の例の替わりとなるいろいろな形式のトランジション及びトランジション選択に対応する動きの規則が考えられることはいうまでもない。例えば、視覚特性が大部分動きからなり、それぞれが中心的に配置されている２つのビデオセグメント（クリップ）を接続するような場合には、第２ビデオセグメントをフェードインしながら第１ビデオセグメントをフェードアウトするトランジションも可能である。
【００６７】
＜カラーコンテント＞
好適な実施形態による、画像のコンテントに基づく別の自動編集プロセスは色選択である。例えば、もしユーザがそうしたければ、ビデオ制作物のオープニングタイトルの色を、ビデオセグメントの導入部分もしくはビデオ全体関する統計的カラーコンテント情報に基づいて選択することができる。タイトルの色は、例えば補色の集合(complementary set of colors)又は補足色の集合(supplementary set of colors)から選択することができる。補色の集合又は補足色の集合はビデオから得られる複数の色として選択されることが好ましい。
【００６８】
図１５には、画像１６００と、その上に重ねられた”ＴＩＴＬＥ”という文字１６０１が示されている。画像１６００は印刷画像、表示装置に表示された静止画又は処理されて表示装置に表示されたビデオの所定部分を表してよい。
【００６９】
図１５にはまた、文字１６０１に対するカラーパレットを提供するのに用いられる、補色の集合１６０２および補足色の集合１６０３が示されている。補色１６０２及び／又は補足色１６０３は画像１６００のカラーコンテントに基づき選択される。画像の優勢色を決定する既知の技術としては例えば、簡単なケースにおいては画像の所定領域に渡る色平均で優勢色を決定することができる。
【００７０】
図１６には、画像のカラーコンテントが興味の対象或いはそうでない、種々の部分４０１〜４０５を有する表示装置４００が示されている。例えば、もしグラフィカルな要素が文書のヘッダやフッタに類似した使われ方をするのであれば、４０１及び４０２で示される領域からカラーコンテント情報が抽出される。同様に、文字情報（或いはグラフィカルな要素）が画像の左の部分４０３又は右の部分４０４で表示されるのであれば、これらの対応するそれぞれの部分４０３及び４０４からカラーコンテント情報を抽出することが好ましい。
【００７１】
また、文字情報が中央に配置される場合は、画像の中央部４０５からカラーコンテント情報が抽出される。本発明の好適な実施形態において、カラーコンテント情報はまた、前述したビデオセグメント間のトランジションタイプの選択をガイドするためにも使用される。動き及び／又はカラーコンテント情報はビデオセグメント間のトランジションタイプ選択に用いることができる。カラーコンテント情報をトランジションタイプの選択に用いる一つの例として、第１ビデオセグメントの平均カラーコンテント又はその代わりとしての輝度コンテントが、続くビデオセグメントの平均カラーコンテントと実質的に類似となるディゾルブトランジションを、第１ビデオセグメントとそれに続くビデオセグメント間のトランジションに選択する場合がある。
【００７２】
本発明の好適な実施形態はまた、図１７に示されるコンピュータシステム１７００の様な、通常の汎用コンピュータで実施されることが好ましい。この場合、図２〜図６を用いて説明したプロセスは、コンピュータシステム１７００で実行されるソフトウェアとして組み込まれる。コンピュータシステム１７００はコンピュータモジュール１７０１、入力装置１７０２、１７０３及び表示装置１７０４を有している。コンピュータモジュール１７０１は少なくとも１つのプロセッサユニット１７０５と、一般的に半導体ランダムアクセスメモリ（ＲＡＭ）及びリードオンリーメモリ（ＲＯＭ）からなるメモリユニット１７０６と、ビデオインタフェース１７０７、キーボード及びマウス（又はジョイスティック）インタフェース１７０８を含む入力／出力（Ｉ／Ｏ）インタフェースを有する。
【００７３】
記憶装置１７０９は、フロッピーディスク、ハードディスクドライブ、ＣＤ−ＲＯＭドライブ又は同分野で知られた類似の不揮発性記憶装置の１つ又はそれ以上の装置を含むことができる。コンピュータ１７０１の構成要素１７０５から１７０９は、相互接続バス及び電算システム１７００の通常の動作の結果として得られる、関係分野で知られた方法に乗っ取って通信を行う。実施形態を実行することのできるコンピュータの具体例としては、ＩＢＭ−ＰＣ及びその互換機、サン社のスパークステーション又はそれらが進化した類似のコンピュータシステムが含まれる。
【００７４】
＜拡張収集装置＞
図１８は、拡張収集装置２１００のブロック図である。拡張収集装置２１００は、情報収集装置の一例としての構成として、コンテント収集部２１０１、処理部２１０４、メモリ記憶部２１０３、ユーザーインタフェース部２１０５、読み出し専用メモリ（ＲＯＭ）２１０８、通信ポート２１０６及び出力インタフェース２１０２を有する。
【００７５】
拡張収集（キャプチャ）装置２１００の所定の用途に応じて、通信ポートを除去し、記憶部２１０３をＰＣＭＣＩＡ、バブルメモリ、フロッピーディスク又は任意の可搬型記憶装置に置き換えても良い。
【００７６】
生成（或いは収集）された出力情報は、出力インタフェース２１０２を介して外部装置へ伝達され、収集コンテントを表すことができる。収集コンテント情報は外部装置の入力信号として使うことができる。例えば、外部装置としてはアナログ又はディジタルビデオレコード、光ディスクドライブ、音声録音装置、画像記録装置、プリンタ装置又は汎用コンピュータ（いくつか名前を挙げれば、ＩＢＭ互換ＰＣ、アップル互換ＰＣ、サン ワークステーション）といったコンテント記録装置を含む。収集コンテント情報はコンテントデータを含み、好ましくはコンテントデータに関連するメタデータをも含む。コンテントデータの例としては、ビデオカメラ装置で収集された画像データであり、関連するメタデータとしては日付、時間、カメラセッティング及び画像を撮った場所などの情報を含むことができる。
【００７７】
コンテント収集部（ＣＣＵ）２１０１は好ましくはそれぞれが所定形式のコンテント情報を受信（収集又は寄せ集める）ことが可能な、複数のコンテントセンサを有する。このようなセンサの例としては、音声（コンテント）データ受信用のマイクロフォン、画像データ収集用の電荷結合素子（ＣＣＤ）、収集する画像データに関連するライティングコンディション（メタデータ）を決定及び収集するための光センサを含む。ＣＣＵ２１０１は更に種々のコンテントセンサやビデオカメラの現在のズームファクタと言った関連するハードウエアの現状に関する知覚データを収集する要素（変換器）を有することが好ましい。この付加情報は処理部２１０４での使用に特に有効であり、収集コンテント情報のメタデータの一部としてエンコードすることができる。
【００７８】
ユーザはユーザインタフェース部２１０５を通して利用可能にしてある複数のオプショナルテンプレートから少なくとも１つを選択する。ユーザは選択ボタン列（図示せず）を通して拡張収集装置２１００をコントロールし、所望のテンプレートを選択する。処理部２１０４はメモリ記憶部２１０３及び／又はＲＯＭ２１０８と通信しながら、ユーザインタフェース部２１０５を介して拡張収集装置２１００で現在有効な種々のオプショナルテンプレートを提供する。
【００７９】
各テンプレートは一般に、所定のプログラム言語で記述されることが可能なテンプレートインストラクションの列から構成されている。例えば、そのプログラム言語があるアプリケーションに特有の物で、拡張収集装置２１００が専有しても良いし、Ｊａｖａ（サン・マイクロシステムズ社の登録商標）等の汎用プログラム言語によるインプリメンテーションであっても良い。テンプレートインストラクションは通信ポート２１０６を介して汎用コンピュータシステム２１０７から拡張収集装置２１００へアップロードされ、メモリ記憶部２１０３に記憶される。
【００８０】
また、一般にコンピュータゲームに使用されているカートリッジシステム及び／又はフラッシュカードをテンプレート保存に使用し、拡張収集装置２１００へテンプレートをアップロードするプラグインデバイスとして使用することもできる。好ましくは、テンプレートインストラクション列の一部、特にいくつかのテンプレートに共通なインストラクションを読み出し専用メモリ２１０８に記憶し、メモリ記憶部２１０３に必要な（ＲＡＭ）メモリの容量を削減する要にすることが好ましい。このようにして、テンプレートインストラクションは処理部２１０４の実行時計算に使用することが可能になる。図１８に示した汎用コンピュータシステム２１０７はコンテント情報をダウンロードする際に出力インタフェース２１０２とインタフェースする前述の外部装置としても使用されることが好ましい。
【００８１】
ユーザインタフェース部２１０５は例えば液晶ディスプレイ（ＬＣＤ）及びコントロールボタンの列を有し、ユーザへ（メッセージ）情報を伝達し、同様にそれらのメッセージに対応するユーザ入力の収集に使用される。
【００８２】
処理部２１０４はテンプレートインストラクションを解釈し、ユーザに有効なメニューの選択のためのいろいろな選択肢を表示及びユーザからのメニューへの応答を解釈しながら、コンテント情報の内容解析を含むオプションを提供する。
【００８３】
ユーザによって選択される選択肢は、ＣＣＵ２１０１の現状、ユーザプリファレンス設定及び／又は拡張収集装置２１００で使用されようとしている現在のテンプレートの項目に影響又は変更を及ぼす。これらタスクのいくつかは、テンプレートが有効なコンテント情報から最良の決定をし、それによってＣＣＵ２１０１を修正するように完全に自動化されることが好ましい。例えば、以下に説明する拡張収集装置の第１実施形態において、所定の状況に基づいて、ランドスケープ表示の画像の上にポートレート表示の画像を配置が希望されているので、必要ならポートレートの画像から端を切り取るという判断にテンプレートを用いても良い。
【００８４】
図２８は収集情報の拡張操作全体を示すフローチャートである。プロセスはステップ２１１００で開始する。ステップ２１１０２において、少なくとも１つのテンプレートが拡張収集装置にアップロードされる。ステップ２１１０４において、拡張収集装置において少なくとも１つの形式のコンテント情報が受信される。ステップ２１１０６ではアップロードされたテンプレートのテンプレートインストラクションが実行され、受信したコンテント情報に基づくインストラクション構成物が生成される。ステップ２１１０８ではコンテント情報の構成要素がインストラクション構成物に従って拡張される。そしてステップ２１１１０で処理が終了する。拡張されたコンテント情報を記憶手段への記憶に関するを更に含むことが好ましく、また記憶されたコンテント情報が外部装置へダウンロードされるようにしても良い。
【００８５】
＜第１の拡張収集装置＞
以下、拡張キャプチャ（収集）装置２１００が内蔵されるか、拡張システムの一部を形成しているデジタルスチルカメラを例にして、第１の拡張収集装置について説明する。本実施形態においてコンテント収集部２１０１はこの種のカメラの一般的構成と同じく光学レンズシステム及びＣＣＤを有し、この他に測距センサ、光強度測定装置、フォーカス検出装置及び位置検出装置（例えばグローバルポジショニングシステム：ＧＰＳ）を含むことができる。これらのセンサ及び装置はイメージデータ及び撮影場所などのメタデータを収集する。ディジタルスチルカメラのユーザインタフェース部２１０５は液晶ディスプレイ（ＬＣＤ）であり、好ましくはユーザーインタフェース部２１０５はデータ入力装置（例えば、ボタン）を含む。通信ポート２１０６は１つかそれ以上の必要なテンプレートを汎用コンピュータ２１０７からアップロードし、メモリ記憶部２１０３に記憶するために用いられる。
【００８６】
図１９はデジタルスチルカメラによって被写体２２０１の写真を撮っている状態を示す模式図である。デジタルスチルカメラ２２０２はその一部に、記録される画像が表示されるＬＣＤ２２０３を有する。ユーザは記録する画像をシャッターボタン２２０６の押下によって選択するか、モードテンプレートボタン２２０４の押下によってテンプレートモードの入力を行うことができる。ユーザは２度目にモードテンプレートボタン２２０４を押下することによってテンプレートモードから出ることができる。
【００８７】
図２０に示すように、テンプレートボタン２２０４を押下するとＬＣＤ２２０３に使用可能なテンプレート２３０１のリストが表示される。本実施形態においては、テンプレートはランドスケープテンプレート、パンショットテンプレート及びポートレートテンプレートを含み、前述のように前もってアップロードされている。セレクタボタン２２０５は、有効な選択肢の間をナビゲートし、希望のテンプレートを選択するのに使用される。ＬＣＤ２２０３に表示された選択アロー２３０２は現在のテンプレートモード選択を示す。
【００８８】
テンプレートの選択、たとえばポートレートテンプレートの選択がなされると、ＬＣＤに表示された画像が処理部２１０４で解析される。解析結果はテンプレートがユーザをガイドするのに使用する。本実施形態において、被写体２２０１が中心に位置し、かつ表示装置の可視領域（すなわち、記録される画像）の少なくとも所定パーセンテージを占めるような最良の結果を得るためにはポートレートテンプレートが必要である。
【００８９】
図２１はポートレートテンプレートが選択された後のＬＣＤ２２０３を示す図である。ポジショニングインジケータ２４０１、ラインアップマーカ２４０４及びセンターマーカ２４０５を含むいろいろな要素が液晶表示装置２２０３に現れる。これらの要素はユーザがシャッターボタン２２０６を押すことによって画像の記録を取ろうとした場合に、写真（または記録された画像）の上に現れない。ポジショニングインジケータ２４０１、ラインアップマーカ２４０４およびセンターマーカ２４０５の現況の詳細が生成され、後の使用または評価のために、対応する画像に関連するメタデータとして含まれることが好ましい。例えば、ユーザが関連するマーカ２４０４，２４０５及び／またはポジショニングインジケータ２４０１を正しく整列しておらず、コンテント収集ユニットが希望するよりも大きなビューの画像収集が可能である場合、マーカ２４０４，２４０５及びポジショニングインジケータ２４０１の情報に関する、メタデータの情報部分を画像のより好ましい印刷範囲の評価に用いることができる。そして所定の印刷範囲に合わせて画像の端を切り落としてもよい。
【００９０】
好ましくは、画像及び対応するメタデータは、必要なら所定の印刷範囲に切り揃えて出力装置（例えば印刷装置）に出力する前にまず画像編集に使用される汎用コンピュータにダウンロードされる。
【００９１】
ポジショニングインジケータ２４０１はインジケータ上のペリフェラルアロー２４０２を点滅させてユーザに異なる方位、例えばカメラ２２０２の垂直方位の使用を、アドバイスしてもよい。ポジショニングインジケータはその他にもズームのアドバイスをユーザに行う。ズームインアロー２４０３は画像の被写体２２０１のズームインが望ましいことを示す。従って、ズームアウトが望ましいことを示すためにズームアウトアロー２４０６を点滅させてもよい。その代わりに、被写体２２０１かカメラ２２０２を共に近づけるか遠ざけて、ズームインやズームアウトとそれぞれ実質的に同等の効果を達成してもよい。
【００９２】
センターマーカ２４０５及びラインアップマーカ２４０４は、画像のコンテント情報の分析及び画像上の被写体２２０１のおおよその位置を実質的に検出することが可能な拡張キャプチャ装置２１００を有する第１の拡張収集装置のバリエーションを提供するために設けられている。
【００９３】
画像の被写体２２０１の大まかな位置検出にコンテント情報の解析を行う必要はなく、他の方法によって行うことができる。例えば、ユーザが画像のどの部分を見ているのかを、観察される画像に関するユーザの瞳孔の相対位置から検出し、画像中の被写体位置決定を行うことができる。
【００９４】
第１の拡張収集装置のこのバリエーションにおいて、センターマーカ２４０５は可視領域の中心に、ラインアップマーカ２４０４は検出された被写体の中心に配置される。ラインアップマーカは被写体に追従しようとするので、ユーザはカメラを動かすことによりラインアップマーカ２４０４とセンターマーカ２４０５が並ぶように操作することができる。
【００９５】
図２２に示されるように、ユーザはペリフェラルアロー２４０２の点滅が止み、正しい方向を表すようにカメラ２２０２を希望する垂直方向に回すことが好ましい。この段階では、図２２に示すように、マーカ２４０４と２４０５を整列させる必要はなく、被写体２２０１は画像の所定部分を占めておらず、またズームインアロー２４０３が依然としてズームインが望まれることを示している。
【００９６】
図２３は、ユーザが正しく画像の被写体２２０１を中心に配置し、ズームインを行ない、ポジションインジケータの全てのアローが消え、好ましくは整列のインジケータ２６０２がＬＣＤ２２０３に表示された結果を示す。ズームや方向付けに関する他のいかなる望ましい変更も表示しないが、ポジションインジケータは選択されたテンプレートに従って画像（写真）の構成要素がズーム及び方位について正しいのか、また現在の画像（写真）が記録に推奨されるかについての示唆に富む。そして、ユーザはシャッターボタン２２０６をアクティベートして画像を記録する。
【００９７】
図２４は、画像の被写体が１つより多い要素から構成されている場合の、ポートレートテンプレートモードにおけるデジタルスチルカメラ操作例を示す。テンプレートは画像の視覚領域に対する構成物の最良なはめ込みを最適化しようとする。好ましくは、構成要素を含む領域ボックスの幾何学的中心は整列マーカ２７０２の場所として使用され、また画像の可視領域（すなわち、可視表示領域２２０３）の幾何学的中心はセンターマーカ２７０１として使用される。さらに、構成要素の一つが部分的に可視表示領域２２０３の外に出ているので、ポジションインジケータがズームアウトアロー２４０６を点灯させてズームアウトが望ましいことを表示する。
【００９８】
実質的に類似の説明が、一般に風景写真に使用されるランドスケープテンプレート及びパノラマ写真に用いられるパンショットテンプレートについても適用される。簡潔で明快な説明のために、テンプレートはオリエンテーション、ズーム等、少ない数の機能を提供するものとして説明されてきたが、テンプレートはユーザにアドバイスを行うこともできる。しかしながら、テンプレートはこれらに限定される物ではない。例えば、１つかそれ以上のテンプレートは、写真に対する望ましいライティング、写真スタジオタイプ設定におけるライティングの最良アングル及び写真の構図を向上するためのカメラフォーカスのアドバイスを含む機能についてユーザにアドバイスを提供するようにしても良い。カメラフォーカスのアドバイスは、バックグラウンドフォーカスとフォアグラウンドフォーカスを達成するカメラセッティングを提案する方法で行うことができる。
【００９９】
テンプレートが有効なコンテント情報からユーザに与えようとするアドバイスは、当業者が通常なし得るアドバイスであってもよい。例えば、一般に高品質の写真や予め定めた形式の写真を制作することに不慣れなアマチュア写真家へのガイダンスを提供するためのアドバイスであって、好ましい方位付け、最良のズーム及び被写体の配置のアドバイスなどを挙げることができる。
【０１００】
前述したとおり、テンプレートはプログラミング言語を使用してコードにインプリメントされる。後述する添付Ａにポートレートテンプレートの疑似コードが含まれている。疑似コードのメインルーチンはデジタルスチルカメラの起動中に動作し、有効なテンプレート機能が最適かどうかを検出するために使用される種々のコンディションをチェックするため、ビューファインダー（ＬＣＤ２２０３）の画像を解析する。
【０１０１】
ユーザがテンプレートモード選択ボタン２２０４を押すと、有効なテンプレートが表示される。ユーザは希望するテンプレートを選択ボタン２２０５により選択することができ、そしてテンプレート選択モードを終了する。選択を行う際、補足Ａに含まれる疑似コードで表されるようなソフトウェアルーチンがビューファインダーの画像のズーム及びオリエンテーションに必要な種々のコンディションのチェックを行う。
【０１０２】
SetUpForTemplateサブルーチンは画像が整列されているときに真の論理値を返し、メインプログラムのVoidMain()が画像（ピクチャ）が整列されているというフラグを立てる。
【０１０３】
前述したように、メタデータのような付加情報を記録し、画像に対応付けすることができる。この付加情報の例としては、日付、時間、使用されたズーム、シャッタースピード、絞り、静止画が人物のポートレートであるか、画像の中の人物の数、検出された全てのそれぞれの顔の中心はもちろん、検出された全ての顔の幾何学中心をも含む。
【０１０４】
＜第２の拡張収集装置＞
以下に述べるように、第２の拡張収集装置は拡張収集（キャプチャ）システム２１０４がビデオカメラの一部を構成することを除き、第１の拡張収集装置と同一である。テンプレートはビデオクリップのズーム、パン、合成及び演出（映画演出に関して）のアドバイスを提供できるように供給される。例えば、ビデオカメラへのアップロードのための、複数のアップロード可能なテンプレートをユーザに提供することができる。このテンプレートには結婚式シーンの演出用、不動産業者の住宅販売プロモーションクリップ用、田舎の休日風景用（ビデオに録画することが推薦される世界の風景や名所の提案を含んでもよい）テンプレートを含む。
【０１０５】
具体的には、ユーザが休暇にエジプトへ拡張収集システム２１０４を有するビデオカメラを持って出かけてもよい。ユーザがエジプトにいる間に撮影されるビデオ録画の要素を拡張するため、北アフリカの好ましい風景のテンプレートを拡張収集装置２１０４にアップロードすることができる。ここで説明される他の機能の実行以外に、テンプレートが更に、録画する価値において推薦される風景や名所（例えば、ピラミッド）の提案を行っても良い。
【０１０６】
更に別の例として、結婚式のシーンを演出するためのアップロード可能なテンプレート（以下、ウエディングテンプレートとする）のために作成されたリファレンスがある。親戚の結婚式のビデオ記録を作りたいと希望するユーザは、汎用コンピュータにウエディングテンプレートを呼び出して、それを拡張収集システム２１０４を有するビデオカメラに通信ポート２１０６を介してアップロードする。ウエディングテンプレートは（コンパイルされた）コードとしてメモり記憶手段２１０３に記憶される。一方、アップロード可能なテンプレートに対する一般的な機能は前もって、例えばビデオカメラ−拡張収集装置の製造者によってＲＯＭ２１０８に記憶されている。一般機能には、有効な最小及び最大ズーム設定、可能な絞り設定及び大半のビデオカメラ用テンプレートに共通と思われる他の機能を含む。
【０１０７】
ユーザがビデオレコーダーを用いてウエディングシーンを記録し始めると、ウエディングテンプレートが起動され、専門家のビデオ記録に応じたビデオクリップを制作するために録画しなくてはいけない人のショットについてのアドバイスをユーザに与える。例えば、ユーザは希望するウエディングシーンの要素を提供するショットとともに、好ましくは時系列的に、注意を促される。すなわち、花婿が教会に入ってくるショット、花婿が祭壇に立っているショット、花嫁が車から出て教会の階段を進むショット、花嫁が教会の通路を歩くショットなどを撮影するように促される。
【０１０８】
さらに、ユーザはズーミング、パニング、ライティング及び音声といったビデオ技術に関してもアドバイスされる。例えば、花嫁が教会の通路を歩いているショットを撮影している時、もしユーザが被写体を早くズームしすぎていれば、ビデオカメラのビューファインダに”速度を落とせ”というインジケータが点灯し、逆にズームが遅すぎればズームのスピードを上げるよう同様に知らされる。
【０１０９】
好ましくは、ビューファインダー（ＬＣＤ）に表示可能なメニュー駆動型コマンド列を通して、今撮影している場所や部分をユーザーが指示する。ユーザはこれから撮影する、或いは今まで撮影していた部分に印を付ける（選択する）。例えば、ウエディングテンプレートにおいて、ユーザには花嫁が通路を歩いているとき、通路部分を含む、撮影することが推奨される多くの場所や部分の表示が与えられ、ユーザは関連するシーンの撮影前或いは撮影後に通路部分に印を付ける。場所に印を付けたことに関係したデータはメタデータとしてビデオクリップの対応する部分に記録される。例えば、花嫁が教会の通路を歩いている場所であるウエディングシーンの部分（場所）という情報は、メタデータの一部としてウエディングシーンに記録される。録画されたウエディングシーンの編集、好ましくはビデオクリップ編集に適応されたコンピュータのような外部装置による編集において、ウエディングシーンに関連したメタデータはウエディングシーンのいろいろな部分を見分けるために使用される。
【０１１０】
＜第３の拡張収集装置＞
第３の拡張収集装置は拡張収集装置を有する音声ミキシングデスクを参照して説明する。音声ミキシングデスクは音楽コンテントを複数のチャネルから収集し、個々のチャネル及び／又はチャネルグループに対して様々な効果やフィルタを適用し、これらのチャネルを１つかそれ以上の出力チャネルに結合するのに一般的に使用される。出力チャネルはその後聴衆のために録音され、またはアンプの駆動に用いられる。
【０１１１】
簡単のためにもう一度、単純な２チャンネルインターフェース音声ミキシングデスクを説明する。ミキシングデスクは、コントロールの表示、フィルタ、アナライザ、エフェクトユニット及び類似の補助ハードウェアを用いたコンテント解析、ユーザフィードバックの提供及びフィルタ及びエフェクトユニットへのコントロール信号の送信のためのコンピュータによって実現される。
【０１１２】
図２５は、音声ミキシングデスクシステム２８００を示す。音声ミキシングデスクシステム２８００は、音声変換器の様な複数のコンテント収集センサ２８０１と、複数チャネルをサポートできる拡張収集装置２８０２と、汎用コンピュータシステム２８０４と、複数のエフェクトユニット、フィルタバンク及びアナライザ２８１０と、少なくとも１つの出力ポート２８１１を有する出力増幅器２８０９と、コンパクトディスクＣＤプレーヤ、オープンリール及び／又はカセット形式のテープユニットを含む再生装置２８１２を有している。
【０１１３】
センサ２８０１及び他の周辺機器２８１２で収集された情報は、選択されたテンプレートに従って収集情報を処理する拡張収集装置２８０２へ送られる。所望のテンプレートコレクションは（総括的な）データリンク２８０５によって、拡張収集装置２８０２のへアップロードされ、装置２８０２のメモリ記憶部に記憶される。コンテント収集センサの形式は実施毎に変わり得るが、拡張収集装置２８０２は図１８と実質的に同じ構成を有する。本実施形態においては、図１８におけるユーザインタフェース部を取り除き、替わりに外部表示装置２８１３、キーボート２８１４及びマウス装置２８１６を設けることが好ましい。
【０１１４】
センサ２８０１及び他の周辺機器２８１２で収集された情報はコンテント情報の一部を形成する。コンテント情報は好ましくは時間、日付、録音期間の長さ、音楽のスタイル及びトラックのタイトルといったメタデータを含む。これらのメタデータは選択されたテンプレートによってコンテント情報に追加されても良い。複数のテンプレートが拡張収集装置２８０２へアップロードされるが、表示装置２８１３に表示されるマウス及び／又はキーボード装置駆動型のメニューの操作によってユーザが選択できるテンプレートは１つである。収集された情報は拡張収集装置２８０２と複数のエフェクトユニット、フィルタバンク及びアナライザ２８１０との間の通信リンク２８０３を介して出力増幅器２８０９及び出力ポート２８１１へ送られ、使用される。コンテント情報は総括的リンク２８０５を通してコンピュータ２８０４へ送られ、コンテント情報に関するデータがユーザのために表示装置２８１３上に表示される。コンテント情報は更に表示すべきデータを抽出する中央処理装置で解析されることが好ましい。あるいは、コンテント情報は拡張収集装置で解析され、関連する表示データのみがリンク２８０５を介してコンピュータ２８０４へ伝送される。
【０１１５】
ユーザは入力装置２８０６及び２８１４を操作して様々な設定をその場で変更することができる。種々の設定は、両方向リンク２８０７を介して、２８１１の情報出力への所望の変更を生成するようためにエフェクト及びフィルタのパラメータを変更するように設計された出力増幅器２８０９及び複数のエフェクトユニット、フィルタバンク及びアナライザ２８１０へコントロール信号として伝送される。双方向リンク２８０７は複数のエフェクトユニット、フィルタバンク、アナライザ２８１０、出力増幅器２８０９及び再生装置２８１２を含む多数の装置が生成した信号及び、必要なら様々な再生装置２８１２の現在のステータス及び／又は再生コンテント情報信号をも伝送することが好ましい。
【０１１６】
ユーザはプリファレンス及びデフォルト設定をコンピュータシステム２８０４を通して変更することができる。デフォルト設定は一般に音声ミキシングデスクに接続された構成要素の種類及び／又は組み合わせによって規定される。具体的には、変換器又は再生装置の異なる選択が異なるデフォルト設定に必要とされる。プリファレンス設定は一般に音声ミキシングシステムをユーザの好みの設定にカスタマイズする方法を提供する。プリファレンス及びデフォルト設定は通常コンピュータシステム２８０４の一部である不揮発性メモリに記憶される。
【０１１７】
バンドミックステンプレートを例として、アップロード可能なテンプレートの例を以下に説明する。バンドミックステンプレートは音声ミキシングシステムのユーザに対し、ストリングカルテット、ロックンロールバンド、ヘビーメタルバンド及びクラシックオーケストラ等のバンドスタイルを含む音楽バンドの音声ミキシング（希望があれば録音についても）に関連したアドバイスを提供する。バンドミックステンプレートの選択（及び実行）において、ユーザはバンドの音楽スタイル、場所の大きさ（すなわち、小ホール、野外、スタジオ等）の印付け（選択）を促される。好ましくはユーザは更にどのチャネル（又は対応するセンサ）が楽器の情報（音声信号）の収集に使用されるか及びどのセンサがボーカル用であるのかの指定を促される。そして、バンドミックステンプレートは各チャネルで使用可能なマイクロフォン（センサ）の最良な配置を提供する推奨リストを生成する。
【０１１８】
さらに、ユーザはテストラン（ドライラン）を選択することができる。テストランにおいて、バンドミックステンプレートはコンテント情報を解析してどのセンサが離れた周囲の物体の反響を拾っているかのアドバイス及び解決方法（例えば、マイクロフォンの再割り当て又はセンサの再配置）の推薦もしくは使用可能なエフェクト及びフィルタによる歪みの電気的な補償を試みることもできる。同様に、バンドがドライランを正しい順序で演奏した場合には、音声レベル設定が決定でき、結果として得られるインそうのガイドとして使用することができる。
【０１１９】
センサ２８０１で収集されたデータ（情報）について、拡張収集装置２８０２はコンテント情報の抽出を行い、このコンテント情報をコンピュータ２８０４へ供給する。好ましくは、得られたコンテント情報からコンピュータ２８０４が各チャンネルのセンサに対する、フィルタ（グラフィックイコライゼーション）の調整を行うための補償制御信号を各チャネルに送信する。コンピュータ２８０４はまた、テンプレートの音楽スタイルに適合するように、エフェクトを調整しかつ各チャネルのフィルターをも微調整する制御信号を、バンドの全ての楽器へ送信する。
【０１２０】
例えば、ユーザはボーカルチャネルに高ディストーションレベルを有するヘビーメタル音楽テンプレートを選択することができる。トップエンド周波数域の増強（ブースト）がミキシングデスクのユーザに推奨され、好ましくはこれらの機能はユーザが別の物を希望しない限り自動的に採用される。
【０１２１】
しかしながら、もしユーザがクラシック音楽テンプレートを選択した場合には、全てのチャネルは音声レベル設定ができる限り平坦になるようにバイアスされる。すなわち、楽器の原音にできるだけ近い音が再生されるよう、エフェクトユニット及び／又はフィルタバンクを通じた一切の（特殊な）エフェクトをチャネルに加えない。
【０１２２】
前述したように、テンプレートは技術分野の当業者が通常行うようなアドバイスをユーザに提供する。本実施形態において、技術分野は音声ミキシングの分野であり、例えばエコー、反響、残響、テンポに関するアドバイスは少なくともサウンドエンジニアが録音及びミキシングの際に行うであろうアドバイスの少なくともいくつかの要点である。
【０１２３】
第２の拡張収集装置に関連して若干説明したに過ぎないが、上述の各装置に適用可能なテンプレートの好ましい任意付加機能としては、予め定めたイベント又はアクションに関してユーザが印付け（選択）可能なイベント又はアクションのチェックリストの提供がある。具体的には、上述のデジタルスチルカメラの例において、予め定めたショットのチェックリストがユーザーインタフェースを介して供給される。ユーザがショット（写真）を撮る前（又は後）、ユーザはチェックリストから対応する所定のショットにチェックマークを付ける。
【０１２４】
例えば、デジタルスチルカメラには誕生パーティチェックリストを含む誕生パーティテンプレートがアップロードされているとする。チェックリストはユーザインタフェース上に表示され、例えばチェックリストは以下の様な項目を含むことができる。
・誕生パーティゲームショット
・ろうそくを吹き消すショット
・誕生日を迎えた人のために乾杯をしているショット
【０１２５】
ユーザが誕生パーティの写真を撮り、もし撮影した写真がチェックリストに記載されたショットと一致した場合には、ユーザはチェックリストに記載され、撮影が済んだ所定の写真にチェックマークを付ける（又は選択する）ことができる。チェックリストから選択したショットにチェックマークを付けることによって、メタデータが生成され、写真（又は画像）に関連づけされる。このメタデータ情報は例えば誕生パーティのアルバムを構成するために写真（又は画像）が汎用コンピュータにダウンロードされる場合に利用することができる。
【０１２６】
写真のアルバムを構成する際、どの写真が良い構成を形成するかの決定においてユーザをアシストすることができるテンプレートのそれぞれについて、複数のチェックリストを提供することができる。
【０１２７】
サウンドミキシングデスクの例において、音楽に対する実質的に類似のチェックリストを提供することができる。すなわち、ユーザがリストに記載されたイベント（例えば、音楽的な断片（musical piece)やミキシング特性）が演奏される毎にチェックリストにチェックマークを付ける。さらに、対応するメタデータが生成され、イベントに関連づけされる。対応するメタデータは、イベントの単純な識別子でも、後で行われるイベントの操作や編集に望まれるであろうイベントのもっと複雑な記述であってもよい。
【０１２８】
図２６は、ユーザインタフェースディスプレイ（例えば図１９に示したデジタルスチルカメラのビューファインダ２２０３や、前述した第２の拡張収集装置のビデオカメラのビューファインダ）に表示されたチェックリストの別の例を示す。チェックリスト２９００は第１及び／又は第２の拡張収集装置の説明において記述した拡張収集装置２１００にアップロード（ロード）されることができる不動産テンプレートに関連付けされたものである。不動産テンプレートはデジタルスチルカメラ又はビデオカメラのユーザ（一般に不動産販売員）に、合成及び／又は良いプレゼンテーションを構成するのに必要な画像についてアドバイスする。不動産テンプレートは任意の付加機能として、記録が推奨される写真（又はビデオカメラの場合はビデオクリップ）の簡単な説明を提供する説明フィールド２９０１、対応する記録された画像（写真）のそれぞれをリストから消すためのチェックリストインジケーターフィールド２９０２及び既に記録された推奨される画像を示すためのチェックリストマーカ２９０３を含む不動産チェックリスト２９００を提供することができる。
【０１２９】
チェックリストマーカ２９０３は好ましくは推奨された画像が記録されたときに、有効なユーザ入力インタフェース（例えば、ボタン）を通してユーザが加えるのが一般的である。不動産テンプレートはチェックリストの項目が消されると、メタデータを生成してチェックリストの対応する画像に関連づける。メタデータは関連づけされた対応画像の符号化された説明であることが好ましい。さらに、メタデータは時間、日付及び場所といった特性を含むことができる。
【０１３０】
図２７は、拡張収集装置２１０００から、アップロード可能なテンプレート２１００２を有するコンピュータシステム２１００１及び出力装置２１００３に続く情報の流れを示すブロック図である。複数のテンプレート２１００２が双方向通信リンク２１００５を介して、一般にテンプレートのセット２１００２を有するコンピュータシステム２１００１からアップロードされる。
【０１３１】
コンテント情報２１００６は入力装置２１０００で収集され、メタデータ２１００７は少なくとも１つのアップロードされたテンプレート２１００４によって生成される。生成されたメタデータ２１００７は、チェックリストへの応答によって決定されるコンテント情報及び／又はコンテント情報の分析によってテンプレートが決定するコンテント情報の説明と同じくらい単純でよい。生成されたメタデータ２１００７はテンプレートによってコンテント情報の対応する部分又は全てに関連づけされる。例えば、不動産テンプレートの場合、そのコンテント情報に不動産テンプレートが提案する画像の推奨リスト２９００からの画像を有するであろう。画像に対して生成される対応するメタデータは、オリエンテーション、平均色、平均輝度、支配的な色、所定のパターン、空間の統計学的分析、コンテント情報で区別される時間又は周波数ドメイン、色を含むユーザプリファレンス、情報の配置及びハードウェア要素の現在のステータス、様々な外部装置にダウンロードするための情報の所定フォーマットを含む装置固有の特徴を含む要点に基づいて作成することができる。
【０１３２】
コンテント情報及びメタデータを含む拡張収集情報は外部装置にダウンロードされる。本実施形態において、外部装置は先述したように汎用コンピュータシステム２１００１である。
【０１３３】
しかしながら、外部装置は拡張収集情報の受信専用の外部装置であってもよい。このような専用装置は、それぞれが収集情報の受信、所定のプリファレンスに従った情報の出力又は記憶の提供に適合された、プリンタ装置、表示装置（例えば、陰極管（ＣＲＴ）、液晶表示装置（ＬＣＤ））、電子複写装置及び／又は音響記録装置を含む。外部装置としては例えば最終的な出力を構成する後段において使用される拡張収集情報の記録及び記憶のためのビデオカセットテープでもよい。
【０１３４】
アップロードされたテンプレート２１００４は拡張収集情報を所定の設定に従ってフォーマットかつ配列するか、拡張収集情報を拡張収集情報がダウンロードされる外部装置の種類に応じてフォーマットすることが好ましい。
【０１３５】
拡張収集情報の処理はマイクロプロセッサのような処理装置によって読み込み及び実行が可能な、コンピュータが読むことのできる記録媒体に記録されたソフトウェアで実施されてもよい。記録媒体としては、ハードディスク及び／又はフロッピーディスクドライブ、磁気テープ、ＣＤ−ＲＯＭ、光磁気ディスク、メモリカード、読み出し専用メモリ等の磁気及び光学記憶メモリを含む。更に、ソフトウェアはネットワークシステム又はインターネットを通じてアクセス可能な別のコンピュータシステムにあっても良い。
【０１３６】
本発明の実施に使用可能な拡張収集装置の例としては、以下のデジタルビデオカムコーダ装置を含む。
ソニー ＶＸ−１０００ （ソニー株式会社製）
ソニー ＰＣ−１０ （ソニー株式会社製）
パナソニック ＮＶ−ＤＳ５ （松下電器産業株式会社製）
キャノン ＭＶ１ （キャノン株式会社製）
キャノン ＸＬ１ （キャノン株式会社製）
【０１３７】
これらの装置は記録された音声及び画像情報に関連したメタデータの限られたセットの生成を提供する。そのようなメタデータは一般に情報の基本的な識別に関連したものである。更に進んだ装置としては、
【０１３８】
コダック ＤＣ２２０，２６０ （米コダック社製）
ミノルタ Dimage EX Zoom 1500 （ミノルタ株式会社製）
を含む。これらの装置は静止画デジタルカメラであり高レベルのメタデータ、例えば図２６を用いて説明した不動産に関する実施形態に対応したメタデータを生成するであろう。
【０１３９】
以上の説明は本発明のいくつかの実施形態を説明したに過ぎないが、それらを修正及び／又は変更したものは本発明の範囲及び精神に含まれる。
【０１４０】
【図面の簡単な説明】
【図１】 本発明の好ましい実施形態に係る装置の概要を示すブロック図。
【図２】 好ましい実施形態に従って生成されたマルチメディア要素の入力スクリプトのサンプルを示す図。
【図３】 好ましい実施形態におけるビート同期処理のフローチャート。
【図４】 好ましい実施形態におけるトランジション生成処理のフローチャート。
【図５】 好ましい実施形態における編集処理の概要を示すフローチャート。
【図６】 図５の編集処理の一部をより詳細に説明するフローチャート。
【図７】 好ましい実施形態におけるマルチメディア要素間におけるビート同期処理の例を示す図。
【図８】 好ましい実施形態における音声レベル編集例を示す図。
【図９】 画像要素の一部を構成するズームシーケンスの例を示す図。
【図１０】 画像要素の一部を構成するパンシーケンスの例を示す図。
【図１１】 図１０のパンシーケンスをつぎあわせから得られる画像を示す図。
【図１２】 図９におけるズームシーケンスの要素から得られた代表的静止画を示す図。
【図１３】 表示装置に表示されたときの動きを示す２つのビデオシーケンスの動きベクトルを示す図。
【図１４】 ビデオシーケンス（セグメント）間のトランジション例を示す図。
【図１５】 好ましい実施形態に従って選択された色を有するオーバレイ画像”ＴＩＴＬＥ”と、画像の例を示す図。
【図１６】 画像から色コンテント情報を抽出するための適当な対象領域の例を示す図。
【図１７】 好ましい実施形態の実行に使用されるコンピュータシステムを示すブロック図。
【図１８】 拡張収集装置の概要を示すブロック図。
【図１９】 図１８の拡張収集装置を有するデジタルスチルカメラを示す図。
【図２０】 図１９のデジタルスチルカメラのテンプレートセクションモードを示す図。
【図２１】 図１９のデジタルスチルカメラの特徴を構成するオリエンテーションガイダンス及び整列を示す図。
【図２２】 図１９のデジタルカメラの他の特徴を構成するズームガイダンスを示す図。
【図２３】 拡張画像構成の例を示す図。
【図２４】 画像に一人より多い人間がいる場合のポートレートにおけるビューファインダの表示例を示す図。
【図２５】 他の実施形態に係る拡張収集装置を示すブロック図。
【図２６】 テンプレートに関連づけされたチェックリストの例を示す図。
【図２７】 拡張収集装置における情報の流れを示すブロック図。
【図２８】 収集された情報の拡張処理を示すフローチャート。
【発明が属する技術分野】
本発明は全体としてマルチメディア編集に関し、特に構成要素のコンテント情報を製品構築におけるガイドに用いるマルチメディア製品の創作方法に関する。
【０００２】
【従来の技術】
静止画、文字、ビデオ、音及び他のマルチメディア要素をまとめて一つの製品にするのは、多様な領域における膨大な知識を必要とする複雑な作業である。多種の要素をまとめて一つの最終制作物にするということは、ビデオ編集において既に十分確立した領域である。ビデオ制作物においてしばしば用いられる要素の種類は画像、音声及び文字である。画像要素はビデオ、静止画及びアニメーション等を含む。音声要素は背景音、音声効果、コメント及びビデオクリップの録音音声等を含む。文字要素はタイトル、クレジット及びサブタイトル等を含む。
【０００３】
これらの要素は変更したり、効果を付けたりすることのできるいろいろな特性を有している。そして、要素は最終制作物を形成するために多くの異なった方法で結合することができ、それぞれの結合において行わねばならない選択に関する多くの知識が存在する。
【０００４】
長年、このような制作はテレビ局や大規模な制作会社でのみ可能だった。家庭用ビデオカメラ、パーソナルコンピュータ、安価なビデオキャプチャカード及びビデオ編集ソフトウェアの出現によって、現在では多くの人々が自分のビデオ制作物を創作することが可能となっている。
【０００５】
しかしながら、よい選択を行うのに必要な知識は、制作物の創作者から教わらなければならない。２つか３つの単純な制作物を作りたいと考えている多くの人にとって、学習曲線は非常に急なものであり、結果として知識を用いた判断が行われないことによる低品質の制作物が創作されている。デジタル化された静止画と音楽、静止画と文字、ビデオ素材単独または音楽素材単独から構成される制作物を創作しようとした場合にも、同様の問題が起こる。
【０００６】
よって、ユーザーに対して補助や指導を提供するガイド付きの制作物創作のための装置、システム及び／又は方法に対する必要性が存在する。
【０００７】
【課題を解決するための手段】
本発明の第１の要旨は、コンピュータによって実行される、ユーザによる、知覚的認識のための動的制作物の創作方法であって、制作物がユーザが理解できる少なくとも１つの音声要素及び画像要素を含み、方法が
（ａ）少なくとも１つの要素の少なくとも１つの部分から、その部分の知覚可能なコンテントに関連するコンテント情報を抽出するステップと
（ｂ）制作物を、抽出されたコンテント情報に従って、部分に制作規則の所定の（第１）セットの少なくとも１つを適用して創作するステップと
を含むことを特徴とする創作方法に存する。
【０００８】
また、ステップ（ａ）の前に、
（ａａ） 少なくとも１つの部分に、制作規則の所定の（第２の）セットの少なくとも１つを適用し、対応するコンテント情報を形成するステップと、
（ａｂ） コンテント情報を対応する部分に関連づけするステップ
とをさらに有することが好ましい。
【０００９】
また、本発明の別の要旨は、音声メディア及び画像メディア少なくとも１つの要素を有するソースメディアから動的メディアを形成する電算化された方法であって、
（ａ） ソースメディアを受信するステップと、
（ｂ） ソースメディアの少なくとも１つの部分について制作規則の所定のセットを用いて要素の少なくとも１つを分析し、そこからソースメディアの対応する部分に関連したコンテント情報を抽出するステップと、
（ｃ） 対応する要素に適用可能な制作規則の限定セットを決定するために部分の少なくとも１つのコンテント情報を調べるステップと、
（ｄ） 対応する要素を変更するように制作規則の少なくとも１つを対応する要素の１つに選択的に適用するステップと
（ｅ） 少なくとも変更要素を他のメディアと結合し、メディア制作物を形成するステップとを有することを特徴とする電算化された方法に存する。
【００１０】
装置、システム及びコンピュータプログラム製品を含む本発明の他の見地は以下の説明及び本明細書に記載された請求の範囲を理解することによって明らかになるであろう。
【００１１】
【発明の実施の形態】
図１は、マルチメディア編集装置１００の好ましい実施形態の概要を示すブロック図である。マルチメディア編集装置１００は処理部１０１、記憶部１０２、ユーザーインタフェース部１０３及び通信ポートとそれに対応するバス１０４とを有している。記憶部１０２には処理部１０１がユーザーインタフェース部１０３のコントロール及びユーザーインタフェース部１０３に対する応答のために用いるアプリケーションプログラムコードが記憶されている。記憶部１０２はまた、制作物の創作に使われる種々の規則や、制作物に使用される１つ以上の要素の保存にも使用される。ここにおいて、「制作物」という単語は一般的な意味で用いられている。それは制作物がビデオ制作物、音楽制作物、スライドショーの様に表現される連続した静止画写真やそれらの組み合わせとなりうるからである。
【００１２】
上述の通り、要素はきわめて一般的に、制作物の構成要素として表現することのできる、画像要素、音声要素及び／又は文字要素を含む。画像要素はビデオ(video footage)及びその一部であるビデオクリップ、１ビデオフレーム、映画全体、コンピュータクリップアート、写真及びビデオアニメーションで用いられるような作られた画像を含んでよい。音声要素は音声記録、音声効果、音楽及び楽譜、一つ及び多重の調子又は音色を含んでよい。文字要素は制作物のタイトル及びクレジット、ロゴやスローガンのような広告及び／又は他のしるしを含んでよい。
【００１３】
好ましい実施形態の概要において、通信ポート及び対応するバス１０４は記憶部１０２へのデータ転送及び記憶部１０２からのデータ転送に用いられる。このデータは典型的には上述した要素のデジタル表現である。通信ポート及び対応するバス１０４は例えばアプリケーションソフトウェアコードのダウンロード又はアップロードなど他の目的にも使用される。バス１０４及び対応するインターフェースは、例えばＩＥＥＥ１３９４高速シリアルバス標準で規定されたものである。
【００１４】
処理部１０１はコンテント情報を抽出するために、アプリケーションソフトウェアに補助されて要素を解析する。抽出されたコンテント情報は記憶部１０２に保存され、そのコンテント情報を抽出した要素と対応付けされる。コンテント情報は、多種の異なる種類の要素（例えば画像、音声、文字）に固有のもので、処理部１０１がソフトウェアと連携して行う上述の解析も適宜変化する。多種の要素に対し、コンテント情報の抽出（いくつかの場合にはその生成）のために行われる解析については、以下の対応する部分において説明されるであろう。
【００１５】
コンテント情報を抽出する解析は、多種の要素が記憶部１０２にダウンロードされてからある時間後になされる、一つのオフラインプロセスとして行うことができる。しかし、全部ではない少なくともいくつかの解析を、バス１０４から記憶部１０２にダウンロードされた多種のデータに対し、その場で（オン・ザ・フライで）行うことが可能であることは想像される。好ましい構成において、多種のデータに対する解析は少なくともその一部分を、要素の獲得に用いられる録音又はキャプチャ装置が行う。例えば、デジタルビデオカメラ（ＤＶＣ）は、画像及び音声データだけでなく、日付、時間、ビデオフレームの数等のメタデータの保存／記録を行うように改造することができる。好ましい実施形態において用いることができる、選択された要素をキャプチャリングするＤＶＣの例は、以下”拡張収集装置”（Enhanced Gathering Apparatus）として説明される。
【００１６】
図２は、制作物を生成する複数の画像要素と音声要素からなる入力スクリプト１３００を示すブロック図である。図２の入力スクリプト１３００はビデオプレゼンテーション制作物の例を示すが、音声制作物、スライドショータイプの静止画プレゼンテーション、印刷物としての制作物（本、カタログ等）等、他の形式に対する入力スクリプトもまた可能である。スクリプト１３００の画像要素はビデオセグメント１３０２、１３０４及び１３０５を有している。これらセグメントはデジタル形式で保存されていることが好ましい。また、デジタル静止画１３０３は、ディスプレイ上で静止画としての見かけを提供するように、ある時間再生された一つの画像や、予め定めた期間ポーズされた１フレームの画像を含むビデオセグメントでもよい。
【００１７】
音声要素は音声バッキングトラック１３０１及び１３０６から構成される。一般的に、音声バッキングトラックは音楽トラック及び／又は音声効果を有する。また、いくつかの場合、音声バッキングトラックはビデオセグメントに対応した音声トラックに付加される音声トラックである。この説明を通して、逆の明示をしない限り、ビデオセグメントという参照は、対応する有効な音声トラックを含んだビデオセグメントを示す。例えば、ビデオには通常、人の声や背景ノイズといった、それに対応した録音音声がある。録音音声の情報は好ましい実施形態の説明の目的において、ビデオセグメントの一部であると仮定するが、実施形態の実施は、画像及び音声源情報のいずれかのみを用いることが好ましい。
【００１８】
入力スクリプトは、状況に応じて、または必要に応じて順次又は並行して実行（再生）される。入力スクリプト１３００は好ましくは順次実行される。しかし、大半のマルチメディア装置において、概して音声要素は異なるチャネルを介して並行して画像要素に供給される。入力スクリプト１３００の配列において、第１音声バッキングトラック１３０１が開始し、画像要素１３０２、１３０３及び１３０４の表示装置への出力と同時に、音声装置に出力される。画像要素１３０４の終わりに、音声バッキングトラック１３０１から次のシーケンシャル音声バッキングトラック１３０６へのトランジションが起こり、更なるシーケンシャル画像要素１３０５が音声バッキングトラック１３０６と同時に表示される。画像用途と音声バッキングトラックとの同期が望まれ、要素が画像、音声、文字のいずれであっても、各要素とそれに関連するタイミング情報が符号化されていることが好ましい。例えば、画像及び／又は音源の録音中のように、コンテント情報の抽出はライブで行われる。これはユーザーの入力によって自動又は半自動で実現される。
【００１９】
いくつかの例において、コンテント情報は録音終了後の手動制御または自動化された後処理によって生成される。各要素は更に、
・処理アプリケーションに元データ及び要素に対応したコンテントデータを示す情報
・要素の期間、元データに関するオフセットスタート時間等の捕捉情報
を有することが好ましい。
【００２０】
図３は、好ましい実施形態におけるビート同期プロセス１４２０のフローチャートである。ビート同期プロセス１４２０は、予め定められたシーケンス又は順序で、複数の要素、すなわち要素の入力アレイの形で入力を受信する。ビート同期プロセス１４２０の出力は、図２に示す入力スクリプト１３００の形式と同じ入力スクリプトである。しかしながら、要素の入力アレイを構成する各要素は、ビート同期プロセス１４２０において変化したりしなかったりする。
【００２１】
先ず、ステップ１４００において、ビート同期プロセス１４２０は入力として、制作物の要素（画像、音声、その他）のアレイを、好ましくは予め定めた順序で受信する。次に、入力アレイの要素の数と実質的に似た数の入力スロットを有する空の出力アレイがステップ１４０１において作られる。この作成ステップ１４０１において、ポインタもまた入力アレイの第１要素の開始点に初期化される。コントロールは次のステップである、入力アレイ中に処理すべき要素があるかどうかを決定する決定ステップ１４１４に移行する。ステップ１４１４の決定結果が「偽」であれば、現在の出力アレイが入力スクリプト１３００で示される形式で出力される。一方、少なくとも１つの要素が存在した場合には、決定ステップ１４１４は「真」を返し、入力アレイ（ソースアレイ）の現在の要素を出力アレイのスロットにコピーするコピーステップ１４０２に移行する。
【００２２】
フローチャート１４２０において、コピーステップ１４０２の次にある音声要素決定ステップ１４０３では、現在の要素が音声バッキングトラックであれば真を、そうでなければ偽を返す。音声要素決定ステップ１４０３において真の結果が得られると、プロセスは読み込み入力ステップ１４０６に移行する。ステップ１４０６では、現在の要素の補足情報部分からビート期間を読み取り、それに応じてカレントビート期間をセットする。このステップではビート期間の計算を含んでもよい。ポインタはステップ１４１３において入力アレイの次の要素に進む。音声要素決定ステップ１４０３において偽の結果が得られた場合には、追加の決定ステップ１４０４においてカレントビート期間が既にセットされているかどうかを調べる。決定ステップ１４０４は、カレントビート期間が既にセットされていれば真を、そうでなければ偽を返す。ステップ１４０４の結果が偽の場合、ステップ１４１３においてポインタが入力アレイの次の要素に進む。
【００２３】
決定ステップ１４０４の結果が真の場合、プロセス１４２０は更に別の決定ステップ１４０５へ移行し、ここで現在の要素がカレントビート期間の影響を受けているかどうかを決定する。この決定において現在の要素がカレントビート期間の影響を受けていなければ、ステップ１４１３でポインタが次の要素に進む。現在の要素がビート期間の影響を受けているかどうかを決定する決定ステップ１４０５において真の結果が得られた場合には、現在の要素が静止画シーケンスであるかどうかを決定する別の決定ステップ１４１０に移行する。この決定ステップにおいて、現在の要素が静止画である場合には、トリミングステップ１４０８が現在の要素に実施され、現在の要素は出力アレイの現在の要素、すなわちステップ１４０２においてコピーされた要素となる。トリミングステップ１４０８に続くステップ１４１３において、ポインタは次の要素に進む。
【００２４】
決定ステップ１４１０において偽の結果（すなわち、現在の要素が静止画でない）が返された場合には、決定ステップ１４１１において、バッキングトラック又は静止画でない現在の要素が、ズームショットシーケンス、パンショットシーケンス又は他の予め定めたビデオ特殊効果のような、予め定めたビデオコンディションを含むかどうかが決定される。現在の要素にいかなるビデオコンディションも検出（決定）されなければ、現在の要素にトリミングステップ１４０８が実行される。それぞれの場合で要素（画像要素）に対してトリミングステップ１４０８が実行され、要素はカレントビート期間の実質的な倍数にトリミングされる。
【００２５】
前述の通り、トリミングステップ１４０８に続くステップ１４１３でポインタが次の要素に進む（出力アレイにコピーされるべき次の入力要素がもしあれば）。ステップ１４１１においてビデオコンディションが確認された場合には、ステップ１４１１から真が返され、ステップ１４１２において現在の要素は各ビデオコンディションに対して予め定義された規則に従ってトリミングされる。適用される予め定義された規則の例は後に説明する。トリミングステップ１４１２に続くプロセスフローは前述したポインタ進行ステップ１４１３である。ポインタが次の要素に進むと、決定ステップ１４０７が入力アレイに更なる要素があるかどうかをチェックする。もしあれば、プロセスはコピーステップ１４０２にループバックし、更なる入力要素をチェックする決定ステップ１４０７において偽が返され、ステップ１４０９において出力アレイが出力されてビート同期プロセス１４２０が再呼び出しされるまで終了する状態になるまで、上述したコピーステップ１４０２に引き続くステップを実行する。上の説明においては、ビデオをトリミングする場合を説明したが、類似の処理をビデオをビート周波数に適合するように行う伸長又は圧縮に適用してもよい。
【００２６】
図４は、好ましい実施形態によるトランジション生成プロセス１５００のフローチャートを示す。トランジション生成プロセス１５００はビデオ要素間で用いられるトランジションのタイプ及びトランジション期間を決定する。トランジションは最終制作物が出力表示装置に表示されるまでは表現されない。
【００２７】
最初に、トランジション生成プロセス１５００は入力として入力用アレイを受信する。入力アレイの各要素は、対応する１つ又は複数のチャネルの情報を有する。まずプロセス１５００の最初のステップ１５０１において、入力アレイのエレメント数と実質的に同じ数のスロットを有する空の出力アレイを作成する。このステップ１５０１において初期化手順も実行される。例えば、ソースポインタが入力アレイの最初の要素を指すようにセットされ、行き先ポインタが出力アレイの最初の有効なスロットを指すようにセットされ、ビート期間に対する新しい値が決定されるまで、ビート期間変数がデフォルト値にセットされる。さらに、各ビデオチャネルに対し、変数（すなわち”PrevEle”）が先のビデオ要素を示すように支持される。最初は先立つビデオ要素がないので、変数PrevEleは先のビデオ要素がないことを示す値を割り当てられる。初期化に続いて、プロセス１５００は決定ステップ１５０７に移行する。このステップでは入力アレイ中に処理すべき要素があるかないかを決定する。処理すべき要素がなければ、決定ステップ１５０７は偽を返し、出力アレイの現在の値が図２に示す入力スクリプトの形式で出力される。
【００２８】
入力アレイが空の場合は、空の入力スクリプトが得られる。すなわち、いかなる入力スクリプトも得られない。しかし、入力アレイに処理すべき要素がある場合には、決定ステップ１５０７は真を返し、コピーステップ１５０２に移行する。コピーステップ１５０２において、現在の入力（アレイ）要素は出力アレイの有効スロットにコピーされる。コピーステップ１５０２に引き続き、現在の要素（コピーされた要素）が音声バッキングトラックであるか否かを決定する決定ステップ１５０３が実行される。現在の要素が音声バッキングトラックならば、現在のビート期間を抽出された値にステップ１５０６でセットし、ステップ１５１８において、入力アレイの次の要素にインクリメントされる。
【００２９】
一方、決定ステップ１５０３において現在の要素が音声バッキングトラックでないと決定された場合は、次のステップ１５０４において、現在の要素にトランジションを必要とする先のビデオ要素が現在の要素のビデオチャネルにあるかないかを決定する。もし現在のビデオチャネルに先立つビデオ要素がなければ、変数PrevEleを現在の要素を指すようにセットするPrevEleセットステップ１５０５が実行され、インクリメントステップ１５１８へ移行する。一方、先立つビデオ要素（現在の（ビデオ）要素に対する）が存在する場合は、決定ステップ１５０８に移行し、ここでマルチメディア編集装置１００のユーザが固定トランジションスタイル（例えばバットエディットトランジション）を選択しているか否かをチェックする。固定トランジションが選択されている場合は、マーキングステップ１５１０において、現在のビデオ要素へトランジションするために先のビデオ要素にマークする。
【００３０】
固定トランジションが選択されていない場合、決定ステップ１５０８から色データ抽出ステップ１５１３に移行する。輝度データは先のビデオ要素の終端及び現在のビデオ要素の始端から抽出されることが好ましい。次のステップ１５１４において、抽出された色データに基づき、ステップ１５１５で選択されるディゾルブトランジションか、ステップ１５１６で選択されるワイプトランジションのいずれかを決定する。ワイプトランジションの場合、さらなるステップ１５１７において、ワイプトランジションの詳細を決定するための、先のビデオ要素と現在のビデオ要素の動きベクトル解析を行う。ワイプトランジションの詳細には、開始点、ワイプ速度等が含まれる。
【００３１】
ワイプトランジションの選択による追加ステップ１５１７又はディゾルブトランジション選択ステップ１５１５からはいずれも前述のマーキングステップ１５１０に戻る。マーキングステップ１５１０において、先のビデオ要素は現在のビデオ要素へのトランジションのために、選択されたトランジション（すなわち、ディゾルブ、ワイプ、固定、等）に応じてマークされる。マーキングステップ１５１０に続き、決定ステップ１５１１において選択されたトランジションが予め定めた持続時間よりも長い持続時間を有するか否かがチェックされる。決定ステップ１５１１においてはまた、所定持続時間に加え、或いはその替わりに固定トランジションのチェックを行っても良い。
【００３２】
決定ステップ１５１１において、”真”値は選択されたトランジションの持続時間が予め定めた持続時間よりも長いことを示し、その場合にはステップ１５１２において、選択されたトランジションの持続時間を現在のビート期間の倍数となるようにマークする。一方、決定ステップ１５１１が”偽”を返した場合は選択されたトランジションの持続時間が予め定めた持続時間よりも短いことを示す。この場合には、PrevEleセットステップ１５０５に戻る。さらに、決定ステップ１５１２が選択されたトランジションの持続時間にマークすると、同様にPrevEleセットステップ１５０５に復帰する。
【００３３】
前述したように、PrevEleセットステップ１５０５は、変数PrevEleを現在のビデオ要素を指すようにセットし、インクリメントを行う次の入力要素ステップ１５１８に戻る。ステップ１５１８はソースポインタをインクリメントし、これまで説明したように次の入力要素への処理を継続する。
【００３４】
トランジション生成プロセス１５００は処理する入力要素がなくなった時点で終了する。その場合、出力アレイの現在の要素は図２に示した入力スクリプト１３００の形式で出力される。
【００３５】
図５は、本発明の好適な実施形態による編集プロセス１１００の概要を示す。最初に、制作物セットアップステップ１１０１がユーザに対し、制作物に用いたい画像、音声及び／又は文字要素の選択を許可する。次に、スクリプトプロセス１１０２がユーザの選択した要素に適用される。これらのスクリプトプロセス１１０２はそれぞれ図３及び図４を用いて説明したビート同期プロセス及びトランジション生成プロセスを含む。本発明の範囲及びその精神を離れることなく、他のスクリプトプロセス、例えば、静止画又はビデオクリップのフレームのピクチャ要素を操作して編集する編集プロセスを適用することができる。スクリプトプロセスの出力は、実質的に図２を用いて説明した入力スクリプトであることが好ましい。
【００３６】
スクリプトプロセス１１０２で得られた入力スクリプトは、次のステップ１１０３において、スクリプトインタプリタによってそれぞれ翻訳される。決定ステップ１１０４では、各入力スクリプトに対し、その出力が出力装置で処理されるべきものか否かを決定する。ステップ１１０４での結果がＮＯであれば、図５に示されるように、ユーザの更なる選択のために制作物セットアップステップ１１０１へ戻る。しかし、ステップ１１０４での結果が、出力が出力装置で処理されるべきであることを示すＹＥＳであれば、制作物の要素を構成する各入力スクリプトはステップ１１０５において対応する出力装置において処理される。例えば、音声要素とビデオ要素とからなる入力スクリプトにおいて、音声要素は音声出力装置で演奏し、ビデオ要素に対応したサウンドトラックもまた音声出力装置で演奏しながらビデオ要素のビデオ部分は表示装置で表示する。図５においては単独のインタプリタを参照しているが、一般にはソースデータの各タイプ及び対応する出力装置（例えば音声、画像）に対して１つずつインタプリタが設けられる。
【００３７】
最後の決定ステップ１１０６は、制作が終了したのか、引き続きユーザへの選択を許可するために制作セットアップステップ１１０１に戻るのかをチェックする。セットアップステップへ戻ることにより、ユーザは制作物のプレビューができる。制作物セットアップステップ１１０１において、ユーザはまたどのスクリプトプロセスを適用するか、或いはしないかについての選択をすることもできる。例えば、ビート同期を行ないたくないユーザはそのオプションをオフにする。更に、ユーザは希望する出力装置を選択することもできる。
【００３８】
図６は、図５におけるスクリプト適用ステップ１１０２の詳細を示す。最初のステップ１２０１において、オリジナルの変更を避けるため、ユーザが選択した要素のコピーが行われる。そして、適用されるスクリプトプロセスのリストが作成される。次に、決定ステップ１２０２がリストにある全てのスクリプトプロセスの適用が終わったか否かを判断する。すなわち、決定ステップ１２０２はスクリプトプロセスのリストがまだ適用していないスクリプトを有するか否かを判断する。全てのスクリプトプロセスの適用が終了し、結果がＮＯであれば、スクリプトプロセスで作成された入力スクリプトは図５を用いて説明したようにスクリプトインタプリタに送られる。しかし、ステップ１２０２においてまだ全ての（リスト上の）スクリプトプロセスの適用が終わっていない場合、コピーされた要素は対応するスクリプトプロセス１２０３へ引き渡される。例えば、もし現在のコピーされた要素にビート同期プロセスを適用すべき時は、その要素はビート同期プロセスへ向けて送られる。次のステップ１２０４は適用したスクリプトプロセスからマークを外し、適用すべき他のスクリプトプロセスの有無を調べるため決定ステップ１２０２へループバックする。適用すべきスクリプトプロセスが無くなると、最後に生成された入力スクリプトが処理１１０３のためにスクリプトインタプリタに送られる（図５参照）。
【００３９】
ここで、要素の集まりからの制作物創作をガイドするための、予め定めた規則のセットを定義して良いが、ここで述べる規則のセットは単に例示のために提示されるものであって、それに限定されるべきものではない。その規則のセットは以下に説明される好ましい実施形態に関連して用いることができるが、規則の種類は達成しようとする最終制作物効果に依存する。よって、当業者が認識する、規則の異なる組み合わせ及び／又は異なる種類の規則の適用は、本発明の範囲又は本質から離れることなく適用することができる。例えば、ビデオクリップ全体の動き平均が最も少ないビデオスクリーンの一部に、ビデオクリップのオーバーレイとして、ビデオスクリーンに表示すべきタイトル又はテキスト情報を指定する規則を作成することができる。規則の種類もまた、多種多様の要素から抽出されるコンテント情報の種類に依存する。以下のセクションにおいて、制作物の創作そのもの、或いは創作を補助するために使用される、いろいろな要素から抽出された異なるコンテント情報及び対応する規則について説明する。
【００４０】
＜ビート同期＞
図７は、ビート２１０がその上に表された音声トラック２００と、ビデオクリップ（又はビデオ）２１４との自動ビート同期例を示す。一般的に、ビートが捜されてビデオクリップ２１４との同期に使用される音声トラック２００は音楽である。ビートは音声トラックで演じられる音楽の音楽的なビート（musical beat）であることが好ましいが、音声トラック２００から抽出された実質的に一定な周波数も同期目的のビートとして用いることができる。
【００４１】
ビデオクリップの同期を実現するビートの抽出技術の例を説明する。制作物の音声要素を表現する入力音声信号及び特に音声信号のビートが要求される部分は、音声信号の周波数を所定の範囲に制限するためにバンドパスフィルタを通して分析される。周波数を制限された信号はそのリードエッジを検出するリードエッジ検出回路を通される。ビートを求める音声信号の持続時間において検出された各リードエッジの時間間隔を記録し、平均時間間隔を計算する。この平均時間間隔は音楽を所望のビデオクリップに同期させるビートとして用いることができる。
【００４２】
図７のビデオクリップ２１４は、音声トラックのビートと同期を取るべくトリミングされる前の、トリミングされていないビデオを示している。本例において、未トリミングのビデオ２１４はビデオ２１４の所定のシーンを表現する３つのセクション２０１、２０２及び２０３から構成される。本例において、シーン間のトランジションはシーンをバットエディッテイング（butt editing）して構成している。すなわち、通常それぞれが複数のフレームからなる３つのセクションは、端と端で結合されている。
【００４３】
未トリミングのビデオのセクション２０１、２０２及び２０３間のトランジションは、図７に示された例において、垂直な線２０４及び２０５で示されている。未トリミングビデオ２０４のトランジション２０４は音声トラック２００のビート２１０と一致していない。未トリミングビデオ２１４の最初のセクション２０１は、次のセクション２１２との間に音声トラック２１０のビートと一致するトランジション２０３を有するようなセクション２１１にトリミングされる。同様に、残りのセクション２０２及び２０３はそれぞれセクション２１２および２１３にトリミングされ、セクション２１１、２１２、及び２１３の間のトランジションが音声トラックのビート２１０と同期する。トリミングされたセクション２１１、２１２及び２１３は協調して、シーン中のイベント又は変化の間のトランジションが音声トラック２００のビートと同期したビデオクリップ（又はビデオ）を形成する。
【００４４】
図３のステップ１４１３で説明したように、ビデオをトリミングし、トリミングされた各セクションからビデオフレームを除去する際には、セクションのどの部分からフレームを除去しても良い。しかし、セクションの内容を所定の効果について評価し、最終的に制作物を見た際の断絶が最小限になるようにフレームを除去することが好ましい。例えば、ズーム又はパンを含むビデオセクションであれば、ズームやパンの中間でないフレームを除去することが望ましい。また、ビデオの動きの少ない部分、すなわち、ビデオの中の本質的に静止画である部分を評価し、動きの少ない部分から実質的にフレームを除去することもできる。さらに、ビデオの所定セクションにおけるピントの合っていない部分を取り除くこともできる。
【００４５】
さらに、ビデオ２１４を音声トラック２００に同期させる際、音声トラック２００とビデオ２１４の同期精度を向上するために、実質的に音声がひずまない程度でビートの時間間隔を増減する処理を音声トラックに行うことを許してもよい。前述したように、編集することなくビデオのスピードを増減するように処理を行っても良い。
【００４６】
＜トランジション速度及びタイミング規則＞
一般にビデオフレームレート（フレーム／秒）はほぼ一定であるから、ビデオにおける所定のフレーム数はほぼ特定の時間間隔を規定する。よって、ビデオにおける第１セクションと第２セクション間の時間間隔、すなわちトランジション速度はトランジションに使われるビデオのフレーム数に依存する。トランジションは、図７に示されるような、２つのセクションをバットエディットすることにより得られる、ビデオのあるシーンから異なるシーンへの単純なトランジションでよい。しかし、トランジションは１つのシーンから次のシーンへディゾルブトランジションするといった特殊効果を供給するよう、目的を持って計画することが好ましい。ワイプやフェードを含む他のトランジション形式によって所定の特殊効果を用いてシーンを変えることができる。
【００４７】
好ましい実施形態において、このようなトランジションのタイミング及びスピードは、予め定めた音声トラックと同期されており、ビデオフレームを複製、付加及び除去できることを除けば、ビート同期について説明した方法と実質的に似た方法でスムースに同期したトランジション効果が得られる。タイミング及びトランジションスピード規則は最初の所定のビートマーカーにおいて選択したトランジションが開始するように適用される。そして、トランジションを有効にするための所定フレーム数を許可することによって、トランジションの最終フレームが第２の所定のビートマーカーと一致していることを確認する。音声トランジションは交差区間でそれぞれのビートが一致するようにアレンジすることによって達成される。
【００４８】
＜音声レベルの調整＞
図８に、音声バッキングトラック３０１の音声レベル情報と、この音声バッキングトラックと連携しようとするビデオクリップ３２０−３２２のシーケンスを示す。図８の横軸３００は経過時間軸３００であり、縦軸はデシベルで測定された音声レベルをしめしている（注：図８は一定の縮尺で記載されていない）。ビデオカメラの良い機能は、映像とともに音も記録できることである。しかし、制作物を構成しようとすると、他の音声チャネルである音声バッキングチャネルを含ませたくなるのが普通である。背景音声を提供する追加バッキングトラックは、専門家が編集した結婚式のビデオのような、専門家が制作したビデオ制作物では当たり前の機能である。しかしながら、そういった編集は技術に通じたビデオ編集者が苦労してまとめ上げた大変な作業である。
【００４９】
本発明の好適な実施形態において、ビデオクリップ３２０から３２２の間のトランジションは自動的に検出され、音声レベルも自動的に検出される。例えばビデオクリップ３２０に対応する音声レベル３０３はゼロデシベル（０ｄＢ）と検出され、ビデオクリップ３２１に対応する音声レベル３０４は無いと検出され、−１００ｄＢにセットされる。また、ビデオクリップ３２２に対応する音声レベル３０５は−３ｄＢと検出される。
【００５０】
制作物ビデオを演出する際、あるクリップから次のクリップへのビデオトランジションに対応するそれぞれのポイント３１１において、予め定めた傾斜(ramping)３１０によって最終減衰波形３１３が生成される。最終減衰波形３１３は、好ましくはビデオ３０７のバッキングトラックとして使用される１つかそれ以上の楽譜のレベルセッティングの制御に用いられる。さらに、減衰波形はバッキングトラックがビデオに対応する音声から一定の時間残るよう、バッキングトラックに適用することもできる。さらに、もし望まれる場合には、バッキングトラックによって録音音声がじゃまされないように、ユーザはビデオカメラで録音された音声と、バッキングトラックの音声レベルとの希望するレベル差を設定することができる。
【００５１】
＜音声マッチング＞
好ましい実施形態において、第１の音声トラックは選択され、またこの選択された第１の音声トラックはまた、複数の音声トラックから予め定められた、実質的に第１の音声トラックと類似した音声トラックの検索及び選択に用いることができる。これら予め定められた音声トラックは、選択された第１の音声トラックと一緒に、或いはその替わりに用いることができる。複数の音声トラックから類似の音声トラックを決定する技術は、選択された第１音声トラックの特性と比較された各音声トラックの音声信号の特性に基づく。特性は、例えば平均ボリューム、ビート及び卓越振動数(dominant frequency)といったものの単独または組み合わせを含む。
【００５２】
以下、この音声マッチング規則がビデオ制作物にどの様に適用されるのかについて例を用いて説明する。例えば、製造者から選択された第１音声トラックとともに、ビデオ制作物用のテンプレートが供給される。ユーザは、ユーザが好む複数の替わりの音声トラックを、テンプレートとともに供給された第１音声トラックに対してオファーすることができる。音声選択規則が第１トラックの１つかそれ以上の予め定めた特性に基づき、複数の代替音声トラックの中から最も適した音声トラックを選択する。
【００５３】
＜映像コンテントとモーション＞
ビデオにおいて、複数の重要な映像イベントは、そのビデオに任意に適用される所定の特殊効果において、ビデオのセグメントを特定する手がかりとされる。
【００５４】
例えば、ビデオセグメント（クリップ）と次のビデオセグメント間における好ましいトランジションのタイプをガイドするために、当分野で知られる動き検出技術がビデオに適用される。
図９には、ビデオ５００と、それに結合されたズームシーケンス５０１が各フレーム５０３の下に表示された相対ズーム比とともに示されている。
【００５５】
相対ズーム比５０２は、各フレームで検出された動きベクトルを用いて決定される。本発明の本質又は範囲を外れることなく、相対ズーム比５０２を例えば符号化されビデオに付随したメタデータから計算することもできる。
【００５６】
符号化されたメタデータは、ビデオカメラ、具体的にはズームセンサ及び回路を、現在のズーム状況に対応するメタデータを供給可能なようにしたビデオカメラにより記録され、また得ることができる。
【００５７】
図１０は、小屋６０１のビデオパンシーケンスからなるパンショット６００を示す。ズームシーケンス５０１についての説明とほぼ同様の方法によって、パンショットは動きベクトルから検出することができる。ビデオカメラのパニングセンサがビデオカメラの動き情報を発生するようにしても良く、その情報をパンショットにおけるパン量の決定に用いても良い。
【００５８】
ビデオからのズーム及びパンショット検出において、相対ズーム比が所定フレーム数以内でズーム閾値を超えているズームのみを検出したり、相対パン移動量が所定のフレーム以内でパン閾値を超えるパンショットのみを検出したりすることを可能にするために、所定のズーム閾値及びパン閾値が任意に設定される。例えば、所定フレーム数を２、ズーム閾値を３とセットし、２フレーム以内で１：３を超える相対ズーム比が発生すれば、ズームシーケンス検出において検出されることになる。
【００５９】
パンショット又はズームが検出されたそれぞれのケースにおいて、ユーザに受け入れ又は拒否の選択を与えるようにし、それに応じて検出されたパン又はズームにマークをすることもできる。しかし、パンショット又はズームの位置を示すためにビデオにマークを付ける処理は、検出された各ズーム及びパンに所定の基準に基づいてマークするような自動化処理に代えることもできる。
【００６０】
＜印刷によるビデオの要約＞
パンショット及び／又はズームのマークは、特殊効果を適用すべきビデオセグメントや、印刷のために印刷装置に読み出され、或いはビデオのアイコンを生成するために読み出されるビデオのセグメントを容易に識別するためのものである。例えば、図１０のパンシーケンス６００はつなぎ合わされ、すなわち、フレーム毎に合成され、図１１に示される静止画パンを形成する。このビデオフレームのつなぎ合わせのプロセスは、当該技術分野において知られたもので、例えば、デジタイズされた表現において、ビデオの各フレームの所定の画像（picture）要素のトランジションを検出することにより行うことができる。
【００６１】
図１２は、特徴的静止画（salient still image）７０４を得るための、ビデオのフレーム７０１〜７０３の合成を示している。印刷装置で印刷するための特徴的静止画に合成されるフレーム７０１〜７０３は、ビデオのズーム部分のフレームから抽出することが好ましい。図１２に示される３つのフレーム７０１〜７０３は、図９に示したズームシーケンスから選択され、特徴的静止画７０４を作るために用いられる。特徴的静止画７０４を合成するには、フレーム７０１で表される最初の画像を第１の所定ファクタで変倍し、変倍された画像は特徴的静止画７０４の第１部分７０５として用いられる。図１２において示されるように、第１部分７０５は８×８の成分を指す。次に、フレーム７０２で表される第２の画像を第２の所定ファクタで変倍し、変倍された画像を特徴的静止画７０４の第２部分７０６となるよう、第１部分７０５に重畳或いは挿入される。最後に、フレーム７０３で表される第３の画像が第３部分７０７となるよう、第２部分７０６に重畳（又は挿入）される。結果として得られる特徴的静止画７０４は異なる解像度から得られ、１つの特徴的静止画７０４を形成するために合成された画像７０４の３つの部分７０５〜７０７から構成される。特徴的静止画７０４は印刷装置で印刷されても良い。
【００６２】
パンショット及びズームシーケンスが検出されたビデオにおいて、そのビデオを撮影した写真家又はカメラマンが特定のシーンをパン又はズームしたいと考えていたものと仮定すると、そのビデオにおけるパンショット及びズームシーケンスは特別な興味の対象である可能性がある。よって、図１１及び１２を参照して説明したように、それらの特別なシーンから得られた画像が印刷装置での印刷用に選択される。
【００６３】
全てのビデオがパンショット及び／又はズームシーケンスを含んでいるわけではないし、パン又はズームが特別に興味のある画像を含んでいないこともある。このような場合には、印刷装置で印刷しようとするビデオの画像は、動き解析や、フォーカス、スローモーションブラー(slow motion blur)といったビデオの他の特性に基づいて選択される。例えば、選択キーフレームにおいて起こる動きの局所最小値の決定は、カメラマンがシーンの中の興味ある場所で停止（ポーズ）したり、重要性を強調するために人物がジェスチャーを休止したりして選択キーフレームが興味の対象である場合の良い推定である。
【００６４】
＜動きの選択されたトランジション＞
図１３は、第１ビデオセグメント９０１及びその後第２ビデオセグメント９０２を表示する表示装置９００を示す。最初に表示されたビデオセグメント９０１は表示装置９００の右下角で発生する動きを有している。この動きは表示装置９００の右下角に動きベクトルの第１セット９０３で示されている。表示装置９００に表示された第２ビデオセグメントに対する動きベクトルの第２セット９０４は、第１及び第２のビデオセグメント９０１及び９０２の間で表示装置９００の右下角から表示装置９００の左側へ変化した動きを示している。
【００６５】
従って、第１及び第２のビデオセグメント９０１及び９０２が連続して表示される場合には、トランジションの発生が必要である。好ましい実施形態によれば、トランジション形式は表示されるビデオセグメントにおける動きの場所及び量によって選択される。第１ビデオセグメントと第２ビデオセグメントの間のトランジション形式は垂直又は水平及び／又は斜めのワイプ、フェード及び同様のトランジションを含む。
【００６６】
図１４に、図１３のビデオセグメントに対する水平ワイプトランジション９０５の例を示す。トランジション９０５において、第１ビデオセグメント９０１は去っていくシーンで、第２ビデオセグメント９０２は入ってくるシーンである。ビデオセグメント９０１及び９０２のぞれぞれの動きの場所から、表示装置における右から左への水平ワイプトランジションが自動的に提案（又は選択）される。右から左への水平ワイプトランジション９０５は視聴者の注意を第１ビデオセグメントで発生する動きから第２ビデオセグメントで発生する動きに効果的に移行させ、またトランジションが発生してゆっくりと表示装置９００を横切っている間視聴者の注意を維持させる。トランジション形式はビデオセグメント間で起こる（目に見える）動きの場所と量に基づき選ばれる。本発明の範囲及び本質を離れることなく、上述の例の替わりとなるいろいろな形式のトランジション及びトランジション選択に対応する動きの規則が考えられることはいうまでもない。例えば、視覚特性が大部分動きからなり、それぞれが中心的に配置されている２つのビデオセグメント（クリップ）を接続するような場合には、第２ビデオセグメントをフェードインしながら第１ビデオセグメントをフェードアウトするトランジションも可能である。
【００６７】
＜カラーコンテント＞
好適な実施形態による、画像のコンテントに基づく別の自動編集プロセスは色選択である。例えば、もしユーザがそうしたければ、ビデオ制作物のオープニングタイトルの色を、ビデオセグメントの導入部分もしくはビデオ全体関する統計的カラーコンテント情報に基づいて選択することができる。タイトルの色は、例えば補色の集合(complementary set of colors)又は補足色の集合(supplementary set of colors)から選択することができる。補色の集合又は補足色の集合はビデオから得られる複数の色として選択されることが好ましい。
【００６８】
図１５には、画像１６００と、その上に重ねられた”ＴＩＴＬＥ”という文字１６０１が示されている。画像１６００は印刷画像、表示装置に表示された静止画又は処理されて表示装置に表示されたビデオの所定部分を表してよい。
【００６９】
図１５にはまた、文字１６０１に対するカラーパレットを提供するのに用いられる、補色の集合１６０２および補足色の集合１６０３が示されている。補色１６０２及び／又は補足色１６０３は画像１６００のカラーコンテントに基づき選択される。画像の優勢色を決定する既知の技術としては例えば、簡単なケースにおいては画像の所定領域に渡る色平均で優勢色を決定することができる。
【００７０】
図１６には、画像のカラーコンテントが興味の対象或いはそうでない、種々の部分４０１〜４０５を有する表示装置４００が示されている。例えば、もしグラフィカルな要素が文書のヘッダやフッタに類似した使われ方をするのであれば、４０１及び４０２で示される領域からカラーコンテント情報が抽出される。同様に、文字情報（或いはグラフィカルな要素）が画像の左の部分４０３又は右の部分４０４で表示されるのであれば、これらの対応するそれぞれの部分４０３及び４０４からカラーコンテント情報を抽出することが好ましい。
【００７１】
また、文字情報が中央に配置される場合は、画像の中央部４０５からカラーコンテント情報が抽出される。本発明の好適な実施形態において、カラーコンテント情報はまた、前述したビデオセグメント間のトランジションタイプの選択をガイドするためにも使用される。動き及び／又はカラーコンテント情報はビデオセグメント間のトランジションタイプ選択に用いることができる。カラーコンテント情報をトランジションタイプの選択に用いる一つの例として、第１ビデオセグメントの平均カラーコンテント又はその代わりとしての輝度コンテントが、続くビデオセグメントの平均カラーコンテントと実質的に類似となるディゾルブトランジションを、第１ビデオセグメントとそれに続くビデオセグメント間のトランジションに選択する場合がある。
【００７２】
本発明の好適な実施形態はまた、図１７に示されるコンピュータシステム１７００の様な、通常の汎用コンピュータで実施されることが好ましい。この場合、図２〜図６を用いて説明したプロセスは、コンピュータシステム１７００で実行されるソフトウェアとして組み込まれる。コンピュータシステム１７００はコンピュータモジュール１７０１、入力装置１７０２、１７０３及び表示装置１７０４を有している。コンピュータモジュール１７０１は少なくとも１つのプロセッサユニット１７０５と、一般的に半導体ランダムアクセスメモリ（ＲＡＭ）及びリードオンリーメモリ（ＲＯＭ）からなるメモリユニット１７０６と、ビデオインタフェース１７０７、キーボード及びマウス（又はジョイスティック）インタフェース１７０８を含む入力／出力（Ｉ／Ｏ）インタフェースを有する。
【００７３】
記憶装置１７０９は、フロッピーディスク、ハードディスクドライブ、ＣＤ−ＲＯＭドライブ又は同分野で知られた類似の不揮発性記憶装置の１つ又はそれ以上の装置を含むことができる。コンピュータ１７０１の構成要素１７０５から１７０９は、相互接続バス及び電算システム１７００の通常の動作の結果として得られる、関係分野で知られた方法に乗っ取って通信を行う。実施形態を実行することのできるコンピュータの具体例としては、ＩＢＭ−ＰＣ及びその互換機、サン社のスパークステーション又はそれらが進化した類似のコンピュータシステムが含まれる。
【００７４】
＜拡張収集装置＞
図１８は、拡張収集装置２１００のブロック図である。拡張収集装置２１００は、情報収集装置の一例としての構成として、コンテント収集部２１０１、処理部２１０４、メモリ記憶部２１０３、ユーザーインタフェース部２１０５、読み出し専用メモリ（ＲＯＭ）２１０８、通信ポート２１０６及び出力インタフェース２１０２を有する。
【００７５】
拡張収集（キャプチャ）装置２１００の所定の用途に応じて、通信ポートを除去し、記憶部２１０３をＰＣＭＣＩＡ、バブルメモリ、フロッピーディスク又は任意の可搬型記憶装置に置き換えても良い。
【００７６】
生成（或いは収集）された出力情報は、出力インタフェース２１０２を介して外部装置へ伝達され、収集コンテントを表すことができる。収集コンテント情報は外部装置の入力信号として使うことができる。例えば、外部装置としてはアナログ又はディジタルビデオレコード、光ディスクドライブ、音声録音装置、画像記録装置、プリンタ装置又は汎用コンピュータ（いくつか名前を挙げれば、ＩＢＭ互換ＰＣ、アップル互換ＰＣ、サン ワークステーション）といったコンテント記録装置を含む。収集コンテント情報はコンテントデータを含み、好ましくはコンテントデータに関連するメタデータをも含む。コンテントデータの例としては、ビデオカメラ装置で収集された画像データであり、関連するメタデータとしては日付、時間、カメラセッティング及び画像を撮った場所などの情報を含むことができる。
【００７７】
コンテント収集部（ＣＣＵ）２１０１は好ましくはそれぞれが所定形式のコンテント情報を受信（収集又は寄せ集める）ことが可能な、複数のコンテントセンサを有する。このようなセンサの例としては、音声（コンテント）データ受信用のマイクロフォン、画像データ収集用の電荷結合素子（ＣＣＤ）、収集する画像データに関連するライティングコンディション（メタデータ）を決定及び収集するための光センサを含む。ＣＣＵ２１０１は更に種々のコンテントセンサやビデオカメラの現在のズームファクタと言った関連するハードウエアの現状に関する知覚データを収集する要素（変換器）を有することが好ましい。この付加情報は処理部２１０４での使用に特に有効であり、収集コンテント情報のメタデータの一部としてエンコードすることができる。
【００７８】
ユーザはユーザインタフェース部２１０５を通して利用可能にしてある複数のオプショナルテンプレートから少なくとも１つを選択する。ユーザは選択ボタン列（図示せず）を通して拡張収集装置２１００をコントロールし、所望のテンプレートを選択する。処理部２１０４はメモリ記憶部２１０３及び／又はＲＯＭ２１０８と通信しながら、ユーザインタフェース部２１０５を介して拡張収集装置２１００で現在有効な種々のオプショナルテンプレートを提供する。
【００７９】
各テンプレートは一般に、所定のプログラム言語で記述されることが可能なテンプレートインストラクションの列から構成されている。例えば、そのプログラム言語があるアプリケーションに特有の物で、拡張収集装置２１００が専有しても良いし、Ｊａｖａ（サン・マイクロシステムズ社の登録商標）等の汎用プログラム言語によるインプリメンテーションであっても良い。テンプレートインストラクションは通信ポート２１０６を介して汎用コンピュータシステム２１０７から拡張収集装置２１００へアップロードされ、メモリ記憶部２１０３に記憶される。
【００８０】
また、一般にコンピュータゲームに使用されているカートリッジシステム及び／又はフラッシュカードをテンプレート保存に使用し、拡張収集装置２１００へテンプレートをアップロードするプラグインデバイスとして使用することもできる。好ましくは、テンプレートインストラクション列の一部、特にいくつかのテンプレートに共通なインストラクションを読み出し専用メモリ２１０８に記憶し、メモリ記憶部２１０３に必要な（ＲＡＭ）メモリの容量を削減する要にすることが好ましい。このようにして、テンプレートインストラクションは処理部２１０４の実行時計算に使用することが可能になる。図１８に示した汎用コンピュータシステム２１０７はコンテント情報をダウンロードする際に出力インタフェース２１０２とインタフェースする前述の外部装置としても使用されることが好ましい。
【００８１】
ユーザインタフェース部２１０５は例えば液晶ディスプレイ（ＬＣＤ）及びコントロールボタンの列を有し、ユーザへ（メッセージ）情報を伝達し、同様にそれらのメッセージに対応するユーザ入力の収集に使用される。
【００８２】
処理部２１０４はテンプレートインストラクションを解釈し、ユーザに有効なメニューの選択のためのいろいろな選択肢を表示及びユーザからのメニューへの応答を解釈しながら、コンテント情報の内容解析を含むオプションを提供する。
【００８３】
ユーザによって選択される選択肢は、ＣＣＵ２１０１の現状、ユーザプリファレンス設定及び／又は拡張収集装置２１００で使用されようとしている現在のテンプレートの項目に影響又は変更を及ぼす。これらタスクのいくつかは、テンプレートが有効なコンテント情報から最良の決定をし、それによってＣＣＵ２１０１を修正するように完全に自動化されることが好ましい。例えば、以下に説明する拡張収集装置の第１実施形態において、所定の状況に基づいて、ランドスケープ表示の画像の上にポートレート表示の画像を配置が希望されているので、必要ならポートレートの画像から端を切り取るという判断にテンプレートを用いても良い。
【００８４】
図２８は収集情報の拡張操作全体を示すフローチャートである。プロセスはステップ２１１００で開始する。ステップ２１１０２において、少なくとも１つのテンプレートが拡張収集装置にアップロードされる。ステップ２１１０４において、拡張収集装置において少なくとも１つの形式のコンテント情報が受信される。ステップ２１１０６ではアップロードされたテンプレートのテンプレートインストラクションが実行され、受信したコンテント情報に基づくインストラクション構成物が生成される。ステップ２１１０８ではコンテント情報の構成要素がインストラクション構成物に従って拡張される。そしてステップ２１１１０で処理が終了する。拡張されたコンテント情報を記憶手段への記憶に関するを更に含むことが好ましく、また記憶されたコンテント情報が外部装置へダウンロードされるようにしても良い。
【００８５】
＜第１の拡張収集装置＞
以下、拡張キャプチャ（収集）装置２１００が内蔵されるか、拡張システムの一部を形成しているデジタルスチルカメラを例にして、第１の拡張収集装置について説明する。本実施形態においてコンテント収集部２１０１はこの種のカメラの一般的構成と同じく光学レンズシステム及びＣＣＤを有し、この他に測距センサ、光強度測定装置、フォーカス検出装置及び位置検出装置（例えばグローバルポジショニングシステム：ＧＰＳ）を含むことができる。これらのセンサ及び装置はイメージデータ及び撮影場所などのメタデータを収集する。ディジタルスチルカメラのユーザインタフェース部２１０５は液晶ディスプレイ（ＬＣＤ）であり、好ましくはユーザーインタフェース部２１０５はデータ入力装置（例えば、ボタン）を含む。通信ポート２１０６は１つかそれ以上の必要なテンプレートを汎用コンピュータ２１０７からアップロードし、メモリ記憶部２１０３に記憶するために用いられる。
【００８６】
図１９はデジタルスチルカメラによって被写体２２０１の写真を撮っている状態を示す模式図である。デジタルスチルカメラ２２０２はその一部に、記録される画像が表示されるＬＣＤ２２０３を有する。ユーザは記録する画像をシャッターボタン２２０６の押下によって選択するか、モードテンプレートボタン２２０４の押下によってテンプレートモードの入力を行うことができる。ユーザは２度目にモードテンプレートボタン２２０４を押下することによってテンプレートモードから出ることができる。
【００８７】
図２０に示すように、テンプレートボタン２２０４を押下するとＬＣＤ２２０３に使用可能なテンプレート２３０１のリストが表示される。本実施形態においては、テンプレートはランドスケープテンプレート、パンショットテンプレート及びポートレートテンプレートを含み、前述のように前もってアップロードされている。セレクタボタン２２０５は、有効な選択肢の間をナビゲートし、希望のテンプレートを選択するのに使用される。ＬＣＤ２２０３に表示された選択アロー２３０２は現在のテンプレートモード選択を示す。
【００８８】
テンプレートの選択、たとえばポートレートテンプレートの選択がなされると、ＬＣＤに表示された画像が処理部２１０４で解析される。解析結果はテンプレートがユーザをガイドするのに使用する。本実施形態において、被写体２２０１が中心に位置し、かつ表示装置の可視領域（すなわち、記録される画像）の少なくとも所定パーセンテージを占めるような最良の結果を得るためにはポートレートテンプレートが必要である。
【００８９】
図２１はポートレートテンプレートが選択された後のＬＣＤ２２０３を示す図である。ポジショニングインジケータ２４０１、ラインアップマーカ２４０４及びセンターマーカ２４０５を含むいろいろな要素が液晶表示装置２２０３に現れる。これらの要素はユーザがシャッターボタン２２０６を押すことによって画像の記録を取ろうとした場合に、写真（または記録された画像）の上に現れない。ポジショニングインジケータ２４０１、ラインアップマーカ２４０４およびセンターマーカ２４０５の現況の詳細が生成され、後の使用または評価のために、対応する画像に関連するメタデータとして含まれることが好ましい。例えば、ユーザが関連するマーカ２４０４，２４０５及び／またはポジショニングインジケータ２４０１を正しく整列しておらず、コンテント収集ユニットが希望するよりも大きなビューの画像収集が可能である場合、マーカ２４０４，２４０５及びポジショニングインジケータ２４０１の情報に関する、メタデータの情報部分を画像のより好ましい印刷範囲の評価に用いることができる。そして所定の印刷範囲に合わせて画像の端を切り落としてもよい。
【００９０】
好ましくは、画像及び対応するメタデータは、必要なら所定の印刷範囲に切り揃えて出力装置（例えば印刷装置）に出力する前にまず画像編集に使用される汎用コンピュータにダウンロードされる。
【００９１】
ポジショニングインジケータ２４０１はインジケータ上のペリフェラルアロー２４０２を点滅させてユーザに異なる方位、例えばカメラ２２０２の垂直方位の使用を、アドバイスしてもよい。ポジショニングインジケータはその他にもズームのアドバイスをユーザに行う。ズームインアロー２４０３は画像の被写体２２０１のズームインが望ましいことを示す。従って、ズームアウトが望ましいことを示すためにズームアウトアロー２４０６を点滅させてもよい。その代わりに、被写体２２０１かカメラ２２０２を共に近づけるか遠ざけて、ズームインやズームアウトとそれぞれ実質的に同等の効果を達成してもよい。
【００９２】
センターマーカ２４０５及びラインアップマーカ２４０４は、画像のコンテント情報の分析及び画像上の被写体２２０１のおおよその位置を実質的に検出することが可能な拡張キャプチャ装置２１００を有する第１の拡張収集装置のバリエーションを提供するために設けられている。
【００９３】
画像の被写体２２０１の大まかな位置検出にコンテント情報の解析を行う必要はなく、他の方法によって行うことができる。例えば、ユーザが画像のどの部分を見ているのかを、観察される画像に関するユーザの瞳孔の相対位置から検出し、画像中の被写体位置決定を行うことができる。
【００９４】
第１の拡張収集装置のこのバリエーションにおいて、センターマーカ２４０５は可視領域の中心に、ラインアップマーカ２４０４は検出された被写体の中心に配置される。ラインアップマーカは被写体に追従しようとするので、ユーザはカメラを動かすことによりラインアップマーカ２４０４とセンターマーカ２４０５が並ぶように操作することができる。
【００９５】
図２２に示されるように、ユーザはペリフェラルアロー２４０２の点滅が止み、正しい方向を表すようにカメラ２２０２を希望する垂直方向に回すことが好ましい。この段階では、図２２に示すように、マーカ２４０４と２４０５を整列させる必要はなく、被写体２２０１は画像の所定部分を占めておらず、またズームインアロー２４０３が依然としてズームインが望まれることを示している。
【００９６】
図２３は、ユーザが正しく画像の被写体２２０１を中心に配置し、ズームインを行ない、ポジションインジケータの全てのアローが消え、好ましくは整列のインジケータ２６０２がＬＣＤ２２０３に表示された結果を示す。ズームや方向付けに関する他のいかなる望ましい変更も表示しないが、ポジションインジケータは選択されたテンプレートに従って画像（写真）の構成要素がズーム及び方位について正しいのか、また現在の画像（写真）が記録に推奨されるかについての示唆に富む。そして、ユーザはシャッターボタン２２０６をアクティベートして画像を記録する。
【００９７】
図２４は、画像の被写体が１つより多い要素から構成されている場合の、ポートレートテンプレートモードにおけるデジタルスチルカメラ操作例を示す。テンプレートは画像の視覚領域に対する構成物の最良なはめ込みを最適化しようとする。好ましくは、構成要素を含む領域ボックスの幾何学的中心は整列マーカ２７０２の場所として使用され、また画像の可視領域（すなわち、可視表示領域２２０３）の幾何学的中心はセンターマーカ２７０１として使用される。さらに、構成要素の一つが部分的に可視表示領域２２０３の外に出ているので、ポジションインジケータがズームアウトアロー２４０６を点灯させてズームアウトが望ましいことを表示する。
【００９８】
実質的に類似の説明が、一般に風景写真に使用されるランドスケープテンプレート及びパノラマ写真に用いられるパンショットテンプレートについても適用される。簡潔で明快な説明のために、テンプレートはオリエンテーション、ズーム等、少ない数の機能を提供するものとして説明されてきたが、テンプレートはユーザにアドバイスを行うこともできる。しかしながら、テンプレートはこれらに限定される物ではない。例えば、１つかそれ以上のテンプレートは、写真に対する望ましいライティング、写真スタジオタイプ設定におけるライティングの最良アングル及び写真の構図を向上するためのカメラフォーカスのアドバイスを含む機能についてユーザにアドバイスを提供するようにしても良い。カメラフォーカスのアドバイスは、バックグラウンドフォーカスとフォアグラウンドフォーカスを達成するカメラセッティングを提案する方法で行うことができる。
【００９９】
テンプレートが有効なコンテント情報からユーザに与えようとするアドバイスは、当業者が通常なし得るアドバイスであってもよい。例えば、一般に高品質の写真や予め定めた形式の写真を制作することに不慣れなアマチュア写真家へのガイダンスを提供するためのアドバイスであって、好ましい方位付け、最良のズーム及び被写体の配置のアドバイスなどを挙げることができる。
【０１００】
前述したとおり、テンプレートはプログラミング言語を使用してコードにインプリメントされる。後述する添付Ａにポートレートテンプレートの疑似コードが含まれている。疑似コードのメインルーチンはデジタルスチルカメラの起動中に動作し、有効なテンプレート機能が最適かどうかを検出するために使用される種々のコンディションをチェックするため、ビューファインダー（ＬＣＤ２２０３）の画像を解析する。
【０１０１】
ユーザがテンプレートモード選択ボタン２２０４を押すと、有効なテンプレートが表示される。ユーザは希望するテンプレートを選択ボタン２２０５により選択することができ、そしてテンプレート選択モードを終了する。選択を行う際、補足Ａに含まれる疑似コードで表されるようなソフトウェアルーチンがビューファインダーの画像のズーム及びオリエンテーションに必要な種々のコンディションのチェックを行う。
【０１０２】
SetUpForTemplateサブルーチンは画像が整列されているときに真の論理値を返し、メインプログラムのVoidMain()が画像（ピクチャ）が整列されているというフラグを立てる。
【０１０３】
前述したように、メタデータのような付加情報を記録し、画像に対応付けすることができる。この付加情報の例としては、日付、時間、使用されたズーム、シャッタースピード、絞り、静止画が人物のポートレートであるか、画像の中の人物の数、検出された全てのそれぞれの顔の中心はもちろん、検出された全ての顔の幾何学中心をも含む。
【０１０４】
＜第２の拡張収集装置＞
以下に述べるように、第２の拡張収集装置は拡張収集（キャプチャ）システム２１０４がビデオカメラの一部を構成することを除き、第１の拡張収集装置と同一である。テンプレートはビデオクリップのズーム、パン、合成及び演出（映画演出に関して）のアドバイスを提供できるように供給される。例えば、ビデオカメラへのアップロードのための、複数のアップロード可能なテンプレートをユーザに提供することができる。このテンプレートには結婚式シーンの演出用、不動産業者の住宅販売プロモーションクリップ用、田舎の休日風景用（ビデオに録画することが推薦される世界の風景や名所の提案を含んでもよい）テンプレートを含む。
【０１０５】
具体的には、ユーザが休暇にエジプトへ拡張収集システム２１０４を有するビデオカメラを持って出かけてもよい。ユーザがエジプトにいる間に撮影されるビデオ録画の要素を拡張するため、北アフリカの好ましい風景のテンプレートを拡張収集装置２１０４にアップロードすることができる。ここで説明される他の機能の実行以外に、テンプレートが更に、録画する価値において推薦される風景や名所（例えば、ピラミッド）の提案を行っても良い。
【０１０６】
更に別の例として、結婚式のシーンを演出するためのアップロード可能なテンプレート（以下、ウエディングテンプレートとする）のために作成されたリファレンスがある。親戚の結婚式のビデオ記録を作りたいと希望するユーザは、汎用コンピュータにウエディングテンプレートを呼び出して、それを拡張収集システム２１０４を有するビデオカメラに通信ポート２１０６を介してアップロードする。ウエディングテンプレートは（コンパイルされた）コードとしてメモり記憶手段２１０３に記憶される。一方、アップロード可能なテンプレートに対する一般的な機能は前もって、例えばビデオカメラ−拡張収集装置の製造者によってＲＯＭ２１０８に記憶されている。一般機能には、有効な最小及び最大ズーム設定、可能な絞り設定及び大半のビデオカメラ用テンプレートに共通と思われる他の機能を含む。
【０１０７】
ユーザがビデオレコーダーを用いてウエディングシーンを記録し始めると、ウエディングテンプレートが起動され、専門家のビデオ記録に応じたビデオクリップを制作するために録画しなくてはいけない人のショットについてのアドバイスをユーザに与える。例えば、ユーザは希望するウエディングシーンの要素を提供するショットとともに、好ましくは時系列的に、注意を促される。すなわち、花婿が教会に入ってくるショット、花婿が祭壇に立っているショット、花嫁が車から出て教会の階段を進むショット、花嫁が教会の通路を歩くショットなどを撮影するように促される。
【０１０８】
さらに、ユーザはズーミング、パニング、ライティング及び音声といったビデオ技術に関してもアドバイスされる。例えば、花嫁が教会の通路を歩いているショットを撮影している時、もしユーザが被写体を早くズームしすぎていれば、ビデオカメラのビューファインダに”速度を落とせ”というインジケータが点灯し、逆にズームが遅すぎればズームのスピードを上げるよう同様に知らされる。
【０１０９】
好ましくは、ビューファインダー（ＬＣＤ）に表示可能なメニュー駆動型コマンド列を通して、今撮影している場所や部分をユーザーが指示する。ユーザはこれから撮影する、或いは今まで撮影していた部分に印を付ける（選択する）。例えば、ウエディングテンプレートにおいて、ユーザには花嫁が通路を歩いているとき、通路部分を含む、撮影することが推奨される多くの場所や部分の表示が与えられ、ユーザは関連するシーンの撮影前或いは撮影後に通路部分に印を付ける。場所に印を付けたことに関係したデータはメタデータとしてビデオクリップの対応する部分に記録される。例えば、花嫁が教会の通路を歩いている場所であるウエディングシーンの部分（場所）という情報は、メタデータの一部としてウエディングシーンに記録される。録画されたウエディングシーンの編集、好ましくはビデオクリップ編集に適応されたコンピュータのような外部装置による編集において、ウエディングシーンに関連したメタデータはウエディングシーンのいろいろな部分を見分けるために使用される。
【０１１０】
＜第３の拡張収集装置＞
第３の拡張収集装置は拡張収集装置を有する音声ミキシングデスクを参照して説明する。音声ミキシングデスクは音楽コンテントを複数のチャネルから収集し、個々のチャネル及び／又はチャネルグループに対して様々な効果やフィルタを適用し、これらのチャネルを１つかそれ以上の出力チャネルに結合するのに一般的に使用される。出力チャネルはその後聴衆のために録音され、またはアンプの駆動に用いられる。
【０１１１】
簡単のためにもう一度、単純な２チャンネルインターフェース音声ミキシングデスクを説明する。ミキシングデスクは、コントロールの表示、フィルタ、アナライザ、エフェクトユニット及び類似の補助ハードウェアを用いたコンテント解析、ユーザフィードバックの提供及びフィルタ及びエフェクトユニットへのコントロール信号の送信のためのコンピュータによって実現される。
【０１１２】
図２５は、音声ミキシングデスクシステム２８００を示す。音声ミキシングデスクシステム２８００は、音声変換器の様な複数のコンテント収集センサ２８０１と、複数チャネルをサポートできる拡張収集装置２８０２と、汎用コンピュータシステム２８０４と、複数のエフェクトユニット、フィルタバンク及びアナライザ２８１０と、少なくとも１つの出力ポート２８１１を有する出力増幅器２８０９と、コンパクトディスクＣＤプレーヤ、オープンリール及び／又はカセット形式のテープユニットを含む再生装置２８１２を有している。
【０１１３】
センサ２８０１及び他の周辺機器２８１２で収集された情報は、選択されたテンプレートに従って収集情報を処理する拡張収集装置２８０２へ送られる。所望のテンプレートコレクションは（総括的な）データリンク２８０５によって、拡張収集装置２８０２のへアップロードされ、装置２８０２のメモリ記憶部に記憶される。コンテント収集センサの形式は実施毎に変わり得るが、拡張収集装置２８０２は図１８と実質的に同じ構成を有する。本実施形態においては、図１８におけるユーザインタフェース部を取り除き、替わりに外部表示装置２８１３、キーボート２８１４及びマウス装置２８１６を設けることが好ましい。
【０１１４】
センサ２８０１及び他の周辺機器２８１２で収集された情報はコンテント情報の一部を形成する。コンテント情報は好ましくは時間、日付、録音期間の長さ、音楽のスタイル及びトラックのタイトルといったメタデータを含む。これらのメタデータは選択されたテンプレートによってコンテント情報に追加されても良い。複数のテンプレートが拡張収集装置２８０２へアップロードされるが、表示装置２８１３に表示されるマウス及び／又はキーボード装置駆動型のメニューの操作によってユーザが選択できるテンプレートは１つである。収集された情報は拡張収集装置２８０２と複数のエフェクトユニット、フィルタバンク及びアナライザ２８１０との間の通信リンク２８０３を介して出力増幅器２８０９及び出力ポート２８１１へ送られ、使用される。コンテント情報は総括的リンク２８０５を通してコンピュータ２８０４へ送られ、コンテント情報に関するデータがユーザのために表示装置２８１３上に表示される。コンテント情報は更に表示すべきデータを抽出する中央処理装置で解析されることが好ましい。あるいは、コンテント情報は拡張収集装置で解析され、関連する表示データのみがリンク２８０５を介してコンピュータ２８０４へ伝送される。
【０１１５】
ユーザは入力装置２８０６及び２８１４を操作して様々な設定をその場で変更することができる。種々の設定は、両方向リンク２８０７を介して、２８１１の情報出力への所望の変更を生成するようためにエフェクト及びフィルタのパラメータを変更するように設計された出力増幅器２８０９及び複数のエフェクトユニット、フィルタバンク及びアナライザ２８１０へコントロール信号として伝送される。双方向リンク２８０７は複数のエフェクトユニット、フィルタバンク、アナライザ２８１０、出力増幅器２８０９及び再生装置２８１２を含む多数の装置が生成した信号及び、必要なら様々な再生装置２８１２の現在のステータス及び／又は再生コンテント情報信号をも伝送することが好ましい。
【０１１６】
ユーザはプリファレンス及びデフォルト設定をコンピュータシステム２８０４を通して変更することができる。デフォルト設定は一般に音声ミキシングデスクに接続された構成要素の種類及び／又は組み合わせによって規定される。具体的には、変換器又は再生装置の異なる選択が異なるデフォルト設定に必要とされる。プリファレンス設定は一般に音声ミキシングシステムをユーザの好みの設定にカスタマイズする方法を提供する。プリファレンス及びデフォルト設定は通常コンピュータシステム２８０４の一部である不揮発性メモリに記憶される。
【０１１７】
バンドミックステンプレートを例として、アップロード可能なテンプレートの例を以下に説明する。バンドミックステンプレートは音声ミキシングシステムのユーザに対し、ストリングカルテット、ロックンロールバンド、ヘビーメタルバンド及びクラシックオーケストラ等のバンドスタイルを含む音楽バンドの音声ミキシング（希望があれば録音についても）に関連したアドバイスを提供する。バンドミックステンプレートの選択（及び実行）において、ユーザはバンドの音楽スタイル、場所の大きさ（すなわち、小ホール、野外、スタジオ等）の印付け（選択）を促される。好ましくはユーザは更にどのチャネル（又は対応するセンサ）が楽器の情報（音声信号）の収集に使用されるか及びどのセンサがボーカル用であるのかの指定を促される。そして、バンドミックステンプレートは各チャネルで使用可能なマイクロフォン（センサ）の最良な配置を提供する推奨リストを生成する。
【０１１８】
さらに、ユーザはテストラン（ドライラン）を選択することができる。テストランにおいて、バンドミックステンプレートはコンテント情報を解析してどのセンサが離れた周囲の物体の反響を拾っているかのアドバイス及び解決方法（例えば、マイクロフォンの再割り当て又はセンサの再配置）の推薦もしくは使用可能なエフェクト及びフィルタによる歪みの電気的な補償を試みることもできる。同様に、バンドがドライランを正しい順序で演奏した場合には、音声レベル設定が決定でき、結果として得られるインそうのガイドとして使用することができる。
【０１１９】
センサ２８０１で収集されたデータ（情報）について、拡張収集装置２８０２はコンテント情報の抽出を行い、このコンテント情報をコンピュータ２８０４へ供給する。好ましくは、得られたコンテント情報からコンピュータ２８０４が各チャンネルのセンサに対する、フィルタ（グラフィックイコライゼーション）の調整を行うための補償制御信号を各チャネルに送信する。コンピュータ２８０４はまた、テンプレートの音楽スタイルに適合するように、エフェクトを調整しかつ各チャネルのフィルターをも微調整する制御信号を、バンドの全ての楽器へ送信する。
【０１２０】
例えば、ユーザはボーカルチャネルに高ディストーションレベルを有するヘビーメタル音楽テンプレートを選択することができる。トップエンド周波数域の増強（ブースト）がミキシングデスクのユーザに推奨され、好ましくはこれらの機能はユーザが別の物を希望しない限り自動的に採用される。
【０１２１】
しかしながら、もしユーザがクラシック音楽テンプレートを選択した場合には、全てのチャネルは音声レベル設定ができる限り平坦になるようにバイアスされる。すなわち、楽器の原音にできるだけ近い音が再生されるよう、エフェクトユニット及び／又はフィルタバンクを通じた一切の（特殊な）エフェクトをチャネルに加えない。
【０１２２】
前述したように、テンプレートは技術分野の当業者が通常行うようなアドバイスをユーザに提供する。本実施形態において、技術分野は音声ミキシングの分野であり、例えばエコー、反響、残響、テンポに関するアドバイスは少なくともサウンドエンジニアが録音及びミキシングの際に行うであろうアドバイスの少なくともいくつかの要点である。
【０１２３】
第２の拡張収集装置に関連して若干説明したに過ぎないが、上述の各装置に適用可能なテンプレートの好ましい任意付加機能としては、予め定めたイベント又はアクションに関してユーザが印付け（選択）可能なイベント又はアクションのチェックリストの提供がある。具体的には、上述のデジタルスチルカメラの例において、予め定めたショットのチェックリストがユーザーインタフェースを介して供給される。ユーザがショット（写真）を撮る前（又は後）、ユーザはチェックリストから対応する所定のショットにチェックマークを付ける。
【０１２４】
例えば、デジタルスチルカメラには誕生パーティチェックリストを含む誕生パーティテンプレートがアップロードされているとする。チェックリストはユーザインタフェース上に表示され、例えばチェックリストは以下の様な項目を含むことができる。
・誕生パーティゲームショット
・ろうそくを吹き消すショット
・誕生日を迎えた人のために乾杯をしているショット
【０１２５】
ユーザが誕生パーティの写真を撮り、もし撮影した写真がチェックリストに記載されたショットと一致した場合には、ユーザはチェックリストに記載され、撮影が済んだ所定の写真にチェックマークを付ける（又は選択する）ことができる。チェックリストから選択したショットにチェックマークを付けることによって、メタデータが生成され、写真（又は画像）に関連づけされる。このメタデータ情報は例えば誕生パーティのアルバムを構成するために写真（又は画像）が汎用コンピュータにダウンロードされる場合に利用することができる。
【０１２６】
写真のアルバムを構成する際、どの写真が良い構成を形成するかの決定においてユーザをアシストすることができるテンプレートのそれぞれについて、複数のチェックリストを提供することができる。
【０１２７】
サウンドミキシングデスクの例において、音楽に対する実質的に類似のチェックリストを提供することができる。すなわち、ユーザがリストに記載されたイベント（例えば、音楽的な断片（musical piece)やミキシング特性）が演奏される毎にチェックリストにチェックマークを付ける。さらに、対応するメタデータが生成され、イベントに関連づけされる。対応するメタデータは、イベントの単純な識別子でも、後で行われるイベントの操作や編集に望まれるであろうイベントのもっと複雑な記述であってもよい。
【０１２８】
図２６は、ユーザインタフェースディスプレイ（例えば図１９に示したデジタルスチルカメラのビューファインダ２２０３や、前述した第２の拡張収集装置のビデオカメラのビューファインダ）に表示されたチェックリストの別の例を示す。チェックリスト２９００は第１及び／又は第２の拡張収集装置の説明において記述した拡張収集装置２１００にアップロード（ロード）されることができる不動産テンプレートに関連付けされたものである。不動産テンプレートはデジタルスチルカメラ又はビデオカメラのユーザ（一般に不動産販売員）に、合成及び／又は良いプレゼンテーションを構成するのに必要な画像についてアドバイスする。不動産テンプレートは任意の付加機能として、記録が推奨される写真（又はビデオカメラの場合はビデオクリップ）の簡単な説明を提供する説明フィールド２９０１、対応する記録された画像（写真）のそれぞれをリストから消すためのチェックリストインジケーターフィールド２９０２及び既に記録された推奨される画像を示すためのチェックリストマーカ２９０３を含む不動産チェックリスト２９００を提供することができる。
【０１２９】
チェックリストマーカ２９０３は好ましくは推奨された画像が記録されたときに、有効なユーザ入力インタフェース（例えば、ボタン）を通してユーザが加えるのが一般的である。不動産テンプレートはチェックリストの項目が消されると、メタデータを生成してチェックリストの対応する画像に関連づける。メタデータは関連づけされた対応画像の符号化された説明であることが好ましい。さらに、メタデータは時間、日付及び場所といった特性を含むことができる。
【０１３０】
図２７は、拡張収集装置２１０００から、アップロード可能なテンプレート２１００２を有するコンピュータシステム２１００１及び出力装置２１００３に続く情報の流れを示すブロック図である。複数のテンプレート２１００２が双方向通信リンク２１００５を介して、一般にテンプレートのセット２１００２を有するコンピュータシステム２１００１からアップロードされる。
【０１３１】
コンテント情報２１００６は入力装置２１０００で収集され、メタデータ２１００７は少なくとも１つのアップロードされたテンプレート２１００４によって生成される。生成されたメタデータ２１００７は、チェックリストへの応答によって決定されるコンテント情報及び／又はコンテント情報の分析によってテンプレートが決定するコンテント情報の説明と同じくらい単純でよい。生成されたメタデータ２１００７はテンプレートによってコンテント情報の対応する部分又は全てに関連づけされる。例えば、不動産テンプレートの場合、そのコンテント情報に不動産テンプレートが提案する画像の推奨リスト２９００からの画像を有するであろう。画像に対して生成される対応するメタデータは、オリエンテーション、平均色、平均輝度、支配的な色、所定のパターン、空間の統計学的分析、コンテント情報で区別される時間又は周波数ドメイン、色を含むユーザプリファレンス、情報の配置及びハードウェア要素の現在のステータス、様々な外部装置にダウンロードするための情報の所定フォーマットを含む装置固有の特徴を含む要点に基づいて作成することができる。
【０１３２】
コンテント情報及びメタデータを含む拡張収集情報は外部装置にダウンロードされる。本実施形態において、外部装置は先述したように汎用コンピュータシステム２１００１である。
【０１３３】
しかしながら、外部装置は拡張収集情報の受信専用の外部装置であってもよい。このような専用装置は、それぞれが収集情報の受信、所定のプリファレンスに従った情報の出力又は記憶の提供に適合された、プリンタ装置、表示装置（例えば、陰極管（ＣＲＴ）、液晶表示装置（ＬＣＤ））、電子複写装置及び／又は音響記録装置を含む。外部装置としては例えば最終的な出力を構成する後段において使用される拡張収集情報の記録及び記憶のためのビデオカセットテープでもよい。
【０１３４】
アップロードされたテンプレート２１００４は拡張収集情報を所定の設定に従ってフォーマットかつ配列するか、拡張収集情報を拡張収集情報がダウンロードされる外部装置の種類に応じてフォーマットすることが好ましい。
【０１３５】
拡張収集情報の処理はマイクロプロセッサのような処理装置によって読み込み及び実行が可能な、コンピュータが読むことのできる記録媒体に記録されたソフトウェアで実施されてもよい。記録媒体としては、ハードディスク及び／又はフロッピーディスクドライブ、磁気テープ、ＣＤ−ＲＯＭ、光磁気ディスク、メモリカード、読み出し専用メモリ等の磁気及び光学記憶メモリを含む。更に、ソフトウェアはネットワークシステム又はインターネットを通じてアクセス可能な別のコンピュータシステムにあっても良い。
【０１３６】
本発明の実施に使用可能な拡張収集装置の例としては、以下のデジタルビデオカムコーダ装置を含む。
ソニー ＶＸ−１０００ （ソニー株式会社製）
ソニー ＰＣ−１０ （ソニー株式会社製）
パナソニック ＮＶ−ＤＳ５ （松下電器産業株式会社製）
キャノン ＭＶ１ （キャノン株式会社製）
キャノン ＸＬ１ （キャノン株式会社製）
【０１３７】
これらの装置は記録された音声及び画像情報に関連したメタデータの限られたセットの生成を提供する。そのようなメタデータは一般に情報の基本的な識別に関連したものである。更に進んだ装置としては、
【０１３８】
コダック ＤＣ２２０，２６０ （米コダック社製）
ミノルタ Dimage EX Zoom 1500 （ミノルタ株式会社製）
を含む。これらの装置は静止画デジタルカメラであり高レベルのメタデータ、例えば図２６を用いて説明した不動産に関する実施形態に対応したメタデータを生成するであろう。
【０１３９】
以上の説明は本発明のいくつかの実施形態を説明したに過ぎないが、それらを修正及び／又は変更したものは本発明の範囲及び精神に含まれる。
【０１４０】
【図面の簡単な説明】
【図１】 本発明の好ましい実施形態に係る装置の概要を示すブロック図。
【図２】 好ましい実施形態に従って生成されたマルチメディア要素の入力スクリプトのサンプルを示す図。
【図３】 好ましい実施形態におけるビート同期処理のフローチャート。
【図４】 好ましい実施形態におけるトランジション生成処理のフローチャート。
【図５】 好ましい実施形態における編集処理の概要を示すフローチャート。
【図６】 図５の編集処理の一部をより詳細に説明するフローチャート。
【図７】 好ましい実施形態におけるマルチメディア要素間におけるビート同期処理の例を示す図。
【図８】 好ましい実施形態における音声レベル編集例を示す図。
【図９】 画像要素の一部を構成するズームシーケンスの例を示す図。
【図１０】 画像要素の一部を構成するパンシーケンスの例を示す図。
【図１１】 図１０のパンシーケンスをつぎあわせから得られる画像を示す図。
【図１２】 図９におけるズームシーケンスの要素から得られた代表的静止画を示す図。
【図１３】 表示装置に表示されたときの動きを示す２つのビデオシーケンスの動きベクトルを示す図。
【図１４】 ビデオシーケンス（セグメント）間のトランジション例を示す図。
【図１５】 好ましい実施形態に従って選択された色を有するオーバレイ画像”ＴＩＴＬＥ”と、画像の例を示す図。
【図１６】 画像から色コンテント情報を抽出するための適当な対象領域の例を示す図。
【図１７】 好ましい実施形態の実行に使用されるコンピュータシステムを示すブロック図。
【図１８】 拡張収集装置の概要を示すブロック図。
【図１９】 図１８の拡張収集装置を有するデジタルスチルカメラを示す図。
【図２０】 図１９のデジタルスチルカメラのテンプレートセクションモードを示す図。
【図２１】 図１９のデジタルスチルカメラの特徴を構成するオリエンテーションガイダンス及び整列を示す図。
【図２２】 図１９のデジタルカメラの他の特徴を構成するズームガイダンスを示す図。
【図２３】 拡張画像構成の例を示す図。
【図２４】 画像に一人より多い人間がいる場合のポートレートにおけるビューファインダの表示例を示す図。
【図２５】 他の実施形態に係る拡張収集装置を示すブロック図。
【図２６】 テンプレートに関連づけされたチェックリストの例を示す図。
【図２７】 拡張収集装置における情報の流れを示すブロック図。
【図２８】 収集された情報の拡張処理を示すフローチャート。
Claims (46)
- 音声及び画像要素を有するソースメディアから動的メディアを形成する電算化された方法であって、
（ａ） 前記ソースメディアを受信するステップと、
（ｂ） 前記ソースメディアの少なくとも１つの部分について、前記要素それぞれの持続時間を含む、制作規則の所定のセットを用いて前記要素の少なくとも１つを分析し、そこから前記ソースメディアの対応する部分に関連したコンテント情報を抽出するステップと、
（ｃ） 対応する前記要素に適用可能な制作規則の限定セットを決定するために前記部分の少なくとも１つのコンテント情報を調べるステップと、
（ｄ） 前記対応する要素を変更するように、前記制作規則の少なくとも１つを対応する前記要素の１つに選択的に適用するステップと、
（ｅ） 少なくとも前記変更された要素を他の前記メディアと結合し、前記メディア制作物を形成するステップと、
（ｆ） 他の音声及び画像要素の希望する持続時間と釣り合うように、前記音声及び画像要素の少なくとも１つの持続時間を修正するステップとを有する方法において、
前記ソースメディアが前記変更された音声要素と同時に再生されることが望まれる画像要素を含み、
（ｇ） 前記持続時間が変更された音声要素と同時に再生されることが望まれる画像要素の持続時間をトリミングするステップ、
をさらに有することを特徴とする電算化された方法。 - ステップ（ｂ）、（ｃ）及び（ｅ）が実質的に自動的に処理され、ステップ（ｄ）においてユーザが前記一つの規則の選択と、選択された規則が適用される前記一つの要素の対応を示すことを特徴とする請求項１記載の電算化された方法。
- ステップ（ｃ）が、選択ステップ（ｄ）を予想して、前記少なくとも１つの要素と、対応する前記規則の限定されたセットをユーザに表示するステップを含むことを特徴とする請求項２記載の電算化された方法。
- 前記関連したコンテント情報が前記音声要素のビートを含むと共に、前記方法が、前記ビートに従って前記音声要素の持続時間を変更するステップを含むことを特徴とする請求項１記載の電算化された方法。
- 前記変更された持続時間が前記音声要素のビート期間の倍数であることを特徴とする請求項４記載の電算化された方法。
- 前記変更された音声要素の持続時間と関連した前記画像要素の持続時間が、前記変更された音声要素の持続時間と一致するようにトリミングされることを特徴とする請求項１記載の電算化された方法。
- 前記画像要素が連続したフレームから構成され、前記トリミングするステップが、前記フレームの選択されたフレームを省略するステップを有することを特徴とする請求項６記載の電算化された方法。
- 前記フレームの連続が、再生されるべき個々の場面を有し、前記トリミングするステップが、前記場面の少なくとも１つの持続時間を、前記場面間のトランジションが前記ビート期間の倍数と一致するように変更することを特徴とする請求項７記載の電算化された方法。
- 前記フレームの連続を省略規則のセットに従って調べ、前記連続したフレームからどのフレームを省略するのがもっとも好ましいかを決定し、決定されたフレームを省略するステップを有することを特徴とする請求項６記載の電算化された方法。
- 前記省略規則のセットが、もし省略された場合に前記メディア制作物の画質に与える影響がもっとも小さくなるようなフレームを定めるように決められていることを特徴とする請求項９記載の電算化された方法。
- 前記省略規則が、
（ｉ） 他の前記フレームに関して動きの影響がもっとも少ないフレームの検出と、
（ii） 他のフレームを除去するための、パンまたはズームの中央に近いフレームの検出と、
（iii） 他のフレームに比較してフォーカスが小さくされたフレームを検出し、フォーカスの小さくされたフレームを省略すること
を含むことを特徴とする請求項１０記載の電算化された方法。 - 前記画像要素に適合させるために前記音声要素の再生のためのビート期間を変更するステップをさらに有することを特徴とする請求項７記載の電算化された方法。
- 前記音声要素の持続時間が画像要素の場面間のトランジションに従って修正され、前記トランジションがバット編集、ワイプ及びフェードを含むことを特徴とする請求項７記載の電算化された方法。
- 前記音声要素に対応した音声出力レベルを修正するステップをさらに含むことを特徴とする請求項１記載の電算化された方法。
- 前記音声要素の前記コンテント情報が前記メディア制作物における代用のための望ましい特性を有する代替音声要素の選択に使用されることを特徴とする請求項１記載の電算化された方法。
- 前記特性が平均音量、ビート期間及び優勢な周波数からなるグループから選択されることを特徴とする請求項１５記載の電算化された方法。
- 前記画像要素の前記コンテント情報が前記画像要素の創作時に前記画像要素と共に符号化されたメタデータを含むことを特徴とする請求項１記載の電算化された方法。
- 前記コンテント情報が前記画像要素の中に存在する画像に関するズームデータを含むことを特徴とする請求項１７記載の電算化された方法。
- 前記コンテント情報を含む前記画像要素の特性に基づき前記画像要素を代表する画像を印刷するステップをさらに含み、前記印刷された画像が前記ユーザに対して前記画像要素の重要部分の目印を形成することを特徴とする請求項１記載の電算化された方法。
- 前記画像要素が前記画像要素の色及び／又は輝度に関連したコンテント情報を含むことを特徴とする請求項１記載の電算化された方法。
- 色コンテント情報に基づき、画像要素からユーザ生成画像要素を生成するステップを更に有することを特徴とする請求項２０記載の電算化された方法。
- 前記ユーザ生成画像要素が少なくとも１つのテクスチャ要素とグラフィックオブジェクトを有することを特徴とする請求項２１記載の電算化された方法。
- 前記コンテント情報が前記ソースメディアの創作とともに生成されることを特徴とする請求項１記載の電算化された方法。
- 前記ステップ（ｂ）がステップ（ａ）と実質的に同時に実行されることを特徴とする請求項１記載の電算化された方法。
- 前記コンテント情報が前記画像要素の隣接する部分間におけるワイプ又はディゾルブの決定に用いられることを特徴とする請求項２０記載の電算化された方法。
- 請求項１乃至請求項２５のいずれか１項に記載の方法をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
- 音声及び画像要素を含むソースメディアを受信するためのメディア入力配列と、
前記ソースメディアから前記ソースメディアの対応する要素に関連づけされたコンテント情報を抽出するために、前記ソースメディアを解析する解析手段と、
対応する前記要素に適用可能な、前記要素のそれぞれの持続時間を含む制作規則の限定されたセットを決定するため、少なくとも１つの前記要素のコンテント情報を調べる調査手段と、
前記システムのユーザに、少なくとも前記制作規則のセット及び対応する前記要素の表現を表示し、対応する前記要素に適用すべく前記規則から１つを選択するユーザ入力命令を受信する命令手段と、
前記対応する１つの要素を変更するように、前記選択された規則を対応する前記要素の１つに適用する修正手段と、
少なくとも１つの前記変更された要素と他の前記メディアとを結合し、前記メディア制作物を形成する結合手段とを有し、
前記修正手段は、前記音声及び画像要素の少なくとも１つの持続時間が前記音声及び画像要素の他の一方の持続時間に合致するように修正するとともに、前記ソースメディアに含まれる、前記持続時間が変更された音声要素と同時に再生されることが望まれる画像要素の持続時間をトリミングすることを特徴とするメディア制作システム。 - 前記関連づけされたコンテント情報が前記音声要素のビートを含むとともに、前記修正手段が前記ビートに従って前記音声要素の持続時間を変更するように動作することを特徴とする請求項２７記載のメディア制作システム。
- 前記変更された持続時間が前記音声要素のビート期間の倍数であることを特徴とする請求項２８記載のメディア制作システム。
- 前記持続時間が変更された音声要素と同時に再生されることが望まれる画像要素の持続時間が、前記持続時間が変更された音声要素の持続時間と一致するようにトリミングされることを特徴とする請求項２７記載のメディア制作システム。
- 前記画像要素が連続したフレームから構成され、前記トリミングが前記フレームの選択されたフレームの省略を有することを特徴とする請求項３０記載のメディア制作システム。
- 前記フレームの連続が再生されるべき個々の場面を有し、前記トリミングが前記場面の少なくとも１つの持続時間を、前記場面間のトランジションが前記ビート期間の倍数と一致するように変更することを特徴とする請求項３１記載のメディア制作システム。
- 前記調査手段が、前記フレームの連続を省略規則のセットに従って調べ、前記連続するフレームからどのフレームを省略するのがもっとも好ましいかを決定し、前記修正手段が前記決定されたフレームのフレームをユーザに選択されたものとして省略するように動作可能であることを特徴とする請求項３１記載のメディア制作システム。
- 前記省略規則のセットが、もし除去された場合に前記メディア制作物の画質に与える影響がもっとも小さくなるようなフレームを定めるように決められていることを特徴とする請求項３３記載のメディア制作システム。
- 前記省略規則が、
（ｉ） 他の前記フレームに関して動きの影響がもっとも少ないフレームの検出
（ii） 他のフレームを除去するための、パンまたはズームの中央に近いフレームの検出
（iii） 他のフレームに比較してフォーカスが小さくされたフレームを検出し、フォーカスの小さくされたフレームを省略すること
を含むことを特徴とする請求項３３記載のメディア制作システム。 - 前記修正手段が、前記画像要素に適合させるために前記音声要素の再生のためのビート期間を変更するように動作可能であることを特徴とする請求項２９記載のメディア制作システム。
- 前記修正手段が、前記音声要素の持続時間を画像要素の場面間のトランジションに従って修正するように動作可能であり、前記トランジションがバット編集、ワイプ及びフェードを含むことを特徴とする請求項２８記載のメディア制作システム。
- 前記修正手段が、前記音声要素に対応した音声出力レベルを修正するように動作可能であることを特徴とする請求項２８記載のメディア制作システム。
- 前記音声要素の前記コンテント情報が前記メディア制作物における代用のための望ましい特性を有する代替音声要素の選択に使用されることを特徴とする請求項２７記載のメディア制作システム。
- 前記特性が平均音量、ビート期間及び優勢な周波数からなるグループから選択されることを特徴とする請求項３９記載のメディア制作システム。
- 前記画像要素の前記コンテント情報が前記画像要素の創作時に前記画像要素と共に符号化されたメタデータを含むことを特徴とする請求項２７記載のメディア制作システム。
- 前記コンテント情報が前記画像要素の中に存在する画像に関するズームデータを含むことを特徴とする請求項４１記載のメディア制作システム。
- 前記コンテント情報を含む前記画像要素の特性に基づき前記画像要素を代表する画像を印刷する手段をさらに含み、前記印刷された画像が前記ユーザに対して前記画像要素の重要部分の目印を形成することを特徴とする請求項２７記載のメディア制作システム。
- 前記画像要素が前記画像要素の色に関連したコンテント情報を含むことを特徴とする請求項２７記載のメディア制作システム。
- 色コンテント情報に基づき、画像要素からユーザ生成画像要素を生成する手段を更に有することを特徴とする請求項４４記載のメディア制作システム。
- コンピュータを、請求項２７乃至請求項４５のいずれか１項に記載のメディア制作システムの各手段として動作させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AUPO9601A AUPO960197A0 (en) | 1997-10-03 | 1997-10-03 | Multi-media editing method and apparatus |
| AU9601 | 1997-10-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11234560A JPH11234560A (ja) | 1999-08-27 |
| JP4261644B2 true JP4261644B2 (ja) | 2009-04-30 |
Family
ID=3803881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28315398A Expired - Fee Related JP4261644B2 (ja) | 1997-10-03 | 1998-10-05 | マルチメディア編集方法及び装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6686970B1 (ja) |
| JP (1) | JP4261644B2 (ja) |
| AU (1) | AUPO960197A0 (ja) |
Families Citing this family (119)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6786420B1 (en) | 1997-07-15 | 2004-09-07 | Silverbrook Research Pty. Ltd. | Data distribution mechanism in the form of ink dots on cards |
| US6618117B2 (en) | 1997-07-12 | 2003-09-09 | Silverbrook Research Pty Ltd | Image sensing apparatus including a microcontroller |
| US6624848B1 (en) | 1997-07-15 | 2003-09-23 | Silverbrook Research Pty Ltd | Cascading image modification using multiple digital cameras incorporating image processing |
| US7110024B1 (en) | 1997-07-15 | 2006-09-19 | Silverbrook Research Pty Ltd | Digital camera system having motion deblurring means |
| US6690419B1 (en) | 1997-07-15 | 2004-02-10 | Silverbrook Research Pty Ltd | Utilising eye detection methods for image processing in a digital image camera |
| US6948794B2 (en) | 1997-07-15 | 2005-09-27 | Silverbrook Reserach Pty Ltd | Printhead re-capping assembly for a print and demand digital camera system |
| US6879341B1 (en) | 1997-07-15 | 2005-04-12 | Silverbrook Research Pty Ltd | Digital camera system containing a VLIW vector processor |
| US6486908B1 (en) * | 1998-05-27 | 2002-11-26 | Industrial Technology Research Institute | Image-based method and system for building spherical panoramas |
| AUPP702098A0 (en) | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART73) |
| JP2000276387A (ja) * | 1999-03-23 | 2000-10-06 | Toshiba Corp | メタデータ登録方法および装置、データサーバ装置、並びにメタデータ登録用プログラムを記憶した記憶媒体 |
| AUPQ056099A0 (en) * | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
| US6831704B1 (en) * | 1999-07-30 | 2004-12-14 | Grass Valley (U.S.) Inc. | Linking external devices to switcher transitions |
| US7050110B1 (en) * | 1999-10-29 | 2006-05-23 | Intel Corporation | Method and system for generating annotations video |
| WO2001045391A1 (en) | 1999-12-16 | 2001-06-21 | Kent Ridge Digital Labs | System and method for video production |
| US6976229B1 (en) * | 1999-12-16 | 2005-12-13 | Ricoh Co., Ltd. | Method and apparatus for storytelling with digital photographs |
| US6771823B2 (en) * | 2000-03-21 | 2004-08-03 | Nippon Hoso Kyokai | Coding and decoding of moving pictures based on sprite coding |
| US8171509B1 (en) | 2000-04-07 | 2012-05-01 | Virage, Inc. | System and method for applying a database to video multimedia |
| US7962948B1 (en) * | 2000-04-07 | 2011-06-14 | Virage, Inc. | Video-enabled community building |
| US7260564B1 (en) * | 2000-04-07 | 2007-08-21 | Virage, Inc. | Network video guide and spidering |
| US8296801B2 (en) * | 2000-04-10 | 2012-10-23 | Sony Corporation | Asset management system and asset management method |
| US7054508B2 (en) | 2000-08-03 | 2006-05-30 | Canon Kabushiki Kaisha | Data editing apparatus and method |
| US7489853B2 (en) * | 2000-08-29 | 2009-02-10 | Panasonic Corporation | Auxiliary information generation method, auxiliary information generation apparatus, video data generation method, video data playback method, video data playback apparatus, and data storage medium |
| US7978219B1 (en) | 2000-08-30 | 2011-07-12 | Kevin Reid Imes | Device, network, server, and methods for providing digital images and associated processing information |
| US8326352B1 (en) | 2000-09-06 | 2012-12-04 | Kevin Reid Imes | Device, network, server, and methods for providing service requests for wireless communication devices |
| US7028253B1 (en) * | 2000-10-10 | 2006-04-11 | Eastman Kodak Company | Agent for integrated annotation and retrieval of images |
| FI109391B (fi) * | 2000-12-08 | 2002-07-15 | Nokia Corp | Menetelmä ja laite tiedonsiirtoon |
| US7035477B2 (en) * | 2000-12-22 | 2006-04-25 | Hewlett-Packard Development Comapny, L.P. | Image composition evaluation |
| GB2370438A (en) * | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
| EP1354318A1 (en) * | 2000-12-22 | 2003-10-22 | Muvee Technologies Pte Ltd | System and method for media production |
| JP4696407B2 (ja) | 2001-06-20 | 2011-06-08 | 株式会社ニコン | 商品推奨システムおよび商品推奨方法 |
| DE60235096D1 (de) * | 2001-06-20 | 2010-03-04 | Nikon Corp | Bildeditierung |
| GB0116113D0 (en) * | 2001-06-30 | 2001-08-22 | Hewlett Packard Co | Tilt correction of electronic images |
| US7664342B2 (en) * | 2001-07-23 | 2010-02-16 | Sony Corporation | Information processing system, information processing apparatus, and method |
| GB2378340A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Generation of an image bounded by a frame or of overlapping images |
| US6803925B2 (en) * | 2001-09-06 | 2004-10-12 | Microsoft Corporation | Assembling verbal narration for digital display images |
| US6928613B1 (en) * | 2001-11-30 | 2005-08-09 | Victor Company Of Japan | Organization, selection, and application of video effects according to zones |
| JP3733061B2 (ja) * | 2001-12-18 | 2006-01-11 | 三洋電機株式会社 | 画像記録装置 |
| US7073127B2 (en) * | 2002-07-01 | 2006-07-04 | Arcsoft, Inc. | Video editing GUI with layer view |
| DE10330337A1 (de) * | 2002-09-13 | 2004-03-18 | Thomson Licensing S.A. | Verfahren und Einrichtung zur Erzeugung eines Videoeffektes |
| GB2395853A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Association of metadata derived from facial images |
| JP3987025B2 (ja) * | 2002-12-12 | 2007-10-03 | シャープ株式会社 | マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム |
| US7208672B2 (en) * | 2003-02-19 | 2007-04-24 | Noam Camiel | System and method for structuring and mixing audio tracks |
| JP4243571B2 (ja) * | 2003-08-05 | 2009-03-25 | パナソニック株式会社 | 放送受信装置 |
| US8645336B2 (en) * | 2003-11-07 | 2014-02-04 | Magnaforte, Llc | Digital interactive phrasing system and method |
| US20050102707A1 (en) * | 2003-11-07 | 2005-05-12 | Myles Schnitman | Digital interactive phrasing system and method |
| US20050099499A1 (en) * | 2003-11-10 | 2005-05-12 | Ariel Braunstein | Recyclable, digital one time use video camera |
| US8063990B2 (en) | 2004-01-20 | 2011-11-22 | Thomson Licensing | Television production technique |
| WO2005074255A1 (en) * | 2004-01-20 | 2005-08-11 | Thomson Licensing | Television production technique |
| JP2005267607A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム |
| US20050201724A1 (en) * | 2004-03-12 | 2005-09-15 | Sandy Chu | Method and system for effect addition in a single multimedia clip |
| US20050216464A1 (en) * | 2004-03-27 | 2005-09-29 | Microsoft Corporation | Automated authoring tool and method to facilitate inclusion of maps and other geographical data into travelogues |
| US20060041632A1 (en) * | 2004-08-23 | 2006-02-23 | Microsoft Corporation | System and method to associate content types in a portable communication device |
| US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
| US7812986B2 (en) | 2005-08-23 | 2010-10-12 | Ricoh Co. Ltd. | System and methods for use of voice mail and email in a mixed media environment |
| US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
| US8385589B2 (en) * | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
| US8335789B2 (en) * | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
| US8510283B2 (en) | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
| US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
| US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
| US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
| US8184155B2 (en) * | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
| US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
| US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
| US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
| US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
| US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
| US10192279B1 (en) | 2007-07-11 | 2019-01-29 | Ricoh Co., Ltd. | Indexed document modification sharing with mixed media reality |
| US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
| US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
| US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
| US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
| US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
| US8332401B2 (en) * | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
| US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
| US7400351B2 (en) * | 2004-10-06 | 2008-07-15 | Microsoft Corporation | Creation of image based video using step-images |
| US7818350B2 (en) | 2005-02-28 | 2010-10-19 | Yahoo! Inc. | System and method for creating a collaborative playlist |
| US7372536B2 (en) * | 2005-03-08 | 2008-05-13 | Microsoft Corporation | Photostory 3—automated motion generation |
| US20060204214A1 (en) * | 2005-03-14 | 2006-09-14 | Microsoft Corporation | Picture line audio augmentation |
| US20060209214A1 (en) * | 2005-03-17 | 2006-09-21 | Xerox Corporation | Digital photo album systems and methods |
| US20060212148A1 (en) * | 2005-03-18 | 2006-09-21 | Critech Enterprises Inc. | Systems and methods for the evaluation of artistic performances |
| US20060218488A1 (en) * | 2005-03-28 | 2006-09-28 | Microsoft Corporation | Plug-in architecture for post-authoring activities |
| US20080120312A1 (en) * | 2005-04-07 | 2008-05-22 | Iofy Corporation | System and Method for Creating a New Title that Incorporates a Preexisting Title |
| US7669130B2 (en) * | 2005-04-15 | 2010-02-23 | Apple Inc. | Dynamic real-time playback |
| US7760956B2 (en) | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
| US7844820B2 (en) * | 2005-10-10 | 2010-11-30 | Yahoo! Inc. | Set of metadata for association with a composite media item and tool for creating such set of metadata |
| US10614626B2 (en) * | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
| US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
| US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
| US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
| US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
| US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
| US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
| WO2008049453A1 (en) * | 2006-09-27 | 2008-05-02 | Oticon A/S | Hearing aid with memory space for functional settings and learned settings, and programming method thereof |
| KR100823281B1 (ko) * | 2006-09-29 | 2008-04-21 | 삼성전자주식회사 | 컨텐츠 재생 방법 및 장치 |
| US8347213B2 (en) | 2007-03-02 | 2013-01-01 | Animoto, Inc. | Automatically generating audiovisual works |
| US7975226B2 (en) * | 2007-06-15 | 2011-07-05 | Eastman Kodak Company | Determining presentation effects for a sequence of digital content records |
| US7569761B1 (en) * | 2007-09-21 | 2009-08-04 | Adobe Systems Inc. | Video editing matched to musical beats |
| US8212784B2 (en) * | 2007-12-13 | 2012-07-03 | Microsoft Corporation | Selection and display of media associated with a geographic area based on gesture input |
| WO2010058334A1 (en) * | 2008-11-21 | 2010-05-27 | Koninklijke Philips Electronics N.V. | Merging of a video and still pictures of the same event, based on global motion vectors of this video |
| US7974314B2 (en) * | 2009-01-16 | 2011-07-05 | Microsoft Corporation | Synchronization of multiple data source to a common time base |
| US8026436B2 (en) * | 2009-04-13 | 2011-09-27 | Smartsound Software, Inc. | Method and apparatus for producing audio tracks |
| US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
| US20110022620A1 (en) * | 2009-07-27 | 2011-01-27 | Gemstar Development Corporation | Methods and systems for associating and providing media content of different types which share atrributes |
| US9495697B2 (en) * | 2009-12-10 | 2016-11-15 | Ebay Inc. | Systems and methods for facilitating electronic commerce over a network |
| US20110280476A1 (en) * | 2010-05-13 | 2011-11-17 | Kelly Berger | System and method for automatically laying out photos and coloring design elements within a photo story |
| US8648873B1 (en) * | 2010-11-19 | 2014-02-11 | Exelis, Inc. | Spatially variant dynamic range adjustment for still frames and videos |
| US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
| US8849819B2 (en) * | 2011-08-05 | 2014-09-30 | Deacon Johnson | System and method for controlling and organizing metadata associated with on-line content |
| US9137428B2 (en) | 2012-06-01 | 2015-09-15 | Microsoft Technology Licensing, Llc | Storyboards for capturing images |
| US10609273B2 (en) | 2014-07-31 | 2020-03-31 | Maxell, Ltd. | Image pickup device and method of tracking subject thereof |
| US9286383B1 (en) | 2014-08-28 | 2016-03-15 | Sonic Bloom, LLC | System and method for synchronization of data and audio |
| US9392174B2 (en) | 2014-12-11 | 2016-07-12 | Facebook, Inc. | Systems and methods for time-lapse selection subsequent to capturing media content |
| WO2016098458A1 (ja) * | 2014-12-15 | 2016-06-23 | ソニー株式会社 | 情報処理方法、映像処理装置及びプログラム |
| US11130066B1 (en) | 2015-08-28 | 2021-09-28 | Sonic Bloom, LLC | System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates |
| US9641566B1 (en) | 2016-09-20 | 2017-05-02 | Opentest, Inc. | Methods and systems for instantaneous asynchronous media sharing |
| US10834458B2 (en) * | 2019-03-29 | 2020-11-10 | International Business Machines Corporation | Automated video detection and correction |
| CN112565625A (zh) * | 2019-09-26 | 2021-03-26 | 北京小米移动软件有限公司 | 视频处理方法、装置及介质 |
| CN113727038B (zh) * | 2021-07-28 | 2023-09-05 | 北京达佳互联信息技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5434678A (en) * | 1993-01-11 | 1995-07-18 | Abecassis; Max | Seamless transmission of non-sequential video segments |
| GB2305051B (en) * | 1995-09-08 | 2000-06-21 | Orad Hi Tec Systems Ltd | Method and apparatus for automatic electronic replacement of billboards in a video image |
-
1997
- 1997-10-03 AU AUPO9601A patent/AUPO960197A0/en not_active Abandoned
-
1998
- 1998-10-05 JP JP28315398A patent/JP4261644B2/ja not_active Expired - Fee Related
- 1998-10-05 US US09/165,737 patent/US6686970B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11234560A (ja) | 1999-08-27 |
| AUPO960197A0 (en) | 1997-10-30 |
| US6686970B1 (en) | 2004-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4261644B2 (ja) | マルチメディア編集方法及び装置 | |
| US6606117B1 (en) | Content information gathering apparatus system and method | |
| KR101516850B1 (ko) | 여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기 | |
| US8860865B2 (en) | Assisted video creation utilizing a camera | |
| KR101007508B1 (ko) | 비디오 신호 처리 장치, 비디오 신호 기록 장치, 비디오신호 재생 장치, 비디오 신호 처리 장치의 처리 방법,비디오 신호 기록 장치의 처리 방법, 비디오 신호 재생장치의 처리 방법, 기록 매체 | |
| JP2007529951A (ja) | 動画シーケンス合成用ディジタルビデオシステム | |
| JP2000261752A (ja) | 音声付き画像録画再生装置 | |
| EP2160892B1 (en) | Method and system for facilitating creation of content | |
| JP3708854B2 (ja) | メディア作品制作支援装置及びプログラム | |
| JP2010232814A (ja) | 映像編集プログラムおよび映像編集装置 | |
| JP4343027B2 (ja) | スライドショー作成装置および方法ならびにプログラム | |
| JP2002176613A (ja) | 動画像編集装置、動画像編集方法および記録媒体 | |
| JP2004173083A (ja) | 同時複数映像の蓄積・再生方法及び蓄積・再生装置 | |
| JP3934780B2 (ja) | 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体 | |
| JP2010232813A (ja) | 映像編集プログラムおよび映像編集装置 | |
| US20030122943A1 (en) | Method of storing data, a method of storing and reproducing data and an image-pickup apparatus | |
| AU719329B2 (en) | Multi-media editing method and apparatus | |
| JP3942471B2 (ja) | データ編集方法、データ編集装置、データ記録装置および記録媒体 | |
| JP4692336B2 (ja) | 画像表示システム、画像表示装置及び画像表示方法 | |
| JP4208458B2 (ja) | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 | |
| KR100513100B1 (ko) | 방송 문서 자동 제작 방법 및 그 방법이 기록된 저장 매체 | |
| AU729521B2 (en) | Content information gathering apparatus, system and method | |
| KR20000066726A (ko) | 동영상 음반 자동판매기 | |
| JP2003257158A (ja) | 記録再生装置および記録再生方法 | |
| JP4673916B2 (ja) | 情報処理装置、情報処理方法及び情報処理用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050929 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050929 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050929 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080718 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090123 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |