JP4373467B2 - 編集方法 - Google Patents
編集方法 Download PDFInfo
- Publication number
- JP4373467B2 JP4373467B2 JP2007321285A JP2007321285A JP4373467B2 JP 4373467 B2 JP4373467 B2 JP 4373467B2 JP 2007321285 A JP2007321285 A JP 2007321285A JP 2007321285 A JP2007321285 A JP 2007321285A JP 4373467 B2 JP4373467 B2 JP 4373467B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- video data
- music
- input
- duration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G3/00—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances
- G01G3/18—Temperature-compensating arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G3/00—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances
- G01G3/12—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances wherein the weighing element is in the form of a solid body stressed by pressure or tension during weighing
- G01G3/16—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances wherein the weighing element is in the form of a solid body stressed by pressure or tension during weighing measuring variations of frequency of oscillations of the body
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
1.技術的インフラの課題:カメラからビデオをデジタル化するときの不便さや品質の低下、ハードディス容量の制限、不充分な処理能力、等
2.簡便で低コストの流通機構の欠如:最近まで汎用のフォーマットはビデオテープしかなかったが、重複や流通に関連するコストや時間が多くのアプリケーションの可能性を不可能としてきた。
3.時間や専門知識が、特に編集及び制作前段階において、満足にたる品質の制作物を作るのに要求されていた。
第1及び第2のこれらの問題は現在ではDVカメラ、IEEE 1394(“ファイヤワイヤ”)インターフェース及びワールドワイドウエブ上のビデオ配信によりなくなっている。
インプットされた素材はモーションビデオ、静止画像、音楽、スピーチ、音響効果、アニメ画像及びテキストの少なくともひとつを含む。
メディア記述子のセットは予め形成されるか(例えば、この発明品の外部において)若しくはインポートされたデスクリプタにより、例えば入力された素材と一緒になって補充されることがある。
編集は入力された素材に適用される下記のプロセスの少なくとも1つを含むことがある。そのプロセスとは、(ビデオ/音声)の細分化、選択的導入、順序付け、変形と結合である。これらのプロセスはときとしてユーザの介入により補足される。これは2つのステージよりサポートされている。一つは自動的な構築プロセスに先立つ事前選択ステージであり、他の一つは構築後のタッチアップステージである。
図1はこの発明の実施例の全体構造を示す。
図1を参照にして、実施例の装置に入力される素材は次のものの1又は2以上を含む。
“入力ビデオ”[101]、即ち、デジタルビデオストリームや1以上のデジタルビデオフィルムのようなモーションビデオ。典型的には、カメラやビデオカメラにより捕らえられたビデオのような何ら編集されていない“生の映像”である。これはまたサウンドトラック[102]を含むことができる。
“入力イメージ”[103]、即ち、デジタル画像フィルムのような静止イメージ。これらはモーションビデオの代わりに、若しくはモーションビデオに追加して使用される。
デジタル音声ストリームや1又は2以上のデジタル音声フィルムのような様式内の“入力音楽”[104]。この実施例においては、音楽は出力制作物のためにタイミングとフレームワークを提供する。入力視覚素材は種々の方法で編集される。この編集の方法は音楽による制作物を形成するための音楽の構成に関連する。
入力テキスト及び/又はグラフィックス[105]は典型的にはタイトル、クレジット、サブタイトル等に用いられる。
“スタイル情報”[106]、即ち、装置により使用されるデータや論理であって自動生成プロセスの特性を制御し若しくは影響を与える。換言すれば、“編集スタイル”を指す。ユーザは所定のスタイルの中から選択することができるし、及び/又は個々のスタイルのパラメータにアクセルすることもできる。実施例においては、スタイルは装置の外にあり又は装置の一部をなす。
図1を参照して、装置により形成された“出力制作物”[108]はビデオ、アニメーション、若しくはイメージの時間列のようなものであり;これは、補助的なサウンドトラック、出力サウンドトラック[109]、音楽の形成、スピーチ及び/又は他の音を含むことができる。この出力制作物は入力素材の全部又は一部により形成され、ここにおいて入力素材は以下に説明する1又は2以上のプロセスにより装置により処理される。
“選択的導入”(Selective inclusion)。即ち、ビデオのセグメント、音楽若しくはサウンドトラック、選択されたイメージ、若しくはイメージやビデオフレーム中の領域のような入力素材の要素が出力制作物に含まれる。他方、他のものは含まれない。典型的には、従来的なメディア制作物として、多数のものが除かれる。
“変形(Transformation)”。入力素材の要素を変形することができる。例えば、周知の“特殊効果”、色の変化(例えばモノクロ及びフラッシュ効果)、速度(例えば、スローモーション)、大きさ(例えば人工的な拡大)、位置(例えば人工的なパン撮り)、形状(例えばラッピング)等を含むプロセスがある。
“結合(Combination)”。入力素材は同時にまた順番に結合される。例えば、入力素材からのイメージとビデオセグメントは入力音楽と同時に提供することができ、また、入力テキスト/グラフィックスはそのビデオに重ねることができる。イメージとビデオのセグメントは結び付けて重ね合わせることができる。これは周知のワイプ(wipes)やディソルブ(dissolves)のような移行(transitions)の使用を許容する。入力サウンドトラックのセグメントは入力音楽のセグメントにミックスすることができる。マルチのイメージ及び/又はビデオセグメントは同時に出力制作物のフレームの異なる領域に提供することができる。また、それらは混合されて合成画像(“ミキセージ(mixage)”)を提供する。
図1を参照して、実施例は下記の構成要素を有し、この構成要素は入力素材の分析と説明に関連している。
ビデオアナライザ[110]。これは入力ビデオを分析し、1又は2以上の記述子(デスクリプタ、(descriptor))を含むビデオ記述(Video Descriptor)[111]形成する。このビデオアナライザは信号分析技術やマルチフレームや個別フレームに対する他の種類の処理方法を応用し、記述子を形成する。典型的な記述子は輝度やカラーヒストグラムなどの色合いの指標、テクスチャーの指標、形状の指標、モーションアクティビティの指標、ショット時間、入力ビデオ中の他のセグメントの境界を規定する記述子、分類別の相似性指標(例えば、入力ビデオの1つのセグメントが人の顔を含む可能性、自然の情景である可能性等)、他の記述子の統計的特性と変化割合の指標、2若しくはそれ以上のデスクリプタを組み合わせることにより形成された記述子、等である。これら多くの記述子とテクニックは当業者によく知られており、新しいものは継続的に定義される。
図1に記載されているように装置は次のコンポーネントを備えている。
グラフィカルユーザインターフェース即ちGUI[120]。これはユーザと装置の仲介手段として機能し、装置の他の複数のモジュールと通信する。ユーザの関与として典型的には次の事項がある。
入力素材を含むファイルの選択及び出力制作物のためのあて先ファイルの選択のような完全な制御。制御は他の面では分析の開始やタスクの構築を含む。
スタイル情報を伴うユーザの関与−例えば、所定のスタイルの選択、若しくは新しいスタイルの生成、若しくは既存のスタイルの変性がある。
マニュアル的な関与はプリセレクションステージとタッチアップステージの双方において関係する。
コンストラクタ[121]。これは装置の主たるロジックの多くを含む。これは入力された1又は2以上のメデイア記述子を受取りそしてスタイル情報[105]を受け取る(若しくはそれ自身中に含む)。その主たる機能はこれらの入力を用いて全ての編集決定を作ることにあり、この編集決定は出力制作物[108]の様式を特定するため及び“メディアシーングラフ”即ちMSGと呼ばれる構成内に当該出力制作物の様式の特定物を保存するために必要とされる。このMSGは出力制作物の様式の完全な表現としてまた出力制作物を作るための指令の完全なセットとして考えられている。これは入力素材(ビデオ、音楽若しくはサウンドトラック、選択されたイメージ、又はイメージやビデオフレーム中の領域など)の全ての要素のソースやタイミングを含み、当該入力素材は出力制作物、変形のタイプやこれらの要素に適用される特殊効果、出力制作物中で用いられる変形効果のタイプ、出力制作物中で用いられるテキストやグラフィックのような全てのオーバーレイのソース及び表現、これら全ての要素のタイミング等に使用される。このMSGはレンダラ(renderer、下記参照)を制御しそしてマニュアルタッチアップの間に重要な役割を果たす。それは、一次的に基礎となるデータ構成であり、ユーザはこのデータ構成をこのステージで操作する。またこのデータ構成は全ての時間おける現在の制作物の全ての表現でありかつユーザにより作られた変化を反映するために更新される。
レンダラ[123]。これはMSG内の情報に基づいて出力制作物を形成する。換言すれば、これはMSGのデータをインストラクションとして解釈する。そしてインストラクションにおいて、入力素材のエレメントの選択、選択されたもののシーケンシング、変形、結合及び集中のような応用プロセス、これらをファイルや音声画像モニタのような出力に移送若しくはコピーする。結果は出力制作物である。レンダラの動作の種類は周知でありこれ以上の説明は不要であり、多くの非線形ビデオエディタにおいて見られ、マイクロソフト社のDirectShow及びアップル社のQuickTimeのような汎用的なビデオアーキテクチャにより一般的にサポートされる。このレンダラは圧縮モジュールを有することができる。この圧縮モジュールはデジタルビデオ圧縮やデジタル音声圧縮のような技術を用いて出力制作物を圧縮する。これらの技術としてMPEG(Motion Picture Experts Group) スタンダード体として規定されるようによく知られている。
ビデオ編集例
図2は出力制作物が入力素材から生成される典型的な例を示し、ここにおいて前述の構成プロセスのアプリケーションが用いられる。この構成プロセスには、細分化、選択的導入、順序付け、変性及び結合である(この図は純粋に視覚的な例であり、音声は示さない)。従来的な線形及び非線形編集において、これらのプロセスは周知でありまたマニュアルでなされていた。この発明の主たる目的はこれらの全部又は一部を自動化することにある。この発明がいかにして当該自動化を達成するかを説明する前に、図2に記載の例の幾つかを検討することが有効である。
デジタルビデオファイルのような2つの入力ビデオ[201、202]が細分化されて5つの“ソース”セグメント、sSeg1 からsSeg5[211、212、213、214、215]が形成される。その中の1つであるsSeg5[215]は一つのフレームからなるセグメントである。
選択的導入
5つのソースセグメント[211−215]は出力ビデオ制作物に含まれ、他方入力ビデオの残りの素材は使用されない。一つのイメージとしてsImage1[216]が含まれる。
順序付け
この例において、出力制作物を形成するセグメントの順序は入力素材のそれと同じではない。例えば、出力制作物において、入力ビデオB[211,214]からの最初の2つのセグメントは入力ビデオ[212、213]からの2つのセグメントにより離される。
変形
幾つかの変形の例が図2に示されている。セグメントsSeg2は色彩の情報が削除されてもモノクロに変形され、その明るさ[220]だけが保存される。sSeg3はフラッシュ効果を付加することにより変形される。即ち、1又は2以上のフレーム内の領域の明るさが強調される。sSeg4は時間の変形に関し、例えばオリジナルのフレーム[222]の間に新しいフレームを生成することによりオリジナルのスピードの0.4倍に遅くする。sSeg5はさらに大きな時間の変形に関し、ここにおいて1つのフレームがフリーズ[223]を生成するために幾つかの進行性のフレームにコピーされる。sImage1もまた複数の進行性のフレームにコピーされ、その結果出力制作物[224]のセグメントを形成する。その他多くのビデオ変形が周知である。更には、重ねて使用されるテキストとグラフィック要素は種々の方法で変形することができる。例えば、アニメ化しその結果それらは位置、大きさ、形、色その他を時間の経過とともに、また可能な場合以下に説明するように音楽のパラメータに対応して、変化させる(これらは図2において“AniText”[225]及び“AniGraphic”[226]として示されている)。テキストとグラフィック要素はフェードインし[235]またフェードアウトする[236]。
結合
図2はまた入力素材を結合する幾つかの方法を示している。変形されたセグメントdSeg1及びdSeg2は連結されて切断部を形成するか又は突き当て編集[230]を形成する。他のセグメントは部分的に重ねて結合され、ディソルブ[231]、ワイプ[234]及び他の周知の変形効果が許容される。テキスト及びグラフィック要素、静止[227]及びアニメ[225、226]はビデオ上で重ねられて最終制作物を形成する。
図3はこの発明の中心的な構築ロジックを示す。コンストラクタ内の構築ロジック[301]はスタイル情報[302]及び入力としてのメディア記述(ビデオ及び/又はイメージ[303]の記述及び任意の音楽記述[304])を備え、これらの情報を用いて編集決定のセットを作る。ここにおいて、編集決定はMSG[305]に保存され出力制作物を特定する。スタイル情報は参照、提案若しくは構築ロジックの要求のセットとして考えることもできる。選択物に対する構築ロジックの動作はメディア記述内のデータの価値に依存する。その結果、特別な編集決定のセットはスタイル情報と入力素材の特性にともに依存することとなる。
スタイル
スタイルはデータ、ロジック若しくはこれらの組合せより定義される。例えば、図3のスタイル情報[302]はマニュアル的に定義されたパラメータのセットとすることができる。ここにおいて、このパラメータは構築ロジックによりインポートされる。また、このパラメータはオブジェクト指向性プログラミングインプリメントに分類されるスタイルのようなプログラムされたスタイルのロジックにより形成されるパラメータのセットであることができる。この特質はこの説明若しくは後の説明において非常に重要というわけではない。なお、この説明及び後の説明は交換可能である。
面白い制作物を生成するために、制作物のコースにおいて編集決定に関するいくつかの変化の導入が一般的に必要である。例えば、多くの場合、前述の好ましいセグメント持続時間を変えることが好ましい。同じ長さのセグメントを有する制作物のなかには速やかに単調になってしまうものがある。“編集リズム”の満足を生成するようにセグメントの持続時間は変化されなければならない。
“セクション”及び“サブスタイル” 出力制作物はセクションの一連として構築されている。各セクションには異なるサブスタイルが与えられている。これらのサブスタイルはある順序、即ちサブスタイル順序により用いられる。ここにおいて、サブスタイルは任意に繰り返される。各サブスタイルは幾つかの若しくは全てのスタイルパラメータ(及び/又はスタイル情報を形成するためのロジック)の値を含む。例えば、このスキームは出力制作物において3つのセクションを定義するスタイルを特定することを可能とする。ここにおいて、第1のセクションは低い明るさで、僅かな特殊効果を伴い、遅いディソルブ変化を伴う長いセグメントを含み、第2のセクションは高い明るさで、多くの特殊効果を伴い、シャープカットを伴う突合せ編集を含み。第3のセクションは第1のそれと同様の特徴を有する。
コンストラクタの中心的な機能として入力素材(ビデオ、音楽若しくはサウンドトラック、選択されたイメージ、若しくはイメージやビデオフレーム中の領域に関するセグメント)の要素を選択し順序付けることがある。この入力素材により出力制作物が形成されることとなる。以下、このことについて説明するが、そこにおいて入力素材はビデオであり、問題となる入力素材の要素はビデオセグメントである。イメージのセットのような他のメディアのプロセスにも関連しこれはより単純である。
図4は一般的な順序付けられたケースを示す。ここにおいて、入力ビデオ[401]の一つの連続したものがある。この入力ビデオはDiの持続時間を有し、この持続時間は出力制作物[402]の持続時間D0より遥かに大きい。この入力及び出力持続時間の比はRio=Di/Doである。入力ビデオはI1−I8と符号されたショットのようなセグメントに分割される。
効果がスピード変化に適用されたならば、持続時間は計測されなければならない。例えば、出力セグメントが二倍の速度で演奏されるならば、対象セグメント持続時間dTは出力セグメントd0の二倍の持続時間となる。
換言すれば、入力及び出力ビデオの相関位置は同じになる。
これは狭義の順序付けられたケースであるので、出力素材は入力ビデオに現れる時間順序と同じ時間順序で提供され、それが繰り返されることはない。そのため、選択されたサブセグメントのために、以前に選択された素材よりも遅い入力ビデオのロケーションから始動されなければならない。検索ロジックはtiから任意に後方へ検索することができ、しかし、以前に使われた素材のエンドのみへ出来る限り早く戻らなければならない(このことは図5には明確に記述されていない)。
ti-stop=Ri0*(t0+d0)
上記のアプローチを行ってもコンストラクタが好ましいセグメントを見つけられないときは、出力セグメントが入力ビデオのセグメントの周囲を含んではならないとする制限を緩和し、dTの持続時間の出力セグメントを入力ビデオにおいて2以上のセグメント/サブセグメントから形成する[508]。
この順序付けされないケース(図6)において、幾つかのステップは既述の順序付けされるケースと同様である。
上記と同様に、コンストラクタは新しいセグメントのための出力制作物におけるスタート時刻をゲットする[601]。そして新しいセグメントに要求されるスタイル情報のようなパラメータのセットもゲットする。これには、セグメント持続時間d0及び効果と変化に関するデータが含まれる[602]。この順序付けされないケースにおいて、スタイル情報から対象記述子値のセットをゲットしている[603]。これはこの値のセットに適合するセグメントが選択される。
既述のように、候補(サブ)セグメントのセットからベストマッチの(サブ)セグメントを選択することが必要である。このベストマッチの(サブ)セグメントは次のとおりであり、即ち“記述子空間”(n次空間であって、各n記述子が表されている)の対象値のセットに最も近いものである。即ち、与えられたポイント(スタイル情報からの対象値により規定される座標)と候補のポイント(メディア記述の値のセットにより規定される座標)の間の距離が最も小さい。
2.一般的にいって、記述子はたくさんの異なるレンジを伴う異なるユニットであることができる。例えば、セグメント持続時間を0から30秒とする一方他の記述子では1から1000のスケールを用いる。距離の計算の影響をさけるために、ユニットを0から1のような共通のスケールで正規化する。かかる“ユニットの正規化”[702]は下記の1次線形方程式を用いることができる。
x′= (x-xmin)/(xmax-xmin)
ここにおいて
- xはもとの(ユニットの正規化されていない)ユニットの値である。
- Xminはもとの値の最小値である。
- Xmaxはもとの値の最大値である。
- x’はユニットの正規化された値である。
に最も近いことが可能である。単純な距離のメモリが使用されたならば、それは毎回このセグメントの選択を導くこととなる。これは潜在的に非常に多くの繰返しの同一セグメントからなる出力制作物を生み出すおそれがあり、これは許容できない。
X’=((x-m)*s’/s)+m’
ここに
xは以前に分布正規化された値
mは入力値の平均
sは入力値の偏差値*
m’は望ましい(出力)分布の平均
s’は望ましい(出力)分布の偏差値*
x’は分布正規化されたユニットの値
*例えば、これは標準偏差や平均偏差(一般的な統計学の定義において)とすることができる。標準偏差は多くの場合により正確であると一般的に考えられている。他方、平均偏差はより素早く計算できる。
a)ビデオ記述からの記述子値のセットとスタイル情報からの対象値のセットの両者を正規化し、もってそれらを一般的な標準分布に適合させる。即ち、m’及びs’に値を固定する。(これを行う他の方法として、最終的な結果を同一にするには、値のセットを調節し、もって他と同じ分布を有するものとする)。
b) 値のセットただ一つを正規化する。例えば一般的な標準偏差であるビデオ記述からの値のみであり、この場合、各セットの分布は必ずしも同じでなくてもよい。
ある記述子を全てではないが幾つかの場合に無視できるようにすることが望ましい。例えば、特定のサブスタイルは明るさとセグメント持続時間にその対象を特定しているが、活性化レベルのような他の記述子は無視する。このサブスタイルは他のサブスタイルと同時に使用される必要があり、ここにおいて他のサブスタイルは活性化レベルを特定する。そして、各ケースにおいて形成される値の距離は相互に比較されなければならない。これは、“重要”な記述子、即ち無視されないもの、のみのために距離を加えることによる距離の計算において達成される。これは次のように言うことに等しい。即ち、重要でない記述子にとってはいかなる値であってもその対象値に完全にマッチする。
D = SQRT(SUMD((|vgd - vcd| ∧ 2) * Wd))
ここにおいて
Dは一対のポイント(一方は与えられ、他方は候補)の距離
SQRTはスクウェアルート計算
SUMDは重要な記述子(無視されたものを除いた)のセットの総合計
Vgdは与えられたポイントにおいてd番目の記述子
Vcdは候補ポイントにおけるd番目の記述子
∧2は二乗計算
Wdは記述子dの重さ
PeopleEnergy = 0.6 * Log(Activity) + 0.4 * PersonProbability
ここにおいて“Activity”はビデオセグメントにおける総平均行動の指標であり、“PersonProbability”はそのセグメントが少なくとも一人のイメージを含む可能性(例えば周知の肌色検出アルゴリズムを用いて行う)の指標である。かかる記述子は、他の1又はそれ以上の記述子へ適用される数学的若しくはアルゴリズム的手法により規定され、“生成された記述子(derived descriptors)”と呼ばれる。
1 多くの種類の内容を通じて、人々のイメージを含む素材が一般的に人々を含まない素材に比べてより面白いと考えられる。人間の存在を検出するための画像処理方法はよく知られている。例えば、肌の色、顔形、体形を用いる方法がある。これらの手法を用いることにより、一人又はそれ以上の人間を含むビデオのセグメント若しくはイメージの確率を示す記述子を計算することが可能になる。そのため、この記述子の高い値を有する素材はその低い値を有する素材よりも優先的に選択される。
2 “手持ち”の場面(即ち、三脚のような固定具ではなくカメラを手で支えて録画されたビデオ)においては、特に素人のユーザにとって、ファインダ内において何か特別に面白いものが見つかるまでカメラを動き回す傾向がある。換言すれば、手持ちで撮られて素材について、低いカメラ動作を伴ったセグメントは高いカメラ動作を伴ったセグメントに比べて面白い傾向にある。カメラの動作を予想する手法はよく知られており、例えば、動作ベクトルの抽出に基づく手法がある。したがって、入力ビデオ素材が手持ちで撮られたものであるかを特定することが可能である(これは、時間当たりの動作パターンを分析することにより決定することができる。また、プロンプトに対応してユーザが入力する情報によることもできる)。そして、それが手持ちで撮られたものであるとき、カメラ動作の低い部分が選択される。
前述のように、MSGは出力制作物の様式を完全に表すコンストラクタによって形成されたデータ構造である。その意味では、これは周知の編集決定リスト(edit decision list (EDL))に関係する。しかしながらMSGはまた基本的には潜在的なデータ構造であり、ユーザはタッチアップの間にこれに接触する。他方、典型的なEDLは線形な構造であり、この種の操作に適合していない。この種の操作により適合したMSG構造を図8を参照して以下に説明する。
ツリーにおいて幾つかの枝は定義に関係する。即ち、それらは出力制作物において使用されるある存在の特性を特定する。それらは出力制作物において使用される全種類の変形[802]のための定義を含む(例えば、あるフラッシュ効果がある明るさ、色、範囲、存続時間等を有することを特定する)。それらはまたディソルブのような移行[803]の定義、アニメ化されたテキスト含むテキスト[804]の定義、アニメ化されたグラフィックスを含むグラフィック要素[805]の定義、ブランクバックグラウンド[806]の定義等を含む。
制作プロセスの高度な自動化により、本発明は、ある場合には、人間が介入しないでも、許容できる品質の出力制作物を生産することができる。それ故、本発明のある実施形態の場合には、GUIを非常に簡単なものにすることができるし使用しなくてもすむ。
2.ユーザがスタイルを選択することができるようにする制御装置[902]。例えば、この制御装置を呼び出した場合、ユーザに対して、使用できるスタイルのリストを表示することができ、また、ユーザに対して、その中の1つを選択するようにプロンプトが行われる。
3.出力制作物を生成させる制御装置[903]。例えば、この制御装置は、ユーザに対して、出力製品を記憶するファイルの名前を入力するようにプロンプトすることができる。ユーザがこのファイル名を入力すると、出力制作物を生成するために、システムの主処理モジュール、すなわち、メディア・アナライザ、コンストラクタおよびレンダラが呼び出される。
2.ユーザが入力音楽を選択することができるようにする制御装置[1002]。例えば、この制御装置は、ユーザに対して、録音済み音楽を含む1つまたはそれ以上の音響ファイルの名前を入力するようにプロンプトすることができる。
3.ユーザがテキストを追加することができるようにする制御装置[1003]。例えば、この制御装置は、ユーザに対して、テキスト情報をある形式で入力するようにプロンプトすることができる。テキストは出力制作物の上に重畳される(overlaid)。オーバレイ・テキストの使用方法としては、タイトル、(制作に関連する人および組織に対する)クレジット、サブタイトル、説明のためのまたは宣伝のためのメッセージのようなメッセージ等がある。
4.ユーザがスタイルを選択または定義することができるようにする制御装置[1004]。スタイルを選択するように、ユーザに対して使用できるスタイルのリストを表示することができ、また、上記例のところで説明したように、ユーザに対して、その中の1つを選択するようにプロンプトすることができる。スタイルを定義するために、ユーザに対して、例えば、スタイル情報のすべてのパラメータの値を含む書式を表示することもできるし、ユーザに対して、値を入力するようにまたは変更するようにプロンプトすることもできる。
5.出力制作物を生成させる制御装置[1005]。この制御装置は、上記例のところで説明したように、ユーザに対して、出力制作物を記憶するファイルの名前を入力するようにプロンプトすることができる。ユーザがこのファイル名を入力すると、システムの主処理モジュール、すなわち、メディア・アナライザ、コンストラクタおよびレンダラが呼び出される。この例の場合には、以下に説明するように、音楽をベースとする制作物を生成するために、視覚素材が音楽に編集され、音楽が入力サウンドトラックにより置き換えられるかまたはミックスされる。次に、出力制作物を制作するために、テキスト要素および図形要素のオーバレイが行われる。テキストおよび図形は、以下に説明するように、音楽に合わせてアニメ化することができる。
・処理の予備選択。処理の予備選択により、ユーザは、自動構成の前に入力素材の要素に適用される処理の種々の態様を自由に選択したり指定したりすることができる。例えば、ユーザは、入力音楽のあるセクション内で起こる出力制作物のすべての遷移効果はディゾルブのようなあるタイプにしなければならないと指定することができる。または、ユーザは、入力イメージのサブセットをマニュアル的に選択し、出力制作物においてはこれらのイメージをモノクロにするよう指定することができる。この場合も、ユーザを助けるために、メディア記述からの情報に基づく細分化および集合のような自動プロセスを使用することができる。例えば、システムは、輝度により入力ビデオ入力のセグメントを分類し、ある輝度しきい値以下のセグメントのセットと一緒にユーザに表示し、ユーザがこのセットにセグメントを追加したりセットからセグメントを除去したりできるようにし、その視覚的品質を改善するためにユーザにこれらのセグメントの輝度をある割合で明るくさせることができる。
・出力制作物の仕上げ。出力制作物の仕上げにより、ユーザは、例えば、セグメントに適用された持続時間および効果を維持しながら、出力制作物のビデオ・セグメントを入力素材からの別のセグメントで置換することにより、または、遷移効果のあるものを変更することにより、特殊効果を追加したり除去したりすることにより、また追加のテキストまたはグラフィックスを重畳することにより、自動制作の後で出力制作物を編集することができる。この場合もまた、メディア記述からの情報をこれらの作業でユーザを助けるために使用することができる。例えば、ユーザが出力制作物のビデオのセグメントを置き換えたい場合には、システムは、ユーザに、そこから選択が行われる別のセグメントのセットを表示することができる。これらのセグメントは、ビデオ記述からの類似性の基準により元のセグメントとの類似性の順序でリストの形にすることができる。この例を修正したものの場合には、ユーザに対して、「類似のセグメントによる置換」/「対照的なセグメントによる置換」のような2つのオプションを表示することができる。ユーザがこれらのオプションの1つを選択すると、システムは適当な別のセグメントを適用する。
この実施形態は、視覚的要素の処理およびタイミングが基礎となっている、音楽トラックの特性およびタイミングにより支配される出力制作物を生成するのに特に適している。これは「音楽に合わせてのカッティング」と呼ばれることもあり、音楽ビデオ、アニメ制作物、販売促進およびマーケティング・ビデオ、テレビ・コマーシャルおよび多くの他の形でよく使用される。本明細書においては、このような制作物を「音楽をベースとする制作物」と呼ぶ。
− 視覚素材の選択も音楽の一般的特性により影響を受ける。例えば、より明るい色またはより速い動きのビデオはより大きなエネルギーで音楽を伴奏するように選択することができ、もっと暗い色またはもっと遅い視覚素材はもっと遅いかまたはもっと静かな音楽で伴奏するように選択することができる。
− ビデオ内のカットのタイミングおよび他の遷移は、通常、音楽のビートまたは音楽の有意の特徴のタイミングと同期している。これは、「ビートに合わせてのカッティング」と呼ぶことがあり、ビデオ素材が音楽的基礎に基づいて編集される場合に広く使用される。
− 変化する度合いに従って、モーション・ビデオのショット内のイベントのタイミングも、音楽のビートまたは音楽の有意の特徴のタイミングと同期させることができる。このことは、対象物間の衝突のような急激な減速を含む運動イベントの場合に特に当てはまる。例えば、プロの編集者が落下する物体が床に衝突するショットを処理している場合には、その編集者は、恐らく、この瞬間を強いビートまたは音楽の他の顕著なイベントと整合させるだろう。
− さらに、ビデオに適用される特殊効果の選択およびタイミングは、多くの場合、音楽の特性により影響を受ける。例えば、時間を合わせて強烈なビートまたは他の顕著な音楽的イベント内にフラッシュを入れることができるし、または、短い凍結フレーム効果を音楽の静かな瞬間に適用することができる。もっと長い時間的尺度の場合、いくつかの視覚的効果を音楽全体に適用することができる。例えば、ポップスを伴奏する音楽ビデオの場合には、独唱部分の視覚素材はモノクロで表示することができ、一方、合唱部の視覚素材は全カラーで表示することができる。
− テキストおよびグラフィックスのようなオーバレイは音楽の特性により影響を受ける場合がある。例えば、これらの要素が表示または消失する時間を強烈なビートまたは他の顕著な音楽的イベントにリンクさせることができる。その様子および動きが音楽に依存するように、上記要素を音楽に合わせて動かすことさえできる。例えば、各音楽的ビートに合わせて異なる位置の間をジャンプするようにまたは音楽的構造に関連してある時間に大きさおよび色が変化するように上記要素を動かすことができる。
音楽アナライザ[116]および音楽記述[117]の性質について説明してきたし、音楽をベースとする制作物の生成を自動的に行うことができるか容易に行うことができるいくつかの方法についても説明してきた。本発明のこの態様について以下にさらに説明する。
− 音楽ミクロ記述[1207]から(出力制作物の現時点に直接関連する)入力音楽の現時点に関する編集ヒントの入手。
− 必要な場合には(セグメント選択に関する決定を行う場合)、ビデオ/イメージ記述[1203]からの記述子の値の入手。
− これらの入力を結合することによる編集の決定とMSG[1205]内への編集の決定の記憶。
音楽のマクロ構造にマッチするサブスタイル・シーケンスを生成するために使用する一般的な原理は、記述子の照合による入力ビデオ・セグメントの選択のところですでに詳細に説明した技術に類似の技術である記述子の照合の使用である。
図15は、編集決定を生成するためにスタイル/サブスタイル情報からの編集優先順位を音楽マクロ記述からの編集ヒントと結合するためのある技術の図面である。この技術は音楽的ビートの時間の尺度のところで動作する。この技術はカットの決定(すなわち、セグメントにある変化をさせなければならない、出力制作物中の時間的な位置の識別)を行うための技術であるが、この技術またはそれを修正したものは、フラッシュまたは他の特殊効果を挿入する時間的位置の識別のような他の種類の編集決定を行うためにも使用することができる。
− 各バーの第1のビートのような強いビート上に発生するパルスがより大きい値を持つこと。
− (主要なビート間に発生する)オフ・ビート・パルスの値が強いオフ・ビート音楽的イベントが存在する場所で大きな値を持つこと。例えば、「シンコペートした」と呼ばれる音楽のスタイルでのように、このようなことは多くの音楽で通常起こることである。
− 通常、人間が知覚するようなリズムにパルスが対応すること。
− 選択したセグメント持続時間は、値vx=vp−vthが最大であるパルスのt=0からの経過時間である。ここで、vpはパルスの値であり、vthはパルスの時間のところのしきい値の値である。すなわち、最大値によりしきい値を超えるパルスの時間、または、しきい値を超えるパルスがない場合には、それに最も近いパルスである。図15の場合には、このパルスはパルス[1506]である。パルス[1507]はもっと高い値を持つが使用されないことに留意されたい。何故なら、値vxがパルス[1506]に対するものより大きいからである。
− 好適なセグメント持続時間の近くのパルスにとって有利である。特に、音楽が非常に静かで、その結果、編集ヒント・パルスが非常に弱い場合、または、音楽が相対的に特徴がなく、その結果、すべての編集ヒント・パルスが同じような強さを持っている場合には、tpreferredに非常に近い持続時間を選択する。
− tminとtmaxの間の持続時間を常に選択する。
− tminとtmaxの間の距離を変化させることにより、音楽的リズム(編集ヒント・パルス)および好適なセグメント持続時間の相対的な影響を制御することができる。tminとtmaxの間の距離が接近している場合には、好適なセグメント持続時間が優勢になる。tminとtmaxとの間の距離が離れている場合には、音楽的リズムが優勢になる。これは、異なるスタイルでまたは1つのスタイルの異なるサブスタイルですら異なるように設定できる要因である。tpreferredに対してtminとtmaxとの位置を変化させることにより、さらに制御を行うことができ、tpreferredの近くに強いパルスが存在しない場合には、持続時間をもっと長くすることもできるしもっと短くすることもできる。さらに、この機構を修正したものは、ライン・セグメントが曲線で置換されている非線形しきい値を使用することができ、行動をもっと細かく制御する。
そうしたい場合には、本発明を、例えば、音楽をベースとする制作物の生成を自動化し容易にするための下記のいくつかの他の機能で強化することができる。
− 音楽をベースとする制作物において、プロの編集者は、多くの場合、落下物が地面に衝突する瞬間のような有意な機能のタイミングが音楽の注目すべき機能のタイミングと同期するようにビデオ要素をどのようにして整合するのかを説明してきた。これは、ビデオ運動分析のための周知の技術を、すでに説明したビート検出技術のような音楽の特徴を検出するための技術と結合することにより自動化することができる。例えば、運動ベクトルをブロック照合のような標準技術によりビデオから抽出することができ、衝突のような急激な減速のタイミングをフレームの領域内の運動ベクトルのスカラまたはベクトルの合計の急激な変化が起こる時点を識別することにより確立することができる。これら減速モーメントの1つまたはそれ以上の時間が入力ビデオのショット内で確立され、各減速の大きさが確立されると、最善の一致が存在するビデオと音楽との間の相対的タイミングを発見することによりショットを音楽に最適な状態で整合させることができる。これは、出力制作物のセグメントの持続時間中に計算した、ビート強度による減速の数学的相互関係が最大になる相対的な時間として定義することができる。
この最後の節においては、図16および図17を参照しながら、メディア制作に従事しているユーザに対する作業の流れを、本発明の典型的な実施形態がどのようにして変更するのかを説明する。これら2つの図面においては、点線で示したステップは、通常、自動化により自動化されているか、自動化により容易に行うことができるステップである。
当業者であれば、本発明を、汎用コンピュータ、携帯情報端末、専用ビデオ編集ボックス、セットトップ・ボックス、デジタル・ビデオ・レコーダ、テレビジョン、コンピュータ・ゲーム・コンソール、デジタル・スチール・カメラ、デジタル・ビデオ・カメラ、およびメディア処理を行うことができるその他のデバイスを含む多くの種類のハードウェア・デバイスで実施することができることを理解することができるだろう。本発明は、その機能の異なる部分が2つ以上のハードウェア・デバイスに内蔵される複数のデバイスを備えるシステムとして実施することもできる。
(請求項1) 出力データを形成するために入力データを編集するための方法であって、前記入力データおよび出力データの両方が視覚的データを含み、該方法が、
前記入力データの複数の領域のそれぞれを特徴付ける一つまたはそれ以上の記述子を生成するために前記入力データを分析するステップと、
前記入力データの編集を制御するためにスタイル情報を定義するステップと、
前記入力データに対して行われる編集作業のセットを指定する編集決定のセットを生成するために、前記記述子および前記スタイル情報を使用するステップと、
前記入力データに対して前記作業のセットを実行することにより前記出力データを生成するステップと、
を含む、方法。
(請求項2) 前記入力データが視覚的データと音楽データとを含み、前記出力データが前記音楽データと前記視覚的データの両方の一部を含むオーディオ・ビジュアル制作物である、請求項1に記載の方法。
(請求項3) 前記記述子の一つ又はそれ以上が前記音楽データに由来し、
前記記述子を、視覚的編集作業のセットの選択、処理方法及びタイミングを決定するためのスタイル情報と一緒に使用し、
前記視覚的編集作業が前記視覚的データに適用され、
これにより、音楽データの特性及びタイミングにより制御される若しくは影響を受ける視覚的要素の選択、処理方法及びタイミングにより音楽をベースとする制作物が形成される、請求項2に記載の方法。
(請求項4) 前記入力データの要素がマニュアルで特定され、以下のアクションの一つ又はそれ以上のために選択される、事前に選択するステップをさらに含み、該アクションは、
強制的に出力データに含ませる;
ある確立で出力データに付加的に含ませる;
強制的に出力データから除外する;
である、先行する請求項のいずれかに記載の方法
(請求項5) 前記出力データを以下の一つ又はそれ以上の処理を含むマニュアル編集に従わせる仕上げをするステップをさらに含み、該処理が
前記出力データのセグメントと前記入力データからの別のセグメントとを置換するステップと、
前記出力データにおけるセングメントの間の遷移を決定するステップと、
前記出力データにテキストあるいはグラフィックスを重ね合わせるステップと、
を含む、先行する請求項のいずれかに記載の方法。
(請求項6) 前記記述子と前記スタイル情報を使用する前記ステップが、編集決定のセットを生成するために、以下に記載するサブステップを前記出力データにおける位置に相当する時点のセットに適用することを含み、該サブステップが、
スタイル情報から編集優先順位の値を入手するステップと、
一つ又は複数の記述子から得られる編集ヒントの値を入手するステップと、
編集決定を促進するために、前記編集優先順位と前記編集ヒントとを結合するステップと、
を含む、先行する請求項のいずれかに記載の方法。
(請求項7) 外部ソースから受信した追加の予め生成された記述子を前記記述子に追加するステップを含み、該追加記述子は前記編集決定のセットを生成する前記ステップで使用される、請求項1に記載の方法。
(請求項8) 前記追加記述子が、前記入力データを記録したときの計測により生成された記述子を含む、請求項7に記載の方法。
(請求項9) 前記追加記述子が、マニュアル的に生成された記述子を含む、請求項7または8に記載の方法。
(請求項10) 前記追加記述子が、音楽制作物中に生成された音楽記述子を含む、請求項7、8または9に記載の方法。
(請求項11) 前記作業のセットが、次のタイプ、すなわち、細分化、選択的導入、順序付け、変形または結合のうちの少なくとも一つの作業を含む、先行する請求項の何れかに記載の方法。
(請求項12) 前記入力データが視覚的データを含み、前記変形作業が、前記入力データにより定義されたイメージの一つまたはそれ以上の部分の色の修正を含む、請求項11に記載の方法。
(請求項13) 前記変形作業が、前記入力素材の一つまたはそれ以上の部分の再生速度の修正を含む、請求項11または12に記載の方法。
(請求項14) 前記結合作業がビデオ遷移を含む、請求項9乃至11の何れかに記載の方法。
(請求項15) 前記スタイル情報を定義するステップが、複数の予め定義されたスタイル情報のセットの一つを選択することにより実行される、先行する請求項の何れかに記載の方法。
(請求項16) 前記スタイル情報が、前記出力データ内に挿入された前記入力データのセグメントの持続時間に影響を与える好適なセグメント持続時間パラメータを含む、先行する請求項の何れかに記載の方法。
(請求項17) 前記スタイル情報が各記述子に対する一つまたはそれ以上の対象値を含み、前記作業のセットを生成する前記ステップが、前記出力データに挿入するために、a)前記一つまたはそれ以上の対象値およびb)前記各領域に対する前記記述子の近接度の計算に従って前記入力データの複数の領域の一つまたはそれ以上を選択するステップを含む、先行する請求項の何れかに記載の方法。
(請求項18) 前記出力データの領域の順序が、前記入力データの対応する領域の前記入力データの順序と等しいか少なくとも相関し、これにより前記オリジナル配列が予約されたときに前記出力データが前記入力データの要約を含む、先行する請求項の何れかに記載の方法。
(請求項19) 前記スタイル情報が二つ又はそれ以上のサブスタイルからなるものであって、該各サブスタイルは前記スタイル情報を変化させたものを含み、前記二つ又はそれ以上のサブスタイルが前記セクションの編集を制御するように、該サブスタイルは前記出力データの複数のセクションと関連付けられ、これにより変化が前記出力データの前記編集スタイルに導入される、先行する請求項の何れかに記載の方法。
(請求項20) 前記入力データは音楽データを含み、前記サブスタイルは前記音楽データのセクションを特徴付ける記述子値を、前記サブスタイルにおける対象記述子値にマッチングすることにより、前記音楽データのセクションへリンクされ、これにより前記出力データの編集スタイルにおける変化を前記音楽データの変化に同期させる、請求項19に記載の方法。
(請求項21) 前記出力データ内の位置の関数として変化する少なくとも一つのパラメータを使用し、前記パラメータは編集決定に影響を与えるように働き、これにより変化が前記出力データの前記編集スタイルに導入される、先行する請求項の何れかに記載の方法。
(請求項22) 前記少なくとも一つの前記パラメータが前記出力データ内の位置によって周期的に変化し、これにより周期的な変化のパターンが前記出力データの編集スタイルに導入される、請求項21に記載の方法。
(請求項23) 前記スタイル情報が確率分布を規定するデータを含み、編集決定のセットを生成する前記ステップが、前記確率分布によって選択される一つ又はそれ以上のランダム値によって影響を受け、これにより限定された変化が前記編集決定に導入される、先行する請求項の何れかに記載の方法。
(請求項24) 一つ又はそれ以上の前記入力データの要素を特定し、前記出力データを生成するために前記入力データへ適用される遷移および効果の一つ又はそれ以上の態様を特定するマニュアル入力を、ユーザから受け取るステップをさらに含む、先行する請求項の何れかに記載の方法。
(請求項25) 前記出力データのセグメントを前記入力データから得られる代替的セグメントと置換し、置換すべき前記出力データの前記セグメントに似ている若しくは対照的である前記入力データのセグメントをユーザへ示す前記記述子を使用するステップをさらに含み、これにより該ユーザがセグメントをマニュアル的に置換する前記プロセスにおいて支援される、請求項5に記載の方法。
(請求項26) 出力データを生成した後に、以下に記載のステップを繰り返し適用することにより、前記出力データが徐々に洗練される方法であって、該ステップは、
出力データを見るステップと、
さらなる修正を防ぐために前記出力データの領域を示すステップと、及び
修正された形態において、このように特定されていない領域を再び生成して、前記出力データの新しいバージョンを生成するステップと、
である、先行する請求項の何れかに記載の方法
(請求項27) 前記記述子が、前記入力データの複数の要素のそれぞれに対するヒト確率記述子を含み、該ヒト確率記述子が、前記入力素材の各要素内にヒトが存在する確率を表し、作業のセットを生成する前記ステップが、前記ヒト確率記述子の値が高い前記入力データの要素が前記ヒト確率記述子の値が低い要素よりも前記出力データ内にもっと頻繁に挿入される作業を生成する、先行する請求項の何れかに記載の方法。
(請求項28) 前記ヒト確率記述子が、前記入力素材の各要素内にヒトの顔が存在する確立で表される顔確立記述子である、請求項27に記載の方法。
(請求項29) 前記記述子が、移動するイメージ・データを表す前記入力データの複数の移動するイメージ要素のそれぞれに対する少なくとも一つのカメラ移動記述子を含み、該カメラ移動記述子が、その要素が収集された場合に、各要素に対して前記要素を収集したカメラが移動した程度を表し、作業のセットを生成する前記ステップが、前記カメラ移動記述子の値が低い前記入力データの要素が前記カメラ移動記述子の値が高い要素よりも前記出力データ内にもっと頻繁に挿入される作業を生成する、先行する請求項の何れかに記載の方法。
(請求項30) 前記出力データが少なくとも一つのオーバレイを含み、該オーバレイが少なくとも一つのテキストおよびグラフィックスを含む、先行する請求項の何れかに記載の方法。
(請求項31) オーバレイがアニメ化される、請求項30に記載の方法。
(請求項32) 前記入力データが音楽を含み、前記オーバレイのアニメーションの少なくとも一つのパラメータが、前記音楽の特徴を表す音楽記述子により決定される、請求項31に記載の方法。
(請求項33) 前記スタイル情報を定義する前記ステップ、前記作業のセットを生成するステップおよび前記出力データを生成するステップのうちの少なくとも2つが、異なる別の場所にいるユーザによりスタートされる、先行する請求項の何れかに記載の方法。
(請求項34) 前記スタイル情報を定義する前記ステップおよび前記決定のセットを生成するステップが第1のユーザにより実行され、前記決定のセットが前記入力データにアクセスまたはそのコピーにより装置を操作している第2のユーザに送信され、該第2のユーザが前記セットを用いて前記出力データを生成する前記ステップをスタートし、それにより、前記第2のユーザが、前記第1のユーザから前記第2のユーザにメディア・データを送信しなくても、前記第1のユーザが生成した出力データをチェックすることができる、先行する請求項の何れかに記載の方法。
(請求項35) 音楽データから得られる前記記述子が、音量又は音楽のテンポから得られる音楽的エネルギー記述子を含み、前記音楽的エネルギー記述子は前記視覚編集作業の速度を決定する若しくは影響を与えるために使用される、請求項3に記載の方法。
(請求項36) 音楽データから得られる前記記述子が、音楽のビートの前記タイミングを示す一つ又はそれ以上の編集ヒント記述子を含み、前記視覚的編集作業は視覚的セグメント間の遷移の生成を含み、前記編集ヒント記述子は前記音楽のビートに前記遷移を同期させるために前記スタイル情報と関連して使用される、請求項3に記載の方法。
(請求項37) 音楽データから得られる前記記述子が、音楽のビート又は前記音楽データ内の他の顕著なイベントの前記タイミングに関連する一つ又はそれ以上の編集ヒント記述子を含み、前記視覚的編集作業はフラッシュの前記生成を含み、前記編集ヒント記述子は前記音楽のビート又は他の顕著なイベントに前記フラッシュを同期させるために前記スタイル情報と関連して使用される、請求項3に記載の方法。
(請求項38) 前記記述子が音楽データから得られる音楽イベント記述子を含み、
前記記述子が視覚的入力データから得られるモーション記述子を含み、
顕著な視覚的イベントが前記音楽の顕著な特徴と同期するように、前記記述子が前記オーディオ・ビジュアル制作物における視覚的データのセグメントのタイミングを制御するために使用される、
請求項3に記載の方法。
(請求項39) 前記スタイル情報により支配される時間依存的しきい値を前記編集ヒント記述子へ適用することにより、一つ又はそれ以上の前記視覚的編集作業が決定される、請求項36又は37に記載の方法。
(請求項40) 前記入力データがモーション・ビデオおよび音楽に関連するサウンドトラックを含み、前記作業のセットが、
そのオーディオ特徴に従ったサウンドトラックの領域を選択すること、
音楽記述子の値に従った前記サウンドトラックの前記領域内でミックスする時間を決定すること、および
前記サウンドトラックの前記領域がミックスされる場合の前記音楽の音量を低減すること、
のうちの少なくとも一つを踏まえて前記サウンドトラックの前記領域を前記音楽とミックスする、先行する請求項の何れかに記載の方法。
(請求項41) コンピュータ装置が読むことができ、該コンピュータ装置に先行する請求項の何れかに記載の方法を実行させるプログラム命令を含む記録媒体のようなコンピュータ・プログラム製品。
(請求項42)
記録されたプログラム手段を含む編集システムであって、該プログラム手段は該編集システムに先行する請求項の何れかに記載の方法を実行させるものであり、さらに、
ユーザが視覚的入力データを選択することを可能にする制御装置、
ユーザが入力音楽データを選択することを可能にする制御装置、
ユーザがテキストデータを付加することを可能にする制御装置、
ユーザがスタイルを選択すること又は定義することを可能にする制御装置、及び
前記出力データを生成させる制御装置、
の内、二つ又はそれ以上の制御機器を備えるユーザ・インターフェースを含む編集システム。
(請求項43) 出力データを形成するために入力データを編集するための編集システムであって、前記入力データおよび前記出力データの両方が視覚的データを含み、該システムが、
前記入力データの複数の領域のそれぞれを特徴付ける一つまたはそれ以上の記述子を生成するために前記入力データを分析するための分析手段と、
前記入力データの編集を制御するためにスタイル情報を定義するためのスタイル定義手段と、
前記入力データに対して実行すべき編集作業を指定する一つまたはそれ以上の編集決定のセットを生成するために前記記述子および前記スタイル情報を使用するための構成手段と、
前記入力データに対して前記作業のセットを実行することにより前記出力データを生成するためのレンダリング手段と、
を含む、編集システム。
(請求項44) 前記入力データは視覚的データと音楽データを含み、前記出力データは視覚的データと音楽データと両方の一部からなるオーディオ・ビジュアル制作物である、請求項43に記載の方法。
(請求項45) 一つ又はそれ以上の前記記述子が、同一の前記音楽データに由来し、
前記記述子は視覚的編集作業のセットの選択、処理、及びタイミングを決定するために前記スタイル情報と関連して使用され、前記視覚的編集作業は前記視覚的データに適用され、
これにより、ビジュアル素材の選択、処理、及びタイミングが前記音楽データにより制御されて若しくは影響をうけて、音楽をベースとする制作物が生成される、
請求項44に記載のシステム。
(請求項46) 入力メディアデータの複数の領域のそれぞれを特徴付ける、一つ又はそれ以上の記述子を生成するための前記入力メディアデータを分析するための分析手段と、
前記入力メディアデータへ適用するための修正を制御するためのスタイル情報を定義するためのスタイル定義と、
前記入力メディアデータへ適用するための修正作業を特定する一つ又はそれ以上の編集決定のセットを生成するために前記記述子と前記スタイル情報を使用するための構成手段と、及び
前記入力メディアデータにおいて前記修正作業のセットを実行すること、及びオーディオ・ビジュアル・ディスプレイへ修正された入力メディアデータを供給することによって修正された形態で入力メディアデータをプレイバックするためのレンダリング及びプレイバック手段と、
を含む、修正された形態で前記入力メディアデータをプレイバックするためのメディア・プレーヤであって、入力メディアデータは視覚的データを含む、メディア・プレーヤ。
(請求項47)
サウンドトラックと関連するモーション・ビデオ・データを含む出力データを形成するためのモーション・ビデオ・データと音楽とからなる編集入力データのためのシステムであって、該システムが、
前記音楽におけるビートを特徴付ける一つまたはそれ以上の記述子を生成するために前記入力データを分析するための分析手段と、
前記モーション・ビデオ・データ編集を制御するためにスタイル情報を定義するためのスタイル定義手段であって、複数のスタイルからスタイルをユーザが選択する手段を含む手段と、
前記モーション・ビデオ・データに対して実行すべき編集作業を指定する一つまたはそれ以上の編集決定のセットを生成するために前記記述子および前記スタイル情報を使用するための構成手段であって、前記編集作業の少なくとも一つが、ビート記述子により影響をうけるタイミングを有するカット若しくは遷移である、構成手段と、及び
前記入力データに対して前記作業のセットを実行することにより前記出力データを生成するためのレンダリング手段と、
を含む、編集システム。
(請求項48) 視覚的サムネイルを含むグラフィカル・ユーザ・インターフェースを表示ための手段をさらに含む、請求項47に記載の方法。
(請求項49) サウンドトラックと関連するモーション・ビデオを含む出力データを形成するために、モーション・ビデオ・データと音楽とを含む入力データを編集するための方法であって、該方法が、
前記音楽内のビートを特徴づける一つ又はそれ以上の記述子を生成するために前記音楽を分析するステップと、
ユーザが複数のスタイルからスタイルを選択することによって前記モーションビデオの編集を制御するためにスタイル情報を定義するステップと、
前記モーション・ビデオ・データに対して行うための編集作業であって、該編集作業の少なくとも一つがビート記述子によって影響を受けるタイミングを有するカット又は遷移である編集作業を指定する編集決定のセットを生成するために、前記記述子および前記スタイル情報を使用するステップと、
前記入力データに対して前記作業のセットを実行することにより前記出力データを生成するステップと、
を含む、方法。
(請求項50)
視覚的サムネイルを含むグラフィカル・ユーザー・インターフェースを表示するステップを含む、請求項49に記載の方法。
Claims (14)
- 出力ビデオデータを含む出力データを形成するために入力ビデオデータと入力音楽データを含む入力データを編集するための方法であって、
前記入力ビデオデータは、境界によって分割される一連のセグメントを含んでおり、該方法は、
(a)前記入力ビデオデータの前記セグメントを選択するステップと、
(b)前記出力データを形成するために前記選択された入力ビデオデータのセグメントを使用するステップと、
を含み、
前記入力ビデオデータの選択されたセグメントは、
(i)前記出力ビデオデータの中のスタート時刻t0を確立することと、
(ii)前記出力ビデオデータのセグメントのために要求される持続時間d0を得ることと、
(iii)前記要求される持続時間d0に基づき、前記入力ビデオデータから得るべきセグメントの対象持続時間dTを引き出すことと、
(iv)前記スタート時刻t0に相当する前記入力ビデオ内の時刻tiを計算することと、
(v)持続時間が>=前記対象持続時間dTである時刻tiにおける前記入力ビデオデータのサブセグメントであって、前記セグメントの境界を含まないものが存在するか否かを判定することと、
(vi)前記判定の条件にかなうものがあったとき、前記選択された入力ビデオデータのセグメントとして前記対象持続時間dTのサブセグメントの部分を選択することと、
によって選択される、ことを特徴とする方法。 - 前記対象持続時間dTを引き出す前記ステップ(iii)が、オーバーラップした変化の持続時間を含み、及びスピード変化のために継続時間をアジャストする、請求項1に記載の方法。
- 前記ステップ(ii)において前記要求される持続時間d0はスタイル情報から引き出される、請求項1又は2に記載の方法。
- 前記ステップ(iv)において、Rioは前記入力ビデオデータと前記出力ビデオデータの持続時間の比率であって、計算式ti=Rio*t0によって前記時刻tiが時刻t0から引き出される、請求項1〜3のいずれか一項に記載の方法。
- 前記判定の条件にかなうものがなかったとき、持続時間が>=dTであってかつ前記セグメントの境界を含まない前記入力ビデオデータのサブセグメントとして前記時刻tiよりも早い時間で前記入力ビデオ素材を検索する、請求項1〜4のいずれか一項に記載の方法。
- 前記検索は、時刻tiより早くかつ以前に選択された素材のエンドの後である前記入力ビデオデータの中の時間に対してなされる、請求項5に記載の方法。
- 前記判定の条件にかなうものがなかったとき、持続時間が>=dTであってかつセグメント境界に近づかない前記入力ビデオデータのサブセグメントとして前記時刻tiよりも後の時間で前記入力ビデオ素材を検索することを含む、請求項1〜6のいずれか一項に記載の方法。
- 前記検索は計算式ti-stop=Rio*(t0+d0)によって与えられる時刻(ただし、Rioは前記入力ビデオデータと前記出力ビデオデータの持続時間の比率)まで続けられる、請求項7に記載の方法。
- 前記判定の条件にかなうものがなかったとき、前記対象持続時間dtに等しい合計持続時間をもつ前記選択されたセグメントとなる前記2以上の特定されたサブセグメントから前記出力セグメントを形成することを含む、請求項1〜7の何れか一項に記載の方法。
- 前記ステップ(iv)にて、前記持続時間dTの部分は前記サブセグメントの候補ポイントの記述子値と対象記述子値とをマッチングさせることによって選択されることを含む、請求項1〜9の何れか一項に記載の方法。
- コンピュータ装置が読むことができ、前記コンピュータ装置に請求項1〜10の何れか一項に記載の方法を実行させるコンピュータ・プログラム。
- 編集システムであって、該編集システムに請求項1〜10の何れか一項に記載される方法を実行させるためのプログラムを保存する手段と、ユーザインターフェースとを含む編集システム。
- 出力ビデオデータを含む出力データを形成するために入力ビデオデータと入力音楽データを含む入力データを編集する編集システムであって、該編集システムは、
(a)前記入力ビデオデータのセグメントを選択する選択手段と、
(b)前記出力データを形成するために前記選択された入力ビデオデータのセグメントを使用する手段と、
を含み、
前記選択手段は、入力ビデオデータのセグメントを次のように選択する、
(i)前記出力ビデオデータの中のスタート時刻t0を確立することと、
(ii)前記出力ビデオデータのセグメントのために要求される持続時間d0を得ることと、
(iii)前記要求される持続時間d0に基づき、前記入力ビデオデータから得るべきセグメントの対象持続時間dTを引き出すことと、
(iv)前記スタート時刻t0に相当する前記入力ビデオ内の時刻tiを計算することと、
(v)持続時間が>=前記対象持続時間dTである時刻tiにおける前記入力ビデオデータのサブセグメントであって、セグメント境界内に近づかないものが存在するか否かを判定することと、
(vi)前記判定の条件にかなうものがあったとき、前記選択された入力ビデオデータのセグメントとして前記対象持続時間dTのサブセグメントの部分を選択することと、
によって選択される、
ことを特徴とする編集システム。 - 変形された入力ビデオデータと入力音楽データを含む出力メディアデータを再生するメディア再生機であって、該メディア再生機は、
(a)前記入力ビデオデータのセグメントを選択する選択手段と、
(b)前記選択された入力ビデオデータのセグメントを使用して前記出力メディアデータを構築するステップと、
を含み、
前記選択手段は、入力ビデオデータのセグメントを次のように選択する、
(i)前記出力ビデオデータの中のスタート時刻t0を確立することと、
(ii)前記出力ビデオデータのセグメントのために要求される持続時間d0を得ることと、
(iii)前記要求される持続時間d0に基づき、前記入力ビデオデータから得るべきセグメントの対象持続時間dTを引き出すことと、
(iv)前記スタート時刻t0に相当する前記入力ビデオ内の時刻tiを計算することと、
(v)持続時間が>=前記対象持続時間dTである時刻tiにおける前記入力ビデオデータのサブセグメントであって、セグメント境界内に近づかないものが存在するか否かを判定することと、
(vi)前記判定の条件にかなうものがあったとき、前記選択された入力ビデオデータのセグメントとして前記対象持続時間dTのサブセグメントの部分を選択することと、
によって選択される、
ことを特徴とするメディア再生機。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/097,043 US6080939A (en) | 1998-06-12 | 1998-06-12 | Mass determination device having counterbalanced normalized temperature coefficients |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002553775A Division JP2005506643A (ja) | 2000-12-22 | 2000-12-22 | メディアプロダクションシステムとその方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008123673A JP2008123673A (ja) | 2008-05-29 |
JP2008123673A5 JP2008123673A5 (ja) | 2008-10-16 |
JP4373467B2 true JP4373467B2 (ja) | 2009-11-25 |
Family
ID=22260555
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000553775A Expired - Lifetime JP3398865B2 (ja) | 1998-06-12 | 1999-05-18 | 釣り合わされた正規化温度係数を有する質量測定装置 |
JP2007321285A Expired - Fee Related JP4373467B2 (ja) | 1998-06-12 | 2007-12-12 | 編集方法 |
JP2007321284A Expired - Fee Related JP4373466B2 (ja) | 1998-06-12 | 2007-12-12 | 編集方法、コンピュータプログラム、編集システム及びメディア・プレーヤ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000553775A Expired - Lifetime JP3398865B2 (ja) | 1998-06-12 | 1999-05-18 | 釣り合わされた正規化温度係数を有する質量測定装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007321284A Expired - Fee Related JP4373466B2 (ja) | 1998-06-12 | 2007-12-12 | 編集方法、コンピュータプログラム、編集システム及びメディア・プレーヤ |
Country Status (5)
Country | Link |
---|---|
US (1) | US6080939A (ja) |
EP (1) | EP1086359B1 (ja) |
JP (3) | JP3398865B2 (ja) |
DE (1) | DE69912425T2 (ja) |
WO (1) | WO1999064827A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000180250A (ja) * | 1998-10-09 | 2000-06-30 | Ngk Insulators Ltd | 質量センサ及び質量検出方法 |
US6444927B1 (en) * | 2001-08-13 | 2002-09-03 | David Michael Korpi | Microbalance with reduced temperature and / or pressure sensitivity |
US7091427B2 (en) * | 2003-01-28 | 2006-08-15 | Hewlett-Packard Development Company, L.P. | Apparatus using resonance of a cavity to determine mass of a load |
US20050052813A1 (en) * | 2003-03-25 | 2005-03-10 | Yoshihiro Kobayashi | Mass measurement method, circuit for exciting piezoelectric vibration reed for mass measurement, and mass measurement apparatus |
KR100552696B1 (ko) | 2003-11-12 | 2006-02-20 | 삼성전자주식회사 | 발진회로가 적용된 미세 질량 측정 장치 및 방법 |
US7947503B2 (en) * | 2005-06-17 | 2011-05-24 | The United States Of America As Represented By The Department Of Health And Human Services | Monitor and methods for characterizing airborne particulates |
EP2194501A3 (en) * | 2008-11-26 | 2012-02-01 | Puzzlecut Co., Ltd | Method and apparatus for providing advertising moving picture |
KR102231163B1 (ko) * | 2020-12-02 | 2021-03-23 | 주식회사 고원태스튜디오 | 영상 편집을 위한 전자 장치 및 그 동작 방법 |
CN116879105B (zh) * | 2023-09-08 | 2023-11-14 | 云南绅博源生物科技有限公司 | 一种用于卷烟过滤材料制备的持水性检测方法及装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3850257A (en) * | 1972-11-15 | 1974-11-26 | T Teraoka | System for prevention of errors in scale measurement due to temperature variations |
US3926271A (en) * | 1975-02-03 | 1975-12-16 | Rupprecht Georg | Microbalance |
US4391338A (en) * | 1980-04-04 | 1983-07-05 | Harvey Patashnick | Microbalance and method for measuring the mass of matter suspended within a fluid medium |
CA1171178A (en) * | 1981-05-19 | 1984-07-17 | Dennis K. Briefer | Temperature compensated measuring system |
CH656227A5 (de) * | 1982-03-25 | 1986-06-13 | Mettler Instrumente Ag | Messwandler fuer einen kraftmesser. |
US4838371A (en) * | 1988-01-22 | 1989-06-13 | Rupprecht & Patashnick Co., Inc. | Constrained linear motion inertial balance |
US4855260A (en) * | 1988-07-08 | 1989-08-08 | Corning Incorporated | Glasses exhibiting low thermal coefficients of elasticity |
US4836314A (en) * | 1988-07-08 | 1989-06-06 | Rupprecht & Patashnick Co., Inc. | Novel glass elements for use in balances |
JPH02161323A (ja) * | 1988-12-14 | 1990-06-21 | Nec Corp | 質量測定器 |
CH684441A5 (de) * | 1991-03-19 | 1994-09-15 | Mettler Toledo Ag | Elektromechanische Waage mit Saitenschwinger. |
US5442146A (en) * | 1992-04-03 | 1995-08-15 | Weigh-Tronix, Inc. | Counting scale and load cell assembly therefor |
US5391844A (en) * | 1992-04-03 | 1995-02-21 | Weigh-Tronix Inc | Load cell |
US5461918A (en) * | 1993-04-26 | 1995-10-31 | Ford Motor Company | Vibrating beam accelerometer |
US5488203A (en) * | 1993-11-05 | 1996-01-30 | Rupprecht & Patashnick Company, Inc. | Force compensator for inertial mass measurement instrument |
-
1998
- 1998-06-12 US US09/097,043 patent/US6080939A/en not_active Expired - Lifetime
-
1999
- 1999-05-18 WO PCT/US1999/011047 patent/WO1999064827A1/en active IP Right Grant
- 1999-05-18 DE DE69912425T patent/DE69912425T2/de not_active Expired - Lifetime
- 1999-05-18 EP EP99925674A patent/EP1086359B1/en not_active Expired - Lifetime
- 1999-05-18 JP JP2000553775A patent/JP3398865B2/ja not_active Expired - Lifetime
-
2007
- 2007-12-12 JP JP2007321285A patent/JP4373467B2/ja not_active Expired - Fee Related
- 2007-12-12 JP JP2007321284A patent/JP4373466B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1086359A1 (en) | 2001-03-28 |
WO1999064827A1 (en) | 1999-12-16 |
JP2008123672A (ja) | 2008-05-29 |
DE69912425D1 (de) | 2003-12-04 |
US6080939A (en) | 2000-06-27 |
EP1086359B1 (en) | 2003-10-29 |
JP2002517745A (ja) | 2002-06-18 |
JP4373466B2 (ja) | 2009-11-25 |
JP2008123673A (ja) | 2008-05-29 |
DE69912425T2 (de) | 2004-08-19 |
JP3398865B2 (ja) | 2003-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005506643A (ja) | メディアプロダクションシステムとその方法 | |
JP4373467B2 (ja) | 編集方法 | |
US11854519B2 (en) | Music context system audio track structure and method of real-time synchronization of musical content | |
US7716572B2 (en) | Creating a new music video by intercutting user-supplied visual data with a pre-existing music video | |
US7565059B2 (en) | Dynamic variation of output media signal in response to input media signal | |
US7432940B2 (en) | Interactive animation of sprites in a video production | |
EP0917715B1 (en) | Time-based media processing system and method | |
US20040052505A1 (en) | Summarization of a visual recording | |
RU2322654C2 (ru) | Способ и система для обогащения аудиосигнала | |
JP2004206711A (ja) | デジタルマルチメディア装置システムにおける音楽と画像の同期化 | |
JP2007336106A (ja) | 映像編集支援装置 | |
US20050182503A1 (en) | System and method for the automatic and semi-automatic media editing | |
JP2008123672A5 (ja) | ||
JP7226709B2 (ja) | 映像制御システム、及び映像制御方法 | |
JP3506410B2 (ja) | 劇的映像制作支援方法および装置 | |
JP5551403B2 (ja) | 動画作成装置、コンピュータプログラム及び記憶媒体 | |
AU2002301447B2 (en) | Interactive Animation of Sprites in a Video Production | |
Cardle | Automated sound editing | |
Pimenta | PICSS-Physically-Inspired Concatenative Sound Synthesis Tool for Continuous Sonic Interaction Design | |
JPH10503851A (ja) | 芸術作品の再配列 | |
Hua et al. | Automatic home video editing | |
GB2440181A (en) | Creating a new music video by intercutting user-supplied visual data with a pre-existing music video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |