JP4645955B2

JP4645955B2 - 音声付動画データの作成方法

Info

Publication number: JP4645955B2
Application number: JP2006017801A
Authority: JP
Inventors: 和良前田
Original assignee: 株式会社ノマド
Priority date: 2006-01-26
Filing date: 2006-01-26
Publication date: 2011-03-09
Anticipated expiration: 2026-01-26
Also published as: JP2007201806A

Description

本発明は、音楽演奏シーンの音声付動画データの作成方法に関する。

通信回線のブロードバンド化によるストリーミング技術の発展、デジタル放送の本格化等に伴い、各種映像のコンテンツとしての需要と価値が高まっている。特に、ウェブサイトからのダウンロードが音楽購入の一形態として一般化していることも相俟って、ロック及びポップスを含む各種音楽をコンサート等で演奏ないしは実演しているシーン（以下、「音楽演奏シーン」と略称する場合がある。）の音声付動画（以下、「ライブ映像」と略称する場合がある。）のコンテンツとしての需要と価値が、近年飛躍的に高まっている。具体的には、多種多様な演奏者及び楽曲のライブ映像が、インターネット、デジタル放送等のコンテンツとして速やかにかつ大量に供給されることが求められている。

しかし、ライブ映像の作成には多数の機材と人員が必要である。詳細には、ボーカリストに加え、ギター、ベース、ドラム、及びキーボードの奏者からなる一般的な５人編成のロックバンドのライブ映像の収録（演奏シーンの動画の撮影及び演奏されている楽曲の録音）には、通常、機材として最低２台以上のビデオカメラと１台以上の録音装置が必要であり、ビデオカメラについて少なくとも２人以上、録音装置について１人以上の人員が必要である。ライブ映像を収録するには、演奏が行われている現場（海外を含む遠隔地の場合もある。）まで出向く必要があるので、前述のように多量のライブ映像をコンテンツとして供給する上で、収録に多数の機材と人員が必要であることは大きな障壁となっている。

一方、１台のビデオカメラのみを使用して、例えば前述の一般的な５人編成のバンドの演奏シーンのライブ映像を収録しようとすると、１台のビデオカメラで５人の人間を撮影するためにパーン、ズームイン、ズームアウト等を過剰に使用する必要がある。その結果、収録されたライブ映像は、鑑賞者にとって非常に見づらい低品質のものとなり、コンテンツとしての商業的価値が著しく損なわれる。

例えば特許文献１及び２に音楽の収録に関する技術が開示されているが、これらの文献には前述の音楽演奏シーンの収録における問題点やそれに対する解決策は示唆されていない。

特開２００３−０１５６５７号特開平１１−０４５５５４号

本発明は、必要最小限の機材と人員で鑑賞者にとって自然で見やすい高品質の音楽演奏シーンの音声付動画データを作成することを課題とする。

前記課題を解決するために本発明は、互いに同一又は類似の複数のコーラスを含む楽曲が、少なくとも１人の主演者と少なくとも１人の副演者とによって演奏されている音楽演奏シーンの音声付動画データを作成する方法であって、前記音楽演奏シーンを撮影して一次動画データとして記録すると共に、前記演奏されている楽曲を録音して音声データとして記録する収録工程と、前記一次動画データを編集して前記音声データと同期させて再生させる二次動画データを作成する編集工程とを備え、前記収録工程は、前記複数のコーラスのうちの１つのコーラスの開始から終了までの前記主演者の動作をビデオカメラで撮影し、第１の記憶部に第１の一次動画データとして記憶させる第１の撮影工程と、前記第１の撮影工程と同時に前記１つのコーラスを録音装置で録音し、第２の記憶部に前記音声データとして記憶させる録音工程と、前記複数のコーラスの内の他のコーラス中の前記副演者の動作をビデオカメラで撮影し、前記第１の記憶部に第２の一次動画データとして記憶させる第２の撮影工程とを備え、前記第１の一次動画データと前記音声データは同一の時点からの経過時間である時間情報をそれぞれ備え、前記編集工程は、前記時間情報に基づいて、前記第１つのコーラスの開始を基準とした１つ又は複数の時間領域の前記第１の一次動画データを、前記他のコーラスの開始を基準とした同一の時間領域の前記第２の一次動画データに置き換えることにより、前記１つのコーラスの開始から終了までに対応する前記二次動画データを作成する工程と、前記二次動画データを前記１つのコーラスの開始から終了までの前記音声データと共に第３の記憶部に記憶させる工程とを備えることを特徴とする、音楽演奏シーンの音声付動画データの作成方法を提供する。

具体的には、前記第１の撮影工程で前記主演者の動作を撮影するビデオカメラは、前記第２の撮影工程で前記副演者の動作を撮影するビデオカメラと同一である。

収録工程では、最少で１台のビデオカメラ及び１台の録音装置で撮影と録音を行い、第１及び第２の一次動画データと音声データを得ることができる。編集工程では、ある１つのコーラスの開始から終了までの主演者（例えば歌手ないしはボーカリスト）の動作である第１の一次動画データのうち一つ又は複数の時間領域のデータを、他のコーラス中の副演者（例えばギタリスト、ベーシスト、ドラマー、キーボード奏者等の楽器演奏者、ダンサー、バックコーラス等）の動作である第２の一次動画データのうちの同一の時間領域のデータで置き換えることにより、二次動画データを作成する。

楽曲に含まれる複数のコーラスは同一又は類似（例えば同一又は類似の複数種類のメロディが同一の順序で配置されている。）であるので、１つのコーラスにおける副演者の動作と他のコーラスにおける副演者の動作は実質的に同一である。従って、ある時間領域の音声データと、それと同一の時間領域の第２の一次動画データ（異なるコーラスにおける副奏者の動作）とを同時に再生した場合、鑑賞者が、副奏者の動作は音声とは異なるコーラスにおけるものであると気付くことは、現実的には殆どあり得ない。換言すれば、ある時間領域の音声データと同一の時間領域の第２の一次動画データを同時に再生した場合、鑑賞者はそれらが共に同一のコーラスにおける音声と副奏者の動作であると認識する。従って、音声データと同期して二次動画データを再生した場合、映像に現れる主演者の動作と副演者の動作の両方が音声と同一のコーラスにおけるものであると認識する。換言すれば、音声データと同期して二次動画データを再生した音声付動画は、音声の録音と同時に多数のビデオカメラで主演奏者と副演奏者を撮影して編集したものであると、鑑賞者には認識される。また、二次動画データは１台のビデオカメラでパーン等を多用して撮影対象（主演者及び副演者）を切り換えたものでないので、鑑賞者にとっては違和感がなく自然な映像として認識される。

同一又は類似のコーラスであっても、楽曲が実際に演奏される際にはコーラス間にテンポ（楽曲を演奏する速さ）の相違が生じる場合がある。コーラス間のテンポの相違は１つのコーラスの特定の時間領域における音声データに表される音声と、他のコーラスの同一の時間領域における第２の一次動画データに表される副奏者の動作に「ずれ」を生じさせる。例えば、音声データと二次動画データを同期して再生した場合に、ある音声（例えばギターのストローク奏法による音）が発せられた瞬間に、その音声を出すはずの副演者がその音を発する動作を実行していない状態（例えばストローク奏法を行うギタリストの手がギターの弦に到達していない状態）にあることがある。

前記第１及び第２の一次動画データは時系列で連続する複数の静止画像データであるフレームデータを備えている。前述のような「ずれ」は二次動画データを作成する工程で以下の手順を実行ことにより解消できる。まず、前記時間情報に基づいて、前記第１の動画データと置き換える前記時間領域の前記第２の動画データのうちの最初のフレームデータを、前記時間領域の開始時刻の音声データと比較する。そして、前記最初のフレームデータで表されている前記副演者の動作と、前記開始時刻の音声データで表されている音声とにずれがあれば、前記最初のフレームデータよりも１個又は複数個前又は後のフレームデータを、前記時間領域の前記最初のフレームデータに設定して前記ずれを修正する。

本発明によれば、必要最低限の収録用の機材（最少で１台のビデオカメラと１台の録音装置）と、必要最低限の収録用の人員（最少でビデオカメラと録音装置を操作する１人の人員）とで音楽演奏シーンを収録できる。そして、収録によって得られた第１及び第２の一次動画データ並びに音声データから、音声データと同期し、かつパーン等を過剰に使用しない鑑賞者にとって見やすい動画である二次動画データを作成することができる。従って、収録用の機材と人員を大幅に低減しつつ、鑑賞者にとって見やすい高品質の音楽演奏シーンの音声付動画データを得ることができる。

まず、音楽演奏シーンの音声付動画データの作成に関する本発明者の新たな着想について説明する。特にロック及びポップス等の軽音楽の楽曲は、歌詞は異なるがメロディは同一又は類似である複数のコーラス（「１番」、「２番」等と一般的に称される単位）の繰り返しで構成される場合が殆どである。そして、ある１つのコーラスと他のコーラスでは歌手ないしはボーカリストの動作（特に口の動き）は異なるが、楽器演奏者（例えば、ギタリスト、ベーシスト、ドラマー、キーボード奏者等）の動作は実質的に同一である場合が殆どである。従って、ある１つのコーラスの演奏を録音した音声を再生し、それと同期して他のコーラスにおける楽器演奏者の動作を撮影した動画を再生すると、鑑賞者（プロの楽器演奏者等の音楽への造詣が深い者も含む）が、動画中の楽器演奏者の動作が再生されている音声とは異なるコーラスにおけるものであると気付くことは、現実的には殆どあり得ない。換言すれば、鑑賞者は音声と楽器演奏者の動作は共に同一のコーラスにおける音声と動作であると認識する。本発明はかかる新たな着想に基づいてなされてものである。

次に、添付図面を参照して本発明の実施形態を詳細に説明する。

本発明の実施形態にかかる音楽演奏シーンの音声付動画データの作成方法は、収録工程とそれに続く編集工程に大別される。以下の説明では、図１に示すボーカリスト１、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５からなる５人編成のロックバンドが図２に示す楽曲を演奏するシーンについて音声付動画データを作成するものとする。ボーカリスト１が本発明における主演者であり、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５が本発明における副演者である。

まず、図２を参照して収録の対象となる楽曲を説明する。なお、図２において種々の経過時間を示す時間軸は１目盛が１０秒を表している（この点については後述する図３及び図５も同様である。）。

この楽曲は、前奏（３０秒）、第１コーラス（１分３０秒）、第１間奏（３０秒）、第２コーラス（１分３０秒）、第２間奏（３０秒）、いわゆるＤメロないしは大サビ（１分３０秒）、及び後奏（３０秒）からなり、総演奏時間は６分３０秒である。第１コーラスと第２コーラスは共に、メロディＡ（２０秒）の２回の繰り返し、メロディＢ（２０秒）、及びサビ（３０秒）からなり、歌詞は異なるが、メロディ（本実施形態では広くギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５が演奏する旋律等の意味で、リズム等も含む。）自体は同一である。なお、サビとは、楽曲中で曲想の変化、印象深いフレーズや歌詞等により曲が盛り上がる部分をいう。本実施形態では、第１コーラスの音声付動画データの作成に本発明を適用している。

第１コーラスでは、楽曲の演奏開始後、３０秒後に１回目のメロディＡ、５０秒後に２回目のメロディＡ、１分１０秒後にメロディＢ、１分３０秒後にサビが始まる。楽曲の演奏開始後２分の時点で第１コーラスは終了する。一方、第２コーラスでは、楽曲の演奏開始後、２分３０秒後に１回目のメロディＡ、２分５０秒後に２回目のメロディＡ、３分１０秒後にメロディＢ、３分３０秒後にサビが始まる。楽曲の演奏開始後４分の時点で第２コーラスは終了する。前述のように第１コーラスと第２コーラスは同一のメロディを同一の順次で配列して構成されているので、第１コーラスの１回目のメロディＡ、２回目のメロディＢ、及びサビの開始、終了、及びこれらに含まれる特定のフレーズ等の第１コーラス開始時点から測った時間は、第２コーラスの１回目のメロディＡ、２回目のメロディＢ、及びサビの開始、終了、及びこれらに含まれる特定のフレーズ等の第２コーラス開始時点から測った時間と同一である。

大サビはメロディＣ（３０秒）と、それに続くサビ（３０）秒の３回の繰り返しで構成されている。

次に、収録工程について説明する。図１を参照すると、音楽演奏が行われる会場のステージ１１上に、楽曲を演奏するボーカリスト１、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５が位置している。

楽曲の演奏シーンはビデオカメラ１２により撮影され一次動画データ６として内蔵の記憶部１２ａに記憶される。ビデオカメラ１２はパーン、ズームイン、ズームアウト等の機能を有し、演奏中のボーカリスト１、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５のうちの特定の者を撮影することも、バンド全体や会場の聴衆（図示せず）等を撮影することもできる。一次動画データ６は時系列で連続する複数の静止画像データからなり、静止画像データ間の時間間隔はビデオカメラ１２のフレームレート（例えば３０pps）により決まる。演奏される楽曲は２本のマイク又はステレオマイク１３ａを備える録音装置１３で録音され、その記憶部１３ｂにステレオ音声である音声データ７ａとして記憶される。

ボーカリスト１の声とドラマー４の演奏するドラムの音はマイク１４で集音される。また、ギタリスト２の演奏するギターやベーシスト３の演奏するベースギターの音は、これらが内蔵するピックアップからアンプ１５へ出力される。また、キーボード奏者５が演奏するキーボードの音はそれ自体が内蔵するアンプから出力される。マイク１４、アンプ１５、及びキーボードからの出力はマルチコネクタボックス等の中継器１６を介してミキシング装置１７に送られる。これらボーカリスト１の声及び各楽器からの出力は、オペレータ１８が手動操作するミキシング装置１７によって楽器から直接出ている音等とのバランスを考慮して調整され、スピーカ１９に出力される。

ミキシング装置１７は出力端子（いわゆるラインアウト）１７ａを備えており、この出力端子１７ａからの出力（スピーカ１９への音声出力と同一である。）は、補助録音装置２１にステレオ音声である音声データ７ｂとして記憶される。前述の録音装置１３の記憶部１３ｂと、この補助録音装置２１が本発明における第２の記憶部を構成している。

ビデオカメラ１２の記憶部１２ａに記憶される一次動画データ６と、録音装置１３の記憶部１３ｂ及び補助録音装置２１の記憶された音声データ７ａ，７ｂは、同一の時点（本実施形態では楽曲の演奏開始時点）を基準としてその時点からの経過時間である時間情報をそれぞれ有している。

ビデオカメラ１２、録音装置１３、及び補助録音装置２１は一人のスタッフ２２により操作される。ビデオカメラ１２は演奏の収録中に撮影対象の変更等の操作が必要であるが、録音装置１３と補助録音装置２１はいったん設定が終了すれば演奏の収録中は特に操作する必要がない。従って、これらの装置を一人のスタッフ２２で操作して収録工程を実行することは容易である。なお、オペレータ１８はライブ映像の収録の有無に拘わらずミキシング装置１７の操作のために必要であり、収録工程を実行するために必要な人員ではない。

図２を参照すると、遅くとも楽曲の演奏開始の直前からビデオカメラ１２による撮影、録音装置１３による録音、及び補助録音装置２１によるミキシング装置１７の出力の録音が開始される。録音装置１３及び補助録音装置２１による録音は少なくとも演奏終了まで継続される。同様に、ビデオカメラ１２による撮影も少なくとも演奏終了まで継続するが、第１及び第２コーラスにおける撮影対象が本発明の作成方法を実行する上で重要である。以下、この点について詳述する。

図３を参照すると、第１コーラス（演奏開始後３０秒から１分３０秒）では、ボーカリスト１のみをズームアップして撮影し、撮影した動画を一次動画データ（第１の一次動画データ）６ａとしてビデオカメラ１２の記憶部１２ａに記憶する。一方、第２コーラス（演奏開始後２分３０秒から４分）では、キーボード奏者５、ベーシスト３、ドラマー４、及びギタリスト２の順に撮影対象を切り換えつつ撮影を行い、撮影した動画を一次動画データ（第２の一次動画データ）６ｂとして記憶部１２ａに記憶する。詳細には、第２コーラスの１回目のメロディＡ（演奏開始後２分３０秒から２分５０秒で第２コーラスの開始時点から開始後２０秒まで）では、キーボード奏者５のみをズームアップして撮影する。次に、第２コーラスの２回目のメロディＡ（演奏開始後２分５０秒から３分１０秒で第２コーラス開始後２０秒から４０秒まで）では、ベーシスト３のみをズームアップして撮影する。さらに、第２コーラスのメロディＢ（演奏開始後３分１０秒から３分３０秒で第２コーラス開始後４０秒から１分まで）では、ベーシスト３のみをズームアップして撮影する。さらにまた、第３コーラスのサビ（演奏開始後３分３０秒から４分で第２コーラス開始後１分から１分３０秒）はギタリスト２をズームアップして撮影する。

以上のように、収録工程では、第１コーラスの開始から終了までのボーカリスト１の動作をビデオカメラ１２で撮影してその動画データ（第１の一次動画データ）６ａを記憶部１２ａに記憶させる工程（第１の撮影工程）と同時に、第１コーラスを録音装置１３及び補助録音装置２１で録音し、記憶部１３ｂ及び補助録音装置２１に音声データ７ａ，７ｂとして記憶させる工程を実行している。また、第２コーラス中のボーカリスト１以外のギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５の動作をビデオカメラ１２で撮影してその動画データ（第２の一次動画データ）６ｂを記憶部１２ａに記憶させる工程（第２の撮影工程）を実行している。

前述のように本実施形態では、前奏、第１間奏、第２間奏、大サビ、及び後奏については本発明を適用されないので、これらに関してはビデオカメラ１２で撮影する対象は特に限定されない。例えば、前奏、第１間奏、第２間奏、及び後奏についてはズームアウトしてバンド全体や聴衆を撮影し、大サビについてはボーカリスト１を撮影してもよい。

次に、編集工程について説明する。図４は本実施形態において編集工程に使用する音声付動画用の編集システムを示す。この編集システムは本体３１、スピーカ等である音声出力部３２、各種ディスプレイである動画表示部３３、及び編集者３４がこのシステムを操作するためのキーボード等からなる操作部３５を備える。本体３１は、入出力制御部３７、一次記憶部３８、二次記憶部（第３の記憶部）３９、データ管理部４０、音声出力処理部４１、画像出力処理部４２、及び編集処理部４３を備える。入出力制御部３７は、ビデオカメラ１２、録音装置１３、補助録音装置２１、音声出力部３２、及び動画表示部３３との各種データやコマンドの入出力を制御する。一次記憶部３８には一次動画データ６（６ａ，６ｂ）と音声データ７ａ，７ｂ（編集前の音声付動画）が記憶される。二次記憶部３９には編集の結果得られた二次動画データ８と加工済みの音声データ７ｃ（編集後の音声付動画データ）が記憶される。データ管理部４０は、一次記憶部３８及び二次記憶部３９に対するデータの書込や読み出しを制御する。音声出力処理部４１は音声出力部３２で音声データ７ａ〜７ｃを実際に音声として出力ないしは再生させるために必要な処理を実行する。画像出力処理部４２は動画表示部３３で一次動画データ６や二次動画データ８を実際に動画として出力ないしは再生させるために必要な処理を実行する。編集処理部４３は操作部３５から入力される編集者３４の命令に基づいて、動画データの編集や音声データの加工に必要な処理を実行する。編集者３４は音声出力部３２で再生される音声や、動画表示部３３に再生される動画を参照して編集作業を実行できる。このようなシステムは、例えばＣＰＵ、ＲＡＭ、ハードディスク等を備える一般的なパーソナルコンピュータ等のハードウェアに、オペレーティングシステムと一般的な映像編集用のアプリケーション（例えばカノープス株式会社製のEDIUS Pro.3）を実装することで実現できる。

まず、ビデオカメラ１２の記憶部１２ａ、録音装置１３の記憶部１３ｂ、及び補助録音装置２１から、入出力制御部３７とデータ管理部４０を介して一次記憶部３８に一次動画データ６及び音声データ７ａ，７ｂに送って記憶させる。なお、一次動画データ６及び音声データ７ａ，７ｂを、記憶部１２ａ、記憶部１３ｂ、及び補助録音装置２１からいったん各種記憶媒体に格納し、これらの記憶媒体から編集システムにダウンロードしてもよい。

音声データについての処理を説明すると、録音装置１３で録音した音声データ７ａと補助録音装置２１で録音した音声データ７ｂを使用して、音声データ７ｃを作成する。具体的には、録音装置１３の音声データ７ａの出力が５０〜７０％で補助録音装置２１の音声データ７ｂの出力が３０〜５０％の割合となるように、音声データ７ａ，７ｂを混合して新たな音声データ７ｃを作成する。補助録音装置２１の音声データ７ｂはミキシング装置１７の出力端子１７ａの出力であるので、会場のノイズ（アンビエント）は含まれず各楽器の出力の割合も実際に会場にいた聴衆が聴いた音とは異なる。一方、録音装置１３の音声データ７ａは、補助録音装置２１の音声データ７ｂよりも音質は劣るがノイズ等の会場の臨場感のある音が含まれる。従って、音声データ７ａ，７ｂを一定の割合で混合することで、高音質で臨場感がある音声が音声データ７ｃとして得られる。得られた音声データ７ｃは二次記憶部３９に記憶される。最終的な音声データ７ｃの編集ないしは作成には、会場にあるミキシング装置１７の出力端子１７ａからの音声出力を使用するので、会場に別途ミキシング装置を持ち込む必要も、ミキシング装置のオペレータが出向く必要はない。従って、最小限の機器と人員によって高音質で臨場感のある音声が音声データ７ｃとして得られる。

次に、第１及び第２コーラスの一次動画データ６ａ，６ｂを用いて新たに第１コーラスの二次動画データ８を編集ないしは作成する。本実施形態では、第１コーラスの一次動画データ６ａを部分的に第２コーラスの一次動画データ６ｂで置き換えることにより、第１コーラスの開始から終了までの二次動画データ８を作成する。ここで部分的な動画データの置き換えとは、前述した一次動画データが備える時間情報を参照することにより、第１コーラスの一次動画データ６ａのうち第１コーラスの開始を基準としたある時間領域の動画データを、第２コーラスの開始を基準とした同一の時間領域に含まれる第２コーラスの一次動画データ６ｂで置き換えることを意味する。

例えば、第１コーラスの一次動画データ６ａと第２コーラスの一次動画データ６ｂを動画表示部５０に表示させ、音声出力部３２から第１コーラスの音声データ６ｃを出力させて第１コーラスの一次動画データ６ａを部分的に第２コーラスの動画データ６ｂに置き換える作業を行う。この際、第１コーラスの一次動画データ６ａの開始（演奏開始後１分３０秒後である第１コーラスの「歌い出し」におけるボーカリスト１の動画）、第２コーラスの一次データ６ｂの開始（演奏開始後２分３０秒後である第２コーラスの「歌い出し」におけるキーボード奏者５の動画）、及び第１コーラスの音声データ６ｃの開始（演奏開始後１分３０秒後である第１コーラスの「歌い出し」の音声）を一致させ、第１コーラスの一次動画データ６ａ、第２コーラスの一次データ６ｂ、及び音声データ６ｃを同期させて再生させる。第１及び第２コーラスの動画と第１コーラスの音声とを参照して、編集を行う。図７はこの編集作業中における動画表示部５０の表示画面の一例を示す。この表示画面は、第１と第２コーラスの一次動画データ６ａ，６ｂを切り換え可能に表示する再生領域６１、編集中の二次動画データ８（第１コーラス）の再生領域６２、第１及び２コーラスの一次動画データ６ａ．６ｂの再生に関する操作のアイコンを含む領域６３、二次動画データ８の再生に関する操作のアイコンを含む領域６４、及び音声の再生に関する操作のアイコンを含む領域６５、及び領域６２に表示する動画データの切り換え、動画データの削除、追加、置き換え等の操作に関するアイコンを備える。以下、編集の具体例を説明する。

図５を参照すると、まず、第１コーラスの１回目のメロディＡ（第１コーラスの開始時点から２０秒後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後１０秒から２０秒後までの時間領域に含まれる動画データを、第２コーラスの１回目のメロディＡの同一の時間領域、すなわち第２コーラス開始後１０秒から２０秒までの時間領域の一次動画データ（キーボード奏者５の映像）６ｂに置き換える。また、第１コーラスの２回目のメロディＡ（第１コーラスの開始後２０秒後から４０秒後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後３０秒から４０秒までの時間領域に含まれる動画データを、第２コーラスの２回目のメロディＡの同一の時間領域、すなわち第２コーラス開始後２０秒から４０秒までの時間領域の一次動画データ（ベーシスト３の映像）６ｂに置き換える。さらに、第１コーラスのメロディＢ（第１コーラスの開始後４０秒後から１分後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後５０秒から１分までの時間領域に含まれる動画データを、第２コーラスのメロディＢの同一の時間領域、すなわち第２コーラス開始後５０秒から１分までの時間領域の一次動画データ（ドラマー４の映像）６ｂに置き換える。さらにまた、第１コーラスのサビ（第１コーラスの開始後１分後から１分３０秒後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後１分２０秒から１分３０秒までの時間領域に含まれる動画データを、第２コーラスのメロディＢの同一の時間領域、すなわち第２コーラス開始後１分２０秒から１分３０秒までの時間領域の一次動画データ（ギタリスト２の映像）６ｂに置き換える。以上の手順で得られた第１コーラスの二次動画データ８は、第１コーラスの開始から終了までの音声データ７ｃと共に二次記憶部３９に記憶される。また、二次記憶部３９に記憶された第１コーラスの二次動画データ８と第１コーラスの音声データ７ｃ、すなわち編集済みの音声付動画データは、外部の機器に出力してもよく、各種記録媒体に記録してもよく、インターネット等の通信回線を通じて配信してもよい。

以上の手順で得られた第１コーラスの二次動画データ８を、第１コーラスの音声データ７ｃと共に再生すると、第１コーラスの歌と演奏に合わせてボーカリスト１の動作が表示され、その中にキーボード奏者５、ベーシスト３、ドラマー４、及びギタリスト２の順でその動作が挿入される動画が表示される。前述のように第１コーラスと第２コーラスでキーボード奏者５等の動作は実質的に同一であるので、映像に現れるボーカリスト１の動作とキーボード奏者５等の動作の両方が音声と同じ第１コーラスのものであると認識する。換言すれば、鑑賞者は第１コーラスの音声の録音と同時に多数のビデオカメラでボーカリスト１とキーボード奏者等を撮影して編集した映像を見ているものと認識する。また、二次動画データ８は１台のビデオカメラでパーン等を多用して撮影対象を切り換えたものでないので、鑑賞者にとっては違和感がなく自然な映像として認識される。なお、第１コーラスの二次動画データ８と第１コーラスの音声データ７ｃの前後に、前奏、第１間奏、第２間奏、大サビ、又は後奏の一次動画データ６及びそれに対応する音声データ７ｃを追加してもよい。

第２コーラスの撮影時には、キーボード奏者５、ベーシスト３、ドラマー４、及びギタリスト２の順で撮影対象を切り換えるので、その際にはビデオカメラ１２でパーン等を行う必要があり、これらの部分の一次動画データ６ｂ（第２コーラス開始後２０秒前後、４０秒前後、及び１分前後）にはパーン等の様子が映っていることになる。しかし、パーン等に要する時間は１秒程度に過ぎないので、これらの部分を避けて使用すれば実用上全く問題がない。

次に、編集工程におけるずれの修正について説明する。楽曲が実際に演奏される際には、第１及び第２コーラス間にテンポ（楽曲を演奏する速さ）に相違が生じる場合がある。この第１及び第２コーラス間のテンポの相違は第１コーラスの特定の時間領域における音声データ７ｃで表される音声と、第２コーラスの同一の時間領域における一次動画データ６ｂに表される演奏者の動作に「ずれ」を生じさせる。

図６の例では、第１コーラスの音声データ７ｃでは第１コーラス開始から１分２０秒後（図５を参照して説明したように第１コーラスの一次動画データ６ａを第２コーラスの一次動画データ６ｂで置き換える最初の時間領域の開始時刻）にギターのストローク奏法による音が発せられている。この場合、第２コーラスの一次動画データ６ｂのうち、置き換えに使用される時間領域の最初の静止画像データ５１（第２コーラス開始から１分２０秒後の静止画像データ５１）がストローク奏法を行うギタリスト２の手がちょうどギターの弦を通過していることを表すもの（第ｎフレーム）であれば、音声と動画の間に「ずれ」はない。しかし、この最初の静止画像データ５１が、ストローク奏法を行うギタリスト２の手がギターの弦に到達していない状態を表すもの（第ｎ−２フレーム）であれば、２個後の第ｎフレームを置き換えに使用される時間領域の最初の静止画像データ５１に設定し直す。逆に、置き換えに使用される時間領域の最初の静止画像データ５１が、ストローク奏法を行うギタリスト２の手が既にギターの弦を通過済みであることを表すもの（第ｎ＋２フレーム）であれば、２個前の第ｎフレームを置き換えに使用される時間領域の最初の静止画像データ５１に設定し直す。このような修正を実行することにより、音声データ７ｃによる音声と、第１コーラスの二次動画データ８のうち第２コーラスの一次動画データ６ｂを挿入した部分での演奏者の動作との間のずれが解消され、自然な音声付動画となる。

本発明は前記実施形態に限定されず種々の変形が可能である。例えば、音楽演奏シーンの撮影には最少で１台のビデオカメラがあればよいが、複数台のカメラを使用すればより複雑な音声付動画を作成できる。ビデオカメラと録音装置が一体であってもよい。録音装置１３で録音した音声データ７ａと補助録音装置２１で録音した音声データ７ｂを別途ミキシング装置で混合させた後に編集システムの一次記憶部３８に記憶させてもよい。また、音声データは録音装置１３と補助録音装置２１で録音したものを混合せずにそのまま使用してもよい。前記実施形態では第１コーラスの音声付動画を作成しているが、第１コーラス撮影した演奏者の動画を第２コーラスで撮影したボーカリスト１の動画に挿入して第２コーラスの音声付動画を作成してもよい。さらに、アナログの媒体に記録した音声データと動画データに記憶し、アナログ用の編集装置を使用しても本発明を実施できる。

前記実施形態ではボーカリスト１が１人の場合を例に説明したが、ビデオカメラ１２のある程度ズームアップしても画面内に収まる限り、複数のボーカリストがいてもよい。また、ボーカリスト１が楽器を演奏していても問題はない。さらに、前記実施形態ではギタリスト２等の演奏者が複数いる場合を例に説明したが、演奏者は少なくとも１人いればよい。また、複数のコーラスでの動作が同一又は類似である限り、ダンサーやバックコーラスの動画をボーカリストの動画に挿入してもよい。本発明はロックやポップスに限定されず、ジャズやクラシックを含む種々の分野の楽曲に適用できる。

本発明の実施形態にかかる音声付動画データの作成方法における音楽演奏シーンの収録工程を説明するための模式図。収録される楽曲を示すタイムチャート。第１コーラス及び第２コーラスの収録を説明するためのタイムチャート。本発明の実施形態にかかる音声付動画データの作成方法における編集工程に使用する編集システムを示す模式図。動画データの編集を示す模式図。動画データと音声データのずれの修正を説明するための模式図。編集画面の一例を示す模式図。

符号の説明

１ボーカリスト（主演者）
２ギタリスト（副演者）
３ベーシスト（副演者）
４ドラマー（副演者）
５キーボード奏者（副演者）
６，６ａ，６ｂ一次動画データ
７ａ，７ｂ，７ｃ音声データ
８二次動画データ
１１ステージ
１２ビデオカメラ
１２ａ記憶部（第１の記憶部）
１３録音装置
１３ａステレオマイク
１３ｂ記憶部（第２の記憶部）
１４マイク
１５アンプ
１６中継器
１７ミキシング装置
１７ａ出力端子
１８オペレータ
１９スピーカ
２１補助記憶装置
２２スタッフ
３１本体
３２音声出力部
３３動画表示部
３４編集者
３５操作部
３７入出力制御部
３８一次記憶部
３９二次記憶部（第３の記憶部）
４０データ管理部
４１音声出力処理部
４２画像出力処理部
４３編集処理部
５１静止画像データ

Claims

互いに同一又は類似の複数のコーラスを含む楽曲が、少なくとも１人の主演者と少なくとも１人の副演者とによって演奏されている音楽演奏シーンの音声付動画データを作成する方法であって、
前記音楽演奏シーンを撮影して一次動画データとして記録すると共に、前記演奏されている楽曲を録音して音声データとして記録する収録工程と、
前記一次動画データを編集して前記音声データと同期させて再生させる二次動画データを作成する編集工程と
を備え、
前記収録工程は、
前記複数のコーラスのうちの１つのコーラスの開始から終了までの前記主演者の動作をビデオカメラで撮影し、第１の記憶部に第１の一次動画データとして記憶させる第１の撮影工程と、
前記第１の撮影工程と同時に前記１つのコーラスを録音装置で録音し、第２の記憶部に前記音声データとして記憶させる録音工程と、
前記複数のコーラスの内の他のコーラス中の前記副演者の動作をビデオカメラで撮影し、前記第１の記憶部に第２の一次動画データとして記憶させる第２の撮影工程と
を備え、
前記第１の一次動画データと前記音声データは同一の時点からの経過時間である時間情報をそれぞれ備え、
前記編集工程は、
前記時間情報に基づいて、前記第１つのコーラスの開始を基準とした１つ又は複数の時間領域の前記第１の一次動画データを、前記他のコーラスの開始を基準とした同一の時間領域の前記第２の一次動画データに置き換えることにより、前記１つのコーラスの開始から終了までに対応する前記二次動画データを作成する工程と、
前記二次動画データを前記１つのコーラスの開始から終了までの前記音声データと共に第３の記憶部に記憶させる工程と
を備えることを特徴とする、音楽演奏シーンの音声付動画データの作成方法。
前記第１の撮影工程で前記主演者の動作を撮影するビデオカメラが、前記第２の撮影工程で前記副演者の動作を撮影するビデオカメラと同一であることを特徴とする、請求項１に記載の音楽演奏シーンの音声付動画データの作成方法。
前記主演者が歌手で、前記副演者が楽器演奏者であることを特徴とする、請求項１又は請求項２に記載の音声付動画データの作成方法。
前記第１及び第２の一次動画データは時系列で連続する複数の静止画像データであるフレームデータを備え、
前記二次動画データを作成する工程において、
前記時間情報に基づいて、前記第１の動画データと置き換える前記時間領域の前記第２の動画データのうちの最初のフレームデータを、前記時間領域の開始時刻の音声データと比較し、
前記最初のフレームデータで表されている前記副演者の動作と、前記開始時刻の音声データで表されている音声とにずれがあれば、前記最初のフレームデータよりも１個又は複数個前又は後のフレームデータを、前記時間領域の前記最初のフレームデータに設定して前記ずれを修正することを特徴とする、請求項１から請求項３のいずれか１項に記載の音声付動画データの作成方法。