JP3506410B2 - 劇的映像制作支援方法および装置 - Google Patents
劇的映像制作支援方法および装置Info
- Publication number
- JP3506410B2 JP3506410B2 JP10623997A JP10623997A JP3506410B2 JP 3506410 B2 JP3506410 B2 JP 3506410B2 JP 10623997 A JP10623997 A JP 10623997A JP 10623997 A JP10623997 A JP 10623997A JP 3506410 B2 JP3506410 B2 JP 3506410B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- music
- climax
- candidate
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、映像情報と音楽情
報を組み合わせて、マルチメディアタイトルを制作し、
編集する方法および装置に関し、特に映像情報に劇的な
効果を付加するように音楽情報を組み合わせることを支
援する方法および装置に関する。
報を組み合わせて、マルチメディアタイトルを制作し、
編集する方法および装置に関し、特に映像情報に劇的な
効果を付加するように音楽情報を組み合わせることを支
援する方法および装置に関する。
【０００２】
【従来の技術】ディジタル技術の進歩により、映像情報
を放送局やプロダクション以外の一般の人々が気軽に扱
えるようになった。しかし、カメラなどで撮影された映
像情報は事実を伝えるのには十分ではあるが、強調した
り、人の興味を引いたりといった効果を出すためには、
映像をただ見せるだけでなく、カット割り、ＢＧＭ等の
工夫を行なうことが一般的である。例えば、映像にＢＧ
Ｍを付け加えるだけで、映像作品の魅力が大きく増す。
を放送局やプロダクション以外の一般の人々が気軽に扱
えるようになった。しかし、カメラなどで撮影された映
像情報は事実を伝えるのには十分ではあるが、強調した
り、人の興味を引いたりといった効果を出すためには、
映像をただ見せるだけでなく、カット割り、ＢＧＭ等の
工夫を行なうことが一般的である。例えば、映像にＢＧ
Ｍを付け加えるだけで、映像作品の魅力が大きく増す。
【０００３】そこで、こうした編集、制作作業を支援す
る作業ツールがいくつか開発、製品化されている。例え
ば、ＡＶＩＤ社が開発したノンリニア編集装置は、映像
情報や音楽情報をディジタルデータとして保管し、時系
列情報を空間的に表示し、ディスプレイ上で視覚化する
ことにより、時間方向のデータを空間方向に直感的に把
握させ、映像および音楽の各情報をランダムにアクセス
して容易に編集作業を行なうことができる。
る作業ツールがいくつか開発、製品化されている。例え
ば、ＡＶＩＤ社が開発したノンリニア編集装置は、映像
情報や音楽情報をディジタルデータとして保管し、時系
列情報を空間的に表示し、ディスプレイ上で視覚化する
ことにより、時間方向のデータを空間方向に直感的に把
握させ、映像および音楽の各情報をランダムにアクセス
して容易に編集作業を行なうことができる。
【０００４】しかし、より魅力のある映像とするために
は、映像に音楽をただ付加するだけでなく、音楽によっ
て、ムードや情緒、心理状態を高め、表現し、映像と音
楽による相乗効果を生かす必要がある。映像の雰囲気や
シナリオに従って、適切な選曲を行い、さらに適切なタ
イミングで映像に音楽を付加することで相乗効果を呼
び、映像作品として魅力あるものにしている。
は、映像に音楽をただ付加するだけでなく、音楽によっ
て、ムードや情緒、心理状態を高め、表現し、映像と音
楽による相乗効果を生かす必要がある。映像の雰囲気や
シナリオに従って、適切な選曲を行い、さらに適切なタ
イミングで映像に音楽を付加することで相乗効果を呼
び、映像作品として魅力あるものにしている。
【０００５】映像に音楽を付加させる場合のテクニック
には、様々なものが存在するが、中でもいくつかの手法
は古くから多く使われている手法である。以下にそれら
の例をあげる。 １）カメラワークを有する映像で、カメラワークにあわ
せて音楽情報の音量を大きくし、カメラワークの終了時
に音量を最大にし、高揚感を表現し、視聴者に興奮を与
える。 ２）映像の切り替えと同時に音楽を開始または終了させ
ることで、視聴者にインパクトを与え、音楽の開始また
は終了時の映像を印象づける。 ３）映像シーンの進行とともに音楽の音量を緩やかに小
さくしたり、徐々にゆっくりとした演奏にすることで、
視聴者に穏やかな気持ちを与えたり、哀しみの感情を誘
わせる。 ４）音楽の曲調の変化と、映像のショットの変化を一致
させ、激しさから静寂、またはその逆の状態を視聴者に
与える。
には、様々なものが存在するが、中でもいくつかの手法
は古くから多く使われている手法である。以下にそれら
の例をあげる。 １）カメラワークを有する映像で、カメラワークにあわ
せて音楽情報の音量を大きくし、カメラワークの終了時
に音量を最大にし、高揚感を表現し、視聴者に興奮を与
える。 ２）映像の切り替えと同時に音楽を開始または終了させ
ることで、視聴者にインパクトを与え、音楽の開始また
は終了時の映像を印象づける。 ３）映像シーンの進行とともに音楽の音量を緩やかに小
さくしたり、徐々にゆっくりとした演奏にすることで、
視聴者に穏やかな気持ちを与えたり、哀しみの感情を誘
わせる。 ４）音楽の曲調の変化と、映像のショットの変化を一致
させ、激しさから静寂、またはその逆の状態を視聴者に
与える。
【０００６】なお、これらのテクニックでは、映像から
は、編集点、すなわち、シーンの切り替わり、カメラワ
ークの終了点や開始点、音楽からは、音量の変化点、リ
ズム点、テンポ等の諸情報を基準にして、映像と音楽の
同期が取られた結果構成されていると一致する。
は、編集点、すなわち、シーンの切り替わり、カメラワ
ークの終了点や開始点、音楽からは、音量の変化点、リ
ズム点、テンポ等の諸情報を基準にして、映像と音楽の
同期が取られた結果構成されていると一致する。
【０００７】理想的には、映像の雰囲気およびシナリオ
に基づいて、自動的に曲想やメロディー等を考慮した上
で、適切な音楽を選曲し、必要な長さだけを切り出し、
上述のテクニックに基づいて適切に映像に付加するツー
ルが望ましいが、これらは人間の創造力を必要とし、映
像および音楽情報における意味的な情報を理解する力を
必要とするため、完全に自動化することは現時点ではほ
ぼ不可能である。
に基づいて、自動的に曲想やメロディー等を考慮した上
で、適切な音楽を選曲し、必要な長さだけを切り出し、
上述のテクニックに基づいて適切に映像に付加するツー
ルが望ましいが、これらは人間の創造力を必要とし、映
像および音楽情報における意味的な情報を理解する力を
必要とするため、完全に自動化することは現時点ではほ
ぼ不可能である。
【０００８】
【発明が解決しようとする課題】そこで、従来からの編
集装置を用いて、選曲し、効果を生み出すように編集す
るのであるが、上述のテクニックの際に利用する映像の
カメラワーク、編集変化点、音楽情報の音量、テンポ、
リズム、周波数分布の変化点やピークといった情報は不
明であり、映像制作者が、個々に映像および音楽情報を
解析し、特徴的な情報を探し出し、同期をとり、試行錯
誤を繰り返して完成度を高める必要があった。すなわ
ち、より完成度の高い映像作品を制作しようとする場合
には、完成度を高めるために、膨大な時間と労力を必要
としている。
集装置を用いて、選曲し、効果を生み出すように編集す
るのであるが、上述のテクニックの際に利用する映像の
カメラワーク、編集変化点、音楽情報の音量、テンポ、
リズム、周波数分布の変化点やピークといった情報は不
明であり、映像制作者が、個々に映像および音楽情報を
解析し、特徴的な情報を探し出し、同期をとり、試行錯
誤を繰り返して完成度を高める必要があった。すなわ
ち、より完成度の高い映像作品を制作しようとする場合
には、完成度を高めるために、膨大な時間と労力を必要
としている。
【０００９】上述の従来技術の問題点は、従来の映像制
作編集装置が、映像と音楽を生のデータとして扱うだけ
であり、より完成度の高い映像作品を制作、編集するた
めには、特徴的な情報を探し出し、組み合わせる作業を
必要としているからであった。
作編集装置が、映像と音楽を生のデータとして扱うだけ
であり、より完成度の高い映像作品を制作、編集するた
めには、特徴的な情報を探し出し、組み合わせる作業を
必要としているからであった。
【００１０】本発明の目的は、映像および音情報に対し
て処理を加えて、映像制作テクニックで良く用いられる
映像および音楽情報から特徴的な情報を抽出し、双方か
ら得られた特徴的な情報同士を基準に利用者の要求に応
じて自動的に加工し、組み合わせることを可能にし、映
像制作作業を支援し、魅力ある劇的な映像の制作を容易
にする劇的映像制作支援方法および装置を提供すること
にある。
て処理を加えて、映像制作テクニックで良く用いられる
映像および音楽情報から特徴的な情報を抽出し、双方か
ら得られた特徴的な情報同士を基準に利用者の要求に応
じて自動的に加工し、組み合わせることを可能にし、映
像制作作業を支援し、魅力ある劇的な映像の制作を容易
にする劇的映像制作支援方法および装置を提供すること
にある。
【００１１】
【課題を解決するための手段】本発明の劇的映像制作支
援方法は、映像情報と音楽情報からそれぞれ利用者が対
象としたい映像区間と音楽区間を取り出す映像区間・音
楽区間取り出し段階と、該映像区間から映像のクライマ
ックス候補情報である映像区間の開始点および終了点、
シーンチェンジの開始点および終了点、カメラワークの
開始点および終了点を抽出する映像情報抽出段階と、該
音楽区間から音楽のクライマックス候補情報である音楽
区間の開始点および終了点、音量および周波数の変化点
を抽出する音楽情報抽出段階と、あらかじめ用意された
１つのクライマックス候補一致モデルまたは複数のクラ
イマックス候補一致モデルの中から選択されたクライマ
ックス候補モデルを用いて、映像クライマックス候補情
報と音楽クライマックス候補情報を一致させ、一致させ
るクライマックス候補に従って、映像区間に同期できる
ように音楽区間に対する加工処理を行なって映像区間に
音楽区間を同期させるクライマックス一致段階を有す
る。
援方法は、映像情報と音楽情報からそれぞれ利用者が対
象としたい映像区間と音楽区間を取り出す映像区間・音
楽区間取り出し段階と、該映像区間から映像のクライマ
ックス候補情報である映像区間の開始点および終了点、
シーンチェンジの開始点および終了点、カメラワークの
開始点および終了点を抽出する映像情報抽出段階と、該
音楽区間から音楽のクライマックス候補情報である音楽
区間の開始点および終了点、音量および周波数の変化点
を抽出する音楽情報抽出段階と、あらかじめ用意された
１つのクライマックス候補一致モデルまたは複数のクラ
イマックス候補一致モデルの中から選択されたクライマ
ックス候補モデルを用いて、映像クライマックス候補情
報と音楽クライマックス候補情報を一致させ、一致させ
るクライマックス候補に従って、映像区間に同期できる
ように音楽区間に対する加工処理を行なって映像区間に
音楽区間を同期させるクライマックス一致段階を有す
る。
【００１２】本発明は、あらかじめ映像制作に用いられ
そうな映像のシーンチェンジ、カメラワーク、音楽の音
量、周波数分布の変化点の情報をクライマックス情報と
して抽出し、それらクライマックス候補情報を基準に映
像制作テクニックモデルのオペレーションにしたがっ
て、映像に音楽を付加する。
そうな映像のシーンチェンジ、カメラワーク、音楽の音
量、周波数分布の変化点の情報をクライマックス情報と
して抽出し、それらクライマックス候補情報を基準に映
像制作テクニックモデルのオペレーションにしたがっ
て、映像に音楽を付加する。
【００１３】本発明によって、映像制作におけるテクニ
ックを応用する際の基準となる映像の特徴点と音楽の特
徴点を基準とした同期を自動的に処理することが可能と
なり、劇的効果を生む映像作品の作成を支援することが
できる。
ックを応用する際の基準となる映像の特徴点と音楽の特
徴点を基準とした同期を自動的に処理することが可能と
なり、劇的効果を生む映像作品の作成を支援することが
できる。
【００１４】本発明の実施態様によれば、あらかじめ用
意されているクライマックス候補一致モデルの１つは、
映像クライマックス候補として抽出されたカメラワーク
の終了点と、音楽クライマックス候補として抽出された
音量の変化点を一致させ、それらの値を基準に映像に音
楽を付加するモデル、または映像クライマックス候補と
して抽出されたカメラワークの終了点と、音楽クライマ
ックス候補として抽出された周波数の変化点を一致さ
せ、それらの値を基準に映像に音楽を付加するモデル、
または映像クライマックス候補として抽出されたカメラ
ワークの開始点と、音楽クライマックス候補として抽出
された音量の変化点を一致させ、それらの値を基準に映
像に音楽を付加するモデル、または映像クライマックス
候補として抽出されたカメラワークの開始点と、音楽ク
ライマックス候補として抽出された周波数の変化点を一
致させ、それらの値を基準に映像に音楽を付加するモデ
ル、または映像クライマックス候補として抽出されたシ
ーンチェンジと、音楽クライマックス候補として抽出さ
れた音量の変化点を一致させ、それらの値を基準に映像
に音楽を付加するモデル、または映像クライマックス候
補として抽出されたシーンチェンジと、音楽クライマッ
クス候補として抽出された周波数の変化点を一致させ、
それらの値を基準に映像に音楽を付加するモデル、また
は映像クライマックス候補として抽出された映像区間の
開始点および終了点のうちのいずれか１つと、音楽クラ
イマックス候補として抽出された音量および周波数の変
化点のうちのいずれか１つとを一致させ、それらの値を
基準に映像に音楽を付加するモデル、または映像クライ
マックス候補として抽出された映像区間中のシーンチェ
ンジの開始点および終了点、カメラワークの開始点およ
び終了点のうちのいずれか１つと、音楽クライマックス
候補として抽出された音楽区間の開始点および終了点の
うちのいずれか１つとを一致させ、それらの値を基準に
映像に音楽を付加するモデルである。
意されているクライマックス候補一致モデルの１つは、
映像クライマックス候補として抽出されたカメラワーク
の終了点と、音楽クライマックス候補として抽出された
音量の変化点を一致させ、それらの値を基準に映像に音
楽を付加するモデル、または映像クライマックス候補と
して抽出されたカメラワークの終了点と、音楽クライマ
ックス候補として抽出された周波数の変化点を一致さ
せ、それらの値を基準に映像に音楽を付加するモデル、
または映像クライマックス候補として抽出されたカメラ
ワークの開始点と、音楽クライマックス候補として抽出
された音量の変化点を一致させ、それらの値を基準に映
像に音楽を付加するモデル、または映像クライマックス
候補として抽出されたカメラワークの開始点と、音楽ク
ライマックス候補として抽出された周波数の変化点を一
致させ、それらの値を基準に映像に音楽を付加するモデ
ル、または映像クライマックス候補として抽出されたシ
ーンチェンジと、音楽クライマックス候補として抽出さ
れた音量の変化点を一致させ、それらの値を基準に映像
に音楽を付加するモデル、または映像クライマックス候
補として抽出されたシーンチェンジと、音楽クライマッ
クス候補として抽出された周波数の変化点を一致させ、
それらの値を基準に映像に音楽を付加するモデル、また
は映像クライマックス候補として抽出された映像区間の
開始点および終了点のうちのいずれか１つと、音楽クラ
イマックス候補として抽出された音量および周波数の変
化点のうちのいずれか１つとを一致させ、それらの値を
基準に映像に音楽を付加するモデル、または映像クライ
マックス候補として抽出された映像区間中のシーンチェ
ンジの開始点および終了点、カメラワークの開始点およ
び終了点のうちのいずれか１つと、音楽クライマックス
候補として抽出された音楽区間の開始点および終了点の
うちのいずれか１つとを一致させ、それらの値を基準に
映像に音楽を付加するモデルである。
【００１５】これらのモデルを用いることで、映像作品
を自動的に生成することが可能になる。
を自動的に生成することが可能になる。
【００１６】本発明の劇的映像制作支援装置は、映像情
報と音楽情報からそれぞれ利用者が対象としたい映像区
間と音楽区間を取り出す映像区間・音楽区間取り出し手
段と、該映像区間から映像のクライマックス候補情報で
ある映像区間の開始点および終了点、シーンチェンジの
開始点および終了点、カメラワークの開始点および終了
点を抽出する映像情報抽出手段と、該音楽区間から音楽
のクライマックス候補情報である音楽区間中の開始点お
よび終了点、音量および周波数の変化点を抽出する音楽
情報抽出手段と、あらかじめ用意されたクライマックス
候補一致モデルまたは複数のクライマックス候補一致モ
デルの中から選択されたクライマックス候補モデルを用
いて、映像クライマックス候補と音楽クライマックス候
補を一致させ、一致させたクライマックス候補に従っ
て、映像区間に同期できるように音楽区間に対する加工
処理を行なって映像区間に音楽区間を同期させるクライ
マックス一致手段とを有する。
報と音楽情報からそれぞれ利用者が対象としたい映像区
間と音楽区間を取り出す映像区間・音楽区間取り出し手
段と、該映像区間から映像のクライマックス候補情報で
ある映像区間の開始点および終了点、シーンチェンジの
開始点および終了点、カメラワークの開始点および終了
点を抽出する映像情報抽出手段と、該音楽区間から音楽
のクライマックス候補情報である音楽区間中の開始点お
よび終了点、音量および周波数の変化点を抽出する音楽
情報抽出手段と、あらかじめ用意されたクライマックス
候補一致モデルまたは複数のクライマックス候補一致モ
デルの中から選択されたクライマックス候補モデルを用
いて、映像クライマックス候補と音楽クライマックス候
補を一致させ、一致させたクライマックス候補に従っ
て、映像区間に同期できるように音楽区間に対する加工
処理を行なって映像区間に音楽区間を同期させるクライ
マックス一致手段とを有する。
【００１７】
【発明の実施の形態】次に、本発明の実施の形態を図面
を参照して説明する。
を参照して説明する。
【００１８】図１は本発明の一実施形態の劇的映像制作
支援方法の流れ図である。
支援方法の流れ図である。
【００１９】まず、映像区間・音楽区間取り出し段階１
において、映像情報１１と音楽情報１２から、利用者が
指定した、音楽を付加させたい映像区間１３と、利用し
たい音楽区間１４を取り出す。両区間１３、１４の長さ
は必ずしも一致している必要はない。映像区間１３の取
り出しに当たっては、映像情報１１の時間情報をディス
プレイ等の出力装置に表示し、ディスプレイとマウスを
用いた対話的な指定形式や、コマンド形式の指定方法等
によって利用したい映像区間の開始点、終了点を選択さ
せる。この際、時間情報だけでなく、時間情報上に映像
情報中の代表的な画像を表示しておいてもよい。なお、
ここでの代表的な画像とは、シーンチェンジ直後の画像
やカメラワーク終了直後の画像や適当な時間間隔だけの
画像やあらかじめ人の手によって与えられた画像をい
う。また、時間情報だけでなく、時間情報を無視して、
こうした画像情報からのみ選択抽出する方法でもよい。
なお、既存のメディアであるビデオテープ、レーザーデ
ィスク、コンピータ上でのファイルでは、映像情報と共
に音楽や音声情報を同時に格納している。しかし、編集
作業においては、こうした音情報の時間情報については
あらかじめ分離されているものとする。音楽区間１４の
取り出しに当たっては、音楽情報の時間情報をディスプ
レイ等の出力装置に表示し、ディスプレイとマウスを用
いた対話的な指定方式や、コマンド形式の指定方法によ
り、音楽区関の開始点、終了点を選択させる。また、映
像情報と同時に、時系列にそって音楽情報から抽出した
特徴量を表示することも可能である。なお、ここでの音
楽情報から抽出したパラメータとは、周波数分布や、音
量変化等のことを指す。また、メディアによっては、音
楽情報とともに、曲名や歌手名、歌詞等の付加情報が格
納されている場合がある。時系列上にこれらの情報を付
加して表示し、選択させてもよい。
において、映像情報１１と音楽情報１２から、利用者が
指定した、音楽を付加させたい映像区間１３と、利用し
たい音楽区間１４を取り出す。両区間１３、１４の長さ
は必ずしも一致している必要はない。映像区間１３の取
り出しに当たっては、映像情報１１の時間情報をディス
プレイ等の出力装置に表示し、ディスプレイとマウスを
用いた対話的な指定形式や、コマンド形式の指定方法等
によって利用したい映像区間の開始点、終了点を選択さ
せる。この際、時間情報だけでなく、時間情報上に映像
情報中の代表的な画像を表示しておいてもよい。なお、
ここでの代表的な画像とは、シーンチェンジ直後の画像
やカメラワーク終了直後の画像や適当な時間間隔だけの
画像やあらかじめ人の手によって与えられた画像をい
う。また、時間情報だけでなく、時間情報を無視して、
こうした画像情報からのみ選択抽出する方法でもよい。
なお、既存のメディアであるビデオテープ、レーザーデ
ィスク、コンピータ上でのファイルでは、映像情報と共
に音楽や音声情報を同時に格納している。しかし、編集
作業においては、こうした音情報の時間情報については
あらかじめ分離されているものとする。音楽区間１４の
取り出しに当たっては、音楽情報の時間情報をディスプ
レイ等の出力装置に表示し、ディスプレイとマウスを用
いた対話的な指定方式や、コマンド形式の指定方法によ
り、音楽区関の開始点、終了点を選択させる。また、映
像情報と同時に、時系列にそって音楽情報から抽出した
特徴量を表示することも可能である。なお、ここでの音
楽情報から抽出したパラメータとは、周波数分布や、音
量変化等のことを指す。また、メディアによっては、音
楽情報とともに、曲名や歌手名、歌詞等の付加情報が格
納されている場合がある。時系列上にこれらの情報を付
加して表示し、選択させてもよい。
【００２０】次に、映像情報抽出段階２において、映像
区間１３から映像のシーンチェンジ開始点および終了
点、カメラワークの開始点と終了点、映像区間の開始点
と終了点を映像クライマックス候補１５として抽出す
る。一方、音楽情報抽出段階３において、音楽区間１４
から音楽区間の開始点および終了点、音量の変化点、周
波数分布の変化点を音楽クライマックス候補１６として
抽出する。次に、クライマックス一致段階４において、
利用者が指定したクライマックス候補一致モデル１７を
用いて、映像クライマックス候補１５と音楽クライマッ
クス候補１６を一致させる処理を行なう。クライマック
ス一致段階４では、クライマックス候補１５，１６を基
準に映像区間１３に同期できるように音楽区間１４を調
節し、同期信号１８を出力し、情報付加段階５におい
て、同期信号１８により映像に音楽情報を付加し、最終
的な劇的映像作品１９を得る。なお、この劇的映像作品
１９に対し、さらに編集加工を加え、新たな作品を制作
することは当然可能である。
区間１３から映像のシーンチェンジ開始点および終了
点、カメラワークの開始点と終了点、映像区間の開始点
と終了点を映像クライマックス候補１５として抽出す
る。一方、音楽情報抽出段階３において、音楽区間１４
から音楽区間の開始点および終了点、音量の変化点、周
波数分布の変化点を音楽クライマックス候補１６として
抽出する。次に、クライマックス一致段階４において、
利用者が指定したクライマックス候補一致モデル１７を
用いて、映像クライマックス候補１５と音楽クライマッ
クス候補１６を一致させる処理を行なう。クライマック
ス一致段階４では、クライマックス候補１５，１６を基
準に映像区間１３に同期できるように音楽区間１４を調
節し、同期信号１８を出力し、情報付加段階５におい
て、同期信号１８により映像に音楽情報を付加し、最終
的な劇的映像作品１９を得る。なお、この劇的映像作品
１９に対し、さらに編集加工を加え、新たな作品を制作
することは当然可能である。
【００２１】なお、同期信号１８は、映像情報及び音楽
情報を管理し、処理時に必要な時間信号に基づく。例え
ば、映像情報及び音楽情報の再生時に要する時間情報を
基準とし、時間情報に比例した情報であれば何でも構わ
ない。同期信号１８は、映像情報及び音楽情報を他の映
像情報や音声情報、さらに、それら以外の付加情報（例
えば、画面上に表示させる文字、テロップ、歌詞等）と
同期させながら再生させるための必要な信号である。例
えば、映像情報及び音楽情報がコンピュータ上でデータ
ファイルとして構成されている場合、対象となる情報は
複数のデータファイルの複数箇所をランダムにアクセス
して再生させることになる。この際のアクセスするファ
イル、アクセスするファイルのデータ個所、アクセス時
に要するバッファリングのタイミング等を同期信号に収
めていることになる。この信号を記録、保存してもよ
く、その記録媒体は特に限定しない。コンピュータ上で
のデータファイルや、光学、磁気等を応用した読み取り
用の媒体に記録されたデータ等として保管する。
情報を管理し、処理時に必要な時間信号に基づく。例え
ば、映像情報及び音楽情報の再生時に要する時間情報を
基準とし、時間情報に比例した情報であれば何でも構わ
ない。同期信号１８は、映像情報及び音楽情報を他の映
像情報や音声情報、さらに、それら以外の付加情報（例
えば、画面上に表示させる文字、テロップ、歌詞等）と
同期させながら再生させるための必要な信号である。例
えば、映像情報及び音楽情報がコンピュータ上でデータ
ファイルとして構成されている場合、対象となる情報は
複数のデータファイルの複数箇所をランダムにアクセス
して再生させることになる。この際のアクセスするファ
イル、アクセスするファイルのデータ個所、アクセス時
に要するバッファリングのタイミング等を同期信号に収
めていることになる。この信号を記録、保存してもよ
く、その記録媒体は特に限定しない。コンピュータ上で
のデータファイルや、光学、磁気等を応用した読み取り
用の媒体に記録されたデータ等として保管する。
【００２２】図２は本発明の実施形態の劇的映像制作支
援装置の概略構成を示すブロック図である。入力映像バ
ッファ２０、入力音楽バッファ２１はそれぞれ入力映像
情報１１と入力音楽情報１２を保管しておくバッファで
ある。なお、入力映像情報１１，入力音楽情報１２は、
あらかじめデジタルデータ化されているものであり、様
々な圧縮形式で圧縮されていてもよく、処理を行なえれ
ばよい。したがって、本実施形態では、便宜上バッファ
としたが、ＣＤ−ＲＯＭやハードディスク等のデジタル
データを保管するメディアであれば構わない。
援装置の概略構成を示すブロック図である。入力映像バ
ッファ２０、入力音楽バッファ２１はそれぞれ入力映像
情報１１と入力音楽情報１２を保管しておくバッファで
ある。なお、入力映像情報１１，入力音楽情報１２は、
あらかじめデジタルデータ化されているものであり、様
々な圧縮形式で圧縮されていてもよく、処理を行なえれ
ばよい。したがって、本実施形態では、便宜上バッファ
としたが、ＣＤ−ＲＯＭやハードディスク等のデジタル
データを保管するメディアであれば構わない。
【００２３】利用者は映像特徴表示部２２および音楽特
徴表示部２３に表示されている映像情報、音楽情報から
映像区間切り出し部２５、音楽区間切り出し部２６よっ
て、映像区間１３と音楽区間１４を選択し、有用な区間
を切り出す。両区間の切り出しにあたっては、利用者は
利用者指示部２４を通じて指示を与え、映像および音楽
区間を切り出してくる。なお、この映像特徴表示部２２
についてはパソコンのディスプレイモニター上で、時系
列情報、特徴的な画像等を表示してもよい。または、ビ
デオデッキとテレビモニターで構成される映像表示部の
モニターとビデオデッキのタイマーやテープカウンタ等
の情報を用いてもよい。同様に、レーザディスクのカウ
ンタ等の情報を用いてもよい。音楽特徴表示部２３につ
いては音楽の特徴量を表示してもよいし、ＣＤや音楽を
中心とする音楽プレイヤーにおけるカウンター表示など
によって時系列を表示してもよい。また、音楽内部から
得られた特徴ではないが、カラオケにおける字幕のよう
な外部からあらかじめ付加されている情報を、特徴量と
して表示してもよい。利用者は、それら表示された特徴
量を見て、場合によっては、映像及び音楽情報を適宜再
生することによって、必要な映像及び音楽区間を決定す
る。その指示方法は、ディスプレイ上に表示されている
表示部に対し、マウス等のポインティングデバイスを用
いて指示する方式でもよいし、特別なオペレーティング
システムに特化したスクリプト形式の命令でも構わな
い。以上の一連の処理によって、映像区間切り出し部２
５によって映像情報からは必要な映像区間１３を映像区
間バッファ２７へ、音楽区間切り出し部２６によって音
楽情報からは必要な音楽区間１４を音楽区間バッファ２
８へ格納する。なお、利用者指示部２４は、モニターに
ディスプレイされているインタフェース画面とキーボー
ドやマウスから構成されていたり、あらかじめコンピュ
ータのエディターによって作成されたスクリプト等、デ
ータに対する指示が行なえるものであれば構わない。ま
た、映像区間バッファ２７、音楽区間バッファ２８は計
算機のメモリであってもよいし、仮想ディスクであって
もよく、一時的に対象となるデジタルデータ化されてい
る映像区間１３および音楽区間１４を格納できればよ
く、なるべくなら高速にアクセスすることができるもの
の方が望ましい。
徴表示部２３に表示されている映像情報、音楽情報から
映像区間切り出し部２５、音楽区間切り出し部２６よっ
て、映像区間１３と音楽区間１４を選択し、有用な区間
を切り出す。両区間の切り出しにあたっては、利用者は
利用者指示部２４を通じて指示を与え、映像および音楽
区間を切り出してくる。なお、この映像特徴表示部２２
についてはパソコンのディスプレイモニター上で、時系
列情報、特徴的な画像等を表示してもよい。または、ビ
デオデッキとテレビモニターで構成される映像表示部の
モニターとビデオデッキのタイマーやテープカウンタ等
の情報を用いてもよい。同様に、レーザディスクのカウ
ンタ等の情報を用いてもよい。音楽特徴表示部２３につ
いては音楽の特徴量を表示してもよいし、ＣＤや音楽を
中心とする音楽プレイヤーにおけるカウンター表示など
によって時系列を表示してもよい。また、音楽内部から
得られた特徴ではないが、カラオケにおける字幕のよう
な外部からあらかじめ付加されている情報を、特徴量と
して表示してもよい。利用者は、それら表示された特徴
量を見て、場合によっては、映像及び音楽情報を適宜再
生することによって、必要な映像及び音楽区間を決定す
る。その指示方法は、ディスプレイ上に表示されている
表示部に対し、マウス等のポインティングデバイスを用
いて指示する方式でもよいし、特別なオペレーティング
システムに特化したスクリプト形式の命令でも構わな
い。以上の一連の処理によって、映像区間切り出し部２
５によって映像情報からは必要な映像区間１３を映像区
間バッファ２７へ、音楽区間切り出し部２６によって音
楽情報からは必要な音楽区間１４を音楽区間バッファ２
８へ格納する。なお、利用者指示部２４は、モニターに
ディスプレイされているインタフェース画面とキーボー
ドやマウスから構成されていたり、あらかじめコンピュ
ータのエディターによって作成されたスクリプト等、デ
ータに対する指示が行なえるものであれば構わない。ま
た、映像区間バッファ２７、音楽区間バッファ２８は計
算機のメモリであってもよいし、仮想ディスクであって
もよく、一時的に対象となるデジタルデータ化されてい
る映像区間１３および音楽区間１４を格納できればよ
く、なるべくなら高速にアクセスすることができるもの
の方が望ましい。
【００２４】映像区間１３および音楽区間１４がそれぞ
れ映像区間バッファ２７、音楽区間バッファ２８に格納
されると、映像情報抽出部３０、音楽情報抽出部３１に
よって映像クライマックス候補１５と音楽クライマック
ス候補１６をそれぞれ抽出する。これら映像情報抽出部
３０、音楽情報抽出部３１の詳細については後述する。
本実施形態では、映像クライマックス候補１５とは、対
象映像区間１３の開始点と終了点、映像区間１３中のシ
ーンチェンジの開始点および終了点、映像区間１３中に
存在するカメラワークの開始点と終了点を対象とし、音
楽クライマックス候補１６とは、対象音楽区間１４の開
始点と終了点、音量の変化点、周波数分布の変化点等で
ある。
れ映像区間バッファ２７、音楽区間バッファ２８に格納
されると、映像情報抽出部３０、音楽情報抽出部３１に
よって映像クライマックス候補１５と音楽クライマック
ス候補１６をそれぞれ抽出する。これら映像情報抽出部
３０、音楽情報抽出部３１の詳細については後述する。
本実施形態では、映像クライマックス候補１５とは、対
象映像区間１３の開始点と終了点、映像区間１３中のシ
ーンチェンジの開始点および終了点、映像区間１３中に
存在するカメラワークの開始点と終了点を対象とし、音
楽クライマックス候補１６とは、対象音楽区間１４の開
始点と終了点、音量の変化点、周波数分布の変化点等で
ある。
【００２５】映像クライマックス候補１５と音楽クライ
マックス候補１６が抽出されると、クライマックス候補
１５と１６を一致させるクライマックス候補一致モデル
群２９からクライマックス候補一致モデル１７を利用者
が選択し、クライマックス一致部３２が選択されたクラ
イマックス候補一致モデル１７に従って、映像クライマ
ックス候補１５と音楽クライマックス候補１６を組み合
わせて一致させる。ここで、組み合わせは例えば映像区
間１３の開始点と音楽区間１４の開始点という組み合わ
せもありえるし、映像区間１３の終了点と音楽区間１４
の終了点という組み合わせもありえる。また、映像区間
１３中のカメラワーク終了点と音楽区間１４の音量の最
大になる変化点という組み合わせもありえる。さらに、
映像区間１３の終了点と音楽区間１４の開始点という組
み合わせもありえる。
マックス候補１６が抽出されると、クライマックス候補
１５と１６を一致させるクライマックス候補一致モデル
群２９からクライマックス候補一致モデル１７を利用者
が選択し、クライマックス一致部３２が選択されたクラ
イマックス候補一致モデル１７に従って、映像クライマ
ックス候補１５と音楽クライマックス候補１６を組み合
わせて一致させる。ここで、組み合わせは例えば映像区
間１３の開始点と音楽区間１４の開始点という組み合わ
せもありえるし、映像区間１３の終了点と音楽区間１４
の終了点という組み合わせもありえる。また、映像区間
１３中のカメラワーク終了点と音楽区間１４の音量の最
大になる変化点という組み合わせもありえる。さらに、
映像区間１３の終了点と音楽区間１４の開始点という組
み合わせもありえる。
【００２６】さらに、クライマックス一致部３２では、
クライマックス候補一致モデル１７で指定された双方の
クライマックス候補を基準に映像区間と音楽区間の同期
をとるだけでなく、対象とする音楽クライマックス候補
を中心に音量を調節し、徐々に音量を小さくしたり、あ
る周波数に関してだけ削除するといった処理を記述し、
それにあわせて音楽区間を加工する。なお、クライマッ
クス候補の選択方法によっては、時間長が異なって完全
な同期が取れない場合が生じる可能性がある。こうした
場合には、音楽区間を映像区間にあわせて延長、短縮す
ることで対応する。入力音楽情報が全体でも映像区間よ
りも短い場合には、繰り返し入力音楽情報を付加する。
これ以外の組み合わせ処理を行なうことも可能である。
クライマックス候補一致モデル１７で指定された双方の
クライマックス候補を基準に映像区間と音楽区間の同期
をとるだけでなく、対象とする音楽クライマックス候補
を中心に音量を調節し、徐々に音量を小さくしたり、あ
る周波数に関してだけ削除するといった処理を記述し、
それにあわせて音楽区間を加工する。なお、クライマッ
クス候補の選択方法によっては、時間長が異なって完全
な同期が取れない場合が生じる可能性がある。こうした
場合には、音楽区間を映像区間にあわせて延長、短縮す
ることで対応する。入力音楽情報が全体でも映像区間よ
りも短い場合には、繰り返し入力音楽情報を付加する。
これ以外の組み合わせ処理を行なうことも可能である。
【００２７】図３は映像情報抽出部３０の構成図であ
る。映像開始点・終了点検出部４１、シーンチェンジ検
出部４２とカメラワーク検出部４３によってそれぞれ映
像区間開始点・終了点４４、シーンチェンジ４５、カメ
ラワーク開始点・終了点４６を抽出し、それらを映像ク
ライマックス候補１５として抽出する。なお、シーンチ
ェンジやカメラワークは、対象が非圧縮デジタル映像の
場合には、各画素の情報を用いて、フレーム間の相関演
算を行なうことで抽出する。また、圧縮符号化されてい
るような場合、例えばＭＰＥＧ符号化圧縮されている場
合には、ＭＰＥＧデータに含まれる動きベクトルの情報
や予測誤差の情報から抽出する方法を用いてこれを実現
する。さらにシーンチェンジ、カメラワーク以外に、被
写体の動き、被写体の変化、特定被写体の登場／退場等
を映像クライマックス候補に含めてもよい。
る。映像開始点・終了点検出部４１、シーンチェンジ検
出部４２とカメラワーク検出部４３によってそれぞれ映
像区間開始点・終了点４４、シーンチェンジ４５、カメ
ラワーク開始点・終了点４６を抽出し、それらを映像ク
ライマックス候補１５として抽出する。なお、シーンチ
ェンジやカメラワークは、対象が非圧縮デジタル映像の
場合には、各画素の情報を用いて、フレーム間の相関演
算を行なうことで抽出する。また、圧縮符号化されてい
るような場合、例えばＭＰＥＧ符号化圧縮されている場
合には、ＭＰＥＧデータに含まれる動きベクトルの情報
や予測誤差の情報から抽出する方法を用いてこれを実現
する。さらにシーンチェンジ、カメラワーク以外に、被
写体の動き、被写体の変化、特定被写体の登場／退場等
を映像クライマックス候補に含めてもよい。
【００２８】図４は音楽情報抽出部３１の構成図であ
る。音楽区間開始点・終了点検出部５１、最大音量抽出
部５２、音量変化継続区間抽出部５３、周波数分布抽出
部５４によって、音楽区間開始点・終了点５５、最大音
量点５６、同一音量が一定時間継続している区間である
同一音量継続区間の開始点・終了点５７、単位時間当た
りの周波数分布が最大となった区間の終了点である周波
数密度最大区間終了点５８や、周波数成分毎に観察し
て、周波数分布が変化した点である周波数分布変曲点５
９を音楽クライマックス候補１６として抽出する。
る。音楽区間開始点・終了点検出部５１、最大音量抽出
部５２、音量変化継続区間抽出部５３、周波数分布抽出
部５４によって、音楽区間開始点・終了点５５、最大音
量点５６、同一音量が一定時間継続している区間である
同一音量継続区間の開始点・終了点５７、単位時間当た
りの周波数分布が最大となった区間の終了点である周波
数密度最大区間終了点５８や、周波数成分毎に観察し
て、周波数分布が変化した点である周波数分布変曲点５
９を音楽クライマックス候補１６として抽出する。
【００２９】なお、同一音量継続区間の開始点・終了点
５７とは、音量レベルを観察し、一定の音量が継続して
いる区間の開始点と終了点であり、音量変化を微分した
値が０で、かつ、音量が０でない区間の開始点・終了点
を指す。また、周波数密度最大区間終了点５８とは、周
波数成分を観察し、多くの周波数成分が存在し、それが
終了した点を指す。また、周波数分布変曲点５９とは、
高周波成分から低周波成分までの分布を観察し、分布有
りから無し、分布無しから有りをそれぞれ単位時間当た
りに計測し、有りから無し、または無しから有りの個数
がそれぞれ変化したところを変曲点としている。こうし
た点は、音楽の高周波中心から低周波中心、または、そ
の逆の変化を示し、曲調の変化と深い関係にある。
５７とは、音量レベルを観察し、一定の音量が継続して
いる区間の開始点と終了点であり、音量変化を微分した
値が０で、かつ、音量が０でない区間の開始点・終了点
を指す。また、周波数密度最大区間終了点５８とは、周
波数成分を観察し、多くの周波数成分が存在し、それが
終了した点を指す。また、周波数分布変曲点５９とは、
高周波成分から低周波成分までの分布を観察し、分布有
りから無し、分布無しから有りをそれぞれ単位時間当た
りに計測し、有りから無し、または無しから有りの個数
がそれぞれ変化したところを変曲点としている。こうし
た点は、音楽の高周波中心から低周波中心、または、そ
の逆の変化を示し、曲調の変化と深い関係にある。
【００３０】なお、周波数分布の変化点には、他にも特
徴点として用いることができる。例えば、周波数分布を
まず、高周波数帯と低周波数帯とに分割しておき、各周
波数のパワーを抽出し、個々のパワーがあらかじめ与え
られた閾値よりも大きいときの個数を高周波数帯と低周
波数帯とで計数し、それぞれの個数の変化をみておき、
低周波数帯の個数と高周波数帯の個数が逆転したところ
を周波数分布の変化点としている。なお、周波数分布の
変化点に関しては、これ以外にも、様々な方法が存在す
る。ここで記載したものは、個数でしかないが、その周
波数方向への密度を特徴量として比較の対象として用い
てもよいし、パワーの大きさによって重みを付加させて
から分布を評価しても構わない。また、高低の２つの分
布だけで評価するだけでなく、複数の分布帯にわけて評
価を行ってもよい。 また、音楽クライマックス候補１
６として、上述した以外に、リズム変化やテンポ変化、
歌付きの音楽の場合の歌詞の変化などの情報も音楽クラ
イマックス候補として用いてもよい。
徴点として用いることができる。例えば、周波数分布を
まず、高周波数帯と低周波数帯とに分割しておき、各周
波数のパワーを抽出し、個々のパワーがあらかじめ与え
られた閾値よりも大きいときの個数を高周波数帯と低周
波数帯とで計数し、それぞれの個数の変化をみておき、
低周波数帯の個数と高周波数帯の個数が逆転したところ
を周波数分布の変化点としている。なお、周波数分布の
変化点に関しては、これ以外にも、様々な方法が存在す
る。ここで記載したものは、個数でしかないが、その周
波数方向への密度を特徴量として比較の対象として用い
てもよいし、パワーの大きさによって重みを付加させて
から分布を評価しても構わない。また、高低の２つの分
布だけで評価するだけでなく、複数の分布帯にわけて評
価を行ってもよい。 また、音楽クライマックス候補１
６として、上述した以外に、リズム変化やテンポ変化、
歌付きの音楽の場合の歌詞の変化などの情報も音楽クラ
イマックス候補として用いてもよい。
【００３１】次に、クライマックス候補一致モデル１７
について説明する。クライマックス候補一致モデル１７
とは、映像制作におけるテクニックを反映したものであ
り、例えば上述の４例の制作テクニックを、パラメータ
上で実現することを目的とした操作の記録にあたる。
について説明する。クライマックス候補一致モデル１７
とは、映像制作におけるテクニックを反映したものであ
り、例えば上述の４例の制作テクニックを、パラメータ
上で実現することを目的とした操作の記録にあたる。
【００３２】それぞれ上述の４例に対応するモデルを以
下にあげる。 １）カメラワークを有する映像で、カメラワークにあわ
せて音楽情報の音量を大きくし、カメラワークの終了時
に音量を最大にし、高揚感を表現し、視聴者に興奮を与
える。
下にあげる。 １）カメラワークを有する映像で、カメラワークにあわ
せて音楽情報の音量を大きくし、カメラワークの終了時
に音量を最大にし、高揚感を表現し、視聴者に興奮を与
える。
【００３３】この場合には、映像クライマックス候補点
の中からカメラワークの終了点を、音楽クライマックス
候補１６の中から音量最大点の双方を同期の際の基準と
して用いる。 ２）映像の切り替えと同時に音楽を開始または終了させ
ることで、視聴者にインパクトを与え、音楽の開始また
は終了時の映像を印象つける。
の中からカメラワークの終了点を、音楽クライマックス
候補１６の中から音量最大点の双方を同期の際の基準と
して用いる。 ２）映像の切り替えと同時に音楽を開始または終了させ
ることで、視聴者にインパクトを与え、音楽の開始また
は終了時の映像を印象つける。
【００３４】この場合には、映像クライマックス候補１
５の中からシーンチェンジを、音楽クライマックス候補
１６の中から音楽区間の開始点ないしは終了点の双方を
同期の際の基準として用いる。 ３）映像シーンの進行とともに音楽の音量を緩やかに小
さくしたり、徐々にゆっくりとした演奏にすることで、
視聴者に穏やかな気持ちを与えたり、哀しみの感情を誘
わせる。
５の中からシーンチェンジを、音楽クライマックス候補
１６の中から音楽区間の開始点ないしは終了点の双方を
同期の際の基準として用いる。 ３）映像シーンの進行とともに音楽の音量を緩やかに小
さくしたり、徐々にゆっくりとした演奏にすることで、
視聴者に穏やかな気持ちを与えたり、哀しみの感情を誘
わせる。
【００３５】この場合には、映像クライマックス候補１
５の中から映像区間の終了点を、音楽クライマックス候
補１６の中から音楽区間の音量最大点の双方を同期の際
の基準として用いる。 ４）音楽の曲調の変化と、映像のショットの変化を一致
させ、激しさから静寂、または、その逆の状態を視聴者
に与える。
５の中から映像区間の終了点を、音楽クライマックス候
補１６の中から音楽区間の音量最大点の双方を同期の際
の基準として用いる。 ４）音楽の曲調の変化と、映像のショットの変化を一致
させ、激しさから静寂、または、その逆の状態を視聴者
に与える。
【００３６】この場合には、映像クライマックス候補１
５の中から映像区間のシーンチェンジを、音楽クライマ
ックス候補１６の中から音楽区間の周波数分布変曲点の
双方を同期の際の基準として用いる。
５の中から映像区間のシーンチェンジを、音楽クライマ
ックス候補１６の中から音楽区間の周波数分布変曲点の
双方を同期の際の基準として用いる。
【００３７】本実施形態では、上述の映像作品制作テク
ニックを対象とし、上述のクライマックス候補一致モデ
ル１７によって、これらの制作を容易にすることが可能
となる。
ニックを対象とし、上述のクライマックス候補一致モデ
ル１７によって、これらの制作を容易にすることが可能
となる。
【００３８】さらに、これら以外の制作テクニックを満
たすクライマックス候補一致モデルをモデル群に増や
し、選択可能にできれば、より完成度の高い映像作品の
制作を支援を行なうことが可能である。
たすクライマックス候補一致モデルをモデル群に増や
し、選択可能にできれば、より完成度の高い映像作品の
制作を支援を行なうことが可能である。
【００３９】図５はクライマックス一致部３２によって
映像と音楽が付加され、劇的映像ができる様子を示す。
この場合は、映像クライマックス候補１５からはカメラ
ワーク終了点、音楽クライマックス候補１６からは音量
最大点を、それぞれクライマックス候補一致モデル１７
にて同期させる過程をしめし、最終的な劇的映像作品１
９を制作している。
映像と音楽が付加され、劇的映像ができる様子を示す。
この場合は、映像クライマックス候補１５からはカメラ
ワーク終了点、音楽クライマックス候補１６からは音量
最大点を、それぞれクライマックス候補一致モデル１７
にて同期させる過程をしめし、最終的な劇的映像作品１
９を制作している。
【００４０】図６は、クライマックス一致部３２によっ
て映像と音楽が付加され、劇的映像作品１９ができる様
子を示す。この場合は、映像クライマックス候補１５か
らはシーンチェンジ、音楽クライマックス候補１６から
は周波数分布の変化点を、それぞれクライマックス候補
一致モデル１７にて同期させる過程を示し、最終的な劇
的映像作品１９を製作している。なお、周波数分布の変
化点には、周波数分布最大密度終了点を用いている。
て映像と音楽が付加され、劇的映像作品１９ができる様
子を示す。この場合は、映像クライマックス候補１５か
らはシーンチェンジ、音楽クライマックス候補１６から
は周波数分布の変化点を、それぞれクライマックス候補
一致モデル１７にて同期させる過程を示し、最終的な劇
的映像作品１９を製作している。なお、周波数分布の変
化点には、周波数分布最大密度終了点を用いている。
【００４１】なお、上述のように、あらかじめ映像クラ
イマックス候補及び音楽クライマックス候補が抽出され
ていれば、あとは双方のいずれかのクライマックス候補
を基準にして、クライマックス候補同士を一致させ、同
期をとるだけであり、他のクライマックス候補において
も、同様の処理を行うことが可能である。
イマックス候補及び音楽クライマックス候補が抽出され
ていれば、あとは双方のいずれかのクライマックス候補
を基準にして、クライマックス候補同士を一致させ、同
期をとるだけであり、他のクライマックス候補において
も、同様の処理を行うことが可能である。
【００４２】
【発明の効果】以上説明したように本発明は、映像およ
び音楽情報を組み合わせて、完成度の高い映像作品を制
作、編集する際に、あらかじめ映像制作テクニックに用
いられる、映像のシーンチェンジ、カメラワークの開始
点および終了点、音楽の音量、周波数波形の変化点とい
った情報をクライマックス候補として抽出し、あらかじ
め構築された映像制作モデルに投入してやることで、基
本的な映像制作テクニックに基づいた加工を自動的に行
ない、完成度の高い映像作品を簡単に作成することが可
能となる。
び音楽情報を組み合わせて、完成度の高い映像作品を制
作、編集する際に、あらかじめ映像制作テクニックに用
いられる、映像のシーンチェンジ、カメラワークの開始
点および終了点、音楽の音量、周波数波形の変化点とい
った情報をクライマックス候補として抽出し、あらかじ
め構築された映像制作モデルに投入してやることで、基
本的な映像制作テクニックに基づいた加工を自動的に行
ない、完成度の高い映像作品を簡単に作成することが可
能となる。
【００４３】なお、本発明の実現にあたっては、その方
式を記述したソフトウェアを汎用コンピュータに搭載す
ることにより、その装置を実現することが可能である。
式を記述したソフトウェアを汎用コンピュータに搭載す
ることにより、その装置を実現することが可能である。
【図１】本発明の一実施形態の劇的映像制作支援方法の
流れ図である。
流れ図である。
【図２】本発明の一実施形態の劇的映像制作支援装置の
構成図である。
構成図である。
【図３】映像情報抽出部３０の構成図である。
【図４】音楽情報抽出部３１の構成図である。
【図５】劇的映像制作の模式図である。
【図６】劇的映像製作の模式図である。
１ 映像区間・音楽取り出し段階
２ 映像情報抽出段階
３ 音楽情報抽出段階
４ クライマックス一致段階
５ 情報付加段階
１１ 映像情報
１２ 音楽情報
１３ 映像区間
１４ 音楽区間
１５ 映像クライマックス候補
１６ 音楽クライマックス候補
１７ クライマックス候補一致モデル
１８ 同期信号
１９ 劇的映像作品
２０ 入力映像バッファ
２１ 入力音楽バッファ
２２ 映像特徴表示部
２３ 音楽特徴表示部
２４ 利用者指示部
２５ 映像区間切り出し部
２６ 音楽区間切り出し部
２７ 映像区間バッファ
２８ 音楽区間バッファ
２９ クライマックス候補一致モデル群
３０ 映像情報抽出部
３１ 音楽情報抽出部
３２ クライマックス一致部
３３ 情報付加部
３４ 映像作品メモリ
４１ 映像開始点・終了点検出部
４２ シーンチェンジ検出部
４３ カメラワーク検出部
４４ 映像区間開始点・終了点
４５ シーンチェンジ
４６ カメラワーク開始点・終了点
５１ 音楽区間開始点・終了点検出部
５２ 最大音量抽出部
５３ 音量変化継続区間抽出部
５４ 周波数分布抽出部
５５ 音楽区間開始点・終了点
５６ 最大音量点
５７ 同一音量継続区間開始点・終了点
５８ 周波数密度最大区間終了点
５９ 周波数分布変曲点
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 外村 佳伸
東京都新宿区西新宿三丁目19番２号 日
本電信電話株式会社内
(56)参考文献 特開 平５−74109（ＪＰ，Ａ)
特開 平７−23329（ＪＰ，Ａ)
特開 平５−101608（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/262 - 5/28
Claims (10)
- 【請求項１】 映像情報に、指示に従って音楽情報を付
加して、より劇的な効果を生む劇的映像制作支援方法で
あって、 映像情報と音楽情報からそれぞれ利用者が対象としたい
映像区間と音楽区間を取り出す映像区間・音楽区間取り
出し段階と、 前記映像区間から映像のクライマックス候補情報である
映像区間の開始点および終了点、シーンチェンジの開始
点および終了点、カメラワークの開始点および終了点を
抽出する映像情報抽出段階と、 前記音楽区間から音楽のクライマックス候補情報である
音楽区間の開始点および終了点音量および周波数の変化
点を抽出する音楽情報抽出段階と、 あらかじめ用意された１つのクライマックス候補一致モ
デルまたは複数のクライマックス候補一致モデルの中か
ら選択されたクライマックス候補モデルを用いて、前記
映像クライマックス候補情報と前記音楽クライマックス
候補情報を一致させ、一致させたクライマックス候補情
報に従って、映像区間に同期できるように音楽区間に対
する加工処理を行なって映像区間に音楽区間を同期させ
るクライマックス一致段階とを有する劇的映像制作支援
方法。 - 【請求項２】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出された映像のカメラワークの終了点と、音楽ク
ライマックス候補として抽出された音量の変化点を一致
させ、それらの値を基準に映像に音楽を付加するモデル
である請求項１記載の劇的映像制作支援方法。 - 【請求項３】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出されたカメラワークの終了点と、音楽クライマ
ックス候補として抽出された周波数の変化点を一致さ
せ、それらの値を基準に映像に音楽を付加するモデルで
ある請求項１記載の劇的映像制作支援方法。 - 【請求項４】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出されたカメラワークの開始点と、音楽クライマ
ックス候補として抽出された音量の変化点を一致させ、
それらの値を基準に映像に音楽を付加するモデルである
請求項１記載の劇的映像制作支援方法。 - 【請求項５】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出されたカメラワークの開始点と、音楽クライマ
ックス候補として抽出された周波数の変化点を一致さ
せ、それらの値を基準に映像に音楽を付加するモデルで
ある請求項１記載の劇的映像制作支援方法。 - 【請求項６】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出されたシーンチェンジと、音楽クライマックス
候補として抽出された音量の変化点を一致させ、それら
の値を基準に映像に音楽を付加するモデルである請求項
１記載の劇的映像制作支援方法。 - 【請求項７】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出されたシーンチェンジと、音楽クライマックス
候補として抽出された周波数の変化点を一致させ、それ
らの値を基準に映像に音楽を付加するモデルである請求
項１記載の劇的映像制作支援方法。 - 【請求項８】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出された映像区間の開始点および終了点のうちの
いずれか１つと、音楽クライマックス候補として抽出さ
れた音量および周波数の変化点のうちのいずれか１つと
を一致させ、それらの値を基準に映像に音楽を付加する
モデルである請求項１記載の劇的映像製作支援方法。 - 【請求項９】 あらかじめ用意されているクライマック
ス候補一致モデルの１つが、映像クライマックス候補と
して抽出された映像区間中のシーンチェンジの開始点お
よび終了点、カメラワークの開始点および終了点のうち
いずれか一つと、音楽クライマックス候補として抽出さ
れた音楽区間の開始点および終了点のうちのいずれか１
つとを一致させ、それらの値を基準に映像に音楽を付加
するモデルである請求項１記載の劇的映像製作支援方
法。 - 【請求項１０】 映像情報に、指示に従って音楽情報を
付加して、より劇的な効果を生む劇的映像制作支援装置
であって、 映像情報と音楽情報からそれぞれ利用者が対象としたい
映像区間と音楽区間を取り出す映像区間・音楽区間取り
出し手段と、 該映像区間から人の会話を含む映像中音声情報と、映像
のクライマックス候補情報である映像区間の開始点およ
び終了点、シーンチェンジの開始点および終了点、カメ
ラワークの開始点および終了点を抽出する映像情報抽出
手段と、 前記音楽区間から音楽のクライマックス候補情報である
音楽区間の開始点および終了点、音量および周波数の変
化点を抽出する音楽情報抽出手段と、 あらかじめ用意された１つのクライマックス候補一致モ
デルまたは複数のクライマックス候補一致モデルの中か
ら選択されたクライマックス候補モデルを用いて、前記
映像クライマックス候補情報と前記音楽クライマックス
候補情報を一致させ、一致させたクライマックス候補に
従って、映像区間に同期できるように音楽区間に対する
加工処理を行なって映像区間に音楽区間を同期させるク
ライマックス一致手段とを有する劇的映像制作支援装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10623997A JP3506410B2 (ja) | 1997-04-23 | 1997-04-23 | 劇的映像制作支援方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10623997A JP3506410B2 (ja) | 1997-04-23 | 1997-04-23 | 劇的映像制作支援方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304242A JPH10304242A (ja) | 1998-11-13 |
| JP3506410B2 true JP3506410B2 (ja) | 2004-03-15 |
Family
ID=14428575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10623997A Expired - Fee Related JP3506410B2 (ja) | 1997-04-23 | 1997-04-23 | 劇的映像制作支援方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3506410B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111081272A (zh) * | 2019-12-16 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 歌曲高潮片段识别方法及装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0230097D0 (en) * | 2002-12-24 | 2003-01-29 | Koninkl Philips Electronics Nv | Method and system for augmenting an audio signal |
| KR100694060B1 (ko) | 2004-10-12 | 2007-03-12 | 삼성전자주식회사 | 오디오 비디오 동기화 장치 및 그 방법 |
| JP4839952B2 (ja) * | 2006-05-01 | 2011-12-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| CN108781255B (zh) | 2016-03-08 | 2020-11-24 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| JP2018170678A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社ライブ・アース | ライブ映像処理システム、ライブ映像処理方法及びプログラム |
-
1997
- 1997-04-23 JP JP10623997A patent/JP3506410B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111081272A (zh) * | 2019-12-16 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 歌曲高潮片段识别方法及装置 |
| CN111081272B (zh) * | 2019-12-16 | 2024-04-05 | 腾讯科技（深圳）有限公司 | 歌曲高潮片段识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10304242A (ja) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100762585B1 (ko) | 율동 기반 음악 동조화 장치 및 방법 | |
| JP3955099B2 (ja) | タイムベースメディア処理システム | |
| EP1653468A2 (en) | Content using apparatus, content using method, distribution server apparatus, information distribution method, and recording medium | |
| US8320743B2 (en) | Dynamic variation of output media signal in response to input media signal | |
| EP1653471A2 (en) | Content using apparatus, content using method, distribution server apparatus, information distribution method, and recording medium | |
| JP4449216B2 (ja) | 映像情報の編集方法及び編集装置 | |
| US20180295427A1 (en) | Systems and methods for creating composite videos | |
| JP2005506643A (ja) | メディアプロダクションシステムとその方法 | |
| WO1998011529A1 (fr) | Procede automatique de composition musicale | |
| WO2010068175A2 (en) | Creating a new video production by intercutting between multiple video clips | |
| JP4373467B2 (ja) | 編集方法 | |
| KR101944365B1 (ko) | 콘텐츠 싱크 생성 방법, 그 장치 및 이를 위한 인터페이스 모듈 | |
| JPH1169290A (ja) | 映像制作方法及び装置及びこの方法を記録した記録媒体 | |
| JP3506410B2 (ja) | 劇的映像制作支援方法および装置 | |
| JPH10243351A (ja) | 映像再生装置 | |
| Tadamura et al. | Synchronizing computer graphics animation and audio | |
| JP2005122664A (ja) | オーディオデータ記録装置、オーディオデータ再生装置、及びオーディオデータ記録再生装置、並びにオーディオデータ記録方法、オーディオデータ再生方法及びオーディオデータ記録再生方法 | |
| JP2009118117A (ja) | スライドショー作成システム及びスライドショー作成方法並びにスライドショー作成プログラム | |
| KR100383019B1 (ko) | 뮤직비디오 제작장치 | |
| KR100462826B1 (ko) | 독립된 둘 이상의 멀티미디어 데이터의 동기화 재생을 위한 휴대용 멀티미디어 데이터 재생 장치 및 그 재생 제어 방법과, 멀티미디어 데이터를 제공하는 시스템 | |
| Cremer et al. | Machine-assisted editing of user-generated content | |
| KR102417373B1 (ko) | 사운드 편집 시스템 | |
| US20240055024A1 (en) | Generating and mixing audio arrangements | |
| JP2000284787A (ja) | カラオケ装置用のムード映像編集方法 | |
| KR100659883B1 (ko) | 오디오 재생시 동영상을 동조화하여 재생하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071226 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081226 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091226 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |