JP3578464B2

JP3578464B2 - 自動作曲方法

Info

Publication number: JP3578464B2
Application number: JP51347598A
Authority: JP
Inventors: 長谷川　　隆; 義典北原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-09-13
Filing date: 1996-09-13
Publication date: 2004-10-20
Anticipated expiration: 2016-09-13
Also published as: EP1020843B1; EP1020843A1; US6084169A; EP1020843A4; DE69637504T2; WO1998011529A1; DE69637504D1

Description

技術分野
本発明は、入力された画像のBGMを、自動的に作成する自動作曲方法に関する。詳しくは、入力された画像を解析して、その画像が表示される時間長でその画像の雰囲気にふさわしい音楽を自動的に作成する方法とシステムに関する。
背景技術
画像に対するBGM付与方法に関する従来技術として、例えばThe Joumal of Visualization and Computer Animation,Vol.5、pp.247〜264（1994）記載の「Automatic Background Music Generation based on Actors「Mood and Motion」がある。この従来技術では、コンピュータ・アニメーションの動画像の各カットに対して、ユーザにカットの雰囲気を表わすMood Typeとカットの再生時間を入力させ、その雰囲気と時間に合わせてBGMを作成し、動画像に付与している。アニメーションや映画等にBGMを付与するのはそれらの制作者である場合が多い。この場合製作過程において、カットに著したい雰囲気やカットの時間は決まっているはずであり、BGM付与のためにシステムに与える条件を知ることは容易である。
ところが、ユーザが自分で撮影したビデオ画像等の一般の動画像は、予めどのシーンを何秒で撮影するかは決められていない。上記の従来技術を用いてそのようなユーザ自作のビデオ（動画像）にBGMを付与する場合、ユーザ自身がカットの分割位置をビデオができた後で探し、各カット毎の再生時間と該カットの雰囲気を求めてBGM付与の条件として求めた時間と雰囲気とをシステムに入力してようやくBGMを得ることになり、多くの時間と手間を要した。
本発明の目的は、上記問題を解消するために、動画像のみを与えることにより、自動的に該動画像の雰囲気と再生時間に適合するBGMを生成、付与可能な自動作曲システム、及び該自動作曲システムを含むビデオ編集システム、マルチメディア作品作成支援システムを提供することにある。
発明の開示
上記目的は、与えられた動画像をカットに分割し、カット毎に該カットの特徴を求め、該特徴をパラメータに変換し、該パラメータと該カットの再生時間を用いてBGMを自動作曲することを特徴とするBGMの自動作曲方法により達成される。
本発明によるBGM付与方法では、与えられた動画像をカットに分割し、カット毎に該カットの特徴を求め、該特徴を自動作曲の際用いるパラメータに変換し、該パラメータと該カットの再生時間を用いてBGMを自動作曲し、該動画像の雰囲気と再生時間に適合するBGMを動画像とともに出力する。
【図面の簡単な説明】
第１図は、本発明による動画像に対するBGM付与方法の処理フローの一例を示すフローチャートであり、第２図は、本発明による画像に対するBGM付与システムの一実施例の構成を示すブロック図であり、第３図は、動画像データの具体例を示した説明図であり、第４図は、動画像データに含まれる画像データ、及び静止画像データの具体例を示した説明図であり、第５図は、カット情報列データの具体例を示した説明図であり、第６図は、画像特徴柚出処理フローの一例を示すPAD図であり、第７図は、感性データベースに記憶される感性データの具体例を示した説明図であり、第８図は、感性データに含まれる音価列集合データの具体例を示した説明図であり、第９図は、感性メディア変換検索処理フローの一例を示すPAD図であり、第10図は、感性自動作曲処理フローの一例の概略を示すフローチャートであり、第11図は、メロディ音価列検索処理フローの一例を示すフローチャートであり、第12図は、各音価に対するピッチ付与処理フローの一例を示すフローチャートであり、第13図は、本発明により付与されるBGMデータの具体例を示した説明図であり、第14図は、本発明の方法を用いた製品形態の例を説明する図である。
発明を実施するための最良の形態
以下では、本発明の実施例を図面を用いて詳細に説明する。
はじめに、本発明のシステム構成の概要を第２図を用いて説明する。第２図のシステムは少なくとも、システム全体の制御を司るプロセッサ（205）と、システムの制御プログラム（図示無し）をはじめとして本発明を実行する種々のプログラムや本発明を実行する際に利用される記憶エリア（図示無し）を有するメモリ（206）と、画像、音楽、音響及び音声の入出力装置（201〜204）と、本発明の実行に用いられる種々の二次記憶装置（210〜213）とから構成される。
画像入力装置201は動画像、又は静止画像を専用のファイル（210、211）に入力するための装置である。実際には、ビデオ・カメラ、ビデオ再生装置（以上動画像の入力に用いる）、スキャナ、デジタル・カメラ（以上静止画像の入力に用いる）等が用いられる。画像出力装置202は画像を出力するための装置で、液晶やCRTのディスプレイ、テレビ等が考えられる。音楽出力装置203は音楽ファイル（212）に記憶された音符情報を音楽に構成して出力する装置で、ミュージック・シンセサイザー等が考えられる。ユーザ入力装置（204）は、システムの起動を指示するなどユーザがシステムの制御情報を入力するための装置で、キーボード、マウス、タッチパネル、専用のコマンドキー、音声入力装置等が考えられる。
メモリ206は、以下のプログラムが保持されている。入力された動画像をカットに分割するための動画像カット分割プログラム220、画像の特徴を抽出するための画像特徴抽出プログラム221、抽出された特徴を参照して画像の雰囲気にあった音楽を構成する音価列を得るための感性メディア変換検索プログラム222、得られた音価列を音楽に構成する感性自動作曲プログラム223、である。また、図示されていないが、メモリ206には、システムを制御するプログラムや、上記のプログラムの実行過程で一時的なデータを記憶する記憶エリアも存在している。
次に本発明の処理の概要を第１図を用いて説明する。本システムの起動後、動画像入力プログラムに従って、画像入力装置（201）より動画像が入力される。入力された動画像データは動画像ファイル（210）に記憶される（ステップ101）。次に、動画像カット分割プログラム（220）を用いて動画像ファイル（210）に記憶された動画像をカット（とぎれの無い動画像区間）に分割する。カットの分割位置情報とその分割位置情報が示す画像をカットの代表画像情報として静止画像ファイル（211）に記憶する（ステップ102）。代表画像はある時点の画像であるから静止画とみなして静止画像ファイルに記憶される。次に画像特徴抽出プログラム（221）を用いて、各カットの代表画像の特徴量を抽出し、メモリ（206）に記憶する（ステップ103）。次に、感性メディア変換検索プログラム（222）を用いて、抽出された特徴量をキーとして、感性DB（213）に記憶された感性情報を検索し、得られた感性情報に含まれる音価列集合をメモリ（206）に記憶する（ステップ104）。次に、感性自動作曲プログラム（223）を用いて、得られた音価列集合と、メモリ（206）上に記憶された分割位置情報から求めたカットの時間情報からBGMを生成し音楽ファイル（212）に記憶する（ステップ105）。最後に生成されたBGMと入力された動画像を同時に音楽出力装置（203）と画像出力装置（202）を用いて出力する（ステップ106）。
続いて、システム構成と処理の詳細を説明する。以下はシステムを構成する二次記憶装置（210−213）とメモリ206に保持されるデータ構造についての説明である。
第２図の動画像ファイル（210）に記載される動画像データの構造を第３図に示す。動画像データは複数の時系列に並んだフレームデータ群（300）から構成されている。各フレームデータは、個々のフレームを識別するための番号（301）、そのフレームが表示される時刻302、表示される画像データ303から構成される。１つの動画像は複数の静止画の集合である。つまり、画像データ（303）のそれぞれは１枚の静止画像データである。そうして、動画像は、フレーム番号１番の画像データから順番にフレームデータを次々に表示することにより表現される。この時にフレーム番号１の画像データが表示される時刻（時刻１）を０とした時の各フレームの画像データの表示時刻が時刻情報（302）に記憶されている。第３図では、入力された動画像がn1個のフレームで構成されていることを示す。例えば１秒当たり30フレームで10秒間の動画像ではn1＝300となる。
第２図の静止画像ファイル（211）に記憶されるデータと、第３図の画像データ（303）のデータ構造を第４図を用いて詳細に説明する。該データは第３図に示した時刻のうちのある時点（例えば302）に表示される画像平面上の全ての点の表示情報400から構成されている。つまり、第３図の任意の時刻niの画像データに対して第４図に示す表示情報が存在する。また、画像上の点の表示情報（400）は点のＸ座標401、Ｙ座標402、及び点の色情報としての赤の強度403、緑の強度404、青の強度405から構成される。一般に赤、緑、青の強度を用いてすべての色を表現することが出来るので、本データによって点の集合である画像の情報を表現することが出来る。色の強度は０〜１の実数で表わされる。例えば白は（赤、緑、青）が（１、１、１）、赤は（１、０、０）灰色は（0.5、0.5、0.5）と表わすことが出来る。第４図では点の表示情報が全部でn2個ある。640×800ドットの画像では、表示情報の数は全部でn2＝512,000個となる。
次に第１図の動画像カット分割処理（102）によりメモリ（206）上に出力されるカット情報列のデータ構造を第５図を用いて詳細に説明する。前記データは時系列に並んだ１つ以上のカット情報500から構成され、各カット情報はそのカットの代表画像フレームのフレーム番号（カットの最初のフレーム番号であることが多い）501、前記フレーム番号（501）の時刻502、対応するカットの代表画像番号503から構成される。対応するカットは、例えばカット情報504の場合、動画像のフレーム番号ｉからカット情報501におけるフレーム番号ｉ＋１の１つ前のフレームまでの動画像区間であり、その動画の再生時間は（時刻ｉ＋１）−（時刻ｉ）である。また、代表画像番号（503）は静止画像ファイル（211）内における静止画像データの所在情報であり、各静止画像データに順番に付与された番号、または該画像データの先頭アドレス等が考えられる。更に代表画像は、カット内の１つのフレームの画像データを静止画像ファイル（211）に複写したものであり、第４図に示したデータ構造を持つ。通常カットの最初の画像（カット情報500の場合フレーム番号ｉの画像データ）を複写したものであるが、カットの中央の画像（カット情報500の場合フレーム番号が（（フレーム番号ｉ）＋（フレーム番号ｉ＋１））/2であるフレームの画像データ）、カットの最後の画像（カット情報504の場合フレーム番号が（フレーム番号ｉ＋１）−１であるフレームの画像データ）等を複写してもよい。また、第５図ではカット情報が全部でn3個ある。これは入力された動画像がn3個のカットに分割されていることを意味する。
次に第２図の感性データベース（213）に記憶されているデータのデータ構造を第７図を用いて詳細に説明する。該データベースは感性データ700が多数記憶されている。また、感性データ（700）は画像の感性特徴量である背景色情報701と前景色情報702、及び音楽の感性特徴量である音価列集合703から構成される。背景／前景色情報（701、702）は色を表現するための赤・緑・青の強度を表わす３つの実数の組から成る。
次に第７図の音価列集合（703）のデータ構造を第８図を用いて説明する。音価列集合は複数の音価列情報800から構成され、音価列情報（800）は音価列803と前記音価列のテンポ情報802、前記音価列を前記テンポで演奏した場合の所要時問情報801から構成される。また、テンポ情報（802）は基準となる音符とその音符が１分間に演奏される数を表す情報から構成される。例えば、テンポ811は４分音符が１分間に120演奏される速さを表している。また前記テンポ情報（811）は、より具体的には、４分音符の長さを表す整数96と演奏音符数を表す120の組（96、120）として前記データベースに記憶されている。次に所要時間は、秒数を表す整数が記憶されている。例えば４分音符＝120のテンポ（811）で音価列に含まれる音価が４分音符60個分である場合には演奏時間は1/2分、すなわち30秒となるので所要時間には30が記憶される（810）。音価列（803）は拍子情報820と複数の音価情報（821〜824）から構成される。拍子情報（820）は生成されるメロディの拍子に関する情報であり、例えば820は４分の４拍子であることを示し、前記データベース上には２つの整数の組（４、４）として記憶されている。音価情報（821〜824）は音符の音価（821、822、824）と休符の音価（822）から構成され、これら音価を順番に並べることによりメロディのリズムを表現している。また、前記データベースは、所要時間が小さい順でデータが格納されている。
第１図の感性自動作曲処理により音楽ファイル（212）上に記憶されるBGMデータの例を第13図に示す。BGMは拍子情報1301と音符（1302〜1304）の列として表現される。拍子情報（1301）は音価列集合（第８図）における拍子情報（820）と同様に２つの整数の組で記憶される。また、音符列（1302〜1304）はそれぞれ３つの整数の組（1314〜1316）として記憶されている。前記整数はそれぞれ発音タイミング1311音符の長さ1312、音符のピッチ1313である。
次に、第１図の処理概要に沿って個々の処理の実現方法について説明する。
次に第１図の動画像カット分割処理（102）は、情報処理学会論文誌Vol33,No.4、「カラービデオ映像における自動索引付け法と物体探索法」、特開平４−111181号公報「動画像変化点検出方法」等の記載の方法を用いて実現することができる。前記方法はいずれも、動画像（第３図）のあるフレーム（300）の画像データと次のフレーム（310）の画像データとの間の変化率を定義しその値がある一定値を越える部分をカットの分割点とする方法である。こうして得られたカットの分割点情報とカットの代表画像情報から構成されるカット情報の列（第５図）はメモリ（206）上に記憶される。
第１図の画像特徴抽出処理（103）を第６図を用いて説明する。この処理は静止画像ファイル（第２図、211）に記憶された静止画像データ各々に対し、以下に述べる処理を施すことにより各静止画像データに対する「背景色」と「前景色」という画像特徴量を求める処理である。基本的には色を10×10×10の1000の区分に分け、画像上でそれらの中に入る色を持つ点の数を数え、点の数が最大の区分の中央の値を持つ色を「背景色」とし、２番目に多い区分の中央の色を「前景色」とする。図６に手順を述べる。まず、10×10×10のヒストグラム用データ配列を用意し、全てを０クリアする（ステップ601）。次に、画像データ（第４図）中の全てのＸ座標（401）とＹ座標（402）に対応する点表示情報（400）に対し、ステップ603を実行する（ステップ602）。整数変数ｉ、ｊ、ｋにそれぞれ順番に０〜９までの整数値を代入しながらステップ604を実行する（ステップ603）。もし現在のＸ、Ｙ座標に対応する点表示情報の色情報の中の赤・緑・青の強度がそれぞれ、i/10と（ｉ＋１）/10、j/1Qと（ｊ＋１）/10、k/10と（ｋ＋１）/10の間の値ならばステップ605を実行する（ステップ604）該当する色区分のヒストグラム値を１増やす（ステップ605）。次に、値が最も大きいヒストグラムのインデックスｉ、ｊ、ｋを変数i1、j1、k1に代入し、２番目に大きいヒストグラムのインデックスを変数i2、j2、k2に代入する（ステップ606）。最後に、赤・緑・青の強度がそれぞれ（i1＋0.5）/10、（j1＋0.5）/10、（k1＋0.5）/10である色を背景色としメモリ（206）に記憶し、赤・緑・青の強度がそれぞれ（i2＋0.5）/10、（j2＋0.5）/10、（k2＋0.5）/10である色を前景色としメモリ（206）に記憶する。
第１図の感性メディア変換検索処理（104）を第９図を用いて説明する。この処理は画像特徴抽出処理（第６図）で求めた画像の感性特徴量である背景／前景色に最も近い背景／前景色に対応する感性データを第７図の感性DBを参照して求め、得られた感性データに対応する音楽の感性特徴量である音価列集合（第８図）を求める処理である。以下に詳細な手順を述べる。まず、変数dmに十分大きな実数を代入する（ステップ901）。次に、感性データベース（213）に記憶された全ての感性データ（700）Diに対し、ステップ903〜904を実行する（ステップ902）。画像特徴抽出処理で求めた背景色（Rb、Gb、Bb）とDiの背景色（Rib、Gib、Bib）、及び前景色（Rf、Gf、Bf）とDiの前景色（Rif、Gif、Bif）との間の（各々の値を３次元空間上の座標をみなした場合の）ピタゴラス距離をそれぞれ求め、それらの和を変数diに代入する（ステップ904）。もしdmよりdiの方が小さければ、ステップ905を実行する（ステップ904）。変数ｍに現在の感性データのインデックスであるｉを代入し、dmにdiを代入する（ステップ905）。最後に、変数ｍのインデックスを特つ感性データに対応する音価列集合をメモリ（206）に記憶する（ステップ607）。
次に第１図の感性自動作曲処理（105）は、各カットに対して本発明者が先に日本国に出願した特願平７−237082号「自動作曲方法」（1995.9.14出願）記載の方法を適用することにより実現する。以下に前記方法の概略を第10図を用いて説明する。まず、BGMの所要時間情報を用いて感性メディア変換検索処理（104）で求められた音価列集合（第８図）から適切な音価列を検索する（ステップ1001）。次に検索された音価列にピッチを付与することによりBGMを生成する（ステップ1002）。
第10図のメロディ音価列検索処理（1001）を、第11図を用いて詳細に説明する。まず、動画像カット分割処理（102）により出力されたカット情報（500）の中の時刻情報（502）を用いて求められる動画像区間の再生時間（入力が動画像の場合）、またはユーザにより別途メモリ（206）に入力された演奏時間（入力が静止画の場合）を変数Ｔに記憶する（ステップ1101）。次に、音価列集合（第８図）の最初のデータが変数Ｓに、整数値１が変数Ｋにそれぞれ記憶される（ステップ1102）。次にデータＳの所要時間情報（801）と変数Ｔの値を比較し、もしＴの方が大きければステップ1104を、Ｓの所要時間の方か大きいが等しければステップ1106を実行する（ステップ1103）。変数Ｋが前記音価列集合に記憶されている音価列の数Ｎに等しければステップ1109を、そうでなければステップ1105を実行する（ステップ1104）。Ｓに前記音価列集合に記憶された次のデータを記憶し、変数Ｋの値を１増やし、ステップ1103に戻る（ステップ1105）。Ｓに記憶されているデータの１つ前の音価列データを変数SPに記憶する（ステップ1106）。次に変数Ｔの値とデータSPの所要時間情報（801）の比と、データＳの所要時間情報（801）と変数Ｔの値の比を比較し、等しいか前者の方が大きければステップ1109を、後者の方が大きければステップ1108を実行する（ステップ1108）。データＳに記憶されたテンポ（802）の値を、データＳの所要時間情報（801）と変数Ｔの値の比との積の値に変更し、Ｓを求める音価列データとしてメモリ（206）上に記憶し処理を終了する（ステップ1109）。本処理を実行することにより、与えられた所要時間に最も近い音符列が検索され、しかもテンポを調整することにより検索された音価列は与えられた所要時間と等しい所要時間を持つ。
次に第10図のピッチ付与処理（1002）を、第12図を用いて詳細に説明する。
まず、メモリ（206）上に記憶された音価列情報Ｓの中の最初の音価情報を、変数Ｄに記憶する（ステップ1201）。次に、ピッチの最小値である０から最大値である127までの整数乱数を求め、Ｄに付与する（ステップ1202）。次に、もしＤに格納された音価がＳに含まれる最後の音価である場合には処理を終了し、最後の音価でない場合にはステップ1204を実行する（ステップ1203）。ＤにＳの中の次の音価を記憶する（ステップ1204）。以上でメモリ（206）Ｌに生成されたBGMを音楽ファイル（212）に記憶して処理を終了する。
BGMを付与する画像素材と本システムとの関係について説明する。これまでの説明では、素材が動画像であるとして説明をしたが、素材が静止画であっても本発明を利用することができる。
例えば、BGMが付与される画像がプレゼンテーション等で用いられるような１枚以上の静止画像である場合は、ステップ101、103〜106を実行することによりBGMが付与される。また、BGMが付与される画像はプロセッサ（205）によって生成され、静止画像ファイル（211）に記憶されたコンピュータ・グラフィックス等の１枚以上の静止画像でも良い。この場合にはステップ103〜106を実行することによりBGMが付与される。但し、前記静止画像にBGMを付与する場合には、各静止画像に対して付与するBGMの演奏時間情報を、ユーザが入力装置（204）を用いて入力し、メモリ（206）上に記憶させればよい。また、BGMを付与する静止画像を入力する時間を計測して、１枚の静止画を１カットとみなし、次の静止画が入力されるまでの時間をそのカットの長さとして本発明を適用することもできる。
他の形態として、動画像ファイル（第１図、210）の画像データと、静止画像データ（第１図、211）の代表画像のデータの形式を変えても良い。静止画像データはそのデータのみで１枚の画像を構成する必要があるため、全ての（X,Y）座標に対応するデータ自体を保持しなくてはならない。しかし、カットのはじめのフレームの画像データを除く動画像ファイル中の画像データは、直前のフレームの画像データと類似しているはずであるから、それとの差分データを画像データとして保持しておいても良い。
最後に、本方法を用いて実現される製品形態の例を第14図と第２図を用いて説明する。該製品は、画像入力装置（201）としてビデオカメラ（1401）、ビデオデッキ（1402）、またはデジタルカメラ（1403）を用いる。また、画像、及び音楽出力装置（202、203）としてビデオデッキ（1404）、またはテレビ（1405）を用いる。また、その他の装置（204〜206、210〜213）として計算機（1400）を用いる。画像入力にビデオカメラ（1401）を用いる場合、該ビデオカメラは、撮影されたビデオ画像を動画像情報として計算機（1400）上の動画像ファイル（210）に入力する。ビデオデッキ（1402）を用いる場合、該ビデオデッキは、予めビデオテープに保存されたビデオ情報を再生することにより動画像情報として計算機（1400）上の動画像ファイル（210）に入力ずる。デジタルカメラ（1403）を用いる場合、該デジタルカメラは、撮影された１枚以上の静止画像を計算機（1400）上の静止画像ファイル（211）に入力する。次に、画像、及び音楽の出力にビデオデッキ（1404）を用いる場合、該ビデオデッキは、動画像ファイル（210）に保存された動画像（動画像が入力された場合）または静止画像ファイル（211）に保存された静止画像（静止画像が入力された場合）を映像情報として音楽ファイル（212）に保存された音楽を音響情報として同時にビデオテープに録画、保存する。テレビ（1405）を用いる場合、該テレビは、動画像ファイル（210）に保存された動画像（動画像が入力された場合）、または静止画像ファイル（211）に保存された静止画像（静止画像が入力された場合）を映像情報として、音楽ファイル（212）に保存された音楽を音響情報として同時に出力する。ここで、画像入力に用いられるビデオデッキ（1402）と画像、音楽出力に用いられるビデオデッキ（1404）は同一装置でもよい。
本発明によれば、与えられた画像から自動的に該動画像の雰囲気と再生時間に適合するBGMを生成、付与可能な自動作曲システム、及び該自動作曲システムを含むビデオ編集システム、マルチメディア作品作成支援システムを提供することが出来る。
産業上の利用可能性
以上のように、本発明にかかる自動作曲技術は、例えば、ユーザが六がしたビデオにBGMを付与するビデオ編集システム、自作のマルチメディア作品作成支援システムにBGMの作成機能として、複数のOHPを用いたプレゼンテーションのBGM作成に用いるのに適している。本発明を実施するための種々のプログラムやデータベースを記録媒体に保持させて、パーソナルコンピュータ要のソフトウエアとして製作することもできる。

Claims

プロセッサと、プログラムやデータを記憶するメモリと、入出力装置とを備えたシステムで実行される動画像のバックグラウンド音楽を自動生成する自動作曲方法であって、
上記入出力装置から入力された動画像をカット毎に分割し、
各カット毎にその再生時間と代表画像を求め、
上記代表画像の特徴量に基づき、予め上記メモリに記憶された音価列集合から音価列を選択し、
上記再生時間と上記選択された音価列の所要時間に基づいて、上記音価列のテンポを決定し、
上記選択した音価列の各音価にピッチを割り当てて音楽を作曲することを特徴とする自動作曲方法。
上記特徴量は、上記代表画像の背景色と前景色であって、
上記音価列の選択は、
予め記憶された複数の背景色と前景色の組と音価列集合との組み合わせの中から、上記背景色と前景色の組に近い組に対応する音価列集合を抽出し、
抽出した上記音価列集合から上記再生時間に近い所要時間の音価列を抽出することによって選択されることを特徴とする請求項１記載の自動作曲方法。
プロセッサと、プログラムやデータを記憶するメモリと、入出力装置とを備えたシステムで実行される動画像のバックグラウンド音楽を自動生成する自動作曲方法であって、
上記動画像の再生時間、及び、上記動画像中の代表画像の背景色と前景色を求め、
予め記憶された複数の背景色と前景色の組と音価列集合との組み合わせの中から、上記代表画像の背景色と前景色の組に近い組に対応する音価列集合を抽出し、
抽出した上記音価列集合から上記再生時間に近い所要時間の音価列を抽出するとともに、上記抽出した音価列の所要時間が上記再生時間に合うように上記音価列に含まれるテンポ情報を調整し、
上記抽出した音価列の各音価にピッチを割り当てて音楽を作曲することを特徴とする自動作曲方法。
上記ピッチの割り当ては、乱数によって決定されることを特徴とする請求項３に記載の自動作曲方法。
上記音価列は、音価情報、テンポ情報、及び、所要時間情報、とを含むことを特徴とする請求項３または４に記載の自動作曲方法。
プロセッサと、プログラムやデータを記憶するメモリと、入出力装置とを備えたシステムで動画像のバックグラウンド音楽を自動生成するための自動作曲プログラムを記録した記録媒体であって、上記プログラムは、
上記入出力装置から入力された動画像をカット毎に分割するステップと、
各カット毎にその再生時間と代表画像を求めるステップと、
上記代表画像の特徴量に基づき、予め上記メモリに記憶された音価列集合から音価列を選択するステップと、
上記再生時間と上記選択された音価列の所要時間に基づいて、上記音価列のテンポを決定するステップと、
上記選択した音価列の各音価にピッチを割り当てて音楽を作曲するステップを上記システムに実行させるものであることを特徴とするプログラムを記録した記録媒体。
上記特徴量は、上記代表画像の背景色と前景色であって、
上記音価列の選択ステップは、さらに、
予め記憶された複数の背景色と前景色の組と音価列集合との組み合わせの中から、上記背景色
と前景色の組に近い組に対応する音価列集合を抽出するステップと、
抽出した上記音価列集合から上記再生時間に近い所要時間の音価列を抽出するステップを有することを特徴とする請求項６記載のプログラムを記録した記録媒体。
プロセッサと、プログラムやデータを記憶するメモリと、入出力装置とを備えたシステムで動画像のバックグラウンド音楽を自動生成するための自動作曲プログラムを記録した記録媒体であって、上記プログラムは、
上記動画像の再生時間、及び、上記動画像中の代表画像の背景色と前景色を求めるステップと、
予め記憶された複数の背景色と前景色の組と音価列集合との組み合わせの中から、上記代表画像の背景色と前景色の組に近い組に対応する音価列集合を抽出するステップと、
抽出した上記音価列集合から上記再生時間に近い所要時間の音価列を抽出するとともに、上記抽出した音価列の所要時間が上記再生時間に合うように上記音価列に含まれるテンポ情報を調整するステップと、
上記抽出した音価列の各音価にピッチを割り当てて音楽を作曲するステップを上記システムに実行させるものであることを特徴とするプログラムを記録した記録媒体。
上記ピッチの割り当ては、乱数によって決定されることを特徴とする請求項８に記載のプログラムを記録した記録媒体。
上記音価列は、音価情報、テンポ情報、及び、所要時間情報、とを含むことを特徴とする請求項８または９に記載のプログラムを記載した記録媒体。