JP5663953B2

JP5663953B2 - Music generator

Info

Publication number: JP5663953B2
Application number: JP2010120741A
Authority: JP
Inventors: 祐二小池; 英之須田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2010-05-26
Filing date: 2010-05-26
Publication date: 2015-02-04
Anticipated expiration: 2030-05-26
Also published as: JP2011248067A

Description

本発明は、音楽を示す複数の素材データから音響信号を生成する技術に関する。 The present invention relates to a technique for generating an acoustic signal from a plurality of material data indicating music.

複数の素材データを利用して音響信号を生成する技術が従来から提案されている。例えば特許文献１には、事前に用意された多数の素材データのうち１枚の画像（写真）から抽出された特徴量に応じた複数の素材データ（メロディ素片）を選択および連結することで音響信号を生成する技術が開示されている。 Conventionally, a technique for generating an acoustic signal using a plurality of material data has been proposed. For example, in Patent Document 1, by selecting and connecting a plurality of material data (melody segments) according to the feature amount extracted from one image (photo) among a large number of material data prepared in advance. A technique for generating an acoustic signal is disclosed.

特開２００７−２１９３９３号公報JP 2007-219393 A

しかし、特許文献１の技術のもとでは、１枚の画像の特徴のみに応じて素材データが選択されるから、多様な音楽の生成が困難であるという問題がある。以上の事情を考慮して、本発明は、複数の素材データから多様な音楽を生成することを目的とする。 However, there is a problem in that it is difficult to generate various music because the material data is selected according to only the characteristics of one image under the technique of Patent Document 1. In view of the above circumstances, an object of the present invention is to generate various music from a plurality of material data.

以上の課題を解決するために、本発明の音楽生成装置は、相異なる画像の特徴量の数値を各々が含む複数の特徴データの時系列を取得する特徴取得手段と、音楽を示す複数の素材データのうち特徴データの特徴量に応じた素材データを特徴データ毎に選択する素材選択手段と、素材選択手段が選択した複数の素材データから音響信号を生成する音楽生成手段とを具備する。以上の構成においては、相異なる画像の複数の特徴データの各々に応じて選択された素材データから音響信号が生成されるから、１枚の画像の特徴のみに応じて音響信号を生成する構成と比較して多様な音楽を生成することが可能である。
In order to solve the above problems, the music generating device of the present invention, a characteristic acquisition means for acquiring a time series of a plurality of characteristic data each containing a numerical value of the feature quantity of different images, a plurality of materials showing a music Material selection means for selecting, for each feature data, material data corresponding to the feature amount of the feature data among the data, and music generation means for generating an acoustic signal from a plurality of material data selected by the material selection means. In the above configuration, since the acoustic signal is generated from the material data selected according to each of the plurality of feature data of different images, the configuration is such that the acoustic signal is generated only according to the feature of one image. It is possible to generate a variety of music in comparison.

本発明の好適な態様に係る音楽生成装置は、音楽を示す複数の素材データの各々について特徴量の数値を指定する参照テーブルを参照して、特徴取得手段が時系列に取得する各特徴データについて、当該特徴データと参照データとの相関指標値を参照データ毎に算定し、当該相関指標値が示す相関が高い素材データを選択する。以上の態様においては、特徴データの各特徴量との相関が高い参照データに対応する素材データが選択されるから、参照データの各特徴量の数値を適切に選定することで、各画像の印象に合致した素材データを選択することが可能である。もっとも、特徴データの各特徴量との相関が低い参照データに対応する素材データを選択する構成も採用され得る。なお、相関指標値の典型例は距離や内積である。

The music generation device according to a preferred aspect of the present invention refers to a reference table that designates a numerical value of a feature amount for each of a plurality of material data indicating music, and for each feature data that the feature acquisition unit acquires in time series , calculated correlation index value between the feature data and the reference data for each reference data, a correlation in which the correlation index value indicates to select the high material data. In the above aspect, since the material data corresponding to the reference data having a high correlation with each feature amount of the feature data is selected, the impression of each image can be obtained by appropriately selecting the numerical value of each feature amount of the reference data. It is possible to select material data that matches the above. However, a configuration in which material data corresponding to reference data having a low correlation with each feature amount of the feature data can be employed. A typical example of the correlation index value is a distance or inner product.

本発明の好適な態様において、素材選択手段は、複数の素材データのうち第１素材データとの音楽的な調和度が高い素材データを、第１素材データに後続する第２素材データとして選択する。以上の態様においては、先行の第１素材データとの音楽的な調和度が高い第２素材データが選択されるから、音楽的に統一感のある音響信号を生成することが可能である。なお、以上の態様の具体例は例えば第４実施形態として後述される。 In a preferred aspect of the present invention, the material selecting means selects material data having a high musical harmony with the first material data among the plurality of material data as second material data subsequent to the first material data. . In the above aspect, since the second material data having a high musical harmony with the preceding first material data is selected, it is possible to generate an acoustic signal that is musically unified. In addition, the specific example of the above aspect is later mentioned as 4th Embodiment, for example.

本発明の好適な態様において、素材選択手段は、複数の素材データのうち過去に選択した素材データについて選択の優先度を低下させる。例えば、素材選択手段は、過去に選択した素材データを選択の対象から除外する。以上の態様においては、１個の素材データが複数回にわたって選択される可能性が低減されるから、変化に富んだ多様な音響信号を生成できるという利点がある。なお、以上の態様の具体例は例えば第５実施形態として後述される。 In a preferred aspect of the present invention, the material selection means lowers the selection priority for material data selected in the past among a plurality of material data. For example, the material selection unit excludes material data selected in the past from selection targets. In the above aspect, since the possibility that one piece of material data is selected a plurality of times is reduced, there is an advantage that various acoustic signals rich in change can be generated. In addition, the specific example of the above aspect is later mentioned as 5th Embodiment, for example.

以上の各態様に係る音楽生成装置は、音響信号の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラム（ソフトウェア）との協働によっても実現される。本発明のプログラムは、音楽を示す複数の素材データを記憶する素材記憶手段を具備するコンピュータに、相異なる画像の特徴量の数値を各々が含む複数の特徴データの時系列を取得する特徴取得処理と、複数の素材データのうち特徴データの特徴量に応じた素材データを特徴データ毎に選択する素材選択処理と、素材選択処理で選択した複数の素材データから音響信号を生成する音楽生成処理とを実行させる。以上のプログラムによれば、本発明の音楽生成装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。 The music generation device according to each of the above aspects is realized by hardware (electronic circuit) such as a DSP (Digital Signal Processor) dedicated to generation of an acoustic signal, and a general-purpose operation such as a CPU (Central Processing Unit). It is also realized by cooperation between the processing device and a program (software). The program according to the present invention is a feature acquisition process for acquiring a time series of a plurality of feature data each including numerical values of feature amounts of different images in a computer having a material storage means for storing a plurality of material data representing music. And a material selection process for selecting, for each feature data, material data corresponding to the feature amount of the feature data among the plurality of material data, and a music generation process for generating an acoustic signal from the plurality of material data selected in the material selection process, Is executed. According to the above program, the same operation and effect as the music generating apparatus of the present invention are realized. The program of the present invention is provided to a user in a form stored in a computer-readable recording medium and installed in the computer, or provided from a server device in a form of distribution via a communication network and installed in the computer. Is done.

第１実施形態に係る音楽生成装置のブロック図である。1 is a block diagram of a music generation device according to a first embodiment. 参照テーブルの模式図である。It is a schematic diagram of a reference table. 第２実施形態における特徴データの模式図である。It is a schematic diagram of the feature data in the second embodiment. 第２実施形態の参照テーブルの模式図である。It is a schematic diagram of the reference table of 2nd Embodiment. 第３実施形態における変数指示画面の模式図である。It is a schematic diagram of the variable instruction | indication screen in 3rd Embodiment. 第４実施形態における調和度テーブルの模式図である。It is a schematic diagram of the harmony degree table in 4th Embodiment. 変形例のブロック図である。It is a block diagram of a modification.

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音楽生成装置１００のブロック図である。図１に示すように、音楽生成装置１００には、表示装置１２と放音装置１４と入力装置１６とが接続される。表示装置１２は、音楽生成装置１００による制御のもとで複数の画像を時系列に表示する。音楽生成装置１００は、表示装置１２が時系列に表示する画像の印象に適合した音楽（BGM）の時間波形を表す音響信号Ａを生成する音響処理装置である。放音装置１４は、音響信号Ａに応じた音波を再生する。なお、音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器の図示は省略されている。入力装置１６は、利用者からの指示を受付ける。 <A: First Embodiment>
FIG. 1 is a block diagram of a music generation apparatus 100 according to the first embodiment of the present invention. As shown in FIG. 1, a display device 12, a sound emitting device 14, and an input device 16 are connected to the music generation device 100. The display device 12 displays a plurality of images in time series under the control of the music generation device 100. The music generation device 100 is an acoustic processing device that generates an acoustic signal A representing a time waveform of music (BGM) that matches the impression of an image displayed in time series on the display device 12. The sound emitting device 14 reproduces a sound wave corresponding to the acoustic signal A. In addition, illustration of the D / A converter which converts the acoustic signal A from digital to analog is abbreviate | omitted. The input device 16 receives an instruction from the user.

図１に示すように、音楽生成装置１００は、演算処理装置２２と記憶装置２４とを含むコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGMや演算処理装置２２が使用する各種のデータ（画像データＧ，素材データＳ，参照テーブルＴBL1）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。 As shown in FIG. 1, the music generation device 100 is realized by a computer system including an arithmetic processing device 22 and a storage device 24. The storage device 24 stores a program PGM executed by the arithmetic processing device 22 and various data (image data G, material data S, reference table TBL1) used by the arithmetic processing device 22. A known recording medium such as a semiconductor recording medium or a magnetic recording medium or a combination of a plurality of types of recording media can be arbitrarily employed as the storage device 24.

図１に示すように、記憶装置２４は、複数の画像データＧと複数の素材データＳと参照テーブルＴBL1とを記憶する。複数の画像データＧの各々は、例えば１枚の写真の画像（静止画）を示すデータである。利用者は、入力装置１６を適宜に操作することで、表示装置１２に表示されるべきＮ個の画像データ（以下「指定画像データ」という）Ｇ[1]〜Ｇ[N]と指定画像データＧ[1]〜Ｇ[N]の表示の順番とを任意に指定することが可能である（Ｎは自然数）。指定画像データＧ[1]〜Ｇ[N]の個数Ｎは、例えば利用者が可変に指定し得る。 As shown in FIG. 1, the storage device 24 stores a plurality of image data G, a plurality of material data S, and a reference table TBL1. Each of the plurality of pieces of image data G is data indicating, for example, a single photograph image (still image). The user appropriately operates the input device 16 to thereby display N pieces of image data (hereinafter referred to as “designated image data”) G [1] to G [N] and designated image data to be displayed on the display device 12. The display order of G [1] to G [N] can be arbitrarily specified (N is a natural number). The number N of designated image data G [1] to G [N] can be variably designated, for example.

複数の素材データＳの各々は、音楽（楽音や音声の時系列）を示すデータである。複数の素材データは、任意の組合せで連結した場合に音楽的に自然な楽曲と認識されるように事前に作成される。例えば、複数の素材データＳの音楽はテンポ（リズム）が類似する。また、各素材データＳの時間長は共通である。例えば、各素材データＳは、所定のテンポの楽曲における所定個の小節（例えば１小節から２小節）に相当する時間長に設定される。第１実施形態の素材データＳは、MIDI（Musical Instrument Digital Interface）規格に準拠したSMF（Standard MIDI File）形式のファイルである。すなわち、素材データＳは、発音や消音を指示するイベントデータと、各イベントデータの処理の時点を指定するタイミングデータとの時系列で構成される。参照テーブルＴBL1は、素材データＳの選択に利用されるデータテーブルである。なお、参照テーブルＴBL1の詳細については後述する。 Each of the plurality of material data S is data indicating music (time series of musical sounds and voices). The plurality of material data is created in advance so that it is recognized as a musically natural musical piece when connected in any combination. For example, music of a plurality of material data S has similar tempos (rhythms). Moreover, the time length of each material data S is common. For example, each material data S is set to a time length corresponding to a predetermined number of measures (for example, one measure to two measures) in a music piece having a predetermined tempo. The material data S of the first embodiment is a file in the SMF (Standard MIDI File) format conforming to the MIDI (Musical Instrument Digital Interface) standard. That is, the material data S is composed of a time series of event data for instructing sound generation and mute and timing data for designating the time point of processing of each event data. The reference table TBL1 is a data table used for selecting the material data S. Details of the reference table TBL1 will be described later.

演算処理装置２２は、記憶装置２４に記憶されたプログラムＰGMの実行で複数の機能（表示制御部３２，特徴取得部３４，素材選択部３６，音楽生成部３８）として機能する。なお、演算処理装置２２の各機能を複数の装置（集積回路）に分散した構成や、専用の電子回路（DSP）が各機能を実現する構成も採用され得る。 The arithmetic processing unit 22 functions as a plurality of functions (a display control unit 32, a feature acquisition unit 34, a material selection unit 36, and a music generation unit 38) by executing the program PGM stored in the storage device 24. A configuration in which each function of the arithmetic processing unit 22 is distributed to a plurality of devices (integrated circuits) or a configuration in which a dedicated electronic circuit (DSP) realizes each function may be employed.

表示制御部３２は、利用者が選択したＮ個の指定画像データＧ[1]〜Ｇ[N]を記憶装置２４から順次に取得して各々の画像を表示装置１２に時系列に表示させる。例えば、表示制御部３２は、所定の間隔をあけた各時点や利用者が指定した各時点で表示装置１２の画像を順次に変更する。 The display control unit 32 sequentially acquires N designated image data G [1] to G [N] selected by the user from the storage device 24 and causes the display device 12 to display each image in time series. For example, the display control unit 32 sequentially changes the image of the display device 12 at each time point with a predetermined interval or at each time point designated by the user.

特徴取得部３４は、利用者が選択したＮ個の指定画像データＧ[1]〜Ｇ[N]に対応するＮ個の特徴データＦ[1]〜Ｆ[N]の時系列を生成する。図１に示すように、特徴データＦ[n]（ｎ＝１〜Ｎ）は、当該特徴データＦ[n]に対応する指定画像データＧ[n]の画像に関連するＫ種類の特徴量ｆ1〜ｆKの数値列（特徴ベクトル）である。各特徴量ｆk（ｋ＝１〜Ｋ）は、指定画像データＧ[n]の画像の印象を表す変数である。例えば、画像の平均的な明度や色温度（暖かみ），画像内の人物の人数や笑顔度（笑顔の程度）や属性（例えば性別，年齢）等を表す数値が、特徴量ｆ1〜ｆKとして各特徴データＦ[n]に設定される。指定画像データＧ[n]の画像の内容に関する特徴量ｆk（例えば画像内の人物の人数や笑顔度や属性）の抽出には、公知の画像処理技術（例えば顔検出技術や笑顔検出技術）が任意に採用され得る。 The feature acquisition unit 34 generates a time series of N feature data F [1] to F [N] corresponding to the N designated image data G [1] to G [N] selected by the user. As shown in FIG. 1, the feature data F [n] (n = 1 to N) includes K types of feature quantities f1 related to the image of the designated image data G [n] corresponding to the feature data F [n]. A numerical string (feature vector) of .about.fK. Each feature amount fk (k = 1 to K) is a variable representing the impression of the image of the designated image data G [n]. For example, numerical values representing the average brightness and color temperature (warmth) of the image, the number of persons in the image, the degree of smile (degree of smile), attributes (for example, gender, age), and the like as the feature amounts f1 to fK. Set to feature data F [n]. A known image processing technique (for example, a face detection technique or a smile detection technique) is used to extract a feature amount fk (for example, the number of persons in the image, a smile level, or an attribute) related to the image content of the designated image data G [n]. It can be arbitrarily adopted.

記憶装置２４に記憶される参照テーブルＴBL1は、図２に示すように、相異なる素材データＳに対応する複数の参照データＲ（レコード）の集合である。各参照データＲは、当該参照データＲに対応する素材データＳの識別子（番号）ｄと、特徴データＦ[n]と共通するＫ種類の特徴量ｆ1〜ｆKの数値列（特徴ベクトル）とを含んで構成される。素材データＳが示す音楽の印象と、当該素材データＳの参照データＲの特徴量ｆ1〜ｆKに応じた画像の印象とが合致するように、各参照データＲの特徴量ｆ1〜ｆKの数値は、素材データＳの音楽の曲調に応じて事前に設定される。例えば、画像の明度を示す特徴量ｆkに着目すると、明るい音楽の素材データＳの特徴量ｆkは、明度が高い画像から抽出される特徴量ｆkに近似した数値に設定され、暗い音楽の素材データＳの特徴量ｆkは、明度が低い画像から抽出される特徴量ｆkに近似した数値に設定される。 The reference table TBL1 stored in the storage device 24 is a set of a plurality of reference data R (records) corresponding to different material data S as shown in FIG. Each reference data R includes an identifier (number) d of the material data S corresponding to the reference data R, and a numerical sequence (feature vector) of K types of feature quantities f1 to fK common to the feature data F [n]. Consists of including. The numerical values of the feature values f1 to fK of each reference data R are such that the impression of music indicated by the material data S and the impression of the image corresponding to the feature values f1 to fK of the reference data R of the material data S match. , It is set in advance according to the music tone of the material data S. For example, focusing on the feature value fk indicating the brightness of the image, the feature value fk of the bright music material data S is set to a value approximate to the feature value fk extracted from the image with high brightness, and dark music material data is obtained. The feature quantity fk of S is set to a numerical value approximate to the feature quantity fk extracted from an image with low brightness.

図１の素材選択部３６は、特徴取得部３４が生成したＮ個の特徴データＦ[1]〜Ｆ[N]の各々に応じた素材データＳ[n]（Ｎ個の素材データＳ[1]〜Ｓ[N]の時系列）を記憶装置２４内の複数の素材データＳから選択する。第１実施形態の素材選択部３６は、参照テーブルＴBL1内の参照データＲが特徴データＦ[n]に最も類似する素材データＳの識別子ｄ（以下「選択識別子ｄ[n]」という）を順次に特定する。すなわち、各指定画像データＧ[n]の画像の印象に合致する音楽の素材データＳ[n]がＮ個の指定画像データＧ[1]〜Ｇ[N]の各々について順次に選択される。素材選択部３６が特定したＮ個の選択識別子ｄ[1]〜ｄ[N]の時系列が音楽生成部３８に指示される。 The material selection unit 36 in FIG. 1 generates material data S [n] (N material data S [1] corresponding to each of the N feature data F [1] to F [N] generated by the feature acquisition unit 34. ] To S [N] are selected from a plurality of material data S in the storage device 24. The material selection unit 36 of the first embodiment sequentially selects the identifier d (hereinafter referred to as “selection identifier d [n]”) of the material data S whose reference data R in the reference table TBL1 is most similar to the feature data F [n]. To be specific. That is, music material data S [n] that matches the image impression of each designated image data G [n] is sequentially selected for each of the N designated image data G [1] to G [N]. A time series of N selection identifiers d [1] to d [N] specified by the material selection unit 36 is instructed to the music generation unit 38.

具体的には、素材選択部３６は、Ｎ個の特徴データＦ[1]〜Ｆ[N]の各々（Ｆ[n]）について、当該特徴データＦ[n]と参照データＲとの相関（類否）の度合を示す相関指標値Ｃを参照テーブルＴBL1内の参照データＲ毎に算定し、複数の参照データＲのうち相関指標値Ｃが示す相関が高い参照データＲに含まれる識別子ｄを選択識別子ｄ[n]として特定する。例えば特徴データＦ[n]と参照データＲとの距離（ユークリッド距離）が相関指標値Ｃとして好適に採用される。相関指標値Ｃを距離とした場合には相関指標値Ｃが小さいほど特徴データＦ[n]と参照データＲとの相関が高いから、素材選択部３６は、相関指標値Ｃが最小値となる参照データＲの識別子ｄを選択識別子ｄ[n]として特定する。 Specifically, the material selection unit 36 correlates the feature data F [n] with the reference data R for each of the N feature data F [1] to F [N] (F [n]) ( A correlation index value C indicating the degree of similarity is calculated for each reference data R in the reference table TBL1, and an identifier d included in the reference data R having a high correlation indicated by the correlation index value C among the plurality of reference data R is obtained. It is specified as a selection identifier d [n]. For example, the distance (Euclidean distance) between the feature data F [n] and the reference data R is preferably adopted as the correlation index value C. When the correlation index value C is a distance, the smaller the correlation index value C, the higher the correlation between the feature data F [n] and the reference data R. Therefore, the material selection unit 36 sets the correlation index value C to the minimum value. The identifier d of the reference data R is specified as the selection identifier d [n].

音楽生成部３８は、素材選択部３６が選択したＮ個の素材データＳ[1]〜Ｓ[N]を利用して音響信号Ａを生成する。具体的には、音楽生成部３８は、素材選択部３６から指示される選択識別子ｄ[1]〜ｄ[N]の各々に対応する素材データＳ[1]〜Ｓ[N]（すなわち素材選択部３６が選択した素材データＳ）を記憶装置２４から取得して時間軸上で相互に連結し、連結後の素材データＳ[1]〜Ｓ[N]から音響信号Ａを生成する。素材データＳ[1]〜Ｓ[N]から音響信号Ａを生成する処理には、VST（Virtual Studio Technology）で規定されるVSTi（VST instrument）に準拠したソフトウェアシンセサイザ（シーケンサ）が好適に利用される（「ＶＳＴ」は登録商標）。なお、素材データＳ[1]〜Ｓ[N]の各々を音響信号に変換してから相互に連結する構成も採用され得る。 The music generation unit 38 generates the acoustic signal A using the N pieces of material data S [1] to S [N] selected by the material selection unit 36. Specifically, the music generation unit 38 selects material data S [1] to S [N] (that is, material selection) corresponding to each of the selection identifiers d [1] to d [N] instructed from the material selection unit 36. The material data S) selected by the unit 36 is acquired from the storage device 24 and connected to each other on the time axis, and the acoustic signal A is generated from the connected material data S [1] to S [N]. A software synthesizer (sequencer) conforming to VSTi (VST instrument) defined by VST (Virtual Studio Technology) is preferably used for the process of generating the acoustic signal A from the material data S [1] to S [N]. ("VST" is a registered trademark). A configuration in which each of the material data S [1] to S [N] is converted into an acoustic signal and then connected to each other may be employed.

音楽生成部３８が生成した音響信号Ａは、表示制御部３２がＮ個の指定画像データＧ[1]〜Ｇ[N]を表示装置１２に表示させる動作に並行（同期）して、放音装置１４に供給されて音波として再生される。したがって、利用者が選択したＮ個の画像の表示（スライドショー）に並行して、各画像の印象に合致した音楽が放音装置１４から再生される。なお、素材選択部３６による素材データＳ[1]〜Ｓ[N]の選択や音楽生成部３８による音響信号Ａの生成は、Ｎ個の画像の表示に並行して実行され得る（リアルタイム処理）。ただし、素材データＳ[1]〜Ｓ[N]の選択や音響信号Ａの生成をＮ個の画像の表示前に予め実行しておく構成（非リアルタイム処理）も好適である。 The acoustic signal A generated by the music generation unit 38 is emitted in parallel (synchronized) with the operation in which the display control unit 32 displays the N designated image data G [1] to G [N] on the display device 12. It is supplied to the device 14 and reproduced as a sound wave. Therefore, in parallel with the display (slide show) of the N images selected by the user, music that matches the impression of each image is reproduced from the sound emitting device 14. Note that selection of material data S [1] to S [N] by the material selection unit 36 and generation of the acoustic signal A by the music generation unit 38 can be executed in parallel with the display of N images (real-time processing). . However, a configuration in which the selection of the material data S [1] to S [N] and the generation of the acoustic signal A are executed in advance before displaying N images (non-real-time processing) is also suitable.

以上に説明したように、第１実施形態においては、複数（Ｎ個）の画像の各々の特徴量ｆkに応じて時系列に選択されたＮ個の素材データＳ[1]〜Ｓ[N]を利用して音響信号Ａが生成されるから、１枚の画像の特徴のみから音楽を生成する特許文献１の技術と比較して多様な音楽を生成できるという利点がある。 As described above, in the first embodiment, the N pieces of material data S [1] to S [N] selected in time series according to the feature quantity fk of each of a plurality (N) of images. Since the acoustic signal A is generated using the above, there is an advantage that a variety of music can be generated as compared with the technique of Patent Document 1 that generates music from only the characteristics of one image.

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。 <B: Second Embodiment>
Next, a second embodiment of the present invention will be described. In addition, about the element which an effect | action and a function are equivalent to 1st Embodiment in each form illustrated below, each reference detailed in the above description is diverted and each detailed description is abbreviate | omitted suitably.

利用者は、入力装置１６を適宜に操作することで、Ｎ個の指定画像データＧ[1]〜Ｇ[N]の各々について、表示装置１２に時系列に表示される複数の画像の展開（スライドショーの全体的な流れ）における位置付け（以下「展開種別」という）Ｐを指定する。展開種別Ｐは、例えば、「起」，「承」，「転」，「結」および「ネタ」の何れかに設定される。「ネタ」は、通常の展開（起承転結）から外れた内容で鑑賞者の笑いを誘う画像を意味する。特徴取得部３４は、図３に示すように、指定画像データＧ[n]から抽出されたＫ種類の特徴量ｆ1〜ｆKの数値と、指定画像データＧ[n]に指定された展開種別Ｐとを含む特徴データＦ[n]を、Ｎ個の指定画像データＧ[1]〜Ｇ[N]の各々について生成する。 The user appropriately operates the input device 16 to develop a plurality of images displayed in time series on the display device 12 for each of the N designated image data G [1] to G [N] ( The position (hereinafter referred to as “development type”) P in the overall flow of the slide show) is designated. For example, the expansion type P is set to any one of “start”, “approval”, “roll”, “conclusion”, and “material”. “Story” means an image that invites the laughter of the viewer with content that is out of normal development (consolidation). As shown in FIG. 3, the feature acquisition unit 34 includes numerical values of K types of feature amounts f1 to fK extracted from the designated image data G [n] and a development type P designated in the designated image data G [n]. Are generated for each of N pieces of designated image data G [1] to G [N].

図４に示すように、第２実施形態における参照テーブルＴBL1の各参照データＲは、第１実施形態と同様の素材データＳの識別子ｄとＫ種類の特徴量ｆ1〜ｆKとに展開種別Ｐを追加した構成である。素材データＳが示す音楽の印象に合致した展開種別Ｐが参照データＲに事前に設定される。例えば、楽曲の開始に相応しい音楽の素材データＳの参照データＲの展開種別Ｐは「起」に設定され、鑑賞者の笑いを誘う音楽の素材データＳの参照データＲの展開種別Ｐは「ネタ」に設定される。 As shown in FIG. 4, each reference data R of the reference table TBL1 in the second embodiment has an expansion type P in the identifier d of the material data S and the K types of feature quantities f1 to fK as in the first embodiment. This is an added configuration. A development type P that matches the impression of music indicated by the material data S is set in the reference data R in advance. For example, the development type P of the reference data R of the music material data S suitable for the start of the music is set to “start”, and the development type P of the reference data R of the music material data S that invites the laughter of the viewer is "Is set.

素材選択部３６は、特徴取得部３４が順次に生成する各特徴データＦ[n]について、参照テーブルＴBL1の複数の参照データＲのうち展開種別Ｐが当該特徴データＦ[n]と共通する複数の参照データＲのなかから、Ｋ種類の特徴量ｆ1〜ｆKの相関指標値Ｃが最大の相関を示す参照データＲを選択し、当該参照データＲの識別子ｄを選択識別子ｄ[n]として特定する。すなわち、素材選択部３６は、利用者が指定画像データＧ[n]について指定した展開種別Ｐ（特徴データＦ[n]内の展開種別Ｐ）に印象が合致する音楽の素材データＳを選択する。例えば、展開種別Ｐが「起」に設定された指定画像データＧ[n]については、「起」の印象に合致する音楽（例えば楽曲の始まりを連想させる音楽）の素材データＳ[n]が選択され、展開種別Ｐが「ネタ」に設定された指定画像データＧ[n]については、「ネタ」の印象に合致する音楽（例えば笑いを誘う音楽）の素材データＳ[n]が選択される。 For each feature data F [n] that is sequentially generated by the feature acquisition unit 34, the material selection unit 36 has a plurality of development types P among the plurality of reference data R in the reference table TBL1 in common with the feature data F [n]. From the reference data R, the reference data R indicating the correlation with the maximum correlation index value C of the K types of feature quantities f1 to fK is selected, and the identifier d of the reference data R is specified as the selection identifier d [n]. To do. That is, the material selection unit 36 selects music material data S whose impression matches the development type P specified by the user for the designated image data G [n] (the development type P in the feature data F [n]). . For example, for the designated image data G [n] whose development type P is set to “start”, material data S [n] of music that matches the impression of “start” (for example, music reminiscent of the beginning of a song) is stored. With respect to the designated image data G [n] that is selected and the development type P is set to “material”, the material data S [n] of music (for example, music that invites laughter) that matches the impression of “material” is selected. The

素材データＳ[1]〜Ｓ[N]に応じた音響信号Ａを音楽生成部３８が生成する動作は第１実施形態と同様である。第２実施形態においては、第１実施形態と同様の効果が実現されるほか、表示装置１２に表示される画像の展開に合致した印象の音楽を生成できるという利点がある。 The operation in which the music generation unit 38 generates the acoustic signal A corresponding to the material data S [1] to S [N] is the same as that in the first embodiment. In the second embodiment, the same effects as in the first embodiment are realized, and there is an advantage that music having an impression that matches the development of the image displayed on the display device 12 can be generated.

＜Ｃ：第３実施形態＞
第１実施形態においては特徴取得部３４が各指定画像データＧ[n]から特徴データＦ[n]（特徴量ｆk）を抽出した。第３実施形態においては、特徴データＦ[n]の特徴量ｆ1〜ｆKの各数値が利用者からの指示に応じて可変に設定される。 <C: Third Embodiment>
In the first embodiment, the feature acquisition unit 34 extracts feature data F [n] (feature amount fk) from each designated image data G [n]. In the third embodiment, the numerical values of the feature amounts f1 to fK of the feature data F [n] are variably set according to instructions from the user.

図５は、特徴データＦ[n]の特徴量ｆ1〜ｆKの数値を利用者が指示するために表示制御部３２が表示装置１２に表示させる画像（以下「変数指示画面」という）６０の模式図である。図５に示すように、変数指示画面６０の領域６１には、各特徴量ｆkの複数の候補値（−５〜＋５）と、展開種別Ｐの複数の選択肢とが表示される。利用者は、入力装置１６を適宜に操作することで、各特徴量ｆkの数値を複数の候補値から選択し、展開種別Ｐを複数の選択肢から選択することが可能である。 FIG. 5 is a schematic diagram of an image (hereinafter referred to as a “variable instruction screen”) 60 that the display control unit 32 displays on the display device 12 in order for the user to specify the numerical values of the feature amounts f1 to fK of the feature data F [n]. FIG. As shown in FIG. 5, a plurality of candidate values (−5 to +5) for each feature quantity fk and a plurality of options for the development type P are displayed in the area 61 of the variable instruction screen 60. The user can select the numerical value of each feature quantity fk from a plurality of candidate values and select the expansion type P from a plurality of options by appropriately operating the input device 16.

特徴量ｆ1〜ｆKおよび展開種別Ｐの指定後に利用者が操作子（追加）６４を操作すると、特徴取得部３４は、現段階で指定されている各特徴量ｆkと展開種別Ｐとを含む特徴データＦ[n]を生成して記憶装置２４に記憶する。以上の操作が反復されることでＮ個の特徴データＦ[1]〜Ｆ[N]の時系列が記憶装置２４に生成される。他方、表示制御部３２は、図５に示すように、特徴取得部３４が生成した特徴データＦ[n]の内容を変数指示画面６０の領域６２に表示する。 When the user operates the operator (addition) 64 after specifying the feature amounts f1 to fK and the expansion type P, the feature acquisition unit 34 includes the feature amounts fk and the expansion type P specified at this stage. Data F [n] is generated and stored in the storage device 24. By repeating the above operation, a time series of N feature data F [1] to F [N] is generated in the storage device 24. On the other hand, as shown in FIG. 5, the display control unit 32 displays the content of the feature data F [n] generated by the feature acquisition unit 34 in the area 62 of the variable instruction screen 60.

利用者が操作子（再生）６５を操作すると、表示制御部３２は、Ｎ個の指定画像データＧ[1]〜Ｇ[N]を順次に表示装置１２に供給して画像を表示させる。他方、特徴取得部３４は、利用者からの指示に応じて生成したＮ個の特徴データＦ[1]〜Ｆ[N]を記憶装置２４から順次に取得して素材選択部３６に指示する。素材選択部３６による素材データＳ[1]〜Ｓ[N]の選択や音楽生成部３８による音響信号Ａの生成は第１実施形態と同様である。以上の形態においては、利用者からの指示に応じて特徴データＦ[n]が生成されるから、第１実施形態や第２実施形態と比較して、利用者の意図を忠実に反映した音響信号Ａを生成できるという利点がある。 When the user operates the operation element (reproduction) 65, the display control unit 32 sequentially supplies N pieces of designated image data G [1] to G [N] to the display device 12 to display an image. On the other hand, the feature acquisition unit 34 sequentially acquires N feature data F [1] to F [N] generated in response to an instruction from the user from the storage device 24 and instructs the material selection unit 36. Selection of material data S [1] to S [N] by the material selection unit 36 and generation of the acoustic signal A by the music generation unit 38 are the same as in the first embodiment. In the above embodiment, the feature data F [n] is generated in response to an instruction from the user, so that the sound that faithfully reflects the user's intention is compared with the first embodiment and the second embodiment. There is an advantage that the signal A can be generated.

＜Ｄ：第４実施形態＞
第４実施形態に係る音楽生成装置１００の記憶装置２４は、以上の各形態で例示した要素（プログラムＰGM，画像データＧ，素材データＳ，参照テーブルＴBL1）に加えて図６の調和度テーブルＴBL2を記憶する。図６に示すように、調和度テーブルＴBL2は、記憶装置２４内の複数の素材データＳから２個の素材データＳを選択する全通りの組合せについて調和度Ｈ（Ｈab，Ｈac，……）が設定されたデータテーブルである。調和度Ｈは、各素材データＳの音楽的な調和の度合（時間軸上で前後に連結したときの音楽的な自然さ）の指標となる数値である。調和度テーブルＴBL2の各調和度Ｈは、各素材データＳの受聴の結果に応じて事前に設定される。例えば、音色やリズム等の音楽的な特性が相互に類似する各素材データＳの調和度Ｈは大きい数値に設定される。 <D: Fourth Embodiment>
In addition to the elements (program PGM, image data G, material data S, reference table TBL1) exemplified in the above embodiments, the storage device 24 of the music generation device 100 according to the fourth embodiment includes a harmony table TBL2 in FIG. Remember. As shown in FIG. 6, in the harmony degree table TBL2, the harmony degree H (Hab, Hac,...) It is a set data table. The degree of harmony H is a numerical value that serves as an index of the degree of musical harmony of each material data S (musical naturalness when connected back and forth on the time axis). Each harmony degree H of the harmony degree table TBL2 is set in advance according to the result of listening to each material data S. For example, the harmony H of the material data S having similar musical characteristics such as timbre and rhythm is set to a large value.

第４実施形態の素材選択部３６は、参照テーブルＴBL1に加えて調和度テーブルＴBL2を利用して特徴データＦ[n]に応じた素材データＳ[n]を選択する。具体的には、素材選択部３６は、特徴データＦ[n]の各特徴量ｆkと相関（類似）する参照データＲに対応し、かつ、直前に選択した素材データＳ[n-1]に対して調和度テーブルＴBL2に設定された調和度Ｈが高い素材データＳ[n]を選択する。例えば、素材選択部３６は、特徴データＦ[n]との相関が高い順番（相関指標値Ｃ（距離）の昇順）で上位に位置する所定個の参照データＲの集合を参照テーブルＴBL1から特定し、当該集合内の各参照データＲに対応する素材データＳのうち直前の素材データＳ[n-1]との調和度Ｈが最大となる素材データＳの識別子ｄを選択識別子ｄ[n]として選択（すなわち素材データＳ[n]を選択）する。素材データＳ[1]〜Ｓ[N]を利用した音響信号Ａの生成は第１実施形態と同様である。 The material selection unit 36 of the fourth embodiment selects material data S [n] corresponding to the feature data F [n] using the harmony table TBL2 in addition to the reference table TBL1. Specifically, the material selection unit 36 corresponds to the reference data R correlated (similar) to each feature quantity fk of the feature data F [n], and the material data S [n-1] selected immediately before is selected. On the other hand, the material data S [n] having a high harmony H set in the harmony table TBL2 is selected. For example, the material selection unit 36 identifies from the reference table TBL1 a set of a predetermined number of reference data R positioned higher in the order in which the correlation with the feature data F [n] is higher (in ascending order of the correlation index value C (distance)). Then, the identifier d of the material data S having the maximum degree of harmony H with the immediately preceding material data S [n-1] among the material data S corresponding to each reference data R in the set is selected as the identifier d [n]. (Ie, material data S [n] is selected). The generation of the acoustic signal A using the material data S [1] to S [N] is the same as in the first embodiment.

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態においては、直前の素材データＳ[n-1]との音楽的な調和度Ｈが高い素材データＳ[n]が選択されるから、音楽的に統一感のある音響信号Ａを生成することが可能である。 In the fourth embodiment, the same effect as in the first embodiment is realized. Further, in the fourth embodiment, since the material data S [n] having a high musical harmony H with the immediately preceding material data S [n-1] is selected, an acoustic signal having a musically unified feeling is selected. A can be generated.

＜Ｅ：第５実施形態＞
素材選択部３６が１個の素材データＳを複数の指定画像データＧ[n]について重複して選択し得る構成では、当該素材データＳが何度も反復される単調な音響信号Ａが生成される可能性がある。第５実施形態は、素材データＳの重複的な選択を抑制することで変化に富んだ音響信号Ａを生成する形態である。 <E: Fifth Embodiment>
In a configuration in which the material selection unit 36 can select one material data S with respect to a plurality of designated image data G [n], a monotone acoustic signal A in which the material data S is repeated many times is generated. There is a possibility. In the fifth embodiment, the acoustic signal A rich in change is generated by suppressing the redundant selection of the material data S.

第５実施形態に係る音楽生成装置１００の素材選択部３６は、記憶装置２４に記憶された複数の素材データＳのうち一連の指定画像データＧ[1]〜Ｇ[N]の処理のなかで過去に選択した素材データＳについて選択の優先度を低下させる。すなわち、過去に選択した素材データＳを選択され難くする。例えば、素材選択部３６は、記憶装置２４内の複数の素材データＳのうち過去に選択した素材データＳ（Ｓ[1]〜Ｓ[n-1]）を、今回の素材データＳ[n]の選択の候補から除外する。 The material selection unit 36 of the music generation device 100 according to the fifth embodiment performs the processing of a series of designated image data G [1] to G [N] among the plurality of material data S stored in the storage device 24. The selection priority of the material data S selected in the past is lowered. That is, the material data S selected in the past is hardly selected. For example, the material selection unit 36 uses the material data S (S [1] to S [n-1]) selected in the past among the plurality of material data S in the storage device 24 as the current material data S [n]. Exclude from the selection candidates.

以上の構成によれば、１個の素材データＳが複数の指定画像データＧ[n]について重複して選択される可能性が低減されるから、音響信号Ａにおける１個の素材データＳの反復が防止される。したがって、変化に富んだ多様な音響信号Ａを生成できるという利点がある。 According to the above configuration, since it is possible to reduce the possibility that one material data S is selected for a plurality of designated image data G [n], repetition of one material data S in the acoustic signal A is repeated. Is prevented. Therefore, there is an advantage that various acoustic signals A rich in change can be generated.

＜Ｆ：変形例＞
以上の各形態は多様に変形される。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。 <F: Modification>
Each of the above forms can be variously modified. Specific modifications are exemplified below. Two or more aspects arbitrarily selected from the following examples can be appropriately combined.

（１）変形例１
第１実施形態から第５実施形態では１個の画像データＧについて１個の素材データＳを選択したが、１個の画像データＧについて複数の素材データＳを選択する構成も採用され得る。具体的には、指定画像データＧ[n]の特徴データＦ[n]との相関が高い順番で上位に位置する複数の素材データＳを選択および連結する構成が好適に採用される。以上の構成においては、１個の画像が表示装置１２に表示される期間内に複数の素材データＳを連結した音楽が再生される。 (1) Modification 1
In the first to fifth embodiments, one material data S is selected for one image data G, but a configuration in which a plurality of material data S is selected for one image data G can also be adopted. Specifically, a configuration is preferably employed in which a plurality of material data S positioned at the top in the order of high correlation with the feature data F [n] of the designated image data G [n] is selected and connected. In the above configuration, music in which a plurality of material data S are connected is reproduced within a period in which one image is displayed on the display device 12.

（２）変形例２
以上の各形態においては、Ｎ個の指定画像データＧ[1]〜Ｇ[N]の各々について特徴データＦ[n]に応じた素材データＳ[n]を選択したが、例えば時系列の最初に位置する所定個の指定画像データＧ[n]（例えば最初の指定画像データＧ[1]）については、指定画像データＧ[n]の特徴データＦ[n]とは無関係に所定の素材データＳ（例えば楽曲の開始に相応しい音楽の素材データＳ）を選択する構成も採用され得る。同様に、時系列の最後に位置する所定個の指定画像データＧ[n]（例えば最後の指定画像データＧ[N]）について、特徴データＦ[n]とは無関係に所定の素材データＳ（例えば楽曲の最後に相応しい音楽の素材データＳ）を選択する構成も採用され得る。以上の構成によれば、音響信号Ａの途中の区間について各画像に相応しい音楽を選択しながら、最初の区間と最後の区間とにおける音楽的な違和感が少ない音響信号Ａを生成することが可能である。 (2) Modification 2
In each of the above embodiments, the material data S [n] corresponding to the feature data F [n] is selected for each of the N designated image data G [1] to G [N]. The predetermined number of pieces of designated image data G [n] (for example, the first designated image data G [1]) are located at predetermined material data regardless of the feature data F [n] of the designated image data G [n]. A configuration in which S (for example, music material data S suitable for the start of a song) is selected may be employed. Similarly, for a predetermined number of designated image data G [n] (for example, the last designated image data G [N]) located at the end of the time series, predetermined material data S ( For example, a configuration in which music material data S) suitable for the end of a song is selected may be employed. According to the above configuration, it is possible to generate the acoustic signal A with less musical discomfort in the first and last sections while selecting music suitable for each image for the middle section of the acoustic signal A. is there.

（３）変形例３
以上の各形態では、素材データＳ[n]を利用した音響信号Ａの生成の方法は適宜に変更される。具体的には、素材選択部３６が選択した各素材データＳ[n]に対して所定の加工を実行したうえで音響信号Ａを生成する構成も採用され得る。例えば、音楽生成部３８は、各素材データＳ[n]が示す音楽の特性（例えばキーやテンポ）を特徴データＦ[n]の各特徴量ｆkに応じて変更してから音響信号Ａを生成する。特徴データＦ[n]に応じた素材データＳ[n]の加工の方法は任意であるが、例えば、特徴データＦ[n]の特徴量ｆkが示す画像の明度が高い場合や、画像内の人物の人数が多い場合に、素材データＳ[n]が示す音楽のキーやテンポを上昇させるといった処理が例示される。 (3) Modification 3
In each of the above embodiments, the method of generating the acoustic signal A using the material data S [n] is appropriately changed. Specifically, a configuration in which the acoustic signal A is generated after performing predetermined processing on each material data S [n] selected by the material selection unit 36 may be employed. For example, the music generation unit 38 changes the music characteristics (for example, key and tempo) indicated by each material data S [n] according to each feature quantity fk of the feature data F [n], and then generates the acoustic signal A. To do. The method of processing the material data S [n] according to the feature data F [n] is arbitrary. For example, when the brightness of the image indicated by the feature quantity fk of the feature data F [n] is high, A process of increasing the music key or tempo indicated by the material data S [n] when the number of persons is large is exemplified.

（４）変形例４
相関指標値Ｃは、特徴データＦ[n]と参照データＲとの距離に限定されない。例えば、特徴データＦ[n]と参照データＲとの内積が相関指標値Ｃとして好適に採用される。相関指標値Ｃとして内積を採用した構成では、特徴データＦ[n]と参照データＲとの相関（類似度）が高いほど相関指標値Ｃが大きい数値となる。 (4) Modification 4
The correlation index value C is not limited to the distance between the feature data F [n] and the reference data R. For example, the inner product of the feature data F [n] and the reference data R is preferably adopted as the correlation index value C. In the configuration in which the inner product is adopted as the correlation index value C, the correlation index value C becomes a larger value as the correlation (similarity) between the feature data F [n] and the reference data R is higher.

（５）変形例５
以上の各形態では、複数の素材データＳと複数の参照データＲ（参照テーブルＴBL1）とを単一の記憶装置２４に記憶したが、複数の素材データＳを記憶する記憶装置（素材記憶手段）と複数の参照データＲを記憶する記憶装置（参照値記憶手段）とを個別に設置した構成も採用され得る。また、第４実施形態の調和度テーブルＴBL2は、素材データＳや参照データＲとは別個の記憶装置に格納され得る。 (5) Modification 5
In each of the above embodiments, a plurality of material data S and a plurality of reference data R (reference table TBL1) are stored in a single storage device 24, but a storage device (material storage means) that stores a plurality of material data S. And a storage device (reference value storage means) for storing a plurality of reference data R may be employed individually. Further, the harmony degree table TBL2 of the fourth embodiment can be stored in a storage device separate from the material data S and the reference data R.

（６）変形例６
以上の各形態における音楽生成装置１００は、複数の端末装置（例えばパーソナルコンピュータ）に音楽生成のサービスを提供するサーバ装置としても利用され得る。例えば、図７に示すように、端末装置７０と音楽生成装置１００とが通信網（例えばインターネット）７２を介して相互に通信する通信システムでは、端末装置７０から送信されたＮ個の指定画像データＧ[1]〜Ｇ[N]の系列を音楽生成装置１００が受信し、指定画像データＧ[1]〜Ｇ[N]を利用して生成した音響信号Ａを音楽生成装置１００が端末装置７０に送信する構成が好適に採用される。 (6) Modification 6
The music generation device 100 in each of the above embodiments can also be used as a server device that provides a music generation service to a plurality of terminal devices (for example, personal computers). For example, as shown in FIG. 7, in a communication system in which the terminal device 70 and the music generation device 100 communicate with each other via a communication network (for example, the Internet) 72, N designated image data transmitted from the terminal device 70. The music generation device 100 receives a sequence of G [1] to G [N], and the music generation device 100 generates a sound signal A generated using the designated image data G [1] to G [N]. The structure which transmits to is suitably employ | adopted.

（７）変形例７
以上の各形態ではＳＭＦ形式の素材データＳを例示したが、素材データＳの形式は任意に変更される。例えば、音楽の時間波形を表す素材データＳや音楽の特徴（例えば周波数スペクトル）の時系列を表す素材データＳを採用することも可能である。すなわち、以上の各例示における素材データＳは、音楽を示すデータとして包括される。 (7) Modification 7
In each of the above embodiments, the material data S in the SMF format is exemplified, but the format of the material data S is arbitrarily changed. For example, it is also possible to employ material data S representing a time waveform of music or material data S representing a time series of music features (for example, frequency spectrum). That is, the material data S in the above examples is included as data indicating music.

（８）変形例８
以上の各形態においては、特徴取得部３４が指定画像データＧ[n]から特徴データＦ[n]を生成したが、特徴データＦ[n]が事前に用意された構成も採用され得る。例えば、記憶装置２４に格納された特徴データＦ[n]を特徴取得部３４が取得する構成や、他装置から送信された特徴データＦ[n]を特徴取得部３４が通信網を介して取得する構成も採用され得る。以上の例示から理解されるように、特徴取得部３４は、特徴データＦ[n]を取得する要素として包括され、指定画像データＧ[n]等の他のデータから特徴取得部３４が特徴データＦ[n]を生成するのか、事前に用意された特徴データＦ[n]を特徴取得部３４が取得するのかは不問である。 (8) Modification 8
In each of the above embodiments, the feature acquisition unit 34 generates the feature data F [n] from the designated image data G [n]. However, a configuration in which the feature data F [n] is prepared in advance may be employed. For example, the feature acquisition unit 34 acquires the feature data F [n] stored in the storage device 24, or the feature acquisition unit 34 acquires the feature data F [n] transmitted from another device via the communication network. The structure to do can also be employ | adopted. As understood from the above examples, the feature acquisition unit 34 is included as an element for acquiring the feature data F [n], and the feature acquisition unit 34 uses the feature data from other data such as the designated image data G [n]. It does not matter whether F [n] is generated or whether the feature acquisition unit 34 acquires feature data F [n] prepared in advance.

１００……音楽生成装置、１２……表示装置、１４……放音装置、１６……入力装置、２２……演算処理装置、２４……記憶装置、３２……表示制御部、３４……特徴取得部、３６……素材選択部、３８……音楽生成部。
DESCRIPTION OF SYMBOLS 100 ... Music generation device, 12 ... Display device, 14 ... Sound emission device, 16 ... Input device, 22 ... Arithmetic processing device, 24 ... Memory | storage device, 32 ... Display control part, 34 ... Feature Acquisition unit, 36... Material selection unit, 38.

Claims

Feature acquisition for acquiring , for each of a plurality of images displayed in time series on a display device, feature data including a numerical value of a feature amount of the image and a development type that is a positioning of the image in the development of the plurality of images Means,
With respect to each of a plurality of material data indicating music, the feature acquisition means acquires in time series with reference to a reference table that designates the numerical value of the feature value and the development type according to the impression of music indicated by the material data For each of the feature data, a material selection unit that selects the material data corresponding to the feature amount of the feature data , the development type being the same as the feature data among the plurality of material data ,
A music generation device comprising: music generation means for generating an acoustic signal from a plurality of material data selected by the material selection means.

The music generation apparatus according to claim 1 , wherein the development type in the feature data of each of the plurality of images is set according to an instruction from a user .

The material selection means selects material data having a high musical harmony with the first material data among the plurality of material data as second material data subsequent to the first material data. Item 2. The music generation device according to Item 2.

The music generation device according to any one of claims 1 to 3, wherein the material selection unit lowers the selection priority of material data selected in the past among the plurality of material data.