JPH06186958A - サウンドデータ生成システム - Google Patents

Abstract

(57)【要約】 【目的】 入力した画像データに適したサウンドデータ
を生成するサウンドデータ生成システムを提供する。 【構成】 画像データ入力装置１０１から、表示装置１
０２から、入力装置１０３と、画像データ属性解析処理
部１０４と、中央処理装置１０５と、サウンドデータベ
ース１０６と、サウンドデータ検索処理部１０７と、サ
ウンドデータ格納処理部１０８と、サウンドデータを生
成するのに必要なサウンドデータの属性を格納したサウ
ンドデータ属性格納部１０９と、属性変換処理部１１０
と、サウンドデータ生成処理部１１１と、記憶装置１１
２と、音源合成装置１１３と、中央処理装置１０５と音
源合成装置１１３のインタフェース装置１１４と、スピ
ーカ１１５とからなる。 【効果】 入力した画像データに適したサウンドデータ
を生成することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチメディアシステ
ムなどに用いるサウンドデータの自動生成システムに関
する。

【０００２】

【従来の技術】コンピュータを利用した（１）作曲シス
テム、（２）編曲システム、（３）音楽データベース作
成及び検索システムの従来技術を以下にそれぞれ記載す
る。 （１）作曲システム コンピュータ上での作曲に関する手段、技術は大きく２
つに分かれる。１つは、ユーザ自身が作曲するために必
要な音楽のパラメータや作曲手段をハード又はアプリケ
ーションで提供する技術である。例えばパーソナルコン
ピュータ上でユーザが楽譜を編集する手段、編集した楽
譜を演奏する手段、パーソナルコンピュータ内蔵のＦ
Ｍ，ＰＣＭ音源音色を編集する手段が必要である。Ｆ
Ｍ，ＰＣＭ音源音色の合成装置として、コンピュータ制
御可能な音源合成装置がある。コンピュータを利用した
従来の作曲、編曲システムは、コンピュータとコンピュ
ータ制御可能な音源合成装置を接続し、音楽ソフトを使
用して作曲、編曲を行うシステムである。一方、作曲の
従来技術は、自動作曲技術である。これは、ユーザに記
譜を要求することなくシステムが作曲する技術である。
情報処理学会第３７回（昭和６３年後期）全国大会に
て、リズム、和声、調性を考慮した「自動作曲システム
−ＭＡＧＩＣ」が発表されている。このシステムは対位
法、和声学、楽式論のような音楽理論体系により部分的
にルールを形式化し、モチーフ（動機、２小節程度のメ
ロディー）と１曲分のコード（和声）進行を与えてモチ
ーフに続いて小節毎にメロディーを生成するタイプの自
動作曲システムである。このシステムを発展させた自動
作曲システムとして情報処理学会第３８回（昭和６４年
前期）全国大会にて「構造、楽式を考慮した自動作曲シ
ステム−ＭＡＧＩＣ」が発表されている。

【０００３】（２）編曲システム 主旋律を引き立て、装飾し、イメージを発展させていく
うえで重要な役割を果たす副旋律を創作するのが編曲で
ある。副旋律は、主旋律よりも和声学、対位法、楽式論
などの音楽理論上の制限が厳密である。作曲者の感性や
知識に対する依存が少なくなり、計算機で扱いやすい。
情報処理学会第３８回（昭和６４年前期）全国大会に
て、「対位法による編曲システムの開発」が発表されて
いる。このシステムは、主旋律（単旋律）と和音進行を
与え、対位法によって副旋律を生成する手続きを明示
し、編曲システムを開発している。この編曲システム
は、主旋律と和音進行を同時に入力し、リズムと音高を
生成し、主旋律と副旋律と和音進行を出力するようにな
っている。このシステムで、１つの主旋律から４つの曲
を生成することが可能となる。また、他の編曲支援シス
テムとして、情報処理学会第３８回（昭和６４年前期）
全国大会にて、「メロディ構造を利用した編曲支援シス
テム」が発表されている。編曲作業を音楽の専門家でな
い人を対象として支援することを目的にしたこのシステ
ムは、以下の２つの特徴を持つ。１つは１コーラス分の
メロディ（曲の１番にあたる）を入力すると、出力とし
てイントロ、間奏、エンディング付きの編曲された”
曲”を演奏するという特徴である。２つめの特徴は、入
力メロディの構造を利用して、適切な位置で伴奏や音色
などを変化させ、メリハリのある演奏を実現することが
可能である。前記の「対位法による編曲システムの開
発」が副旋律の生成に重点を置いているのに対し、「メ
ロディ構造を利用した編曲支援システム」は副旋律も含
んだ曲構成を生成することに重点を置いている。

【０００４】（３）音楽データベース作成及び検索シス
テム 情報処理学会第３８回（昭和６４年前期）全国大会にお
いて「ファジー理論を使ったデータベース」が発表され
ている。このシステムでは音楽を五線譜に書かれたテン
ポや音程を表す記号データ、数的データと演奏された音
楽に対して人が感じる感性情報の２つの情報を利用して
いる。テンポ、音の割合、音のばらつき、音符の４つの
データを分析要素とする。データとして幾つかのサンプ
ルを入力し、そのサンプルに対するイメージのアンケー
トをとる。次に分析要素の４つのデータの多変量抽出を
行い相関係数を求める。このようにして求めたイメージ
のレベルの統計を縦軸に、相関係数を横軸に対応づけ、
それを幾つか繰返しメンバーシップ関数を決定する。こ
の方法で求めたイメージから曲を幾つかのレベルに分類
しておき、検索はこのレベルにより行うデータベースで
ある。

【０００５】

【発明が解決しようとする課題】上記のシステムはいず
れも純粋に音楽の構成要素を分類、分析したデータを利
用したシステムである。音楽データを単独で生成する場
合は上記のシステム等で対応するのも可能だが、最近の
マルチメディア技術の発展は、画像データと音楽データ
の両方を必要する。特に画像データの表示時にその画像
データに適した音楽データの提示が要求されることが多
い。上記の従来技術では、 （１）予めユーザが画像データに適すると思う音楽デー
タを自ら作曲し、その作曲した音楽データと画像データ
を結び付け、画像データの表示時に結び付けた音楽デー
タを提示するという方法しかとれない。これでは、画像
データに適した音楽データを作成するという高度な技術
をユーザは要求される （２）作曲を支援するソフトを利用した場合でも、新た
に曲を作成する為には、ソフトが提供する機能の理解に
時間がかかる、最低限の機能の利用しての作曲では、高
品質のサウンドデータを生成することができない、機能
を理解しても、ユーザがサウンドデータを生成するの
で、サウンドデータの構成を決定するのに時間がかか
る、さらにサウンドデータの品質は最終的にはユーザの
技術、感性に左右される等の問題を有する。

【０００６】（３）データベースに予め格納した音楽デ
ータを利用するにしても、検索キーを音楽の構成要素、
作曲家や音楽のタイトルといった音楽の属性に基づいて
作成するので、画像データとの適合度を測るのが困難と
いう問題点を有する。

【０００７】本発明の目的は、画像データを入力するこ
とによって、その画像データに適したサウンドデータを
生成するサウンドデータ生成システムを提供することに
ある。 本発明の他の目的は、画像データに適したサウ
ンドデータを容易かつ高速に生成するサウンドデータ生
成システムを提供することにある。本発明のさらに他の
目的は、画像データの入力によって、その入力した画像
データに適したサウンドデータをサウンドデータベース
から検索可能となるサウンドデータ生成システムを提供
することにある。

【０００８】

【課題を解決するための手段】上記目的は、画像データ
の属性抽出処理で抽出した画像データ属性をサウンドデ
ータの属性に変換処理を行い、変換後のサウンドデータ
の属性を利用し、自動作曲を行うことによって達成され
る。

【０００９】発明の望ましい実施形態において、サウン
ドデータ生成システムは、 （１）画像データ入力装置 （２）表示装置 （３）入力装置 （４）記憶装置又は記憶媒体 （５）中央処理装置 （６）コンピュータ制御可能な音源合成装置 （７）中央処理装置とコンピュータ制御可能な音源合成
装置を接続するインタフェース （８）スピーカ （９）画像データ属性抽出処理部 （１０）属性変換処理部 （１１）サウンドデータ生成処理部 （１２）サウンドデータ格納処理部 （１３）サウンドデータベース （１４）サウンドデータ属性格納部 から構成される。

【００１０】（９）画像データ属性抽出処理部は （ａ）画像データ入力装置を用いて、画像データの全画
素のＲＧＢ値を取り込む第１のステップ； （ｂ）取り込んだ全画素のＲＧＢ値を輝度信号と色信号
に分離する第２のステップ； （ｃ）分離した色信号から色差信号を求める第３のステ
ップ； （ｄ）色差信号から色相と彩度を各々求める第４のステ
ップ； （ｅ）各画素の輝度信号から輝度の平均値を求める第５
のステップ； （ｆ）各画素の色相のうち最も出現率が高い色相を求め
る第６のステップ； （ｇ）各画素の彩度から彩度の平均値を求める第７のス
テップ； （ｈ）画像データの周波数の平均値を求める第８のステ
ップ； から構成される。

【００１１】（１０）属性変換処理部は （ａ）画像データ属性を入力層に入力する第１のステッ
プ； （ｂ）入力データを中間層で重み付けを行う第２のステ
ップ； （ｃ）中間層で重み付けを行った該データを出力層のサ
ウンド属性に出力する第３のステップ； から成る階層型ニューラル・ネットワークを利用した画
像データの属性とサウンドデータの属性の変換システム
で構成される。

【００１２】（１０）属性変換処理部の異なる構成は （ａ）画像データから抽出した輝度を調性を付加した和
声モデルに変換する属性変換テーブル； （ｂ）該画像データから抽出した色層を音色モデルに変
換する属性変換テーブル； （ｃ）該画像データから抽出した彩度を強弱変化モデル
に変換する属性変換テーブル； （ｄ）該画像データから抽出した周波数をリズムパター
ンモデルに変換する属性変換テーブル； （ｅ）該画像データから抽出した該彩度と該周波数を拍
子に変換する属性変換テーブル； （ｆ）該画像データから抽出した該輝度と該周波数を速
度に変換する属性変換テーブル； から構成される。

【００１３】（１２）サウンドデータ格納処理部は （ａ）サウンドデータの属性をサウンドデータに付加す
る第１のステップ； （ｂ）属性付加処理を行った該サウンドデータをサウン
ドデータベースに格納する第２のステップ； から構成される。

【００１４】（１２）サウンドデータ格納処理部の異な
る構成は （ａ）サウンドデータ生成時に利用した画像データの属
性をサウンドデータに付加する第１のステップ； （ｂ）属性付加処理を行った該サウンドデータをサウン
ドデータベースに格納する第２のステップ； から構成される。

【００１５】（１４）サウンドデータ属性格納部は、 （ａ）和声モデルデータ； （ｂ）音色モデルデータ； （ｃ）リズムパターンデータ； （ｄ）強弱変化パターンデータ； （ｅ）拍子情報； （ｆ）速度情報； から構成される。

【００１６】発明の異なる望ましい実施形態において、
サウンドデータ生成システムは、 （１）画像データ入力装置 （２）表示装置 （３）入力装置 （４）記憶装置又は記憶媒体 （５）中央処理装置 （６）コンピュータ制御可能な音源合成装置 （７）中央処理装置とコンピュータ制御可能な音源合成
装置を接続するインタフェース （８）スピーカ （９）画像データ属性抽出処理部 （１０）属性変換処理部 （１１）サウンドデータ生成処理部 （１２）サウンドデータ格納処理部 （１３）サウンドデータベース （１４）サウンドデータ属性格納部 （１５）サウンドデータ検索処理部 から構成される。

【００１７】（９）画像データ属性抽出処理部と（１
０）属性変換処理部と（１２）サウンドデータ格納処理
部部と（１４）サウンドデータ属性格納部の構成は前述
の構成と同様である。 （１５）サウンドデータ検索処理部は （ａ）画像データの属性をサウンドデータ属性に変換す
る第１のステップ； （ｂ）サウンドデータの属性を検索キーにして検索する
第２のステップ； から構成される。

【００１８】（１５）サウンドデータ検索処理部の異な
る構成は （ａ）画像データの属性を検索キーにして検索する第１
のステップ； から構成される。

【００１９】

【作用】本発明は、本発明が有する属性変換処理部で、
画像データの属性をサウンドデータの属性に変換、変換
したサウンドデータの属性を用いて自動作曲処理を行う
ので、ユーザに作曲に要する高度な技術や作業を要求す
ることなく、画像データに適したサウンドデータを容易
かつ高速に生成することが可能となる。

【００２０】本発明の他の作用として、本発明が有する
属性変換処理部により、画像データの属性をサウンドデ
ータの属性に変換し検索キーに利用ので、画像データに
適したサウンドデータをサウンドデータの属性を付加し
たサウンドデータベースから検索することが可能とな
る。

【００２１】本発明のさらに他の作用として、本発明が
有する属性変換処理部により、サウンドデータに対応す
る画像データの属性をサウンドデータに付加するので、
画像データの属性をサウンドデータベースへの検索キー
として利用することが可能となる。

【００２２】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。図１は、サウンドデータ生成システムのシス
テム構成図である。図１において１０１は画像データを
中央処理装置に入力する画像データ入力装置、１０２は
表示装置、１０３は入力装置、１０４は画像データ属性
抽出処理部、１０５は中央処理装置、１０６は検索キー
を付加したサウンドデータと本システムにより生成した
サウンドデータを格納したサウンドデータベース、１０
７はサウンドデータベース１０６に格納したサウンドデ
ータの検索処理を行う検索処理部、１０８はサウンドデ
ータをサウンドデータベース１０６に格納処理を行う格
納処理部、１０９はサウンドデータを生成するのに必要
な属性を格納したサウンドデータ属性格納部、１１０は
画像データの属性とサウンドデータの属性の変換処理
部、１１１はサウンドデータ生成処理部、１１２は記憶
装置、１１３はコンピュータ制御可能な音源合成装置、
１１４は中央処理装置１０５とコンピュータ制御可能な
音源合成装置１１３のインタフェース装置、１１５はス
ピーカである。

【００２３】図２はサウンドデータ生成システムのメイ
ンルーチンのフローチャートである。まず画像データの
属性を求め（ステップ２０１）、ステップ２０１の処理
により求めた画像データの属性をサウンドデータの属性
に変換する（ステップ２０２）。次に、ステップ２０２
の処理で変換したサウンドデータの属性を用いてサウン
ドデータを生成し（ステップ２０３）、スピーカ１１５
からサウンドデータを出力する（ステップ２０４）。

【００２４】図３は図２の画像データの属性を求める処
理（ステップ２０１）のフローチャートである。この処
理では画像データの属性に輝度と色相と彩度と周波数を
利用する。まず、スキャナ等の画像データ入力装置１０
１から画像データの全画素のＲＧＢ値を取り込む（ステ
ップ３０１）。次に画像データの全画素に対して以下の
処理を行う。１画素分のＲＧＢ値を輝度信号と色信号に
分離する処理を行う（ステップ３０２）。ステップ３０
２の処理で分離した色信号から色差信号を求める処理を
行う（ステップ３０３）。ステップ３０３の処理で求め
た色差信号から色相と彩度を各々求める処理を行う（ス
テップ３０４、ステップ３０５）。ステップ３０２、ス
テップ３０３、ステップ３０４、ステップ３０５の処理
を画像データの全画素に対して行った後、ステップ３０
２で求めた各画素の輝度信号から輝度の平均値を求める
処理と（ステップ３０６）、ステップ３０４で求めた各
画素の色相のうち最も出現率が高い色相を求める処理と
（ステップ３０７）、ステップ３０５で求めた各画素の
彩度から彩度の平均値を求める処理を行う（ステップ３
０８）。そして画像データの周波数の平均値を求める処
理を行う（ステップ３０９）。

【００２５】図４は階層型ニューラル・ネットワークを
利用した画像データの属性とサウンドデータの属性の変
換処理である。この階層型ニューラル・ネットワーク
は、少なくとも１つのノードから成る入力層４０１と、
少なくとも１つのノードからなる出力層４０２で構成す
る。ステップ２０１で求めたｎ（ｎ＞＝１，ｎは整数）
個の画像データの属性４０３を入力値とし、その入力値
をノード間を結合するシナプスの重み４０４に応じて重
み付けを行い、ｍ（ｍ＞＝１，ｍは整数）個のサウンド
データの属性４０５を出力層に出力する変換処理を行
う。

【００２６】図５は画像データの属性とサウンドデータ
の属性の変換処理の異なる実施例である。画像データの
属性に輝度と色相と彩度と周波数を、サウンドデータの
属性に調性を付加した和性、音色、強弱変化、リズム、
拍子、速度を利用する。ステップ３０６で求めた画像デ
ータの各画素の輝度の平均値を調性を付加した和声モデ
ルに変換する（ステップ５０１）。ステップ３０７で求
めた画像データの各画素の色相のうち最も出現率が高い
色相を音色モデルに変換する（ステップ５０２）。ステ
ップ３０８で求めた画像データの各画素の彩度の平均値
を強弱変化パターンに変換する（ステップ５０３）。ス
テップ３０９で求めた画像データの周波数の平均値をリ
ズムパターンに変換する（ステップ５０４）。つづいて
ステップ３０８で求めた画像データの各画素の彩度の平
均値とステップ３０９で求めた画像データの周波数の平
均値を拍子に変換する（ステップ５０５）。ステップ３
０６で求めた画像データの各画素の輝度の平均値とステ
ップ３０９で求めた画像データの周波数の平均値を速度
に変換する（ステップ５０６）。以上の手続きにより求
めたサウンドデータの属性を利用し、コンピュータ制御
可能な音源合成装置１１３を用いてサウンドデータを生
成する（ステップ５０７）。画像データの各属性とサウ
ンドデータの属性の変換処理は、後述する属性変換テー
ブルで行う。

【００２７】図６は画像データの各画素の輝度の平均値
と調性を付加した和声モデルの変換テーブルである。６
０１は画像データの各画素の輝度の平均値である。白の
輝度を１、黒の輝度を８として８段階に分類している。
分類の段階は任意である。１つの欄に複数の画像データ
の各画素の輝度の平均値をあてはめることも可能であ
る。６０２はヘ長調、ハ長調、ホ短調等の調性を付加し
た和性モデルが持つ調インデクスである。調インデクス
は利用する調性の数だけ必要である。この実施例では２
４の調性を利用している。調インデクスの内容は任意で
ある。６０３は調性である。この変換テーブルにより、
画像データの各画素の輝度の平均値を調性を付加した和
声モデルに変換する。画像データの各画素の輝度の平均
値が１のとき、ヘ調長で調インデクス１の和声モデルに
変換される。和声モデルは音楽での和声に準じる。

【００２８】図７は画像データの各画素の色相のうち最
も出現率が高い色相と音色モデルの変換テーブルであ
る。７０１は画像データの各画素の色相のうち最も出現
率が高い色相である。１つの欄に複数の画像データの各
画素のうち最も出現率が高い色相をあてはめることも可
能である。７０２は音色モデルが持つ音色インデクスで
ある。音色インデクスの数はサウンドデータ生成装置１
１３が内蔵する音色の種類と同じである。音色インデク
スの内容は任意である。この実施例ではサウンドデータ
生成装置１１３が２４種類の音色を内蔵する。７０３は
サウンドデータ生成装置１１３が持つ音色モデルの種類
である。この変換テーブルにより、画像データの各画素
の色相のうち最も出現率の高い色相を音色モデルに変換
する。画像データの各画素の色相のうち最も出現率の高
い色相が113.2度のとき、音色インデクスが１のクラリ
ネットの音色モデルに変換される。

【００２９】図８は画像データの各画素の彩度の平均値
と強弱変化パターンの変換テーブルである。８０１は画
像データの各画素の彩度の平均値である。１つの欄に複
数の画像データの各画素の彩度の平均値をあてはめるこ
とも可能である。８０２は強弱変化パターンインデクス
である。強弱変化パターンインデクスの数はサウンドデ
ータ属性格納部１０９に格納した強弱変化パターンの種
類と同じである。強弱変化パターンインデクスの内容は
任意である。この実施例では強弱変化パターンが２４種
類、用意されている。この変換テーブルにより、画像デ
ータの各画素の平均値を強弱変化パターンに変換する。
画像データの各画素の彩度の平均値が0.76のとき、強弱
変化パターンインデクスが１の強弱変化パターンに変換
される。強弱変化パターンについては後述する。

【００３０】図９は画像データの周波数の平均値とリズ
ムパターンの変換テーブルである。９０１は画像データ
の周波数の平均値である。１つの欄に複数の画像データ
の周波数の平均値をあてはめることも可能である。９０
２はリズムパターンインデクスである。リズムパターン
インデクスの数はサウンドデータ属性格納部１０９に格
納したリズムパターンの種類と同じである。リズムパタ
ーンインデクスの内容は任意である。この実施例ではリ
ズムパターンが２４種類、用意されている。この変換テ
ーブルにより、画像データの周波数の平均値をリズムパ
ターンに変換する。画像データの周波数の平均値が50Hz
のとき、リズムパターンインデクスが１のリズムパター
ンに変換される。リズムパターンについては後述する。

【００３１】図１０は画像データの各画素の彩度の平均
値及び周波数の平均値と拍子の変換テーブルである。１
００１は各画素の彩度の平均値である。１つの欄に複数
の各画素の彩度の平均値をあてはめることも可能であ
る。１００２は画像データの周波数の平均値である。１
つの欄に複数の周波数の平均値をあてはめることも可能
である。１００３は拍子である。拍子の種類はサウンド
データ属性格納部１０９に格納した拍子の種類と同じで
ある。この変換テーブルにより、画像データの各画素の
彩度の平均値及び周波数の平均値を拍子に変換する。画
像データの各画素の彩度の平均値が0.76で、周波数の平
均値が50Hzのとき、拍子が２／２拍子に変換される。

【００３２】図１１は画像データの各画素の輝度の平均
値及び周波数の平均値と速度の変換テーブルである。１
１０１は各画素の輝度の平均値である。１つの欄に複数
の各画素の輝度の平均値をあてはめることも可能であ
る。１１０２は画像データの周波数の平均値である。１
つの欄に複数の周波数の平均値をあてはめることも可能
である。１１０３は速度である。速度の種類はサウンド
データ属性格納部１０９に格納した速度の種類と同じで
ある。この変換テーブルにより、画像データの各画素の
輝度の平均値及び周波数の平均値を速度に変換する。画
像データの各画素の輝度の平均値が１で、周波数の平均
値が50Hzのとき、「１分間に４分音符１拍をが６０拍分
とることができる」速度に変換される。

【００３３】図１２は強弱変化パターンである。ユーザ
が設定したfff（フォルテッシシシモ／極々強く）からp
pp（ピアニッシシシモ／極々弱く）を縦軸に、時間を横
軸にとっている。このグラフ中に記述されたのが強弱変
化パターン１２０１である。強弱パターン１２０１は強
弱パターンインデクス８０２と対応した強弱パターンイ
ンデクス１２０２が付加されている。強弱パターン１２
０１はｎ種類（ｎ＞＝１，ｎは整数）用意している。

【００３４】図１３はリズムパターンである。１３０１
は９０２のリズムパターンインデクスと対応したリズム
パターンインデクスである。１３０２はリズムパターン
を記譜したものである。リズムパターンはｎ種類（ｎ＞
＝１，ｎは整数）用意している。

【００３５】図１４は生成後のサウンドデータの格納処
理のフローチャートである。生成したサウンドデータに
属性変換処理で利用した画像データの属性の情報をサウ
ンドデータに付加する（ステップ１４０１）。付加した
後、サウンドデータと画像データの属性情報をサウンド
データベース１０６に格納する。

【００３６】図１５はサウンドデータベースの検索処理
のフローチャートである。この検索処理は画像データの
属性をそのまま検索キーとして利用するので、データベ
ースの格納処理は図１４で記載した格納処理に準じた処
理でなければならない。まず画像データの属性を求める
（ステップ１５０１）。この処理はステップ２０１と同
じ処理である。次にサウンドデータに付加した画像デー
タの属性情報を検索キーにして検索処理を行う。そして
検索したサウンドデータを出力する。

【００３７】図１６は生成後のサウンドデータの異なる
格納処理のフローチャートである。生成したサウンドデ
ータに利用したサウンドデータの属性の情報を付加する
（ステップ１６０１）。付加した後、サウンドデータと
サウンドデータの属性情報をサウンドデータベース１０
６に格納する。

【００３８】図１７はサウンドデータベースの異なる検
索処理のフローチャートである。この検索処理はサウン
ドデータの属性を検索キーとして利用するので、データ
ベースの格納処理は図１６で記載した格納処理に準じた
処理でなければならない。まず画像データの属性を求め
る（ステップ１７０１）。この処理はステップ２０１と
同じ処理である。次に画像データの属性をサウンドデー
タの属性に変換する（ステップ１７０２）。この処理は
ステップ２０２と同じ処理である。変換処理は、前述の
サウンドデータを生成するときに利用した階層型ネット
ワークや変換テーブルを用いる。そしてサウンドデータ
の属性情報を検索キーにして検索処理を行い（ステップ
１７０３）、出力する。

【００３９】

【発明の効果】以上説明したように、本発明によれば （１）入力した画像データの属性をサウンドデータの属
性に変換し、その属性を用いて作曲するので、入力した
画像データに適したサウンドデータを生成することが可
能となる。 （２）画像データに適したサウンドデータを容易かつ高
速に生成するすることが可能となる。 （３）画像データの入力によって、その入力した画像デ
ータに適したサウンドデータをサウンドデータベースか
ら検索することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施例であるサウンドデータ生成シス
テムのシステム構成図である。

【図２】サウンドデータ生成システムのメインルーチン
のフローチャートである。

【図３】画像データの属性を求める処理のフローチャー
トである。

【図４】階層型ニューラル・ネットワークを利用した画
像データの属性とサウンドデータの属性の変換処理であ
る。

【図５】画像データとサウンドデータの属性を変換する
処理である。

【図６】画像データの各画素の平均値と調性を付加した
和声モデルの変換テーブルである。

【図７】画像データの各画素の色相のうち最も出現率の
高い色相と音色モデルの変換テーブルである。

【図８】画像データの各画素の彩度の平均値と強弱変化
パターンの変換テーブルである。

【図９】画像データの周波数の平均値とリズムパターン
の変換テーブルである。

【図１０】画像データの各画素の彩度の平均値及び周波
数の平均値と拍子の変換テーブルである。

【図１１】画像データの各画素の輝度の平均値及び周波
数の平均値と速度の変換テーブルである。

【図１２】強弱変化パターンである。

【図１３】リズムパターンである。

【図１４】生成後のサウンドデータの格納処理のフロー
チャートである。

【図１５】サウンドデータベースの検索処理のフローチ
ャートである。

【図１６】生成後のサウンドデータの異なる格納処理の
フローチャートである。

【図１７】サウンドデータベースの異なる検索処理のフ
ローチャートである。

【符号の説明】

１０１…画像データ入力装置、１０２…表示装置、１０
３…入力装置、１０４…画像データ属性解析処理部、１
０５…中央処理装置、１０６…サウンドデータベース、
１０７…サウンドデータ検索処理部、１０８…サウンド
データ格納処理部、１０９…サウンドデータ属性格納
部、１１０…属性変換処理部、１１１…サウンドデータ
生成処理部、１１２…記憶装置、１１３…音源合成装
置、１１４…中央処理装置１０５と音源合成装置１１３
のインタフェース装置、１１５…スピーカ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 隆亮 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 寺濱 幸徳 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内

Claims (6)

【特許請求の範囲】
1. 【請求項１】画像データ入力装置と、表示装置と、入力
   装置と、記憶装置又は記憶媒体と、中央処理装置と、シ
   ンセサイザと、中央処理装置とコンピュータ制御可能な
   音源合成装置を接続するインタフェースと、スピーカか
   ら成る計算機システムにおいて、（１）画像データ属性
   抽出処理部と、（２）属性変換処理部と、（３）サウン
   ドデータ生成処理部と、（４）サウンドデータ格納処理
   部と、（５）サウンドデータベースと、（６）サウンド
   データ属性格納部を具備したことを特徴とするサウンド
   データ生成システム。
2. 【請求項２】特許請求項１のサウンドデータ生成システ
   ムにおいて、画像データ属性を利用したサウンドデータ
   検索処理部を有することを特徴とするサウンドデータ生
   成システム。
3. 【請求項３】特許請求項１のサウンドデータ生成システ
   ムにおいて、（１）画像データ属性抽出処理部が （ａ）画像データ入力装置を用いて、画像データの全画
   素のＲＧＢ値を取り込む第１のステップ； （ｂ）取り込んだ全画素の該ＲＧＢ値を輝度信号と色信
   号に分離する第２のステップ； （ｃ）分離した該色信号から色差信号を求める第３のス
   テップ； （ｄ）該色差信号から色相と彩度を各々求める第４のス
   テップ； （ｅ）該輝度信号から輝度の平均値を求める第５のステ
   ップ； （ｆ）該色相のうち最も出現率が高い色相を求める第６
   のステップ； （ｇ）該彩度から彩度の平均値を求める第７のステッ
   プ； （ｈ）該画像データの周波数の平均値を求める第８のス
   テップ； を具備し、（５）属性変換処理部が （ａ）該画像データ属性を入力層に入力する第１のステ
   ップ； （ｂ）入力データを中間層で重み付けを行う第２のステ
   ップ； （ｃ）該中間層で重み付けを行った該データを出力層の
   サウンド属性に出力する第３のステップ； から成る階層型ニューラル・ネットワークを具備し、
   （６）サウンドデータ属性格納部が （ａ）和声モデルデータ； （ｂ）音色モデルデータ； （ｃ）リズムパターンデータ； （ｄ）強弱変化パターンデータ； （ｅ）拍子情報； （ｆ）速度情報； を具備したことを特徴とするサウンドデータ生成システ
   ム。
4. 【請求項４】特許請求項１のサウンドデータ生成システ
   ムの（５）属性変換処理部が、 （ａ）画像データから抽出した輝度を調性を付加した和
   声モデルに変換する属性変換テーブル； （ｂ）該画像データから抽出した色層を音色モデルに変
   換する属性変換テーブル； （ｃ）該画像データから抽出した彩度を強弱変化モデル
   に変換する属性変換テーブル； （ｄ）該画像データから抽出した周波数をリズムパター
   ンモデルに変換する属性変換テーブル； （ｅ）該画像データから抽出した該彩度と該周波数を拍
   子に変換する属性変換テーブル； （ｆ）該画像データから抽出した該輝度と該周波数を速
   度に変換する属性変換テーブル； を具備したことを特徴とするサウンドデータ生成システ
   ム。
5. 【請求項５】特許請求項１のサウンドデータ生成システ
   ムにおいて、（４）サウンドデータ格納処理部が （ａ）サウンドデータの属性を該サウンドデータに付加
   する第１のステップ； （ｂ）該属性付加処理を行った該サウンドデータをサウ
   ンドデータベースに格納する第２のステップ； を具備し、特許請求項２のサウンドデータ生成システム
   のサウンドデータ検索処理部が （ｃ）画像データの属性をサウンドデータ属性に変換す
   る第１のステップ； （ｄ）該サウンドデータの属性を検索キーにして検索す
   る第２のステップ； を具備したことを特徴とするサウンドデータ生成システ
   ム。
6. 【請求項６】特許請求項１のサウンドデータ生成システ
   ムにおいて、（４）サウンドデータ格納処理部が （ａ）サウンドデータ生成時に利用した画像データの属
   性を該サウンドデータに付加する第１のステップ； （ｂ）該属性付加処理を行った該サウンドデータをサウ
   ンドデータベースに格納する第２のステップ； を具備し、特許請求項２のサウンドデータ生成システム
   のサウンドデータ検索処理部が （ｃ）該画像データの属性を検索キーにして検索する第
   １のステップ； を具備したことを特徴とするサウンドデータ生成システ
   ム。