JP6058192B1 - 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】 画像によりふさわしい音楽を自動的に生成することが、望ましい。【解決手段】 複数の音源名称を格納する音源記憶部１５と、音の高さに対応する縦軸、および音の進行時間に対応する横軸で画像を格子状に配列されたブロックに分割し、各々のブロックの代表色を決定するブロック代表色決定部１９と、あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、ブロックの代表色が対応する色名をブロックのブロック色名として決定するブロック色名識別部２１と、格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成するブロック選別部２５および図形楽譜生成部２７と、を備える画像音楽生成装置１である。【選択図】 図２

Description

本発明は、画像から音楽を生成・再生する画像音楽の生成・再生装置とその画像音楽の生成・再生方法などの、音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体に関するものである。

近年、画像に含まれる画素色の物理レベルを意味するＲＧＢ値から音楽を生成する方法が提案されている。例えばＲＧＢ値によって音符の種類を作成したり（たとえば、非特許文献１参照）、ＲＧＢ値から長調短調の調と和音を作成したり（たとえば、非特許文献２参照）、或はＲＧＢ値を音の高さ、和音、楽器の種類に対応させたりする（たとえば、非特許文献３参照）などの方法が提案されている。

一般に音楽は、音楽を構成する以下の音楽要素、即ち音の高さ（音高）、音の長さ（音価）、音の拍（リズム）、調（長調短調）、和音、使用する複数種類の楽器、などを表わす楽譜により演奏される。

ところが、これらの提案は、これらの音楽要素の一部しか使っておらず、生成される音楽はあまりにも未完成であり、例えば複数の楽器によるオーケストラのような編成の音楽を生成することができない。また楽譜を生成することができないため、生成された音楽は、聴覚のみで評価しなければならない。従って楽譜による客観的な評価や、生成された音楽に修正をすることができない。

画像から生成される音楽の視覚的特性は、画像の視覚的特性と、類似性や相関性があることが望ましい。

しかしこれら上記の提案はすべて知覚とは関連性の低い物理レベルのＲＧＢ値から各音楽要素への変換であるため、人間の知覚レベルでの類似性が悪いという問題があった。また、これらの提案は１枚の画像のみから音楽を生成することを目的としており、複数の画像を連続してスライドショーのように１曲の音楽を作ることは出来ないという問題があった。また、画像から自動的に音楽と楽譜を生成し、かつ簡単な操作で再生することが出来ないという問題があった。

若林努、小林孝浩、平林真美、「画像の特徴を用いたメロディ自動生成システムの提案」、情報処理学会インタラクション２０１１ 藤田雅也、「画像情報による楽曲自動生成システムの検討」、東京都市大学 ２０１２年度 卒業研究概要 小島健治、「画像の色情報を音楽へ変換する『ＲＧＢ ＭｕｓｉｃＬａｂ』」Ｖ３４，（２０１０）、[online]、インターネット<URL:http://www.forest.impress.co.jp/docs/review/20100421_362686.html>

しかしながら、画像によりふさわしい音楽を自動的に生成することが、望ましい。

本発明は、前述された従来の課題を考慮し、画像によりふさわしい音楽を自動的に生成することができる、音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体を提供することを目的とする。

第１の本発明は、画像を入力する画像入力部と、
複数の音源名称を格納する音源名称記憶部と、
音の高さに対応する縦軸、および音の進行時間に対応する横軸で前記画像を格子状に配列されたブロックに分割し、各々の前記ブロックの代表色を決定するブロック代表色決定部と、
あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、前記格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、前記ブロックの前記代表色が対応する色名を前記ブロックのブロック色名として決定するブロック色名識別部と、
前記格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成する図形楽譜生成ユニットと、
を備えることを特徴とする音楽情報生成装置である。

第２の本発明は、前記画像入力部から前記入力された画像を格納する画像記憶部と、
少なくとも前記画像を表示する表示部と、
前記複数の色名と、前記複数の音源名称と、を対応付ける音源名称設定部と、
前記生成された図形楽譜から音楽データを生成する音楽データ生成部と、
を備え、
前記表示部は、前記格子状に配列されたブロックが前記代表色で塗り潰されたモザイク画像、および前記選別された所定のブロックが前記ブロック色名の色で塗り潰されたモザイク画像の内の少なくとも一つを表示することを特徴とする、第１の本発明の音楽情報生成装置である。

第３の本発明は、前記図形楽譜生成ユニットは、前記ブロックの色属性、および前記画像における前記ブロックの位置属性の内の少なくとも一つに関する除去パラメータを利用して、前記所定のブロックを選別する第１の本発明の音楽情報生成装置である。

第４の本発明は、前記生成された音楽データを再生する音声出力部を備え、
前記表示部は、前記生成された音楽データの再生が同期するように、前記格納された画像および前記生成された図形楽譜の内の少なくとも一つを表示することを特徴とする、第２の本発明の音楽情報生成装置である。

第５の本発明は、前記生成された音楽データを再生する音声出力部と、
前記画像入力部に入力された複数の画像からそれぞれ前記生成された音楽データの再生が同期するように、前記複数の画像のスライドショーを行うスライドショー生成部と、
を備えることを特徴とする、第２の本発明の音楽情報生成装置である。

第６の本発明は、前記画像入力部に入力された複数の画像からそれぞれ前記生成された音楽データと、前記複数の画像のデータと、を統合して、動画ファイルを作成する動画ファイル作成部を備えることを特徴とする、第２の本発明の音楽情報生成装置である。

第７の本発明は、前記音楽データ生成部は、前記横軸の方向に連続した、複数の同じ前記ブロック色名のブロックを一つの音符に対応させて、前記音楽データを生成することを特徴とする、第２の本発明の音楽情報生成装置である。

第８の本発明は、前記表示部は、前記色属性値の前記範囲の設定、前記所定のブロックの選別のためのパラメータの設定、および前記音源名称の設定を行うための図を表示することを特徴とする、第２の本発明の音楽情報生成装置である。

第９の本発明は、前記図形楽譜生成ユニットは、和音を発生するための和音補正を利用して、前記図形楽譜を生成することを特徴とする、第１の本発明の音楽情報生成装置である。

第１０の本発明は、前記生成された音楽データ、又は前記生成された図形楽譜は、所定の端末、および所定のサーバーの内の少なくとも一つに対して、送信されることを特徴とする、第２の本発明の音楽情報生成装置である。

第１１の本発明は、前記画像入力部に前記入力された画像は、前記所定の端末から送信され受信された画像であることを特徴とする、第１０の本発明の音楽情報生成装置である。

第１２の本発明は、前記所定の端末は、前記画像入力部に前記入力された画像を送信した端末ではない別の端末であり、
前記生成された音楽データ、又は前記生成された図形楽譜は、前記別の端末、および前記所定のサーバーの内の少なくとも一つに対して、前記画像入力部に前記入力された画像とともに送信されることを特徴とする、第１０の本発明の音楽情報生成装置である。

第１３の本発明は、前記画像入力部に前記入力された複数の画像は、所定の端末から送信され受信された複数の画像であり、
前記作成された動画ファイルは、前記所定の端末、前記所定の端末とは異なる端末、および所定のサーバーの内の少なくとも一つに対して、送信されることを特徴とする、第６の本発明の音楽情報生成装置である。

第１４の本発明は、音楽情報生成装置にて実行される音楽情報生成方法であって、
画像を入力する画像入力ステップと、
複数の音源名称を格納する音源名称記憶ステップと、
音の高さに対応する縦軸、および音の進行時間に対応する横軸で前記画像を格子状に配列されたブロックに分割し、各々の前記ブロックの代表色を決定するブロック代表色決定ステップと、
あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、前記格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、前記ブロックの前記代表色が対応する色名を前記ブロックのブロック色名として決定するブロック色名識別ステップと、
前記格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成する図形楽譜生成ステップと、
を備えることを特徴とする音楽情報生成方法である。

第１５の本発明は、第１４の本発明の音楽情報生成方法の、音の高さに対応する縦軸、および音の進行時間に対応する横軸で前記画像を格子状に配列されたブロックに分割し、各々の前記ブロックの代表色を決定するブロック代表色決定ステップ、あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、前記格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、前記ブロックの前記代表色が対応する色名を前記ブロックのブロック色名として決定するブロック色名識別ステップ、および前記格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成する図形楽譜生成ステップとしてコンピュータを機能させるための、コンピュータ読み取り可能な媒体に記録されたプログラムである。

第１６の本発明は、第１５の本発明のプログラムを記録した、コンピュータ読み取り可能な記録媒体である。

本発明により、画像によりふさわしい音楽を自動的に生成することが可能な音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体を提供することができる。

本発明における実施の形態の画像音楽生成装置の構成図 本発明における実施の形態の画像音楽生成再生相関の説明図 本発明における実施の形態のデジタル画像の説明図 本発明における実施の形態の代表色モザイク画像の説明図 （ａ）本発明における実施の形態の音源色名範囲設定操作画面の説明図、（ｂ）本発明における実施の形態の音源設定操作画面の説明図、（ｃ）本発明における実施の形態の画像音楽変換調整設定操作画面の説明図 本発明における実施の形態のブロック図形総譜の説明図 本発明における実施の形態の和音補正図形総譜の説明図 本発明における実施の形態の和音補正パート譜の説明図 本発明における実施の形態のピアノパート譜の説明図 本発明における実施の形態のスライドショー再生操作画面の説明図 本発明における実施の形態の制御部内機能順序を示すフローチャート 本発明における実施の形態の画像音楽生成・再生クラウドシステムの構成図

以下、本発明の第１の実施形態にかかる画像音楽生成装置１について、図面を参照して説明する。図１は、本発明にかかる画像音楽生成装置１のハードウェア構成を示す。

本実施の形態の画像音楽生成装置１の動作について説明しながら、本発明の音楽情報生成方法の一実施の形態についても説明する。

なお、画像音楽生成装置１は、本発明の音楽情報生成装置の一例である。

また、ブロック選別部２５および図形楽譜生成部２７を含む手段は、本発明の図形楽譜生成ユニットの一例である。

また、音源記憶部１５は、本発明の音源名称記憶部の一例である。また、音源設定部２６は、本発明の音源名称設定部の一例である。

また、スマートフォン１０５、パソコン１０７、デジタルカメラ１０６、デジタルフォトフレーム１０３、インターネット対応テレビ１０４は、本発明の端末の一例である。また、画像音楽サーバー１０２は、本発明のサーバーの一例である。

（画像音楽生成装置１の基本的な構成および動作）
主として図１および２を参照しながら、説明を行う。ここに、図１は、本発明における実施の形態の画像音楽生成装置１の構成図であり、図２は、本発明における実施の形態の画像音楽生成再生相関の説明図である。

画像音楽生成装置１は、操作命令が入力される操作入力部２と、カメラなど撮影素子を含む画像入力部３と、画像又は文字、図形などを表示する表示部４と、スピーカーを含む声や音楽などを出力する音声出力部５と、データを外部装置に送受信するための無線又は有線の外部通信部６と、装置全体を制御するＣＰＵ７（制御部）と、データ処理プログラム１１を記憶する主記憶部８と、データ記憶部９とを備え、これらはバス１０に接続されている。ここにデータ処理プログラム１１には、データ生成部１２とデータ再生部１３が含まれ、データ記憶部９には、デジタル画像５１を記憶する画像記憶部１４、音源データ５２を記憶する音源記憶部１５、図形楽譜データ５３を記憶する図形楽譜記憶部１６、音楽データ５４を記憶する音楽データ記憶部１７とが含まれる。

なお、ここで操作入力部２は、キーボード、タッチ入力パネル、音声入力、リモコンなど、操作入力であれば、種類を問わない。また画像入力部３は、カメラやスキャナーなど撮像するデバイス、或はメモリーカード、ＵＳＢメモリー、ＨＤＤメモリー、光ディスクメモリーなど画像を取得できるデバイスであれば、種類を問わない。ここでは撮像素子を持ったカメラとし、入力する画像はデジタル画像５１として説明する。また、この画像音楽生成装置１の構成がネットワークサーバーとして組み込まれる場合には、必ずしも音声出力部５や、表示部４を必要としないが、ここでは、説明を容易にするために、スピーカーを含む音声出力部５と表示デバイスを含む表示部４を持つものとする。また、音楽データ５４は曲全体の音に関する、音高、音価、強さ、テンポ、調、和音、音源などを含む音楽要素や楽譜の情報を持つものとする。

図１の画像音楽生成装置１のようなハードウェア構成を使用して、画像入力部３から入力されるデジタル画像５１を、ＣＰＵ７と、データ生成部１２とデータ再生部１３とを有するデータ処理プログラム１１によりデータ処理をして、音楽データ５４を生成して音声出力部５に出力する機能を、図２の画像音楽生成再生相関図に従って説明する。

代表色モザイク画像生成部２０として、ブロック分割機能、ブロック代表色の決定機能、代表色モザイク画像の生成機能、の順で説明する。

なお、格子状に配列されたブロックが代表色で塗り潰されたモザイク画像、および選別された所定のブロックがブロック色名の色で塗り潰されたモザイク画像は、表示部４に表示されてもよいし、表示されなくてもよい。

（ブロック分割機能）
主として図３および４を参照しながら、説明を行う。ここに、図３は、本発明における実施の形態のデジタル画像の説明図であり、図４は、本発明における実施の形態の代表色モザイク画像の説明図である。

ブロック分割部１８として、図３に示すデジタル画像５１を、図４に示すように格子状に縦横で区切ってブロック化する機能手段について説明する。縦軸の全長を整数オクターブ（ここでは２オクターブ）として、１オクターブを、ド、ド＃、レ、レ＃、ミ、ファ、ファ＃、ソ、ソ＃、ラ、ラ＃、シの１２平均律で表した時の２４音階の尺度の音程に対応して、縦に２４分割されるようにブロック分割部１８のプログラムに従ってＣＰＵ７で実行させる。また、横軸の全長を整数小節（ここでは４小節）として、ここでは４分音符を拍（ＢＥＡＴ）の単位として、１６分割させる。つまり、２オクターブの音高数２４と、１６音符（Ｎｏｔｅ）の拍数１６に対応するように、１枚のデジタル画像５１が２４×１６のブロックに分割される。

（ブロック代表色の決定機能）
ブロックには、解像度に応じて多数の画素が含まれるので、ブロック代表色決定部１９で、そのブロックの代表画素及び代表色を決める計算方法を説明する。各画素は通常ＲＧＢカラーモデルのＲＧＢ値で表現される。ＲＧＢ値は、多くの場合カメラやスキャナーなど入力デバイスで取得されたデジタル画像の色再現情報であり、物理レベルの表色値である。ＲＧＢ値は色光の三原色であるＲ（赤）、Ｇ（緑）、（青）の混色比率で表され、人間の知覚とは対応していない。しかし、本実施の形態ではデジタル画像から人間の視覚特性を取得することが前提となる。例えば、色名の色範囲を設定したり、ブロックから色名を識別したりする処理プロセスにおいて、心理レベルに近い表色値が必要となる。心理レベルの表色方法には、色知覚の三属性である色相（Ｈｕｅ）、明度（Ｖａｌｕｅ）、彩度（Ｃｈｒｏｍａ）に基づくマンセル表色系などがあるが、ここではＲＧＢ値からの変換式がありデジタル表現が比較的容易な上、心理レベルに近い色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）から構成されるＨＳＶカラーモデルを使用する。ＲＧＢ値からＨＳＶ値への変換式はよく知られているので省略する。ここではブロック内の画素のＲＧＢ値の最頻値をＣＰＵ７によって計算した後、ＨＳＶ値に変換してブロックの代表画素における色属性の代表値とし、それをブロックの代表色とする。計算の方法は、最頻値ではなく平均値であっても構わない。

（代表色モザイク画像生成機能）
代表色モザイク画像生成部２０において、ブロック内は代表色で塗りつぶされ、図４に示す２４×１６のブロックの代表色によるモザイク画像（以下、代表色モザイク画像）がＣＰＵ７によって生成される。即ち各ブロックは単色の色属性を持ち、モザイク画像の位置座標で同定される。

（音源色名・色範囲設定機能）
主として図５（ａ）を参照しながら、説明を行う。ここに、図５（ａ）は、本発明における実施の形態の音源色名範囲設定操作画面の説明図である。

一旦モザイク画像生成の説明から離れ、ブロック色名識別部２１の中の音源色名設定部２２の、音源色名と色範囲設定機能を説明する。ブロックにはそれに対応する音源を示す色名（以下、音源色名）が割り当てられる。音源色名は、各々色空間の中の色範囲と対応している。音源色名の数や、音源色名の色範囲は任意であるが、ここでは赤色、橙色、黄色、緑色、青色、紫色、灰色の７色の音源色名と色範囲を設定する。通常、色名と対応する色空間は、マンセル表色系のように、色相、明度、彩度の３次元の色属性を持つ。ここでは、３次元属性を持つＨＳＶ色空間で色範囲を設定する。音源色名はその３つの次元のそれぞれに範囲を定め、その色範囲内にある色はその音源色名と識別する。ここでは各音源色名が、系統色名のように、色空間がすべていずれかの色名の色範囲に属し、重なりが無いように定める。しかし、慣用色名のように、色空間の中に色名の色範囲に属さない色が存在する方法でもかまわない。その場合はどの音源色名でもないと識別される。ユーザーが容易に音源色名の色範囲を変更・設定できるように、ここでは図５（ａ）のような２次元図がＣＰＵ７によって表示部４に表示される。これは外周が色相軸で、中心から外周までの半径が彩度軸となる、２次元のカラー円グラフである。音源色名は扇形の角度による色相範囲と、割合による彩度範囲で指定できるようになっている。なおこの例では音源色名の明度範囲の指定は用いない。後述するように音源色は音源の種類に割り当てられる。

（音源色名識別機能）
ブロック色名識別部２１の中の、音源色名識別部２３を説明する。

上記の代表色モザイク画像のすべてのブロックは、各ブロックが代表色で均一となっており、音源色名識別部２３で各ブロックの代表色がどの音源色名の色範囲に入っているかが識別される。例えば、もし赤色（扇形の角度３２１度から１５度、彩度２０パーセント以上）の色範囲以内であれば、そのブロックの音源色名は赤色と認定される。このようにモザイク画像のすべてのブロックの音源対応の色名が識別される。

色属性値の範囲に対応付けられた、赤色、橙色、および黄色などのような色名（図５（ａ）参照）は、遅くとも音楽データ生成部２８が実行するステップにおいてはヴィオラ、シンセサイザーストリングズ１、およびストリングアンサンブル１などのような音源名称（図５（ｂ）参照）に対応付けられていなければならないが、音源色名識別部２３が実行するステップにおいてはまだ音源名称に対応付けられていなくてもよい。

（音源色モザイク画像生成機能）
音源色モザイク画像生成部２４で、ブロックは識別された音源色名の色値（音源色）で塗りつぶされ、代表色モザイク画像から音源色によるモザイク画像（以下、音源色モザイク画像）ができる（音源色モザイク画像は図示せず）。

（ブロック除去機能と音符候補抽出機能）
ブロック選別部２５における、音源色モザイク画像の中で必要なブロックをＣＰＵ７により選別させて、音符候補を抽出する機能を説明する。一般に、ある拍で一度に鳴る音源が多すぎると騒がしくて心地良くない。例えば画像を２４×１６にブロック分割した場合、そのまま全てのブロックに音を割り当てると、全ての拍で２４音高（２オクターブ）の音が鳴ることになり、大変騒がしい音楽になる。そうした理由により、画像から適切にブロックを間引いて残ったブロックから音楽を生成することが必要になるが、画像全体の視覚特性に相応しい聴覚特性を持った音楽を生成することを考慮して、音源色モザイク画像から色属性と位置属性の「除去パラメータ」に従ってブロックを除去する。

視覚特性における色知覚の観点から考えると、彩度が一定以上ではないと特定の色として知覚されにくい。従って、「除去パラメータ」として、彩度パラメータを設定し、ある閾値以下はブロックを除去する。例えば、ＨＳＶ色空間の彩度（Ｓａｔｕｒａｔｉｏｎ）が３０％以下は除去するという設定を行う。

さらに、明度に関して言えば、人間は画像が明るすぎる場合は、光と認識するため物体色として知覚されにくい。同様に暗すぎる場合も陰影として認識するため物体色として知覚されにくい。したがって、明度パラメータを設定し、高明度のある閾値以上と、低明度のある閾値以下のブロックを除去する。例えば、ＨＳＶ色空間の明度（Ｖａｌｕｅ）が７０％以上、２０％以下は除去するという設定を行う。

さらに、人間の注意は画像の中央部やカメラのフォーカス部分、人物の顔や体に集中するため、画像位置パラメータを設定し、それ以外のブロックを除去する。必然的に画像の中でもっとも知覚されやすく、特徴的な物体の形状などを残すブロックが残ることになる。このようにしてブロックを除去して残ったブロックを音符候補ブロックとする。

（音源の設定機能）
主として図５（ｂ）を参照しながら、説明を行う。ここに、図５（ｂ）は、本発明における実施の形態の音源設定操作画面の説明図である。

音源設定部２６で、音符候補ブロックの音源を決定する。上述のように音源色名と色範囲が音源の種類に割り当てに用いられる。音源色から音源への割り当ては固定でもよいが、図５（ｂ）のように音源設定画面を表示部４に表示させ、ユーザーに音源色名に対応する音源を設定させてもよい。オーケストラのように、楽器編成の多い楽曲でも複数の音源を容易に設定することができる。また、画像の中で最も刺激量が強い色は赤、無彩色を除いて最も刺激量の弱い色は青である。例えばそのような画像の色の刺激量に比例させて、音の刺激の強い弦楽器音源を赤色とし、音の刺激量の弱い木管楽器音源を青色に設定させることができる。このように色と音源から画像と音楽の相関を容易に作ることができる。因みに画像の配色においては、絵画などでは色の刺激量の強い赤が進出し、刺激量の弱い青が後退するように心理的に感じる効果を使った色彩遠近法が知られている。また、音源の配置においては、オーケストラの楽器編成では、舞台前面に刺激量の強いヴァイオリンのような弦楽器を配置し、刺激量の弱いフルートのような木管楽器を後部に配置することで、音の遠近感を強めている。このように色と音の刺激量の強弱を対応させることで、音によって画像の遠近感が強化される心理的効果が期待できる。このようにして、すべての音符候補ブロックに音源が割り当てられる。

次に、図形楽譜生成部２７において、ブロック図形総譜を生成する方法を説明する。

（音符候補の音符化機能）
上記の音符候補ブロックから、音符を作成する方法を説明する。一般に、音符は音の長さ（音価）と時間的な位置、および高さ（音高）を表す。本実施の形態において、時間的な位置と音高は、代表色モザイク画像の中のブロックの位置から一意に決まる。例えば図４の２４×１６に分割された代表色モザイク画像において、左から３番目、上から６番目のブロックＡは、４分の４拍子で１小節目の３拍目で、音高はソとなる。一方、音の長さ（音価）は他の音符候補ブロックとの関係から定まる。例えば横軸のスケールを４小節とし４分の４拍子で曲を作る場合、画像は１６分割されるので１ブロックの横幅は４分音符相当になる。

この場合孤立した音符候補ブロックは４分音符となるが、音符候補ブロックが横に連続して２つあれば２分音符とし、３つあれば付点２分音符、４つあれば全音符とするようにＣＰＵ７に決定させる。たとえば、小節線を挟んで横に連続して２つある音符候補ブロックに対応する２つの４分音符は、タイで結ばれてもよいし、結ばれなくてもよい。もし８分の４拍子で作曲したい場合は、画像を３２分割して同様の処理をさせればよい。

ここでは音符候補ブロックの横位置関係から音価を決定させたが、斜め横位置関係にあり、音高が変化してもかまわない。たとえば、近接して斜め横位置関係にある音符候補ブロックに対応する音符は、スラーで結ばれてもよいし、結ばれなくてもよい。

このようにして、音符候補ブロックから、音の長さ（音価）、高さ（音高）、拍から構成される音符が生成される。

（ブロック図形総譜生成機能）
主として図６を参照しながら、説明を行う。ここに、図６は、本発明における実施の形態のブロック図形総譜の説明図である。

上述のように音符候補ブロックから生成された音符を２次元に配置することにより、デジタル画像５１から自動的にブロック図形総譜を生成することができる。ブロック図形総譜の例を図６に示す。なお、図形楽譜生成部２７では上記のブロック図形総譜だけではなく、後に述べる和音補正図形総譜やパート譜も必要に応じて生成される（以下、これらを合わせて図形楽譜と呼ぶ）。

続いて、音楽データ生成部２８を説明する。音楽データ生成部２８では、ユーザーの設定に応じて和音の補正、調性の設定、および音の強さの設定を行ない、音楽データ５４を生成する。

（調性設定機能）
音楽に調性を設定するには、例えば図６のブロック図形楽譜において、ブロックが多い音高を主音とする。この場合、Ｇ（ト）が主音となる。長調か短調かを判定するには、聴覚的な印象と視覚的な印象が類似するように、画像が明るく、鮮やかならば長調、暗く、くすんでいるならば短調とする。例えば、予め明度、彩度のパラメータを設定し、画像全体の平均明度が５０％以上、平均彩度が５０％以上ならば長調、未満ならば短調と判定する。もちろん人によって感覚が違うのでパラメータは変更してもかまわない。長調の場合は、主音を基にした長音階のみを有効とし、その他の音高は鳴らさない。この場合、ソ、ラ、シ、ド、レ、ミ、ファ＃となり、ト長調ということになる。もし短調の場合であるなら主音を基にした短音階のみを有効とし、その他の音高を鳴らさない。この場合、短音階のソ、ラ、シ♭、ド、レ、ミ♭、ファ＃（和声的短音階）となり、ト短調ということになる。

（和音補正機能）
主として図７を参照しながら、説明を行う。ここに、図７は、本発明における実施の形態の和音補正図形総譜の説明図である。

上述の方法は、１２音高の中の７つの音高のみを有効にすることによって、音楽に調性を与えるものであるが、そこに含まれる不協和音を除き、協和音に補正することで、さらに音楽的に聴きやすくする方法を説明する。図６のブロック図形楽譜から、図７の和音補正図形楽譜に変換するにあたり、拍にあたる、各列で和音を決定してブロックを再配列する。和音は、１度、３度、５度を中心とした３和音を基本とするが、７度を加えてもかまわない。各列の和音は、ブロック図形楽譜において判定された、調の７音高に含まれる、特定の音高の多さや、調の７音高から外れている場合はいずれかの音高との近さなどによって根音を決定し、３和音のコードが判定される。図７の和音補正図形楽譜の場合、左から４列目、５列目のコードはＧと判定され、ブロックは、ソ、シ、レに移動される。ただし、ブロック数が増えると印象が大きく変わるので、ブロック数は変更しない。またフロック数が３和音に満たないときも、根音及びコードが判定されるが、１音または２音のみで設定される。例えば、図６の１列目にはファ＃とファのブロックが上下に並んでいるが、ト長調の主音であるソに移動され、Ｇのコードが設定されている。このように音数が少ない場合などにおいて、コードの決定は、主和音、属和音、下属和音など主要なコードを重視する。ただし、和声の方法は無数にあるため、和音補正は上述のような方法の限りではない。

もちろん、図形楽譜は、和音を発生するための和音補正を利用して生成されてもよいし、和音補正を利用せずに生成されてもよい。たとえば、図形楽譜は、所定のブロックを選別することによって和音補正なしに直ちに完成してもよい。そして、デジタル画像５１の縦軸（図４参照）のスケールが、和音補正が不要になるようにあらかじめ設定されていてもよい。さらに、音楽データ生成部２８が、和音補正を行う機能をもっていてもよい。

（音の強さ設定機能）
各音符の音の強さは、例えばブロックの明度に比例させて強弱を決めることができる。

（図形楽譜の生成）
主として図８を参照しながら、説明を行う。ここに、図８は、本発明における実施の形態の和音補正パート譜の説明図である。

図形楽譜生成部２７について説明する。

このブロック図形総譜及び和音補正図形総譜は、後に、音楽の演奏のために必要となる音楽基本要素の音高、音価、拍、和音、強さ、調、楽器などを含んだ音楽データ５４を生成するために用いられる。また、和音補正図形総譜を音源色名の色値ごと分解させれば、図８のように和音補正パート譜が作成される。以降、ブロック図形総譜と和音補正図形総譜を合わせて総譜と呼び、和音補正パート譜を単にパート譜と呼ぶ。また、総譜とパート譜を合わせて図形楽譜データと呼ぶ。図形楽譜データは、図形楽譜記憶部１６に記憶される。パート譜は、一部のパートの音源だけで生成された音楽を再生する場合や、生成された音楽の内容を、パートごとに検討する場合などに用いられる。

図６のブロック図形総譜、図７の和音補正図形総譜、及び図８のパート譜は、音符を色分けされた四角のブロック形の音符で表示されているが、勿論、従来の五線記譜法の音符で表示することができるのは言うまでもない。

上記のような図形楽譜（総譜またはパート譜）は表示部４に提示してユーザーに示しても良い。これにより、生成された音楽の評価を客観的に行うことができ、また部分的な修正も容易に行うことができる。

（音楽データ生成）
主として図９を参照しながら、説明を行う。ここに、図９は、本発明における実施の形態のパート譜の説明図である。

総譜又はパート譜から、音楽データを生成する処理を説明する。音楽データ５４は、発音のタイミング、音の高さ、強さ、長さ、楽器などの音楽の演奏情報をＣＰＵ７で扱いやすい記号情報で表したものである。例えばＭＩＤＩが音楽データ５４に用いられる。図９のピアノのパート譜を例にとって説明する。たとえば、図５（ｂ）の音源設定の画面からユーザーによって音源色名が灰色である音源がピアノ（アコースティックピアノ）に設定されると、ＣＰＵ７によって図９のピアノのパート譜の指示に従ってピアノの音源データ５２の情報（音源データアドレス情報という）を含んだ音楽データ５４が生成される。そして残りの色も設定された音源色とそれぞれのパート譜から音楽データ５４が生成され、それらが組み合わされて最終的に演奏される音楽データ５４が出来上がる。生成された音楽データ５４は音楽データ記憶部１７に記録される。

（音楽の再生）
音楽再生部３３を説明する。音楽データ５４はＭＩＤＩなどの記号データなので、スピーカーなどで音として鳴らすためには音の波形に変換する必要がある。音楽再生部３３では、音楽データ５４の中にある音源データアドレス情報を使って、音源データ記憶部にある音源データ５２の音源波形データを読み込んで音楽データ５４を波形に変換する。例えば、音楽データ５４がＭＩＤＩの場合は、ＭＩＤＩシーケンサー、ＭＩＤＩシンセサイザーなどを使って波形情報に変換される。

（画像と音楽の再生）
上述のように生成された音楽波形は音声出力部５を通して音が流れる。勿論、ＣＰＵ７によって、画像再生部３１でデジタル画像５１の表示と同期させることが可能である。

（操作画面表示機能）
主として図５（ａ）〜（ｃ）を参照しながら、説明を行う。ここに、図５（ｃ）は、本発明における実施の形態の画像音楽変換調整設定操作画面の説明図である。

画像から音楽生成する際、ユーザーに設定させる操作項目を表示部４に表示させる機能を図５（ａ）〜（ｃ）のユーザー設定画面の例に従って説明する。音源色名設定画面（図５（ａ）参照）では各色名の色相の扇形の角度数値、かつ彩度の割合を各調整窓の操作に従ってユーザーは設定すればよく、簡単な設定である。またその調整値に従って右図のカラー円グラフにある角度線と、内側の円の大きさが動くことにより、ユーザーは直感的に色範囲を知ることができる。音源設定画面（図５（ｂ）参照）では、色名と楽器を並べて表示し、音源設定ではメニュー画面方式としたのでユーザーは容易に設定できる。画像音楽変換調整画面（図５（ｃ）参照）では、上述の色属性と位置属性の除去パラメータ等によって、主要な調整機能をスライドバー操作により、ユーザーは容易に調整することができる。

これまでは、１枚の画像から楽譜を作成し、音楽が生成されることを説明したが、次に複数の画像を連続して表示するスライドショーのための、画像、楽譜及び音楽を生成・再生する場合を説明する。

（スライドショー作成機能）
まず、スライドショー生成部２９において、操作入力部２からデータ記憶部９に記憶されたデジタル画像５１の中からスライドショーの対象とする複数のデジタル画像５１を選択する。そして次に、選択された各デジタル画像５１に対して上記のような処理を行って対応する音楽データ５４を生成する。音楽データ５４はスライドショーの入力として音楽データ記憶部１７に記憶される。その時に、それぞれのデジタル画像５１とそこから生成された音楽データ５４を関係付けた情報も主記憶部８に記憶される。

（スライショー再生機能）
主として図１０を参照しながら、説明を行う。ここに、図１０は、本発明における実施の形態のスライドショー再生操作画面の説明図である。

スライドショーの再生のためには、スライドショー再生部３４によって、図１０のスライドショー操作画面が表示部４に表示され、ユーザーは「プレイ／ストップ」のアイコン１００１、「送り」のアイコン１００２、「戻し」のアイコン１００３などにタッチして、スライドショーの再生を制御する。例えば、最初に「プレイ」が指示されると、画像記憶部１４に記憶していたデジタル画像５１から最初のデジタル画像を取り出し、同時に音楽データ記憶部１７からそれに関連付けられた音楽データ５４を取り出して、両方を同期して画像を表示部４に、音楽を音声出力部５に出力する。デジタル画像５１は静止画なので表示部４は表示された画像は変化しないが、対応した音楽データ５４の演奏が終了すれば、次のデジタル画像５１と音楽データ５４を取り出して、それらのデータが無くなるまで次々と画像と音楽を順番に再生する。なお、ディソルブやパンなどの画面効果で画面を変化させてもよい。「送り」、「戻し」なども同じようにデジタル画像５１と関連付けられた音楽データ５４を取り出してスライドショーを行う。

また、複数の画像からそれぞれの画像の特徴を活かして、１つの曲を持ったスライドショー作品を作成したい場合がある。例えば、明るい音楽で曲を始めて、暗い音楽に移り、最後に明るい音楽で曲を終える、などの例である。また、ある条件を満たす画像だけを選んでスライドショーとして１つの曲を作曲したい場合もある。例えば、スライドショーの対象として一旦選ばれた画像の中から、明るい音楽を生成する画像だけが自動的に選ばれてスライドショーになる、などの例である。

そのために、スライドショーのデジタル画像５１と音楽データ５４を生成して記憶する際に、それぞれの画像の上述の総譜のパターンを測定しそれを数値化する。そしてその数値を利用して、デジタル画像５１と音楽データ５４の順番を入れ替えてスライドショーの順番とする。例えば、前述の明るい音楽、暗い音楽、明るい音楽の順に移り変わる曲を生成する場合、総譜の明度に着目して、測定したパターンから生成される数値の閾値を「高」、「中」、「低」の３つに分け、数値が「高」の画像は最後の明るい音楽のパートに、「中」の画像は最初の明るい音楽のパートに、「低」の画像は暗い音楽のパートに位置するように順番を並べ替える。こうすることで、明るい音楽で始まり、暗い音楽に移り、最後に非常に明るい音楽で終わるような曲の順番でスライドショーを再生できる。

また、明るい音楽だけを選ぶ場合、総譜のパターンから生成される数値が「高」または「中」だけを残し、「低」のものは一時記憶から削除するようにすれば、明るい曲だけのスライドショーが再生できる。

（動画データの作成と再生機能）
スライドショーを再生する時に、上記の方法ではデジタル画像と音楽データを順次解釈して再生したが、さらにデジタル画像５１と音楽データ５４から一旦ＭＰ４やＭＯＶなどの業界標準として定まった動画ファイル形式の動画データを作成する方法がある。この方法では、上記の方法で順番が決定されたデジタル画像５１と音楽データ５４から、同期情報を含んだ動画データを動画ファイルとして作成する。動画ファイル形式の動画データ作成に関しては様々な方法が知られているのでここでは触れない。

なお、ここでいう動画とは、１秒間に２４枚、３０枚、６０枚など、異なる画像フレームを連続して表示することにより動きを表現するものではなく、同じ静止画像を任意の時間表示し、表示時間に同期して音楽が再生されるものをいう。

たとえば、１枚の静止画像を用いて7秒間の音楽が生成された場合には、同じ静止画像が7秒間にわたって表示され、生成された7秒間の音楽が画像表示に同期して再生される。このとき、動画ファイルとして作成された動画データが再生されるが、同じ画像フレームが所定のフレームレートで繰り返し表示されるにすぎないので、動きの表現はもちろんともなわない。

つまり、動画ファイル作成部３０は多くの再生装置で再生可能な業界標準の動画ファイル形式で動画データを作成するので、前述された静止画像のスライショー再生機能と同様な機能が動画データ再生機能として実現される。

静止画像は１枚でも複数枚でもよい。また、静止画像には表示の切り替え時のタイミングや、音楽に合わせたエフェクトを加えてもかまわない。

動画ファイル形式の動画データは様々なメディア・プレーヤーやブラウザなどで、そのまま再生することが出来るので、この方法で作成されたスライドショーを多くの機器やソフトウェアで再生できるようになる。

（画像音楽の通信機能）
これまでは、１台の機器で画像から音楽を生成し、それを同じ機器で再生する状況を説明してきたが、次にある機器で画像から音楽を生成し、それを別の機器に送って画像とともに再生する方法を説明する。

まず、送信側の機器で、上述の方法で１枚または複数枚の画像から音楽を生成する。そして、画像と音楽を、外部通信部６から相手の受信側の機器に送信する。ここで、送信の方法は、宅内でのローカルネットワーク、公衆回線経由のインターネットなどを用いた相手側のアドレスを指定したネットワーク通信や、ＵＳＢメモリーなどの可搬型の一時蓄積装置を経由した方法など、様々な方法のどれでも構わないが、ここではインターネットを用いた通信で説明する。この時に送信される画像や音楽に関するデータは、動画データを利用する第一のタイプ、画像と音楽データを利用する第二のタイプ、画像と総譜又はパート譜を利用する第三のタイプに分類される。

第一のタイプでは、上述の方法で、送信側で画像と音楽を含んだスライドショーの動画データが生成され、その動画データが受信側に送信される。受信側では受信した動画データを再生することで、送信側の意図したスライドショーを見ることが出来る。この時、動画データはＭＰ４やＭＯＶなどの業界標準の動画ファイル形式で作成されるので、受信側では本実施の形態の装置やソフトウェアが無くても、メディア・プレーヤーやブラウザなどの標準的なソフトウェアを使ってスライドショーを見ることが出来る。しかしこの方法では、スライドショーの内容を変更したり、楽譜を評価したり、修正したり、編曲することなどは出来ない。

第二のタイプでは、上述の方法で、送信側でデジタル画像５１からそれに対応した音楽データ５４が生成され、そのデジタル画像５１と音楽データ５４を組にして受信側に送信する。受信側では受信した音楽データ５４から、受信側の機器の音源記憶部１５にある音源データ５２を使って音楽を生成し、受信したデジタル画像５１と組み合わせてスライドショーを再生する。この方法では、受信側で音源データ５２を入れ替えて、同じ音源であっても送信側とは違う波形の音で音楽を再生することが出来る。また、受信側でスライドショーの順番を入れ替えたり、楽譜を評価したりすることはできるが、楽譜を修正したり、編曲することなどは出来ない。

第三のタイプでは、上述の方法で、送信側でデジタル画像５１から音楽データ５４を生成する過程で作成する総譜又はパート譜を、デジタル画像５１と組にして受信側に送信する。受信側では受信した総譜（パート譜）から、受信側の機器の音源記憶部１５にある音源データ５２を使って音楽を生成し、受信したデジタル画像５１と組み合わせてスライドショーを再生する。この方法では、受信側でスライドショーの順番や音源を入れ替えられるだけでなく、楽譜を修正したり、編曲または新たにバンドを編成したりすることなどが出来る。

上述のように、動画データを送受信する第一のタイプの場合は、送信側の意図する動画をそのまま再生することができ、画像と音楽データを送受信する第二のタイプの場合は、受信側で音源や画像の順番を入れ替えることができ、また画像と総譜またはパート譜を送受信する第三のタイプの場合には、楽譜の修正、編曲、新たなバンド編成まで受信側で行うことができる。

（各機能のフローチャートによる説明）
主として図１１を参照しながら、説明を行う。ここに、図１１は、本発明における実施の形態の制御部内機能順序を示すフローチャートである。

上述のデジタル画像５１から音楽データ５４を生成・再生する各プロセスを、ＣＰＵ７とデータ処理プログラム１１を使用して実現した各機能を、順序に従って示す図１１の機能型フローチャートによって説明する。

まず、画像入力部３にあるデジタル画像５１を、データ記憶部９に入力する（Ｓ１）。このデジタル画像５１を縦が音高に対応し、横が拍に対応するユーザー希望の数の格子状ブロックに分割する（Ｓ２）。

各ブロック内の多数のＲＧＢ画素を計算して代表値を求めそれをＲＧＢ→ＨＳＶ変換して色属性値の代表色モザイク画像を作成する（Ｓ３）。

各ブロックの代表色を音源色名の色値（音源色）に当てはめ、音源色モザイク画像を作成する（Ｓ４）。

音源色モザイク画像のブロックを、色属性とブロック位置のブロック除去パラメータにより評価関数により評価して、その関数値によりブロックを除去して音符候補ブロックを選別する（Ｓ５）。

この色名音符候補ブロックから、各種音楽要素値（音高、音価、拍、楽器、調性、和音など）が決められて、色分けされたブロック図形音符及び図形楽譜（総譜とパート譜）が生成される（Ｓ６）。

この図形楽譜から各種音楽要素値を持った音楽データを生成する（Ｓ７）。音楽データの再生と同期する画像及び／又は図形楽譜を表示しながら（Ｓ８）、ユーザーの希望する設定画面の操作に従い、スライドショーや動画などによる、画像及び／又は図形楽譜の表示に伴う音楽データを再生する（Ｓ９）。

ユーザーは、操作入力部２の操作により、この画像と音楽を再生して、音声出力部５のスピーカーを通じて聞くことができる。また、図１のような画像音楽の生成・再生装置の構成を内蔵するスマホなど携帯機器、パソコン、タブレットであれば、外部通信部６を通じて音楽データ送受信することができる。また、上記図１１のフローチャート構成を持つソフトウェアを、記録媒体に記録したり、他の応用ソフトと結合したりすることが出来る。

（画像音楽生成・再生クラウドシステム１００の構成および動作）
主として図１２を参照しながら、説明を行う。ここに、図１２は、本発明における実施の形態の画像音楽生成・再生クラウドシステム１００の構成図である。

画像音楽生成・再生クラウドシステム１００を図１２に従って説明する。無線或は有線のインターネット網１０１に、画像音楽サーバー１０２、デジタルフォトフレーム１０３、インターネット対応テレビ１０４、スマートフォン１０５、デジタルカメラ１０６、パソコン１０７など各種の端末が接続されている。

これらの端末は図１の画像音楽生成装置の構成をしている。その中には、カメラ機能を内蔵して、それで撮影した画像を画像音楽サーバー１０２にアップロードすることが出来る種類のものがある。一方、カメラ機能を内蔵していない端末（すなわち画像入力部３を持たない端末）もある。また、画面やスピーカーを装備して、生成された音楽やスライドショーをサーバーからダウンロードして再生できる端末と、そうではない端末（すなわち、表示部４又は／及び音声出力部５を持たない端末）がある。ここでは、カメラ機能を持った端末を入力端末と呼び、画面やスピーカーで音楽やスライドショーを再生できる機能を持った端末を出力端末と呼ぶ。またその両方の機能を持った端末を入出力端末と呼ぶ。例えばデジタルフォトフレーム１０３、インターネット対応テレビ１０４は出力端末であり、デジタルカメラ１０６は入力端末、スマートフォン１０５、パソコン１０７は入出力端末である。

入力端末または入出力端末で撮影・記録されたデジタル画像は、インターネット網１０１を経由して、画像音楽サーバー１０２に送られる。画像音楽サーバー１０２は、図１の画像音楽生成装置の構成を内蔵しており、端末側から送られてきたデジタル画像５１から上記図形楽譜データ５３及び／又は音楽データ５４を生成する。

生成された図形楽譜データ５３及び／又は音楽データ５４は端末側から送られてきたデジタル画像５１と共に、画像音楽サーバー１０２のデータベースに格納される。データベースには、デジタル画像を送ってきたユーザーのユーザー名、端末ＩＤなどの識別情報も共に記録される。勿論、１枚のデジタル画像と図形楽譜データや音楽データだけではなく、前述のように複数のデジタル画像と図形楽譜データ／音楽データから構成されるスライドショーもデータベースに記録することが出来る。

一方、出力端末あるいは入出力端末を使って、ユーザーはデータベース上の、デジタル画像と図形楽譜データ／音楽データ、またはスライドショーを検索することができる。デジタル画像をアップロードしたユーザーと、検索したユーザーが異なっている場合は、通常アクセス制限が掛かり、アクセスが許可されたユーザーだけがこれらのデータにアクセスできる。

アクセスが許可されたリクエストの場合は、画像音楽サーバー１０２は、リクエストを発生した端末（通常は出力端末または入出力端末）にデジタル画像と図形楽譜データ／音楽データ、またはスライドショーを送信する。端末側は、図１の画像音楽生成装置の全体あるいは一部を装備し、画像音楽サーバー１０２から受信したデータをデータ記憶部９に記憶する。具体的には、デジタル画像を画像記憶部１４にデジタル画像５１として記憶し、図形楽譜データを図形楽譜記憶部１６に図形楽譜データ５３として記憶し、音楽データを音楽データ記憶部１７に音楽データ５４として記憶する。

受信した端末のデータ処理プログラム１１は、これらのデータを用いて前述の処理を行うが、画像音楽サーバー１０２で処理したデータを利用することにより端末側での処理を省ける。例えば、図形楽譜データを受信した場合は、図２のブロック分割部１８から図形楽譜生成部２７までの処理を省ける。また、音楽データを受信した場合は、図２のブロック分割部１８から音楽データ生成部２８までの処理を省ける。また、スライドショーのデータを受信した場合は、スライドショー生成部２９の処理を省くことができる。

なお、ここでは音楽データ５４の生成に用いたデジタル画像５１を画像音楽サーバー１０２から端末に送るようにしたが、必ずしもそうする必要はない。例えば、端末に記憶されているデジタル画像を使ったり、別の画像サーバーのデジタル画像を用いたりしても構わない。また、画像音楽サーバー１０２が音楽データ５４の生成に用いたデジタル画像５１とは異なるデジタル画像を送っても構わない。そうすることによって、サービスのレベルに応じてデジタル画像の画質を変えるような画像音楽変換サービスができる。

また、ここでは画像音楽サーバー１０２は生成したデータを端末に送るようにしたが、別のサーバーに送っても構わない。そうすることによって、別のサーバーが提供するサービスと画像音楽変換サービスを組合せたインターネットサービスができるようになる。

また、ここでは画像音楽サーバー１０２は、リクエストを発行したユーザーの端末にデジタル画像と図形楽譜データ／音楽データ、またはスライドショーを送信するとしたが、動画データであっても構わない。

以上で説明されたように、画像の画素ブロックの持つ色属性値から、音楽を構成する多様な音楽要素、即ち音の高さ（音高）、音の長さ（音価）、音の拍、調（長調短調）、和音、使用する楽器の種類、などが記述された演奏のための図形楽譜を自動的に作成することにより、この図形楽譜に基づいて音楽を演奏する画像音楽の生成・再生装置とその画像音楽の生成・再生方法を提供する。

そして、画像から音楽を生成又は／及び再生する画像音楽の生成・再生装置において、画像入力部と、前記画像入力部から入力された複数の画像を格納した画像記憶部と、文字又は図形又は画像を表示する表示部と、複数の音源を格納した音源記憶部と、色属性値の範囲が設定された色名ごとに、音源を設定する音源設定部と、
前記画像を、縦軸を音高、横軸を拍として任意に分割した格子状のブロックごとに、代表色を決定し、その代表色でブロックを塗り潰してモザイク画像にするモザイク画像生成部と、各ブロックの代表色がいずれの色名の範囲に属しているか識別するブロック色名識別部と、上記モザイク画像の中のブロックを選別するブロック選別部、上記選別されたブロックを音符とし、各ブロックを音源に対応した色名に色分けされた図形楽譜を生成する図形楽譜生成部と、上記図形楽譜から音楽データを生成する音楽生成部と、を備え音楽の再生に同期して、前記画像を表示させて上記音楽を生成・再生させる。

モザイク画像のブロックの代表色から、色属性値の範囲を決められた色名を自動的に識別することにより、それに相応しい楽器などの音源が選ばれ、多様な音楽的要素を含んだ色分けされた図形楽譜が作成される。この図形楽譜に従って画像に対応した音楽を演奏させることができる。

また、色属性値及び位置属性値のパラメータにより該ブロックを選別させる。

画像全体の視覚情報を聴覚情報に反映させて、画像ブロックを選別することができるため、画像に相応しい音楽が生成される。

また、前記音楽の再生に同期させて、前記画像と前記図形楽譜を前記表示部に表示させる。

楽譜と画像を見ながら同時に音楽を再生することができる。また音楽を聴きながら、画像と演奏楽譜を同時に表示させ、画像とそれに相応しい音楽かどうか評価し、かつ楽譜を修正または編曲することができる。

また、スライドショー生成部を備え、複数枚の画像を順番に切り替え、前記音楽の再生に同期させて、スライドショーを再生させる。

連続した画像からバックグラウンド・ミュージック（ＢＧＭ）付きのスライドショーを生成できる。しかもそのＢＧＭは音楽の選定に煩わされること無く、また、音楽の自動生成に発生する権利を除けば、第三者の音楽を利用することに伴う著作権の利用許諾や侵害の問題が発生しないものである。

また、動画ファイル作成部を備え、スライドショーの画像、音楽を統合して、動画ファイル形式の動画データを作成させる。

作成された動画ファイルは業界標準の動画ファイル形式に則っているので、特別なプレーヤーソフトを必要とせず、ブラウザやマルチメディアプレーヤーなどの一般的なソフトウェアを使って画像と生成された音楽が同期した動画を見ることができる。

また、横軸に連続した複数の上記ブロックを一つの音符として音楽を再生させる。

上記選別されたブロックが横方向に繋がった場合、その繋がりの長さを音符の長さ（音価）に反映した図形楽譜を生成することができるので、特に弦楽器などで滑らかな音楽を作成することができる。

また、ブロックに対応した音符から和音を発生させる。

美しい和音を演奏できる図形楽譜を作成して、複数楽器による調和性と表現力を兼ねた、オーケストラの楽器編成のような音楽を演奏させることができる。

また、表示部に色属性値の範囲、又は／及びブロック選別のパラメータ、又は／及び音源の設定を行うための図を表示させる。

本発明によれば、ユーザーが表示された色属性値の範囲やブロック選別のパラメータや音源の設定を操作することにより、容易に生成される音楽を修正、変更することができる。

また、送信側で音楽データ付き画像、又は図形楽譜付き画像を送信し、受信側で画像に同期した音楽を再生させる。

離れた位置にある端末において、音楽データ付き画像や図形楽譜付き画像を送受信して、他方が作成した画像と音楽を再生することができる。また、受信側で容易に生成された音楽を修正、変更することができる。

また、端末側から送信されてきた前記画像を受信し、それに対応した音楽データ又は上記音楽データ付き上記画像、又は図形楽譜付き上記画像、又は動画データを生成し、送信した端末または別途指定された端末またはサーバーに送信する、画像音楽の生成サーバー機能を持つ。

インターネットなどで接続された端末から画像をサーバーに送り、サーバー側で画像から音楽、または画像付き音楽、または動画を作成して、それらを蓄積、配信して多数の人が楽しめるようにすることができる。

また、画像入力部と、前記画像入力部から入力された複数の画像を格納した画像記憶部と、文字又は図形又は画像を表示する表示部と、複数の音源を格納した音源記憶部と、を用いて画像音楽を再生する画像音楽再生方法又はプログラムであって、色属性値の範囲が設定された複数の色名ごとに、音源を設定し前記画像を、縦軸を音高、横軸を拍として任意に分割された格子状のブロックごとに、代表色を抽出してモザイク画像を生成し、各ブロックの代表色がいずれの色名の範囲に属しているかを識別し、上記モザイク画像の中のブロックを選別し、上記選別されたブロックを音符とし、各ブロックを夫々音源に対応した色名の代表色に色分けされた図形楽譜を生成し、上記図形楽譜から音楽データと音楽を生成させ、音楽の再生及び再生時間に同期させて、前記画像と音楽を再生させる。

モザイク画像のブロックの代表色が、色属性値の範囲を決められた色名を自動的に識別することにより、それに相応しい楽器音源が選ばれ、多様な音楽要素を含んだ色分けされた図形楽譜が作成される。この図形楽譜に従って画像に対応した音楽を演奏させることができる。

上述のような画像音楽生成装置又は方法又はプログラムによれば、１枚の画像又は複数画像の分割されたブロックの色属性値や画像位置属性値から、多種類の音楽要素が記載された図形楽譜を自動的に生成することによって、複数の楽器をもつ音楽を演奏させることができる。また、画像、図形楽譜、音楽データを送受信して、スライドショーや動画を遠隔地でも再生することができる。またユーザーは、画面から簡単な操作で音楽データを修正することができ、スライドショー、動画の創作、修正などを容易にすることができる。

なお、本発明のプログラムは、上述した本発明の音楽情報生成方法の全部または一部のステップ（または、工程、動作、作用等）の動作をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。

また、本発明の記録媒体は、上述した本発明の音楽情報生成方法の全部または一部のステップ（または、工程、動作、作用等）の全部または一部の動作をコンピュータにより実行させるためのプログラムを記録した記録媒体であり、コンピュータにより読み取り可能かつ、読み取られた前記プログラムが前記コンピュータと協働して利用される記録媒体である。

なお、上記「一部のステップ（または、工程、動作、作用等）」とは、それらの複数のステップの内の、一つまたは幾つかのステップを意味する。

また、上記「ステップ（または、工程、動作、作用等）の動作」とは、前記ステップの全部または一部の動作を意味する。

また、本発明のプログラムの一利用形態は、インターネット等の伝送媒体、光・電波・音波等の伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。

また、記録媒体としては、ＲＯＭ等が含まれる。

また、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。

なお、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。

本発明における音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体は、画像によりふさわしい音楽を自動的に生成することができ、画像から音楽を生成・再生する画像音楽の生成・再生装置とその画像音楽の生成・再生方法などの、音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体に利用する目的に有用である。

１ 画像音楽生成装置
３ 画像入力部
１５ 音源記憶部
１９ ブロック代表色決定部
２１ ブロック色名識別部
２５ ブロック選別部
２７ 図形楽譜生成部

Claims (16)

1. 画像を入力する画像入力部と、
   複数の音源名称を格納する音源名称記憶部と、
   音の高さに対応する縦軸、および音の進行時間に対応する横軸で前記画像を格子状に配列されたブロックに分割し、各々の前記ブロックの代表色を決定するブロック代表色決定部と、
   あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、前記格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、前記ブロックの前記代表色が対応する色名を前記ブロックのブロック色名として決定するブロック色名識別部と、
   前記格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成する図形楽譜生成ユニットと、
   を備えることを特徴とする音楽情報生成装置。
2. 前記画像入力部から前記入力された画像を格納する画像記憶部と、
   少なくとも前記画像を表示する表示部と、
   前記複数の色名と、前記複数の音源名称と、を対応付ける音源名称設定部と、
   前記生成された図形楽譜から音楽データを生成する音楽データ生成部と、
   を備え、
   前記表示部は、前記格子状に配列されたブロックが前記代表色で塗り潰されたモザイク画像、および前記選別された所定のブロックが前記ブロック色名の色で塗り潰されたモザイク画像の内の少なくとも一つを表示することを特徴とする、請求項１記載の音楽情報生成装置。
3. 前記図形楽譜生成ユニットは、前記ブロックの色属性、および前記画像における前記ブロックの位置属性の内の少なくとも一つに関する除去パラメータを利用して、前記所定のブロックを選別する請求項１記載の音楽情報生成装置。
4. 前記生成された音楽データを再生する音声出力部を備え、
   前記表示部は、前記生成された音楽データの再生が同期するように、前記格納された画像および前記生成された図形楽譜の内の少なくとも一つを表示することを特徴とする、請求項２記載の音楽情報生成装置。
5. 前記生成された音楽データを再生する音声出力部と、
   前記画像入力部に入力された複数の画像からそれぞれ前記生成された音楽データの再生が同期するように、前記複数の画像のスライドショーを行うスライドショー生成部と、
   を備えることを特徴とする、請求項２記載の音楽情報生成装置。
6. 前記画像入力部に入力された複数の画像からそれぞれ前記生成された音楽データと、前記複数の画像のデータと、を統合して、動画ファイルを作成する動画ファイル作成部を備えることを特徴とする、請求項２記載の音楽情報生成装置。
7. 前記音楽データ生成部は、前記横軸の方向に連続した、複数の同じ前記ブロック色名のブロックを一つの音符に対応させて、前記音楽データを生成することを特徴とする、請求項２記載の音楽情報生成装置。
8. 前記表示部は、前記色属性値の前記範囲の設定、前記所定のブロックの選別のためのパラメータの設定、および前記音源名称の設定を行うための図を表示することを特徴とする、請求項２記載の音楽情報生成装置。
9. 前記図形楽譜生成ユニットは、和音を発生するための和音補正を利用して、前記図形楽譜を生成することを特徴とする、請求項１記載の音楽情報生成装置。
10. 前記生成された音楽データ、又は前記生成された図形楽譜は、所定の端末、および所定のサーバーの内の少なくとも一つに対して、送信されることを特徴とする、請求項２記載の音楽情報生成装置。
11. 前記画像入力部に前記入力された画像は、前記所定の端末から送信され受信された画像であることを特徴とする、請求項１０記載の音楽情報生成装置。
12. 前記所定の端末は、前記画像入力部に前記入力された画像を送信した端末ではない別の端末であり、
    前記生成された音楽データ、又は前記生成された図形楽譜は、前記別の端末、および前記所定のサーバーの内の少なくとも一つに対して、前記画像入力部に前記入力された画像とともに送信されることを特徴とする、請求項１０記載の音楽情報生成装置。
13. 前記画像入力部に前記入力された複数の画像は、所定の端末から送信され受信された複数の画像であり、
    前記作成された動画ファイルは、前記所定の端末、前記所定の端末とは異なる端末、および所定のサーバーの内の少なくとも一つに対して、送信されることを特徴とする、請求項６記載の音楽情報生成装置。
14. 音楽情報生成装置にて実行される音楽情報生成方法であって、
    画像を入力する画像入力ステップと、
    複数の音源名称を格納する音源名称記憶ステップと、
    音の高さに対応する縦軸、および音の進行時間に対応する横軸で前記画像を格子状に配列されたブロックに分割し、各々の前記ブロックの代表色を決定するブロック代表色決定ステップと、
    あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、前記格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、前記ブロックの前記代表色が対応する色名を前記ブロックのブロック色名として決定するブロック色名識別ステップと、
    前記格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成する図形楽譜生成ステップと、
    を備えることを特徴とする音楽情報生成方法。
15. 請求項１４記載の音楽情報生成方法の、音の高さに対応する縦軸、および音の進行時間に対応する横軸で前記画像を格子状に配列されたブロックに分割し、各々の前記ブロックの代表色を決定するブロック代表色決定ステップ、あらかじめ設定された複数の色属性値の範囲にそれぞれ対応付けられるとともに、前記格納された複数の音源名称にそれぞれ対応付けられた、または対応付けられる予定の複数の色名の内から、前記ブロックの前記代表色が対応する色名を前記ブロックのブロック色名として決定するブロック色名識別ステップ、および前記格子状に配列されたブロックの内からあらかじめ設定された基準に基づいて所定のブロックを選別することによって、図形楽譜を生成する図形楽譜生成ステップとしてコンピュータを機能させるための、コンピュータ読み取り可能な媒体に記録されたプログラム。
16. 請求項１５記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。