JPWO2008029889A1 - 情報処理端末、音楽情報生成方法、およびプログラム - Google Patents

Abstract

本発明は、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができる情報処理端末を提供することを目的とする。本発明の情報処理端末は、感情推定部２３が、音情報から、当該音情報に含まれる音声を発した発話者の感情を少なくとも２つ検出し、音楽データ生成部２４が、感情推定部２３により検出した感情に対応する、音楽パーツデータベース２４２に記憶した音楽データを合成し、制御部２２が、音楽データ生成部２４により生成した音楽データを再生する。

Description

本発明は、音楽データ（音楽データのデータ形式としては、例えばＷＡＶ形式、ＭＩＤＩ形式、ＭＰ３形式などが挙げられる）によって構成される音楽情報を少なくとも２つ合成する情報処理端末、音楽情報生成方法、およびこの音楽情報生成方法をコンピュータに実行させるためのプログラムに関する。

人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、その人の感情を推定する技術が開示されている（特許文献１）。ある音声により推定される感情の主要因子としては、喜び、悲しみ、驚き、嫌悪、怒り、恐れといった６因子を用いることが多い。

また、特許文献２には、上述の人の感情を推定する技術を利用して、音声通話時の音声から感情を特定し、その特定した感情を一目で連想させる静止画像あるいは動画像をディスプレイに再生する情報処理端末が開示されている。
国際公開番号第００／６２２７９号パンフレット 特開２００６−１０６７１１号公報

近年、人の感情を音により表現する手法が広く利用されている。例えばテレビ放送では、テレビ放送を視聴している視聴者に対して、あるシーンを視聴した視聴者が抱くであろう感情に相応しい効果音をそのシーンがテレビ出力されるときに出力することによって、そのシーンを視聴した視聴者が所定の感情を抱き易いようになっている。また、音のみによって、その音により表現されている感情を人が認識する場合には、人によって認識する感情に若干のズレがあるものの、概ね共通の感情を認識する傾向にある。

本発明は、上記事情に鑑みてなされたもので、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができる情報処理端末、音楽情報生成方法、およびプログラムを提供することを目的とする。

本発明の情報処理端末は、感情を特定可能な情報を含む感情特定用情報から、当該感情特定用情報に含まれる感情を検出する感情検出部と、人間が表す感情に対応させた音楽情報を記憶する音楽記憶部と、前記音楽記憶部に記憶した少なくとも２つの前記音楽情報を合成して別の音楽情報を生成する音楽合成部と、音楽情報を出力する音楽出力部と、を備え、前記感情検出部が、前記感情特定用情報から、前記感情を少なくとも２つ検出し、前記音楽合成部が、前記感情検出部により検出した前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成し、前記音楽再生部が、前記音楽合成部により生成した前記別の音楽情報を出力する、ものである。

また、本発明の情報処理端末は、前記感情特定用情報が、音情報であり、前記感情検出部が、前記音情報から、当該音情報に含まれる音声を発した発話者の感情を少なくとも２つ検出する、ものを含む。

また、本発明の情報処理端末は、前記感情特定用情報が、文字情報であり、前記感情検出部が、前記文字情報から、当該文字情報により構成される文章を作成した作成者の感情を少なくとも２つ検出する、ものを含む。

また、本発明の情報処理端末は、前記感情特定用情報が、画像情報であり、前記感情検出部が、前記画像情報から、当該画像情報を再生した画像に写される被撮影者の感情を少なくとも２つ検出する、ものを含む。

本発明の音楽情報生成方法は、感情を特定可能な情報を含む感情特定用情報から、当該感情特定用情報に含まれる感情を少なくとも２つ検出し、検出した前記感情それぞれに対応する音楽情報を取得し、取得した前記音楽情報を合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

本発明のプログラムは、コンピュータに、本発明の音楽情報生成方法を実行させるためのものである。

この構成により、音声を発した話者の感情をその感情を表現する音楽から認識することができる。

また、本発明の情報処理端末は、前記音情報を入力する音情報入力部を備え、前記感情検出部が、前記音情報入力部により入力した前記音情報から、当該音情報に含まれる音声を発した発話者の感情を検出する、ものを含む。

また、本発明の情報処理端末は、通信部を備え、前記音情報入力部が、前記通信部を利用した音声通話により通話先の電話装置から得られる音情報を入力する、ものを含む。

この構成により、同一の端末で、音声の入力と、その音声を発話した発話者の感情の特定と、を行うことができるため、利用者の利便性が高まる。

また、本発明の情報処理端末は、収音する収音部を備え、前記音情報入力部が、前記収音部により収音した音情報を入力する、ものを含む。

また、本発明の情報処理端末は、前記文字情報を入力する文字情報入力部を備え、前記感情検出部が、前記文字情報入力部により入力した前記文字情報から、当該文字情報により構成される文章を作成した作成者の感情を検出する、ものを含む。

この構成によれば、通話相手および通話者本人が他方に発話する音情報から、音声を発した話者の感情をその感情を表現する音楽から認識することができる。

また、本発明の情報処理端末は、通信部を備え、前記文字情報入力部が、前記通信部により受信した電子メールに情報として含まれる文字情報を入力する、ものを含む。

また、本発明の情報処理端末は、操作部を備え、前記文字情報入力部が、前記操作部により受け付けた文字入力操作に対応する文字情報を入力する、ものを含む。

この構成によれば、電子メールに記載されたメールタイトルやメール本文からそのメールを作成した作成者の感情を特定することができる。

また、本発明の情報処理端末は、前記画像情報を入力する画像情報入力部を備え、前記感情検出部が、前記画像情報入力部により入力した前記画像情報から、当該画像情報を再生した画像に写される被撮影者の感情を検出する、ものを含む。

また、本発明の情報処理端末は、撮影部を備え、前記画像情報入力部が、前記撮影部により撮影した画像を入力する、ものを含む。

また、本発明の情報処理端末は、通信部を備え、前記画像情報入力部が、前記通信部により受信した画像情報を入力する、ものを含む。

この構成によれば、画像からその画像に写っている被撮影者の感情を特定することにより、画像の新たな用途を提案することができる。

また、本発明の情報処理端末は、前記感情検出部が、複数の感情特定用情報毎に、当該感情特定用情報に含まれる感情をそれぞれ検出する、ものを含む。

この構成により、音情報を入力すればその都度、その音情報に含まれる音声を発した話者の感情を特定することができる。

また、本発明の情報処理端末は、前記感情特定用情報に含まれる感情を発露した発露者を特定する発話者特定部と、前記発話者特定部により特定した前記発露者と、前記感情検出部により検出した感情と、を各感情特定用情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記発露者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

本発明の音楽情報生成方法は、感情を特定可能な情報を含む感情特定用情報から少なくとも２つ検出される、当該感情特定用情報に含まれる感情と、当該感情を発露した発露者と、を各感情特定用情報毎に関連付け、前記発露者に関連付けた少なくとも２つの前記感情それぞれに対応する音楽情報を取得し、取得した前記音楽情報を合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

また、本発明の音楽情報生成方法は、前記感情特定用情報を入力し、入力した前記感情特定用情報から、当該感情特定用情報に含まれる感情を検出する、ものを含む。

また、本発明の情報処理端末は、前記音情報に含まれる音声を発する前記発話者を特定する発話者特定部と、前記発話者特定部により特定した前記発話者と、前記感情検出部により検出した感情と、を各音情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記発話者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

また、本発明の情報処理端末は、通信部を備え、前記発話者特定部が、前記通信部を利用した音声通話を行う場合に通話先の電話装置から通知される通話者識別情報を利用して、前記音情報に含まれる音声を発する前記発話者を特定する、ものを含む。

また、本発明の情報処理端末は、前記関連付け部が、前記発話者特定部により特定した前記発話者と、前記感情検出部により検出した感情と、を各音声通話毎に関連付ける、ものを含む。

また、本発明の情報処理端末は、前記音楽合成部が、前記関連付け部により各音声通話毎に前記発話者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、当該音声通話が行われた時刻に基づいた順序に従って合成する、ものを含む。

本発明の音楽情報生成方法は、音声通話に利用される音情報を入力し、入力した音情報から少なくとも２つ検出される、当該音情報に含まれる音声を発した発話者の感情と、通話先の電話装置が通知する通話者識別情報を利用して特定される、前記音情報に含まれる音声を発する前記発話者と、を各音声通話毎に関連付け、各音声通話毎に前記発話者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、取得した前記音楽情報を前記音声通話が行われた時刻に基づいた順序に従って合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

また、本発明の情報処理端末は、前記文字情報により構成される文章を作成した前記作成者を特定する作成者特定部と、前記作成者特定部により特定した前記作成者と、前記感情検出部により検出した感情と、を各文字情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記作成者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

また、本発明の情報処理端末は、通信部を備え、前記作成者特定部が、前記通信部を利用して電子メールを受信する場合に電子メールの送信元から通知される送信元識別情報を利用して、前記文字情報により構成される文章を作成した前記作成者を特定する、ものを含む。

また、本発明の情報処理端末は、前記関連付け部が、前記作成者特定部により特定した前記作成者と、前記感情検出部により検出した感情と、を各電子メール毎に関連付ける、ものを含む。

また、本発明の情報処理端末は、前記音楽合成部が、前記関連付け部により各電子メール毎に前記作成者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、当該電子メールを受信した時刻に基づいた順序に従って合成する、ものを含む。

本発明の音楽情報生成方法は、電子メールに情報として含まれる文字情報を入力し、入力した文字情報から少なくとも２つ検出される、当該文字情報により構成される文章を作成した作成者の感情と、電子メールの送信元が通知する送信元識別情報を利用して特定される、前記文字情報により構成される文章を作成した前記作成者と、を各電子メール毎に関連付け、各電子メール毎に前記作成者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、取得した前記音楽情報を前記電子メールを受信した時刻に基づいた順序に従って合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

また、本発明の情報処理端末は、前記画像情報を再生した画像に写される前記被撮影者を特定する被撮影者特定部と、前記被撮影者特定部により特定した前記被撮影者と、前記感情検出部により検出した感情と、を各画像情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記被撮影者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

また、本発明の情報処理端末は、通信部を備え、前記被撮影者特定部が、前記通信部を利用して画像情報を受信する場合に送信元から通知される送信元識別情報を利用して、前記画像情報を再生した画像に写される前記被撮影者を特定する、ものを含む。

また、本発明の情報処理端末は、前記関連付け部が、前記被撮影者特定部により特定した前記被撮影者と、前記感情検出部により検出した感情と、を受信した画像情報毎に関連付ける、ものを含む。

また、本発明の情報処理端末は、前記音楽合成部が、前記関連付け部により前記画像情報毎に前記被撮影者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、前記画像情報を受信した時刻に基づいた順序に従って合成する、ものを含む。

また、本発明の音楽情報生成方法は、受信した画像情報を入力し、入力した画像情報から少なくとも２つ検出される、当該画像情報を再生した画像に写される被撮影者の感情と、前記画像情報の送信元が通知する送信元識別情報を利用して特定される、前記画像情報を再生した画像に写される前記被撮影者と、を受信した画像情報毎に関連付け、受信した各画像情報毎に前記被撮影者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、取得した前記音楽情報を前記画像情報を受信した時刻に基づいた順序に従って合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

この構成により、特定の発話者の感情のみを選択的に取捨選択して、その感情に対応する音楽を聴くことができる。

また、本発明の情報処理端末は、前記音楽出力部が、前記音楽合成部により生成した前記別の音楽情報を再生する、ものを含む。

この構成により、感情を特定する機能と、特定した感情に対応する音楽を再生する機能と、が同一の装置にあるため、装置利用者の利便性が向上する。

また、本発明の情報処理端末は、前記音楽出力部が、前記音楽合成部により生成した前記別の音楽情報を他の端末に送信する、ものを含む。

この構成により、感情を特定する機能を備えていない他の端末に、感情を特定する機能を備えた端末がその特定した感情に対応する音楽を送信することにより、その他の端末でもある感情に対応する音楽を聴くことができる。

また、本発明の情報処理端末は、前記音楽出力部が、前記音楽合成部により生成した前記別の音楽情報を記憶装置に出力して記憶させる、ものを含む。

この構成により、特定した感情に対応する音楽を何度でも聴くことができる。

本発明の情報処理端末、音楽情報生成方法およびプログラムによれば、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができる。

本発明の実施の形態の携帯電話による処理の音楽情報生成処理の概要 本発明の第１実施形態の携帯電話の機能ブロック図 音声波形と音声波形の各区間毎に特定される感情との関係を示す図 本発明の第１実施形態の携帯電話が記憶する感情についての情報の概念図 本発明の第１実施形態の携帯電話が記憶する音楽パーツの概念図 本発明の第１実施形態の携帯電話による音楽データ合成処理を説明するための楽譜の例 本発明の第１実施形態の携帯電話による感情推定処理の流れを表すフローチャート 本発明の第１実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャート 本発明の第２実施形態の携帯電話が記憶する感情についての情報の概念図 本発明の第２実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャート 本発明の第３実施形態の携帯電話が記憶する感情についての情報の概念図

符号の説明

２１ 無線部
２１１ ＲＦ回路
２１２ ベースバンド回路
２２ 制御部
２２１ ＣＰＵ
２２２ ＲＯＭ
２２３ ＲＡＭ
２２４ Ａ／Ｄ回路
２２５ Ｄ／Ａ回路
２２６ ＬＣＤコントローラ
２２７ 入出力制御回路
２３ 感情推定部
２３１ 感情推定回路
２３２ 感情履歴データベース
２４ 音楽データ生成部
２４１ 音楽データ生成回路
２４２ 音楽パーツデータベース
２５ スピーカ
２６ マイク
２７ 操作キー
２８ ＬＣＤ

以下、本発明の情報処理端末の一例として携帯電話を挙げて説明する。図１に、本発明の実施の形態の携帯電話による処理の音楽情報生成処理の概要を示す。図１では、利用者Ａ、Ｂ、Ｃがそれぞれ、携帯電話を利用しており、利用者Ａと利用者Ｂとの間では携帯電話による音声通話が、利用者Ｂと利用者Ｃとの間では携帯電話によるデータ通信が、それぞれ行われているものとする。

利用者Ａが利用する携帯電話は、利用者Ｂが利用する携帯電話との間での音声通話時に利用者Ｂが発話する音声から、利用者Ｂの感情を推定する。利用者Ａが利用する携帯電話は、具体的には、人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、喜び、悲しみ、驚き、嫌悪、怒り、恐れといった６因子のうちの少なくとも１つを利用者Ｂの感情として推定する。その後、利用者Ａが利用する携帯電話は、予め当該携帯電話が備えるメモリやＨＤＤ等の記憶装置に記憶された、上述の各因子毎に割り当てられた音楽データ（音楽データのデータ形式としては、ＭＩＤＩ形式が挙げられる）のうち、推定した利用者Ｂの感情に対応する音楽データを特定する。そして、利用者Ａが利用する携帯電話は、利用者Ｂとの音声通話時に利用者Ｂが抱いていた感情に対応する音楽を再生する操作を利用者Ａから受け付けると、特定した音楽データを再生することになる。

この構成により、利用者Ａは、音声通話時に利用者Ｂが抱いていた感情を音楽によって特定することができる。この結果、利用者Ａが利用する携帯電話は、会話の雰囲気を音楽で表現することにより、人と人との繋がりを音楽で表現するという新たなコミュニケーションを実現することができる。この音楽は、利用者Ａによってのみその音楽が生成された過程（つまり、音声通話の内容）を知られており、自身しか知らないという秘匿性はこの音楽に対する思い入れをますます強めることに繋がる。

一方、利用者Ｂが利用する携帯電話もまた、利用者Ａが利用する携帯電話と同様に、利用者Ａが利用する携帯電話との間での音声通話時に利用者Ａが発話する音声から、利用者Ａの感情を推定し、予め当該携帯電話が備える記憶装置に記憶された音楽データのうち、推定した利用者Ａの感情に対応する音楽データを特定し、特定した音楽データを再生する。さらに、利用者Ｂが利用する携帯電話は、利用者Ａが利用する携帯電話との間での音声通話時に利用者Ｂ自身が発話する音声から、利用者Ｂ自身の感情を推定し、その後、利用者Ｂが利用する携帯電話は、予め当該携帯電話が備えるメモリやＨＤＤ等の記憶装置に記憶された、上述の各因子毎に割り当てられた音楽データのうち、推定した利用者Ｂ自身の感情に対応する音楽データを特定する。そして、利用者Ｂが利用する携帯電話は、利用者Ａとの音声通話時に利用者Ｂ自身が抱いていた感情に対応する音楽を再生する操作を利用者Ｂから受け付けると、特定した音楽データを再生することになる。

この構成により、利用者Ｂは、音声通話時に利用者Ｂ自身が抱いていた感情を音楽によって特定することができる。この結果、過去の会話の雰囲気を音楽で振り返ることにより、過去の音声通話において自身が通話相手に抱いていた感情を容易に思い起こすことができるようになる。

また、利用者Ｃが利用する携帯電話は、利用者Ｂが利用する携帯電話が特定した、利用者Ｂ自身の感情に対応する音楽データを、利用者Ｂが利用する携帯電話から何らかの情報伝達手段（例えば、無線通信機能、赤外線通信機能、または記憶媒体によるデータの受け渡し）によって取得する。この構成により、利用者Ｃは、ある音声通話において抱いた感情を他者にも知らせることを望む利用者Ｂから、利用者Ｂ自身の感情を表現する音楽データを取得することにより、利用者ＡとＢのコミュニケーションによって創られた音楽(楽曲)を楽しむ、つまり音楽自体を楽しむことができる。

ところで、人と人とのコミュニケーションは、その複数人の間で何度か意思の伝達がなされる。本発明の実施の形態の携帯電話の場合も、複数の利用者間、例えば図１では利用者Ａと利用者Ｂとの間で、複数回音声通話が行われることになる。利用者Ａおよび利用者Ｂが利用する携帯電話は、各音声通話毎に、利用者Ａあるいは利用者Ｂの感情を推定し、推定した利用者Ｂの感情に対応する音楽データを特定した後、特定した各音声通話毎の音楽データに関連を持たせずそれぞれ単独で再生しても、もちろん、人と人との繋がりを音楽で表現するという新たなコミュニケーションを実現することができる。以後、特定した各音声通話毎の音楽データに関連を持たせ、各音声通話毎の音楽データを連動して再生することにより、より一層効果的なコミュニケーションを促進することができる携帯電話について詳細に説明する。なお、以後、携帯電話を例に挙げて説明するが、これに限るものではない。音情報から発話者の感情を特定する機能と、様々な感情に対応する音楽データを記憶する機能と、音楽データを再生することができる機能と、を少なくとも備える情報処理端末が本発明の対象となり得る。

（第１実施形態）
図２に、本発明の第１実施形態の携帯電話の機能ブロック図を示す。本発明の第１実施形態の携帯電話は、無線部２１、制御部２２、感情推定部２３、音楽データ生成部２４、スピーカ２５、マイク２６、操作キー２７、ＬＣＤ２８を含んで構成される。

無線部２１は、ＲＦ回路２１１、ベースバンド回路２１２を含んで構成される。ＲＦ回路２１１は、携帯電話用の基地局から送信された所定の周波数帯の電波をアンテナを介して受信すると、その電波を復調し、復調した信号をベースバンド回路２１２に出力する。ベースバンド回路２１２は、入力した信号をデコードし、デコードして得られたデータを制御部２２に出力する。また、ベースバンド回路２１２は、制御部２２から他の情報処理端末に送信すべきデータを入力すると、そのデータをエンコードしてＲＦ回路２１１に出力する。ＲＦ回路２１１は、ベースバンド回路２１２から入力したデータによって、無線通信に利用する搬送波を変調した電波をアンテナから送信する。

制御部２２は、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、Ａ／Ｄ回路２２４、Ｄ／Ａ回路２２５、ＬＣＤコントローラ２２６、入出力回路２２７を含んで構成される。制御部２２は、ＬＣＤ２８への表示出力制御、操作キー２７により受け付けた操作の検出、スピーカ２５への音出力制御、マイク２６からの音入力制御、感情推定部２３への感情を推定するための音データの出力制御、音楽データ生成部２４からの音楽データの入力制御、等を行う。

制御部２２による具体的な処理を説明する。ＣＰＵ２２１は、ＲＯＭ２２２からプログラムやデータを読み取り、そのプログラムおよびデータに基づいてデータ処理を実行する。さらに、ＣＰＵ２２１は、操作キー２７からの操作入力を、制御部２２と他の機能部との間でのデータの送受信を管理する入出力制御回路２２７を介して受け付けた場合には、その操作入力を反映したデータ処理を実行し、処理中のデータをＲＡＭ２２３に記憶させる。ＣＰＵ２２１は、ＲＡＭ２２３に記憶された表示用データを用いてＬＣＤ２８に画像を表示させるようＬＣＤコントローラ２２６を制御し、また、プログラム処理した結果生じる音出力用データをＤ／Ａ回路２２５によってアナログ信号に変換させ、そのアナログ信号をスピーカ２５に出力させる。

また、ＣＰＵ２２１は、無線部２１から音データ（例えば、音声通話用の音データ）を入力すると、その音データをＤ／Ａ回路２２５によってアナログ信号に変換させ、そのアナログ信号をスピーカ２５に出力させる。さらにＣＰＵ２２１は、マイク２６から音に関する情報を含む電気信号を入力すると、その電気信号をＡ／Ｄ回路２２４によってデジタルデータである音データに変換させ、その音データを無線送信させるべく無線部２１に出力する。

さらに、ＣＰＵ２２１は、無線部２１から入力した音データ、あるいはマイク２６から入力した電気信号をＡ／Ｄ回路２２４によって変換した音データを感情推定部２３に出力して、感情推定部２３にその音データに含まれる発話者の音声からその発話者の感情を推定させる。また、ＣＰＵ２２１は、感情推定部２３から感情についての情報（喜び、悲しみ、驚き、嫌悪、怒り、恐れなどの感情を特定するための情報）を通知されると、その情報を音楽データ生成部２４に出力する。また、ＣＰＵ２２１は、音楽データ生成部２４から入力した音楽データをＤ／Ａ回路２２５によってアナログ信号に変換させ、そのアナログ信号をスピーカ２５に出力させる。

感情推定部２３は、感情推定回路２３１、感情履歴データベース２３２を含んで構成される。感情推定回路２３１は、制御部２２から音データを入力すると、その音データに含まれる音声から、その音声を発話した発話者の感情を特定し、その特定した感情を制御部２２に通知する。音データから感情を特定する手法の一例について、図３に示す音声波形と音声波形の各区間毎に特定される感情との関係を示す図を参照して説明する。再生し終えるまでに時間間隔Ｔかかる音データが図３に示す音声波形により音出力される場合、時間Ｔよりも時間間隔の短い時間間隔ｔによって音声波形を分割し、各時間間隔ｔ毎の音声波形と、喜び、悲しみ、驚き、嫌悪、怒り、恐れなどの感情を音声により発露したときに特徴となる音声波形のサンプルと、をマッチングさせて、時間間隔ｔのある期間の音声波形が音声波形のサンプルと類似度が高ければその期間の感情をそのサンプルが示す感情として特定する。図３では、時間間隔ｔである期間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５において、それぞれの期間の感情を「楽」、「楽」、「無」（「無」は感情ではなく、音声波形のサンプルにこの期間の音声波形に該当するものが無いことを示す）、「無」、「怒」と特定している。このようにして音声波形の各期間において感情を特定した後、最も特定された期間が多かった感情をその音声波形の代表的な感情として特定する。なお、本発明において、音データに含まれる音声から、その音声を発話した発話者の感情を特定する手法は、これに限るものではない。

また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と特定した感情についての情報を感情履歴データベース２３２に出力し、その時刻情報と対応させてその感情についての情報を記憶させる。なお、音声通話を開始した時点を表す時刻情報や、音声通話終了後に感情の特定を行う場合には音声通話を終了した時点を表す時刻情報を、制御部２２から入力する構成であっても構わない。図４に、本発明の第１実施形態の携帯電話が記憶する感情についての情報の概念図を示す。

音楽データ生成部２４は、音楽データ生成回路２４１、音楽パーツデータベース２４２を含んで構成される。音楽データ生成回路２４１は、音楽パーツデータベース２４２に記憶されている複数の音楽データ（そのデータ形式は、例えばＭＩＤＩ形式）から少なくとも２つの音楽データを読み取り、その読み取った音楽データを合成する。以下、音楽データ生成回路２４１による音楽データの合成処理、および音楽パーツデータベース２４２に記憶された音楽パーツについて説明する。まず、音楽パーツデータベース２４２に記憶された音楽パーツについて説明する。図５に、本発明の第１実施形態の携帯電話が記憶する音楽パーツの概念図を示す。

まず、音楽パーツとは、音楽データによって構成されるデータである。音楽パーツは、感情についての情報、例えば喜び、悲しみ、驚き、嫌悪、怒り、恐れ、のいずれかが属性として割り当てられており、その音楽パーツを構成する音楽データは、再生された時に音出力される音楽がその属性を聴者に連想させるデータ内容を持つ。音楽パーツデータベース２４２は、図４に示すように、複数の音楽パーツを記憶し、各音楽パーツは、音楽データｎ（ｎ＝１、２、・・・６）と属性ｎ（ｎ＝１．「喜び」、ｎ＝２．「悲しみ」、ｎ＝３．「驚き」、ｎ＝４．「嫌悪」、ｎ＝５．「怒り」、ｎ＝６．「恐れ」）とにより構成される。音楽パーツデータベース２４２は、音楽データ生成回路２４１から感情の情報を通知されると、その感情の情報に対応する属性が割り当てられた音楽データを音楽データ生成回路２４１に返す。なお、音楽データの音楽内容については、後述する音楽データ生成回路２４１による処理に関する記載の中で、説明している。

音楽データ生成回路２４１は、制御部２２から感情についての情報を通知されると、その感情についての情報が属性として割り当てられた音楽データを返すよう音楽パーツデータベース２４２に要求する。その後、音楽データ生成回路２４１は、音楽パーツデータベース２４２から音楽データを取得する。このとき、音楽データ生成回路２４１は、制御部２２から感情についての情報を１つ通知された場合には、その感情についての情報が属性として割り当てられた１つの音楽データを音楽パーツデータベース２４２から取得し、制御部２２にその１つの音楽データを出力する。一方、音楽データ生成回路２４１は、制御部２２から感情についての情報を２つ以上（例えば、喜びと驚きについての感情）を通知された場合には、その感情についての情報それぞれが属性として割り当てられた２つの音楽データを音楽パーツデータベース２４２から取得し、その２つの音楽データを合成した別の音楽データを生成し、その別の音楽データを制御部２２に出力する。以下、音楽データ生成回路２４１による２つの音楽データを合成する手法の一例を説明する。図６に、本発明の第１実施形態の携帯電話による音楽データ合成処理を説明するための楽譜の例を示す。

図６に示す（Ａ）から（Ｃ）の楽譜を比較すると、この楽譜を演奏したときに聴者が受ける印象はまったく異なるものである。しかし、これらの楽譜をフレーズ単位で比較すると、楽曲（Ａ）の第１小節は楽曲（Ｂ）の第２小節の一部と同様のフレーズＦＡとなっていおり、また、楽曲（Ｂ）の第１小節は楽曲（Ｃ）の第１小節および第２小節と同様のフレーズＦＣとなっている。このような点を鑑みると、聴者が受ける印象が全く異なる場合であっても、各楽曲の個々のフレーズをみると、共通するフレーズが複数の楽曲の中で利用されていることが多い。したがって、個々のフレーズを既存の楽曲から抽出し、そのフレーズを並べるようにすれば、新たな楽曲を生成することができる。例えば、フレーズＦＣと楽曲（Ａ）のフレーズＦＢをつなげると、新たな楽曲（Ｄ）が生成され、フレーズＦＡと休止符と楽曲（Ｃ）のフレーズＦＤをつなげると新たな楽曲（Ｅ）ができる。これらの楽曲（Ｄ）及び（Ｅ）は、ともに十分な音楽的完成度を持っているという具合である。この新たな楽曲生成手法を本発明の第１実施形態の携帯電話による音楽データ合成処理に適用する。

すなわち、楽曲（Ａ）におけるフレーズＦＢが感情「喜び」を表現する音楽データに、楽曲（Ｂ）におけるフレーズＦＣが感情「驚き」を表現する音楽データに、それぞれ対応している場合、音楽データ生成回路２４１は、制御部２２から感情「驚き」、「喜び」についての情報を通知されると、音楽パーツデータベース２４２から属性「驚き」フレーズＦＣの音楽データおよび属性「喜び」フレーズＦＢの音楽データを取得する。その後、音楽データ生成回路２４１は、１．フレーズＦＣの音楽データ、２．フレーズＦＢの音楽データの順に、フレーズＦＣの音楽データおよびフレーズＦＢの音楽データを繋げた新たな楽曲（Ｄ）についての音楽データを制御部２２に出力する。

以上のように説明した構成を備える、本発明の第１実施形態の携帯電話による感情推定処理の流れを説明する。図７に、本発明の第１実施形態の携帯電話による感情推定処理の流れを表すフローチャートを示す。なお、ここでは、音声通話により通話相手から送信される音情報から、通話相手の感情を特定する場合について記載している。携帯電話利用者本人の感情推定処理を行う場合も、感情推定処理を行うべき音情報の入力元が異なるだけで、如何に述べる処理と同様である。

携帯電話は、音声通話を開始すると、通話相手から送信される音声通話用の音データを利用して感情を推定する（ステップＳ７１）。このとき、携帯電話は、音声通話開始から音声通話終了までの期間中、感情の推定を継続しても良いし、一期間（例えば、音声通話開始を開始点とする所定の時間）のみ感情の推定を行うようにしてもよい。携帯電話は、その音データからある感情を特定すると、感情を特定した時点を表す時刻情報と伴にその感情を感情履歴データベース２３２に記憶する（ステップＳ７２）。携帯電話は、通話が終了すると、この音声通話に対する感情推定処理を終了する。その後、携帯電話は、別の音声通話を開始すると、同様の処理を繰り返す。

次に、本発明の第１実施形態の携帯電話による音楽データ再生処理の流れを説明する。図８に、本発明の第１実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャートを示す。携帯電話は、操作キー２７による操作によって、過去に行った音声通話によって通話相手が抱いていた感情を音出力する指示を受け付けると、感情履歴データベース２３２に記憶された、時刻情報と感情とを一組とするデータの個数を算出する（ステップＳ８０１）。携帯電話は、時刻情報と感情とを一組とするデータの個数が０であれば（ステップＳ８０２、ＮＯ）、感情推定された音声通話が無いことを携帯電話利用者に知らせるための画面をＬＣＤ２８に表示させる（ステップＳ８０３）。また、携帯電話は、時刻情報と感情とを一組とするデータの個数が１であれば（ステップＳ８０２、ＹＥＳ、かつ、ステップＳ８０４、ＮＯ）、感情履歴データベース２３２からその感情についての情報を取得し（ステップＳ８０５）、その感情についての情報が属性として割り当てられた音楽パーツを音楽パーツデータベース２４２から検索し（ステップＳ８０６）、検出した音楽パーツを構成する音楽データを再生する（ステップＳ８０７）。また、携帯電話は、時刻情報と感情とを一組とするデータの個数が２つ以上であれば（ステップＳ８０４、ＹＥＳ）、感情履歴データベース２３２からその感情についての情報をそれぞれ取得し（ステップＳ８０８）、その感情についての情報が属性として割り当てられた音楽パーツを音楽パーツデータベース２４２からそれぞれ検索し（ステップＳ８０９）、検出した音楽パーツを構成する音楽データ（時刻情報と感情とを一組とするデータの個数と同等の数の音楽データ）を合成して１つの音楽データを生成し（ステップＳ８１０）、その生成した音楽データを再生する（ステップＳ８１１）。なお、複数の音楽データを合成する場合、例えば「喜び」、「驚き」、「怒り」の属性が割り当てられた音楽パーツを構成する音楽データを合成する場合、各属性に対応する時刻情報に基づいてこれらの音楽データを昇順あるいは降順に並べて合成する。昇順に並び替えればより過去の感情を表す音楽が先に再生されることになり、降順に並び替えれば最新の感情を表す音楽が先に再生されることになる。

なお、各属性に対応する時刻情報に基づいて複数の音楽データを昇順あるいは降順に並べる規則の他に、時刻情報として記憶した通話時間（音声通話を開始した時点からその音声通話を終了した時点までの期間を指す。感情を特定する度に、感情履歴データベース２３２に通話時間を時刻情報として記憶しておくようにする）の長さの短長に応じて、複数の音楽データを並べる規則を用いてもよいし、時刻情報として記憶した通話した曜日（音声通話を開始した曜日を指す。感情を特定する度に、感情履歴データベース２３２に通話した曜日を時刻情報として記憶しておくようにする）に応じて、例えば月曜日から日曜日の順に、複数の音楽データを並び替える規則を用いてもよいし、さらに、これらの複数の音楽データを並べる規則を組み合わせても構わない。また、携帯電話利用者の操作によって、携帯電話利用者が任意にその複数の音楽データを並び替えるようにしてもよい。

また、携帯電話は、音楽パーツを構成する音楽データを再生する場合、その音楽パーツに割り当てられた各属性が特定された時刻情報の日付に応じて、その音楽データの曲調を変えて再生してもよい。例えば、時刻情報の日付が１２月２４日であればオルゴール調に曲調を変えるなどである。この構成により、過去の通話内容を音楽再生により思い出すことがさらに容易になる。

以上、本発明の実施の形態の携帯電話によれば、音声通話から通話相手の感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができ、さらに、少なくとも２度の音声通話を行った場合には、各通話音声における通話相手の感情を特定し、その特定した感情に好適な音楽を合成することによって新たな音楽データを生成、再生することによって、通話相手の一連の感情の変化を一息に認識することができる。また、様々な組合せの音楽データを新に生成することができるため、利用者個人のオリジナルの音声データを作成できるという娯楽性が向上するという側面も持つ。

なお、本発明の情報処理端末を説明するにあたり、携帯電話による音声通話によって得られる音情報を基に、その音情報に含まれる音声を発話した発話者の感情を特定するようにしたが、音情報を入力する手段は音声通話に限るものではなく、マイクにより収音した音情報や、記憶媒体に記憶した音情報などから入力するようにしても本発明を実現することは可能である。

（第２実施形態）
次に、本発明の第２実施形態の携帯電話について説明する。本発明の第１実施形態の携帯電話では、感情推定回路２３１により特定した感情についての情報を感情履歴データベース２３２に記録する際、その感情についての情報とその感情が特定された時刻を示す時刻情報とを記録するようにした。本発明の第２実施形態の携帯電話では、さらに、その感情を発露した発話者についての情報も感情履歴データベース２３２に記録する構成について説明する。なお、本発明の第２実施形態の携帯電話の構成は、制御部２２および感情推定部２３による処理に新たな処理が加わる点を除いて、第１実施形態で図２を参照して説明した構成と同様であるため、説明を省略する。

制御部２２のＣＰＵ２２１は、音声通話を開始するための処理として、無線部２１を介して基地局から送信されてくる通話先の電話番号を受信すると、ＲＡＭ２２３に記憶されている、近年の携帯電話が一機能として有する電話帳情報を参照して、その電話番号に該当する個人情報を特定し、その個人情報のうちの、通話相手を特定できる情報（例えば、氏名、所属グループ、住所など）を感情推定部２３に出力する。

感情推定回路２３１は、制御部２２から音データを入力すると、その音データに含まれる音声から、その音声を発話した発話者の感情を特定する（図７のステップＳ７１の処理）。また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と、特定した感情についての情報と、さらに制御部２２から入力した通話相手を特定できる情報を感情履歴データベース２３２に出力する。感情履歴データベース２３２は、通話相手を特定できる情報毎に、その時刻情報とその感情についての情報とにより構成される個人テーブルを生成、更新していく（図７のステップＳ７２の処理）。なお、音声通話を開始した時点を表す時刻情報や、音声通話終了後に感情の特定を行う場合には音声通話を終了した時点を表す時刻情報を、制御部２２から入力する構成であっても構わない。図９に、本発明の第２実施形態の携帯電話が記憶する感情についての情報の概念図を示す。図９では、通話相手を特定できる情報として、電話帳機能における個人情報を識別するために用いられる頻度が極めて高い氏名を記載している。氏名以外に所属グループ毎に、その時刻情報とその感情についての情報とにより構成されるグループテーブルを生成、更新してもよい。

以上のように説明した構成を備える、本発明の第２実施形態の携帯電話による処理の流れを説明する。図１０に、本発明の第２実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャートを示す。なお、本発明の第２実施形態の携帯電話による感情推定処理については、感情履歴データベース２３２に記録するデータ内容が異なる以外、第１実施形態で説明した感情推定処理と同様であるため、説明を省略する。また、図１０のフローチャートにおいて、図８のフローチャートと同様の参照符号を割り当てたフローは、第１実施形態で説明したとおりであるため、説明を省略する。

携帯電話は、操作キー２７による操作によって、過去に行った音声通話によって通話相手が抱いていた感情を音出力する指示、およびその通話相手を指定する操作を受け付けると、感情履歴データベース２３２に記憶された、個人テーブルを読み出し（ステップＳ１００１）、その個人テーブルにおける時刻情報と感情とを一組とするデータの個数を算出する（ステップＳ１００２）。以後の処理は、第１実施形態で説明したステップＳ８０３からステップＳ８１１の処理と同様である。

以上、本発明の第２実施形態の携帯電話によれば、音声通話を行ってその音声から感情を特定された通話相手のうちの特定の通話相手が、各通話で発露した感情に好適な音楽を合成することによって新たな音楽データを生成、再生することによって、特定の通話相手の一連の感情の変化を一息に認識することができる。

（第３実施形態）
次に、本発明の第３実施形態の携帯電話について説明する。本発明の第１、２実施形態の携帯電話では、感情履歴データベース２３２に記憶する感情についての情報は、感情推定回路２３１によって特定されたものであった。このため、感情推定回路２３１を備えていない携帯電話では、ある感情を表現した音楽を聞くことができないことになってしまう。本発明の第３実施形態の携帯電話では、感情推定回路２３１を備えていなくてもある感情を表現した音楽を聞くことができる携帯電話について説明する。なお、本発明の第３実施形態の携帯電話の構成は、制御部２２による処理に新たな処理が加わる点および感情推定回路２３１が不要である点を除いて、第１実施形態で図２を参照して説明した構成と同様であるため、説明を省略する。

本発明の第３実施形態の携帯電話は、本発明の第１、第２実施形態の携帯電話と通信を行い、本発明の第１、第２実施形態の携帯電話が感情履歴データベース２３２に記憶している時刻情報と感情についての情報を取得する。すなわち、本発明の第３実施形態の携帯電話において、ＣＰＵ２２１は、無線部２１を介して他の携帯電話から受信した時刻情報と感情についての情報を感情履歴データベース２３２に記憶する。この構成であれば、感情推定回路２３１を備えていなくてもある感情を表現した音楽を聞くことができる。また、他の携帯電話利用者が抱いた感情を共有することができるという側面もある。また、本発明の第３実施形態の携帯電話が感情推定部２３および音楽データ生成部２３すら備えていない場合には、本発明の第１、第２実施形態の携帯電話が合成した音楽データを取得し、その音楽データを再生するようにすればよい。なお、本発明の第３実施形態携帯電話による、他の携帯電話からの時刻情報と感情についての情報との取得方法は、これに限るものではなく、無線通信機能、赤外線通信機能、または記憶媒体によるデータの受け渡しなども考えられる。

さらに、ここまでの第３実施形態では、音情報に含まれる音声からその音声の発話者の感情を特定する感情推定回路２３１を備えていない携帯電話について記載したが、当該感情推定回路２３１を備える本発明の第１、第２実施形態の携帯電話が、上述のように他の携帯電話に感情履歴データベース２３２に記憶されている時刻情報と感情についての情報を取得する構成にすれば、本発明の第１、第２実施形態の携帯電話は以下のことを実現することができる。図１１に、本発明の第３実施形態の携帯電話が記憶する感情についての情報の概念図を示す。

すなわち、本発明の第１、第２実施形態の携帯電話は、他の携帯電話から、ある個人（この個人が他の携帯電話利用者と同一である場合も含む）における時刻情報と感情についての情報１１１（図１１において、各個人テーブルにおいて点線で囲まれた部分の情報を指す）を取得し、感情履歴データベース２３２に記録した後、自端末が備える感情推定回路２３１により同じ個人との通話によって特定したその個人が発露した感情と時刻情報と（図１１において、各個人テーブルにおいて実線で囲まれた部分の情報を指す）を、さらに感情履歴データベース２３２における同じ個人テーブルに記録する。この構成により、例えば、図１に示す利用者Ａと利用者Ｂの通話により利用者Ｂが利用する携帯電話によって特定してきた感情についての情報１１１を利用者Ｂが利用する携帯電話から一旦取得すると、利用者Ｃが利用する携帯電話は、その取得した感情についての情報１１１に利用者Ｂとの通話によって新に特定される感情についての情報１１２を結合させることによって、さらに別の音楽データを生成することができる。この結果、利用者に対して、音楽データを育てるというこれまでの携帯電話にはない娯楽性を新たに提供することができる。

以上、本発明の第３実施形態の携帯電話によれば、音情報に含まれる音声から、その音声の発話者の感情を特定する機能を有していない携帯電話であっても、ある感情を表現した音楽を聞くことができる。

なお、本発明の第１実施形態から第３実施形態の携帯電話では、過去に行った音声通話によって通話相手が抱いていた感情を音出力する指示を操作キー２７によって受け付ける度に、音楽データ生成部２４が音楽データを生成するように記載したが、一旦生成した音楽データを携帯電話が備える記憶装置に記憶させるようにしてもよい。このとき、音楽データの形式をＭＩＤＩにすることが好ましい。この構成により、複数回の音声通話を行って感情を特定していく過程で、ある時点までの感情によって生成された音楽データが携帯電話利用者にとって好ましいものであったが、それ時点以後の感情を含んで生成された音楽データが携帯電話利用者にとって好ましいものでは無かった場合、その時点までの感情によって生成された音楽データを一旦記憶しておけば、携帯電話利用者にとって好ましい音楽のみを残しておくことができる。また、ある時点までの感情によって生成された音楽データを一旦記憶した場合、その時点までの感情についての情報を感情履歴データベース２３２から削除するおうにしてもよい。

また、ある時点までの感情によって生成された音楽データを一旦記憶する場合、この音楽データの名称に、ある時点までの感情を特定できる文字列を入力するように構成してもよい。例えば、ある時点までの感情についての情報「喜び」、「驚き」、「怒り」（なお、この順序は昇順とする）が属性として割り当てられている場合、その名称には「2006/06/23＿喜驚怒.***」などと名称を設定する。なお、携帯電話利用者が名称を独自に設定してもよいし、電話帳に記録された個人情報から氏名、所属グループ名なども、その名称に設定してもよい。

また、本発明の第１実施形態から第３実施形態の携帯電話によって、音声通話が終了するたびに音楽データを生成し、その生成した音楽データを再生することによって、音声通話後にその会話の余韻を音楽で味わうようにしてもよい。また、通話履歴や電話帳を確認する際に、通話履歴に記載されている複数の通話相手や電話帳から選択したある個人とのこれまでの音声通話によって得られた感情から、音楽データを生成し、その生成した音楽データを再生することによって、最近の通話相手やある個人との過去の会話を容易に振り返ることができるようにしてもよい。なお、携帯電話がマナーモードに設定されているために、このように音楽データを再生することができない場合、音楽データを再生することができなかった旨をＬＣＤ２８に表示するようにしてもよい。

また、本発明の第１実施形態から第３実施形態の携帯電話によって生成された音楽データの用途としては、携帯電話の着信音やアラーム音、携帯電話用の充電器に携帯電話を配置したときの報知音などが考えられる。

また、本発明の第１実施形態から第３実施形態の携帯電話によって音楽データを生成する際、ある時点までの感情が多すぎて、音楽データを生成したときにその再生時間が長くなってしまう場合（データ量が多くなってしまう場合）、ある時点までの感情のうちの最も新しいもの（あるいは、最も古いもの）から所定の個数だけ利用して音楽データを生成するようにすることが好ましい。過去の会話を振り返るという点で若干効果が抑えられるが、ある時点までの感情からランダムに選んだ感情によて音楽データを生成するようにしてもよい。

また、本発明の第１実施形態から第３実施形態の携帯電話では、音情報から特定した、その音情報に含まれる音声の発話者の感情を音楽によって利用者に通知する構成としたが、これと併せて、その感情を好適に表現した画像をＬＣＤ２８に表示したり、その感情に合わせた色によってＬＥＤを点灯させたり、発話者の感情に応じて生成した音楽のリズムに合わせてＬＥＤを点滅させるようにしてもよい。

（第４実施形態）
本発明の第１実施形態から第３実施形態の携帯電話は、音情報（特に、音声通話時に入力する音情報）からその音情報に含まれる音声の発話者の感情を特定する構成について説明した。第４実施形態では、音情報とは異なる別の情報から、その別の情報を発した人物の感情を特定する携帯電話の構成例について説明する。

近年、文字や文章からその文字または文章を記載した人物の感情を推定する方法や、画像に含まれる顔画像からその顔が写された人物の感情を推定する方法が知られている。例えば、文字または文章を記載した人物の感情を推定する例としては、特定の記号や複数の記号によって１つのマークを形成する文字列（顔文字と称されることがある）などの文字情報の有無によってその記号やその文字列に関連付けられた感情をそれらを記載した人物の感情として推定したり、ある文章を構成する単語のうちの特定の単語の有無によってその単語に関連付けられた感情をその文章を記載した人物の感情として推定したり、する手法が知られている。なお、ある文章に、特定の記号や複数の記号によって１つのマークを形成する文字列が複数種類ある場合、またはその文章を構成する単語に特定の単語が複数種類含まれている場合には、推定されたそれぞれの感情から総合的にその文章を記載した人物の感情を推定するようにする（例えば、推定された回数が最も多い感情をその文章を記載した人物の代表的な感情とするなど）。

また、画像に含まれる顔画像からその顔が写された人物の感情を推定する例としては、画像（静止画像、動画像どちらであっても構わない）に含まれる顔の領域を抽出し、予め登録されている人間の各感情を表すテンプレート画像と抽出した顔の領域とをマッチングさせ、類似度の高いテンプレート画像に対応する感情をその顔によって表現される感情として推定する手法が挙げられる。また、別の例としては、動画像に含まれる顔の画像のうちの眉、目、口などの各部位について特徴点を設定し、複数の特徴点の位置の時間経過に伴う変化から感情を推定する手法が知られている。

本発明の第４実施形態の携帯電話は、文字データや動画像データなどのデータから、その文字データにより構成される文章を作成した人物の感情や動画像データにより再生される画像に含まれる人物の感情を推定する。その後の処理は、第１実施形態から第２実施形態の携帯電話と同様、予め当該携帯電話が備えるメモリやＨＤＤ等の記憶装置に記憶された、上述の感情毎に割り当てられた音楽データのうち、推定した感情に対応する音楽データを特定し、その感情に対応する音楽を再生する操作を携帯電話利用者から受け付けると、特定した音楽データを再生することになる。以下、本発明の第４実施形態の携帯電話における構成、および携帯電話による処理について説明する。なお、本発明の第４実施形態の携帯電話の構成は、制御部２２のＲＯＭ２２２やＲＡＭ２２３に新たなデータが記憶される点および感情推定部２３による感情推定処理が第１実施形態から第３実施形態と異なる点を除いて、第１実施形態で図２を参照して説明した構成と同様であるため、その他の各部の説明を省略する。まず、文字データからその文字データにより構成される文章を作成した人物の感情を推定する構成について説明する。

制御部２２は、ＲＯＭ２２２やＲＡＭ２２３に文字データを記憶する。文字データをＲＯＭ２２２やＲＡＭ２２３に記憶させる処理としては、操作キー２７による文字入力操作によって入力された文字データを記憶したり、無線部２１を介して受信した電子メールのメールタイトルやメール本文に記載されている文字データを記憶するなどの処理が考えられる。ＣＰＵ２２１は、ＲＯＭ２２２やＲＡＭ２２３に記憶された文字データを感情推定部２３に出力して、感情推定部２３にその文字データにより構成される文章を作成した人物の感情を推定させる。

感情推定部２３の感情推定回路２３１は、制御部２２から文字データを入力すると、その文字データに含まれる、特定の記号や複数の記号によって１つのマークを形成する文字列の有無によってその記号やその文字列に関連付けられた感情をそれらを記載した人物の感情として特定し、あるいは、ある文章を構成する単語のうちの特定の単語の有無によってその単語に関連付けられた感情をその文章を記載した人物の感情として特定し、その特定した感情を制御部２２に通知する。

また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と特定した感情についての情報を感情履歴データベース２３２に出力し、その時刻情報と対応させてその感情についての情報を記憶させる。なお、操作キー２７による一連の文字入力操作が完了した時点を表す時刻情報や、電子メールを受信した時点あるいは送信した時点を表す時刻情報を、制御部２２から入力する構成であっても構わない。さらに、電子メールに含まれる文章から感情を特定する場合には、第２実施形態で説明した処理と同様に、ＲＡＭ２２３に記憶されている、近年の携帯電話が一機能として有する電話帳情報を参照して、その電子メールの送信元の電子メールアドレスに該当する個人情報を特定し、その個人情報のうちの、電子メールの送信相手を特定できる情報（例えば、氏名、所属グループ、住所など）を感情推定部２３に出力するようにしてもよい。なお、本発明の第４実施形態の携帯電話による感情履歴データベース２３２に記憶させた後の処理は、第１実施形態において図８のフローチャートを参照して説明した通りである。

次に、画像データに含まれる顔画像からその顔が写された人物の感情を特定する構成について説明する。なお、ここで述べる画像データは、静止画像や動画像いずれであっても構わない。制御部２２は、ＲＯＭ２２２やＲＡＭ２２３に画像データを記憶する。画像データをＲＯＭ２２２やＲＡＭ２２３に記憶させる処理としては、近年の携帯電話に搭載されるカメラによって撮影された静止画像データや動画像データを記憶したり、無線部２１を介して受信した電子メールに添付された画像データを記憶したり、ＴＶ電話時に入力される動画像データを記憶するなどの処理が考えられる。ＣＰＵ２２１は、ＲＯＭ２２２やＲＡＭ２２３に記憶された画像データを感情推定部２３に出力して、感情推定部２３にその画像データに含まれる顔画像からその顔が写された人物の感情を推定させる。

感情推定部２３の感情推定回路２３１は、制御部２２から画像データを入力すると、画像に含まれる顔の領域を抽出し、予め登録されている人間の各感情を表すテンプレート画像と抽出した顔の領域とをマッチングさせ、類似度の高いテンプレート画像に対応する感情をその顔によって表現される感情として特定する、あるいは、動画像データに含まれる顔の画像のうちの眉、目、口などの各部位について特徴点を設定し、複数の特徴点の位置の時間経過に伴う変化から感情を特定し、その特定した感情を制御部２２に通知する。

また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と特定した感情についての情報を感情履歴データベース２３２に出力し、その時刻情報と対応させてその感情についての情報を記憶させる。なお、近年の携帯電話に搭載されるカメラによる一連の撮影が完了した時点を表す時刻情報や、画像データが添付された電子メールを受信した時点あるいは送信した時点を表す時刻情報や、画像データに含まれる、撮影した日時を表すインデックス情報を、制御部２２から入力する構成であっても構わない。さらに、電子メールに添付された画像データから感情を特定する場合には、第２実施形態で説明した処理と同様に、ＲＡＭ２２３に記憶されている、近年の携帯電話が一機能として有する電話帳情報を参照して、その電子メールの送信元の電子メールアドレスに該当する個人情報を特定し、その個人情報のうちの、電子メールの送信相手を特定できる情報（例えば、氏名、所属グループ、住所など）を感情推定部２３に出力するようにしてもよい。なお、本発明の第４実施形態の携帯電話による感情履歴データベース２３２に記憶させた後の処理は、第１実施形態において図８のフローチャートを参照して説明した通りである。

以上、本発明の第４実施形態の携帯電話によれば、感情を特定するために参照する情報が異なる、様々な感情特定処理を本発明に適用することができる結果、本発明の対象製品として、実施形態で説明した携帯電話に限らず、様々な電子機器を対象とすることができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、2006年9月8日出願の日本特許出願（特願2006−243863）に基づくものであり、その内容はここに参照として取り込まれる。

本発明の情報処理端末、音楽情報生成方法およびプログラムによれば、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができるという効果を奏し、音楽データ（音楽データのデータ形式としては、例えばＷＡＶ形式、ＭＩＤＩ形式、ＭＰ３形式などが挙げられる）によって構成される音楽情報を少なくとも２つ合成する情報処理端末の分野において有用である。

本発明は、音楽データ（音楽データのデータ形式としては、例えばＷＡＶ形式、ＭＩＤＩ形式、ＭＰ３形式などが挙げられる）によって構成される音楽情報を少なくとも２つ合成する情報処理端末、音楽情報生成方法、およびこの音楽情報生成方法をコンピュータに実行させるためのプログラムに関する。

人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、その人の感情を推定する技術が開示されている（特許文献１）。ある音声により推定される感情の主要因子としては、喜び、悲しみ、驚き、嫌悪、怒り、恐れといった６因子を用いることが多い。

また、特許文献２には、上述の人の感情を推定する技術を利用して、音声通話時の音声から感情を特定し、その特定した感情を一目で連想させる静止画像あるいは動画像をディスプレイに再生する情報処理端末が開示されている。

国際公開番号第００／６２２７９号パンフレット 特開２００６−１０６７１１号公報

近年、人の感情を音により表現する手法が広く利用されている。例えばテレビ放送では、テレビ放送を視聴している視聴者に対して、あるシーンを視聴した視聴者が抱くであろう感情に相応しい効果音をそのシーンがテレビ出力されるときに出力することによって、そのシーンを視聴した視聴者が所定の感情を抱き易いようになっている。また、音のみによって、その音により表現されている感情を人が認識する場合には、人によって認識する感情に若干のズレがあるものの、概ね共通の感情を認識する傾向にある。

本発明の目的は、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができる情報処理端末、音楽情報生成方法、およびプログラムを提供することである。

本発明は、感情を特定可能な情報を含む感情特定用情報から、当該感情特定用情報に含まれる感情を検出する感情検出部と、人間が表す感情に対応させた音楽情報を記憶する音楽記憶部と、前記音楽記憶部に記憶した少なくとも２つの前記音楽情報を合成して別の音楽情報を生成する音楽合成部と、音楽情報を出力する音楽出力部と、を備え、前記感情検出部が、前記感情特定用情報から、前記感情を少なくとも２つ検出し、前記音楽合成部が、前記感情検出部により検出した前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成し、前記音楽再生部が、前記音楽合成部により生成した前記別の音楽情報を出力する、情報処理端末を提供する。

また、上記情報処理端末は、前記感情特定用情報が、音情報であり、前記感情検出部が、前記音情報から、当該音情報に含まれる音声を発した発話者の感情を少なくとも２つ検出する、ものを含む。

また、上記情報処理端末は、前記感情特定用情報が、文字情報であり、前記感情検出部が、前記文字情報から、当該文字情報により構成される文章を作成した作成者の感情を少なくとも２つ検出する、ものを含む。

また、上記情報処理端末は、前記感情特定用情報が、画像情報であり、前記感情検出部が、前記画像情報から、当該画像情報を再生した画像に写される被撮影者の感情を少なくとも２つ検出する、ものを含む。

本発明は、感情を特定可能な情報を含む感情特定用情報から、当該感情特定用情報に含まれる感情を少なくとも２つ検出し、検出した前記感情それぞれに対応する音楽情報を取得し、取得した前記音楽情報を合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、音楽情報生成方法を提供する。

本発明は、コンピュータに、本発明の音楽情報生成方法を実行させるためのプログラムを提供する。

この構成により、音声を発した話者の感情をその感情を表現する音楽から認識することができる。

また、上記情報処理端末は、前記音情報を入力する音情報入力部を備え、前記感情検出部が、前記音情報入力部により入力した前記音情報から、当該音情報に含まれる音声を発した発話者の感情を検出する、ものを含む。

また、上記情報処理端末は、通信部を備え、前記音情報入力部が、前記通信部を利用した音声通話により通話先の電話装置から得られる音情報を入力する、ものを含む。

この構成により、同一の端末で、音声の入力と、その音声を発話した発話者の感情の特定と、を行うことができるため、利用者の利便性が高まる。

また、上記情報処理端末は、収音する収音部を備え、前記音情報入力部が、前記収音部により収音した音情報を入力する、ものを含む。

また、上記情報処理端末は、前記文字情報を入力する文字情報入力部を備え、前記感情検出部が、前記文字情報入力部により入力した前記文字情報から、当該文字情報により構成される文章を作成した作成者の感情を検出する、ものを含む。

この構成によれば、通話相手および通話者本人が他方に発話する音情報から、音声を発した話者の感情をその感情を表現する音楽から認識することができる。

また、上記情報処理端末は、通信部を備え、前記文字情報入力部が、前記通信部により受信した電子メールに情報として含まれる文字情報を入力する、ものを含む。

また、上記情報処理端末は、操作部を備え、前記文字情報入力部が、前記操作部により受け付けた文字入力操作に対応する文字情報を入力する、ものを含む。

この構成によれば、電子メールに記載されたメールタイトルやメール本文からそのメールを作成した作成者の感情を特定することができる。

また、上記情報処理端末は、前記画像情報を入力する画像情報入力部を備え、前記感情検出部が、前記画像情報入力部により入力した前記画像情報から、当該画像情報を再生した画像に写される被撮影者の感情を検出する、ものを含む。

また、上記情報処理端末は、撮影部を備え、前記画像情報入力部が、前記撮影部により撮影した画像を入力する、ものを含む。

また、上記情報処理端末は、通信部を備え、前記画像情報入力部が、前記通信部により受信した画像情報を入力する、ものを含む。

この構成によれば、画像からその画像に写っている被撮影者の感情を特定することにより、画像の新たな用途を提案することができる。

また、上記情報処理端末は、前記感情検出部が、複数の感情特定用情報毎に、当該感情特定用情報に含まれる感情をそれぞれ検出する、ものを含む。

この構成により、音情報を入力すればその都度、その音情報に含まれる音声を発した話者の感情を特定することができる。

また、上記情報処理端末は、前記感情特定用情報に含まれる感情を発露した発露者を特定する発話者特定部と、前記発話者特定部により特定した前記発露者と、前記感情検出部により検出した感情と、を各感情特定用情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記発露者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

本発明の音楽情報生成方法は、感情を特定可能な情報を含む感情特定用情報から少なくとも２つ検出される、当該感情特定用情報に含まれる感情と、当該感情を発露した発露者と、を各感情特定用情報毎に関連付け、前記発露者に関連付けた少なくとも２つの前記感情それぞれに対応する音楽情報を取得し、取得した前記音楽情報を合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

また、上記音楽情報生成方法は、前記感情特定用情報を入力し、入力した前記感情特定用情報から、当該感情特定用情報に含まれる感情を検出する、ものを含む。

また、上記情報処理端末は、前記音情報に含まれる音声を発する前記発話者を特定する発話者特定部と、前記発話者特定部により特定した前記発話者と、前記感情検出部により検出した感情と、を各音情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記発話者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

また、上記情報処理端末は、通信部を備え、前記発話者特定部が、前記通信部を利用した音声通話を行う場合に通話先の電話装置から通知される通話者識別情報を利用して、前記音情報に含まれる音声を発する前記発話者を特定する、ものを含む。

また、上記情報処理端末は、前記関連付け部が、前記発話者特定部により特定した前記発話者と、前記感情検出部により検出した感情と、を各音声通話毎に関連付ける、ものを含む。

また、上記情報処理端末は、前記音楽合成部が、前記関連付け部により各音声通話毎に前記発話者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、当該音声通話が行われた時刻に基づいた順序に従って合成する、ものを含む。

本発明の音楽情報生成方法は、音声通話に利用される音情報を入力し、入力した音情報から少なくとも２つ検出される、当該音情報に含まれる音声を発した発話者の感情と、通話先の電話装置が通知する通話者識別情報を利用して特定される、前記音情報に含まれる音声を発する前記発話者と、を各音声通話毎に関連付け、各音声通話毎に前記発話者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、取得した前記音楽情報を前記音声通話が行われた時刻に基づいた順序に従って合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

また、上記情報処理端末は、前記文字情報により構成される文章を作成した前記作成者を特定する作成者特定部と、前記作成者特定部により特定した前記作成者と、前記感情検出部により検出した感情と、を各文字情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記作成者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

また、上記情報処理端末は、通信部を備え、前記作成者特定部が、前記通信部を利用して電子メールを受信する場合に電子メールの送信元から通知される送信元識別情報を利用して、前記文字情報により構成される文章を作成した前記作成者を特定する、ものを含む。

また、上記情報処理端末は、前記関連付け部が、前記作成者特定部により特定した前記作成者と、前記感情検出部により検出した感情と、を各電子メール毎に関連付ける、ものを含む。

また、上記情報処理端末は、前記音楽合成部が、前記関連付け部により各電子メール毎に前記作成者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、当該電子メールを受信した時刻に基づいた順序に従って合成する、ものを含む。

本発明の音楽情報生成方法は、電子メールに情報として含まれる文字情報を入力し、入力した文字情報から少なくとも２つ検出される、当該文字情報により構成される文章を作成した作成者の感情と、電子メールの送信元が通知する送信元識別情報を利用して特定される、前記文字情報により構成される文章を作成した前記作成者と、を各電子メール毎に関連付け、各電子メール毎に前記作成者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、取得した前記音楽情報を前記電子メールを受信した時刻に基づいた順序に従って合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

また、上記情報処理端末は、前記画像情報を再生した画像に写される前記被撮影者を特定する被撮影者特定部と、前記被撮影者特定部により特定した前記被撮影者と、前記感情検出部により検出した感情と、を各画像情報毎に関連付ける関連付け部と、を備え、前記音楽合成部が、前記関連付け部により前記被撮影者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、ものを含む。

また、上記情報処理端末は、通信部を備え、前記被撮影者特定部が、前記通信部を利用して画像情報を受信する場合に送信元から通知される送信元識別情報を利用して、前記画像情報を再生した画像に写される前記被撮影者を特定する、ものを含む。

また、上記情報処理端末は、前記関連付け部が、前記被撮影者特定部により特定した前記被撮影者と、前記感情検出部により検出した感情と、を受信した画像情報毎に関連付ける、ものを含む。

また、上記情報処理端末は、前記音楽合成部が、前記関連付け部により前記画像情報毎に前記被撮影者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、前記画像情報を受信した時刻に基づいた順序に従って合成する、ものを含む。

また、本発明の音楽情報生成方法は、受信した画像情報を入力し、入力した画像情報から少なくとも２つ検出される、当該画像情報を再生した画像に写される被撮影者の感情と、前記画像情報の送信元が通知する送信元識別情報を利用して特定される、前記画像情報を再生した画像に写される前記被撮影者と、を受信した画像情報毎に関連付け、受信した各画像情報毎に前記被撮影者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、取得した前記音楽情報を前記画像情報を受信した時刻に基づいた順序に従って合成して別の音楽情報を生成し、生成した前記別の音楽情報を出力する、ものである。

この構成により、特定の発話者の感情のみを選択的に取捨選択して、その感情に対応する音楽を聴くことができる。

また、上記情報処理端末は、前記音楽出力部が、前記音楽合成部により生成した前記別の音楽情報を再生する、ものを含む。

この構成により、感情を特定する機能と、特定した感情に対応する音楽を再生する機能と、が同一の装置にあるため、装置利用者の利便性が向上する。

また、上記情報処理端末は、前記音楽出力部が、前記音楽合成部により生成した前記別の音楽情報を他の端末に送信する、ものを含む。

この構成により、感情を特定する機能を備えていない他の端末に、感情を特定する機能を備えた端末がその特定した感情に対応する音楽を送信することにより、その他の端末でもある感情に対応する音楽を聴くことができる。

また、上記情報処理端末は、前記音楽出力部が、前記音楽合成部により生成した前記別の音楽情報を記憶装置に出力して記憶させる、ものを含む。

この構成により、特定した感情に対応する音楽を何度でも聴くことができる。

本発明に係る情報処理端末、音楽情報生成方法およびプログラムによれば、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができる。

以下、本発明の情報処理端末の一例として携帯電話を挙げて説明する。図１に、本発明の実施の形態の携帯電話による処理の音楽情報生成処理の概要を示す。図１では、利用者Ａ、Ｂ、Ｃがそれぞれ、携帯電話を利用しており、利用者Ａと利用者Ｂとの間では携帯電話による音声通話が、利用者Ｂと利用者Ｃとの間では携帯電話によるデータ通信が、それぞれ行われているものとする。

利用者Ａが利用する携帯電話は、利用者Ｂが利用する携帯電話との間での音声通話時に利用者Ｂが発話する音声から、利用者Ｂの感情を推定する。利用者Ａが利用する携帯電話は、具体的には、人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、喜び、悲しみ、驚き、嫌悪、怒り、恐れといった６因子のうちの少なくとも１つを利用者Ｂの感情として推定する。その後、利用者Ａが利用する携帯電話は、予め当該携帯電話が備えるメモリやＨＤＤ等の記憶装置に記憶された、上述の各因子毎に割り当てられた音楽データ（音楽データのデータ形式としては、ＭＩＤＩ形式が挙げられる）のうち、推定した利用者Ｂの感情に対応する音楽データを特定する。そして、利用者Ａが利用する携帯電話は、利用者Ｂとの音声通話時に利用者Ｂが抱いていた感情に対応する音楽を再生する操作を利用者Ａから受け付けると、特定した音楽データを再生することになる。

この構成により、利用者Ａは、音声通話時に利用者Ｂが抱いていた感情を音楽によって特定することができる。この結果、利用者Ａが利用する携帯電話は、会話の雰囲気を音楽で表現することにより、人と人との繋がりを音楽で表現するという新たなコミュニケーションを実現することができる。この音楽は、利用者Ａによってのみその音楽が生成された過程（つまり、音声通話の内容）を知られており、自身しか知らないという秘匿性はこの音楽に対する思い入れをますます強めることに繋がる。

一方、利用者Ｂが利用する携帯電話もまた、利用者Ａが利用する携帯電話と同様に、利用者Ａが利用する携帯電話との間での音声通話時に利用者Ａが発話する音声から、利用者Ａの感情を推定し、予め当該携帯電話が備える記憶装置に記憶された音楽データのうち、推定した利用者Ａの感情に対応する音楽データを特定し、特定した音楽データを再生する。さらに、利用者Ｂが利用する携帯電話は、利用者Ａが利用する携帯電話との間での音声通話時に利用者Ｂ自身が発話する音声から、利用者Ｂ自身の感情を推定し、その後、利用者Ｂが利用する携帯電話は、予め当該携帯電話が備えるメモリやＨＤＤ等の記憶装置に記憶された、上述の各因子毎に割り当てられた音楽データのうち、推定した利用者Ｂ自身の感情に対応する音楽データを特定する。そして、利用者Ｂが利用する携帯電話は、利用者Ａとの音声通話時に利用者Ｂ自身が抱いていた感情に対応する音楽を再生する操作を利用者Ｂから受け付けると、特定した音楽データを再生することになる。

この構成により、利用者Ｂは、音声通話時に利用者Ｂ自身が抱いていた感情を音楽によって特定することができる。この結果、過去の会話の雰囲気を音楽で振り返ることにより、過去の音声通話において自身が通話相手に抱いていた感情を容易に思い起こすことができるようになる。

また、利用者Ｃが利用する携帯電話は、利用者Ｂが利用する携帯電話が特定した、利用者Ｂ自身の感情に対応する音楽データを、利用者Ｂが利用する携帯電話から何らかの情報伝達手段（例えば、無線通信機能、赤外線通信機能、または記憶媒体によるデータの受け渡し）によって取得する。この構成により、利用者Ｃは、ある音声通話において抱いた感情を他者にも知らせることを望む利用者Ｂから、利用者Ｂ自身の感情を表現する音楽データを取得することにより、利用者ＡとＢのコミュニケーションによって創られた音楽（楽曲）を楽しむ、つまり音楽自体を楽しむことができる。

ところで、人と人とのコミュニケーションは、その複数人の間で何度か意思の伝達がなされる。本発明の実施の形態の携帯電話の場合も、複数の利用者間、例えば図１では利用者Ａと利用者Ｂとの間で、複数回音声通話が行われることになる。利用者Ａおよび利用者Ｂが利用する携帯電話は、各音声通話毎に、利用者Ａあるいは利用者Ｂの感情を推定し、推定した利用者Ｂの感情に対応する音楽データを特定した後、特定した各音声通話毎の音楽データに関連を持たせずそれぞれ単独で再生しても、もちろん、人と人との繋がりを音楽で表現するという新たなコミュニケーションを実現することができる。以後、特定した各音声通話毎の音楽データに関連を持たせ、各音声通話毎の音楽データを連動して再生することにより、より一層効果的なコミュニケーションを促進することができる携帯電話について詳細に説明する。なお、以後、携帯電話を例に挙げて説明するが、これに限るものではない。音情報から発話者の感情を特定する機能と、様々な感情に対応する音楽データを記憶する機能と、音楽データを再生することができる機能と、を少なくとも備える情報処理端末が本発明の対象となり得る。

（第１実施形態）
図２に、本発明の第１実施形態の携帯電話の機能ブロック図を示す。本発明の第１実施形態の携帯電話は、無線部２１、制御部２２、感情推定部２３、音楽データ生成部２４、スピーカ２５、マイク２６、操作キー２７、ＬＣＤ２８を含んで構成される。

無線部２１は、ＲＦ回路２１１、ベースバンド回路２１２を含んで構成される。ＲＦ回路２１１は、携帯電話用の基地局から送信された所定の周波数帯の電波をアンテナを介して受信すると、その電波を復調し、復調した信号をベースバンド回路２１２に出力する。ベースバンド回路２１２は、入力した信号をデコードし、デコードして得られたデータを制御部２２に出力する。また、ベースバンド回路２１２は、制御部２２から他の情報処理端末に送信すべきデータを入力すると、そのデータをエンコードしてＲＦ回路２１１に出力する。ＲＦ回路２１１は、ベースバンド回路２１２から入力したデータによって、無線通信に利用する搬送波を変調した電波をアンテナから送信する。

制御部２２は、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、Ａ／Ｄ回路２２４、Ｄ／Ａ回路２２５、ＬＣＤコントローラ２２６、入出力回路２２７を含んで構成される。制御部２２は、ＬＣＤ２８への表示出力制御、操作キー２７により受け付けた操作の検出、スピーカ２５への音出力制御、マイク２６からの音入力制御、感情推定部２３への感情を推定するための音データの出力制御、音楽データ生成部２４からの音楽データの入力制御、等を行う。

制御部２２による具体的な処理を説明する。ＣＰＵ２２１は、ＲＯＭ２２２からプログラムやデータを読み取り、そのプログラムおよびデータに基づいてデータ処理を実行する。さらに、ＣＰＵ２２１は、操作キー２７からの操作入力を、制御部２２と他の機能部との間でのデータの送受信を管理する入出力制御回路２２７を介して受け付けた場合には、その操作入力を反映したデータ処理を実行し、処理中のデータをＲＡＭ２２３に記憶させる。ＣＰＵ２２１は、ＲＡＭ２２３に記憶された表示用データを用いてＬＣＤ２８に画像を表示させるようＬＣＤコントローラ２２６を制御し、また、プログラム処理した結果生じる音出力用データをＤ／Ａ回路２２５によってアナログ信号に変換させ、そのアナログ信号をスピーカ２５に出力させる。

また、ＣＰＵ２２１は、無線部２１から音データ（例えば、音声通話用の音データ）を入力すると、その音データをＤ／Ａ回路２２５によってアナログ信号に変換させ、そのアナログ信号をスピーカ２５に出力させる。さらにＣＰＵ２２１は、マイク２６から音に関する情報を含む電気信号を入力すると、その電気信号をＡ／Ｄ回路２２４によってデジタルデータである音データに変換させ、その音データを無線送信させるべく無線部２１に出力する。

さらに、ＣＰＵ２２１は、無線部２１から入力した音データ、あるいはマイク２６から入力した電気信号をＡ／Ｄ回路２２４によって変換した音データを感情推定部２３に出力して、感情推定部２３にその音データに含まれる発話者の音声からその発話者の感情を推定させる。また、ＣＰＵ２２１は、感情推定部２３から感情についての情報（喜び、悲しみ、驚き、嫌悪、怒り、恐れなどの感情を特定するための情報）を通知されると、その情報を音楽データ生成部２４に出力する。また、ＣＰＵ２２１は、音楽データ生成部２４から入力した音楽データをＤ／Ａ回路２２５によってアナログ信号に変換させ、そのアナログ信号をスピーカ２５に出力させる。

感情推定部２３は、感情推定回路２３１、感情履歴データベース２３２を含んで構成される。感情推定回路２３１は、制御部２２から音データを入力すると、その音データに含まれる音声から、その音声を発話した発話者の感情を特定し、その特定した感情を制御部２２に通知する。音データから感情を特定する手法の一例について、図３に示す音声波形と音声波形の各区間毎に特定される感情との関係を示す図を参照して説明する。再生し終えるまでに時間間隔Ｔかかる音データが図３に示す音声波形により音出力される場合、時間Ｔよりも時間間隔の短い時間間隔ｔによって音声波形を分割し、各時間間隔ｔ毎の音声波形と、喜び、悲しみ、驚き、嫌悪、怒り、恐れなどの感情を音声により発露したときに特徴となる音声波形のサンプルと、をマッチングさせて、時間間隔ｔのある期間の音声波形が音声波形のサンプルと類似度が高ければその期間の感情をそのサンプルが示す感情として特定する。図３では、時間間隔ｔである期間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５において、それぞれの期間の感情を「楽」、「楽」、「無」（「無」は感情ではなく、音声波形のサンプルにこの期間の音声波形に該当するものが無いことを示す）、「無」、「怒」と特定している。このようにして音声波形の各期間において感情を特定した後、最も特定された期間が多かった感情をその音声波形の代表的な感情として特定する。なお、本発明において、音データに含まれる音声から、その音声を発話した発話者の感情を特定する手法は、これに限るものではない。

また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と特定した感情についての情報を感情履歴データベース２３２に出力し、その時刻情報と対応させてその感情についての情報を記憶させる。なお、音声通話を開始した時点を表す時刻情報や、音声通話終了後に感情の特定を行う場合には音声通話を終了した時点を表す時刻情報を、制御部２２から入力する構成であっても構わない。図４に、本発明の第１実施形態の携帯電話が記憶する感情についての情報の概念図を示す。

音楽データ生成部２４は、音楽データ生成回路２４１、音楽パーツデータベース２４２を含んで構成される。音楽データ生成回路２４１は、音楽パーツデータベース２４２に記憶されている複数の音楽データ（そのデータ形式は、例えばＭＩＤＩ形式）から少なくとも２つの音楽データを読み取り、その読み取った音楽データを合成する。以下、音楽データ生成回路２４１による音楽データの合成処理、および音楽パーツデータベース２４２に記憶された音楽パーツについて説明する。まず、音楽パーツデータベース２４２に記憶された音楽パーツについて説明する。図５に、本発明の第１実施形態の携帯電話が記憶する音楽パーツの概念図を示す。

まず、音楽パーツとは、音楽データによって構成されるデータである。音楽パーツは、感情についての情報、例えば喜び、悲しみ、驚き、嫌悪、怒り、恐れ、のいずれかが属性として割り当てられており、その音楽パーツを構成する音楽データは、再生された時に音出力される音楽がその属性を聴者に連想させるデータ内容を持つ。音楽パーツデータベース２４２は、図４に示すように、複数の音楽パーツを記憶し、各音楽パーツは、音楽データｎ（ｎ＝１、２、・・・６）と属性ｎ（ｎ＝１．「喜び」、ｎ＝２．「悲しみ」、ｎ＝３．「驚き」、ｎ＝４．「嫌悪」、ｎ＝５．「怒り」、ｎ＝６．「恐れ」）とにより構成される。音楽パーツデータベース２４２は、音楽データ生成回路２４１から感情の情報を通知されると、その感情の情報に対応する属性が割り当てられた音楽データを音楽データ生成回路２４１に返す。なお、音楽データの音楽内容については、後述する音楽データ生成回路２４１による処理に関する記載の中で、説明している。

音楽データ生成回路２４１は、制御部２２から感情についての情報を通知されると、その感情についての情報が属性として割り当てられた音楽データを返すよう音楽パーツデータベース２４２に要求する。その後、音楽データ生成回路２４１は、音楽パーツデータベース２４２から音楽データを取得する。このとき、音楽データ生成回路２４１は、制御部２２から感情についての情報を１つ通知された場合には、その感情についての情報が属性として割り当てられた１つの音楽データを音楽パーツデータベース２４２から取得し、制御部２２にその１つの音楽データを出力する。一方、音楽データ生成回路２４１は、制御部２２から感情についての情報を２つ以上（例えば、喜びと驚きについての感情）を通知された場合には、その感情についての情報それぞれが属性として割り当てられた２つの音楽データを音楽パーツデータベース２４２から取得し、その２つの音楽データを合成した別の音楽データを生成し、その別の音楽データを制御部２２に出力する。以下、音楽データ生成回路２４１による２つの音楽データを合成する手法の一例を説明する。図６に、本発明の第１実施形態の携帯電話による音楽データ合成処理を説明するための楽譜の例を示す。

図６に示す（Ａ）から（Ｃ）の楽譜を比較すると、この楽譜を演奏したときに聴者が受ける印象はまったく異なるものである。しかし、これらの楽譜をフレーズ単位で比較すると、楽曲（Ａ）の第１小節は楽曲（Ｂ）の第２小節の一部と同様のフレーズＦＡとなっていおり、また、楽曲（Ｂ）の第１小節は楽曲（Ｃ）の第１小節および第２小節と同様のフレーズＦＣとなっている。このような点を鑑みると、聴者が受ける印象が全く異なる場合であっても、各楽曲の個々のフレーズをみると、共通するフレーズが複数の楽曲の中で利用されていることが多い。したがって、個々のフレーズを既存の楽曲から抽出し、そのフレーズを並べるようにすれば、新たな楽曲を生成することができる。例えば、フレーズＦＣと楽曲（Ａ）のフレーズＦＢをつなげると、新たな楽曲（Ｄ）が生成され、フレーズＦＡと休止符と楽曲（Ｃ）のフレーズＦＤをつなげると新たな楽曲（Ｅ）ができる。これらの楽曲（Ｄ）及び（Ｅ）は、ともに十分な音楽的完成度を持っているという具合である。この新たな楽曲生成手法を本発明の第１実施形態の携帯電話による音楽データ合成処理に適用する。

すなわち、楽曲（Ａ）におけるフレーズＦＢが感情「喜び」を表現する音楽データに、楽曲（Ｂ）におけるフレーズＦＣが感情「驚き」を表現する音楽データに、それぞれ対応している場合、音楽データ生成回路２４１は、制御部２２から感情「驚き」、「喜び」についての情報を通知されると、音楽パーツデータベース２４２から属性「驚き」フレーズＦＣの音楽データおよび属性「喜び」フレーズＦＢの音楽データを取得する。その後、音楽データ生成回路２４１は、１．フレーズＦＣの音楽データ、２．フレーズＦＢの音楽データの順に、フレーズＦＣの音楽データおよびフレーズＦＢの音楽データを繋げた新たな楽曲（Ｄ）についての音楽データを制御部２２に出力する。

以上のように説明した構成を備える、本発明の第１実施形態の携帯電話による感情推定処理の流れを説明する。図７に、本発明の第１実施形態の携帯電話による感情推定処理の流れを表すフローチャートを示す。なお、ここでは、音声通話により通話相手から送信される音情報から、通話相手の感情を特定する場合について記載している。携帯電話利用者本人の感情推定処理を行う場合も、感情推定処理を行うべき音情報の入力元が異なるだけで、如何に述べる処理と同様である。

携帯電話は、音声通話を開始すると、通話相手から送信される音声通話用の音データを利用して感情を推定する（ステップＳ７１）。このとき、携帯電話は、音声通話開始から音声通話終了までの期間中、感情の推定を継続しても良いし、一期間（例えば、音声通話開始を開始点とする所定の時間）のみ感情の推定を行うようにしてもよい。携帯電話は、その音データからある感情を特定すると、感情を特定した時点を表す時刻情報と伴にその感情を感情履歴データベース２３２に記憶する（ステップＳ７２）。携帯電話は、通話が終了すると、この音声通話に対する感情推定処理を終了する。その後、携帯電話は、別の音声通話を開始すると、同様の処理を繰り返す。

次に、本発明の第１実施形態の携帯電話による音楽データ再生処理の流れを説明する。図８に、本発明の第１実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャートを示す。携帯電話は、操作キー２７による操作によって、過去に行った音声通話によって通話相手が抱いていた感情を音出力する指示を受け付けると、感情履歴データベース２３２に記憶された、時刻情報と感情とを一組とするデータの個数を算出する（ステップＳ８０１）。携帯電話は、時刻情報と感情とを一組とするデータの個数が０であれば（ステップＳ８０２、ＮＯ）、感情推定された音声通話が無いことを携帯電話利用者に知らせるための画面をＬＣＤ２８に表示させる（ステップＳ８０３）。また、携帯電話は、時刻情報と感情とを一組とするデータの個数が１であれば（ステップＳ８０２、ＹＥＳ、かつ、ステップＳ８０４、ＮＯ）、感情履歴データベース２３２からその感情についての情報を取得し（ステップＳ８０５）、その感情についての情報が属性として割り当てられた音楽パーツを音楽パーツデータベース２４２から検索し（ステップＳ８０６）、検出した音楽パーツを構成する音楽データを再生する（ステップＳ８０７）。また、携帯電話は、時刻情報と感情とを一組とするデータの個数が２つ以上であれば（ステップＳ８０４、ＹＥＳ）、感情履歴データベース２３２からその感情についての情報をそれぞれ取得し（ステップＳ８０８）、その感情についての情報が属性として割り当てられた音楽パーツを音楽パーツデータベース２４２からそれぞれ検索し（ステップＳ８０９）、検出した音楽パーツを構成する音楽データ（時刻情報と感情とを一組とするデータの個数と同等の数の音楽データ）を合成して１つの音楽データを生成し（ステップＳ８１０）、その生成した音楽データを再生する（ステップＳ８１１）。なお、複数の音楽データを合成する場合、例えば「喜び」、「驚き」、「怒り」の属性が割り当てられた音楽パーツを構成する音楽データを合成する場合、各属性に対応する時刻情報に基づいてこれらの音楽データを昇順あるいは降順に並べて合成する。昇順に並び替えればより過去の感情を表す音楽が先に再生されることになり、降順に並び替えれば最新の感情を表す音楽が先に再生されることになる。

なお、各属性に対応する時刻情報に基づいて複数の音楽データを昇順あるいは降順に並べる規則の他に、時刻情報として記憶した通話時間（音声通話を開始した時点からその音声通話を終了した時点までの期間を指す。感情を特定する度に、感情履歴データベース２３２に通話時間を時刻情報として記憶しておくようにする）の長さの短長に応じて、複数の音楽データを並べる規則を用いてもよいし、時刻情報として記憶した通話した曜日（音声通話を開始した曜日を指す。感情を特定する度に、感情履歴データベース２３２に通話した曜日を時刻情報として記憶しておくようにする）に応じて、例えば月曜日から日曜日の順に、複数の音楽データを並び替える規則を用いてもよいし、さらに、これらの複数の音楽データを並べる規則を組み合わせても構わない。また、携帯電話利用者の操作によって、携帯電話利用者が任意にその複数の音楽データを並び替えるようにしてもよい。

また、携帯電話は、音楽パーツを構成する音楽データを再生する場合、その音楽パーツに割り当てられた各属性が特定された時刻情報の日付に応じて、その音楽データの曲調を変えて再生してもよい。例えば、時刻情報の日付が１２月２４日であればオルゴール調に曲調を変えるなどである。この構成により、過去の通話内容を音楽再生により思い出すことがさらに容易になる。

以上、本発明の実施の形態の携帯電話によれば、音声通話から通話相手の感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができ、さらに、少なくとも２度の音声通話を行った場合には、各通話音声における通話相手の感情を特定し、その特定した感情に好適な音楽を合成することによって新たな音楽データを生成、再生することによって、通話相手の一連の感情の変化を一息に認識することができる。また、様々な組合せの音楽データを新に生成することができるため、利用者個人のオリジナルの音声データを作成できるという娯楽性が向上するという側面も持つ。

なお、本発明の情報処理端末を説明するにあたり、携帯電話による音声通話によって得られる音情報を基に、その音情報に含まれる音声を発話した発話者の感情を特定するようにしたが、音情報を入力する手段は音声通話に限るものではなく、マイクにより収音した音情報や、記憶媒体に記憶した音情報などから入力するようにしても本発明を実現することは可能である。

（第２実施形態）
次に、本発明の第２実施形態の携帯電話について説明する。本発明の第１実施形態の携帯電話では、感情推定回路２３１により特定した感情についての情報を感情履歴データベース２３２に記録する際、その感情についての情報とその感情が特定された時刻を示す時刻情報とを記録するようにした。本発明の第２実施形態の携帯電話では、さらに、その感情を発露した発話者についての情報も感情履歴データベース２３２に記録する構成について説明する。なお、本発明の第２実施形態の携帯電話の構成は、制御部２２および感情推定部２３による処理に新たな処理が加わる点を除いて、第１実施形態で図２を参照して説明した構成と同様であるため、説明を省略する。

制御部２２のＣＰＵ２２１は、音声通話を開始するための処理として、無線部２１を介して基地局から送信されてくる通話先の電話番号を受信すると、ＲＡＭ２２３に記憶されている、近年の携帯電話が一機能として有する電話帳情報を参照して、その電話番号に該当する個人情報を特定し、その個人情報のうちの、通話相手を特定できる情報（例えば、氏名、所属グループ、住所など）を感情推定部２３に出力する。

感情推定回路２３１は、制御部２２から音データを入力すると、その音データに含まれる音声から、その音声を発話した発話者の感情を特定する（図７のステップＳ７１の処理）。また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と、特定した感情についての情報と、さらに制御部２２から入力した通話相手を特定できる情報を感情履歴データベース２３２に出力する。感情履歴データベース２３２は、通話相手を特定できる情報毎に、その時刻情報とその感情についての情報とにより構成される個人テーブルを生成、更新していく（図７のステップＳ７２の処理）。なお、音声通話を開始した時点を表す時刻情報や、音声通話終了後に感情の特定を行う場合には音声通話を終了した時点を表す時刻情報を、制御部２２から入力する構成であっても構わない。図９に、本発明の第２実施形態の携帯電話が記憶する感情についての情報の概念図を示す。図９では、通話相手を特定できる情報として、電話帳機能における個人情報を識別するために用いられる頻度が極めて高い氏名を記載している。氏名以外に所属グループ毎に、その時刻情報とその感情についての情報とにより構成されるグループテーブルを生成、更新してもよい。

以上のように説明した構成を備える、本発明の第２実施形態の携帯電話による処理の流れを説明する。図１０に、本発明の第２実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャートを示す。なお、本発明の第２実施形態の携帯電話による感情推定処理については、感情履歴データベース２３２に記録するデータ内容が異なる以外、第１実施形態で説明した感情推定処理と同様であるため、説明を省略する。また、図１０のフローチャートにおいて、図８のフローチャートと同様の参照符号を割り当てたフローは、第１実施形態で説明したとおりであるため、説明を省略する。

携帯電話は、操作キー２７による操作によって、過去に行った音声通話によって通話相手が抱いていた感情を音出力する指示、およびその通話相手を指定する操作を受け付けると、感情履歴データベース２３２に記憶された、個人テーブルを読み出し（ステップＳ１００１）、その個人テーブルにおける時刻情報と感情とを一組とするデータの個数を算出する（ステップＳ１００２）。以後の処理は、第１実施形態で説明したステップＳ８０３からステップＳ８１１の処理と同様である。

以上、本発明の第２実施形態の携帯電話によれば、音声通話を行ってその音声から感情を特定された通話相手のうちの特定の通話相手が、各通話で発露した感情に好適な音楽を合成することによって新たな音楽データを生成、再生することによって、特定の通話相手の一連の感情の変化を一息に認識することができる。

（第３実施形態）
次に、本発明の第３実施形態の携帯電話について説明する。本発明の第１、２実施形態の携帯電話では、感情履歴データベース２３２に記憶する感情についての情報は、感情推定回路２３１によって特定されたものであった。このため、感情推定回路２３１を備えていない携帯電話では、ある感情を表現した音楽を聞くことができないことになってしまう。本発明の第３実施形態の携帯電話では、感情推定回路２３１を備えていなくてもある感情を表現した音楽を聞くことができる携帯電話について説明する。なお、本発明の第３実施形態の携帯電話の構成は、制御部２２による処理に新たな処理が加わる点および感情推定回路２３１が不要である点を除いて、第１実施形態で図２を参照して説明した構成と同様であるため、説明を省略する。

本発明の第３実施形態の携帯電話は、本発明の第１、第２実施形態の携帯電話と通信を行い、本発明の第１、第２実施形態の携帯電話が感情履歴データベース２３２に記憶している時刻情報と感情についての情報を取得する。すなわち、本発明の第３実施形態の携帯電話において、ＣＰＵ２２１は、無線部２１を介して他の携帯電話から受信した時刻情報と感情についての情報を感情履歴データベース２３２に記憶する。この構成であれば、感情推定回路２３１を備えていなくてもある感情を表現した音楽を聞くことができる。また、他の携帯電話利用者が抱いた感情を共有することができるという側面もある。また、本発明の第３実施形態の携帯電話が感情推定部２３および音楽データ生成部２３すら備えていない場合には、本発明の第１、第２実施形態の携帯電話が合成した音楽データを取得し、その音楽データを再生するようにすればよい。なお、本発明の第３実施形態携帯電話による、他の携帯電話からの時刻情報と感情についての情報との取得方法は、これに限るものではなく、無線通信機能、赤外線通信機能、または記憶媒体によるデータの受け渡しなども考えられる。

さらに、ここまでの第３実施形態では、音情報に含まれる音声からその音声の発話者の感情を特定する感情推定回路２３１を備えていない携帯電話について記載したが、当該感情推定回路２３１を備える本発明の第１、第２実施形態の携帯電話が、上述のように他の携帯電話に感情履歴データベース２３２に記憶されている時刻情報と感情についての情報を取得する構成にすれば、本発明の第１、第２実施形態の携帯電話は以下のことを実現することができる。図１１に、本発明の第３実施形態の携帯電話が記憶する感情についての情報の概念図を示す。

すなわち、本発明の第１、第２実施形態の携帯電話は、他の携帯電話から、ある個人（この個人が他の携帯電話利用者と同一である場合も含む）における時刻情報と感情についての情報１１１（図１１において、各個人テーブルにおいて点線で囲まれた部分の情報を指す）を取得し、感情履歴データベース２３２に記録した後、自端末が備える感情推定回路２３１により同じ個人との通話によって特定したその個人が発露した感情と時刻情報と（図１１において、各個人テーブルにおいて実線で囲まれた部分の情報を指す）を、さらに感情履歴データベース２３２における同じ個人テーブルに記録する。この構成により、例えば、図１に示す利用者Ａと利用者Ｂの通話により利用者Ｂが利用する携帯電話によって特定してきた感情についての情報１１１を利用者Ｂが利用する携帯電話から一旦取得すると、利用者Ｃが利用する携帯電話は、その取得した感情についての情報１１１に利用者Ｂとの通話によって新に特定される感情についての情報１１２を結合させることによって、さらに別の音楽データを生成することができる。この結果、利用者に対して、音楽データを育てるというこれまでの携帯電話にはない娯楽性を新たに提供することができる。

以上、本発明の第３実施形態の携帯電話によれば、音情報に含まれる音声から、その音声の発話者の感情を特定する機能を有していない携帯電話であっても、ある感情を表現した音楽を聞くことができる。

なお、本発明の第１実施形態から第３実施形態の携帯電話では、過去に行った音声通話によって通話相手が抱いていた感情を音出力する指示を操作キー２７によって受け付ける度に、音楽データ生成部２４が音楽データを生成するように記載したが、一旦生成した音楽データを携帯電話が備える記憶装置に記憶させるようにしてもよい。このとき、音楽データの形式をＭＩＤＩにすることが好ましい。この構成により、複数回の音声通話を行って感情を特定していく過程で、ある時点までの感情によって生成された音楽データが携帯電話利用者にとって好ましいものであったが、それ時点以後の感情を含んで生成された音楽データが携帯電話利用者にとって好ましいものでは無かった場合、その時点までの感情によって生成された音楽データを一旦記憶しておけば、携帯電話利用者にとって好ましい音楽のみを残しておくことができる。また、ある時点までの感情によって生成された音楽データを一旦記憶した場合、その時点までの感情についての情報を感情履歴データベース２３２から削除するようにしてもよい。

また、ある時点までの感情によって生成された音楽データを一旦記憶する場合、この音楽データの名称に、ある時点までの感情を特定できる文字列を入力するように構成してもよい。例えば、ある時点までの感情についての情報「喜び」、「驚き」、「怒り」（なお、この順序は昇順とする）が属性として割り当てられている場合、その名称には「２００６／０６／２３＿喜驚怒．＊＊＊」などと名称を設定する。なお、携帯電話利用者が名称を独自に設定してもよいし、電話帳に記録された個人情報から氏名、所属グループ名なども、その名称に設定してもよい。

また、本発明の第１実施形態から第３実施形態の携帯電話によって、音声通話が終了するたびに音楽データを生成し、その生成した音楽データを再生することによって、音声通話後にその会話の余韻を音楽で味わうようにしてもよい。また、通話履歴や電話帳を確認する際に、通話履歴に記載されている複数の通話相手や電話帳から選択したある個人とのこれまでの音声通話によって得られた感情から、音楽データを生成し、その生成した音楽データを再生することによって、最近の通話相手やある個人との過去の会話を容易に振り返ることができるようにしてもよい。なお、携帯電話がマナーモードに設定されているために、このように音楽データを再生することができない場合、音楽データを再生することができなかった旨をＬＣＤ２８に表示するようにしてもよい。

また、本発明の第１実施形態から第３実施形態の携帯電話によって生成された音楽データの用途としては、携帯電話の着信音やアラーム音、携帯電話用の充電器に携帯電話を配置したときの報知音などが考えられる。

また、本発明の第１実施形態から第３実施形態の携帯電話によって音楽データを生成する際、ある時点までの感情が多すぎて、音楽データを生成したときにその再生時間が長くなってしまう場合（データ量が多くなってしまう場合）、ある時点までの感情のうちの最も新しいもの（あるいは、最も古いもの）から所定の個数だけ利用して音楽データを生成するようにすることが好ましい。過去の会話を振り返るという点で若干効果が抑えられるが、ある時点までの感情からランダムに選んだ感情によて音楽データを生成するようにしてもよい。

また、本発明の第１実施形態から第３実施形態の携帯電話では、音情報から特定した、その音情報に含まれる音声の発話者の感情を音楽によって利用者に通知する構成としたが、これと併せて、その感情を好適に表現した画像をＬＣＤ２８に表示したり、その感情に合わせた色によってＬＥＤを点灯させたり、発話者の感情に応じて生成した音楽のリズムに合わせてＬＥＤを点滅させるようにしてもよい。

（第４実施形態）
本発明の第１実施形態から第３実施形態の携帯電話は、音情報（特に、音声通話時に入力する音情報）からその音情報に含まれる音声の発話者の感情を特定する構成について説明した。第４実施形態では、音情報とは異なる別の情報から、その別の情報を発した人物の感情を特定する携帯電話の構成例について説明する。

近年、文字や文章からその文字または文章を記載した人物の感情を推定する方法や、画像に含まれる顔画像からその顔が写された人物の感情を推定する方法が知られている。例えば、文字または文章を記載した人物の感情を推定する例としては、特定の記号や複数の記号によって１つのマークを形成する文字列（顔文字と称されることがある）などの文字情報の有無によってその記号やその文字列に関連付けられた感情をそれらを記載した人物の感情として推定したり、ある文章を構成する単語のうちの特定の単語の有無によってその単語に関連付けられた感情をその文章を記載した人物の感情として推定したり、する手法が知られている。なお、ある文章に、特定の記号や複数の記号によって１つのマークを形成する文字列が複数種類ある場合、またはその文章を構成する単語に特定の単語が複数種類含まれている場合には、推定されたそれぞれの感情から総合的にその文章を記載した人物の感情を推定するようにする（例えば、推定された回数が最も多い感情をその文章を記載した人物の代表的な感情とするなど）。

また、画像に含まれる顔画像からその顔が写された人物の感情を推定する例としては、画像（静止画像、動画像どちらであっても構わない）に含まれる顔の領域を抽出し、予め登録されている人間の各感情を表すテンプレート画像と抽出した顔の領域とをマッチングさせ、類似度の高いテンプレート画像に対応する感情をその顔によって表現される感情として推定する手法が挙げられる。また、別の例としては、動画像に含まれる顔の画像のうちの眉、目、口などの各部位について特徴点を設定し、複数の特徴点の位置の時間経過に伴う変化から感情を推定する手法が知られている。

本発明の第４実施形態の携帯電話は、文字データや動画像データなどのデータから、その文字データにより構成される文章を作成した人物の感情や動画像データにより再生される画像に含まれる人物の感情を推定する。その後の処理は、第１実施形態から第２実施形態の携帯電話と同様、予め当該携帯電話が備えるメモリやＨＤＤ等の記憶装置に記憶された、上述の感情毎に割り当てられた音楽データのうち、推定した感情に対応する音楽データを特定し、その感情に対応する音楽を再生する操作を携帯電話利用者から受け付けると、特定した音楽データを再生することになる。以下、本発明の第４実施形態の携帯電話における構成、および携帯電話による処理について説明する。なお、本発明の第４実施形態の携帯電話の構成は、制御部２２のＲＯＭ２２２やＲＡＭ２２３に新たなデータが記憶される点および感情推定部２３による感情推定処理が第１実施形態から第３実施形態と異なる点を除いて、第１実施形態で図２を参照して説明した構成と同様であるため、その他の各部の説明を省略する。まず、文字データからその文字データにより構成される文章を作成した人物の感情を推定する構成について説明する。

制御部２２は、ＲＯＭ２２２やＲＡＭ２２３に文字データを記憶する。文字データをＲＯＭ２２２やＲＡＭ２２３に記憶させる処理としては、操作キー２７による文字入力操作によって入力された文字データを記憶したり、無線部２１を介して受信した電子メールのメールタイトルやメール本文に記載されている文字データを記憶するなどの処理が考えられる。ＣＰＵ２２１は、ＲＯＭ２２２やＲＡＭ２２３に記憶された文字データを感情推定部２３に出力して、感情推定部２３にその文字データにより構成される文章を作成した人物の感情を推定させる。

感情推定部２３の感情推定回路２３１は、制御部２２から文字データを入力すると、その文字データに含まれる、特定の記号や複数の記号によって１つのマークを形成する文字列の有無によってその記号やその文字列に関連付けられた感情をそれらを記載した人物の感情として特定し、あるいは、ある文章を構成する単語のうちの特定の単語の有無によってその単語に関連付けられた感情をその文章を記載した人物の感情として特定し、その特定した感情を制御部２２に通知する。

また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と特定した感情についての情報を感情履歴データベース２３２に出力し、その時刻情報と対応させてその感情についての情報を記憶させる。なお、操作キー２７による一連の文字入力操作が完了した時点を表す時刻情報や、電子メールを受信した時点あるいは送信した時点を表す時刻情報を、制御部２２から入力する構成であっても構わない。さらに、電子メールに含まれる文章から感情を特定する場合には、第２実施形態で説明した処理と同様に、ＲＡＭ２２３に記憶されている、近年の携帯電話が一機能として有する電話帳情報を参照して、その電子メールの送信元の電子メールアドレスに該当する個人情報を特定し、その個人情報のうちの、電子メールの送信相手を特定できる情報（例えば、氏名、所属グループ、住所など）を感情推定部２３に出力するようにしてもよい。なお、本発明の第４実施形態の携帯電話による感情履歴データベース２３２に記憶させた後の処理は、第１実施形態において図８のフローチャートを参照して説明した通りである。

次に、画像データに含まれる顔画像からその顔が写された人物の感情を特定する構成について説明する。なお、ここで述べる画像データは、静止画像や動画像いずれであっても構わない。制御部２２は、ＲＯＭ２２２やＲＡＭ２２３に画像データを記憶する。画像データをＲＯＭ２２２やＲＡＭ２２３に記憶させる処理としては、近年の携帯電話に搭載されるカメラによって撮影された静止画像データや動画像データを記憶したり、無線部２１を介して受信した電子メールに添付された画像データを記憶したり、ＴＶ電話時に入力される動画像データを記憶するなどの処理が考えられる。ＣＰＵ２２１は、ＲＯＭ２２２やＲＡＭ２２３に記憶された画像データを感情推定部２３に出力して、感情推定部２３にその画像データに含まれる顔画像からその顔が写された人物の感情を推定させる。

感情推定部２３の感情推定回路２３１は、制御部２２から画像データを入力すると、画像に含まれる顔の領域を抽出し、予め登録されている人間の各感情を表すテンプレート画像と抽出した顔の領域とをマッチングさせ、類似度の高いテンプレート画像に対応する感情をその顔によって表現される感情として特定する、あるいは、動画像データに含まれる顔の画像のうちの眉、目、口などの各部位について特徴点を設定し、複数の特徴点の位置の時間経過に伴う変化から感情を特定し、その特定した感情を制御部２２に通知する。

また、感情推定回路２３１は、感情を特定するたびにタイマ（図示せず）を参照して時刻情報を取得し、その時刻情報と特定した感情についての情報を感情履歴データベース２３２に出力し、その時刻情報と対応させてその感情についての情報を記憶させる。なお、近年の携帯電話に搭載されるカメラによる一連の撮影が完了した時点を表す時刻情報や、画像データが添付された電子メールを受信した時点あるいは送信した時点を表す時刻情報や、画像データに含まれる、撮影した日時を表すインデックス情報を、制御部２２から入力する構成であっても構わない。さらに、電子メールに添付された画像データから感情を特定する場合には、第２実施形態で説明した処理と同様に、ＲＡＭ２２３に記憶されている、近年の携帯電話が一機能として有する電話帳情報を参照して、その電子メールの送信元の電子メールアドレスに該当する個人情報を特定し、その個人情報のうちの、電子メールの送信相手を特定できる情報（例えば、氏名、所属グループ、住所など）を感情推定部２３に出力するようにしてもよい。なお、本発明の第４実施形態の携帯電話による感情履歴データベース２３２に記憶させた後の処理は、第１実施形態において図８のフローチャートを参照して説明した通りである。

以上、本発明の第４実施形態の携帯電話によれば、感情を特定するために参照する情報が異なる、様々な感情特定処理を本発明に適用することができる結果、本発明の対象製品として、実施形態で説明した携帯電話に限らず、様々な電子機器を対象とすることができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、２００６年９月８日出願の日本特許出願（特願２００６−２４３８６３）に基づくものであり、その内容はここに参照として取り込まれる。

本発明に係る情報処理端末、音楽情報生成方法およびプログラムによれば、音声から感情を特定し、その特定した感情に好適な音楽を音出力することによって、その音声を発した話者の感情を容易に認識することができるという効果を奏し、音楽データ（音楽データのデータ形式としては、例えばＷＡＶ形式、ＭＩＤＩ形式、ＭＰ３形式などが挙げられる）によって構成される音楽情報を少なくとも２つ合成する情報処理端末の分野において有用である。

本発明の実施の形態の携帯電話による処理の音楽情報生成処理の概要 本発明の第１実施形態の携帯電話の機能ブロック図 音声波形と音声波形の各区間毎に特定される感情との関係を示す図 本発明の第１実施形態の携帯電話が記憶する感情についての情報の概念図 本発明の第１実施形態の携帯電話が記憶する音楽パーツの概念図 本発明の第１実施形態の携帯電話による音楽データ合成処理を説明するための楽譜の例 本発明の第１実施形態の携帯電話による感情推定処理の流れを表すフローチャート 本発明の第１実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャート 本発明の第２実施形態の携帯電話が記憶する感情についての情報の概念図 本発明の第２実施形態の携帯電話による音楽データ再生処理の流れを表すフローチャート 本発明の第３実施形態の携帯電話が記憶する感情についての情報の概念図

２１ 無線部
２１１ ＲＦ回路
２１２ ベースバンド回路
２２ 制御部
２２１ ＣＰＵ
２２２ ＲＯＭ
２２３ ＲＡＭ
２２４ Ａ／Ｄ回路
２２５ Ｄ／Ａ回路
２２６ ＬＣＤコントローラ
２２７ 入出力制御回路
２３ 感情推定部
２３１ 感情推定回路
２３２ 感情履歴データベース
２４ 音楽データ生成部
２４１ 音楽データ生成回路
２４２ 音楽パーツデータベース
２５ スピーカ
２６ マイク
２７ 操作キー
２８ ＬＣＤ

Claims (37)

1. 感情を特定可能な情報を含む感情特定用情報から、当該感情特定用情報に含まれる感情を検出する感情検出部と、
   人間が表す感情に対応させた音楽情報を記憶する音楽記憶部と、
   前記音楽記憶部に記憶した少なくとも２つの前記音楽情報を合成して別の音楽情報を生成する音楽合成部と、
   音楽情報を出力する音楽出力部と、
   を備え、
   前記感情検出部は、前記感情特定用情報から、前記感情を少なくとも２つ検出し、
   前記音楽合成部は、前記感情検出部により検出した前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成し、
   前記音楽再生部は、前記音楽合成部により生成した前記別の音楽情報を出力する、
   情報処理端末。
2. 請求項１記載の情報処理端末であって、
   前記感情特定用情報は、音情報であり、
   前記感情検出部は、前記音情報から、当該音情報に含まれる音声を発した発話者の感情を少なくとも２つ検出する、
   情報処理端末。
3. 請求項１記載の情報処理端末であって、
   前記感情特定用情報は、文字情報であり、
   前記感情検出部は、前記文字情報から、当該文字情報により構成される文章を作成した作成者の感情を少なくとも２つ検出する、
   情報処理端末。
4. 請求項１記載の情報処理端末であって、
   前記感情特定用情報は、画像情報であり、
   前記感情検出部は、前記画像情報から、当該画像情報を再生した画像に写される被撮影者の感情を少なくとも２つ検出する、
   情報処理端末。
5. 請求項２記載の情報処理端末であって、
   前記音情報を入力する音情報入力部を備え、
   前記感情検出部は、前記音情報入力部により入力した前記音情報から、当該音情報に含まれる音声を発した発話者の感情を検出する、
   情報処理端末。
6. 請求項５記載の情報処理端末であって、
   通信部を備え、
   前記音情報入力部は、前記通信部を利用した音声通話により通話先の電話装置から得られる音情報を入力する、
   情報処理端末。
7. 請求項５記載の情報処理端末であって、
   収音する収音部を備え、
   前記音情報入力部は、前記収音部により収音した音情報を入力する、
   情報処理端末。
8. 請求項３記載の情報処理端末であって、
   前記文字情報を入力する文字情報入力部を備え、
   前記感情検出部は、前記文字情報入力部により入力した前記文字情報から、当該文字情報により構成される文章を作成した作成者の感情を検出する、
   情報処理端末。
9. 請求項８記載の情報処理端末であって、
   通信部を備え、
   前記文字情報入力部は、前記通信部により受信した電子メールに情報として含まれる文字情報を入力する、
   情報処理端末。
10. 請求項８記載の情報処理端末であって、
    操作部を備え、
    前記文字情報入力部は、前記操作部により受け付けた文字入力操作に対応する文字情報を入力する、
    情報処理端末。
11. 請求項４記載の情報処理端末であって、
    前記画像情報を入力する画像情報入力部を備え、
    前記感情検出部は、前記画像情報入力部により入力した前記画像情報から、当該画像情報を再生した画像に写される被撮影者の感情を検出する、
    情報処理端末。
12. 請求項１１記載の情報処理端末であって、
    撮影部を備え、
    前記画像情報入力部は、前記撮影部により撮影した画像を入力する、
    情報処理端末。
13. 請求項１１記載の情報処理端末であって、
    通信部を備え、
    前記画像情報入力部は、前記通信部により受信した画像情報を入力する、
    情報処理端末。
14. 請求項１から１３のいずれか１項に記載の情報処理端末であって、
    前記感情検出部は、複数の感情特定用情報毎に、当該感情特定用情報に含まれる感情をそれぞれ検出する、
    情報処理端末。
15. 請求項１から１４のいずれか１項に記載の情報処理端末であって、
    前記感情特定用情報に含まれる感情を発露した発露者を特定する発話者特定部と、
    前記発話者特定部により特定した前記発露者と、前記感情検出部により検出した感情と、を各感情特定用情報毎に関連付ける関連付け部と、
    を備え、
    前記音楽合成部は、前記関連付け部により前記発露者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、
    情報処理端末。
16. 請求項５から７のいずれか１項に記載の情報処理端末であって、
    前記音情報に含まれる音声を発する前記発話者を特定する発話者特定部と、
    前記発話者特定部により特定した前記発話者と、前記感情検出部により検出した感情と、を各音情報毎に関連付ける関連付け部と、
    を備え、
    前記音楽合成部は、前記関連付け部により前記発話者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、
    情報処理端末。
17. 請求項１６記載の情報処理端末であって、
    通信部を備え、
    前記発話者特定部は、前記通信部を利用した音声通話を行う場合に通話先の電話装置から通知される通話者識別情報を利用して、前記音情報に含まれる音声を発する前記発話者を特定する、
    情報処理端末。
18. 請求項１７記載の情報処理端末であって、
    前記関連付け部は、前記発話者特定部により特定した前記発話者と、前記感情検出部により検出した感情と、を各音声通話毎に関連付ける、
    情報処理端末。
19. 請求項１８記載の情報処理端末であって、
    前記音楽合成部は、前記関連付け部により各音声通話毎に前記発話者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、当該音声通話が行われた時刻に基づいた順序に従って合成する、
    情報処理端末。
20. 請求項８から１０のいずれか１項に記載の情報処理端末であって、
    前記文字情報により構成される文章を作成した前記作成者を特定する作成者特定部と、 前記作成者特定部により特定した前記作成者と、前記感情検出部により検出した感情と、を各文字情報毎に関連付ける関連付け部と、
    を備え、
    前記音楽合成部は、前記関連付け部により前記作成者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、
    情報処理端末。
21. 請求項２０記載の情報処理端末であって、
    通信部を備え、
    前記作成者特定部は、前記通信部を利用して電子メールを受信する場合に電子メールの送信元から通知される送信元識別情報を利用して、前記文字情報により構成される文章を作成した前記作成者を特定する、情報処理端末。
22. 請求項２１記載の情報処理端末であって、
    前記関連付け部は、前記作成者特定部により特定した前記作成者と、前記感情検出部により検出した感情と、を各電子メール毎に関連付ける、
    情報処理端末。
23. 請求項２２記載の情報処理端末であって、
    前記音楽合成部は、前記関連付け部により各電子メール毎に前記作成者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、当該電子メールを受信した時刻に基づいた順序に従って合成する、
    情報処理端末。
24. 請求項１１から１３のいずれか１項に記載の情報処理端末であって、
    前記画像情報を再生した画像に写される前記被撮影者を特定する被撮影者特定部と、
    前記被撮影者特定部により特定した前記被撮影者と、前記感情検出部により検出した感情と、を各画像情報毎に関連付ける関連付け部と、
    を備え、
    前記音楽合成部は、前記関連付け部により前記被撮影者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を合成する、
    情報処理端末。
25. 請求項２４記載の情報処理端末であって、
    通信部を備え、
    前記被撮影者特定部は、前記通信部を利用して画像情報を受信する場合に送信元から通知される送信元識別情報を利用して、前記画像情報を再生した画像に写される前記被撮影者を特定する、
    情報処理端末。
26. 請求項２５記載の情報処理端末であって、
    前記関連付け部は、前記被撮影者特定部により特定した前記被撮影者と、前記感情検出部により検出した感情と、を受信した画像情報毎に関連付ける、
    情報処理端末。
27. 請求項２６記載の情報処理端末であって、
    前記音楽合成部は、前記関連付け部により前記画像情報毎に前記被撮影者に関連付けた少なくとも２つの前記感情に対応する、前記音楽記憶部に記憶した前記音楽情報を、前記画像情報を受信した時刻に基づいた順序に従って合成する、
    情報処理端末。
28. 請求項１から２７のいずれか１項に記載の情報処理端末であって、
    前記音楽出力部は、前記音楽合成部により生成した前記別の音楽情報を再生する、
    情報処理端末。
29. 請求項１から２７のいずれか１項に記載の情報処理端末であって、
    前記音楽出力部は、前記音楽合成部により生成した前記別の音楽情報を他の端末に送信する、
    情報処理端末。
30. 請求項１から２７のいずれか１項に記載の情報処理端末であって、
    前記音楽出力部は、前記音楽合成部により生成した前記別の音楽情報を記憶装置に出力して記憶させる、
    情報処理端末。
31. 感情を特定可能な情報を含む感情特定用情報から、当該感情特定用情報に含まれる感情を少なくとも２つ検出し、
    検出した前記感情それぞれに対応する音楽情報を取得し、
    取得した前記音楽情報を合成して別の音楽情報を生成し、
    生成した前記別の音楽情報を出力する、
    音楽情報生成方法。
32. 感情を特定可能な情報を含む感情特定用情報から少なくとも２つ検出される、当該感情特定用情報に含まれる感情と、当該感情を発露した発露者と、を各感情特定用情報毎に関連付け、
    前記発露者に関連付けた少なくとも２つの前記感情それぞれに対応する音楽情報を取得し、
    取得した前記音楽情報を合成して別の音楽情報を生成し、
    生成した前記別の音楽情報を出力する、
    音楽情報生成方法。
33. 請求項３１または３２記載の音楽情報生成方法であって、
    前記感情特定用情報を入力し、
    入力した前記感情特定用情報から、当該感情特定用情報に含まれる感情を検出する、
    音楽情報生成方法。
34. 音声通話に利用される音情報を入力し、
    入力した音情報から少なくとも２つ検出される、当該音情報に含まれる音声を発した発話者の感情と、通話先の電話装置が通知する通話者識別情報を利用して特定される、前記音情報に含まれる音声を発する前記発話者と、を各音声通話毎に関連付け、
    各音声通話毎に前記発話者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、
    取得した前記音楽情報を前記音声通話が行われた時刻に基づいた順序に従って合成して別の音楽情報を生成し、
    生成した前記別の音楽情報を出力する、
    音楽情報生成方法。
35. 電子メールに情報として含まれる文字情報を入力し、
    入力した文字情報から少なくとも２つ検出される、当該文字情報により構成される文章を作成した作成者の感情と、前記電子メールの送信元が通知する送信元識別情報を利用して特定される、前記文字情報により構成される文章を作成した前記作成者と、を各電子メール毎に関連付け、
    各電子メール毎に前記作成者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、
    取得した前記音楽情報を前記電子メールを受信した時刻に基づいた順序に従って合成して別の音楽情報を生成し、
    生成した前記別の音楽情報を出力する、
    音楽情報生成方法。
36. 受信した画像情報を入力し、
    入力した画像情報から少なくとも２つ検出される、当該画像情報を再生した画像に写される被撮影者の感情と、前記画像情報の送信元が通知する送信元識別情報を利用して特定される、前記画像情報を再生した画像に写される前記被撮影者と、を受信した画像情報毎に関連付け、
    受信した各画像情報毎に前記被撮影者に関連付けた少なくとも２つの前記感情に対応する前記音楽情報を取得し、
    取得した前記音楽情報を前記画像情報を受信した時刻に基づいた順序に従って合成して別の音楽情報を生成し、
    生成した前記別の音楽情報を出力する、
    音楽情報生成方法。
37. コンピュータに、請求項３１から３６のいずれか１項に記載の音楽情報生成方法を実行させるためのプログラム。

Images