WO2006067981A1

WO2006067981A1 - 電子メール送信端末および電子メールシステム

Info

Publication number: WO2006067981A1
Application number: PCT/JP2005/022677
Authority: WO
Inventors: Motoyasu Tanaka; Yusuke Nara
Original assignee: Megachips Corporation
Priority date: 2004-12-24
Filing date: 2005-12-09
Publication date: 2006-06-29
Also published as: KR101236496B1; KR20070091679A

Abstract

　本発明は、音声を利用した、より表現力豊かな電子メールシステムを提供することを目的とする。そして、上記目的を達成するために、マイク（１０１）より入力した音声は、ノイズゲート処理により録音データ要素Ｖ１、Ｖ２、Ｖ３に分解される。ＢＧＭデータ（マーカ付き楽曲データ、ＢＤ）には、小節ごとのタイミングマーカが設定されており、各録音要素データＶ１、Ｖ２、Ｖ３は、ＢＧＭデータ（ＢＤ）の各小節の先頭位置に合成される。また、効果音データ（ＥＤ）が、ユーザ指定操作に応じて任意のタイミングで合成される。このようにして生成された合成音声データは、たとえば、ＭＰ３などの圧縮形式で圧縮処理された後、音声電子メールとして送信される。

Description

明細書

電子メール送信端末および電子メールシステム

技術分野

[0001] 本発明は、電子メールのコンテンツ作成および送信技術に関する。

背景技術

[0002] 携帯電話端末を利用した電子メールは、時間と場所を選ぶことなく手軽にメッセ一ジ交換を行なうことができるというメリットがある。携帯電話端末を利用した電子メールでは、テキスト文字に加えて、表現力を高めることを目的とした絵文字などの利用が行なわれている。また昨今、携帯電話端末の高機能化に伴い、静止画像や動画像を含んだメッセージ交換を行なうことも可能となっている。

[0003] このように、手軽なコミュニケーションの手段として日常的に利用されている携帯電話メールにおいて、ユーザは、他人とは違った表現を求め、絵文字や顔文字を駆使したオリジナリティー溢れるメールを交換し、あるいは、画像を用いたメールの交換などを行なっている。しかし、音声メディアを利用したメールサービスは数少なぐ多くは視覚的な効果を狙ったメールサービスが提供されているにとどまっている。

[0004] 音声メディアを用いたメールサービスの例として、下記非特許文献 1の「歌うメ一ル」が挙げられる。これは、アプリケーションプログラムを利用し、入力した仮名文字等を歌声に変換するものである。そして、声質'メロディ ·伴奏力もなるアレンジの変更を自由に行なうことを可能として、る。

[0005] 非特許文献 1： http：〃 www.g-search.or.jp/release/2004/20040726.html

[0006] 携帯電話端末を利用した電子メールでは、さらにメッセージに対する表現力に対する多様性が求められて、る。携帯電話がコミュニケーション手段の一つとして大きな役割を担う中で、電子メールの有する表現力を強化することの意義は大き、。

[0007] 上記非特許文献 1では、アプリケーションプログラムを利用し、入力した文字を人工音声に変換している力人工音声では人間特有のアクセントや感情を表現することは困難である。

発明の開示 [0008] 本発明は、音声メディアを利用した表現豊かな電子メールシステムを提供することを目的とする。

[0009] 上記目的を解決するため、請求項 1記載の発明は、音声入力手段と、前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段と、前記録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、前記合成音声データを電子メールとして送信する送信手段と、を備える。

[0010] 請求項 2記載の発明は、請求項 1に記載の電子メール送信端末であって、前記楽曲データは、効果音データ、を含み、前記合成処理手段は、前記合成音声データの再生時間軸上の指定されたポイントに前記効果音データを合成する手段、を含む。

[0011] 請求項 3記載の発明は、請求項 1または請求項 2のいずれかに記載の電子メール送信端末であって、前記楽曲データは、前記電子メール送信端末に着脱可能な記録媒体または前記電子メール送信端末が接続可能なネットワーク上のサーバの記憶装置に格納されている。

[0012] 請求項 4記載の発明は、請求項 3に記載の電子メール送信端末であって、前記記録媒体または前記記憶装置に格納されている楽曲データは暗号ィ匕されており、前記合成処理手段は、暗号化されている前記楽曲データを復号ィ匕する手段、を含む。

[0013] 請求項 5記載の発明は、請求項 1ないし請求項 4のいずれかに記載の電子メール送信端末であって、前記楽曲データは、予め再生時間軸上に 1つあるいは複数のタイミングマーカが設定されたマーカ付き楽曲データ、を含み、前記合成処理手段は、前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、を含む。

[0014] 請求項 6記載の発明は、請求項 5に記載の電子メール送信端末であって、前記マ一力付き楽曲データは、各小節の先頭にタイミングマーカが設定された音楽データ、を含む。

[0015] 請求項 7記載の発明は、請求項 1ないし請求項 6のいずれかに記載の電子メール送信端末であって、前記合成処理手段は、ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、を含み、前記送信手段は、前記映像データ付き合成音声データを電子メールとして送信する手段、を含む。

[0016] 請求項 8記載の発明は、請求項 1ないし請求項 6のいずれかに記載の電子メール送信端末であって、さらに、前記合成音声データを音声圧縮変換する手段、を備える。

[0017] 請求項 9記載の発明は、請求項 7に記載の電子メール送信端末であって、さらに、前記映像データ付き合成音声データを動画圧縮変換する手段、を備える。

[0018] 請求項 10記載の発明は、請求項 1ないし請求項 6のいずれかに記載の電子メール送信端末であって、前記電子メール送信端末は携帯電話端末であり、前記合成音声データは、携帯電話端末において規定されている標準音楽データ形式に変換される。

[0019] 請求項 11記載の発明は、請求項 1ないし請求項 10のいずれかに記載の電子メール送信端末であって、さらに、合成処理のルールを記録したシナリオデータを生成する手段、を備え、前記送信手段は、前記録音データと前記シナリオデータを電子メールとして送信する手段、を含む。

[0020] 請求項 12記載の発明は、請求項 1ないし請求項 11のいずれかに記載の電子メール送信端末において、さらに、前記音声入力手段により入力した音声を処理する処理手段、を備え、前記処理手段は、音声を変調する手段および Zまたは音声に特殊効果を与える手段、を含み、前記合成処理手段は、前記処理手段によって処理された後の録音データと楽曲データとを合成する。

[0021] 請求項 13記載の発明は、請求項 12に記載の電子メール送信端末であって、前記処理手段は、前記音声入力手段で入力された音声のテンポ変更処理および Zまたはピッチシフト処理を実行する手段、を含む。

[0022] 請求項 14記載の発明は、請求項 12に記載の電子メール送信端末であって、前記処理手段は、前記音声入力手段で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずから 1つあるいは複数の処理を実行する手段、を含む。 [0023] 請求項 15記載の発明は、請求項 12ないし請求項 14のいずれかに記載の電子メール送信端末であって、複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定される

[0024] 請求項 16記載の発明は、請求項 1ないし請求項 15のいずれかに記載の電子メール送信端末であって、さらに、前記楽曲データにより規定される音楽を変調する手段および Zまたは前記楽曲データにより規定される音楽に特殊効果を与える手段、を含む。

[0025] 請求項 17記載の発明は、電子メールを転送するシステムであって、端末と、合成サーバと、を備え、前記端末は、音声入力手段と、前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段と、前記録音データを前記合成サーバに送信する手段と、を備え、前記合成サーバは、受信した録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、前記合成音声データを電子メールとして記憶装置に格納する手段と、を備える。

[0026] 請求項 18記載の発明は、電子メールを転送するシステムであって、端末と、合成サーバと、を備え、前記端末は、音声入力手段と、前記音声入力手段により入力した音声を前記合成サーバに送信する手段と、を備え、前記合成サーバは、受信した音声を録音データとして録音する手段と、前記録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、前記合成音声データを電子メールとして記憶装置に格納する手段と、を備える。

[0027] 請求項 19記載の発明は、請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、前記楽曲データは、効果音データ、を含み、前記合成処理手段は、前記合成音声データの再生時間軸上の指定されたポイントに効果音データを合成する手段を含む。

[0028] 請求項 20記載の発明は、請求項 17ないし請求項 19のいずれかに記載の電子メールシステムであって、前記楽曲データは、予め再生時間軸上に 1つあるいは複数のタイミングマーカが指定されたマーカ付き楽曲データ、を含み、前記合成処理手段は、前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、を含む。

[0029] 請求項 21記載の発明は、請求項 20に記載の電子メールシステムであって、前記マ一力付き楽曲データは、各小節の先頭にタイミングマーカが設定された音楽データ、を含む。

[0030] 請求項 22記載の発明は、請求項 17ないし請求項 21のいずれかに記載の電子メールシステムであって、さらに、ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、を備える。

[0031] 請求項 23記載の発明は、請求項 17ないし請求項 21のいずれかに記載の電子メールシステムであって、さらに、前記合成音声データを音声圧縮変換する手段、を備える。

[0032] 請求項 24記載の発明は、請求項 22に記載の電子メールシステムであって、さらに、前記映像データ付き合成音声データを動画圧縮変換する手段、を備える。

[0033] 請求項 25記載の発明は、請求項 17ないし請求項 21のいずれかに記載の電子メールシステムであって、前記端末は携帯電話端末であり、前記合成音声データは、携帯電話端末にぉ、て規定されて、る標準音楽データ形式に変換される。

[0034] 請求項 26記載の発明は、請求項 17ないし請求項 25のいずれかに記載の電子メールシステムであって、前記合成サーバは、さらに、前記端末から受信した音声を処理する処理手段、を備え、前記処理手段は、音声を変調する手段および Zまたは音声に特殊効果を与える手段、を含み、前記合成処理手段は、前記処理手段によって処理された後の録音データと楽曲データとを合成する。

[0035] 請求項 27記載の発明は、請求項 26に記載の電子メールシステムであって、前記処理手段は、前記音声入力手段で入力された音声のテンポ変更処理および Zまたはピッチシフト処理を実行する手段、を含む。

[0036] 請求項 28記載の発明は、請求項 26に記載の電子メールシステムであって、前記処理手段は、前記音声入力手段で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずれ力 1つあるいは複数の処理を実行する手段、を含む。

[0037] 請求項 29記載の発明は、請求項 26ないし請求項 28のいずれかに記載の電子メールシステムであって、複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定される。

[0038] 請求項 30記載の発明は、請求項 17ないし請求項 29のいずれかに記載の電子メールシステムであって、さらに、前記楽曲データにより規定される音楽を変調する手段および Zまたは前記楽曲データにより規定される音楽に特殊効果を与える手段、を含む。

[0039] 本発明は、携帯電話などの端末において、録音音声や音楽ファイルを再生するだけでなぐ音楽に自分の声を重量させて合成する。これにより、オリジナリティ溢れる合成音声メールを作成することが可能である。

[0040] また、記録媒体に格納されている楽曲データは暗号ィ匕されており、復号ィ匕するには所定のプログラムで読み出す必要があるため、コンテンツの無断流用を防止することが可能である。

[0041] また、録音データと楽曲データを合成する際、楽曲データにタイミングマーカ情報を付加することで、 BGMリズムに合わせて録音データを違和感なく合成することが可能である。また、録音中もしくは録音後にノイズゲート処理を行なうことで、屋外での環境騒音が除かれ、音楽的にも聞き易いコンテンツを作成することが可能である。

[0042] また、合成音声データに映像データを挿入することで、よりオリジナリティ溢れるマルチメディアメールの作成が可能である。

[0043] また、合成音声データを AACZMP3のような音声圧縮ファイルもしくは MPEG4のような動画圧縮ファイルに変換することで、低容量でかつ、ハイクオリティなコンテンツを作成することが可能である。

[0044] また、合成音声データを携帯電話端末で標準化されて!/ヽる汎用データ形式に変換することで、再生環境を問わず、携帯電話のキャリア間を越えた汎用性の有るメールシステムとして提供可能である。

[0045] また、音楽データに様々な処理を施した後に、楽曲データと合成するので、より表現力豊かな音声メールを作成可能である。

[0046] この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによつて、より明白になる。

図面の簡単な説明

[0047] [図 1]実施の形態に力かる携帯電話端末のブロック図である。

[図 2]音声電子メールのレイヤ構造を示す図である。

[図 3]マルチメディアメールのレイヤ構造を示す図である。

[図 4]汎用音楽ファイル形式を示す図である。

[図 5]合成処理のメイン処理を示すフローチャートである。

[図 6]ノイズゲート処理のフローチャートである。

[図 7]BGMデータ取得処理のフローチャートである。

[図 8]マルチメディアメールの作成処理を示すフローチャートである。

[図 9]ボイスメールの作成処理を示すフローチャートである。

[図 10]第 1の実施の形態における処理の流れを示す図である。

[図 11]第 2の実施の形態における処理の流れを示す図である。

[図 12]第 3の実施の形態における処理の流れを示す図である。

[図 13]第 4の実施の形態における処理の流れを示す図である。

[図 14]音声処理のフローチャートである。

発明を実施するための最良の形態

[0048] (第 1の実施の形態）

<携帯電話装置の構成 >

以下、図面を参照しつつ本発明の実施の形態について説明する。図 1は、この発明の第 1の実施の形態に係わる携帯電話端末 100の構成を示すブロック図である。携帯電話端末 100は、音声を入力するマイク装置 101、マイクインターフェース (Mic

I/F) 102、カードメディアである ROMカード 103、カードメディアとアクセスするためのカードコントロールインターフェース（Card Cont I/F) 104、各種データの一時記憶領域として、ある、は各種アプリケーションプログラムの格納領域として利用されるメモリ 106、 CPU112とメモリ 106との信号を制御する MMU (Memory Mana gement Unit) 105、携帯電話装置 100に対する各種ユーザ操作を入力する操作部 107、音声信号のエンコードおよびデコード処理を行なうオーディオ処理部 108、映像信号のエンコードおよびデコード処理を行なう映像処理部 109、携帯電話端末 100が音声通話を行う場合および携帯電話端末 100がデータ通信を行う場合に、基地局との間でアンテナ 111を介して通信処理を実行する通信部 110、携帯電話端末 100の制御を行なう CPU112を備えている。また、携帯電話端末 100は、モニタ 113 およびスピーカ 114を備えて、る。

[0049] なお、 ROMカード 103は、たとえば、コンパクトフラッシュ（登録商標）カードゃスマ一トメディア (登録商標）、 SDメモリカード (登録商標)などを利用可能である。また、メモリ 106としては、 SDRAMなどを利用可能である。また、オーディオ処理部 108は、 MP3や AACなどの規格に基づいて音声信号をエンコードおよびデコード処理する機能を備え、映像処理部 109は、 MPEG4などの規格に基づいて映像信号をェンコードおよびデコードする機能を備えてヽる。

[0050] ROMカード 103には、 BGMデータ BDおよび効果音データ EDが格納されている。 BGMデータ BDは、本実施の形態において送信される音声電子メール (ボイスメール)あるいはマルチメディアメールにおいて、マイク力入力された音声に合成させるバックグラウンドミュージックのデータである。 BGMデータ BDとしては、音声の内容を聞き取り易くすると、う意味にぉ、ては、ボーカル音声のなヽデータが好ま、が、特にそのようなデータに限定されることはなぐボーカル付きミュージックを含めて様々な音楽データを利用可能である。効果音データ EDは、マイク力入力された音声と BGMデータ BDとが合成された合成音声データに、さらに、比較的短い時間の効果音を付加するためのデータである。たとえば、手拍子や掛け声、シンバルなどの音データなどが含まれる。

[0051] BGMデータ BDおよび効果音データ EDは、たとえば MP3や AAC規格により圧縮されたファイルフォーマットで ROMカード 103に格納されている。あるいは携帯電話端末にお、て標準となって、る着信メロディーフォーマットなどのファイル形式で RO Mカード 103に格納されている。

[0052] また、 ROMカード 103に格納されている BGMデータ BDおよび効果音データ ED は暗号化されており、メモリ 106に格納されているォーサリングプログラム APによって復号化される。ォーサリングプログラム APは、 BGMデータ BDおよび効果音データ E Dの復号ィ匕に必要な復号キー情報を持っており、これらデータを復号ィ匕することにより、 BGMや効果音を再生可能としている。

[0053] メモリ 106に格納されているォーサリングプログラム APは、音声合成処理を含め、本実施の形態における音声電子メールあるいはマルチメディアメールを作成するための様々な機能を実行可能としている。具体的には、ォーサリングプログラム APは、マイク装置 101から入力された音声の録音機能、 ROMカード 103に格納されている BGMデータ BDおよび効果音データ EDの読み出し処理および復号ィ匕処理機能、マイク入力音声の録音中あるいは録音後におけるノイズゲート処理機能、録音した音声データと BGMデータ BDとの合成処理機能、合成音声データと効果音データ ED との合成処理機能、合成音声データと映像データとの合成処理機能、合成音声データおよび映像データ付き合成音声データの保存機能、合成音声データおよび映像データ付き合成音声データの再生機能、合成音声データおよび映像データ付き合成音声データを電子メールとして他端末に送信する機能、などを実行可能としてヽる

。なお、ォーサリングプログラム APが実行する上記各機能は、ォーサリングプロダラム APが、 CPU112, RAM (図示省略）などのハードウェア資源を利用して実行することにより、実行される機能である。

[0054] <ノイズゲート機能および BGMデータ合成機能 >

次に、ノイズゲート機能および BGMデータ合成機能について図 2を参照しながら説明する。ノイズゲート機能および BGMデータ合成機能は、上述したように、ォーサリングプログラム APによる処理機能である。ノイズゲート機能には、音声録音中におけるノイズゲート機能と音声録音後に実行するノイズゲート機能がある。音声録音中におけるノイズゲート機能は、マイク装置 101で入力した音声の音量が所定レベルを超えると録音を開始し、音量が所定レベルより小さくなると録音を停止することにより録音データを生成する機能である。音声録音後に実行するノイズゲート機能は、既に録音が生成された録音データ中で音量が所定のレベルより小さい箇所のデータを破棄し、音量が所定のレベルを超える箇所のみ録音データとして保持する機能である。

[0055] たとえば、

「(無音部分）（こんにちは）（無音部分）（今日はいい天気です）（無音部分）（どこカゝ遊びに行こうよ！；)」

としゃべつた場合は、

「こんにちは」、

「今日はいい天気です」、

「どこか遊びに行こうよ！」、

の 3つのデータが記録されることになる。この 3つのそれぞれのデータを録音データ要素と呼ぶことにする。図 2の録音データとして示した VI, V2, V3が上記の 3つの録音データ要素に該当する。

[0056] 次に、 BGMデータ BDは、図に示すように複数の小節に区分される力本実施の形態における BGMデータ BDには、この各小節の先頭位置（これは時間軸上のボイントである。）を指定したタイミングマーカが記録されている。このように小節の先頭位置を指定したタイミングマーカが設定された BGMデータ BDを特にマーカ付き楽曲データと呼ぶことにする。この実施の形態におけるマーカ付き楽曲データには、各小節の先頭位置にマーカが設定されている力これは一例である。小節区切りとは異なるポイントにマーカが設定されてヽても良、。

[0057] そして、ォーサリングプログラム APは、上記のように分解されたそれぞれの録音データ要素を、マーカ付き楽曲データの各タイミングマーカ位置にリンクさせる。つまり、各録音データ要素がマーカ付き楽曲データの各小節の先頭に合成されるようにするのである。このようにして録音データと BGMデータ BDとが合成されることにより合成音声データが生成される。このようにして生成された合成音声データを再生すると、 B GMデータ BDに基づいて再生されるバックグラウンドミュージックの各小節頭に、実際の録音タイミングとは関係なぐ 1小節目の頭から「こんにちは」と発生し、 2小節目の頭から「今日は、、天気です」と発生し、 3小節目の頭から「どこか遊びに行こうよ！」と発生する。このような手順でバックグラウンドミュージックと録音データとの同期が行なわれるのである。

[0058] ここで、図に示すように、録音データ要素 V3のフレーズが BGMデータ BDの 4小節目の領域まで掛かっている。その場合、 BGMデータ BDの 3小節目をループ再生してノックグラウンドミュージックと録音データとが違和感無く合成する方法をとるようにしても良い。

[0059] このように、本実施の形態においては、ノイズゲート処理とマーカ付き楽曲データを用いることで、録音データと BGMデータ BDの合成処理を自動化させることが可能である。したがって、操作ボタンの数に制限があり、また、モニタサイズが小さい携帯電話端末においても、煩雑な操作を必要とすることなぐ音声合成処理を実行することが可能である。

[0060] ただし、 BGMデータ BDを再生しながら、そのリズムに合わせてユーザが発生し、合成録音を行なう方法をとつても良い。その場合は録音しながらキー操作をすることで、任意の時間軸上で録音音声と BGMとの合成を行なうことが可能である。

[0061] <効果音データ合成機能 >

効果音データ合成機能も、ォーセリングプログラム APによる処理機能である。図 2 に示すように、効果音データ EDは、合成音声データの再生時間軸上の任意のボイントで合成させることが可能である。合成方法は、次の通りである。ォーサリングプログラム APは、 BGMデータ BDの再生を行ないつつ（あるいは、合成音声データの再生を行ないつつ）、ユーザによる効果音挿入指示を入力するのである。ユーザは、 B GMを聞きながら、効果音を挿入したいポイントで、操作部 107を操作して、効果音挿入指示を行うのである。このようにして、 BGMデータ BD,録音データ、効果音データ EDが合成された合成音声データを生成することが可能である。

[0062] <映像データの合成機能 >

また、ォーサリングプログラム APは、生成された合成音声データに静止画像あるいは動画像などの映像データを合成し、映像データ付き合成音声データを生成することが可能である。合成方法は、次の通りである。第 1の方法は、図 3に示すように、各映像データを BGMデータ BDの各小節にリンクさせる方法である。図に示したように、複数の小節にわたって 1つの映像データをリンクさせても良い。また、第 2の方法としては、ォーサリングプログラム APを実行し、合成音声データを再生しながら、映像データの切り替わりポイントをユーザに指定させる方法である。

[0063] 以上説明した方法により、 BGMデータ BD、録音データ、効果音データ EDが合成された合成音声データが生成され、さらに、映像データが合成されることにより、映像データ付き合成音声データが生成される。

[0064] <データ形式 >

ォーサリングプログラム APは、上記の処理によって生成された合成音声データを、オーディオ処理部 108を利用して MP3あるいは AACなどの規格に基づいて圧縮処理する。また、上記の処理によって生成された映像データ付き合成音声データを、ォ一ディォ処理部 108および映像処理部 109を利用して、 MPEG4などの規格に基づいて動画圧縮処理する。このようにして、本実施の形態における合成音声データは、 MP3あるいは AACなどの規格に基づいて圧縮された音声電子メールとしてメモリ 10 6に格納されている。あるいは、映像データ付き合成音声データは MPEG4などの規格に基づ、て（音声は MP3や AACなどの規格に基づ!/、て）圧縮されたマルチメディァメールとしてメモリ 106に格納される。

[0065] また、ォーサリングプログラム APは、合成音声データを携帯電話端末で標準的に利用されている汎用音楽データ形式 (たとえば mmf)に変換することも可能である。この場合には、ォーサリングプログラム APは、オーディオ処理部 108を利用せず、 CP U112上の処理で合成音声データを汎用音楽データ形式に変換する。このようにして生成されたデータは音声電子メールとしてメモリ 106に格納される。

[0066] 昨今の携帯電話端末で利用される汎用音楽データの多くは、図 4に示すように BG M音楽や効果音を再生する FM音源チャンネルと、録音音声を再生する PCMチャンネルと力構成される。そのため BGM音楽および効果音にっ、ては FM音源チャンネルを利用し、録音した音声データは PCMチャンネルを利用して 1つの合成音声データを生成するようにすれば良、。

[0067] 以上の処理により、音声電子メールあるいはマルチメディアメールが生成されると、 CPU112は、電子メールの宛先アドレスなどを指定した上で、音声電子メールあるいはマルチメディアメールを宛先アドレスに向けて送信するのである。そして、音声電子メールを受信した端末では、 BGMにあわせて合成された音声を視聴することが可能である。この音声は、人工音声などではなぐ実際に送信者が録音したデータであるので、感情表現を正確に伝達することが可能である。また、このような録音音声が BG Mにあわせて再生されるので、通常の音声通話と異なり、伝達内容を様々な態様で演出することが可能である。さらには、任意のポイントで挿入された効果音により、さらに、音声メールの表現力を増強させることが可能である。また、マルチメディアメールにおいては、これら表現豊かな音声メールにカ卩えて、映像が再生されるので、さらに表現力豊かなコミュニケーションを図ることが可能である。

[0068] <シナリオデータ >

図 2および図 3に示すように、合成音声データあるいは映像データ付き合成音声データは、複数のデータがレイヤ構成されたものである。つまり、合成音声データあるいは映像データ付き合成音声データは、 BGMデータ BDに合成される各データフアイル名（データ識別情報）と BGMデータ BDに対する同期情報（時間情報など)で定義することが可能である。

[0069] そこで、本実施の形態の変形例として、これらデータ識別情報および同期情報をシナリオデータとし、録音データとシナリオデータのみを宛先アドレスに送信する。言い換えると、シナリオデータとは、 BGMデータ BD、効果音データ ED、映像データを特定する情報と、これら各データと録音データとが合成されるタイミングを示す情報とを含むものである。つまり、この方法をとる場合、データ識別情報で指定された各データファイルを受信側の端末が保持している力あるいは、受信側の端末がネットワーク上のサーバ等力もこれら各データファイルを受信する必要がある。しかし、送信端末は、各データファイルを送信する必要が無ぐデータ転送量を削減することが可能である。

[0070] 受信側にお!、てシナリオデータを利用して音声電子メールある、はマルチメディアメールを再生する際には、所定のアプリケーションプログラムを実行して、シナリオデータに記述されているデータ識別情報に従って、 BGMデータ、効果音データ、映像データなどを記録媒体力読み出し、記述された同期情報に従って再生するのである。 [0071] <合成処理の流れ >

以上説明した合成処理について図 5ないし図 9のフローチャートを参照しながら説明する。図 5に示すように、まず、ノイズゲート処理 (ステップ S 10)が行なわれ、録音データが録音データ要素に分解される。

[0072] 図 6は、ノイズゲート処理 (ステップ S 10)の処理内容を示すフローチャートである。

ステップ S11でノイズゲートの処理タイミングが選択される。録音後ノイズゲート処理を行う設定となっている場合には、マイク録音処理 (ステップ S 12)が実行され、次に、録音データに対してノイズゲート処理 (ステップ S 13)が実行される。録音中ノイズゲート処理を行なう設定となっている場合には、ノイズゲート録音処理 (ステップ S 14)が実行される。以上の処理により、録音データ要素が生成される。なお、録音後ノイズゲート処理を行なうか、録音中ゲート処理を行うかの設定は、ユーザが自由に変更できるようにすれば良い。

[0073] 図 5に戻り、次に、 BGM処理 (ステップ S20)が行なわれる。図 7は、 BGM処理 (ステツプ S20)の処理内容を示すフローチャートである。まず、ステップ S21において B GMデータ BDの読み込み先が選択される。 BGMデータ BDの読み込み先がカードメディアである場合には、カードメディア (ROMカード 103)の読み込み処理が行なわれる（ステップ S22)。一方、 BGMデータ BDの読み込み先が公開サーバである場合には、公開サーバへの接続処理が行なわれる (ステップ S25)。次に、複数存在する BGMデータ BDの中力合成処理の対象となる BGMデータ BDの選択が行なわれる（ステップ S23、 S26)。そして、取得された BGMデータ BDの復号化処理が行なわれる（ステップ S24, 27)。

[0074] 図 5に戻り、次に、合成処理が行なわれる (ステップ S 30)。合成処理の内容は、上述した通りであり、マーカ付き楽曲データのタイミングマーカに同期するように、録音データ要素が合成される。なお、上述したように、この合成処理後のデータは、図 2で示したようにレイヤ構造をとつており、 BGMデータ BDと録音データとが分離可能な状態で合成されている。たとえば、 BGMデータ BDと録音データとのリンク情報が生成される。あるいは、複数のトラック（チャンネル)を含む合成音声データが生成され、各トラックに各データが格納される。 [0075] なお、 BGMデータ BDの各タイミングマーカ位置において録音データ要素を合成するが、このとき、特定の録音データ要素については、複数のタイミングマーカ位置に合成させるようにしても良い。たとえば、特定の録音データ要素を、連続する複数のタイミングマーカ位置に合成させることにより、特定のメッセージをリピート再生させることが可能であり、録音メッセージの中で特に重要なフレーズを強調させることが可能である。

[0076] 次に効果音挿入処理 (ステップ S40)が行なわれる。効果音挿入方法は上述した通りであり、ユーザの指定操作に応答して、合成音声データの再生時間軸上の任意のポイントに効果音が合成される。なお、効果音挿入後の合成音声データも、図 2で示したようにレイヤ構成をとつており、各データが分離可能な状態で合成されている。効果音データ EDの取得方法につ!、ては、図 7で示した BGMデータ BDの取得方法と同様である。

[0077] 次に、ステップ S50において、映像を付加する力否かの選択が行なわれる。映像を付加する場合には、マルチメディアメール作成処理 (ステップ S60)が行なわれ、映像を付加しな、場合には、音声電子メール (ボイスメール)の作成処理 (ステップ S 70) が行なわれる。映像を付加する力否かの選択は、ユーザにより指定される。

[0078] 図 8は、マルチメディアメールの作成処理の内容を示すフローチャートである。まず、ファイル形式の選択が行なわれる（ステップ S61)。ファイル形式として MPEG等による動画圧縮形式が設定されている場合には、指定された映像データを付加した上で、設定されたファイル形式に従って圧縮処理が実行される (ステップ S62)。フアイル形式としてシナリオデータが設定されて！ヽる場合には、映像データ付き合成音声データを定義するシナリオデータを生成する (ステップ S63)。このシナリオデータには、映像データを指定する情報も含められる。

[0079] このようにして生成されたマルチメディアメールは、メモリ 106に格納される（ステップ S64)。ここで、メモリ 106に格納されるマルチメディアメールは、ステップ S62処理後のデータは圧縮された映像データ付き合成音声データであり、ステップ S63処理後のデータは、シナリオデータと録音データである。そして、メモリ 106に格納されたマルチメディアメールは、宛先アドレスが指定され、他の端末に送信される (ステップ S6 5) ₀

[0080] 図 9は、音声電子メール（ボイスメール）の作成処理の内容を示すフローチャートである。まず、ファイル形式の選択が行なわれる（ステップ S71)。ファイル形式として M P3や AAC等による音声圧縮形式が設定されてヽる場合には、設定されたファイル形式に従って圧縮処理が実行される (ステップ S72)。フィル形式として携帯電話端末で標準化されている汎用音楽ファイル形式が設定されている場合には、設定されたファイル形式への変換処理が行なわれる（ステップ S73)。ファイル形式としてシナリオデータが設定されて!、る場合には、合成音声データを定義するシナリオデータを生成する（ステップ S 74)。

[0081] このようにして生成された音声電子メールは、メモリ 106に格納される（ステップ S75 ) oここで、メモリ 106に格納される音声電子メールは、ステップ S72、 S73処理後のデータは圧縮あるいは変換された合成音声データであり、ステップ S74処理後のデータは、シナリオデータと録音データである。そして、メモリ 106に格納された音声電子メールは、宛先アドレスが指定され、他の端末に送信される (ステップ S76)。

[0082] (第 2の実施の形態）

次に、第 2の実施の形態について説明する。上述した第 1の実施の形態においては、音声電子メールある、はマルチメディアメールを生成するための合成処理を携帯電話端末 100内で実行することとした。つまり、図 10に示すように、携帯電話端末 10 0において、音声入力、音声録音、合成、メール送信全ての処理を実行し、合成処理後の電子メールを受信端末 200に送信することとした。

[0083] 第 2の実施の形態においては、合成処理をネットワークで接続された合成サーバ 3 00において実行する。具体的には、図 11に示すように、携帯電話端末 100においては、音声入力処理および音声録音処理のみを実行する。そして、携帯電話端末 100 力も合成サーバ 300に録音データを送信し、合成サーバ 300にお、て合成処理を実行するのである。ここで、合成処理の条件を示した情報を、携帯電話端末 100から合成サーバ 300に送信するようにすれば良い。合成処理の条件を示した情報とは、第 1の実施の形態で説明したシナリオデータと同種の情報であれば良い。合成サーノ 300は、第 1の実施の形態と同様の合成処理を実行することにより、音声電子メールあるいはマルチメディアメールを生成すると、この電子メールを記憶装置に格納する。そして、この記憶装置に格納された電子メールへのアクセスパス情報として URL を指定した情報をメール受信端末 200に送信するのである。メール受信端末 200は、この URLを指定することにより、音声電子メールあるいはマルチメディアメールを受信することが可能である。

[0084] なお、図 11で示した例では、アクセスパス情報（URL情報）を、合成サーバ 300からメール受信端末 200に送信するようにした力合成サーバ 300が、ー且、アクセスパス情報をメール送信端末である携帯電話端末 100に送信し、携帯電話端末 100 からメール受信端末 200にアクセスパス情報を送信するようにしても良、。

[0085] このように、第 2の実施の形態によれば、メール送信端末である携帯電話端末 100 においては、合成処理が実行されないので、端末への処理負荷を小さくすることが可能である。

[0086] (第 3の実施の形態）

次に、第 3の実施の形態について説明する。第 3の実施の形態が第 2の実施の形態と異なる点は、音声の録音も合成サーバ 300で実行する点である。この他の点は、第 2の実施の形態と同様である。具体的には、まず、メール送信端末である携帯電話端末 100は、合成サーバ 300との間で電話回線を接続する。そして、ユーザは、マイク装置 101に向かってメッセージを発声するのである。このメッセージが電話回線を通じて合成サーバ 300に転送され、合成サーバ 300にお、て録音処理が行なわれるのである。その後の処理は、第 2の実施の形態と同様である。

[0087] 第 3の実施の形態においても、メール送信端末である携帯電話端末 100においては、合成処理が実行されないので、端末への処理負荷を小さくすることが可能である

[0088] (第 4の実施の形態）

次に、本発明の第 4の実施の形態について説明する。第 4の実施の形態が第 1の実施の形態と異なる点は、マイク装置 101から入力した音声に様々な音声処理を加え、その音声処理後の音声と BGMデータ BDとを合成する点である。

[0089] 処理の流れは、図 5〜図 9のフローチャートを用いて説明したものと略同様である。ただし、ステップ S30の合成処理が異なる。つまり、第 1の実施の形態におけるステツプ S30の合成処理は、録音した音声をそのまま BGMデータ BDに合成させて!/、たが、この実施の形態においては、録音した音声をカ卩ェした後、 BGMデータ BDと合成する。図 13は、この実施の形態における合成処理 (ステップ S30)のフローチャートである。この合成処理も、ォーサリングプログラム APによって実行される処理である。合成処理フローにおいて、まず、音声処理 (ステップ S31)が実行される。音声処理は、録音された音声を変調する処理や、録音した音声に特殊効果を与える処理である。

[0090] 音声を変調する処理としては、音声のテンポ (速度）を変更する処理、音声のピッチ

(音程)をシフトする処理などが含まれる。たとえば、マイク装置 101に対しては、ゆつくりとしたテンポで発声し録音する力変調処理により音声をアップテンポに変更することにより、軽やかな調子の音声メッセージ変調することが可能である。また、録音音声のピッチをシフトし、全体的にメッセージの音程を低音側にシフトさせることで、重苦し、雰囲気や、機嫌の悪、様子を演出することが可能である。

[0091] また、音声に特殊効果を与える処理としては、イコライザ処理、ハーモナイズ処理、エコー処理などが含まれる。イコライザ処理は、高音域を強調させたり、低音域を強調させたり、あるいは特定の音域をカットしたりすることにより、音声メッセージの周波数特性を変化させる処理である。ハーモナイズ処理は、録音音声のピッチに対して和音となる他の音を付加し、音声メッセージを和音にする処理である。エコー処理は、録音音声を時間差で再生し、音を響かせる処理である。たとえば、ハーモナイズ処理により、壮大な雰囲気のメッセージを生成することが可能である。また、エコー処理により、幻想的な雰囲気を演出することが可能である。

[0092] 図 14を参照しながら、音声処理 (ステップ S31)の処理の流れを説明する。まず、録音音声のテンポの変更を行なうか否力判定を行なう（ステップ S301)。テンポの変更を行わない場合、ステップ S305に移行する。

[0093] テンポの変更を行う場合 (ステップ S301で Yes)、シンクロ処理を行なうか否かの判定を行なう（ステップ S302)。テンポの変更処理としては、 2つの処理方法が用意されている。 1つは、マニュアルによるテンポ変更処理であり、もう 1つは、自動テンポ変更処理 (シンクロ処理)である。マニュアルによるテンポ変更処理は、ユーザによって指定されたテンポ設定に従い、録音音声のテンポを変更する処理である。自動テンポ変更処理は、録音音声のテンポが BGMデータ BDにシンクロするように変更される処理である。

[0094] このテンポ変更処理を説明する前に、まず、録音音声の録音時 (テンポ変更前）におけるテンポの取得方法にっ、て説明する。録音時のテンポの取得方法には 2つの方法がある。 1つは、ガイド音声により決定される方法である。ユーザにより音声が入力される際、メトロノームのように一定のリズムを刻むガイド音声が再生される。ユーザは、このガイド音声を聞きながら音声を録音するのである。録音音声には、このガイド音声の情報も含まれており、ガイド音声によって録音音声のテンポが決定される。もう 1つの方法は、録音音声のリズムを自動で取得する方法である。録音音声に対して音声解析処理が行なわれ、音声が音節単位に分割される。そして、この各音節の発声タイミング力も録音音声のテンポを自動的に取得するのである。以上の 2つの方法により、録音音声の録音時におけるテンポが決定される。

[0095] 次に、テンポの変更処理にっ、て説明する。マニュアルによるテンポ変更処理方法は、ユーザにより指定されたテンポ設定に従い、録音時のテンポを修正する方法である。たとえば、録音時のテンポがガイド音声により決定されていれば、このガイド音声のテンポを設定されたテンポに修正するのである。これに従い、録音音声のテンポも変更される。あるいは、録音時のテンポが自動取得されている場合には、この自動取得されたテンポ力設定されたテンポ設定に従、変更されるのである。

[0096] 自動テンポ変更処理方法は、録音音声の録音時のテンポが BGMデータ BDにシンクロするように自動的に変更される方法である。 BGMデータ BDのテンポは、あら力じめ BGMデータ BDに記録されている場合には、それを利用することが可能である。あるいは BGMデータ BDを音声解析することによって取得することも可能である。たとえば、ドラムなどのリズムを刻む音声に基づ、てテンポを解析することが可能である。そして、録音時のテンポがガイド音声により決定されていれば、このガイド音声のテンポを BGMデータのテンポにあわせるように変更するのである。これに従い、録音音声のテンポも BGMにシンクロするように変更される。あるいは、録音時のテンポが自動取得されて、る場合には、この自動取得されたテンポが BGMデータ BDのテンポにシンクロするように自動的に変更されるのである。

[0097] 図 14のフローチャートに戻る。シンクロ処理を行う場合 (ステップ S302で Yes)、録音音声のテンポ力 BGMデータ BDにシンクロするように自動変更される (ステップ S 303)。シンクロ処理を行わない場合 (ステップ S302で No)、録音音声のテンポが設定値に従って変更される (ステップ S304)。

[0098] 次に、ピッチシフト処理を行なうか否かの判定を行なう（ステップ S305)。ピッチシフト処理を行なう設定とされている場合 (ステップ S305で Yes)、設定値に従ってピッチシフト処理が実行される (ステップ S306)。ピッチシフト処理の設定値とは、音程のシフト量である。録音音声のシフト量は、ユーザにより設定可能である。

[0099] 次に、イコライザ処理を行なうか否かの判定を行なう（ステップ S307)。イコライザ処理を行なう設定とされている場合 (ステップ S307で Yes)、設定値に従ってイコライザ処理が実行される (ステップ S308)。イコライザ処理の設定値とは、強調する音域の情報、あるいは、カットする音域の情報などであり、ユーザにより設定可能である。

[0100] 次に、ハーモナイズ処理を行なうか否かの判定を行なう（ステップ S309)。ハーモナィズ処理を行なう設定とされている場合 (ステップ S309で Yes)、設定値に従ってハ一モナィズ処理が実行される（ステップ S310)。ハーモナイズ処理の設定値は、ユーザにより設定可能とする。たとえば、ベース音に対して 3度の音を付加する。あるいは、ベース音に対して 3度と 5度の音を付加するなどの設定を可能とすればょ、。

[0101] 次に、エコー処理を行なうか否かの判定を行なう（ステップ S311)。エコー処理を行なう設定とされている場合 (ステップ S311で Yes)、設定値に従ってエコー処理が実行される（ステップ S312)。エコー処理の設定値とは、エコー音声の時間差、エコー音声の継続時間などを指定する情報であり、ユーザにより設定可能である。

[0102] このように、音声処理 (ステップ S31)においては、様々な処理が実行される力どの音声処理を実行させるかは、ユーザにより設定可能とすればよい。たとえば、ユーザは、テンポ自動変更とハーモナイズ処理を実行するように設定したり、テンポのマ-ュアル変更処理とピッチシフト処理とエコー処理を実行するように設定したり、自由に音声処理の組み合わせを選択することが可能である。また、音声処理を与える音声の時間軸上のポイントをユーザにより指定できるようにすれば良い。これにより、たとえば、音声の前半部分は、エコー処理により幻想的な雰囲気を演出し、後半部分は、アップテンポにしてスピード感溢れるメッセージとすることなどが可能である。

[0103] このように、どのような音声処理を実行するかは、ユーザにより自由に設定可能としているが、このような細かな設定を行なう負担力ユーザを解放するために、複数のテーマに対応した複数種類の設定セットを用意しておくことが望ましい。この設定セットには、実行する音声処理の組み合わせや、実行される各音声処理の設定値などが規定されている。たとえば、ロック調、ノラード調、ラップ調など曲調に合わせた設定セットを用意しておけば便利である。あるいは、悲しみ編、怒り編、喜び編などの感情にマッチした設定セットを用意しておけば便利である。ユーザは、 BGMデータ BDとしてロック調の音楽を選択し、設定セットとしてロック調の音楽を選択しておけば、簡単にロック調の音声メッセージを作成可能である。

[0104] 図 13に戻り、ステップ S31において音声処理が終了すると、音声処理が行なわれた音声と BGMデータ BDとの合成処理が行なわれる（ステップ S32)。合成処理が終了すると、図 5で示したステップ S40、 S50, S60 (または S70)が実行され、マルチメディアメールあるいはボイスメールが送信されるのである。

[0105] 以上、説明したように、本実施の形態によれば、録音した音声を変調し、あるいは様々な特殊効果を与えた上で BGMデータ BDと合成する。これにより、音声メールや映像付き音声メールの表現力をさらに増強させることが可能である。特に、音声処理の設定と BGMデータ BDの組み合わせを工夫することで、 BGMデータ BDの雰囲気や曲調に合わせたメッセージを再生することが可能である。

[0106] 本発明によれば、ノイズゲート処理とテンポ変更処理によって、 BGMは、録音音声と無関係に流れるサウンドではなぐ録音音声と融合して、 1つのサウンドを構成する。つまり、ノイズゲート処理によって、録音音声の文節あるいは文章力 BGMの小節にリンクされ、融合する。さらには、テンポ変更処理によって、 BGMの各小節内にお V、て録音音声の音節が BGMのリズムに融合し、統一感のあるサウンドを構成するのである。

[0107] なお、上記の実施の形態では、音声を録音した後、 BGMデータ BDを取得し、その次に、録音音声の音声処理および合成処理を実行する処理の流れとしたが、音声の録音中に音声処理を実行するようにしても良い。この場合、音声の録音と音声処理が並行して行なわれ、その次に、 BGMデータ BDが取得され、音声処理後の音声と BGMデータ BDが合成されるという処理フローである。ただし、シンクロ処理によるテンポ自動変更処理を行なうためには、 BGMデータ BDの情報が必要であるため、自動変更処理にっ、ては、 BGMデータ BDの取得後に実行するのようにすればよ!、。

[0108] また、上記の実施の形態においては、録音音声を変調あるいは録音音声に特殊効果を与える音声処理が実行される場合を説明したが、 BGM音楽を変調あるいは BG M音楽に特殊効果を与えるような音声処理が実行されるようにしてもょ、。音声処理の方法としては、録音音声で設定されてヽる処理と同じ処理を施すようにしてもょヽし、 BGM音楽については、別に音声処理の内容が設定されても良い。

[0109] この発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例力この発明の範囲力外れることなく想定され得るものと解される。

Claims

請求の範囲

[1] 音声入力手段（101)と、

前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段（

106)と、

前記録音データと楽曲データ (BD)とを合成し、合成音声データを生成する合成処理手段 (AP)と、

前記合成音声データを電子メールとして送信する送信手段と、

を備える電子メール送信端末（100)。

[2] 請求項 1に記載の電子メール送信端末（100)であって、

前記楽曲データ (BD)は、

効果音データ (ED)、

を含み、

前記合成処理手段 (AP)は、

前記合成音声データの再生時間軸上の指定されたポイントに前記効果音データを合成する手段、

を含む電子メール送信端末。

[3] 請求項 1または請求項 2の、ずれかに記載の電子メール送信端末（100)であって前記楽曲データ (BD)は、

前記電子メール送信端末に着脱可能な記録媒体（103)または前記電子メール送信端末が接続可能なネットワーク上のサーバの記憶装置に格納されている電子メール送信端末。

[4] 請求項 3に記載の電子メール送信端末（100)であって、

前記記録媒体（103)または前記記憶装置に格納されて!、る楽曲データ (BD)は暗号化されており、

前記合成処理手段 (AP)は、

暗号化されている前記楽曲データを復号ィ匕する手段、

を含む電子メール送信端末。

[5] 請求項 1または請求項 2の、ずれかに記載の電子メール送信端末（100)であって前記楽曲データ (BD)は、

予め再生時間軸上に 1つあるいは複数のタイミングマーカが設定されたマーカ付き楽曲データ、

を含み、

前記合成処理手段 (AP)は、

前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、

前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、

を含む電子メール送信端末。

[6] 請求項 5に記載の電子メール送信端末（100)であって、

前記マーカ付き楽曲データ (BD)は、

各小節の先頭にタイミングマーカが設定された音楽データ、

を含む電子メール送信端末。

[7] 請求項 1または請求項 2の、ずれかに記載の電子メール送信端末（100)であって前記合成処理手段 (AP)は、

ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、を含み、

前記送信手段は、

前記映像データ付き合成音声データを電子メールとして送信する手段、を含む電子メール送信端末。

[8] 請求項 1または請求項 2の、ずれかに記載の電子メール送信端末（100)であってさらに、前記合成音声データを音声圧縮変換する手段、

を備える電子メール送信端末。

[9] 請求項 7に記載の電子メール送信端末（100)であって、さらに、

前記映像データ付き合成音声データを動画圧縮変換する手段、

を備える電子メール送信端末。

[10] 請求項 1または請求項 2のいずれかに記載の電子メール送信端末（100)であって前記電子メール送信端末は携帯電話端末であり、

前記合成音声データは、

携帯電話端末にお!ヽて規定されて!ヽる標準音楽データ形式に変換される電子メール送信端末。

[11] 請求項 1または請求項 2のいずれかに記載の電子メール送信端末（100)であってさらに、

合成処理のルールを記録したシナリオデータを生成する手段、

を備え、

前記送信手段は、

前記録音データと前記シナリオデータを電子メールとして送信する手段、を含む電子メール送信端末。

[12] 請求項 1または請求項 2のいずれかに記載の電子メール送信端末（100)においてさらに、

前記音声入力手段（101)により入力した音声を処理する処理手段、

を備え、

前記処理手段は、

音声を変調する手段および Zまたは音声に特殊効果を与える手段、

を含み、

前記合成処理手段 (AP)は、前記処理手段によって処理された後の録音データと楽曲データ (BD)とを合成する電子メール送信端末。

[13] 請求項 12に記載の電子メール送信端末（100)であって、

前記処理手段は、

前記音声入力手段（101)で入力された音声のテンポ変更処理および Zまたはピッチシフト処理を実行する手段、

を含む電子メール送信端末。

[14] 請求項 12に記載の電子メール送信端末（100)であって、

前記処理手段は、

前記音声入力手段（101)で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずから 1つあるいは複数の処理を実行する手段、を含む電子メール送信端末。

[15] 請求項 12に記載の電子メール送信端末（100)であって、

複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定される

電子メール送信端末。

[16] 請求項 1または請求項 2のいずれかに記載の電子メール送信端末（100)であってさらに、

前記楽曲データ (BD)により規定される音楽を変調する手段および Zまたは前記楽曲データにより規定される音楽に特殊効果を与える手段、

を含む電子メール送信端末。

[17] 電子メールを転送するシステムであって、

端末と、

合成サーバと、

を備え、

肯己端末は、音声入力手段（101)と、

106)と、

前記録音データを前記合成サーバに送信する手段と、

を備え、

前記合成サーバは、

受信した録音データと楽曲データ (BD)とを合成し、合成音声データを生成する合成処理手段 (AP)と、

前記合成音声データを電子メールとして記憶装置に格納する手段と、

を備える電子メーノレシステム。

[18] 電子メールを転送するシステムであって、

端末と、

合成サーバと、

を備え、

肯己端末は、

音声入力手段（101)と、

前記音声入力手段により入力した音声を前記合成サーバに送信する手段と、を備え、

前記合成サーバは、

受信した音声を録音データとして録音する手段と、

を備える電子メーノレシステム。

[19] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、前記楽曲データ (BD)は、

効果音データ (ED)、

を含み、前記合成処理手段 (AP)は、

前記合成音声データの再生時間軸上の指定されたポイントに効果音データを合成する手段

を含む電子メールシステム。

[20] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、前記楽曲データ (BD)は、

を含み、

前記合成処理手段 (AP)は、

を含む電子メールシステム。

[21] 請求項 20に記載の電子メールシステムであって、

前記マーカ付き楽曲データ (BD)は、

を含む電子メールシステム。

[22] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、さらに、

ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、を備える電子メーノレシステム。

[23] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、さらに、

前記合成音声データを音声圧縮変換する手段、

を備える電子メーノレシステム。

[24] 請求項 22に記載の電子メールシステムであって、

さらに、

を備える電子メーノレシステム。

[25] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、前記端末は携帯電話端末であり、前記合成音声データは、携帯電話端末において規定されて、る標準音楽データ形式に変換される

電子メールシステム。

[26] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、前記合成サーバは、

さらに、

前記端末から受信した音声を処理する処理手段、

を備え、

前記処理手段は、

を含み、

前記合成処理手段 (AP)は、前記処理手段によって処理された後の録音データと楽曲データ（BD)とを合成する

電子メールシステム。

[27] 請求項 26に記載の電子メールシステムであって、

前記処理手段は、

を含むこと電子メールシステム。

[28] 請求項 26に記載の電子メールシステムであって、

前記処理手段は、

前記音声入力手段（101)で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずれか 1つあるいは複数の処理を実行する手段、を含むこと電子メールシステム。

[29] 請求項 26に記載の電子メールシステムであって、

電子メールシステム。

[30] 請求項 17または請求項 18のいずれかに記載の電子メールシステムであって、さらに、

を含む電子メールシステム。