WO2005086010A1 - メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム - Google Patents

Abstract

　画像を表示しながら、送信装置が送信したテキストメッセージを読み上げる受信装置を含むメッセージ伝達システムを提供する。 　送信装置１１がテキストメッセージを受信装置１３に送信する。受信装置１３では、音声合成部２１が、受信したテキストメッセージにもとづいて合成音声を生成し、スピーカ２７から出力する。画像構成情報生成部２４が、合成音声の出力とともに表示する画像の情報を生成し、画像表示部２２が画像の情報にもとづく画像を表示する。このとき、音声合成部２１は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示部２２に入力し、画像表示部２２は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる。

Description

明 細 書

メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およ びメッセージ伝達プログラム

技術分野

[0001] 本発明は、受信装置が受信したメッセージを読み上げ、画像を表示するメッセージ 伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プロ グラムに関する。

背景技術

[0002] 従来のメッセージ伝達システムの一例力 非特許文献 1に記載されている。図 1は、 従来のメッセージ伝達システムの一構成例を示すブロック図である。図 1に示すように 、この従来のメッセージ伝達システムは、音声合成部 21と、画像表示部 22とを含む。 このような構成を有する従来のメッセージ伝達システムは、次のように動作する。

[0003] 音声合成部 21は、受信した電子メールの内容を読み上げる。このとき読み上げに 用いる音声の性質 (以下、声質情報という。）は、受信装置 11の使用者 (以下、受信 者という。）が設定した声質情報か、または受信装置 11が自動に選択した声質情報 を使用する。また、画像表示部 22は、受信装置 13が受信した電子メールに対応した 画像を表示するとともに、読み上げの進行にともなって、画像を変化させる。

[0004] このため、画像の情報および画像を変化させるための情報である画像構成情報を 用いる。ここで、画像構成情報とは、受信者が予め受信装置 13に記憶させている画 像と、その画像に対して受信者が設定した目、口などの顔の部位の位置情報である 。また、他の例では、画像構成情報を、受信者が設定する代わりに、予め端末内に記 憶しているものがある。

[0005] また、受信した電子メールを読み上げる他のシステム力 特許文献 1に記載されて いる。特許文献 1に記載されているシステムは、受信したメッセージ中の文字列に埋 め込まれた動作制御情報にもとづいて、電子メールを合成音声で読み上げると同時 に、ロボットを動かす。また、送信者に対応付けて受信した電子メールの音声データ を記憶する。 [0006] さらに、受信した電子メールを読み上げる別の方法力 特許文献 2に記載されて 、 る。特許文献 2に記載されている方法は、受信した電子メールに対して、予め受信側 で記憶している複数の画像のうちから、送信者 IDによって画像を選択して表示し、電 子メールを合成音声で読み上げる。合成音声の声質情報は、送信者の音声を予め 分析して利用する。

特許文献 1：特開 2003—308142号公報

特許文献 2：特開平 07-066832号公報

非特許文献 1：「NTTドコモ携帯電話総合カタログ De_Cember2003 (9版)」株式会 社 NTTドコモ、 2003年 12月、 p. 27

発明の開示

発明が解決しょうとする課題

[0007] しかし、従来の技術の第 1の問題点は、声質情報と画像構成情報とをともに設定す る場合、それぞれを別々に設定しなければならない点である。また、第 2の問題点は 、受信した電子メールの送信者に適した声質情報または画像構成情報を、受信者が 予め選択する等の準備をしなければならず、送信者が電子メールの送信時に送信者 に適した声質情報または画像構成情報を通信回線を介して提供する方法が無いと いうことである。さらに、第 3の問題点は、送信者と受信者以外の第三者が提供する 声質情報または画像構成情報を、通信回線を介して受信者に提供する方法が無 、 ということである。

[0008] そこで、本発明は、声質情報または画像構成情報を一体として扱うことのできる、メ ッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ 伝達プログラムを提供することを目的とする。また、本発明は、電子メールの送信者が 、電子メールの送信時に送信者に適した声質情報または画像構成情報を、通信回 線を介して提供できるメッセージ伝達システム、メッセージ伝達方法、受信装置、送 信装置およびメッセージ伝達プログラムを提供することを目的とする。さらに、本発明 は、送信者と受信者以外の第三者が提供する声質情報または画像構成情報を、通 信回線を介して提供するメッセージ伝達システム、メッセージ伝達方法、受信装置、 送信装置およびメッセージ伝達プログラムを提供することを目的とする。 課題を解決するための手段

[0009] 本発明によるメッセージ伝達システムは、テキストメッセージを送信する送信手段と 、受信したテキストメッセージにもとづいて合成音声を生成する音声合成手段と、合 成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、画像情 報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段と、画像 表示手段に表示させる画像の情報である画像構成情報と、音声合成手段に生成さ せる合成音声の特徴の情報である声質情報とを含む表現情報を予め記憶する表現 情報記憶手段とを含み、画像情報生成手段は、画像構成情報にもとづいて画像の 情報を生成し、音声合成手段は、声質情報にもとづいて合成音声を生成し、生成し た合成音声の区切りを示す情報である区切り情報を生成して、画像表示手段に入力 し、画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイ ミングで表示する画像を変化させることを特徴とする。

[0010] 送信手段を含む送信装置と、音声合成手段と、画像情報生成手段と、画像表示手 段と、表現情報記憶手段とを含む受信装置とを備えてもよい。そのような構成によれ ば、受信装置のユーザが希望する画像と音声とを受信装置に出力させることができる

[0011] 音声合成手段と、画像情報生成手段と、画像表示手段とを含む受信装置と、送信 手段と、表現情報記憶手段と、表現情報記憶手段が記憶している表現情報を受信 装置に送信する表現情報送信手段とを含む送信装置とを備えてもよぐ受信装置は 、表現情報を受信して声質情報を生成する声質情報生成手段を含んでもよぐ画像 情報生成手段は、表現情報を送信装置から受信して、表現情報から画像構成情報 を生成してもよい。そのような構成によれば、送信装置のユーザが希望する画像と音 声とを、受信装置に出力させることができる。

[0012] 送信装置は、受信装置に送信した表現情報に応じた料金の情報である表現情報 課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置 に送信した表現情報に応じて、送信装置のユーザに料金を課金することができる。

[0013] 画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、外部 画像構成情報記憶手段が記憶している画像構成情報の全部または一部を受信装置 に送信する画像構成情報送信手段とを含む画像構成情報提供装置を備えてもよい 。そのような構成によれば、外部画像構成情報記憶手段が記憶している、送信装置 および受信装置のユーザ以外の第三者が提供する画像を、受信装置に出力させる ことができる。

[0014] 受信装置と画像構成情報提供装置とは専用回線で接続されてもよ!ヽ。そのような構 成によれば、受信装置と画像構成情報提供装置との通信のプロトコルを簡易なもの にできるので、メッセージ伝達システムの構築が簡単になる。

[0015] 受信装置と画像構成情報提供装置とは公衆回線網で接続されてもよ!ヽ。そのような 構成によれば、受信装置のユーザは、インターネット等の公衆回線網を介して複数 の画像構成情報提供装置が記憶して 、る画像構成情報を用いることができる。

[0016] 表現情報は、外部画像構成情報記憶手段が記憶する画像構成情報の全部または 一部の位置を示す情報である画像インデックス情報を含んでもよぐ画像情報生成手 段は、画像インデックス情報にもとづいて、画像構成情報送信手段に、外部画像構 成情報記憶手段が記憶する画像構成情報の全部または一部の送信を要求してもよ い。

[0017] 画像構成情報送信手段は、画像情報生成手段の要求に応じて、外部画像構成情 報記憶手段が記憶する画像構成情報の全部または一部を受信装置に送信してもよ い。

[0018] 画像構成情報提供装置は、受信装置に送信した画像構成情報に応じた料金の情 報である画像課金情報を生成する課金手段を含んでもょ ヽ。そのような構成によれ ば、受信装置に送信した画像構成情報に応じて、受信装置のユーザに料金を課金 することができる。

[0019] 声質情報の全部または一部を記憶する外部声質情報記憶手段と、外部声質情報 記憶手段が記憶している声質情報の全部または一部を受信装置に送信する声質情 報送信手段を含む声質情報提供装置を備えてもよい。そのような構成によれば、外 部声質情報記憶手段が記憶して 、る、送信装置および受信装置のユーザ以外の第 三者が提供する音声の性質の合成音声を、受信装置に出力させることができる。

[0020] 受信装置と声質情報提供装置とは専用回線で接続されてもよい。そのような構成に よれば、受信装置と声質情報提供装置との通信のプロトコルを簡易なものにできるの で、メッセージ伝達システムの構築が簡単になる。

[0021] 受信装置と声質情報提供装置とは公衆回線網で接続されてもよい。そのような構成 によれば、受信装置のユーザは、インターネット等の公衆回線網を介して複数の声 質情報提供装置が記憶して 、る画像構成情報を用いることができる。

[0022] 表現情報は、外部声質情報記憶手段が記憶する声質情報の全部または一部の位 置を示す情報である声質インデックス情報を含んでもよぐ音声合成手段は、声質ィ ンデッタス情報にもとづいて、声質情報送信手段に、外部声質情報記憶手段が記憶 する声質情報の全部または一部の送信を要求してもよい。

[0023] 声質情報送信手段は、音声合成手段の要求に応じて、外部声質情報記憶手段が 記憶する声質情報の全部または一部を受信装置に送信してもよい。

[0024] 声質情報提供装置は、受信装置に送信した声質情報に応じた料金の情報である 声質課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信 装置に送信した声質情報に応じて、受信装置のユーザに料金を課金することができ る。

[0025] 本発明によるメッセージ伝達方法は、テキストメッセージを受信し、表示する画像の 情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情 報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成し、合成 音声の区切りを示す情報である区切り情報を生成し、合成音声を出力し、画像構成 情報にもとづいて合成音声の出力とともに表示する画像の情報を生成し、画像の情 報にもとづく画像を表示し、区切り情報にもとづいて、合成音声の区切りのタイミング で表示する画像を変化させることを特徴とする。

[0026] 表現情報から画像構成情報を生成してもよぐ表現情報から声質情報を生成しても よい。そのような方法によれば、ユーザが希望する画像と音声とを出力させることがで きる。

[0027] 予め記憶している表現情報を送信してもよぐ表現情報を受信すると、受信した表 現情報力 画像構成情報を生成してもよぐ受信した表現情報力 声質情報を生成 してもよい。そのような方法によれば、送信側のユーザが希望する画像と音声とを、出 力側に出力させることができる。

[0028] 送信した表現情報に応じた料金の情報である表現情報課金情報を生成してもよい 。そのような方法によれば、送信した表現情報に応じて、受信側のユーザに料金を課 金することができる。

[0029] 表現情報は、画像構成情報の全部または一部を記憶して!/、る外部画像構成情報 記憶手段における、画像構成情報の全部または一部を記憶して!/、る位置を示す情 報である画像インデックス情報を含んでもよぐ画像インデックス情報にもとづ 、て、 外部画像構成情報記憶手段に、記憶して 、る画像構成情報の全部または一部の送 信を要求してもよぐ外部画像構成情報記憶手段から、画像構成情報の全部または 一部を受信してもよい。そのような方法によれば、外部画像構成情報記憶手段が記 憶している第三者等の画像を、受信側に出力させることができる。

[0030] 外部画像構成情報記憶手段にお!、て、送信した画像構成情報に応じた料金の情 報である画像課金情報を生成してもよい。そのような方法によれば、受信側に送信し た画像構成情報に応じて、受信側のユーザに料金を課金することができる。

[0031] 表現情報は、声質情報の全部または一部を記憶している外部声質情報記憶手段 における、声質情報の全部または一部を記憶して 、る位置を示す情報である声質ィ ンデッタス情報を含んでもよぐ声質インデックス情報にもとづいて、外部声質情報記 憶手段に、声質情報の全部または一部の送信を要求してもよぐ外部声質情報記憶 手段から、声質情報の全部または一部を受信してもよい。そのような方法によれば、 外部声質情報記憶手段が記憶して 、る第三者の音声の性質の合成音声を、受信側 に出力させることができる。

[0032] 外部声質情報記憶手段にお!、て、送信した声質情報に応じた料金の情報である 声質課金情報を生成してもよい。そのような方法によれば、受信側に送信した声質情 報に応じて、受信側のユーザに料金を課金することができる。

[0033] 本発明による受信装置は、送信装置力 テキストメッセージを受信する受信装置で あって、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報と を含む表現情報の声質情報と、送信装置から受信したテキストメッセージとにもとづ いて合成音声を生成する音声合成手段と、画像構成情報にもとづいて、合成音声の 出力とともに表示する画像の情報を生成する画像情報生成手段と、画像情報生成手 段が生成した画像の情報にもとづく画像を表示する画像表示手段とを含み、音声合 成手段は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画 像表示手段に入力し、画像表示手段は、入力された区切り情報にもとづいて、合成 音声の区切りのタイミングで表示する画像を変化させることを特徴とする。

[0034] 表現情報を予め記憶する表現情報記憶手段を含んでもよぐ画像情報生成手段は

、表現情報力も画像構成情報を生成してもよい。そのような構成によれば、受信装置 のユーザが希望する画像と音声とを出力させることができる。

[0035] 表現情報を受信して、表現情報から声質情報を生成する声質情報生成手段を含 んでもよぐ画像情報生成手段は、表現情報を受信して、表現情報から画像構成情 報を生成してもよい。そのような構成によれば、送信装置のユーザが希望する画像と 音声とを、受信装置に出力させることができる。

[0036] 画像構成情報の全部または一部を記憶する画像構成情報提供装置から、画像構 成情報の全部または一部を受信してもよい。そのような構成によれば、画像情報提供 装置が記憶している第三者等の画像を、受信装置に出力させることができる。

[0037] 表現情報は、画像構成情報提供装置が記憶する画像構成情報の全部または一部 の位置を示す情報である画像インデックス情報を含んでもよぐ画像情報生成手段は 、画像インデックス情報にもとづいて、画像構成情報提供装置に、画像構成情報提 供装置が記憶する画像構成情報の全部または一部の送信を要求し、画像構成情報 提供装置から、画像構成情報提供装置が記憶する画像構成情報の全部または一部 を受信してもよい。

[0038] 画像情報提供装置と専用回線で接続されて!、てもよ ヽ。そのような構成によれば、 受信装置と画像構成情報提供装置との通信のプロトコルを簡易なものにできる。

[0039] 画像情報提供装置と公衆回線網で接続されて 、てもよ 、。そのような構成によれば 、受信装置のユーザは、複数の画像情報提供装置が記憶している画像構成情報を 用!/、ることができる。

[0040] 声質情報の全部または一部を記憶する声質情報提供装置から、声質情報の全部 または一部を受信してもよい。そのような構成によれば、声質情報提供装置が記憶し ている第三者の音声の性質の合成音声を、受信装置に出力させることができる。

[0041] 表現情報は、声質情報提供装置が記憶する声質情報の全部または一部の位置を 示す情報である声質インデックス情報を含んでもよぐ音声合成手段は、声質インデ ックス情報にもとづいて、声質情報提供装置に、声質情報提供装置が記憶する声質 情報の全部または一部の送信を要求し、声質情報提供装置から、声質情報提供装 置が記憶する声質情報の全部または一部を受信してもよい。

[0042] 声質情報提供装置と専用回線で接続されて!、てもよ ヽ。そのような構成によれば、 受信装置と声質情報提供装置との通信のプロトコルを簡易なものにできる。

[0043] 声質情報提供装置と公衆回線網で接続されて!ヽてもよ ヽ。そのような構成によれば

、受信装置のユーザは、複数の声質情報提供装置が記憶している声質情報を用い ることがでさる。

[0044] 本発明による送信装置は、受信装置に伝達するテキストメッセージ、受信装置に表 示させる画像の情報である画像構成情報、および受信装置に生成させるテキストメッ セージの合成音声の特徴の情報である声質情報を含む表現情報とを送信する送信 手段を含むことを特徴とする。

[0045] 本発明によるメッセージ伝達プログラムは、コンピュータに、画像の情報である画像 構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と 、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切り を示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合 成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させ る画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示手段に 、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実 行させることを特徴とする。

[0046] コンピュータに、表現情報を受信して、表現情報から声質情報を生成する声質情報 生成処理を実行させてもよぐ画像情報生成処理で、表現情報を受信して、表現情 報力も画像構成情報を生成する処理を実行させてもよい。そのような構成によれば、 送信側のユーザが希望する画像を画像表示手段に表示させ、送信側のユーザが希 望する性質の合成音声を音声出力手段に出力させることができる。 [0047] コンピュータに、画像情報生成処理で、画像構成情報の全部または一部を記憶す る外部画像構成情報記憶手段と、外部画像構成情報記憶手段が記憶して！/ヽる画像 構成情報の全部または一部を送信する画像構成情報送信手段とを含む画像情報提 供装置から、表現情報に含まれ、外部画像構成情報記憶手段が記憶する画像構成 情報の全部または一部の位置を示す情報である画像インデックス情報にもとづいて、 画像情報提供装置が記憶する画像構成情報の全部または一部の送信を画像情報 提供装置に要求する処理を実行させてもよぐ画像情報提供装置から画像構成情報 の全部または一部を受信する処理を実行させてもよい。そのような構成によれば、画 像情報提供装置が記憶して!/、る第三者等の画像を、画像表示手段に表示させること ができる。

[0048] コンピュータに、音声合成処理で、声質情報の全部または一部を記憶する外部声 質情報記憶手段と、外部声質情報記憶手段が記憶して!/、る声質情報の全部または 一部を送信する声質情報送信手段とを含む声質情報提供装置から、表現情報に含 まれ、外部声質情報記憶手段が記憶して!/、る声質情報の全部または一部の位置を 示す情報である声質インデックス情報にもとづ 、て、声質情報提供装置が記憶する 声質情報の全部または一部の送信を、声質情報提供装置に要求する処理を実行さ せてもよぐ声質情報提供装置から、声質情報の全部または一部を受信する処理を 実行させてもよい。そのような構成によれば、声質情報提供装置が記憶している第三 者の音声の性質の合成音声を、音声出力手段に出力させることができる。

発明の効果

[0049] 本発明の第 1の効果は、電子メールを、 送信者に結び付いた内容である声質情報 と画像構成情報を用いて、合成音声と画像とで表現することができることである。また 、第 2の効果は、電子メールの送信者が提供した声質情報または画像構成情報を使 うことで、より緊密なコミュニケーションを行うことが可能になるということである。さらに 、第 3の効果は、例えば著名人やキャラクタの音声や画像を使用する権利を有する 第三者が、声質情報または画像構成情報を受信者に提供することで、送信者と受信 者とがより多彩なコミュニケーションを行うことが可能になるということである。

発明を実施するための最良の形態 [0050] 実施の形態 1.

本発明の第 1の実施の形態について、図面を参照して説明する。図 2は、本発明の 第 1の実施の形態の一構成例を示すブロック図である。

[0051] 本発明の第 1の実施の形態は、電子メール等のテキストメッセージを通信回線 12を 介して送信する送信装置 11と、送信装置 11から受信したテキストメッセージにもとづ く合成音声の出力と、合成音声の出力に対応した画像の出力とを行う受信装置 13と を含む。

[0052] 送信装置 11は、テキストメッセージを記憶するテキストメッセージ記憶部 31と、テキ ストメッセージ記憶部 31が記憶しているテキストメッセージを、通信回線 12を介して 受信装置 13に送信する送信部 32とを含む。

[0053] 受信装置 13は、声質情報と画像構成情報とを含む表現情報を記憶する表現情報 記憶部 (表現情報記憶手段) 34、表現情報から声質情報を生成する声質情報生成 部 (声質情報生成手段) 23、表現情報から画像構成情報を生成する画像構成情報 生成部 (画像情報生成手段) 24、画像構成情報を記憶する画像構成情報記憶部 33 、声質情報にもとづいてテキストメッセージを合成音声に変換したり、合成音声の区 切りを示す情報である区切り情報を生成したりする音声合成部 (音声合成手段) 21、 画像構成情報と区切り情報とにもとづいて画像を表示する画像表示部 (画像表示手 段） 22、および合成音声を出力するスピーカ 27を含む。

[0054] 声質情報生成部 23は、表現情報記憶部 34が記憶して 、る表現情報から声質情報 を生成する。ここで、声質情報は、音声合成部 21がテキストメッセージ力も変換して 生成する合成音声の声質を指定する情報である。なお、声質情報は、話者名、声の 高さ、抑揚の強さ、語尾の特徴等の特定個人あるいは概念的な人物像の声を想起さ せる要素や、発声速度、焦り方などの発話の際におかれている状況を想起させる要 素のうち 1以上を含む。

[0055] 画像構成情報生成部 24は、表現情報記憶部 34が記憶して 、る表現情報から、画 像構成情報を生成する。ここで、画像構成情報は、画像表示部 22が、送信者本人ま たはその代理となるキャラクタの画像を構成、表示するために用いる情報である。また 、画像構成情報は、画像を生成するために、基本となる画像である基本画像や、顔 の画像の場合は目や口や眉毛などの位置と形状との情報を含んでもよぐそれ以外 の部位の画像の場合も同等の情報を含んでもよい。画像構成情報生成部 24は、生 成した画像構成情報を画像構成情報記憶部 33に記憶させる。画像構成情報記憶部 33は、画像構成情報を記憶する。

[0056] なお、画像構成情報は、送信者本人の顔写真や、全身写真のほか、似顔絵や、送 信者を受信者に想起させるキャラクタなどの無生物等の情報であってもよ 、。そして 、画像構成情報は、上記に限定したものでは無ぐコンピュータグラフィックス (CG)で キャラクタを合成表示するためのパラメータや、複数の静止画像のそれぞれに番号 等を付けて束ねたもの等を用いてもょ 、。

[0057] 音声合成部 21は、声質情報生成部 23が生成した声質情報にもとづいて、送信装 置 11から受信したテキストメッセージを合成音声に変換し、スピーカ 27に出力する。 合成音声の出力中には、合成音声の出力の開始、段落の区切り、文の区切り、音節 の区切り、合成音声の出力の終了、などの各種の区切りが存在する。音声合成手段 21は、これらの区切りのうち、予め定めたいくつかの区切りのタイミングで、区切り情 報を画像表示部 22に出力する。

[0058] 画像表示部 22は、音声合成部 21が区切り情報を入力したタイミングで、画像構成 情報記憶部 33が記憶して 、る画像構成情報にもとづ 、て画像を生成し、生成した画 像を表示する。なお、画像表示部 22は、予め音声合成部 21が入力した区切り情報 に応じて読み込む画像構成情報の要素を記憶している。

[0059] ここで、送信装置 11と受信装置 13とは、例えば、電子メール送受信機能を備えた 携帯電話機であり、通信回線 12は携帯電話通信網およびそれに付随するデータ通 信網である。ただし、本発明の適用はこれらに限定されるものではなぐ一般のインタ 一ネットを介した電子メールシステムやチャットシステム、専用ホストによるパソコン通 信システム、 IP電話網、ビデオ通信網などでもよい。また、通信回線 12を介する送信 装置 11と受信装置 13との間の通信は、双方向通信でなくてもよぐ送信装置 11から 受信装置 13への単一方向通信でもよい。

[0060] ここで、受信装置 13は、画像の情報である画像構成情報と合成音声の特徴の情報 である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもと づいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成 させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像 の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報 にもとづいて、画像を表示する画像表示部 22に、合成音声の区切りのタイミングで画 像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭 載する。

[0061] 次に、本発明の第 1の実施の形態の動作について説明する。図 3は、本発明の第 1 の実施の形態の動作を説明するフローチャートである。

[0062] 送信装置 11の送信部 32は、通信回線 12を介して受信装置 13に、テキストメッセ一 ジ記憶部 31が記憶しているテキストメッセージを送信する (ステップ S101)。図 4に、 テキストメッセージ記憶部 31が記憶しているテキストメッセージの一例を示す。図 4に 示す例では、テキストメッセージ記憶部 31は、「今日は、良い天気です。」というテキス トメッセージを記憶している。送信部 32は、通信回線 12を介して受信装置 13に、「今 日は、良い天気です。」というテキストメッセージを送信する。

[0063] 受信装置 13において、音声合成部 21がテキストメッセージを受信すると、声質情 報生成部 23および画像構成情報生成部 24に、テキストメッセージを受信したことを 通知する (ステップ S 102)。声質情報生成部 23および画像構成情報生成部 24は、 表現情報記憶部 34が記憶して 、る表現情報を読み出す (ステップ S 103)。図 5は、 表現情報の一例を示す説明図である。図 5に示す例では、表現情報は、声質情報と 画像構成情報とを含む。

[0064] 声質情報生成部 23は、読み出した表現情報から声質情報を生成し、画像構成情 報生成部 24は、読み出した表現情報から画像構成情報を生成する (ステップ S104) 。図 6は、声質情報の一例を示す説明図である。声質情報は、話者と、発声速度と、 声の高さとを示す情報である。ここで、図 6に示す例では、声の高さを基準値 + 100 Hzとしているが、例えば 350Hz等の絶対値で示してもよい。図 7は、画像構成情報 の一例を示す説明図である。画像構成情報は、基本画像と、目の相対位置と、目の 大きさと、口の相対位置と、口の開度とを示している。目の相対位置と口の相対位置 とは、例えば、顔の画像の中心を原点として正規化した座標値で示す。なお、目の相 対位置において、右目の相対位置は、例えば、右目を接して囲む四角形の対角線 の交点の Y座標値と、 X座標値とであり、左目の相対位置は、左目を接して囲む四角 形の対角線の交点の Y座標値と、 X座標値とである。また、口の相対位置は、例えば 、口を接して囲む四角形の上辺の Y座標値（口の上下方向の位置を示す。）と、四角 形の幅の値（口の幅を示す。）と、四角形の高さの値（口の厚さを示す。）とで示す。目 の大きさにおいて、例えば、右目の大きさは、右目を接して囲む四角形の高さ（右目 の厚さを示す。 )と幅 (右目の幅を示す。 )との値で示し、左目の大きさは、左目を接し て囲む四角形の高さ (左目の厚さを示す。）と幅 (左目の幅を示す。）との値で示す。 口の開度は、例えば、口を最も大きく開けた時の口を接して囲む四角形の高さを 100 として、正規ィ匕した値で示す。例えば、口の開度が 75の場合、口を最も大きく開けた ときの 75%の高さで口が開いていることを示す。なお、この実施の形態の例では、上 述の方法で、画像構成情報が示す画像を数値化して示したが、本発明はこれに限 定されるものではなぐ他の方法で画像を画像構成情報が示してもよい。画像構成情 報生成部 24は、生成した画像構成情報を画像構成情報記憶部 33に記憶させる。

[0065] 画像表示部 22は、画像構成情報記憶部 33が記憶して ヽる画像構成情報を読み 出し、基本画像を表示する (ステップ S105)。音声合成部 21は、声質情報生成部 23 が生成した声質情報にもとづ 、て、受信したテキストメッセージの音声合成を行な ヽ 、合成音声を生成し、スピーカ 27に合成音声の出力を開始する (ステップ S106)。

[0066] 図 8は、音声合成部 21が声質情報にもとづいて、受信したテキストメッセージの音 声合成を行ない、生成した合成音声の音声波形の一例を示す説明図である。ここで 、音声合成部 21は内部でタイミング点の情報を持つ。本実施例におけるタイミング点 の例として、図 8中に時刻 Aから時刻 Dを示す。それぞれ、時刻 Aは発声の開始時点 の時刻、時刻 Bは読点の時点の時刻、時刻 Cは音声合成部 21が認識した文節区切 りの時点の時刻、時刻 Dは発声の終了時点を表している。音声合成部 21はそれぞれ のタイミング点の時刻で、区切り情報を生成して画像表示部 22に出力する。画像情 報表示部 22は、区切り情報にもとづいて、それぞれのタイミング点の時刻で、予め決 められた画像に表示する画像を変化させる。

[0067] 時刻 Aになると (ステップ S 107)、画像表示部 22は画像構成情報記憶部 33が記憶 している口の相対位置と口の開度との情報を読み出す (ステップ S108)。そして、画 像表示部は、読み出した口の相対位置と口の開度との情報に応じて、口の周辺の画 像を生成し、表示している基本画像の口の周辺の画像に上書きする。この実施の形 態では、基本画像の口の開度は 75なので、口の開度が 100である、口が開いた画 像に書き換えられる (ステップ S 109)。

[0068] 時刻 Bになると (ステップ S110)、画像表示部 22は画像構成情報記憶部 33が記憶 している目の相対位置と目の大きさとの情報を読み出す (ステップ S111)。そして、目 の相対位置を中心に、例えば、右目を囲んで接する四角形の中の画像を、反時計回 りの方向に 30度傾ける。また、左目を囲んで接する四角形の中の画像を、時計回り の方向に 30度傾ける。すると、目が笑っているように見える画像が生成され、画像表 示部 22は、基本画像の目の周辺の画像を、目が笑っているように見える画像に書き 換える（ステップ S 112)。

[0069] 時刻 Cになると (ステップ S 113)、画像表示部 22は画像構成情報記憶部 33が記憶 している目の相対位置と目の大きさとの情報を読み出す (ステップ S114)。そして、画 像表示部は、読み出した目の相対位置と目の大きさとの情報に応じて、目の周辺の 画像を生成し、表示して!/、る笑って!/、る目の周辺の画像に上書きし、目の周辺を基 本画像に書き換える（ステップ S 115)。

[0070] 時刻 Dになると (ステップ S116)、画像表示部 22は画像構成情報記憶部 33が記憶 している口の相対位置と口の開度との情報を読み出す (ステップ S 117)。そして、画 像表示部は、読み出した口の相対位置と口の開度との情報に応じて、口の周辺の画 像を生成し、表示している開いている口の周辺の画像に上書きする。この実施の形 態では、基本画像の口の開度は 75なので、口の開度が 100である、口が開いた画 像力 口の開度が 75である基本画像に書き換えられる (ステップ S118)。

[0071] 音声合成部 21は合成音声の出力を終了し (ステップ S119)、画像表示部 22は、画 像の表示を終了する (ステップ S 120)。

[0072] 図 9は、第 1の実施の形態において、画像表示部 22が出力する画像の例を示す説 明図である。第 1の実施の形態の動作の説明で述べたように、時刻 Aから時刻 Dまで 、画像表示部 22が出力する画像が時刻に応じて変化することがわかる。 [0073] 以上、述べたように、この実施の形態によれば、テキストメッセージの出力に連動し て画像が動くように見えるように、画像表示部 22は画像を出力することができる。

[0074] なお、この実施の形態では、テキストメッセージは、プレーンテキストを例に説明した 力 修飾情報を伴うリッチテキスト、音声合成の発声内容を表した発音記号列などを 用いてもよい。その場合には、それぞれに対応した音声合成部 21を用いる。また、図 3のフローチャートに示した動作は、各区切りの時刻毎に予め定められている力 そ のほか文中の単語の種類や、記号等の特定の文字種、リッチテキストの場合の修飾 情報に応じて予め定められて 、てもよ 、。

[0075] また、この実施例においては、説明のため、表現情報は単一としている。ここで、送 信装置 11 (送信者)が複数ある場合には、表現情報記憶部 34は、送信装置 11に対 応する表現情報を複数記憶しておく。そして、送信装置 11は、テキストメッセージとと もに送信装置を示す送信者 IDを送信し、音声合成部 21は、受信した送信者 IDを声 質情報生成部 23および画像構成情報生成部 24に出力し、声質情報生成部 23およ び画像構成情報生成部 24は、送信者 IDに対応した表現情報をそれぞれ読み出す

[0076] 実施の形態 2.

本発明の第 2の実施の形態について、図面を参照して説明する。図 10は、本発明 の第 2の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、 第 1の実施の形態の受信装置 13の表現情報記憶部 34を、送信装置 11が備えたも のであり、その他の構成は第 1の実施例と同様である。そのため、第 1の実施の形態 と同様の回路等については図 2と同じ符号を付し、説明を省略する。

[0077] 送信装置 11が備える送信部（表現情報送信手段） 32は、テキストメッセージ記憶部 31が記憶しているテキストメッセージとともに、または別々に、通信回線 12を介して表 現情報記憶部 34が記憶している表現情報を受信装置 13に送信する。受信装置 13 では、声質情報生成部 23と画像構成情報生成部 24とが表現情報を受信する。

[0078] ここで、送信部 32は、テキストメッセージと表現情報とを、一体として通信回線 12を 送信してもよいし、別々に送信してもよい。また、テキストメッセージと表現情報とを別 々に送信する場合、テキストメッセージと表現情報とを伝送する通信回線 12は物理 的'論理的に同一のものでなくてもよい。

[0079] 受信装置 13は、画像の情報である画像構成情報と合成音声の特徴の情報である 声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづい て合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させ る音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情 報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもと づいて、画像を表示する画像表示部 22に、合成音声の区切りのタイミングで画像を 変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載す る。また、表現情報を受信して、表現情報から声質情報を生成する声質情報生成処 理を実行してもよぐ画像情報生成処理で、表現情報を受信して、表現情報から画像 構成情報を生成する処理を実行してもよ ヽ。

[0080] 次に、本発明の第 2の実施の形態の動作について、図面を参照して説明する。図 1 1は、本発明の第 2の実施の形態の動作を説明するフローチャートである。

[0081] 送信装置 11の送信部 32は、テキストメッセージと表現情報とを、通信回線 12を介 して受信装置 13に送信する (ステップ S201)。送信部 32は、テキストメッセージと表 現情報とに、共通のヘッダを付して通信回線 12を一体として送信する。ただし、本発 明は、これに限定されることはなぐ送信部 32は、テキストメッセージと表現情報とを 別々のデータとして送信してもよい。また、一度テキストメッセージと表現情報とを一 体として送付した後は、表現情報に変更の無い限り、表現情報を受信装置 13の記憶 部（図示せず）に記憶させて、表現情報の送信を省略してもよい。すると、本発明の 第 1の実施の形態と同様の構成となる。

[0082] 受信装置 13では、声質情報生成部 23と画像構成情報生成部 24とが表現情報を 受信し、音声合成手段 21がテキストメッセージを受信する (ステップ S202)。

[0083] 声質情報生成部 23は、受信した表現情報から声質情報を生成し、画像構成情報 生成部 24は、受信した表現情報力も画像構成情報を生成する (ステップ S 203)。画 像構成情報生成部 24は、生成した画像構成情報を画像構成情報記憶部 33に記憶 させる。

[0084] 画像表示部 22は、画像構成情報記憶部 33が記憶して ヽる画像構成情報を読み 出し、基本画像を表示する (ステップ S204)。音声合成部 21は、声質情報生成部 23 が生成した声質情報にもとづ 、て、受信したテキストメッセージの音声合成を行な ヽ 、合成音声を生成し、スピーカ 27に合成音声の出力を開始する (ステップ S205)。

[0085] ステップ S206以降 (ステップ S206— S219)の動作は、第 1の実施の形態における ステップ S107以降 (ステップ S107— S120)の動作と同様なため、説明を省略する。

[0086] 以上、述べたように、本発明の第 2の実施の形態によれば、送信装置 11が表現情 報を受信装置 13に送信するため、送信装置 11のユーザの希望する声質の合成音 声を受信装置 13のスピーカ 27から出力させたり、送信装置 11のユーザの希望する 画像を、合成音声の出力に連動して画像表示部 22に表示させたりすることができる

[0087] 実施の形態 3.

本発明の第 3の実施の形態について、図面を参照して説明する。図 12は、本発明 の第 3の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、 第 2の実施の形態の受信装置 13の画像構成情報生成部 24に通信回線 14を介して 接続されるサーバ (画像構成情報提供装置、声質情報提供装置） 15を含む点が第 2 の実施の形態と異なる。そして、サーバ 15は、予め画像構成情報を記憶しているサ ーバ画像構成情報記憶部 (外部画像構成情報記憶手段) 35と、サーバ画像構成情 報記憶部 35が記憶している画像構成情報を通信回線 14を介して受信装置 13の画 像構成情報生成部 24に送信する画像構成情報送信部 (画像構成情報送信手段) 2 5とを含む。その他の構成は第 2の実施の形態と同様である。そのため、第 2の実施 の形態と同様の回路等については図 10と同じ符号を付し、説明を省略する。なお、 通信回線 14は、 LAN (Local Area Network)等の専用回線で画像情報生成部 24とサーバ 15とを接続してもよいし、インターネット等の公衆回線で画像情報生成部 24とサーバ 15とを接続してもよい。そして、通信回線 14は、インターネット等の公衆 回線であった場合、通信回線 12と一部共用していてもよい。

[0088] 図 13は、第 3の実施の形態の表現情報の一例を示す説明図である。図 13に示す 例では、表現情報は、声質情報と画像構成情報のインデックスとを含む。画像構成 情報のインデックスとは、画像構成情報を記憶している装置と、その装置内で画像構 成情報を記憶している位置とを示す情報である。この実施の形態の例では、サーバ 1 5のサーバ画像構成情報記憶部 35が画像構成情報を記憶しているため、画像構成 情報のインデックスは、サーバ 15の IPアドレスと、サーバ 15内での画像構成情報を 記憶している位置を示す番号である位置番号とで構成されている。ここで、画像構成 情報のインデックスは、サーバの IPアドレスとサーバ 15内における位置番号との組に 限らず、サーバの名称とフルパス名の組や、 URI (Uniform Resource Identifier s)等を用いてもよい。

[0089] 画像構成情報生成部 24は、画像構成情報のインデックスを含む表現情報を受信 すると、画像構成情報のインデックスにもとづいて通信回線 14を介してサーバ 15に 接続し、画像構成情報の位置番号を送信する。サーバ 15の画像構成情報送信部 2 5は、画像構成情報生成部 24から受信した位置番号の画像構成情報をサーバ画像 構成情報記憶部 35から読み出して、読み出した画像構成情報を通信回線 14を介し て画像構成情報生成部 24に送信する。

[0090] ここで、受信装置 13は、画像の情報である画像構成情報と合成音声の特徴の情報 である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもと づいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成 させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像 の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報 にもとづいて、画像を表示する画像表示部 22に、合成音声の区切りのタイミングで画 像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭 載する。また、画像情報生成処理で、画像構成情報の全部または一部を記憶するサ ーバ画像構成情報記憶部 35と、サーバ画像構成情報記憶部 35が記憶して ヽる画 像構成情報の全部または一部を送信する画像構成情報送信部 25とを含むサーバ 1 5から、表現情報に含まれ、サーバ画像構成情報記憶部 35が記憶する画像構成情 報の全部または一部の位置を示す情報である画像構成情報のインデックスにもとづ V、て、サーバ 15が記憶する画像構成情報の全部または一部の送信をサーバ 15に 要求する処理を実行してもよぐサーバ 15から画像構成情報の全部または一部を受 信する処理を実行してもよい。さらに、音声合成処理で、声質情報の全部または一部 を記憶する外部声質情報記憶部（図示せず)と、外部声質情報記憶部が記憶して ヽ る声質情報の全部または一部を送信する声質情報送信部（図示せず)とを含むサー バ 15から、表現情報に含まれ、外部声質情報記憶部が記憶している声質情報の全 部または一部の位置を示す情報である声質情報のインデックスにもとづ 、て、サーバ 15が記憶する声質情報の全部または一部の送信を、サーバ 15に要求する処理を実 行してもよぐサーバ 15から、声質情報の全部または一部を受信する処理を実行して ちょい。

[0091] 次に、本発明の第 3の実施の形態の動作について説明する。図 14は、画像構成情 報生成部 24が画像構成情報送信部 25から画像構成情報を受信する際の動作を説 明するシーケンス図である。

[0092] 画像構成情報生成部 24は、画像構成情報のインデックスを受信すると (ステップ S 301)、通信回線 14を介してサーバ 15の画像構成情報送信部 25に接続を要求する 、（ステップ S302)。画像構成情報送信部 25は、接続を許可する (ステップ S303)。

[0093] 画像構成情報生成部 24は、画像構成情報のインデックスに含まれる位置番号を、 画像構成情報送信部 25に通信回線 14を介して送信して、画像構成情報の送信を 要求する (ステップ S304)。画像構成情報送信部 25は、位置番号を受信すると (ステ ップ S305)、受信した位置番号の画像構成情報をサーバ画像構成情報記憶部 35 力も読み出し (ステップ S306)、読み出した画像構成情報を、画像構成情報生成部 2 4に通信回線 14を介して送信する (ステップ S307)。

[0094] 画像構成情報生成部 24は、画像構成情報を受信すると (ステップ S308)、画像構 成情報送信部 25に接続の切断を要求する (ステップ S309)。画像構成情報送信部 25は、接続の切断を許可する (ステップ S310)。画像構成情報生成部 24は、画像構 成情報送信部 25との接続を切断する (ステップ S311)。

[0095] 本発明の第 3の実施の形態の、送信装置 11と受信装置 13とサーバ 15との動作に ついて説明する。図 15は、本発明の第 3の実施の形態の動作を説明するフローチヤ ートである。

[0096] 送信装置 11の送信部 32は、テキストメッセージと表現情報とを、通信回線 12を介 して受信装置 113に送信する (ステップ S401)。受信装置 13では、声質情報生成部 23と画像構成情報生成部 24とが表現情報を受信し、音声合成手段 21がテキストメッ セージを受信する（ステップ S402)。

[0097] 画像情報生成部 24は、表現情報に含まれる画像構成情報のインデックスにもとづ いて、画像構成情報をサーバ 15から通信回線 14を介して受信する (ステップ S403) 。画像情報生成部 24は、図 14のシーケンス図に示す動作を行ない、サーバ 15から 画像構成情報を受信する。そして、画像情報生成部 24は、受信した画像構成情報 を画像構成情報記憶部 33に記憶させ、画像構成情報を受信したことを音声合成手 段 21に通知する。

[0098] 声質情報生成部 23は、受信した表現情報から声質情報を生成する (ステップ S40 4)。画像表示部 22は、画像構成情報記憶部 33が記憶している画像構成情報を読 み出し、基本画像を表示する (ステップ S405)。音声合成部 21は、声質情報生成部 23が生成した声質情報にもとづ 、て、受信したテキストメッセージの音声合成を行な い、合成音声を生成し、スピーカ 27に合成音声の出力を開始する (ステップ S406)。

[0099] ステップ S407以降 (ステップ S407— S420)の動作は、第 1の実施の形態における ステップ S106以降 (ステップ S107— S120)の動作と同様なため、説明を省略する。

[0100] なお、第 3の実施の形態で述べた例では、画像構成情報生成部 24は、画像構成 情報の全てをサーバ 15から受信した力 本発明はこれに限定されるものではなぐ画 像構成情報の一部を送信装置 11から表現情報として受信し、残りの情報をサーバ 1 5から受信してもよい。具体的には、表現情報の画像構成情報に、画像表示部が画 像を表示するのに必要となる情報の一部（例えば、基本画像）が欠けていたり、表現 情報の画像構成情報に、基本画像がないことを示す情報と、基本画像が記憶されて いるインデックスとが含まれていたりする場合、画像構成情報生成部 24は、サーバ 1 5に接続して基本画像を受信し、サーバ 15から受信した基本画像と、表現情報に含 まれて ヽる他の情報とで画像構成情報を生成してもよ 、。

[0101] また、第 3の実施の形態で述べた例では、画像構成情報の全部または一部をサー バ 15から受信するという構成になっているが、サーバ 15が声質情報を記憶し、声質 情報生成部 23が通信回線 14を介してサーバ 15と接続され、声質情報の全部または 一部をサーバ 15から受信して、声質情報を生成してもよい。その場合、表現情報に 声質情報のインデックスが含まれる。さらに、画像構成情報部 24が画像構成情報の 全部または一部をサーバ 15から受信し、声質情報生成部 23が声質情報の全部また は一部をサーバ 15から受信する構成であってもよ 、。

[0102] 以上、述べたように、この実施の形態によれば、画像表示部 22が表示する画像ま たは音声合成部 21が生成する合成音声を、サーバ 15が記憶している画像構成情報 または声質情報にもとづいて生成するため、例えば著名人やキャラクタの画像や音 声を使用する権利を有する第三者が、画像構成情報または声質情報をサーバ 15に 記憶させて、受信装置 13に送信することで、送信装置 11のユーザと受信装置 13の ユーザとは、より多彩なコミュニケーションを行うことができる。

[0103] また、通信回線 14が LAN等の専用回線であれば、画像情報生成部 24とサーバ 1 5との通信プロトコルを簡易なものにできるので、システムの構築が簡単になる。また、 通信回線 14力インターネット等の公衆回線網であれば、画像情報生成部 24は、他 のサーバに接続して、他のサーバが記憶している画像構成情報または声質情報を 受信することができるため、受信装置 13のユーザは、複数のサーバが記憶している 画像構成情報または声質情報を使い分けることができる。

[0104] 実施の形態 4.

本発明の第 4の実施の形態について、図面を参照して説明する。図 16は、本発明 の第 4の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、 第 3の実施の形態のサーバ 15に通信回線 16を介して外部の課金処理システムに接 続される課金情報生成部 (課金手段） 26を含む点が第 3の実施の形態と異なる。そし て、画像構成情報送信部 25は、サーバ画像構成情報記憶部 35が記憶している画 像構成情報を通信回線 14を介して受信装置 13の画像構成情報生成部 24に送信 すると、送信した画像構成情報と、送信先の受信装置 13を示す情報とを課金情報生 成部 26に出力する。その他の構成は第 3の実施の形態と同様である。そのため、第 3 の実施の形態と同様の回路等については図 12と同じ符号を付し、説明を省略する。

[0105] 次に、本発明の第 4の実施の形態の動作について説明する。図 17は、画像構成情 報生成部 24が画像構成情報送信部 25から画像構成情報を受信し、画像構成情報 送信部 25が、送信した画像構成情報と送信先の受信装置 13とを示す情報を課金情 報生成部 26に出力する際の動作を説明するシーケンス図である。

[0106] 画像構成情報生成部 24が、画像構成情報のインデックスを受信すると (ステップ S 501)、サーバ 15の画像構成情報送信部 25に受信装置 13を示す情報を送信して 接続を要求する、（ステップ S502)。画像構成情報送信部 25は、受信装置 13の認 証を行な 、 (ステップ S503)、接続を許可する (ステップ S504)。

[0107] 画像構成情報生成部 24は、画像構成情報のインデックスに含まれる位置番号を、 画像構成情報送信部 25に送信する (ステップ S505)。画像構成情報送信部 25は、 位置番号を受信すると (ステップ S506)、受信した位置番号の画像構成情報をサー バ画像構成情報記憶部 35から読み出し (ステップ S507)、読み出した画像構成情 報を、画像構成情報生成部 24に送信する (ステップ S508)。

[0108] 画像構成情報送信部 25は、送信した画像構成情報と送信先の受信装置 13を示 す情報とを課金情報生成部 26に出力する (ステップ S509)。課金情報生成部 26は 、送信した画像構成情報と送信先の受信装置 13を示す情報とにもとづいて、受信装 置 13に課金する金額を決定し、決定した課金する金額と受信装置 13を示す情報と である課金情報を生成し (ステップ S510)、生成した課金情報を通信回線 16を介し て外部の課金処理システムに送信する (ステップ S511)。外部の課金処理システム は、受信した課金情報にもとづいて、受信装置 13のユーザに課金し、料金を請求す る。なお、課金する金額は、外部の課金処理システムが決定してもよい。その場合、 課金情報は、送信した画像構成情報と送信先の受信装置 13を示す情報を含む情報 である。

[0109] 画像構成情報生成部 24は、画像構成情報を受信すると (ステップ S512)、画像構 成情報送信部 25に接続の切断を要求する (ステップ S513)。画像構成情報送信部 25は、接続の切断を許可する (ステップ S514)。画像構成情報生成部 24は、画像構 成情報送信部 25との接続を切断する (ステップ S515)。

[0110] なお、以上に述べた例では、課金情報生成部 26は、送信した画像構成情報と送信 先の受信装置 13を示す情報とにもとづいて、受信装置 13に課金する金額を決定し ているが、サーバ 15が声質情報を記憶し、送信した声質情報と送信先の受信装置 1 3を示す情報とにもとづいて、受信装置 13に課金する金額を決定してもよい。 [0111] 以上、述べたように、この実施の形態によれば、受信装置 13のユーザによる、画像 構成情報や声質情報の利用回数や種類に応じた課金処理が可能となり、例えば著 名人やキャラクタの声質情報や画像構成情報を有料で受信装置 13のユーザに提供 することができる。また、例えば、画像構成情報や声質情報に広告'宣伝の要素を入 れると、そのような画像構成情報や声質情報を利用した回数に応じて広告主に対し て課金することができる。

[0112] なお、本実施の形態では、課金情報生成部 26はサーバ 15に含まれるが、送信装 置 11が課金情報生成部 26を含み、課金情報生成部 26は、送信部 32が表現情報を 受信装置 13に送信すると、送信した表現情報に応じて、受信装置 13のユーザに課 金してちょい。

産業上の利用可能性

[0113] 本発明によれば、電子メールや電子会議、チャット等の、テキストのメッセージの送 受信を行う用途に適用することができる。また、マンマシンインタフェースのような、機 械的に生成されるメッセージを出力する用途に適用することができる。

図面の簡単な説明

[0114] [図 1]従来のメッセージ伝達システムの一構成例を示すブロック図である。

[図 2]本発明の第 1の実施の形態の一構成例を示すブロック図である。

[図 3]本発明の第 1の実施の形態の動作を説明するフローチャートである。

[図 4]テキストメッセージ記憶部が記憶しているテキストメッセージの一例である。

[図 5]表現情報の一例を示す説明図である。

[図 6]声質情報の一例を示す説明図である。

[図 7]画像構成情報の一例を示す説明図である。

[図 8]合成音声の音声波形の一例を示す説明図である。

[図 9]画像表示部が出力する画像の例を示す説明図である。

[図 10]本発明の第 2の実施の形態の一構成例を示すブロック図である。

[図 11]本発明の第 2の実施の形態の動作を説明するフローチャートである。

[図 12]本発明の第 3の実施の形態の一構成例を示すブロック図である。

[図 13]第 3の実施の形態の表現情報の一例を示す説明図である。 [図 14]画像構成情報生成部が画像構成情報送信部から画像構成情報を受信する 際1—の1—動作を説明するシーケンス図である。

圆 15]本発明の第 3の実施の形態の動作を説明するフローチャートである。

圆 16]本発明の第 4の実施の形態の一構成例を示すブロック図である。

[図 17]画像構成情報生成部が画像構成情報送信部から画像構成情報を受信し、画 像構成情報送信部が、送信した画像構成情報と送信先の受信装置とを示す情報を 課金情報生成部に出力する際の動作を説明するシーケンス図である。

符号の説明

送信装置

12、 14、 16 通信回線

13 受信装置

15 サーノ

21 音声合成部

22 画像表示部

23 声質情報生成部

24 画像構成情報生成部

25 画像構成情報送信部

26 課金情報生成部

27 スピーカ

31 テキストメッセージ記憶部

32 送信部

33 画像構成情報記憶部

34 表現情報記憶部

35 サーバ画像構成情報記憶部

Claims

請求の範囲

[1] テキストメッセージを送信する送信手段と、

受信したテキストメッセージにもとづいて合成音声を生成する音声合成手段と、 前記合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と 前記画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示 手段と、

前記画像表示手段に表示させる画像の情報である画像構成情報と、前記音声合 成手段に生成させる合成音声の特徴の情報である声質情報とを含む表現情報を予 め記憶する表現情報記憶手段と

を含み、

前記画像情報生成手段は、前記画像構成情報にもとづ!/、て画像の情報を生成し、 前記音声合成手段は、前記声質情報にもとづいて合成音声を生成し、生成した前 記合成音声の区切りを示す情報である区切り情報を生成して、前記画像表示手段に 入力し、

前記画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタ イミングで表示する画像を変化させる

ことを特徴とするメッセージ伝達システム。

[2] 送信手段を含む送信装置と、

音声合成手段と、画像情報生成手段と、画像表示手段と、表現情報記憶手段とを 含む受信装置とを備えた

請求項 1記載のメッセージ伝達システム。

[3] 音声合成手段と、画像情報生成手段と、画像表示手段とを含む受信装置と、

送信手段と、表現情報記憶手段と、前記表現情報記憶手段が記憶している表現情 報を前記受信装置に送信する表現情報送信手段とを含む送信装置とを備え、 前記受信装置は、前記表現情報を受信して声質情報を生成する声質情報生成手 段を含み、

前記画像情報生成手段は、前記表現情報を前記送信装置から受信して、前記表 現情報力 画像構成情報を生成する

請求項 1記載のメッセージ伝達システム。

[4] 送信装置は、受信装置に送信した表現情報に応じた料金の情報である表現情報 課金情報を生成する課金手段を含む

請求項 3記載のメッセージ伝達システム。

[5] 画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、前記 外部画像構成情報記憶手段が記憶している前記画像構成情報の全部または一部を 受信装置に送信する画像構成情報送信手段とを含む画像構成情報提供装置を備 えた

請求項 3または請求項 4記載のメッセージ伝達システム。

[6] 受信装置と画像構成情報提供装置とは専用回線で接続される

請求項 5記載のメッセージ伝達システム。

[7] 受信装置と画像構成情報提供装置とは公衆回線網で接続される

請求項 5記載のメッセージ伝達システム。

[8] 表現情報は、外部画像構成情報記憶手段が記憶する画像構成情報の全部または 一部の位置を示す情報である画像インデックス情報を含み、

画像情報生成手段は、前記画像インデックス情報にもとづいて、画像構成情報送 信手段に、前記外部画像構成情報記憶手段が記憶する前記画像構成情報の全部 または一部の送信を要求する

請求項 5から請求項 7のうちいずれ力 1項記載のメッセージ伝達システム。

[9] 画像構成情報送信手段は、画像情報生成手段の要求に応じて、外部画像構成情 報記憶手段が記憶する画像構成情報の全部または一部を受信装置に送信する 請求項 8記載のメッセージ伝達システム。

[10] 画像構成情報提供装置は、受信装置に送信した画像構成情報に応じた料金の情 報である画像課金情報を生成する課金手段を含む

請求項 5から請求項 9のうちいずれ力 1項記載のメッセージ伝達システム。

[11] 声質情報の全部または一部を記憶する外部声質情報記憶手段と、前記外部声質 情報記憶手段が記憶している前記声質情報の全部または一部を受信装置に送信す る声質情報送信手段を含む声質情報提供装置を備えた

請求項 3から請求項 10のうちいずれ力 1項記載のメッセージ伝達システム。

[12] 受信装置と声質情報提供装置とは専用回線で接続される

請求項 11記載のメッセージ伝達システム。

[13] 受信装置と声質情報提供装置とは公衆回線網で接続される

請求項 11記載のメッセージ伝達システム。

[14] 表現情報は、外部声質情報記憶手段が記憶する声質情報の全部または一部の位 置を示す情報である声質インデックス情報を含み、

音声合成手段は、前記声質インデックス情報にもとづいて、声質情報送信手段に、 前記外部声質情報記憶手段が記憶する前記声質情報の全部または一部の送信を 要求する

請求項 11から請求項 13のうちいずれ力 1記載のメッセージ伝達システム。

[15] 声質情報送信手段は、音声合成手段の要求に応じて、外部声質情報記憶手段が 記憶する声質情報の全部または一部を受信装置に送信する

請求項 14記載のメッセージ伝達システム。

[16] 声質情報提供装置は、受信装置に送信した声質情報に応じた料金の情報である 声質課金情報を生成する課金手段を含む

請求項 11から請求項 15のうちいずれ力 1項記載のメッセージ伝達システム。

[17] テキストメッセージを受信し、

表示する画像の情報である画像構成情報と合成音声の特徴の情報である声質情 報とを含む表現情報の声質情報と、受信した前記テキストメッセージとにもとづいて 合成音声を生成し、

前記合成音声の区切りを示す情報である区切り情報を生成し、

前記合成音声を出力し、

前記画像構成情報にもとづいて前記合成音声の出力とともに表示する画像の情報 を生成し、

前記画像の情報にもとづく画像を表示し、

前記区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変 化させる

ことを特徴とするメッセージ伝達方法。

[18] 表現情報から画像構成情報を生成し、

前記表現情報から声質情報を生成する

請求項 17記載のメッセージ伝達方法。

[19] 予め記憶している表現情報を送信し、

前記表現情報を受信すると、受信した前記表現情報から画像構成情報を生成し、 受信した前記表現情報から声質情報を生成する

請求項 17記載のメッセージ伝達方法。

[20] 送信した表現情報に応じた料金の情報である表現情報課金情報を生成する 請求項 19記載のメッセージ伝達方法。

[21] 表現情報は、画像構成情報の全部または一部を記憶して!/、る外部画像構成情報 記憶手段における、前記画像構成情報の全部または一部を記憶して!/、る位置を示 す情報である画像インデックス情報を含み、

前記画像インデックス情報にもとづ!/、て、前記外部画像構成情報記憶手段に前記 画像構成情報の全部または一部の送信を要求し、

前記外部画像構成情報記憶手段から、前記画像構成情報の全部または一部を受 信する

請求項 19または請求項 20記載のメッセージ伝達方法。

[22] 外部画像構成情報記憶手段にお!、て、送信した画像構成情報に応じた料金の情 報である画像課金情報を生成する

請求項 21記載のメッセージ伝達方法。

[23] 表現情報は、声質情報の全部または一部を記憶して!/、る外部声質情報記憶手段 における、前記声質情報の全部または一部を記憶して 、る位置を示す情報である声 質インデックス情報を含み、

前記声質インデックス情報にもとづいて、前記外部声質情報記憶手段に、前記声 質情報の全部または一部の送信を要求し、

前記外部声質情報記憶手段から、前記声質情報の全部または一部を受信する 請求項 19から請求項 22のうちいずれ力 1項記載のメッセージ伝達方法。

[24] 外部声質情報記憶手段にお!、て、送信した声質情報に応じた料金の情報である 声質課金情報を生成する

請求項 23記載のメッセージ伝達方法。

[25] 送信装置力 テキストメッセージを受信する受信装置において、

画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含 む表現情報の声質情報と、前記送信装置から受信したテキストメッセージとにもとづ いて合成音声を生成する音声合成手段と、前記画像構成情報にもとづいて、合成音 声の出力とともに表示する画像の情報を生成する画像情報生成手段と、前記画像情 報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段とを含み 前記音声合成手段は、生成した前記合成音声の区切りを示す情報である区切り情 報を生成して、前記画像表示手段に入力し、

前記画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタ イミングで表示する画像を変化させる

ことを特徴とする受信装置。

[26] 表現情報を予め記憶する表現情報記憶手段を含み、

画像情報生成手段は、前記表現情報から画像構成情報を生成する

請求項 25記載の受信装置。

[27] 表現情報を受信して、前記表現情報から声質情報を生成する声質情報生成手段 を含み、

画像情報生成手段は、前記表現情報を受信して、前記表現情報から画像構成情 報を生成する

請求項 25記載の受信装置。

[28] 画像構成情報の全部または一部を記憶する画像構成情報提供装置から、前記画 像構成情報の全部または一部を受信する

請求項 26または請求項 27記載の受信装置。

[29] 表現情報は、画像構成情報提供装置が記憶する画像構成情報の全部または一部 の位置を示す情報である画像インデックス情報を含み、

画像情報生成手段は、前記画像インデックス情報にもとづいて、前記画像情報提 供装置に、前記画像情報提供装置が記憶する前記画像構成情報の全部または一 部の送信を要求し、前記画像情報提供装置から、前記画像情報提供装置が記憶す る前記画像構成情報の全部または一部を受信する

請求項 28記載の受信装置。

[30] 画像情報提供装置と専用回線で接続された

請求項 28または請求項 29記載の受信装置。

[31] 画像情報提供装置と公衆回線網で接続された

請求項 28または請求項 29記載の受信装置。

[32] 声質情報の全部または一部を記憶する声質情報提供装置から、前記声質情報の 全部または一部を受信する

請求項 26から請求項 31のうちいずれ力 1項記載の受信装置。

[33] 表現情報は、声質情報提供装置が記憶する声質情報の全部または一部の位置を 示す情報である声質インデックス情報を含み、

音声合成手段は、前記声質インデックス情報にもとづいて、前記声質情報提供装 置に、前記声質情報提供装置が記憶する声質情報の全部または一部の送信を要求 し、前記声質情報提供装置から、前記声質情報提供装置が記憶する前記声質情報 の全部または一部を受信する

請求項 32記載の受信装置。

[34] 声質情報提供装置と専用回線で接続された

請求項 32または請求項 33記載の受信装置。

[35] 声質情報提供装置と公衆回線網で接続された

請求項 32または請求項 33記載の受信装置。

[36] 受信装置に伝達するテキストメッセージ、受信装置に表示させる画像の情報である 画像構成情報、および受信装置に生成させるテキストメッセージの合成音声の特徴 の情報である声質情報を含む表現情報とを送信する送信手段を含む

ことを特徴とする送信装置。

[37] コンピュータに、

画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含 む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生 成させ、前記合成音声の区切りを示す情報である区切り情報を生成させる音声合成 処理と、

テキストメッセージの合成音声の出力とともに表示する画像の情報を、前記画像構 成情報にもとづいて生成させる画像情報生成処理と、

前記区切り情報にもとづいて、画像を表示する画像表示手段に、合成音声の区切 りのタイミングで画像を変化させて表示させる画像表示処理と

を実行させることを特徴とするメッセージ伝達プログラム。

[38] コンピュータに、

表現情報を受信して、前記表現情報から声質情報を生成する声質情報生成処理 を実行させ、

画像情報生成処理で、前記表現情報を受信して、前記表現情報から画像構成情 報を生成する処理を実行させる

請求項 37記載のメッセージ伝達プログラム。

[39] コンピュータに、

画像情報生成処理で、画像構成情報の全部または一部を記憶する外部画像構成 情報記憶手段と、前記外部画像構成情報記憶手段が記憶して!/ヽる前記画像構成情 報の全部または一部を送信する画像構成情報送信手段とを含む画像情報提供装置 から、表現情報に含まれ、前記外部画像構成情報記憶手段が記憶する画像構成情 報の全部または一部の位置を示す情報である画像インデックス情報にもとづ 、て、前 記画像情報提供装置が記憶する前記画像構成情報の全部または一部の送信を、前 記画像情報提供装置に要求する処理を実行させ、前記画像情報提供装置から前記 画像構成情報の全部または一部を受信する処理を実行させる

請求項 38記載のメッセージ伝達プログラム。

[40] コンピュータに、

音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶手段 と、前記外部声質情報記憶手段が記憶して 、る前記声質情報の全部または一部を 送信する声質情報送信手段とを含む声質情報提供装置から、表現情報に含まれ、 前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部の位 置を示す情報である声質インデックス情報にもとづ!/、て、前記声質情報提供装置が 記憶する前記声質情報の全部または一部の送信を、前記声質情報提供装置に要求 する処理を実行させ、前記声質情報提供装置から、前記声質情報の全部または一 部を受信する処理を実行させる

請求項 38または請求項 39記載のメッセージ伝達プログラム。