JP4226210B2 - 音声合成電子メール端末 - Google Patents
音声合成電子メール端末 Download PDFInfo
- Publication number
- JP4226210B2 JP4226210B2 JP2000330777A JP2000330777A JP4226210B2 JP 4226210 B2 JP4226210 B2 JP 4226210B2 JP 2000330777 A JP2000330777 A JP 2000330777A JP 2000330777 A JP2000330777 A JP 2000330777A JP 4226210 B2 JP4226210 B2 JP 4226210B2
- Authority
- JP
- Japan
- Prior art keywords
- animation
- data
- image data
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テキストデータの音声合成再生機能、およびアニメーション表示機能を有し、電子メールやその他の通信などにより外部からテキストデータの送受信を行う音声合成電子メール端末に関する。
【０００２】
【従来の技術】
従来より、文章の読み上げを実行するに際して、読み上げる文章の内容に応じた表情をもつ顔のアニメーションを自動的に生成する装置が提案されている（特開平１１−２４２７５１号公報参照）。
【０００３】
この装置は、電子メール本文を読み上げる機能として、メール本文内の感情を表す記号や語調を検出し、そのメールにあった読み上げキャラクタの表情、口の動きのアニメーション表示をすることにより、表現豊かな読み上げを行うようになっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の装置は、予め登録された固定の読み上げキャラクターのアニメーション表示によるものであるため、読み上げキャラクター自体のオリジナリティがないといった問題があった。また、読み上げキャラクターに表情の変化を持たせるために、種々の表情や動作の読み上げキャラクターを用意した場合には、読み上げキャラクターのデータ量が莫大な量になり、これを格納するメモリも大容量のものが必要になるといった問題があった。
【０００５】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、送信者自身あるいは他の人の人物画像ファイルを用いることにより、よりリアルな親和感を伝えることができるとともに、１つの人物画像に種々の着ぐるみアニメーションを重ねて表示することで、データ容量の削減を図った音声合成電子メール端末を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の音声合成電子メール端末は、アニメーションデータを複数記憶しているアニメーションデータ記憶手段と、画像データの添付されているメールを受信する受信手段と、前記受信手段で受信されたメールのテキストデータを音声合成により読み上げる音声合成手段と、前記音声合成手段によって前記メールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいて前記アニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させる表示制御手段とを備えることを特徴とする。
【０００７】
このような特徴を有する本発明によれば、音声合成手段によってメールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいてアニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させることにより、よりリアルな親和感を受信者に伝えることができる。また、メール作成時には、送信者が読み上げキャラクターの細かな動作指定を行うことにより、目で見る文章では伝えにくかった感情、楽しさ、変化などを受信者に正確に伝えることができる。
【０００８】
また、本発明の音声合成電子メール端末によれば、動作指定コード情報は、動作を表す文字列であり、動作指定コード格納部には、この文字列と、その文字列に対応する着ぐるみアニメーションファイルとを対応させた動作指定テーブルが格納されている。これにより、表示制御部は、受信した電子メールのメール本文内に含まれている動作指定コード情報に基づき、対応する着ぐるみアニメーションファイルを動作指定テーブルから読み出し、この読み出した着ぐるみアニメーションと人物画像とを合成して表示する。
【０００９】
また、本発明の音声合成電子メール端末によれば、人物画像データ記憶部に記憶されている画像データが電子メールにて送受信可能に設けてもよい。これにより、送信者自身あるいは他の人の人物画像ファイルをメールで送受信し、送受信された人物画像データの人物に着ぐるみを着せて、読み上げキャラクターを作成できるので、豊富な人物画像データから、変化に富んだリアルな読み上げキャラクターを作成することができる。
【００１０】
また、本発明の音声合成電子メール端末によれば、受信した電子メールのメール本文の文字列を解析する文字列解析部をさらに備え、表示制御部は、前記文字列解析部によりメール本文の文字列が動作指定コード格納部に格納されているアニメーションデータの動作指定コード情報と一致する場合には、その一致する動作指定コード情報に対応する着ぐるみアニメーションデータと人物画像データ記憶部に記憶されている画像データとを合成して表示し、動作させる構成としてもよい。これにより、メール本文内に、読み上げキャラクターの動作を指定する動作指定コード情報を挿入する必要がなく、通常のメール本文を読み上げ時に、文字列解析部が自動的に動作指定コード情報に該当する文字列を解析して動作するため、メールの送信者に手間をかけさせることなく、変化に富んだ読み上げキャラクターの動作を楽しむことができる。
【００１１】
また、本発明の音声合成電子メール端末によれば、人物像を撮影する例えばデジタルカメラを搭載していてもよい。このように、デジタルカメラを搭載し、人物を撮影することで、簡単かつ手軽に人物画像データを取得することができ、より豊富かつリアルな読み上げキャラクターの作成が可能となる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１３】
図２は、本発明の音声合成電子メール端末の外観図である。
【００１４】
この音声合成電子メール端末の端末本体１には、メッセージや画像等の表示を行う表示部２と、各種操作を行うためのキー群６とが設けられている。また、端末本体１には、操作者等の人物を撮影するためのカメラ１３が設けられている。このカメラ１３は、端末本体１に固定されていても、また着脱式であってもよい。
【００１５】
キー群６は、電源をオン／オフする電源キー６１、メールアプリケーションキー６２、メニューキー６３、音声再生スタート／ストップキー６４、ＯＫキー６５、キャンセルキー６６の他、文字入力等を行うための各種キー６７から構成されている。すなわち、本実施形態では、文字入力は各種キー６７を有するキーボードにより行われるが、表示部２をタッチすることで入力可能なタッチパネルにより行われるように構成してもよい。
【００１６】
メールアプリケーションキー６２は、メールアプリケーションを起動するためのキーであり、メニューキー６３は、各画面でメニュー（機能リスト）を表示または非表示にするためのキーである。また、ＯＫキー６５とキャンセルキー６６とは、データの入力時の登録、キャンセルやアラート表示などで、実行、確認またはキャンセルを行うためのキーある。
【００１７】
図１は、本発明の画像ファイルによる音声合成電子メール端末のシステム構成を示すブロック図である。
【００１８】
この音声合成電子メール端末は、大別すると、全体の入出力等の動作演算処理を実行するＣＰＵ４、表示部２の表示制御を行う表示制御部（ＬＣＤドライバ）３、キー群６および図示しないタッチパネルとＣＰＵ４とを接続する入出力ポート５、電話回線や無線回線と接続するための通信ユニット７、ＲＯＭ８、ＲＡＭ９、時計部１０、電源としての電池１１、スピーカ１２、カメラ１３によって構成されている。
【００１９】
ＣＰＵ４は、演算部４１、制御部４２、音声合成制御部４３、データ比較部４４、アニメーション表示制御部４５によって構成されている。
【００２０】
また、ＲＯＭ８は、本端末装置全体の動作制御プログラムと本発明を実現するためのプログラムとを記憶しているプログラム部８１、文字を表示するときに用いる文字フォントを記憶しているＣＧデータ部８２を備えている。
【００２１】
また、ＲＡＭ９は、人物画像データ部９１１および着ぐるみアニメデータ部９１２からなる画像データ部９１、本電子メール端末に登録された音声合成に関するコード情報を記憶している音声コード部９２、受信または発信するメールデータを記憶するメールデータ部９３、動作指定テーブル９４を備えている。
【００２２】
アニメデータ部９１２には、［わらう］、［おどる］、［ピース］、［おこる］、［なく］・・・などの各種表情や動作をアニメ化した着ぐるみアニメデータ（アニメーションファイル）が格納されている。また、動作指定テーブル９４には、図８に示すように、［わらう］、［おどる］、［ピース］、［おこる］、［なく］・・・などの動作指定文字列と、その文字列に対応する着ぐるみアニメファイル（［ｗａｒａｕ．ｇｉｆ］、［Ｏｄｏｒｕ．ｇｉｆ］、［Ｐｅａｃｅ．ｇｉｆ］、［Ｏｋｏｒｕ．ｇｉｆ］、［Ｎａｋｕ．ｇｉｆ］・・・）とが対応付けられて格納されている。
【００２３】
音声合成制御部４３は、図２に示す音声再生スタート／ストップキー６４が押下されると、再生される音声をスピーカ１２から外部に送出する制御を行う。
【００２４】
表示部２は、例えば、ドットマトリクス構成の液晶表示装置（ＬＣＤ）であり、ＣＰＵ４からの制御信号に基づき、表示制御部３の表示バッファ３１に表示内容を書き込むことによって、演算結果やメッセージ等の表示を行う。
【００２５】
ＣＰＵ４のデータ比較部４４は、ＲＡＭ９内の動作指定テーブル９４に登録されている動作指定文字列とメールデータ部９３に格納されている受信メールのメール本文内の文字列との比較を行って、一致する文字列を検出する。また、アニメーション表示制御部４５は、アニメーションデータの表示制御を行う。また、キー群６からのキー入力は、入出力ポート５を介してＣＰＵ４にて処理され、どのキーが入力されたか判断される。
【００２６】
ＲＡＭ９は、電池１１によってバックアップされ、電源オフ時にも内容が消えないようになっている。また、電池１１は、端末装置の電源でもある。
【００２７】
また、カメラ１３で撮影された人物画像データは、ＣＰＵ４を経由してＲＡＭ９の人物画像データ部９１１に保存される。つまり、カメラ（デジタルカメラ）１３を搭載することにより、ＲＡＭ９内の人物画像データ部９１１に格納する人物画像データを撮影することが可能となり、ユーザがオリジナリルの読み上げキャラクターを作成することができる。また、通信ユニット７は、外部と電話回線や無線回線を使用してデータを送受信するものであり、外部から受信した電子メールは、通信ユニット７、ＣＰＵ４を経由して、ＲＡＭ９のメールデータ部９３に保存される。
【００２８】
次に、上記構成の画像ファイルによる音声合成電子メール端末において、着ぐるみアニメーションを重ねた読み上げキャラクターの作成方法について、図３を参照して説明する。
【００２９】
ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の（例えば、［わらう］表情の）着ぐるみアニメーション３２を重ねて表示し、読み上げキャラクター３３として、読み上げ実行時に表示部２に表示する。この場合、人物画像データを動作別（または表情別）にいくつも用意すると、人物画像データ部９１１のデータ容量が莫大になるが、人物画像データを１つ用意し、その上に重ねて表示する着ぐるみアニメーションを複数個用意して適宜変更しながら使用することにより、少ないデータ容量で、より豊かな読み上げキャラクターの感情表現（動作）を行うことが可能となる。
【００３０】
ここで、ＲＡＭ９内の人物画像データ部９１１に格納された人物画像データは、予め用意されているものであってもよく、また、メール送受信時に、カメラ１３により撮影されたもの、または、手書き機能によりオリジナルに作成されたものであってもよい。
【００３１】
次に、読み上げキャラクターの動作指定のためのコード情報を組み込んでメール本文を作成する処理について、図４に示すフローチャートを参照して説明する。
【００３２】
まず、キー群６のメールアプリケーションキー６２を押下して、メールアプリケーションを起動させ（ステップＳ１１）、図５に示すようなメール作成画面を表示部２に表示させる（ステップＳ１２）。そして、キー待ち状態（ステップＳ１３）において、入力された文字列および動作指定コード情報文字列（ただし、絵記号やアイコンなどでもよい）を、図５に示す本文入力エディタ２１に表示する（ステップＳ１４）。図６は、動作指定コード情報をテキスト文字列で本文中に挿入した画面表示例を示している。この例では、動作指定コード情報を［］でくくったテキスト文字列として表示している。
【００３３】
このように、動作指定コード情報をテキスト文字として挿入することにより、インターネットなどで外部へ送信し、アニメーション表示機能を持たない他の端末装置などで受信された場合であっても、受信した他の端末装置に問題を起こす心配がない。つまり、テキスト文字として挿入された動作指定コード情報は、そのままの文字列として画面に表示されるだけである。これにより、送信者が設定した動作指定コード情報をテキスト文として画面上に見ることができるため、実際にアニメーション表示することはできなくても、受信者は、動作の状態を想像することができる。
【００３４】
次に、上記のようにして、読み上げキャラクターの動作指定コード情報が組み込まれたメール本文を本端末で受信し、その受信メールから動作指定コード情報を識別し、この識別した動作指定コード情報に基づいて読み上げキャラクターの動作を表示する処理について、図７に示すフローチャートを参照して説明する。
【００３５】
まず、キー群６の図示しない選択キーが操作されると、ＣＰＵ４はその操作信号に基づき、音声合成再生を行うメール本文をメールデータ部９３から選択する（ステップＳ２１）。その後、音声再生スタート／ストップキー６４のスタートキーが押下されると（ステップＳ２２）、図３で説明したように、ＣＰＵ４のアニメーション表示制御部４５は、ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の（初期設定されている）着ぐるみアニメーション３２を重ね、読み上げキャラクター３３として表示部２に表示する（ステップＳ２３）。
【００３６】
次に、ＣＰＵ４は、メール本文内のテキスト文字列を解析し（ステップＳ１４）、読み上げキャラクターの動作指定コード情報かどうかを判断する（ステップＳ２５）。その結果、動作指定コード情報ではないと判断した場合（ステップＳ２５でＮｏと判断された場合）には、文字列をそのまま音声再生させる（ステップＳ２６）。一方、動作指定コード情報であると判断した場合（ステップＳ２５でＹｅｓと判断された場合）には、動作指定コード情報に対応する着ぐるみアニメーションを人物画像データの上に重ねて表示し（ステップＳ２７）、読み上げキャラクターを動作させる。
【００３７】
ここで、ステップＳ２７での処理の詳細を、図８を参照して説明する。
【００３８】
メール本文を解析した結果、読み上げキャラクターの動作指定コード情報が［わらう］であった場合、図８に示す動作指定テーブル９４により、動作指定コード情報［わらう］には、着ぐるみアニメーションファイル（ｗａｒａｕ．ｇｉｆ）が対応しているので、着ぐるみアニメデータ部９１２に格納されているｗａｒａｕ．ｇｉｆファイルを読み出し、これを先の人物画像データに重ねて表示部２に表示する。これにより、読み上げキャラクターが、指定された笑う動作を行うことになる。
【００３９】
次に、読み上げキャラクターの動作指定コード情報が組み込まれていない通常のメール本文を受信し、その受信メールから読み上げキャラクターの動作を変更する文字列を自動的に解析し、その解析結果に基づいて読み上げキャラクターの動作を変更する処理について、同じく図７に示すフローチャートを参照して説明する。
【００４０】
まず、キー群６の図示しない選択キーが操作されると、ＣＰＵ４はその操作信号に基づき、音声合成再生を行うメール本文をメールデータ部９３から選択する（ステップＳ２１）。その後、音声再生スタート／ストップキー６４のスタートキーが押下されると（ステップＳ２２）、図３で説明したように、ＣＰＵ４のアニメーション表示制御部４５は、ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の着ぐるみアニメーション３２を重ね、読み上げキャラクター３３として表示部２に表示する（ステップＳ２３）。
【００４１】
次に、ＣＰＵ４は、メール本文内のテキスト文字列を解析し（ステップＳ１４）、読み上げキャラクターの動作を変更する情報かどうかを判断する（ステップＳ２５）。ここでの判断は、ＲＡＭ９内の動作指定テーブル９４に登録されている動作指定文字列と、メール本文内の文字列との比較をデータ比較部４４で行って、一致する文字列を検出する処理動作となる。その結果、動作を変更する情報ではないと判断した場合（ステップＳ２５でＮｏと判断された場合）には、文字列をそのまま音声再生させる（ステップＳ２６）。一方、動作を変更する情報であると判断した場合（ステップＳ２５でＹｅｓと判断された場合）には、動作を変更する情報（動作指定コード情報に該当）に対応する着ぐるみアニメーションを人物画像データの上に重ねて表示し（ステップＳ２７）、読み上げキャラクターを動作させる。
【００４２】
ここで、ステップＳ２７での処理の詳細を、図９を参照して説明する。
【００４３】
メール本文を解析した結果、読み上げキャラクターの動作を変更する情報が［なく］であった場合、図９に示す動作指定テーブル９４により、動作を変更する情報［なく］には、着ぐるみアニメーションファイル（Ｎａｋｕ．ｇｉｆ）が対応しているので、着ぐるみアニメデータ部９１２に格納されているＮａｋｕ．ｇｉｆファイルを読み出し、これを先の人物画像データに重ねて表示部２に表示する。これにより、読み上げキャラクターが、指定されたなく動作を行うことになる。
【００４４】
図１０は、このような読み上げキャラクターの動作例をイメージ的に示したものである。すなわち、上記の動作指定コード情報が［なく］であった場合、または、自動的に文字列を解析した結果が動作を変更する情報である［なく］であった場合、着ぐるみアニメーションファイル（Ｎａｋｕ．ｇｉｆ）を表示することにより、読み上げキャラクターが、変更前の表情５１から、泣く表情５２に変更（泣く動作が実行）されている。
【００４５】
なお、動作指定コード情報が組み込まれたメール本文、または動作指定コードが組み込まれていない通常のメール本文を受信した場合において、これらのメールに、送信側端末のカメラ１３で撮影された人物画像データのファイルが添付されている場合には、ＣＰＵ４は、この添付されている人物画像データファイルをＲＡＭ９の人物画像データ部９１１に格納する。このとき、格納する人物画像データファイルと、ＲＡＭ９のメールデータ部９３に格納されるメール本文とに関連付けを行っておく。そして、このメール本文の読み上げ実行時には、読み上げキャラクターの人物画像として、人物画像データ部９１１に格納された先の人物画像データを使用し、この人物画像データに着ぐるみキャラクターを重ね合わせて、表示部２に表示する。これにより、添付されてきた人物画像データが、送信者自身の画像である場合には、読み上げ実行時の読み上げキャラクターが送信者自身のキャラクターとなるので、よりリアルな感情表現（動作）を行うことができる。
【００４６】
【発明の効果】
本発明の音声合成電子メール端末によれば、音声合成手段によってメールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいてアニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させることにより、よりリアルな親和感を相手に伝えることができる。また、メール作成時には、送信者が読み上げキャラクターの細かな動作指定を行うことにより、目で見る文章では伝えにくかった感情、楽しさ、変化などを受信者に正確に伝えることができる。
【図面の簡単な説明】
【図１】 本発明の音声合成電子メール端末のシステム構成を示すブロック図である。
【図２】 本発明の音声合成電子メール端末の外観図である。
【図３】 人物画像に着ぐるみアニメーションを重ねて読み上げキャラクターを作成する説明図である。
【図４】 読み上げキャラクターの動作指定のためのコード情報を組み込んでメール本文を作成する処理動作を説明するためのフローチャートである。
【図５】 表示部に表示されたメール作成画面を示す説明図である。
【図６】 動作指定コード情報をテキスト文字列で本文中に挿入した画面表示例を示す説明図である。
【図７】 動作指定コード情報または動作を変更する文字列の検出に基づいて読み上げキャラクターの動作を表示する処理動作を説明するためのフローチャートである。
【図８】 動作指定コード情報に基づいて読み上げキャラクターの表示処理を行う説明図である。
【図９】 動作を変更する文字列を自動的に解析し、その解析結果に基づいて読み上げキャラクターの表示処理を行う説明図である。
【図１０】 読み上げキャラクターの動作例をイメージ的に示した説明図である。
【符号の説明】
１ 端末本体
２ 表示部
３ 表示制御部
４ ＣＰＵ（表示制御部）
５ 入出力ポート
６ キー群
７ 通信ユニット
８ ＲＯＭ
９ ＲＡＭ
１０ 時計部
１１ 電池
１２ スピーカ
１３ カメラ
４１ 演算部
４２ 制御部
４３ 音声合成制御部
４４ データ比較部（文字列解析部）
４５ アニメーション表示制御部
８１ プログラム部
８２ ＣＧデータ部
９１ 画像データ部
９２ 音声コード部
９３ メールデータ部
９４ 動作指定テーブル
９１１ 人物画像データ部
９１２ 着ぐるみアニメデータ部
【発明の属する技術分野】
本発明は、テキストデータの音声合成再生機能、およびアニメーション表示機能を有し、電子メールやその他の通信などにより外部からテキストデータの送受信を行う音声合成電子メール端末に関する。
【０００２】
【従来の技術】
従来より、文章の読み上げを実行するに際して、読み上げる文章の内容に応じた表情をもつ顔のアニメーションを自動的に生成する装置が提案されている（特開平１１−２４２７５１号公報参照）。
【０００３】
この装置は、電子メール本文を読み上げる機能として、メール本文内の感情を表す記号や語調を検出し、そのメールにあった読み上げキャラクタの表情、口の動きのアニメーション表示をすることにより、表現豊かな読み上げを行うようになっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の装置は、予め登録された固定の読み上げキャラクターのアニメーション表示によるものであるため、読み上げキャラクター自体のオリジナリティがないといった問題があった。また、読み上げキャラクターに表情の変化を持たせるために、種々の表情や動作の読み上げキャラクターを用意した場合には、読み上げキャラクターのデータ量が莫大な量になり、これを格納するメモリも大容量のものが必要になるといった問題があった。
【０００５】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、送信者自身あるいは他の人の人物画像ファイルを用いることにより、よりリアルな親和感を伝えることができるとともに、１つの人物画像に種々の着ぐるみアニメーションを重ねて表示することで、データ容量の削減を図った音声合成電子メール端末を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の音声合成電子メール端末は、アニメーションデータを複数記憶しているアニメーションデータ記憶手段と、画像データの添付されているメールを受信する受信手段と、前記受信手段で受信されたメールのテキストデータを音声合成により読み上げる音声合成手段と、前記音声合成手段によって前記メールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいて前記アニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させる表示制御手段とを備えることを特徴とする。
【０００７】
このような特徴を有する本発明によれば、音声合成手段によってメールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいてアニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させることにより、よりリアルな親和感を受信者に伝えることができる。また、メール作成時には、送信者が読み上げキャラクターの細かな動作指定を行うことにより、目で見る文章では伝えにくかった感情、楽しさ、変化などを受信者に正確に伝えることができる。
【０００８】
また、本発明の音声合成電子メール端末によれば、動作指定コード情報は、動作を表す文字列であり、動作指定コード格納部には、この文字列と、その文字列に対応する着ぐるみアニメーションファイルとを対応させた動作指定テーブルが格納されている。これにより、表示制御部は、受信した電子メールのメール本文内に含まれている動作指定コード情報に基づき、対応する着ぐるみアニメーションファイルを動作指定テーブルから読み出し、この読み出した着ぐるみアニメーションと人物画像とを合成して表示する。
【０００９】
また、本発明の音声合成電子メール端末によれば、人物画像データ記憶部に記憶されている画像データが電子メールにて送受信可能に設けてもよい。これにより、送信者自身あるいは他の人の人物画像ファイルをメールで送受信し、送受信された人物画像データの人物に着ぐるみを着せて、読み上げキャラクターを作成できるので、豊富な人物画像データから、変化に富んだリアルな読み上げキャラクターを作成することができる。
【００１０】
また、本発明の音声合成電子メール端末によれば、受信した電子メールのメール本文の文字列を解析する文字列解析部をさらに備え、表示制御部は、前記文字列解析部によりメール本文の文字列が動作指定コード格納部に格納されているアニメーションデータの動作指定コード情報と一致する場合には、その一致する動作指定コード情報に対応する着ぐるみアニメーションデータと人物画像データ記憶部に記憶されている画像データとを合成して表示し、動作させる構成としてもよい。これにより、メール本文内に、読み上げキャラクターの動作を指定する動作指定コード情報を挿入する必要がなく、通常のメール本文を読み上げ時に、文字列解析部が自動的に動作指定コード情報に該当する文字列を解析して動作するため、メールの送信者に手間をかけさせることなく、変化に富んだ読み上げキャラクターの動作を楽しむことができる。
【００１１】
また、本発明の音声合成電子メール端末によれば、人物像を撮影する例えばデジタルカメラを搭載していてもよい。このように、デジタルカメラを搭載し、人物を撮影することで、簡単かつ手軽に人物画像データを取得することができ、より豊富かつリアルな読み上げキャラクターの作成が可能となる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１３】
図２は、本発明の音声合成電子メール端末の外観図である。
【００１４】
この音声合成電子メール端末の端末本体１には、メッセージや画像等の表示を行う表示部２と、各種操作を行うためのキー群６とが設けられている。また、端末本体１には、操作者等の人物を撮影するためのカメラ１３が設けられている。このカメラ１３は、端末本体１に固定されていても、また着脱式であってもよい。
【００１５】
キー群６は、電源をオン／オフする電源キー６１、メールアプリケーションキー６２、メニューキー６３、音声再生スタート／ストップキー６４、ＯＫキー６５、キャンセルキー６６の他、文字入力等を行うための各種キー６７から構成されている。すなわち、本実施形態では、文字入力は各種キー６７を有するキーボードにより行われるが、表示部２をタッチすることで入力可能なタッチパネルにより行われるように構成してもよい。
【００１６】
メールアプリケーションキー６２は、メールアプリケーションを起動するためのキーであり、メニューキー６３は、各画面でメニュー（機能リスト）を表示または非表示にするためのキーである。また、ＯＫキー６５とキャンセルキー６６とは、データの入力時の登録、キャンセルやアラート表示などで、実行、確認またはキャンセルを行うためのキーある。
【００１７】
図１は、本発明の画像ファイルによる音声合成電子メール端末のシステム構成を示すブロック図である。
【００１８】
この音声合成電子メール端末は、大別すると、全体の入出力等の動作演算処理を実行するＣＰＵ４、表示部２の表示制御を行う表示制御部（ＬＣＤドライバ）３、キー群６および図示しないタッチパネルとＣＰＵ４とを接続する入出力ポート５、電話回線や無線回線と接続するための通信ユニット７、ＲＯＭ８、ＲＡＭ９、時計部１０、電源としての電池１１、スピーカ１２、カメラ１３によって構成されている。
【００１９】
ＣＰＵ４は、演算部４１、制御部４２、音声合成制御部４３、データ比較部４４、アニメーション表示制御部４５によって構成されている。
【００２０】
また、ＲＯＭ８は、本端末装置全体の動作制御プログラムと本発明を実現するためのプログラムとを記憶しているプログラム部８１、文字を表示するときに用いる文字フォントを記憶しているＣＧデータ部８２を備えている。
【００２１】
また、ＲＡＭ９は、人物画像データ部９１１および着ぐるみアニメデータ部９１２からなる画像データ部９１、本電子メール端末に登録された音声合成に関するコード情報を記憶している音声コード部９２、受信または発信するメールデータを記憶するメールデータ部９３、動作指定テーブル９４を備えている。
【００２２】
アニメデータ部９１２には、［わらう］、［おどる］、［ピース］、［おこる］、［なく］・・・などの各種表情や動作をアニメ化した着ぐるみアニメデータ（アニメーションファイル）が格納されている。また、動作指定テーブル９４には、図８に示すように、［わらう］、［おどる］、［ピース］、［おこる］、［なく］・・・などの動作指定文字列と、その文字列に対応する着ぐるみアニメファイル（［ｗａｒａｕ．ｇｉｆ］、［Ｏｄｏｒｕ．ｇｉｆ］、［Ｐｅａｃｅ．ｇｉｆ］、［Ｏｋｏｒｕ．ｇｉｆ］、［Ｎａｋｕ．ｇｉｆ］・・・）とが対応付けられて格納されている。
【００２３】
音声合成制御部４３は、図２に示す音声再生スタート／ストップキー６４が押下されると、再生される音声をスピーカ１２から外部に送出する制御を行う。
【００２４】
表示部２は、例えば、ドットマトリクス構成の液晶表示装置（ＬＣＤ）であり、ＣＰＵ４からの制御信号に基づき、表示制御部３の表示バッファ３１に表示内容を書き込むことによって、演算結果やメッセージ等の表示を行う。
【００２５】
ＣＰＵ４のデータ比較部４４は、ＲＡＭ９内の動作指定テーブル９４に登録されている動作指定文字列とメールデータ部９３に格納されている受信メールのメール本文内の文字列との比較を行って、一致する文字列を検出する。また、アニメーション表示制御部４５は、アニメーションデータの表示制御を行う。また、キー群６からのキー入力は、入出力ポート５を介してＣＰＵ４にて処理され、どのキーが入力されたか判断される。
【００２６】
ＲＡＭ９は、電池１１によってバックアップされ、電源オフ時にも内容が消えないようになっている。また、電池１１は、端末装置の電源でもある。
【００２７】
また、カメラ１３で撮影された人物画像データは、ＣＰＵ４を経由してＲＡＭ９の人物画像データ部９１１に保存される。つまり、カメラ（デジタルカメラ）１３を搭載することにより、ＲＡＭ９内の人物画像データ部９１１に格納する人物画像データを撮影することが可能となり、ユーザがオリジナリルの読み上げキャラクターを作成することができる。また、通信ユニット７は、外部と電話回線や無線回線を使用してデータを送受信するものであり、外部から受信した電子メールは、通信ユニット７、ＣＰＵ４を経由して、ＲＡＭ９のメールデータ部９３に保存される。
【００２８】
次に、上記構成の画像ファイルによる音声合成電子メール端末において、着ぐるみアニメーションを重ねた読み上げキャラクターの作成方法について、図３を参照して説明する。
【００２９】
ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の（例えば、［わらう］表情の）着ぐるみアニメーション３２を重ねて表示し、読み上げキャラクター３３として、読み上げ実行時に表示部２に表示する。この場合、人物画像データを動作別（または表情別）にいくつも用意すると、人物画像データ部９１１のデータ容量が莫大になるが、人物画像データを１つ用意し、その上に重ねて表示する着ぐるみアニメーションを複数個用意して適宜変更しながら使用することにより、少ないデータ容量で、より豊かな読み上げキャラクターの感情表現（動作）を行うことが可能となる。
【００３０】
ここで、ＲＡＭ９内の人物画像データ部９１１に格納された人物画像データは、予め用意されているものであってもよく、また、メール送受信時に、カメラ１３により撮影されたもの、または、手書き機能によりオリジナルに作成されたものであってもよい。
【００３１】
次に、読み上げキャラクターの動作指定のためのコード情報を組み込んでメール本文を作成する処理について、図４に示すフローチャートを参照して説明する。
【００３２】
まず、キー群６のメールアプリケーションキー６２を押下して、メールアプリケーションを起動させ（ステップＳ１１）、図５に示すようなメール作成画面を表示部２に表示させる（ステップＳ１２）。そして、キー待ち状態（ステップＳ１３）において、入力された文字列および動作指定コード情報文字列（ただし、絵記号やアイコンなどでもよい）を、図５に示す本文入力エディタ２１に表示する（ステップＳ１４）。図６は、動作指定コード情報をテキスト文字列で本文中に挿入した画面表示例を示している。この例では、動作指定コード情報を［］でくくったテキスト文字列として表示している。
【００３３】
このように、動作指定コード情報をテキスト文字として挿入することにより、インターネットなどで外部へ送信し、アニメーション表示機能を持たない他の端末装置などで受信された場合であっても、受信した他の端末装置に問題を起こす心配がない。つまり、テキスト文字として挿入された動作指定コード情報は、そのままの文字列として画面に表示されるだけである。これにより、送信者が設定した動作指定コード情報をテキスト文として画面上に見ることができるため、実際にアニメーション表示することはできなくても、受信者は、動作の状態を想像することができる。
【００３４】
次に、上記のようにして、読み上げキャラクターの動作指定コード情報が組み込まれたメール本文を本端末で受信し、その受信メールから動作指定コード情報を識別し、この識別した動作指定コード情報に基づいて読み上げキャラクターの動作を表示する処理について、図７に示すフローチャートを参照して説明する。
【００３５】
まず、キー群６の図示しない選択キーが操作されると、ＣＰＵ４はその操作信号に基づき、音声合成再生を行うメール本文をメールデータ部９３から選択する（ステップＳ２１）。その後、音声再生スタート／ストップキー６４のスタートキーが押下されると（ステップＳ２２）、図３で説明したように、ＣＰＵ４のアニメーション表示制御部４５は、ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の（初期設定されている）着ぐるみアニメーション３２を重ね、読み上げキャラクター３３として表示部２に表示する（ステップＳ２３）。
【００３６】
次に、ＣＰＵ４は、メール本文内のテキスト文字列を解析し（ステップＳ１４）、読み上げキャラクターの動作指定コード情報かどうかを判断する（ステップＳ２５）。その結果、動作指定コード情報ではないと判断した場合（ステップＳ２５でＮｏと判断された場合）には、文字列をそのまま音声再生させる（ステップＳ２６）。一方、動作指定コード情報であると判断した場合（ステップＳ２５でＹｅｓと判断された場合）には、動作指定コード情報に対応する着ぐるみアニメーションを人物画像データの上に重ねて表示し（ステップＳ２７）、読み上げキャラクターを動作させる。
【００３７】
ここで、ステップＳ２７での処理の詳細を、図８を参照して説明する。
【００３８】
メール本文を解析した結果、読み上げキャラクターの動作指定コード情報が［わらう］であった場合、図８に示す動作指定テーブル９４により、動作指定コード情報［わらう］には、着ぐるみアニメーションファイル（ｗａｒａｕ．ｇｉｆ）が対応しているので、着ぐるみアニメデータ部９１２に格納されているｗａｒａｕ．ｇｉｆファイルを読み出し、これを先の人物画像データに重ねて表示部２に表示する。これにより、読み上げキャラクターが、指定された笑う動作を行うことになる。
【００３９】
次に、読み上げキャラクターの動作指定コード情報が組み込まれていない通常のメール本文を受信し、その受信メールから読み上げキャラクターの動作を変更する文字列を自動的に解析し、その解析結果に基づいて読み上げキャラクターの動作を変更する処理について、同じく図７に示すフローチャートを参照して説明する。
【００４０】
まず、キー群６の図示しない選択キーが操作されると、ＣＰＵ４はその操作信号に基づき、音声合成再生を行うメール本文をメールデータ部９３から選択する（ステップＳ２１）。その後、音声再生スタート／ストップキー６４のスタートキーが押下されると（ステップＳ２２）、図３で説明したように、ＣＰＵ４のアニメーション表示制御部４５は、ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の着ぐるみアニメーション３２を重ね、読み上げキャラクター３３として表示部２に表示する（ステップＳ２３）。
【００４１】
次に、ＣＰＵ４は、メール本文内のテキスト文字列を解析し（ステップＳ１４）、読み上げキャラクターの動作を変更する情報かどうかを判断する（ステップＳ２５）。ここでの判断は、ＲＡＭ９内の動作指定テーブル９４に登録されている動作指定文字列と、メール本文内の文字列との比較をデータ比較部４４で行って、一致する文字列を検出する処理動作となる。その結果、動作を変更する情報ではないと判断した場合（ステップＳ２５でＮｏと判断された場合）には、文字列をそのまま音声再生させる（ステップＳ２６）。一方、動作を変更する情報であると判断した場合（ステップＳ２５でＹｅｓと判断された場合）には、動作を変更する情報（動作指定コード情報に該当）に対応する着ぐるみアニメーションを人物画像データの上に重ねて表示し（ステップＳ２７）、読み上げキャラクターを動作させる。
【００４２】
ここで、ステップＳ２７での処理の詳細を、図９を参照して説明する。
【００４３】
メール本文を解析した結果、読み上げキャラクターの動作を変更する情報が［なく］であった場合、図９に示す動作指定テーブル９４により、動作を変更する情報［なく］には、着ぐるみアニメーションファイル（Ｎａｋｕ．ｇｉｆ）が対応しているので、着ぐるみアニメデータ部９１２に格納されているＮａｋｕ．ｇｉｆファイルを読み出し、これを先の人物画像データに重ねて表示部２に表示する。これにより、読み上げキャラクターが、指定されたなく動作を行うことになる。
【００４４】
図１０は、このような読み上げキャラクターの動作例をイメージ的に示したものである。すなわち、上記の動作指定コード情報が［なく］であった場合、または、自動的に文字列を解析した結果が動作を変更する情報である［なく］であった場合、着ぐるみアニメーションファイル（Ｎａｋｕ．ｇｉｆ）を表示することにより、読み上げキャラクターが、変更前の表情５１から、泣く表情５２に変更（泣く動作が実行）されている。
【００４５】
なお、動作指定コード情報が組み込まれたメール本文、または動作指定コードが組み込まれていない通常のメール本文を受信した場合において、これらのメールに、送信側端末のカメラ１３で撮影された人物画像データのファイルが添付されている場合には、ＣＰＵ４は、この添付されている人物画像データファイルをＲＡＭ９の人物画像データ部９１１に格納する。このとき、格納する人物画像データファイルと、ＲＡＭ９のメールデータ部９３に格納されるメール本文とに関連付けを行っておく。そして、このメール本文の読み上げ実行時には、読み上げキャラクターの人物画像として、人物画像データ部９１１に格納された先の人物画像データを使用し、この人物画像データに着ぐるみキャラクターを重ね合わせて、表示部２に表示する。これにより、添付されてきた人物画像データが、送信者自身の画像である場合には、読み上げ実行時の読み上げキャラクターが送信者自身のキャラクターとなるので、よりリアルな感情表現（動作）を行うことができる。
【００４６】
【発明の効果】
本発明の音声合成電子メール端末によれば、音声合成手段によってメールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいてアニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させることにより、よりリアルな親和感を相手に伝えることができる。また、メール作成時には、送信者が読み上げキャラクターの細かな動作指定を行うことにより、目で見る文章では伝えにくかった感情、楽しさ、変化などを受信者に正確に伝えることができる。
【図面の簡単な説明】
【図１】 本発明の音声合成電子メール端末のシステム構成を示すブロック図である。
【図２】 本発明の音声合成電子メール端末の外観図である。
【図３】 人物画像に着ぐるみアニメーションを重ねて読み上げキャラクターを作成する説明図である。
【図４】 読み上げキャラクターの動作指定のためのコード情報を組み込んでメール本文を作成する処理動作を説明するためのフローチャートである。
【図５】 表示部に表示されたメール作成画面を示す説明図である。
【図６】 動作指定コード情報をテキスト文字列で本文中に挿入した画面表示例を示す説明図である。
【図７】 動作指定コード情報または動作を変更する文字列の検出に基づいて読み上げキャラクターの動作を表示する処理動作を説明するためのフローチャートである。
【図８】 動作指定コード情報に基づいて読み上げキャラクターの表示処理を行う説明図である。
【図９】 動作を変更する文字列を自動的に解析し、その解析結果に基づいて読み上げキャラクターの表示処理を行う説明図である。
【図１０】 読み上げキャラクターの動作例をイメージ的に示した説明図である。
【符号の説明】
１ 端末本体
２ 表示部
３ 表示制御部
４ ＣＰＵ（表示制御部）
５ 入出力ポート
６ キー群
７ 通信ユニット
８ ＲＯＭ
９ ＲＡＭ
１０ 時計部
１１ 電池
１２ スピーカ
１３ カメラ
４１ 演算部
４２ 制御部
４３ 音声合成制御部
４４ データ比較部（文字列解析部）
４５ アニメーション表示制御部
８１ プログラム部
８２ ＣＧデータ部
９１ 画像データ部
９２ 音声コード部
９３ メールデータ部
９４ 動作指定テーブル
９１１ 人物画像データ部
９１２ 着ぐるみアニメデータ部
Claims (2)
- アニメーションデータを複数記憶しているアニメーションデータ記憶手段と、
画像データの添付されているメールを受信する受信手段と、
前記受信手段で受信されたメールのテキストデータを音声合成により読み上げる音声合成手段と、
前記音声合成手段によって前記メールのテキストデータを読み上げる際に、該テキストデータ中に含まれる動作指定コード情報に基づいて前記アニメーションデータ記憶手段の中から選択されたアニメーションデータと、前記メールに添付されている画像データとを合成して表示し、動作させる表示制御手段とを備えることを特徴とする音声合成電子メール端末。 - 前記動作指定コード情報は、動作を表す文字列であることを特徴とする請求項１に記載の音声合成電子メール端末。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000330777A JP4226210B2 (ja) | 2000-10-30 | 2000-10-30 | 音声合成電子メール端末 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000330777A JP4226210B2 (ja) | 2000-10-30 | 2000-10-30 | 音声合成電子メール端末 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002132403A JP2002132403A (ja) | 2002-05-10 |
| JP4226210B2 true JP4226210B2 (ja) | 2009-02-18 |
Family
ID=18807237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000330777A Expired - Fee Related JP4226210B2 (ja) | 2000-10-30 | 2000-10-30 | 音声合成電子メール端末 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4226210B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101165300B1 (ko) * | 2009-04-08 | 2012-07-19 | 이정훈 | 패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 |
| JP2022061363A (ja) * | 2020-10-06 | 2022-04-18 | シャープ株式会社 | 音声メッセージ付画像の生成制御装置および生成方法 |
-
2000
- 2000-10-30 JP JP2000330777A patent/JP4226210B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002132403A (ja) | 2002-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2488232C2 (ru) | Сеть связи и устройства для преобразования текста в речь и текста в анимацию лица | |
| JP2004198872A (ja) | 端末装置およびサーバ | |
| JP2005115896A (ja) | 通信装置及び通信方法 | |
| JP4226210B2 (ja) | 音声合成電子メール端末 | |
| JP2003143257A (ja) | 携帯電話装置、携帯端末装置、携帯電話装置の制御プログラム、および携帯端末装置の制御プログラム | |
| US6925437B2 (en) | Electronic mail device and system | |
| JP2004023225A (ja) | 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法 | |
| JP2002342234A (ja) | 表示方法 | |
| JP2005062420A (ja) | コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム | |
| JP4722010B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、および情報処理プログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP2007122561A (ja) | 携帯端末装置および似顔絵データ提供システム | |
| JP2002073507A (ja) | 電子メールシステム及び電子メール装置 | |
| JP2004072776A (ja) | 携帯電話装置、携帯電話装置の制御方法、携帯電話装置の制御プログラム、および携帯電話装置の制御プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP2005249880A (ja) | 携帯式通信端末によるディジタル絵本システム | |
| KR100474305B1 (ko) | 이동 통신 단말기의 멀티미디어 메시지 작성을 위한 사용자 인터페이스 방법 | |
| JP4531962B2 (ja) | 電子メールシステム並びに電子メール出力処理方法およびそのプログラムが記録された記録媒体 | |
| JP2008108275A (ja) | 端末装置 | |
| JP2002229914A (ja) | 電子メール用コミックメーカプログラム | |
| JP4256435B2 (ja) | メールシステム、メール送信方法およびプログラム | |
| JP2005216087A (ja) | 電子メール受信装置及び電子メール送信装置 | |
| JP3681310B2 (ja) | 文書表示装置 | |
| JP2002374366A (ja) | 通信装置および通信システム | |
| JP4042580B2 (ja) | 発音記述言語による音声合成をする端末装置 | |
| JP2001350704A (ja) | 電子装置、記憶媒体及びコンピュータプログラム | |
| JP2008054340A (ja) | 情報通信システムおよびそのデータ通信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060413 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060829 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060920 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |