JPH09138767A - 感情表現の通信装置 - Google Patents

Abstract

(57)【要約】 【課題】 少ない量のデータを送信して送信者の感情を
受信者に伝える。 【解決手段】 送信者は、通信装置１の入力手段を用い
て送信メッセージを送信処理回路６に入力する。回路６
では、送信メッセージに送信者を識別する識別信号と、
感情を示す感情信号とを付加して送信データを作成し、
伝送路を介して受信側の通信装置１に送信する。受信側
の通信装置１の受信処理回路１０は、送信データを送信
した通信装置との間の通信が初回であるときには、送信
データのうち送信者を表示する画像に関する情報をデー
タメモリ１２にストアする。受信処理回路１０は、受信
した送信データ中の送信メッセージを表示装置１３の目
視表示領域１３ａに目視表示する。さらに、識別信号を
判別して、対応する画像を感情信号に対応した状態で変
更して目視表示する。さらに、送信メッセージは、感情
信号に応じた音響によって音響化され、スピーカ１５か
ら出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パソコン（パーソ
ナルコンピュータ）通信装置および電子会議システムな
ど、回線で接続された複数のパーソナルコンピュータの
間で相互にデータを通信する感情表現の通信装置に関す
る。

【０００２】

【従来の技術】近年、パーソナルコンピュータ間でのデ
ータ通信、たとえばパソコン（パーソナルコンピュー
タ）通信および電子会議などが行われている。パソコン
通信とは、公衆電話回線などデータ回線で接続された複
数のパソコン間で、主にキャラクタコードを用いてデー
タを相互に送受信する通信である。電子メールとは、パ
ソコン通信において、送信者が、１または複数の受信者
に向けて送信するデータを指す。電子メールは、主にキ
ャラクタコードを用いてデータを構成する。

【０００３】このような電子メールでは、他者に送信す
るべきデータは、キャラクタで表される言語から成る文
章として受信者に提示される。ゆえに文章として表れな
い送信者の微妙な感情を受信者に提示することが困難で
あった。従来技術のパソコン通信においては、感情表現
としてフェイスマークと称される記号の集合を文章に付
加して送信する。このようなデータを受信した通信装置
では、フェイスマークは文章に付加された形で目視表示
される。受信者は文章の内容を読取るとともに、フェイ
スマークを目視して、文章に表れない送信者の感情を判
断している。フェイスマークは種類が少なく、フェイス
マークによって表すことができる感情もまた少ないの
で、感情表現が限定される。

【０００４】特開平５−６１６３７号公開公報には、フ
ェイスマークを用い、送信するデータに感情を付加する
事ができる音声合成メールシステムが開示されている。
本公報の音声合成メールシステムでは、送信側のシステ
ム使用者は、通信すべきデータである文章の終端にフェ
イスマークを付加して受信側のシステムに送信する。フ
ェイスマークが付加された文章が受信側の音声合成メー
ルシステムに入力されると、受信側のシステムでは音声
合成を行い、文章を音声化て出力する。このとき合成さ
れる音声には、予めフェイスマークに対応して定められ
ているイントネーションがつけられる。これによって、
従来は使用者は文章に付された感情を判断するために、
音声化された文章を聴取するのとは別に目視表示される
フェイスマークなどを目視していたけれども、本発明の
システムでは、イントネーションを付して出力された音
声を聴取するだけで付された感情をも判断することがで
きる。

【０００５】このような音声合成メールシステムでは、
コンピュータに入力することができるフェイスマークの
種類が限られている。ゆえに、このシステムでは、イン
トネーションで表現される感情表現の種類が少なくな
る。これによって、受信側のシステム使用者に微妙なニ
ュアンスなどの感情を伝えることが困難である。

【０００６】パソコン通信や電子会議などでは、送信さ
れた電子メールなどのデータは、キャラクタなどを用い
た文章として目視表示される。キャラクタとは、漢字、
平仮名、カタカナ、欧米文字、数字、記号、絵記号など
の概念を含むものである。また、電子会議システムなど
では、文章表示されるデータの他に、データの送信者を
示す画像をも受信者に対して送信することがある。

【０００７】音声データと画像データとを送信するテレ
ビ電話などに関する従来技術が、特開平４−２６０２９
１号公開公報に開示されている。本公報の画像伝送方式
では、カメラなど撮像部を用いて送信者の顔の画像を撮
影し、その顔の画像を受信部に対して送信する。このと
き、送信者が着席する椅子には、送信者の姿勢を検出す
る検出部が設けられている。送信者の姿勢の変化は、送
信者の感情の現れであるとして検出部で検出される。検
出部での検出結果から推測される感情は、撮像部で撮影
された画像とともに受信部に送信される。受信部では、
送信された画像を目視表示するとともに、送信された感
情に応じて画像の色を変化させる。この色変化によっ
て、感情を表現する。

【０００８】

【発明が解決しようとする課題】上述したように、画像
伝送方式の通信装置では、画像データを含むデータを送
信側から受信側に送信して、画像の変化によって感情を
表現する。このとき、画像データはキャラクタコードな
どで表される文章のデータと比較してデータ量が多いの
で、送信するべきデータのデータ量が増大する。特に送
信者の姿勢などが頻繁に変化すると、その都度撮像部は
画像を撮像し直して受信部に送信しなければならないの
で、送信されるデータ量がさらに増加する。送信すべき
データのデータ量が増大するほど、データ全体を送信す
る時間などが増加する。また、通信装置の負担も増加す
る。

【０００９】本発明の目的は、送信者の感情を受信者に
伝え、かつ送信側の装置から受信側の装置に送信される
データのデータ量を減少させることができる感情表現の
通信装置である。

【００１０】

【課題を解決するための手段】本発明は、（ａ）少なく
とも、感情表現をすべき人または人以外の物である複数
の表現対象体を識別する識別信号と、各表現対象体毎の
複数の感情の表現に個別的に対応する感情信号とを送信
する送信手段と、（ｂ）受信手段であって、各表現対象
体の画像を、各感情信号に対応する表示態様で表示する
ためのデータをストアするメモリと、目視表示手段と、
送信手段から送信される識別信号と感情信号とに対応し
た表現対象体の画像と表示態様とに関するデータをメモ
リから読出して、目視表示手段に表現対象体の画像を表
示態様に従って表示させる制御手段とを有する受信手段
とを含むことを特徴とする感情表現の通信装置である。
本発明に従えば、通信装置は、他の通信装置との間で相
互にデータを送受信する。通信装置は、送信手段と受信
手段とを有する。送信手段は、少なくとも識別信号と感
情信号とを受信側の通信装置の受信手段に対し送信す
る。識別信号は、たとえばデータを送信する送信側の通
信装置の使用者、すなわち送信者を示す信号であり、複
数の表現対象体の中から、送信者を示す表現対象体を選
び出すための信号である。表現対象体は、データを送信
した送信者を受信側の通信装置の使用者である受信者に
目視表示して示すものであり、感情表現を行うことがで
きる人または人以外のものを示す画像である。感情信号
は、表現対象体を用いて行われる感情の表現およびその
他の感情の表現の表現態様を指定するものであり、複数
の感情の表現に対して、個別的に対応している。受信手
段では、他の通信装置の送信手段から送信された送信デ
ータであり、少なくとも識別信号と感情信号とを含む送
信データを受信する。受信手段は、メモリに、複数の識
別信号に個別的に対応する表現対象体の画像と、各表現
対象体毎の複数の感情信号にそれぞれ対応する表現対象
体の画像の表示態様となどに関し、表示態様に従って表
現対象体を表示するためのデータをストアしている。画
像の表示態様とは、たとえば画像の表示色を変更した
り、画像の表示位置を変更してアニメーションのような
動きを行わせることなどである。また、「怒り」である
感情を表現するために、無表情な人の顔である表現対象
体の画像を怒ったような表情の顔の表情の画像に変更す
ることなども行われる。制御手段は、まず送信された識
別信号および感情信号を判別して、識別信号に対応した
表現対象体を感情信号が示す感情に対応した表示態様に
従って表示させるためのデータをメモリから読出す。こ
のデータに基づいて、表現対象体の画像に関するデータ
を、表示態様に沿って変更して加工する。この加工され
た画像のデータが、目視表示手段に画像化して目視表示
される。これによって、受信手段の目視表示手段には、
識別信号によって示される送信者を示す表現対象体が、
感情信号で示される感情を表すような態様で表示され
る。したがって、たとえば静止画像などを付加した文章
などが送受信される電子会議システムおよびパソコン通
信などにおいて、文章表示だけでは伝わりにくい感情な
どを確実に伝えることができる。

【００１１】また本発明は、前記表現対象体の画像は、
顔の画像であり、前記表現対象体の画像の表示態様は、
各感情信号に対応し、感情に対応した表情を示す表現対
象体の顔の画像であり、前記制御手段は、送信された感
情信号に対応した表情を示す表現対象体の顔の画像を選
択して、前記目視表示手段に目視表示させることを特徴
とする。本発明に従えば、表現対象体の画像は、感情に
対応した表情を示すことが可能な基本の顔の画像であ
る。たとえば、表現対象体の画像は、無表情な顔の画像
である。この画像を用いて感情を示す表示態様として、
感情に対応した表情を示す同一対象の顔の画像を複数用
意する。この基本の顔の画像は、送信者本人の写真およ
び似顔絵などである。また、送信者本人の顔の画像でな
くても、他の人物または動物の顔の画像など、表情を変
更することができる顔の画像などでもよい。また感情を
示す表情を示すことができる画像であれば、どのような
顔の画像であってもよい。この基本の顔の画像は、各送
信者ごと、すなわち識別信号ごとに異なる。前記制御手
段は、送信者側から信号が何も送信されていないとき、
および識別信号だけが送信されたときなどは、表現対象
体である基本の顔の画像に関するデータをメモリから読
出し、目視表示手段に目視表示させる。また、識別信号
に感情信号が付加されて送信されているときには、感情
対象体の画像と同じ顔の画像であり、かつ感情信号に対
応した表情を示している顔の画像のデータを選択してメ
モリから読出し、基本の顔の画像を消去して、読出され
た画像のデータを目視表示させる。このように、顔の画
像を差換えて表示することによって、感情信号に対応し
た表情の顔の画像を容易に表示することができる。ま
た、感情に対応した表情を示す顔の画像は、たとえば発
明の実施の形態の図８で示すように、顔全体の画像であ
る。また、図９で示すように、表現対象体の顔の画像の
うち、感情を示す顔の画像と表現対象体の顔の画像との
間で異なる部分、たとえば目および口などの部位だけの
画像を差換えて表示してもよい。

【００１２】また本発明は、前記表現対象体の画像は、
顔の画像であり、前記表現対象体の画像の表示態様は、
各感情信号に対応し、顔の画像の形状を変形させる形状
変更条件であり、前記制御手段は、送信された識別信号
に対応する表現対象体の画像を、送信された感情信号に
対応する形状変更条件に基づいて変形して、前記目視表
示手段に目視表示させることを特徴とする。本発明に従
えば、表現対象体の画像は、感情に対応した表情を示す
ことが可能な顔の画像である。たとえば、表現対象体の
画像は、無表情な顔の画像である。この顔の画像を、各
感情信号に対応して顔の画像の形状を変形させる変更条
件である表示態様に沿って形状を変更することによっ
て、感情に対応した表情を示す表現対象体の顔の画像を
作成する。前記制御手段は、識別信号および感情信号が
受信されると、まず識別信号に対応した基本の顔の画像
に関するデータをメモリから読出す。次いでこの顔の画
像に関するデータを、形状変更条件に基づいて変形す
る。たとえば、本発明の実施の形態の図９で示すよう
に、顔の画像のうち目および口などの部位の形状を条件
に基づいてマイクロコンピュータなどを用いた演算処理
によって変形し、感情を示す目および口の画像を作成す
る。たとえば、「怒り」である感情信号が受信されたと
きには、目の端をつり上げたり、口を閉じたりするよう
に顔の画像の各部位の形状を変形する。最後に基本の顔
の画像を消去して、形状が変形された画像データを目視
表示手段に目視表示させる。これによって、送信された
感情信号で示される感情を表示する。形状変更条件は、
たとえば受信手段に備えられる画像変形のためのプログ
ラムを制御するパラメータである。したがって、各感情
に対応した表情を示す表現対象体の顔の画像の画像デー
タを送信するときと比較して、表示態様のデータ量を減
少させることができる。したがって、メモリ容量などを
減少させることができ、通信装置の負担を減らすことが
できる。

【００１３】また本発明は、前記表現対象体の画像の表
示態様は、各感情信号に対応し、前記目視表示手段の目
視表示領域内における予め定める時間毎の画像の表示位
置であり、前記制御手段は、送信された識別信号に対応
する表現対象体の画像を、目視表示領域内の送信された
感情信号に対応する表示位置に、予め定める時間毎に順
次移動させて表示させることを特徴とする。本発明に従
えば、感情信号を受信すると、目視表示手段の目視表示
領域内に表示されている表現対象体の画像は、目視表示
領域内を感情信号に応じた動きに沿って移動するアニメ
ーションを行う。メモリには、表示態様として、各感情
信号に対応した画像の動きがストアされている。画像の
動きは、感情信号を受信してから予め定める時間毎に画
像が位置するべき表示位置によって示される。制御手段
は、識別信号および感情信号を受信すると、まず識別信
号に対応した表現対象体の画像をメモリから読出す。次
いで、メモリから感情信号に対応した表示態様を読出
し、予め定める時間毎の画像の表示位置を決定する。さ
らに制御手段は、予め定める時間が経過する度に、感情
信号に対応して決定される表示態様が示す表示位置に表
現対象体の画像を新たに表示し、新たに表示された画像
の表示前に表示されていた表現対象体の画像を消去す
る。このように、予め定める時間が経過する度に、順次
画像の表示位置を移動させつつ表示を続ける。これによ
って受信者には、表現対象体の画像が表示手段の目視表
示領域内を移動しているように示される。表現対象体を
表示する表示位置の位置変化の態様は、示すべき感情毎
に異なる。たとえば、「喜び」である感情を示すときに
は、表現対象体の画像が目視表示領域内を飛びまわって
いると受信者が目視して感じるような動きを行う。「怒
り」である感情を示すときには、表現対象体の画像が、
他の送信者を示す表現対象体の画像に体当りすると受信
者が感じるような動きを行う。このように、表現対象体
の画像を位置変化させる個々の変化量を感情毎に変更す
ることによって、感情を表現することができる。

【００１４】また本発明は、前記表現対象体の画像の表
示態様は、各感情信号に対応し、前記表現対象体の画像
の表示色の色相、明度、および彩度のうち少なくとも１
つを変更する色変更条件であり、前記制御手段は、送信
された識別信号に対応する表現対象体の画像を、送信さ
れた感情信号に対応する色変更条件に応じて表示色を変
更して、前記目視表示手段に目視表示させることを特徴
とする。本発明に従えば、表現対象体の画像を用いた感
情の表示は、たとえば表現対象体の画像を表示する表示
色を感情に応じて変更することによって行われる。画像
の表示態様は、個々の感情信号に対応し、表現対象体の
画像の表示色の色相、明度、および彩度のうちのいずれ
か１つの要素を変更する色変更条件である。識別信号お
よび感情信号が受信されると、前記制御手段は、識別信
号に対応した表現対象体の画像に関するデータ、および
感情信号に対応する表現対象体の表示態様に関するデー
タを読出す。次いで表現対象体の画像に関するデータ
は、その画像を表示する表示色に関するデータのうち色
相、明度、および彩度のいずれか１つのパラメータが、
感情信号に対応した表示態様によって決定される値に沿
うように変更される。最後に表示色のパラメータが変更
された画像のデータが、目視表示手段に画像化されて目
視表示される。これによって、感情信号によって送信さ
れた感情を、表現対象体の画像の色変化によって目視表
示することができる。たとえば、たとえば「怒り」であ
る感情を示すときには、表現対象体の画像を赤系統の色
で表示し、「悲しみ」である感情を示すときには、表現
対象体の画像を青系統の色で表示する。同一形状の画像
であっても、表示色を変更した画像は画像が変更されて
いることが識別しやすい。したがって、送信者が目視表
示して提示したいと考える感情を、受信者に対して明確
に表示することができる。かつ、受信者は、画像を一瞥
するだけで、付加された感情を把握することができる。

【００１５】また本発明は、前記表現対象体の画像は、
顔の画像であり、前記表現対象体の画像の表示態様は、
各感情信号に対応し、感情に対応した表情を示し、かつ
表示色の色相、明度、および彩度のうちの少なくとも１
つが変更された表現対象体の顔の変更画像であり、前記
制御手段は、送信された感情信号に対応した表現対象体
の顔の変更画像を選択してメモリから読出し、前記目視
表示手段に目視表示させることを特徴とする。本発明に
従えば、前記表現対象体の画像は、送信者を表し、かつ
感情を示すことが可能な顔の画像である。通信装置は、
この顔の画像に対して、感情信号に応じて顔の表情を変
更するとともに、顔を表示する表示色を変更して表示す
る。通信装置のメモリには、画像の表示態様として、複
数の表現対象体の顔の変更画像を有する。各変更画像
は、表現対象体の顔の画像と同一の顔を示す画像であ
り、かつ感情に対応した表情となるように、たとえば
目、口などの各部位の形状が変更されている。さらに、
画像を表示する表示色のうち、表示色の色相、明度およ
び彩度のうち少なくとも１つの要素が、基本となる表現
対象体の画像と比べて異なる。制御手段は、識別信号お
よび感情信号が受信されると、識別信号に対応する表現
対象体の顔であって、かつ感情信号に対応する感情を示
す変更画像に関するデータをメモリから読出す。次い
で、目視表示手段に表示されている基本の表現対象体の
顔の画像を消去して、かわりに読出した変更画像のデー
タをを目視表示する。表現対象体の顔の画像に対し、表
情を示す部位の形状だけでなく顔の全体の表示色を変更
した画像は、画像の変化が大きくより識別しやすくな
る。ゆえに、示すべき感情がより明確になる。したがっ
て、示すべき感情をさらに明確に目視表示して提示する
ことができる。

【００１６】また本発明は、前記表現対象体の画像は、
顔の画像であり、前記表現対象体の画像の表示態様は、
各感情信号に対応し、顔の画像を変形させ、かつ画像の
表示色の色相、明度、および彩度のいずれか１つを変更
させる画像変更条件であり、前記制御手段は、送信され
た識別信号に対応する表現対象体の画像を、送信された
感情信号に対応する画像変更条件に基づいて形状および
表示色を変更して、前記目視表示手段に目視表示させる
ことを特徴とする。本発明に従えば、前記表現対象体の
画像は、感情に対応した表情を示すことが可能な基本と
なる顔の画像である。さらに、画像の表示態様は、各感
情信号に対応して、顔の画像の形状を変形し、かつ画像
の表示色を変更するために設定された条件である画像変
更条件である。通信装置で識別信号および感情信号が受
信されると、制御手段は、まず識別信号に対応する表現
対象体の画像に関するデータ、および感情信号に対応す
る画像変更条件をメモリから読出す。次いでこの画像の
データを、感情信号に対応する画像変更条件に基づいて
変更する。たとえば、基本となる顔の画像のうち、感情
を示す部位である目および口などの形状を変形させる。
さらに、顔の画像を表示する表示色の色相、明度、およ
び彩度の内の少なくとも１つの要素を感情信号に応じた
ものに変更する。この変更された画像のデータが、目視
表示手段に目視表示される。前述したように、表現対象
体の顔の画像の形状および表示色を変更した画像は、画
像の変化が大きくより識別しやすくなるので、示すべき
感情をさらに明確に提示することができる。かつ、表示
態様として基本となる表現対象体の画像を変更する条件
を設定しておくことによって、各感情信号毎の顔の変更
画像をメモリにストアしておくときよりも、メモリにス
トアすべき表示態様のデータ量を減少させることができ
る。したがって、通信装置の負担が減少する。

【００１７】また本発明は、前記表現対象体の画像の各
表示態様は、各感情信号に対応した音響表示に対応して
おり、前記受信手段は、音響表示を出力する音響表示手
段をさらに含み、前記制御手段は、送信された識別信号
に対応する表示対象体の画像を、送信された感情信号に
応じた表示態様に沿って前記目視表示手段に目視表示さ
せると共に、送信された感情信号に対応した音響表示を
音響表示手段から出力させることを特徴とする。本発明
に従えば、通信装置では、表現対象体の画像の表示態様
として表現対象体の画像を表示すると同時に、各感情信
号に対応した音響表示を行う。通信装置のメモリには、
表示態様として各感情信号に対応した音響に関するデー
タがストアされている。通信装置の前記受信手段におい
て識別信号と感情受信とが受信されると、制御手段は、
まずメモリから表現対象体の画像に関するデータを読出
し目視表示手段に目視表示させる。このとき、表示され
る画像は、感情信号に応じた表示態様に沿って変更され
ていてもよい。たとえば、画像の表示色および表示位置
が感情信号に対応して変更されて表示される。また、画
像が表情を変更することが可能な顔の画像であれば、感
情信号に対応する表情を有する顔の画像に変更されてい
てもよい。制御手段は、画像を目視表示させると同時
に、送信された感情信号に対応した音響表示を行う。ま
ず感情信号に対応した音響表示に関するデータをメモリ
から読出す。次いで、音響表示手段において音響表示に
関するデータを音響化して音響出力する。音響表示され
る音響は、たとえば「怒り」である感情を示すときに
は、かみなりの音であるような効果音である。また、送
信者が予め選択しておいた楽曲などを用いてもよい。こ
れによって、感情信号によって送信された感情を、受信
者は視覚だけでなく聴覚を用いても得ることができる。
したがって、より強い明確な感情表現を行うことができ
る。

【００１８】また本発明は、前記送信手段は、送信すべ
き文章を識別信号および感情信号と共に送信し、前記メ
モリには、各識別信号に対応し、文章を音響化するとき
の速度および音程を含む音響化条件がさらにストアさ
れ、前記受信手段は、送信された文章を識別信号に応じ
た音響化条件に沿って音響化して出力する音響化手段を
さらに含むことを特徴とする。本発明に従えば、前記送
信手段からは、識別信号および感情信号とともに、送信
者が、受信者に対して伝達したい内容を表示するための
文章をともに送信する。文章とは、たとえば日本語およ
び外国語など言語によって送信者の所望とする情報を伝
達するものである。この文章は、たとえばキャラクタを
示すコード信号などの組合せによって伝達される。キャ
ラクタとは、たとえば、平仮名、片仮名、漢字、数字、
欧米文字、記号、絵記号などの概念を含むものであり、
言語を提示するためのものである。通信装置のメモリに
は、各識別信号、すなわち文章の送信者に対応した音響
化条件がストアされる。音響化条件とは、文章を音響化
するときの速度および音程など、音声合成される音響を
決定するための基本的なパラメータである。この音響化
条件は、送信者が個々に設定し、たとえば予め表現対象
体の画像のデータなどとともに、受信側の通信装置に伝
送しておくものである。前記通信装置の受信手段によっ
て文章および各信号が受信されると、制御手段は目視表
示手段に表現対象体の画像を感情信号に応じた表示態様
で目視表示させる。同時に、音響化手段は、メモリから
識別信号に対応した音響化条件を読出し、音響化手段に
この音響化条件に沿って送信された文章を読上げる音響
を合成させて、文章を音響化させ出力させる。これによ
って、文章を音響表示することができる。また、文章を
音響表示すると同時に、表現対象体の画像などを用いて
送信者が提示する感情が表示されている。したがって、
受信者は、音声合成された文章を聴取すると同時に、表
現対象体の画像を目視表示して、その文章に付加されて
いる感情を理解する。これによって、たとえば同一文体
によって感情表現が２通りあるときなどに、感情信号を
付加することによって、送信者が伝えたいと希望する感
情を確実に伝達することができる。また、パソコン通信
や、電子会議システムなどにおいて、送信された文章の
内容が受信者に感じさせる雰囲気を和らげたりすること
ができ、文章のやり取りに関して表現力を増加させるこ
とができる。

【００１９】また本発明は、前記メモリには、感情信号
に対応した音響態様がさらにストアされ、前記音響化手
段は、送信された文章を識別信号に応じた音響化条件お
よび感情信号に応じた音響態様に沿って音響化して出力
させることを特徴とする。本発明に従えば、通信装置で
は、送信すべき文章を音響化するときに、合成された音
響に感情表現を行わせる。通信装置のメモリには、感情
信号に対応した音響化条件の音響態様がストアされてい
る。感情信号に対応した音響態様とは、たとえば「怒
り」を示す感情信号が付加された文章を読上げるため
に、合成された音響に人間が「怒り」を表すときに発声
するようなイントネーションなどを付加する態様であ
る。このような音声を用いて、文章を音響化する。前記
通信装置の受信手段によって文章および各信号が受信さ
れると、制御手段は、送信された識別信号に対応する表
現対象体の画像を送信された感情信号に応答した表示態
様に沿って変更して、前記目視表示手段に目視表示させ
る。さらに音響化手段は、メモリから識別信号に応じた
音響化条件、および感情信号に対応した音響態様を読出
す。音響化手段は、音響化条件および音響態様に沿って
送信された文章を読上げる音響を合成し、この合成した
音響によって文章を音響化して出力する。これによっ
て、表現対象体の画像だけでなく、送信された文章を音
響化した音響出力によっても感情が表現される。これに
よって、文章の微妙なニュアンスなどをより明確に伝え
ることができる。さらに、送信された文章の音響表示に
おいて、ただ文章を読上げるだけでなく、文章の中で送
信者が特に強調したい点などのポイントを伝えることが
可能な音響を合成して出力することができる。したがっ
て、音響を表示された文章がより判りやすくなる。

【００２０】また本発明は、前記送信手段は、表現対象
体の画像と画像の表示態様とを送信し、前記受信手段の
制御手段は、送信手段から送信される表現対象体の画像
と、画像の表示態様とを前記メモリにストアし、メモリ
にストアされるストア内容に基づいて制御動作を行うこ
とを特徴とする。本発明に従えば、表現対象体の画像お
よび画像の表示態様は、識別信号および感情信号を送信
する送信者が作成し、前記通信装置の送信手段から送信
される。前記通信装置の受信手段では、識別信号および
感情信号が送信されると同時に表現対象体の画像および
画像の表示態様を受信すると、画像および表示態様に関
するデータをメモリにストアする。以後、このメモリに
ストアされたストア内容に基づいて、表現対象体の画像
を感情信号に応じた表示態様に沿って目視表示手段に目
視表示させる。このように、表現対象体の画像および画
像の表示態様のデータは、その画像および表示態様によ
って感情を表現するべき送信者が作成して、そのデータ
を受信者の通信装置に対して送信する。したがって、送
信者が自らの表現したい感情を適確に表現することが可
能な画像および表示態様とを作成することができる。さ
らに、識別信号および感情信号を受信する受信側の通信
装置の負担を減少させることができる。

【００２１】また本発明は、前記送信手段は、その送信
手段から別の通信装置の受信手段への表現対象体の画像
と画像の表示態様との送信を、送信の初期に一度だけ行
うことを特徴とする。本発明に従えば、表現対象体の画
像および画像の表示態様とは、送信者側の通信装置と受
信者側の通信装置との間で行われる最初の通信の際に１
度だけ行われる。以後、受信側の通信装置では、最初の
通信時に受信しメモリにストアされた表現対象体の画像
および画像の表示態様とを用いて感情表現を行う。これ
によって、データ量の多い画像などのデータを送る回数
を減少させることができる。したがって、装置の負担を
減少させることができる。

【００２２】

【発明の実施の形態】図１は、本発明の実施の一形態で
ある通信装置１の電気的構成を示すブロック図である。
通信装置１は、たとえば、公衆電話回線などの伝送路を
介して他の通信装置と接続されている。通信装置１は、
他の通信装置に対して識別信号および送信メッセージな
どを含む送信データを送信する。また、他の通信装置か
ら送信された送信データを受信し、通信装置１の使用者
に提示する。

【００２３】通信装置１には、入力装置として、キー入
力装置２、マウス３、カメラ４、およびマイクロフォン
５などが備えられる。キー入力装置２は、たとえばキャ
ラクタなどを入力するためのキーボード装置で実現され
る。装置１の使用者であり、他の通信装置に対して送信
データを送信する送信者は、たとえば他の通信装置に対
して送信したいと考える送信内容を、キャラクタなどで
示される送信メッセージとして通信装置１に入力する。
キャラクタとは、漢字、平仮名、カタカナ、欧米文字、
数字、記号、絵記号などの概念を含むものである。

【００２４】送信メッセージは、またマウスなどを補助
的に用いて入力してもよい。また通信装置１では、送信
者は送信メッセージをマイクロフォン５から音声入力し
てもよい。マイクロフォン５からの出力は、送信処理回
路６に与えられる。送信処理回路６では、マイクロフォ
ン５からの出力を音声分析して、入力された送信メッセ
ージを検出する。

【００２５】このような入力装置を用いて作成される送
信メッセージは、たとえばキャラクタコードからなるデ
ータであり、受信側の通信装置ではキャラクタで表示さ
れる文章として提示される。キー入力装置２、マウス３
およびマイクロフォン５からの出力は、送信処理回路６
に与えられる。

【００２６】送信処理回路６には、さらに、カメラ４を
介して送信データの送信者を示す画像が与えられる。こ
の画像は、後述するように、たとえば使用者自身の写真
である。また、動物の絵およびイラストなど、使用者が
選択した画像であってもよい。たとえばカメラ４では、
送信メッセージを送信する送信者の顔の画像を撮像し、
送信処理回路６に与える。送信処理回路６は、カメラ４
から与えられた画像を伝送路を介して受信側の他の通信
装置に伝送するべき画像データに変換する。通信装置１
では、この画像を感情を表現するための表現対象体とし
て、受信側の他の通信装置に対して送信する。

【００２７】送信処理回路６は、送信メッセージが与え
られると、送信メモリ７から送信データの送信者を示す
識別信号を読出して、送信メッセージに付加する。識別
信号は、予め送信メモリ７にストアしておいてもよく、
また、キー入力装置２などの入力手段を用いて入力して
もよい。

【００２８】さらに、送信メッセージには、送信メッセ
ージの内容に感情を付加する感情信号が付加される。こ
の感情信号は、たとえば「怒り」、「喜び」、「悲しみ
（本件明細書では「哀しみ」と書くこともある）」など
複数の感情を示す。識別番号Ａ，Ｂをそれぞれ有する送
信者のそれぞれの感情を示す感情信号ａ１〜ｃ１，ａ２
〜ｃ２は、たとえば送信メモリ７内にストアされてお
り、キー入力装置２などを用いて選択し、送信メッセー
ジに付加する。

【００２９】たとえば、送信メッセージが「こらっ」で
あって、付加される感情が「喜び」であるときには、電
文「こらっ」の後に「喜び」を表す感情信号「ＸＸ」を
付加する。また、感情信号は、表１に示すようなフェイ
スマークであってもよい。

【００３０】

【表１】^_^ 送信メッセージが音声入力されるとき、感情信号もま
た、音声入力されてもよい。予め送信処理回路６は、感
情信号を音声入力するためのキーワードを有している。
送信者は、送信メッセージ「こらっ」に続いて、「喜
び」を表す感情信号を入力するキーワードである「かっ
こ笑い」をマイクロフォン５に入力する。送信処理回路
６は、マイクロフォン５から「こらっ かっこ笑い」が
音声入力されると、「かっこ笑い」が予め定めるキーワ
ードであると判断して、キーワードを感情信号に変換す
る。これによって、送信処理回路６は、感情信号が付加
された送信メッセージ「こらっ ＸＸ」を得る。

【００３１】また、送信メッセージが音声入力されてい
るとき、感情信号は音声分析の結果から推定される感情
に対応して生成されてもよい。たとえば、送信処理回路
６は、送信メッセージを入力する音声の強弱、イントネ
ーションの高低および個々の単語の発声速度などに基づ
いて、送信メッセージ入力時の口調を分析する。また、
送信処理回路６は、入力された音声と比較するべき基準
の音声を有し、マイクロフォン５から入力された音声と
基準の音声とのずれを検出して、そのずれの大きさから
口調を判断する。送信処理回路６は、分析された口調に
適合する感情信号を選択して、送信メッセージに付加す
る。このような技術は、たとえば特開平４−１４１７７
２号公開公報、および特開平５−０１２０２３号公開公
報に開示されている。

【００３２】また、感情信号は、カメラ４で撮像された
送信者の顔の画像を画像認識することによって検出した
感情から選択または生成してもよい。たとえば、送信処
理回路６は、予め基本となる送信者の顔の画像と、画像
の変化に対応する感情信号とを有している。カメラ４で
画像が撮像され、その出力は送信処理回路６に与えられ
る。送信処理回路６では、カメラ４で撮像された画像と
基本の画像とを比較し、その変化を抽出する。たとえ
ば、手の位置、顔の形、目や眉の形状の変化などを抽出
する。送信処理回路６は、抽出された変化に対応する感
情信号を選択し、送信メッセージに付加する。このよう
な画像認識を用いた感情信号の付加は、たとえば特開平
２−１８１３３７１号公開公報においても行われてい
る。

【００３３】たとえば、感情信号は、ＥＳＣシーケンス
と称されるキャラクタコード内に混合される制御コード
と同等の手法で付加される。また、キャラクタコードの
系列の内で、キャラクタが当てられていない空きコード
に、感情信号を当てるようにしてもよい。このほかに
も、感情信号はキャラクタではなくデータとして、キャ
ラクタデータの後に付加されてもよい。このような感情
信号は、たとえばマウス３などを用いる後述する手法で
選択され、送信メッセージに付加される。

【００３４】送信メッセージ、識別信号および感情信号
を含む送信データが作成されると、送信処理回路６は、
送信データを送信装置８に与える。送信装置８は、たと
えばコンピュータから出力されるデータを公衆電話回線
を介して受信側の他の通信装置に伝送することができる
電気信号に変換するモデムなどで実現される。送信装置
８は、送信データを伝送路に出力することができる形態
に変換して、伝送路に出力する。

【００３５】伝送路を介して送信側の他の通信装置から
送信された送信データは、受信装置９において受信され
る。受信装置９は、たとえば、前述したモデムなどで実
現される。受信装置９では、公衆電話回線を介して伝送
された電気信号を、通信装置１で扱うことができる、た
とえばハイレベルとローレベルの信号から成る２値信号
に変換して、受信処理回路１０に与える。

【００３６】受信処理回路１０は、受信内容を受信メモ
リ１１にストアする。さらに、受信処理回路１０は、受
信された送信データの中から識別信号を抽出し、識別信
号に対応した画像１４ａ〜１４ｃの画像データををデー
タメモリ１２から読出して、表示装置１３の目視表示領
域１３ａに目視表示する。この画像１４ａ〜１４ｃは、
送信者が送信した感情信号を表現するための表現対象体
であり、感情信号に応じて後述するように変更される。
送信者と受信者との間で断続的にデータの送受信が行わ
れるとき、画像１４が初回の送信時に表示されるとその
送信者との間での通信が終了するまで、恒常的に表示さ
れる。ゆえに、複数の送信者と同時に通信を行っている
とき、目視表示領域１３ａには、通信を行っている送信
者の画像１４ａ〜１４ｃがそれぞれ表示される。

【００３７】また受信処理回路１０は、送信メッセージ
を目視表示する。たとえば表示装置１３の目視表示領域
１３ａの一部分が、送信メッセージを目視表示するメッ
セージ表示領域１３ｂとして区分されている。送信メッ
セージは、メッセージ表示領域１３ｂに、たとえばキャ
ラクタの画像を用いて目視表示される。

【００３８】また、送信メッセージは、受信処理回路１
０において音声合成され、スピーカ１５から音響として
出力されてもよい。スピーカ１５から出力される合成音
声は、前述した感情信号に応じて変化する。たとえば、
送信メッセージに付加される感情信号が「怒り」を示し
ているときには、たとえば怒ったような読み方として聞
こえるような音声が、送信メッセージを読上げるための
音声として合成される。また、送信メッセージに付加さ
れる感情信号が「悲しみ」を示しているときには、ぼそ
ぼそと発音されるような音声が、送信メッセージを読上
げるための音声として合成される。

【００３９】音声に感情表現を行わせるには、送信メッ
セージに基づいて音声合成された音声に、以下に示すよ
うな変換処理を施す。

【００４０】一般に、ピッチ周波数の変化（ダイナミッ
クレンジ）が少ないほど単調な音声となる。また、比較
的周波数の高い細かいゆらぎの程度が大きいほど、不安
定な感情を表す音声となる傾向があることが知られてい
る。音声のピッチ周波数のゆらぎの度合およびまたは音
源波形の形状と感情との相関は強い。前述した感情を表
すゆらぎ波形の節制手法としては、たとえば雑音波形を
適当な予め定める低域通過フィルタによって低域濾波す
る方法を用いることができる。

【００４１】さらに、有声音の声帯音源波形も感情によ
って変化することが知られている。たとえば、緊張した
ときには三角波状の音源波形のパルス幅が短くなり、高
い周波数成分の供与が比較的強くなる。すなわち、ピッ
チ周波数のゆらぎの度合、前記音源波形のパルス幅およ
び形状などを感情信号に対応させて制御することによっ
て、様々な感情を有する音声の文字合成が可能となる。
このような音声合成に関する技術は、たとえば特開昭５
８−１６８０９７号公開公報に開示されている。

【００４２】さらにまた、送信メッセージを読上げる合
成音声は、送信データの送信者に応じて個々に変更する
ようにしてもよい。たとえば、送信メッセージに付加さ
れている識別信号を判別し、その識別信号に対応する予
め定められた速度で、語句１つ１つの発音を出力する速
度を変更するようにしてもよい。たとえば、早口で読上
げるように指示されている送信者の識別信号を検出した
ときは、合成される個々の発音の間隔を短くする。ま
た、ゆっくりと読上げるように指示されている送信者の
識別信号を検出したときは、個々の音声の間隔を長くす
る。

【００４３】前述した感情信号は、たとえば図２に示す
喜怒哀楽座標２０を用いて設定される。この喜怒哀楽座
標２０の画像は、表示装置１３に目視表示される。喜怒
哀楽座標２０は２次元座標であり、一方の座標軸２１の
両端には、感情として、「喜び」および「怒り」がそれ
ぞれ設定される。また、座標軸２１と直交する座標軸２
２の両端には、「悲しみ」および「楽しみ」がそれぞれ
設定される。座標軸２１，２２によって規定される２次
元平面内には、移動点２３が表示される。

【００４４】移動点２３は、たとえばマウス３によって
移動方向および移動量を送信者である通信装置１の使用
者が指定することができる。この移動点２３は、２次元
平面内を自由に移動することができる。移動点２３の位
置は、直交する２本の座標軸２１，２２の交点を基準と
したベクトル量で表される。

【００４５】各座標軸２１，２２では、座標軸２１，２
２の端部に近付くほど、端部に設定される感情の度合が
強いことを示す。ゆえに、移動点２３の位置によって、
複数の感情および各感情の強さを示すことができる。使
用者は、移動点２３の位置を調整し、示すべき感情およ
びその感情の強さを調整して、感情信号を入力する。送
信処理手段６は、座標２０内の移動点２３の位置を示す
座標を検出して、この座標に応じた感情信号を送信メッ
セージに付加する。このような感情信号の入力方法は、
たとえば特開平３−２０１０２０号公開公報に開示され
ている。

【００４６】また、感情信号は、図３に示す感情入力用
コントロールボックス２５によって設定されてもよい。
このコントロールボックス２５の画像は、前述した表示
装置１３に表示される。コントロールボックス２５は、
複数の矩形領域２６を有する。各矩形領域２６内には、
移動片２７が備えられる。移動片２７は、矩形領域２６
内の予め定める一方方向に限り、自由に移動することが
できる。移動片２７は、たとえばマウス３によって移動
方向および移動量を送信者である通信装置１の使用者が
指定することができる。

【００４７】各コントロールボックス２５の矩形領域２
６の移動片２７移動方向両端部には、予め「喜び」およ
び「怒り」、「楽しみ」および「悲しみ」などの感情が
設定される。使用者は、移動片２７を矩形領域２６内の
いずれか一方の端部に接近するように移動させる。感情
の強さは、移動片２７と端部との距離が短いほど強い。
使用者は、各矩形領域２６の移動片２７の位置によって
感情の強さを調整して、感情信号を入力する。送信処理
手段６は、各矩形領域２６内の移動片２７の位置を検出
して、この位置に応じた感情信号を送信メッセージに付
加する。このような感情信号の入力方法は、たとえば特
開平３−２０１０２１、特開平３−２０１０２２におい
て開示されている。

【００４８】図４は、通信装置１と他の通信装置との間
で行われる通信のうち、通信装置１から他の通信装置に
対して初めて送信データを送信するとき、すなわち初回
の送信時において送信される送信データのデータ構成を
説明するための図である。この送信データは、矢符３２
が示す方向に時間経過に伴って順次送信される。

【００４９】先ず、送信データの送信者を示す識別信号
３４が送信される。識別信号３４の送信に続いて、送信
者を示す画像データ３５が送信される。この画像データ
３５は、たとえば送信者を示し、送信者の感情表現を行
う表現対象体の基本となる画像の画像データである。ま
た画像データ３５は、基本となる画像データとともに、
後述するように、感情の表示態様として個々の感情信号
に対応した複数の画像の画像データが含まれていてもよ
い。さらにまた、感情の表示態様として、後述するよう
に、受信側の送信装置において、基本の画像を変換する
ための条件が含まれていてもよい。

【００５０】画像データ３５の送信に続いて、読上げ速
度データ３６が送信される。読上げ速度データ３６は、
送信メッセージを音響表示して出力するときの読上げ速
度を送信者個別に設定するためのデータである。読上げ
速度データ３６が送信されると、音声合成データ３７が
送信される。音声合成データ３７は、たとえば送信メッ
セージを読上げるための音声合成を行うときに、音声合
成される音声の高さなどを送信者個別に設定するための
データである。このデータにもまた、感情の表示態様と
して、音響の変更のためのデータが含まれていてもよ
い。

【００５１】音声合成データ３７が送信されると、送信
メッセージ３８が送信される。この送信メッセージ３８
には、感情信号が１または複数含まれている。

【００５２】画像データ３５、読上げ速度データ３６、
および音声合成データ３７は識別信号で規定される送信
者に固有の設定データであり、送信メッセージおよび感
情信号が変更されても変化しない。ゆえに、これらの設
定データは、初回の送信時にだけ送信される。以後の送
信においては、識別信号３４および感情信号を含む送信
メッセージ３８だけが送信される。

【００５３】図５は、通信装置１を用いて送信データを
送信する送信動作を説明するためのフローチャートであ
る。入力装置から送信メッセージが入力され、さらに送
信処理回路６に対し入力された送信メッセージの送信が
指示されると、ステップｎ１からステップｎ２に進む。
ステップｎ２では、当該通信装置１と送信メッセージを
受信する受信側の通信装置との間で行われる通信におい
て、データの送信回数が１回目であるか否かが判断され
る。すなわち、今回の送信が、初回の送信であるか否か
が判断される。初回の通信であるときには、ステップｎ
２からステップｎ３に進む。

【００５４】ステップｎ３では、識別信号および送信メ
ッセージから成る送信データに、画像データ、読上げ速
度データおよび音声合成データなど、初回の送信時にだ
け送信する設定データを付加して、初回時の送信データ
を作成する。データを付加すると、ステップｎ４へ進
む。またステップｎ２で送信回数が２回目以上であると
判断されたときには、識別信号および送信メッセージだ
けを送信データとして、ステップｎ２からステップｎ４
に進む。ステップｎ４では、作成された送信データを送
信装置８を介して伝送路へ出力し、受信側の通信装置に
対して送信する。送信が終了すると、ステップｎ４から
ステップｎ５に進んで当該フローチャートの処理動作を
終了する。

【００５５】前述したように、送信メッセージには、感
情信号が混入されている。したがって、このような送信
データを受信した受信側の通信装置１では、初回の通信
時であれば、初回時の送信にだけ付加されるデータを、
データメモリ１２にストアする。かつ、送信メッセージ
と画像データとをそれぞれ表示装置１３に目視表示す
る。表示装置１３を用いて表示される、画像および送信
メッセージは、送信メッセージ内の感情信号に合わせて
後述するようにそれぞれ変更される。

【００５６】２回目以後の送信時においては、識別信号
と送信メッセージとだけが受信側の送信装置に対して送
信される。受信側の通信装置１では、送信メッセージ内
の感情信号を抽出して、それに対応する画像データなど
をデータメモリ１２から読出し、新たに送信された送信
メッセージとともに表示する。これによって、２回目以
後の送信において、画像データなどデータ量の多いデー
タを送信する必要がなくなる。したがって、データの送
信時における送信装置８などの負担が軽くなる。

【００５７】受信側の通信装置１では、送信データを受
信すると、送信データ内の送信メッセージを目視表示ま
たは音響表示して使用者に提示する。同時に、送信デー
タ内の識別信号を判別して、送信者に対応する画像を拡
大表示する。

【００５８】図６は、図１の通信装置１において、送信
データを受信する送信データ受信動作を説明するための
フローチャートである。

【００５９】通信を開始するとステップａ１からステッ
プａ２に進む。ステップａ２では、受信装置が９が現在
通信を行っている複数の送信者のうちのいずれか１人か
ら送信された送信データを受信する。送信データを受信
するとステップａ２からステップａ３に進む。ステップ
ａ３では、送信データに含まれている識別信号を抽出し
て、その送信データを送信した送信者を判定する。識別
信号は、前述したように送信者個々に与えられており、
かつ、受信者側の通信装置１のたとえばデータメモリ１
２に記憶されている。ステップａ３では、抽出された識
別信号をメモリ１２内の全ての識別信号と比較して、正
誤を判定する。正しいと判定された識別信号が、送信者
の識別信号である。

【００６０】送信データの送信者が判別されると、ステ
ップａ３からステップａ４に進む。ステップａ４では、
表示装置１３の目視表示領域１３ａに表示されている画
像１４ａ〜１４ｃのうち、識別信号によって判定された
送信者に対応する画像が表示されている領域を検出し判
定する。画像１４ａ〜１４ｃは、感情表現を行うための
表現対象体であり、たとえば人の顔の像である。送信者
の顔の像の領域を検出すると、ステップａ４からステッ
プａ５に進む。ステップａ５では、検出された顔の像
を、たとえば縦横の長さが元の画像のそれぞれ２倍とな
るように拡大して拡大表示する。表示動作を行うと、ス
テップａ６に進み、当該フローチャートの処理動作を終
了する。

【００６１】これによって、通信装置１では、送信デー
タを受信すると、メッセージ表示領域１３ｂに送信メッ
セージが目視表示されるとともに、その送信データを送
信した送信者の画像が拡大表示される。ゆえに、目視表
示領域１３ａの中に表示される複数の送信者のうち、現
在受信者に対して提示される送信メッセージを送信した
送信者に対応する顔の画像１４ａが、他の送信者に対応
した顔の画像１４ｂ，１４ｃよりも大きく表示される。

【００６２】したがって、受信者は、目視表示領域１３
ａを目視することによって、送信メッセージの内容を把
握する。かつ、その送信メッセージを送信した送信者
を、目視表示領域１３ａに表示される顔の像１４ａ〜１
４ｃのうち、最も大きく表示されている顔の像１４ａに
対応する送信者が送信したものであると認識することが
できる。したがって、送信メッセージの送信者を容易に
認識することができる。

【００６３】通信装置１では、受信した送信データの送
信メッセージを受信者に提示すると同時に、送信メッセ
ージに含まれる感情信号に応じた感情表現を行う。感情
表現を行うための表現対象体である画像が人または人以
外のものの顔の像であるとき、感情表現の表示態様とし
て、顔の像の表情を感情信号に応じて変更する。

【００６４】図７は、受信した送信データに含まれる感
情信号に応じて画像を変更する画像変更動作を説明する
ためのフローチャートである。

【００６５】受信装置９で送信データを受信すると、ス
テップｍ１からステップｍ２に進む。ステップｍ２で
は、受信処理回路１０は、受信装置９において受信され
た受信内容を、受信メモリ１１にストアして、ステップ
ｍ３に進む。ステップｍ３では、受信された送信データ
内の識別信号を抽出して、送信データの送信者を判定す
る。送信データの送信者が判定されると、ステップｍ３
からステップｍ４に進む。

【００６６】ステップｍ４では、判定された送信データ
の送信者からの送信が初めてであるか否かが判断され
る。すなわち、通信装置１と送信データの送信者の通信
装置との間での通信が初回であるか否かが判断される。
そうであるときにはステップｍ５に進み、受信された送
信データのうち画像データを、データメモリ１２にスト
アする。さらに、画像データ以外に音声合成データな
ど、他の設定データが付加されているときには、それら
のデータもまたデータメモリ１２にストアする。初回で
だけ送信される設定データをストアすると、ステップｍ
５からステップｍ６に進む。また、ステップｍ４におい
て、送信データの送信者との間の通信が２回目以上行わ
れていると判断されたときには、ステップｍ４からその
ままステップｍ６に進む。

【００６７】ステップｍ６では、送信データ内の送信メ
ッセージを、たとえば、キャラクタの画像を用いて表示
装置１３の目視表示領域１３ａのメッセージ表示領域１
３ｂに表示する。メッセージの表示が終了すると、ステ
ップｍ７に進む。

【００６８】ステップｍ７では、感情信号を受信したか
否かが判断される。感情信号は、前述したように、感情
信号は送信メッセージに含まれている。感情信号が受信
されていないときには再びステップｍ７に戻り、感情信
号を受信するまで当該ステップの処理を繰返す。感情信
号を受信すると、ステップｍ７からステップｍ８に進
む。

【００６９】ステップｍ８では、送信データの送信者に
対応する顔の像の表示領域を検出して、ステップｍ９に
進む。ステップｍ９では、送信データの送信者の顔の像
を、感情信号に応じて変更する。顔の像を変更するとス
テップｍ９からステップｍ１０に進み、当該フローチャ
ートの処理動作を終了する。

【００７０】前述した送信の初回時に送信される画像デ
ータには、送信データの送信のないときおよび感情信号
が送信されないときに表示される基本の顔の像の他に、
表示態様として感情信号に対応した表情の顔の像の画像
が含まれている。これらの画像データは、データメモリ
１２にストアされる。

【００７１】データメモリ１２には、送信者毎に、それ
ぞれ複数の顔の像の画像データがストアされている。た
とえば、送信者Ｃの顔の像１４ａの画像データとして、
画像データＣａ〜Ｃｃがストアされている。図８は、送
信者Ｃの顔の像である画像１４ａの顔の像の模式図であ
る。画像データＣａは、送信者Ｃの基本の顔の像であっ
て、かつ無表情な顔の像４１のデータである。画像デー
タＣｂは、送信者Ｃの顔の像であって、かつ感情信号
「怒り」に対応した怒った顔の像４２のデータである。
画像データＣｃは、送信者Ｃの顔の像であって、かつ感
情信号「喜び」に対応した喜んだ顔の像４３のデータで
ある。送信者Ｃの画像と同様に、送信者Ｄ、Ｅの顔の像
１４ｂ，１４ｃの画像データもまたデータメモリ１２に
それぞれストアされている。

【００７２】受信処理回路１０では、受信した送信メッ
セージに含まれる感情信号に対応して、表示装置１３の
目視表示領域１３ａに表示される顔の像を、感情信号に
対応した顔の像に変更する。画像データＣａ〜Ｃｃは、
たとえば図８に示すように、基本の顔の像４１、怒った
顔の像４２、および喜んだ顔の像４３それぞれの像の全
ての全体のデータであってもよい。このときは、検出し
た感情信号に応答して、予め目視表示領域１３ａに表示
されている顔の像を含む二点鎖線で囲む領域４１ａ全体
の像を、画像４２，４３を含む二点鎖線で囲む領域４２
ａ，４３ａの像と差換えるようにする。

【００７３】また、画像データＣａは、図９（１）に示
すように、基本の顔の像４１全体を含む領域４１ａの画
像データとし、画像データＣｂ，Ｃｃは、図９（２）お
よび図９（３）に示すように、怒った顔の像４２および
笑った顔の像４３のうち感情を示す部位、たとえば目４
４ｂ，４４ｃおよび口４５ｂ，４５ｃだけを含む領域４
２ｂ，４３ｂの画像データとしてもよい。このとき、受
信処理回路１０は感情信号を受信すると、送信者の顔の
像の範囲のうち、感情信号に対応した画像データとして
ストアされている部分を含む領域、すなわち図９（１）
に示す目４４ａ、口４５ａを含む領域４６だけを検出
し、この領域の像だけを、画像データＣｂ，Ｃｃから作
成される画像と入換える。

【００７４】さらに、送信者は初回の通信時には基本と
なる顔の画像４１の画像データＣａだけを送信するよう
にしてもよい。このとき受信側の通信装置１では、感情
信号が検出されると、無表情な顔４１の一部分、たとえ
ば目４４ａおよび口４５ａを予め定めるプログラムに基
づき感情信号に応じて変形して、感情を示す表情を有す
る顔の像４２，４３を作成する。また送信者は、感情信
号に応じて基本の画像を変形する条件、たとえば目４４
ａおよび口４５ａなどの変形の度合などのパラメータ
を、表示態様として基本の画像の画像データとともに送
信しておいてもよい。

【００７５】図１０は、図１の通信装置１での通信時に
おいて、表示装置１３の目視表示領域１３ａに表示され
る顔の像の表示色を変更する表示色変更動作を説明する
ためのフローチャートである。受信側の通信装置１で
は、送信データを受信と、感情信号に応じて送信データ
の送信者に対応する顔の像の表示色を変更する。当該フ
ローチャートでは、送信データに付加される感情信号
は、「怒り」を示す感情信号、および「哀しみ」を示す
感情信号の２つであるとする。

【００７６】感情信号と変更される画像の表示色との関
係は表示態様として、予め初回の送信時に基本の画像の
画像データとともに送信側の通信装置１から受信側の通
信装置１に送信されている。表現対象体である画像の画
像データと表示態様とは、データメモリ１２にストアさ
れている。

【００７７】通信を開始すると、ステップｂ１からステ
ップｂ２に進む。ステップｂ２では、受信処理回路１０
は、送信側の通信装置１から送信された送信データを受
信する。送信データを受信すると、ステップｂ２からス
テップｂ３に進む。ステップｂ３では、送信データに含
まれる識別信号を用いて、送信データの送信者を判定す
る。送信データの送信者が判定されると、ステップｂ３
からステップｂ４に進む。

【００７８】ステップｂ４では、ステップｂ３で判定さ
れた送信データの送信者、および送信データに含まれる
感情信号などを参照して、データメモリ１２から感情信
号に対応するＢＧＭ(Back Ground Music）のデータを読
出し、スピーカ１５から音響として出力する。このＢＧ
Ｍは、たとえば送信データの送信者が、予め感情信号に
応じて選択した楽曲および効果音などである。ＢＧＭの
データは初回の送信時に送信側の通信装置１から受信側
の通信装置１に与えられ、データメモリ１２にストアさ
れている。ＢＧＭの音響が出力されると、ステップｂ４
からステップｂ５に進む。このようなＢＧＭの音響によ
って、送信メッセージにさらに感情を付加することがで
きる。

【００７９】ステップｂ５では、表示装置１３の目視表
示領域１３ａに表示されている画像１４ａ〜１４ｃのう
ち、送信データの送信者に対応する顔の像が表示されて
いる領域を検出する。顔の像を含む領域は、たとえば図
１１で示す目視表示領域１３ａの表示画像のうち、顔の
像５１を含む２点鎖線で示す矩形の領域５２である。こ
の領域５２は、他の送信データの送信者に対応する顔の
像５６が含まれないように設定される。また、顔の領域
は、顔の像の輪郭線に沿って設定されてもよい。顔の領
域を検出すると、ステップｂ５からステップｂ６に進
む。

【００８０】ステップｂ６では、送信データに含まれる
感情信号を判別して、この感情信号が「怒り」を表す感
情信号であるか否かを判断する。そうであるときには、
ステップｂ６からステップｂ７に進み、送信データの送
信者に対応する顔の領域内の画像を、赤系統の色で表示
する。すなわち、送信データの送信者に対応する顔の像
を、赤っぽく表示する。これによって、たとえば顔の像
を「怒り」で顔が赤らんだように表示することができ
る。

【００８１】ステップｂ６において、感情信号が「怒
り」ではないと判断されると、ステップｂ６からステッ
プｂ８に進む。ステップｂ８では、送信データに含まれ
る感情信号が「悲しみ」を表す感情信号であるか否かが
判断される。そうであるときにはステップｂ８からステ
ップｂ９に進み、送信データの送信者に対応する顔の領
域内の画像を青系統の色で表示する。これによって、送
信データの送信者に対応した顔が青ざめているように表
示することができる。

【００８２】ステップｂ８で感情信号が「悲しみ」を示
す感情信号ではないと判断されると、送信メッセージに
感情信号が付加されていなかったと判断され、ステップ
ｂ１０に進む。ステップｂ１０では、送信データの送信
者に対応する顔の範囲を、その顔の画像を表示する元の
表示色、すなわち送信者から送信された画像の表示色そ
のままで表示する。ステップｂ７，ｂ９およびステップ
ｂ１０において、送信データの送信者に対応する顔の像
の処理を終了するとステップｂ１１に進み、当該フロー
チャートの処理動作を終了する。

【００８３】図１２は、図１の通信装置１での通信時に
おいて、受信した送信データに対応する顔の像の表示位
置を変更する表示位置変更動作を説明するためのフロー
チャートである。通信装置１では、受信した送信データ
の感情信号に対応して、送信データの送信者に対応する
顔の像を時間経過に伴って移動させるアニメーションを
行う。図１２のフローチャートは、図１０のフローチャ
ートに類似のものであり、同一の動作を行うステップに
は同一の符号を付して説明は省略する。当該フローチャ
ートでは、送信データに付加される感情信号は、「怒
り」を示す感情信号、および「哀しみ」を示す感情信号
の２つであるとする。

【００８４】感情信号と画像の移動位置との関係は、表
示態様として予め初回の送信時に基本の画像の画像デー
タとともに送信側の通信装置１から受信側の通信装置１
に送信されている。表現対象体である画像の画像データ
と表示態様とは、データメモリ１２にストアされてい
る。

【００８５】通信を開始するとステップｃ１からステッ
プｂ２に進む。ステップｂ２で受信した送信データの送
信者をステップｂ３で検出すると、ステップｂ４におい
て、送信データの送信者および送信データの感情信号に
対応したＢＧＭを音響出力する。ＢＧＭを音響出力する
と、ステップｂ５で送信データの送信者の顔の領域を検
出する。顔の領域を検出するとステップｂ５からステッ
プｂ６に進む。

【００８６】ステップｂ６では、送信データに含まれる
感情信号が「怒り」を示す感情信号であるか否かを判断
する。そうであるときには、ステップｂ６からステップ
ｃ７に進み、予め定める動線αに沿って、予め定める単
位時間毎に顔の像の表示位置を移動する。動線αとは、
図１３に示すように、たとえば顔の像５１から他の顔の
像５６までの直線である。顔の像５１は、この動線αに
沿って、現在の表示位置から２点鎖線５１ａで示される
位置まで、時間経過に伴って順次移動する。ステップｂ
６において、感情信号が「怒り」ではないと判断される
と、ステップｂ６からステップｃ８に進む。

【００８７】ステップｃ８では、送信データに含まれる
感情信号が「喜び」を示す感情信号であるか否かが判断
される。そうであるときには、ステップｃ８からステッ
プｃ９に進み、予め定める動線βに沿って、単位時間毎
に顔の像の表示位置を移動する。動線βとは、たとえば
図１３に示すような曲線である。顔の像５１は、この動
線βに沿って、現在の表示位置から２点鎖線５１ｂで示
される位置まで、時間経過に伴って順次移動する。

【００８８】ステップｃ８において感情信号が「喜び」
ではないと判断されると、送信メッセージに感情信号が
付加されていなかったと判断され、ステップｃ１０に進
む。ステップｃ１０では、送信データの送信者に対応す
る顔の像を、元々表示されていた位置と同一位置で表示
する。すなわち、顔の像５１を現在の表示位置に表示し
て、移動させない。ステップｃ７、ステップｃ９および
ステップｃ１０において、顔の位置の移動が終了する
と、ステップｃ１１に進んで、当該フローチャートの処
理動作を終了する。

【００８９】このように、本実施形態の通信装置１で
は、送信メッセージに付加された感情に応じて、送信デ
ータの送信者に対応する顔の像の表示位置を移動させ
る。これによって、たとえば感情信号が「喜び」である
ときには、顔の像がふわふわと画面内を移動するような
動きをする。また感情信号が「怒り」であるときには、
通信内容を伝えたい相手に向かって顔の像がぶつかるよ
うな動きをする。このような、いわゆるアニメーション
を用いた顔の像の動きによって、送信データ内容に付加
される感情を表示装置の目視表示領域１３全体を用い
て、より大きく表示することができる。

【００９０】図１４は、図１２のフローチャートのステ
ップｃ７およびステップｃ９において、動線αまたは動
線βに沿って顔の範囲の表示位置を移動させる表示移動
動作を説明するためのフローチャートである。通信装置
１では、動線α，βに沿って予め定められる移動先の位
置、たとえば図１３では、白丸ｘ１〜ｘＮで示す位置
に、予め定める単位時間毎に顔の像の位置を移動させ
る。

【００９１】受信装置９で送信データを受信すると、ス
テップｄ１からステップｄ２に進む。ステップｄ２で
は、時間を計数するカウンタｔおよび移動先の位置を計
数するカウンタｎを、それぞれ０および１にリセットす
る初期動作を行う。初期動作が終了すると、ステップｄ
２からステップｄ３に進む。ステップｄ３では、図１２
のフローチャートのステップｂ５において検出された顔
の領域から、画像を移動させる対象の顔を決定してステ
ップｄ４に進む。

【００９２】ステップｄ４では、図１２のフローチャー
トのステップｂ６およびステップｇ８において判断され
る感情信号に基づいて、画像を移動させる動線、すなわ
ち画像内の基準位置６１がたどる動線を決定する。たと
えば、感情信号が「怒り」であれば、図１３の二点鎖線
で示す動線αを選択して決定する。感情信号が「喜び」
であれば、図１３の二点鎖線で示す動線βを選択して決
定する。たとえば、動線βは、表示態様のデータとして
データメモリ１２にストアされているものを選択して決
定される。動線αは、送信メッセージに感情信号ととも
に付加される他の送信者を指定する情報を検出して、指
定される他の送信者の顔の像を検出し、その顔の像と送
信者の顔の像とを結ぶ直線を設定して、その直線を動線
として設定する。

【００９３】動線を決定すると、ステップｄ４からステ
ップｄ５に進む。ステップｄ５では、選択した動線に沿
って顔の像を移動させる。このとき、先ず移動前の顔の
像が表示されていた位置から動線に沿って設定される１
番目の移動先の位置、すなわち白丸ｘ１で示す位置に顔
の像の基準位置を変更して、その基準位置に合わせて顔
の像を表示する。顔の像の基準位置を変更して表示する
と、元の基準位置に表示されている顔の像は消去され
る。これによって、顔の像の表示位置が変更する。像の
位置移動が行われると、ステップｄ５からステップｄ６
に進む。

【００９４】ステップｄ６では、時間を計数するカウン
タｔが予め定める時間ｔａに達したか否かが判断され
る。そうでないときにはステップｄ６に戻り、カウンタ
ｔが時間ｔａに達するまでこのステップの動作を繰返
す。時間を計数するカウンタｔは、たとえば受信処理回
路１０内に設けられるクロック回路からデータを得て、
時間を計数している。

【００９５】予め定める時間ｔａが経過すると、ステッ
プｄ６からステップｄ７に進む。ステップｄ７では、位
置を計数するカウンタｎに１加算して更新する。さら
に、時間を計数するカウンタｔを０にリセットする。カ
ウンタの更新動作が終了すると、ステップｄ７からステ
ップｄ８に進む。ステップｄ８では、カウンタｎの値が
予め定める移動先の位置の数Ｎに至ったか否かが判断さ
れる。

【００９６】ステップｄ８で、位置を計数するカウンタ
ｎの値がまだＮに至っていないと判断されたとき、すな
わち動線αまたはβの移動がまた終了していないと判断
されたときには、ステップｂ８からステップｂ５に戻
る。これによって、受信処理回路１０では、次いで、移
動先の位置ｘ１から移動先の位置ｘ２への顔の像の画像
の移動が行われる。この動作が、カウンタｎの値がＮに
なるまで繰返される。これによって、顔の像の位置は、
白丸ｘ１で示される位置から白丸ｘＮで示される位置に
移動される。ステップｄ８でカウンタｎの値がＮに達
し、動線上の移動が終了したと判断されるとステップｄ
８からステップｄ９に進み、当該フローチャートの処理
動作を終了する。

【００９７】このように、移動した位置の数を計数する
カウンタｎの値がＮに達するまで、予め定める時間ｔａ
毎に顔の像を移動先の位置ｘ１〜ｘＮを基準とする位置
に順次移動させる。これによって、顔の像は、動線α，
βに沿って移動される。顔の像６１が、二点鎖線で示す
最終的な顔の像の表示位置５１ａ，５１ｂに移動し表示
されると、動線α，βに沿った移動が終了する。この動
作によって画像の表示位置が変更されつつ画像が順次切
換わっていくので、顔の像が動線αまたはβに沿って移
動するようなアニメーションが実施されることとなる。

【００９８】これによって、顔の像を感情信号に応じて
選択した動線に沿って移動させ、感情を表現することが
できる。また、本実施形態では、一定時間おきに顔の像
の位置を移動させたけれども、たとえば時間を可変にす
るようにしてもよい。

【００９９】本実施形態の通信装置１では、受信した送
信データ内の感情信号に応じて表現対象体である顔の画
像の表情、表示色、および表示位置をなど変更して、感
情表現を行う。顔の像を用いた感情表現として、感情信
号に対応して顔の像を拡大表示または縮小表示するよう
にしてもよい。たとえば、感情信号が「怒り」を示して
いるときには、顔の像の画像を、基本の顔の像の大きさ
よりも画像を拡大する。感情信号が「悲しみ」を示して
いるときには、顔の像の画像を、基本の像の大きさより
も画像を縮小する。さらに表現対象体である画像は、顔
の像に限らずそのほかの像であっても良い。

【０１００】上述した画像を用いた感情表現は、複数組
み合わせて行われても良い。たとえば、感情信号に応じ
て顔の像の表情を変更するのと同時に、顔の像の表示色
を変更するようにしてもよい。

【０１０１】

【発明の効果】以上のように本発明によれば、パソコン
通信および電子会議などにおいて用いられる通信装置に
おいて、送信側の通信装置から、識別信号および感情信
号を受信側の通信装置に対して送信する。識別信号は、
送信者を示すべき表現対象体を示すものである。感情信
号は、送信者が伝達したいと希望する感情を示す表現を
受信側の通信装置において指定するものものである。

【０１０２】通信装置の受信手段では、識別信号および
感情信号を受信すると、識別信号に対応した表現対象体
の画像を、感情信号に対応した表示態様に従って変更し
て目視表示する。これによって、たとえば「怒り」およ
び「悲しみ」などといった言語だけでは伝わりにくい微
妙なニュアンスを有する感情を、画像の変化を用いて受
信者に提示することができる。したがって、送信者が受
信者に伝えたいと希望する感情を、理解しやすい形態で
伝達することができる。

【０１０３】このような画像変化を用いて感情表現を行
わせることによって、パソコン通信装置および電子会議
システムなど、画像を付加して各種のデータを送受信す
る通信装置において、より確実に感情などを含むデータ
を伝送することができる。したがって、表現力が豊かな
通信を実現することができる。

【０１０４】また本発明によれば、表現対象体の画像
は、感情に対応した表情を示すことが可能な顔の画像で
ある。受信側の通信装置には、表示態様として、各種の
感情に対応した表情を示す顔の画像が複数ストアされて
いる。受信側の通信装置では、感情信号を受信すると、
複数の顔の画像の中から感情信号に対応した画像を選択
して目視表示させる。これによって、各感情信号に対応
して表現対象体の顔の表情を変更することが容易であ
る。したがって、簡単な処理動作によって、感情を表現
させることができる。

【０１０５】また本発明によれば、前記表現対象体の画
像は、感情に対応した表情を示すことが可能な顔の画像
である。感情に対応した表情を示す表現対象体の顔の画
像は、基本となる表現対象体の画像を形状を変形させて
作成される。これによって、通信装置が画像データとし
て有するのは、基本となる顔の画像だけであり、各感情
に対応する顔の画像は基本となる顔の画像を変更して作
成される。これによって、通信装置が予めストアしてお
く画像の数を減少させることができる。したがって、画
像に関するデータをストアするメモリなどの容量を減少
させることができる。

【０１０６】また本発明によれば、感情信号を用いて伝
達される感情は、表現対象体の表示位置の時間変化によ
って行われるアニメーションによって表現される。使用
者は、たとえば目視表示領域内全体にわたって移動する
画像を目視することになる。ゆえに、感情表現が大きく
表示されることになり、目視しやすくなる。ゆえに、感
情表現が行われていることを容易に認識することができ
る。

【０１０７】また本発明によれば、感情信号において伝
達される感情は、表現対象体の画像を表示する色を変更
することによって表示される。画像を表示する表示色
は、色のイメージによって、感情を容易に連想すること
が可能である。したがって、感情を画像の表示色で表示
することによって、使用者は容易に表示されている感情
を把握することができる。したがって、感情をより容易
な表現によって表示することができる。

【０１０８】また本発明によれば、前記表情対象体の画
像は、感情に対応した表情を示すことが可能な顔の画像
である。感情信号によって伝えられた連想された感情
は、顔の画像の表情および顔の画像の表示色によって表
示される。ゆえに伝達された感情は、顔の画像の表情が
変更されるだけでなく、たとえば「怒り」を表すとき赤
らんだり、「悲しみ」のときには顔が青白くなるという
うような顔色によっても表現される。したがって、顔の
画像を用いた感情の表現を、より明確に行うことができ
る。

【０１０９】さらに、通信装置にストアされている画像
の表示態様は、感情に対応した表情を示し、かつ表示色
が変更された表現対象体の顔の変更画像であり、各種感
情信号に対応して複数用意されている。各感情信号に応
じた顔の画像を表示することを希望するときは、通信装
置では、予めストアされている複数の変更画像のうちか
ら、所望とする感情を示す画像を選択して目視表示す
る。したがって、容易に表示画像を変更することができ
る。

【０１１０】また本発明によれば、前記表現対象体の画
像は顔の画像であり、顔の画像の表情および表示色を変
更して感情を表現する。さらに、表現対象体の顔の画像
の表示態様は、基本となる表現対象体の顔の画像を変形
および表示色の変更を行う画像変更条件である。ゆえ
に、受信した感情信号の感情を表現するときには、基本
となる表現対象体の画像を画像変更条件に応じて変更し
て、表示すべき顔の変更画像を作成する。したがって、
通信装置が予めストアしておく画像の数を減少させるこ
とができる。ゆえに、画像に関するデータをストアする
メモリの容量を減少させることができる。

【０１１１】また本発明によれば、感情信号によって伝
達された感情の表現は、表現対象体の画像だけでなく、
感情信号に対応した音響を用いても表示される。したが
って、使用者の視覚だけでなく、聴覚に対しても、伝達
すべき感情を示す情報を与えることができる。したがっ
て、使用者は視覚および聴覚を用いて伝達された感情に
関する情報を得ることができる。ゆえに、より確実に感
情を伝えることができる。

【０１１２】また本発明によれば、通信装置は、識別信
号および感情信号とともに、送信すべき内容を言語とし
て記した文章をともに送信する。受信側の通信装置で
は、感情信号によって送信された感情を表現対象体を用
いて目視表示するのと同時に、送信された文章を送信者
に応じて定められる音声の高さおよび口調で音響化して
音響出力する。

【０１１３】したがって、使用者は音響出力された文章
を聴取して認識すると同時に、その文章に付加されてい
る感情を、表現対象体を目視して得ることができる。し
たがって、言語だけでは伝達することが難しいニュアン
スおよび感情などを伝達することが可能である。したが
って、表現力をさらに向上させたしたコンピュータ通信
を実現することができる。

【０１１４】また本発明によれば、送信された文章は、
感情信号に応じた音響態様によって感情を示すように合
成された音響によって音響化される。これによって、表
現対象体を用いた感情表現だけでなく、文章が音響化さ
れた音響そのものによっても感情が表現される。したが
って、さらに細かいニュアンスなどを確実に伝達するこ
とができる。かつ、文章の音響化において、特に送信者
が強調したい部分などを確実に強調して伝達することが
できる。ゆえに、受信者は、送信者が文章を送信した意
図を容易に理解することができる。

【０１１５】また本発明によれば、表現対象体および表
示態様などのデータは、送信者が作成し、予め受信者側
の通信装置に送信しておく。これによって、送信者側の
画像データを作成する必要がなくなるので、受信者側の
負担を減少させることができる。さらに、送信者が、自
らが表現したいと考える感情に応じた画像を作成するこ
とができる。したがって、より確実に感情を伝達するこ
とができる。

【０１１６】また本発明によれば、表現対象体の画像お
よび画像の表示態様は、送信者と使用者との間で行われ
る最初の通信時に、送信者から受信者側の通信装置に伝
送される。以後、受信側の通信装置では、伝達された画
像および表示態様をメモリにストアし、メモリのストア
内容に基づいて、伝送された感情信号を目視表示する。

【０１１７】したがって、画像などデータ量の多い情報
を送る回数を減少させることができる。かつ、感情信号
を送信するだけで受信者側の送信装置では感情信号を使
用者に判りやすい形態で表示することになる。ゆえに、
少ないデータを送信するだけで、確実に感情を表現する
ことができる。これによって、通信装置の負担を減少さ
せ、かつ確実に感情を伝達することができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態である通信装置１の電気
的構成を示すブロック図である。

【図２】感情信号を入力する喜怒哀楽座標２０である。

【図３】感情信号を入力する感情入力用コントロールボ
ックス２５である。

【図４】通信装置１からと他の通信装置１との間で行わ
れる通信のうち、初回の送信時において送信される送信
データの信号構成を説明するための図である。

【図５】図１の通信装置１において、送信データを送信
する送信動作を説明するためのフローチャートである。

【図６】図１の通信装置１において、送信側の通信装置
から送信された送信データを受信する送信データ受信動
作を説明するためのフローチャートである。

【図７】図１の通信装置１において、受信した送信デー
タに含まれる感情信号に応じて画像を変更する画像変更
動作を説明するためのフローチャートである。

【図８】送信者Ｃの顔の像である画像１４ａの顔の像の
模式図である。

【図９】送信者Ｃの顔の像である画像１４ａの顔の像の
模式図である。

【図１０】図１の通信装置１での通信時において、表示
装置１３の目視表示領域１３ａに表示される顔の像の表
示色を変更する表示色変更動作を説明するためのフロー
チャートである。

【図１１】表示装置１３の目視表示領域１３ａに表示さ
れる表示画像である。

【図１２】図１の通信装置１での通信時において、受信
した送信データに対応する顔の像の表示位置を変更する
表示位置変更動作を説明するためのフローチャートであ
る。

【図１３】表示装置１３の目視表示領域１３ａに表示さ
れる表示画像である。

【図１４】図１２のフローチャートのステップｃ７およ
びステップｃ９において、動線αまたは動線βに沿って
顔の範囲の表示位置を移動させる表示移動動作を説明す
るためのフローチャートである。

【符号の説明】

１ 通信装置 ６ 送信処理回路 ７ 送信メモリ １０ 受信処理回路 １１ 受信メモリ １２ データメモリ １３ 表示装置 １３ａ 目視表示領域 １４ａ，１４ｂ，１４ｃ，４；４１，４２，４３；５
１，５６ 顔の像 α，β 動線

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 Ｈ０４Ｎ 7/14 Ｈ０４Ｌ 12/18 Ｇ０６Ｆ 15/62 Ａ Ｈ０４Ｎ 7/14 9466−5Ｋ Ｈ０４Ｌ 11/18

Claims (12)

【特許請求の範囲】
1. 【請求項１】 （ａ）少なくとも、感情表現をすべき人
   または人以外の物である複数の表現対象体を識別する識
   別信号と、各表現対象体毎の複数の感情の表現に個別的
   に対応する感情信号とを送信する送信手段と、 （ｂ）受信手段であって、 各表現対象体の画像を、各感情信号に対応する表示態様
   で表示するためのデータをストアするメモリと、 目視表示手段と、 送信手段から送信される識別信号と感情信号とに対応し
   た表現対象体の画像と表示態様とに関するデータをメモ
   リから読出して、目視表示手段に表現対象体の画像を表
   示態様に従って表示させる制御手段とを有する受信手段
   とを含むことを特徴とする感情表現の通信装置。
2. 【請求項２】 前記表現対象体の画像は、顔の画像であ
   り、 前記表現対象体の画像の表示態様は、各感情信号に対応
   し、感情に対応した表情を示す表現対象体の顔の画像で
   あり、 前記制御手段は、送信された感情信号に対応した表情を
   示す表現対象体の顔の画像を選択して、前記目視表示手
   段に目視表示させることを特徴とする請求項１記載の感
   情表現の通信装置。
3. 【請求項３】 前記表現対象体の画像は、顔の画像であ
   り、 前記表現対象体の画像の表示態様は、各感情信号に対応
   し、顔の画像の形状を変形させる形状変更条件であり、 前記制御手段は、送信された識別信号に対応する表現対
   象体の画像を、送信された感情信号に対応する形状変更
   条件に基づいて変形して、前記目視表示手段に目視表示
   させることを特徴とする請求項１記載の感情表現の通信
   装置。
4. 【請求項４】 前記表現対象体の画像の表示態様は、各
   感情信号に対応し、前記目視表示手段の目視表示領域内
   における予め定める時間毎の画像の表示位置であり、 前記制御手段は、送信された識別信号に対応する表現対
   象体の画像を、目視表示領域内の送信された感情信号に
   対応する表示位置に、予め定める時間毎に順次移動させ
   て表示させることを特徴とする請求項１記載の感情表現
   の通信装置。
5. 【請求項５】 前記表現対象体の画像の表示態様は、各
   感情信号に対応し、前記表現対象体の画像の表示色の色
   相、明度、および彩度のうち少なくとも１つを変更する
   色変更条件であり、 前記制御手段は、送信された識別信号に対応する表現対
   象体の画像を、送信された感情信号に対応する色変更条
   件に応じて表示色を変更して、前記目視表示手段に目視
   表示させることを特徴とする請求項１記載の感情表現の
   通信装置。
6. 【請求項６】 前記表現対象体の画像は、顔の画像であ
   り、 前記表現対象体の画像の表示態様は、各感情信号に対応
   し、感情に対応した表情を示し、かつ表示色の色相、明
   度、および彩度のうちの少なくとも１つが変更された表
   現対象体の顔の変更画像であり、 前記制御手段は、送信された感情信号に対応した表現対
   象体の顔の変更画像を選択してメモリから読出し、前記
   目視表示手段に目視表示させることを特徴とする請求項
   １記載の感情表現の通信装置。
7. 【請求項７】 前記表現対象体の画像は、顔の画像であ
   り、 前記表現対象体の画像の表示態様は、各感情信号に対応
   し、顔の画像を変形させ、かつ画像の表示色の色相、明
   度、および彩度のいずれか１つを変更させる画像変更条
   件であり、 前記制御手段は、送信された識別信号に対応する表現対
   象体の画像を、送信された感情信号に対応する画像変更
   条件に基づいて形状および表示色を変更して、前記目視
   表示手段に目視表示させることを特徴とする請求項１記
   載の感情表現の通信装置。
8. 【請求項８】 前記表現対象体の画像の各表示態様は、
   各感情信号に対応した音響表示に対応しており、 前記受信手段は、音響表示を出力する音響表示手段をさ
   らに含み、 前記制御手段は、送信された識別信号に対応する表示対
   象体の画像を、送信された感情信号に応じた表示態様に
   沿って前記目視表示手段に目視表示させると共に、送信
   された感情信号に対応した音響表示を音響表示手段から
   出力させることを特徴とする請求項１記載の感情表現の
   通信装置。
9. 【請求項９】 前記送信手段は、送信すべき文章を識別
   信号および感情信号と共に送信し、 前記メモリには、各識別信号に対応し、文章を音響化す
   るときの速度および音程を含む音響化条件がさらにスト
   アされ、 前記受信手段は、送信された文章を識別信号に応じた音
   響化条件に沿って音響化して出力する音響化手段をさら
   に含むことを特徴とする請求項１記載の感情表現の通信
   装置。
10. 【請求項１０】 前記メモリには、感情信号に対応した
    音響態様がさらにストアされ、 前記音響化手段は、送信された文章を識別信号に応じた
    音響化条件および感情信号に応じた音響態様に沿って音
    響化して出力させることを特徴とする請求項９記載の感
    情表現の通信装置。
11. 【請求項１１】 前記送信手段は、表現対象体の画像と
    画像の表示態様とを送信し、 前記受信手段の制御手段は、 送信手段から送信される表現対象体の画像と、画像の表
    示態様とを前記メモリにストアし、 メモリにストアされるストア内容に基づいて制御動作を
    行うことを特徴とする請求項１記載の感情表現の通信装
    置。
12. 【請求項１２】 前記送信手段は、その送信手段から別
    の通信装置の受信手段への表現対象体の画像と画像の表
    示態様との送信を、送信の初期に一度だけ行うことを特
    徴とする請求項１１記載の感情表現の通信装置。