JPH11346267A - 会話システム - Google Patents

Abstract

(57)【要約】 【課題】 話者のプライバシー保護を図りながら、話者
が今いる状況を会話相手に知らせることができ、もって
会話に臨場感を与えることができる、会話システムを提
供することを目的とする。 【解決手段】 遠隔の地に居る実在の人又はコンピュー
タ上の仮想の人との間で、リアルタイムに又は時間差を
介して、文字又は音声により会話を行うための会話シス
テムにおいて、文字又は音声により構成される会話に関
連付けられて表示される話者を示す画像を生成するため
の話者画像生成手段と、この画像生成手段に対して、画
像生成のために必要な服装又は姿態データを提供する服
装・姿態データ提供手段と、を含むことを特徴とする会
話システムである。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、遠隔の地に居る実
在の人又はコンピュータ上の仮想のキャラクタとの間
で、リアルタイムに又は時間差を介して、文字又は音声
により、「会話」（電子メール、メッセージ送信、リア
ルタイムのチャット、メーリングリストなどを含む）を
行うための会話システムに関する。

【０００２】

【従来の技術】従来より、遠隔の地に居る人とインター
ネットやパソコン通信などのネットワークを介して会話
を行うことが行われている。それは、「チャット」と呼
ばれるリアルタイムの会話を行うシステムであったり、
「電子メール」「メーリングリスト」と呼ばれる電子的
なメッセージ（手紙、発言）を遠隔の相手に送るシステ
ムであったりする。また、その会話も、電子メール、メ
ーリングリスト、チャットのいずれにおいても、相手方
が一人である「一対一」の場合だけではなく、一度に多
数人に同報メールを送信することによる「一対多」とか
「多対多」の会話も可能である。

【０００３】また、以上のチャット、電子メール、メー
リングリストなどは、いずれも、遠隔の地に居る「実在
の人（人間）」と会話を行うものであるが、それ以外
に、例えば、「電子秘書」とか「電子案内嬢（電子コン
パニオン）」とか「電子アドバイザー」などの「仮想の
人（キャラクター）」との間でユーザーが会話を行う場
合がある。例えば、ある大手企業のイギリスの証券市場
を担当している電子秘書に対して日本在住の役員（ユー
ザー）がコンピュータ上で問い合わせする場合とか、日
本在住のユーザーがフランスのルーブル美術館（インタ
ーネット上の電子的なバーチャル美術館）にインターネ
ット上でアクセスして、最初に画面に現れた電子案内嬢
に質問を行うなどの場合である。このような場合は、実
在の人ではなく「コンピュータ上の仮想のキャラクタ」
（電子秘書や電子案内嬢）とユーザーが会話を行うこと
になる。

【０００４】さらに、最近は、「インターネットを使用
した仮想空間の中でチャットなどの会話をユーザーが楽
しむとき、ユーザーが自分の「分身」を画面の中に作り
出して、その分身を通して、仮想の町や店舗の中を歩き
回ったり、インターネットを通じて世界中からこの仮想
の町を訪れる人々と画面の中で出会い、あたかも実際に
会っているかのように会話ができる」システムも、「イ
ンタースペース」というソフトウェアの名前で、ＮＴＴ
ソフトウェアカリフォルニア技術センターにより、１９
９８年６月から米国で実用化されている（以上、１９９
８年４月２０日付け日経産業新聞の記事「日本企業 世
界に生きる 日本発ソフト発信 ネット用、仮想体験売
り物」より引用。なお、この記事には、ユーザーの「分
身」として、ユーザーの顔写真とコンピュータグラフィ
ックスによる胴体とを合成したキャラクタが使用された
画面の写真が掲載されている）。さらに又、最近は、前
記と同様の「自分の分身が仮想世界を活動するシステ
ム」が様々な企業から実用化されている。次は、１９９
８年１０月１４日付け日経産業新聞の記事「ネットで会
話に新サービス 顔写真付きも登場」からの引用であ
る。「インターネットを使って見知らぬ人は文字のメッ
セージを同時に交わし合うチャット（おしゃべり）で、
ネット関連会社が相次ぎ新サービスを開始している。ソ
ニーはこのほど、チャット参加者の顔写真をパソコン画
面上に表示する新サービス「Ｃｈａｔ Ｖｉｓｉｏｎ」
を始めた。通常のチャットは文字だけのやりとりだが、
新サービスではデシタルカメラなどで撮影した顔写真付
きの画像が自分の分身となってネット上の三次元の仮想
空間を自由に歩き回り、出会った相手と顔を見合わせな
がら会話を楽しむことができる。三洋電機ソフトウェア
（大阪府守口市）が行うインターネット接続業者の「Ｓ
ＡＮＮＥＴ」も、赤ちゃんロボットなど５種類のキャラ
クターの姿を借りて三次元空間でチャットできる「ＴＵ
ＬＩＥ ＷＯＲＬＤ」というサービスを始めた。」

【０００５】

【発明が解決しようとする課題】ところで、以上のよう
な会話システムにおいては、文章や音声で会話がやりと
りされる（電子メールを音声で送ることも実用化されて
いる）。また、電子メールに、音声や画像を含むファイ
ルを添付又は合成すると共に、話者を示すキャラクタを
添付又は合成することも行われている。しかしながら、
従来の電子メールなどに添付又は合成している話者を示
すキャラクタは、話者の居る時間帯やその周囲の状況が
分かるようなものではない。また、従来のキャラクタ
は、話者がどのような場所にいても、また話者が発言し
ている時間帯がどのような時間帯であっても、キャラク
タの内容は同一の画一的なもので面白味の無いものであ
った。他方、従来からも、パソコンのディスプレイなど
の上にＣＣＤカメラなどを取り付けて、音声又は文字か
ら成る会話に、カメラ記で撮像した話者及びその周囲の
実写映像を添付又は合成して送信する「テレビ電話シス
テム」「テレビ会議システム」も実用化されている（こ
れらは、リアルタイムの音声による会話であるが、リア
ルタイムの又は時間差のある文字による会話にも、応用
が可能である）。しかしながら、このようなカメラから
の撮像画像を会話に添付又は合成する方法は、カメラを
取り付けていない情報機器を使用して行う会話には使用
できないし、また、自宅の中などのプライバシー保護が
必要な場所から会話を発信する場合はカメラからの実写
映像をそのまま送るのはプライバシー保護上適切ではな
い、などの問題がある。また、上記のように、ＮＴＴソ
フトウェアカリフォルニア技術センターやソニーにより
最近実用化された「ユーザーがチャットを行うとき、自
分の顔写真を含む画像を、自分の分身として、仮想空間
の中を歩き回ったり、仮想の町で人と出会って会話をす
る」というサービスは、仮想空間の中でも、「現実の自
分の顔写真付きのキャラクタ」を使用して会話する点
で、会話の「臨場感」をある程度は高めるものと言え
る。しかし、上記の技術では、「顔写真」を「自分の分
身」として使用するだけで、「顔写真」以外の胴体や服
装や背景の画像などは常に一定のものを使用している
（あるいは背景の画像などは存在しない。つまり、ユー
ザーが現在どのような状況に居るのか、ユーザーは現在
何をしているのか、ユーザーは現在どのような地域・場
所に居るのか、などの具体的な詳細情報は全く捨象して
いる）ので、会話の「臨場感」を十分に高めることは到
底できない。また、上記の三洋電機ソフトウェアが開始
したサービスでは「赤ちゃんロボット」などのキャラク
タを「自分の分身」として会話をするようにしている
が、このような「ユーザーが現在どのような状況に居る
のか、ユーザーは現在何をしているのか、ユーザーは現
在どのような地域・場所に居るのか、などの具体的な状
況」とは全く関係の無い架空のキャラクタを「分身」と
して使用しても、会話に「臨場感」や「印象深さ」を与
えることは全く期待できない。

【０００６】本発明はこのような従来技術の問題点に着
目してなされたものであって、話者のプライバシー保護
を図りながら、話者が今いる状況を会話相手に知らせる
ことを可能にして、会話に臨場感や印象深さを与えるこ
とができる、会話システムを提供することを目的とす
る。

【０００７】

【課題を解決するための手段】１．遠隔の地に居る実在
の人又はコンピュータ上の仮想の人（仮想のキャラク
タ）との間で、リアルタイムに又は時間差を介して、文
字、データ（図形、グラフ、表などのデータ）又は音声
により、メール、メッセージ、又は発言などの「会話」
をやり取りするための会話システムにおいて、文字、デ
ータ又は音声により構成される会話に関連付けられて表
示される話者を示す画像を生成するための話者画像生成
手段と、この画像生成手段に対して、画像生成のために
有益な服装又は姿態データを提供する服装・姿態データ
提供手段と、を含むことを特徴とする会話システム。 ２．遠隔の地に居る実在の人又はコンピュータ上の仮想
の人（仮想のキャラクタ）との間で、リアルタイムに又
は時間差を介して、文字、データ（図形、グラフ、表な
どのデータ）又は音声により、メール、メッセージ、又
は発言などの「会話」をやり取りするための会話システ
ムにおいて、文字、データ又は音声により構成される会
話に関連付けられて表示される話者を示す画像を生成す
るための話者画像生成手段と、この画像生成手段に対し
て、画像生成のために有益な背景画像データを提供する
背景画像データ提供手段と、を含むことを特徴とする会
話システム。 ３．上記１において、さらに、前記服装・姿態データ提
供手段に対して、話者の居る場所の気候や天候、話者が
会話をしている季節、話者が会話をしている時間帯、話
者が居る場所の周囲状況などの「話者に関する環境情
報」を提供するための環境情報提供手段を備えたことを
特徴とする会話システム。 ４．上記２において、さらに、前記背景データ提供手段
に対して、話者の居る場所の気候や天候、話者が会話を
している季節、話者が会話をしている時間帯、話者が居
る場所の周囲状況などの「話者に関する環境情報」を提
供するための環境情報提供手段を備えたことを特徴とす
る会話システム。 ５．上記１から４までのいずれかにおいて、さらに、前
記会話に、話者の居る場所の気候や天候、話者が会話を
している季節、話者が会話をしている時間帯、話者が居
る場所の周囲状況などの「話者に関する環境情報」と関
連する「背景音響・音声」のデータを、添付又は合成す
るための背景音響・音声提供手段を備えたことを特徴と
する会話システム。ここで、前記の「背景音響・音声」
とは、例えば、話者が会話をしている場所が「ピアノ演
奏を実演しているレストラン」なら、「ピアノ演奏を示
す音楽データ」がそれに該当する。また、話者が会話を
している場所が海岸なら、「海岸で聞こえる海の波の
音」が前記音響・音声データに該当する。また、話者が
会話をしている場所が街頭ならば、「街頭のざわめき
（多数の人の話し声や車の通行の騒音など）」が前記
「背景音響・音声」のデータに該当する。 ６．上記３又は４において、前記環境情報提供手段は、
話者の現在位置を特定するための現在位置特定手段と、
話者が会話をしているときの時間帯を特定するための時
間帯特定手段と、話者が会話をしている日の曜日を特定
するためのカレンダー記憶手段と、前記の現在位置特定
手段、時間帯特定手段、及びカレンダー記憶手段からの
出力に基づいて、話者の現在の周囲状況又は行為状況を
求めるための話者行為状況特定手段と、を含むものであ
る。なお、ここで、上記「話者の周囲状況」とは、話者
が会話をしているときの周囲の状況のことで、例えば、
周囲は職場の会社内であるとか、自宅内であるとか、海
外旅行先のホテルであるとかの情報である。また、上記
「話者の行為状況」とは、話者が会話をしているときに
話者は何をしているのかを示す状況であって、例えば、
話者は現在電車に乗っているとか、話者は現在会社内で
仕事をしているとか、話者は現在自宅内のリビングルー
ムでテレビを見ているとかの情報である。 ７．上記１，２，３又は４において、さらに、話者の現
在位置の天候を示す情報を発生する天候情報発生手段を
含んでいる、ことを特徴とする会話システム。この天候
情報に基づいて、話者の服装・姿態データを特定又は推
定することができると共に、話者の背景画像データを特
定又は推定することができる。

【０００８】なお、本発明において、「会話」という用
語は、通信ネットワークを介して行われる会話であっ
て、例えば、時間差をもって文字又は音声により行われ
る電子メール（最近は音声で送れる電子メールも実用化
されている。また、文字で送られた電子メールを受信側
では音声で聞けるシステムや、音声で送られた電子メー
ルを受信側が文字で見れるシステムもある）、リアルタ
イムで行われるチャット、メーリングリスト、パソコン
通信の電子会議室などでの発言、などの様々な種類・内
容のものを含むものである。また、「会話」の内容も、
発言、メッセージ、手紙などの様々な種類・内容のもの
を含むものである。

【０００９】

【発明の実施の形態】図１は本発明の実施形態を示すも
のである。以下で説明する本実施形態は、インターネッ
トを利用した電子メールのシステムに、メール発信者
（会話の話者）及びその発信している周囲の環境を示す
「話者画像」を添付又は合成する技術（電子メールの文
字列の表示と同時に、話者画像をも表示させる技術）を
適用した場合の、会話システムである。図１において、
１はグローバルな通信網であるインターネット、２はこ
のインターネット１に接続され、電子メールなどの会話
（文字又は音声による）を送受信できる会話送受信部で
ある。また、３は、この会話送受信部２により送信され
る、会話とそれに添付又は合成される話者画像（後述す
る）とを合成するための会話合成部である。また、４は
文字又は音声による会話文（話、メール、又は、メッセ
ージ）を生成するための会話文生成部、５はユーザーが
文章による会話文を入力するためのキーボード、６はユ
ーザーが音声による会話を入力するためのマイク、であ
る。

【００１０】また、図１において、７は前記会話文生成
部４により生成された会話文に添付又は合成される話者
画像を生成するための話者画像生成部である。ここで、
「話者画像」とは、話者（本実施形態では、電子メール
を発信しようとするユーザー）及び話者の周囲の環境を
示す画像、のことである。この話者画像は、例えば、ユ
ーザー（話者）の顔を示すデータ（アニメーション、コ
ンピュータグラフィックス（ＣＧ）、似顔絵などのイラ
スト、顔写真などの実写映像など）（以下、この話者の
顔を示すデータを、「キャラクタ要部」という）に、こ
のキャラクタ要部の下方の身体部分の服装などの姿態を
示すデータ（アニメーション、ＣＧ、イラスト、実写映
像など）と、このキャラクタ要部の背景を示すデータ
（アニメーション、ＣＧ、イラスト、実写映像など）と
を、付加・合成することにより、生成される。

【００１１】すなわち、図１において、８は話者である
ユーザーの顔を示すデータ（キャラクタ要部）をコーデ
ィネートするためのキャラクタ要部コーディネート部、
９はこのキャラクタ要部の下方の身体部分の服装・姿態
のデータをコーディネートするための服装・姿態コーデ
ィネート部、１０はキャラクタ要部の背景画像をコーデ
ィネートするための背景画像コーディネート部、であ
る。

【００１２】前記のキャラクタ要部コーディネート部８
には、複数種類のキャラクタ要部を示すデータ（アニメ
ーション、ＣＧ、イラスト、実写映像など）を記録した
キャラクタ要部データベース８ａが接続されている。ま
た、前記服装・姿態コーディネート部９には、夏用、冬
用、晴天用、雨天用、外出用、室内用などの複数種類の
服装・姿態を示すデータ（アニメーション、ＣＧ、イラ
スト、実写映像など）を記録した服装・姿態データベー
ス９ａが接続されている。また、前記背景画像コーディ
ネート部１０には、夏、冬、晴天、雨天、街頭（街
角）、会社内、自宅内、観光地、海岸、山岳、などの複
数種類の背景画像を示すデータ（アニメーション、Ｃ
Ｇ、イラスト、実写映像など）を記録した背景画像デー
タベース１０ａが接続されている。なお、前記の各デー
タベース８ａ，９ａ，１０ａは、ユーザーが保有するパ
ソコン（パーソナルコンピュータ）のハードディスク装
置やＣＤ−ＲＯＭ装置などの記録装置に記録されている
データベースでもよいし、また、インターネット上のサ
ーバー（ネットワーク管理用コンピュータ）に蓄積され
ており、随時内容が更新され、ユーザーがオンラインで
アクセスできるデータベースであってもよい。

【００１３】次に、前記各コーディネート部８，９，１
０は、前記各データベース８ａ，９ａ，１０ａに蓄積さ
れた各データを、話者であるユーザーの現在居る場所や
現在の時間帯（ユーザーがメールを発信しようとしてい
る場所や時間帯）に関する「周辺環境の情報」に基づい
て、最も適切なものを選択し、前記話者画像生成部７に
送る。

【００１４】前記各コーディネート部８，９，１０は、
前記の選択に必要な「周辺環境の情報」を、環境情報提
供部１１から得るようにしている。この環境情報提供部
１１は、話者（ゆーざー）がメール発信時に居る場所の
季節・気候・風土などのデータを収集する季節・気候・
風土データ収集部１２と、ユーザーがメール発信時に居
る場所の天候データを収集する天候データ収集部１３
と、ユーザーがメールを発信する時の時間帯（朝、昼、
夕方、夜、深夜など）のデータを収集するための時間帯
データ収集部１４と、ユーザーがメール発信時に居る場
所の周囲状況（会社内か、自宅内か、公園内か、海岸
か、湖の前か、街角か、田舎道か、友人と一緒か一人
か、など）を収集するための周囲状況データ収集部１５
とから、前記の話者の「周辺環境情報」を得て、これを
前記各コーディネート部８，９，１０に、提供する。

【００１５】次に、前記季節・気候・風土データ収集部
１２は、例えばインターネット上のオンライン・データ
ベース１６にアクセスして、ユーザーが居る場所の季節
・気候・風土のデータを収集する。すなわち、ユーザー
がインターネットのプロバイター（インターネット接続
サービス業者）のサーバーにアクセスしたとき、前記季
節・気候・風土データ収集部１２は、インターネット上
のサーバーに記録されたデータベースにアクセスして、
ユーザーの情報端末のある場所に関する季節・気候・風
土のデータを自動的に引き出してきて、データ収集を行
う。また、データベースは、前記のようにインターネッ
ト上のオンラインデータベースでなくてもよく、例え
ば、ＣＤ−ＲＯＭなどに記録されたデータベースでもよ
い。また、季節・気候・風土データ収集部１２は、ユー
ザーがユーザー入力部１７から入力したデータ（例え
ば、「熱帯雨林気候」「寒冷気候」などのデータ）によ
って、話者の居る場所の季節・気候・風土を収集するこ
ともできる。

【００１６】例えば、ユーザーが、今、アフリカのエジ
プトから電子メールを発信しようとしているときは、前
記季節・気候・風土データ収集部１２は、ＧＰＳ受信機
１６ａからの現在位置座標データに基づいて、そのエジ
ブトの季節・気候・風土のデータを、ＣＤ−ＲＯＭのデ
ータベース１６やオンライン・データベース１６などか
ら収集する。そして、これらのデータは、前記環境情報
提供部１１を介して、前記各コーディネート部８，９，
１０に送られる。各コーディネート部８，９，１０は、
これらの季節・気候・風土のデータに基づいて、それに
適したキャラクタ要部、服装・姿態、背景画像を選択
し、前記話者画像生成部７に送る。

【００１７】次に、前記天候データ収集部１３は、例え
ば、ユーザーの情報機器（パソコン）に接続された気圧
センサ１８や温度センサ１８などからのデータに基づい
て、ユーザーが今いる場所の天候のデータを収集する。
例えば、ユーザーの居る場所の気圧が低いときは、気圧
センサ１８からのデータに基づいて、天候データ収集部
１３（コンピュータ）が「雨天」と推論し、「雨天」と
いう天候データを環境情報提供部１１に送信する。ま
た、ユーザーの居る場所の気圧が低く且つその場所の気
温が零下と極めて低いときは「雪」の天候と推論し、
「雪」という天候データを環境情報提供部１１に送信す
る。また、前記天候データ収集部１３は、例えば、イン
ターネット上のオンラインの天候情報データベース１９
にアクセスして、ユーザーが今居る場所の天候・天気の
データを収集する。また、前記天候データ収集部１３
は、ユーザー入力部２０によりユーザーが入力したデー
タ（例えば、「今は雨」とか「今は晴天」などのデー
タ）に基づいて、ユーザーの居場所の天候データを収集
する。

【００１８】例えば、ユーザーが、今、イギリスのロン
ドンから電子メールを発信しようとして、ロンドンがそ
のとき「雨天」である場合は、前記天候データ収集部１
３は、「雨天」のデータを環境情報提供部１１に送る。
環境情報提供部１１は、この「雨天」というデータを前
記各コーディネート部８，９，１０に送る。すると、例
えば、前記服装・姿態コーディネート部９は、この「雨
天」というデータに基づいて、それに適した服装・姿態
画像（レインコート、傘、長靴を用意している画像な
ど。アニメーションやＣＧのデータでもよいが、写真な
どの実写画像でもよい）を選択して、前記話者画像生成
部７に送る。また、例えば、前記背景画像コーディネー
ト部１０は、前記の送られてきた「雨天」というデータ
に基づいて、「雨の降るロンドンの街角の風景画像」の
データ（アニメーションなどの架空のデータでもよい
が、実写画像でもよい）を、背景画像として前記話者画
像生成部７に送る。

【００１９】次に、前記時間帯データ収集部１４は、例
えば、計時部（時計手段）２１からの時刻データに基づ
いて、ユーザーがメールを発信しようとするときの時間
帯データ（今は、朝か、昼か、夕方か、夜か、など）を
収集する。また、前記時間帯データ収集部１４は、ユー
ザー入力部２２によりユーザーが入力したデータ（例え
ば、「今は夜」とか「今は朝」などのデータ）に基づい
て、時間帯データを収集するようにしてもよい。

【００２０】例えば、ユーザーが、今、自宅から深夜に
メールを発信しようとしている場合、前記時間帯データ
収集部１４は、「深夜である」というデータを、環境情
報提供部１１に送り、環境情報提供部１１はこの「深夜
である」というデータを、前記各コーディネート部８，
９，１０に送る。前記服装・姿態コーデイネート部９
は、この「深夜である」という時間帯データを受け取る
と、それに適した服装・姿態データ（例えば、パジャマ
姿など）を、前記話者画像生成部７に送る。また、前記
背景画像コーディネート部１０は、前記の「深夜であ
る」というデータを受け取ると、それに適した背景画像
データ（例えば、「深夜に天空に見える星空」の画像。
ＣＧなどの架空データでもよいし、実写画像でもよい）
を、前記話者画像生成部７に送る。

【００２１】次に、前記周囲状況データ収集部１４は、
例えば、ユーザーの情報端末に接続されたカメラ２３か
らの画像データに基づいて、ユーザーがメールを発信し
ようとしている時のユーザーの周囲の状況（例えば、こ
の場所は会社内か、自宅内か、観光地か、海岸か、街角
か、など）のデータを収集する。また、前記周囲状況デ
ータ収集部２４は、例えば、ユーザー入力部２４により
ユーザーが入力したデータ（今居る場所は、海岸であ
る、山である、街角である、会社である、など）に基づ
いて、前記周囲状況データを収集するようにしてもよ
い。

【００２２】例えば、ユーザーが、今、真夏の海岸で電
子メールを発信しようとしている場合、前記周囲状況デ
ータ収集部２４から「海岸である」というデータが環境
情報提供部１１に送られ、環境情報提供部１１から前記
各コーディネート部８，９，１０に、それぞれ「海岸で
ある」という周囲状況データが送られる。前記服装・姿
態コーディネート部９は、この「海岸である」というデ
ータを受け取ると、その海岸に適した服装・姿態の画像
（例えば、水着姿）を、前記話者画像生成部７に送る。
また、前記背景画像コーディネート部１０は、前記の
「海岸である」というデータを受け取ると、それに適し
た背景画像（例えば、海水浴の風景）を選択して、それ
を前記話者画像生成部７に送る。

【００２３】なお、前記各コーディネート部８，９，１
０には、ユーザーが発信するメールに添付又は合成する
「話者画像」を構成するキャラクタ要部、服装・姿態、
及び、背景を、直接に選択するか又は選択の方向性を指
示することもできる。すなわち、前記各コーディネート
部８，９，１０には、それぞれ、ユーザーが直接に指示
データを入力できるユーザー入力部８ｂ，９ｂ，１０ｂ
が備えられている。したがって、ユーザーは、直接に、
キャラクタ要部コーディネート部８に指示データを入力
して、自分の好きなキャラクタ要部（例えば、似顔絵の
イラスト、実写の顔写真など）を選択してこれを前記話
者画像生成部７に送るようにすることができる。また、
ユーザーは、直接に、前記服装・姿態コーデイネート部
９に指示データを入力して、自分の好きな服装・姿態を
選択したり、自分の好きな服装・姿態の方向性を示すデ
ータ（例えば、「カジュアル系で色は赤色系統の服
装」、「色は黒色でシックな感じの服装」など）を入力
し、それに適した服装・姿態を、前記話者画像生成部７
に送ることができる。また、ユーザーは、直接に、前記
背景画像コーディネート部１０に指示データを入力し
て、自分の好きな背景（山、湖、街角など）を指示し
て、それに適した背景画像を前記話者画像生成部７に送
らせることができる。

【００２４】また、図１において、５１は話者の周囲状
況及び話者の行為状況を特定・推論するための「話者周
囲状況及び話者行為状況特定部」（以下「話者状況特定
部」と略す）である。この話者状況特定部５１には、話
者の現在位置座標データを求めるためのＧＰＳ（グロー
バル・ポジショニング・システム）受信機が接続され、
話者の現在位置データが随時入力されるようになってい
る（なお、話者の現在位置を特定するためのシステムと
しては、ＧＰＳの他に、ＰＨＳ（簡易型携帯電話システ
ム）を利用したシステムなども存在する）。また、前記
話者状況特定部５１には、暦データを記録したカレンダ
ー記録部５３、及び、計時データを出力する計時部（時
計）５４が接続され、随時、会話をしているときの曜日
と時間帯データが入力されるようになっている。また、
前記話者状況特定部５１には、位置座標データと各地の
気候風土との関係を記録した位置・気候データベース５
５と、話者の日常の行動パターンを示す行動パターンデ
ータベース５６とが接続されている。前記位置・気候デ
ータベースには、各地域の位置データと気候風土・季節
情報が互いに関連付けられて記録されている。また、前
記行動パターンデータベース５６には、例えば、平日の
昼間の時間帯は会社内、平日の朝８時から９時までの時
間帯は通勤電車の中、日曜日の夜は自宅のリビングルー
ムでテレビを見ている、などのような、話者の日常生活
の行動パターンが曜日と時間帯と関連付けられて記録さ
れてている。

【００２５】したがって、前記話者状況特定部５１は、
前記ＧＰＳ受信機５２からの会話時の現在位置データ、
前記カレンダー記憶部からの暦データ（主として、季節
を推論するための月のデータ）、及び、前記計時部５４
からの時間帯データ（主として、各国の時差を考慮し
て、会話時が朝か昼か夜かを推論するための時間帯デー
タ）から、前記位置・気候データベース５５を検索する
ことにより、会話時の話者の周囲の土地・場所の気候・
風土及び現在の季節を特定・推論する。また、前記話者
状況特定部５１は、前記ＧＰＳ５２からの現在位置デー
タ、前記カレンダー記録部５３からの会話時の暦データ
（主として行動パターンを推論するための曜日デー
タ）、及び、前記計時部５４からの会話時の時間帯デー
タから、前記行動パターンデータベース５６を検索する
ことにより、話者の現在の行動状況（行為状況。現在、
会社内で仕事中か、通勤電車で通勤中か、自宅でくつろ
いでいる最中か、など）を特定又は推論する。

【００２６】本実施形態では、前記話者状況特定部５１
などで特定・推論した「話者状況」のデータを環境情報
提供部１１に送信し、環境情報提供部１１はこの「話者
状況」データを前記各コーディネート部９，１０に送
る。この「話者状況」データを受信した前記各コーディ
ネート部９，１０は、この送られたデータに基づいて、
話者の「服装・姿態」（仕事用の服装かホームウェアか
遊び着か）や「背景画像」（季節、場所など）をコーデ
ィネートするためのデータを得る。

【００２７】以上は、前記会話生成部４で作成される
「会話」に添付又は合成するための「話者画像」の生成
について説明した。本実施形態では、この「話者画像」
に加えて、「背景音響」をも、前記「会話」に添付又は
合成することができる。すなわち、本実施形態では、図
１に示すように、会話合成部３に「背景音響」を送るた
めの背景音響生成部４０が備えられている。この背景音
響生成部４０は、背景音響コーディネート部４１からの
データに基づいて生成される。背景音響コーディネート
部４１は、背景音響データベース４２とユーザー入力部
４３と環境情報提供部１１からのデータに基づいて、背
景音響をコーディネートする。

【００２８】前記背景音響データベース４２は、海の
音、街角の音（ざわめき）、駅の音（列車や駅のホーム
の騒音など）、ピアノ演奏の音などの様々な音響・音声
のデータを蓄積している。また、この背景音響データベ
ースは、ＣＤ−ＲＯＭなどに記録されているものでもよ
いし、オンライン型のデータベースでもよい。

【００２９】また、環境情報提供部１１には、ユーザー
の周囲の音響データを収集するための周囲音響データ収
集部４４が備えられている。この周囲音響データ収集部
４４は、ユーザーの周囲の音響を収集するためのマイク
４５からのデータや、ユーザーがユーザー入力部４６か
ら入力したデータ（例えば、「夏祭り」「東京都渋谷の
街中」「ジャズ演奏会」などのデータ）に基づいて、周
囲音響データ（例えば、「夏祭りのざわめき」「東京都
渋谷の街中のざわめき」「ジャズ演奏会の音」などのデ
ータ）を収集して、前記環境情報提供部１１に送り、こ
の周囲音響データは、さらに、前記背景音響コーディネ
ート部４１に送られる。背景音響コーディネート部４１
は、この送られてきたデータに基づいて、背景音響生成
部４０に「背景音響」の生成に必要なデータを送信す
る。

【００３０】以上のようにして生成される「背景音響」
とは、例えば、前記会話に添付又は合成するための音響
・音声データであって、話者の居る場所の気候や天候、
話者が会話をしている季節、話者が会話をしている時間
帯、話者が居る場所の周囲状況などの「話者に関する環
境情報」と関連する音響・音声データ、である。また、
ここで、前記の「音響・音声データ」とは、例えば、話
者が会話をしている場所が「ピアノ演奏を実演している
レストラン」なら、「ピアノ演奏を示す音楽データ」が
それに該当する。また、話者が会話をしている場所が海
岸なら、「海岸で聞こえる海の波の音」が前記音響・音
声データに該当する。また、話者が会話をしている場所
が街頭ならば、「街頭のざわめき（多数の人の話し声や
車の通行の騒音など）」が前記音響・音声データに該当
する。これらの「背景音響」が「会話」に添付又は合成
されると、その会話を送られた相手方は、その「会話」
（文字又は音声）を見る又は聞くときに、同時に、その
「環境音響」を聞くことになるので、会話に臨場感が生
まれて、印象深い会話のやり取りが可能になる。

【００３１】なお、以上に説明した環境情報提供部１１
には、エージェント（電子代理人又は電子秘書）機能が
備えられており、ユーザーが電子ルールなどの会話を行
おうとしたときは、自動的に、インターネット上の様々
なオンライン・データベースにアクセスすることによ
り、また、前記のセンサ（気圧センサ）１８，計時部２
１，カメラ２３，マイク４５などからデータを取り込む
ことにより、前記の季節・気候・風土、天候、時間帯、
周囲状況、周囲音響などのデータを収集するようにする
ことができる。前記のエージェント機能は、例えば、ユ
ーザーが使用する電子メール用ソフトウェアに付属する
ソフトウェアとして実現できる。

【００３２】以上に説明したように、本実施形態によれ
ば、ユーザーは、自分が文字又は音声で作成した電子メ
ール（音声データとして送信する音声メールも含む）
に、自分がこれからメールを発信しようとするときの場
所の季節・気候・風土、天気、時間帯、周囲の状況など
に適した「話者画像」を添付又は合成して送信すること
ができるので、電子メールのやり取りがより臨場感のあ
る印象深いものになる。

【００３３】なお、図２は、本実施形態で作成した電子
メール（会話の一種）の一例を示すものである。図２に
おいて、３０は会話（電子メール）の全体、３１は「会
話」を構成する一要素である「会話文」、３５は「会話
３１」を構成する一要素である「話者画像」、３６は
「会話３１」を構成する一要素である「背景音響」であ
る。前記「話者画像」３５は、キャラクタ要部３３（例
えば、話者の顔を実写した顔写真、話者の顔のイラス
ト、話者の顔のコンピュータグラフィック画像などによ
り構成される）と服装・姿態３４（例えば、イラストや
コンピュータグラフィック画像などにより構成される）
と背景画像３２（例えば、イラストやコンピュータグラ
フィック画像などにより構成される）と、により構成さ
れる。また、前記「背景音響」３６は、例えば、この
「会話」３１を受け取った相手方がマウス等のポインテ
ィングデバイスでこの３６で示す部分をクリックする
と、背景音響又は背景音声がスピーカから流れるように
なっている。或いは、前記の話者画像３５と背景音響３
６は、互いに連動して出力されるように予め設定され、
話者画像３５が表示されるときには、ほぼ同時に、自動
的に、前記背景音響３６もスピーカから出力されるよう
にしてもよい。前述のように、本実施形態では、話者画
像３５の中の「話者の顔」（キャラクタ要部）３２だけ
は実写画像を使用したとしても、それ以外の服装・姿態
３４や背景画像３２はイラストやコンピュータグラフィ
ック画像なので、話者のプライバシーが侵害される恐れ
は無い。他方、本実施形態では、前記のイラストやコン
ピュータグラフィック画像で構成される服装・姿態３４
や背景画像３２が、話者が会話をしている現在の場所や
時間帯や季節などと対応した内容となっているので、話
者画像３５や会話３１に臨場感を持たせることができる
（これに対して、話者が会話をしている場所・時間帯・
季節などがどのようなものであろうと、常に一定の服装
・姿態や背景を使用した話者画像を会話に添付・合成し
て送信する場合は、話者画像や会話に臨場感を持たせる
ことができない）。

【００３４】なお、以上の本実施形態では、「話者画
像」を電子メールに添付又は合成する場合について説明
したが、本発明においては、これに限られるものではな
く、例えば、前記「話者画像」を、リアルタイムの会話
を行う「チャット」の会話の文章に、話者を示す画像と
して添付又は合成することができる。また、コンピュー
タ上の仮想的な人である「電子秘書」や「電子案内嬢」
からの会話に、その電子秘書や電子案内嬢（話者）を示
す画像（話者画像）を添付又は合成することもできる。

【００３５】本発明では、例えば、前記「話者画像」
を、大手企業のイギリスの証券市場の分析を担当する電
子秘書からの会話（音声又は文字による話の内容）に添
付又は合成することもできる。

【００３６】すなわち、今、日本在住の会社員（ユーザ
ー）がこの電子秘書にアクセスしてある質問をしたとす
る。そのとき、イギリスのロンドンは、「冬で雨天」で
あるとする。また、そのとき、日本は午後だが、イギリ
スは朝の時間帯である（時差のため）とする。すると、
その会社員（ユーザー）の質問に対して回答するために
コンピュータ画面上に現れた電子秘書は、電子秘書の顔
（アニメーションやコンピュータグラフィックス（Ｃ
Ｇ）などで作成される）に、「コートを着て、傘をさし
ている」という服装・姿態の画像と、「ロンドンの証券
市場の有る街路であって、雨が降っている朝の風景を示
し、証券市場のある建物をバックにした光景」という背
景画像とを付加した「話者画像」として、表示される。
ユーザーは、そのような「話者画像」の電子秘書を画面
上に見ながら、電子秘書からの回答（音声、文字、表・
グラフなどのデータを含む）を聞くことになる。よっ
て、ユーザーは、その電子秘書と会話をしながら、その
「話者画像」を見ることによって、自然に、「イギリス
のロンドンは、今、冬で雨天なのだな。また、今はイギ
リスは朝の時間帯なのだな」と理解できるので、電子秘
書との会話に臨場感が得られ、印象深い会話を行えるよ
うになる。

【００３７】また、例えば、前記「話者画像」を、フラ
ンスのパリのルーブル美術館のインターネット上の「仮
想ルーブル美術館」の電子案内嬢からの会話（音声又は
文字による会話）に、その「電子案内嬢」を示す画像
（話者画像）を添付又は合成することもできる。すなわ
ち、例えば日本在住のユーザーが、インターネットを介
して、前記の仮想ルーブル美術館にアクセスしたとす
る。そのとき、フランスのパリは、真夏の晴天だったと
する。また、そのとき、日本は夜間だがフランスは真昼
だったとする。すると、前記仮想美術館にアクセスした
とき、画面に最初に出てくる電子案内嬢が例えば「こち
らは、仮想のルーブル美術館です。どのようなジャンル
の所蔵品の鑑賞をご希望ですか？」という会話（発言、
問いかけ、質問、メッセージ）が音声又は文字で、ユー
ザー側に送られてくる。そのときの電子案内嬢からの会
話（発言、問いかけ、質問、メッセージ）には、電子案
内嬢を示す「話者画像」が前記会話と同時に画面表示さ
れる（会話に添付又は合成される）が、その表示される
話者画像は、電子案内嬢のキャラクタの顔（アニメーシ
ョンやＣＧで作成される）に、「夏用の半袖の服装で、
真昼の強い日差しを避けるための帽子をかぶっている」
という服装・姿態の画像と、「フランスのパリのルーブ
ル美術館をバックにした画像で、太陽がカンカン照り
の、真夏の真昼の状況」を示す背景画像とを付加した
「話者画像」として、表示される。したがって、ユーザ
ーは、その電子案内嬢との会話を行いながら、その「話
者画像」を見ることによって、自然に、「フランスのパ
リは、今、真夏の真昼で、太陽がカンカン照りの状態な
のだな。また、今、パリは真昼なのだな」と理解できる
ので、電子案内嬢との会話に臨場感が得られ、印象深い
会話を行えるようになる。

【００３８】（本発明の他の実施形態など）以上、本発
明の実施形態について説明したが、本発明はこれに限ら
ず様々な変更が可能である。例えば、本実施形態では、
話者画像や背景音響の生成をユーザーの手元のパソコン
などで行うようにしているが、本発明は、これに限ら
ず、例えば、ユーザーが手元のパソコンで「会話」（手
紙文など）を生成し、この生成した「会話」をパソコン
通信会社のセンターに送信すると、センターのコンピュ
ータが、この「会話」に「話者画像及び背景音響・背景
音声」を添付又は合成して、相手方に送信するようにし
てもよい。すなわち、上記の実施形態では、図３（ａ）
の一点鎖線Ａの枠内に示すように、「話者が会話を生成
するための会話生成部５１、話者画像及び背景音響生成
部５２、話者の居る場所の気圧や気温を測定するための
気圧・気温センサ５３、ＧＰＳ受信機５４、話者画像な
どのデータをユーザーが入力するためのデータ入力部５
５、話者が居る地域の天候や気候などのデータベース５
６、さらに、前記会話と話者画像及び背景音響を合成し
送信するための合成送信部５７」が、ユーザーの手元の
パソコンの中に備えられている（なお、前記のデータベ
ース５７は、インターネットなどを介してアクセスでき
るオンランイ・データベースでもよく、その場合は、オ
ンラインなので常に更新された最新の天候情報などを得
ることができる）。しかしながら、本発明では、ユーザ
ー（話者）の手元のパソコンには、図３（ｂ）の一点鎖
線Ｂの枠内に示すように、「話者が会話（電子メールや
チャットなどのメッセージなど）を生成するための会話
生成部５１、話者の居る場所の気圧や気温を測定するた
めのセンサ５３、ＧＰＳ受信機５４、話者画像などのデ
ータをユーザーが入力するためのデータ入力部５５」だ
けを備えるようにしてもよい。そして、この場合は、図
３（ｂ）の一点鎖線Ｃの枠内に示す「話者画像及び背景
音響生成部６３、話者が居る地域の天候や気候などのデ
ータベース６４、さらに、前記会話と話者画像及び背景
音響を合成し送信するための合成送信部６５」は、イン
ターネットなどの通信網に接続されたサーバー（パソコ
ン通信などを管理するコンピュータ）の中に備えるよう
にしてもよい（なお、前記のデータベース５７は、イン
ターネットなどを介してアクセスできるオンランイ・デ
ータベースでもよい）。この場合は、ユーザー（話者）
は、手元のパソコンで会話を生成して、この会話を、セ
ンサ５３やＧＰＳ受信機５４などからのデータなどと共
にパソコン通信会社のコンピュータを介して相手先に送
信すると、その送信の途中で、パソコン通信会社のコン
ピュータが、自動的に、話者画像及び背景音響を生成し
て、それらを会話と合成して、相手方に送信してくれ
る。すなわち、この場合、前記のパソコン通信会社のコ
ンピュータは、予め、ユーザー（話者）の行動パターン
のデータ（ユーザーの職業、趣味、家族構成、生活パタ
ーンなど）をデータベースとして保有しているので、ユ
ーザーの手元のパソコンに接続された気圧・気温センサ
５３、ＧＰＳ受信機５４などからのデータが送られてく
ると、それらのデータに基づいて、「話者画像及び背景
音響」を自動生成し、それらをユーザーから送信された
会話に添付又は合成することができる。

【００３９】

【発明の効果】本発明によれば、ユーザーは、自分が文
字又は音声で作成した会話（電子メールやチャットな
ど）と、自分がこれから会話を発信しようとするときの
場所の季節・気候・風土、天気、時間帯、周囲の状況な
どに適した「話者画像」とを、一緒に且つ同時に、会話
の相手方に送信することができるので、電子的な会話の
やり取りをより臨場感のある印象深いものとすることが
できる。しかも、本発明では、前記の「話者画像」は、
その全体がカメラで撮像した実写映像そのものではない
（前記の「話者画像」の一部に実写映像を使用すること
はもちろん可能だが）ので、会話の発信者（ユーザー）
のプライバシーをさらしてしまう危険や心配がない（こ
の点で、従来のようなカメラからの実写映像をそのまま
会話の相手方に送信するためプライバシー侵害の可能性
があるテレビ会議システムやテレビ電話システムなどと
は異なる）。また、本発明において、前記「背景音響」
をも「会話」に添付又は合成するようにすれば、その会
話を送られた相手方は、その「会話」（文字又は音声）
を見る又は聞くときに、同時に、その「環境音響」を聞
くことになるので、会話に臨場感が生まれて、印象深い
会話のやり取りが可能になる。また、本発明において
は、話者の現在位置を特定するための現在位置特定手段
からの出力と、話者が会話をしているときの時間帯を特
定するための時間帯特定手段からの出力と、話者が会話
をしている日の曜日を特定するためのカレンダー記憶手
段からの出力とに基づいて、「話者の現在の周囲状況又
は行為状況」を自動的に特定・推論することができる
（そして、この求めた「話者の現在の周囲状況又は行為
状況」に基づいて「話者画像」や「背景音響・背景音
声」のデータを作成する）ので、話者がいちいち自分の
周囲状況や行為状況を入力する手間が省けるので、便利
である。

【図面の簡単な説明】

【図１】 本発明の一実施形態を示す概略ブロック図で
ある。

【図２】 本発明の一実施形態により生成される「会
話」（この場合は、電子メール）の一例を示すものであ
る。

【図３】 本発明の他の実施形態を示すものである。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 遠隔の地に居る実在の人又はコンピュー
   タ上の仮想のキャラクタとの間で、リアルタイムに又は
   時間差を介して、文字、データ又は音声により、メー
   ル、メッセージ、又は発言などの会話をやり取りするた
   めの会話システムにおいて、 文字、データ又は音声により構成される会話に関連付け
   られて表示される話者を示す話者画像を生成するための
   話者画像生成手段と、 この話者画像生成手段に対して、話者画像の生成のため
   に使用する服装又は姿態データを提供する服装・姿態デ
   ータ提供手段と、を含むことを特徴とする会話システ
   ム。
2. 【請求項２】 遠隔の地に居る実在の人又はコンピュー
   タ上の仮想のキャラクタとの間で、リアルタイムに又は
   時間差を介して、文字、データ又は音声により、メー
   ル、メッセージ、又は発言などの会話をやり取りするた
   めの会話システムにおいて、 文字、データ又は音声により構成される会話に関連付け
   られて表示される話者を示す話者画像を生成するための
   話者画像生成手段と、 この話者画像生成手段に対して、話者画像の生成のため
   に使用する背景画像データを提供する背景画像データ提
   供手段と、を含むことを特徴とする会話システム。
3. 【請求項３】 請求項１において、さらに、 前記服装・姿態データ提供手段に対して、話者の居る場
   所の気候や天候、話者が会話をしている季節、話者が会
   話をしている時間帯、又は話者が居る場所の周囲状況な
   どの「話者に関する環境情報」を提供するための環境情
   報提供手段を備えたことを特徴とする会話システム。
4. 【請求項４】 請求項２において、さらに、 前記背景データ提供手段に対して、話者の居る場所の気
   候や天候、話者が会話をしている季節、話者が会話をし
   ている時間帯、又は話者が居る場所の周囲状況などの
   「話者に関する環境情報」を提供するための環境情報提
   供手段を備えたことを特徴とする会話システム。
5. 【請求項５】 請求項１から４までのいずれかにおい
   て、さらに、 前記会話に、話者の居る場所の気候や天候、話者が会話
   をしている季節、話者が会話をしている時間帯、又は話
   者が居る場所の周囲状況などの「話者に関する環境情
   報」と関連する「背景音響・音声」を、添付又は合成す
   るための音響・音声データ提供手段を備えたことを特徴
   とする会話システム。
6. 【請求項６】 請求項３又は４において、 前記環境情報提供手段は、 話者の現在位置を特定するための現在位置特定手段と、 話者が会話をしているときの時間帯を特定するための時
   間帯特定手段と、 話者が会話をしている日の曜日を特定するための曜日特
   定手段と、 前記の現在位置特定手段、時間帯特定手段、及び曜日特
   定手段からの出力に基づいて、話者の現在の周囲又は行
   為状況を求めるための話者周囲行為状況特定手段と、を
   含むものである、会話システム。
7. 【請求項７】 請求項１，２，３又は４において、さら
   に、 話者の現在位置の天候を示す情報を発生する天候情報発
   生手段を含んでいる、ことを特徴とする会話システム。 【０００１】