JP4395687B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP4395687B2
JP4395687B2 JP2000386395A JP2000386395A JP4395687B2 JP 4395687 B2 JP4395687 B2 JP 4395687B2 JP 2000386395 A JP2000386395 A JP 2000386395A JP 2000386395 A JP2000386395 A JP 2000386395A JP 4395687 B2 JP4395687 B2 JP 4395687B2
Authority
JP
Japan
Prior art keywords
avatar
user
display
emotion
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000386395A
Other languages
English (en)
Other versions
JP2002190034A (ja
Inventor
勝重 秦
剛 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000386395A priority Critical patent/JP4395687B2/ja
Priority to US10/037,160 priority patent/US7065711B2/en
Publication of JP2002190034A publication Critical patent/JP2002190034A/ja
Application granted granted Critical
Publication of JP4395687B2 publication Critical patent/JP4395687B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems

Description

【0001】
【発明の属する技術分野】
本発明は情報処理装置関し、特に、仮想空間内において、アバタを用いてチャットなどのコミュニケーションを行う際に用いて好適な情報処理装置関する。
【0002】
【従来の技術】
複数のユーザが自己のコンピュータをインターネットを介してサーバに接続し、3次元仮想空間(以下、仮想空間と記述する)を共有できるサービスが存在する。そのようなサービスによれば、仮想空間において、各ユーザはアバタ(avatar;インド神話に登場する神の化身)と呼ばれるユーザの分身(ユーザ自身を表すオブジェクト)を移動させることができる。また、仮想空間上で出会ったユーザ(アバタ)同士は、チャットなどを行うことができる。
【0003】
このような仮想空間内でアバタを用いてチャットなどを行うことは、さまざまな分野で利用されつつある。例えば、離れた位置にある学校の生徒間での交流などの教育の現場で用いられることが試みられている。
【0004】
【発明が解決しようとする課題】
提供されている仮想空間(サービス)により、その仮想空間内に設定されているアバタが異なる。1つの仮想空間においては、サービスの形態により異なるが、複数の形の異なるアバタ、例えば、動物の形をしたアバタや、人間の形をしたアバタなどが用意されており、ユーザは、それらの予め設定されているアバタの中から好きなアバタを選択することができるようになっている。
【0005】
ところで、人と人とが面と向かって会話を行うとき、言葉だけでなく、身振り手振り、顔の表情なども情報として認識して会話を進めていく。それらの情報は、主に、感情を表す情報となることが多いが、言葉の情報と感情を表す情報とが必ずしも一致しないというのが現実社会ではありうることである。例えば、顔では笑っていても、言葉では拒絶するといったような感情表現と言葉が一致していない場合がある。勿論、言葉と感情表現とが一致している場面の方が、通常の会話の中では多い。
【0006】
このようなことは、コミュニケーションを円滑に進める手法(ソーシャルスキル)として用いられている。仮想空間内において、アバタは、このような感情表現はできないとといった課題があった。換言すれば、上述したように、ユーザは、好みのアバタを選択することができるが、そのアバタは、種類は異なるが、同一の種類で異なる感情表現をしているアバタは用意されていないため、一度選択されたアバタは、チャットなどの内容に関わらず、常に同じ表情をしており、円滑なコミュニケーションを行うにあたって必要な感情表現の情報を与えることができないといった課題があった。
【0007】
本発明はこのような状況に鑑みてなされたものであり、1種類のアバタが複数の感情表現をできるようにすることにより、仮想空間のアバタにおいても、円滑なコミュニケーションが行えるようにすることを目的とする。
【0008】
【課題を解決するための手段】
本発明の一側面の情報処理装置は、ユーザに対応するオブジェクトの感情に関するデータであり、前記オブジェクトの表情と動作に影響を与える、M個のコンディションと、N個のレベルで構成されるデータであり、それらのコンディションとレベルに対応するM×N個のボタンで構成されるウィンドウの表示を制御するウィンドウ表示制御手段と、前記ウィンドウに表示されているM×N個の前記ボタンのうち、操作された1つのボタンに対応する前記コンディションと前記レベルで構成される自己のオブジェクトの感情に関するデータと、前記オブジェクトが存在する仮想空間内の他のオブジェクトの感情に関するデータを、テーブルで管理する管理手段と、前記テーブルで管理されている感情に関するデータに基づき前記自己のオブジェクトと他のオブジェクトの表示を制御するオブジェクト表示制御手段と、前記ウィンドウが再度表示され、前記ボタンが操作された場合、操作された内容を含むパケットを、前記他のオブジェクトが表示されている他の装置に送信する送信手段と、前記他の装置からパケットを受信したとき、受信されたパケットの内容に基づき、前記テーブルを更新する更新手段と、前記自己のオブジェクトが発話する言葉を選択するアクションボタンの表示を制御するアクションボタン表示制御手段と、前記アクションボタンが操作された場合、操作されたアクションボタンに対応する発話を、前記テーブルに記載されている前記データを基に音声の調子を制御して発話させる音声制御手段とを備え、前記オブジェクト表示制御手段は、前記オブジェクトに対して設定され、前記テーブルで管理されている前記コンディションと前記レベルを表現する表示をユーザの指示がないときに、一定期間毎に行い、前記仮想空間内を歩行する表示を前記ユーザからの要求があったときに行う
【0009】
前記テーブルに記載される前記データは、前記オブジェクトが前記仮想空間内に入場するときに設定され、退場するときに削除されるようにすることができる。
【0010】
前記管理手段により管理されるデータは、ユーザの生体情報、または、顔の表情変化に応じて随時設定されるようにすることができる。
【0011】
前記オブジェクト表示制御手段は、前記一定期間毎に行う前記オブジェクトの表示は、動画像で行うようにすることができる。
【0012】
前記ウィンドウで、自己のオブジェクトの感情に関するデータが設定された後、前記仮想空間内でチャットが行える状態にされるようにすることができる。
【0013】
本発明の一側面の情報処理装置は、ユーザに対応するオブジェクトの感情に関するデータであり、オブジェクトの表情と動作に影響を与える、M個のコンディションと、N個のレベルで構成されるデータであり、それらのコンディションとレベルに対応するM×N個のボタンで構成されるウィンドウの表示が制御され、そのウィンドウに表示されているM×N個のボタンのうち、操作された1つのボタンに対応するコンディションとレベルで構成される自己のオブジェクトの感情に関するデータと、オブジェクトが存在する仮想空間内の他のオブジェクトの感情に関するデータが、テーブルで管理される。また、テーブルで管理されている感情に関するデータに基づき自己のオブジェクトと他のオブジェクトの表示が制御され、ウィンドウが再度表示され、ボタンが操作された場合、操作された内容を含むパケットが、他のオブジェクトが表示されている他の装置に送信され、他の装置からパケットが受信されたとき、受信されたパケットの内容に基づき、テーブルが更新される。さらに、自己のオブジェクトが発話する言葉を選択するアクションボタンが表示され、そのアクションボタンが操作された場合、操作されたアクションボタンに対応する発話が、テーブルに記載されているデータを基に音声の調子が制御されて発話される。
【0017】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図1は、本発明を適用したシステムの一実施の形態の構成を示す図である。端末1−1乃至1−Nは、ユーザ側の端末であり、インターネットなどに代表されるネットワーク2と接続され、サーバ3とデータの授受が行えるようになっている。端末1−1乃至1−N(以下、端末1−1乃至1−Nを個々に区別する必要がない場合、単に端末1と記述する)は、パーソナルコンピュータや携帯電話などから構成される。
【0018】
サーバ3は、仮想空間を管理するために設けられている。端末1のユーザは、端末1を用いて仮想空間内を自己の分身(アバタ)で移動することが可能とされている。
【0019】
図2は、端末1の内部構成を示す図である。端末1のCPU(Central Processing Unit)11は、ROM(Read Only Memory)12に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)13には、CPU11が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース15は、キーボードやマウスから構成される入力部16が接続され、入力部16に入力された信号をCPU11に出力する。また、入出力インタフェース15には、ディスプレイやスピーカなどから構成される出力部17も接続されている。
【0020】
さらに、入出力インタフェース15には、ハードディスクなどから構成される記憶部18、および、ネットワーク2を介してサーバ3とデータの授受を行う通信部19も接続されている。ドライブ20は、磁気ディスク31、光ディスク32、光磁気ディスク33、半導体メモリ34などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【0021】
サーバ3の基本的な構成は、端末1と同様であるので、その構成は図示しない。
【0022】
図3を参照して、仮想空間内のアバタについて説明する。図3において、ユーザAは端末1−1を、ユーザBは端末1−2を、ユーザCは端末1−3を、それぞれ用いるとする。端末1−1の出力部17としてのディスプレイ上には、仮想空間の空間内に、ユーザAの分身としてのアバタXa、ユーザBの分身としてのアバタYa、および、ユーザCの分身としてのアバタZcが、それぞれ表示されている。
【0023】
ユーザAは、自分の分身としてのアバタXaを操作することはできるが、他のユーザのアバタYa,Zaを操作することはできない。このように、自分の分身として、操作できるアバタをパイロットアバタと称し、他のユーザの分身として、操作できないアバタをドローンアバタと称する。従って、各ユーザの端末1には、1つのパイロットアバタと、複数のドローンアバタが表示されることになる。
【0024】
同様に、ユーザBの端末1−2の出力部17としてのディスプレイ上には、ユーザAのドローンアバタXb、ユーザBのパイロットアバタYb、およびユーザCのドローンアバタZcが、それぞれ表示され、ユーザCの端末1−3の出力部17としてのディスプレイ上には、ユーザAのドローンアバタXc、ユーザBのドローンアバタYc、およびユーザCのパイロットアバタZcが、それぞれ表示される。
【0025】
サーバ3も、各ユーザのアバタを管理するために、自己が管理する仮想空間内に、ユーザAのアバタXs、ユーザBのアバタYs、および、ユーザCのアバタZsの情報を持っている。サーバ3において管理されるこれらのアバタを、適宜、サーバ内インスタンスSIと称する。アバタの情報としては、形状、動作、属性、位置などである。端末1−1乃至1−3とサーバ3から構成されるシステムにおいて、自己のアバタはパイロットアバタとして、他のアバタはドローンアバタとして、それらのアバタの情報は、システム内の共有情報として用いられる。
【0026】
例えば、ユーザAがパイロットアバタXaを操作して仮想空間内を移動した場合、その情報は、まずサーバ3に伝えられる。サーバ3は、その情報を基に、アバタXsに対応するサーバ内インスタンスSIの仮想空間内の位置情報を更新し、その更新した情報を、端末1−2と端末1−3に送信する。端末1−2と端末1−3は、それぞれサーバ3からの情報を基に、ドローンアバタXb,Xcが仮想空間内で移動された表示にする。
【0027】
このような、サーバ3と端末1間(サーバ3を介して端末1間)で送受信される情報をメッセージと称する。メッセージには、上述したように、アバタを操作するために送受信される共有情報としてのメッセージの他に、システムを管理するためのシステムメッセージが存在する。そのようなシステムメッセージを処理するためのオブジェクトとして、サーバ3が管理する仮想空間には、システムオブジェクトSOが存在する。
【0028】
システムオブジェクトSOは、例えば、所定のアバタ(ユーザ)から、仮想空間における他のアバタの検索処理の要求があった場合など、その検索処理を実行するために設けられている。
【0029】
次に、このようなシステムにおいて提供される仮想空間内に、所定のユーザがアクセスし、チャットなどを楽しむ場合について、図4のフローチャートを参照して説明する。ステップS1において、ユーザは、所定の操作を行うことにより、端末1をネットワーク2を介してサーバ3と接続させることにより仮想空間にアクセスする。
【0030】
仮想空間にアクセスが完了されると、ステップS2において、端末1の出力部17としてのディスプレイ上に、コンディション入力ウィンドウが表示される。このコンディション入力ウィンドウとは、ユーザ自身の、その時点でのコンディション(体調や気分)を入力するためのウィンドウであり、例えば、図5に示すような形状をしたものである。
【0031】
図5は、ディスプレイ41上に表示されるコンディション入力ウィンドウ51の一例を示している。図5に示した例では、コンディション入力ウィンドウ51のコンディションとして、”うれしい”、”怒っている”、”悲しい”、”楽しい”、および”辛い”の5つのコンディションが設定されている。各コンディションには、”とても”、”普通”、および”少し”の3つのレベルが設定されている。
【0032】
ユーザは、カーソル52を入力部16としてのマウス(不図示)を操作することにより、その時点で、最も適切なコンディションを設定する。図5に示したように、5つのコンディションと3つのレベルが設定されているため、15(=5×3)個のボタンが表示されている。これらのボタンは、例えば、ラジオボタンであり、カーソル52が位置するときにマウスのクリックなどの所定の操作が行われると、オンの状態(黒丸の状態)になり、再度同様の操作を行うとオフの状態(白丸の状態)になる。ただし、15個のラジオボタンのうち、オンの状態にされるのは、1つのボタンだけである。
【0033】
図5に示したコンディション入力ウィンドウ51は、一例であり、5以上または5以下のコンディションを設けても良いし、レベルも3以上または以下のレベルを設けるようにしても良い。また、コンディション入力ウィンドウ51の形状も5角形でなく、他の形状を取るようにしても良い。
【0034】
ステップS2において、図5に示したようなコンディション入力ウィンドウ51がディスプレイ41上に表示されると、ユーザは、ステップS3において、1つのボタンをチェックする。チェックがされると、ステップS4に進み、チャットなど、仮想空間内で行える動作ができる状態にされる。
【0035】
なお、仮想空間とのアクセスが解除されたときには、その時点でのコンディションが記憶され、次回、アクセスした際に、そのコンディションが継続されるようにしても良いが、通常、コンディションというものは、仮想空間にアクセスする毎に異なるので、継続されるようにせずに、アクセスする毎に、コンディション入力ウィンドウ51から設定されるようにした方が良い。また、コンディション入力ウィンドウ51によるコンディションの設定の前、または、後のステップとして、ユーザがアバタの種類を選択する処理を設けても良い。
【0036】
コンディション入力ウィンドウ51により入力されたコンディションおよびレベルは、その後のチャットなどを行っているときのアバタの表情や動作に影響を与える。図6に、レベルとして”とても”が選択された場合の、各コンディションにおけるアバタの表情を示す。図6(A)は”うれしい”、図6(B)は”怒っている”、図6(C)は”悲しい”、図6(D)は”楽しい”、および図6(E)は”辛い”のコンディションの、それぞれレベルが”とても”のときの表情を表している。
【0037】
図7は、5つのコンディションのうち”楽しい”のレベルの異なるときの表情を示し、図8は、”辛い”のレベルの異なるときの表情を示している。このように、1種類のアバタに対して各コンディション、各レベル毎に、異なる表情のアバタが用意されている。なお、図6乃至図8においては、静止画で表しているが、実際には動作を伴い、例えば、コンディションが”楽しい”であり、レベルが”とても”の場合、図6(D)に示したような手を挙げている状態と、図7(C)に示したような手を下げた状態とが連続的に繰り返される動画として、”とても楽しい”という表情を、アバタが表現する。
【0038】
図5に示したコンディション入力ウィンドウ51は、ユーザにより、ボタンがチェックされ、仮想空間内でチャットなどを行える状態になると、ディスプレイ41上の所定の位置に小さく表示され、チャットなどの最中でも、ボタンがチェックできる状態(アバタの表情を変化させることができる状態)にされている。
【0039】
図9は、コンディション入力ウィンドウ51がディスプレイ41の右上に、小さいサイズで表示されている状態を示す図である。コンディション入力ウィンドウ51の下側には、チャットでやりとりしている内容が表示されるチャット表示部61と、チャットとして相手に伝えたいテキストデータを入力した結果が表示されるチャット入力部62が表示されている。
【0040】
ディスプレイ41の上側には、アクションボタン63が設けられている。このアクションボタン63は、操作されると、チャットをしている相手側(自己のアバタと向かい合っている他のアバタ)の端末1の出力部17としてのスピーカ(不図示)から、操作されたアクションボタン63に対応する言葉、例えば、”HELLO”というアクションボタン63が操作れた場合、”こんにちは”といった言葉が、発話される。
【0041】
このアクションボタン63が操作されることによる発話も、コンディション入力ウィンドウ51により設定されたコンディションおよびレベルにより、異なった調子で発話される。例えば、同じ”こんにちは”であっても、コンディションが”楽しい”のときには楽しそうに、”辛い”のときには辛そうに発話される。また、同じ”楽しい”であっても、レベルが”少し”、”普通”、”とても”のときには、それぞれ異なる調子で発話される。
【0042】
アクションボタン63の下側には、アバタ表示部64が設けられている。アバタ表示部64に表示されるものは、ユーザにより設定可能であるが、主に、ユーザ自身のアバタ、他のアバタ、および仮想空間内の風景が表示される。このような画面において、コンディション入力ウィンドウ51のボタンが操作されると、アバタ表示部64に表示されているアバタ(自己の端末1および他の端末1に表示されている対応するアバタ)の表示(表情)が切り換えられる。
【0043】
このような動作について、図1に示したシステムにおいて行われる動作について、図10のフローチャートを参照して説明する。なお、ここでは、端末1−1のユーザAと端末1−2のユーザBが同じ仮想空間内に存在し、チャットしているとして説明する。ステップS11において、端末1−1は、コンディション入力ウィンドウ51のボタンが操作されたか否か(コンディションステートの変更が指示されたか否か)を判断する。コンディションステートの変更は指示されたと判断されるまで、ステップS11の処理が繰り返され、コンディションステートの変更が指示されると、ステップS12に進む。
【0044】
ステップS12において、パケットの送信が行われる。送信されるパケットは、コンディションステートの変更に関する情報を含むものである。コンディションステートは、例えば、RAM13(図2)に展開された図11に示すようなステートテーブルにより管理されている。
【0045】
図11は、ステートテーブルの一例を示す図である。ステートテーブル71は、コンディション軸とレベル軸とから構成されており、コンディション入力ウィンドウ51と対応がとれるように構成されている。すなわち、この場合、コンディション軸は、”うれしい”、”怒っている”、”悲しい”、”楽しい”、および”辛い”の5つのコンディションから構成され、レベル軸は、”とても”、”普通”、および”少し”の3つのレベルから構成されている。
【0046】
ステータステーブル71は、この場合、5つのコンディションと3つのレベルから構成されているため、15種類の感情を管理していることになる。このうち、ユーザのその時点での感情として設定された1種類の感情に、例えばフラグを立てることにより管理を行う。
【0047】
このようなステートテーブル71は、各端末1で管理している。すなわち、各端末1は、自己のアバタ(パイロットアバタ)のステートテーブル71と、他のユーザのアバタ(ドローンアバタ)のステートテーブル71とを、それぞれ管理している。また、各端末1は、感情に対応するアバタのデータを保持しており、感情が指定されると、その指定された感情に対応したアバタのデータに基づく処理(表示)を端末1内で行えるようになっている。
【0048】
従って、ステップS12においては、変更後の感情に関する情報のみがネットワーク2を介してサーバ3に送信される。例えば、ステータステーブル内の各感情は、それぞれの感情を識別できる識別子で管理されており、その識別子が、情報としてサーバ3に送信される。ステップS14において、サーバ3は、端末1−1からの変更後の感情に関する情報を含むパケットを受信し、そのパケットに基づく情報を、ステップS15において、端末1−2に対して送信(転送)する。
【0049】
ステップS15において、パケットが送信される対象となる端末1は、端末1−1(ユーザA)に対応するアバタがドローンアバタとして存在している全ての端末1である。サーバ3からのパケットを、ステップS16において受信した端末1−2は、ステップS17において、ステートテーブル71を更新する。
【0050】
上述したように、各端末1は、パイロットアバタのステートテーブル71と、ドローンアバタのステートテーブル71を管理している。従って、パケットを受信した端末1−2は、そのパケットに含まれる感情に関する情報(例えば識別子)に基づき、対応するドローンアバタのステートテーブル71の感情を更新し、さらに、更新された感情に対応するアバタのデータを読み出し、その読み出したデータに基づくアバタの表示を開始する。
【0051】
このようなステートテーブルの更新は、各端末1においてドローンアバタに対してのみ行うのではなく、端末1−1が管理する自己のアバタであるパイロットアバタに対応するステートテーブルに対しても行われる。すなわち、端末1−1は、ステップS12においてパケットを送信すると共に、ステップS13において、ステートテーブルの更新も行う。
【0052】
なお、上述した説明においては、各端末に、感情に対応するそれぞれのアバタのデータが既に記憶されており、識別子など、感情を示すデータ含むパケットを送受信するだけで、アバタの感情の変更が行えるとしたが、送受信されるパケットのデータとして、アバタのデータそのものを含ませるようにしても良い。
【0053】
このようにして、感情表現を行えるアバタの変更は管理される。端末1は、アバタの感情の変更のみを管理しているのではなく、アバタのさまざまな動作も管理している。図12を参照して説明するに、アバタのステートして、上述した感情の変更がないときには、ユーザにより設定された感情の表現を一定期間毎に実行するアイドリング動作を行う。このアイドリング動作は、この場合、15種類の感情が設定されているため、15種類のアイドリング動作のデータが端末1に記憶されている。
【0054】
アイドリング動作とは、具体的には、上述したように、”楽しい”という感情のときには、手を挙げたり下げたりする動作を繰り返しアニメーションを行うことである。また、アイドリング動作のときは、主に、チャットを行っているときである。
【0055】
アバタは、仮想空間内を移動することが可能とされている。従って、ユーザの指示により、仮想空間内の歩行が要求される場合がある。そのような歩行が要求された場合、アバタのステートは、歩行動作に移行し、ユーザの歩行要求が解除されるまで、歩行動作を繰り返す。
【0056】
さらに、アバタの特殊な動作として、アクションボタン63(図9)が操作されたときの動作がある。すなわち、この場合、アクションボタン63として5つのボタンが設けられているが、それらのアクションボタン63のうち、1つが操作されると、アバタのステートは、そのアクションボタン63に関連付けられている動作(具体的には、感情による音声の変化を伴う発話)に移行される。
【0057】
アクションボタン63が操作されたときに行われる動作は、上述したように、ユーザによりコンディション入力ウィンドウ51を用いて設定されたコンディショ(感情、体調)により基づいて行われる(ステートテーブル71の情報に基づいて行われる)。このように、本実施の形態においては、ユーザの感情に関する情報として、アバタを介して視覚により認識できる情報と、聴覚により認識できる情報が提供される。
【0058】
図13を参照して説明にするに、端末1においては、管理しているパイロットアバタ、およびドローンアバタに対して同様な処理が行われるのであるが、スピーチトリガーとしてのアクションボタン63の操作が行われると、ステートテーブル71から、対応するアバタの感情が参照され、スピーチ音声の選択が行われる。その選択に基づき、スピーチ音声が実行される。
【0059】
同様に、動作トリガーとしてのアイドリング動作の場合、ステートテーブル71から、対応するアバタの感情が参照され、動作表現の選択が行われると、その選択に基づき、動作表現(アイドリング動作)が実行される。
【0060】
このように、仮想空間内に存在するアバタが感情表現をできるようにすることにより、仮想空間というバーチャルな世界におけるコミュニケーションにおいて、感情の誤認識を減少させることができ、円滑なコミュニケーションを行わせることが可能となる。また、バーチャルな世界におけるチャットが、視覚および聴覚から得られる感情表現により、より自然で楽しいものにすることができ、このことを利用することにより、ソーシャルスキルの向上(コミュニケーションの教育)を行うことも可能となる。
【0061】
上述したステートテーブルを、例えば、”とても””楽しい”は「1」、”とても””怒っている”は「2」といったように標準化することにより、感情制御、伝達手法のフレームモデルとして用いることが可能である。
【0062】
上述した実施の形態においては、ユーザは、コンディション入力ウィンドウ51から自己の感情を入力(設定)したが、他の方法により、設定できるようにしても良い。例えば、マウスに発汗量や心拍数など生体情報を検出する機能を設け、その機能により検出されたデータを基に、ユーザの感情を判定し、設定できるようにしても良い。また、カメラなどにより、ユーザの顔の変化を撮像し、その顔の変化を解析することにより、ユーザのコンディションを設定するようにしても良い。
【0063】
アバタの顔の表情や動作をダイナミックに変化するようにするなどして、アバタの感情表現を豊かにするようにしても良い。さらに、電子メールなどの非リアルタイムなコミュニケーションに、感情表現の為のデータを添付し、例えば電子メールを作成した時点でのユーザの感情を相手に伝えられるようにしても良い。
【0064】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0065】
それらの記録媒体は、図2に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク31(フロッピディスクを含む)、光ディスク32(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク33(MD(Mini-Disk)を含む)、若しくは半導体メモリ34などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM12や記憶部18が含まれるハードディスクなどで構成される。
【0066】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0067】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0068】
【発明の効果】
以上の如く本発明によれば、オブジェクトに感情表現をさせることができ、仮想空間内でのコミュニケーションをより円滑に行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したシステムの一実施の形態の構成を示す図である。
【図2】端末1の内部構成を示す図である。
【図3】アバタについて説明する図である。
【図4】チャットを行うまでの動作について説明するフローチャートである。
【図5】コンディション入力ウィンドウ51について説明する図である。
【図6】ディスプレイ41上に表示されるアバタの一例を示す図である。
【図7】ディスプレイ41上に表示されるアバタの一例を示す図である。
【図8】ディスプレイ41上に表示されるアバタの一例を示す図である。
【図9】ディスプレイ41上に表示される画像の一例を示す図である。
【図10】感情表現の変更に関する動作について説明するフローチャートである。
【図11】ステートテーブル71について説明する図である。
【図12】アバタのステートについて説明する図である。
【図13】アバタの感情表現について説明する図である。
【符号の説明】
1 端末, 2 ネットワーク, 3 サーバ, 11 CPU, 12 ROM, 13 RAM, 14 バス, 15 入出力インタフェース, 16入力部, 17 出力部, 18 記憶部, 19 通信部, 20 ドライブ, 31 磁気ディスク, 32 光ディスク, 33 光磁気ディスク, 34 半導体メモリ, 41 ディスプレイ, 51 コンディション入力ウィンドウ, 52 カーソル, 63 アクションボタン, 64 アバタ表示部

Claims (5)

  1. ユーザに対応するオブジェクトの感情に関するデータであり、前記オブジェクトの表情と動作に影響を与える、M個のコンディションと、N個のレベルで構成されるデータであり、それらのコンディションとレベルに対応するM×N個のボタンで構成されるウィンドウの表示を制御するウィンドウ表示制御手段と、
    前記ウィンドウに表示されているM×N個の前記ボタンのうち、操作された1つのボタンに対応する前記コンディションと前記レベルで構成される自己のオブジェクトの感情に関するデータと、前記オブジェクトが存在する仮想空間内の他のオブジェクトの感情に関するデータを、テーブルで管理する管理手段と、
    前記テーブルで管理されている感情に関するデータに基づき前記自己のオブジェクトと他のオブジェクトの表示を制御するオブジェクト表示制御手段と、
    前記ウィンドウが再度表示され、前記ボタンが操作された場合、操作された内容を含むパケットを、前記他のオブジェクトが表示されている他の装置に送信する送信手段と、
    前記他の装置からパケットを受信したとき、受信されたパケットの内容に基づき、前記テーブルを更新する更新手段と、
    前記自己のオブジェクトが発話する言葉を選択するアクションボタンの表示を制御するアクションボタン表示制御手段と、
    前記アクションボタンが操作された場合、操作されたアクションボタンに対応する発話を、前記テーブルに記載されている前記データを基に音声の調子を制御して発話させる音声制御手段と
    を備え、
    前記オブジェクト表示制御手段は、前記オブジェクトに対して設定され、前記テーブルで管理されている前記コンディションと前記レベルを表現する表示をユーザの指示がないときに、一定期間毎に行い、前記仮想空間内を歩行する表示を前記ユーザからの要求があったときに行う
    情報処理装置。
  2. 前記テーブルに記載される前記データは、前記オブジェクトが前記仮想空間内に入場するときに設定され、退場するときに削除される
    請求項1に記載の情報処理装置。
  3. 前記管理手段により管理されるデータは、前記ユーザの生体情報、または、顔の表情変化に応じて随時設定される
    請求項1に記載の情報処理装置。
  4. 前記オブジェクト表示制御手段は、前記一定期間毎に行う前記オブジェクトの表示は、動画像で行う
    請求項1に記載の情報処理装置。
  5. 前記ウィンドウで、自己のオブジェクトの感情に関するデータが設定された後、前記仮想空間内でチャットが行える状態にされる
    請求項1に記載の情報処理装置。
JP2000386395A 2000-12-20 2000-12-20 情報処理装置 Expired - Fee Related JP4395687B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000386395A JP4395687B2 (ja) 2000-12-20 2000-12-20 情報処理装置
US10/037,160 US7065711B2 (en) 2000-12-20 2001-12-20 Information processing device and method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000386395A JP4395687B2 (ja) 2000-12-20 2000-12-20 情報処理装置

Publications (2)

Publication Number Publication Date
JP2002190034A JP2002190034A (ja) 2002-07-05
JP4395687B2 true JP4395687B2 (ja) 2010-01-13

Family

ID=18853502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000386395A Expired - Fee Related JP4395687B2 (ja) 2000-12-20 2000-12-20 情報処理装置

Country Status (2)

Country Link
US (1) US7065711B2 (ja)
JP (1) JP4395687B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220057907A1 (en) * 2006-09-06 2022-02-24 Apple Inc. Portable electronic device for instant messaging

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040107251A1 (en) * 2001-09-19 2004-06-03 Hansen Wat System and method for communicating expressive images for meetings
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
JP2004070685A (ja) * 2002-08-07 2004-03-04 Hudson Soft Co Ltd 電子装置、および似顔絵付き電子メールの受信再生方法
JP2004185437A (ja) * 2002-12-04 2004-07-02 Nippon Hoso Kyokai <Nhk> 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法
JP3916579B2 (ja) * 2003-03-19 2007-05-16 株式会社国際電気通信基礎技術研究所 コミュニティ環境提供システム
EP1463052A1 (en) 2003-03-25 2004-09-29 Deutsche Thomson-Brandt Gmbh Method for representing animated menu buttons
JP3931889B2 (ja) * 2003-08-19 2007-06-20 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法
JP2005078427A (ja) * 2003-09-01 2005-03-24 Hitachi Ltd 携帯端末及びコンピュータ・ソフトウエア
KR100626444B1 (ko) * 2003-11-24 2006-09-20 엘지전자 주식회사 공기조화기의 실내기
KR100626443B1 (ko) * 2003-11-24 2006-09-20 엘지전자 주식회사 공기조화기의 실내기
JP4534470B2 (ja) * 2003-12-02 2010-09-01 日本電気株式会社 仮想会話システム
JP2005202909A (ja) * 2003-12-16 2005-07-28 Kyoto Univ アバター制御システム
US7995064B2 (en) * 2004-10-12 2011-08-09 Imvu, Inc. Computer-implemented chat system having dual channel communications and self-defining product structures
KR100657901B1 (ko) * 2004-10-12 2006-12-14 삼성전자주식회사 건강상태에 따른 아바타 영상 생성 방법 및 장치
US7342587B2 (en) * 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7912793B1 (en) 2005-01-13 2011-03-22 Imvu, Inc. Computer-implemented method and apparatus to allocate revenue from a derived avatar component
JP2006263122A (ja) * 2005-03-24 2006-10-05 Sega Corp ゲーム装置、ゲームシステム、ゲームデータの処理方法及びこのゲームデータの処理方法ためのプログラム並びに記憶媒体
JP2006350986A (ja) * 2005-06-17 2006-12-28 Tokyo Institute Of Technology 顔写真付きメールを送受信できる携帯電話機
US8250489B2 (en) * 2005-12-12 2012-08-21 Lg Electronics Inc. Control unit for refrigerator and method controlling the same
JP4854424B2 (ja) * 2006-08-02 2012-01-18 株式会社コナミデジタルエンタテインメント チャットシステム、通信装置、その制御方法及びプログラム
US7966567B2 (en) * 2007-07-12 2011-06-21 Center'd Corp. Character expression in a geo-spatial environment
KR101742256B1 (ko) 2007-09-26 2017-05-31 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
JP4609475B2 (ja) * 2007-10-11 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法、並びに記録媒体
US8714982B2 (en) * 2007-10-15 2014-05-06 Casey Wimsatt System and method for teaching social skills, social thinking, and social awareness
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8151191B2 (en) * 2007-12-07 2012-04-03 International Business Machines Corporation Managing objectionable material in 3D immersive virtual worlds
US8149241B2 (en) * 2007-12-10 2012-04-03 International Business Machines Corporation Arrangements for controlling activities of an avatar
US8379968B2 (en) * 2007-12-10 2013-02-19 International Business Machines Corporation Conversion of two dimensional image data into three dimensional spatial data for use in a virtual universe
JP4985974B2 (ja) 2007-12-12 2012-07-25 インターナショナル・ビジネス・マシーンズ・コーポレーション コミュニケーション支援方法、システムおよびサーバ装置
JP4586063B2 (ja) * 2007-12-18 2010-11-24 ソニー エレクトロニクス インク 端末装置
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
US20090177976A1 (en) * 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US8228170B2 (en) * 2008-01-10 2012-07-24 International Business Machines Corporation Using sensors to identify objects placed on a surface
US20090315893A1 (en) * 2008-06-18 2009-12-24 Microsoft Corporation User avatar available across computing applications and devices
US8988421B2 (en) * 2008-12-02 2015-03-24 International Business Machines Corporation Rendering avatar details
US8156054B2 (en) 2008-12-04 2012-04-10 At&T Intellectual Property I, L.P. Systems and methods for managing interactions between an individual and an entity
US9741147B2 (en) * 2008-12-12 2017-08-22 International Business Machines Corporation System and method to modify avatar characteristics based on inferred conditions
US10482428B2 (en) 2009-03-10 2019-11-19 Samsung Electronics Co., Ltd. Systems and methods for presenting metaphors
US9489039B2 (en) 2009-03-27 2016-11-08 At&T Intellectual Property I, L.P. Systems and methods for presenting intermediaries
US8670018B2 (en) * 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction
US8963987B2 (en) 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
US8742250B2 (en) 2010-08-09 2014-06-03 Palo Alto Research Center Incorporated Stationary sunlight redirecting system for increasing the efficiency of fixed-tilt PV farm
JP2013029951A (ja) * 2011-07-28 2013-02-07 Konami Digital Entertainment Co Ltd サーバ装置
JP5937992B2 (ja) 2012-06-25 2016-06-22 株式会社コナミデジタルエンタテインメント メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム
JP5756487B2 (ja) 2012-06-25 2015-07-29 株式会社コナミデジタルエンタテインメント メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム
JP5844298B2 (ja) 2012-06-25 2016-01-13 株式会社コナミデジタルエンタテインメント メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム
CN104737209A (zh) 2012-11-22 2015-06-24 索尼公司 信息处理装置、系统、信息处理方法和程序
KR102161764B1 (ko) * 2013-10-31 2020-10-05 삼성전자주식회사 카툰 이미지를 이용한 메신저 대화창 표시 방법 및 컴퓨터 판독 가능한 기록 매체
US10013601B2 (en) * 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
USD770529S1 (en) * 2014-12-02 2016-11-01 Zynga Inc. Portion of display screen having graphical user interface with transitional icon
USD818497S1 (en) * 2015-01-06 2018-05-22 King.Com Limited Display screen with icon
JP6562711B2 (ja) * 2015-05-15 2019-08-21 Kddi株式会社 ロボット動作生成装置およびプログラム
JP6263252B1 (ja) * 2016-12-06 2018-01-17 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7160707B2 (ja) * 2019-01-31 2022-10-25 株式会社スクウェア・エニックス 仮想キャラクタを含む画像を提供するための方法
WO2022085189A1 (ja) * 2020-10-23 2022-04-28 日本電信電話株式会社 処理装置、処理方法およびプログラム
JP7226866B1 (ja) * 2022-02-03 2023-02-21 佑斗 井澤 仮想空間もしくはオンラインミーティングシステムの作動システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6064383A (en) * 1996-10-04 2000-05-16 Microsoft Corporation Method and system for selecting an emotional appearance and prosody for a graphical character

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220057907A1 (en) * 2006-09-06 2022-02-24 Apple Inc. Portable electronic device for instant messaging
US11762547B2 (en) * 2006-09-06 2023-09-19 Apple Inc. Portable electronic device for instant messaging

Also Published As

Publication number Publication date
JP2002190034A (ja) 2002-07-05
US7065711B2 (en) 2006-06-20
US20020109719A1 (en) 2002-08-15

Similar Documents

Publication Publication Date Title
JP4395687B2 (ja) 情報処理装置
US20220254343A1 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
US20220284896A1 (en) Electronic personal interactive device
US6522333B1 (en) Remote communication through visual representations
CN107480766B (zh) 多模态虚拟机器人的内容生成的方法和系统
US20180342095A1 (en) System and method for generating virtual characters
CN107294837A (zh) 采用虚拟机器人进行对话交互的方法和系统
CN109410297A (zh) 一种用于生成虚拟化身形象的方法与装置
US11960792B2 (en) Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
JP2005235142A (ja) ユーザ間親密度測定システム及びユーザ間親密度測定プログラム
KR20220123576A (ko) 3차원(3d) 환경에 대한 통합된 입/출력
CN117541444B (zh) 一种互动虚拟现实口才表达训练方法、装置、设备及介质
KR20220123170A (ko) 인공지능 아바타 튜터를 활용한 회화 학습 시스템 및 그 방법
JP2003108502A (ja) 身体性メディア通信システム
WO2021229692A1 (ja) アバター制御プログラム、アバター制御方法および情報処理装置
KR102298070B1 (ko) 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템
KR20230048959A (ko) 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템
Ballagas et al. Reading, laughing, and connecting with young children
JPWO2021229692A5 (ja)
CN112752159B (zh) 一种互动方法和相关装置
WO2024080135A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
Birmingham A comparative analysis of nonverbal communication in online multi-user virtual environments
US11954570B2 (en) User interface for construction of artificial intelligence based characters
US20230351142A1 (en) Relationship graphs for artificial intelligence character models
US20240112389A1 (en) Intentional virtual user expressiveness

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091007

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees