WO2022215725A1 - 情報処理装置、プログラム、及び、情報処理方法 - Google Patents

Abstract

情報処理装置は、第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得する取得部と、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成する生成部と、を備える。

Description

情報処理装置、プログラム、及び、情報処理方法

　本発明は、情報処理装置、プログラム、及び、情報処理方法に関する。
　本願は、２０２１年４月８日に出願された特願２０２１－０６６０１９号に基づき優先権を主張し、その内容をここに援用する。

　ユーザの顔の表情および頭部姿勢に基づいて、ユーザのグラフィック表現としてのアバターをアニメートするように構成されたアバターシステムが知られている（特許文献１）。

特表２０１８－５３００１７号公報

　第１の態様によると、情報処理装置は、第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得する取得部と、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成する生成部と、を備える。

　第２の態様によると、情報処理装置は、第１の意味を有する第１動作に関する第１情報を取得する取得部と、前記第１の意味を有し前記第１動作とは異なる第２動作に関する第２情報を、前記第１情報に基づいて生成する生成部と、を備える。

　第３の態様によると、プログラムは、第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得する処理と、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成する処理と、をプロセッサに実行させる。

　第４の態様によると、情報処理方法は、第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得することと、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成することと、を含む。

　第５の態様によると、情報処理方法は、第１の意味を有する第１動作に関する第１情報を取得することと、前記第１の意味を有し前記第１動作とは異なる第２動作に関する第２情報を、前記第１情報に基づいて生成することと、を含む。

　第６の態様によると、情報処理装置は、第１ユーザの動作に関連する第１情報、および、第２ユーザに関連する第２情報を取得する取得部と、前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を前記第２ユーザに適応した動作に変換した情報を生成する生成部と、を備える。

　第７の態様によると、情報処理方法は、第１ユーザの動作に関連する第１情報、および、第２ユーザに関連する第２情報を取得することと、前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を前記第２ユーザに適応した動作に変換した情報を生成することと、を含む。

　第８の態様によると、情報処理装置は、第１ユーザの動作に関連する第１情報、および、前記第１ユーザが他のユーザとコミュニケーションをとる状況に関連する第２情報を取得する取得部と、前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を変換した第３情報を生成する生成部と、を備える。

　第９の態様によると、情報処理方法は、第１ユーザの動作に関連する第１情報、および、前記第１ユーザが他のユーザとコミュニケーションをとる状況に関連する第２情報を取得することと、前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を変換した第３情報を生成することと、を含む。

実施の形態に係る情報通信システムの構成例を模式的に示す図である。 実施の形態に係る情報通信システムの構成例を示すブロック図である。 実施の形態に係る対比テーブルの一例を説明するための図である。 実施の形態に係る情報処理装置による処理の一例を説明するための図である。 実施の形態に係る情報処理装置の動作例を示すフローチャートである。 実施の形態に係る情報処理装置の動作例を示すフローチャートである。

（実施の形態）
　図１は、実施の形態に係る情報通信システム１の構成例を模式的に示す図である。情報通信システム（情報処理システム）１は、複数の情報処理装置１００（図１に示す例では、情報処理装置１００ａ、情報処理装置１００ｂ）と、情報処理装置２００（図１に示す例ではサーバー２００）とを含む。情報処理装置１００は、ネットワークに接続可能であり、サーバー２００及び他の情報処理装置１００と通信可能に構成される。サーバー２００は、集中型のサーバーであってもよいし、分散型のサーバーであってもよい。

　情報通信システム１では、複数の情報処理装置１００及びサーバー２００が通信を行って、ユーザに関連付けられた制御対象（本実施形態ではアバター）の制御が行われる。情報通信システム１においては、ユーザの状態に基づいてアバターに関連する情報（以下、アバター情報と称する）が生成され、アバターの制御に用いられる。

　アバターは、画像、音声、テキスト等により表現され、自身を示すものとして用いられる。アバターは、分身または化身として使用されるものともいえる。アバターの画像には、ユーザを模したもの、イラスト化したもの、仮想キャラクター、その他ユーザの代わりとなり得るオブジェクトが用いられる。アバターは、ユーザとの関連付け（対応付け）が行われ、ネットワーク上でのコミュニケーションに利用される。

　アバター情報は、アバターの画像として用いる画像に関する情報、アバターの動作に関する情報、アバターの音声に関する情報等を含む。情報通信システム１では、アバター情報の生成、送受信が行われ、ユーザがアバターを用いたコミュニケーションを行うことが可能となる。ユーザと他者のアバターとのコミュニケーション、ユーザのアバターと他者のアバターとのコミュニケーションを行い得る。

　情報処理装置１００ａ、１００ｂは、端末（端末装置）であり、それぞれ、ユーザＡ、ユーザＢにより利用される。情報処理装置１００ａは、情報処理装置１００ｂを使用するユーザＢのアバター情報を用いて、ユーザＢのアバターの画像及び音声を出力する。情報処理装置１００ｂは、情報処理装置１００ａを使用するユーザＡのアバター情報を用いて、ユーザＡのアバターの画像及び音声を出力する。これにより、ユーザＡとユーザＢは、相手のアバターを見ながらコミュニケーションを行うことができる。

　なお、情報処理装置１００は、他の情報処理装置１００及びサーバー２００と通信を行って、他のユーザ本人の画像に関する情報を取得し、他のユーザ本人の画像も出力可能である。情報通信システム１では、ユーザは、自身はアバターを使用せずに他者のアバターとコミュニケーションを行うこともできる。

　図２は、実施の形態に係る情報通信システム１の構成例を示すブロック図である。情報処理装置１００は、情報処理部１０と、通信部２０と、記憶部３０と、出力部４０と、検出部５０と、操作部６０とを備える。情報処理装置１００は、コンピュータ、スマートフォン、タブレット端末、ウェアラブル端末等の電子機器により構成される。情報処理部１０、通信部２０、記憶部３０、出力部４０、検出部５０、及び操作部６０は、有線通信または無線通信によって情報を送受信する。

　情報処理部１０は、プロセッサ及びメモリを有し、プログラムに基づいて情報処理を行う。情報処理部１０は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等のデバイス、及びＲＯＭ、ＲＡＭ等のメモリを有する。情報処理部１０は、制御部でもあり、メモリに格納されたプログラムを読み込んで実行し、情報処理装置１００の各部の制御を行う。情報処理部１０は、信号処理を行う信号処理部ともいえる。情報処理部１０は、通信部２０を介して、サーバー２００及び他の情報処理装置１００と双方向に情報を送受信する通信を行う。

　通信部２０は、通信モジュール等により構成され、サーバー２００及び他の情報処理装置１００と通信し得る。通信部２０は、画像データ、音声データ、位置データ等、情報の送受信を行う。通信部２０は、サーバー２００及び他の情報処理装置１００との通信によって、他ユーザのプロフィールに関する情報、他ユーザの状態に関する情報、他ユーザのアバターに関する情報を取得する。なお、情報処理装置１００は、サーバー２００を介さずに、他の情報処理装置１００と通信するようにしてもよい。

　記憶部３０は、不揮発性の記憶媒体等により構成され、プログラム及びデータが記憶（記録）される。記憶部３０は、ＲＯＭ、フラッシュメモリ等のメモリ、ハードディスク、ＳＳＤ等の記憶装置であり、種々の情報が記憶される。記憶部３０に記憶される情報には、情報処理装置１００の各部の制御に用いるプログラム及びデータ、アバター情報の生成に用いるプログラム及びデータ、アバターを利用したコミュニケーションを行う際に用いられるプログラム及びデータ等がある。

　記憶部３０には、ユーザのプロフィールに関連する情報（以下、プロフィール情報と称する）が記憶される。プロフィール情報は、ユーザによる操作部６０の操作、音声等によって入力され、記憶部３０に記憶される。プロフィール情報は、情報処理装置１００及びサーバー２００により自動的に取得され、記憶部３０に記憶されてもよい。例えば、プロフィール情報は、地理学的プロフィール（geographic profile）人口統計学的プロフィール（demographic profile）、発育的プロフィール（developmental profile）を含む。ユーザのプロフィール情報としては、現在の情報、例えば現在の居住国、居住地域、勤務地、国籍、母国語、性別、所属する組織（会社、学校等）、宗教、民族などが挙げられる。また、プロフィール情報としては、現在の居住国、現在の勤務地等の現在の情報だけでなく、過去の情報、例えば過去の居住国、居住地域、勤務地、国籍、母国語、性別、所属する組織、宗教、民族なども挙げられる。さらに、プロフィール情報には、海外経験に関する情報、使用言語に関する情報、年齢なども含まれる。プロフィール情報は、ＳＮＳにおける交流履歴に関する情報を含んでいてもよい。プロフィール情報は、ユーザが所有するモバイル端末（スマートフォン等）の情報とリンクされて、自動的に更新されてもよい。また、プロフィール情報は、公的機関が管理する情報（例えば、マイナンバーカード、アメリカのグリーンカード等）から読み取って取得されてもよい。プロフィール情報は、定期的又は不定期に、通信部２０を介してサーバー２００及び他の情報処理装置１００に出力される。なお、プロフィール情報は、操作部６０の操作等によって変更（更新）され、その値が変化する毎にサーバー２００等の外部機器へ送信されるようにしてもよい。

　記憶部３０に記憶されるプログラムには、アバターを動かすためのプログラムが含まれる。また、記憶部３０には、仮想空間に関する情報、音楽に関する情報等も記憶される。なお、これらの情報の一部または全部は、情報処理部１０の内部のメモリに記憶するようにしてもよいし、外部の機器（例えばサーバー２００）から取得するようにしてもよい。

　出力部４０は、画像を表示する表示部４０ａ、及び、音を出力する音出力部４０ｂを有する。表示部４０ａは、液晶ディスプレイ、有機ＥＬディスプレイ等であり、音出力部４０ｂは、スピーカー、イヤホン等である。出力部４０は、入力部として機能するタッチパネル、マイク等を含んでもよく、入出力部としても機能し得る。出力部（入出力部）４０は、ユーザによる操作に基づく信号、ユーザの音声に基づく信号を生成し、情報処理部１０に出力してもよい。出力部４０は、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。表示部４０ａと音出力部４０ｂとは、別々に設けられてもよい。

　表示部４０ａは、アバター情報に基づく画像、ユーザが操作可能なオブジェクト、及びメニュー画面等を表示する。表示部４０ａは、他者のアバターに関するアバター情報に基づいて、他者のアバターの画像を表示する。表示部４０ａは、例えば、全身の画像、上半身の画像、顔の画像等を表示する。また、表示部４０ａは、アバターに与えられるエフェクト画像、背景画像、オブジェクト画像なども表示する。表示部４０ａは、他者のアバターを表示する際に、自ユーザのアバターの画像も表示するようにしてもよい。ユーザによる操作部６０の操作等によって、他ユーザ側の情報処理装置１００の表示部４０ａにおいて表示される自ユーザのアバターの画像を、自ユーザ側の情報処理装置１００の表示部４０ａに表示するか否かを選択可能としてもよい。表示部４０ａは、仮想空間内の第三者目線で見た自ユーザのアバター及び他ユーザのアバターの画像を表示するようにしてもよい。ユーザは、仮想空間においてコミュニケーションを行う自ユーザのアバター及び他ユーザのアバターを見ることができる。

　音出力部４０ｂは、アバター情報に基づく音声、効果音などを出力する。音出力部４０ｂは、他者のアバター情報に基づいて、他者のアバターによる音声を出力する。音出力部４０ｂは、アバターに与えられるエフェクト音、音楽（ＢＧＭ）なども出力する。なお、音出力部４０ｂは、複数個所から音声を出力可能な場合、アバターの動きに応じて、音声の出力箇所を変更、移動させるようにしてもよい。ユーザは、出力部４０により再生される他のユーザのアバターの画像と音声を視聴し、他のユーザと交流を行うことができる。なお、出力部４０は、他ユーザの画像に関する情報に基づいて、他ユーザ自身の画像も出力可能である。

　検出部５０は、ＲＧＢカメラ、Ｄｅｐｔｈカメラ、モーションキャプチャ装置、音検出装置等により構成され、ユーザの状態を検出する。検出部５０は、視線センサ、加速度センサ、体温センサ等のセンサを含んでいてもよい。検出部５０は、ユーザの状態に関する情報（以下、状態情報と称する）を生成する。状態情報には、ユーザの動作（動き）に関する情報、ユーザの位置に関する情報、ユーザの音声に関する情報、ユーザの表情に関する情報、ユーザの視線（目線）に関する情報等が含まれる。検出部５０は、深度センサ、多眼カメラ等を含んで構成されてもよく、Ｄｅｐｔｈ情報を検出し、ユーザの状態情報を生成するようにしてもよい。

　検出部５０は、ユーザの状態を所定の周期で検出し、ユーザの状態情報を繰り返し生成する。検出部５０により生成される状態情報は、定期的又は不定期に、通信部２０を介してサーバー２００及び他の情報処理装置１００に出力される。なお、検出部５０の一部または全部を、情報処理装置１００の外部に設けてもよい。この場合、検出部５０は、生成した状態情報を、定期的又は不定期に、繰り返し情報処理装置１００及びサーバー２００に出力するようにしてもよい。状態情報は、その値が変化する毎に、サーバー２００等の外部機器へ送信されるようにしてもよい。

　操作部６０は、電源ボタン（スイッチ）、操作ボタン、キーボード等の部材を含み、情報処理装置１００に対する操作を受け付ける。操作部６０は、ユーザによる操作を検出し、操作に基づく信号（操作信号）を出力する。なお、操作部６０は、出力部４０のタッチパネル、ヘッドマウントディスプレイを含み得る。なお、情報処理装置１００は、検出部５０により検出されるユーザの状態または入出力部４０に入力される音声に基づき、視線入力または音声入力による指示を受け付けることも可能である。情報処理装置１００は、操作部６０の操作によって情報処理装置１００に対する操作を受け付けることも、視線又は音声によって情報処理装置１００に対する操作を受け付けることもできる。ユーザは、操作部６０の操作等によって、アバターの使用の有無、使用するアバター等を決定することが可能である。

　次に、本実施の形態に係る情報処理部１０について、さらに説明する。情報処理部１０は、取得部１１と、生成部１２と、制御部１３と、状態判定部１４と、可否判断部１５とを有する。取得部１１、生成部１２、制御部１３、状態判定部１４、及び可否判断部１５の一部または全部は、プロセッサ及びメモリにより構成される。

　取得部１１は、自ユーザの状態に関する状態情報、他ユーザの状態に関する状態情報、自ユーザのプロフィール情報、他ユーザのプロフィール情報、操作信号などを取得する。本実施の形態では、取得部１１は、通信部２０を介して外部の機器から他ユーザの状態情報及びプロフィール情報を取得し、検出部５０及び記憶部３０から自ユーザの状態情報及びプロフィール情報を取得し、操作部６０から操作信号を取得する。取得部１１には、定期的又は不定期に、状態情報及びプロフィール情報が入力される。取得部１１は、状態情報及びプロフィール情報等が入力される入力部でもある。

　取得部１１は、複数のユーザがコミュニケーションをとる状況に関連する状況情報（コミュニケーション空間の雰囲気情報）を取得してもよい。例えば、状況情報は、所定時間内における単一ユーザ又は複数ユーザの、音声の大きさの積算値、会話量の積算値、動作量の積算値、所定の表情値（例えばポジティブ値、ネガティブ値など）の積算値などに基づく。一例において、取得部１１は、通信部２０を介して外部の機器から他ユーザの状況情報を取得し、検出部５０から自ユーザの状況情報を取得し、操作部６０から操作信号を取得する。

　生成部１２は、第１の生成部１２ａと、後述する第２の生成部１２ｂとを有する。第１の生成部１２ａは、アバターの制御に用いる情報としてアバター情報を生成する。アバター情報は、上述したように、アバターの画像に関するデータ、及びアバターの動作に関するデータを含む。アバター情報は、音声データ、言語データ等が付加された情報であってもよい。アバター情報は、アバターに付与されるエフェクト、アバターと共に表示するオブジェクト等の情報を含んでいてもよい。

　第１の生成部１２ａは、取得部１１により取得された状態情報に基づき、ユーザのアバターの画像及び状態を示す情報を含むアバター情報を生成する。第１の生成部１２ａは、状態情報に含まれるユーザの動作を示す情報を用いて、アバターの動作を示す情報をアバター情報に付加する。第１の生成部１２ａは、状態情報に含まれるユーザの音声を示す情報を用いて、音声を示す情報をアバター情報に付加する。なお、アバターの画像として用いる画像は、ユーザ又は情報処理装置１００等により決定される。例えば、ユーザは、記憶部３０に記憶された複数種の画像のうちから、アバターに用いる画像を選択する。第１の生成部１２ａは、ユーザによる選択に基づいて、ユーザのアバターの画像を示すアバター情報を生成する。

　第１の生成部１２ａは、取得部１１に順次に入力される他ユーザの状態情報を用いて、他ユーザのアバター情報を繰り返し生成する。第１の生成部１２ａは、自ユーザの状態情報に基づき、自ユーザのアバター情報も生成し得る。第１の生成部１２ａは、生成した自ユーザのアバター情報を、定期的又は不定期に、通信部２０を介してサーバー２００及び他の情報処理装置１００に出力するようにしてもよい。なお、アバター情報は、その値が変化する毎に、サーバー２００等の外部機器へ送信されるようにしてもよい。

　制御部１３は、制御プログラムに基づいてアバターを制御する処理を行う。制御部１３は、出力部４０を制御することにより、アバターの画像と音声の制御を行う。制御部１３は、他ユーザのアバター情報を用いて、アバター情報に基づく画像を表示部４０ａに表示させると共に、アバター情報に基づく音声を音出力部４０ｂから出力させる。表示部４０ａは、アバター情報が示す動作を行うアバターの画像を表示し、音出力部４０ｂは、アバター情報が示す音声を出力する。これにより、ユーザは、他ユーザのアバターの画像と音声を視聴することができる。

　制御部１３は、アバター情報が変更（更新）されると、アバター情報に含まれるアバターの画像及び状態に関する情報に基づき、表示部４０ａにより表示される画像、音出力部４０ｂにより出力される音を変更する。アバター情報が、表示部４０ａに表示される画像、音出力部４０ｂから出力される音声に反映されることになる。制御部１３は、他ユーザの状態情報が示す状態（動作、位置、発言等）に応じて、他ユーザのアバターの画像及び音声を変更する。表示部４０ａに表示される他ユーザのアバターは、他ユーザの動きに伴って動く状態となる。ユーザは、他ユーザの動作に伴って動作するアバターとコミュニケーションを行うことが可能となる。

　上述のようにユーザの動作に合わせてアバターを動作させることが可能となるが、同一の動作であっても、国、地域、文化等の違いによって異なる意味を有する場合がある。国、文化等の違いに起因して、ジェスチャー、ハンドサイン、手話等を行った場合に、意図する内容が相手に正しく伝わらない場合が生じ得る。同じジェスチャー等であっても、文化等の違いによって感じ方が異なるために、コミュニケーションの際に誤解が生じたり、ユーザに違和感を与えたりするおそれがある。

　例えば、日本人にとって「遠慮、否定」の意味を有する「手のひらを左右に振る」動作は、アメリカ等の英語圏では「臭い」の意味を有する。「相手に向けて舌を出す」行為は、日本では相手を馬鹿にしたり侮辱したりする行為となり得るが、チベットでは「相手を敬う気持ち」を表す挨拶となる。また、「上下の歯を噛み合わせて歯茎を見せる」動作は、アメリカ等では相手に強い「怒り」の感情をもっていることを表す動作となる。また、「人差し指と中指を交差させる」動作は、英語圏では「幸運を祈る」という合図となるが、ベトナムでは「侮辱」のサインとなってしまう。

　本実施の形態に係る情報処理装置１００は、自ユーザのプロフィール情報と他ユーザのプロフィール情報に基づいて、自ユーザの場合と他ユーザの場合とで異なる意味を有する動作を推定する。情報処理装置１００は、推定結果に基づいて、アバターの動作が相手ユーザに適した動作となるように、アバターに行わせる動作を変換する処理を行う。情報処理装置１００は、ジェスチャー等の動作の翻訳を行うともいえる。情報処理装置１００は、文化等の違いを考慮したアバターの制御を行うことができ、コミュニケーションの際に誤解が生じるといった状況となることを防ぐことが可能となる。以下に、情報処理装置１００が行う処理について、さらに説明する。

　情報処理部１０の第２の生成部１２ｂは、取得部１１により取得された各ユーザのプロフィール情報を参照して、ユーザ毎に、変換が必要となる場合が想定されるユーザの動作を推定する。第２の生成部１２ｂは、変換が必要となり得るユーザのジェスチャー、ハンドサイン、手話等を推定する。第２の生成部１２ｂは、推定した各ユーザの動作を比較して、ユーザ間で変換が必要となり得る動作の対応関係に関する情報（以下、対比テーブルと称する）を生成する。この場合、第２の生成部１２ｂは、同様の意図を有するユーザの動作と他ユーザの動作との対応付けを行って、対比テーブルを生成する。対比テーブルは、ユーザの動作と他ユーザの動作との対応関係を示す情報となり、アバターの動作の変換（置き換え）に用いられる。なお、第２の生成部１２ｂは、ユーザの動作とその動作が有する意味との対応関係を示す情報を、対比テーブルとして生成してもよい。第２の生成部１２ｂは、取得部１１により新たな他ユーザのプロフィール情報が取得される度に、対比テーブルを生成するようにしてもよい。

　図３は、実施の形態に係る対比テーブルの一例を説明するための図である。図３（ａ）は、想定されるユーザＡ、ユーザＢの動作例を示し、図３（ｂ）は、対比テーブルの一例を模式的に示している。第２の生成部１２ｂは、ユーザＡのプロフィール情報に基づいて、動作の変換が必要となり得るユーザＡの動作を推定する。また、第２の生成部１２ｂは、ユーザＢのプロフィール情報に基づき、動作の変換が必要となり得るユーザＢの動作を推定する。第２の生成部１２ｂは、図３（ａ）に模式的に示すように、推定したユーザＡの動作を示す情報、及び推定したユーザＢの動作を示す情報を生成する。

　第２の生成部１２ｂは、想定されるユーザＡの動作とユーザＢの動作とを比較し、変換が必要となる場合が想定される動作を選定する。図３（ａ）、（ｂ）に示す例では、ユーザＡについては、「モーション２」、「モーション４」、「モーション５」、「モーション７」、及び「モーション１０」が選定される。また、ユーザＢについては、「モーションｂ」、「モーションｄ」、「モーションｅ」、「モーションｇ」、及び「モーションｊ」が選定される。

　第２の生成部１２ｂは、ユーザＡの動作とユーザＢの動作との対応付け（関連付け）を行う。例えば、図３に示す「モーション２」が有するユーザＡにとっての意味は、「モーションｂ」が有するユーザＢにとっての意味と同様である。そこで、第２の生成部１２ｂは、ユーザＡの「モーション２」とユーザＢの「モーションｂ」とを対応付ける。また、例えば、「モーション４」のユーザＡにとっての意味と「モーションｄ」のユーザＢにとっての意味とが同様である。第２の生成部１２ｂは、ユーザＡの「モーション４」とユーザＢの「モーションｄ」とを対応付ける。

　図３（ｂ）に示す例では、「モーション２」及び「モーションｂ」の組（セット）、「モーション４」及び「モーションｄ」の組、「モーション５」及び「モーションｅ」の組、「モーション７」及び「モーションｇ」の組、及び「モーション１０」及び「モーションｊ」の組について、それぞれ対応付けが行われる。第２の生成部１２ｂは、対応付けられたユーザＡの動作とユーザＢの動作とを表す対比テーブルを生成する。

　第２の生成部１２ｂは、図３（ｂ）にハッチングで模式的に表したように、変換が不要と判断される動作のデータについては削除して、対比テーブルには含まれないようにしてもよい。第２の生成部１２ｂにより生成された対比テーブルは、記憶部３０に記憶される。対比テーブルは、変換対象となる動作を示し、例えば会話の開始前に予め生成されて登録される。対比テーブルの生成処理および記憶処理が、コミュニケーション開始前に行われることになる。新たなユーザＣのプロフィール情報が追加された場合、第２の生成部１２ｂは、ユーザＡ～Ｃのプロフィール情報に基づいて各ユーザの動作を比較し、対比テーブルを生成する。第２の生成部１２ｂは、ユーザＡ、Ｂ間の対比テーブルと、ユーザＣのプロフィール情報から推定されるユーザＣの動作とを比較し、対比テーブルを更新するようにしてもよい。第２の生成部１２ｂは、ユーザＡ、Ｂ、Ｃ間の共通の対比テーブルを生成するようにしてもよい。また、第２の生成部１２ｂは、各ユーザ間の対比テーブルをそれぞれ生成してもよい。この場合、第２の生成部１２ｂは、ユーザＡの動作とユーザＢの動作との対応関係を示す対比テーブルと、ユーザＢの動作とユーザＣの動作との対応関係を示す対比テーブルと、ユーザＣの動作とユーザＡの動作との対応関係を示す対比テーブルとを生成するようにしてもよい。なお、対比テーブルは、情報処理部１０の内部のメモリに記憶するようにしてもよい。第２の生成部１２ｂは、生成した対比テーブルを、定期的又は不定期に、通信部２０を介してサーバー２００及び他の情報処理装置１００に出力するようにしてもよい。

　状態判定部１４は、ユーザの状態情報を用いて、ユーザの状態を判定する処理を行う。状態判定部１４は、ユーザの状態情報と対比テーブルとを照らし合わせて、状態情報が示すユーザの動作が対比テーブルに挙げられた動作であるか否かを判定（判断）する。状態判定部１４は、対比テーブルに含まれる動作をユーザが行ったか否かを判定し、判定結果を示す信号（判定信号）を生成する。

　状態判定部１４は、変換処理が必要となる状態を検出し、検出結果を示す判定信号を生成するともいえる。状態判定部１４は、対比テーブルを参照して、ユーザが所定のジェスチャーを行ったか否か、ユーザが所定のハンドサインを行ったか否か、ユーザが所定の手話を行ったか否か等を判定する。

　第１の生成部１２ａは、ユーザの状態情報と対比テーブルとに基づき、上述したアバター情報と合わせて付加的にアバターの制御に用いる情報として、アバターの状態に関する情報（以下、「アバター付加情報」と称する）を生成する。アバター付加情報は、アバターに変換した動作をさせるための情報であり、アバターの動作に関する情報、アバターの表情に関する情報、アバターの音声に関する情報等を含む。アバター付加情報は、例えば、上半身または全身の動作（ジェスチャー等）に関する情報を含む。

　第１の生成部１２ａは、状態判定部１４の判定信号によって変換が必要となるユーザの動作が行われたことを把握すると、その動作について対比テーブルが示す対応関係を参照して、そのユーザのアバターの動作を決定する。第１の生成部１２ａは、決定したアバターの動作を示すアバター付加情報を生成する。第１の生成部１２ａは、例えば、ユーザＡが属する国等において第１の意味を有する動作を、ユーザＢが属する国等において同じ第１の意味を有する動作に変換し、変換後の動作を示すアバター付加情報を生成する。

　例えば、ユーザＡとユーザＢのコミュニケーションにおいて、ユーザＡにより「モーション２」が行われた場合、第１の生成部１２ａは、対比テーブルを参照することにより、ユーザＡのアバターの動作として、「モーション２」に対応する「モーションｂ」を選択する。また、例えば、ユーザＢが「モーションｄ」を行った場合、第１の生成部１２ａは、対比テーブルを参照して、ユーザＢのアバターの動作として、「モーションｄ」に対応する「モーション４」を選択する。

　このように、第１の生成部１２ａは、対比テーブルに含まれる動作が検出された場合に、相手ユーザに合った動作をアバターに行わせるためのアバター付加情報を生成する。このため、対比テーブルに含まれる動作が検出された場合に、アバターの動作を自動的に変換することが可能となる。なお、第１の生成部１２ａにより生成されたアバター付加情報は、通信部２０を介してサーバー２００及び他の情報処理装置１００に出力されてもよい。

　可否判断部１５は、アバター付加情報に基づくアバターの制御を行うか否かを判断する。可否判断部１５は、ユーザの状態情報が示すユーザの発言及び表情、ユーザによる操作部６０の操作等によって、アバター付加情報に基づくアバターの制御を行うか否かを判断する。可否判断部１５は、アバター付加情報に基づく制御を許可するか否かの判断結果を示す信号（判断信号）を生成する。なお、可否判断部１５と上述した状態判定部１４とは、一体的に構成されてもよい。

　可否判断部１５は、例えば、ユーザと他のユーザとの親密度に基づき、アバター付加情報に基づくアバターの制御を行うか否かを判断する。可否判断部１５は、例えば、親密度が低い場合にアバター付加情報に基づくアバターの制御を行うと判断し、親密度が高い場合にはアバター付加情報に基づくアバターの制御を行わないと判断する。可否判断部１５は、ユーザの状態情報によって把握されるユーザの行動（行為）、発言、表情等に基づいて、ユーザ間の親密度を判定するようにしてもよい。

　可否判断部１５は、ユーザ間の会話時間が所定の時間以上である場合は、親密度は高いと判定し、会話時間が所定時間未満である場合は、親密度は低いと判定してもよい。可否判断部１５は、ユーザが所定の発言を行った場合に親密度が高いと判定してもよいし、ユーザが所定の行動を行った場合に親密度が高いと判定してもよい。可否判断部１５は、会話の流れ、口調、表情、ユーザ間の過去のやりとり等によって、親密度を判定してもよい。

　可否判断部１５は、会話で用いられた単語、口調、表情、ＳＮＳにおける交流履歴等をそれぞれ数値化して加算し、加算された値が予め定められた閾値以上である場合は親密度が高いと判定し、加算された値が閾値未満である場合は親密度が低いと判定してもよい。可否判断部１５は、所定の時間間隔毎に、親密度を更新してもよい。この場合、可否判断部１５は、親密度の変化を予測し、所定時間内に親密度が閾値を超えることが予測された場合、親密度が高いと判定するようにしてもよい。可否判断部１５は、過去の親密度の履歴を加味して親密度を判定してもよい。親密度の履歴からユーザＡとユーザＢが基本的には仲良しと推測される場合、可否判断部１５は、ユーザＡとユーザＢが喧嘩した場合の親密度の低下量を抑えるようにしてもよい。可否判断部１５は、新たなユーザが追加される毎に、各ユーザ間の親密度を判定するようにしてもよい。

　制御部１３は、可否判断部１５により生成される判断信号に基づき、アバター付加情報を用いた制御を行うか否かを把握する。アバター付加情報に基づく制御が許可されると、制御部１３は、アバター情報に基づくアバターの制御と、アバター付加情報に基づくアバターの制御との切り替えを行う。制御部１３は、アバター付加情報に応じて、表示部４０ａにより表示される画像を変更する。なお、制御部１３は、アバター付加情報に応じて、音出力部４０ｂにより出力される音も変更するようにしてもよい。

　表示部４０ａは、アバター付加情報が示す動作を行うアバターの画像を表示し、音出力部４０ｂは、アバター付加情報が示す音（例えばエフェクト音）を出力する。アバター付加情報が、表示部４０ａに表示される画像、音出力部４０ｂから出力される音声に反映される。制御部１３及び出力部４０は、アバター付加情報を用いて、相手ユーザに合わせたジェスチャー等の動作をアバターに行わせることができる。

　情報処理装置１００は、ユーザによる操作（操作部６０の操作、音声入力等）によって、アバター付加情報に基づくアバターの制御を許可するか否かを選択可能としてもよい。情報処理装置１００は、例えば、ユーザによる操作部６０の操作等によって、アバター付加情報に基づく制御を許可する状態（第１モード）、又は、アバター付加情報に基づく制御を許可しない状態（第２モード）に設定可能としてもよい。この場合、可否判断部１５は、第１モードが設定されている場合は、アバター付加情報に基づく制御を許可することを示す判断信号を生成し、第２モードが設定されている場合には、アバター付加情報に基づく制御を許可しないことを示す判断信号を生成するようにしてもよい。

　情報処理装置１００は、第１モードが設定されている場合は、図４（ａ）に模式的に示す例のように、第１モードに設定されていることを示す画像８０（８０ａ、８０ｂ）をアバターの画像と共に表示するようにしてもよい。図４（ａ）に示す例では、画像８０ａは、ユーザＢ側の情報処理装置１００の表示部４０ａにおいて表示される画像であり、ユーザＡにより第１モードが設定されていることを表している。

　画像８０ｂは、ユーザＡ側の情報処理装置１００の表示部４０ａにおいて表示される画像であり、ユーザＢにより第１モードが設定されていることを表している。なお、画像８０ａ、画像８０ｂを、それぞれ、ユーザＡ、ユーザＢに割り当てられた色（パーソナルカラー）の画像としてもよい。情報処理装置１００は、第２モードが設定されている場合は、図４（ｂ）に示すように、画像８０（８０ａ、８０ｂ）を表示しないようにしてもよい。なお、情報処理装置１００は、第２モードに設定されていることを示す画像を表示するようにしてもよい。

　図４（ａ）は、ユーザＡ及びユーザＢが共に第１モードを選択した場合の例を示しており、ユーザＡ、Ｂの各々のアバターの動作の変換が行われている。図４（ａ）、（ｂ）において、ユーザＡは日本人であり、ユーザＢはアメリカ人であるとする。ユーザＡ側では「相手に手のひらを見せて左右に振る」動作が「さようなら」を意味し、ユーザＢ側では「手のひらを見せて手の指を屈伸する（グッパする）」動作が「さようなら」を意味する。ユーザＡのアバターの自動変換が行われると、ユーザＡのアバターは、ユーザＡが行った「相手に手のひらを見せて左右に振る」動作の代わりに「手のひらを見せて手の指を屈伸する」動作を行う。ユーザＢ側の情報処理装置１００の表示部４０ａでは、「手のひらを見せて手の指を屈伸する」動作を行うユーザＡのアバターの画像が表示される。

　また、ユーザＢのアバターの自動変換が行われると、ユーザＢのアバターは、ユーザＢが行った「手のひらを見せて手の指を屈伸する」動作の代わりに「相手に手のひらを見せて左右に振る」動作を行う。ユーザＡ側の情報処理装置１００の表示部４０ａでは、「相手に手のひらを見せて左右に振る」動作を行うユーザＢのアバターの画像が表示される。

　一方、図４（ｂ）に示す例では、ユーザＡ及びユーザＢが共に第２モードを選択し、ユーザＡ、Ｂの各々のアバターの動作の変換行われないことになる。この場合、ユーザは、自身で相手ユーザに合わせた動作を試すこともできる。図４（ｂ）の場合では、ユーザＡがユーザＢに対応し、「さようなら」を伝える際に「相手に手のひらを見せて左右に振る」動作ではなく「手のひらを見せて手の指を屈伸する」動作を行っている。

　このように、情報処理装置１００では、ユーザによる選択に基づいて、アバターの動作の自動変換を行うか否かを切り替える。情報処理装置１００は、ユーザの意図を画面表示に反映させることができ、ユーザの意図しない変換が勝手に行われてしまうことを防ぐことが可能となる。また、各ユーザは、アバターの自動変換が行われているか否かを確認しながら、コミュニケーションを行うことができる。

　上述のように、本実施の形態に係る情報処理部１０は、ユーザのプロフィールに基づき、アバターの制御に用いるアバター付加情報を生成する。このため、情報処理部１０は、文化の違い等を考慮して、アバターの状態を変化させることが可能となる。ユーザは、アバターに相手ユーザに対応した動作を行わせることができ、ジェスチャー等の動作の意味が通じないといった状況となることを回避することができる。文化の違い等の壁をこえて、コミュニケーションを行うことが可能となる。

　また、情報処理部１０は、ユーザ間の親密度、ユーザの意思等に応じて、アバターの動作の自動変換を行うか否かを決定する。このため、ユーザ間の親密度等を考慮して、アバターの制御を適切に行うことができる。動作の自動変換が過度に行われてしまうことを防ぐことができる。

　なお、情報処理部１０は、ユーザの動作（モーション）が相手にとって不快な動作となり変換すべき動作であるが変換先の動作が無い場合、そのユーザの動作をアバターには行わせないようにキャンセルするようにしてもよい。また、情報処理部１０は、そのユーザの動作に近いと判断される一般的な動作を、アバターに行わせるようにしてもよい。情報処理部１０は、アバターの動作を、肯定的な部類の動作（例えば「にこっ」とする表情）、又は否定的な部類の動作（例えば「への字口」の表情）に置き換えるようにしてもよい。

　図５は、実施の形態に係る情報処理装置１００の動作例を示すフローチャートである。図５に示す処理は、例えば、図１及び図２に示したユーザＡ及びユーザＢの各々の情報処理装置１００において操作部６０が操作され、アバターを用いたコミュニケーションが開始された場合に実行される。以下では、ユーザＢの情報処理装置１００ｂにおける処理について主に説明する。

　ステップＳ１００において、状態判定部１４は、ユーザＡの状態情報と上述した対比テーブルとに基づき、ユーザＡが対比テーブルに含まれる動作をとったか否かを判定する。状態判定部１４によりユーザＡが対比テーブルに含まれる動作をとったと判定されると、生成部１２は、対比テーブルを参照して、ユーザＡの状態に応じてユーザＡのアバターの制御に用いるアバター付加情報を生成し、ステップＳ１１０へ進む。なお、ステップＳ１００で否定判定された場合には、アバター付加情報の生成は行われず、処理はステップＳ１３０へ進む。

　ステップＳ１１０において、可否判断部１５は、ユーザＡ、Ｂの親密度及び設定されたモード（上述した第１モード、第２モード）等に基づき、アバター付加情報に基づくアバターの制御を行うか否かを決定する。この場合、例えば、可否判断部１５は、ユーザＡ、Ｂの親密度が低いと判定され、かつ上述した第１モードが設定されている場合に、アバター付加情報に基づくアバターの制御を行うと判定する。可否判断部１５は、ユーザＡ、Ｂの親密度が高いと判定された場合、又は上述した第２モードが設定されている場合は、アバター付加情報に基づくアバターの制御を行わないと判定する。可否判断部１５は、アバター付加情報に基づくアバターの制御を行うと判定すると、ステップＳ１２０へ進み、ステップＳ１１０で否定判定すると、ステップＳ１３０へ進む。

　ステップＳ１２０では、制御部１３は、アバター付加情報を用いて出力部４０を制御することにより、ユーザＡのアバターの制御を行う。出力部４０は、ユーザＡの動作及び対比テーブルに応じて生成されたアバター付加情報に基づいて、ユーザＢに合った動作を行うユーザＡのアバター画像を表示する。

　ステップＳ１３０において、情報処理装置１００は、ユーザＡ又はユーザＢによりアバターを用いたコミュニケーションを終了する操作がされると、図５に示す処理を終了し、ステップＳ１３０で否定判定すると、ステップＳ１００へ戻る。

　追加的及び／又は代替的に、第１の生成部１２ａは、状況情報（コミュニケーション空間の雰囲気情報）に基づき、アバター付加情報を生成することができる。アバター付加情報は、アバターの動作に関する情報、アバターの表情に関する情報、アバターの音声に関する情報等を含む。

　可否判断部１５は、アバター付加情報に基づくアバターの制御を行うか否かを判断する。可否判断部１５は、複数のユーザがコミュニケーションをとる状況に関連する状況情報に基づき、コミュニケーション空間の状況（雰囲気）を判定する。一例において、状況情報に関する複数のパラメータ値に基づき、コミュニケーション空間の活気度（盛り上がり度）が算出され得る。可否判断部１５は、算出された活気度と単一又は複数の所定値（閾値）とを比較する。可否判断部１５は、比較結果に基づき、アバター付加情報に基づくアバターの制御を行うか否かを判断する。例えば、可否判断部１５は、活気度が高い場合、アバターの動作が大きくかつ音声が大きくなるように、アバター付加情報に基づく、アバターの制御を行うと判断する。可否判断部１５は、活気度が低い場合、アバターの動作が小さくかつアバターの音声が小さくなるように、アバター付加情報に基づく、アバターの制御を行うと判断する。可否判断部１５は、活気度が中（標準）の場合にはアバター付加情報に基づくアバターの制御を行わないと判断する。

　可否判断部１５は、ユーザの状態情報によって把握されるユーザの行動（行為）、発言、表情等に基づいて、ユーザ間の活気度を判定するようにしてもよい。可否判断部１５は、ユーザが特定の発言を行った場合に活気度が高いと判定してもよいし、ユーザが所定の行動を行った場合に活気度が高いと判定してもよい。可否判断部１５は、会話の流れ、口調、表情、ユーザ間の過去のやりとり等によって、活気度を判定してもよい。可否判断部１５は、会話で用いられた単語、口調、表情等をそれぞれ数値化して加算し、加算された値が予め定められた閾値以上である場合は活気度が高いと判定し、加算された値が閾値未満である場合は活気度が低いと判定してもよい。

　可否判断部１５は、所定の時間間隔毎に、活気度を更新してもよい。この場合、可否判断部１５は、活気度の変化を予測し、所定時間内に活気度が閾値を超えることが予測された場合、活気度が高いと判定するようにしてもよい。可否判断部１５は、過去の活気度の履歴を加味して活気度を判定してもよい。履歴からユーザＡとユーザＢとのコミュニケーションが標準的に活気度が高いと推測される場合、可否判断部１５は、ユーザＡとユーザＢとを含むコミュニケーション空間での活気度の判定閾値を高くしてもよい。可否判断部１５は、新たなユーザが追加される毎に、各ユーザ間の活気度を判定するようにしてもよい。

　制御部１３は、可否判断部１５により生成される判断信号に基づき、アバター付加情報を用いた制御を行うか否かを把握する。アバター付加情報に基づく制御が許可されると、制御部１３は、アバター情報に基づくアバターの制御と、アバター付加情報に基づくアバターの制御との切り替えを行う。制御部１３は、アバター付加情報に応じて、表示部４０ａにより表示される画像を変更するとともに、音出力部４０ｂにより出力される音を変更する。

　表示部４０ａは、アバター付加情報が示す動作を行うアバターの画像を表示し、音出力部４０ｂは、アバター付加情報が示す音を出力する。アバター付加情報が、表示部４０ａに表示される画像、音出力部４０ｂから出力される音声に反映される。制御部１３及び出力部４０は、アバター付加情報を用いて、コミュケーション空間の雰囲気に合わせた最適な動作をアバターに行わせることができる。

　例えば、コミュニケーション空間の雰囲気が盛り上がっているときは、ユーザＡのアバターの笑い動作および笑い声が大きくなる。コミュニケーション空間の雰囲気が静かで落ち着いているときはユーザＡのアバターの笑い動作および笑い声が小さくなる。

　上述のように、本例では、コミュニケーション空間の雰囲気に基づき、アバターの制御に用いるアバター付加情報を生成する。このため、コミュニケーション空間の雰囲気に合わせて、アバターの動作や音声が制御され、ユーザ間のコミュニケーションが促進される。すなわち、コミュニケーション空間の状況に応じてアバターの動作や音声が最適化される。

　図６は、コミュニケーション空間の雰囲気を考慮した、実施の形態に係る情報処理装置１００の動作例を示すフローチャートである。図６に示す処理は、例えば、図１及び図２に示したユーザＡ及びユーザＢの各々の情報処理装置１００において操作部６０が操作され、アバターを用いたコミュニケーションが開始された場合に実行される。以下では、ユーザＢの情報処理装置１００ｂにおける処理について主に説明する。

　ステップＳ２１０において、可否判断部１５は、複数のユーザがコミュニケーションをとる状況に関連する状況情報に基づき、アバター付加情報に基づくアバターの制御を行うか否かを決定する。この場合、例えば、可否判断部１５は、コミュニケーション空間の活気度が低い又は高いと判定された場合に、アバター付加情報に基づくアバターの制御を行うと判定する。可否判断部１５は、コミュニケーション空間の活気度が中（標準）と判定された場合、アバター付加情報に基づくアバターの制御を行わないと判定する。可否判断部１５は、アバター付加情報に基づくアバターの制御を行うと判定すると、ステップＳ２２０へ進み、ステップＳ２１０で否定判定すると、ステップＳ２３０へ進む。

　ステップＳ２２０では、制御部１３は、アバター付加情報を用いて出力部４０を制御することにより、ユーザＡのアバターの制御を行う。出力部４０は、アバター付加情報に基づいて、コミュニケーション空間の雰囲気に合った動作及び音声出力を行うユーザＡのアバター画像を表示する。

　ステップＳ２３０において、情報処理装置１００は、ユーザＡ又はユーザＢによりアバターを用いたコミュニケーションを終了する操作がされると、図６に示す処理を終了し、ステップＳ２３０で否定判定すると、ステップＳ２１０へ戻る。

　アバターの最適化の別の例として、ユーザＡまたはユーザＢの動作の大きさを最適化してもよい。この場合、例えば、可否判断部１５は、ユーザＡまたはユーザＢの動作の大きさが所定の大きさに達しているか否かを判断する。可否判断部１５が、ユーザＡまたはユーザＢの動作の大きさが所定の大きさに達していないと判断して場合に、制御部１３は、アバターの動作の大きさが所定の大きさとなるように第１の生成部１２ａを制御する。例えば、ユーザＡの手の振りが所定の大きさよりも小さい場合に、手の振りを大きくするように制御する。

　また、各種の動作に対応する小さな動作を記憶部３０に記憶させておき、ある小さな動作をユーザが行ったときに、対応する動作をアバターが行うように制御してもよい。例えば、ユーザが人差し指を横に振ることを、「さようなら」の意味であり手を大きく振ることに対応付けして記憶させておき、ユーザが人差し指を横に振ったときに、制御部１３は、アバターが手を大きく振るように第１の生成部１２ａを制御する。

　上述した実施の形態によれば、次の作用効果が得られる。
（１）情報処理装置１００は、第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、第１ユーザの状態に関連する第３情報とを取得する取得部（取得部１１）と、第１情報と第２情報と第３情報とに基づいて、第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成する生成部（生成部１２）と、を備える。本実施の形態では、生成部１２は、ユーザのプロフィール情報と状態情報に基づいて動作の変換処理を行い、変換されたアバターの動作を表すアバター付加情報を生成する。制御部１３は、アバター付加情報に基づいて他者のアバターを制御する。このため、情報処理装置１００は、相手ユーザに合った動作をアバターに行わせることができる。これにより、文化の違い等の壁をこえたコミュニケーションを実現することが可能となる。

（２）本実施の形態に係る情報処理装置１００は、ユーザ間の親密度及びユーザの意思等に基づいて、アバターの動作の自動変換を行うか否かを判断する。このため、ユーザ間の親密度等を考慮して、アバターの制御を適切に行うことができる。動作の自動変換が過度に行われてしまうといったことを抑制することができる。

（３）情報処理装置１００は、ユーザ間のコミュニケーション空間の雰囲気に基づいて、アバターの動作の自動変換を行うか否かを判断する。このため、コミュニケーション空間の雰囲気に応じて、アバターの動作や音声が制御され、ユーザ間のコミュニケーションが促進される。

　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
　情報処理装置１００の第１の生成部１２ａは、自ユーザの状態情報と対比テーブルに基づいて、自ユーザのアバターの制御に用いるアバター付加情報を生成し、通信部２０等を介してサーバー２００及び他の情報処理装置１００に送信するようにしてもよい。例えば、ユーザＡの情報処理装置１００ａは、ユーザＢの情報処理装置１００ｂ内の第１の生成部１２ａにより生成されたアバター付加情報に基づき、アバターの画像の表示及び音声の出力を行う。これにより、ユーザＡは、ユーザＡに合わせて変換されたユーザＢのアバター画像及び音声を視聴することできる。

（変形例２）
　情報処理装置１００の情報処理部１０の一部を、サーバー２００（情報処理装置２００）内に設けるようにしてもよい。取得部１１、生成部１２、制御部１３、状態判定部１４、及び可否判断部１５の一部または全部を、サーバー２００が有していてもよい。なお、情報処理装置１００とサーバー２００とを併せて、情報処理装置ということもできる。また、回線を通じて接続されている複数の情報処理装置１００とサーバー２００とを併せて、情報処理装置ということもできる。

　一例として、本変形例に係る情報通信システム１では、サーバー２００は、ユーザの状態に関する状態情報を取得する取得部と、アバター情報及び対比テーブル及びアバター付加情報を生成する生成部と、アバター情報等を外部機器に出力する通信部とを有する。また、サーバー２００は、ユーザおよびアバターの状態を判定する状態判定部と、アバター付加情報に基づく制御を行うか否かを判断する可否判断部とを有する。

　サーバー２００の取得部は、ユーザＡの情報処理装置１００ａからユーザＡのプロフィール情報及び状態情報を取得し、ユーザＢの情報処理装置１００ｂからユーザＢのプロフィール情報及び状態情報を取得する。サーバー２００の生成部は、ユーザＡ、Ｂのプロフィール情報を用いて対比テーブルを生成する。生成部は、状態判定部による判定結果に基づき、ユーザＡ、Ｂの状態情報と対比テーブルを用いて、アバター付加情報を生成し得る。

　サーバー２００の通信部は、ユーザＡのアバター情報およびアバター付加情報をユーザＢの情報処理装置１００ｂに送信し、ユーザＢのアバター情報およびアバター付加情報をユーザＡの情報処理装置１００ａに送信する。なお、通信部は、ユーザＡのアバター情報およびアバター付加情報を情報処理装置１００ａ、１００ｂの両方に送信し、ユーザＢのアバター情報およびアバター付加情報を情報処理装置１００ａ、１００ｂの両方に送信してもよい。

　通信部は、可否判断部による判断結果に応じて、アバター付加情報を送信するようにしてもよい。通信部は、例えば、ユーザＡのアバター付加情報に基づくアバターの制御を行うと判断された場合に、ユーザＡのアバター付加情報を送信し、ユーザＢのアバター付加情報に基づくアバターの制御を行うと判断された場合に、ユーザＢのアバター付加情報を送信してもよい。

　ユーザＡの情報処理装置１００ａは、ユーザＢのアバター情報およびアバター付加情報に基づき、アバターの画像の表示及び音声の出力を行う。ユーザＡは、ユーザＢのアバター画像及び音声を視聴することができ、コミュニケーションを行うことが可能となる。ユーザＢの情報処理装置１００ｂは、ユーザＡのアバター情報およびアバター付加情報に基づき、アバターの画像の表示及び音声の出力を行う。ユーザＢは、ユーザＡのアバター画像及び音声を視聴することができ、コミュニケーションを行うことが可能となる。

（変形例３）
　上述した実施の形態および変形例で説明したアバターの制御は、あくまでも一例であって、種々の変換を行うことができる。例えば、日本での「手のひらを相手に向けた状態で指先を上下する」動作と、欧米での「手のひらを上に向けた状態で指先を手前側へ動かす」動作とを、予め対比テーブルにおいて対応付けを行い、互いに変換可能としてもよい。

　日本での「腕をクロスさせて×の形を作る」動作と、欧米での「首を横に振る」動作と、ギリシャでの「首を後ろにそらす、目を大きく見開く」動作と、インドでの「口の中でチッと舌打ちする」動作とを、互いに変換可能としてもよい。また、日本での「頷く」動作と、ギリシャ、トルコ、イタリア南部、シチリアでの「顎をそらす」動作と、イスラエルでの「首をかしげる」動作と、フィリピンでの「片方の眉毛を吊り上げる」動作と、ブルガリア、インド、パキスタンでの「頭を左右方向に交互に傾けて揺らす」動作とを、互いに変換可能としてもよい。

（変形例４）
　情報処理装置１００の内部または外部に、匂い（香り）を発生する装置（匂い発生装置）が設けられていてもよい。情報処理装置１００は、アバターが匂いに関連する動作（例えば「臭い」の意味を有する動作）を行う場合に、匂い発生装置を制御して、匂いを再現させるようにしてもよい。

（変形例５）
　上述したフローチャートに基づく処理を行うプログラムをコンピュータ（プロセッサ）に実行させることにより、情報処理装置を構成してもよい。プログラムは、記憶媒体、通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

（変形例６）
　上述した実施の形態および変形例では、ユーザに関連付けられた制御対象としてアバターを例として説明したが、制御対象はアバターに限られず、例えばユーザに関連付けられたロボットであってもよい。コミュニケーションにおいてロボットを利用する場合に、ロボットの動作等の制御内容を決定する場合に本発明を適用することもできる。

　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…情報通信システム、１０…情報処理部、１１…取得部、１２…生成部、１３…制御部、１４…状態判定部、１５…可否判断部、２０…通信部、３０…記憶部、４０…出力部、５０…検出部、６０…操作部、１００…情報処理装置、２００…サーバー（情報処理装置）

Claims (19)

1. 　第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得する取得部と、
   　前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成する生成部と、
   を備える情報処理装置。
2. 　請求項１に記載の情報処理装置において、
   　前記第１情報は、前記第１ユーザの居住国、居住地域、勤務地、国籍、母国語、年齢、性別、所属する組織、宗教、民族、海外経験、使用言語のうちの少なくとも一つに関する情報を含み、
   　前記第２情報は、前記第２ユーザの居住国、居住地域、勤務地、国籍、母国語、年齢、性別、所属する組織、宗教、民族、海外経験、使用言語のうちの少なくとも一つに関する情報を含む情報処理装置。
3. 　請求項１または請求項２に記載の情報処理装置において、
   　前記第４情報は、ユーザ間のコミュニケーションにおいて前記第１ユーザの状態に基づいて変化する前記制御対象の制御に用いる情報である情報処理装置。
4. 　請求項１から請求項３までのいずれか一項に記載の情報処理装置において、
   　前記第３情報は、前記第１ユーザにとって第１の意味を有する第１動作に関する情報であり、
   　前記第４情報は、前記第２ユーザにとって前記第１の意味を有する第２動作に関する情報である情報処理装置。
5. 　請求項４に記載の情報処理装置において、
   　前記生成部は、前記第１動作が前記第２ユーザにとって前記第１の意味とは異なる第２の意味を有する場合に、前記第１の意味を有する前記第２動作に関する前記第４情報を生成する情報処理装置。
6. 　請求項１から請求項５までのいずれか一項に記載の情報処理装置において、
   　前記生成部は、前記第１情報に基づいて想定される前記第１ユーザの動作と前記第２情報に基づいて想定される前記第２ユーザの動作との対応関係に関する第５情報と、前記第３情報とに基づいて前記第４情報を生成する情報処理装置。
7. 　請求項６に記載の情報処理装置において、
   　前記第５情報を記憶する記憶部を有し、
   　前記生成部は、前記記憶部に記憶された前記第５情報に基づいて前記第４情報を生成する情報処理装置。
8. 　請求項１から請求項７までのいずれか一項に記載の情報処理装置において、
   　前記制御対象は、前記第１ユーザのアバターである情報処理装置。
9. 　請求項８に記載の情報処理装置において、
   　画像を表示する表示部を有し、
   　前記第４情報は、前記表示部に表示する前記アバターの画像を制御する情報を含む情報処理装置。
10. 　請求項８または請求項９に記載の情報処理装置において、
    　前記第４情報に基づく前記アバターの画像の制御を行うか否かを判断する判断部を有する情報処理装置。
11. 　請求項１から請求項１０までのいずれか一項に記載の情報処理装置において、
    　ユーザの状態を検出する検出部を有し、
    　前記生成部は、前記検出部から出力される前記第３情報に基づいて前記第４情報を生成する情報処理装置。
12. 　第１の意味を有する第１動作に関する第１情報を取得する取得部と、
    　前記第１の意味を有し前記第１動作とは異なる第２動作に関する第２情報を、前記第１情報に基づいて生成する生成部と、
    を備える情報処理装置。
13. 　第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得する処理と、
    　前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成する処理と、
    をプロセッサに実行させるプログラム。
14. 　第１ユーザのプロフィールに関連する第１情報と、第２ユーザのプロフィールに関連する第２情報と、前記第１ユーザの状態に関連する第３情報とを取得することと、
    　前記第１情報と前記第２情報と前記第３情報とに基づいて、前記第１ユーザに関連付けられた制御対象の制御に用いる第４情報を生成することと、
    を含む情報処理方法。
15. 　第１の意味を有する第１動作に関する第１情報を取得することと、
    　前記第１の意味を有し前記第１動作とは異なる第２動作に関する第２情報を、前記第１情報に基づいて生成することと、
    を含む情報処理方法。
16. 　第１ユーザの動作に関連する第１情報、および、第２ユーザに関連する第２情報を取得する取得部と、
    　前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を前記第２ユーザに適応した動作に変換した情報を生成する生成部と、
    を備える情報処理装置。
17. 　第１ユーザの動作に関連する第１情報、および、第２ユーザに関連する第２情報を取得することと、
    　前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を前記第２ユーザに適応した動作に変換した情報を生成することと、
    を含む情報処理方法。
18. 　第１ユーザの動作に関連する第１情報、および、前記第１ユーザが他のユーザとコミュニケーションをとる状況に関連する第２情報を取得する取得部と、
    　前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を変換した第３情報を生成する生成部と、
    を備える情報処理装置。
19. 　第１ユーザの動作に関連する第１情報、および、前記第１ユーザが他のユーザとコミュニケーションをとる状況に関連する第２情報を取得することと、
    　前記第１情報および前記第２情報に基づいて、前記第１ユーザの動作を変換した第３情報を生成することと、
    を含む情報処理方法。

Images