WO2022092122A1

WO2022092122A1 - 情報処理装置

Info

Publication number: WO2022092122A1
Application number: PCT/JP2021/039564
Authority: WO
Inventors: 建史金谷
Original assignee: 株式会社テンアップ
Priority date: 2020-10-27
Filing date: 2021-10-26
Publication date: 2022-05-05

Abstract

従来よりもさらに現実世界に近いコミュニケーション環境を仮想空間に形成させてユーザの利便性を向上させることを課題とする。　動画像取得部１０１は、ユーザＵｒを被写体に含む動画像Ｍｒの動画像情報を取得する。アバター生成部１０２は、ユーザＵｒに対応するオブジェクトであって、少なくとも一部に動画像Ｍｒを貼り付けたアバターＡｒを生成する。アバター配置部１０５は、アバターＡｒを、仮想空間構築部１０６により生成された仮想空間Ｃに配置させる。表示画像生成部１０７は、アバターＡｒが配置された仮想空間Ｃにおいて、アバターＡｒの背後からの視点から視認し得る画像のデータを生成する。上記により課題を解決する。

Description

情報処理装置

　本発明は情報処理装置に関する。

　インターネットを利用したいわゆるウェブ会議システムは従来から存在する（例えば特許文献１参照）。この技術分野では、昨今のビジネス環境の変化に対応すべく、ユーザの利便性を向上させるための技術開発が進められている状況にある。

特開２０１９－１１７９９８号公報

　しかしながら、上述の特許文献１を含む従来の技術よりも、さらに現実世界に近いコミュニケーション環境を仮想空間に形成させることで、ユーザの利便性を向上させる技術の開発が望まれている状況にある。

　本発明は、このような状況に鑑みてなされたものであり、従来よりもさらに現実世界に近いコミュニケーション環境を仮想空間に形成させてユーザの利便性を向上させることを目的とする。

　上記目的を達成するため、本発明の一態様の情報処理装置は、
　ユーザを被写体に含む動画像のデータを取得する動画像取得手段と、
　前記ユーザに対応するオブジェクトであって、少なくとも一部に前記動画像を貼り付けたオブジェクトを生成するオブジェクト生成手段と、
　前記オブジェクトを、３次元の仮想空間に配置させるオブジェクト配置手段と、
　前記オブジェクトが配置された前記仮想空間において、所定の視点から視認し得る画像のデータを生成する画像生成手段と、
　を備える。

　本発明によれば、従来よりもさらに現実世界に近いコミュニケーション環境を仮想空間に形成させてユーザの利便性を向上させることができる。

本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムにより実現される本サービスの概要のうち、仮想空間において開催されるウェブ会議のイメージを示す図である。本サービスの概要のうち、ユーザ端末に表示される、アバターの設定を行うためのユーザインターフェースの具体例を示す図である。本サービスの概要のうち、ユーザ端末に表示される、ウェブ会議及びアバターの設定を行うためのユーザインターフェースの具体例を示す図である。本サービスの概要のうち、ウェブ会議で実現されるシアター機能の具体例を示す図である。本サービスの概要のうち、ユーザ端末に表示される、イベント情報を登録するためのユーザインターフェースの具体例を示す図である。本サービスの概要のうち、ユーザ端末に表示される、イベント情報を登録するためのユーザインターフェースの具体例を示す図である。本サービスの概要のうち、ユーザ端末に表示される、登録されたイベント情報の編集画面の具体例を示す図である。本サービスの概要のうち、各ユーザから見える仮想空間上の景色の具体例を示す図である。本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示す図である。図９に示す情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。図１０のサーバの機能的構成のうち、アバター制御処理を実行するための機能的構成の一例を示す機能ブロック図である。一般的なＷｅｂ会議と本サービスのサーバにより提供される動けるＷｅｂ会議との違いを示す図である。Ｗｅｂ会議に一般的なＶＲ技術を導入した場合と本サービスのサーバにより提供される顔がＷｅｂカメラの映像であるＷｅｂ会議との違いを示す図である。本サービスのサーバにより提供される顔がＷｅｂカメラの映像であるＷｅｂ会議における顔の部分の形状の一例を示す図である。本サービスのサーバにより提供される顔がＷｅｂカメラの映像であるＷｅｂ会議における顔の部分の形状の例のうち図１４とは異なる例を示す図である。顔がＷｅｂカメラの映像であるＷｅｂ会議に適用可能な、本サービスのサーバにより提供される顔の映像の生成の一例を示す図である。本サービスのサーバにより提供されるアバターが動ける世界の一例を示す図である。本サービスのサーバにより提供されるアバターが動ける世界のうち図１７とは異なる例を示す図である。本サービスのサーバにより提供される３６０写真の世界と顔がＷｅｂカメラの映像（動画像）のアバターとの組み合わせた世界の一例を示す図である。本サービスのサーバにより提供されるバーチャル世界と顔がＷｅｂカメラの映像（動画像）のアバターとの組み合わせた世界の一例を示す図である。

　以下、本発明の実施形態について、図面を用いて説明する。

　まず図１乃至図８を参照して、本発明の情報処理装置の一実施形態に係るサーバ１が適用される情報処理システム（後述する図９参照）により実現されるサービス（以下、「本サービス」と呼ぶ）の概要について説明する。

　図１乃至図８は、本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムにより実現される本サービスの概要を示す図である。
　本サービスは、サービス提供者（図示せず）によりユーザに提供されるサービスの一例である。
　ユーザは、パーソナルコンピュータ等の情報処理装置（例えば後述の図９の「ユーザ端末２」）を操作することで本サービスの提供を受けることができる。具体的には、本サービスを利用可能とする専用のアプリケーションソフトウェア（以下、「専用アプリ」と呼ぶ）がユーザ端末２にインストールされており、この専用アプリによって本サービスが利用可能となる。なお、本サービスの提供を受ける際、専用アプリの使用は必須ではない。例えばユーザ端末２のブラウザ機能によって、本サービスを利用可能とする専用のウェブサイト（以下、「専用サイト」と呼ぶ）にアクセスしてもよい。以下、「ユーザ端末２を操作する」とは、専用アプリ又は専用サイトを利用することを意味するものとする。

　ユーザは、ユーザ端末２を操作することで、本サービスの一例としてのウェブ会議を利用することができる。ウェブ会議とは、ユーザ端末２に表示される３次元の仮想空間Ｃにおいて開催される会議のことをいう。ユーザは、主催者としてウェブ会議を主催することもできるし、参加者としてウェブ会議に参加することもできる。

　図１の（Ａ）及び（Ｂ）には、仮想空間Ｃにおいて開催されるウェブ会議のイメージが示されている。
　仮想空間Ｃには、現実世界の会議会場のように、スクリーンＬｂ、ステージＴ、座席等が配置される。また、それとともに、ウェブ会議の主催者としてのユーザＵｒに対応するアバターＡｒと、ウェブ会議の参加者としてのユーザＵｐに対応するアバターＡｐとの夫々が仮想空間Ｃに配置される。ユーザＵｒとユーザＵｐとの夫々は、仮想空間Ｃにおいて、自身に対応するアバターＡｒとアバターＡｐとの夫々を自由に操作することができる。

　また、アバターＡｒ及びアバターＡｐの夫々の少なくとも一部には、ユーザＵｒ及びユーザＵｐの夫々を被写体に含む動画像Ｍｒ及び動画像Ｍｐの夫々が貼り付けられている。ユーザＵｒ及びユーザＵｐの夫々は、仮想空間ＣでアバターＡｒ及びアバターＡｐの夫々を移動させて、他のアバターと向い合わせることで、あたかも現実世界にいるように会話を交わすことができる。
　即ち、図１の（Ａ）に示すように、アバターＡｒ及びアバターＡｐの夫々の顔の部分には、ユーザＵｒ及びユーザＵｐの夫々の顔を撮像した動画像が貼り付けられている。一般的にウェブ会議では、ユーザの実際の顔を表示させることでコミュニケーション効果を高めている。これと同様に、アバターの顔の部分にリアルに動く（話す）実際のユーザの顔が表示させることにより、現実世界により近いコミュニケーション環境を仮想空間に形成させることができる。その結果、ユーザの利便性を向上させる効果を顕著なものとすることができる。

　なお、アバターＡｒ及びアバターＡｐの夫々には、必ずしも動画像Ｍｒ及び動画像Ｍｐの夫々が貼り付けられている必要はない。例えば図１の（Ｂ）に示すように、アバターＡｐ１乃至Ａｐ１１には動画像Ｍｐを張り付けて、アバターＡｒには動画像Ｍｒを張り付けないようにすることもできる。また例えば、図示はしないが、アバターＡｒには動画像Ｍｒを張り付けて、アバターＡｐには動画像Ｍｐを張り付けらないようにすることもできる。さらに例えば、図１の（Ｂ）のアバターＡｐ１２及びＡｐ１３に示すように、動画像Ｍｐを貼り付けない（表示させない）代わりに、顔を模した描画（例えばキャラクターの顔等）を貼り付けてもよい。

　図２には、ユーザ端末２に表示される、アバターＡｐの設定を行うためのユーザインターフェースの具体例が示されている。
　ユーザＵｐは、ユーザ端末２を操作することで、仮想空間Ｃに配置されたアバターＡｐを移動させたり所定の動作を行わせたりすることができる。
　例えば、ユーザ端末２がパーソナルコンピュータである場合、ユーザＵｐは、キーボードの所定のボタンを押下したりマウスをクリックする操作をすることにより、アバターＡｐを移動させたり所定の動作を行わせたりすることができる。また例えば、ユーザ端末２がスマートフォンである場合、ユーザＵｐは、タップする操作により、アバターＡｐを移動させたり所定の動作を行わせたりすることができる。なお、操作の具体例については後述する。

　また、ユーザＵｐは、ユーザ端末２を操作することで、アバターＡｐに関する各種の設定を行うことができる。具体的には、ユーザＵｐは、図２に示す仮想空間Ｃのうち、破線で示された領域Ｆ１に表示されるユーザインターフェースに対する各種の操作を行うことでアバターＡｐの設定を行うことができる。
　即ち、図２に示すユーザインターフェースには、ビデオエリアＷと、「ビデオ　ＯＮ／ＯＦＦ」と表記されたビデオボタンＢ１と、「マイク　ＯＮ／ＯＦＦ」と表記されたマイクボタンＢ２と、「手を上げる」と表記されたジェスチャーボタンＢ３と、「手を振る」と表記されたジェスチャーボタンＢ４と、「拍手」と表記されたジェスチャーボタンＢ５と、「？」と表記されたジェスチャーボタンＢ６と、「嬉しい」と表記されたジェスチャーボタンＢ７と、「悲しい」と表記されたジェスチャーボタンＢ８と、「怒る」と表記されたジェスチャーボタンＢ９と、「驚く」と表記されたジェスチャーボタンＢ１０と、「閉じる」と表記された設定終了ボタンＢ１１とが配置されている。

　ビデオエリアＷには、アバターＡｐに張り付けられている動画像Ｍｐと同一内容の動画像Ｍｐが表示される。ユーザＵｐは、ビデオエリアＷに表示された動画像Ｍｐを見ることで、アバターＡｐの一部に自分がどのように映し出されているのかを一見して把握することができる。

　「ビデオ　ＯＮ／ＯＦＦ」と表記されたビデオボタンＢ１は、仮想空間Ｃにおいて、動画像ＭｐをアバターＡｐの一部に表示させる場合と、表示させない場合とを切り替えるためのボタンである。ビデオボタンＢ１が「ＯＮ」の場合、アバターＡｐの少なくとも一部に動画像Ｍｐが表示される。ビデオボタンＢ１が「ＯＦＦ」の場合、アバターＡｐに動画像Ｍｐが表示されない。

　「マイク　ＯＮ／ＯＦＦ」と表記されたマイクボタンＢ２は、仮想空間Ｃにおいて、アバターＡｐから音声を出力させるかどうかを選択するためのボタンである。マイクボタンＢ２が「ＯＮ」の場合、アバターＡｐから音声が出力される。マイクボタンＢ２が「ＯＦＦ」の場合、アバターＡｐから音声は出力されない。なお、マイクボタンＢ２が「ＯＦＦ」の場合であっても、後述するジェスチャーに伴う音が出力されるようにすることができる。

　ジェスチャーボタンＢ３乃至Ｂ１０は、仮想空間Ｃに配置されたアバターＡｐに所定のジェスチャーを行わせるためのボタンである。なお、ここでいう「ジェスチャーを行わせる」とは、そのジェスチャーそのものを行わせることに限定されず、そのジェスチャーを想起させる所定の音声を出力させたり所定のマークを表示させたりすることも含むものとする。
　これにより、ユーザＵｐは、自分の気持ちを表現するための手法を選択して適用することができる。その結果、よりユーザＵｐの気持ちに近い表現をアバターＡｐに行えるようになる。
　また、ユーザＵｐの動きにアバターＡｐの動き（ジェスチャー）を連動させることもできるが、この場合、アバターＡｐの動きのバリエーションがユーザＵｐの動きの範囲に限定されることになる。これに対して、アバターＡｐの動きのパターンと、そのパターンの動きを指示させる操作とが予め設定されるようにすることで、例えばボタンを押下するような容易な操作で簡単にアバターＡｐを動かすことができる。これにより、例えばアバターＡｐの動きを現実離れした（現実の物理法則に従わない）ものにすることも容易に実現可能になる。

　具体的には例えば、ジェスチャーボタンＢ３は、仮想空間Ｃに配置されたアバターＡｐに、手を上げるジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ３が押下されると、アバターＡｐは、手を上げるジェスチャーそのものを行うか、「はい」という音声を出力したり、挙手を示すマーク（例えば手を模したイラスト）を表示させたりする。このうちどちらを採用するかはユーザＵｐの自由であるが、アバターＡｐのデザインにも依存する。これは、アバターＡｐのデザインがジェスチャーそのものを行うことに適していない（例えば手足がないデザイン）場合もあり得るからである。例えば図２には、「嬉しい」と表記されたジェスチャーボタンＢ７が押下されたときの例が示されているが、この例では、ジェスチャーボタンＢ７が押下されると、アバターＡｐは「嬉しさ」を示すハートマークＨを表示させる。このとき、「嬉しさ」を示すハートマークＨは、他者からの視点でのアバターＡｐの近傍に表示されるとともに、ユーザＵｐからの視点でのユーザインターフェースの近傍にも表示される。

　また例えば、ジェスチャーボタンＢ４は、仮想空間Ｃに配置されたアバターＡｐに、手を振るジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ４が押下されると、アバターＡｐは、手を振るジェスチャーそのものを行うか、例えば「おーい」という音声を出力したり、手を振っている様子が表現されたイラストを表示させたりする。

　また例えば、ジェスチャーボタンＢ５は、仮想空間Ｃに配置されたアバターＡｐに、拍手のジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ５が押下されると、アバターＡｐは、拍手のジェスチャーそのものを行うか、例えば「素晴らしい」という音声を出力したり、拍手する様子が表現されたイラストを表示させたりする。

　また例えば、ジェスチャーボタンＢ６は、仮想空間Ｃに配置されたアバターＡｐに、疑問のジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ６が押下されると、アバターＡｐは、疑問のジェスチャーそのものを行うか、例えば疑問を示す音声を出力したり、「？」のマークを表示させたりする。

　また例えば、ジェスチャーボタンＢ８は、仮想空間Ｃに配置されたアバターＡｐに、悲しい気持ちを表すジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ８が押下されると、アバターＡｐは、悲しい気持ちを表すジェスチャーそのものを行うか、例えば悲しい気持ちを表す音声を出力したり、悲しい気持ちが表現されたイラストを表示させたりする。

　また例えば、ジェスチャーボタンＢ９は、仮想空間Ｃに配置されたアバターＡｐに、怒る気持ちを表すジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ９が押下されると、アバターＡｐは、怒る気持ちを表すジェスチャーそのものを行うか、怒る気持ちを表す音声を出力したり、怒る気持ちが表現されたイラストを表示させたりする。

　また例えば、ジェスチャーボタンＢ１０は、仮想空間Ｃに配置されたアバターＡｐに、驚く気持ちを表すジェスチャーを行わせるためのボタンである。ジェスチャーボタンＢ１０が押下されると、アバターＡｐは、驚く気持ちを表すジェスチャーそのものを行うか、驚く気持ちを表す音声を出力したり、驚く気持ちが表現されたイラストを表示させたりする。

　このように、ユーザＵｐは、ジェスチャーボタンＢ３乃至Ｂ１０を押下する操作を行うだけで、そのときの自分の意思や感情をアバターＡｐによって的確に表現できる。その結果、ユーザＵｐは、ユーザ端末２を操作しながら、あたかも現実世界のようなコミュニケーション環境を体感することができる。

　「閉じる」と表記された設定終了ボタンＢ１１は、アバターＡｐの設定を終了させるためのボタンである。設定終了ボタンＢ１１が押下されると、ユーザインターフェースが閉じる。

　図３には、ユーザ端末２に表示される、ウェブ会議及びアバターＡｒの設定を行うためのユーザインターフェースの具体例が示されている。
　図４には、ウェブ会議で実現されるシアター機能の具体例が示されている。
　ユーザＵｒは、ユーザ端末２を操作することで、仮想空間Ｃに配置されたアバターＡｐを操作する。例えば、ユーザ端末２がパーソナルコンピュータである場合、ユーザＵｒは、キーボードの所定のボタンを押下したりマウスをクリックする操作をすることにより、アバターＡｒを移動させたり所定の動作を行わせたりする。また例えば、ユーザ端末２がスマートフォンである場合、ユーザＵｒは、タップする操作により、アバターＡｒを移動させたり所定の動作を行わせたりする。

　また、ユーザＵｒは、ユーザ端末２を操作することで、ウェブ会議及びアバターＡｒに関する各種の設定を行うことができる。具体的には、ユーザＵｒは、図３に示すユーザインターフェースに対する各種の操作を行うことでウェブ会議及びアバターＡｒの設定を行うことができる。

　図３に示すユーザインターフェースは、表示領域Ｆ１１乃至Ｆ１４を含むように構成されている。

　表示領域Ｆ１１には、予め設定されたイベント（ウェブ会議）に関する情報が「イベント情報」として表示されている。イベント情報には、イベント名（ウェブ会議の名称）と、イベント（ウェブ会議）の主催者（ユーザＵｒ）の名称と、登壇者一覧とが含まれる。「登壇者」とは、イベント（ウェブ会議）に参加者として参加した１以上のユーザＵｐのうち、ステージＴに登壇する１以上のユーザＵｐのことをいう。登壇者一覧には、１以上の登壇者の夫々の名称と、操作の状況や通信の状況を示すボタンとが表示される。登壇者一覧に表示された登壇者は、ドラックする操作によって順番（登壇の順番）を入れ替えることができる。操作の状況が「操作中」である場合には、後述する表示領域Ｆ１２における配布資料の設定の操作が可能となる。また、操作の状況が「操作中」の登壇者がいる状態で、別の登壇者の「資料操作」と表記されたボタンが押下されると、資料の操作権限が別の登壇者に移る。また、通信の状況が「通信中」の場合に、動画像と音声による通信が可能となる。具体的には、後述する表示領域Ｆ１３の通信の設定を行うためのチェックボックスのうち「Ｗｅｂカメラ」にチェックが入っているユーザＵｐの撮像画像が、図１の（Ａ）のスクリーンＬｂと、後述する表示領域Ｆ１４のスクリーンＬａとに表示される。

　表示領域Ｆ１２の上側には、配布資料を設定するための各種操作ボタンが表示される。具体的には、資料のファイル形式を設定するためのボタンと、背景を設定するためのボタンが表示される。また、その下側には、一覧表示エリアが表示される。
　資料のファイル形式を設定するためのボタンとしては、「ＰＤＦ」と表記されたボタンＢ２１と、「動画」と表記されたボタンＢ２２とが表示される。このうち、ボタンＢ２１は、スクリーンＬｂ、及び後述するスクリーンＬａに、ＰＤＦ形式の配布資料を表示させるためのボタンである。また、ボタンＢ２２は、スクリーンＬｂ、及び後述するスクリーンＬａに、動画像を表示させるためのボタンである。
　背景を設定するためのボタンとしては、「３６０°画像」と表記されたボタンＢ２３と、「３６０°動画」と表記されたボタンＢ２４とが表示される。このうち、ボタンＢ２３は、イベント（ウェブ会議）とユーザＵｐに対応付けられた３６０°画像の一覧を表示させるためのボタンである。また、ボタンＢ２４は、イベント（ウェブ会議）とユーザＵｐに対応付けられた３６０°動画の一覧を表示させるためのボタンである。
　一覧表示エリアには、設定された配布資料、３６０°画像、３６０°動画の内容が表示される。

　表示領域Ｆ１３には、イベント（ウェブ会議）を運営するための機能を設定するための各種のチェックボックス及びボタンが表示される。
　具体的には、通信の設定とアバターの表示の設定との夫々を行うためのチェックボックスと、チェックボックスのチェックを一括解除するためのボタンＢ２５及びＢ２６との夫々が表示される。また、建物の表示や照明の設定を行うためのチェックボックス、及びイベント（ウェブ会議）の録画を行うためのボタンＢ２７が表示される。
　「Ｗｅｂカメラ」のチェックボックスにチェックが入ると、ユーザＵｒのウェブカメラ（図示せず）が起動し、その撮像画像がスクリーンＬａ、及び後述するスクリーンＬｂに表示される。
　「マイク」のチェックボックスにチェックが入ると、ユーザＵｒのマイク（図示せず）が起動する。
　「観客マイク」のチェックボックスにチェックが入ると、イベント（ウェブ会議）の参加者であるユーザＵｐのマイク（図示せず）が起動する。
　「観客音」のチェックボックスにチェックが入ると、観客（イベント（ウェブ会議）の参加者）であるユーザＵｐのアバターＡｐがジェスチャーを行った際に生じる音声が出力される。
　「主催者」のチェックボックスにチェックが入ると、ユーザＵｒのアバターＡｒが表示される。
　「登壇者」のチェックボックスにチェックが入ると、登壇者としてのユーザＵｐのアバターＡｐが表示される。
　「観客」のチェックボックスにチェックが入ると、登壇者としてではなく観客（イベント（ウェブ会議）の参加者）であるユーザＵｐのアバターＡｐが表示される。
　「建物表示」のチェックボックスにチェックが入ると、後述するシアター画面が表示される。
　「照明」のチェックボックスにチェックが入ると、例えば図４に示すシアター機能のように、図１の（Ａ）のスクリーンＬｂ、及び後述するスクリーンＬａが白色で表示されるとともに、ステージＴが明るくなるように表示される。この場合、主催者としてのユーザＵｒに対応するアバターＡｒと、登壇者としてのユーザＵｐに対応するアバターＡｐとがステージＴ上で向かい合って話をすることもできる。また、１以上の登壇者をスクリーンＬｂに表示させることもできる。
　これに対して、「照明」のチェックボックスのチェックが外れると、図示はしないが、図１のスクリーンＬｂ、及び後述するスクリーンＬａが黒色で表示されるとともに、ステージＴが明るくなるように表示される。この場合、例えばオーケストラが演奏する動画像をスクリーンＬｂに表示させて、現実世界のコンサートのように多数のユーザＵｐが鑑賞できるようにすることもできる。

　また、表示領域Ｆ１３には、アバターＡｒのジェスチャーを設定するための各種のジェスチャーボタンが表示される。
　具体的には、「おじぎ」と表記されたジェスチャーボタンＢ２８と、「拍手」と表記されたジェスチャーボタンＢ２９と、「ジャンプ」と表記されたジェスチャーボタンＢ３０と、「うなずく」と表記されたジェスチャーボタンＢ３１と、「驚く」と表記されたジェスチャーボタンＢ３２と、「手を振る」と表記されたジェスチャーボタンＢ３３と、「嬉しい」と表記されたジェスチャーボタンＢ３４と、「悲しい」と表記されたジェスチャーボタンＢ３５と、「怒る」と表記されたジェスチャーボタンＢ３６と、「手を上げる」と表記されたジェスチャーボタンＢ３７と、「つっこみ」と表記されたジェスチャーボタンＢ３８とが表示される。
　ユーザＵｒは、ジェスチャーボタンＢ２８乃至Ｂ３８のうちいずれか１以上を選択して押下すると、選択されたジェスチャーそのものをアバターＡｒが行う。また、上述の図２のジェスチャーボタンＢ３乃至Ｂ１０が押下された場合と同様に、そのジェスチャーそのものを行うのではなく、そのジェスチャーに合わせて所定の音声を出力させたり所定のマークを表示させたりすることもできる。
　ここで、アバターＡｒが行うことができるジェスチャーの種類は、ジェスチャーボタンＢ２８乃至Ｂ３８に対応するジェスチャーに限定されない。新規のジェスチャーを登録することもできる。なお、新規のジェスチャーを登録する場合の具体例については、図５を参照して後述する。

　また、表示領域Ｆ１３には、「イベントを終了する」と表記されたボタンＢ３９が表示される。ボタンＢ３９が押下されると、イベント（ウェブ会議）が終了する。

　表示領域Ｆ１４には、シアター画面が表示される。「シアター画面」とは、主催者としてのユーザＵｒの視点から見た仮想空間Ｃを示すものである。なお、図３には、イベント（ウェブ会議）のステージＴに登壇者として登壇しているユーザＵｐを、主催者としてのユーザＵｒがステージＴの袖から見ている様子が示されている。シアター画面は、ドラックの操作により、左右上下を表示させることができる。また、ユーザ端末２に対する操作により、アバターＡｒを移動させることもできる。アバターＡｒが移動すると、ユーザＵｐの視点からは、アバターＡｒがステージＴ上を歩いている様子を見ることができる。

　また、表示領域Ｆ１４には、スクリーンＬａが表示される。スクリーンＬａには、選択された配布資料や動画像が表示される。スクリーンＬａの所定位置をクリック（又はタップ）する操作が行われると、動画像の再生・一時停止が可能となる。下部に配置されたスライドバーＩは動画像の再生位置を示すバーであり、任意の位置に合わせる操作により任意の位置から再生開始することができる。また、スクリーンＬａに表示された配布資料や動画像には、ペンよる書き込みや消しゴムによる消去も可能である。また、ペンで書き込みを行った配布資料が次に進むと、書き込まれた箇所が自動的に消去されるようにすることもできる。また、動画像に対するペンによる書き込みは、動画像の一時停止中に行うこともできるし、再生中に行うこともできる。
　スクリーンＬａに表示されている内容は、図１の（Ａ）のスクリーンＬｂにミラー表示されるので、イベント（ウェブ会議）の参加者との間で共有される。

　図５乃至図７には、ユーザ端末２に表示される、イベント（ウェブ会議）に関する情報（以下、「イベント情報」と呼ぶ）を登録するためのユーザインターフェースの具体例が示されている。
　イベント（ウェブ会議）の主催者としてのユーザＵｒが、イベント情報を登録する場合、イベント情報の入力（ステップＳ１）、配布資料の追加（ステップＳ２）、３６０°画像の追加（ステップＳ３）、３６０°動画の追加（ステップＳ４）の順で入力作業を行う。

　図５の（Ａ）には、上述のステップＳ１の入力画面の例が示されている。即ち、ステップＳ１の入力画面には、イベント（ウェブ会議）の名称を入力するための入力欄Ｅ１１と、イベント（ウェブ会議）の開催日時や参加費の種別（有料又は無料）を選択して入力するための入力欄Ｅ１２と、アバターＡｒを登録するためのボタンＢ５１乃至Ｂ５３とが表示される。ボタンＢ５１は、アバターＡｒのデータを参照するためのボタンである。ボタンＢ５１が押下されると、例えば図５の（Ｂ）に示すような画面が表示される。

　ユーザＵｒは、例えば図５の（Ｂ）に示すような画面により、仮想空間Ｃに配置されるアバターＡｒの種類を自由に選択することができる。これにより、ユーザＵｒのアバターＡｒに対する愛着度が向上することや、本サービスを利用したいと思う者が増えることが期待できる。

　図５の（Ａ）に戻り、ボタンＢ５２は、参照されたアバターＡｒのデータを削除するためのボタンである。
　「編集」と表記されたボタンＢ５３は、上述した図５の（Ａ）に示すジェスチャーを登録するための画面をポップアップ表示させるためのボタンである。
　入力欄Ｅ１３は、登壇者の名称を入力するための入力欄である。
　「登壇者を追加」と表記されたボタンＢ５４は、入力欄Ｅ１３を追加するためのボタンである。

　図５の（Ｃ）には、ユーザ端末２に表示される、アバターＡｒのジェスチャーの登録を行うためのユーザインターフェースの具体例が示されている。
　図５の（Ｃ）に示すユーザインターフェースには、入力欄Ｅ１４と、「削除」と表記されたボタンＢ５５と、「編集」又は「参照」と表記されたボタンＢ５６と、「＋ジェスチャーを追加」と表記されたボタンＢ５７と、「保存」と表記されたボタンＢ５８とが表示される。
　入力欄Ｅ１４は、登録するジェスチャーの名称を入力するための入力欄である。
　ボタンＢ５５は、入力欄Ｅ１に入力されたジェスチャー名と、アップロードされたジェスチャーのデータとを削除するためのボタンである。
　ボタンＢ５６は、ジェスチャーのデータがアップロードされていない場合には「参照」と表記された状態で表示され、ジェスチャーのデータがアップロードされている場合には「編集」と表記された状態で表示される。「参照」と表記された状態のボタンＢ５６を押下すると、ファイルを参照するための別ウィンドウが表示される。
　ボタンＢ５７は、入力欄を増やしたいときに押下するボタンである。
　ボタンＢ５８は、入力された新規のジェスチャーを登録する際、及び登録済みのジェスチャーの編集結果を反映させる際に押下するボタンである。

　このように、ユーザＵｒは、アバターＡｒのジェスチャーを自由に登録・編集等することができる。これにより、ユーザＵｒの意思や感情をさらに忠実にアバターＡｒに反映させることができるので、ユーザＵｒにおけるさらなる利便性の向上を図ることができる。

　図６の（Ａ）には、上述のステップＳ２の入力画面の例が示されている。ステップＳ２の入力画面には、イベント（ウェブ会議）の配布資料を追加または削除するための操作ボタンと、が表示される。具体的には、ＰＤＦファイルの追加及び削除の夫々を行うためのボタンＢ６１及びＢ６２の夫々と、動画ファイルの追加及び削除の夫々を行うためのボタンＢ６３及びＢ６４の夫々とが表示される。
　必要事項が入力され、その旨を示すボタン（図示せず）が押下されると、図６の（Ｂ）に示す画面がユーザ端末２に表示される。

　図６の（Ｂ）には、上述のステップＳ３の入力画面の例が示されている。ステップＳ３の入力画面には、「背景を追加する」と表記されたボタンＢ６５と、３６０°画像を定義するＸ軸、Ｙ軸、及びＺ軸の夫々についての設定を行うための設定バーＧと、「設定を保存する」と表記されたボタンＢ６６と、「背景を削除する」と表記されたボタンＢ６７とが表示される。
　必要事項が入力され、その旨を示すボタン（図示せず）が押下されると、図６の（Ｃ）に示す画面がユーザ端末２に表示される。

　図６の（Ｃ）には、上述のステップＳ４の入力画面の例が示されている。ステップＳ４の入力画面には、「背景を追加する」と表記されたボタンＢ６８と、３６０°動画を定義するＸ軸、Ｙ軸、及びＺ軸の夫々についての設定を行うための設定バーＧと、「設定を保存する」と表記されたボタンＢ６９と、「背景を削除する」と表記されたボタンＢ７０とが表示される。
　必要事項が入力され、その旨を示すボタン（図示せず）が押下されると、イベント情報が登録される。

　イベント情報が登録されると、登壇者の配布資料を登録するためのウェブページのＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）と、イベント（ウェブ会議）に登壇者として参加するためのＵＲＬとが発行される。発行された２つのＵＲＬは、登壇者となるユーザＵｐを一意に特定可能な情報に対応付けられて、そのユーザＵｐに提供される。
　また、イベント情報が登録されると、そのイベント（ウェブ会議）に（登壇者としてではなく）参加するためのＵＲＬが発行される。イベント（ウェブ会議）に（登壇者としてではなく）参加するためのＵＲＬは、イベント（ウェブ会議）の種別（有料又は無料）毎に夫々発行される。この場合、例えば、無料のイベント（ウェブ会議）については、複数のユーザＵｐに対して同一のＵＲＬが提供され、有料のイベント（ウェブ会議）については、１のユーザＵｐに対して１のＵＲＬが提供されるようにしてもよい。また、発行されるＵＲＬには有効期限を設けてもよい。

　図７には、登録されたイベント情報の編集画面の具体例が示されている。
　登録されたイベント情報は編集することができる。例えば、配布資料を追加・削除したり、３６０°画面や３６０°動画を編集したりすることもできる。この場合、図７に示す画面に表示されたボタンＢ７１乃至Ｂ７４を押下することで、配布資料の追加・削除を行い、ボタンＢ７５及びＢ７６を押下することで、３６０°画面や３６０°動画の編集を行う。

　図８には、各ユーザから見える仮想空間上の景色の具体例が示されている。
　具体的には、教室を模した仮想空間Ｃでウェブ会議が開催される場合に、主催者としてのユーザＵｒのアバターＡｒを介して見える景色と、参加者としてのユーザＵｐのアバターＡｐを介して見える景色とが示されている。
　即ち、図８の左図に示す景色は、主催者としてのユーザＵｒのアバターＡｒを介して見える仮想空間Ｃ上の景色である。このため、ユーザＵｒからはアバターＡｐが見える。これに対して、図８の右図に示す景色は、参加者としてのユーザＵｐのアバターＡｐを介して見える仮想空間Ｃ上の景色である。このため、ユーザＵｐからはアバターＡｒが見える。

　このように、ユーザＵｒのアバターＡｒを介して見える仮想空間Ｃ上の景色と、ユーザＵｐのアバターＡｐを介して見える仮想空間Ｃ上の景色とは異なる。つまり、アバターＡｒ及びアバターＡｐが配置されている背景としての仮想空間Ｃは教室を模した同一空間であるが、アバターＡｒとアバターＡｐとの夫々の見る角度が異なるために異なった景色が見えている。
　このため、同一の仮想空間Ｃに配置されているアバター（アバターＡｒやアバターＡｐ）が複数存在する場合には、夫々異なった景色が見え、視界に入る自分以外の他のアバターが見える。その結果、例えば、参加者が多いために複数のアバターＡｐが仮想空間Ｃ上に存在する場合もある。このような場合、アバターＡｐの位置や見る角度によっては、例えば図８に示すスクリーンＬｂに他のアバターＡｐが重なって見え難くなるような事態が生じるおそれがある。
　そこで、本サービスでは、同一の仮想空間Ｃに配置されているアバター（アバターＡｒやアバターＡｐ）を、任意のタイミングで仮想空間Ｃ上から消したり再び表示させたりすることができる。これにより、スクリーンＬｂに他のアバターＡｐが重なって見え難くなるような事態が生じることがなくなるので、ユーザの利便性を向上する。

　また、本サービスには、上述したサービスの他、例えば以下のようなサービスも含まれる。
　即ち、登録されたイベント（ウェブ会議）はステータス管理され、未開催のイベント、及び開催済みのイベントの夫々が、ユーザＵｒのユーザ端末２に夫々一覧表示される。また、開催時に録画されたイベント（ウェブ会議）は、ダウンロード可能な態様で、ユーザＵｒのユーザ端末２に一覧表示される。
　また、予め設定されたイベント（ウェブ会議）日時が到来すると、自動的にイベント（ウェブ会議）が終了して、参加者（ユーザＵｐ）を強制的に退場するようにすることができる。
　また、３６０°画像の世界で、どこに何があるのかを伝えるために、レーザポインタを用いて、対象となる位置等を示すこともできる。

　以上をまとめると、本サービスでは、少なくとも以下の内容が実現される。
　即ち、仮想空間Ｃに配置されたアバターＡｒ及びＡｐを自由に動かすことができるウェブ会議が実現される。具体的には、アバターＡｒ及びＡｐそのものを動かすことができるだけではなく、ウェブ会議の画面を顔として動かすことができる。つまり、ユーザＵｒ及びＵｐの視点から見えるウェブ会議の景色を動かすことができる。これにより、あたかも現実世界の会議会場で知人と会話を交わすような体験が得られる。
　また、アバターＡｒ及びＡｐの動きを自由に制御することが可能となる。具体的には、アバターＡｒ及びＡｐの動きを予め登録しておき、これを再現する。これにより、ユーザ端末２のボタン操作でアバターＡｒ及びＡｐに動きをつけることができるので、例えばＶＲ（バーチャルリアリティー）機器を装着するような面倒な作業が不要となる。その結果、配信作業が単純化される。さらに、普通の人間ではできないような動きもジェスチャーとして登録することも可能となるので、ユーザＵｒ及びＵｐの意思や感情を、より忠実に、かつ、より伝達し易い態様で表現することが可能となる。

　次に、図９を参照して、上述した本サービスの提供を実現化させる情報処理装置が適用される情報処理システムの構成について説明する。
　図９は、本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示す図である。

　図９に示す情報処理システムは、サーバ１と、ユーザ端末２とを含むように構成されている。
　サーバ１、及びユーザ端末２は、インターネット等の所定のネットワークＮＷを介して相互に接続されている。

　サーバ１は、サービス提供者（図示せず）により管理される情報処理装置である。サーバ１は、ユーザ端末２と適宜通信をしながら、本サービスを実現するための各種処理を実行する。

　ユーザ端末２は、ユーザＵｒ及びＵｐにより操作される情報処理装置である。ユーザ端末２は、パーソナルコンピュータ、タブレット、スマートフォン等で構成される。
　なお、図９には、ユーザ端末２が１台のみ描画されているが、これは説明を理解し易くするために簡略化させたものであり、実際にはｎ人（ｎは１以上の整数値）のユーザＵの夫々により操作されるｎ台のユーザ端末２の夫々が存在し得る。即ち、本サービスにより提供されるイベント（ウェブ会議）の参加人数は特に限定されず、例えば百人、千人単位での参加も可能となる。

　図１０は、図９に示す情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。

　サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。

　ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
　ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

　ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。

　入力部１６は、例えばキーボード等により構成され、各種情報を入力する。
　出力部１７は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
　記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
　通信部１９は、インターネットを含むネットワークＮＷを介して他の装置（例えば図９のユーザ端末２等）との間で通信を行う。

　ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア４０が適宜装着される。ドライブ３０によってリムーバブルメディア４０から読み出されたプログラムは、必要に応じて記憶部２８にインストールされる。
　また、リムーバブルメディア４０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。

　なお、図示はしないが、図９のユーザ端末２も、図１０に示すハードウェア構成と基本的に同様の構成を有することができる。従って、ユーザ端末２のハードウェア構成の説明については省略する。

　このような図１０のサーバ１を含む図９の情報処理システムの各種ハードウェアと各種ソフトウェアとの協働により、アバター制御処理を含む各種処理の実行が可能になる。その結果、サービス提供者は、ユーザＵｒ及びユーザＵｐに対し、例えば図１乃至図８に示す本サービスを提供することができる。
　「アバター制御処理」とは、ユーザＵｒ及びユーザＵｐの夫々のアバターＡｒ及びアバターＡｐの夫々の少なくとも一部（例えば顔の部分）に、動画像Ｍｒ及びＭｐの夫々を表示させ、また、音声の出力や移動をさせる処理のことをいう。
　以下、図１１を参照して、図１０のサーバ１において実行される、アバター制御処理を実行するための機能的構成について説明する。

　図１１は、図１０のサーバの機能的構成のうち、アバター制御処理を実行するための機能的構成の一例を示す機能ブロック図である。

　図１１に示すように、図１０の情報処理装置のうち、サーバ１のＣＰＵ１１においては、アバター制御処理の実行が制御される場合、動画像取得部１０１と、アバター生成部１０２と、ジェスチャー管理部１０３と、操作受付部１０４と、アバター配置部１０５と、仮想空間構築部１０６と、表示画像生成部１０７と、表示制御部１０８と、音声出力制御部１０９とが機能する。また、サーバ１の記憶部１８の一領域には、アバターＤＢ１８１が設けられている。アバターＤＢ１８１には、アバター生成部１０２により生成されたアバターＡｒ及びＡｐの夫々に関する情報が、対応するユーザＵｒ及びユーザＵｐの夫々に対応付けらえて管理されている。

　動画像取得部１０１は、ユーザＵｒ及びユーザＵｐの夫々を被写体に含む動画像Ｍｒ及びＭｐの夫々の動画像情報を取得する。
　また、動画像取得部１０１は、動画像Ｍｒ及びＭｐの夫々に対応する複数の音声情報を取得する。

　アバター生成部１０２は、ユーザＵｒ及びユーザＵｐの夫々に対応するアバターであって、少なくとも一部に動画像Ｍｒ及びＭｐの夫々を貼り付けたアバターＡｒ及びＡｐの夫々を生成する。
　アバター生成部１０２では、主催者生成部１２１と、参加者生成部１２２とが機能する。主催者生成部１２１は、ユーザＵｒに対応するアバターであって少なくとも一部に動画像Ｍｒを貼り付けたアバターＡｒを生成する。参加者生成部１２２は、ユーザＵｐに対応するアバターであって少なくとも一部に動画像Ｍｐを貼り付けたアバターＡｐを生成する。

　ジェスチャー管理部１０３は、アバターＡｒ及びＡｐの夫々の１以上のジェスチャーのパターンと、これをアバターＡｒ及びＡｐの夫々に指示するための操作とを対応付けて管理する。

　操作受付部１０４は、１以上のジェスチャーのパターンをアバターＡｒ及びＡｐに指示するための操作を受け付ける。

　アバター配置部１０５は、アバターＡｒ及びＡｐを仮想空間Ｃに配置する。

　仮想空間構築部１０６は、仮想空間Ｃを構築する。

　表示画像生成部１０７は、アバターＡｒ及びＡｐが配置された仮想空間Ｃにおいて、所定の視点から視認し得る景色の画像のデータを生成する。具体的には例えば、上述の図１の（Ｂ）に示すような、アバターＡｒの背後からの視点から視認し得る画像のデータや、図８に示すようなアバターＡｒ及びＡｐの夫々の目で視認し得る景色の画像のデータを生成する。

　表示制御部１０８は、表示画像生成部１０７により生成された画像のデータをユーザ端末２に表示させる制御を実行する。

　音声出力制御部１０９は、動画像Ｍｒ及びＭｐの夫々に対応する複数の音声の夫々を、対応するアバターＡｒ及びＡｐの夫々から出力させる制御を実行する。具体的には、音声出力制御部１０９は、アバターＡｒ及びＡｐの夫々から音声を出力させる制御として、仮想空間Ｃに配置されたアバターＡｒ及びＡｐの相互間の位置に応じて、出力される音声の大きさを制御する。これにより、例えばアバター間の距離が近い場合には、互いに聴こえる音声を大きくし、アバター間の距離が遠い場合には、互いに聴こえる音声を小さくするような制御が可能となる。その結果、より現実世界に近いコミュニケーション環境を仮想空間Ｃ内に構築することができる。

　以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

　例えば、上述の実施形態では、イベントとしてのウェブ会議を行う仮想空間として会議会場や教室の例が示されているが、これらに限定されない。アバターを配置可能なあらゆる仮想空間に本発明を適用することができる。

　また例えば、図５の（Ｂ）には、アバターＡｒの種類を選択する例が示されているが、アバターＡｐの種類も選択できるようにすることもできる。

　また例えば、上述の実施形態では、仮想空間の作成方法について特に限定していないが、例えば以下のような手法により仮想空間を作成することもできる。即ち、まず３次元の白紙の空間（以下、「３次元空間」と呼ぶ）を作成して、その３次元空間にマンガ等の２次元で描画されたものを貼付する。マンガ等は２次元ではあるものの、様々な角度から描画されている。このため、それらを組み合わせながら大量の切り貼りを行うことで仮想空間を作成することができる。そして、最後に色や模様を装飾する。これにより、例えば図１等に示すような仮想空間Ｃを作成することができる。

　ここで、図１２を参照して一般的なＷｅｂ会議と本実施形態の動けるＷｅｂ会議との違いについて説明する。
　図１２は、一般的なＷｅｂ会議と本サービスのサーバにより提供される動けるＷｅｂ会議との違いを示す図である。
　いままでのＷｅｂ会議システムは、カメラで撮像された人を含む平面画像、つまり２Ｄ画像が、図１２の向かって左側のように、ＰＣのモニタの画面にサムネイル画像で配置されて表示されるだけであったため、人が動いたとしても夫々のサムネイル画像の範囲内でありそれ以上には動けなかった。
　本実施形態の動けるＷｅｂ会議の技術の場合は、図１２の向かって右側のように、３Ｄの仮想空間に夫々の会議参加者に対応するアバターが配置されるため、その仮想空間内でアバターの夫々が移動が可能になった。

　これにより、動けるＷｅｂ会議としたことで、以下のようなメリットが生じる。
　第１のサービスメリットは、例えば３Ｄ空間内をアバターが動けることで、一方的に伝えることしかができなかったＷｅｂ会議が一緒に体験や行動ができるようになる。記憶定着率の研究によると、講義を聞くだけは記憶定着率が５％に対し、自ら体験した場合は、記憶定着率が７５％と飛躍的に向上することが分かっている。
　第２のサービスメリットは、正面しか見ることのできなかったＷｅｂ会議から３６０度見渡せるようになることで、３６０度の世界の中の影の向き、図形を立体的に見る等のことができるようになる。
　技術的メリットは、３６０度の空間になるので、その空間の近くにいる人同士で作業ができたり、近くにいる人とだけ話ができたりする。つまり遠近の距離感が空間の中にできる。

　次に、図１３を参照してＷｅｂ会議に一般的なＶＲ技術を導入した場合と本実施形態の顔がＷｅｂカメラの映像であるＷｅｂ会議との違いについて説明する。
　図１３は、Ｗｅｂ会議に一般的なＶＲ技術を導入した場合と本サービスのサーバにより提供される顔がＷｅｂカメラの映像であるＷｅｂ会議との違いを示す図である。
　いままでＶＲは、図１３の向かって左の仮想空間のように、人夫々をアバターにするのが一般的であり、図１３の向かって右の仮想空間のように、アバターの夫々の顔の部分がＷｅｂカメラで撮像された映像（動画像）のものはなかった。ＶＲゴーグルにＷｅｂカメラが付いたものは存在したが、本実施形態のようにオブジェクトの一部（例えば上半身や顔の部分）だけがＷｅｂカメラの映像のＶＲ（アバター）はなかった。

　本実施形態のように、顔がＷｅｂカメラの映像のアバターが参加するＷｅｂ会議としたことで、以下のようなメリットが生じる。
　第１のサービスメリットは、学校や営業は、顧客の表情から相手の感情を読み取りコミュニケーションをとっているが、人の顔の部分がＷｅｂカメラの映像のＶＲとしたことで、ＶＲの中でも、その瞬間、瞬間の人の感情を読み取りながら活動できるようになる。つまり非言語コミュニケーションを図ることができる。
　第２のサービスメリットは、顔がＷｅｂカメラの映像になったことで、著名人等が顔を出しながらＶＲ空間で活動できるようになる。これにより、著名人のコンサートや講演会が可能となる。
　技術的メリットは、一般的なＶＲでは顔が見えないと顔データの解析を行うことができないが、本実施形態では、顔の表情を見ることができるので、そのＶＲ空間にいる人の状況を瞬時にデータ解析し状況を把握することができる。具体的には、会議参加者を見た人が、個々のアバターの顔の部分の表情から、みんな楽しんでいるな、みんな話についてきてない等といったことが分かる。

　次に、図１４、図１５を参照して顔の部分の形状について説明する。
　以下では、図１１に示したアバター生成部１０２の動作として説明する。
　図１４は、本サービスのサーバにより提供される顔がＷｅｂカメラの映像であるＷｅｂ会議における顔の部分の形状の一例を示す図である。
　図１５は、本サービスのサーバにより提供される顔がＷｅｂカメラの映像であるＷｅｂ会議における顔の部分の形状の例のうち図１４とは異なる例を示す図である。
　図１４に示すように、一般的なＷｅｂ会議システムの画面が四角なので、本実施形態についても、顔の部分の映像を四角い形状の枠に当てはめているが、図１５に示すように、アバターの顔の部分の映像を円形状の枠に当てはめることにより、アバターが人の状態に近くなり、よりリアルな状態に近づけることができる。
　この結果、オンラインでの会議がよりリアルに近くなり、リアルになることで、より自然なコミュニケーションが可能になる。
　なお、この実施形態では、四角い形状と円形状の枠を例示したが、ここに示した枠の形状は一例であり、例えば人の顔に近い形状であってもよく、他の形状であってもよい。

　続いて、図１６を参照して顔の映像（画像又は動画像）の横顔、後頭部について説明する。
　図１６は、顔がＷｅｂカメラの映像であるＷｅｂ会議に適用可能な、本サービスのサーバにより提供される顔の映像の生成の一例を示す図である。
　現在、パーソナルコンピュータやスマートフォンに備えられているカメラは、画面と一体なため、人の正面を撮像するものにしかない。
　そこで、図１６に示すように、アバター生成部１０２は、事前に自分の頭部情報等からアバターを作成する。
　図１６の首から上の画像（頭部画像）のうち、顔の部分はＷｅｂカメラにより撮像された画像とされており本物の表情を確認することができる。顔以外の頭の部分は、事前登録されたものとする。顔は本人が横を向けばアバター（頭部画像全体）も横を向く等、リアルな首な動きと連動させる。
　具体的には、３Ｄモデリング技術等により生成し事前に用意しておいた自分の頭部（顔）の形状のアバターをアバターＤＢ１８１に登録しておき、アバター生成部１０２は、Ｗｅｂカメラにより撮像される顔の部分（眉、目、鼻、口等の表情がでる部分）の画像を頭部の顔の位置に貼り付ける。
　このように頭部のアバターと、Ｗｅｂカメラにより撮像される顔の部分の画像とを組み合わせることで、Ｗｅｂカメラを活用したアバターでありながら３６０度どこから見ても、その個人を特定することができるようになる。
　また、頭部のアバターを、実在の人物の動きと連動（追従）させて、操作者本人の姿勢に応じて、首を横に向ければ、アバターの顔も横に向ける等の制御をすることで、よりリアルな動きを再現することができる。

　次に、図１７、図１８を参照してアバターが動ける世界について説明する。
　図１７は、本サービスのサーバにより提供されるアバターが動ける世界の一例を示す図である。
　図１８は、本サービスのサーバにより提供されるアバターが動ける世界のうち図１７とは異なる例を示す図である。
　いままでＶＲはコンピュータクラフィック（ＣＧ）の世界と３６０度の画像（静止画、背景等）の世界の中だけで動くことができたが、本実施形態では、アバター配置部１０５（図１１参照）は、図１７に示すように、３６０度動画やリアルタイム映像の３６０度の中にアバターを配置する。
　これにより、リアルとバーチャルの融合が進み、遠方にいる人も色々な地域のリアルの中に入り込むことができる。具体的には、リアルタイムのスポーツ中継等の観戦ができるようになる。

　さらに、リアルな世界にカメラ付きのアバターロボットを配置し、ロボットアバターを操っている人が同時にリアルな世界のアバターロボットを動作させるように制御する。
　これにより、操作する人がアバターロボットを操作して、リアルな世界でリアルタイムに自由に動きまわることができるようになる。
　動くアバターロボットの形状は、図１７に示したＶＲ内のアバターと同等の形状であっても良く、又異なる形状であっても良い。また、図１８に示すように、ＶＲ空間（スポーツ会場）にいる複数の人（アバター）がスポーツを観戦しつつアバターロボットを操作できるものとする。

　次に、図１９を参照して３６０写真の世界と顔がＷｅｂカメラの映像（動画像）のアバターとの組み合わせについて説明する。
　図１９は、本サービスのサーバにより提供される３６０写真の世界と顔がＷｅｂカメラの映像（動画像）のアバターとの組み合わせた世界の一例を示す図である。
　例えばグーグルストリートビューや不動産案内等では、３６０度の画像を用いて次の部屋や前の道へ移動できる移動体験サービスを提供している。このような移動体験サービスは、現時点では、本人視点でその地点から１人で進んだり戻ったりするものであるが、本実施形態では、図１９に示すように、３６０度の連続する世界（３６０度の写真空間）に複数のアバターで入り、複数のアバターがその世界を移動することができる。

　次に、図２０を参照してバーチャル世界と顔がＷｅｂカメラの映像（動画像）のアバターとの組み合わせについて説明する。
　図２０は、本サービスのサーバにより提供されるバーチャル世界と顔がＷｅｂカメラの映像（動画像）のアバターとの組み合わせた世界の一例を示す図である。
　自ら構築したＶＲ空間（リアルタイム・録画問わず）は、イベントやコミュニケーションを行うことができるが、本実施形態は、図２０に示すように、自分のＶＲ空間であるシアター等に、新たな部屋、例えばシアター併設会場等を設置（増設）することができる。この実施形態では、部屋を例示したが、この例に限らず、店舗等であってもよい。
　また、これはＣＧのＶＲ空間だけでなく、３６０写真（３６０動画・３６０リアルタイム動画）の中にもバーチャルの併設会場を設置することができる。即ちＣＧのＶＲ空間の中に色々な他の空間をつけれるだけでなく、３６０画像等のＶＲ空間の中にも他のＶＲ空間を配置することができる。
　具体的には、本実施形態では、仮想空間構築部１０６は、予め用意した部屋や店舗をユーザに提示し、ユーザは、その中から、自分にあった部屋や店舗を選んで、自分のＶＲ空間のシアターに通路空間を介在させて、選択したシアター併設会場を併設することができる。
　これにより、シアターに居るアバターは、シアターから通路空間を通じてシアター併設会場に自由に行き来することができるようになる。この他の例としては、例えばＶＲのイベント会場の後ろに飲食店や飲食デリバリーの店舗を付ける等のことができる。
　また、店舗側も自分が出店したいＶＲ空間を選ぶことができ、双方のマッチングにより相乗効果のある出店が可能となる。即ちリアルタイムＶＲや録画ＶＲ等を問わずにリンクができる。
　さらにＶＲ空間の中にいる人の特徴に応じた店舗をレコメンドできる機能を有することで、その人に最適な店舗（ＶＲ空間）がレコメンドされるので、最適な店舗（ＶＲ空間）を併設することができる。

　なお、図９に示すシステム構成や、図１０に示すサーバ１のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。

　また、図１１に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が図９の情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図１１の例に限定されない。

　また、機能ブロックの存在場所も、図１１に限定されず、任意でよい。
　即ち、アバター制御処理の実行に必要となる機能ブロックは、サーバ１側が備える構成となっているが、これは例示に過ぎない。サーバ１側に配置された機能ブロックの少なくとも一部を、ユーザ端末２側、あるいは、図示せぬ他の情報処理装置が備える構成としてもよい。
　また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

　各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

　このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。

　なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

　また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。

　以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
　即ち、本発明が適用される情報処理装置は、
　ユーザ（例えば上述のユーザＵｒ）を被写体に含む動画像（例えば図１の動画像Ｍｒ）のデータ（例えば上述の動画像情報）を取得する動画像取得手段（例えば図１１の動画像取得部１０１）と、
　前記ユーザに対応するオブジェクトであって、少なくとも一部に前記動画像を貼り付けたオブジェクト（例えば図１のアバターＡｒ）を生成するオブジェクト生成手段（例えば図１１のアバター生成部１０２）と、
　前記オブジェクトを、３次元の仮想空間（例えば図１１の仮想空間構築部１０６により生成された図１の仮想空間Ｃ）に配置させるオブジェクト配置手段（例えば図１１のアバター配置部１０５）と、
　前記オブジェクトが配置された前記仮想空間において、所定の視点（例えば図１の（Ｂ）に示すアバターＡｒの背後からの視点）から視認し得る画像（例えば図１の（Ｂ）に示す画像）のデータを生成する画像生成手段（例えば図１１の表示画像生成部１０７）と、
　を備える。

　即ち、ユーザを被写体に含む動画像のデータが取得される。そして、そのユーザに対応するオブジェクトであって、取得された動画像が一部に張り付けられたオブジェクトが生成される。生成されたオブジェクトは、３次元の仮想空間に配置される。そして、生成されたオブジェクトが配置された仮想空間において、所定の視点から視認し得る画像のデータが生成される。
　これにより、ユーザに対応するオブジェクトが仮想空間に配置される際、ユーザの意思や感情がより忠実に反映されたオブジェクトを仮想空間に配置させることができる。その結果、従来よりも現実世界に近いコミュニケーション環境を仮想空間に形成させることができる。

　また、前記動画像取得手段は、
　　複数の前記ユーザ（例えば上述のユーザＵｐ）の夫々を被写体に含む複数の動画像（例えば図１の動画像Ｍｐ）のデータの夫々を取得するとともに、さらに、複数の動画像の夫々に対応する複数の音声のデータ（例えば上述の音声情報）の夫々を取得し、
　前記オブジェクト生成手段は、前記複数のユーザの夫々に対応する複数の前記オブジェクトの夫々を生成し、
　前記オブジェクト配置手段は、前記複数のオブジェクト（例えば図１のアバターＡｐ）を前記仮想空間に配置させ、
　前記画像生成手段は、前記複数のオブジェクトが配置された前記仮想空間において、前記所定の視点（例えば図１の（Ａ）に示すアバターＡｐからの視点）から視認し得る画像（例えば図１の（Ａ）に示す画像）のデータを生成し、
　さらに、前記情報処理装置は、前記複数の音声の夫々を、対応する前記複数の画像の夫々が貼り付けられた前記複数のオブジェクトから夫々出力させる制御を実行する音声出力制御手段（例えば図１１の音声出力制御部１０９）をさらに備えることができる。

　即ち、複数のユーザの夫々を被写体に含む複数の動画像のデータの夫々が取得され、それとともに複数の動画像の夫々に対応する複数の音声のデータの夫々が取得される。また、複数のユーザの夫々に対応する複数のオブジェクトの夫々が生成される。また、複数のオブジェクトが配置された仮想空間において、所定の視点から視認し得る画像のデータが生成される。そして、複数の音声の夫々が、対応する複数の画像の夫々が貼り付けられた複数のオブジェクトから夫々出力される。
　これにより、複数のユーザの夫々に対応する複数のオブジェクトの夫々が仮想空間に配置される際、複数のユーザの夫々の意思や感情がさらに忠実に反映された複数のオブジェクトの夫々を仮想空間に配置させることができる。
　その結果、仮想空間に存在するオブジェクトに対応するユーザ間における意思の疎通がさらに容易化され、さらに現実世界に近いコミュニケーション環境を仮想空間に形成させることができる。

　また、前記ユーザにより、前記オブジェクトの動きの所定のパターン（例えば図３のユーザインターフェースにおいて選択可能に示される複数種類のジェスチャーのパターンとしての「手を上げる」等）と、当該所定のパターンの動きを指示させる操作（例えば図３のジェスチャーボタンＢ３乃至Ｂ１０を押下する操作）とが予め設定されており、
　前記ユーザからの前記操作を受け付ける操作受付手段（例えば図１１の操作受付部１０４、ジェスチャー管理部１０３）をさらに備え、
　前記オブジェクト生成手段は、前記操作に対応付けられた前記所定のパターンの動きをする前記オブジェクトを生成することができる。

　即ち、ユーザにより、オブジェクトの動きのパターンと、そのパターンの動きを指示させる操作とが予め設定されており、ユーザからの操作が受け付けられる。そして、その操作に対応付けられたパターンの動きをするオブジェクトが生成される。
　これにより、ユーザによるオブジェクトの設定の自由度が高まる。その結果、ユーザの意思や感情をオブジェクトに反映し易くなる。その結果、ユーザの利便性がさらに向上する。

　また、前記オブジェクト生成手段は、前記オブジェクトとして前記仮想空間に配置される前記ユーザの立場（例えば図１のユーザＵｒとユーザＵｐ）毎に、前記オブジェクトを生成することができる。

　即ち、オブジェクトとして仮想空間に配置されるユーザの立場毎にオブジェクトが生成される。これにより、仮想空間上のユーザの立場に応じた各種設定（例えば上述したジェスチャーの登録）が可能となる。その結果、ユーザの利便性がさらに向上する。

　１・・・サーバ、２・・・ユーザ端末、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・入力部、１７・・・出力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、４０・・・リムーバルメディア、１０１・・・動画像取得部、１０２・・・アバター生成部、１０３・・・操作受付部、１０４・・・ジェスチャー管理部、１０５・・・アバター配置部、１０６・・・仮想空間構築部、１０７・・・表示画像生成部、１０８・・・表示制御部、１０９・・・音声出力制御部、１２１・・・主催者生成部、１２２・・・参加者生成部、１８１・・・アバターＤＢ、ＮＷ・・・ネットワーク、Ｒ・・・主催者、Ｐ・・・参加者、Ａｒ，Ａｐ・・・アバター、Ｃ・・・仮想空間、Ｍｒ，Ｍｐ・・・動画像

Claims

　ユーザを被写体に含む動画像のデータを取得する動画像取得手段と、
　前記ユーザに対応するオブジェクトであって、少なくとも一部に前記動画像を貼り付けたオブジェクトを生成するオブジェクト生成手段と、
　前記オブジェクトを、３次元の仮想空間に配置させるオブジェクト配置手段と、
　前記オブジェクトが配置された前記仮想空間において、所定の視点から視認し得る画像のデータを生成する画像生成手段と、
　を備える情報処理装置。
　前記動画像取得手段は、
　　複数の前記ユーザの夫々を被写体に含む複数の動画像のデータの夫々を取得するとともに、さらに、複数の動画像の夫々に対応する複数の音声のデータの夫々を取得し、
　前記オブジェクト生成手段は、前記複数のユーザの夫々に対応する複数の前記オブジェクトの夫々を生成し、
　前記オブジェクト配置手段は、前記複数のオブジェクトを前記仮想空間に配置させ、
　前記画像生成手段は、前記複数のオブジェクトが配置された前記仮想空間において、前記所定の視点から視認し得る画像のデータを生成し、
　さらに、前記情報処理装置は、前記複数の音声の夫々を、対応する前記複数の画像の夫々が貼り付けられた前記複数のオブジェクトから夫々出力させる制御を実行する音声出力制御手段をさらに備える、
　請求項１に記載の情報処理装置。
　前記ユーザにより、前記オブジェクトの動きの所定のパターンと、当該所定のパターンの動きを指示させる操作とが予め設定されており、
　前記ユーザからの前記操作を受け付ける操作受付手段をさらに備え、
　前記オブジェクト生成手段は、前記操作に対応付けられた前記所定のパターンの動きをする前記オブジェクトを生成する、
　請求項１又は２に記載の情報処理装置。