JP7465736B2 - コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム - Google Patents

Description

本開示の一側面はコンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラムに関する。

ユーザに仮想世界を体験させるコンピュータシステムは様々な分野で応用されている。例えば、特許文献１には、講師側の機器と生徒側の機器との間で講義を行う学習システムが記載されている。この学習システムは、３次元で描写される仮想空間を描画する仮想現実技術を用いた講師用ソフトウェアを含む講師側の機器と、仮想現実技術を用いた生徒用ソフトウェアを含む生徒側の機器と、講師側の機器と生徒側の機器との間で、仮想空間を描画するための講義の信号を送受信するネットワーク手段とを備える。

特開２００９－１４５８８３号公報

仮想空間内の出来事をユーザに効果的に伝えるための手法が望まれている。

本開示の一側面に係るコンテンツ制御システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、授業の場面を示す仮想空間内での対象仮想オブジェクトの動きを特定し、言語表現ルールを記憶する記憶部を参照して、特定された動きに対応する言語表現を決定し、決定された言語表現に対応する表現データを出力する。

このような側面においては、対象仮想オブジェクトの動作に対応する言語表現に基づく表現データが出力される。特許文献１には記載されていないこのような一連の処理によって、仮想空間内の出来事を端末のユーザに効果的に伝えることができる。

本開示の一側面によれば、仮想空間内の出来事をユーザに効果的に伝えることができる。

実施形態に係るコンテンツ配信システム（コンテンツ制御システム）の適用の一例を示す図である。 実施形態に係るコンテンツ配信システムに関連するハードウェア構成の一例を示す図である。 実施形態に係るコンテンツ配信システムに関連する機能構成の一例を示す図である。 実施形態に係るコンテンツ配信システムの動作の一例を示すフローチャートである。 仮想表現オブジェクトの一例を示す図である。 仮想表現オブジェクトの別の例を示す図である。 仮想表現オブジェクトのさらに別の例を示す図である。

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

［システムの概要］
実施形態に係るコンテンツ制御システムは、ユーザに向けて配信されるコンテンツを制御するコンピュータシステムである。コンテンツとは、コンピュータまたはコンピュータシステムによって提供され、人が認識可能な情報のことをいう。コンテンツを示す電子データのことをコンテンツデータという。コンテンツの表現形式は限定されず、例えば、コンテンツは画像（例えば、写真、映像など）、文書、音声、音楽、またはこれらの中の任意の２以上の要素の組合せによって表現されてもよい。コンテンツの目的および利用場面は限定されず、例えば、コンテンツはエンターテインメント、ニュース、教育、医療、ゲーム、チャット、商取引、講演、セミナー、研修などの様々な目的で利用され得る。コンテンツの制御とは、ユーザにコンテンツを提供するために実行される処理のことをいう。コンテンツの制御は、コンテンツデータの生成、編集、記憶、および配信の少なくとも一つを含んでもよいし、これら以外の処理を含んでもよい。

コンテンツ制御システムはコンテンツデータを視聴者端末に送信することで、コンテンツを視聴者に提供する。一例では、そのコンテンツは配信者から提供される。配信者とは視聴者に情報を伝えようとする人であり、すなわち、コンテンツの発信者である。視聴者とはその情報を得ようとする人であり、すなわち、コンテンツの利用者である。

本実施形態ではコンテンツは少なくとも画像を用いて表現される。コンテンツを示す画像を「コンテンツ画像」という。コンテンツ画像とは、人が視覚を通して何らかの情報を認識することができる像のことをいう。コンテンツ画像は動画像（映像）でもよいし静止画でもよい。

コンテンツ画像は現実世界を映してもよいし、仮想空間を映してもよい。仮想空間とは、コンピュータ上に表示される画像によって表現される仮想の２次元または３次元の空間のことをいう。コンテンツ画像が仮想空間を含む場合には、コンテンツ画像は、仮想空間内に設定された仮想カメラから見える風景を示す画像であるといえる。仮想カメラは、コンテンツ画像を見るユーザの視線に対応するように仮想空間内に設定される。仮想空間は少なくとも一つの仮想オブジェクトによって表現される。仮想オブジェクトとは、現実世界には実際に存在せずコンピュータシステム上でのみ表現される物体のことをいう。

コンテンツ画像は、出演者である人を映してもよいし、出演者の代わりにアバターを映してもよい。配信者は、出演者としてコンテンツ画像上に現われてもよいし、出演者でなくてもよい。複数の視聴者のうちの少なくとも一部が出演者（参加者）としてコンテンツ画像に現われてもよい。配信者または参加者のアバターがコンテンツ画像上に現れてもよい。コンテンツ画像は現実世界と、仮想空間または仮想オブジェクトとの双方を含んでもよい。コンテンツ画像が仮想空間または仮想オブジェクトを含むことで、視聴者は拡張現実（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ））、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ））、または複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ（ＭＲ））を体験することができる。

アバターとは、コンピュータによって表現されるユーザの分身である。アバターは仮想オブジェクトの一種である。アバターは、撮影された人そのものではなく（すなわち、原画像で示されるユーザそのものではなく）、原画像とは独立した画像素材を用いて、２次元または３次元のコンピュータグラフィック（ＣＧ）によって表現される。アバターの表現方法は限定されない。例えば、アバターはアニメーション素材を用いて表現されてもよいし、実写画像に基づいて本物に近いように表現されてもよい。アバターはコンテンツ配信システムのユーザ（例えば、配信者または視聴者）によって自由に選択されてもよい。

一例では、コンテンツ制御システムはコンテンツを視聴者に向けて配信してもよい。配信とは、通信ネットワークまたは放送ネットワークを経由して情報をユーザに向けて送信する処理のことをいう。本開示では、配信は放送を含み得る概念である。本開示では、コンテンツを配信する機能を備えるコンテンツ制御システムをコンテンツ配信システムともいう。

コンテンツを配信する手法は限定されない。例えば、コンテンツ配信システムはライブコンテンツを配信してもよい。この場合には、コンテンツ配信システムは配信者端末から提供されるリアルタイムの映像を処理することでコンテンツデータを生成し、そのコンテンツデータを視聴者端末に向けてリアルタイムに送信する。これはインターネット生放送の一態様であるといえる。あるいは、コンテンツ配信システムは、過去に撮影および生成された映像を配信してもよい。コンテンツ配信システムは、リアルタイム配信後の所与の期間においてコンテンツを視聴することが可能なタイムシフトのために用いられてもよい。あるいは、コンテンツ配信システムは、任意のタイミングでコンテンツを視聴することが可能なオンデマンド配信のために用いられてもよい。

本開示において、データまたは情報を第１コンピュータから第２コンピュータ“に送信する”との表現は、該第２コンピュータに最終的にデータまたは情報を届けるための送信を意味する。この表現は、その送信において別のコンピュータまたは通信装置がデータまたは情報を中継する場合も含む意味であることに留意されたい。

上述したようにコンテンツの目的および利用場面は限定されない。本実施形態では、コンテンツの例として教育用コンテンツを示し、コンテンツ制御システムが教育用コンテンツデータを制御するものとする。教育用コンテンツとは、生徒に向けて授業を行うために用いられるコンテンツであり、例えば、教師が生徒に向けて授業を行うために用いられてもよい。教師とは学業、技芸などを教える人のことをいい、生徒とはその教えを受ける人のことをいう。教師は配信者になり得る。生徒は視聴者の一例である。教師は教員免許を持つ人であってもよいし、教員免許を持たない人でもよい。授業とは、教師が生徒に学業、技芸などを教えることをいう。教師および生徒のそれぞれについて年齢および所属は限定されず、したがって、教育用コンテンツの目的および利用場面も限定されない。例えば、教育用コンテンツは、保育園、幼稚園、小学校、中学校、高等学校、大学、大学院、専門学校、予備校、オンライン学校などの各種の学校で用いられてよいし、学校以外の場所または場面で用いられてもよい。これに関連して、教育用コンテンツは、幼児教育、義務教育、高等教育、生涯学習などの様々な目的で用いられ得る。

［システムの構成］
図１は、実施形態に係るコンテンツ配信システム（コンテンツ制御システム）１の適用の一例を示す図である。本実施形態では、コンテンツ配信システム１はサーバ１０を備える。サーバ１０は、コンテンツデータを生成および配信するコンピュータである。一例では、サーバ１０は通信ネットワークＮを介して少なくとも一つの生徒端末２０と、教師端末３０と、原映像データベース４０と、辞書データベース５０と接続する。図１は２台の生徒端末２０と１台の教師端末３０とを示すが、それぞれの端末の台数は何ら限定されない。通信ネットワークＮの構成は限定されない。例えば、通信ネットワークＮはインターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。

生徒端末２０は生徒によって用いられるコンピュータであり、視聴者端末（視聴者により用いられるコンピュータ）の一例である。一例では、生徒端末２０は、コンテンツ配信システム１にアクセスしてコンテンツデータを受信および表示する機能と、生徒のモーションデータをコンテンツ配信システム１に送信する機能とを有する。モーションデータとは、物体の動きを示す電子データのことをいう。生徒のモーションデータは、生徒の身体の特定の部位（例えば関節）の位置および角度によって該身体の動きを示す。モーションデータの取得方法は限定されない。モーションデータは、カメラにより撮影された映像を解析することで得られてもよい。あるいは、モーションデータはボディストラップ、データグローブ、ＶＲコントローラ（ハンドコントローラ）などのような、モーションキャプチャのための装置によって得られてもよい。生徒端末２０の種類および構成は限定されない。例えば、生徒端末２０は高機能携帯電話機（スマートフォン）、タブレット端末、ウェアラブル端末（例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラスなど）、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、生徒端末２０はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。

教師端末３０は教師によって用いられるコンピュータであり、配信者端末（配信者によって用いられるコンピュータ）の一例である。典型的には、教師端末３０は生徒端末２０にとって遠隔地に位置する。一例では、教師端末３０は、映像を撮影する機能と、コンテンツ配信システム１にアクセスしてその映像を示す電子データ（映像データ）を送信する機能とを有する。教師端末３０は映像またはコンテンツを受信および表示する機能を有してもよい。生徒端末２０と同様に、教師端末３０は教師のモーションデータをコンテンツ配信システム１に送信する機能を有してもよい。教師端末３０の種類および構成は限定されない。例えば、教師端末３０は映像を撮影、収録、および送信する機能を有する撮影システムであってもよい。あるいは、教師端末３０は高機能携帯電話機（スマートフォン）、タブレット端末、ウェアラブル端末（例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラスなど）、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、教師端末３０はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。

教室の管理者または生徒は生徒端末２０を操作してコンテンツ配信システム１にログインし、これにより生徒は教育用コンテンツを視聴することができる。教師は教師端末３０を操作してコンテンツ配信システム１にログインし、これにより自分の授業を配信または記録することが可能になる。本実施形態では、コンテンツ配信システム１のユーザが既にログインしていることを前提とする。

原映像データベース４０は原映像データを記憶する非一時的な記憶装置である。原映像データとは、教育用コンテンツデータを生成するために用いられる原映像を示す電子データであり、したがって、教育用コンテンツを生成するための素材であるといえる。原映像は実写映像でもよいし、仮想空間を含んでもよい。原映像の内容が限定されないことに対応して、原映像データのデータ構造も限定されない。例えば、実写映像が用いられる場合には、原映像データはカメラによって撮影された映像データを含む。仮想空間が用いられる場合には、原映像データは、仮想空間を規定する空間データと、仮想オブジェクトの仕様を規定するモデルデータとを含み、仮想空間における物語の進行を規定するためのシナリオデータをさらに含んでもよい。原映像データは予め、サーバ１０、教師端末３０、または別のコンピュータなどの任意のコンピュータによって原映像データベース４０に格納される。原映像データベース４０は過去に撮影または生成された原映像（すなわち、リアルタイムではない映像）を記憶するライブラリであるといえる。

辞書データベース５０は辞書データを記憶する非一時的な記憶装置である。一例では、辞書データの各レコードは、個々のレコードを特定するための識別子であるレコードＩＤと、生徒（視聴者）を一意に特定する識別子である視聴者ＩＤと、該生徒によって指定された画像（静止画または動画）とを含む。

原映像データベース４０および辞書データベース５０のそれぞれの設置場所は限定されない。例えば、原映像データベース４０および辞書データベース５０の少なくとも一方は、コンテンツ配信システム１とは別のコンピュータシステム内に設けられてもよいし、コンテンツ配信システム１の構成要素であってもよい。

図２はコンテンツ配信システム１に関連するハードウェア構成の一例を示す図である。図２は、サーバ１０として機能するサーバコンピュータ１００と、生徒端末２０または教師端末３０として機能する端末コンピュータ２００とを示す。

一例として、サーバコンピュータ１００はハードウェア構成要素として、プロセッサ１０１、主記憶部１０２、補助記憶部１０３、および通信部１０４を備える。

プロセッサ１０１は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサの例としてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が挙げられるが、プロセッサ１０１の種類はこれらに限定されない。例えば、プロセッサ１０１はセンサおよび専用回路の組合せでもよい。専用回路はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のようなプログラム可能な回路でもよいし、他の種類の回路でもよい。

主記憶部１０２は、サーバ１０を実現するためのプログラム、プロセッサ１０１から出力された演算結果などを記憶する装置である。主記憶部１０２は例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のうちの少なくとも一つにより構成される。

補助記憶部１０３は、一般に主記憶部１０２よりも大量のデータを記憶することが可能な装置である。補助記憶部１０３は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部１０３は、サーバコンピュータ１００をサーバ１０として機能させるためのサーバプログラムＰ１と各種のデータとを記憶する。例えば、補助記憶部１０３はアバターなどの仮想オブジェクトと仮想空間とのうちの少なくとも一つに関するデータを記憶してもよい。本実施形態では、コンテンツ制御プログラムはサーバプログラムＰ１として実装される。

通信部１０４は、通信ネットワークＮを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部１０４は例えばネットワークカードまたは無線通信モジュールにより構成される。

サーバ１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上にサーバプログラムＰ１を読み込ませてプロセッサ１０１にそのプログラムを実行させることで実現される。サーバプログラムＰ１は、サーバ１０の各機能要素を実現するためのコードを含む。プロセッサ１０１はサーバプログラムＰ１に従って通信部１０４を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを実行する。このような処理によりサーバ１０の各機能要素が実現される。

サーバ１０は一つまたは複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークを介してこれらのコンピュータが互いに接続されることで、論理的に一つのサーバ１０が構成される。

一例として、端末コンピュータ２００はハードウェア構成要素として、プロセッサ２０１、主記憶部２０２、補助記憶部２０３、および通信部２０４、入力インタフェース２０５、出力インタフェース２０６、および撮像部２０７を備える。

プロセッサ２０１は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサ２０１は例えばＣＰＵまたはＧＰＵであり得るが、プロセッサ２０１の種類はこれらに限定されない。

主記憶部２０２は、生徒端末２０または教師端末３０を実現させるためのプログラム、プロセッサ２０１から出力された演算結果などを記憶する装置である。主記憶部２０２は例えばＲＯＭおよびＲＡＭのうちの少なくとも一つにより構成される。

補助記憶部２０３は、一般に主記憶部２０２よりも大量のデータを記憶することが可能な装置である。補助記憶部２０３は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部２０３は、端末コンピュータ２００を生徒端末２０または教師端末３０として機能させるためのクライアントプログラムＰ２と各種のデータとを記憶する。例えば、補助記憶部２０３はアバターなどの仮想オブジェクトと仮想空間とのうちの少なくとも一つに関するデータを記憶してもよい。

通信部２０４は、通信ネットワークＮを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部２０４は例えばネットワークカードまたは無線通信モジュールにより構成される。

入力インタフェース２０５は、ユーザの操作または動作に基づいてデータを受け付ける装置である。例えば、入力インタフェース２０５は、キーボード、操作ボタン、ポインティングデバイス、マイクロフォン、センサ、およびカメラのうちの少なくとも一つによって構成される。キーボードおよび操作ボタンはタッチパネル上に表示されてもよい。入力インタフェース２０５の種類が限定されないことに対応して、入力されるデータは限定されない。例えば、入力インタフェース２０５はキーボード、操作ボタン、またはポインティングデバイスによって入力または選択されたデータを受け付けてもよい。あるいは、入力インタフェース２０５は、マイクロフォンにより入力された音声データを受け付けてもよい。あるいは、入力インタフェース２０５はカメラによって撮影された画像データ（例えば、映像データまたは静止画データ）を受け付けてもよい。

出力インタフェース２０６は、端末コンピュータ２００で処理されたデータを出力する装置である。例えば、出力インタフェース２０６はモニタ、タッチパネル、ＨＭＤおよびスピーカのうちの少なくとも一つによって構成される。モニタ、タッチパネル、ＨＭＤなどの表示装置は、処理されたデータを画面上に表示する。スピーカは、処理された音声データで示される音声を出力する。

撮像部２０７は、現実世界を写した画像を撮影する装置であり、具体的にはカメラである。撮像部２０７は動画像（映像）を撮影してもよいし静止画（写真）を撮影してもよい。動画像を撮影する場合には、撮像部２０７は映像信号を所与のフレームレートに基づいて処理することで、時系列に並ぶ一連のフレーム画像を動画像として取得する。撮像部２０７は入力インタフェース２０５としても機能し得る。

生徒端末２０または教師端末３０の各機能要素は、対応するクライアントプログラムＰ２をプロセッサ２０１または主記憶部２０２に読み込ませてプロセッサ２０１にそのプログラムを実行させることで実現される。クライアントプログラムＰ２は、生徒端末２０または教師端末３０の各機能要素を実現するためのコードを含む。プロセッサ２０１はクライアントプログラムＰ２に従って通信部２０４、入力インタフェース２０５、出力インタフェース２０６、または撮像部２０７を動作させ、主記憶部２０２または補助記憶部２０３におけるデータの読み出しおよび書き込みを行う。この処理により生徒端末２０または教師端末３０の各機能要素が実現される。

サーバプログラムＰ１およびクライアントプログラムＰ２の少なくとも一つは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの有形の記録媒体に非一時的に記録された上で提供されてもよい。あるいは、これらのプログラムの少なくとも一つは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。これらのプログラムは別々に提供されてもよいし、一緒に提供されてもよい。

図３はコンテンツ配信システム１に関連する機能構成の一例を示す図である。サーバ１０は機能要素としてコンテンツ管理部１１、モーション特定部１２、言語表現決定部１３、オブジェクト設定部１４、オブジェクト送信部１５、および辞書管理部１６を備える。

コンテンツ管理部１１は教育用コンテンツの生成および出力を管理する機能要素であり、モーション特定部１２、言語表現決定部１３、オブジェクト設定部１４、オブジェクト送信部１５を含んで構成される。モーション特定部１２は、授業の場面を示す仮想空間内での仮想オブジェクトの動きを特定する機能要素である。本実施形態では、この仮想空間は少なくとも生徒端末２０上で表示されるものとする。言語表現決定部１３はその特定された動きに対応する言語表現を決定する機能要素である。言語表現とは、自然言語によって意味を客観的に表すことをいう。一例では、動きに対応する言語表現を決定することは、その動きまたはその動きに起因して起きた事象を言語で表現することである。オブジェクト設定部１４はその言語表現に対応する仮想表現オブジェクトを設定する機能要素である。仮想表現オブジェクトは、言語表現を可視化するために用いられる仮想オブジェクトであり、教育用コンテンツデータの少なくとも一部を構成する。仮想表現オブジェクトは、言語表現に対応する表現データの一例である。オブジェクト送信部１５はその仮想オブジェクトを生徒端末２０に送信する機能要素である。この送信は、言語表現に対応する表現データを、仮想空間を表示する端末に出力する処理の一例である。辞書管理部１６は生徒端末２０からの要求に応答して辞書データを管理する機能要素である。

生徒端末２０は機能要素としてモーション送信部２１、表示制御部２２、および辞書制御部２３を備える。モーション送信部２１は生徒のモーションデータをサーバ１０に送信する機能要素である。表示制御部２２は教育用コンテンツデータを受信および処理して教育用コンテンツを表示装置上に表示する機能要素である。辞書制御部２３は辞書データの保存または検索に関する処理を実行する機能要素である。

［システムの動作］
コンテンツ配信システム１の動作（より具体的にはサーバ１０の動作）を説明するとともに、本実施形態に係るコンテンツ制御方法（またはコンテンツ配信方法）について説明する。図４は、コンテンツ配信システム１の動作の一例を処理フローＳ１として示すフローチャートである。処理フローＳ１は、コンテンツ管理部１１が、生徒端末２０から要求された原映像データを原映像データベース４０から読み出して、その原映像データを教育用コンテンツデータとしてその生徒端末２０に既に提供し始めていることを前提とする。

ステップＳ１１では、コンテンツ管理部１１が生徒端末２０から生徒のモーションデータを受信する。生徒端末２０では、モーション送信部２１が、原映像を見ている生徒のリアルタイムの動きを示すモーションデータをサーバ１０に向けて送信し、コンテンツ管理部１１はそのモーションデータを受信する。モーションデータのデータ構造は限定されない。例えば、モーションデータは、特定の時間幅における生徒の動きを示してもよいし、特定の瞬間における生徒の姿勢を示してもよい。モーションデータは生徒の身体の任意の部分（例えば、手のみ、全身など）の動きまたは姿勢を表現してよい。

ステップＳ１２では、モーション特定部１２がそのモーションデータに基づいて仮想オブジェクトの動きを特定する。本開示では、モーション特定部１２によって動きが特定される仮想オブジェクトを「対象仮想オブジェクト」ともいう。典型的には、対象仮想オブジェクトは、モーションデータによって動く仮想オブジェクトである。例えば、モーションデータが生徒の手の動きを示す場合には、対象仮想オブジェクトは仮想の手でもよい。モーションデータが生徒の全身の動きを示す場合には、対象仮想オブジェクトはその生徒のアバターでもよい。一例では、モーション特定部１２はモーションデータに含まれる複数のジョイントの３次元座標の変化の履歴と、隣り合うジョイントの組合せ（すなわちボーン）とに基づいて対象仮想オブジェクトの動きを特定する。対象仮想オブジェクトの動きは生徒のリアルタイムの動きを示す。

ステップＳ１３では、言語表現決定部１３が言語表現ルールに基づいて、特定された動きに対応する言語表現を決定する。言語表現ルールは、少なくとも一つの仮想オブジェクトの動きから言語表現を導出するためのルールである。一例では、言語表現ルールは補助記憶部１０３に予め記憶される。言語表現ルールの実装方法は限定されず、例えば、対応表などのようなデータで表現されてもよいし、学習済みモデルなどのアルゴリズムでもよい。

「特定された動きに対応する言語表現」は、対象仮想オブジェクトの動きを示してもよいし、対象仮想オブジェクトの動きに基づいて変化する少なくとも一つの関連仮想オブジェクトに関連してもよい。関連仮想オブジェクトは任意の物体を示してよく、例えば、人（アバター）、任意の人工物（例えば、動産、不動産）、任意の自然物（例えば、動物、植物）、または任意の地形（例えば、山、川、地面）を示してもよい。関連仮想オブジェクトの変化は限定されず、例えば、位置または姿勢の変化（すなわち、動き）でもよいし、状態の変化（例えば、色の変化）でもよい。「特定された動きに対応する言語表現」は、対象オブジェクトの動きと関連仮想オブジェクトの変化との組合せを示してもよい。

ステップＳ１３において言語表現を決定できない場合、すなわち、特定された動きに対応する言語表現を導出できない場合には、処理フローＳ１はこの時点で終了し、この場合には、コンテンツ管理部１１は仮想表現オブジェクトを追加することなく原映像データを生徒端末２０に送信する。ステップＳ１３において言語表現を決定した場合には、処理はステップＳ１４に移る。

ステップＳ１４では、オブジェクト設定部１４が、決定された言語表現に対応する仮想表現オブジェクトを設定する。言語表現を可視化できる限り、仮想表現オブジェクトの形式は限定されない。例えば、オブジェクト設定部１４は言語表現をそのまま文字で示す仮想表現オブジェクトを設定してもよく、この場合には、装飾、アニメーション効果などの任意の視覚効果がその文字に適用されてよい。あるいは、オブジェクト設定部１４は言語表現を、文字を用いることなく画像（静止画または動画）で示す仮想表現オブジェクトを設定してもよい。これは、特定された仮想オブジェクトの動きに似た場面を示す代表的な画像を設定する処理であるといえる。

仮想表現オブジェクトの表示時間は任意の方針で設定されてよい。例えば、オブジェクト設定部１４は所与の制限時間を設定してもよい。あるいは、オブジェクト設定部１４は、対象仮想オブジェクトの動きおよび関連仮想オブジェクトの変化の少なくとも一方が終了するまで仮想表現オブジェクトが表示されるように該仮想表現オブジェクトを制御してもよい。

ステップＳ１５では、オブジェクト設定部１４が、設定された仮想表現オブジェクトを含む教育用コンテンツデータを生成する。一例では、原映像データは仮想空間を示し、この場合には、オブジェクト設定部１４は仮想表現オブジェクトをその仮想空間内に配置する。「（仮想表現オブジェクトなどの）オブジェクトを配置する」とは、オブジェクトを決められた位置に置くことをいい、オブジェクトの位置の変更を含む概念である。

教育用コンテンツデータの生成方法およびデータ構造は限定されない。例えば、コンテンツ管理部１１は、仮想空間と、仮想表現オブジェクトを含む個々のオブジェクトの位置、寸法、および動作（姿勢）とを示す仮想空間データを含む教育用コンテンツデータを生成してもよい。あるいは、コンテンツ管理部１１は、設定された仮想空間に基づくレンダリングを実行することで教育用コンテンツデータを生成してもよい。この場合には、教育用コンテンツデータは、仮想表現オブジェクトを含むコンテンツ画像そのものを示す。

ステップＳ１６では、オブジェクト送信部１５が、仮想表現オブジェクトを含む教育用コンテンツデータを生徒端末２０に送信する。生徒端末２０では、表示制御部２２がその教育用コンテンツデータを受信および処理して、教育用コンテンツを表示装置上に表示する。この結果、生徒端末２０上に表示されている仮想空間内に仮想表現オブジェクトが現われる。サーバ１０でレンダリングが実行されていない場合には、表示制御部２２は教育用コンテンツデータに基づくレンダリングを実行することでコンテンツ画像を表示する。教育用コンテンツデータがコンテンツ画像そのものを示す場合には、表示制御部２２はそのコンテンツ画像をそのまま表示する。生徒端末２０は、コンテンツ画像の表示に合わせて音声をスピーカから出力する。

オブジェクト送信部１５は、教育用コンテンツデータを生徒端末２０に送信することに加えてまたは代えて、その教育用コンテンツデータを所与のデータベースに格納してもよい。例えば、オブジェクト送信部１５はその教育用コンテンツデータを原映像データとして原映像データベース４０に格納してもよい。

或る一つの生徒端末２０への１回の配信において処理フローＳ１は複数回実行され得る。この場合には、教育用コンテンツが表示されている間に、生徒のリアルタイムの動きに応答して、様々な仮想表現オブジェクトがその動きのタイミングで表示される。処理フローＳ１は一部のモーションデータに限って実行されてもよい。例えば、コンテンツ配信システム１は、教育用コンテンツでの特定の場面（例えば、演習問題を行う場面）に対応する時間幅の間に受信されるモーションデータに限って処理フローＳ１を実行してもよい。

図５～図７を参照しながら、仮想表現オブジェクトの表示の例を説明する。図５～図７はいずれも、仮想表現オブジェクトの一例を示す図である。

図５の例では、台３０１、ボール３０２、および仮想手３１１という３個の仮想オブジェクトを含む仮想空間での状況の変化を示す。この例では、コンテンツ配信システム１は台３０１に対するボール３０２の位置を示す英語の前置詞を仮想表現オブジェクトによって表示する。

仮想手３１１は生徒の手の実際の動きに基づいて動く対象仮想オブジェクトである。台３０１およびボール３０２は関連仮想オブジェクトとして処理され得る。生徒が仮想手３１１を操作してボール３０２を台３０１の上に載せると、その操作に応答して仮想表現オブジェクト３２１が表示される。この仮想表現オブジェクト３２１は、ボール３０２が台３０１の“上に”置かれたことに対応して決定された言語表現である前置詞「ｏｎ」の文字そのものを示す表現データである。その後、生徒が仮想手３１１を操作してボール３０２を台３０１の傍に置くと、その操作に応答して仮想表現オブジェクト３２２が表示される。この仮想表現オブジェクト３２２は、ボール３０２が台３０１の“傍に”位置することに対応して決定された言語表現である前置詞「ｂｙ」の文字そのものを示す表現データである。仮想表現オブジェクト３２１，３２２はいずれも、関連仮想オブジェクトに関連するものといえる。

一例では、図５の例のように、生徒の動作に基づく対象仮想オブジェクトの動きに対応する言語表現を表示することで、学習者は、一般には理解が容易ではない外国語の語彙の微妙な違いを理解することができる。例えば、方向に関係なく台３０１にボール３０２が接触した場合には、英単語「ＯＮ」を示す仮想表現オブジェクトが表示されてもよい。仮想手３１１がボール３０２を持ち上げて該ボール３０２を台３０１の真上に位置させた場合には、英単語「ｏｖｅｒ」が表示されてもよい。仮想手３１１がボール３０２を台３０１のほぼ上方に位置させた場合には、英単語「ａｂｏｖｅ」が表示されてもよい。このような言語表現の表示は、書籍、現実の教室内での授業、教師が生徒に一方的に教えるテレビの教育番組などのような従来の教育（例えば外国語教育）では得られない特有の効果を奏する。

図６の例では、複数の生徒に対応する複数のアバターを含む仮想空間４００を示す。この例では、コンテンツ配信システム１はアバターの動きを示す英単語を仮想表現オブジェクトによって表示する。

仮想空間４００は、或る一人の生徒のアバター４０１と、ボール４０２とを含む。アバター４０１はその生徒の実際の動きに基づいて動く対象仮想オブジェクトである。ボール４０２は関連仮想オブジェクトとして処理され得る。その生徒がアバター４０１を操作してボール４０２を投げると、その操作に応答して仮想表現オブジェクト４１１が表示される。この仮想表現オブジェクト４１１は、アバター４０１がボール４０２を投げたことに対応して決定された言語表現である動詞「ｔｈｒｏｗ」の文字そのものを示す表現データである。仮想表現オブジェクト４１１は対象仮想オブジェクトの動きを示すものといえる。

仮想空間４００は、別の一人の生徒のアバター４２１をさらに含む。アバター４２１はその生徒の実際の動きに基づいて動く対象仮想オブジェクトである。その生徒がジャンプするとアバター４２１もジャンプし、その動きに対応して決定された言語表現である動詞「ｊｕｍｐ」の文字そのものが仮想表現オブジェクト４３１として表示される。仮想表現オブジェクト４３１も対象仮想オブジェクトの動きを示すものといえる。この仮想空間４００のように、コンテンツ配信システム１は、視聴者以外の人のアバターの動きに起因する言語表現に対応する仮想表現オブジェクトを該視聴者の端末上に表示してもよい。

図７の例では、或る一人の生徒に対応するアバターを含む仮想空間５００を示す。この例では、コンテンツ配信システム１はアバターの行動を示す英文を仮想表現オブジェクトによって表示する。

仮想空間５００は、壁５０１と、生徒のアバター５０２と、そのアバター５０２が持つブラシ５０３とを含む。アバター５０２はその生徒の実際の動きに基づいて動く対象仮想オブジェクトである。壁５０１およびブラシ５０３は関連仮想オブジェクトとして処理され得る。その生徒がアバター５０２を操作してブラシ５０３で壁５０１を赤く塗ると、その操作に応答して仮想表現オブジェクト５１１が表示される。この仮想表現オブジェクト５１１は、壁５０１を赤く塗るという行動に対応して決定された言語表現である英文「Ｙｏｕ ａｒｅ ｐａｉｎｔｉｎｇ ａ ｗａｌｌ ｉｎ ｒｅｄ．」の文字そのものを示す表現データである。仮想表現オブジェクト５１１は、対象仮想オブジェクトの動きを示すものともいえるし、対象仮想オブジェクトの動きと関連仮想オブジェクトの変化との組合せを示すものともいえる。

別の例として、シナリオに基づく問題文として、「Ｙｏｕ ａｒｅ ｐａｉｎｔｉｎｇ ａ ｗａｌｌ ｉｎ ｒｅｄ．」という英文が先に表示され、「あなたがこの動作をしてください。」という課題が教育用コンテンツ中の教師から生徒へ示されたとする。そして、生徒は、その教育用コンテンツの仮想空間内でブラシ５０３を持ち、複数種類の色のペンキから赤いペンキを選んでブラシ５０３を赤いペンキにつけ、壁５０１に塗る動作をしなければならないとする。生徒がその動作を正しく行った場合には、コンテンツ配信システム１はその動作に基づいて、「正解です。」という言語表現を示す仮想表現オブジェクトを表示してもよい。生徒がその動作を正しく行わない場合（例えば、別の色のペンキに近づいた場合）には、コンテンツ配信システム１はその動作に基づいて、「本当にその色ですか？」という言語表現を示す仮想表現オブジェクトをヒントとして表示してもよい。

一例では、図５～図７に示すような場面を含む教育用コンテンツは語学の授業のコンテンツである。コンテンツ配信システム１を語学の授業に適用することで、言語に関する説明のために補助資料を用意しなくても、仮想表現オブジェクトを用いて語彙の使い分け、文法などの様々な事項を生徒に伝えることができる。生徒はその仮想表現オブジェクトを見ることで、言語に関する様々な事項を直感的に理解することができる。

上述したようにコンテンツの目的および利用場面は限定されず、したがって、仮想表現オブジェクトが具体的に示す事項も何ら限定されない。仮想表現オブジェクトは英語以外の任意の言語による表記を示してもよい。あるいは、仮想表現オブジェクトは語学以外の学習を目的とする事項を示してもよく、例えば、仮想的な技能講習における所与の操作の注意点を示してもよい。仮想表現オブジェクトは学習以外の目的で用いられてもよく、例えば、情報伝達またはコミュニケーションを支援するために用いられてもよい。

処理フローＳ１によって生徒端末２０に提供された教育用コンテンツを視聴する生徒は、仮想表現オブジェクトが映った場面の画像を辞書データとして登録することができ、さらに、その辞書データを後で参照することができる。本実施形態では、生徒端末２０の辞書制御部２３とサーバ１０の辞書管理部１６とが協働して辞書データの登録および参照（検索）を実行する。

生徒は生徒端末２０を操作して、仮想表現オブジェクトを含む場面の画像（静止画または所与の時間幅の映像）を指定する。辞書制御部２３はその操作に応答して、指定された画像を記録し、この画像と視聴者ＩＤとを含む登録要求をサーバ１０に送信する。サーバ１０では辞書管理部１６がその登録要求を受信する。辞書管理部１６は、新規のレコードＩＤを生成し、登録要求に含まれる視聴者ＩＤおよび画像をそのレコードＩＤに関連付けることで辞書データのレコードを生成する。そして、辞書管理部１６はそのレコードを辞書データベース５０に格納する。

その後の任意のタイミングで、生徒は生徒端末２０を操作して辞書データのリストまたは辞書データの特定の１以上のレコードを指定する。辞書制御部２３はその操作に応答して、少なくとも視聴者ＩＤを含む検索要求をサーバ１０に送信する。サーバ１０では辞書管理部１６がその検索要求に対応する少なくとも一つのレコードを辞書データベース５０から読み出し、そのレコードを検索結果として生徒端末２０に送信する。生徒端末２０では辞書制御部２３がその検索結果を表示装置上に表示し、これにより生徒は、仮想表現オブジェクトが映った場面（例えば、図５～図７に示すような場面）を再び参照ことができる。

上述したように、コンテンツ配信システム１は様々な態様の授業に適用し得る。一例では、コンテンツ配信システム１はリアルタイム遠隔授業のために用いられ得る。リアルタイム遠隔授業とは、教師がリアルタイムで行っている授業が教師端末３０およびサーバ１０を介して１以上の生徒端末２０にリアルタイムで配信される態様である。この場合には、１以上の生徒が共通のコンテンツ（すなわち共通の仮想空間）を同時に視聴しているので、すべての生徒が特定の仮想オブジェクトを同時に動かすことは困難である。したがって、この場合には、教師または選ばれた生徒が仮想オブジェクトを動かしたり仮想空間中で動作をしたりすることが考えられる。

別の例では、コンテンツ配信システム１はタイムシフト遠隔授業のために用いられ得る。タイムシフト遠隔授業とは、予め撮影または生成された教育用コンテンツ（すなわち、所与のデータベースに予め記憶された教育用コンテンツ）が個々の生徒端末２０からの要求に応じて該生徒端末２０に配信される態様である。この場合には、リアルタイムの第１生徒の動作が仮想オブジェクトの情報として教育用コンテンツデータに追加または上書きされることで保存されて、所与のデータベースに格納される。加えて、その動作に基づく言語表現に対応する仮想表現オブジェクトもその教育用コンテンツデータに追加または上書きされることで保存される。その後、その教育用コンテンツを第２生徒が視聴する場合には、その第２生徒は第１生徒の動作とそれに対応する言語表現（仮想表現オブジェクト）とを視認することができる。第２生徒の動作と、この動作に基づく言語表現に対応する仮想表現オブジェクトとについても、教育用コンテンツデータに追加または上書きされ得る。このようなタイムシフト遠隔授業により、空間的にも時間的にも離間した別々の生徒があたかも一緒に同時に同じ授業を受けているかのような疑似的な印象をそれぞれの生徒に与えることができる。

［効果］
以上説明したように、本開示の一側面に係るコンテンツ制御システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、授業の場面を示す仮想空間内での対象仮想オブジェクトの動きを特定し、言語表現ルールを記憶する記憶部を参照して、特定された動きに対応する言語表現を決定し、決定された言語表現に対応する表現データを出力する。

本開示の一側面に係るコンテンツ制御方法は、少なくとも一つのプロセッサを備えるコンテンツ制御システムによって実行される。コンテンツ制御方法は、授業の場面を示す仮想空間内での対象仮想オブジェクトの動きを特定するステップと、言語表現ルールを記憶する記憶部を参照して、特定された動きに対応する言語表現を決定するステップと、決定された言語表現に対応する表現データを出力するステップとを含む。

本開示の一側面に係るコンテンツ制御プログラムは、授業の場面を示す仮想空間内での対象仮想オブジェクトの動きを特定するステップと、言語表現ルールを記憶する記憶部を参照して、特定された動きに対応する言語表現を決定するステップと、決定された言語表現に対応する表現データを出力するステップとをコンピュータに実行させる。

このような側面においては、対象仮想オブジェクトの動作に対応する言語表現に基づく表現データが出力される。この表現データによって、仮想空間内の出来事を端末のユーザに効果的に伝えることができる。

他の側面に係るコンテンツ制御システムでは、少なくとも一つのプロセッサが、授業を見ている生徒のリアルタイムの動きを示すモーションデータを端末から受信し、モーションデータに基づいて対象仮想オブジェクトの動きを特定してもよい。この処理によって、生徒のリアルタイムの動きに対応する出来事をその生徒にリアルタイムに且つ効果的に伝えることができる。

他の側面に係るコンテンツ制御システムでは、少なくとも一つのプロセッサが、過去に撮影または生成された原映像を示す原映像データをデータベースから取得し、取得された原映像データと表現データとを用いて教育用コンテンツデータを生成し、生成された教育用コンテンツデータを出力してもよい。リアルタイムの映像ではなく既存の映像が表現データを用いて教育用コンテンツデータに変換されるので、過去の膨大な映像をより効果的に利用または再利用することができる。

他の側面に係るコンテンツ制御システムでは、少なくとも一つのプロセッサが、対象仮想オブジェクトの動きを示す言語表現を決定してもよい。この場合には、対象仮想オブジェクトの動きをユーザに効果的に伝えることができる。

他の側面に係るコンテンツ制御システムでは、少少なくとも一つのプロセッサが、対象仮想オブジェクトの動きに基づいて変化する関連仮想オブジェクトに関連する言語表現を決定してもよい。この場合には、関連仮想オブジェクトの変化をユーザに効果的に伝えることができる。

他の側面に係るコンテンツ制御システムでは、少なくとも一つのプロセッサが、対象仮想オブジェクトの動きと関連仮想オブジェクトの変化との組合せを示す言語表現を決定してもよい。この場合には、対象仮想オブジェクトおよび関連仮想オブジェクトの組合せに基づく出来事をユーザに効果的に伝えることができる。

他の側面に係るコンテンツ制御システムでは、表現データが、端末上に表示される仮想表現オブジェクトを示してもよい。この場合には、仮想空間内の出来事を端末のユーザに視覚的に伝えることができる。

他の側面に係るコンテンツ制御システムでは、仮想表現オブジェクトが文字を含んでもよい。仮想空間内の出来事を文字によって表現することで、その出来事を分かりやすくユーザに伝えることができる。

他の側面に係るコンテンツ制御システムでは、少なくとも一つのプロセッサが、端末上に表示された仮想表現オブジェクトを映す場面を含む画像と授業を見ている生徒の視聴者ＩＤとを含む登録要求を取得し、視聴者ＩＤおよび画像を含む辞書データを辞書データベースに格納し、端末からの検索要求に応答して、該検索要求に対応する辞書データを辞書データベースから読み出して該辞書データを端末に出力してもよい。この場合には、仮想表現オブジェクトを映す場面の保存および検索が可能になるので、ユーザは、一度見た仮想表現オブジェクトを後で再び見返すことができる。

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では、モーション特定部１２が、生徒端末（視聴者端末）２０から提供されたモーションデータ、すなわち、生徒（視聴者）のリアルタイムの動きを示すモーションデータに基づいて対象仮想オブジェクトの動きを特定する。しかし、対象仮想オブジェクトの動きを特定する手法はこれに限定されず、これに関連して、視聴者端末はモーション送信部２１に相当する機能を備えなくてもよい。例えば、モーション特定部１２は教師端末３０から提供されるモーションデータ、すなわち、教師（配信者）のリアルタイムの動きを示すモーションデータに基づいて対象仮想オブジェクトの動きを特定してもよい。あるいは、モーション特定部１２は原映像に映る対象仮想オブジェクトの動きを特定してもよい。例えば、モーション特定部１２は、原映像を解析することで、あるいは、原映像データに含まれるシナリオを参照することで、予め記録されている任意の対象仮想オブジェクトの動きを特定してもよい。原映像から選択される対象仮想オブジェクトは任意の有体物を示してよく、例えば、人（アバター）、任意の人工物（例えば、動産、不動産）、任意の自然物（例えば、動物、植物）、および任意の地形（例えば、山、川、地面）のうちの少なくとも一つでもよい。

上記実施形態では、表現データが、視認可能な仮想表現オブジェクトを示すが、表現データの構造はこれに限定されない。したがって、仮想表現オブジェクトは必須ではない。例えば、表現データは、言語表現を音声によって表現する音声データによって実現されてもよく、この場合には、生徒などの視聴者はその言語表現を聴き取ることができる。

上記実施形態ではサーバ１０が辞書管理部１６を備えるが、この機能要素は必須ではない。したがって、コンテンツ制御システムは辞書データの保存および参照に関する機能を有しなくてもよい。これに対応して、視聴者端末は辞書制御部２３に相当する機能を備えなくてもよい。

上記実施形態ではコンテンツ配信システム１がサーバ１０を用いて構成されたが、コンテンツ制御システムは、サーバ１０を用いないユーザ端末間の直接配信に適用されてもよい。この場合には、サーバ１０の各機能要素はいずれかのユーザ端末に実装されてもよく、例えば、配信者端末および視聴者端末のいずれか一方に実装されてもよい。あるいは、サーバ１０の個々の機能要素は複数のユーザ端末に分かれて実装されてもよく、例えば配信者端末および視聴者端末に分かれて実装されてもよい。これに関連して、コンテンツ制御プログラムはクライアントプログラムとして実現されてもよい。コンテンツ制御システムはサーバを用いて構成されてもよいし、サーバを用いることなく構成されてもよい。生徒端末などの視聴者端末がサーバ１０の機能を有することで、サーバの負荷を低減しつつ、共通の教育用コンテンツを多数の生徒に提供することができる。加えて、生徒などの配信者に関する情報（例えば、動作を示す情報）が視聴者端末の外部に送信されないので、視聴者情報の秘密をより確実に守ることが可能になる。

上述したように、コンテンツ制御システムは、教育用コンテンツ以外の任意の種類のコンテンツを制御してもよい。例えば、コンテンツ制御システムはユーザ間の任意の情報伝達またはコミュニケーションを支援するための任意のコンテンツを制御してもよい。

本開示において、「少なくとも一つのプロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、またはこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念である。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。

少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

１…コンテンツ配信システム、１０…サーバ、１１…コンテンツ管理部、１２…モーション特定部、１３…言語表現決定部、１４…オブジェクト設定部、１５…オブジェクト送信部、１６…辞書管理部、２０…生徒端末、２１…モーション送信部、２２…表示制御部、２３…辞書制御部、３０…教師端末、４０…原映像データベース、５０…辞書データベース、３２１，３２２，４１１，４３１，５１１…仮想表現オブジェクト、４００，５００…仮想空間、Ｐ１…サーバプログラム、Ｐ２…クライアントプログラム。

Claims (13)

1. 少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサが、
   仮想空間を見ているユーザのリアルタイムの動きを示すモーションデータを端末から受信し、
   前記モーションデータに基づいて、前記仮想空間内での対象仮想オブジェクトの動きを特定し、
   前記特定された動きに応答して、前記仮想空間内における第１の関連仮想オブジェクトの位置と第２の関連仮想オブジェクトの位置との関係に対応する言語表現を決定し、
   前記特定された動きのタイミングで、前記決定された言語表現に対応する表現データを出力する、
   コンテンツ制御システム。
2. 少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサが、
   仮想空間内での対象仮想オブジェクトの動きを特定し、
   前記特定された動きに応答して、前記仮想空間内における第１の関連仮想オブジェクトの位置と第２の関連仮想オブジェクトの位置との関係に対応する言語表現を決定し、
   前記決定された言語表現に対応する表現データを出力し、
   前記表現データが、文字を用いることなく画像によって示される、
   コンテンツ制御システム。
3. 前記少なくとも一つのプロセッサが、
   過去に撮影または生成された原映像を示す原映像データをデータベースから取得し、
   前記取得された原映像データと前記表現データとを用いてコンテンツデータを生成し、
   前記生成されたコンテンツデータを出力する、
   請求項１または２に記載のコンテンツ制御システム。
4. 前記少なくとも一つのプロセッサが、前記対象仮想オブジェクトの動きを示す前記言語表現を決定する、
   請求項１～３のいずれか一項に記載のコンテンツ制御システム。
5. 前記少なくとも一つのプロセッサが、前記対象仮想オブジェクトの動きに基づいて変化する関連仮想オブジェクトに関連する前記言語表現を決定する、
   請求項１～４のいずれか一項に記載のコンテンツ制御システム。
6. 前記少なくとも一つのプロセッサが、前記対象仮想オブジェクトの動きと前記関連仮想オブジェクトの変化との組合せを示す前記言語表現を決定する、
   請求項５に記載のコンテンツ制御システム。
7. 前記表現データが、文字を含む、
   請求項１に記載のコンテンツ制御システム。
8. 前記表現データが、端末上に表示される仮想表現オブジェクトを示す、
   請求項１～７のいずれか一項に記載のコンテンツ制御システム。
9. 前記少なくとも一つのプロセッサが、
   前記端末上に表示された前記仮想表現オブジェクトを映す場面を含む画像と前記仮想空間を見ているユーザの視聴者ＩＤとを含む登録要求を取得し、
   前記視聴者ＩＤおよび前記画像を含む辞書データを辞書データベースに格納し、
   前記端末からの検索要求に応答して、該検索要求に対応する前記辞書データを前記辞書データベースから読み出して該辞書データを前記端末に出力する、
   請求項８に記載のコンテンツ制御システム。
10. 少なくとも一つのプロセッサを備えるコンテンツ制御システムによって実行されるコンテンツ制御方法であって、
    仮想空間を見ているユーザのリアルタイムの動きを示すモーションデータを端末から受信するステップと、
    前記モーションデータに基づいて、前記仮想空間内での対象仮想オブジェクトの動きを特定するステップと、
    前記特定された動きに応答して、前記仮想空間内における第１の関連仮想オブジェクトの位置と第２の関連仮想オブジェクトの位置との関係に対応する言語表現を決定するステップと、
    前記特定された動きのタイミングで、前記決定された言語表現に対応する表現データを出力するステップと
    を含むコンテンツ制御方法。
11. 少なくとも一つのプロセッサを備えるコンテンツ制御システムによって実行されるコンテンツ制御方法であって、
    仮想空間内での対象仮想オブジェクトの動きを特定するステップと、
    前記特定された動きに応答して、前記仮想空間内における第１の関連仮想オブジェクトの位置と第２の関連仮想オブジェクトの位置との関係に対応する言語表現を決定するステップと、
    前記決定された言語表現に対応する表現データを出力するステップとを含み、
    前記表現データが、文字を用いることなく画像によって示される、
    コンテンツ制御方法。
12. 仮想空間を見ているユーザのリアルタイムの動きを示すモーションデータを端末から受信するステップと、
    前記モーションデータに基づいて、前記仮想空間内での対象仮想オブジェクトの動きを特定するステップと、
    前記特定された動きに応答して、前記仮想空間内における第１の関連仮想オブジェクトの位置と第２の関連仮想オブジェクトの位置との関係に対応する言語表現を決定するステップと、
    前記特定された動きのタイミングで、前記決定された言語表現に対応する表現データを出力するステップと
    をコンピュータに実行させるコンテンツ制御プログラム。
13. 仮想空間内での対象仮想オブジェクトの動きを特定するステップと、
    前記特定された動きに応答して、前記仮想空間内における第１の関連仮想オブジェクトの位置と第２の関連仮想オブジェクトの位置との関係に対応する言語表現を決定するステップと、
    前記決定された言語表現に対応する表現データを出力するステップとをコンピュータに実行させ、
    前記表現データが、文字を用いることなく画像によって示される、
    コンテンツ制御プログラム。

Images