JP6919568B2 - 情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラム - Google Patents

Description

本明細書で開示する技術は、コンテンツ情報を提供する情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラムに関する。

ユーザが自分以外の視界光景（自分以外の移動体から見える光景）にアクセスする技術が知られている。

例えば、車両などの移動体に搭載された移動カメラにより撮像された画像を遠隔的に取得する移動カメラ・システムについて提案がなされている（例えば、特許文献１を参照のこと）。また、撮像センシング無線機器を配置したメガネを掛けた人が取得する視覚情報と同様の情報をヘッド・マウント・ディスプレイの装着者に提供する画像処理システムについて提案がなされている（例えば、特許文献２を参照のこと）。また、移動体の撮像画像を表示する表示装置側から移動体の撮像装置に対して撮像する視点位置及び視線方向、さらに撮影時の速度を指定する画像表示システムについて提案がなされている（例えば、特許文献３を参照のこと）。

さらに、遠隔地のロボットの視覚などの間隔を通じてその場にいるような感覚を伝送するとともに遠隔地の物体を操作するためのインターフェースを提供するテレプレゼンス技術についても提案がなされている（例えば、特許文献４を参照のこと）。

特開２００６−１８６６４５号公報 特開２００４−２２２２５４号公報 特開２００８−１５４１９２号公報 特表２０１４−５２２０５３号公報 特開２０１４−１０４１８５号公報 特開２００５−３０２１０３号公報

本明細書で開示する技術の目的は、コンテンツ情報を提供する情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラムを提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、
を具備する情報処理装置である。

また、本明細書で開示する技術の第２の側面は、
第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
を有する情報処理装置の制御方法である。

また、本明細書で開示する技術の第３の側面は、
第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムである。

本明細書で開示する技術によれば、コンテンツ情報を提供する情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用した視界情報共有システム１００の概要を示した図である。 図２は、１対Ｎのネットワーク・トポロジーを模式的に示した図である。 図３は、Ｎ対１のネットワーク・トポロジーを模式的に示した図である。 図４は、Ｎ対Ｎのネットワーク・トポロジーを模式的に示した図である。 図５は、画像提供装置１０１と画像表示装置１０２の機能的構成例を示した図である。 図６は、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員に制限する仕組み（ＦＩＦＯ方式）を例示した図である。 図７は、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員に制限する仕組み（ＬＩＦＯ方式）を例示した図である。 図８は、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員に制限する仕組み（優先順位方式）を例示した図である。 図９は、定員外のＧｈｏｓｔに対してＢｏｄｙの過去の映像を配信する仕組みを示した図である。 図１０は、Ｂｏｄｙに新規にＪａｃｋＩｎしてきたＧｈｏｓｔに対して一人称映像を配信するための処理手順を示したフローチャートである。 図１１は、３６０度の全天周を所定の角度毎の領域に分割して、全天周映像をチャンネル化して、各チャンネル・サーバを設置した様子を模式的に示した図である。 図１２は、チャンネル・サーバ１１０１が、隣接するチャンネルｃｈ２、ｃｈ３の領域とオーバーラップする領域の映像を配信する様子を示した図である。 図１３は、全天周映像のうち一部の視聴角度に視線が集中する様子を示した図である。 図１４は、Ｇｈｏｓｔに対してＢｏｄｙの全天周映像を配信するための処理手順を示したフローチャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム概要
図１には、本明細書で開示する技術を適用した視界情報共有システム１００の概要を示している。図示の視界情報共有システム１００は、現場を撮影した画像を提供する画像提供装置１０１と、画像提供装置１０１から提供される画像を表示する画像表示装置１０２の組み合わせで構成される。画像提供装置１０１は、情報処理装置あるいは情報端末装置とみなされてもよい。

画像提供装置１０１は、具体的には、実際に現場に居て活動する観察者１１１が頭部に着用するカメラ付きシースルー型のヘッド・マウント・ディスプレイで構成される。ここで言う「シースルー型」のヘッド・マウント・ディスプレイは、光学透過型であることを基本とするが、ビデオ・シースルー型であってもよい。ヘッド・マウント・ディスプレイに搭載されるカメラは、観察者１１１のほぼ視線方向を撮影した映像を提供する。すなわち、画像提供装置１０１は、ユーザにとって持ち運び可能な情報処理装置としてみなされてよい。なお、画像提供装置は、頭部に装着される装置に限定されず、観察者１１１の周囲の撮像情報を取得可能な装置であれば装置構成は特に限定されない。

一方、画像表示装置１０２は、現場すなわち画像提供装置１０１から離間して配置され、画像提供装置１０１と画像表示装置１０２はネットワーク経由で通信することを想定している。ここで言う「離間」には、遠隔地の他、同じ室内でわずかに（例えば、数メートル程度）離れている状況も含むものとする。また、図示しないサーバ装置を介して画像提供装置１０１と画像表示装置１０２の間でデータ交換を行なうことも想定される。

画像表示装置１０２は、例えば、現場には居ない人（撮影画像の視聴者）１１２が着用するヘッド・マウント・ディスプレイである。没入型のヘッド・マウント・ディスプレイを画像表示装置１０２に用いれば、視聴者１１２は、観察者１１１と同じ光景をよりリアルに体験することができる。但し、シースルー型のヘッド・マウント・ディスプレイを画像表示装置１０２に用いてもよい。

また、画像表示装置１０２は、ヘッド・マウント・ディスプレイには限定されず、例えば腕時計型のディスプレイであってもよい。あるいは、画像表示装置１０２は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピュータ・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。本開示において、これらの端末あるいは装置の種類は、外部の情報処理装置（情報端末装置）の関連情報あるいは属性情報としてみなされてもよい。また、外部の情報処理装置の性能や出力形式も、情報処理装置の関連情報に含まれ得る。例えば、外部の情報処理装置の性能は、解像度、フレームレート、伝送レート、あるいはデコードレートといったパラメータを含み得る。外部の情報処理装置の出力形式は、音声出力、画像出力、触覚出力などを含んでよい。

観察者１１１は、実際に現場に居て、自らの身体を以って活動していることから、画像提供装置１０１（情報処理装置）のユーザである観察者１１１（又は、画像提供装置１０１）のことを、以下では「Ｂｏｄｙ」とも呼ぶ。これに対し、視聴者１１２は、現場で身体を以って活動する訳ではないが、観察者１１１の視点から見た映像を視聴することによって現場に対する意識を持つことができる。したがって、画像表示装置１０２のユーザである視聴者１１２（又は、画像表示装置１０２）のことを、以下では「Ｇｈｏｓｔ」とも呼ぶ。

Ｂｏｄｙは、自分の周辺状況をＧｈｏｓｔに伝達し、さらに状況をＧｈｏｓｔと共有する。一方のＧｈｏｓｔは、Ｂｏｄｙとコミュニケーションをとって離間した場所から作業支援などのインタラクションを実現することができる。視界情報共有システム１００において、ＧｈｏｓｔがＢｏｄｙから送られてくる映像に対してインタラクションを行なうことを、以下では「ＪａｃｋＩｎ」とも呼ぶ。

視界情報共有システム１００は、ＢｏｄｙからＧｈｏｓｔへ映像を送信しＧｈｏｓｔ側でも視聴・体験することと、ＢｏｄｙとＧｈｏｓｔ間でコミュニケーションをとることを基本的な機能とする。後者のコミュニケーション機能を利用して、Ｇｈｏｓｔは、Ｂｏｄｙの視界に介入する「視界介入」、Ｂｏｄｙの聴覚に介入する「聴覚介入」、Ｂｏｄｙの身体若しくは身体の一部を動作させたり刺激を与えたりする「身体介入」、ＧｈｏｓｔがＢｏｄｙに代わって現場で話をする「代替会話」といった、遠隔地からの介入によって、Ｂｏｄｙに対するインタラクションを実現することができる。ＪａｃｋＩｎでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがあるということもできる。「視界介入」、「聴覚介入」、「身体介入」、「代替会話」それぞれの詳細については後述に譲る。

Ｇｈｏｓｔは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」を通じて、Ｂｏｄｙに対して現場での行動を指示することができる。例えば、外科手術などの医療現場や土木作業などの建築現場などさまざまな産業分野の作業支援、飛行機やヘリコプターの操縦の指示や誘導、自動車の運転者の案内、スポーツにおけるコーチング若しくはインストラクションなどの用途に視界情報共有システム１００を活用することができる。

例えば、Ｂｏｄｙは、自分の視界を他人と共有したい場合の他、視覚介入などを通じて、現在行なっている作業に対して他人から支援や指示、誘導、案内を受けたい（若しくは、受けなければならない）場合に、自ら主導的に適当なＧｈｏｓｔとのＪａｃｋＩｎ（Ｂｏｄｙ ｉｎｉｔｉａｔｉｖｅ ｓｔａｒｔ）を実施する。

また、Ｇｈｏｓｔは、自分が出向くことなく現場の映像を視聴したい場合の他、視覚介入などを行なうことによって、他人が行なっている作業に対して支援や指示、誘導、案内を行ないたい（若しくは、行なわなければならない）場合に、自ら主導的に該当するＢｏｄｙとのＪａｃｋＩｎ（Ｇｈｏｓｔ ｉｎｉｔｉａｔｉｖｅ ｓｔａｒｔ）を実施する。

但し、Ｂｏｄｙは、無制限に自分の視界や聴覚、身体、会話に介入されると、自分の行動がＧｈｏｓｔに邪魔され、あるいは自分の行動に支障をきたし危険な場合や、プライバシーが侵害されることもある。一方、Ｇｈｏｓｔにとっても、見たくない映像がある場合や、頼まれてもＢｏｄｙに対して適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。したがって、ＧｈｏｓｔのＢｏｄｙへのＪａｃｋＩｎや、ＪａｃｋＩｎした状態でのＧｈｏｓｔからＢｏｄｙへの介入に一定の制限を課すようにしてもよい。

なお、図１では簡素化のため、画像提供装置１０１と画像表示装置１０２がそれぞれ１台しか存在しない、ＢｏｄｙとＧｈｏｓｔが１対１のネットワーク・トポロジーを描いている。図２に示すような、１つのＢｏｄｙと複数（Ｎ）のＧｈｏｓｔが同時にＪａｃｋＩｎする１対Ｎのネットワーク・トポロジーや、図３に示すような、複数（Ｎ）のＢｏｄｙと１つのＧｈｏｓｔが同時にＪａｃｋＩｎするＮ対１のネットワーク・トポロジー、図４に示すような、複数（Ｎ）のＢｏｄｙと複数（Ｎ）のＧｈｏｓｔが同時にＪａｃｋＩｎするＮ対Ｎのネットワーク・トポロジーも想定される。

また、１つの装置がＢｏｄｙからＧｈｏｓｔへ切り替わったり、逆にＧｈｏｓｔからＢｏｄｙへ切り替わったりすることや、同時にＢｏｄｙとＧｈｏｓｔの役割を持つことも想定される。１つの装置がＧｈｏｓｔとしてあるＢｏｄｙにＪａｃｋＩｎすると同時に、他のＧｈｏｓｔに対してＢｏｄｙとして機能して、３台以上の装置がディジーチェーン接続されるネットワーク・トポロジー（図示を省略）も想定される。いずれのネットワーク・トポロジーにおいても、ＢｏｄｙとＧｈｏｓｔ間にサーバ装置（図示しない）が介在することもある。

Ｂ．機能的構成
図５には、画像提供装置１０１と画像表示装置１０２の機能的構成例を示している。

画像提供装置１０１は、Ｂｏｄｙとしての役割を果たすユーザ（観察者１１２）の利用に供される装置である。図５に示す例では、画像提供装置１０１は、撮像部５０１と、画像処理部５０２と、出力部としての表示部５０３、第１の音声出力部５０４、駆動部５０５及び第２の音声出力部５０６と、位置検出部５０７と、通信部５０８と、制御部５０９と、設定部５１０を備えている。これらの画像提供装置１０１の各構成要素５０１〜５１０は、図１に示す通り所定の筐体に対して直接的あるいは間接的に設けられている。

撮像部５０１は、カメラで構成され、例えばＢｏｄｙすなわち観察者１１１の視線方向を撮影するように、観察者１１１の頭部に取り付けられる。あるいは、撮像部５０１に全天周型カメラを用いて、Ｂｏｄｙの周囲３６０度の全天周画像を提供できるようにしてもよい。但し、全天周画像は必ずしも３６０度である必要はなく、一部の視野が欠けていてもよい。また、全天周画像は、情報の少ない床面を含まない半天球画像であってもよい（以下、同様）。なお、撮像部５０１は、例えばＢｏｄｙすなわち観察者１１１が存在する実空間において、撮像画像情報を取得できればよく、種々の装置構成が採用され得る。後述の通り、Ｂｏｄｙすなわち観察者１１１が存在する空間は、実空間に代えて仮想空間として定義することもできる。前述の通り、撮像部５０１は、観察者１１１が存在する空間の情報を取得できればよく、直接的に画像提供装置１０１に設けられている必要はない。例えば、観察者１１１が存在する空間に設けられた撮像装置から撮像画像情報が取得されてよい。

画像処理部５０２は、撮像部５０１から出力される画像信号の処理を行なう。撮像部５０１で撮影される映像をそのままストリーミングする場合、Ｂｏｄｙは自分の意思で周辺を見渡したり視線方向を変えたりするので、Ｇｈｏｓｔは揺れの激しい映像を視聴することになり、健康被害が懸念される。また、Ｂｏｄｙが着目していない別の個所をＧｈｏｓｔが視聴したい場合もある。そこで、画像処理部５０２は、撮像部５０１が撮影する連続画像から周辺の空間を疑似的に構築するようにしている。以下、「実空間」を単に「空間」として言及する場合がある。具体的には、画像処理部５０２は、撮像部５０１が撮影する映像（全天周画像）に対してリアルタイムにＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）認識技術などに基づく空間認識を行ない、現在のビデオ・フレームと過去のビデオ・フレームを空間的につなぎ合わせることで、Ｇｈｏｓｔがコントロールする仮想的なカメラ視点からの映像をレンダリングする。仮想的なカメラ視点でレンダリングされた映像は、Ｂｏｄｙの視点から見た映像というよりも疑似的にＢｏｄｙの体外に離脱した視点映像である。したがって、Ｇｈｏｓｔ側ではＢｏｄｙの動きとは独立にＢｏｄｙの周囲環境を観察できるので、映像の揺れを安定化させて酔いを防ぐとともに、Ｂｏｄｙが着目していない別の個所を視聴することができる。

音声入力部５２１は、マイクなどで構成され、観察者１１１の周囲で発生する音声を集音する。音声処理部５２２は、音声入力部５２１から音声信号の信号処理を行ない、必要に応じてＡＡＶ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などの音響符号化処理を施す。

表示部５０３は、画像表示装置１０２から送られてくる情報を表示出力して、ＧｈｏｓｔによるＢｏｄｙの視界への介入を実現する。上述したように画像提供装置１０１がシースルー型のヘッド・マウント・ディスプレイとして構成される場合、表示部５０３は、Ｂｏｄｙと体験を共有するＧｈｏｓｔの意識を表現したＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を、観察者１１１の視界（すなわち、実世界の風景）に重畳表示する。ＡＲ画像は、例えばＧｈｏｓｔが指し示した場所を示すポインターやアノテーションなどの画像からなる。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその視界に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。

第１の音声出力部５０４は、例えばイヤホンやヘッドホンなどで構成され、画像表示装置１０２から送られてくる情報をＢｏｄｙに聴かせることで、ＧｈｏｓｔによるＢｏｄｙの聴覚への介入を実現する。画像表示装置１０２からは、Ｂｏｄｙと体験を共有するＧｈｏｓｔの意識に関する情報が送信される。画像提供装置１０１側では、受信した情報を音声信号に変換して、第１の音声出力部５０４から音声出力し、Ｂｏｄｙすなわち観察者１１１に聴かせる。あるいは、Ｂｏｄｙから送られてきた映像を視聴中のＧｈｏｓｔが発話した音声信号が、そのまま画像表示装置１０２から送信される。画像提供装置１０１側では、受信した音声信号をそのまま第１の音声出力部５０４から音声出力し、Ｂｏｄｙすなわち観察者１１１に聴かせる。また、第１の音声出力部５０４から出力する音声の音量や音質、出力タイミングなどを適宜調整するようにしてもよい。あるいは、画像表示装置１０２から届く画像情報や文字情報（テキスト情報）を音声信号に変換して、第１の音声出力部５０４から音声出力するようにしてもよい。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその聴覚に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。

駆動部５０５は、Ｂｏｄｙの身体若しくは身体の一部を動作させたり刺激を与えたりして、ＧｈｏｓｔによるＢｏｄｙの身体への介入を実現する。駆動部５０５は、例えば、観察者１１１の身体に対して、触覚（タクタイル）や（健康に害のない程度の軽微な）電気刺激を印加するアクチュエーターで構成される。あるいは、駆動部５０５は、観察者１１１が腕や手、脚などに装着するパワースーツや外骨格（ｅｘｏｓｋｅｌｅｔｏｎ）を駆動することで身体の運動を補助又は拘束する装置（例えば、特許文献５を参照のこと）で構成される。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその身体に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。

第２の音声出力部５０６は、例えばＢｏｄｙが装着するウェアラブル・スピーカーなどで構成され、画像表示装置１０２から届く情報又は音声信号を外部に音声出力する。第２の音声出力部５０６から出力される音声は、現場では、あたかもＢｏｄｙ本人が話しているように聴こえる。したがって、Ｇｈｏｓｔは、Ｂｏｄｙに代わって、Ｂｏｄｙが居る現場の人たちと会話したり、音声による指示を行なったりすること（代替会話）ができる。

位置検出部５０７は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を用いて画像提供装置１０１（すなわちＢｏｄｙ）の現在位置情報を検出する。検出された位置情報は、例えばＧｈｏｓｔが所望する場所にいるＢｏｄｙを検索する際に利用される。

通信部５０８は、ネットワーク経由で画像表示装置１０２と相互接続し、撮影部５０１で撮影した映像や空間情報の送信、画像表示装置１０２とのコミュニケーションを行なう。通信部５０８の通信手段は無線又は有線のいずれでもよく、また、特定の通信規格に限定されない。また、通信部５０８は、サーバ装置（図示しない）を介して画像表示装置１０２と情報通信する場合も想定される。

設定部５１０は、ネットワーク経由で相互接続される画像表示装置１０２（若しくは、そのユーザであるＧｈｏｓｔ）の認証処理やＧｈｏｓｔの属性情報（関連情報）のチェックを行ない、画像表示装置１０２に提供する情報範囲を設定したり、画像表示装置１０２から受信する情報のうち出力部から出力する情報範囲を設定したりする。ここで、ＢｏｄｙからＧｈｏｓｔに提供される各種情報は、Ｂｏｄｙに関連付けられたコンテンツ情報としてみなされてよい。また、本開示において、Ｇｈｏｓｔに提供される情報範囲は、Ｇｈｏｓｔに提供される情報量として定義されてよい。例えば、設定部５１０は、Ｇｈｏｓｔの属性情報に基づいて、撮像部５０１から入力された映像又は音声入力部５２１から入力された音声情報のうちいずれか一方又は両方を、画像表示装置１０２に対して提供する情報範囲に設定する。これにより、Ｇｈｏｓｔの属性情報（関連情報）に基づいて、ＢｏｄｙからＧｈｏｓｔに提供される情報量が制限され得る。例えば、ＢｏｓｙからＧｈｏｓｔに提供される音声情報、映像情報、触覚情報などの少なくとも１つが制限すなわち抑制され得る。また、設定部５１０は、画像表示装置１０２から受信する音声情報、テキスト情報、画像情報などの情報信号のうち出力部で出力する情報範囲を、Ｇｈｏｓｔの属性情報に基づいて設定する。これにより、ＧｈｏｓｔからのＢｏｄｙに対する「視界介入」、「聴覚介入」、「身体介入」、あるいは「代替会話」のための出力を行なうか否か、すなわち各種出力部で出力する情報範囲が設定され得る。

また、設定部５１０は、画像表示装置１０２から受信したアクセス要求に関する所定の条件が満たされたときに、各画像表示装置１０２に対して情報を提供する優先順位の設定を行なう。以下、アクセス要求を単にアクセスという場合がある。ここで言う所定の条件とは、例えば画像提供装置１０１と画像表示装置１０２間のネットワークの通信帯域の容量が所定の制限を超えることや、アクセス数が所定の制限を超えることなどである。より具体的には、アクセス数が所定の制限を超えることは、画像提供装置１０１から提供されるコンテンツ情報に対してリアルタイムのアクセスを要求する画像表示装置１０２の台数がアクセス可能台数（すなわち上限台数）を超えることとみなされてよい。そして、設定部５１０は、ユーザの個人情報及び画像表示装置１０２の固有情報を含む、Ｇｈｏｓｔの属性情報などに基づいて、各画像表示装置１０２の優先順位を設定する。

制御部５０９は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に相当する機能を備えている。制御部５０９は、設定部５１０による認証結果に応じて設定した情報範囲に基づいて、出力部からの出力動作を制御する。また、制御部５０９は、画像表示装置１０２から受信したアクセス要求に関する所定の条件が満たされたときに、設定部５１０で設定された優先順位に基づいて、画像表示装置１０２それぞれへの情報提供を制御するものとみなされてよい。

例えば、認証処理の結果、画像情報が情報範囲に設定された場合（言い換えれば、画像表示装置１０２に視界介入のみが許容されている場合）には、制御部５０９は、表示部５０３からの表示出力のみを実行する。また、音声情報も情報範囲に設定された場合（言い換えれば、画像表示装置１０２に視界介入だけでなく聴覚介入も許容されている場合）には、制御部５０９は、表示部５０３からの表示出力とともに第１の音声出力部５０４からに音声出力も実行する。

画像提供装置１０１が画像表示装置１０２に提供する情報範囲や画像表示装置１０２から受信する情報範囲（言い換えれば、ＢｏｄｙがＧｈｏｓｔからの介入を許容する範囲）は、ｐｅｒｍｉｓｓｉｏｎレベルとして定義される。一方、ＧｈｏｓｔがＢｏｄｙに対して介入を行なう範囲は、ｍｉｓｓｉｏｎレベルとして定義される（後述）。このＧｈｏｓｔからＢｏｄｙに対して介入、すなわちアクセスを行なうにあたって発行される各種信号は、ＧｈｏｓｔからＢｏｄｙへのアクセス要求とみなされてよい。例えば、図５において、画像表示装置１０２から発行されるアクセス要求を受信するサーバ装置の構成要素が、アクセス受信部としてみなされてよい。あるいは、画像提供装置１０１の通信部５０８、設定部５１０、制御部５０９の少なくとも１つがアクセス受信部としてみなされてもよい。但し、設定部５１０及び制御部５０９による上記の処理を、画像提供装置１０１ではなく、画像提供装置１０１と画像表示装置１０２の間に介在するサーバ（図示しない）で実行するように、視界情報共有システム１００を構成することも可能である。この場合、サーバ装置が本開示における情報処理装置としてみなされてもよい。なお、図５においては、画像提供装置１０１は、サーバ装置を介して間接的に、すなわちサーバ装置から直接的にＧｈｏｓｔからのアクセス要求を受信する。本開示の技術はこれに限られず、画像提供装置１０１は画像表示装置から直接的にアクセス要求を受信してもよい。

また、制御部５０９は、通信帯域の容量が制限を超える、あるいはアクセス数が制限を超えるなど、発生したアクセスに関し所定の条件が満たされたときに設定部５１０により設定される優先順位に基づいて、画像表示装置１０２への情報（撮像部５０１で撮影された映像や音声入力部５２１で入力された音声など）の送信を実施する。

一方、画像表示装置１０２は、Ｇｈｏｓｔとしての役割を果たすユーザ（視聴者１１２）の利用に供される装置である。図５に示す例では、画像表示装置１０２は、通信部５１１と、画像復号部５１２と、表示部５１３と、ユーザ入力部５１４と、位置姿勢検出部５１５を備えている。

通信部５１１は、ネットワーク経由で画像提供装置１０１と相互接続し、画像提供装置１０１から映像の受信や、画像提供装置１０１とのコミュニケーションを行なう。通信部５１１の通信手段は無線又は有線のいずれでもよく、特定の通信規格に限定されないが、画像提供装置１０１側の通信部５０８と整合しているものとする。また、通信部５１１は、サーバ装置（図示しない）を介して画像提供装置１０１と情報通信する場合も想定される。

画像復号部５１２は、通信部５１１で画像提供装置１０１から受信した画像信号を復号処理する。表示部５１３は、画像復号部５１２で復号した後の全天周画像を表示出力する。なお、Ｂｏｄｙの視点映像からＢｏｄｙの体外に離脱した視点映像をレンダリングする処理（前述）を、画像提供装置１０１側の画像処理部５０２ではなく、画像復号部５１２で行なうようにしてもよい。

位置姿勢検出部５１５は、視聴者１１２の頭部の位置及び姿勢を検出する。検出した位置及び姿勢は、Ｇｈｏｓｔの現在の視点位置及び視線方向に相当する。Ｂｏｄｙの視点映像から疑似的にＢｏｄｙの体外に離脱した視点映像を作り出す際の仮想的なカメラ（前述）の視点位置及び視線方向を、位置姿勢検出部５１５で検出した視聴者１１２の頭部の位置及び姿勢に基づいてコントロールすることができる。

表示部５１３は、例えば、Ｇｈｏｓｔとしての視聴者１１２が着用するヘッド・マウント・ディスプレイで構成される。没入型のヘッド・マウント・ディスプレイを表示部５１３に用いれば、視聴者１１２は、観察者１１１と同じ光景をよりリアルに体験することができる。視聴者１１２すなわちＧｈｏｓｔが視聴する映像は、Ｂｏｄｙの視点映像そのものではなく、その連続画像から疑似的に構築された周辺の空間（疑似的にＢｏｄｙの体外に離脱した視点映像）であるとする（前述）。また、Ｇｈｏｓｔのヘッド・トラッキング、すなわち位置姿勢検出部５１５で検出した視聴者１１２の視点位置及び視線方向に追従するように仮想カメラを制御して、表示部５１３の表示画角を移動させることができる。

表示部５１３として、没入型のヘッド・マウント・ディスプレイに代えて、シースルー型のヘッド・マウント・ディスプレイや、腕時計型のディスプレイなどのウェアラブル端末を用いてもよい。あるいは、表示部５１３は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピュータ・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。

ユーザ入力部５１４は、Ｇｈｏｓｔとしての視聴者１１２が、表示部５１３に表示されているＢｏｄｙから送られてきた映像を観察したことに対して、Ｇｈｏｓｔ自身の意図や意識を入力するためのデバイスである。

ユーザ入力部５１４は、例えばタッチパネルやマウス、ジョイスティックなどの座標入力装置で構成される。Ｇｈｏｓｔは、Ｂｏｄｙから送られてきた映像を表示する画面内で、特に関心のある場所を、タッチやマウスのクリック操作などにより直接指示することができる。Ｇｈｏｓｔは視聴している映像の画素座標上に指示を行なうが、Ｂｏｄｙ側の撮影映像は常に変化するので意味をなさない。そこで、ユーザ入力部５１４は、Ｇｈｏｓｔが画面のタッチやクリック操作などにより指示した画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。

また、ユーザ入力部５１４は、カメラによるＧｈｏｓｔの顔の撮影画像や眼電位を用いて眼球運動を捕捉して、Ｇｈｏｓｔが熟視（ｇａｚｅ）している場所を割り出し、その場所を特定する情報を画像提供装置１０１に送信するようにしてもよい。その際も、ユーザ入力部５１４は、Ｇｈｏｓｔが熟視する画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。

また、ユーザ入力部５１４は、キーボードなどの文字入力装置で構成される。Ｇｈｏｓｔは、送られてきた映像を視聴してＢｏｄｙと同じ体験をしたときに、Ｂｏｄｙに伝えたい意図や抱いた意識などを、文字情報として入力することができる。ユーザ入力部５１４は、Ｇｈｏｓｔが入力した文字情報をそのまま画像提供装置１０１に送信してもよいし、音声信号など他の信号形式に置き換えてから画像提供装置１０１に送信するようにしてもよい。

また、ユーザ入力部５１４は、マイクなどの音声入力装置で構成され、Ｇｈｏｓｔが発話した音声を入力する。ユーザ入力部４１４は、入力された音声を、音声信号のままで、通信部５１１から画像提供装置１０１へ送信してもよい。あるいは、ユーザ入力部５１４は、入力音声を音声認識して文字情報に変換し、文字情報として画像提供装置１０１に送信するようにしてもよい。この音声情報の文字情報への変換により、Ｇｈｏｓｔが発生した音声からＧｈｏｓｔの属性情報、すなわち個人情報がＢｏｄｙに伝わることが抑制され得る。

Ｇｈｏｓｔは、Ｂｏｄｙから送られてきた映像を視聴しながら、「その」、「これ」といった指示語を使って事物を指し示すことが想定される。このような場合、ユーザ入力部５１４は、指示語が指し示す事物の３次元空間上の位置情報を言語解析並びに画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。

また、ユーザ入力部５１４は、Ｇｈｏｓｔの身振りや手振りを入力するジェスチャー入力装置でもよい。ジェスチャーを捕捉する手段は特に限定されない。例えば、ユーザ入力部５１４は、Ｇｈｏｓｔの四肢の動きを撮影するカメラとその撮影画像を処理する画像認識装置を備えていてもよい。また、画像認識を容易にするために、Ｇｈｏｓｔの身体にマーカーを取り付けていてもよい。あるいは、ユーザ入力部５１４は、Ｇｈｏｓｔの身体に取り付けるジャイロ・センサーや加速度センサーで構成され、Ｇｈｏｓｔの身体の動きを検出する。

ユーザ入力部５１４は、入力されたジェスチャーを、例えばＢｏｄｙの身体に介入する制御信号として、通信部５１１から画像提供装置１０１へ送信してもよい。また、ユーザ入力部５１４は、入力されたジェスチャーを、Ｂｏｄｙの視界に介入する画像情報（座標情報や、重畳表示するＡＲ画像、又は文字情報など）や、Ｂｏｄｙの聴覚に介入する音声信号に変換して、通信部５１１から画像提供装置１０１へ送信してもよい。また、ユーザ入力部５１４は、Ｇｈｏｓｔがジェスチャーにより指示した画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。

また、ユーザ入力部５１４は、カメラで撮影したＧｈｏｓｔの画像解析や、Ｇｈｏｓｔの身体に取り付けるジャイロ・センサーや加速度センサーの検出結果などに基づいてえられるＧｈｏｓｔの動作を、仮想空間（ＶＲ空間）上での移動などの指示として入力する。

視界情報共有システム１００において展開されるＪａｃｋＩｎというサービスは、ＡＲ画像を重畳表示するという観点からは、一般的なＡＲ技術に類似する。但し、ＪａｃｋＩｎにおいては、人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）を拡張するという点で、コンピュータにより付与される通常のＡＲ技術とは相違するものと思料する。

また、ＪａｃｋＩｎは、テレプレゼンス（前述）と類似する点もある。但し、通常のテレプレゼンスは、ロボットのような機械の視点から世界を眺めるインターフェースであるのに対し、ＪａｃｋＩｎは人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）の視点から眺めるという状況であるという点で相違する。また、テレプレゼンスでは、人間がマスターで機械がスレーブとなり、スレーブである機械は人間の動きを忠実に再現することを前提としている。これに対し、人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）にＪａｃｋＩｎする場合、ＢｏｄｙはＧｈｏｓｔに従って動くとは限らず、独立性を許すインターフェースである。

上記の視界情報共有システム１００において、画像提供装置１０１から画像表示装置１０２に提供される映像は、Ｂｏｄｙが現場で観察しているリアルタイム映像（すなわち、撮影部５０１が撮影するライブ映像）とは限らず、録画された過去の映像であってもよい。例えば、画像提供装置１０１が過去の映像を録画する大容量記憶装置（図示しない）を備え、画像提供装置１０１から過去の映像を配信するようにしてもよい。あるいは、ＢｏｄｙとＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバ（仮称）、あるいはその他の記録サーバ上で画像提供装置１０１による過去の録画映像を蓄積しておき、これらのサーバからＧｈｏｓｔ（画像表示装置１０２）に過去の映像をストリーミング配信するようにしてもよい。但し、Ｇｈｏｓｔは、過去の映像を視聴する場合には、Ｂｏｄｙに対して視覚、聴覚を含む一切の介入が許されないものとみなされてもよい。何故ならば、Ｇｈｏｓｔが視聴している映像はＢｏｄｙが現在作業を行なっている現場の映像ではなく、過去の映像に基づいて介入するとＢｏｄｙの現在の作業に支障をきたすからである。

なお、２台の機器間における視界共有の詳細については、例えば本出願人に既に譲渡されている特願２０１３−７８８９３号明細書も参照されたい。また、同システム１００における視界介入（ＡＲ画像の表示）の詳細については、例えば本出願人に既に譲渡されている特願２０１３−７８８９２号明細書、特願２０１３−７８８９４号明細書、特願２０１３−１９１４６４号明細書も参照されたい。

Ｃ．Ｍｉｓｓｉｏｎ−Ｐｅｒｍｉｓｓｉｏｎ（ＢｏｄｙとＧｈｏｓｔのマッチング）
ＪａｃｋＩｎでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがある。したがって、Ｂｏｄｙは、ＧｈｏｓｔとのＪａｃｋＩｎを開始することによって、自分の視界をＧｈｏｓｔと共有できるとともに、視界介入などを通じて、現在行なっている作業に対してＧｈｏｓｔから支援や指示、誘導、案内を受けることができる。また、Ｇｈｏｓｔは、ＢｏｄｙとのＪａｃｋＩｎを開始することによって、自分は現場に出向かなくてもＢｏｄｙと同じ体験をすることができるとともに、視界介入などを通じてＢｏｄｙの作業に対して支援や指示、誘導、案内を行なうことができる。

ところが、Ｂｏｄｙは、Ｇｈｏｓｔから無制限に自分の視界や聴覚、身体に介入されたり代替会話が行なわれたりすると、Ｂｏｄｙ自身の行動がＧｈｏｓｔに邪魔され、あるいは行動に支障をきたし危険にさらされる場合や、プライバシーが侵害されることもある。一方、Ｇｈｏｓｔにとっても、見たくない映像がある場合や、Ｂｏｄｙから頼まれても適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。すなわち、ＢｏｄｙとＧｈｏｓｔのミスマッチが問題となる。

そこで、本実施形態では、ＢｏｄｙとＧｈｏｓｔ間の適切なマッチングを実現するために、「ｐｅｒｍｉｓｓｉｏｎ」と「ｍｉｓｓｉｏｎ」を定義する。ＢｏｄｙがＧｈｏｓｔからの介入を許容する範囲を「ｐｅｒｍｉｓｓｉｏｎ」として定義し、Ｇｈｏｓｔからの介入をｐｅｒｍｉｓｓｉｏｎで規定する範囲に限定する。一方、ＧｈｏｓｔがＢｏｄｙに対して介入する操作の範囲を「ｍｉｓｓｉｏｎ」として定義し、ＧｈｏｓｔがＢｏｄｙに介入できる範囲をｍｉｓｓｉｏｎで規定する範囲に限定する。

Ｃ−１．Ｐｅｒｍｉｓｓｉｏｎ
まず、ｐｅｒｍｉｓｓｉｏｎについて説明する。各Ｂｏｄｙは、以下に例示するように介入を許容するレベルの異なるｐｅｒｍｉｓｓｉｏｎを、それぞれ適宜設定することができる。

（レベル１）視界交換しか許容しない。この場合、画像提供装置１０１は、撮像部５０１の撮像画像の送信のみを行ない、出力部を一切動作させない。
（レベル２）視界交換と視界介入までしか許容しない。この場合、画像提供装置１０１は、撮像部５０１の撮像画像を送信するとともに、表示部５０３の表示出力のみを行なう。
（レベル３）さらに聴覚介入も許容する。この場合、画像提供装置１０１は、撮像部５０１の撮像画像を送信するとともに、表示部５０３の表示出力並びに第１の音声出力部５０４からの音声出力を行なう。
（レベル４）身体介入及び代替会話を含む、すべての介入を許容する。この場合、画像提供装置１０１は、さらに駆動部５０５を駆動できるとともに、第２の音声出力部５０６から音声を外部出力することができる。

また、各Ｂｏｄｙは、すべてのＧｈｏｓｔに対して一様なｐｅｒｍｉｓｓｉｏｎを与えるのではなく、Ｇｈｏｓｔ毎に個別のｐｅｒｍｉｓｓｉｏｎを与えるようにしてもよい。

例えば、Ｂｏｄｙは、Ｇｈｏｓｔのユーザ属性に応じたｐｅｒｍｉｓｓｉｏｎを設定してもよい。ここで言うユーザ属性とは、年齢、性別、Ｂｏｄｙとの人間関係（続柄、友人、上司と部下など）、出身地、職業、資格といった個人情報の他、支援対象となる作業のスキルのレーティング情報、過去のＧｈｏｓｔ（アシスタントやインストラクターなど）としての実績（これまで何時間その作業を経験したか）や評価（ｒｅｖｉｅｗ）、他のＢｏｄｙによる評判（投稿や投票結果など）などの情報を含むものとする。

また、Ｂｏｄｙは、属性に応じたｐｅｒｍｉｓｓｉｏｎを設定するのではなく、個人単位でｐｅｒｍｉｓｓｉｏｎを設定してもよい（Ａさん用のｐｅｒｍｉｓｓｉｏｎ、Ｂさん用のｐｅｒｍｉｓｓｉｏｎ、…など）。言い換えれば、ＢｏｄｙとＧｈｏｓｔの組み合わせ毎にｐｅｒｍｉｓｓｉｏｎを設定してもよい。Ｂｏｄｙは、自分との人間関係に基づいてｐｅｒｍｉｓｓｉｏｎを設定してもよいし、Ｂｏｄｙが個人的に把握しているＧｈｏｓｔ自身の能力に基づいてｐｅｒｍｉｓｓｉｏｎを設定してもよい。また、ＢｏｄｙとＧｈｏｓｔ間での一対一のネゴシエーションや調停などにより、Ｇｈｏｓｔに一時的なｐｅｒｍｉｓｓｏｎを付与する方法（あるＧｈｏｓｔに、所定期間だけ高レベルのｐｅｒｍｉｓｓｏｎを付与し、その期間が経過すると元のレベルのｐｅｒｍｉｓｓｉｏｎに戻す）も考えられる。また、Ｂｏｄｙは、自分へのＪａｃｋＩｎを禁止するユーザを設定できるようにしてもよい。

人間関係に基づくｐｅｒｍｉｓｓｉｏｎ設定の簡単な例を以下に挙げておく。

（例１）他人に対しては視界共有（レベル１のｐｅｒｍｉｓｓｉｏｎ）しか許容しない。
（例２）友人には視界介入並びに聴覚介入（レベル２又は３のｐｅｒｍｉｓｓｉｏｎ）まで許容する。
（例３）親しい友人や認証若しくは資格を得ている人には特別に身体介入（レベル４のｐｅｒｍｉｓｓｉｏｎ）を許容する。又は、一時的に代替会話を許容する。

ｐｅｒｍｉｓｓｉｏｎ設定の他の例として、ＢｏｄｙがＪａｃｋＩｎを有料サービス化（すなわちｍｏｎｅｔｉｚｅ）する場合を挙げることができる。Ｇｈｏｓｔは、支払う利用料に応じて、上記のレベル１〜４のいずれかのｐｅｒｍｉｓｓｉｏｎが設定され、ＢｏｄｙとＪａｃｋＩｎすることができる。

（例４）５ドル支払うＧｈｏｓｔに対しては、視界共有（レベル１のｐｅｒｍｉｓｓｉｏｎ）しか許容しない。
（例５）１０ドル支払うＧｈｏｓｔには、視界介入並びに聴覚介入（レベル２又は３のｐｅｒｍｉｓｓｉｏｎ）まで許容する。
（例６）１００ドル支払うＧｈｏｓｔには、身体介入（レベル４のｐｅｒｍｉｓｓｉｏｎ）を許容する。又は、一時的に代替会話を許容する。

Ｃ−２．Ｍｉｓｓｉｏｎ
次に、ｍｉｓｓｉｏｎについて説明する。本実施形態では、ＧｈｏｓｔがＢｏｄｙに対して介入する操作の範囲を「ｍｉｓｓｉｏｎ」として定義し、ＧｈｏｓｔがＢｏｄｙに介入できる範囲をｍｉｓｓｉｏｎで規定する範囲に限定する。Ｇｈｏｓｔのｍｉｓｓｉｏｎは、例えば、Ｇｈｏｓｔ自身が背負っている使命や能力の範囲で設定される。ｍｉｓｓｉｏｎは、個々のＧｈｏｓｔが自分で勝手に決めるものではなく、例えば権威のある機関などによって許可若しくは認証されていることが好ましい。Ｇｈｏｓｔに課された使命、職務、職業や、資格、介入のスキルのレーティング、過去のＧｈｏｓｔ（アシスタントやインストラクターなど）としての実績（Ｇｈｏｓｔとしての経験時間など）や評価（ｒｅｖｉｅｗ）、Ｂｏｄｙによる評判（投稿や投票結果など）などに応じて、以下に例示するようなレベルの異なるｍｉｓｓｉｏｎを定義することができる。

（レベル１）視界交換しか行なわない。この場合、画像表示装置１０２は、画像提供装置１０１から受信した画像の表示のみを行なう。
（レベル２）視界交換と視界介入まで行なう。この場合、画像表示装置１０２は、画像提供装置１０１から受信した画像を表示するとともに、画像提供装置１０１側で表示すべき画像（重畳表示して、視界に介入すべき画像）に関する情報を送信する。
（レベル３）さらに聴覚介入も行なう。この場合、画像表示装置１０２は、画像提供装置１０１で出力すべき音声（ Ｂｏｄｙに聴かせるべき音声）に関する情報をさらに送信する。
（レベル４）身体介入及び代替会話を含む、すべての介入を行なう。この場合、画像表示装置１０２は、駆動部５０５を動作させる情報や、第２の音声出力部５０６から外部に出力すべき音声に関する情報をさらに送信する。

ＢｏｄｙがＧｈｏｓｔとのＪａｃｋＩｎを開始する際には、Ｇｈｏｓｔの個人情報や属性情報に基づいてフィルタリングし、さらにはＢｏｄｙが指定するｐｅｒｍｉｓｓｉｏｎとＧｈｏｓｔが持つｍｉｓｓｉｏｎを照合して、ＪａｃｋＩｎの可否や、ＪａｃｋＩｎした状態での介入可能な範囲を判定するようにすればよい。例えば、不特定多数のＧｈｏｓｔ（Ｌａｒｇｅ ｎｕｍｂｅｒ Ｇｈｏｓｔ）を対象にして、Ｂｏｄｙが主導的にＪａｃｋＩｎを開始するとき（Ｂｏｄｙ ｉｎｉｔｉａｔｉｖｅ ｓｔａｒｔ）に、フィルタリング処理は有効である。なお、本明細書において、Ｇｈｏｓｔの属性情報は、ユーザの個人情報及び画像表示装置１０２の固有情報を含むものとみなされてよい。ここで、画像表示装置１０２の固有情報には、画像表示装置１０２毎のＩＤ、性能、情報の出力形式に関する情報が含まれ得る。

このようなフィルタリング処理は、Ｂｏｄｙ側（すなわち、画像提供装置１０１）で行なうようにしてもよいし、多数のＢｏｄｙ及び多数のＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバ（仮称）が行なうようにしてもよい。

Ｂｏｄｙにｐｅｒｍｉｓｓｉｏｎを設定するとともに、Ｇｈｏｓｔにｍｉｓｓｉｏｎを設定することによって、ＪａｃｋＩｎを開始する際のＧｈｏｓｔの選定や、Ｇｈｏｓｔが介入する範囲を決定する処理を自動化し易くなる。例えば、不特定多数のＧｈｏｓｔがＪａｃｋＩｎしてくる際には、Ｂｏｄｙは各Ｇｈｏｓｔに介入を許容するレベルを機械的に判断することができ、便利である。勿論、あらかじめ設定したｐｅｒｍｉｓｓｏｎ及びｍｉｓｓｉｏｎなどの情報に基づいて機械的に判断するのではなく、ＢｏｄｙとＧｈｏｓｔ間の一対一のネゴシエーションや調停などにより、ＪａｃｋＩｎの可否や介入のレベルをその場で取り決めを交わすようにしてもよい。

Ｄ．Ｇｈｏｓｔの定員処理
図２に示したように、１人のＢｏｄｙに対して複数のＧｈｏｓｔがＪａｃｋＩｎするケース、すなわち、１台の画像提供装置１０１で撮影された（一人称）映像を、同時に複数台の画像表示装置１０２に配信するケースが想定される。ＧｈｏｓｔがＢｏｄｙの視覚や聴覚などに介入することなどを考慮すると、Ｂｏｄｙの映像をリアルタイムでＧｈｏｓｔが視聴することが好ましい。

ところが、同時にＪａｃｋＩｎするＧｈｏｓｔが多数になると、通信帯域の問題などにより、映像の伝送遅延が顕在化するという問題が生じる。

そこで、Ｂｏｄｙは、同時にＪａｃｋＩｎするＧｈｏｓｔの定員（上限）を設定するようにしてもよい。ＪａｃｋＩｎできるＧｈｏｓｔに定員を設定した場合、定員を超えて新規にＧｈｏｓｔがＪａｃｋＩｎしてきたときには、定員を超えたＧｈｏｓｔを追い出して、リアルタイム映像を配信するＧｈｏｓｔの数を定員以内に制限するようにする。

ここで、定員は、例えば、通信帯域の容量制限などに応じて決められる数である。あるいは、定員は、Ｂｏｄｙが自分への介入を許容するＧｈｏｓｔの数であってもよい。

Ｄ−１．追い出すＧｈｏｓｔの選定方法
ＪａｃｋＩｎできるＧｈｏｓｔに定員を設定する場合、定員を超えて新規にＧｈｏｓｔがＢｏｄｙにＪａｃｋＩｎしてきたときには、追い出すべきＧｈｏｓｔを選定する処理が必要になる。すなわち、Ｇｈｏｓｔは、相対的に高い優先順位を有するＧｈｏｓｔと、相対的に低い優先順位を有するＧｈｏｓｔを少なくとも含むとみなされてよい。例えば、以下の方法を挙げることができる。

（１）ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ：先入れ先出し）方式
（２）ＬＩＦＯ（Ｌａｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ：後入れ先出し）方式
（３）優先順位方式

ＦＩＦＯ方式によれば、先にＪａｃｋＩｎしてきたＧｈｏｓｔから順に追い出して、新規のＧｈｏｓｔがＪａｃｋＩＮすることができることになるので（図６を参照のこと）、Ｂｏｄｙと同じ一人称体験する機会が各Ｇｈｏｓｔに平等に割り当てられるというメリットがある。

一方、ＬＩＦＯ方式によれば、後からＪａｃｋＩｎしてきたＧｈｏｓｔが追い出されるので（図７を参照のこと）、定員に達した以降は新規のＧｈｏｓｔがＪａｃｋＩｎできる機会がなくなるが、先にＪａｃｋＩｎしてきてＢｏｄｙへの支援などの習熟度が高くなったＧｈｏｓｔからの支援や指示、誘導、案内を、Ｂｏｄｙが受け続けることができる、といったメリットがある。

図８には、優先順位方式でＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員以内に抑える仕組みを図解している。同図では、優先順位を濃淡で表現している（濃い色のＧｈｏｓｔほど高優先順位である）。新規にＧｈｏｓｔがＪａｃｋＩｎしてくると、これよりも優先順位の低い方から順に追い出されていく。

優先順位方式を採用する場合、各Ｇｈｏｓｔに優先順位を割り当てるさまざまの方法が挙げられる。例えば、Ｂｏｄｙとの人間関係や、職業、資格、過去の実績や評価、評判などに応じて、各Ｇｈｏｓｔに優先順位を割り当てるようにしてもよい。また、ＢｏｄｙがＪａｃｋＩｎを有料サービス化（すなわちｍｏｎｅｔｉｚｅ）している場合には、Ｇｈｏｓｔが支払う金額の高低に応じて優先順位を割り当てるようにすれば、サービスの運営を財政面でサポートし易くなる。勿論、各Ｇｈｏｓｔに割り当てる優先順位を動的に変更させるようにしてもよい。

Ｄ−２．追い出したＧｈｏｓｔへの過去の映像配信
定員外として追い出したＧｈｏｓｔをＢｏｄｙの一人称映像から完全に分断させてもよいが、定員外のＧｈｏｓｔに対して通信帯域に過度の負荷がかからない（定員以内のＧｈｏｓｔへの映像配信に影響を与えない）方法により、映像配信を行なうようにしてもよい。

一例として、Ｂｏｄｙからのリアルタイム映像の伝送は行なわないが、過去の映像に代えて提供するという方法も考えられる。この方法によれば、定員からあふれたＧｈｏｓｔを単に追い出すのではなく、「過去に追い出す」と表現することもできる。

具体的には、Ｂｏｄｙすなわち画像提供装置１０１から（定員以内の）Ｇｈｏｓｔに配信されるリアルタイム映像を外部装置で録画しておき、追い出されたＧｈｏｓｔに対しては、Ｂｏｄｙではなく外部装置から過去の映像を配信するようにする（図９を参照のこと）。ここで言う外部装置は、例えばＢｏｄｙとＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバ（仮称）、あるいはその他の記録サーバである。定員外のＧｈｏｓｔへの映像配信を記録サーバに委ねることによって、Ｂｏｄｙすなわち画像提供装置１０１の負荷を分散することができる。

外部装置からＧｈｏｓｔへ届く映像は、録画などの処理のために遅延した過去の映像であり、ライブではないため、Ｂｏｄｙに対して視覚、聴覚を含む一切の介入が許されないとみなされてよい。しかしながら、Ｇｈｏｓｔは、時間の遅延を許容する限りにおいて、Ｂｏｄｙの一人称体験を追体験することができる。

また、定員以内のＧｈｏｓｔが外れたことによって、定員（通信帯域の容量制限など）に余裕ができて、これまで定員外であったＧｈｏｓｔが定員に入る（若しくは、定員に復帰する）ことができることも想定される。このような場合、Ｇｈｏｓｔへ配信する映像を過去の映像からリアルタイム映像に切り替えると、Ｇｈｏｓｔはその時間差分の映像の情報を失ってしまうことになる。そこで、過去の映像配信からリアルタイム映像配信に切り替える際には、いわゆる「追っかけ再生」若しくは「タイムシフト再生」の処理（例えば、特許文献６を参照のこと）を行なうことによって、Ｇｈｏｓｔが視聴する映像を過去の映像からリアルタイム映像に追いつかせるようにしてもよい。Ｘ倍速（但し、Ｘは１より大きい値）、例えば、１．０ｘ倍速で追っかけ再生すれば、Ｇｈｏｓｔは、違和感なく追っかけ再生される映像を視聴できるとともに、シームレスにリアルタイム映像に切り替えて視聴することができる。

図１０には、Ｂｏｄｙに新規にＪａｃｋＩｎしてきたＧｈｏｓｔに対して一人称映像を配信するための処理手順をフローチャートの形式で示している。

Ｂｏｄｙは、自分に新規のＧｈｏｓｔがＪａｃｋＩｎしてくると（ステップＳ１００１のＹｅｓ）、ＪａｃｋＩｎしたＧｈｏｓｔの総数がまだ定員以内かどうかをチェックする（ステップＳ１００２）。

ここで、ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔを加えても定員を超えていない場合には（ステップＳ１００２のＮｏ）、Ｂｏｄｙは、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔに対してリアルタイムの一人称映像の配信を開始する（ステップＳ１００３）。

一方、ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔを加えるとＢｏｄｙの定員を超えてしまう場合には（ステップＳ１００２のＹｅｓ）、Ｂｏｄｙは、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔが定員以内か否か（言い換えれば、そのＧｈｏｓｔを追い出すべきか否か）を定員判定処理する（ステップＳ１００７）。Ｇｈｏｓｔを追い出すべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。

ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔが定員以内であると判定された場合には（ステップＳ１００８のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対してリアルタイムの一人称映像の配信を開始する（ステップＳ１００３）。

また、ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔが定員を外れる（すなわち、追い出すべき）と判定された場合には（ステップＳ１００８のＮｏ）、そのＧｈｏｓｔに対して、（例えば記録サーバからの）過去の一人称映像の配信を開始する（ステップＳ１００９）。Ｂｏｄｙ（画像提供装置１０１）ではなく、記録サーバが過去の一人称映像を配信するので、映像伝送の負荷が分散される（前述）。

そして、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔに対して過去の一人称映像の配信中に（ステップＳ１００９）、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数が減少して定員に空きが生じると（ステップＳ１０１０のＹｅｓ）、Ｂｏｄｙは、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れるべきか否かを定員判定処理する（ステップＳ１０１１）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。

ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れるべきでない（すなわち、追い出したままにすべき）と判定された場合には（ステップＳ１０１２のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続して（記録サーバから）過去の一人称映像を配信する（ステップＳ１００９）。

また、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れるべきであると判定された場合には（ステップＳ１０１２のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、記録サーバからの追っかけ再生（前述）を実施した後（ステップＳ１０１３）、リアルタイムの一人称映像の配信に切り替える（ステップＳ１００３）。

また、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔに対してリアルタイムの一人称映像の配信中に（ステップＳ１００３）、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数が増加して定員オーバーが生じると（ステップＳ１００４のＹｅｓ）、そのＧｈｏｓｔを定員の中に入れたままで良いか否か（言い換えれば、追い出すべきか否か）を定員判定処理する（ステップＳ１００５）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。

ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れたままで良いと判定された場合には（ステップＳ１００６のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続してリアルタイムの一人称映像を配信する（ステップＳ１００３）。

また、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを追い出すべき判定された場合には（ステップＳ１００６のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、（例えば記録サーバからの）過去の一人称映像の配信に切り替える（ステップＳ１００９）。

図１０に示した処理手順に従えば、Ｂｏｄｙすなわち画像提供装置１０１の負荷分散のために追い出されたＧｈｏｓｔに対しては、例えば記録サーバから５分などの時間遅延を持った状態で配信される映像を視聴することができる。そして、Ｇｈｏｓｔは、追い出された状態から復帰したときには、リアルタイム映像の視聴に即座に戻るのではなく、映像の速度を１．０５倍の速度などにした追っかけ再生を実施して、徐々に（すなわち、シームレスに）現在時刻の映像に戻る。

Ｄ−３．全天周映像配信時における定員問題の解決
Ｂｏｄｙから配信する一人称映像が、３６０度の全天周映像の場合、Ｇｈｏｓｔへすべての映像を送ると伝送負荷が高い。一方、Ｇｈｏｓｔにとっても、３６０度すなわち全周囲の映像を観察できる訳ではなく、実際に見ることができるのは視線方向を中心にした所定の視野角内に限られる。したがって、３６０度の全天周映像を常に配信するのは無駄である。

そこで、図１１に示すように、３６０度の全天周を所定の角度毎の領域に分割して、全天周映像をチャンネル化して、チャンネル（領域）毎の映像を配信するチャンネル・サーバ１１０１、１１０２、…を設置することによって、全天周映像を配信する際の負荷を分散する方法が考えられる。各Ｇｈｏｓｔに対しては、現在の視線方向に対応するチャンネル・サーバ１１０１、１１０２、…から映像が配信される。また、Ｇｈｏｓｔ側で視線方向が変化すると、これに応じてチャンネル・サーバを切り替えることによって、視線方向に適合した映像を視聴することができる。

全天周を領域分割する角度（中心角）は、人間の視野角を十分カバーできる大きさであることが好ましい。図１１に示す例では、図面の簡素化のため、全天周を９０度毎に４つの領域のチャンネルｃｈ１、ｃｈ２、…に分割して、各領域の映像をそれぞれのチャンネル・サーバ１１０１、１１０２、…から配信するようにしている。また、チャンネル切り替えの際に、領域の境界が見えたり映像が途切れたりしないように、隣接する領域（チャンネル）の境界の映像がオーバーラップするように、各チャンネルの映像を制作することが好ましい。図１２には、チャンネル・サーバ１１０１が、隣接するチャンネルｃｈ２、ｃｈ３の領域とオーバーラップする領域の映像を配信する様子を示している。

上記のように、全天周映像をチャンネル化して、チャンネル（領域）毎に別々のチャンネル・サーバから映像を配信するようにすることで、全天周映像の配信の負荷を分散することができる。

ところが、全天周のうちＧｈｏｓｔの視聴角度が一箇所に集中するという事態が想定される。例えば、コンサートを鑑賞若しくは観覧しているＢｏｄｙの全天周映像を配信する場合、Ｇｈｏｓｔの視聴角度はステージ上若しくは特定のアーティストに集中しがちである。

図１３には、Ｂｏｄｙの全天周映像を視聴する各Ｇｈｏｓｔの視聴角度を例示している。同図中、矢印が中央の視点位置からの視線方向を示しているものとする。図示の例では、チャンネルｃｈ１内に視聴角度が集中しているため、チャンネル・サーバ１１０１に伝送負荷が集中する。

このような事態を回避するため、チャンネル・サーバ毎、言い換えれば全天周映像の領域毎に、視聴可能なＧｈｏｓｔの定員を設定して、Ｄ−１項で説明したと同様のＧｈｏｓｔの追い出し処理を実施するようにすればよい。上述したように、ＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式を用いて、領域から追い出すべきＧｈｏｓｔを選定することができる。

このように、所定の条件を満たした特定の方向における映像に対するアクセス要求が制限されてよい。特定の方向は、視聴角度が集中している方向、すなわち特定の視聴方向としてみなされてもよい。

また、定員外として追い出したＧｈｏｓｔをＢｏｄｙの一人称映像から完全に分断させてもよいが、定員外のＧｈｏｓｔに対して通信帯域に過度の負荷がかからない（定員以内のＧｈｏｓｔへの映像配信に影響を与えない）方法により、映像配信を行なうようにしてもよい。

上記Ｄ−２項では定員外のＧｈｏｓｔに対してＢｏｄｙの過去の映像を配信することで負荷分散を図った。全天周映像を配信する場合には、定員外のＧｈｏｓｔには隣接する領域の映像（すなわち、隣接する視線方向の映像）に置き換えて視聴してもらうようにすることで、チャンネル・サーバの負荷を分散させることができる。また、優先順位に応じて送信する映像の解像度を制御する（例えば、優先順位の低いＧｈｏｓｔに対しては低解像度の映像度を送るようにする）ことで、チャンネル・サーバの負荷を低減して、なるべくＧｈｏｓｔが希望するチャンネル・サーバからの映像を配信できるようにしてもよい。

また、定員以内のＧｈｏｓｔが外れたことによって、チャンネル・サーバに定員（通信帯域の容量制限など）に余裕ができて、これまで定員外であったＧｈｏｓｔが定員に入る（若しくは、定員に復帰する）ことができることも想定される。このような場合、Ｇｈｏｓｔへ配信する映像を隣接する領域の視聴角度から元の視聴角度の映像に即座に切り替えると、Ｇｈｏｓｔはその視聴角度間の映像の情報を失ってしまうことになる。そこで、視聴角度を切り替える際には、即座に元の視聴角度に戻るのではなく、隣接する領域の視聴角度から徐々に戻るようにしてもよい。徐々に視聴角度をシフトさせれば、Ｇｈｏｓｔは、違和感なく、シームレスに所望の視聴角度の映像に切り替えて視聴することができる。

図１４には、Ｇｈｏｓｔに対してＢｏｄｙの全天周映像を配信するための処理手順をフローチャートの形式で示している。

ＢｏｄｙにＪａｃｋＩｎしているＧｈｏｓｔが視聴角度を変化させたとき（ステップＳ１４０１のＹｅｓ）、その視聴角度を含む領域（チャンネル）を視聴しているＧｈｏｓｔの総数がまだ定員以内かどうかをチェックする（ステップＳ１４０２）。ここで、「Ｇｈｏｓｔが視聴角度を変化させたとき」は、新規のＧｈｏｓｔがＢｏｄｙにＪａｃｋＩｎしてきた場合を含むものとする。

ここで、Ｇｈｏｓｔが変化させた後の視聴角度を含む領域（チャンネル）の定員を超えていない場合には（ステップＳ１４０２のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して希望通りの視聴角度での映像の配信を開始する（ステップＳ１４０３）。

一方、Ｇｈｏｓｔが変化させた後の視聴角度を含む領域（チャンネル）の定員を超えてしまう場合には（ステップＳ１４０２のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔは当該領域（チャンネル）の定員以内か否か（言い換えれば、当該領域（チャンネル）から追い出すべきか否か）を定員判定処理する（ステップＳ１４０７）。Ｇｈｏｓｔを追い出すべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。

ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔが該当する領域（チャンネル）の定員以内であると判定された場合には（ステップＳ１４０８のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して希望通りの視聴角度での映像の配信を開始する（ステップＳ１４０３）。

また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔが該当する領域（チャンネル）の定員を外れる（すなわち、追い出すべき）と判定された場合には（ステップＳ１４０８のＮｏ）、そのＧｈｏｓｔに対して、変更した視聴角度の領域ではなくこれに隣接する領域（チャンネル）の映像の配信を開始する（ステップＳ１４０９）。隣接する領域の映像は、定員をオーバーしていない別のチャンネル・サーバが配信するので、映像伝送の負荷が分散される（前述）。

そして、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔに対して隣接する領域（チャンネル）の映像を配信中に（ステップＳ１４０９）、元の（すなわち、ステップＳ１４０１で変更した）視聴角度を含む領域（チャンネル）を視聴するＧｈｏｓｔの数が減少して定員に空きが生じると（ステップＳ１４１０のＹｅｓ）、Ｂｏｄｙは、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを希望通りの領域（チャンネル）の定員の中に入れるべきか否かを定員判定処理する（ステップＳ１４１１）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。

Ｓ１４０１で視聴角度を変更したＧｈｏｓｔを希望通りの領域（チャンネル）の定員の中に入れるべきでない（すなわち、追い出したままにすべき）と判定された場合には（ステップＳ１４１２のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続して隣接する領域（チャンネル）の映像を配信する（ステップＳ１４０９）。

また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを希望通りの領域（チャンネル）の定員の中に入れるべきであると判定された場合には（ステップＳ１４１２のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、視聴角度シフト再生を実施した後（ステップＳ１４１３）、希望通りの視聴角度での映像の配信に切り替える（ステップＳ１４０３）。

また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔに対して希望通りの領域（チャンネル）の映像の配信中に（ステップＳ１４０３）、他のＧｈｏｓｔが同じ領域（チャンネル）内に視聴角度を変更してきて定員オーバーが生じると（ステップＳ１４０４のＹｅｓ）、そのＧｈｏｓｔを定員の中に入れたままで良いか否か（言い換えれば、追い出すべきか否か）を定員判定処理する（ステップＳ１４０５）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。

ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを定員の中に入れたままで良いと判定された場合には（ステップＳ１４０６のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続して希望通りの視聴角度の映像を配信する（ステップＳ１４０３）。

また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを追い出すべき判定された場合には（ステップＳ１４０６のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、隣接する領域（チャンネル）に切り替えて映像を配信する（ステップＳ１４０９）。

図１４に示した処理手順に従えば、チャンネル・サーバの負荷分散のために追い出されたＧｈｏｓｔに対しては、隣接する領域の映像を視聴することができる。そして、Ｇｈｏｓｔは、追い出された状態から復帰したときには、希望通りの視聴角度の映像の視聴に即座に戻るのではなく、視聴角度シフト再生を実施して、徐々に希望通りの視聴角度の映像に戻る。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、例えば、外科手術などの医療現場、土木作業などの建築現場、飛行機やヘリコプターの操縦、自動車の運転者のナビゲーション、スポーツのインストラクションなど、さまざまな産業分野の作業支援などの用途に活用することができる。

また、本明細書では、身体を以って現場で活動するＢｏｄｙに対して、Ｂｏｄｙの一人称画像を共有するＧｈｏｓｔがＢｏｄｙの視覚や聴覚などに介入するシステムに関する実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。ある人物の視界に他人からの支援や指示、誘導、案内に関する情報を表示するさまざまな情報処理装置に対しても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）制御部と、
通信部と、
外部の情報処理装置からアクセスを受け付けるアクセス受信部と、
前記アクセス受信部が所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定部と、
を具備し、
前記制御部は、前記設定部が設定した優先順位に基づいて、前記撮像部から入力された画像情報を、前記通信部を介して前記情報処理装置に送信する、
撮像部と音声入力部と接続可能な情報端末装置。
（２）前記設定部は、前記所定の条件として前記通信部の通信帯域の容量制限又はアクセス数制限を超える情報処理装置からアクセスを受け付けたときに、前記優先順位の設定を行なう、
上記（１）に記載の情報端末装置。
（３）前記制御部は、前記優先順位に応じて、順番、再生時間、角度、又は解像度を変えて画像情報を前記通信部から送信する、
上記（１）に記載の情報端末装置。
（４）前記制御部は、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して現在の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して過去の映像を前記通信部から送信する、
上記（３）に記載の情報端末装置。
（５）前記制御部は、特定の視線方向の映像へのアクセスが所定の条件を超えたときに、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して前記特定の視線方向の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して前記特定の視線方向以外の映像を前記通信部から送信する、
上記（３）に記載の情報端末装置。
（６）前記制御部は、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して第１の解像度の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して前記第１の解像度よりも低い第２の解像度の映像を前記通信部から送信する、
上記（３）に記載の情報端末装置。
（７）前記設定部は、情報処理装置の固有情報又は情報処理装置の使用者の属性に関する情報に基づいて、各情報処理装置の優先順位を設定する、
上記（１）に記載の情報端末装置。
（８）前記設定部は、前記アクセス受信部がアクセスした順番に基づいて、各情報処理装置の優先順位を設定する、
上記（１）に記載の情報端末装置。
（９）外部の情報処理装置からアクセスを受け付けるアクセス受信ステップと、
前記アクセス受信ステップで所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定ステップと、
前記設定ステップで設定した優先順位に基づいて、前記撮像部から入力された画像情報の前記情報処理装置への送信を制御する制御ステップと、
を有する、撮像部と音声入力部と接続可能な情報端末装置の制御方法。
（１０）制御部と、
通信部と、
前記情報端末装置にアクセスを送信するアクセス送信部と、
を具備し、
前記制御部は、前記アクセス送信部がアクセスした前記情報端末装置において所定の条件を超える場合に、前記情報処理装置に設定された優先順位に基づいて、前記撮像部から入力された画像情報を、前記通信部を介して前記情報端末装置から受信する、
撮像部と音声入力部を接続可能な情報端末装置にアクセスする情報処理装置。
（１１）情報端末装置にアクセスを送信するアクセス送信ステップと、
前記アクセス送信ステップでアクセスした前記情報端末装置において所定の条件を超える場合に、前記情報処理装置に設定された優先順位に基づいて、前記撮像部から入力された画像情報を、前記通信部を介して前記情報端末装置から受信する情報受信ステップと、
を有する、撮像部と音声入力部を接続可能な情報端末装置にアクセスする情報処理装置の制御方法。
（１２）情報処理装置から情報端末装置へのアクセスを受け付けるアクセス受信部と、
前記アクセス受信部が所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定部と、
前記設定部が設定した優先順位に基づいて、前記撮像部から前記情報端末装置に入力された画像情報の前記情報処理装置への伝送を制御する制御部と、
を具備する、撮像部と音声入力部と接続可能な情報端末装置と情報端末装置にアクセスする情報処理装置の間に介在するサーバ装置。
（１３）情報処理装置から情報端末装置へのアクセスを受け付けるアクセス受信ステップと、
前記アクセス受信ステップで条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定ステップと、
前記設定ステップで設定した優先順位に基づいて、前記撮像部から前記情報端末装置に入力された画像情報の前記情報処理装置への伝送を制御する制御ステップと、
を有する、撮像部と音声入力部と接続可能な情報端末装置と情報端末装置にアクセスする情報処理装置の間に介在するサーバ装置の制御方法。
（１４）第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、
を具備する情報処理装置。
（１５）前記所定の条件は、前記受信したアクセス要求に関するパラメータが所定値を超えることである、
上記（１４）に記載の情報処理装置。
（１６）前記パラメータは、前記情報端末装置に対して前記コンテンツ情報の少なくとも一部を送信することで前記情報提供を行なう通信部の通信帯域の容量であり、
前記所定の条件は、前記通信帯域の容量が制限値を超えることである、
上記（１５）に記載の情報処理装置。
（１７）前記パラメータは、前記アクセス要求の数であり、
前記所定の条件は、前記アクセス要求の数が制限値を超えることである、
上記（１５）に記載の情報処理装置。
（１８）前記制限値は、前記コンテンツ情報に対しリアルタイムにアクセス可能な前記情報端末装置の上限台数である、
上記（１７）に記載の情報処理装置。
（１９）前記制御部は、前記設定された優先順位に応じて、前記情報提供に関する画像情報のパラメータを異ならせる、
上記（１４）乃至（１８）のいずれかに記載の情報処理装置。
（２０）前記画像情報のパラメータは、前記情報端末装置への前記情報提供の順番、再生時間、提供される画像の角度、及び前記提供される画像の解像度のうち少なくとも１つを含む、
上記（１９）に記載の情報処理装置。
（２１）前記情報端末装置は、前記設定された優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置を少なくとも含む、
上記（１４）乃至（２０）のいずれかに記載の情報処理装置。
（２２）前記制御部は、前記受信したアクセス要求が前記所定の条件を満たしたときに、前記第１の情報端末装置への現在の映像の情報提供を制御し、前記第２の情報端末装置への過去の映像の情報提供を制御する、
上記（２１）に記載の情報処理装置。
（２３）前記制御部は、前記コンテンツ情報としての特定の方向における映像に対するアクセス要求が前記所定の条件を満たしたときに、前記第１の情報端末装置への前記特定の方向における映像の情報提供を制御し、前記第２の情報端末装置への前記特定の方向の映像とは異なる映像の情報提供を制御する、
上記（２１）に記載の情報処理装置。
（２４）前記第１の情報端末装置は、前記第２の情報端末装置よりも早く前記コンテンツ情報に対するアクセス要求を行なった情報端末装置である、
上記（２１）乃至（２３）のいずれかに記載の情報処理装置。
（２５）前記制御部は、前記第１の情報端末装置への第１の解像度を有する映像の情報提供を制御し、前記第２の情報端末装置への前記第１の解像度よりも低い第２の解像度を有する映像の情報提供を制御する、
上記（２１）乃至（２３）のいずれかに記載の情報処理装置。
（２６）前記情報端末装置の関連情報に基づいて、前記情報端末装置それぞれの優先順位を設定する設定部をさらに備える、
上記（１４）乃至（２３）、（２５）のいずれかに記載の情報処理装置。
（２７）前記情報端末装置の関連情報は、前記情報端末装置の固有情報を含む、
上記（２６）に記載の情報処理装置。
（２８）前記情報端末装置の関連情報は、前記第２のユーザの属性情報を含む、
上記（２６）に記載の情報処理装置。
（２９）外部の装置としての前記情報端末装置と通信する通信部と、
前記設定部、前記通信部、及び前記アクセス受信部を前記第１のユーザにより持ち運び可能とする筐体と、
をさらに備え、
前記制御部は、前記情報処理装置に接続可能な撮像部及び音声入力部のうち少なくとも一方を制御する、
上記（１４）乃至（２８）のいずれかに記載の情報処理装置。
（３０）前記情報処理装置は、前記第１のユーザの情報端末装置と前記第２のユーザの情報端末装置の間の通信を直接的又は間接的に接続する、ネットワーク上のサーバ装置である、
上記（１４）乃至（２９）のいずれかに記載の情報処理装置。
（３１）第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
を有する情報処理装置の制御方法。
（３２）第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラム。

１００…視界情報共有システム
１０１…画像提供装置、１０２…画像表示装置
５０１…撮像部、５０２…画像処理部、５０３…表示部
５０４…第１の音声出力部、５０５…駆動部
５０６…第２の音声出力部、５０７…位置検出部
５０８…通信部、５０９…制御部、５１０…設定部
５１１…通信部、５１２…画像復号部、５１３…表示部
５１４…ユーザ入力部、５１５…位置姿勢検出部
５２１…音声入力部、５２２…音声処理部

Claims (10)

1. 撮像部と音声入力部と接続可能な情報端末装置であって、
   通信部と、
   外部の情報処理装置からアクセスを受け付けるアクセス受信部と、
   前記アクセス受信部が所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定部と、
   前記優先順位に基づいて、前記撮像部から入力された画像情報を前記通信部を介して前記情報処理装置に送信する制御部と、を具備し、
   前記制御部は、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して現在の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して過去の映像を前記通信部から送信する、
   情報端末装置。
2. 撮像部と音声入力部と接続可能な情報端末装置であって、
   通信部と、
   外部の情報処理装置からアクセスを受け付けるアクセス受信部と、
   前記アクセス受信部が所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定部と、
   前記優先順位に基づいて、前記撮像部から入力された画像情報を前記通信部を介して前記情報処理装置に送信する制御部と、を具備し、
   前記制御部は、特定の視線方向の映像へのアクセスが所定の条件を超えたときに、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して前記特定の視線方向の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して前記特定の視線方向以外の映像を前記通信部から送信する、
   情報端末装置。
3. 撮像部と音声入力部と接続可能な情報端末装置の制御方法であって、
   外部の情報処理装置からアクセスを受け付けるアクセス受信ステップと、
   前記アクセス受信ステップで所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定ステップと、
   前記優先順位に基づいて、前記撮像部から入力された画像情報の前記情報処理装置への送信を制御する制御ステップと、を有し、
   前記制御ステップにおいて、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して現在の映像を前記情報処理装置へ送信し、前記所定の条件を超える情報処理装置に対して過去の映像を前記情報処理装置へ送信する、
   制御方法。
4. 撮像部と音声入力部と接続可能な情報端末装置の制御方法であって、
   外部の情報処理装置からアクセスを受け付けるアクセス受信ステップと、
   前記アクセス受信ステップで所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定ステップと、
   前記優先順位に基づいて、前記撮像部から入力された画像情報の前記情報処理装置への送信を制御する制御ステップと、を有し、
   前記制御ステップにおいて、特定の視線方向の映像へのアクセスが所定の条件を超えたときに、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して前記特定の視線方向の映像を前記情報処理装置へ送信し、前記所定の条件を超える情報処理装置に対して前記特定の視線方向以外の映像を前記情報処理装置へ送信する、
   制御方法。
5. 第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
   設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、を具備し、
   前記情報端末装置は、前記優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置とを含み、
   前記制御部は、前記アクセス要求が所定の条件を満たしたときに、前記第１の情報端末装置への現在の映像の情報提供を制御し、前記第２の情報端末装置への過去の映像の情報提供を制御する、
   情報処理装置。
6. 第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
   設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、を具備し、
   前記情報端末装置は、前記優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置とを含み、
   前記制御部は、前記コンテンツ情報としての特定の方向における映像に対するアクセス要求が所定の条件を満たしたときに、前記第１の情報端末装置への前記特定の方向における映像の情報提供を制御し、前記第２の情報端末装置への前記特定の方向の映像とは異なる映像の情報提供を制御する、
   を具備する情報処理装置。
7. 第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
   設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、を有し、
   前記情報端末装置は、前記優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置とを含み、
   前記制御ステップにおいて、前記アクセス要求が所定の条件を満たしたときに、前記第１の情報端末装置への現在の映像の情報提供を制御し、前記第２の情報端末装置への過去の映像の情報提供を制御する、
   情報処理装置の制御方法。
8. 第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
   設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、を有し、
   前記情報端末装置は、前記優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置とを含み、
   前記制御ステップにおいて、前記コンテンツ情報としての特定の方向における映像に対するアクセス要求が所定の条件を満たしたときに、前記第１の情報端末装置への前記特定の方向における映像の情報提供を制御し、前記第２の情報端末装置への前記特定の方向の映像とは異なる映像の情報提供を制御する、
   情報処理装置の制御方法。
9. 第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
   設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
   をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
   前記情報端末装置は、前記優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置とを含み、
   前記制御ステップは、前記アクセス要求が所定の条件を満たしたときに、前記第１の情報端末装置への現在の映像の情報提供を制御し、前記第２の情報端末装置への過去の映像の情報提供を制御することを含む、
   コンピュータ・プログラム。
10. 第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
    設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
    をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    前記情報端末装置は、前記優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置とを含み、
    前記制御ステップは、前記コンテンツ情報としての特定の方向における映像に対するアクセス要求が所定の条件を満たしたときに、前記第１の情報端末装置への前記特定の方向における映像の情報提供を制御し、前記第２の情報端末装置への前記特定の方向の映像とは異なる映像の情報提供を制御することを含む、
    コンピュータ・プログラム。

Images