JP6721072B2 - 計算処理実行方法、計算処理システム及びプログラム - Google Patents

Description

本開示は、計算処理実行方法、計算処理システム及びプログラムに関する。

遠隔コラボレーションを支援することや遠隔スペースで参加者に臨調感を与えることは、研究及び商業システムの中心である。提供されている一つのソリューションは、（デスクトップまたはフルサイズのロボットとしてどちらか一方の）可動可能な装置を通して遠隔参加者が参加することによりビデオ会議を拡張する。これらソリューションは遠隔で参加している参加者が部屋全体を見渡すことを可能とし、そのような参加者の会話についていく能力に向上をもたらす。

米国特許第８５２００５２号公報 米国特許第７１５４５２６号公報 米国特許第８７１７４４７号公報

Ｃ ハリソンら（Ｈａｒｉｓｓｏｎ，Ｃ ｅｔ ａｌ）、「一般的なウェブカメラを用いた疑似３次元ビデオ会議（Ｐｓｅｕｄｏ−３Ｄ Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｉｎｇ ｗｉｔｈ a Ｇｅｎｅｒｉｃ Ｗｅｂｃｏｍ）」、アメリカ電気電子技術者協会、第１０回マルチメディア国際シンポジウム会報（Ｉｎ Ｐｒｏｃ. Ｏｆ １０ｔｈ ＩＥＥＥ Ｉｎｔ． Ｓｙｍｐ． ｏｎ Ｍｕｌｔｉｍｅｄｉａバークレイ カリフォルニア）、アメリカ電気電子技術者協会、国際マルチメディアシンポジウム（ＩＳＭ ＩＥＥＥ、２００８年、ワシントンＤ.Ｃ.）、２００８年１２月１５日−１７日、Ｐ.２３６−２４１

しかしながら“移動”や見渡す能力によらず、遠隔で会議に参加する参加者は、遠隔スペースで存在を感じないことが示されている。これは彼らが遠隔スペースでの物理的な表示において変化を経験することができないからであろう。

本発明は、遠隔参加者に遠隔表示の物理状態についてヴァーチャル及び／もしくは物理的に手がかりを与える、新たなそして改善されたシステム、方法及びプログラムを提供する。

本開示の第１の態様は、処理ユニット、ディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムで実行される計算実行方法であって、前記処理ユニットは、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介してビデオ画像を受け取り、ｂ 受取った前記ビデオ画像を前記ディスプレイで参加者に表示し、ｃ 表示された前記ビデオ画像内の参加者が選択した位置を検知し、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を動かさせ、ｅ 前記遠隔装置の動きを表すよう前記ディスプレイを移動する。

本開示の第２の態様は、第１の態様の計算実行方法であって、ｄで、前記参加者が選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を回転させる。

本開示の第３の態様は、第１又は第２の態様の計算実行方法であって、前記ディスプレイの移動は前記ディスプレイの回転を含む。

本開示の第４の態様は、第１〜第３の何れかの態様の計算実行方法であって、前記ディスプレイの動きの規模は、前記遠隔装置の動きの規模よりも小さい。

本開示の第５の態様は、第１〜第４の何れかの態様の計算実行方法であって、前記ディスプレイの動きの規模は、前記遠隔装置の動きの規模と非線形関係を有する。

本開示の第６の態様は、第１〜第５の何れかの態様の計算実行方法であって、前記ディスプレイを再度元の位置である中心位置に戻す、ことを更に含む。

本開示の第７の態様は、第１〜第６の何れかの態様の計算実行方法であって、前記遠隔装置は第二のディスプレイを更に含み、前記計算実行方法は、第二のカメラを用いて参加者の第二のビデオ画像をキャプチャし、該キャプチャした第二のビデオ画像を前記第二のディスプレイで表示するよう前記遠隔装置に伝送すること、を更に含む。

本開示の第８の態様は、第１〜第７の何れかの態様の計算実行方法であって、装置状態を示す触覚フィードバックを、参加者に与えることを更に含む。

本開示の第９の態様は、処理ユニット、ディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムで実行される計算実行方法であって、前記処理ユニットは、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介してビデオ画像を受け取り、ｂ 受取った前記ビデオ画像を前記ディスプレイの参加者に表示し、ｃ 表示された前記ビデオ画像内の参加者が選択した位置を検知し、ｄ 前記参加者の選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を動かさせ、ｅ 前記ディスプレイの動きをシミュレートし前記遠隔装置の動きを表すよう、前記ディスプレイに表示された受け取った前記ビデオ画像をスキューする。

本開示の第１０の態様は、第９の態様の計算実行方法であって、ｄで、前記参加者の選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を回転させる。

本開示の第１１の態様は、第９又は第１０の態様の計算実行方法であって、前記ディスプレイのシミュレートした前記動きは、前記ディスプレイのシミュレートした回転を含む。

本開示の第１２の態様は、第９〜第１１の何れかの態様の計算実行方法であって、前記ディスプレイのシミュレートした前記動きの規模は、前記遠隔装置の動きの規模よりも小さい。

本開示の第１３の態様は、第９〜第１２の何れかの態様の計算実行方法であって、前記ディスプレイのシミュレートした前記動きの規模は、前記遠隔装置の動きの規模と非線形の関係を有する。

本開示の第１４の態様は、第９〜第１３の何れかの態様の計算実行方法であって、前記ディスプレイに表示された受け取った前記ビデオ画像を元の状態までスキューする。

本開示の第１５の態様は、第９〜第１４の何れかの態様の計算実行方法であって、前記遠隔装置は第二のディスプレイを更に含み、前記計算実行方法は、第二のカメラを用いて参加者の第二のビデオ画像をキャプチャし、該キャプチャした第二のビデオ画像を前記第二のディスプレイで表示するよう前記遠隔装置に伝送すること、を更に含む。

本開示の第１６の態様は、第９〜第１５の何れかの態様の計算実行方法であって、装置状態を示す触覚フィードバックを、参加者に与えること、を更に含む。

本開示の第１７の態様は、処理ユニット、ディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムで実行される計算実行方法であって、前記処理ユニットは、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介してビデオ画像を受け取り、ｂ 参加者の動きを表す参加者のアバターを生成し、ｃ 受け取った前記ビデオ画像に生成した参加者の前記アバターを重ね合わせ、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を動かし、ｅ 前記ディスプレイに前記参加者のアバターを前記参加者に重ね合わせた、受け取った前記ビデオ画像を表示する。

本開示の第１８の態様は、第１７の態様の計算実行方法であって、前記参加者のアバターは出力される第二のビデオ画像を用いて生成される。

本開示の第１９の態様は、第１８の態様の計算実行方法であって、前記参加者の輪郭を取得するために、前記第二のビデオ画像から背景を取除き、前記参加者のアバターは取得した前記参加者の輪郭を用いて生成する、ことを更に含む。

本開示の第２０の態様は、第１７〜第１９の何れかの態様の計算実行方法であって、生成した前記参加者のアバターを、意味のあるコンテンツの隠れを最小化するように、受け取ったビデオ画像に重ね合わせる。

本開示の第２１の態様は、プログラムであって、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、ネットワーク・インターフェイスを介してビデオ画像を受け取り、ｂ 受け取った前記ビデオ画像をディスプレイで参加者に表示し、ｃ 表示された前記ビデオ画像内の参加者が選択した位置を検知し、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように前記遠隔装置を動かさせ、ｅ 前記遠隔装置の動きを表すよう前記ディスプレイを移動する、処理を、コンピュータに実行させる。

本開示の第２２の態様は、プログラムであって、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、ネットワーク・インターフェイスを介してビデオ画像を受け取り、ｂ 受け取ったビデオ画像をディスプレイで参加者に表示し、ｃ 表示された前記ビデオ画像内の参加者が選択した位置を検知し、ｄ 前記参加者の選択した位置の中心に前記カメラが置かれるように前記遠隔装置を動かさせ、ｅ 前記ディスプレイの動きをシミュレートし前記遠隔装置の動きを表すよう、ディスプレイに表示された受け取った前記ビデオ画像をスキューする、処理を、コンピュータに実行させる。

本開示の第２３の態様は、プログラムであって、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、ネットワーク・インターフェイスを介してビデオ画像を受け取り、ｂ 参加者の動きを表す参加者のアバターを生成し、ｃ 受け取ったビデオ画像に生成した前記参加者のアバターを重ね合わせ、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を動かさせ、ｅ 前記参加者のアバターを前記参加者に重ね合わせた受け取った前記ビデオ画像をディスプレイに表示する、処理を、コンピュータに実行させる。

本開示の第２４の態様は、処理ユニット、ディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムであって、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介してビデオ画像を受け取る手段と、ｂ 受け取った前記ビデオ画像を前記ディスプレイで参加者に表示する手段と、ｃ 表示された前記ビデオ画像内の参加者が選択した位置を検知する手段と、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように、前記遠隔装置を動かさせる手段と、ｅ 前記遠隔装置の動きを表すよう前記ディスプレイを移動する手段と、を備える。

本開示の第２５の態様は、処理ユニット、ディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムであって、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介してビデオ画像を受け取る手段と、ｂ 受取った前記ビデオ画像を前記ディスプレイの参加者に表示する手段と、ｃ 表示された前記ビデオ画像内の参加者が選択した位置を検知する手段と、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように前記遠隔装置を動かさせる手段と、ｅ 前記ディスプレイの動きをシミュレートし前記遠隔装置の動きを表すよう、前記ディスプレイに表示された受け取った前記ビデオ画像をスキューする手段と、を備える。

本開示の第２６の態様は、処理ユニット、ディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムであって、ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介してビデオ画像を受け取る手段と、ｂ 参加者の動きを表す参加者のアバターを生成する手段と、ｃ 受け取った前記ビデオ画像に生成した前記参加者のアバターを重ね合わせる手段と、ｄ 前記参加者が選択した位置の中心に前記カメラが置かれるように前記遠隔装置を動かさせる手段と、ｅ 前記ディスプレイに前記参加者のアバターを前記参加者に重ね合わせた受け取った前記ビデオ画像を表示する手段と、を備える。

本発明に関する更なる態様は、以下の記載で部分的に説明され、また記載から部分的に明白であり、発明の実施により習得することができる。本発明の態様は、以下の詳細な記載及び特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組み合わせによって実施及び達成することができる。

上述また以下の記載は単なる例示や説明であり、特許請求の範囲に記載の発明もしくはその適用をいかなる形であれ制限することを意図したものではないことを理解されたい。

遠隔参加者に遠隔表示の物理状態についてヴァーチャル及び／もしくは物理的に手がかりを与えることが可能となる。

ここに記述されるコンセプトの実行に用いられるシステムアーキテクチャ１００の実施例を示す。 本記述の一実施例に関連したローカル及び遠隔スペースにおける（回転）変化を上から見下ろしたビューを示す。 第一の場所に位置する参加者の知覚と同一の効果を示す。 小規模の物理動作を通して物理状態を伝達するシステムの操作シーケンスの実施例を示す。 ディスプレイの３次元回転をシミュレートするビデオ画像の境界領域の形状変化を示す。 ビデオウィンドウの小規模操作を通して物理状態を伝達するシステムの操作シーケンスの実施例を示す。 参加者のアバターが重ね合されたディスプレイ１０５で参加者が表示された遠隔地からのビデオ画像の参加者ビューの例を示す。 参加者のアバターを遠隔シーンに重ね合わせるシステムの操作シーケンスの実施例を示す。 遠隔装置の物理状態を伝達する計算処理システムの実施例を示す。

本明細書に組み込まれ本明細書の一部を構成する添付図面は、本発明の実施形態を例示し、説明と相俟って本発明の技術の原理の説明及び例示に供される。

以下の詳細な記述において、添付の図面を参照する。添付の図面において、同様の機能を有する構成要素は同様の参照符号を付されている。添付の図面は例示のためのものであり、限定を意図するものではない。特定の実施例及び実装は本発明の原理と矛盾しない。これらの実装は当業者が実施できる程度に十分詳細に記述され、またその他の実装が使用されてもよく、様々な構成要素の構造の変更及び／もしくは置き換えが本発明の範囲及び思想から逸脱することなく可能であることは理解されるだろう。したがって、以下の詳細な記述は、限定的に解釈されるべきではない。さらに、記述される本発明の異なる実施例は、汎用計算機上で稼働するソフトウェアの形態によっても、専用ハードウェアの形態によっても、ソフトウェア及びハードウェアの組み合わせによっても、実装可能である。

従来のデスクトップテレプレゼンス装置は、遠隔参加者の行動に基づき自由に角度を変えてディスプレイ及びカメラを動かすことができる。これまでのテレプレゼンスシステムは、例えば参加者がビデオをクリックしたときに、クリックしたポイントがビデオの中心になるように遠隔スペースにおいてデバイスを物理的に動かす。しかしながら、ビデオの視点が変化するかもしれず、デバイスが物理的に動いたことが参加者には明確でなく、参加者の参加を体験する能力を低減する可能性がある。

上述または従来のビデオ会議技術に関連する他の課題に対応するために、ここに記述される一つもしくは複数の実施例は、遠隔スペースにおいて上述の遠隔装置の物理状態を理解するために、参加者によって制御される遠隔装置のような、画像を用いて遠隔スペースを表す、参加者の支援となるシステム、方法を提供する。これは、上述の遠隔装置の物理状態を反映するローカルスペースのヴァーチャルもしくは物理的な変化を通して実現される。上述のシステムや方法の実施例は、遠隔参加者のサイトで遠隔装置の物理状態を反映するために用いることができる。ここに記述される一実施例は遠隔スペースの動きを表す（が同一ではない）ローカルスペースでの物理的な動きを含む。本開示で用いられる移動と動作の用語は、物体のピッチ（ｐｉｔｃｈ）、ロール（ｒｏｌｌ）、ヨー（ｙａｗ）の変化を含む方向変化と空間位置変化の両方を広く含むと解釈されるべきである。

他の実施例は、遠隔スペースのピッチとヨーの変化を示すためにビデオウィンドウを重ねる。また他の実施例は、参加者の可視表現（アバター）を生成し、そして遠隔スペースのビュー上に重ね合わせる。後述する実施例に関連して、記述されるシステムの主な利用形態はテーブル上に置かれたシステムの前に座った参加者によるものと想定される。

「代表的な全体システム構成」
図１は、システムアーキテクチャ１００の実施例を示し、ここに記述されるコンセプトの実行に用いられる。一つもしくは複数の実施例において、システムアーキテクチャ１００は２つの物理的な場所で展開される様々なシステム構成を含む。すなわち、ビデオ会議参加者の自宅のような第一の場所１１４（‘ローカル’としてもここで参照される）、会議室のような第二の場所１１５（‘遠隔’としてもここで参照される）である。データ及びコマンドは、通信制御（ネットワーク・インターフェイス）手段１０１、１０２を用いてインターネット１０３を介して上述の２つの場所の間で送信される。一つもしくは複数の実施例において、第一の場所１１４にはビデオ会議参加者のビデオをキャプチャするカメラ１０４、第二の場所１１５でカメラ１１０からキャプチャしたビデオを表示するディスプレイ１０５、参加者が入力するコマンドを受け入れるキーボードやマウスのような入力手段１０６、コンピュータ１０７、ディスプレイ１０５の方向を変更するモータまたは他のアクチュエータ１０８、参加者に触覚フィードバックを与える触覚インターフェイス１０９を含む。一つもしくは複数の実施例において、カメラ１０４、ディスプレイ１０５、（任意で、）残りの構成１０１、及び構成１０６〜１０９は単独の遠隔通信装置に共に結合されてもよい。

一つもしくは複数の実施例において、第二の場所１１５（‘遠隔’会議室）の装置には、第二の場所のビデオ会議参加者のビデオをキャプチャするカメラ１１０、第一の場所でカメラ１０４からキャプチャしたビデオを表示するディスプレイ１１１、コンピュータ１１２、モータまたは他のアクチュエータ１１３を含んでもよい。一つもしくは複数の実施例において、カメラ１１０、ディスプレイ１１１、（任意で、）残りの構成１１２、及び１１３は単独の遠隔通信装置に共に結合されてもよく、当該単独の遠隔通信装置は、遠隔スペース１１５においてローカルの参加者を表すために用いられてもよい。システムアーキテクチャ１００の特定構成の操作は、特定の実施例に関連して後述される。

「小規模の物理動作を通した物理状態の伝達」
第一の実施例において、第一の場所１１４のディスプレイ１０５（任意でカメラ１０４）とディスプレイ１１１を含む遠隔装置と第二の場所１１５のカメラ１１０は、モータ／アクチュエータ１０８及びモータ／アクチュエータ１１３の手段によって物理的に移動できるように各々構成される。しかしながら、後述する通り、ディスプレイ１０５の動作幅は、遠隔装置の動作幅よりも著しく小さい。なぜならディスプレイ１０５の動作は参加者の気づきに主に用いられる。換言すると、第一の実施例において、遠隔ディスプレイ１１１及びカメラ１１０を含む遠隔装置が移動したとき、ローカルのディスプレイ１０５もまた移動するであろうが小規模の動作である。一つもしくは複数の実施例において、遠隔ディスプレイ１１１、カメラ１１０、及びローカルのディスプレイ１０５についての動作の関係は非線形であってもよい。

図２（ａ）、図２（ｂ）、図２（ｃ）、図２（ｄ）はここに記述される一実施例に関連して、ローカルと遠隔スペースの（回転）変化を上から見下ろしたビューを示す。図２（ａ）及び図２（ｃ）は第一の場所１１４でディスプレイ１０５を含むテーブルトップの遠隔通信装置の回転に対応する。図２（ｂ）及び図２（ｄ）は第二の場所１１５でディスプレイ１１１を含む遠隔装置の回転に対応する。一実施例において、遠隔ディスプレイ１１１がＺ（垂直）軸を中心に４５度回転すると、ローカルのディスプレイ１０５は同じＺ（垂直）軸に４．５度回転する。換言すると、大規模に回転する遠隔ディスプレイ１１１を含む遠隔装置の物理的変化を示すために、ローカルディスプレイは同じ方向に回転するが、小規模に回転する。

図３（ａ）及び図３（ｂ）は、第一の場所１１４に位置する参加者の知覚と同様の効果を示す。図３（ａ）及び図３（ｂ）から見ることができる通り、ローカルのディスプレイ１０５は、遠隔ディスプレイ１１１を含む遠隔装置で生じる変化を示すためにわずかに回転する。これは、上述の参加者に不自由なく参加者の机でビデオ会議システムを用いることを可能にする一方、第一の場所１１４での参加者に遠隔地（第二の場所）で起こった動作を理解させることを可能にする。一つもしくは複数の実施例において、ビデオ会議室システムは回転後にローカルのディスプレイ１０５を自動で再度中心位置に戻すように構成される。再度中心位置に戻すことは、図３（ａ）に示す通り初期位置に戻すようローカルのディスプレイ１０５を回転することである。

図４は小規模の物理動作を通して物理状態を伝達するシステムの操作シーケンスの実施例を示す。ステップ４０１で、システムはローカルのディスプレイ１０５で遠隔地１１５からのビデオ画像を参加者に見せる。ステップ４０２で、システムは遠隔会議室１１５内の場所に対応するビデオウィンドウ内の場所で参加者がマウスをクリックするなどの、参加者のイベントを検知する。ステップ４０３で、システムは参加者によって選択された位置がカメラのビューの中心になるようディスプレイ１１１とカメラ１１０を含む遠隔装置を回転する。ステップ４０４で、ローカルのディスプレイ１０５は遠隔ディスプレイ１１１及びカメラ１１０を含む遠隔装置の動作を表すよう回転されるが、その回転は小規模である（例えば、遠隔ディスプレイ１１１及びカメラ１１０の回転の規模の１０分の１）。ステップ４０５で、自動的に再度中心位置に戻す機能が実行可能であると判定されると、ステップ４０６で、ディスプレイ１０５は初期の位置までゆっくり回転する。ステップ４０６の後、操作シーケンスは、最初のステップ４０１に戻る。ステップ４０５の判定が否定されると、ディスプレイ１０５を再度中心位置に戻さず、操作シーケンスはステップ４０１に戻る。

「ビデオウィンドウの小規模操作を通した物理状態の伝達」
第二の実施例において、遠隔ディスプレイ１１１及びカメラ１１０を含む遠隔装置の物理状態の変化は、第一の実施例でディスプレイ１０５が実際に動くのとは対照的に、ローカルの場所１１４において参加者に向けてディスプレイ１０５に表示されたビデオ画像の境界領域の形状変化に反映される。これは、ディスプレイ１０５を物理的に動かすシステムを要求することなしに、ディスプレイ１０５の３次元回転をシミュレートするために実現される。

図５（ａ）、図５（ｂ）、図５（ｃ）は、ディスプレイ１０５の３次元回転をシミュレートするビデオ画像の境界領域の形状変化を示す。図５（ａ）はオリジナルのビデオ画像５０１を示す。一方、図５（ｂ）は水平面（Ｚ（垂直）軸の周囲）でディスプレイ１０５のシミュレートした回転を伴ったビデオ画像５０２に対応する。最後に、図５（ｃ）は、垂直面（水平軸の周囲）でディスプレイ１０５のシミュレートした回転を伴ったビデオ画像５０３に対応する。換言すれば、ディスプレイ１１１及びカメラ１１０を含む遠隔装置の回転は、対応するビデオ画像の全体的な歪みに反映される。

図６は、ビデオウィンドウの小規模操作を通して物理状態を伝達するシステム６００の操作シーケンスの実施例を示す。ステップ６０１で、システムはローカルのディスプレイ１０５で遠隔の場所１１５からのビデオ画像を参加者に見せる。ステップ６０２で、システムは遠隔会議室１１５内の場所に対応するビデオウィンドウ内の場所で参加者がマウスをクリックするなどの、参加者のイベントを検知する。ステップ６０３で、システムは参加者により選択された位置の中心にカメラのビューが置かれるようディスプレイ１１１及びカメラ１１０を含む遠隔装置を回転する。ステップ６０４で、ディスプレイ１１１及びカメラ１１０を含む遠隔装置の動作を表すために、ローカルのディスプレイ１０５に示されるビデオ画像をローカルディスプレイ１０５の回転をシミュレートするようスキューさせるが、シミュレートする回転は小規模である（例えば、遠隔ディスプレイ１１１及びカメラ１１０を含む遠隔装置の回転規模の１０分の１）。ステップ６０５で、自動的に再度中心位置に戻す機能が実行可能であると判定されると、ステップ６０６で、ディスプレイ１０５は初期の位置までゆっくりスキューを低減する。ステップ６０６の後、操作シーケンスは最初のステップ６０１に戻る。一方、ステップ６０５の判定が否定されると、操作シーケンスはステップ６０１に戻る。

一つもしくは複数の実施例において、上述のステップ６０６では、ビデオ画像のヴァーチャルな操作または動作に続き、ローカルのディスプレイシステム１０５はとても緩やかに殆ど感知できない方法で（例えば、１０秒に亘って）‘休止’状態に戻る（例えば、参加者に平行なディスプレイに戻る）。これは、遠隔スペース１１５でのディスプレイ１１１及びカメラ１１０を含む遠隔装置の動きと関係なく実行される。また、ビデオ会議システムは、図１に示される触覚デバイス１０９を用いて参加者に触覚フィードバックを与えてもよい。

「参加者のアバターを遠隔シーンのビューに重ね合わせ」
第三の実施例において、上述のビデオ会議システムは、遠隔シーン１１５の参加者ビューを表すビデオ画像に参加者のアニメ化されたアバターを重ね合せることにより、遠隔の物理スペースでどのように参加者が見えるかについて参加者に直接フィードバックを与える。このビデオ画像はディスプレイ１０５で参加者に表示される。一つもしくは複数の実施例において、上述の参加者のアバターは、カメラ１０４によりキャプチャされた出力ビデオストリームを操作することにより生成される。一つもしくは複数の実施例において、アバターはリアルタイムで参加者の動きと同調する（例えば、参加者が手を挙げるとアバターも手を挙げる）。

一実施例において、参加者のシルエット（輪郭）は上述の参加者のアバターの生成に用いられる。参加者のシルエットは、カメラ１０４によってキャプチャされた参加者の出力ビデオストリームから背景を取除くことにより得られる。一実施例において、これは、当業者に良く知られたアクティブステレオカメラまたはパッシブステレオカメラなどの分離されたセンサを活用することにより実行される。或いはまたは更に、参加者の姿勢についての情報は同じデータから推測することができ、完全に合成されたアバターを生成することができる。いずれにしても、アニメ化された像の結果が（遠隔スペース１１５の）会議の参加者ビューに重ね合され、ディスプレイ１０５上で参加者に示される。この構成によりシーンにおいて重要な要素を隠すことなく参加者の存在の伝達を最適化する。

図７（ａ）、図７（ｂ）は、参加者のアバターが重ね合されたディスプレイ１０５によって参加者が表示された遠隔の場所１１５からのビデオ画像の参加者ビューの例を示す。これらの図は、ディスプレイ１０５及びカメラ１０４を含むテーブルトップの遠隔通信装置を介して参加者７０１との遠隔ミーティングに接続するローカルの参加者７０４を示す。カメラ１０４はディスプレイ１１１を用いて遠隔参加者７０１に示すローカルの参加者の出力ビデオストリーム７０４をキャプチャするために用いられる。本実施例では、この出力ビデオストリームは、ディスプレイ１０５を用いて参加者に表示するビデオ画像７０２に重ね合された参加者のアバター７０３を生成するために用いられる。参加者のアバター７０３は示されたコンテンツの隠れを最小化するためにビデオ画像７０２の右下方向に置かれる。参加者のアバター７０３は遠隔参加者７０４に遠隔シーン１１５の参加者の存在を伝達する。

図８は参加者のアバターを遠隔シーンに重ね合わせるシステムの操作シーケンス８００の実施例を示す。ステップ８０１で、システムは遠隔ディスプレイ１０５で遠隔場所からの（入力）ビデオ画像を参加者に見せる。ステップ８０２で、システムは遠隔カメラ１０４を用いて出力ビデオ画像をキャプチャする。ステップ８０３で、システムは参加者のアバターを生成するためにキャプチャされた出力ビデオ画像を用いる。様々な実施例において、これは完全に合成したアバターを生成することまたはキャプチャされた出力ビデオ画像から背景を取り除くことによって行うことができる。ステップ８０４で、生成されたアバターは、ステップ８０１で参加者に示される遠隔の場所１１５からの（入力）ビデオ画像に重ね合わせられる。

「代表的なコンピュータプラットフォーム」
図９は、遠隔装置の物理状態を伝達する計算処理システムの実施例を示す。一つもしくは複数の実施例において、計算処理システム９００は、当業者によく知られているデスクトップコンピュータまたはデストップ通信デバイスのフォームファクタ内で実装されてもよい。変形例において、計算処理システム９００は、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォンをベースに実装されてもよい。

計算処理システム９００はデータ・バス９０４あるいは計算処理システム９００の様々なハードウェアの間で情報を伝達するためのその他の相互接続機構もしくは通信機構を含んでもよい。中央処理ユニット（ＣＰＵあるいは単にプロセッサ）９０１はデータ・バス９０４に接続され、情報を処理し、その他の計算処理タスク及び制御タスクを実行する。計算処理システム９００は、ランダム・アクセス・メモリ（ＲＡＭ）もしくはその他の動的記憶装置などのメモリ９１２を含む。メモリ９１２は、データ・バス９０４に接続され、様々な情報及びプロセッサ９０１によって実行される命令を記憶する。メモリ９１２は、磁気ディスク、光ディスク、半導体フラッシュ・メモリ・デバイス、もしくは、その他の不揮発性記憶デバイスなどの永久記憶装置を含んでいてもよい。

一つもしくは複数の実施例において、プロセッサ９０１によって命令を実行する間、一時的な変数もしくはその他の中間的な情報を記憶するために、メモリ９１２が使用されてもよい。計算処理システム９００は、さらに、リード・オンリー・メモリ（ＲＯＭもしくはＥＰＲＯＭ）９０２もしくはその他の半導体記憶装置を含んでもよいが、含むか否かは任意である。リード・オンリー・メモリ（ＲＯＭもしくはＥＰＲＯＭ）９０２もしくはその他の半導体記憶装置は、データ・バス９０４に接続され、計算処理システム９００の操作に必要なファームウェア、ＢＩＯＳ(basic input-output system)、計算処理システム９００の様々な構成パラメータなどの静的情報及びプロセッサ９０１のための命令を記憶する。

一つもしくは複数の実施例において、計算処理システム９００は、ディスプレイ９０９を備えていてもよく、ディスプレイ９０９は、データ・バス９０４に接続され、計算処理システム９００のユーザに、上述したビデオ画像のような様々な情報を表示する。変形例において、ディスプレイ９０９は、（図示しない）グラフィック・コントローラ及び／もしくはグラフィック・プロセッサと関連付けられていてもよい。ディスプレイ９０９は、例えば、当業者にはよく知られているＴＦＴ(thin-film transistor)技術または有機ＬＥＤ(organic light emitting diode)技術を用いたＬＣＤ(liquid crystal display)として実装されていてもよい。異なる実施例において、ディスプレイ９０９は、計算処理システム９００のその他の構成要素と同じ一般的な筐体に含まれていてもよい。変形例において、ディスプレイ９０９は、テーブルまたはデスクの上といった、筐体の外側に配置されていてもよい。参加者に触覚フィードバックを与えるために構成された触覚装置９０８と共に、上述で動きを実行するよう構成されたモータ／アクチュエータ９０３もまた提供されてもよい。モータ／アクチュエータ９０３と触覚装置９０８はまたデータ・バス９０４に接続される。

一つもしくは複数の実施例において、計算処理システム９００は、ディスプレイ９０９上のカーソルを制御するために、またコマンドの選択指示をプロセッサ９０１に送り方向情報を通信するための、マウスやトラックボール、タッチパッドもしくはカーソル方向キーなどの、マウス／ポインティングデバイスなどのカーソル制御装置９１０を含む一つもしくは複数の入力デバイスを備えてもよい。この入力デバイスは、典型的には、平面上の位置を特定するために、第１の軸（例えばｘ）及び第２の軸（例えばｙ）という２つの軸における２つの自由度を有してよい。

計算処理システム９００は、さらに、上述したビデオ動画を含む、様々な対象の動画や写真を取得するために、キーボード９０６と共にカメラ９１１を備えてもよく、それらは、参加者がプロセッサ９０１に命令する（ジェスチャを含む）ことと共に、写真や動画に限らない情報を通信するためにデータ・バス９０４に接続されていてもよい。

一つもしくは複数の実施例において、計算処理システム９００は、データ・バス９０４に接続されているネットワーク・アダプタ９０５などの通信インターフェイスをさらに備えていてもよい。ネットワーク・アダプタ９０５は、ローカルエリアネットワーク（LAN）及び／もしくはＩＳＤＮアダプタ９０７の少なくとも一つを用いて、計算処理システム９００とインターネット９２０との間での通信を確立することができる。ネットワーク・アダプタ９０５は、計算処理システム９００とインターネット９２０との間で、双方向データ通信を提供してもよい。計算処理システム９００のローカルエリアネットワークアダプタ９０７は、統合デジタルサービス網（ISDN）カードあるいはモデムであってよく、これにより、インターネットサービスプロバイダのハードウェア（不図示）を用いてインターネット９２０に接続する、電話回線とのデータ通信を確立する。他の例として、ネットワーク・アダプタ９０５は、ローカルエリアネットワークのインターフェイス／カード（LAN NIC）であってよく、これにより、インターネット９２０と互換性を有する通信を提供してよい。ある実施例において、ローカルエリアネットワーク（LAN）アダプタ９０７は、様々なタイプのデジタルデータストリームを伝送するための電子的もしくは電磁的な信号を送受信する。

一つもしくは複数の実施例において、一般的に、インターネット９２０は、一つもしくは複数のサブ−ネットワークを介して、計算処理システム９００に類似するシステムを用いて実行されてもよい遠隔ビデオ会議システムのようなその他のネットワーク資源へのデータ通信を提供する。したがって、計算処理システム９００は、遠隔メディア・サーバ、ウェブ・サーバ、その他のコンテンツ・サービス、その他のネットワーク・データ・ストレージ資源などの、インターネット９２０のいずれかの位置に置かれている様々なネットワーク資源にアクセスすることができる。一つもしくは複数の実施例において、計算処理システム９００はメッセージ、メディア、及び、アプリケーション・プログラム・コードを含むその他のデータを、ネットワーク・アダプタ９０５によって、インターネット９２０を含む様々なネットワークを介して、送受信する。例示的なインターネットにおいて、計算処理システム９００がネットワーク・クライアントとして動作する場合、計算処理システム９００上で稼働しているアプリケーション・プログラムのコードもしくはデータを計算処理システム９００は要求することができる。同様に、計算処理システム９００は、その他のネットワーク資源へ様々なデータもしくは計算処理コードを送信することができる。

一つもしくは複数の実施例において、ここに記述される機能は、メモリ９１２に含まれる一つもしくは複数の命令の一つもしくは複数のシーケンスを実行するプロセッサ９０１に応じて、計算処理システム９００によって実装される。命令は、他のコンピュータ読取可能媒体からメモリ９１２に読み込まれてもよい。メモリ９１２に含まれている命令のシーケンスを実行することによって、ここに記述されている様々な処理のステップがプロセッサ９０１によって実行される。変形例において、本発明の実施例を実装するために、ソフトウェアの命令に代えて、もしくは、ソフトウェアの命令と組み合わせて、ハードウェアによって実現されている回路が使用されてもよい。すなわち、本発明の実施例は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせに限定されるものではない。

ここで使用される用語「コンピュータ読取可能媒体」は、プロセッサ９０１へ実行するための命令を提供する際に関与する任意の媒体であってよい。コンピュータ読取可能媒体は、機械読取可能媒体の単なる一例であり、ここに記述される方法及び／もしくは技術の何れかを実装するための命令を搬送することができる。このような媒体は、不揮発性媒体、揮発性媒体などを含むが、これらに限定されない、多くの形態を採ることができる。

非一時コンピュータ読取可能媒体の一般的な形態は、例えば、フロッピー（登録商標）・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、もしくは、任意のその他の磁気媒体、ＣＤ−ＲＯＭ、任意のその他の光媒体、パンチカード、紙テープ、孔パターンを有する任意のその他の物理的な媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュ・ドライブ、メモリ・カード、任意のその他のメモリ・チップ、もしくはカートリッジ、もしくは、コンピュータがそこから読み取ることができる任意のその他の媒体を含む。コンピュータ読取可能媒体の様々な形態は、プロセッサ９０１への、一つもしくは複数の実行する命令の一つもしくは複数のシーケンスの搬送に関連してもよい。例えば、命令は、遠隔コンピュータから磁気ディスクにまず搬送されてもよい。代替的に、遠隔コンピュータは、遠隔コンピュータのダイナミック・メモリに命令をロードし、インターネット９２０によって指示を送信してもよい。詳細には、コンピュータの命令は、当業者にはよく知られている様々なネットワーク・データ通信プロトコルを用いて、インターネット９２０を介して、遠隔コンピュータから計算処理システム９００のメモリ９１２へ、ダウンロードされてもよい。

一つもしくは複数の実施例において、計算処理システム９００のメモリ９１２は、以下のソフトウェア・プログラム、アプリケーション、もしくは、モジュールのいずれかを記憶してもよい。
１．オペレーティング・システム（ＯＳ）９１３。オペレーティング・システム（ＯＳ）９１３は、基本システム・サービスを実装し、計算処理システム９００の様々なハードウェア構成要素を管理する携帯型装置用オペレーティング・システムであってもよい。

２．アプリケーション９１５は、例えば、計算処理システム９００のプロセッサ９０１によって実行される一連のソフトウェアを含んでよく、これによって、計算処理システム９００は、予め定められたある処理、例えば、ここに記述される技術を用いて参加者に遠隔装置の物理状態を伝達するもしくはディスプレイ９０９にビデオ画像を表示するユーザインターフェイスをディスプレイ９０９に表示し、カメラ９１１を用いて動画を表示してもよい。一つもしくは複数の実施例において、アプリケーション９１５は、ここに記述される機能を組み入れた独創的なビデオ会議アプリケーション９１６を含んでもよい。

一つもしくは複数の実施例において、独創的なビデオ会議アプリケーション９１６は、記述された実施例に関連し、カメラ９１１を用いてビデオ会議画像をキャプチャするビデオ画像キャプチャモジュール９１７、ディスプレイ９０９に（遠隔の場所から）受取ったビデオ画像を表示するビデオ画像表示モジュール９１８、遠隔装置の物理状態を参加者に伝達する物理状態伝達アプリケーション９１９を含む。

最後に、ここに記述される処理及び技術は特定の装置の何れかに固有に関連するものではなく、適切に組み合わせられた構成要素の何れかによって実装されてもよいことが理解されるべきである。さらに、様々な種類の汎用目的装置が本明細書に記載される技術に従って使用されてもよい。本明細書に記載される方法ステップを実行するために専用装置を構築することは有利であるかもしれない。本発明は、特定の例示に関連して記述されているが、この記述は、限定ではなく、例示を意図している。多くの異なるハードウェア、ソフトウェア及びファームウェアの組み合わせが本発明を実行するために適切であることは、当業者には明らかである。例えば、ソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、現在知られているもしくは今後開発されるプログラミング言語もしくはスクリプト言語の何れかなどの様々なプログラミング言語もしくは記述言語によって実装されてもよい。

さらに、本明細書に記載された詳細及び実行を考慮すれば、本発明のその他の実装が当業者には明らかであろう。記述された実装の様々な態様及び／もしくは構成要素は、遠隔装置の物理状態を伝達するシステム及び方法を個別に、もしくは、任意に組み合わせて使用することができる。詳細及び例は例示としてのみ考慮されることを意図し、本発明の真の範囲及び思想は特許請求の範囲の記載によって示される。

１００ システムアーキテクチャ
１０１ 通信制御（ネットワーク・インターフェイス）
１０２ 通信制御（ネットワーク・インターフェイス）
１０３ インターネット

Claims (7)

1. 処理ユニット、ローカルに備えられたディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムで実行される計算処理実行方法であって、
   前記処理ユニットは、
   ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介して前記遠隔地での参加者のビューを表すビデオ画像を受け取り、
   ｂ 前記ローカルでの参加者の動きを表す当該参加者のアバターを生成し、
   ｃ 受け取った前記ビデオ画像に生成した参加者の前記アバターを重ね合わせ、
   ｄ 前記ビデオ画像において前記ローカルでの参加者が選択した位置が前記遠隔装置に備えられたカメラのビューの中心になるように、前記遠隔装置を動かし、
   ｅ 前記ディスプレイに前記ローカルでの参加者のアバターを前記遠隔地での参加者に重ね合わせた、受け取った前記ビデオ画像を表示する、
   計算処理実行方法。
2. 前記ローカルには、第二のカメラが備えられ、
   前記参加者のアバターは出力される前記第二のカメラによって前記ローカルでの参加者の第二のビデオ画像を用いて生成される、請求項１記載の計算処理実行方法。
3. 前記参加者の輪郭を取得するために、前記第二のビデオ画像から背景を取除き、前記参加者のアバターは取得した前記参加者の輪郭を用いて生成する、ことを更に含む、請求項２記載の計算処理実行方法。
4. 生成した前記参加者のアバターを、コンテンツの隠れを最小化するように、受け取ったビデオ画像に重ね合わせる、請求項１〜請求項３の何れか１項記載の計算処理実行方法。
5. 処理ユニット、ローカルに備えられたディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムであって、
   ａ 遠隔地に備えられ、少なくともカメラを備える遠隔装置から、前記ネットワーク・インターフェイスを介して前記遠隔地での参加者のビューを表すビデオ画像を受け取る手段と、
   ｂ 前記ローカルでの参加者の動きを表す当該参加者のアバターを生成する手段と、
   ｃ 受け取った前記ビデオ画像に生成した前記参加者のアバターを重ね合わせる手段と、
   ｄ 前記ビデオ画像において前記参加者が選択した位置が前記遠隔装置に備えられたカメラのビューの中心になるように、前記遠隔装置を動かす手段と、
   ｅ 前記ディスプレイに前記ローカルでの参加者のアバターを前記遠隔地での参加者に重ね合わせた、受け取った前記ビデオ画像を表示する手段と、
   を備えた計算処理システム。
6. 処理ユニット、ローカルに備えられたディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムで実行される計算処理実行方法であって、
   前記処理ユニットは、
   a 遠隔地に備えられた遠隔装置から、前記ネットワーク・インターフェイスを介して当該遠隔地での参加者のビューを表すビデオ画像を受け取り、
   b 前記ローカルでの参加者の動きを表す当該参加者のアバターを生成し、
   c 受け取った前記ビデオ画像に生成した参加者の前記アバターを重ね合わせ、前記ディスプレイに表示する、
   計算処理実行方法。
7. 処理ユニット、ローカルに備えられたディスプレイ、ネットワーク・インターフェイス及びメモリを備える計算処理システムであって、
   a 遠隔地に備えられた遠隔装置から、前記ネットワーク・インターフェイスを介して当該遠隔地での参加者のビューを表すビデオ画像を受け取る手段と、
   b 前記ローカルでの参加者の動きを表す当該参加者のアバターを生成する手段と、
   c 受け取った前記ビデオ画像に生成した参加者の前記アバターを重ね合わせ、前記ディスプレイに表示する手段と、
   を備えた計算処理システム。