JP6497002B2 - ジェスチャを使用して複数ビュー間で画面表示を切り換えるためのシステムおよび方法 - Google Patents

Description

＜関連出願の相互参照＞
本願は、２０１３年５月２０日に出願された、「Ｍｅｔｈｏｄ ｏｆ Ｓｗｉｔｃｈｉｎｇ ｂｅｔｗｅｅｎ Ｖｉｅｗｓ ｉｎ Ｍｏｂｉｌｅ Ｖｉｄｅｏｃｏｎｆｅｒｅｎｃｉｎｇ Ｕｓｉｎｇ Ｇｅｓｔｕｒｅｓ（ジェスチャを使用してモバイル・ビデオ会議中に複数ビュー間で画面表示を切り換える方法）」と題する、米国出願第６１／８２５，４８２号の３５ＵＳＣ§１１９（ｅ）の下の優先権を主張し、その全文は、引用により本明細書に組み込まれる。

本明細書は、ビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるためのシステムおよび方法に関する。特に、本明細書は、モバイル・ビデオ会議中においてジェスチャ（身振り手振り）を使用してビデオ閲覧ビューとデータ閲覧ビューとの間において画面表示を切り換えるためのシステムおよび方法に関する。

既存のビデオ会議システムは、ビデオ会議セッション中にビデオ・ストリームおよびオーディオ・ストリームと共にデータ・ストリームを収集し、送信する。これは、大半のビジネス・ミーティングでは、ユーザが、互いに相手を見ることだけでなく、文書、プレゼンテーションのスライド、手書きのコメント等といったデータ情報を相互に交換することも見込んでいるからである。これらのデータ・ストリームは通常、コンピュータ画面から直接取り込まれ、特別なコーディング・ツールによって別個に符号化され、遠隔サイトにおいてビデオ・ストリームと並べて画面表示される。

モバイル機器の爆発的な増加は、スマートフォン用およびタブレット端末用のアプリケーション等のモバイル・アプリケーションを開発するよう、ビデオ会議サービスのプロバイダをますます駆り立てる。これらのモバイル・アプリケーションは、ユーザがモバイル機器を使用してより一層容易にどこからでもビデオ会議サービスにアクセスできるようにする。

しかしながら、ビデオ閲覧ビューとデータ閲覧ビューの両方をモバイル・デバイスで同時に画面表示する際に以下のような問題が生じることがある。モバイル機器は、画面サイズが限られているゆえに、ビデオ閲覧ビューとデータ閲覧ビューの両方を最大解像度で並べて画面表示することは不可能である。現在、一般に使用される方法では、一方の閲覧ビューを最大画面スケールで表示しながら、他方の閲覧ビューについてはサムネイル表示のみを表示するようなユーザ・インターフェースを使用する。この種のユーザ・インターフェースは、ビデオ閲覧ビューとデータ閲覧ビューとを組み合わせる形で同時にに画面表示する。そのようなユーザ・インターフェースは、ユーザ・インターフェースを複数のビュー表示モードに分離することにより一元化されたユーザ体験を提供することができず、２つ以上のデータ・ストリームがある場合にユーザが混乱をきたす可能性がある。

本開示は、モバイル機器上でビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるためのシステムおよび方法を含む。本発明に係る一実施形態において、このシステムは、コントローラ、ビュー提示モジュール、画面検出モジュール、およびビュー切り換えモジュールを含む。コントローラは、参加者がマルチユーザ通信セッションに加わることを示すデータを受信する。ビュー提示モジュールは、マルチユーザ通信セッション上のビデオ・ストリームを参加者に関連付けられたモバイル機器上において視覚的に提示する。画面検出モジュールは、検出トリガ・イベントの発生の有無を判定する。コントローラは、検出トリガ・イベントの発生に応答して、ビデオ・ストリームからのビデオ・フレーム画像を受信する。画面検出モジュールは、ビデオ・フレーム画像中の第１のデータ画面を検出する。コントローラは、モバイル機器に向かって実行された第１のジェスチャ（身振り手振り）を表すデータを受信する。ビュー切り換えモジュールは、第１のジェスチャに応答して、モバイル機器において画面表示中のビューをビデオ閲覧ビューからデータ閲覧ビューに切り換える。ビュー提示モジュールが、第１のデータ画面に関連付けられた第１のデータ・ストリームをモバイル機器上において視覚的に提示する。

本発明に係るさらに別の実施形態は、コンピュータで実現される方法として実施され、そのような方法として以下のステップを有する方法が実行される。本実施形態に係る当該方法は、第１の参加者、第２の参加者、および第３の参加者がマルチユーザ通信セッションに加わったことを示すデータを受信する。当該方法は、マルチユーザ通信セッションのビデオ・ストリームを第３の参加者に関連付けられたモバイル機器の上において視覚的に提示する。当該方法は、第１の参加者に関連付けられた第１のデバイスと第２の参加者に関連付けられた第２のデバイスとを送信元として含む第１のビデオ・ストリームからのビデオ・フレーム画像を受信する。当該方法は、ビデオ・フレーム画像中に含まれる第１のデバイスからの第１のデータ画面と第２のデバイスからの第２のデータ画面とを検出する。当該方法は、当該モバイル機器で実行された第１のデータ画面の選択操作を表すデータを受信する。当該方法は、当該データ画面の選択操作に応答して、モバイル機器上において表示中のビューをビデオ閲覧ビューから第１のデータ画面に対応する第１のデータ閲覧ビューへと切り換える。当該方法は、当該モバイル機器の上において第１のデータ・ストリームを視覚的に提示する。

本発明を実施するためのその他の実施態様は、上述した実施態様およびその他の革新的な実施態様に関する対応する方法、システム、装置およびコンピュータ・プログラム製品を含む。

本明細書に添付した図面においては、図中に示される同一の参照番号は、同様の構成要素を参照するために使用され、これは、本発明の実施形態を単に例示するためであり、本発明の技術的範囲を限定することを意図するものではない。

ビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるためのシステムの一実施形態を示す高水準ブロック図。 ビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるためのシステムのさらに別の実施形態を示す高水準ブロック図。 参加アプリケーションの一実施形態を示すブロック図。 データ画面検出を実行するための処理の一実施形態をグラフィック表現により示す図。 ジェスチャを使用してモバイル機器の上でビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるための一実施形態をグラフィック表現で示す図。 モバイル機器上におけるビデオ・ビュー・モードを示すグラフィック・ユーザ・インターフェースの一実施形態をグラフィック表現で示す図。 モバイル機器上におけるデータ・ビュー・モードを示すグラフィック・ユーザ・インターフェースの一実施形態をグラフィック表現で示す図。 モバイル機器上における埋め込み型のデータ・ビュー・モードを示すグラフィック・ユーザ・インターフェースの一実施形態をグラフィック表現で示す図。 マルチユーザ通信セッション中にジェスチャを使用してビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるための方法の一実施形態を示す流れ図。 マルチユーザ通信セッション中にジェスチャを使用してビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるための方法のさらに別の実施形態を示す流れ図。 マルチユーザ通信セッション中にジェスチャを使用してビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるための方法のさらに別の実施形態を示す流れ図。 マルチユーザ通信セッション中にジェスチャを使用してビデオ閲覧ビューとデータ閲覧ビューとの間を切り換えるための方法のさらに別の実施形態を示す流れ図。 マルチユーザ通信セッション内において実行される選択操作を使用して２つの異なるデータ閲覧ビューのいずれか一方とビデオ閲覧ビューとの間で表示を切り換えるための方法の一実施形態を示す流れ図。

本開示において説明されるシステムは、非常に多くの点で特に有利である。第一に、このシステムは、ピンチ・ジェスチャといったジェスチャ（身振り手振り）を使用してビデオ閲覧ビューとデータ閲覧ビューとの間を参加者が切り換えることを可能にし、それにより、モバイル・ビデオ会議のセッションを含むマルチユーザ通信セッション中において一貫したシームレスなユーザ体験を提供することができる。

第二に、このシステムは、ビデオ・フレーム画像中のデータ画面を自動で検出することができる。このシステムにおいては、データ画面を最大解像度で画面表示するデータ閲覧ビューに切り換える前に、参加者はそのデータ画面をビデオ閲覧ビューで見ることができるので、データ画面に表示されるデータ・ストリームとビデオ閲覧ビューに表示されるビデオ・コンテンツとの間の関係を参加者が理解することがそのデータ画面により可能となる。その結果、本実施形態は、２つ以上のデータ・ストリームが存在する際に参加者が混乱する事態を回避することができる。例えば、会議室内の発表者が、プロジェクタの画面とホワイト・ボードの画面といった２つ以上のデータ画面間を頻繁に移動する場合に、本実施形態に係るシステムは、離れた位置に居る閲覧者の視線がビデオ閲覧ビューと投影画面内のデータ閲覧ビューとの間を行き来することによる混乱を解消し、またはビデオ閲覧ビューとホワイト・ボード上の画面に表示されたデータ閲覧ビューとの間を頻繁に切り換える際に、離れた位置に居る閲覧者の視線がプロジェクタの画面とホワイト・ボード上の画面との間を行き来することによる混乱を解消することができる。

第三に、このシステムは、埋め込み型のデータ・ストリームをサポートし、当該埋め込み型のデータ・ストリームをユーザに提供することができる。例えば、当該システムは、現在のミーティングのデータ・ストリームをデータ・ビュー・モードで視覚提示し得るが、現在のミーティングのデータ・ストリームは、ミーティングの様子を表示するたためのビデオ・クリップである。このビデオ・クリップには、以前のミーティング中に提示されたスライドおよびホワイト・ボードのストローク情報が埋め込まれている。当該システムは、データ・ビュー・モードから埋め込み型のデータ・ビュー・モードに切り換わって、上記のように埋め込まれたスライドおよびホワイト・ボードのストローク情報を最大解像度で現在のミーティングの参加者に提示することができる。当該システムは、これ以外にも非常に多くのその他の技術的利点を有し得る。

ビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるためのシステムおよび方法が以下に説明される。以下の記述においては、説明の便宜上、本発明の完全な理解を提供するために、非常に多くの特定の詳細内容が述べられる。しかしながら、本発明に係る実施形態がこれらの特定の詳細内容なしに実現され得ることは当業者にとって明らかであろう。その他の例では、本発明に関する説明を曖昧にすることを回避するために構造および装置類がブロック図の形態で示される。例えば、本発明は、スマートフォンのようなモバイル機器および特定のソフトウェアおよびハードウェアに関連して以下の一実施形態において説明される。しかしながら、この説明は、データおよびコマンドを受信することができる任意のタイプのコンピューティング装置およびサービスを提供する任意の周辺デバイスについても同様に当てはまる。

本明細書における「一実施形態」または「一つの実施形態」についての言及は、その実施形態に関連して説明される特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれることを意味する。本明細書における様々な箇所での「一実施形態において」という句の出現は、必ずしもそれら全てが同一の実施形態に言及しているとは限らない。

本発明に関する以下の詳細な説明の幾つかの部分は、コンピュータ・メモリ内のデータビットに対して実行される演算のアルゴリズムおよび記号表現の観点から提示される。これらのアルゴリズムによる説明および表現は、データ処理技術における当業者が、自身の研究開発成果の実質的内容を、当該技術分野における他の当業者に対して最も効果的に伝達するために使用する説明手段である。本明細書中において、および一般的な意味において、アルゴリズムとは、所望される結果を導くための一連の処理動作ステップから成る自己矛盾のない逐次的な系列であるものと考えられる。上述した処理動作ステップは、物理量の物理的な操作を要求するステップである。必ずとは限らないが通常であれば、これらの物理量は、記憶され、転送され、合成され、比較され、そうでなければ操作されることが可能な電気的な信号または磁気的な信号の形態をとる。主として用語についての一般的な使用法上の理由により、時としてこれらの信号を、ビット、値、要素、記号、文字、項、数、等と呼ぶことが便利であることが証明されている。

しかしながら、これらの用語および同様の用語の全てが、適切な物理量に関連付けられるべきであることに留意すべきであり、これらの用語および同様の用語の全てが、これらの物理量を呼称するために適用された便利な標示にすぎないことに留意すべきである。以下の議論から明らかであるように、そうではないとの特段の記載がない限り、本明細書中の説明全体を通して、「処理すること」または「コンピュータ処理すること」または「計算すること」または「決定すること」または「画面表示すること」、等といった用語を利用してなされる議論は、コンピュータ・システム（または同種の電子的コンピューティング装置）の動作および処理のことを指して言うものと理解され、そのようなコンピュータ・システムは、当該コンピュータ・システムのレジスタ内およびメモリ内の物理（電子）量として表現されたデータを操作して、当該コンピュータ・システムのメモリ内またはレジスタ内において同様に物理量として表現された他のデータへと変換する、またはその他の同様の情報記憶装置内、または送信／表示のための機器内において同様に物理量として表現された他のデータへと変換する。

本発明はまた、本明細書中において記述された一連の処理動作を実行するための装置に関する。この装置は、要求された目的のために特別に構築されることができ、またはこの装置は、コンピュータ内に記憶されたコンピュータ・プログラムによって選択的に起動されるかまたは再構成される汎用コンピュータを備えることが可能である。そのようなコンピュータ・プログラムは、以下のものだけに限定はされないないが、フロッピー(登録商標)ディスク、光学ディスク、ＣＤ−ＲＯＭ、および磁気ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードまたは光学カード、不揮発性メモリを有するＵＳＢキーを含むフラッシュ・メモリ、または電子的命令コードを記憶するのに適した任意のタイプの記憶媒体などを含むコンピュータ読み取り可能記憶媒体に記憶されることが可能であり、上述したディスク装置類や記憶装置類の各々は、コンピュータ・システムのバスに結合される。

本発明に係る幾つかの実施形態は、完全にハードウェアによって実装される実施形態、完全にソフトウェアによって実装される実施形態、またはハードウェアとソフトウェアの要素の両方を含む実施形態などの多様な形態をとることができる。好ましい実施形態はソフトウェアで実現され、ソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコード、等を含むが、これらに限定されない。

さらに、本発明に係る幾つかの実施形態は、コンピュータで使用可能なまたはコンピュータで読み取り可能な媒体からアクセス可能な、コンピュータ・プログラム製品の形態をとることができ、当該コンピュータ・プログラム製品は、コンピュータまたは任意の命令実行システムによって実行されるプログラム・コードまたはそれらの機器と関連して使用するためのプログラム・コードを提供する。本発明を説明する便宜上の目的のため、コンピュータで使用可能なまたはコンピュータで読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって実行される、またはそれらと関連して使用するためのプログラムを含み、記憶し、通信し、伝搬し、または伝送することが可能な任意の装置とすることができる。

プログラム・コードを記憶および／または実行するのに適したデータ処理システムは、システム・バスによってメモリ素子に直接的または間接的に結合される少なくとも１つのプロセッサを含むだろう。メモリ素子は、プログラム・コードを実際に実行している間に使用されるローカル・メモリ、大容量記憶装置、およびキャッシュ・メモリを含むことが可能であり、当該キャッシュ・メモリは、プログラム実行中にプログラム・コードが大容量記憶装置内から検索されなくてはならない回数を減じるために当該プログラム・コードの少なくとも一時的な記憶を提供する一時記憶メモリである。入力／出力デバイスすなわちＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティングデバイス、等を含むがこれらに限定されない）は、直接的にシステムに結合されるか、または介在するＩ／Ｏコントローラを介してシステムに結合されるかのいずれかの方法によって結合され得る。

当該データ処理システムには、ネットワーク・アダプタがさらにに結合され、それによって、介在するプライベートネットワークまた公衆ネットワークを経由して、当該データ処理システムが、他のデータ処理システムまたはリモート・プリンタまたは記憶デバイスに結合されることを可能にし得る。モデム、ケーブル・モデム、およびイーサネット(登録商標)・カードは、現在利用可能なタイプのネットワーク・アダプタのほんの一部である。

最後に、本明細書に提示されるアルゴリズムおよび表示は、任意の特定のコンピュータまたは他の装置と固有に関連するものではない。様々な汎用システムが本明細書における教示に係るプログラムとともに使用されることもできるし、または、より特殊化された装置を構築して要求される方法のステップを実行することが便利であることが当業者にとって理解可能であろう。様々なこれらのシステムのために要求される構造は、以下の説明から明白であろう。加えて、本明細書は、任意の特定のプログラミング言語に関連して説明されるものではない。様々なプログラミング言語が本明細書に説明される様々な実施形態の教示を実装するために使用され得ることが理解されるだろう。

＜システムの概要＞
図１Ａは、本発明に係る一実施形態に従って、ビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるためのシステム１００のブロック図を示す。図示されたシステム１００は、ホスト１３５によってアクセス可能なホスティング・デバイス１０１と、登録サーバ１３０と、カメラ１０３と、表示デバイス１０７ａ〜１０７ｎと、参加者１２５ａ〜１２５ｎによってアクセス可能なモバイル機器１１５ａ〜１１５ｎとを含む。図１Ａおよび残りの図面において、参照番号の後に続く文字、例えば「１１５ａ」の末尾の「ａ」は、その参照番号を有する複数の要素の中の特定のインスタンスへの言及を表現する。後続する文字のない本文中の参照番号、例えば「１１５」は、その参照番号を持つ複数の要素の中の一つ以上の不特定インスタンスへの一般的な言及を表現する。図示された実施形態において、システム１００のこれらのエンティティは、ネットワーク１０５を介して通信可能に結合される。

ネットワーク１０５は、従来のタイプの有線ネットワークまたは無線ネットワークとすることが可能であり、そのネットワーク・トポロジが、スター型構成、トークンリング型構成、またはその他の構成を含み得る非常に多くの異なる構成を有することができる。さらに、ネットワーク１０５は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えば、インターネット）、および／または、複数のデバイスが互いに通信し得るように相互接続されたその他のデータ伝送経路を含み得る。本発明に係る幾つかの実施形態において、ネットワーク１０５は、ピア・ツー・ピア型ネットワークとすることが可能である。ネットワーク１０５はまた、様々な異なる通信プロトコルによってデータを送信する電気通信ネットワークに結合され得るか、またはそのような電気通信ネットワークを一部として含む。本発明に係る幾つかの実施形態において、ネットワーク１０５は、データを送信および受信するためのＢｌｕｅｔｏｏｔｈ(登録商標)通信ネットワークまたはセルラー通信ネットワークを含み、当該セルラー通信ネットワークは、ショート・メッセージング・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト・トランスファー・プロトコル（ＨＴＴＰ）、直接的なデータ接続、ＷＡＰ、ｅメール、等を介した通信サービス機能を含む。図１Ａは、モバイル機器１１５と、ホスティング・デバイス１０１と、登録サーバ１３０とに結合された、１つのネットワーク１０５を示すが、実際には、１つ以上のネットワーク１０５がこれらのエンティティに接続されるようにすることが可能である。

ホスティング環境１３７は、マルチユーザ通信セッションをホスティングするための環境とすることが可能である。マルチユーザ通信セッションの具体例は、ビデオ会議ミーティングのための通信セッションを含む。幾つかの具体例において、ホスティング環境１３７は、図１Ａにおける破線のボックス内の全てのデバイスがユーザに視認可能な部屋である。例えば、ホスティング環境１３７は、会議室内に存在する１つ以上の表示デバイス１０７および１つ以上のカメラ１０３を含む会議室環境とすることが可能である。表示デバイス１０７の具体例は、プロジェクタ、電子式ホワイト・ボード、液晶ディスプレイ、および任意のその他の従来型表示デバイスを含むが、これらに限定されない。本発明に係る一実施形態において、カメラ１０３は、高性能のビデオ会議カメラである。カメラ１０３の具体例は、高解像度ビデオを取り込む高解像度（ＨＤ）ビデオカメラ、機械的に制御され得るパン・チルト・ズーム（ＰＴＺ）式カメラ、または、ホスティング環境１３７内においてマルチ・ビューまたはパノラマ・ビューを提供する一群のカメラのグループを含むが、これらに限定されない。２つの表示デバイス１０７と１つのカメラ１０３が図１Ａに示されているが、ホスティング環境１３７は、１つ以上の表示デバイス１０７と１つ以上のカメラ１０３を含むことも可能である。

ホスティング・デバイス１０１、表示デバイス１０７ａ〜１０７ｎ、およびカメラ１０３は、ホスティング環境１３７内に設置される。ホスティング・デバイス１０１は、信号線１１６を介して表示デバイス１０７ａに通信可能に結合され、信号線１１８を介して表示デバイス１０７ｎに通信可能に結合され、信号線１１４を介してカメラ１０３に通信可能に結合される。表示デバイス１０７ａは任意付加的に、信号線１０２を介して登録サーバ１３０に結合され、表示デバイス１０７ｎは任意付加的に、信号線１０４を介して登録サーバ１３０に結合され、カメラ１０３は任意付加的に、信号線１１２を介して登録サーバ１３０に結合される。

ホスティング・デバイス１０１は、プロセッサおよびメモリを含むコンピューティング装置とすることが可能であり、信号線１３１を介してネットワーク１０５に結合される。例えば、ホスティング・デバイス１０１は、ハードウェア・サーバである。さらに別の具体例では、ホスティング・デバイス１０１は、ラップトップ型コンピュータまたはデスクトップ型コンピュータである。ホスティング・デバイス１０１は、ホスト１３５（例えば、ミーティングを管理するユーザ）によってアクセスされる。ホスティング・デバイス１０１は、ホスティング・アプリケーション１０９と、ホスティング・アプリケーション１０９によって生成されたプレゼンテーションを記憶するための記憶デバイスとを含む。

ホスティング・アプリケーション１０９は、マルチユーザ通信セッションをホスティングするためのソフトウェアを含む。例えば、ホスティング・アプリケーション１０９は、ホスト１３５が管理し、１人以上の参加者１２５が１つ以上のモバイル機器１１５を使用して参加するビデオ会議ミーティングをホスティングする。さらに別の具体例では、ホスティング・アプリケーション１０９は、プレゼンテーションを行うためのスライドを生成する。

本発明に係る一実施形態において、ホスティング・アプリケーション１０９は、ホスティング環境１３７内に存在する１つ以上の表示デバイス１０７上の１つ以上のデータ画面内において、他の参加者１２５との間で共有されるデータを表示する。参加者１２５との間で共有されるデータは、テキストに基づいた文書、ウェブページ・コンテンツ、プレゼンテーションのスライド、ビデオ・クリップ、ストロークに基づいた手書きのコメント、および／または他のユーザの注釈、等を含むが、これらに限定されない。ホスティング環境１３７における１つ以上のデータ画面は、カメラ１０３を介して視認可能である。例えば、離れた位置に居る他の参加者１２５と共有されるプレゼンテーションのスライドは、壁に投影され、当該プレゼンテーションのスライドの投影（または、投影の少なくとも所定の部分）は、カメラ１０３の視野内にある。この場合においては、カメラ１０３は、当該プレゼンテーションのスライドの投影をビデオ・ストリームの１つ以上のビデオ・フレーム画像中に取り込むことができる。

さらに別の具体例において、会議室内のユーザが電子式ホワイト・ボードにコメントを書く場合、ホスティング・アプリケーション１０９は、当該電子式ホワイト・ボードがカメラ１０３から視認可能となるように、カメラ１０３を制御してその位置を移動させることができる。この場合においては、カメラ１０３は、当該電子式ホワイト・ボードに示されたコメントをビデオ・ストリーム内の１つ以上のビデオ・フレーム画像中に取り込むことができる。カメラ１０３は、ホスティング環境１３７を描写するビデオ・フレーム画像を含むビデオ・ストリームを取り込み、このビデオ・フレーム画像は、表示デバイス１０７のデータ画面および／またはホスティング・デバイス１０１のデータ画面の映像を含む。

本発明に係る一実施形態において、カメラ１０３は、ホスティング・デバイス１０１に対してビデオ・ストリームを送信し、それを契機としてホスティング・デバイス１０１は、登録サーバ１３０およびモバイル機器１１５のうちの１つ以上に対してビデオストリームを転送することとなる。本発明に係るさらに別の実施形態では、カメラ１０３は当該ビデオ・ストリームを登録サーバ１３０に対して直接送信する、および／または、当該ビデオ・ストリームをモバイル機器１１５に対してネットワーク１０５を介して送信する。さらなる別の実施形態では、カメラ１０３は、検出トリガ・イベントの発生に応答して、カメラ１０３によって取り込まれた最新のビデオ・フレーム画像を登録サーバ１３０に対して送信する。検出トリガ・イベントは、図２を参照しながら以下においてより詳細に説明される。

本発明に係る一実施形態において、ホスティング・アプリケーション１０９または表示デバイス１０７は、表示デバイス１０７のデータ画面に表示されたデータ・ストリームの高品質バージョンを取り込む。データ画面に表示されたデータ・ストリームのこの高品質バージョンは、データ画面に関連付けられたデータ・ストリームと呼ばれ、この高品質バージョンは、経時的に表示デバイス１０７のデータ画面に表示されたコンテンツを描写する一連のデータ画面の映像（例えば、スクリーン・ショット画像）を含む。上記のようなデータ画面のスクリーン・ショット画像は、特定の瞬間時間においてデータ画面上に表示されたコンテンツを描写する。それぞれ異なる瞬間時間においてデータ画面のそれぞれ異なるスクリーン・ショット画像が取り込まれ、データ画面の一連の異なる時点における複数のスクリーン・ショット画像は、データ画面に関連付けられたデータ・ストリームを形成する。幾つかの具体例において、データ画面のスクリーン・ショット画像の各々はまた、データ・ストリーム中に含まれる一つのデータ・フレームとも呼ばれ得る。

幾つかの具体例において、ホスティング・アプリケーション１０９は、スライドのプレゼンテーションを高解像度で表現する一連のスクリーン・ショット画像を、プレゼンテーション用のコンピューティング装置から直接取り込む。幾つかの追加の具体例では、電子式ホワイト・ボードの画面に表示された元のストローク情報を当該電子式ホワイト・ボードが取り込み、続いて、当該電子式ホワイト・ボードが、元のストローク情報を描写するスクリーン・ショット画像をホスティング・アプリケーション１０９に対して送信する。

本発明に係る一実施形態において、ホスティング・アプリケーション１０９は、データ画面に関連付けられたデータ・ストリームを、モバイル機器１１５および登録サーバ１３０のうちの１つ以上に対して送信する。さらに別の実施形態では、１つ以上のデータ画面画像を含むデータストリームをモバイル機器１１５および登録サーバ１３０のうちの１つ以上に対して表示デバイス１０７が直接送信する。例えば、表示デバイス１０７は、登録サーバ１３０に最も新しいデータ画面の映像を定期的に送信する。

本発明に係る一実施形態に従うならば、登録サーバ１３０上において参加アプリケーション１２３ａを動作可能とすることができる。登録サーバ１３０は、プロセッサおよびメモリを含み、信号線１０６を介してネットワーク１０５に結合される。登録サーバ１３０は、登録された画像を記憶するためのデータベースを含む。登録サーバ１３０は、表示デバイス１０７を登録し、カメラ１０３からミーティングに関するビデオ映像情報のフィードを受信する。当該ビデオ映像情報のフィードは、１つ以上のビデオ・フレーム画像を含む。登録サーバ１３０は、画像マッチング・アルゴリズムを実行し、それにより、最新のビデオ・フレームと、表示デバイス１０７またはホスティング・デバイス１０１に関連付けられたデータ画面の最新のスクリーン・ショット画像との間における対応関係を見出す。マッチングが見出された場合には、マッチングした画像領域がビデオ・フレーム画像内においてハイライト表示され、モバイル機器１１５上において画面表示される。登録サーバ１３０は、図２および図３Ａを参照しながら以下においてより詳細に説明される。

本発明に係るさらに別の実施形態に従うならば、モバイル機器１１５ａ内において参加アプリケーション１２３ｂが記憶されることが可能であり、参加アプリケーション１２３ｂは、信号線１０８を介してネットワーク１０５に接続される。モバイル機器１１５ａ、１１５ｂは、メモリおよびプロセッサを含む装置であって、限られた画面表示スペースを有するコンピューティング装置（例えば、ラップトップ型コンピュータ、タブレット型コンピュータ、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）、モバイル型のｅメールデバイス、またはネットワーク１０５にアクセス可能なその他の電子デバイス）である。モバイル機器１１５は、データを表示し、参加者１２５からのジェスチャを受信するためのタッチスクリーンを含む。ジェスチャの具体例は、タップ操作、ダブルタップ操作、長押し操作、スクロール操作、パン操作、フリック操作、二本指によるタップ操作、ピンチ・オープン操作、ピンチ・クローズ操作等を含むが、これらに限定されない。

図示された実施形態において、参加者１２５ａは、モバイル機器１１５ａと対話する。モバイル機器１１５ｎは、信号線１１０を介してネットワーク１０５と通信可能に結合される。参加者１２５ｎは、モバイル機器１１５ｎと対話する。参加者１２５は、ホスティング・デバイス１０１によってホスティングされたビデオ会議セッションのようなマルチユーザ通信セッションに参加するリモート・ユーザとすることが可能である。図１Ａにおけるモバイル機器１１５ａ、１１５ｎは、具体例として使用されている。図１Ａは、２つのモバイル機器１１５ａおよび１１５ｎを示しているが、本開示は、１つ以上の任意の個数のモバイル機器１１５を有するシステム・アーキテクチャにも適用される。

本発明に係る一実施形態において、参加アプリケーション１２３は、参加アプリケーション１２３の一部が、モバイル機器１１５ａ、１１５ｎにおいてそれぞれ部分的に記憶され、参加アプリケーション１２３の別の一部が、登録サーバ１３０において部分的に記憶され得るように分散された形で記憶される。例えば、登録サーバ１３０が画面検出ステップを実行する一方で、モバイル機器１１５における参加アプリケーション１２３ｂは、ビデオ・ストリームまたはデータ・ストリームを表示するシンクライアント・アプリケーションとしての役割を果たす。モバイル機器１１５ａにおける参加アプリケーション１２３ｂは、例えばブラウザで画像をレンダリング処理することにより、ビデオ・ストリームまたはデータ・ストリームを視覚的に提示するよう、ディスプレイ装置に指示する。参加アプリケーション１２３ｂは、参加者１２５からユーザ入力操作（例えば、ジェスチャ）を受信し、ユーザ入力操作の意味を解釈する。例えば、参加アプリケーション１２３ｂがビデオ・ストリームを現在表示中であると仮定する。参加アプリケーション１２３ｂが参加者１２５ａからユーザ入力操作を受信して画面を非常に大きく拡大したのでユーザ入力操作が閾値を超えると、参加アプリケーション１２３ｂは、画面表示の対象となるストリームがホスティング・デバイス１０１のデータ・ストリームに切り換えられるべきであると決定する。参加アプリケーション１２３ｂは、ビデオ・ストリームからデータ・ストリームに切り換えることを示す命令を、登録サーバ１３０上の参加アプリケーション１２３ａに対して送信する。

参加アプリケーション１２３は、マルチユーザ通信セッションに参加するためのコードおよびルーチンとすることが可能である。本発明に係る一実施形態において、参加アプリケーション１２３は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実現され得る。さらに別の実施形態において、参加アプリケーション１２３は、ハードウェアおよびソフトウェアの組み合わせを使用して実現され得る。本発明に係る様々な実施形態において、参加アプリケーション１２３は、デバイスおよびサーバの組み合わせにおいて記憶され、あるいはデバイスまたはサーバのいずれか一方の上に記憶され得る。

図１Ｂは、ビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるためのシステムのさらに別の実施形態である。この実施形態では、ホスティング・デバイス１０１が存在しない。代わりに、モバイル機器１１５が、カメラ１０３および参加アプリケーション１２３ｂを備え得る。モバイル機器１１５は、信号線１３６、１３８をそれぞれ経由して、表示デバイス１０７ａ、１０７ｎに結合される。

参加者１２５は、モバイル機器１１５におけるカメラ１０３を起動し、カメラ１０３を表示デバイス１０７ａ、１０７ｎに向けて表示デバイス１０７ａ、１０７ｎのコンテンツを取り込むことができる。モバイル機器１１５は、信号線１５４を介して登録サーバ１３０に対して画像を直接送信し得る。例えば、そのような画像は、モバイル機器１１５からのクエリ（問い合わせ）としての役割を果たし得る。参加アプリケーション１２３は、取り込まれた画像を使用してビデオ閲覧ビューから画面を検出し、参加者１２５からジェスチャによる入力操作を受信することに応答してデータ閲覧ビューへと画面表示を切り換える。

＜参加アプリケーションの実施例＞
ここで図２を参照すると、参加アプリケーション１２３の例がより詳細に示されている。図２は、幾つかの例に係るコンピューティング装置２００のブロック図であり、参加アプリケーション１２３、プロセッサ２３５、メモリ２３７、入力／出力デバイス２４１、通信ユニット２３９、および記憶デバイス２４３を含む。コンピューティング装置２００のコンポーネントは、バス２２０によって通信可能に結合される。入力／出力デバイス２４１は、信号線２４２を介してバス２００に通信可能に結合される。本発明に係る幾つかの実施形態において、コンピューティング装置２００は、モバイル機器１１５および登録サーバ１３０のいずれか一方とすることが可能である。例えば、一実施形態において、登録サーバ１３０は、以下に説明されるコンポーネントの幾つかとともに参加アプリケーション１２３を含むことができ、モバイル機器１１５は、以下に説明される他のコンポーネントの幾つかを含むことが可能である。

プロセッサ２３５は、演算を実行し、表示デバイスに電子表示信号を提供するための、算術論理ユニット、マイクロプロセッサ、汎用コントローラ、または何らかの他のプロセッサ・アレイを含む。プロセッサ２３５は、他のコンポーネントとの通信のために信号線２２２を介してバス２２０に結合される。プロセッサ２３５は、データ信号を処理し、複合命令セット・コンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セット・コンピュータ（ＲＩＳＣ）アーキテクチャ、または命令セットの組み合わせを実現するアーキテクチャを含む様々なコンピューティング・アーキテクチャを含み得る。図２は単一のプロセッサ２３５を含むが、複数のプロセッサ２３５が含まれていても良い。一実施形態においては、上記以外の他のプロセッサ、オペレーティング・システム、センサ機器、ディスプレイ装置、およびその他の物理的構成を採用することもまた可能である。

メモリ２３７は、プロセッサ２３５によって実行され得る命令および／またはデータを記憶する。メモリ２３７は、他のコンポーネントとの通信のために信号線２２４を介してバス２２０に結合される。命令および／またはデータは、本明細書に説明される技法を実行するためのプログラム・コードを含み得る。メモリ２３７は、ダイナミックランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ、またはその他の何らかのメモリ・デバイスとすることが可能である。幾つかの実施形態において、メモリ２３７はさらに、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ−ＲＯＭデバイス、ＤＶＤ−ＲＯＭデバイス、ＤＶＤ−ＲＡＭデバイス、ＤＶＤ−ＲＷデバイス、フラッシュ・メモリ・デバイス、または、より永続的な形で情報を記憶するための他の何らかの大容量記憶デバイスを含む不揮発性メモリまたは同様の永続的な記憶デバイスおよび媒体を含む。

通信ユニット２３９は、参加アプリケーション１２３がどこに記憶されるかに依存して、ホスティング・デバイス１０１、モバイル機器１１５、および登録サーバ１３０のうちの少なくとも１つとデータを送受信する。通信ユニット２３９は、信号線２２６を介してバス２２０に結合される。幾つかの実施形態において、通信ユニット２３９は、ネットワーク１０５または別個の通信チャネルへの直接的な物理接続のための通信ポートを含む。例えば、通信ユニット２３９は、モバイル機器１１５との有線通信のためのＵＳＢ、ＳＤ、ＣＡＴ−５または同様の通信ポートを含む。幾つかの実施形態において、通信ユニット２３９は、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１６、ＢＬＵＥＴＯＯＴＨ（登録商標）、または別の適切な無線通信方法を含む、１つ以上の無線通信方法を使用して、モバイル機器１１５または他の通信チャネルとデータを交換するための無線トランシーバを含む。

幾つかの実施形態において、通信ユニット２３９は、ショート・メッセージング・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト・トランスファー・プロトコル（ＨＴＴＰ）、直接的なデータ接続、ＷＡＰ、ｅメール、またはさらに別の適切なタイプの電子的通信サービス機能を介したものを含むセルラー通信ネットワークを経由してデータを送信および受信するためのセルラー通信トランシーバを含む。幾つかの実施形態において、通信ユニット２３９は、有線通信ポートおよび無線トランシーバを含む。通信ユニット２３９はまた、ファイルおよび／またはメディア・オブジェクトの配信のために、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、およびＳＭＴＰ、等を含む標準的なネットワーク・プロトコルを使用して、ネットワーク１０５への他の従来的な接続機能を提供する。

記憶デバイス２４３は、本明細書中において説明される機能を提供するためのデータを記憶する非一時的なメモリとすることが可能である。記憶デバイス２４３は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ、またはその他の幾つかの種別のメモリ・デバイスとすることが可能である。幾つかの実施形態において、記憶デバイス２４３はさらに、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ−ＲＯＭデバイス、ＤＶＤ−ＲＯＭデバイス、ＤＶＤ−ＲＡＭデバイス、ＤＶＤ−ＲＷデバイス、フラッシュ・メモリ・デバイス、またはより永続的な形で情報を記憶するための他の何らかの大容量記憶デバイスを含む不揮発性メモリまたは同様の永続的な記憶デバイスおよび媒体を含む。

図示された実施形態において、記憶デバイス２４３は、信号線２２８を介してバス２２０と通信可能に結合される。一実施形態において、記憶デバイス２４３は、１つ以上のビデオ・フレーム画像を含むビデオ・ストリーム、１つ以上のデータ画面の画像を含むデータ・ストリーム、および１つ以上の検出トリガ・イベント等のうちの１つ以上を記憶する。記憶デバイス２４３は、本明細書中において説明される機能を提供するためのその他のデータを記憶することが可能である。例えば、記憶デバイス２４３は、プレゼンテーション、文書、オーディオ・クリップ、ビデオ・クリップ等といった、ビデオ会議用資料のコピーを記憶し得る。

図２において図示された実施形態において、参加アプリケーション１２３は、コントローラ２０２、ビュー提示モジュール２０４、画面検出モジュール２０６、ビュー切り換えモジュール２０８およびユーザ・インターフェース・モジュール２１０に加えてオプションとしてカメラ調節モジュール２１２を含む。参加アプリケーション１２３の上述した複数のコンポーネント同士は、バス２２０を介して通信可能に結合される。当業者は、上述したコンポーネントの一部が、モバイル機器１１５上に部分的に記憶されることが可能であり、上述したコンポーネントの残りの一部が登録サーバ１３０上に部分的に記憶されることが可能であることを認識するだろう。例えば、登録サーバ１３０上に記憶された参加アプリケーション１２３は、画面検出モジュール２０６を含むことが可能であり、モバイル機器１１５上に記憶された参加アプリケーション１２３は、残りのコンポーネントを含むことが可能である。

コントローラ２０２は、参加アプリケーション１２３とコンピューティング装置２００内の他のコンポーネントとの間の通信を取り扱うためのルーチンを含むソフトウェアとすることが可能である。一実施形態において、コントローラ２０２は、参加アプリケーション１２３とコンピューティング措置２００内の他のコンポーネントとの間の通信を取り扱うために後述する機能を実現するようプロセッサ２３５によって実行可能な命令のセットとすることが可能である。さらに別の実施形態において、コントローラ２０２は、コンピューティング装置２００のメモリ２３７内に記憶されることが可能であり、プロセッサ２３５によってアクセス可能かつ実行可能であり得る。いずれの実施形態においても、コントローラ２０２は、信号線２３０を介して、プロセッサ２３５とコンピューティング装置２００内の他のコンポーネントとの間における協働および通信を実現するように適合し得る。

一実施形態において、コントローラ２０２は、通信ユニット２３９を介して、モバイル機器１１５、ホスティング・デバイス１０１、および登録サーバ１３０のうちの１つ以上とデータを送受信する。例えば、コントローラ２０２は、通信ユニット２３９を介して、モバイル機器１１５上で操作を行う参加者１２５からユーザ入力操作を受信し、当該ユーザ入力操作をビュー切り換えモジュール２０８に送信する。別の例では、コントローラ２０２は、ユーザ・インターフェース・モジュール２１０から、ユーザ・インターフェースを参加者１２５に提供するためのグラフィカル・データを受信し、当該グラフィカル・データをモバイル機器１１５に送信し、それを契機として、モバイル機器１１５は、当該ユーザ・インターフェースを参加者１２５に対して視覚的に提示する。

一実施形態において、コントローラ２０２は、参加アプリケーション１２３内の他のコンポーネントからデータを受信し、そのデータを記憶デバイス２４３内に記憶する。例えば、コントローラ２０２は、画面検出モジュール２０６から１つ以上の検出トリガ・イベントを表すデータを受信し、そのデータを記憶デバイス２４３内に記憶する。さらに別の実施形態において、コントローラ２０２は、記憶デバイス２４３の中からデータを検索し、そのデータを参加アプリケーション１２３内の他のコンポーネントに送信する。例えば、コントローラ２０２は、記憶デバイス２４３中からデータ・ストリームを検索し、参加者１２５にデータ・ストリームを視覚提示するためのビュー提示モジュール２０４に対してそのデータ・ストリームを送信する。

ビュー提示モジュール２０４は、モバイル機器１１５上においてビデオ閲覧ビューまたはデータ閲覧ビューを提示するためのルーチンを含むソフトウェアとすることが可能である。一実施形態において、ビュー提示モジュール２０４は、モバイル機器１１５上においてデータ閲覧ビューまたはビデオ閲覧ビューを提示するための後述する機能を実現するようプロセッサ２３５によって実行可能な命令のセットとすることが可能である。さらに別の実施形態において、ビュー提示モジュール２０４は、コンピューティング装置２００のメモリ２３７内に記憶されることが可能であり、プロセッサ２３５によってアクセス可能かつ実行可能であり得る。いずれの実施形態においても、ビュー提示モジュール２０４は、信号線２３２を介して、プロセッサ２３５とコンピューティング装置２００内の他のコンポーネントとの間の協働および通信を実現するように適合し得る。

ビデオ・ビュー・モードは、マルチユーザ通信セッションに関連付けられたビデオ・データを参加者１２５に視覚的に提示する。例えば、ビデオ・ビュー・モードは、マルチユーザ通信セッションにおける他の参加者のビデオ・ストリームを、モバイル機器１１５上において全画面で参加者１２５に対して視覚的に提示する。別の例において、ビデオ・ビュー・モードは、ビデオ・ストリームをモバイル機器１１５上において最大解像度で視覚提示する。

本発明に係る一実施形態において、ビュー提示モジュール２０４は、参加者１２５がマルチユーザ通信セッションに加わることを示すデータを、参加者１２５に関連付けられたモバイル機器１１５から受信する。それに応答して、モバイル機器１１５は、ビデオ・ビュー・モードに遷移する。ビュー提示モジュール２０４は、カメラ１０３から直接的にまたはホスティング・デバイス１０１を介して１つ以上のビデオ・フレーム画像を含むビデオストリームを受信し、そのビデオ・ストリームをモバイル機器１１５のディスプレイ装置によって参加者１２５に対して視覚的に提示する。

幾つかの例では、カメラ１０３と同一のホスティング環境１３７内にある１つ以上のデータ画面は、ビデオ・ストリーム内の１つ以上のビデオ・フレーム画像の中に取り込まれ、当該１つ以上のビデオ・フレーム画像は、１つ以上のデータ画面を描写するサブ画像を含む。例えば、当該１つ以上のビデオ・フレーム画像は少なくとも、ホスティング・デバイス１０１のデータ画面の一部、壁に投影された画面の一部、および／または電子式ホワイト・ボードのデータ画面の一部を取り込む。別の例では、１つ以上のビデオ・フレーム画像は、ホスティング・デバイス１０１の全データ画面、壁に投影された画面全体、および／または電子式ホワイト・ボードのデータ画面全体を取り込む。

データ・ビュー・モードは、マルチユーザ通信セッションに関連付けられたデータ・ストリームを参加者１２５に対して視覚的に提示するモードである。例えば、データ・ビュー・モードは、マルチユーザ通信セッションの継続期間中に視覚提示されているスライドを有するデータ・ストリームを、モバイル機器１１５上において全画面表示で参加者１２５に対して視覚的に提示する。別の例では、データ・ビュー・モードは、データ・ストリームをモバイル機器１１５上において最大解像度で視覚提示する。

本発明に係る一実施形態において、ビュー提示モジュール２０４は、検出されたデータ画面の識別子（ＩＤ）に加えて、モバイル機器１１５において表示中のビューがビデオ閲覧ビューからデータ閲覧ビューに切り換えられるべきであることを示すビュー切り換え信号を、ビュー切り換えモジュール２０８から受信する。幾つかの実施形態において、ビュー提示モジュール２０４は、検出されたデータ画面に関連付けられたデータ・ストリームを、そのデータ画面に関連付けられた表示デバイス１０７から直接的に受信する。他の幾つかの実施形態において、ビュー提示モジュール２０４は、ホスティング・デバイス１０１を介してデータ・ストリームを受信する。ビュー切り換え信号を受信することに応答して、ビュー提示モジュール２０４は、モバイル機器１１５上においてビデオ・ストリームを視覚的に提示する動作を停止し、モバイル機器１１５上においてデータ画面に関連付けられたデータ・ストリームを視覚的に提示する動作を開始する。当該技術分野における当業者であれば認識可能なことであるが、本明細書中においてビデオ・ストリームまたはデータ・ストリームの視覚的な提示について説明する記載箇所は、表示のために通信ユニット２３９を介してモバイル機器１１５に対して送信されるグラフィカル・データを生成するようにビュー提示モジュール２０４がユーザ・インターフェース・モジュール２１０に対して指示する様子を表現することを意図している。

幾つかの例において、埋め込み型のデータ・ストリームがデータ・ストリーム中に含まれる。ビュー提示モジュール２０４は、ビュー切り換えモジュール２０８から、モバイル機器１１５において表示中のビューをデータ閲覧ビューから埋め込み型のデータ閲覧ビューに切り換えるようビュー提示モジュール２０４に指示するビュー切り換え信号を受信する。埋め込み型のデータ・ビュー・モードは、埋め込まれたデータ・ストリームを、モバイル機器１１５上において最大解像度または全画面表示で参加者１２５に対して視覚的に提示するモードである。ビュー切り換え信号を受信することに応答して、ビュー提示モジュール２０４は、モバイル機器１１５上において、データ・ストリームを視覚的に提示する動作を停止し、埋め込まれたデータストリームを視覚的に提示する動作を開始する。埋め込み型のデータ・ストリームは、ビデオ会議ミーティング、プレゼンテーション、ビデオ・クリップ、テキスト文書、プレゼンテーションのスライド、またはデータ・ストリーム中に埋め込まれた他の種別のデータとすることが可能である。

ビュー提示モジュール２０４は、別のビューを埋め込まれた埋め込み型のデータ閲覧ビューから再び通常のデータ閲覧ビューへと画面表示を切り換えるようビュー提示モジュール２０４に指示するビュー切り換え信号をビュー切り換えモジュール２０８から受信する。すると、ビュー提示モジュール２０４は、埋め込まれたデータ・ストリームを視覚的に提示する動作を停止し、モバイル機器１１５上において再度データ・ストリームを視覚的に提示する動作を開始する。一実施形態において、ビュー提示モジュール２０４は、モバイル機器１１５上において表示中のビューをデータ閲覧ビューからビデオ閲覧ビューに切り換えるようビュー提示モジュール２０４に指示するビュー切り換え信号をビュー切り換えモジュール２０８から受信する。当該ビュー切り換え信号に応答して、ビュー提示モジュール２０４は、モバイル機器１１５上において、データ・ストリームを視覚的に提示する動作を停止し、ビデオ・ストリームを視覚的に提示する動作を開始する。

画面検出モジュール２０６は、ビデオ・フレーム画像中に含まれるデータ画面の検出を実行するためのルーチンを含むソフトウェアとすることが可能である。一実施形態において、画面検出モジュール２０６は、ビデオ・フレーム画像中に含まれるデータ画面の検出を実行するために後述する機能を実現するようプロセッサ２３５によって実行可能な命令のセットとすることが可能である。さらに別の実施形態では、画面検出モジュール２０６は、コンピューティング装置２００のメモリ２３７内に記憶されることが可能であり、プロセッサ２３５によってアクセス可能かつ実行可能であり得る。いずれの実施形態においても、画面検出モジュール２０６は、信号線２３４を介して、プロセッサ２３５とコンピューティング装置２００内の他のコンポーネントとの間における協働および通信を実現するように適合し得る。

本発明に係る一実施形態において、画面検出モジュール２０６は、１つ以上の表示デバイス１０７を登録サーバ１３０に登録する。例えば、画面検出モジュール２０６は、表示デバイス１０７と共に、表示デバイス１０７に関連付けられたデバイス識別子、ユーザ、等を記録し、登録情報を記憶装置２４３内に記憶することが可能である。各表示デバイス１０７は、自身のデータ画面の新たに更新された画像を登録サーバ１３０に対して定期的に送信する。例えば、各表示デバイス１０７は、自身の最も新しいスクリーン・ショット画像を登録サーバ１３０に対して定期的に送信する。幾つかの例では、表示デバイス１０７は、自身のデータ画面の新たに更新されたスクリーン・ショット画像を、ホスティング・デバイス１０１を介して登録サーバ１３０に送信する。

本発明に係る一実施形態において、画面検出モジュール２０６は、トリガ・イベントの発生を検出する。例えば、そのようなイベントは、ビデオ・フレーム画像中の１つ以上のデータ画面の検出をトリガする検出トリガ・イベントであり得る。例えば、当該検出トリガ・イベントは、ビデオ・フレーム画像がデータ画面を含んでいるか否かを検出する動作を画面検出モジュール２０６に実行させる。検出トリガ・イベントの具体例は、カメラ１０３の動き（例えば、カメラ１０３のパン操作、ズーム操作またはチルト操作、カメラ１０３の移動等）、および／または、ビデオ・フレーム画像中の対象物の動き（例えば、壁に投影された画面の映像がビデオ・フレーム画像中に出現した、または電子式ホワイト・ボードが移動した等）を含むが、これらに限定されない。さらに別の例では、トリガ・イベントは、タイマに基づいて発生し得る。

検出トリガ・イベントの発生に応答して、画面検出モジュール２０６は、カメラ１０３から直接的にまたはホスティング・デバイス１０１を介して、ビデオ・ストリーム内の最新のビデオ・フレーム画像を受信する。幾つかの例において、画面検出モジュール２０６は、モバイル機器１１５またはビデオ・ストリームを提供するビデオ・サーバから、ビデオ・ストリーム内の最新のビデオ・フレーム画像を受信する。画面検出モジュール２０６は、検出トリガ・イベントの発生に応答して、最新のビデオ・フレーム画像中に含まれるデータ画面の検出を実行する。例えば、画面検出モジュール２０６は、データ画面の最新のスクリーン・ショット画像と最新のビデオ・フレーム画像とをマッチングすることによって、データ画面が最新のビデオ・フレーム画像中に現れているか否かを判定する。

幾つかの具体例では、登録サーバ１３０に登録された各データ画面について、画面検出モジュール２０６は、データ画面の最新のスクリーン・ショット画像とマッチングするサブ画像が最新のビデオ・フレーム画像中に現れているか否かを判定する。例えば、画面検出モジュール２０６は、最新のビデオ・フレーム画像がデータ画面を描写するサブ画像を含むか否かを判定する（例えば、画面検出モジュール２０６は、データ画面が最新のビデオ・フレーム画像によって取り込まれているか否かを判定する）。さらなる具体例では、画面検出モジュール２０６は、画像マッチング・アルゴリズムを実行して、最新のビデオ・フレーム画像とデータ画面の最新のスクリーン・ショット画像との間の対応関係を見出す。画面検出モジュール２０６が最新のビデオ・フレーム画像とデータ画面の最新のスクリーン・ショット画像との間におけるマッチングを見出すと、画面検出モジュール２０６は、モバイル機器１１５上においてビデオ・フレーム画像中のマッチングした領域をハイライト表示する。例えば、画面検出モジュール２０６は、モバイル機器１１５上においてビデオ・フレーム画像中の検出されたデータ画面をハイライト表示する。

一実施形態において、画面検出モジュール２０６は、画像マッチング・アルゴリズムをリアルタイムで実行する。画像マッチング・アルゴリズムの具体例としては、スケール不変特徴量変換（ＳＩＦＴ）アルゴリズムなどが含まれる。ＳＩＦＴアルゴリズムは、最新のビデオ・フレーム画像とデータ画面の最新のスクリーン・ショット画像の両方の特徴点を抽出し、上記両方の画像からの特徴点が、ｋ近傍法（ＫＮＮ）に基づいてマッチングされ、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用することによりコンセンサスが見付けられ、ホモグラフィ行列が決定される。画像マッチングのためにＳＩＦＴ、ＫＮＮ、およびＲＡＮＳＡＣをどのように使用するかについての追加の情報は、「Ｈｅｓｓ,Ｒ.,Ａｎ Ｏｐｅｎ―Ｓｏｕｒｃｅ ＳＩＦＴ Ｌｉｂｒａｒｙ,Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ,Ｏｃｔｏｂｅｒ ２０１０,ｐｐ.１４９３―９６」を参照することにより理解可能である。当業者は、上記以外の他の画像マッチング・アルゴリズムもまた使用可能であることを認識するだろう。

画像検出モジュール２０６がビデオ・フレーム画像中に存在する１つ以上のデータ画面を検出すると、画面検出モジュール２０６は、１つ以上のデータ画面とビデオ・フレーム画像との間における１つ以上のマッチングを含むマッチング結果を生成する。画面検出モジュール２０６は、１つ以上のマッチングの結果をモバイル機器１１５に通知し、モバイル機器１１５と、マッチングした１つのデータ画面を有する各表示デバイス１０７との間において、直接的な接続を確立する。画面検出モジュール２０６は、ビデオ・フレーム画像中における１つ以上のマッチングした領域をハイライト表示するが、各々のマッチング領域は、ビデオ・フレーム画像中に取り込まれた１つのデータ画面の位置に対応する。画面検出モジュール２０６は、ハイライト表示されたマッチング領域をモバイル機器１１５上において表示する。

本発明に係る別の実施形態では、カメラ１０３が静的に配置され、ホスティング環境１３７内の１つ以上のデータ画面を取り込むので、１つ以上のデータ画面の位置は、ビデオ・フレーム画像中において変化しないままである。画面検出モジュール２０６は、ホスティング環境１３７における静的な配置設定に基づいて１つ以上のデータ画面の存在を決定することができ、ビデオ・フレーム画像中の１つ以上のデータ画面の位置を事前キャリブレート処理することができる。画面検出モジュール２０６は、ビデオ・フレーム画像中において事前キャリブレート処理された位置に存在するビデオ・フレーム画像中の１つ以上のデータ画面をハイライト表示する。

画面検出モジュール２０６は、１つ以上の検出されたデータ画面を識別する１つ以上の画面ＩＤと、ビデオ・フレーム画像中の１つ以上のマッチング領域を表すデータとを、ビュー切り換えモジュール２０８に対して送信する。さらに別の実施形態では、画面検出モジュール２０６は、１つ以上のデータ画面の事前キャリブレート処理された位置をビュー切り換えモジュール２０８に対して送信する。さらなる別の実施形態では、画面検出モジュール２０６は、１つ以上の画面ＩＤ、１つ以上のマッチング領域を表すデータ、および／または事前キャリブレート処理された位置を記憶装置２４３内に記憶する。

ビュー切り換えモジュール２０８は、モバイル機器１１５において表示中のビューをビデオ閲覧ビューとデータ閲覧ビューとの間で切り換えるためのルーチンを含むソフトウェアとすることが可能である。一実施形態において、ビュー切り換えモジュール２０８は、モバイル機器１１５において表示中のビューをビデオ閲覧ビューとデータ閲覧ビューとの間で切り換えるために後述する機能を実現するようプロセッサ２３５によって実行可能な命令のセットとすることが可能である。さらに別の実施形態において、ビュー切り換えモジュール２０８は、コンピューティング装置２００のメモリ２３７内に記憶されることが可能であり、プロセッサ２３５によってアクセス可能かつ実行可能であり得る。いずれの実施形態においても、ビュー切り換えモジュール２０８は、信号線２３６を介して、プロセッサ２３５とコンピューティング装置２００内の他のコンポーネントとの間における協働および通信を実現するように適合し得る。

一実施形態において、ビュー切り換えモジュール２０８は、１つ以上の検出されたデータ画面を識別する１つ以上の画面ＩＤを表すデータに加えて、ビデオ・フレーム画像中の１つ以上の検出されたデータ画面に関連付けられた１つ以上のマッチング領域を表すデータを画面検出モジュール２０６から受信する。ビデオ・ビュー・モードにおいては、モバイル機器１１５は、ビデオ・フレーム画像のマッチング領域において１つ以上の検出されたデータ画面がハイライト表示された状態で、ビデオ・ストリームを参加者１２５に視覚的に提示する。参加者１２５が、モバイル機器１１５のタッチスクリーンを使用してデータ画面のハイライト表示されたマッチング領域内でジェスチャ（例えば、ピンチ・オープン・ジェスチャまたはダブル・タップ・ジェスチャ等）を実行すると、ビュー切り換えモジュール２０８は、参加者のジェスチャを、ビデオ閲覧ビューからデータ閲覧ビューに切り換えるためのコマンドとして解釈する。ビュー切り換えモジュール２０８は、当該コマンドを表すビュー切り換え信号を生成し、ビュー切り換え信号をビュー提示モジュール２０４に対して送信し、それを契機として、ビュー提示モジュール２０４は、データ閲覧ビューを参加者１２５に対して視覚的に提示する。一実施形態において、ビュー切り換えモジュール２０８は、ビデオ・フレーム画像中に検出されたデータ画面の一部が、所定の閾値よりも大きい（例えば、データ画面の大部分がビデオ・フレーム画像中に現れている）場合、ジェスチャを、ビデオ閲覧ビューからデータ閲覧ビューへと切り換えるためのコマンドとして解釈する。

例えば、参加者１２５がジェスチャを使用してビデオ・フレーム画像中に検出されたデータ画面にズーム・インし得るとするならば、それに応じて、ビデオ・フレーム画像を提示するビデオ閲覧ビューは、モバイル機器１１５のタッチスクリーン上において拡大表示される（スケール・アップする）。ビデオ・フレーム画像中において上記のようにスケール・アップしたデータ画面のサイズが所定の閾値に到達すると、ビュー切り換えモジュール２０８は、モバイル機器１１５において表示中のビューをビデオ閲覧ビューからデータ閲覧ビューへと自動的に切り換え、それを契機として、ビュー提示モジュール２０４は、検出されたデータ画面に関連付けられたデータ・ストリームをモバイル機器１１５上において視覚的に提示する。モバイル機器１１５は、それに応じてビデオ・ビュー・モードからデータ・ビュー・モードへと切り換わる。参加者１２５は、データ・ストリームへのズーム・イン操作、データ・ストリームのコピー操作、データ・ストリームのドラッグ操作等といった、ジェスチャをさらに実行して、データ・ストリームに対する操作を実行することが可能である。

データ・ビュー・モードにおいて、モバイル機器１１５は、参加者１２５に対してデータ・ストリームを視覚的に提示する。モバイル機器１１５のタッチスクリーンに表示されたデータ・ストリームに対して、参加者１２５がジェスチャ（例えば、ピンチ・クローズ・ジェスチャ、または終了アイコンをタップ操作すること等）を実行すると、ビュー切り換えモジュール２０８は、参加者のジェスチャを、データ閲覧ビューから再びビデオ閲覧ビューへと切り換えるためのコマンドとして解釈する。ビュー切り換えモジュール２０８は、当該コマンドを表すビュー切り換え信号を生成し、当該ビュー切り換え信号をビュー提示モジュール２０４に対して送信し、それを契機として、ビュー提示モジュール２０４は、ビデオ閲覧ビューを参加者１２５に対して視覚的に提示する。再度、画面検出モジュール２０６は、カメラ１０３から視認可能な１つ以上のデータ画面がビデオ・フレーム画像中に存在することを検出し、ビデオ・フレーム画像中の１つ以上のデータ画面をハイライト表示する。例えば、参加者１２５が、ジェスチャを使用してデータ・ストリームからズームアウトし得るとするならば、それに応じて、データ・ストリームを提示するデータ閲覧ビューがモバイル機器１１５のタッチスクリーン上において縮小表示される（スケール・ダウンする）。上記のようにスケール・ダウンしたデータ・ストリームのサイズが所定の閾値に到達すると、ビュー切り換えモジュール２０８は、モバイル機器１１５において表示中のビューをデータ閲覧ビューからビデオ閲覧ビューへと自動的に切り換え、それを契機として、ビュー提示モジュール２０４は、ビデオ・ストリームをモバイル機器１１５上において視覚的に提示する。

データ・ビュー・モードにおいては、提示されたデータ・ストリームが埋め込み型のデータ・ストリームを含む場合、参加者１２５は、埋め込まれたデータ・ストリームに対してジェスチャを使用して操作を実行し得る。ビュー切り換えモジュール２０８は、ジェスチャを、通常のデータ閲覧ビューから埋め込み型のデータ閲覧ビューへと切り換えるためのコマンドとして解釈する。ビュー切り換えモジュール２０８は、当該コマンドを表すビュー切り換え信号を生成し、当該ビュー切り換え信号をビュー提示モジュール２０４に対して送信し、それを契機として、ビュー提示モジュール２０４は、埋め込まれたデータ・ストリームを参加者１２５に対して最大解像度で視覚的に提示する。参加者１２５は、さらに別のジェスチャを実行して、埋め込み型のデータ閲覧ビューを終了し、通常のデータ閲覧ビューに戻ることが可能である。例えば、データ・ストリームが埋め込まれたビデオを含んでいる場合、参加者１２５は、データ・ビュー・モードにおいて、当該埋め込まれたビデオを表現するアイコンに対するタップ・オープン操作コマンドを発することができ、それを契機として、ビュー提示モジュール２０４は、当該埋め込まれたビデオをモバイル機器１１５において全画面表示で視覚的に提示する。当該埋め込まれたビデオを見た後に、参加者１２５は、埋め込み型のデータ閲覧ビューを終了して通常のデータ閲覧ビューに戻るピンチ・クローズ操作コマンドを発し得る。

ユーザ・インターフェース・モジュール２１０は、ユーザ・インターフェースを提供するためのグラフィカル・データを生成するためのルーチンを含むソフトウェアとすることが可能である。一実施形態において、ユーザ・インターフェース・モジュール２１０は、ユーザ・インターフェースを提供するためのグラフィカル・データを生成するために後述する機能を実現するようプロセッサ２３５によって実行可能な命令のセットとすることが可能である。さらに別の実施形態において、ユーザ・インターフェース・モジュール２１０は、コンピューティング装置２００のメモリ２３７内に記憶されることが可能であり、プロセッサ２３５によってアクセス可能かつ実行可能であり得る。いずれの実施形態においても、ユーザ・インターフェース・モジュール２１０は、信号線２３８を介して、プロセッサ２３５とコンピューティング装置２００内の他のコンポーネントとの間における協働および通信を実現するように適合し得る。

一実施形態において、ユーザ・インターフェース・モジュール２１０は、ビュー提示モジュール２０４から命令を受信して、ホスト１３５または参加者１２５等のようなユーザに対してユーザ・インターフェースを提供するためのグラフィカル・データを生成する。ユーザ・インターフェース・モジュール２１０は、当該グラフィカル・データをホスティング・デバイス１０１またはモバイル機器１１５に対して送信し、それを契機として、ホスティング・デバイス１０１またはモバイル機器１１５は、ユーザ・インターフェースをユーザに対して視覚的に提示する。例えば、ユーザ・インターフェース・モジュール２１０は、ビデオ・ストリームまたはデータ・ストリームを描写するユーザ・インターフェースを提供するためのグラフィカル・データを生成する。ユーザ・インターフェース・モジュール２１０は、当該グラフィカル・データをモバイル機器１１５に対して送信し、それを契機として、モバイル機器１１５は、ユーザ・インターフェースを介して参加者１２５にビデオ・ストリームまたはデータ・ストリームを視覚的に提示する。他の実施形態では、ユーザ・インターフェース・モジュール２１０は、他のユーザ・インターフェースをユーザに提供するためのグラフィカル・データを生成し得る。

オプションとして装備されるカメラ調節モジュール２１２は、カメラ１０３を調節するためのルーチンを含むソフトウェアとすることが可能である。一実施形態において、カメラ調節モジュール２１２は、カメラ１０３を調節するために以下に説明される機能を提供するようプロセッサ２３５によって実行可能な命令のセットとすることが可能である。さらに別の実施形態において、カメラ調節モジュール２１２は、コンピューティング装置２００のメモリ２３７内に記憶されることが可能であり、プロセッサ２３５によってアクセス可能かつ実行可能であり得る。いずれの実施形態においても、カメラ調節モジュール２１２は、信号線２４０を介して、プロセッサ２３５とコンピューティング装置２００内の他のコンポーネントとの間における協働および通信を実行するように適合し得る。

本発明に係る一実施形態において、参加者１２５は、ジェスチャを使用してカメラ１０３を操作し得る。例えば、参加者１２５は、モバイル機器１１５上に表示されたユーザ・インターフェースを介し、ジェスチャを実行してカメラ１０３の視野角を変えることができる。カメラ調節モジュール２１２は、参加者のジェスチャを表すデータを受信し、参加者のジェスチャを、カメラ１０３のパン操作、チルト操作、ズーム・イン操作、またはズーム・アウト操作などといったカメラ１０３の調節操作のためのコマンドとして解釈する。カメラ調節モジュール２１２は、参加者のジェスチャに従ってカメラ１０３の姿勢や位置を調節する。参加者１２５は、カメラ１０３がビデオ・フレーム画像中に１つ以上のデータ画面を取り込むようことができるようにカメラ１０３の姿勢や位置を調節することにより、１つ以上の表示デバイス１０７の１つ以上のデータ画面をカメラ１０３の視野内に保持することができる。

本明細書中において説明されるシステムの使用例には、第１の当事者（例えば、ホスト１３５）が、カメラ１０３と１つ以上のデータ画面とを装備した会議室内におり、第２の当事者（例えば、参加者１２５）が、スマートフォンまたはタブレット端末といったモバイル機器１１５を使用して遠隔地からモバイル・ユーザとしてビデオ会議に参加するビデオ会議のシナリオが含まれる。参加者１２５がビデオ会議に加わった後、参加アプリケーション１２３は、カメラ１０３からビデオ・ストリームを受信し、当該ビデオ・ストリームをモバイル機器１１５のタッチ・スクリーンによって参加者１２５に対して視覚的に提示する。参加アプリケーション１２３は、ビデオ・フレーム画像によって取り込まれた１つ以上のデータ画面を検出する。参加者１２５は、ビデオ・フレーム画像中においてハイライト表示された検出済みのデータ画面に向かってピンチ・オープン・ジェスチャのようなジェスチャを発して、それを契機として、モバイル機器１１５は、ビデオ閲覧ビューからデータ閲覧ビューに画面表示を切り換える。その後、参加アプリケーション１２３は、検出済みのデータ画面に関連付けられたデータ・ストリームを最大解像度で参加者１２５に対して視覚的に提示する。参加者１２５は、ピンチ・クローズ・ジェスチャのようなさらに別のジェスチャを発してデータ閲覧ビューから再びビデオ閲覧ビューに切り換えることが可能である。

本明細書中において説明されるシステムのさらに別の使用例には、画像に関連する情報を検索するための検索アプリケーションが含まれる。例えば、ユーザは、広告（例えば、自動車ブランドの広告）の画像を取り込み、当該広告に関連する情報を検索するよう検索アプリケーションに指示することが可能である。当該広告の画像は、コマーシャル・ビデオを表示するバナーおよび／またはデータ画面の画像を含み得る。検索アプリケーションは、当該広告の画像中に含まれるデータ画面を検出し、当該データ画面の画像中に表示されたコンテンツとマッチングする製品を識別するよう、画面検出モジュール２０６に指示することが可能である。検索アプリケーションは、１つ以上のデータベースから、識別された製品に関連する情報を検索し、関連する情報をユーザに提供することができる。本明細書中に説明されるシステムについては、上述した使用例以外のその他の使用例もまた実施可能である。

＜グラフィック表現＞
図３Ａは、データ画面検出を実行するための処理の一実施形態をグラフィック表現３００として図示している。参加者１２５がモバイル機器１１５を使用してマルチユーザ通信セッションに加わった後、カメラ１０３がモバイル機器１１５との間においてビデオ・ストリーム接続３０２を確立する。カメラ１０３は、ビデオ・ストリーム接続３０２を介してモバイル機器１１５に対してビデオ・ストリームを送信し、それを契機として、モバイル機器１１５は、ビデオ・ビュー・モードにおいて参加者１２５に対して当該ビデオ・ストリームを視覚的に提示する。表示デバイス１０７は、登録サーバ１３０に登録し、表示デバイス１０７に関連付けられたデータ画面の更新されたスクリーン・ショット画像３０４を登録サーバ１３０に定期的に対して送信する。図示された例では、表示デバイス１０７は、電子式ホワイト・ボードである。一実施形態において、登録サーバ１３０は、検出トリガ・イベントを検出する。例えば、登録サーバ１３０は、パン操作またはチルト操作といったカメラ１０３の動きを検出する。登録サーバ１３０は、検出トリガ・イベントに応答して、カメラ１０３から最新のビデオ・フレーム画像３０６を受信する。幾つかの例では、登録サーバ１３０は、モバイル機器１１５から最新のビデオ・フレーム画像３０６を受信する。

登録サーバ１３０は、画像マッチング方法を使用して、アクティブなデータ画面を動的に検出する。例えば、登録サーバ１３０は、画像マッチング・アルゴリズムを使用して、最新のビデオ・フレーム画像３０６と、ホスティング・デバイス１０１または表示デバイス１０７のいずれかから受信された最新のスクリーン・ショット画像との間の対応関係を見出す。最新のビデオ・フレーム画像３０６とデータ画面の最新のスクリーン・ショット画像との間のマッチング結果３０８が見出されると、登録サーバ１３０は、マッチング結果３０８をモバイル機器１１５に通知し、ビデオ・フレーム画像中の対応するデータ画面をハイライト表示する。例えば、登録サーバ１３０は、ボックス３１０を使用してビデオ・フレーム画像中に含まれる電子式ホワイト・ボードのデータ画面をハイライト表示する。データ画面に関連付けられた表示デバイス１０７は、モバイル機器１１５との間においてデータ・ストリーム接続３１２を確立する。表示デバイス１０７は、データ・ストリーム接続３１２を介してモバイル機器１１５に対してデータ・ストリームを送信し得る。

図３Ｂは、ジェスチャを使用してモバイル機器１１５上においてビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるための一実施形態をグラフィック表現３１９として図示している。参加アプリケーション１２３は、参加者１２５からのジェスチャを解釈してシームレスなユーザ体験を達成する。この実施形態において、参加アプリケーション１２３は、第１のデータ・ストリームと第２のデータ・ストリームとを取り込み、カメラ１０３から取り込まれたビデオ・ストリームと共にモバイル機器１１５に対して送信する。第１のデータ・ストリームは、ホスティング・デバイス１０１（例えば、ラップトップ型ＰＣ）からの高品質のスクリーン・ショット画像を含み、第２のデータ・ストリームは、表示デバイス１０７（例えば、電子式ホワイト・ボード）からのストロークを含む。両方のデータ画面（ラップトップ型ＰＣのデータ画面および電子式ホワイト・ボード上のデータ画面）は、カメラ１０３から視認可能である。一実施形態において、ホスティング・デバイス１０１からのスクリーン・ショット画像は、表示デバイス１０７のデータ画面を描写する埋め込まれた画像を含んでいる。

最初に、ビデオ閲覧ビューがモバイル機器１１５上において示され、ビデオ・フレーム画像３２０を参加者１２５に視覚的に提示する。例えば、ビデオ・フレーム画像３２０が、モバイル機器１１５の最大解像度または全画面で示される。図３Ｂに示すように、両方のデータ画面（ラップトップ型ＰＣのデータ画面３２４および電子式ホワイト・ボードのデータ画面３２２）が、参加者のモバイル機器１１５上に表示されたビデオ・フレーム画像３２０の中において視認可能である。参加アプリケーション１２３は、ビデオ・フレーム画像中のデータ画面の存在をインテリジェントに検出し、参加者１２５に通知する。例えば、参加アプリケーション１２３は、ビデオ・フレーム画像３２０中のデータ画面３２２および３２４をハイライト表示する。

フェーズ（１）において、参加者１２５がラップトップ型ＰＣのデータ画面３２４からさらなる詳細内容を得ようとする場合、彼または彼女は、ビデオ・フレーム画像３２０中に示されたラップトップ型ＰＣのデータ画面３２４に向かってジェスチャ３３０を実行して、ラップトップ型ＰＣのデータ画面３２４にズーム・インすることが可能である。ジェスチャ３３０の例は、ピンチ・ジェスチャまたはダブル・タップ・ジェスチャとすることが可能である。ジェスチャ３３０が実行されたことに応答して、モバイル機器１１５上におけるビデオ閲覧ビューが拡大表示される（スケール・アップする）。認識されたラップトップ型ＰＣのデータ画面３２４のサイズが予め設定された閾値に到達すると、モバイル機器１１５は、ビデオ閲覧ビューからデータ閲覧ビューへと自動的に切り換わる。例えば、モバイル機器１１５において表示中のビューは、ビデオ・フレーム画像３２０を最大解像度で視覚提示している状態から、ラップトップ型ＰＣのデータ画面３２４の高品質なスクリーン・ショット画像３２６を最大解像度で視覚提示する状態に切り換わる。参加アプリケーション１２３は、スクリーン・ショット画像３２６に向かって実行される任意のさらなるピンチ・ジェスチャまたはドラッグ・ジェスチャを、ラップトップ型ＰＣのデータ画面３２４のスクリーン・ショット画像３２６に対するユーザ入力操作内容として解釈する。

フェーズ（２）において、参加者１２５がスクリーン・ショット画像３２６に向かってピンチ・ジェスチャのようなジェスチャ３３２を実行してデータ閲覧ビューからズーム・アウトし、ズーム・アウト操作による拡大縮小比（スケール比）が予め設定された閾値に到達すると、モバイル機器１１５は、データ閲覧ビューから再びビデオ閲覧ビューに切り換わる。再度、参加アプリケーション１２３が、モバイル機器１１５上においてビデオ・フレーム画像３２０を最大解像度で視覚的に提示し、ビデオ・フレーム画像３２０中の視認可能なデータ画面３２２および３２４を検出し、マーキングする。

フェーズ（３）において、参加者１２５は、ビデオ・フレーム画像３２０中のハイライト表示されたデータ画面３２２に向かってドラッグ・ジェスチャのようなジェスチャ３３４を実行し、それを契機として、モバイル機器１１５は、閾値量より大きいスケール比でビデオ閲覧ビューを拡大表示し、上述したジェスチャ３３４が実行されたことを契機として、モバイル機器１１５は、ビデオ・フレーム画像３２０を最大解像度で表示している状態から電子式ホワイト・ボードのスクリーン・ショット画像３２８を最大解像度で示すデータ閲覧ビューを表示する状態に切り換る。フェーズ（４）において、参加者１２５は、スクリーン・ショット画像３２８に向かってピンチ・ジェスチャのようなジェスチャ３３６を実行してデータ閲覧ビューからズーム・アウトし、ズームアウト量が閾値点に達したことによりデータ閲覧ビューから再びビデオ閲覧ビューに切り換えるようにモバイル機器１１５がトリガされるまで、データ閲覧ビューの画面表示スケールを減じさせる動作をモバイル機器１１５に実行させる。再度、モバイル機器１１５は、参加者１２５に対してビデオフレーム画像３２０を視覚的に提示する。

図４Ａは、モバイル機器１１５上においてビデオ閲覧ビューを示すグラフィック・ユーザ・インターフェースの一実施形態をグラフィック表現４００として図示している。当該ユーザ・インターフェースの具体例は、会議室を描写するビデオ・フレーム画像４０２を示している。ビデオ・フレーム画像４０２は、ホスト１３５と、会議室の壁に投影されたホスティング・デバイス１０１のデータ画面４０４とを描写する。データ画面４０４は、埋め込み型のデータ画面４０６を含む。参加者１２５がビデオ・フレーム画像４０２中に取り込まれたデータ画面４０４に対しジェスチャを実行すると、モバイル機器１１５は、ビデオ閲覧ビューから図４Ｂに示すデータ閲覧ビューへと切り換わる。

図４Ｂは、モバイル機器１１５上においてでデータ閲覧ビューを示すグラフィック・ユーザ・インターフェースの一実施形態をグラフィック表現４２０として図示している。この具体例では、データ画面４０４のスクリーン・ショット画像を含むデータ・ストリームが、モバイル機器１１５上において視覚的に提示される。データ・ストリームは、埋め込み型のデータ・ストリームを含むマルチユーザ通信セッションである。例えば、データ・ストリームは、埋め込まれたスライドを有する別の会議のビデオ・クリップである。埋め込まれたスライドを視覚提示する埋め込み型のデータ画面４０６が、データ画面４０４のスクリーン・ショット画像中に示される。

参加者１２５が図４Ａに示すビデオ閲覧ビューから図４Ｂに示すデータ閲覧ビューに表示を切り換えると、ビデオ・クリップを含むデータ・ストリームが再生を開始する。一実施形態において、参加者１２５は、データ画面４０４のスクリーン・ショット画像に対しジェスチャ（例えば、ピンチ・ツー・クローズ・ジェスチャの操作）を実行することによって、図４Ｂに示すデータ閲覧ビューを終了し、図４Ａに示すビデオ閲覧ビューに戻ることができる。一実施形態において、ビデオ・クリップが、埋め込まれたプレゼンテーションのスライドまたは埋め込まれたホワイト・ボードのストローク情報を含む場合、参加者１２５は、データ閲覧ビューにズームインし続けることが可能である。例えば、参加者１２５が、埋め込み型のデータ画面４０６に対しジェスチャを実行すると、モバイル機器１１５は、データ閲覧ビューから図４Ｃに示す埋め込み型のデータ閲覧ビューに表示を切り換えて、ビデオ・クリップ中に埋め込まれたスライドを視覚提示することが可能である。

図４Ｃは、モバイル機器１１５上において埋め込み型のデータ閲覧ビューを示すグラフィック・ユーザ・インターフェースの一実施形態をグラフィック表現４４０として図示している。この具体例では、埋め込まれたデータ画面４０６中に示されたスライドが参加者１２５に視覚的に提示される。参加者１２５は、埋め込まれたデータ画面４０６のスクリーン・ショット画像に対しジェスチャ（例えば、ピンチ・ツー・クローズ・ジェスチャの操作）を実行することによって、埋め込み型のデータ閲覧ビューを終了し、図４Ｂに示すデータ閲覧ビューに戻ることができる。

＜本実施形態に係る方法＞
図５は、マルチユーザ通信セッション中にジェスチャを使用してビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるための方法５００の一実施形態を示す流れ図である。一実施形態において、コントローラ２０２は、参加者１２５がマルチユーザ通信セッションに加わったことを示すデータを、参加者１２５に関連付けられたモバイル機器１１５から受信する（ステップ５０２）。ビュー提示モジュール２０４は、マルチユーザ通信セッション上のビデオ・ストリームをモバイル機器１１５上において視覚的に提示する（ステップ５０４）。例えば、ビュー提示モジュール２０４は、ビデオ・ストリームを画面表示するためのグラフィカル・データを生成するようユーザ・インターフェース・エンジン２１０に命令する。一実施形態において、画面検出モジュール２０６は、検出トリガ・イベントの発生の有無を判定する。コントローラ２０２は、検出トリガ・イベントの発生に応答して、ビデオ・ストリームからのビデオ・フレーム画像を受信する（ステップ５０６）。例えば、コントローラ２０２は、カメラ１０３からビデオ・ストリーム内の最新のビデオ・フレーム画像を受信する。画面検出モジュール２０６は、ビデオ・フレーム画像中の第１のデータ画面を検出する（ステップ５０８）。例えば、画面検出モジュール２０６は、ビデオ・フレーム画像が第１のデータ画面を取り込んでいると決定する。

コントローラ２０２は、モバイル機器１１５で実行された第１のジェスチャを表すデータを受信する（ステップ５１０）。例えば、コントローラ２０２は、ビデオ・フレーム画像中の第１のデータ画面に向かって参加者が実行したピンチ・ツー・オープン・ジェスチャの操作を表すデータを受信する。ビュー切り換えモジュール２０８は、第１のジェスチャに応答して、モバイル機器１１５において表示中のビューをビデオ閲覧ビューからデータ閲覧ビューに切り換える（ステップ５１２）。ビュー提示モジュール２０４は、モバイル機器１１５上において、第１のデータ画面に関連付けられた第１のデータ・ストリームを視覚的に提示する（ステップ５１４）。一実施形態では、第１のデータ・ストリームは、第１のデータ画面に関連付けられた表示デバイス１０７によって生成された第１のデータ画面の１つ以上の高解像度スクリーン・ショット画像を含む。

図６Ａ〜図６Ｃは、マルチユーザ通信セッション中にジェスチャを使用してビデオ閲覧ビューとデータ閲覧ビューとの間で画面表示を切り換えるための方法６００のさらに別の実施形態を示す流れ図である。図６Ａを参照すると、コントローラ２０２は、参加者１２５がマルチユーザ通信セッションに加わったことを示すデータを、参加者１２５に関連付けられたモバイル機器１１５から受信する（ステップ６０２）。ビュー提示モジュール２０４は、モバイル機器１１５上において、マルチユーザ通信セッションのビデオ・ストリームを視覚的に提示する（ステップ６０４）。画面検出モジュール２０６は、登録サーバ１３０に対して表示デバイス１０７を登録する（ステップ６０６）。表示デバイス１０７は、ホスティング環境１３７においてマルチユーザ通信セッションのデータ・ストリームを視覚的に提示するためのデータ画面を含む。コントローラ２０２は、データ画面の画像を表示デバイス１０７から定期的に受信する（ステップ６０８）。例えば、コントローラ２０２は、データ画面のスクリーン・ショット画像を表示デバイス１０７から定期的に受信する。

画面検出モジュール２０６は、検出トリガ・イベントの発生を検出する（ステップ６１０）。コントローラ２０２は、検出トリガ・イベントの発生に応答して、カメラ１０３から最新のビデオ・フレーム画像を受信する（ステップ６１２）。画面検出モジュール２０６は、表示デバイス１０７から受信されたデータ画面の最新画像を使用して、最新のビデオ・フレーム画像の中からデータ画面を検出する動作を実行する（ステップ６１４）。

図６Ｂを参照すると、画面検出モジュール２０６は、最新のビデオフレーム画像中において、データ画面の最新画像とマッチングするサブ画像が見付かるか否かを決定する（ステップ６１６）。そのようなサブ画像が最新のビデオフレーム画像中に見付かった場合、方法６００は、ステップ６１８に進む。そうでなければ、方法６００は処理を終了する。図６Ｂ中のステップ６１８を参照すると、画面検出モジュール２０６は、データ画面の最新画像と最新のビデオ・フレーム画像との間のマッチングを示すマッチング結果を生成し、当該マッチング結果をモバイル機器１１５に通知する。画面検出モジュール２０６は、モバイル機器１１５とデータ画面に関連付けられた表示デバイス１０７との間においてデータを提供する。例えば、画面検出モジュール２０６は、デバイス同士の間における直接接続を確立する。一実施形態では、表示デバイス１０７は、データ画面に関連付けられたデータ・ストリームを、上述した直接接続を介してモバイル機器１１５に送信することができる。

コントローラ２０２は、ビデオ・フレーム画像中のデータ画面を描写するサブ画像に対し参加者１２５によって実行された第１のジェスチャを表すデータを受信する（ステップ６２２）。コントローラ２０２は、データ画面に関連付けられたデータ・ストリームを表示デバイス１０７から受信する（ステップ６２４）。ビュー切り換えモジュール２０８は、第１のジェスチャが閾値を上回ることに応答して、モバイル機器１１５において表示中のビューをビデオ閲覧ビューからデータ閲覧ビューに切り換える（ステップ６２６）。例えば、ユーザは、表示サイズを拡張したビューを、画面の中央で始動させ、画面全体の幅の半分以上移動させる。ビュー提示モジュール２０４は、データ画面に関連付けられたデータ・ストリームを、モバイル機器１１５上において視覚的に提示する（ステップ６２８）。

図６Ｃを参照すると、コントローラ２０２は、データ・ストリームに対し参加者１２５によって実行された第２のジェスチャを表すデータを受信する（ステップ６３０）。ビュー切り換えモジュール２０８は、第２のジェスチャが閾値を上回ることに応答して、モバイル機器１１５において表示中のビューを、データ閲覧ビューから再びビデオ閲覧ビューに切り換える（ステップ６３２）。ビュー提示モジュール２０４は、モバイル機器１１５上においてビデオ・ストリームを視覚的に提示する（ステップ６３４）。

図７は、マルチユーザ通信セッション内において実行される選択操作を使用して、２つの異なるデータ閲覧ビューのうちの一方とビデオ閲覧ビューとの間で画面表示を切り換えるための方法７００の一実施形態を示す流れ図である。一実施形態において、コントローラ２０２は、第１の参加者、第２の参加者、および第３の参加者１２５がマルチユーザ通信セッションに加わったことを示すデータを受信する（ステップ７０２）。ビュー提示モジュール２０４は、マルチユーザ通信セッション上のビデオ・ストリームを、第３の参加者１２５に関連付けられたモバイル機器１１５上において視覚的に提示する（ステップ７０４）。例えば、ビュー提示モジュール２０４は、ビデオ・ストリームを表示するためのグラフィカル・データを生成するよう、ユーザ・インターフェース・エンジン２１０に命令する。一実施形態において、画面検出モジュール２０６は、検出トリガ・イベントの発生の有無を判定する。コントローラ２０２は、第１の参加者に関連付けられた第１のデバイスと第２の参加者に関連付けられた第２のデバイスとが送信元に含まれるビデオ・ストリームからのビデオ・フレーム画像を受信する（ステップ７０６）。例えば、コントローラ２０２は、カメラ１０３からビデオ・ストリームの最新のビデオ・フレーム画像を受信する。画面検出モジュール２０６は、ビデオ・フレーム画像中の第１のデバイスからの第１のデータ画面と第２のデバイスからの第２のデータ画面とを検出する（ステップ７０８）。

コントローラ２０２は、モバイル機器１１５上で実行された第１のデータ画面の選択操作を表すデータを受信する（ステップ７１０）。例えば、コントローラ２０２は、第３の参加者が第１のデータ閲覧ビューを見ることを望んでいることを示す入力操作であって、第１のデバイスの画像の中央において指で押圧する操作を表すデータを受信する。ビュー切り換えモジュール２０８は、当該選択操作に応答して、モバイル機器１１５において表示中のビューを、ビデオ閲覧ビューから第１のデータ画面に対応する第１のデータ閲覧ビューに切り換える（ステップ７１２）。ビュー提示モジュール２０４は、モバイル機器１１５上において第１のデータ・ストリームを視覚的に提示する（ステップ７１４）。

本発明に係る実施形態についての上記説明は、本発明を例示し、説明する目的で提示されている。上記説明は、網羅的であること意図しておらず、さらに、本明細書を開示されたとおりの実施形態に限定することを意図しているわけでもない。上述した教示内容を考慮するならば、本発明に係る実施形態に対して、多くの変更および変形を行うことが可能である。本発明に包含される実施形態の範囲は、本明細書において上述した「発明の詳細な説明」によってではなく、むしろ本願の請求項によって規定されることが意図される。当業者によって理解されるように、本発明の実施例は、本発明の技術思想または本質的な特性から逸脱せずに、その他の特定の形態で具体化されることができる。同様に、モジュール、ルーチン、特徴、属性、方法、および他の態様の、特定の名称および区分は、必須でもなければ有意でもなく、説明を実現するメカニズムまたはその特徴は、異なる名称、区分、および／または形式を有することができる。さらに、関連技術における当業者にとって明らかであるように、本明細書のモジュール、ルーチン、特徴、属性、方法、および他の態様は、ソフトウェア、ハードウェア、ファームウェア、またはその３つの任意の組み合わせとして実現されることができる。また、本明細書のコンポーネントの具体例は機能モジュールであるが、ソフトウェアとして実現される場合にあっては、当該コンポーネントは、スタンドアロン型のプログラムとして、より大きいプログラムの一部として、複数の別個のプログラムとして、静的または動的にリンクしたライブラリとして、カーネル・ローダブル・モジュールとして、デバイス・ドライバとして、および／または、コンピュータ・プログラミングの分野における当業者にとって現在または未来において周知のあらゆるいずれかの他の手法によって必然的に実現され得る。さらに、本明細書は、任意の特定のプログラミング言語における、または、任意の特定のオペレーティング・システムまたは環境のための実施形態に限定されるものでは決してない。したがって、本開示は、本明細書に記載された発明の範囲を限定するのではなく例示することを意図し、本開示の技術的範囲は、以下に記載された請求項において規定される。

Claims (20)

1. コンピュータによって実現される方法であって、
   参加者がマルチユーザ通信セッションに加わったことを示すデータをプロセッサが受信するステップと、
   前記マルチユーザ通信セッション上のビデオ・ストリームを前記参加者に関連付けられたモバイル機器上において前記プロセッサが視覚的に提示するステップと、
   ビデオ・フレーム画像中の１つ以上のデータ画面の検出をトリガする検出トリガ・イベントの発生に応答して、前記ビデオ・ストリームからの前記ビデオ・フレーム画像を前記プロセッサが受信するステップと、
   第１の表示デバイスから第１のデータ画面の第１の画像を前記プロセッサが受信するステップと、
   前記第１のデータ画面の前記第１の画像とマッチングする前記ビデオ・フレーム画像内の第２の画像であって、前記ビデオ・フレーム画像中に取り込まれた前記第１のデータ画面のさらに別の画像である第２の画像を前記プロセッサが検出するステップと、
   前記モバイル機器に向かって実行された第１のジェスチャを表すデータを前記プロセッサが受信するステップと、
   前記第１のジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中のビューをビデオ閲覧ビューからデータ閲覧ビューへと前記プロセッサが切り換えるステップと、
   前記第１のデータ画面に関連付けられた第１のデータ・ストリームを前記モバイル機器上において前記プロセッサが視覚的に提示するステップと
   を備える方法。
2. 前記第１のデータ画面の前記第１の画像と前記ビデオ・フレーム画像内の前記第２の画像との間における前記マッチングの結果を前記モバイル機器に前記プロセッサが通知するステップと、
   前記モバイル機器と前記第１の表示デバイスとの間においてデータを前記プロセッサが提供するステップと
   をさらに備える、請求項１に記載の方法。
3. 前記検出トリガ・イベントは、カメラの動きと前記ビデオ・フレーム画像中に取り込まれた対象物の動きのいずれか一方に起因するイベントを含む、請求項１に記載の方法。
4. 前記モバイル機器に向かって実行された第２のジェスチャを表すデータを前記プロセッサが受信するステップと、
   前記第２のジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中の前記ビューをデータ閲覧ビューからビデオ閲覧ビューへと前記プロセッサが切り換えるステップと、
   前記モバイル機器上において前記ビデオ・ストリームを前記プロセッサが視覚的に提示するステップと
   をさらに備える、請求項１に記載の方法。
5. 前記ビデオ・フレーム画像中の第２のデータ画面を前記プロセッサが検出するステップと、
   前記モバイル機器に向かって実行された第３のジェスチャを表すデータを前記プロセッサが受信するステップと、
   前記第３のジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中の前記ビューをビデオ閲覧ビューからデータ閲覧ビューへと前記プロセッサが切り換えるステップと、
   前記第２のデータ画面に関連付けられた第２のデータ・ストリームを前記モバイル機器上において前記プロセッサが視覚的に提示するステップと
   をさらに備える、請求項４に記載の方法。
6. 前記第１のデータ・ストリームは、前記第１のデータ画面内において提示されたコンテンツを含む、請求項１に記載の方法。
7. 前記第１のデータ・ストリームは、埋め込み型のデータ・ストリームを含み、
   前記モバイル機器に向かって実行された第４のジェスチャを表すデータを前記プロセッサが受信するステップと、
   前記第４のジェスチャに応答して、前記埋め込み型のデータ・ストリームを前記モバイル機器上において前記プロセッサが視覚的に提示するステップと
   をさらに備える、請求項１に記載の方法。
8. システムであって、
   １つ以上のプロセッサと、
   メモリに記憶され、前記１つ以上のプロセッサによって実行可能なコントローラであって、参加者がマルチユーザ通信セッションに加わったことを示すデータを受信するように構成され、前記参加者に関連付けられたモバイル機器に向かって実行された第１のジェスチャを表すデータを受信するように構成された、コントローラと、
   前記メモリに記憶され、前記１つ以上のプロセッサによって実行可能なビュー提示モジュールであって、前記参加者が前記マルチユーザ通信セッションに加わることに応答して、前記マルチユーザ通信セッションのビデオ・ストリームを前記モバイル機器上において視覚的に提示するように構成され、前記第１のジェスチャに応答して、第１のデータ画面に関連付けられた第１のデータ・ストリームを前記モバイル機器上において視覚的に提示するように構成された、ビュー提示モジュールと
   前記メモリに記憶され、前記１つ以上のプロセッサによって実行可能な画面検出モジュールであって、ビデオ・フレーム画像中の１つ以上のデータ画面の検出をトリガする検出トリガ・イベントの発生の有無を判定するように構成され、第１の表示デバイスから前記第１のデータ画面の第１の画像を受信し、前記第１のデータ画面の前記第１の画像とマッチングする前記ビデオ・フレーム画像内の第２の画像であって、前記ビデオ・フレーム画像中に取り込まれた前記第１のデータ画面のさらに別の画像である第２の画像を検出するように構成された、画面検出モジュールと、
   前記メモリに記憶され、前記１つ以上のプロセッサによって実行可能なビュー切り換えモジュールであって、前記第１のジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中のビューをビデオ閲覧ビューからデータ閲覧ビューへと切り換えるように構成された、ビュー切り換えモジュールと
   を備えるシステム。
9. 前記画面検出モジュールはさらに、
   前記第１のデータ画面の前記第１の画像と前記ビデオ・フレーム画像内の前記第２の画像との間における前記マッチングの結果を前記モバイル機器に通知し、
   前記モバイル機器と前記第１の表示デバイスとの間においてデータを提供する
   ように構成される、請求項８に記載のシステム。
10. 前記検出トリガ・イベントは、カメラの動きと前記ビデオ・フレーム画像中に取り込まれた対象物の動きのいずれか一方に起因するイベントを含む、請求項８に記載のシステム。
11. 前記コントローラはさらに、前記モバイル機器に向かって実行された第２のジェスチャを表すデータを受信するように構成され、
    前記ビュー切り換えモジュールはさらに、前記第２のジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中の前記ビューをデータ閲覧ビューからビデオ閲覧ビューへと切り換えるように構成され、
    前記ビュー提示モジュールはさらに、前記ビデオ・ストリームを前記モバイル機器上において視覚的に提示するように構成される、請求項８に記載のシステム。
12. 前記画面検出モジュールはさらに、前記ビデオ・フレーム画像中の第２のデータ画面を検出するように構成され、
    前記コントローラはさらに、前記モバイル機器に向かって実行された第３のジェスチャを表すデータを受信するように構成され、
    前記ビュー切り換えモジュールはさらに、前記第３のジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中の前記ビューをビデオ閲覧ビューからデータ閲覧ビューへと切り換えるように構成され、
    前記ビュー提示モジュールはさらに、前記第２のデータ画面に関連付けられた第２のデータ・ストリームを前記モバイル機器上において視覚的に提示するように構成される、請求項８に記載のシステム。
13. 前記第１のデータ・ストリームは、前記第１のデータ画面内において提示されたコンテンツを含む、請求項８に記載のシステム。
14. 前記第１のデータ・ストリームは、埋め込み型のデータ・ストリームを含み、
    前記コントローラはさらに、前記モバイル機器に向かって実行された第４のジェスチャを表すデータを受信するように構成され、
    前記ビュー提示モジュールはさらに、前記第４のジェスチャに応答して、前記埋め込み型のデータ・ストリームを前記モバイル機器上において視覚的に提示するように構成される、請求項８に記載のシステム。
15. コンピュータで実現される方法であって、
    第１の参加者、第２の参加者、および第３の参加者がマルチユーザ通信セッションに加わったことを示すデータをプロセッサが受信するステップと、
    前記マルチユーザ通信セッション上のビデオ・ストリームを、前記第３の参加者に関連付けられたモバイル機器上において前記プロセッサが視覚的に提示するステップと、
    前記第１の参加者に関連付けられた第１のデバイスと前記第２の参加者に関連付けられた第２のデバイスとが送信元に含まれる前記ビデオ・ストリームからのビデオ・フレーム画像を前記プロセッサが受信するステップと、
    前記第１のデバイスからの第１のデータ画面の第１の画像および前記第２のデバイスから第２のデータ画面の第２の画像を前記プロセッサが受信するステップと、
    前記第１のデータ画面の前記第１の画像とマッチングする前記ビデオ・フレーム画像内の第３の画像であって、前記ビデオ・フレーム画像中に取り込まれた前記第１のデータ画面のさらに別の画像である第３の画像を前記プロセッサが検出するステップと、
    前記第２のデータ画面の前記第２の画像とマッチングする前記ビデオ・フレーム画像内の第４の画像であって、前記ビデオ・フレーム画像中に取り込まれた前記第２のデータ画面のさらに別の画像である第４の画像を前記プロセッサが検出するステップと、
    前記モバイル機器に向かって実行された前記第１のデータ画面の選択操作を表すデータを前記プロセッサが受信するステップと、
    前記第１のデータ画面の前記選択操作がされたことに応答して、前記モバイル機器において表示中のビューをビデオ閲覧ビューから前記第１のデータ画面に対応する第１のデータ閲覧ビューへと前記プロセッサが切り換えるステップと、
    前記モバイル機器上において前記第１のデータ画面に関連付けられた第１のデータ・ストリームを前記プロセッサが視覚的に提示するステップと
    を備える方法。
16. 前記第１のデータ画面の前記第１の画像と前記ビデオ・フレーム画像内の前記第３の画像との間における前記マッチングの結果を前記モバイル機器に前記プロセッサが通知するステップと、
    前記モバイル機器と前記第１のデバイスとの間においてデータを前記プロセッサが提供するステップと
    をさらに備える、請求項１５に記載の方法。
17. 前記ビデオ・ストリームを提示するステップは、前記ビデオ・フレーム画像中の１つ以上のデータ画面の検出をトリガする検出トリガ・イベントであって、カメラの動きと前記ビデオ・フレーム画像中に取り込まれた対象物の動きのいずれか一方に起因するイベントを含む検出トリガ・イベントに応答して実行される、請求項１５に記載の方法。
18. 前記モバイル機器に向かって実行されたジェスチャを表すデータを前記プロセッサが受信するステップと、
    前記ジェスチャが閾値を上回ることに応答して、前記モバイル機器において表示中の前記ビューをデータ閲覧ビューからビデオ閲覧ビューへと前記プロセッサが切り換えるステップと、
    前記モバイル機器上において前記ビデオ・ストリームを前記プロセッサが視覚的に提示するステップと
    をさらに備える、請求項１５に記載の方法。
19. 前記モバイル機器に向かって実行された前記第２のデータ画面の選択操作を表すデータを前記プロセッサが受信するステップと、
    前記第２のデータ画面の前記選択操作がされたことに応答して、前記モバイル機器において表示中の前記ビューをビデオ閲覧ビューから前記第２のデータ画面に対応する第２のデータ閲覧ビューへと前記プロセッサが切り換えるステップと、
    前記モバイル機器上において前記第２のデータ画面に関連付けられた第２のデータ・ストリームを前記プロセッサが視覚的に提示するステップと
    をさらに備える、請求項１８に記載の方法。
20. 前記第１のデータ・ストリームは、前記第１のデータ画面内において提示されたコンテンツを含む、請求項１５に記載の方法。