JP5639041B2 - マルチメディア会議イベントのメディアコンテンツを管理する技術 - Google Patents

Description

本発明は、マルチメディア会議イベントのメディアコンテンツを管理する技術に関する。

マルチメディア会議システムを使用することにより、典型的には、複数の会議参加者がネットワーク上で協同リアルタイムミーティングにおいてさまざまな種類のメディアコンテンツをやり取りし、共有することができる。マルチメディア会議システムは、さまざまなグラフィカルユーザーインターフェイス（ＧＵＩ）ウィンドウまたはビューを使用してさまざまな種類のメディアコンテンツを表示することができる。例えば、１つのＧＵＩビューが、参加者のビデオ画像を含み、他のＧＵＩビューが、プレゼンテーションスライドを含み、さらに他のＧＵＩビューが、参加者間でやり取りするテキストメッセージを含み、といったようなことが可能である。この方法で、さまざまな地理的に異なる場所にいる参加者たちが、すべての参加者が１つの部屋の中にいる物理的ミーティング環境と似た仮想ミーティング環境において対話し、情報をやり取りすることができる。

しかし、１つの仮想ミーティング環境において、１つのミーティングのさまざまな参加者全員を表示することは困難な場合がある。この問題は、典型的には、発言中なのに表示されていなくなりうる参加者、またはその逆に発言していないのに表示されうる参加者が出てくるため、したがって、潜在的に参加者の間に困惑と気まずさをもたらすので、ミーティング参加者数が増えるにつれ大きくなる。さらに、与えられた時点において、特に複数の参加者が同時にまたは立て続けに発言しているときに、特定の話者を識別することが困難な場合がある。したがって、仮想ミーティング環境における表示技術を改善することを対象とする技術により、ユーザーエクスペリエンスとユーザーの便宜を高めることが可能である。

一般的に、さまざまな実施形態が、マルチメディア会議システムを対象とするものとしてよい。いくつかの実施形態は、マルチメディア会議イベントのための視覚的構図（ｖｉｓｕａｌ ｃｏｍｐｏｓｉｔｉｏｎ）を生成するための技術を特に対象とする。マルチメディア会議イベントは、複数の参加者を伴い、参加者のうちの何人かが会議室に集まり、他の参加者は遠く離れた場所からマルチメディア会議イベントに参加することができる。

一実施形態では、例えば、ミーティングコンソールなどの装置が、ディスプレイおよびメディアコンテンツマネージャコンポーネントを備えることができる。メディアコンテンツマネージャコンポーネントは、ディスプレイ上にレンダリングするマルチメディア会議イベントのための視覚的構図を生成するように動作しうる。メディアコンテンツマネージャコンポーネントは、他の要素のうち、マルチメディア会議イベント用に複数のメディアストリームをデコードするように動作するビデオデコーダモジュールを備えることができる。メディアコンテンツマネージャコンポーネントは、ビデオデコーダモジュールに通信可能なように結合されたメディアストリームマネージャモジュールを備えることができ、メディアストリームマネージャモジュールは、デコード済みメディアストリームの総数が視覚的構図中の利用可能な表示フレームの総数より多いかどうかを判定する動作をすることができる。メディアコンテンツマネージャコンポーネントは、メディアストリームマネージャモジュールに通信可能なように結合されたメディア選択モジュールを備え、メディア選択モジュールは発言活動に基づいて利用可能な表示フレームにマッピングするためにデコード済みメディアストリームの総数のうちからデコード済みメディアストリームのアクティブグループを選択するように動作することが可能である。他の実施形態も説明され、請求される。

この「発明の概要」では、以下の「発明を実施するための形態」でさらに説明される簡素化された形式の概念の選択を導入する。この「発明の概要」は、請求されている主題の鍵となる特徴または本質的特徴を明示することを意図しておらず、また請求されている主題の範囲を制限するために使用されることも意図していない。

マルチメディア会議システムの一実施形態を示す図である。 メディアコンテンツマネージャコンポーネントの一実施形態を示す図である。 第１の視覚的構図の一実施形態を示す図である。 第２の視覚的構図の一実施形態を示す図である。 ロジックフローの一実施形態を示す図である。 コンピューティングアーキテクチャの一実施形態を示す図である。 物品の一実施形態を示す図である。

さまざまな実施形態は、いくつかのオペレーション、機能、またはサービスを実行するように構成された物理的構造または論理的構造を含む。これらの構造は、物理的構造、論理的構造、または両方の組み合わせを備えることができる。物理的構造または論理的構造は、ハードウェア要素、ソフトウェア要素、または両方の組み合わせを使用して実装される。しかし、特定のハードウェア要素またはソフトウェア要素を参照する実施形態の説明は、例であることを意図され、制限であることを意図されていない。一実施形態を実際に実施するためにハードウェア要素またはソフトウェア要素を使用する決定は、所望の計算速度、電力レベル、耐熱性、処理サイクル予算、入力データ転送速度、出力データ転送速度、メモリリソース、データバス速度、および他の設計もしくは性能制約条件などの多数の外部因子に依存する。さらに、物理的構造または論理的構造は、電子的信号または電子的メッセージの形態の情報を構造間で伝達するために対応する物理的接続または論理的接続を有することができる。これらの接続は、情報または特定の構造に適切なように有線接続および／または無線接続を含むことができる。「一実施形態」または「実施形態」と記述している場合、これは、その実施形態に関して説明されている特定の特徴、構造、特性が少なくとも１つの実施形態に含まれることを意味することに留意されたい。「一実施形態では」という語句が明細書のさまざまな箇所に記載されていても、必ずしもすべて同じ実施形態を指しているとは限らない。

さまざまな実施形態は、一般的に、ネットワーク上で複数の参加者に対してミーティングサービスおよびコラボレーションサービスを提供するように構成されているマルチメディア会議システムを対象とすることができる。いくつかのマルチメディア会議システムは、ウェブベースの会議開催サービスを提供するために、インターネットまたはワールドワイドウェブ（「ウェブ」）などのさまざまなパケットベースのネットワークで動作するように設計されうる。このような実装は、ときには、ウェブ会議開催システムとも称される。ウェブ会議開催システムの一例として、本件出願人が開発したＭＩＣＲＯＳＯＦＴ（登録商標）ＯＦＦＩＣＥ ＬＩＶＥ ＭＥＥＴＩＮＧが挙げられる。他のマルチメディア会議システムは、専用ネットワーク、ビジネス、組織、または企業に対し動作するように設計され、本件出願人が開発したＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲなどのマルチメディア会議サーバーを利用することができる。しかし、実装は、これらの例に限定されないことが理解されうる。

マルチメディア会議システムは、他のネットワーク要素のうち、マルチメディア会議サーバーまたはウェブ会議開催サービスを提供するように構成されている他の処理デバイスを備えることができる。例えば、マルチメディア会議サーバーは、他のサーバー要素のうち、ウェブ会議などの、ミーティング／コラボレーションイベント（ｍｅｅｔｉｎｇ ａｎｄ ｃｏｌｌａｂｏｒａｔｉｏｎ ｅｖｅｎｔ）用の異なる種類のメディアコンテンツを制御し混合するように動作可能なサーバーミーティングコンポーネントを備えることができる。ミーティング／コラボレーションイベントは、さまざまな種類のマルチメディア情報をリアルタイムで、またはライブオンライン環境で提供するマルチメディア会議イベントを指すものとしてよく、本明細書では簡単に「ミーティングイベント」、「マルチメディアイベント」、または「マルチメディア会議イベント」と称することもある。

一実施形態では、マルチメディア会議システムは、ミーティングコンソールとして実装される１つまたは複数のコンピューティングデバイスをさらに備えることができる。それぞれのミーティングコンソールは、マルチメディア会議サーバーに接続することによってマルチメディアイベントに参加するように構成することができる。マルチメディア会議サーバーは、マルチメディアイベントが生じている間に、さまざまなミーティングコンソールからの異なる種類のメディア情報を受け取り、次いで、そのメディア情報をマルチメディアイベントに参加している他のミーティングコンソールの一部または全部に配信することができる。そのようなものとして、任意のミーティングコンソールは、異なる種類のメディアコンテンツの複数のメディアコンテンツビューを表示することができる。この方法で、さまざまな地理的に異なる場所にいる参加者たちが、すべての参加者が１つの部屋の中にいる物理的ミーティング環境と似た仮想ミーティング環境において対話し、情報をやり取りすることができる。

マルチメディア会議イベントへの参加者は、典型的には、参加者名簿のＧＵＩビュー内に一覧として表示される。参加者名簿には、それぞれの参加者に対する、名前、所在地、画像、肩書などを含む、何らかの識別情報を記述できる。参加者および参加者名簿に対する識別情報は、典型的には、マルチメディア会議イベントに加わるために使用されるミーティングコンソールから導出される。例えば、参加者は、典型的には、ミーティングコンソールを使用して、マルチメディア会議イベント用の仮想ミーティングルームに加わる。ミーティングに加わる前に、参加者は、マルチメディア会議サーバーで認証オペレーションを実行するためにさまざまな種類の識別情報を提供する。マルチメディア会議サーバーが、参加者を認証した後、参加者は、仮想ミーティングルームへのアクセスを許可され、マルチメディア会議サーバーは、その識別情報を参加者名簿に追加する。

しかし、１つの仮想ミーティング環境において、１つのミーティングのさまざまな参加者全員を表示することは困難な場合がある。例えば、ディスプレイに、ミーティング参加者全員のＧＵＩビューをレンダリングするための十分な表示領域を用意できないことがある。これは、ミーティングコンソール、マルチメディア会議サーバー、またはその両方に通信またはコンピューティングリソースの技術的な制約によるものである場合がある。これは、閲覧者が容易に識別できる方法で参加者全員に対するＧＵＩビューをレンダリングできる十分な表示領域がディスプレイ上にないことが原因でもある。例えば、ハンドヘルドコンピュータまたは携帯電話などのフォームファクタの小さい電子デバイスは、表示領域が小さいため、必要なＧＵＩビューを物理的にまたは論理的にレンダリングすることができない。ノートブックコンピュータまたはテーブルコンピュータなどのより大きなディスプレイを備える電子デバイスの場合、ミーティング参加者の数によっては、個々のミーティング参加者が閲覧しがたいような小さいサイズのＧＵＩビューが必要になることもある。フルサイズモニタを備えるデスクトップコンピュータなどの実用的表示領域に制約のないディスプレイを使用することができる電子デバイスの場合であっても、ミーティング参加者の数によっては、それに対応する数の、同時に表示したときにわかりにくいごちゃごちゃした視覚的構図をもたらすＧＵＩビューが生じる可能性がある。この問題は、会議リーダーの役割を果たすミーティング参加者が、特定のＧＵＩビューを特定のミーティング参加者のために「ピン止め」する場合があるためよけいに悪化することになる。このようなことが生じた場合、ミーティングコンソールはすべて、ＧＵＩビューによってレンダリングされるミーティング参加者の発言活動に関係なく、ピン止めされたＧＵＩビューを表示する。その結果、利用可能なＧＵＩビューの数は、会議リーダーによってＧＵＩビューのいくつかがピン止めされる程度までさらに減ることになる。

これらの問題および他の問題を解決するために、これらの実施形態は、一般的に、マルチメディア会議イベントのための視覚的構図を生成するための技術を対象とする。より具体的には、いくつかの実施形態は、ミーティング参加者向けのより自然な表現をデジタル領域において与える視覚的構図を生成する技術を対象とする。この視覚的構図は、ビデオコンテンツ、オーディオコンテンツ、識別情報などを含む、マルチメディア会議イベントのそれぞれの参加者に関係する異なる種類のマルチメディアコンテンツを一体化し、集約するものである。この視覚的構図は、ミーティング参加者数より少ない数のＧＵＩビューを効果的に表示することができる方法で、一体化され集約された情報を提示する。

さまざまな実施形態において、メディアコンテンツマネージャコンポーネントは、所定の時点に能動的に発言しているか、または発言しそうであるミーティング参加者がいるＧＵＩビューを選択的に表示することができる。現在表示されていないミーティング参加者が発言活動を行う場合、メディアコンテンツマネージャコンポーネントは、与えられたＧＵＩビューによって現在表示されている既存のミーティング参加者を新しいミーティング参加者で選択的に置き換えることができる。これは、例えば、一組のメディアコンテンツ選択ルールによるインテリジェント方式により既存のミーティング参加者を置き換えるようにチューニングされた選択アルゴリズムを使用することによって実行されうる。この方式では、メディアコンテンツマネージャコンポーネントは、潜在的に、メディアコンテンツの反復回数を減らせること、与えられたＧＵＩビューによって表示されるメディアコンテンツ間の遷移を制限できること、および与えられた任意の時点において表示される特定の一組のメディアコンテンツを閲覧者がある程度自由に選択できることなどの、従来の表示技術に勝るいくつかの利点を備える。その結果、仮想ミーティング環境におけるこの改善された表示技術により、ユーザーエクスペリエンスが向上し、ユーザーの便宜が高められる。

図１は、マルチメディア会議システム１００のブロック図を示している。マルチメディア会議システム１００は、さまざまな実施形態を実装するのに適している一般的なシステムアーキテクチャを表すものとすることができる。マルチメディア会議システム１００は、複数の要素を備えることができる。１つの要素は、いくつかのオペレーションを実行するように構成された物理的または論理的構造を備えることができる。それぞれの要素は、与えられた一組の設計パラメータまたは性能制約条件に関して望ましい形で、ハードウェア、ソフトウェア、またはこれらの任意の組み合わせとして実装することができる。ハードウェア要素の例としては、デバイス、コンポーネント、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、コンデンサ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、メモリユニット、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどが挙げられる。ソフトウェアの例としては、任意のソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、インターフェイス、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはこれらの任意の組み合わせが挙げられる。図１に示されているようなマルチメディア会議システム１００には、特定のトポロジーでは要素数が限られているけれども、マルチメディア会議システム１００は、与えられた実装に対し望ましい形で別のトポロジーにおいて含まれる要素数を加減することが可能である。これらの実施形態は、この文脈において制限されることはない。

さまざまな実施形態では、マルチメディア会議システム１００は、有線通信システム、無線通信システム、または両方の組み合わせを備えるか、または有線通信システム、無線通信システム、または両方の組み合わせの一部を形成しうる。例えば、マルチメディア会議システム１００は、１つまたは複数の種類の有線通信リンクを介して情報を伝達するように構成された１つまたは複数の要素を備えることができる。有線通信リンクの例としては、限定はしないが、電線、ケーブル、バス、プリント回路基板（ＰＣＢ）、イーサネット（登録商標）接続、ピアツーピア（Ｐ２Ｐ）接続、バックプレーン、スイッチファブリック、半導体材料、ツイストペア線、同軸ケーブル、光ファイバー接続などが挙げられる。マルチメディア会議システム１００は、１つまたは複数の種類の無線通信リンクを介して情報を伝達するように構成された１つまたは複数の要素を備えることもできる。無線通信リンクの例としては、限定はしないが、ラジオチャネル、赤外線チャネル、無線周波数（ＲＦ）チャネル、ワイヤレスフィデリティ（ＷｉＦｉ）チャネル、ＲＦスペクトルの一部、および／または１つまたは複数のライセンス付きもしくはライセンスフリーの周波数帯が挙げられる。

さまざまな実施形態では、マルチメディア会議システム１００は、メディア情報および制御情報などの、異なる種類の情報を伝達するか、管理するか、または処理するように構成することができる。メディア情報の例としては、一般的に、音声情報、ビデオ情報、オーディオ情報、画像情報、テキスト情報、数値情報、アプリケーション情報、英数字記号、グラフィックスなどの、ユーザーを対象とするコンテンツを表すデータが挙げられる。メディア情報は、「メディアコンテンツ」とときには呼ばれることもある。制御情報は、自動化システムを対象とするコマンド、命令、または制御ワードを表すデータを指すものとしてよい。例えば、制御情報を使用して、システムを通るメディア情報の経路を指定する、デバイス間の接続を確立する、所定の方法でメディア情報処理するようにデバイスに命令する、などのことを行うことができる。

さまざまな実施形態において、マルチメディア会議システム１００は、マルチメディア会議サーバー１３０を備えることができる。マルチメディア会議サーバー１３０は、ネットワーク１２０上でミーティングコンソール１１０−１−ｍの間でマルチメディア会議通話を確立するか、または管理するか、または制御するように構成されている論理的または物理的エンティティを備えることができる。ネットワーク１２０は、例えば、パケット交換ネットワーク、回路交換ネットワーク、または両方の組み合わせを含みうる。さまざまな実施形態において、マルチメディア会議サーバー１３０は、コンピュータ、サーバー、サーバーアレイもしくはサーバーファーム、ワークステーション、ミニコンピュータ、メーンフレームコンピュータ、スーパーコンピュータ、などの処理デバイスもしくはコンピューティングデバイスを備えるか、またはそのようなものとして実装されうる。マルチメディア会議サーバー１３０は、マルチメディア情報を伝達し、処理するのに適している汎用もしくは専用のコンピューティングアーキテクチャを備えるか、または実装することができる。一実施形態では、例えば、マルチメディア会議サーバー１３０は、図５を参照しつつ説明されているようなコンピューティングアーキテクチャを使用して実装されうる。マルチメディア会議サーバー１３０の例としては、限定はしないが、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲ、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥ ＭＥＥＴＩＮＧサーバーなどが挙げられる。

マルチメディア会議サーバー１３０の具体的な実装は、マルチメディア会議サーバー１３０に使用される一組の通信プロトコルまたは標準によって異なりうる。一例において、マルチメディア会議サーバー１３０は、インターネットエンジニアリングタスクフォース（ＩＥＴＦ（登録商標））マルチパーティマルチメディアセッション制御（ＭＭＵＳＩＣ）ワーキンググループセッション開始プロトコル（ＳＩＰ）シリーズの標準および／またはバリエーションに従って実装されうる。ＳＩＰは、ビデオ、音声、インスタントメッセージング、オンラインゲーム、およびバーチャルリアリティなどのマルチメディア要素を伴うインタラクティブユーザーセッションの開始、修正、および終了を行うための提案された標準である。他の例では、マルチメディア会議サーバー１３０は、国際電気通信連合（ＩＴＵ）Ｈ．３２３シリーズの標準および／またはバリエーションに従って実装されうる。Ｈ．３２３標準では、会議通話オペレーションを調整するためのマルチポイント制御ユニット（ＭＣＵ）を定義する。特に、ＭＣＵは、Ｈ．２４５シグナリングを処理するマルチポイントコントローラ（ＭＣ）、およびデータストリームを混合し、処理するための１つまたは複数のマルチポイントプロセッサ（ＭＰ）を備える。ＳＩＰおよびＨ．３２３の標準は両方とも、本質的に、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）またはボイスオーバーパケット（ＶＯＰ）のマルチメディア会議通話オペレーション用のシグナリングプロトコルである。しかし、マルチメディア会議サーバー１３０に対し他のシグナリングプロトコルも実装でき、これらの実施形態の範囲内にあることが理解されうる。

一般的なオペレーションにおいて、マルチメディア会議システム１００は、マルチメディア会議通話に使用することができる。マルチメディア会議通話は、典型的には、複数のエンドポイント間で音声、ビデオ、および／またはデータ情報をやり取りすることを伴う。例えば、パブリックまたはプライベートパケットネットワーク１２０を、音声会議開催通話、テレビ会議開催通話、音声／テレビ会議開催通話、コラボレーティブドキュメントの共有および編集などに使用することができる。パケットネットワーク１２０は、回路交換情報とパケット情報との間で変換を行うように構成された１つまたは複数の好適なＶｏＩＰゲートウェイを介して公衆交換電話網（ＰＳＴＮ）に接続することもできる。

パケットネットワーク１２０上でマルチメディア会議通話を確立するために、それぞれのミーティングコンソール１１０−１−ｍは、例えば、低帯域幅のＰＳＴＮ電話接続、中帯域幅のＤＳＬモデム接続もしくはケーブルモデム接続、およびローカルエリアネットワーク（ＬＡＮ）の高帯域幅のイントラネット接続などのさまざまな接続速度または帯域幅で動作する各種の有線または無線通信リンクを使用してパケットネットワーク１２０を介してマルチメディア会議サーバー１３０に接続することができる。

さまざまな実施形態において、マルチメディア会議サーバー１３０では、ミーティングコンソール１１０−１−ｍの間のマルチメディア会議通話を確立し、管理し、制御することができる。いくつかの実施形態では、マルチメディア会議通話は、完全なコラボレーション機能を備えるウェブ会議開催アプリケーションを使用するライブウェブベースの会議通話を含むことができる。マルチメディア会議サーバー１３０は、会議におけるメディア情報を制御し、配信する中央サーバーとして動作する。これは、さまざまなミーティングコンソール１１０−１−ｍからメディア情報を受け取って、複数の種類のメディア情報に対し混合オペレーションを実行し、メディア情報を他の参加者の一部または全部に転送する。ミーティングコンソール１１０−１−ｍのうちの１つまたは複数は、マルチメディア会議サーバー１３０に接続することによって会議に加わることができる。マルチメディア会議サーバー１３０は、安全な制御された方法により、さまざまなアドミッション制御技術を実行して、ミーティングコンソール１１０−１−ｍを認証して加えることができる。

さまざまな実施形態において、マルチメディア会議システム１００は、ネットワーク１２０を介して１つまたは複数の通信接続によりマルチメディア会議サーバー１３０に接続するためのミーティングコンソール１１０−１−ｍとして実装された１つまたは複数のコンピューティングデバイスを備えることができる。例えば、コンピューティングデバイスは、それぞれ同時に別々の会議を表す複数のミーティングコンソールをホストすることができるクライアントアプリケーションを実行することができる。同様に、クライアントアプリケーションは、複数のオーディオストリーム、ビデオストリーム、およびデータストリームを受信することができる。例えば、参加者全員または一部の参加者からのビデオストリームを、現在のアクティブ話者のビデオが映っている一番上のウィンドウを使用して参加者ディスプレイ上にモザイクで表示し、他のウィンドウ内の他の参加者についてはパノラマ表示で表示することができる。

ミーティングコンソール１１０−１−ｍは、マルチメディア会議サーバー１３０によって管理されるマルチメディア会議通話に参加するか、または関与するように構成されている論理的または物理的エンティティを備えることができる。ミーティングコンソール１１０−１−ｍは、最も基本的な形態として、プロセッサおよびメモリを備える処理システム、１つまたは複数のマルチメディア入出力（Ｉ／Ｏ）コンポーネント、ならびに無線および／または有線ネットワーク接続を備える任意のデバイスとして実装されうる。マルチメディアＩ／Ｏコンポーネントの例としては、オーディオＩ／Ｏコンポーネント（例えば、マイクロホン、スピーカー）、ビデオＩ／Ｏコンポーネント（例えば、ビデオカメラ、ディスプレイ）、触覚（Ｉ／Ｏ）コンポーネント（例えば、バイブレータ）、ユーザーデータ（Ｉ／Ｏ）コンポーネント（例えば、キーボード、サムボード、キーパッド、タッチスクリーン）などが挙げられる。ミーティングコンソール１１０−１−ｍの例としては、電話、ＶｏＩＰまたはＶＯＰ電話、ＰＳＴＮ上で動作するように設計されているパケット電話、インターネット電話、ビデオ電話、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話とＰＤＡとを組み合わせた機器、モーバイルコンピューティングデバイス、スマートフォン、ワンウェイポケベル、ツーウェイポケベル、メッセージングデバイス、コンピュータ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、ネットワークアプライアンスなどが挙げられる。いくつかの実施形態では、ミーティングコンソール１１０−１−ｍは、図５を参照しつつ説明されているコンピューティングアーキテクチャに類似している汎用コンピューティングアーキテクチャまたは専用コンピューティングアーキテクチャを使用して実装されうる。

ミーティングコンソール１１０−１−ｍは、各クライアントミーティングコンポーネント１１２−１−ｎを備えるか、または実装することができる。クライアントミーティングコンポーネント１１２−１−ｎは、マルチメディア会議イベントを確立したり、管理したり、または制御したりするためにマルチメディア会議サーバー１３０のサーバーミーティングコンポーネント１３２と相互運用性を有するように設計することができる。例えば、クライアントミーティングコンポーネント１１２−１−ｎは、各ミーティングコンソール１１０−１−ｍがマルチメディア会議サーバー１３０によって円滑化されるウェブ会議に参加できるように適切なアプリケーションプログラムおよびユーザーインターフェイスコントロールを備えるか、または実装することができる。これは、ミーティングコンソール１１０−１−ｍのオペレータによって供給されるメディア情報を取り込むための入力機器（例えば、ビデオカメラ、マイクロホン、キーボード、マウス、コントローラなど）、および他のミーティングコンソール１１０−１−ｍのオペレータがメディア情報を再現するための出力機器（例えば、ディスプレイ、スピーカーなど）を備えることができる。クライアントミーティングコンポーネント１１２−１−ｎの例としては、限定はしないが、ＭＩＣＲＯＳＯＥＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＯＲまたはＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥ ＭＥＥＴＩＮＧ Ｗｉｎｄｏｗｓ（登録商標） Ｂａｓｅｄ Ｍｅｅｔｉｎｇ Ｃｏｎｓｏｌｅなどが挙げられる。

図１の例示されている実施形態で示されるように、マルチメディア会議システム１００は、会議室１５０を含めたものでもよい。企業もしくは事業体は、典型的には、ミーティングを開催するために会議室を利用する。そのようなミーティングは、会議室１５０の内部に配置される参加者と会議室１５０の外部に配置されるリモート参加者とを伴うマルチメディア会議イベントを含む。会議室１５０には、マルチメディア会議イベントをサポートするために利用可能なさまざまなコンピューティングリソースおよび通信リソースが配備され、１つまたは複数のリモートミーティングコンソール１１０−２−ｍとローカルミーティングコンソール１１０−１との間でマルチメディア情報のやり取りをすることができる。例えば、会議室１５０は、会議室１５０の内部に配置されているローカルミーティングコンソール１１０−１を備えることが可能である。

ローカルミーティングコンソール１１０−１は、マルチメディア情報の取り込み、伝達、または再生を行うことができるさまざまなマルチメディア入力デバイスおよび／またはマルチメディア出力デバイスに接続することができる。マルチメディア入力デバイスは、入力として会議室１５０内のオペレータからマルチメディア情報を取り込むか、または受け取るように構成された論理的または物理的デバイスを備えることができ、これらの論理的または物理的デバイスとしては、オーディオ入力デバイス、ビデオ入力デバイス、画像入力デバイス、テキスト入力デバイス、および他のマルチメディア入力機器が挙げられる。マルチメディア入力デバイスの例としては、限定することなく、ビデオカメラ、マイクロホン、マイクロホンアレイ、会議電話、ホワイトボード、インタラクティブホワイトボード、音声テキスト変換コンポーネント、テキスト音声変換コンポーネント、音声認識システム、ポインティングデバイス、キーボード、タッチスクリーン、タブレットコンピュータ、手書き認識デバイスなどが挙げられる。ビデオカメラの一例として、本件出願人が開発したＭＩＣＲＯＳＯＦＴ ＲＯＵＮＤＴＡＢＬＥなどのリングカムが挙げられる。ＭＩＣＲＯＳＯＦＴ ＲＯＵＮＤＴＡＢＬＥは、リモートのミーティング参加者に、会議テーブルの周りに座っている全員の全景を見せる３６０度カメラを備えるテレビ会議開催デバイスである。マルチメディア出力デバイスは、出力としてリモートミーティングコンソール１１０−２−ｍのオペレータからマルチメディア情報を再現するか、または表示するように構成された論理的または物理的デバイスを備えることができ、これらの論理的または物理的デバイスとしては、オーディオ出力デバイス、ビデオ出力デバイス、画像出力デバイス、テキスト入力デバイス、および他のマルチメディア出力機器が挙げられる。マルチメディア出力デバイスの例としては、限定することなく、電子ディスプレイ、ビデオプロジェクタ、スピーカー、振動ユニット、プリンタ、ファックス機などが挙げられる。

会議室１５０内のローカルミーティングコンソール１１０−１は、参加者１５４−１−ｐが入っている会議室１５０からメディアコンテンツを取り込み、メディアコンテンツをマルチメディア会議サーバー１３０にストリーミングするように構成されているさまざまなマルチメディア入力デバイスを備えることができる。図１に示されている例示的な実施形態において、ローカルミーティングコンソール１１０−１は、ビデオカメラ１０６およびマイクロホンアレイ１０４−１−ｒを備える。ビデオカメラ１０６は、会議室１５０内にいる参加者１５４−１−ｐのビデオコンテンツを含むビデオコンテンツを取り込み、そのビデオコンテンツを、ローカルミーティングコンソール１１０−１を介して、マルチメディア会議サーバー１３０にストリーミングすることができる。同様に、マイクロホンアレイ１０４−１−ｒは、会議室１５０内にいる参加者１５４−１−ｐからオーディオコンテンツを含むオーディオコンテンツを取り込み、そのオーディオコンテンツを、ローカルミーティングコンソール１１０−１を介して、マルチメディア会議サーバー１３０にストリーミングすることができる。ローカルミーティングコンソールは、マルチメディア会議サーバー１３０を介して受け取った、ミーティングコンソール１１０−１−ｍを使用するすべての参加者からのビデオコンテンツまたはオーディオコンテンツを１つまたは複数のＧＵＩビューに表示するために、ディスプレイ１１６またはビデオプロジェクタなどのさまざまなメディア出力デバイスも備えることができる。

ミーティングコンソール１１０−１−ｍおよびマルチメディア会議サーバー１３０は、与えられたマルチメディア会議イベントについて確立されたさまざまなメディア接続を使用してメディア情報および制御情報を伝達することができる。メディア接続は、ＳＩＰシリーズのプロトコルなどのさまざまなＶｏＩＰシグナリングプロトコルを使用して確立されうる。ＳＩＰシリーズのプロトコルは、１人または複数の参加者とのセッションの作成、修正、および終了を行うためのアプリケーションレイヤの制御（シグナリング）プロトコルである。これらのセッションとしては、インターネットマルチメディア会議、インターネット電話通話、およびマルチメディア配信が挙げられる。１つのセッション内のメンバーは、マルチキャストを介して、またはユニキャスト関係のメッシュ（ａ ｍｅｓｈ ｏｆ ｕｎｉｃａｓｔ ｒｅｌａｔｉｏｎｓ）またはこれらの組み合わせを介して通信することができる。ＳＩＰは、ネットワークリソースを予約するためのリソース予約プロトコル（ＲＳＶＰ）（ＩＥＥＥ ＲＦＣ ２２０５）、リアルタイムデータをトランスポートし、サービス品質（ＱＯＳ）フィードバックを供給するためのリアルタイムトランスポートプロトコル（ＲＴＰ）（ＩＥＥＥ ＲＦＣ １８８９）、ストリーミングメディアの配送を制御するためのリアルタイムストリーミングプロトコル（ＲＴＳＰ）（ＩＥＥＥ ＲＦＣ ２３２６）、マルチキャストを介してマルチメディアセッションをアドバタイズするためのセッションアナウンスメントプロトコル（ＳＡＰ）、マルチメディアセッションを記述するためのセッション記述プロトコル（ＳＤＰ）（ＩＥＥＥ ＲＦＣ ２３２７）、および他のプロトコルなどのプロトコルを現在組み込んでいる総合的なＩＥＴＦマルチメディアデータおよび制御アーキテクチャの一部として設計されたものである。例えば、ミーティングコンソール１１０−１−ｍは、ＳＩＰをシグナリングチャネルとして使用して、メディア接続を設定し、ＲＴＰをメディアチャネルとして使用して、そのメディア接続でメディア情報をトランスポートすることができる。

一般的なオペレーションにおいて、スケジュールデバイス１０８は、マルチメディア会議システム１００のマルチメディア会議イベント予約を生成するために使用することができる。スケジューリングデバイス１０８は、例えば、マルチメディア会議イベントをスケジュールするのに適したハードウェアおよびソフトウェアを有するコンピューティングデバイスを備えることができる。例えば、スケジューリングデバイス１０８は、本件出願人が開発したＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫ（登録商標）アプリケーションソフトウェアを使用するコンピュータを含みうる。ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫアプリケーションソフトウェアは、マルチメディア会議イベントをスケジュールするために使用することができるメッセージングおよびコラボレーションクライアントソフトウェアを含む。オペレータは、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫを使用して、スケジュール要求をＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥ ＭＥＥＴＩＮＧイベントに変換し、これをミーティング出席予定者リストに送ることができる。スケジュール要求は、マルチメディア会議イベントに対する仮想ルームへのハイパーリンクを含むことができる。出席予定者は、このハイパーリンクをクリックすることができ、すると、ミーティングコンソール１１０−１−ｍがウェブブラウザを起動し、マルチメディア会議サーバー１３０に接続し、仮想ルームに加わる。そこに入った後、参加者は、いろいろなツールがある中でも特に、スライドプレゼンテーションを提示したり、ドキュメントに注釈をつけたり、または組み込みのホワイトボードでブレーンストーミングを行ったりすることができる。

オペレータは、スケジューリングデバイス１０８を使用して、マルチメディア会議イベントに対するマルチメディア会議イベント予約を生成することができる。マルチメディア会議イベント予約は、マルチメディア会議イベントのミーティング出席予定者リストを含むことができる。ミーティング出席予定者リストは、マルチメディア会議イベントに招待された個人のリストを含むことができる。いくつかの場合において、ミーティング出席予定者リストには、そのマルチメディアイベントについて招待され、受諾された個人のみを入れることができる。Ｍｉｃｒｏｓｏｆｔ Ｏｕｔｌｏｏｋのメールクライアントなどのクライアントアプリケーションは、予約要求をマルチメディア会議サーバー１３０に転送する。マルチメディア会議サーバー１３０は、マルチメディア会議イベント予約を受け取ると、ミーティング出席予定者リストとミーティング出席予定者の関連情報を、エンタープライズリソースディレクトリ１６０などのネットワークデバイスから取り出すことができる。

エンタープライズリソースディレクトリ１６０は、オペレータおよび／またはネットワークリソースのパブリックディレクトリを公開するネットワークデバイスを含んでいてもよい。エンタープライズリソースディレクトリ１６０によって公開されるネットワークリソースのよくある例として、ネットワークプリンタがある。一実施形態では、例えば、エンタープライズリソースディレクトリ１６０は、ＭＩＣＲＯＳＯＦＴ ＡＣＴＩＶＥ ＤＩＲＥＣＴＯＲＹ（商標）として実装することができる。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙは、ネットワークコンピュータ用に中央認証および認可サービスを提供するライトウェイトディレクトリアクセスプロトコル（ＬＤＡＰ）ディレクトリサービスの一実装である。またＡｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙを使用することで、管理者は、ポリシーを割り当て、ソフトウェアを展開し、重要な更新を組織に適用することができる。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙは、情報および設定を中央データベースに格納する。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙネットワークは、対象が数１００個の小規模な設備から対象が数百万個の大規模な設備までさまざまである。

さまざまな実施形態において、エンタープライズリソースディレクトリ１６０は、マルチメディア会議イベントへのさまざまなミーティング出席予定者に対する識別情報を含むことができる。識別情報は、ミーティング出席予定者のそれぞれを一意に識別することができる種類の情報を含むことができる。例えば、識別情報としては、限定はしないが、名前、所在地、連絡先情報、アカウント番号、職業情報、組織情報（例えば、肩書）、個人情報、接続情報、プレゼンス情報、ネットワークアドレス、メディアアクセス制御（ＭＡＣ）アドレス、インターネットプロトコル（ＩＰ）アドレス、電話番号、電子メールアドレス、プロトコルアドレス（例えば、ＳＩＰアドレス）、機器識別子、ハードウェア構成、ソフトウェア構成、有線インターフェイス、無線インターフェイス、サポートされているプロトコル、および他の所望の情報が挙げられる。

マルチメディア会議サーバー１３０は、ミーティング出席予定者リストを含む、マルチメディア会議イベント予約を受け取り、エンタープライズリソースディレクトリ１６０から対応する識別情報を取り出すことができる。マルチメディア会議サーバー１３０は、ミーティング出席予定者リストおよび対応する識別情報を使用して、マルチメディア会議イベントへの参加者の識別を補助することができる。例えば、マルチメディア会議サーバー１３０は、ミーティング出席予定者リストおよび付随する識別情報をミーティングコンソール１１０−１−ｍに転送し、マルチメディア会議イベントの視覚的構図１０８内の参加者の識別に使用することができる。

ここでまたミーティングコンソール１１０−１−ｍについて述べると、ミーティングコンソール１１０−１−ｍはそれぞれ、各メディアコンテンツマネージャコンポーネント１１４−１−ｔを備えるか、または実装することができる。メディアコンテンツマネージャコンポーネント１１４−１−ｔは、一般的に、ディスプレイ１１６上で、マルチメディア会議イベントに対する視覚的構図１０８を生成し、管理し、表示するように動作しうる。視覚的構図１０８およびディスプレイ１１６は、例として、ただし限定することなく、ミーティングコンソール１１０−１の一部として示されているけれども、ミーティングコンソール１１０−１−ｍのそれぞれが、ディスプレイ１１６に類似し、ミーティングコンソール１１０−１−ｍのそれぞれのオペレータについて視覚的構図１０８をレンダリングすることができる電子ディスプレイを備えることができることが理解されうる。

一実施形態では、例えば、ローカルミーティングコンソール１１０−１は、ディスプレイ１１６およびマルチメディア会議イベントに対する視覚的構図１０８を生成するように動作可能なメディアコンテンツマネージャコンポーネント１１４−１を備えることができる。メディアコンテンツマネージャコンポーネント１１４−１は、ミーティング参加者（例えば、１５４−１−ｐ）をデジタル領域内でより自然に表現する視覚的構図１０８を生成するように構成されたさまざまなハードウェア要素および／またはソフトウェア要素を備えることができる。視覚的構図１０８は、ビデオコンテンツ、オーディオコンテンツ、識別情報などを含む、マルチメディア会議イベントのそれぞれの参加者に関係する異なる種類のマルチメディアを一体化し、集約するものである。

メディアコンテンツマネージャコンポーネント１１４−１−ｔは、視覚的構図１０８に対するさまざまなＧＵＩビューを選択的に表示することができる。視覚的構図１０８は、複数のＧＵＩビューを含み、それぞれのＧＵＩビューに１つまたは複数のミーティング参加者が示される。視覚的構図１０８についてＧＵＩビューに現在表示されていないミーティング参加者が発言活動を行う場合、メディアコンテンツマネージャコンポーネント１１４−１−ｔは、与えられたＧＵＩビューによって現在表示されている既存のミーティング参加者を新しいミーティング参加者で選択的に置き換えることができる。これは、例えば、一組のメディアコンテンツ選択ルールによるインテリジェント方式により既存のミーティング参加者を置き換えるようにチューニングされた選択アルゴリズムを使用することによって実行されうる。一般にミーティングコンソール１１０−１−ｍ、特にメディアコンテンツマネージャコンポーネント１１４−１−ｔは、図２を参照しつつさらに詳しく説明することができる。

図２は、メディアコンテンツマネージャコンポーネント１１４−１−ｔからの例示的なメディアコンテンツマネージャコンポーネント１１４に対するブロック図を示している。メディアコンテンツマネージャコンポーネント１１４は、複数のモジュールを備えることができる。これらのモジュールは、ハードウェア要素、ソフトウェア要素、またはハードウェア要素とソフトウェア要素との組み合わせを使用して実装することができる。図２に示されているようなメディアコンテンツマネージャコンポーネント１１４には、特定のトポロジーでは要素数が限られているけれども、メディアコンテンツマネージャコンポーネント１１４は、与えられた実装に対し望ましい形で別のトポロジーにおいて含まれる要素数を加減することが可能である。これらの実施形態は、この文脈において制限されることはない。

図２に示されている例示的な実施形態において、メディアコンテンツマネージャコンポーネント１１４は、ビデオデコーダモジュール２１０を備える。ビデオデコーダモジュール２１０は、一般的に、マルチメディア会議サーバー１３０を介してさまざまなミーティングコンソール１１０−１−ｍから受信されたメディアストリームをデコードすることができる。一実施形態では、例えば、ビデオデコーダモジュール２１０は、マルチメディア会議イベントに参加しているさまざまなミーティングコンソール１１０−１−ｍから入力メディアストリーム２０２−１−ｆを受け取るように構成されうる。ビデオデコーダモジュール２１０は、入力メディアストリーム２０２−１−ｆを、ディスプレイ１１６によって表示するのに適しているデジタルまたはアナログのビデオコンテンツにデコードすることができる。さらに、ビデオデコーダモジュール２１０は、入力メディアストリーム２０２−１−ｆを、ディスプレイ１１６および視覚的構図１０８によって使用される表示フレームに適しているさまざまな空間分解データおよび時間分解データにデコードすることができる。

メディアコンテンツマネージャコンポーネント１１４−１は、ビデオデコーダモジュール２１０に通信可能なように結合されたアクティブ話者検出器モジュール（ＡＳＤ）モジュール２２０を備えることができる。ＡＳＤモジュール２２０は、一般的に、デコード済みメディアストリーム２０２−１−ｆにおける参加者が、アクティブ話者であるか、あるいは検出可能な発言活動に入っているかを検出することができる。ＡＳＤモジュール２２０には、さまざまなアクティブ話者検出技術を実装することができる。一実施形態では、例えば、ＡＳＤモジュール２２０は、デコード済みメディアストリーム中の音声エネルギーを検出し、測定し、最高の音声エネルギーから最低の音声エネルギーへと測定結果を順位付けし、最高の音声エネルギーを持つデコード済みメディアストリームを現在のアクティブ話者を表すものとして選択することができる。しかし、他のＡＳＤ技術も使用することができ、これらの実施形態は、この文脈において制限されない。

しかし、いくつかの場合において、会議室１５０内に配置されているローカルミーティングコンソール１１０−１からの入力メディアストリーム２０２−１などの、入力メディアストリーム２０２−１−ｆが複数の参加者を獲得することが可能であると考えられる。この場合、ＡＳＤモジュール２２０は、オーディオ特徴（音源定位）およびビデオ特徴（運動および空間パターン）を使用して会議室１５０内に配置されている参加者１５４−１−ｐのうちから主要な（ｄｏｍｉｎａｎｔ）話者、またはアクティブ話者を検出するように構成されうる。ＡＳＤモジュール２２０は、同時に複数の人々が発言しているときに会議室１５０内の主要な話者を決定することができる。これは、背景雑音および音を反射する硬質表面も補正する。例えば、ＡＳＤモジュール２２０は、６個の別々のマイクロホン１０４−１−ｒから入力を受け取り、異なる音声を差別化し、ビーム形成と呼ばれるプロセスを通じて主要な音を分離することができる。マイクロホン１０４−１−ｒのそれぞれは、ミーティングコンソール１１０−１の異なる部分の中に組み込まれる。音の速度にも関わらず、マイクロホン１０４−１−ｒは、参加者１５４−１−ｐから互いに関して異なる時間間隔で音声情報を受け取ることができる。ＡＳＤモジュール２２０は、この時間差を利用して、音声情報の発生源を識別することができる。音声情報に対する発生源が識別された後、ローカルミーティングコンソール１１０−１のコントローラが、ビデオカメラ１０６−１−ｐからの視覚的手掛かりを使用して、主要な話者の顔をピンポイントで突き止め、拡大し、強調することができる。この方法で、ローカルミーティングコンソール１１０−１のＡＳＤモジュール２２０は、単一の参加者１５４−１−ｐを会議室１５０から伝達側のアクティブ話者として特定する。

メディアコンテンツマネージャコンポーネント１１４−１は、ＡＳＤモジュール２２０に通信可能なように結合されたメディアストリームマネージャ（ＭＳＭ）モジュール２３０を備えることができる。ＭＳＭモジュール２３０は、一般的に、デコード済みメディアストリームをさまざまな表示フレームにマッピングすることができる。一実施形態では、例えば、ＭＳＭモジュール２３０は、デコードされた入力メディアストリーム２０２−１−ｆの総数を判定するように構成されうる。この情報は、例えば、ビデオデコーダモジュール２１０から受け取ることができる。ＭＳＭモジュール２３０も、視覚的構図１０８内の利用可能な表示フレームの総数を判定することができる。利用可能な表示フレームの総数は、技術的制約条件（例えば、コンピューティングリソースもしくは通信リソース）、閲覧制約条件（例えば、表示面積または所望のＧＵＩビューサイズ）、または他の設計制約条件に基づいて算出されうる。ＭＳＭモジュール２３０は、これらの総数を比較して、デコード済みメディアストリームの総数が視覚的構図１０８内の利用可能な表示フレームの総数より多いかどうかを判定することができ、そのため、デコード済みメディアストリームのうちのどれが利用可能な表示フレームを使用して表示されるかを選択するためのメディアコンテンツ選択アルゴリズムの実装を必要とする。メディアコンテンツ選択アルゴリズムは、メディア選択モジュール２６０によって実装されうる。

例えば、Ｌがビデオデコーダモジュール２１０によってデコードされたデコード済みメディアストリームの数を表し、Ａが視覚的構図１０８に対する利用可能な表示フレームの数を表すと仮定する。さらに、Ａ＝ｘ＋ｙであり、ｘは、ピン止めされたデコード済みメディアストリームをレンダリングするために使用される表示フレームの数を表し、ｙは、デコード済みメディアストリームのアクティブグループ内のデコード済みメディアストリームをレンダリングするために使用される表示フレームの数を表すと仮定する。

デコード済みメディアストリームの総数が、視覚的構図１０８内の表示フレームの総数以下である場合（例えば、Ｌ≦Ａ）、ＭＳＭモジュール２３０は、デコード済みメディアストリームを利用可能な表示フレームにマッピングすることができる。この場合、ビデオ構図１０８は、与えられたマルチメディア会議イベントのデコード済みメディアストリームにおける参加者１５４−１−ｐ全員を表示するのに十分な数の利用可能な表示フレームを有することができる。

しかし、デコード済みメディアストリームの総数が、視覚的構図１０８内の表示フレームの総数より多い場合（例えば、Ｌ＞Ａ）、ＭＳＭモジュール２３０は、デコード済みメディアストリームの総数のうちの部分集合を利用可能な表示フレームにマッピングする必要がある場合がある。この場合、ビデオ構図１０８は、与えられたマルチメディア会議イベントのデコード済みメディアストリームにおける参加者１５４−１−ｐ全員を表示するのに十分な数の利用可能な表示フレームを必ずしも有していない。利用可能な表示フレームによってレンダリングされるデコード済みメディアストリームの特定の部分集合は、メディア選択モジュール２６０によって選択されうる。

メディア選択モジュール２６０は、発言活動に基づいて利用可能な表示フレームにマッピングするためにデコード済みメディアストリームの総数のうちからデコード済みメディアストリームのアクティブグループを選択するように構成することができる。デコード済みメディアストリームのアクティブグループは、利用可能な表示フレームに現在マッピングされているデコード済みメディアストリームを指すものとしてよい。対照的に、利用可能な表示フレームに現在マッピングされていないデコード済みメディアストリームは、デコード済みメディアストリームの非アクティブグループと称される。非アクティブグループのメンバーは、典型的には、デコード済みメディアストリームからビデオコンテンツを介して閲覧することはできないが、デコード済みメディアストリームからオーディオコンテンツを介して音声を聞くことはできる。

初期化中に、またはメディア会議イベントの開始時に、メディア選択モジュール２６０は、最初に、任意の数の異なる方法でデコード済みメディアストリームのアクティブグループを選択することができる。例えば、メディア選択モジュール２６０は、ランダムに、または勝手にアクティブグループを選択することができる。他の例では、メディア選択モジュール２６０は、参加者１５４−１−ｐがメディア会議イベントに加わる順序などの、一組の選択ルールに従ってアクティブグループを選択することができる。いくつかの場合において、メディア選択モジュール２６０は、発言活動に関わっている可能性が関わっていない可能性よりも高い参加者１５４−１−ｐを予測するように設計された何らかの一組のヒューリスティックに基づいて、アクティブグループを選択することができる。例えば、何人かの参加者１５４−１−ｐは、マルチメディア会議イベントの発表者として指定を受けることができるが、他の参加者１５４−１−ｐは、マルチメディア会議イベントの出席者として指定することができる。発表者は、典型的には、出席者に比べてマルチメディア会議イベントのときにより多く発言するので、発表者として指定された参加者１５４−１−ｐは、最初にアクティブグループとして選択されうる。任意のイベントにおいて、メディア選択モジュール２６０は、アクティブグループを最初に選択し、利用可能な表示フレームのマッピングのために、ＭＳＭモジュール２３０にアクティブグループ選択を送ることができる。

マルチメディア会議イベント開催中のある時点において、ＭＳＭモジュール２３０は、メディア選択モジュール２６０によって最初に選択されたものと異なる参加者１５４−１−ｐを表示するようにアクティブグループを定期的に再構成しなければならない場合がある。一実施形態では、例えば、メディア選択モジュール２６０は、デコード済みメディアストリームの非アクティブグループのメンバーを、発言活動に基づいてデコード済みメディアストリームのアクティブグループのメンバーを置き換える非アクティブ代替候補として選択することができる。マルチメディア会議イベントの進行中に、発表者に質問をする出席者などの、デコード済みメディアストリームの非アクティブグループ内の参加者１５４−１−ｐが発言活動を行う可能性がある。ＡＳＤモジュール２２０は、発言活動がいつ行われるかを検出するためにデコード済みメディアストリームを監視する。ＡＳＤモジュール２２０が、非アクティブグループのメンバーが発言活動を行っていることを検出すると、ＡＳＤモジュール２２０は、ＭＳＭモジュール２３０に通知を送信することができる。

ＭＳＭモジュール２３０は、ＡＳＤモジュール２２０によって検出された発言活動に基づいてアクティブグループを潜在的に再構成しうる。ＭＳＭモジュール２３０に、アクティブグループについてデコード済みメディアストリームに現在マッピングされていない利用可能な表示フレームがある場合、ＭＳＭモジュール２３０は、その非アクティブグループのメンバーをその利用可能な表示フレームにマッピングする。しかし、利用可能な表示フレームがない場合、ＭＳＭモジュール２３０は、非アクティブグループの発言メンバーによる代替のためアクティブグループのメンバーを選択する制御指令をメディア選択モジュール２６０に送信することができる。

メディア選択モジュール２６０は、デコード済みメディアストリームのアクティブグループのメンバーを、活動スコアに基づいてデコード済みメディアストリームの非アクティブグループのメンバーで置き換えられるアクティブ代替候補として選択するように構成されうる。アクティブ代替候補は、非アクティブグループ内に入れられることに時間的に近接してその後の発言活動を行うことによってアクティブグループ内にスワップして戻される確率を低める参加者１５４−１−ｐとすることが可能である。言い換えると、アクティブ代替候補は、理想的には、非アクティブグループに入れられた後すぐに再び発言し、その結果もう一度アクティブグループへの短期スワップが強制される可能性が最も低いアクティブグループのメンバーとすべきである。

場合によっては、活動スコアに基づいてアクティブ代替候補を選択することもできる。メディアコンテンツマネージャコンポーネント１１４は、ＡＳＤモジュール２２０およびメディア選択モジュール２６０に通信可能なように結合された活動スコア生成器（ＡＳＧ）モジュール２５０を備えることができる。ＡＳＧモジュール２５０は、ＡＳＤモジュール２２０から発言活動情報を受け取ることができる。ＡＳＧモジュール２５０は、他の入力のうち、発言活動情報を使用して、参加者１５４−１−ｐに対する活動スコアを生成することができる。活動スコアは、参加者１５４−１−ｐのそれぞれに対する発言活動の異なるレベルを表しうる。次いで、活動スコアをメディア選択モジュール２６０に出力し、これをアクティブグループを選択する際に使用することができる。

例えば、一実施形態では、ＡＳＧモジュール２５０は、デコード済みメディアストリームの参加者１５４−１−ｐに対する発言活動の特徴を表す活動スコアを生成することができる。ＡＳＧモジュール２５０は、アクティブグループのメンバーがいつ再び発言するかをある程度予測する発言活動の異なる特徴に基づいて活動スコアを生成するさまざまなスコアリングアルゴリズムを実装することができる。異なる特徴に対して、さまざまな基準を定義することができ、またこの基準を使用して、今後の発言活動の予測手段として利用できる統計または分析を生成することができる。メディア選択モジュール２６０は、この活動スコアを使用して、短期間のうちに発言する確率の低いアクティブグループからのアクティブ代替候補を選択することができ、これにより、アクティブグループと非アクティブグループとの間でのメンバーの遷移を減らすことができる。一般に、活動スコアが高ければ高いほど、発言活動の水準は高く、活動スコアが低ければ低いほど、発言活動の水準は低くなるけれども、実施形態はこの例に限定されない。活動スコアを関連性に関して順位付けし、および／または格付けすることで、選択オペレーションをしやすくすることができる。

例えば、一実施形態では、ＡＳＧモジュール２５０は、参加者１５４−１−ｐによる発言活動の最近の時間を表す活動スコアを生成することができる。ＡＳＤモジュール２２０は、デコード済みメディアストリームを監視し、与えられたデコード済みメディアストリームの発言活動がいつ行われるかを記録することができる。デコード済みメディアストリームのそれぞれの参加者１５４−１−ｐについてタイムスタンプを格納することができる。タイムスタンプは、質問をすること、または情報を提示することなどの、発言活動を参加者１５４−１−ｐが行った最近の時間を表す日時を記述するものとしてよい。ＡＳＧモジュール２５０は、参加者１５４−１−ｐ全員に対するタイムスタンプを分析し、最近の発言活動であることを示す時間がより最近であるタイムスタンプに対してはより高い活動スコアを生成し、古い発言活動であることを示すより古いタイムスタンプに対してはより低い活動スコアを生成することができる。より高い活動スコアは、最近発言した参加者１５４−１−ｐが、マルチメディア会議イベントの主題に関わる可能性が高い、したがって近い将来再び発言する可能性がより高いことを予測するものとしてよい。より低い活動スコアは、メディア会議イベントで以前に発言した参加者１５４−１−ｐが、マルチメディア会議イベントの現在の主題に関わる可能性が低い、したがって近い将来再び発言する可能性がより低い、したがってアクティブグループにおける代替に適した候補となることを予測するものとしてよい。

例えば、一実施形態では、ＡＳＧモジュール２５０は、発言活動と非発言活動との比の値を表す活動スコアを生成することができる。ＡＳＤモジュール２２０は、デコード済みメディアストリームを監視し、与えられたデコード済みメディアストリームの発言活動がいつ行われるかを記録することができる。デコード済みメディアストリームのそれぞれの参加者１５４−１−ｐについて複数のタイムスタンプを格納することができる。タイムスタンプは、発言活動を参加者１５４−１−ｐが行ったそれぞれの時間を表す日時、およびその発言活動が行われた時間の長さを記述するものとすることができる。ＡＳＧモジュール２５０は、発言活動と非発言活動との比の値を決定するために参加者１５４−１−ｐ全員に対するタイムスタンプを分析することができる。ＡＳＧモジュール２５０は、非発言活動に関する発言活動の量が多ければ多いほどそれを示す比の値に対しより高い活動スコアを生成し、非発言活動に関する発言活動の量が少なければ少ないほどそれを示す比の値に対しより低い活動スコアを生成することができる。より高い活動スコアは、より頻繁に発言し、および／またはより長い期間にわたって発言する参加者１５４−１−ｐは近い将来再び発言する可能性がより高いことを予測するものとしてよい。より低い活動スコアは、あまり頻繁に発言せず、および／またはより短い期間にわたって発言する参加者１５４−１−ｐは近い将来再び発言する可能性がより低く、したがってアクティブグループにおける代替の適切な候補となることを予測するものとしてよい。

例えば、一実施形態では、ＡＳＧモジュール２５０は、参加者による発言活動に対するカウント値を表す活動スコアを生成することができる。ＡＳＧモジュール２５０は、比の値を使用して前の例と同様の発言時間および／または頻度を表すのではなく、参加者１５４−１−ｐ毎にカウンタを１つ実装して、参加者１５４−１−ｐが発言活動を行うたびにカウントするようにすることができる。比の値と同様に、より高い活動スコアは、より高いカウントに割り当てられ、より低い活動スコアは、より低いカウントに割り当てられうる。より高い活動スコアは、より頻繁に発言する参加者１５４−１−ｐは近い将来再び発言する可能性がより高いことを予測するものとしてよい。より低い活動スコアは、あまり頻繁に発言しない参加者１５４−１−ｐは近い将来再び発言する可能性がより低く、したがってアクティブグループにおける代替の適切な候補となることを予測するものとしてよい。

例えば、一実施形態では、ＡＳＧモジュール２５０は、参加者による発言活動に対する期間の値を表す活動スコアを生成することができる。ＡＳＤモジュール２２０は、デコード済みメディアストリームを監視し、与えられたデコード済みメディアストリームの発言活動がいつ行われるかを記録することができる。デコード済みメディアストリームのそれぞれの参加者１５４−１−ｐについて複数のタイムスタンプを格納することができる。タイムスタンプは、発言活動を参加者１５４−１−ｐが行ったそれぞれの時間を表す日時、およびその発言活動が行われた時間の長さを記述するものとすることができる。ＡＳＧモジュール２５０は、それぞれの参加者１５４−１−ｐに対する発言活動の平均長値を決定するために参加者１５４−１−ｐ全員に対するタイムスタンプを分析することができる。ＡＳＧモジュール２５０は、発言活動の時間が長ければ長いほどそれを示す平均長値に対しより高い活動スコアを生成し、発言活動の時間が短ければ短いほどそれを示す平均長値に対しより低い活動スコアを生成することができる。より高い活動スコアは、より長い時間にわたって発言する参加者１５４−１−ｐは近い将来再び発言する可能性がより高いことを予測するものとしてよい。より低い活動スコアは、発言が短時間である参加者１５４−１−ｐは近い将来再び発言する可能性がより低く、したがってアクティブグループにおける代替の適切な候補となることを予測するものとしてよい。

ＡＳＧモジュール２５０が、参加者１５４−１−ｐに対する活動スコアを生成した後、ＡＳＧモジュール２５０は、その活動スコアをメディア選択モジュール２６０に出力することができる。メディア選択モジュール２６０は、活動スコアを使用して、アクティブ代替候補を選択し、アクティブ代替候補をＭＳＭ ２３０に出力することができる。次いで、ＭＳＭモジュール２３０は、アクティブグループからのアクティブ代替候補を非アクティブグループからの非アクティブ代替候補で置き換えることができる。例えば、ＭＳＭモジュール２３０は、利用可能な表示フレームからアクティブ代替候補の割り振りを解除し、非アクティブ代替候補を新しく解放された利用可能な表示フレームにマッピングすることができる。このようにして、利用可能な表示フレームは、利用可能な表示フレームによって表示されるメディアコンテンツの間の遷移を減らしつつよりアクティブな話者を表示するために使用できる。

メディアコンテンツマネージャコンポーネント１１４−１は、ＭＳＭモジュール２３０に通信可能なように結合された視覚的構図生成器（ＶＣＧ）モジュール２４０を備えることができる。ＶＣＧモジュール２４０は、一般的に、視覚的構図１０８をレンダリングまたは生成することができる。例えば、一実施形態では、ＶＣＧモジュール２４０は、利用可能な表示フレームが静的にまたは動的に位置決めされる参加者名簿とともに視覚的構図１０８を生成するように構成することができる。ＶＣＧモジュール２４０は、与えられたミーティングコンソール１１０−１−ｍに対しオペレーティングシステムのビデオグラフィックスコントローラおよび／またはＧＵＩモジュールを介してディスプレイ１１６に視覚的構図信号２０６−１−ｇを出力することができる。

図３ａ、３ｂは、視覚的構図１０８をより詳細に例示している。視覚的構図１０８は、ミーティングコンソール１１０−１−ｍのオペレータなどの、閲覧者に提示するために特定のモザイクまたは表示パターンで配列されたさまざまな表示フレーム３３０−１−ａを備えることができる。それぞれの表示フレーム３３０−１−ａは、ＭＳＭモジュール２３０によって表示フレーム３３０−１−ａにマッピングされた対応するメディアストリーム２０２−１−ｆからのビデオコンテンツおよび／またはオーディオコンテンツなどのメディアストリーム２０２−１−ｆからのマルチメディアコンテンツをレンダリングまたは表示するように設計されている。

例えば、図３ａ、３ｂに示されている例示的な実施形態において、視覚的構図１０８は、プレゼンテーションアプリケーションソフトウェアからのプレゼンテーションスライド３０４などのアプリケーションデータを表示するための主表示領域を備える表示フレーム３３０−６を含むことができる。さらに、視覚的構図１０８は、表示フレーム３３０−１から３３０−５までを含む参加者名簿３０６を含むことができる。参加者名簿３０６は、アクティブグループ３４０を表すものとしてよい。アクティブグループ３４０は、表示フレーム３３０−１−ｓに現在マッピングされている参加者３０２−１から３０２−５を含むことができる。非アクティブグループ３５０は、表示フレーム３３０−１−ｓに現在マッピングされていない参加者３０２−６から３０２−８を含むことができる。与えられた実装に対し望ましい限り、視覚的構図１０８に含める可変サイズおよび代替配置の表示フレーム３３０−１−ｓの数を加減することができることが理解されうる。

参加者名簿３０６は、複数の表示フレーム３３０−１から３３０−５で構成することができる。表示フレーム３３０−１から３３０−５は、ミーティングコンソール１１０−１−ｍによって伝達されるさまざまなメディアストリーム２０２−１−ｆから参加者３０２−１−ｂのビデオコンテンツおよび／またはオーディオコンテンツを供給することができる。参加者名簿３０６のさまざまな表示フレーム３３０−１は、視覚的構図１０８の上から視覚的構図１０８の下まで与えられた順序で配置することができ、例えば、表示フレーム３３０−１を一番上近くの第１の位置に、表示フレーム３３０−２を第２の位置に、表示フレーム３３０−３を第３の位置に、表示フレーム３３０−４を第４の位置に、表示フレーム３３０−５を一番下近くの第５の位置に配置することができる。表示フレーム３３０−１から３３０−５によって表示される参加者３０２−１−ｂのビデオコンテンツは、「頭と肩」の切り出し（例えば、背景ありまたは背景なしで）、他のオブジェクトに重なりうる透明オブジェクト、遠近法による矩形領域、パノラマビューなどのさまざまなフォーマットでレンダリングすることができる。

参加者名簿３０６の表示フレーム３３０−１−ｂの順序は、必ずしも静的ではない。例えば、いくつかの実施形態では、この順序は、いくつかの理由から変えることができる。例えば、オペレータは、個人的好みに基づいて順序の一部または全部を手動で構成することができる。他の例では、メディアコンテンツマネージャコンポーネント１１４−１−ｔは、参加者が与えられたマルチメディア会議イベントに加わるか、または退出すること、表示フレーム３３０−１−ａに対する表示サイズの修正、表示フレーム３３０−１−ａについてレンダリングされたビデオコンテンツに対する空間的分解能または時間的分解能の変更、表示フレーム３３０−１−ａに対するビデオコンテンツ内に示される参加者３０２−１−ｂの数、異なるマルチメディア会議イベントなどに基づいて順序を自動的に修正することができる。

場合によっては、オペレータまたは閲覧者は、特定の参加者３０２−１−ｓを表示する表示フレーム３３０−１−ａを選択するか、またはその逆を行うことができる。オペレータコマンドを受け取るとそれに応答して、ＶＣＧモジュール２４０は、選択された表示フレーム３３０−１−ａを所望の参加者３０２−１−ｓに一時的にまたは継続的に割り当てることができる。例えば、オペレータまたは閲覧者は、参加者名簿３０６の表示フレーム３３０−３を第３の参加者３０２−３に割り当てたい場合がある。ピンアイコン３０８などの視覚的インジケータは、表示フレーム３３０−３が第３の参加者３０２−３に割り振られ、解放されるまで第３の参加者３０２−３にマッピングされたままとなることを示しうる。

ＭＳＭモジュール２３０は、デコード済みメディアストリームをさまざまな表示フレームにマッピングすることができる。前の例を続けると、デコード済みメディアストリームの総数が、視覚的構図１０８内の表示フレームの総数以下である場合（例えば、Ｌ≦Ａ）、ＭＳＭモジュール２３０は、デコード済みメディアストリームを利用可能な表示フレームにマッピングすることができる。この場合、ビデオ構図１０８は、与えられたマルチメディア会議イベントのデコード済みメディアストリームにおける参加者１５４−１−ｐ全員を表示するのに十分な数の利用可能な表示フレームを有することができる。例えば、５つの利用可能な表示フレーム３３０−１から３３０−５があり、参加者３０２−１から３０２−５（ａ〜ｃ）がいる５つのデコード済みメディアストリームがある場合、視覚的構図１０８において５つすべてのデコード済みメディアストリームを視覚的構図１０８で表示することができる。

しかし、デコード済みメディアストリームの総数が、視覚的構図１０８内の表示フレームの総数より多い場合（例えば、Ｌ＞Ａ）、ＭＳＭモジュール２３０は、デコード済みメディアストリームの総数のうちの部分集合を利用可能な表示フレームにマッピングする必要がある場合がある。初期化中に、またはメディア会議イベントの開始時に、メディア選択モジュール２６０は、すでに説明されているように任意の数の異なる方法でデコード済みメディアストリームのアクティブグループを選択することができる。図３ａに示されている実施形態では、例えば、参加者３０２−１から３０２−５は、対応する表示フレーム３３０−１から３３０−５にマッピングされてアクティブグループ３４０を形成するが、参加者３０２−６から３０２−８は、対応する表示フレーム３３０−１−ｓにマッピングされず、したがって、非アクティブグループ３５０のメンバーを構成する。

メディア選択モジュール２６０は、デコード済みメディアストリームの非アクティブグループ３５０のメンバーを、発言活動に基づいてデコード済みメディアストリームのアクティブグループ３４０のメンバーを置き換える非アクティブ代替候補として選択することができる。マルチメディア会議イベントの進行中に、参加者３０２−７が発言活動に関わると仮定する。ＡＳＤモジュール２２０は、発言活動がいつ行われるかを検出するためにデコード済みメディアストリームを監視する。ＡＳＤモジュール２２０が、参加者３０２−７について発言活動を検出すると、ＡＳＤモジュール２２０は、ＭＳＭモジュール２３０に通知を送信することができる。しかし、利用可能な表示フレーム３３０−１−ｓがないので、ＭＳＭモジュール２３０は、非アクティブグループ３５０の発言メンバーによる代替のためアクティブグループ３４０のメンバーを選択する制御指令をメディア選択モジュール２６０に送信する。メディア選択モジュール２６０は、デコード済みメディアストリームのアクティブグループ３４０のメンバーを、参加者３０２−７に対する活動スコアに基づいてデコード済みメディアストリームの非アクティブグループの参加者３０２−７で置き換えられるアクティブ代替候補として選択することができる。メディア選択モジュール２６０は、参加者３０２−４をアクティブグループ３４０の参加者３０２−１から３０２−５の全員の最低の活動スコアを有するものとして選択し、したがって、参加者３０２−４をアクティブ代替候補として指定すると仮定する。例えば、最低の活動スコアは、すべての参加者３０２−１から３０２−５のうち最後に発言してから最も時間が経過しているのが参加者３０２−４であることを示しうる。ただし、メディア選択モジュール２６０は、ピンアイコン３０８によって示されているようにオペレータが参加者３０２−３を表示フレーム３３０−３にピン止めした以降に活動スコアを評価するとき、参加者３０２−３を除外することになることに留意されたい。メディア選択モジュール２６０は、参加者３０２−４の選択をアクティブ代替候補としてＭＳＭ ２３０に出力する。次いで、ＭＳＭモジュール２３０が、アクティブグループ３４０からの参加者３０２−４を、この場合は参加者３０２−７である、非アクティブグループ３５０からの非アクティブ代替候補で置き換えることができる。例えば、ＭＳＭモジュール２３０は、表示フレーム３３０−４から参加者３０２−４がいるデコード済みメディアストリームの割り振りを解放し、参加者３０２−７を図３ｂに示されているように新しく解放された表示フレーム３３０−４にマッピングすることができる。そこで、アクティブグループ３４０は、参加者３０２−１、３０２−２、３０２−３、３０２−５（ａ〜ｃ）、および３０２−７を含み、非アクティブグループ３５０は、参加者３０２−４、３０２−６、および３０２−８を含む。

上述の実施形態に対するオペレーションは、１つまたは複数のロジックフローを参照しつつさらに説明することができる。代表的なロジックフローは、別段の指定がない限り、必ずしも、提示されている順序で、または特定の順序で実行されなければならないわけではないことが理解されうる。さらに、ロジックフローに関して説明されているさまざまな活動は、逐次的に、または並行して実行されうる。ロジックフローは、与えられた一組の設計および性能制約条件について望ましいものである限り、説明されている実施形態の１つまたは複数のハードウェア要素および／またはソフトウェア要素または代替要素を使用して実装することができる。例えば、ロジックフローは、ロジックデバイス（例えば、汎用コンピュータもしくは専用コンピュータ）による実効のためロジック（例えば、コンピュータプログラム命令）として実装することができる。

図４は、ロジックフロー４００の一実施形態を示している。ロジックフロー４００は、本明細書で説明されている１つまたは複数の実施形態によってオペレーションの一部または全部を表すことができる。

図４に示されているように、ロジックフロー４００は、ブロック４０２でマルチメディア会議イベントに対する複数のメディアストリームをデコードすることができる。例えば、ビデオデコーダモジュール２１０は、マルチメディア会議イベントに対する複数の入力メディアストリーム２０２−１−ｆをデコードしてデコード済みメディアストリームを形成することができる。

ロジックフロー４００は、ブロック４０４でデコード済みメディアストリームの総数が視覚的構図内の利用可能な表示フレームの総数より多いかどうかを判定することができる。例えば、ＭＳＭモジュール２３０は、デコード済みメディアストリームの総数が視覚的構図内の利用可能な表示フレームの総数より多いかどうか判定することができる（例えば、Ｌ＞Ａ）。

ロジックフロー４００は、ブロック４０６で発言活動に基づいて利用可能な表示フレームにマッピングするためにデコード済みメディアストリームの総数のうちからデコード済みメディアストリームのアクティブグループを選択することができる。例えば、メディア選択モジュール２６０は、発言活動に基づいて利用可能な表示フレーム３３０−１−ｓにマッピングするためにデコード済みメディアストリームの総数のうちからデコード済みメディアストリームのアクティブグループを選択することができる。発言活動は、異なるスコアリングアルゴリズムを使用して生成されるさまざまな活動スコアによって表されうる。

図５は、ミーティングコンソール１１０−１−ｍまたはマルチメディア会議サーバー１３０を実装するのに適しているコンピューティングアーキテクチャ５１０のより詳細なブロック図をさらに例示している。基本的な構成では、コンピューティングデバイス５１０は、典型的には、少なくとも１つのプロセッシングユニット５３２およびメモリ５３４を備える。メモリ５３４は、揮発性メモリと揮発性メモリの両方を含む、データを格納することができる機械可読媒体またはコンピュータ可読媒体を使用して実装することができる。例えば、メモリ５３４としては、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレートＤＲＡＭ（ＤＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、強誘電性ポリマーメモリなどのポリマーメモリ、オボニックメモリ、相変化メモリ、強誘電体メモリ、シリコン−酸化物−窒化物−酸化物−シリコン型（ＳＯＮＯＳ）メモリ、磁気カード、光カード、または情報を格納するのに適している他の種類の媒体が挙げられる。図５に示されているように、メモリ５３４は、１つまたは複数のアプリケーションプログラム５３６−１−ｔおよび付随するデータなどの、さまざまソフトウェアプログラムを格納することができる。実装にもよるが、アプリケーションプログラム５３６−１−ｔの例として、サーバーミーティングコンポーネント１３２、クライアントミーティングコンポーネント１１２−１−ｎ、またはメディアコンテンツマネージャコンポーネント１１４が挙げられる。

コンピューティングアーキテクチャ５１０は、基本構成を超える追加の特徴および／または機能を備えることも可能である。例えば、コンピューティングアーキテクチャ５１０は、取り外し可能記憶装置５３８および取り外し不可能記憶装置５４０を備えることができ、これらは、すでに説明されているようなさまざまな種類の機械可読媒体もしくはコンピュータ可読媒体をさらに備えることができる。コンピューティングアーキテクチャ５１０は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、測定デバイス、センサーなどの１つまたは複数の入力デバイス５４４を備えることもできる。コンピューティングアーキテクチャ５１０は、ディスプレイ、スピーカー、プリンタなどの１つまたは複数の出力デバイス５４２も備えることができる。

コンピューティングアーキテクチャ５１０は、コンピューティングアーキテクチャ５１０と他のデバイスとの通信を可能にする１つまたは複数の通信接続部５４６をさらに備えることができる。通信接続部５４６は、１つまたは複数の通信インターフェイス、ネットワークインターフェイス、ネットワークインターフェイスカード（ＮＩＣ）、ラジオ、無線送信機／受信機（トランシーバ）、有線および／または無線通信媒体、物理的コネクタなどのさまざまな種類の標準的な通信要素を備えることができる。通信媒体は、通常、コンピュータ可読命令、データ構造体、プログラムモジュール、または搬送波もしくはその他のトランスポートメカニズムなどの変調データ信号によるその他のデータを具現するものであり、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような方法で特性のうちの１つまたは複数が設定または変更された信号を意味する。例えば、限定はしないが、通信媒体は、有線通信媒体および無線通信媒体を含む。有線通信媒体の例としては、電線、ケーブル、金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペア線、同軸ケーブル、光ファイバー、伝搬信号などが挙げられる。無線通信媒体の例としては、音響、無線周波数（ＲＦ）スペクトル、赤外線、および他の無線媒体が挙げられる。本明細書で使用されているような機械可読媒体およびコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含むことが意図されている。

図６は、ロジックフロー４００を含む、さまざまな実施形態に対するロジックを格納するのに適している製造品６００の線図である。図示されているように、製造品６００は、ロジック６０４を格納するための記憶媒体６０２を備えることができる。記憶媒体６０２の例としては、揮発性メモリ、不揮発性メモリ、取り外し可能メモリ、取り外し不可能メモリ、消去可能メモリ、消去不可能メモリ、書き込み可能メモリ、または書き換え可能メモリなどを含む、電子データを格納することができる１つまたは複数の種類のコンピュータ可読記憶媒体が挙げられる。ロジック６０４の例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、プロシージャ、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはこれらの任意の組み合わせなどのさまざまなソフトウェア要素が挙げられる。

例えば、一実施形態では、製造品６００および／またはコンピュータ可読記憶媒体６０２は、コンピュータによって実行されたときに説明されている実施形態に従ってコンピュータにメソッドおよび／またはオペレーションを実行させる実行可能コンピュータプログラム命令を備えるロジック６０４を格納することができる。実行可能コンピュータプログラム命令は、ソースコード、コンパイル済みコード、インタプリタ用コード、実行可能コード、スタティックコード、ダイナミックコード、および同様のコードをなどの適当な種類のコードを含みうる。実行可能コンピュータプログラム命令は、特定の機能を実行するようにコンピュータに命令するために、定義済みのコンピュータ言語、様式、または構文に従って、実装されうる。これらの命令は、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＢＡＳＩＣ、Ｐｅｒｌ、Ｍａｔｌａｂ、Ｐａｓｃａｌ、Ｖｉｓｕａｌ ＢＡＳＩＣ、アセンブリ言語、およびその他の言語などの、好適な高水準、低水準、オブジェクト指向、ビジュアル、コンパイル済みおよび／またはインタプリタ用プログラミング言語を使用して実装することができる。

さまざまな実施形態が、ハードウェア要素、ソフトウェア要素、または両方の組み合わせを使用して実装されうる。ハードウェア要素の例としては、ロジックデバイスについてすでに述べたような例が挙げられるが、さらに、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、コンデンサ、インダクタなど）、集積回路、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含む。ソフトウェア要素の例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、プロシージャ、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはこれらの任意の組み合わせが挙げられる。一実施形態がハードウェア要素および／またはソフトウェア要素を使用して実装されるかどうかの決定は、与えられた実装に関して望ましいものである限り、所望の計算速度、電力レベル、耐熱性、処理サイクル予算、入力データ転送速度、出力データ転送速度、メモリリソース、データバス速度、および他の設計もしくは性能制約条件などの多数の因子によって異なることがある。

いくつかの実施形態は、「結合（される）」および「接続（される）」という表現をその派生形とともに使用して説明される場合がある。これらの用語は、必ずしも互いの同義語であることを意図されていない。例えば、いくつかの実施形態は、「接続」および／または「結合」という用語を使用して２つまたはそれ以上の要素が互いに物理的に直接接触するか、または電気的に直接接触していることを示して説明されることがある。しかし、「結合」という用語は、２つまたはそれ以上の要素が互いに直接接触していないが、それでも互いに連携し、または相互作用することを意味する場合もある。

本開示の要約は、３７ Ｃ．Ｆ．Ｒ．§１．７２（ｂ）に適合するように用意されているものであり、読者が技術的開示の性質を素早く確認できる要約を必要とすることが強調される。これは請求項の範囲または意味を解釈または制限するために使用されないことを了解したうえで提出される。それに加えて、上記の「発明を実施するための形態」では、本開示を合理化するためにさまざまな特徴を単一の実施形態においてグループにまとめられていることがわかる。この開示方法は、請求されている実施形態がそれぞれの請求項において明示的に述べられている以上の特徴を必要とする意図を反映するものとして解釈すべきでない。むしろ、以下の請求項が反映するように、発明対象は、単一の開示されている実施形態のすべてに満たない数の特徴にある。したがって、以下の請求項は、これにより「発明を実施するための形態」に組み込まれ、それぞれの請求項は独立の実施形態として自立している。付属の請求項における英文中の「ｉｎｃｌｕｄｉｎｇ（含む、備える）」および「ｉｎ ｗｈｉｃｈ」という言葉は、「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」および「ｗｈｅｒｅｉｎ」のそれぞれの言葉と等価であるものとしてそれぞれ使用される。さらに、「ｆｉｒｓｔ（第１の）」、「ｓｅｃｏｎｄ（第２の）」、および「ｔｈｉｒｄ（第３の）」などの言葉は、単に、ラベルとして使用され、その対象に対する数値的要件を課すことを意図されていない。

本発明の主題は、構造的特徴および／または方法論的活動に固有の言語で説明されているけれども、付属の請求項で定められている本発明の主題は、上で説明されている特定の特徴または活動に必ずしも限定されないことが理解されるであろう。むしろ、上述の特定の特徴および活動は、請求項を実施する例示的な形態の例として開示されている。

Claims (8)

1. マルチメディア会議イベントに対する複数のメディアストリームを、ネットワークを介して受信するステップと、
   前記複数のメディアストリームをデコードするステップと、
   前記ネットワークの技術的制約条件またはディスプレイの閲覧制約条件に基づいて、視覚的構図内の利用可能な表示フレームの総数を算出するステップと、
   デコード済みメディアストリームの総数が前記視覚的構図内の利用可能な表示フレームの総数より多いかどうかを判定するステップと、
   発言活動に基づいて、前記デコード済みメディアストリームの総数のうちからデコード済みメディアストリームのアクティブグループを選択して、前記利用可能な表示フレームにマッピングするステップであって、前記マルチメディア会議イベントの開始時においては、前記マルチメディア会議イベントの参加者のうち、ヒューリスティックに基づいて発言活動に関わる可能性が高いと予測される参加者が含まれている前記デコード済みメディアストリームをアクティブグループとして選択して、前記利用可能な表示フレームにマッピングする、ステップと、
   発言活動と非発言活動との比の値を表す第１の活動スコア、または参加者による発言活動に対する期間の値を表す第２の活動スコアを生成するステップと、
   前記第１の活動スコアまたは前記第２の活動スコアに基づいて、デコード済みメディアストリームの前記アクティブグループのメンバーを、デコード済みメディアストリームの非アクティブグループのメンバーで置き換えられるアクティブ代替候補として選択するステップと
   を含むことを特徴とする方法。
2. 発言活動に基づいて、デコード済みメディアストリームの非アクティブグループのメンバーを、デコード済みメディアストリームの前記アクティブグループのメンバーを置き換える非アクティブ代替候補として選択するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記アクティブグループからのアクティブ代替候補を非アクティブグループからの非アクティブ代替候補で置き換えるステップを含むことを特徴とする請求項１または２に記載の方法。
4. 活動スコアに基づいてデコード済みメディアストリームの前記アクティブグループを前記利用可能な表示フレームにマッピングするステップを含み、前記アクティブグループは、前記デコード済みメディアストリームの総数のうちの部分集合であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. コンピュータに、請求項１乃至４のいずれか１項に記載の方法を実行させるプログラムを記録したことを特徴とするコンピュータ可読記録媒体。
6. ディスプレイと、前記ディスプレイに通信可能なように結合されたマルチメディア会議イベントのための視覚的構図を生成するように動作するメディアコンテンツマネージャコンポーネントを備え、前記メディアコンテンツマネージャコンポーネントは、
   ネットワークを介して受信した、マルチメディア会議イベントに対する複数のメディアストリームをデコードするように動作するビデオデコーダモジュールと、
   前記ビデオデコーダモジュールに通信可能なように結合されたメディアストリームマネージャモジュールであって、前記ネットワークの技術的制約条件または前記ディスプレイの閲覧制約条件に基づいて、視覚的構図中の利用可能な表示フレームの総数を算出し、およびデコード済みメディアストリームの総数が前記視覚的構図中の利用可能な表示フレームの総数より多いかどうかを判定するように動作する、メディアストリームマネージャモジュールと、
   アクティブ話者検出器モジュールに通信可能なように結合された活動スコア生成モジュールであって、発言活動と非発言活動との比の値を表す第１の活動スコア、または参加者による発言活動に対する期間の値を表す第２の活動スコアを生成するように動作する、活動スコア生成モジュールと、
   前記メディアストリームマネージャモジュールに通信可能なように結合されたメディア選択モジュールであって、発言活動に基づいて前記利用可能な表示フレームにマッピングするために前記デコード済みメディアストリームの総数のうちからデコード済みメディアストリームのアクティブグループを選択し、および、前記第１の活動スコアまたは前記第２の活動スコアに基づいて、デコード済みメディアストリームの前記アクティブグループのメンバーを、デコード済みメディアストリームの非アクティブグループのメンバーで置き換えられるアクティブ代替候補として選択するように動作し、さらに、前記マルチメディア会議イベントの開始時においては、前記マルチメディア会議イベントの参加者のうち、ヒューリスティックに基づいて発言活動に関わる可能性が高いと予測される参加者が含まれている前記デコード済みメディアストリームを、前記利用可能な表示フレームにマッピングするためにアクティブグループとして選択する、メディア選択モジュールとを備えることを特徴とする装置。
7. 前記ビデオデコーダモジュールに通信可能なように結合されたアクティブ話者検出器モジュールであって、前記デコード済みメディアストリームに入っている前記参加者に対する発言活動を検出するよう動作する、アクティブ話者検出器モジュールを備えることを特徴とする請求項６に記載の装置。
8. 発言活動に基づいて、前記メディア選択モジュールはデコード済みメディアストリームの非アクティブグループのメンバーを、デコード済みメディアストリームの前記アクティブグループのメンバーを置き換える非アクティブ代替候補として選択するように動作することを特徴とする請求項６または７に記載の装置。
   

Images