JP5508450B2 - マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト - Google Patents

マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト Download PDF

Info

Publication number
JP5508450B2
JP5508450B2 JP2012026497A JP2012026497A JP5508450B2 JP 5508450 B2 JP5508450 B2 JP 5508450B2 JP 2012026497 A JP2012026497 A JP 2012026497A JP 2012026497 A JP2012026497 A JP 2012026497A JP 5508450 B2 JP5508450 B2 JP 5508450B2
Authority
JP
Japan
Prior art keywords
video stream
endpoint
video
layout
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012026497A
Other languages
English (en)
Other versions
JP2012170069A (ja
Inventor
アール. ダックウォース マーク
パリパリー ゴーパル
サレ ユーセフ
マセド マルシオ
Original Assignee
ポリコム,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/024,101 priority Critical patent/US8537195B2/en
Priority to US13/024101 priority
Application filed by ポリコム,インク. filed Critical ポリコム,インク.
Publication of JP2012170069A publication Critical patent/JP2012170069A/ja
Application granted granted Critical
Publication of JP5508450B2 publication Critical patent/JP5508450B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device; Cooperation and interconnection of the display device with other functional units using display panels

Description

本発明は、大略、ビデオ会議システムに関し、特に、マルチストリームかつマルチサイトの会議システムに関する。

ビデオ会議システムは、少なくとも2箇所の出席者の間でのオーディオ、ビデオ及びその他の情報の交換を6行う。概して、各出席者の所在地におけるビデオ会議のエンドポイント(端末装置)は、その場所にいる出席者の映像(イメージ)を撮るためのカメラと、遠隔地にいる出席者の映像を表示するためのディスプレイ装置を含む。このビデオ会議エンドポイントは、また、デジタルコンテンツを表示するための追加のディスプレイ装置を含むことができる。ビデオ会議において2以上の出席者がいるシナリオにおいては、マルチポイント制御ユニット(MCU: multi-point control unit)が会議制御用エンティティとして使用され得る。このMCUエンドポイントは、典型的には、通信ネットワークを介して通信し、各エンドポイント間でビデオ、オーディオ、データチャンネルの送受信を行う。

テレプレゼンス(telepresence: テレビ出席)技術は、出席者に対して機能増強されたビデオ会議体験を提供する。それは、近いエンドポイントの出席者があたかも遠いエンドポイントの出席者と同じ部屋にいるかのように感じさせるものである。テレプレゼンスビデオ会議は、二人の人間のポイント間のビデオ会議から多数の出席者の多数ポイント(マルチポイント)間のビデオ会議までにわたる、様々な会議システムのために提供され得る。典型的には、テレプレゼンスは、近端での複数出席者の映像(イメージ)を撮るための複数カメラと、遠端にいる複数出席者の映像(イメージ)を表示するための複数ディスプレイを使用する。複数のビデオストリームが複数のエンドポイントから前記MCUに送信され、1以上の結合ビデオストリームにされ、複数ディスプレイ装置上で表示されるために該エンドポイントに戻される。例えば、3つのエンドポイントが関係するテレプレゼンスシステムにおいては、各エンドポイントが3つのカメラを持ち、前記MCUは合計9個のビデオストリームを受信するであろう。前記MCUは9個のビデオストリームを1以上の結合ビデオストリームに結合しなければならず、それらは各エンドポイントで複数ディスプレイ装置上にて表示されるべく戻される。これらの9個のビデオストリームは、各エンドポイントにおけるディスプレイの数とタイプに基づき、各エンドポイント毎にレイアウトされねばならない。更に、MCUは、現在の話者が所在しているエンドポイントから情報を受信するが、各エンドポイントから受信されている1以上のビデオストリームをもって、MCUは複数ビデオストリームのうちのどれが該現在の話者を含んでいるかを判定することができない。従って、目立たせて表示するために、エンドポイントから受信した多数のビデオストリームの1つを動的に選択することは、困難である。

従来のマルチポイント及びマルチストリームのビデオ会議システムにおいては、各エンドポイントに送るべき複数ビデオストリームのアレンジ(arrangement: 配列)は、手動操作で行われている。例えば、VNOCとしても知られるビデオネットワークセンターは、テレプレゼンスビデオ会議の手動管理を引き受け、入力ビデオストリームの適宜のレイアウトを結合された出力ビデオストリームの中に含める。VNOCでビデオ会議の手動管理を行う人間は、現在の話者を特定するためにビデオストリームをモニタし、それから、現在の話者を含むビデオストリームが各エンドポイントにおけるディスプレイスクリーン上で目立って表示されるように、レイアウトを手動でアレンジする。現在の話者の映像を目立たせて表示することは、表示されるビデオストリームの縮尺及びサイズを操作することに関わってくるかもしれない。再び、ビデオ会議の手動管理を行う人間は、縮尺及びサイズを操作することを手動で実行するであろう。しかし、VNOCの手動管理には、人間の誤操作及び遅れの問題がある。加えて、操作装置のために特別の訓練を伴うことが必要とされる人間の操作者を使用することは、非常にコスト高となる。

まとめると、従来の手法は、ビデオストリームの静的なレイアウトのアレンジの問題があり、若しくは、動的なレイアウトのアレンジが望まれるならば、エラーしがちな手動制御を使用する必要があった。

連続的な存在、テレプレゼンス、ビデオ会議のMCU(マルチポイント制御ユニット)が、ビデオ会議のエンドポイントに提示されるべきビデオストリームのレイアウトを自動的に生成する。ビデオ会議の1エンドポイントは、2以上のカメラと、少なくとも1つのディスプレイ装置と、これらに結合したプロセッサ(処理装置)とを含み得る。プロセッサは、また、出力ストリームに対して属性を割り当てるためのストリーム属性モジュールを含み得る。該エンドポイントは、また、複数出席者の中から現在の話者の居所を判定するための話者位置探索手段を含み得る。それから、プロセッサは現在の話者を撮影するカメラを決定し得る。続いて、プロセッサは、該カメラによって生成されたビデオストリームに対して前記属性モジュールが或る属性を付与するように指示し得る。その属性とは、MCU又は他のエンドポイントによって調べられるとき、それに関連するビデオストリームが該現在の話者の映像(画像)を含むことを示し得るものである。

前記属性モジュールは、単一のビデオストリームに対して様々な属性を割り当てることができる。いくつかの属性は、該ビデオストリームのソース(生成源)である1つのカメラの位置を特定する、位置ベース属性であってよい。例えば、位置ベース属性は、「FR」(右端)、「CL」(中央左)、その他の属性を含み得る。別のいくつかの属性は、該ビデオストリームに含まれた出席者の役割を特定する、役割ベース属性であってよい。例えば、役割ベース属性は、「人間」、「コンテンツ」、その他の属性を含み得る。役割ベース属性は、「人間/聴衆」、「人間/発表者」、その他等の階層化された分類を持っていてもよい。ビデオストリームには、1以上の属性が割り当てられ得る。例えば、右端のカメラで撮影され且つ現在の話者の映像を含むビデオストリームは、「FR」及び「話者」の属性を持ち得る。別の例として、聴衆の中の一人が現在の話者であるならば、「人間/聴衆」の役割ベース属性を持つビデオストリームは「話者」属性をも持ち得る。

MCUは、レイアウトマネージャ(レイアウト管理手段)とミキサを含み得る。レイアウトマネージャは、入力ビデオストリームの属性と各エンドポイントに関する構成情報とに基づいて、各エンドポイントに送られたビデオストリームのためのレイアウトを生成する。この構成情報とは、例えば、ディスプレイスクリーンの数、各ディスプレイスクリーンの外観比率、専用スピーカ付きディスプレイスクリーンなど、その他の情報を含む。ミキサは、レイアウトマネージャによって決定されたレイアウトに基づいて、複数のビデオストリームを結合することができる。レイアウトマネージャは、各入力ビデオストリームの属性、入力ビデオストリームの数、各エンドポイントの構成情報など、その他の情報の変化をモニタし、これらの変化に基づいてレイアウトを動的に変更する。

以下、添付図面を参照して本発明の実施例を詳細に説明する。

マルチポイントビデオ会議システムの一例を示すブロック図。

該マルチポイントビデオ会議システムにおける1つのエンドポイント(端末装置)の一例を示すブロック図。

2以上のエンドポイントをMCU(マルチポイント制御ユニット)を介して互いに通信可能に接続したマルチポイントビデオ会議システムの一例を示すブロック図。

ディスプレイ装置における表示レイアウトの一例を示す図。 ディスプレイ装置における表示レイアウトの別の一例を示す図。 ディスプレイ装置における表示レイアウトの別の一例を示す図。 ディスプレイ装置における表示レイアウトの別の一例を示す図。

レイアウトマネージャによって生成されたレイアウトデータの一例を示す図。

ビデオレイアウト処理においてレイアウトマネージャによって実行される手順の一例を示すフロー図。

図1は、マルチポイントビデオ会議システム100の一例を示す。このシステム100は、ネットワーク110、1以上のマルチポイント制御ユニット(MCU)106、複数のエンドポイントA〜E(101〜105)を含む。ネットワーク110は、それに限られるものではないが、パケット切り換えネットワーク、回路切り換えネットワーク、あるいは両者の組み合わせからなっていてよい。エンドポイントA〜E(101〜105)は、オーディオ及びビデオデータの双方を送受信できるものであってよい。ネットワークを介した通信は、H.320、H.324、H.323、SIPなどその他の通信プロトコルに基づくものであってよく、また、H.263、H.264などその他の圧縮標準を使用するものであってよい。MCU106は、2以上のエンドポイント間でセッションを開始し、管理することができる。概ね、MCU106は、1以上のエンドポイントから受信したオーディオデータを混合し、混合オーディオデータを生成し、適切なエンドポイントに該混合オーディオデータを送信することができる。更に、MCU106は、1以上のエンドポイントからビデオストリームを受信することができる。これらのビデオストリームの1以上が、該MCU106によって結合ビデオストリームへと結合されてよい。結合されていると否とに係わらず、ビデオストリームは該MCU106によって適切なエンドポイントに送信され、それらの各ディスプレイスクリーンで表示されるようになっていてよい。変更例として、MCU106は複数のエンドポイントA〜E(101〜105)のうちいずれか1つの場所に配置されていてもよい。

図2は、複数のカメラと複数のディスプレイ装置を持つエンドポイント200の一例を示す。カメラ202〜205は、その地の会議室内に臨席している複数出席者の映像を撮影するものであり、該会議室内の複数の異なる場所を撮影するように列をなして配置され得る。従って、カメラ202〜205は、FR(far-right: 右端)、CR(center right: 中央右)、CL(: center left中央左)、FR(far-left: 左端)、のようにラベル付けされることができる。勿論、これらのラベル付けは単なる一例にすぎない。これとは異なるラベル付けが可能であり、例えば、カメラ205がすべての出席者の映像を撮るように使用され、そしてそれがWR(全部屋)としてラベル付けされ得るようにしてもよい。別の例として、カメラ202がパン−チルト−ズーム(PTZ)のできるタイプのカメラであってもよく、これはその地の複数出席者の中から現在の話者の映像を撮り、これにCS(current speaker: 現在の話者)のラベル付けを得る。ラベル及び属性は、カメラに対応付けて、プロセッサ209内のメモリに記憶され得る。

プロセッサ209は、ビデオ及びオーディオストリームを圧縮化及び圧縮解除するためのコーデック(codec: 符号・復号化器)210を含み得る。例えば、コーデック210は、カメラ202〜205により発生されたビデオストリームを圧縮し、圧縮したビデオストリームを生成することができ、それは遠隔のエンドポイント及び/又はMCUに送信される。更に、コーデック210は、遠隔のエンドポイント又はMCUから受信したビデオストリームを圧縮解除し、ディスプレイ装置206,207,208上で該ビデオストリームを表示する。コーデック210は、H.261 FCIF、H263 QCIF、H263 FCIF、H261 QCIF、H263 SQCIF、H.264 その他のようなビデオコーデック及びG.711、G.722、G.722.1、G.723.1その他のようなオーディオコーデックを含み得る。

プロセッサ209は、現在の話者つまり現在話している出席者の所在場所を判定する話者位置探索(locator: 所在位置探索手段)モジュール213と通信し得る。話者位置探索モジュール213によって提供された情報は、受信した複数ビデオストリームのどれが現在の話者を含んでいるかを判定するために、プロセッサ209で使用され得る。話者位置探索モジュール213は、複数マイクロホンからなるマイクロホンアレイ224を使用し、現在の話者のような音源から受信した音を分析し、該マイクロホンアレイ224に対する現在の話者の相対的な所在位置を判定し得る。マイクロホンアレイ224は、水平に、あるいは垂直に、あるいはそれらの組み合わせで、間隔を置いて並んだ複数マイクロホンの列を含む。典型的には、アレイ内のマイクロホンの少なくとも1つは基準マイクロホンとして割り当てることができる。多数の候補位置が予め定義され得る。これらの各候補位置の各マイクロホンからの距離は予め知られる。各マイクロホンによって録られた生の音信号(acoustic signal: 生音信号)は、前記基準マイクロホンによって録られた該生音信号に対して遅延され得る。この遅延は、部分的に、該基準マイクロホンに対する候補音源位置及びマイクロホン位置の関数たり得る。それから、各候補位置に関連付けられた該遅延された各信号の信号エネルギーが判定される。従って、最も高い信号エネルギーに対応する候補位置が当該オーディオ音源の実際の位置を最も推定している位置として選択され得る。換言すれば、最大値類推予測を使用して、当該オーディオ音源の実際の最良の推定候補である可能性のある所定の候補音源が、該オーディオ音源の位置として選択され得る。明らかに、この推定の正確さは、複数候補位置の数の増加と空間的分布に従って改善され得る。例えば、マイクロホンから略半径10フィートの距離で61個の候補位置を使用することができる。マイクロホンアレイを使用する出席者の位置の判定についての詳細は、チュウその他の発明による「生音源の位置を計算するための装置及び方法」と題する米国特許第6912178号に記載されており、その記載を引用することにより本書内に組み込む。

典型的には、マイクロホンアレイ224とカメラ202〜205との空間的関係は固定されたままとされる。よって、マイクロホンアレイ224に対して相対的に知られた現在の話者の位置は、基準のフレームを変更することにより、カメラに対する該現在の話者の位置に容易に変換され得る。特定のパン−ズーム−チルト設定とされた各カメラは、会議室内の特定の場所を撮影し、それらの場所の境界は予め決定され得る。従って、プロセッサ209は、該カメラの基準フレーム内に表現された現在の話者の位置(居所)が該カメラによって撮影された会議室内の場所内にあるかどうかを判定し得る。もし現在の話者の位置が該カメラによって撮影された会議室内の場所内に含まれるならば、プロセッサ209は、ストリーム属性モジュール212がそのカメラによって生成されたビデオストリームに対して「話者」の属性を割り当てるように指示し得る。

ストリーム属性モジュール212は、出力ストリームに対して複数の属性(属性情報)を割り当てることができる。これらの属性は、出力ビデオストリームが、該ビデオストリームを表現し表示するためのMCU及び/又は遠隔のエンドポイントにとって使い勝手がよくなるようなものにする。これらの属性は、出力ストリームが送信される間に付加され得る。例えば、H.323及びH.320のようなプロトコルが出力データストリームをラベル付けするのに使用され得る属性定義を含むように拡張され得る。ビデオストリームは様々な属性を持つことができる。例えば、該ビデオストリームのソース(源)となっているカメラの相対的位置を特定する位置情報を、該ビデオストリームは持ち得る。図2に示すように、出力ストリーム215〜218はそれらのソースカメラの相対的位置を特定する属性を持つ。例えば、ストリーム215は、右端(FR)位置に置かれたカメラ202をソースとしているので、「FR」とラベル付けされる。同様に、ビデオストリーム217は、中央左(CL)位置に置かれたカメラ204をソースとしているので、「CL」とラベル付けされる。

ビデオストリームは、また、「人」、「コンテンツ」のような役割ベースの属性をも持つことができる。該ビデオストリームが人又は出席者の映像を含むならば、該ビデオストリームは「人」属性でラベル付けされ得る。役割ベースの属性は、更に階層的分類を持ち得る。例えば、ビデオ会議における多数の出席者が情報発表を交替して行うならば、「人/発表者」と「人/聴衆」の分類が提供され得る。「人/発表者」属性は、それに関連付けられたビデオストリームが話者を含むか否かに関わりなく、目立たせて表示されるべき人の映像を該ビデオストリーム内に含むように指示することができる。発表物のようなデジタルコンテンツを含むビデオストリームは、「コンテンツ」属性を持ち得る。例えば、プロセッサ209はコンピュータ224からデータコンテンツを受信し、このデータコンテンツは発表物、文書、ビデオ、その他を含み得る。データコンテンツは圧縮されて、「CON」という属性が与えられ得る。図示していないが、図2において、エンドポイントは専用のデータコンテンツディスプレイを含んでいてもよく、それは、MCUから遠隔のエンドポイントで受信したデータストリームを表示する。

ビデオストリームは、また、1以上の属性を持ち得る。例えば、ビデオストリームは、「人/聴衆、話者」、「人/発表者、話者」等、のような役割ベースの属性と「話者」属性との両方を持ち得る。「話者」属性は、ビデオストリームの役割から独立して、割り当てられる。例えば、仮に現在の話者が「人/聴衆」役割を持つビデオストリームに含まれていたとしても、「話者」属性が、当該ビデオストリームに追加的に割り当てられ得る。別の例として、ビデオストリームは、「FR」属性を持つとともに「話者」属性も持つビデオストリーム215のように、位置情報と「話者」属性との両方を持ち得る。上述した通り、プロセッサ209は、どのカメラが現在の話者を撮影しているかを特定できる。そうすると、該プロセッサーは、該特定されたカメラによって生成されたビデオストリームに「話者」属性を追加し得る。図2に示す例では、現在の話者は、カメラ202によって撮影されている。ビデオストリーム215は、それに関連付けられた「話者」の属性を持つ。現在の話者の位置が変わったとすると、当該プロセッサは、その時点で現在の話者を含んでいるビデオストリームに「話者」属性を再割り当てできる。例えば、別の話者が話し始めて、その現在の話者の映像がカメラ204によって撮影されるとすると、ビデオストリーム217は「CL」属性に加えて「話者」属性に割り当てられる。

また、図2において、単一の出力ストリーム215のみが複数の属性を持つものとして示されているが、かかる複数の属性は、1以上のストリームに割り当て得る。例えば、ストリーム218は、「人/発表者」及び「FL」のように複数の属性を持ち得る。すなわち、ビデオストリームは、1以上の属性を割り当てられ得るのであり、かつ、割り当てられた属性は、役割ベース、カメラ位置ベース、現在の話者ベース、又は、何らかの選ばれたプロパティに基づくものである。図2に示された複数の属性は通信のためにエンコードされている。

ビデオストリーム、データストリーム及びオーディオストリームは、それらの属性とともに、エンドポイント200によって、ネットワーク110経由で、遠隔のエンドポイント又はMCUに送信される。トランスミッター/レシーバ214は、ネットワーク10とエンドポイント200との間の物理インターフェースとなる。Tx/Rx214は、遠隔のエンドポイント又はMCUからのビデオストリームを受信することもできる。例えば、ビデオストリーム219〜221は、プロセッサ209によって受信される。ビデオストリーム219〜221は、そのビデオストリームを評価する属性を含んでおり、そのビデオストリームの再生成又はレンダリングのためにプロセッサ209に利用される。例えば、ビデオストリーム219は、「話者」及び「R」属性を持つ。プロセッサ209は、ディスプレイ装置208に、右側に配置されるビデオストリーム219を表示する。更に、ビデオストリーム219が「話者」属性も持つので、ビデオストリームは、より目立って表示されうる。同様に、「C」属性を持つビデオストリーム220はディスプレイ装置207に表示され、また、「L」属性を持つビデオストリーム221はディスプレイ装置207に表示されうる。

図3は、MCU106経由で2つ以上のエンドポイントが互いに通信する会議システム300の一実施例を示す。エンドポイント101,102及び103は、図2に示したエンドポイントの一例と同様でよい。各エンドポイントは、それぞれ対応する出席者にテレプレゼンス体験を提供するための、カメラ及びディスプレイスクリーンの各種構成を有する。例えば、エンドポイントA101は4つのカメラと4つのディスプレイ装置を含み、エンドポイントB102は4つのカメラと3つのディスプレイ装置を含み、エンドポイントC103は1つのカメラと2つのディスプレイ装置を含みうる。ビデオストリームは各エンドポイントとMCU106の間で交換され得る。図においては、明確にするために、エンドポイントA101へ入出力するビデオストリームだけが詳細に示されている。MCU106は、ビデオ、オーディオ、信号データが送受信されるネットワークインターフェース328を含む。

MCU106はレイアウトマネージャ302及びミキサ303を含む。レイアウトマネージャ302は、各エンドポイントに送られる複数のビデオストリームのアレンジを含む表示又はビデオレイアウトを決定する。ビデオレイアウトの決定において、レイアウトマネージャ302は、受信したビデオストリームのうちどれがエンドポイントへ送られるべきかを決定するのみならず、それらが表示されるべき空間的アレンジも決定する。この決定は、受信したビデオストリームに関連付けられた属性と、エンドポイントに関連付けられた構成情報とに基づいてよい。レイアウトマネージャ302は、MCU106によって受信された各ビデオストリームに関連付けられた属性を決定できる。例えば、ビデオストリーム307,308,309及び310に関連付けられた属性「FR、話者」317、「CR」318、「CL」319及び「FL」320は、エンドポイントA101から受信できる。同様に、複数のビデオストリーム及びそれら属性は、エンドポイントB102及びエンドポイントC103(それぞれ、単純化のため、315及び316により示されている)から、あるいは、いずれの追加的エンドポイントからも受信できる。各エンドポイントから受信した構成情報329は、ディスプレイ装置の数、各ディスプレイ装置のアスペクト比及び解像度、現在の話者専用のディスプレイ装置の存否、或いは、使用されているエンコード種類等が含まれる。詳しくは後述する通り、レイアウトマネージャ302は、各エンドポイントに送るビデオストリームのアレンジを生成できる。このアレンジは、信号パス321経由で実行のためにミキサ303に伝達される。

ミキサ303は、1以上のエンドポイントからビデオストリームを受信できる。ミキサ303は、レイアウトマネージャ302によって決定されたビデオストリームのアレンジを実行できる。例えば、ミキサ303は、エンドポイントA101,B102及びC103からのビデオストリームを受信し、レイアウトマネージャ302から受信した信号321に基づいて該ビデオストリームを結合して、結合したビデオストリームを各エンドポイントに送り返す。ミキサ303は、入力されるビデオ及びオーディオストリームをデコードし、且つ、出力されるビデオ及びオーディオストリームをエンコードするコーデック322を含み得る。例えば、オーディオコーデックは、G.711,G.722.G.722.1,G723.1などの標準的コーデックを含む。ビデオコーデックは、H.261 FCIF、H.263 QCIF、H.263 FCIF、H.261 QCIF、H.263 SQCIF、H.264などの標準的コーデックを含む。コーデック322は、受信したエンドポイントにて使用されたエンコード方式に基づいて、出力されるオーディオ及びビデオストリームのエンコード方式を変更できる。

ミキサ303は、また、各種エンドポイントから受信したビデオフレームの操作を実行するための映像処理モジュール325を含んでよい。かかる操作は、2以上のフレームを1つのフレームに結合すること、スケーリング、クロッピング、オーバーレイイング等を含んでよく、より詳しくはアヴィシェイ・ハラヴィーによる「ビデオ会議において生成された複数のビデオストリームを結合するためのシステム及び方法」と題する米国特許第12/581626号に記載されており、その記載を引用することにより本書内に組み込む。

ミキサ303は、また、出力ストリームに属性を割り当てるためのストリーム属性モジュール327を含んでよい。例えば、ストリーム属性モジュール327は、属性「FL」、「CL」、「CR、話者」及び「FR,CON」をそれぞれ対応するストリーム311,312,313及び314に割り当てる。当該ストリーム属性モジュール327は、レイアウトマネージャ302から、特定のビデオストリームに対してどの属性を割り当てるかに関する指示を受信できる。

MCU106は、H.320、H.323及びH.324のような、これに限定もされもしないが、ITU規格に従う。したがって、レイアウトマネージャ302は、メディアコントローラ(MC)の一部となり、ミキサ303はメディアプロセッサ(MP)の一部となる。ミキサ303、特定用途向け集積回路(ASIC:application specific integrated circuits)、マイクロコントローラ、FPGA,ハードウェアとファームウェアの組み合わせ、マイクロプロセッサ上のソフトウェアなどにより実装できる。例えばコーデック322、映像処理モジュール325及びストリーム属性モジュール327など、ミキサ303内の各種モジュールは、それぞれ個別のハードウェアモジュールであってもよいし、あるいは、ソフトウェア(ファームウェア)モジュールであってもよい。レイアウトマネージャ302は、マイクロコントローラ、ASIC、FPAG、ハードウェア/ファームウェアの組み合わせなどのように、ハードウェアコンポーネントとして、分離して実装できる。

図4Aは、各種エンドポイントのイメージのレイアウトの一例を示す。図示の例では、MCU106は、1つのエンドポイント、例えば4つのディスプレイ装置402,404,406及び408を有するエンドポイントEに、ビデオストリームを伝送する。ビデオ会議は、例えばA、B、C及びDの4つの別のエンドポイントを含みうる。レイアウトマネージャ302は、5つのエンドポイントA、B、C、D及びEのそれぞれにより生成されたビデオストリームに関連付けられた属性を受信し、各エンドポイントのディスプレイ装置毎に表示すべき出力ビデオストリームのレイアウトを決定する。出力ビデオストリームは、そのビデオストリームが表示されるべきディスプレイ装置を決定することをエンドポイントに可能とする属性を含む。例えば、エンドポイントEで受信されるビデオストリームは、「FL」(左端ディスプレイ装置)、「CL」(中央左ディスプレイ装置)、「CR、話者」(中央右ディスプレイ装置)、及び、「FR」(右端ディスプレイ装置)などの属性を含む。各ディスプレイ装置の出力ビデオストリームは、多種のソースからのビデオストリームの結合からなる。レイアウトマネージャ302は、各ディスプレイ装置に表示すべき「セル」の数を決定できる。セルに表示されるビデオは単一のソースに対応するものである。例えば、ディスプレイ装置402に表示される結合ビデオストリームは、4つのセル421〜424により構成される。セルは、A−FL(エンドポイントA,左端カメラ)、A−CL(エンドポイントA,中央左カメラ)、B−FL(エンドポイントB、カメラ左端)、及びB−CL(エンドポイントB,中央左)のように、それぞれに割り当てられたソースにラベル付けされている。もちろん、ラベルは出席者には表示されない。

エンドポイントEは、現在の話者を含むビデオストリームのみを表示するための1以上のディスプレイ装置を含む。いずれのディスプレイ装置も選択されうるが、一例として、ディスプレイ装置406が示されている。上述した通り、レイアウトマネージャ302は、各ビデオストリームに関連付けられた属性に基づく話者を、どのビデオストリームが含んでいるかを決定する。レイアウトマネージャ302は、現在の話者を含むビデオストリームに確保された特定のディスプレイ装置に、そのビデオストリームが表示されるようにアレンジすることに加えて、別のディスプレイ装置の1つのセルに同じビデオストリームが表示されるようにアレンジできる。例えば、図4Aにおいて、エンドポイントAの中央左側カメラから受信したビデオストリームは、現在の話者を含む。レイアウトマネージャ302は、ディスプレイ装置406に表示されていたビデオストリームのみを持つことに加えて、ディスプレイ装置402に表示されるビデオストリームのセル422を含む(セル422の出席者のイメージは、関連付けられたビデオストリームが話者を含むことを示すために、網掛け表示されている)。

レイアウトマネージャ302は、入力ストリームの属性の変化に応じて、出力ストリームを動的にアレンジできる。例えば、現在の話者が或るビデオストリームから別のビデオストリームに変化したとすれば、レイアウトマネージャ302は、この変化を反映して、出力ストリームを再アレンジする。図4Bの例示において、現在の話者は、エンドポイントDの右側カメラに位置している。このビデオストリームは、それに関連付けられた話者属性を持っており、その属性はレイアウトマネージャ302によって検出されうる。従って、レイアウトマネージャは出力ストリームを再アレンジでき、それにより、ディスプレイ装置406に宛てられたビデオストリームは、直前まで表示されていたエンドポイントAの中央左カメラからのビデオストリームとの入れ替わってエンドポイントDの右側カメラから受信されたビデオストリームとなる。

レイアウトマネージャ302は、会議出席者に連続的な存在の経験を提供できる。言い換えれば、会議出席者は、全てのエンドポイントからのビデオストリームを同時に閲覧できるのであり、現在の話者を含むエンドポイントからのものだけを閲覧できるのではない。例えば、図4Aを参照すると、現在の話者がエンドポイントAに位置しているが、エンドポイントEの出席者は、別のエンドポイントA、B、C及びDのそれぞれからのビデオストリームを受信できる。更に、会議出席者は、現在の話者以外の出席者のビデオストリームを閲覧できる。例えば、現在の話者がエンドポイントAにいるとすると、エンドポイントEの出席者は、現在の話者を撮影しているビデオストリームに加えて、別の出席者を撮影しているビデオストリームを見られる。更に、現在の話者の位置が或るエンドポイントから別のエンドポイントに(例えばエンドポイントAからエンドポイントBに)変わったときも、レイアウトマネージャ302は、ビデオストリームの連続的な存在の表示を維持する。

図4Cは、エンドポイントの1つが、話者専用カメラを持つ場合の、ビデオストリームのレイアウトを例示している。例えば、ビデオストリームCは、少なくとも、1つは部屋全体を撮影するためのカメラと、別の1つはその部屋内の現在の話者を撮影するためのカメラとの少なくとも2つのカメラを含む。部屋全体を撮影するカメラは広角カメラであってよく、話者のみを撮影するカメラはパン−ズーム−チルトカメラ(PTZカメラ)であってよい。エンドポイントは、現在の話者の位置を決定する話者位置探索モジュール(例えば、図2の符号213)を含んでよい。このプロセッサは、PTZカメラが現在の話者の映像を支配的に撮影できるように、該カメラを制御するための位置情報を利用する。エンドポイントのストリーム属性モジュールは、部屋全体を撮影しているカメラのビデオストリームに「C−WR」属性を割り当てて、PTZカメラのビデオストリームに「C−話者」属性を割り当てる。これらビデオストリームをエンドポイントCから受信すると、MCU106のレイアウトマネージャ302は、「C−WR」属性のビデオストリームをセル481に割り当てて、「C−話者」属性のビデオストリームをディスプレイ装置406にわりあてる。

図4A〜4Cでは、ディスプレイ装置406は、現在の話者のみを表示するために確保されており、ディスプレイ装置406に送られたビデオストリームがセルに分割されていなかった。これに対して、図4Dに示す例は、現在の話者に加えてデジタルコンテンツを示す複数セルを含むものとなっている。ディスプレイ装置406に送られたビデオストリームは、3つのセル461、462及び463を含んでいる。セル461は、データコンテンツビデオストリームを含んでおり、そのデータコンテンツは、例えば1つのエンドポイントのコンピュータなど、ビデオストリームの起源の提示を含む。セル462及び463は、直近2人の現在の話者のイメージを含む。セル462又は463の1つは、関連付けられたビデオストリームを常に目立たせて表示するように指示する「人/発表者」属性を持つビデオストリームを表示する。

図4Eは、レイアウトマネージャ302が生成して、ミキサ303に送るレイアウトデータの一例を示す。ミキサ303は、当該ビデオ会議に参加しているエンドポイントへの出力ストリームを生成するために、このデータを使用できる。一例として図4Eは、図4Aにおけるディスプレイスクリーン402及び406のための表示レイアウトに対応するレイアウトデータを示している。同じエンドポイントEへの別のストリームのためのレイアウトデータも、別のエンドポイントへの別のストリームのためのレイアウトデータも、同じように生成されうる。

レイアウトデータ490は、ミキサ303がビデオストリームを結合するために使用する各種パラメータを含む。例えば、フレームサイズは、ストリーム1の各フレームの水平及び垂直ピクセル数を示す。レイアウトマネージャ302は、ディスプレイスクリーンの解像度に基づいてフレームサイズを決定する。解像度に関する情報は、典型的には、エンドポイントEからの構成情報として受信される。ディスプレイスクリーンの解像度が720×1280とすると、レイアウトマネージャ302は、フレームサイズとして720×1280を選択する。セル数(No.)は、フレームが分割される部分の数を定義する。例えば、図4Aにおいて、ディスプレイ装置402に表示されるフレームは、等しいサイズ(equal)で2行2列(2×2)にアレンジされた4つのセルに分割されている。セルサイズは、各セルのサイズをピクセル単位で示している。複数のセルが等しくないサイズとなる実施例では、セルサイズの領域は、各セルに対応して追加のセルサイズを含む。セルサイズの次の領域は、当該フレーム内の各セルへのストリーム源を示している。この例では、上側の2つのセル、セル1及びセル2(図4Aの部分421及び422に対応している)は、エンドポイントAから受信され、且つ、それぞれ「FL」及び「CL」属性を持つビデオストリームに割り当てられている。レイアウトマネージャ302は、また、出力ストリームに或る属性を割り当てて、例えばディスプレイ装置402の左端(FL)など、どのディスプレイ装置にこのビデオストリームが表示されるべきかを受信しているエンドポイントEが決定できようにしてもよい。レイアウトデータ491は、図4Aのディスプレイ装置406上のビデオストリームのレイアウトに対応している。ディスプレイ装置406が1つのビデオストリーム(現在話者を含むもの)のみの表示専用であるため、そのフレームには1つのセルしか含まれない。レイアウトマネージャは、エンドポイントがディスプレイ装置406の中央左(CR)にストリーム2を表示できるように属性を割り当てうる。

レイアウトマネージャ302はレイアウトデータ(例えば490と491)を信号パス321経由でミキサ303に送信できる。レイアウトマネージャ302は、また、ミキサ303によってアクセス可能なメモリにレイアウトデータを保存できる。かかるメモリは、レジスタやRAM等を含む。ミキサ303は、レイアウトデータが変更されているかどうかを確認するためにレイアウトデータに繰り返しアクセスできる。或いは、レイアウトマネージャ302は、レイアウトデータが何かしら変更されるか、又は、メモリが更新される毎に、フラグをセットするか又は割り込み処理してもよい。

図5は、1つのエンドポイントにおけるディスプレイ装置上のビデオストリームのレイアウトを決定するためにレイアウトマネージャ302によって実行されるステップを詳細に示すフローチャートの例示である。レイアウトマネージャ302は、ビデオ会議に参加している他の各エンドポイントのレイアウトを決定するためにも同様な処理を実行する。ステップ501において、レイアウトマネージャ302は、ビデオ会議セッションに参加している全てのエンドポイントからの各入力ビデオストリームに関連付けられた属性を受信する。ステップ502において、レイアウトマネージャ302は、当該(処理対象の)エンドポイントのディスプレイ装置の数を特定する。ディスプレイ装置の数及びそれらのプロパティに関する情報は、構成情報の形式でリアルタイムに受信できる。かかる情報はMCU106のメモリに保存できる。

ステップ503において、レイアウトマネージャ302は、エンドポイントEにおいて表示すべき入力ストリームの数がエンドポイントEのディスプレイ装置の数を超えているいか否か決定する。エンドポイントEにおいて表示すべき入力ストリームの数がエンドポイントEのディスプレイ装置の数よりも少ないか又は同数ならば(ステップ503がYES)、各ディスプレイ装置は単一のビデオストリームを表示しうる。従って、MCU106は、2以上のビデオストリームを1つのビデオストリームに結合する必要はない。例えば、仮にエンドポイントEが4つのディスプレイ装置を持っており、当該ビデオ会議には他に3つのエンドポイントが参加しており、それぞれ1つのビデオストリームを生成しているものとすると、レイアウトマネージャ302は、エンドポイントEの3つのディスプレイ装置を、他の3つのエンドポイントのビデオストリームに関連付け得る。4つのディスプレイ装置は、デジタルコンテンツを含むビデオストリーム又は現在の話者を含むビデオストリームに割り当て得る。レイアウトマネージャ302が特定のディスプレイ装置にビデオストリームを割り当てると(ステップ504)、レイアウトマネージャ302は出力ストリームに属性を追加する(ステップ509)。かかる属性は、当該ビデオストリームが表示されるべきディスプレイ装置の相対位置、当該ビデオストリームがデジタルコンテンツ、話者等を含むかどうかを、含む。

エンドポイントEにおいて表示すべき入力ストリームの数がエンドポイントEの利用可能なディスプレイ装置の数より多いならば(ステップ503がNO)、2以上のビデオストリームが1つのビデオストリームに結合される。レイアウトマネージャ302は、エンドポイントEのディスプレイ装置のいずれかが現在の話者の表示専用になっているか確認する。YESの場合、「話者」属性のビデオストリームが、当該ディスプレイ装置に宛てられる(ステップ505)。残りのディスプレイ装置は残りのビデオストリームの表示に使用される。

次に、レイアウトマネージャ302はディスプレイ装置毎のセル数を決定する(ステップ506)。一例として、ディスプレイ装置毎のセル数は、表示すべきビデオストリームの総数を利用可能なディスプレイ装置の数で除算することにより決定できる。別の要因として、ビデオストリームとディスプレイ装置のアスペクト比や、許容可能なビデオストリームのダウンスケーリング量などが、セルの数及サイズの決定において、考慮される。図4Aに示された例を参照すると、レイアウトマネージャ302は、エンドポイントEのディスプレイ装置の1つ、406が、現在の話者を含むビデオストリームを表示するために確保されることを決定できる。従って、エンドポイントA、B、C及びDからの11のビデオストリームを表示するために、3つのディスプレイ装置―402,404及び408―がある。レイアウトマネージャ302は、2つのディスプレイ装置のディスプレイエリアを4つのセルに分割し、残り1つのディスプレイエリアを3つのセルに分割する。上記のディスプレイ装置毎のセル数を決定する方法は、一例に過ぎず、別の方法も想起できる。

ステップ507において、レイアウトマネージャ302は、複数のセルに複数のビデオストリームを割り当てる。複数のビデオストリームが共通の形式(フォーマット)であり、且つ、空間的相互関係を持たないのであれば、レイアウトマネージャ302は、ビデオストリームを何れのセルにも自由に割り当てうる。例えば、レイアウトマネージャ302は、1つのエンドポイントからの全てのビデオストリームを、1つのディスプレイ装置内の複数セルに割り当てる。しかし、一般に、ビデオ会議においては、―特にテレプレゼンスビデオ会議においては―、MCU106により受信された1つのエンドポイントからの複数のビデオストリームは会議室の全体イメージの一部分(場所)を表しており、当該複数のビデオストリームが並んで表示されたときに会議室の全体イメージを再現できるようになっている。例えば、図4Aを参照すると、レイアウトマネージャ302は、エンドポイントAからの4つのビデオストリームを、4つのセル421、422、441及び442に並べてアレンジでき、ここで、セル421と422は1つのディスプレイ装置402に属しており、セル441と442とは隣接するディスプレイ装置404に属している。結果的に、1つのエンドポイントからの複数のビデオストリームは、複数のディスプレイ装置にわたり分配される。言い換えれば、表示されるビデオストリームの空間的相互関係は複数のディスプレイ装置に及ぶ。同様にして、エンドポイントBからの4つのビデオストリームを、4つのセル423、424、443及び444に割り当てうる。同様に、エンドポイントDからの2つのビデオストリームを2つのセル482及び483に割り当てて、エンドポイントCからの1つのビデオストリームをセル481に割り当てうる。

入力ビデオストリームがセルに割り当てられたら、レイアウトマネージャ302はミキサ303に共通のディスプレイ装置上の複数のセルに割り当てられている複数のビデオストリームを結合する(組み合わせる)よう指示する(ステップ508)。例えば、図4Aを参照すると、それぞれ、セル421、422、441及び442に関連付けられており、「A−FL」、「A−CL」、「A−CR」及び「A−FR」とラベル付けされた4つのビデオストリームは、単一の出力ビデオストリームに結合される。結合ビデオストリームは、どのディスプレイ装置に当該結合ビデオストリームが表示されるべきかを、受信したエンドポイントに決定させる属性を持つ。例えば、セル421、422、441及び442からのビデオストリームの結合ビデオストリームは、ディスプレイ装置402の左端「FL」を指示する属性を持つ。ステップ509において、レイアウトマネージャ302は、ミキサ303に、出力結合ビデオストリームに属性を追加するよう指示する。属性は、別のビデオストリームと結合されていないビデオストリーム(ステップ504の結果)にも追加されうる。

各エンドポイントへの出力ビデオストリームリームのレイアウトが構成されたら、レイアウトマネージャ302は、ステップ510において、受信されたビデオストリームの属性の何らかの変更及び/又はビデオストリーム数の変更の有無をモニタする。例えば、元は或る1つの入力ビデオストリームに関連付けられていた「話者」属性が、今は別の入力ビデオストリームに関連付けられているとすると、レイアウトマネージャ302は、この変更を検出し、出力ストリームのレイアウトを再構成して(ステップ503〜509を繰り返して)、現時点で「話者」属性を持つビデオストリームが各エンドポイントにおいて適切に表示されるようにする。例えば、図4A及び4Bを参照すると、元はエンドポイントAの中央左カメラ(A−CL)から受信されていた入力ビデオストリームに関連付けられていた「話者」属性が、今はエンドポインDの左カメラ(D−L)からのビデオストリームに関連付けられているとすると、レイアウトマネージャ302は、話者専用ディスプレイ406に送信されるビデオストリームがA−CLからD−Lに変更されるように、レイアウトを再構成する。また、参加しているエンドポイントからの入力ビデオストリームの数が変更された場合、例えば、ビデオ会議セッションから或る1つのエンドポイントが退出した場合、レイアウトマネージャ302は、この変更を検出し、出力ビデオストリームを再構成する。従って、レイアウトマネージャは、ビデオストリームレイアウトの動的な再構成を提供できる。

上述の説明は一例に過ぎず、これに限定されない。この開示の閲覧により、この発明の種々の変形が、当業者にとって明らかとなる。この発明の範囲は、従って、上記実施例の説明には限定されず、その全範囲の等価とともに、添付の特許請求範囲の参照によって確定される。

100 マルチポイントビデオ会議システム、101〜105,200 エンドポイント、106 マルチポイント制御ユニット(MCU)、110 ネットワーク、202〜205 カメラ、206,207,208 ディスプレイ装置、209 プロセッサ、210 コーデック、212 ストリーム属性モジュール、213 話者位置探索モジュール、214 レシーバ、300 会議システム、302 レイアウトマネージャ、303 ミキサ、322 コーデック、325 映像処理モジュール、325 イメージ処理モジュール、327 ストリーム属性モジュール、328 ネットワークインターフェース、329 構成情報、402,404,406,408 ディスプレイ装置、421〜424,441〜444,461,481〜483 セル、490,491 レイアウトデータ

Claims (17)

  1. ットワークを介して少なくとも1つの他のエンドポイントと通信する1エンドポイントのためにディスプレイコンテンツを生成するための方法であって、
    前記少なくとも1つの他のエンドポイントから受信した複数のビデオストリームに関連けられた属性と、前記エンドポイントのディスプレイ構成情報であって、少なくとも該エンドポイントにおけるディスプレイ装置の数を含む該ディスプレイ構成情報とに基づいて該エンドポイントのためのディスプレイレイアウトを自動的に生成する手順であって、
    複数のセルを生成することと、
    前記少なくとも1つの他のエンドポイントから受信した複数のビデオストリームを前記複数のセルに割り当てることであって、1つのビデオストリームが1つのセルに割り当てられるようにすること、を含む前記手順と
    前記エンドポイントのための1以上のビデオストリームを生成するために前記ディスプレイレイアウトに基づいて前記受信した複数のビデオストリームをミキシングする手順であって、前記複数のセルに関連付けられた複数のビデオストリームを組み合わせて1つの出力ビデオストリームを形成することを含む前記手順
    備え
    前記ディスプレイレイアウトは、前記少なくとも1つの他のエンドポイントから受信した少なくとも2つのビデオストリームの空間的関係を保持することを特徴とする方法。
  2. 前記ディスプレイレイアウトは、連続的な存在のレイアウトであることを特徴とする請求項1に記載の方法。
  3. 少なくとも1つのビデオストリームが、これに関連付けられた1以上の属性を持つことを特徴とする請求項1に記載の方法。
  4. いずれか1つの属性の変化に応じて、前記ディスプレイレイアウトを動的に再生成する手順を更に含むことを特徴とする請求項1に記載の方法。
  5. 前記ディスプレイレイアウトを自動的に生成する前記手順は、第1の少なくとも1つ他のエンドポイントから受信した第1ビデオストリームを識別する手順を含み、前記関連付けられた属性は当該第1ビデオストリームが第1現在の話者の映像を含むことを示す属性であることを特徴とする請求項1に記載の方法。
  6. 前記ディスプレイレイアウトを自動的に生成する前記手順は、更に、出力ビデオストリームに前記第1ビデオストリームを割り当てる手順と、前記出力ビデオストリームに属性を割り当てる手順とを含み、前記属性は該出力ビデオストリームが現在の話者の映像を含むことを示す属性であることを特徴とする請求項に記載の方法。
  7. 前記ディスプレイレイアウトを自動的に生成する前記手順は、更に、第2の少なくとも1つ他のエンドポイントから受信した第2ビデオストリームを識別する手順であって、前記関連付けられた属性は当該第2ビデオストリームが第2現在の話者の映像を含むことを示すものである手順と、前記第2ビデオストリームを前記出力ビデオストリームに割り当てる手順とを含むことを特徴とする請求項に記載の方法。
  8. 少なくとも前記複数のセルの2つは、前記少なくとも1つの他のエンドポイントから受信した前記関連付けられたビデオストリームの少なくとも2つの空間的関係を維持するような配列で、空間的に配列されることを特徴とする請求項に記載の方法。
  9. エンドポイントと少なくとも1つの他のエンドポイントとの間のビデオ会議を管理するためのビデオ会議のマルチポイント制御ユニットであって、
    前記少なくとも1つの他のエンドポイントから受信した複数のビデオストリームに関連けられた属性と、前記エンドポイントのディスプレイ構成情報であって、少なくとも該エンドポイントにおけるディスプレイ装置の数を含む該ディスプレイ構成情報とに基づいて該1エンドポイントのためのディスプレイレイアウトを自動的に生成するよう構成されたレイアウトマネージャと、ここで、該レイアウトマネージャは、複数のセルを生成し、且つ、前記少なくとも1つの他のエンドポイントから受信した複数のビデオストリームを該複数のセルに割り当てることにより前記ディスプレイレイアウトを生成するよう構成されており、ここで、1つのビデオストリームは1つのセルに割り当てられ、
    前記レイアウトマネージャと通信可能に接続され、前記エンドポイントのための1以上のビデオストリームを生成するために前記ディスプレイレイアウトに基づいて前記受信した複数のビデオストリームをミキシングするよう構成されたミキサであって、前記複数のセルに関連付けられた複数のビデオストリームを組み合わせて1つの出力ビデオストリームを形成するように構成された前記ミキサ
    具備し
    前記ディスプレイレイアウトが、前記少なくとも1つの他のエンドポイントから受信した少なくとも2つのビデオストリームの空間的関係を保持することを特徴とするマルチポイント制御ユニット。
  10. 前記ディスプレイレイアウトが、連続的な存在のレイアウトであることを特徴とする請求項に記載のマルチポイント制御ユニット。
  11. 少なくとも1つのビデオストリームが、これに関連付けられた1以上の属性を持つことを特徴とする請求項に記載のマルチポイント制御ユニット。
  12. 前記レイアウトマネージャが、いずれか1つの前記属性の変化に応じて、前記ディスプレイレイアウトを再生成するよう構成されていることを特徴とする請求項に記載のマルチポイント制御ユニット。
  13. 前記レイアウトマネージャと通信可能に接続され、複数のビデオストリームに関連付けられた属性を決定するよう構成されたストリーム属性モジュールを更に具備し、前記ストリーム属性モジュールは、第1の少なくとも1つ他のエンドポイントから受信した第1ビデオストリームを識別するものであり、前記関連付けられた属性は当該第1ビデオストリームが第1現在の話者の映像を含むことを示すものであることを特徴とする請求項に記載のマルチポイント制御ユニット。
  14. 前記レイアウトマネージャは出力ビデオストリームに前記第1ビデオストリームを割り当てるよう構成され、且つ、
    前記ストリーム属性モジュールは前記出力ビデオストリームに属性を割り当てるよう構成され、前記属性は該出力ビデオストリームが現在の話者の映像を含むことを示す属性であることを特徴とする請求項13に記載のマルチポイント制御ユニット。
  15. 前記ストリーム属性モジュールは、第2の少なくとも1つ他のエンドポイントから受信した第2ビデオストリームを識別する手順であって、前記関連付けられた属性は当該第2ビデオストリームが第2現在の話者の映像を含むことを示すものである手順と、前記第2ビデオストリームを前記出力ビデオストリームに割り当てる手順とを含むことを特徴とする請求項14に記載のマルチポイント制御ユニット。
  16. マルチポイント制御ユニットが、前記エンドポイントに配置されることを特徴とする請求項に記載のマルチポイント制御ユニット。
  17. 前記レイアウトマネージャは、少なくとも前記複数のセルの2つを、前記少なくとも1つの他のエンドポイントから受信した前記関連付けられたビデオストリームの少なくとも2つの空間的関係を維持するような配列で、空間的に配列するよう構成されることを特徴とする請求項に記載のマルチポイント制御ユニット。
JP2012026497A 2011-02-09 2012-02-09 マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト Expired - Fee Related JP5508450B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/024,101 US8537195B2 (en) 2011-02-09 2011-02-09 Automatic video layouts for multi-stream multi-site telepresence conferencing system
US13/024101 2011-02-09

Publications (2)

Publication Number Publication Date
JP2012170069A JP2012170069A (ja) 2012-09-06
JP5508450B2 true JP5508450B2 (ja) 2014-05-28

Family

ID=45562751

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012026497A Expired - Fee Related JP5508450B2 (ja) 2011-02-09 2012-02-09 マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト
JP2014057290A Pending JP2014161029A (ja) 2011-02-09 2014-03-19 マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014057290A Pending JP2014161029A (ja) 2011-02-09 2014-03-19 マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト

Country Status (5)

Country Link
US (2) US8537195B2 (ja)
EP (1) EP2487903A3 (ja)
JP (2) JP5508450B2 (ja)
CN (2) CN102638672B (ja)
AU (1) AU2012200314B2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537195B2 (en) 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system
US20120249877A1 (en) * 2011-03-28 2012-10-04 Hernandez Costa Fabio J Determining video stream display positioning
US9053456B2 (en) * 2011-03-28 2015-06-09 Microsoft Technology Licensing, Llc Techniques for conference system location awareness and provisioning
CN102868880B (zh) * 2011-07-08 2017-09-05 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
US9148613B1 (en) * 2011-08-24 2015-09-29 Verint Systems Ltd. Systems, methods, and software for merging video viewing cells
US9338396B2 (en) 2011-09-09 2016-05-10 Cisco Technology, Inc. System and method for affinity based switching
US20130063542A1 (en) * 2011-09-14 2013-03-14 Cisco Technology, Inc. System and method for configuring video data
US8994778B2 (en) * 2011-12-07 2015-03-31 Positron Telecommunication Systems, Inc. Systems and methods for providing video conferencing services via an ethernet adapter
JP6236771B2 (ja) * 2012-03-22 2017-11-29 株式会社リコー 通信装置、方法およびプログラム
FR2994785A1 (fr) * 2012-08-23 2014-02-28 France Telecom Procede de traitement d'un flux multimedia, terminal de communication, serveur et produit programme d'ordinateur correspondant.
US8890923B2 (en) * 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
CN102843542B (zh) * 2012-09-07 2015-12-02 华为技术有限公司 多流会议的媒体协商方法、设备和系统
CN103873813B (zh) * 2012-12-10 2018-06-01 中兴通讯股份有限公司 一种会议电视多画面切换的方法及系统
CN103905776B (zh) 2012-12-26 2018-01-16 华为技术有限公司 码流处理方法和系统、多点控制单元
US9924252B2 (en) 2013-03-13 2018-03-20 Polycom, Inc. Loudspeaker arrangement with on-screen voice positioning for telepresence system
CN104113721B (zh) * 2013-04-22 2017-08-18 华为技术有限公司 一种视频会议中会议材料的显示方法及装置
CN104144315B (zh) * 2013-05-06 2017-12-29 华为技术有限公司 一种多点视频会议的显示方法及多点视频会议系统
CN104349117B (zh) * 2013-08-09 2019-01-25 华为技术有限公司 多内容媒体通信方法、装置及系统
US9264668B2 (en) 2013-09-27 2016-02-16 Clearone Communications Hong Kong Ltd. Methodology for negotiating video camera and display capabilities in a multi-camera/multi-display video conferencing environment
US9769424B2 (en) * 2013-10-24 2017-09-19 Telefonaktiebolaget Lm Ericsson (Publ) Arrangements and method thereof for video retargeting for video conferencing
CN104902217B (zh) * 2014-03-05 2019-07-16 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
US9307001B2 (en) * 2014-05-16 2016-04-05 International Business Machines Corporation Video feed layout in video conferences
CN105100677A (zh) * 2014-05-21 2015-11-25 华为技术有限公司 用于视频会议呈现的方法、装置和系统
CN105450976B (zh) * 2014-08-28 2018-08-07 南宁富桂精密工业有限公司 视频会议处理方法及系统
CN105592286B (zh) * 2014-10-22 2019-03-01 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
US20160142672A1 (en) * 2014-11-17 2016-05-19 International Business Machines Corporation Automatic screen adjustment for multi location video conferencing
US9602771B2 (en) * 2014-12-10 2017-03-21 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
CN105744208B (zh) * 2014-12-11 2019-09-27 视联动力信息技术股份有限公司 一种视频会议控制系统及其控制方法
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
US10061467B2 (en) 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
US9602758B2 (en) * 2015-07-10 2017-03-21 Ricoh Company, Ltd. Communication apparatus, conference system, computer-readable recording medium, and display control method
JP2017028660A (ja) * 2015-07-28 2017-02-02 株式会社リコー 情報処理装置、画像表示方法、通信システム、プログラム
JP2017041831A (ja) * 2015-08-21 2017-02-23 株式会社リコー 通信システム、通信管理システム、通信管理方法、及びプログラム
US9769419B2 (en) 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
JP6551155B2 (ja) * 2015-10-28 2019-07-31 株式会社リコー 通信システム、通信装置、通信方法およびプログラム
GB201520509D0 (en) 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
US9681099B1 (en) * 2016-06-28 2017-06-13 Facebook, Inc. Multiplex live group communication
CN106251334B (zh) * 2016-07-18 2019-03-01 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
JP2018014553A (ja) * 2016-07-19 2018-01-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system
US9942513B1 (en) 2016-10-31 2018-04-10 Cisco Technology, Inc. Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
TWI628953B (zh) * 2017-08-03 2018-07-01 鴻海精密工業股份有限公司 電子設備及視訊框排列方法
WO2019104629A1 (zh) * 2017-11-30 2019-06-06 华为技术有限公司 一种导播控制方法及装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365789A (en) * 1986-09-05 1988-03-24 Fujitsu Ltd Picture display method for video conference
JPH06351013A (ja) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 電子会議システム
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
WO2002045426A1 (en) * 1999-06-03 2002-06-06 Ginganet Corporation Video terminal, video terminal communicating system, and videoconference system
JP2003018580A (ja) * 2001-06-29 2003-01-17 Matsushita Electric Ind Co Ltd コンテンツ配信システムおよび配信方法
US6912178B2 (en) 2002-04-15 2005-06-28 Polycom, Inc. System and method for computing a location of an acoustic source
JP2003339034A (ja) * 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
US7454707B2 (en) * 2002-09-30 2008-11-18 Canon Kabushiki Kaisha Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
JP2004208051A (ja) 2002-12-25 2004-07-22 Sony Corp 多地点間コミニュケーションシステム,端末装置,多地点間コミニュケーション方法
KR100871527B1 (ko) * 2003-02-19 2008-12-05 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 재생방법
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7558433B1 (en) * 2003-12-30 2009-07-07 Adobe Systems Incorporated Healing by texture synthesis in differential space
NO320115B1 (no) * 2004-02-13 2005-10-24 Tandberg Telecom As Anordning og fremgangsmate for a generere CP-bilder.
JP2006109109A (ja) * 2004-10-05 2006-04-20 Toshiba Corp メタデータの構造及びメタデータの処理方法
JP2006113632A (ja) * 2004-10-12 2006-04-27 Toshiba Corp メタデータのデータ構造及びメタデータの再生装置とその方法
JP2006270172A (ja) * 2005-03-22 2006-10-05 Fuji Xerox Co Ltd 管理システム及び表示制御方法
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
JP4882288B2 (ja) * 2005-06-20 2012-02-22 富士ゼロックス株式会社 表示制御装置、システム及び表示制御方法
US8145656B2 (en) * 2006-02-07 2012-03-27 Mobixell Networks Ltd. Matching of modified visual and audio media
US7800642B2 (en) * 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
JP2008113164A (ja) * 2006-10-30 2008-05-15 Yamaha Corp 通信装置
WO2008115070A1 (en) * 2007-03-16 2008-09-25 Tandberg Telecom As System and arrangement for realistic video communication
JP2009021922A (ja) * 2007-07-13 2009-01-29 Yamaha Corp テレビ会議装置
CN101874242A (zh) * 2007-10-12 2010-10-27 宝利通公司 用于具有临场感的视频会议的集成系统
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8248454B2 (en) * 2007-11-14 2012-08-21 Hewlett-Packard Development Company, L.P. Video display calibration system and method
CA2644813A1 (en) * 2007-11-26 2009-05-26 Haivision Systems Inc. Method and system for the establishment of complex network telepresence conference
JP2009239762A (ja) 2008-03-28 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> テレビ会議システム、テレビ会議方法
US8380008B2 (en) * 2008-05-02 2013-02-19 Apple Inc. Automatic image cropping
CN100571368C (zh) * 2008-08-21 2009-12-16 华为技术有限公司 一种多画面控制显示的方法和装置
JP2010074668A (ja) * 2008-09-19 2010-04-02 Panasonic Corp 会議端末装置およびサーバ装置
US8355040B2 (en) * 2008-10-16 2013-01-15 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
NO329739B1 (no) * 2008-12-23 2010-12-13 Tandberg Telecom As Fremgangsmate, anordning og dataprogram for a prosessere bilder i en konferanse mellom et flertall av videokonferanseterminaler
JP2010157906A (ja) 2008-12-26 2010-07-15 Canon Inc 映像表示装置
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
US8643695B2 (en) * 2009-03-04 2014-02-04 Lifesize Communications, Inc. Videoconferencing endpoint extension
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
US8543946B2 (en) * 2009-06-29 2013-09-24 Sharp Laboratories Of America, Inc. Gesture-based interface system and method
US8407287B2 (en) * 2009-07-14 2013-03-26 Radvision Ltd. Systems, methods, and media for identifying and associating user devices with media cues
US8782700B2 (en) * 2010-04-26 2014-07-15 International Business Machines Corporation Controlling one or more attributes of a secondary video stream for display in combination with a primary video stream
US8327253B2 (en) * 2010-11-09 2012-12-04 Shutterfly, Inc. System and method for creating photo books using video
US8537195B2 (en) * 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system

Also Published As

Publication number Publication date
CN102638672A (zh) 2012-08-15
CN106878658A (zh) 2017-06-20
JP2014161029A (ja) 2014-09-04
AU2012200314B2 (en) 2014-07-03
CN102638672B (zh) 2017-03-01
US9462227B2 (en) 2016-10-04
EP2487903A3 (en) 2015-02-18
US8537195B2 (en) 2013-09-17
AU2012200314A1 (en) 2012-08-23
JP2012170069A (ja) 2012-09-06
EP2487903A2 (en) 2012-08-15
US20120200658A1 (en) 2012-08-09
US20130328998A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
US8633962B2 (en) Video decoder which processes multiple video streams
US8659637B2 (en) System and method for providing three dimensional video conferencing in a network environment
EP1683356B1 (en) Distributed real-time media composer
EP2348671B1 (en) Conference terminal, conference server, conference system and method for data processing
US8760485B2 (en) System and method for displaying participants in a videoconference between locations
JP2012213214A (ja) マルチポイント・ビデオ会議における空間相関オーディオ
US7475112B2 (en) Method and system for presenting a video conference using a three-dimensional object
US8233026B2 (en) Scalable video encoding in a multi-view camera system
US20090207233A1 (en) Method and system for videoconference configuration
US9071883B2 (en) System and method for improved view layout management in scalable video and audio communication systems
US8300078B2 (en) Computer-processor based interface for telepresence system, method and computer program product
US6288740B1 (en) Method and apparatus for continuous presence conferencing with voice-activated quadrant selection
US8477175B2 (en) System and method for providing three dimensional imaging in a network environment
US9065973B2 (en) System and method for displaying a videoconference
US5990931A (en) Automatic display update of still frame images for videoconferencing
US7990410B2 (en) Status and control icons on a continuous presence display in a videoconferencing system
US8264519B2 (en) Telepresence system, method and computer program product
Gibbs et al. TELEPORT–Towards immersive copresence
US20070070177A1 (en) Visual and aural perspective management for enhanced interactive video telepresence
US8896655B2 (en) System and method for providing depth adaptive video conferencing
KR101224097B1 (ko) 다자간 회의의 제어 방법 및 장치
US9204099B2 (en) Videoconferencing system providing virtual physical context
US7707247B2 (en) System and method for displaying users in a visual conference between locations
US9774896B2 (en) Network synchronized camera settings
AU2011258272B2 (en) Systems and methods for scalable video communication using multiple cameras and multiple monitors

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130430

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140320

R150 Certificate of patent or registration of utility model

Ref document number: 5508450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees