JP4384170B2 - マルチ画面を実現する方法 - Google Patents

Description

発明の詳細な説明

［発明の技術分野］
本発明は、マルチメディアテレビ会議技術に関し、より詳細には、マルチ画面を実現する方法に関する。

［発明の背景］
通常、テレビ会議は複数の参加者に関係するものである。従来、参加者はテレビ会議において他の参加者のうちの１人の画面しか見ることができなかった。これはマルチ画面技術が利用可能でなかったためであり、テレビ会議の直感性をある程度低下させ、テレビ会議の何れの参加者にも他のすべての参加者との通信が対面的でないという印象を与えてきた。従って、テレビ会議のパフォーマンスを向上させ、ユーザの要求を満足させるため、ディスプレイ画面上への複数の参加者の画面表示を可能にするマルチ画面技術を実現することが極めて重要となる。

従来技術によると、マルチ画面送信手段は、通常は以下の２つの方法の何れかを含むものである。

方法１：まず、マルチポイントコントロールユニット（ＭＣＵ）が、復号された画面の対応する複数のチャネルを取得するため、各端末から映像ビットストリームを復号する。続いて、復号された画面が適切なサイズにスケーリングされ、合成される。次に、合成された画面が符号化され、得られたビットストリームが端末に送信される。最後に、端末はこの合成された画面ビットストリームを復号し、復号した画面がマルチ画面となる。

方法２：ＭＣＵは、Ｈ．２６３規格により提唱されたマルチ画面手段であるＣＰＭ（Ｃｏｎｔｉｎｕｏｕｓ Ｐｒｅｓｅｎｃｅ Ｍｕｌｔｉｐｏｉｎｔ ａｎｄ Ｖｉｄｅｏ Ｍｕｌｔｉｐｌｅｘ）に基づき、映像ビットストリームの複数のチャネルの多重化送信を実行する。この方法では、マルチ画面合成に係る各端末により符号化される各サブビットストリームには、サブビットストリーム間の区別をするのに用いられる「ＳＢＩ（Ｓｕｂ−Ｂｉｔｓｔｒｅａｍ Ｉｎｄｉｃａｔｏｒ）」として略記される一意的な標識が割り当てられ、当該サブビットストリームのＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｂｌｏｃｋ）のヘッダ又は画面ヘッダに挿入される。

第２の方法では、ＭＣＵは映像サブビットストリームを復号せず、その代わりに、マルチチャネル合成ビットストリームを生成するため、ＧＯＢ又はフレーム単位でサブビットストリームを合成する。マルチチャネル合成ビットストリームを受信すると、端末はＧＯＢヘッダ又は画面ヘッダのＳＢＩに従って、当該合成ビットストリームのサブビットストリームの各チャネル間の区別をし、その後に最終的には、サブビットストリームから復号された画面を合成して表示し、これにより、マルチ画面を取得することができる。

しかしながら、上記従来技術による方法は、以下のような多くの問題点を有する。

すなわち、第１の方法は複数のサブ画面の組み合わせを実現可能であるが、それは大変コストがかかり、ＭＣＵサイドの処理能力やメモリなどのリソースをかなり消費する。第２の方法はそれよりはコストはかからないが、ＳＢＩがＨ．２６３において規定されるように、２ビットからしか構成されていないため、バイナリアルゴリズムに対しては４つの値しか表現することができない。従って、第２の方法は、高々４つのチャネルのビットストリームの組み合わせ、すなわち、４つのサブ画面の組み合わせしかサポートすることができない。

［発明の概要］
本発明は、従来技術における低コストによる５以上のチャネルによるマルチ画面を実現する課題を解消するため、マルチ画面を実現する方法を提供する。

上記問題点を解消するため、本発明は、以下のような技術的提案を提供する。

マルチ画面を実現する方法は、
マルチポイントコントロールユニットにおいて、各端末のマルチ画面情報を含む標識を生成し、該標識を各端末に送信するステップＡと、
各端末において、前記標識を受信し、前記標識の情報に応じてソース画面を符号化し、該標識をサブビットストリームに挿入し、該サブビットストリームを前記マルチポイントコントロールユニットに送信するステップＢと、
前記各端末から前記サブビットストリームを受信すると、前記マルチポイントコントロールユニットにおいて、前記サブビットストリームを合成ビットストリームに合成し、該合成ビットストリームをディスプレイ端末に送信するステップＣと、
前記ディスプレイ端末において、前記合成ビットストリームを受信し、該合成ビットストリームから前記サブビットストリームを抽出し、該サブビットストリームの標識に応じて該サブビットストリームを復号し、復号したサブ画面をマルチ画面出力に合成するステップＤと、
から構成される。

ここで、前記標識は、マルチ画面モードの情報と、サブ画面の位置、サイズ及びフォーマットとを含む拡張されたサブビットストリーム標識（ＥＳＢＩ）を表す。

より詳細には、前記ステップＢにおけるＥＳＢＩのサブビットストリームへの挿入は、前記マルチポイントコントロールユニットがフレーム単位で前記サブビットストリームを合成するとき、前記ＥＳＢＩは前記サブビットストリームの画面ヘッダに挿入され、前記マルチポイントコントロールユニットがＧＯＢ単位で前記サブビットストリームを合成するとき、前記ＥＳＢＩは前記サブビットストリームの画面ヘッダとＧＯＢヘッダの両方に挿入され、前記マルチポイントコントロールユニットがスライス単位で前記サブビットストリームを合成するとき、前記ＥＳＢＩは前記サブビットストリームの画面ヘッダとスライスヘッダの両方に挿入されることを表す。

より詳細には、前記ステップＢにおける前記標識の情報に従う前記ソース画面の符号化は、前記標識に含まれるサブ画面のサイズ及びフォーマットに応じて前記ソース画面が符号化されることを表す。

より詳細には、前記ステップＣにおける合成ビットストリームへの合成は、フレーム、ＧＯＢ又はスライス単位で前記合成ビットストリームに合成されることを表す。

より詳細には、前記ステップＤにおける合成ビットストリームからの各サブビットストリームの抽出は、フレーム、ＧＯＢ又はスライス単位で前記合成ビットストリームからサブビットストリームを抽出することを表す。

より詳細には、前記ステップＤにおける各サブビットストリームの標識への依存は、前記マルチポイントコントロールユニットがフレーム単位で前記サブビットストリームを合成すると、前記ユニットは、前記サブビットストリームの画面ヘッダの標識に応じて動作し、前記マルチポイントコントロールユニットがＧＯＢ単位で前記サブビットストリームを合成すると、前記ユニットは、前記サブビットストリームのＧＯＢヘッダと画面ヘッダの標識に応じて動作し、前記マルチポイントコントロールユニットがスライス単位で前記サブビットストリームを合成すると、前記ユニットは、前記サブビットストリームの画面ヘッダとスライスヘッダの標識に応じて動作することを表す。

本発明では、Ｈ．２６３に提案されるＣＰＭ／ＳＢＩシンタックスを拡張することにより、マルチ画面情報標識が、より多くの情報を搬送できるように延長される。これにより、ＭＣＵは、映像ビットストリームの復号化又は再符号化をすることなく、可能な限り多くのサブ画面ビットストリームの送信及び合成表示を実現することが可能となり、サブ画面の復号化及び合成は、端末において完全に実行される。本発明の効果は、一方ではコストを低減しながら、他方ではマルチ画面の送信及び合成能力を大きく向上させることができ、これにより、可能な限り多数のサブ画面の送信及び合成を実現可能にするということである。

［実施例の詳細な説明］
図１に示されるように、本発明の実施例によるシステムは、現在広く利用されているＨ．３２０及びＨ．３２３ベースのテレビ会議システムである。当該テレビ会議システムは、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの送信ネットワークを介し接続される６つの端末、１つのＭＣＵ及び１つのディスプレイ端末から構成される。このテレビ会議システムは、ＭＣＵを介し６つの端末からのサブ画面を送信し、ディスプレイ端末上に合成されたマルチ画面を出力することが求められている。

本実施例のテレビ会議システムに用いられる製品は、図２Ａ〜２Ｄに示されるように、４つのマルチ画面モードをサポートしている。ここで、各サブ画面の左上の数字は、サブ画面のサブ画面番号であり、現在のテレビ会議システムに利用されているマルチ画面モードは、図２Ｄに示されるように６画面モードである。

図３に示されるように、本発明の実施例による拡張されたＣＰＭシンタックスに基づくマルチ画面を実現する方法は、以下のステップを有する。

まず、ＭＣＵが、各端末に対するサブ画面の位置、サイズ及びフォーマットと、マルチ画面モードの情報を含むＥＳＢＩを生成し、これを各端末に送信する。

マルチ画面テレビ会議の開始前、ＥＳＢＩの具体的内容が決定されなければならない。本製品は４つのマルチ画面モードしかサポートしていないため、マルチ画面モードを表すため、ＥＳＢＩのビットフィールドにおいて２ビットを設けることができる。最大となるサブ画面数は、２進システムの「１０１」により表される５となることから、サブ画面数を表すために、ＥＳＢＩのビットフィールドの３ビットを設けることが可能である。３ビットにより表現できる最大のサブ画面数は７である。

従って、ＥＳＢＩのビットフィールドは、トータルで５ビット長を有する。図４において、本実施例のＥＳＢＩのビットフィールドのバイト分割が示される。

ここで、マルチ画面モードの２ビットは、以下のように指定することが可能である。

「００」は、２画面モードを表す。

「０１」は、３画面モードを表す。

「１０」は、４画面モードを表す。

「１１」は、６画面モードを表す。

サブ画面数に３ビットが用いられるケースは、さらに複雑となる。特定のサブ画面の表示位置、サイズ及びフォーマットを決定するため、３ビットがマルチ画面モードに関して利用される。現在のマルチ画面モードが６画面モードであるとき、すなわち、マルチ画面モードのビットフィールドが「１１」であって、マルチ画面が（３５２×２８８）の解像度のＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）であるとき、サブ画面番のビットフィールドは以下のように定義される。

「０００」は、サブ画面の表示位置が（０，０）であって、サブ画面のフォーマットが（ＣＩＦ，１２０×９６）であることを示す。

「００１」は、サブ画面の表示位置が（１２０，０）であって、サブ画面のフォーマットが（ＣＩＦ，１１２×９６）であることを示す。

「０１０」は、サブ画面の表示位置が（２３２，０）であって、サブ画面のフォーマットが（ＣＩＦ，１２０×９６）であることを示す。

「０１１」は、サブ画面の表示位置が（０，９６）であって、サブ画面のフォーマットが（ＣＩＦ，１２０×９６）であることを示す。

「１００」は、サブ画面の表示位置が（１２０，９６）であって、サブ画面のフォーマットが（ＣＩＦ，２３２×１９２）であることを示す。

「１０１」は、サブ画面の表示位置が（０，１９２）であって、サブ画面のフォーマットが（ＣＩＦ，１２０×９６）であることを示す。

「１１０」及び「１１１」は、Ｎｕｌｌを示す。

ＭＣＵは、上記５ビット長ＥＳＢＩを各端末に送信する。これらのＥＳＢＩは一意なものであって、各端末により取得されるＥＳＢＩは、端末１が「１１，０００」、端末２が「１１，００１」、端末３が「１１，０１０」、端末４が「１１，０１１」、端末５が「１１，１００」、端末６が「１１，１０１」となる。

第２に、各端末はＥＳＢＩを受取、ＥＳＢＩに含まれるサブ画面のサイズ及びフォーマットの情報に応じて、それのソース画面を復号化し、ＥＳＢＩをサブビットストリームに挿入してＭＣＵに送信する。

例えば端末１については、ＥＳＢＩ「１１，０００」を受信すると、端末１は、それのソース画面を１２０×９６画素の画面にスケーリングし、ＥＳＢＩに含まれるサブ画面（ＣＩＦ，１２０×９６）のサイズ及びフォーマットに応じて、スケーリングされた画面をサブビットストリーム１に符号化し、ＭＣＵがＧＯＢ単位でサブビットストリームを合成すると仮定すると、ＥＳＢＩをサブビットストリーム１のＧＯＢヘッダ及び画面ヘッダに挿入する。

他の端末についても、端末１と同様である。

第３に、各端末からサブビットストリームを受信すると、ＭＣＵは、サブビットストリームを合成ビットストリームに合成し、ディスプレイ端末に送信する。

６つの端末からサブビットストリーム１〜６を受信すると、ＭＣＵはサブビットストリームを復号する必要はなく、その代わりに、サブビットストリームをＧＯＢ単位で合成ビットストリームに合成して、ディスプレイ端末に送信する。

第４に、ディスプレイ端末は、合成ビットストリームを受信し、当該ビットストリームから各サブビットストリームを抽出し、この各サブビットストリームのＥＳＢＩに応じたサブ画面の位置及びフォーマットと現在のマルチ画面モードを取得し、サブビットストリームを復号し、復号した複数のサブ画面を求められるマルチ画面出力に合成する。

合成ビットストリームを受信すると、ディスプレイ端末は、ＧＯＢ単位で各サブビットストリームを抽出し、各サブビットストリームのＥＳＢＩを構文解析する。例えばサブビットストリーム１については、サブビットストリーム１からＥＳＢＩ「１１，０００」が抽出され、これにより、現在マルチ画面モードが６画面モードであり、サブビットストリーム１に対応するサブ画面０について、その位置が（０，０）であって、そのフォーマットが（ＣＩＦ，１２０×９６）であることが取得される。

ディスプレイ端末は、サブビットストリーム１〜６の復号化を継続し、対応するサブ画面０〜５を取得し、復号したサブ画面を図２Ｄに示されるようなマルチ画面出力表示に合成する。

上記実施例において、５ビット長のＥＳＢＩとＥＳＢＩの各バイトの指定された意味は、単なる例示であって、本発明の保護範囲を限定するものと解釈されるべきではない。

本発明による方法はさらに、Ｈ．２６１、Ｈ．２６４及びＭＰＥＧ−４を含む他の規格にも適用可能であり、本説明で与えられた実施例は、本発明の権利範囲を限定するものとして解釈されるべきではない。

図１は、本発明の実施例によるシステム構成の概略図である。 図２Ａは、本発明の実施例による端末表示の２画面モードの概略図である。 図２Ｂは、本発明の実施例による端末表示の３画面モードの概略図である。 図２Ｃは、本発明の実施例による端末表示の４画面モードの概略図である。 図２Ｄは、本発明の実施例による端末表示の６画面モードの概略図である。 図３は、本発明の実施例による方法のフローチャートである。 図４は、本発明の実施例によるＥＳＢＩのビットフィールドのバイト分割の概略図である。

Claims (8)

1. マルチ画面を実現する方法であって、
   マルチポイントコントロールユニットにおいて、各端末のマルチ画面情報を含むマルチ画面情報標識を生成し、該マルチ画面情報標識を各端末に送信するステップＡと、
   各端末において、前記マルチ画面情報標識を受信し、前記マルチ画面情報標識に含まれるマルチ画面情報に応じてソース画面を符号化し、該マルチ画面情報標識をサブビットストリームに挿入し、該サブビットストリームを前記マルチポイントコントロールユニットに送信するステップＢと、
   前記各端末から前記サブビットストリームを受信すると、前記マルチポイントコントロールユニットにおいて、前記サブビットストリームを合成ビットストリームに合成し、該合成ビットストリームをディスプレイ端末に送信するステップＣと、
   前記ディスプレイ端末において、前記合成ビットストリームを受信し、該合成ビットストリームから前記サブビットストリームを抽出し、該サブビットストリームのマルチ画面情報標識に含まれるマルチ画面情報に応じて該サブビットストリームを復号し、復号したサブ画面をマルチ画面出力に合成するステップＤと、
   を有し、
   前記マルチ画面情報は、前記復号されたサブ画面の合成を実現するため、前記ソース画面を符号化し、前記サブビットストリームを復号化するため前記各端末に使用される情報であることを特徴とする方法。
2. 請求項１記載の方法であって、
   前記マルチ画面情報標識は、ＥＳＢＩ（Ｅｘｔｅｎｄｅｄ Ｓｕｂ−Ｂｉｔｓｔｒｅａｍ Ｉｎｄｉｃａｔｏｒ）に関し、
   前記マルチ画面情報は、マルチ画面モードの情報と、各サブ画面の表示位置、サイズ及びフォーマットとの情報とを含むことを特徴とする方法。
3. 請求項２記載の方法であって、
   前記ＥＳＢＩは、２ビットより大きいことを特徴とする方法。
4. 請求項１記載の方法であって、
   前記ステップＢにおける前記マルチ画面情報標識に含まれるマルチ画面情報に従う前記ソース画面の符号化は、前記マルチ画面情報標識に含まれるサブ画面のサイズ及びフォーマットに応じた前記ソース画面の符号化を具体的に表すことを特徴とする方法。
5. 請求項１記載の方法であって、
   前記ステップＢにおけるＥＳＢＩのサブビットストリームへの挿入は、より具体的には、
   前記マルチポイントコントロールユニットがフレーム単位で前記サブビットストリームを合成するとき、前記ＥＳＢＩは前記サブビットストリームの画面ヘッダに挿入され、
   前記マルチポイントコントロールユニットがＧＯＢ単位で前記サブビットストリームを合成するとき、前記ＥＳＢＩは前記サブビットストリームの画面ヘッダとＧＯＢヘッダの両方に挿入され、
   前記マルチポイントコントロールユニットがスライス単位で前記サブビットストリームを合成するとき、前記ＥＳＢＩは前記サブビットストリームの画面ヘッダとスライスヘッダの両方に挿入される、
   ことを表すことを特徴とする方法。
6. 請求項１記載の方法であって、
   前記ステップＣにおける合成ビットストリームへの合成は、より具体的には、フレーム、ＧＯＢ又はスライス単位で前記合成ビットストリームに合成されることを表すことを特徴とする方法。
7. 請求項１記載の方法であって、
   前記ステップＤにおける合成ビットストリームからの各サブビットストリームの抽出は、フレーム、ＧＯＢ又はスライス単位で前記合成ビットストリームからサブビットストリームを抽出することを表すことを特徴とする方法。
8. 請求項１記載のＣＰＭシンタックスに基づく方法であって、
   前記ステップＤにおける各サブビットストリームの標識への依存は、より具体的には、
   前記マルチポイントコントロールユニットがフレーム単位で前記サブビットストリームを合成すると、前記ユニットは、前記サブビットストリームの画面ヘッダの標識に応じて動作し、
   前記マルチポイントコントロールユニットがＧＯＢ単位で前記サブビットストリームを合成すると、前記ユニットは、前記サブビットストリームのＧＯＢヘッダと画面ヘッダの標識に応じて動作し、
   前記マルチポイントコントロールユニットがスライス単位で前記サブビットストリームを合成すると、前記ユニットは、前記サブビットストリームの画面ヘッダとスライスヘッダの標識に応じて動作する、
   ことを表すことを特徴とする方法。

Images