JP4602632B2

JP4602632B2 - ビデオ会議の方法とシステム

Info

Publication number: JP4602632B2
Application number: JP2001581534A
Authority: JP
Inventors: ラウパー，エリック; ヘルマン，ビート
Original assignee: スイスコムモービルアーゲー
Priority date: 2000-04-28
Filing date: 2000-04-28
Publication date: 2010-12-22
Anticipated expiration: 2020-04-28
Also published as: AU3953300A; EP1201082B1; AU772400B2; DE50003567D1; US6717607B1; MXPA02002131A; BR0013612A; CN1192618C; DK1201082T3; CN1379953A; EP1201082A1; WO2001084838A1; ATE249125T1; ES2206213T3; JP2003533098A

Description

【０００１】
本発明は、互いに通信する少なくとも３つの別個のビデオ会議加入者ステーションを有し、少なくとも加入者画像データおよび／または加入者音声データを含むマルチメディアデータが通信ネットワークを介して伝送され、かつ各加入者は例えばディスプレイまたはＶＲＤ（仮想網枠ディスプレイ）のような再生装置に同時に視認可能であるようにアレンジされて表示された別の加入者の加入者画像データを受像するビデオ会議方法とシステムとに関する。本発明は特に、少なくとも一部が移動無線通信網からなる通信ネットワークを介して通信する方法とシステムに関する。
【０００２】
ビデオ装置およびテレビ装置を介してビデオ画像を迅速に伝送し、受信し、表示することは公知である。充分に良好なカラー画質およびグレースケール画質の場合、画像の解像度は通常は少なくとも１０ｘ６ｐｐｉ（インチ当たりの画素）である。画像情報全体を伝送するには数メガヘルツもの伝送チャネル最小帯域幅が条件となる。しかし、このようなシステムのコストは、営業用および個人用に使用するためのビデオ会議システムのような用途の場合はずっと高い。ビデオ画像を伝送するために例えば公衆通信ネットワークのような帯域幅がより狭い媒体を使用することは公知である。しかし、このような媒体の伝送速度は相応に低い。「低速スキャン」ビデオシステムのような特殊な用途には、このような限定された帯域幅でも実際には充分である。その例としては高い画像繰り返し速度もしくは高い解像度を必要としない安全システム、および監視システムがある。このようなシステムは一般的には画像全体の解像度は１２８ｘ１２８画素であり、わずか１６階調のカラーグラデーションもしくはグレースケールが用いられる。しかし、ビデオ会議では一般的であるような、例えば６４０ｘ４８０画素（欧州規格：６２０ｘ５７６画素、８ビットの色の深み）および６４段階の色の深みを有するより高い画質のビデオ画像はこのシステムでは伝送できない。通常のビデオ画像はグレースケール画像の場合約２００万ビットの、すなわち約２５０キロバイトの情報を必要とする。カラ画像ではデータ量は７５０キロバイトにまで増大する。公衆交換電話ネットワーク（ＰＳＴＮ：公衆交換電話網）のデータ伝送速度は今日では標準的には、アナログ領域では１回線当たり５７’０００ｂｐｓ（ビット／秒）（これはディジタル・データの場合はボーに相当する）であり、ＩＳＤＮの場合は６４’０００ｂｐｓであるので、充分に高い画質の完全なビデオ画像を転送するためには約３０秒ないし９０秒を要する。それはほとんどのビデオ会議の用途には極めて遅すぎる。このような理由から、転送時間を短縮するには、様々なデータ圧縮アルゴリズムによって未処理のディジタル・ビデオデータが圧縮される。しかし、圧縮率が１／２０ないし１／５０である極めて優れた圧縮および解凍アルゴリズムでも、ビデオ会議の用途には不充分である場合が多い。その上、通常の場合、圧縮と解凍には時間がかかり、相当の電力と演算処理出力を要する。例えば移動通信領域では、まさに後者の要因も決定的に重要になることがある。その際に考慮されるべきは、移動通信領域ではＰＳＴＮネットワークの場合とは異なり、最大の伝送速度を可能にする接続性能は必ずしも得られないことである。更に、可能な最高伝送速度よりも低い場合は、それに応じて伝送時間も増加する。更にデータ圧縮するため、撮影された画像の特定の部分だけをより高い解像度で伝送し、その他の全ての画像部分をより低い解像度で伝送することを提案した多くの文献が先行技術にはある。米国特許明細書第５７０３６３７号および米国特許明細書第４５１３３１７号は、アイトラッキング・システムを採用して眼球または網膜の動きを記録し、より高い解像度で画像の小部分だけを表示するためにこの情報を利用する例である。これらのシステムは網膜の小部分（窩と呼ばれる）の解像度だけが高く、一方、その他の大部分の解像度は低いという人間の眼の特性を利用している。しかし、この先行技術には多くの欠点があり、特に、画像を表示できるためには全ての加入者が同じビデオ規格を採用しなければならないという欠点がある。しかしながら、ビデオ会議システムはビデオ規格には左右されないことが望ましい。更に、解像度が高い窩の視角は僅か２°である。このことは脳によって、眼の自然ではあるが不可避の絶え間ないスキャン運動によって補償される。その結果、視線方向と高解像度の画像部分がいかに良好に一致しても、ユーザには視線の中心の画像部分の鮮鋭度は低く、画像がぼやけて見える。現在の技術水準では、このような欠点を補償することは仮に可能であったとしても高いコストがかかる。
【０００３】
本発明の目的は、上記の欠点がないビデオ会議用の新規の方法とシステムを提供することにある。特にビデオ会議の加入者画像データをより高い圧縮度で転送できるようにする必要がある。
【０００４】
本発明によって、上記の目的は特に独立クレームの要素によって達成される。その他の有利な実施形態は特に従属クレームおよび発明の説明によって明らかにされる。
【０００５】
上記の目的は本発明によって特に、少なくとも３人の加入者がビデオ会議システムのビデオ会議加入者ステーションを介して互いに通信し、マルチメディアデータが少なくとも加入者画像データおよび／または加入者音声データを含む通信ネットワークを介して伝送され、各々の加入者が当該の前記ビデオ会議加入者ステーションの再生装置、例えばディスプレイで同時に視認できるようにアレンジして表示された別の加入者の加入者画像データを受像し、加入者の視線方向がそれぞれアイトラッキング・システムによって記録され、少なくとも視線方向の情報を含むアイトラッキング・データが当該の前記ビデオ会議加入者ステーションの通信ユニットに伝送されると共に、ビデオ会議加入者ステーションの前記再生装置に前記ビデオ会議加入者ステーションの加入者の瞬間的な視線方向で加入者画像データが表示される加入者の加入者画像データが、通信ネットワークを介して前記ビデオ会議加入者ステーションの前記通信ユニットに最高の解像度と画像伝送速度でそれぞれ転送され、一方、残りの加入者の加入者画像データは低減された解像度および／または低減された画像伝送速度で転送されることによって達成される。本発明の利点は、先行技術のようにサブフレームへの複雑な分割を行わずに加入者の加入者画像データが低減された解像度、または最高の解像度で転送されるので、加入者画像データの縮小、すなわち圧縮は採用されるビデオ規格に左右されないことにある。それによって、例えばビデオ会議ステーションの個々のビデオ画像が保たれる。この方法が簡単であることで、演算処理出力の消費も最小限に抑えられ、これは電力の蓄積に制約がある移動無線機器では特に重要である。本発明の場合は通常、スキャン運動は認識されるオブジェクトに関連するので、（例えば米国特許明細書第４５１３３１７号のように）窩のスキャン運動を補整しなければならないという先行技術の欠点はなくなる。周囲が鮮明ではなく、中心点が鮮明であるという印象はなくなる。例えばビデオ会議の加入者のような完全に論理的なオブジェクトは鮮明に視認される。視線が次の論理的なユニット、すなわち別の加入者の加入者画像データに移行すると、これも完全に鮮明に認識される。
【０００６】
一実施形態では、加入者の瞬間的な視線方向で表示されない加入者画像データの画像伝送速度はゼロに等しく設定される。この実施形態の利点は、ネットワークの負荷を最小限に抑えられることにある。同時に、例えば加入者画像データを解凍するために用いられる必要な演算処理出力は最小限になる。
【０００７】
別の実施形態では、アイトラッキング・データ並びに加入者画像データが中央処理ユニットに転送され、各加入者用の中央処理ユニットは当該の加入者のアイトラッキング・データの情報に基づいて、他の加入者の加入者画像データの解像度および／または画像伝送速度を決定し、かつ加入者画像データをこの解像度および／または画像伝送速度で当該の前記加入者の通信ユニットに伝送する。この実施形態の利点は特に、加入者数が多い場合、ネットワークの負荷が少なくて済むことにある。加入者画像データを中央処理ユニットで縮小することによって、例えば個々のビデオ会議加入者ステーションの演算処理出力も別の方法と比較して少なくて済む。
【０００８】
別の実施形態では、加入者画像データが中央処理ユニットに転送され、中央処理ユニットのデータメモリに記憶され（データの記憶もしくはバッファへの格納は例えばデータバッファ、データストリーム、データバンクを介して、またはその他の方法で実施できる）、加入者の通信ユニットは当該加入者のアイトラッキング・データの情報に基づいて、他の加入者の加入者画像データの解像度および／または画像伝送速度を決定し、かつこの加入者画像データは中央処理ユニットから前記の解像度および／または画像伝送速度で当該の加入者の通信ユニットに転送される。この実施形態には前述の実施形態と同じ利点があるが、通信ユニットはこれによって決定された解像度および画像伝送速度で加入者画像データに直接アクセスするので、表示されるべき個々の加入者のビデオ画像の演算処理のために中央処理ユニットの演算処理出力は必要条件ではない。アイトラッキング・データをネットワークを介して転送する必要がないことが別の利点である。
【０００９】
一実施形態では、加入者の加入者画像データが前記加入者の通信ユニットのデータメモリにそれぞれ記憶され、通信ユニットがこの加入者のアイトラッキング・データの情報に基づいて他の加入者の加入者画像データの解像度および／または画像伝送速度を決定し、前記の加入者画像データが他の加入者の通信ユニットから前記の解像度および／または画像伝送速度で当該の加入者の通信ユニットに転送される。この実施形態の利点は特に、中央処理ユニットがなくても済むことにある。通信ネットワークの加入者は、ビデオ会議加入者ステーション以外の別のユニットを必要とせずに通信ネットワークを介して直接接続できる。
【００１０】
別の実施形態では、少なくとも１つのビデオ会議加入者ステーションが移動無線通信ネットワークを介して通信ネットワークと接続される。通信ネットワークには例えばＬＡＮ（ローカルエリアネットワーク）、またはＷＡＮ（ワイドエリアネットワーク）のような固定通信網、公衆交換電話回線網（ＰＳＴＮ：パブリック・スイッチト・テレフォン・ネットワーク）および／またはＩＳＤＮ（総合サービスディジタル通信網）、インターネット、またはその他の通信ネットワーク、特に移動無線通信ネットワークを含めることができる。
【００１１】
別の実施形態では、通信ユニットは低減された解像度で転送された加入者画像データを表示するために、画像分析および画像形状解凍アルゴリズムを使用する。この実施形態の利点は、転送された画像の解像度が低減されるにも関わらず画像が形状解凍アルゴリズムの画像合成によって再生可能であり、転送された画像よりも高い解像度で表示されることが可能であることにある。
【００１２】
ここで、本発明は、本発明による方法の他に、この方法を実施するシステムにも関するものであることを確認しておく。
【００１３】
次に本発明のその他の実施形態を例に基づいて説明する。例については添付の第１図面によって説明する。
【００１４】
図１は本発明を実施するために利用できるアーキテクチャを示している。この実施例では少なくとも３つの別個のビデオ会議加入者ステーション１１が互いに通信し、マルチメディアデータが、少なくとも加入者画像データ２２および／または加入者音声データ２１を含む通信ネットワーク４０を介して伝送され、各々の加入者１０が当該のビデオ会議加入者ステーション１１の再生装置２４で同時に視認できるようにアレンジして表示された別の加入者の加入者画像データを受像する。再生装置２４は例えばディスプレイ、またはＶＲＤ（仮想網膜ディスプレイ）でよい。通信ネットワーク４０は例えば、ＬＡＮ（ローカルエリアネットワーク）、またはＷＡＮ（ワイドエリアネットワーク）のような固定通信網、公衆交換電話回線網（ＰＳＴＮ：パブリック・スイッチト・テレフォン・ネットワーク）および／またはＩＳＤＮ（総合サービスディジタル通信網）、インターネット、パッケット通信ネットワーク、またはその他の通信ネットワーク、特に移動無線通信ネットワークを含めることができる。移動無線通信ネットワークは例えばＧＳＭ、ＵＭＴＳ、またはその他の移動無線通信ネットワークでよい。移動無線通信ネットワーク４０を介した通信は例えばＧＰＲＳ（汎用パケット無線システム）、ＷＡＰ（ワイアレス・アプリケーション・プロトコル）、またはＵＭＴＳ（ユニバーサル移動電話システム）のようなプロトコルを介して行われる。加入者画像データの取り込みは画像データ入力モジュール２２を介して行われ、または加入者音声データの取り込みは音声データ入力モジュール２１を介して行われる。画像データ入力モジュール２２には例えばビデオカメラ、例えばＭＥＭＳ（マイクロエレクトロメカニック・システム）をベースにした走査ユニット、またはディジタルカメラを含めることができる。加入者画像データの例にはビデオ画像、テキスト、表、ディアス、グラフィックなどがある。音声データ入力モジュール２１には例えば１つ、または複数のマイクロフォン、ＣＤ−ＲＯＭプレーヤ、またはその他の音声入力装置を含めることができる。アイトラッキング・システム２３はそれぞれの加入者１０の視線を記録し、少なくとも視線方向の情報を含むアイトラッキング・データを当該の前記ビデオ会議加入者ステーション１１（すなわちそれぞれの加入者のビデオ会議加入者ステーション）の通信ユニット２０に伝送する。アイトラッキング・システム２３には例えば、眼底と角膜で反射する２つの平行な光線の反射率の差によって加入者１０の視線方向を判定するプルキンエ画像をベースにしたシステムを含めることができ、または例えばレーザ光線と比較光線とを介して眼底を走査して、加入者１０の視線方向を判定するレーザ・スキャナーをベースにしたシステムでもよく、または例えばＷＯ９４／０９４７２号に記載のアイトラッキング・システムのような加入者１０視線方向を判定するための他のシステムでもよい。加入者画像データと加入者音声データは通信ユニット２０から中央処理ユニット３０に転送される。転送は例えば圧縮、および／またはコード化して行うことができる。中央ユニット３０はデータを受信し、解凍および／またはデコードするコード化ユニット３１を有している。圧縮には、例えばホフマン・コーディング、３：２プルダウンなどのような先行技術の様々なアルゴリズム、または例えば国際標準化機構（ＩＳＯ）のＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）のような圧縮標準規格を使用することができる。中央処理ユニット３０から通信ユニット２０にデータを転送する際に、コード化モジュール３１は転送のためのデータの圧縮および／またはコード化をも行う。通信ユニット２０はデータの圧縮／解凍、並びにコード化／デコードをも行うコード化モジュール２６をも有している。例えば、画像データ入力モジュール２２のビデオカメラはアナログ・ビデオ信号を生成する。コード化スイッチ２７９は通信ユニット２０によって、データストリームが圧縮およびコード化システム２７１を介して送られるように調整される。入力プロセッサ２７３は例えば２５ｆｐｓ（フレーム／秒）のＰＡＬ信号、または２９．９７ｆｐｓのＮＴＳＣ信号を受信し、未処理のディジタル・ビデオ信号を生成するためにアナログ・ビデオ信号をディジタル化し、かつフィルタリングする。例えばディジタル画像データの取り込みの場合は、この手順は省かれる。ＰＡＬ信号の２５フレームは５０のフィールド、すなわち５０フィールド／秒に相当し、一方、ＮＴＳＣ信号の２９．９７フレームは５９．９４フィールド、すなわち５９．９４フィールド／秒に相当する。ビデオデータ・アナライザ２７４は例えばＶＳｙｎｃ信号、フィールド同期信号を伴うディジタル・ビデオ信号を入力プロゼンサ２７３から受像し、圧縮モジュール２７５のための修正されたビデオ信号を生成する。信号の修正はリアルタイムで行われ、後に最適に圧縮できる出力信号を生成する。ビデオデータ・アナライザ２７４は特に、例えばビデオ信号の冗長なフィールド、もしくはフレームを除去し、例えば動き補償予測、または例えばＭＰＥＧフォーマットでも採用されている離散的コサイン変換（ＤＣＴ）のために必要な情報を生成する。画像分析、および形状解凍アルゴリズムが用いられる場合は、これもビデオデータ・アナライザによって実施されることができる。それには特に、例えば特徴点モデリングのような顔面分析、および顔面合成技術が含まれる。その際に、できるだけ一般的な所定のモデル（例えば顔のモデル）からいわゆる特徴点が定義され、この特徴点のベクトルがモデルの形状、軌跡、モデルの動きを記述し、またこのベクトルのベクトル空間がモデルの動きの可能性を記述する。当初の一般的なモデルの変形は例えば、ＤＦＦＤ方式（ディリクレ自由形状変形）で演算可能である。顔面の合成、並びに顔のアニメーションは例えばＭＰＥＧ−４標準規格で実施することができる。ディジタル・ビデオデータの修正は最終的に圧縮モジュール２７５によって圧縮され、必要ならばコード化される。圧縮されたディジタル・ビデオ信号は通信ユニット２０から通信ネットワーク４０を介して転送される。通信ユニット２０のコード化モジュール２７は通信ネットワーク４０を介して通信ユニット２０に転送されたデータのデコード、および解凍にも利用できる。この場合はコード化スイッチ２７９は通信ユニット２０によって、解凍およびデコードシステム２７２の機能が起動するように設定される。デコート・モジュール２７６は通信ユニット２０からのビデオデータを受け、これを解凍して、必要ならばデコードする。形状解凍アルゴリズムが利用された場合は、出力プロセッサ２７７は画像合成を行い、表示されるビデオ画像の演算処理を行い、これをビデオ信号として例えばスクリーンカードのような再生モジュール２７８、または例えば特許明細書ＷＯ９４／０９４７２号に記載のＶＲＤ表示装置のようなＶＲＤ（仮想網膜ディスプレイ）に返信する。転送される加入者画像データのデータ転送は例えば、ソフトウェアまたはハードウェアで実施される中央処理ユニット３０または通信ユニット２０の転送モジュールに送られて実行される。加入者画像データおよび加入者音声データは中央処理ユニットのデータメモリ３２に記憶される。データのバッファ格納、もしくは記憶はデータストリーム、データバッファ、データバンクまたはその他の方法で行うことができる。最後に述べたビデオ会議加入者ステーション１１の再生装置２４に当該の加入者１０（すなわち、その視線がビデオ会議加入者ステーションのアイトラッキング・システムに記録された加入者１０）の瞬間的な視線方向で加入者画像データが表示される加入者の加入者画像データが、通信ネットワーク４０を介してビデオ会議加入者ステーション１１の通信ユニット２０に最高の解像度と画像伝送速度でそれぞれ転送され、一方、残りの加入者の加入者画像データは低減された解像度および／または低減された画像伝送速度で転送される。図１の実施例では、通信ユニット２０は加入者の加入者画像データを中央処理ユニット３０に転送し、そこで加入者画像データは前記中央処理ユニット３０のデータメモリ３２に記憶される。例えば、それぞれの通信ユニット２０のアイトラッキング・データを同時に転送することが可能である。アイトラッキング・データは例えば、視線方向の方向情報、視線方向で表示された加入者画像データの情報などでよい。この場合は、中央処理ユニット３０は各加入者１０ごとに当該加入者１０の視線方向に関するアイトラットング・データの情報に基づいて、他の加入者の加入者画像データの解像度および／または画像伝送速度を決定し、前記加入者画像データをこの解像度および／または画像伝送速度で当該加入者１０の通信ユニット２０に転送する。中央処理ユニット３０のコード化モジュール３１は加入者画像データの解像度の低減をも行う。マルチメディア・データの低減は必ずしも加入者画像データに限定されるものではなく、（例えばＭＰ３−規格を有する）例えば加入者音声データのような、視線方向で選択されたチャネルの他のマルチメディー・データにも関するものである。別の可能性としては、アイトラッキング・データが通信ユニット２０から中央処理ユニット３０に転送されるのではなく、単に加入者画像データデータだけが転送されてもよい。中央処理ユニット３０は最高の解像度と低減された解像度の加入者画像データをデータメモリ３２に記憶する。その場合は、通信ユニット２０はそのアイトラッキング・データに基づいて、中央処理ユニット３０内の対応する解像度および／または画像伝送速度で他の加入者１０の加入者画像データにアクセスすることができる。要求された加入者画像データは中央処理ユニット３０から通信ネットワーク４０を介して対応する通信ユニット２０に転送される。
【００１５】
図２は本発明を実施するために利用できるアーキテクチャを示している。この実施例では少なくとも３つの別個のビデオ会議加入者ステーション１１が互いに通信し、マルチメディアデータが、少なくとも加入者画像データ２２および／または加入者音声データ２１を含む通信ネットワーク４０を介して伝送され、各々の加入者１０が当該のビデオ会議加入者ステーション１１の再生装置２４で同時に視認できるようにアレンジして表示された別の加入者の加入者画像データを受像する。再生装置２４は例えばディスプレイ、またはＶＲＤ（仮想網膜ディスプレイ）でよい。前述の実施例と同様に、通信ネットワーク４０は例えば、ＬＡＮ（ローカルエリアネットワーク）、またはＷＡＮ（ワイドエリアネットワーク）のような固定通信網、公衆交換電話回線網（ＰＳＴＮ：パブリック・スイッチト・テレフォン・ネットワーク）および／またはＩＳＤＮ（総合サービスディジタル通信網）、インターネット、またはその他の通信ネットワーク、特に移動無線通信ネットワークを含めることができる。加入者画像データの取り込みは画像データ入力モジュール２２を介して行われ、または加入者音声データの取り込みは音声データ入力モジュール２１を介して行われる。画像データ入力モジュール２２には例えばビデオカメラ、走査ユニット、またはディジタルカメラを含めることができる。加入者画像データの例にはビデオ画像、走査された写真、表、テキスト、グラフィックなどがある。音声データ入力モジュール２１には例えば１つ、または複数のマイクロフォン、ＣＲ−ＲＯＭプレーヤ、またはその他の音声入力装置を含めることができる。アイトラッキング・システム２３はそれぞれの加入者１０の視線を記録し、少なくとも視線方向の情報を含むアイトラッキング・データを当該の前記ビデオ会議加入者ステーション１１の通信ユニット２０に転送する。例えば、前述の実施例で記載したようなアイトラッキング・システム２３を使用することができる。最後に述べたビデオ会議加入者ステーション１１の再生装置２４に当該の加入者１０（すなわち、その視線がビデオ会議加入者ステーションのアイトラッキング・システムに記録された加入者１０）の瞬間的な視線方向で加入者画像データが表示される加入者の加入者画像データが、通信ネットワーク４０を介してビデオ会議加入者ステーション１１の通信ユニット２０に最高の解像度と画像伝送速度でそれぞれ転送され、一方、残りの加入者の加入者画像データは低減された解像度および／または低減された画像伝送速度で転送される。マルチメディア・データの低減は必ずしも加入者画像データに限定されるものではなく、（例えばＭＰ３−規格を有する）例えば加入者音声データのような、視線方向で選択されたチャネルの他のマルチメディア・データにも関するものである。この実施例では、加入者画像データおよび加入者音声データは中央処理ユニット３０に転送されるのではなく、それぞれの通信ユニット２０のデータメモリ２６に記憶される。データのバッファ格納、もしくは記憶はデータストリーム、データバッファ、データバンクまたはその他の方法で行うことができる。通信ユニット２０は当該の加入者１０の視線方向に関するアイトラッキング・データに関する情報に基づいて、再生装置２４に表示される加入者画像データの解像度および／または画像伝送速度を決定し、別の加入者の通信ユニットにこれらの加入者画像データを要求する。要求された加入者画像データは別の加入者の通信ユニット２０から前記の解像度および／または画像伝送速度で当該の加入者１０の通信ユニットに転送される。この実施例は前述の実施例の場合と同様の機能性を有するコード化モジュール２７を有している。そのため、例えば圧縮／解凍、コード化／デコード、および／または前述のような形状解凍アルゴリズムによる画像合成がコード化モジュール２７内で実行される。更に、コード化モジュール２７は、必要な場合は例えばアナログ・ビデオデータのディジタル・ビデオデータへの変換、およびその逆の変換を行う。
【００１６】
双方の実施例とも、加入者１０の視線方向で再生装置２４に表示されない加入者画像データの画像伝送速度をゼロに等しく設定することができる。そこで加入者は再生装置２４で瞬間的に注視されている加入者画像データだけを動画表示で受像し、一方、その他の加入者画像データは例えば静止画像で表示される。静止画像には例えば、最後に加入者１０の瞬間的な視線方向で再生装置２４に表示された時に転送された加入者画像データを含めることができる。更に、例えば前記の画像データの代わりに何らかの別の画像データを、例えば加入者画像データの合成された簡単な複製を静止画像として表示することも可能である。（最高の解像度で転送されるだけではなく低減された解像度でも転送される）加入者画像データの表示の別の可能性としては、加入者画像データのオブジェクトの動き、すなわち加入者の口の動きを完全に合成して、すなわち形状解凍およびアニメーション・アルゴリズムとして表示することである。その場合は例えば、加入者の画像だけを転送し、その後で動きをシミュレートするだけで充分である。この実施形態では、例えば動き補償予測によって画像伝送速度を変更することも考えられる。したがって例えば、動きが比較的大きい場合は画像伝送速度を高め、完全にアニメ化された動きの画像部分が除去され、一方、動きが小さい場合には画像伝送速度を低くし、動きは加入者画像データ内に合成される。
【図面の簡単な説明】
【図１】通信ユニット２０がビデオ会議加入者ステーションから中央処理ユニット３０を介して加入者画像データおよび加入者音声データにアクセスする、ビデオ会議システムの実施形態を概略的に図示したブロック図である。
【図２】通信ユニット２０がビデオ会議加入者ステーションから別の通信ユニット２０のデータメモリ２６を介して加入者画像データおよび加入者音声データにアクセスする、ビデオ会議システムの別の実施形態を概略的に図示したブロック図である。
【図３】コード化モジュール２７が特に圧縮機能および解凍機能、並びにコード化機能およびデコード機能を含む、コード化モジュール２７の実施形態のステップを概略的に示したフローチャートである。

Claims

少なくとも３人の加入者がビデオ会議システムのビデオ会議加入者ステーション（１１）を介して互いに通信し、マルチメディア・データが少なくとも加入者画像データ（２２）及び／又は加入者音声データ（２１）を含む通信ネットワーク（４０）を介して伝送され、各々の加入者（１０）が当該の前記ビデオ会議加入者ステーション（１１）の再生装置（２４）の１つの画面上に同時に視認できるようにアレンジして表示された別の加入者の加入者画像データを受像するビデオ会議方法であって、
加入者（１０）の視線方向がそれぞれアイトラッキング・システム（２３）によって記録され、少なくとも視線方向の情報を含むアイトラッキング・データが当該の前記ビデオ会議加入者ステーション（１１）の通信ユニット（２０）に伝送されると共に、
その加入者画像データが、ビデオ会議加入者ステーション（１１）の加入者（１０）の瞬間的な視線方向において識別されるオブジェクトと関連すると共にビデオ会議加入者ステーション（１１）の再生装置（２４）に表示される当該加入者の加入者画像データが、通信ネットワーク（４０）を介して前記ビデオ会議加入者ステーション（１１）の前記通信ユニット（２０）に最高の解像度と画像伝送速度で転送され、一方、残りの加入者の加入者画像データは低減された解像度及び／又は低減された画像伝送速度で転送されることを特徴とするビデオ会議方法。
請求項１に記載の方法において、該アイトラッキング・システム（２３）は、眼底と角膜で反射する２つの平行な光線の反射率の差によって加入者（１０）の視線方向を判定するプルキンエ画像をベースにしたシステム、及びレーザ光線と比較光線とに基づいて眼底を走査して、加入者（１０）の視線方向を判定するレーザ・スキャナーをベースにしたシステムを含む方法。
請求項１又は２の何れか１項に記載の方法において、前記加入者（１０）の瞬間的な視線方向において識別されるべき該オブジェクトと関連しない加入者画像データの画像伝送速度はゼロに等しいことを特徴とする方法。
請求項１乃至３の何れか１項に記載の方法において、前記アイトラッキング・データ並びに前記加入者画像データが中央処理ユニット（３０）に転送され、各加入者（１０）用の前記中央処理ユニット（３０）は当該の前記加入者（１０）のアイトラッキング・データの情報に基づいて、他の加入者の加入者画像データの解像度及び／又は画像伝送速度を決定し、かつ前記加入者画像データを前記の解像度及び／又は画像伝送速度で当該の前記加入者（１０）の前記通信ユニット（２０）に伝送することを特徴とする方法。
請求項１乃至３の何れか１項に記載の方法において、前記加入者画像データが前記中央処理ユニット（３０）に伝送され、かつ該中央処理ユニット（３０）のデータメモリ（３２）に記憶され、加入者（１０）の前記通信ユニット（２０）が当該の前記加入者（１０）のアイトラッキング・データの情報に基づいて他の加入者の加入者画像データの解像度及び／又は画像伝送速度を決定すると共に、前記加入者画像データが前記中央処理装置（３０）から前記の解像度及び／又は画像伝送速度で当該の前記加入者（１０）の前記通信ユニット（２０）に転送されることを特徴とする方法。
請求項１乃至３の何れか１項に記載の方法において、加入者（１０）の前記加入者画像データは前記加入者（１０）の前記通信ユニット（２０）のデータメモリ（２６）に記憶され、かつ前記通信ユニット（２０）は前記加入者（１０）の前記アイトラッキング・データの情報に基づいて他の加入者の加入者画像データの前記解像度及び／又は画像伝送速度を決定し、該加入者画像データは前記他の加入者の前記通信ユニットから前記の解像度及び／又は画像伝送速度で当該の前記加入者（１０）の前記通信ユニット（２０）に転送されることを特徴とする方法。
請求項１乃至６の何れか１項に記載の方法において、少なくとも１つのビデオ会議加入者ステーション（１１）は移動無線通信網（４０）を介して前記通信ネットワーク（４０）に接続されることを特徴とする方法。
請求項１乃至７の何れか１項に記載の方法において、前記通信ユニット（２０）は、低減された解像度で転送された前記加入者画像データを表示するために、画像分析及び画像形状解凍アルゴリズムを使用し、該画像分析及び画像形状解凍アルゴリズムは、特徴点のベクトルがモデルの形状を記述し、軌跡が、モデルの動きを記述し、特徴点のベクトルのベクトル空間が、モデルの動きの可能性を記述する特徴点モデリング等の顔面分析及び顔面合成技術を含むことを特徴とする方法。
通信ネットワーク（４０）を介して互いに接続された少なくとも３つの別個のビデオ会議加入者ステーション（１１）を含んでいて、該ビデオ会議加入者ステーション（１１）は通信ユニット（２０）と、加入者画像データを１つの画面上で同時に視認できるように再生するための再生装置（２４）と、加入者音声データを再生するための音声出力モジュール（２５）、及び加入者画像データを取り込むための画像データ取り込みモジュール（２２）と、加入者音声データを取り込むための音声データ取り込みモジュール（２１）とを含むビデオ会議システムであって、
前記ビデオ会議加入者ステーション（１１）は、当該の前記加入者（１０）の視線方向を記録し、かつアイトラッキング・データを前記通信ユニット（２０）に伝送するためのアイトラッキング・システム（２３）を含んでおり、前記アイトラッキング・データは少なくとも前記加入者（１０）の前記視線方向に関する情報を含むと共に、
前記ビデオ会議システムは、その加入者画像データが、ビデオ会議加入者ステーション（１１）の加入者（１０）の瞬間的な視線方向において識別されるオブジェクトと関連すると共にビデオ会議加入者ステーション（１１）の再生装置（２４）に表示される当該加入者の加入者画像データが、前記通信ネットワーク（４０）を介して前記ビデオ会議加入者ステーション（１１）の前記通信ユニット（２０）に最高の解像度と画像伝送速度でそれぞれ転送され、かつ、残りの加入者の加入者画像データは低減された解像度及び／又は低減された画像伝送速度で転送される手段を含むことを特徴とするビデオ会議システム。
請求項９に記載のシステムにおいて、該アイトラッキング・システム（２３）は、眼底と角膜で反射する２つの平行な光線の反射率の差によって加入者（１０）の視線方向を判定するプルキンエ画像をベースにしたシステム、及びレーザ光線と比較光線とに基づいて眼底を走査して、加入者（１０）の視線方向を判定するレーザ・スキャナーをベースにしたシステムを含むシステム。
請求項９及び１０の何れか１項に記載のシステムにおいて、前記加入者（１０）の瞬間的な視線方向において識別されるべき該オブジェクトと関連しない加入者画像データの画像伝送速度はゼロに等しいことを特徴とするシステム。
請求項９乃至１１の何れか１項に記載のシステムにおいて、前記ビデオ会議システムは中央処理ユニット（３０）を含み、該中央処理ユニット（３０）は各々の加入者ごとに、当該の前記加入者（１０）の前記アイトラッキング・データの情報に基づいて他の加入者の加入者画像データの解像度及び／又は画像伝送速度を決定し、前記加入者画像データを前記解像度及び／又は画像伝送速度で当該の前記加入者（１０）の前記通信ユニット（２０）に転送することを特徴とするシステム。
請求項９乃至１１の何れか１項に記載のシステムにおいて、前記ビデオ会議システムはデータメモリ（３２）を有する中央処理ユニット（３０）を含み、前記データメモリ（３２）カラー前記加入者の前記加入者画像データを当該の前記加入者（１０）の前記アイトラッキング・データの情報に基づいて最高の、又は低減された解像度で、並びに最高の又は低減された画像伝送速度で前記通信ユニットからダウンロード可能であることを特徴とするシステム。
請求項９乃至１１の何れか１項に記載のシステムにおいて、加入者（１０）の前記通信ユニット（２０）はデータメモリ（２６）を含み、該データメモリ（２６）カラー当該の前記加入者（１０）の前記加入者画像データを当該の前記加入者の前記アイトラッキング・データの情報に基づいて最高の、又は低減された解像度で、及び／又は最高の又は低減された画像伝送速度で前記通信ユニット（２０）からダウンロード可能であることを特徴とするシステム。
請求項９乃至１４の何れか１項に記載のシステムにおいて、前記通信ネットワーク（４０）が移動無線通信網を含むことを特徴とするシステム。
請求項９乃至１５の何れか１項に記載のシステムにおいて、前記通信ユニット（２０）は画像分析及び画像形状解凍アルゴリズムを使用して、低減された解像度で転送された前記加入者画像データを解凍する画像解凍モジュールを含み、該画像分析及び画像形状解凍アルゴリズムは、特徴点のベクトルがモデルの形状を記述し、軌跡が、モデルの動きを記述し、特徴点のベクトルのベクトル空間が、モデルの動きの可能性を記述する特徴点モデリング等の顔面分析及び顔面合成技術を含むことを特徴とするシステム。