JP4436126B2 - モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム - Google Patents

Description

本発明は、広くはビデオ通信の分野に関し、特に、画像／ビデオ送信においてオブジェクト優先順位決定と階層的画像符号化を用いるシステムおよび方法に関する。

インターネットや公衆交換電話網（ＰＳＴＮ）などのビットレートの低いチャネルで用いられるビデオ／画像通信アプリケーションの人気が高まっている。ＪＰＥＧ規格やＧＩＦ規格ではピクチャサイズ（あるいはデータ量）が大きいため、画像通信に広い帯域を必要とする。したがって、低ビットレートのチャネルを使用した場合、受信画像の画質が許容レベル以下になる場合がある。

このため、従来から、低ビットレートのチャネルを伝送させる情報量を低減して、ビデオ／画像通信を改善する方法が用いられてきた。ひとつには、ビデオフォン（ＴＶ電話）アプリケーションで用いられる方法である。この方法では、画像は、動き、形状、表面色をそれぞれ定義する３セットのパラメータによって符号化される。通常、ビジュアル通信の被写体は人間なので、被写体の頭部や顔に一次焦点が合わせられる。

また、公知のオブジェクト（フェイス）セグメンテーション技術として、パラメータ化された顔を記述するデータセットを生成する方法がある。このデータセットは、顔オブジェクトの３次元記述である。パラメータ化された顔は、筋肉と皮膚の動作および力の作用による変形（デフォーメーション）をモデリングすることによって、解剖学ベースの構造として与えられる。そのようなパラメータ化された顔モデルでは、多角形の集合を用いて人間の顔を定義する。多角形の各頂点は、Ｘ，Ｙ，Ｚ座標で求められる。特定の多角形がこの多角形を取り巻くインデックス集合で定義される。インデックス集合にコードを追加して、特定の多角形の色を定義することもできる。

さらに、ディジタルイメージを分析して、人の顔を認識し顔特徴を抽出するシステムおよび方法も知られている。従来の顔特徴検出システムは、顔のカラートーン検出、テンプレートマッチング、エッジ検出アプローチ、あるいは不均衡マッピング方法などの方法を採用していた。

従来の顔モデルベースのビデオ通信では、通信開始時に、一般的な顔モデルが送り側から受信装置に送信されるか、あるいは、受信側にあらかじめ格納されている。通信の間、特定の話者の顔に、一般モデル（generic model）が適応される。送信側からすべての画像を送るかわりに、一般モデルを調整するパラメータだけを送信して、圧縮条件を満たす必要がある。

画像送信で用いられる別の符号化方式として、階層的ソース符号化がある。この符号化方式では、ビデオデータ情報は多数のレイヤに分解され、各レイヤが、ビデオソースのそれぞれ異なる知覚関連コンポーネントを表わす。ベースレイヤは、ソースの基本情報を含み、許容し得る品質の出力ビデオ信号を生成するのに用いられる。

図２は、階層的符号化と送信の優先順位決定手法に基づくビデオシステム１０の一例を示す。階層的ソースエンコーダ１１は、入力ビデオデータを符号化し、複数のチャネル１２で符号化されたデータを搬送する。階層的ソースデコーダ１３は、符号化データを復号する。

階層的符号化を実現するには、いくつかの方法がある。たとえば、時間ドメインでの階層的符号化では、ベースレイヤは低フレームレートのビットストリームを含み、エンハンスメントレイヤは、高フレームレートの出力を獲得するためのインクリメント情報を含む。空間ドメインの階層的符号化では、ベースレイヤは、オリジナルのビデオシーケンスをサブサンプリングしたデータを符号化し、エンハンスメントレイヤは、デコーダでより高い空間解像度を得るための追加情報を含む。

一般に、異なるレイヤは異なるデータストリームを用い、チャネルエラーに対する耐性も明確に異なる。チャネルエラーに対抗するために、通常は、階層的符号化と送信の優先順位決定を組み合わせて、エラー保護の程度を高くしてベースレイヤを送信する。ベースレイヤが損失された場合、エンハンスメントレイヤに含まれるデータは、無駄になる可能性がある。

本発明は、モデルベースの符号化と階層的ソース符号化技術に基づき、特に画像／ビデオ送信におけるオブジェクト符号化の際の優先順位決定手法を用いることによって、画像通信の性能を改善し、効果を実現する。
（発明の開示）
本発明は、従来のビデオ／画像通信システムとモデルベースの符号化における上記の問題点を解決することを目的とする。

本発明のひとつの側面では、画像中で識別されたオブジェクトの優先順位の決定に関する。

本発明の別の側面では、割り当てられた優先順位に基づいて、所定のオブジェクトにマスキングを行い、マスキングされたオブジェクトとは別個に、非マスキングオブジェクトを符号化する。

本発明の一実施形態では、画像／ビデオ通信システムにおけるデータ符号化方法を提供する。この方法は、画像中に少なくとも２つのオブジェクトを識別するステップと、前記少なくとも２つのオブジェクトを表わすモデルを与えるステップと、所定の優先順位決定ルールにしたがって、前記少なくとも２つのオブジェクトの優先順位を決定するステップと、優先順位の高いオブジェクトが優先順位の低いオブジェクトよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当て、前記少なくとも２つのオブジェクトのモデル関連データを通信するステップとを有する。

以下の詳細な説明で、その他の実施形態および発明の態様を具体的に例示する。本発明の特徴、効果は、図面を参照した良好な実施形態の詳細な説明に基づき、より明確に理解される。

図１は、たとえばテレビ会議システムなどのビデオ通信システム１を示す。システム１は、送信側と受信側にそれぞれ配置されるビデオ装置２（たとえばビデオ会議装置）と、通信媒体３を有する。システム１はまた、オブジェクト取得ユニット１０と、モデルデータベース２０を有する。オブジェクト取得ユニット１０とモデルデータベース２０は別個の要素として図示されているが、これらはビデオ会議装置２と一体に構成されてもよい。

オブジェクト取得ユニット１０は、ビデオ会議装置２の視野内で、モデル化され得る種々の一般オブジェクトを識別する。オブジェクト取得ユニット１０は、取得した各オブジェクトに対し、モデルデータベース２０の中から一般モデルを割り当てる。たとえば、個人の顔４または５は、上述したように一般顔モデルを用いて表わされる。そのようなモデル化の対象となり得るオブジェクトは複数あってもよい。

図３は、オブジェクト取得ユニット１０のブロック図である。オブジェクト取得ユニットは、１以上の特徴抽出決定部１１、１２と、特徴対応マッチングユニット１３を備える。この構成では、左フレーム１４と右フレーム１５がオブジェクト取得ユニット１０に入力される。左フレームおよび右フレームは、ディジタルまたはアナログの画像データで構成される。画像データがアナログの場合は、Ａ／Ｄコンバータを用いて、ディジタル形式に変換する。

特徴抽出決定部１１は、ディジタル画像中で識別された各オブジェクトにおいて、特徴要素の位置／ロケーションを決定する。たとえば、図１の顔４、５における、鼻、目、口、髪などの顔特徴の位置が決定される。図３では、２つの特徴抽出決定部１１，１２が図示されているが、単一の決定部を用いて左右のフレーム１４、１５から位置情報を抽出する構成としてもよい。この更新後のモデル情報をモデルデータベース２０に格納して、将来の使用に供してもよい。特徴抽出決定部１１は、１９９９年８月３０日出願の米国特許出願第０８／３８５，２８０号に記載のシステムおよび方法によって構成されるのが望ましい。なお、上記米国特許出願は、本件出願に参照によって組み込まれる。

モデルデータベース２０には、複数の一般モデル２１および更新後モデル２２が格納される。一般モデル２１は、自動車や部屋の３Ｄモデルなど、任意の物理オブジェクトとシーンを表わす。一般モデルは、特徴抽出決定部１１からの情報を用いて更新され、更新後のモデルが生成される。更新後モデル２２は、さらにカスタマイズ（個別化）あるいは調整され、個人の顔のような特定のオブジェクトが、より正確に表わされる。一般モデル適応の詳細については、本件出願に参照として組み込まれる１９９９年１０月２１日出願の命国特許第０９／４２２，７３５号に記載されるとおりである。

図４は、本発明の一実施形態に係るコーダ／デコーダのブロック図である。ネットワーク２０１（あるいは記憶装置）から入力されるオブジェクトデータストリーム２００は、デマルチプレクサ２０２で受け取られ、エレメンタリストリーム（ＥＳ）にデマルチプレックス（逆多重化）される。ＥＳは解剖されて適切なデコーダ２０３に送られる。デコーダ２０３は、オーディオビジュアル（ＡＶ）オブジェクトに含まれるデータを、符号化された方式から回復し、オリジナルのＡＶオブジェクトを復元するのに必要な処理を行って適切なデバイスで解釈できるように整える。復元されたＡＶオブジェクトは、シーンレンダリングの使用に備えて、コンポジションレイヤ２０４で有効な状態にされる。復号されたＡＶオブジェクトは、シーン記述情報２０５とともに用いられ、シーン２０６を合成する。送信（符号化）の場合は、逆の動作が行われる。

本発明では、ＡＶオブジェクトの優先順位が決定され、階層的符号化型の手法で送信される。このとき行われる動作の一例を、図５を参照して説明する。

ビデオ会議装置２（送信側と受信側）で視野１００が決定される。図５の例では、視野１００内の一人の人物によって行われるプレゼンテーションに関してテレビ会議が行われることを想定する。視野内には、プレゼンタの他に黒板、視聴者、室内背景が含まれる。

まず、視野１００に含まれるオブジェクト、たとえば顔１０１〜１０５、プレゼンテーションボード１０６、部屋１０７などが識別される。オブジェクトの識別は、従来の画像認識技術を用いて行われる。次に、各オブジェクトに一般モデルが与えられ、その後、上述したように一般モデルが更新される。

識別されたオブジェクトに送信の優先順位が決定される。優先順位は所定のルールに従って決定される。優先順位決定の際には、プレゼンテーション、一般会議、製品発表など、特定の適用例に適合する正確なルールが選択される。優先度は、ビデオ会議の前に手操作で設定できる。あるいは、特定の基準、たとえば、すべての顔を最優先し、次にプレゼンテーションマテリアル、その次に視聴者、というルールに基づいて決定してもよい。優先度は、プレゼンタが途中で替わるなど、ビデオ会議セッションの間に、動的に変更され得る。適用対象の目的に沿うように、最優先順位が与えられる。図５の例では、各オブジェクトに対し、以下の優先順位が与えられる。

各オブジェクトは、優先順位とチャネル内の帯域の有効性にしたがって、それぞれ異なるチャネルに割り当てられる。たとえば、第１位、第２位の優先順位が与えられたオブジェクトは、ベースレイヤ類似のチャネルで送信され、優先順位の低いその他のオブジェクトは、エンハンスメントレイヤ類似のチャネルで送信される。

ビデオ会議の間、各オブジェクトに関するデータとパラメータが、割り当てられたチャネルで送信される。各オブジェクトに関するデータとパラメータを、ビデオ通信セッションが実際に始まる前（すなわち、セットアップ期間）に送信して、一般モデル２１を更新／カスタマイズしてもよい。

これは、送信エラーの可能性を考慮し、最重要の情報が常に最初に送信されることを保証する。たとえば、エンハンスメントレイヤチャネルのひとつが故障しても、そのチャネルで伝送されるオブジェクトの一般／更新後モデルは、前回送られたデータに基づいて維持され得る。また、本発明は、モデルベースの符号化を行うことによって全体の送信帯域を低減することができる。

別の実施形態では、視界のマスキング技術が用いられる。図６に示すように、まず、高優先順位のオブジェクトを除くすべてのオブジェクトにマスキングを施す。マスキングの結果得られるイメージに、従来の階層的ソース符号化が行われる。残りの部分（マスクされた部分）は、その後符号化されてエンハンスメントレイヤを用いて送信される。実施形態において、複数のマスキングレイヤを用いてもよい。

良好な実施形態では、システム１の符号化機能は、データ処理装置によって実行されるコンピュータ読み取り可能の命令コードによって実現される。コードはデータ処理装置のメモリに格納されてもよいし、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクなどの記憶媒体から読み取り／ダウンロードされてもよい。別の態様として、ソフトウェア命令列の代わりに、あるいはソフトウェア命令列と組み合わせて、ハードウェア回路構成を用いて本発明を実現することができる。このような機能／ソフトウェア／ハードウェアは、ビデオ会議装置２の一部に組み込んでもよいし、補助ユニットとして用いてもよい。たとえば、本発明は図７に示すようなコンピュータ３０で実現できる。

コンピュータ３０は、帯域可変ネットワークやインターネット等のデータネットワークとのインターフェイスをとるネットワーク接続と、ビデオカメラやディジタルカメラ（不図示）のような遠隔ソースとのインターフェイスをとるＦＡＸ／ＭＯＤＥＭ接続３２を有する。コンピュータ３０はさらに、ユーザに情報（ビデオデータを含む）を表示するディスプレイと、テキストおよびユーザコマンドを入力するキーボードと、ディスプレイ上でカーソルを動かしてユーザコマンドを入力するマウスと、インストールされたフロッピー（登録商標）ディスクとの間でデータの読み書きを行うディスクドライブと、ＣＤ−ＲＯＭに記憶された情報にアクセスするＣＤ−ＲＯＭドライブとを有する。コンピュータ３０はまた、画像等を入力する一対のビデオ会議カメラや、画像、テキストなどを出力するプリンタなど、システムに接続される１以上の周辺機器を含んでもよい。

図８は、コンピュータ３０の内部構造を示す。コンピュータ３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスクなどのコンピュータ読み取り可能な媒体を含むメモリ４０を有する。メモリ４０に格納されるアイテムとして、オペレーティングシステム（ＯＳ）４１、データ４２、アプリケーション４３などがある。良好な実施形態では、オペレーティングシステム４１として、Ｗｉｎｄｏｗｉｎｇオペレーティングシステム、ＵＮＩＸ（登録商標）などを用いるが、Microsoft Windows（登録商標） 95など、その他のオペレーティングシステムを用いてもよい。メモリ４０に格納されているアプリケーションの例として、ビデオコーダ４４、ビデオデコーダ４５、フレームグラバ４６などがある。ビデオコーダ４４は、通常の方法でビデオデータを符号化する。ビデオデコーダ４５は、符号化されたデータを通常の方法で復号する。フレームグラバ４６は、信号フレームをビデオ信号ストリームから、処理可能にする。

コンピュータ３０は、中央演算ユニット（ＣＰＵ）５０、通信インターフェイス５１、メモリインターフェイス５２、ＣＤ−ＲＯＭドライブインターフェイス５３、ビデオインターフェイス５４、およびバス５５を有する。ＣＰＵ５０は、マイクロプロセッサなどで構成され、コンピュータ読み取り可能のコード（上述したようなアプリケーション）をメモリ４０から読み出して実行する。このようなアプリケーションは（上述のように）メモリ４０に格納されてもよいし、あるいは、ディスクドライブ３６にセットされるフロッピー（登録商標）ディスクや、ＣＤ−ＲＯＭドライブ３７にセットされるＣＤ−ＲＯＭに格納されてもよい。ＣＰＵ５０は、メモリインターフェイス５２を介してフロッピー（登録商標）ディスクに格納されたアプリケーション（その他のデータ）にアクセスし、ＣＤ−ＲＯＭドライブインターフェイス５３を介してＣＤ−ＲＯＭに格納されたアプリケーション（その他のデータ）にアクセスする。

入力ビデオデータはビデオインターフェイス５４または通信インターフェイス５１を介して受信される。入力ビデオデータはビデオデコーダ４５によって復号される。出力ビデオデータは、ビデオコーダ４４で符号化され、ビデオインターフェイス５４または通信インターフェイス５１を介して送信される。

ビデオ通信セッションの間、まず、更新後モデル２２が生成され、特徴対応マッチングユニット１３と特徴抽出決定部１１による情報を用いて、調整モデルをさらに適応させて、動きや表情、同期オーディオ（スピーチ）を可能にする。基本的に、ビデオ通信セッションの間、更新後モデル２２は必要に応じて動的に変形され、オブジェクトを表現する。モデルのパラメータ／データをリアルタイムまたは非リアルタイムで送信する場合、合成モデルの低ビットレート動画が規定される。データレートは６４Ｋｂｐｓ以下であるのが望ましいが、動画像の場合は、６５Ｋｂｐｓ〜４Ｍｂｐｓの範囲でもよい。

本発明は、ビデオ会議、実オブジェクトのアニメーション／シミュレーションなどの分野や、オブジェクトのモデル化が必要とされる任意のアプリケーションに多数の適用がある。たとえば、ビデオゲーム、マルチメディア生成、インターネット上の改良されたナビゲーションなどに適用できる。

以上、本発明を特徴の実施形態に基づいて説明してきたが、本発明はこれらの実施形態に限定されるものではない。たとえば、本発明は特定の種類のフィルタリングあるいは数学的変換、特定の入力画像のスケールや方向に限定されない。むしろ、本発明は添付クレームの思想と範囲内に含まれる多様な構成、変形も含むことを意図する。

本発明の一実施形態に係るビデオ通信システムの図である 階層的符号化を用いた従来のビデオ送信システムの図である。 本発明の一態様によるオブジェクト取得データベースシステムのブロック図である。 オブジェクトコーダ／デコーダのブロック図である。 本発明の一態様によるオブジェクト機識別別の典型例を示す図である。 本発明の別の態様によるマスキングの実施例を示す図である。 図１のシステムを支援するコンピュータシステムの一例を示すブロック図である。 図７のコンピュータシステムのアーキテクチャを示すブロック図である。

Claims (8)

1. 画像／ビデオ通信システムにおけるデータ符号化方法であって、
   画像中に表された少なくとも２つの物理オブジェクトを識別するステップと、
   前記少なくとも２つの物理オブジェクトを表わすモデルを与えることによって、前記少なくとも２つの物理オブジェクトを符号化するステップと、
   所定の優先順位決定ルールにしたがって、前記少なくとも２つの物理オブジェクトの優先順位を決定するステップと、
   優先順位の高いオブジェクトを符号化することから得られたデータが、優先順位の低いオブジェクトを符号化することから得られたデータよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当て、前記少なくとも２つの物理オブジェクトを符号化することから得られたデータを通信するステップと
   を有し、
   前記少なくとも２つの物理オブジェクトに与えられる前記優先順位は、通信セッションの間、動的に変更される、
   方法。
2. 前記少なくとも２つの物理オブジェクトに与えられたモデルを調整して、前記少なくとも２つの物理オブジェクトの各々に関するモデルを個別化するステップをさらに有することを特徴とする請求項１に記載の方法。
3. 前記調整後のモデルをデータベースに格納するステップをさらに有することを特徴とする請求項２に記載の方法。
4. 前記画像／ビデオ通信システムは、ビデオ会議システムであることを特徴とする請求項１に記載の方法。
5. 前記優先順位の低い物理オブジェクトをマスキングし、前記優先順位の高い物理オブジェクトを送信用に符号化するステップをさらに有することを特徴とする請求項１に記載の方法。
6. 前記優先順位の高い物理オブジェクトを符号化した後に、当該優先順位の高い物理オブジェクトをマスキングして、前記優先順位の低い物理オブジェクトを送信用に符号化するステップをさらに有することを特徴とする請求項５に記載の方法。
7. 画像中に表された少なくとも２つの物理オブジェクトを識別する手段と、
   前記少なくとも２つの物理オブジェクトを表すモデルを与えることによって、前記少なくとも２つの物理オブジェクトを符号化する手段と、
   所定の優先順位決定ルールに従って、前記少なくとも２つの物理オブジェクトの優先順位を決定する手段と、
   優先順位の高いオブジェクトを符号化することから得られたデータが、優先順位の低いオブジェクトを符号化することから得られたデータよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当て、前記少なくとも２つの物理オブジェクトを符号化することから得られたデータを通信する手段と
   を有し、
   前記少なくとも２つの物理オブジェクトの優先順位を決定する手段は、前記少なくとも２つの物理オブジェクトに与えられる前記優先順位を、通信セッションの間、動的に変更する、
   通信システム。
8. 画像／ビデオ通信用のコードを含む記憶媒体であって、前記コードは、
   画像中に表された少なくとも２つの物理オブジェクトを識別するコードと、
   前記少なくとも２つの物理オブジェクトを表すモデルを与えることによって、前記少なくとも２つの物理オブジェクトを符号化するコードと、
   所定の優先順位決定ルールにしたがって、前記少なくとも２つの物理オブジェクトの優先順位を決定し、前記少なくとも２つの物理オブジェクトに与えられる前記優先順位を、通信セッションの間、動的に変更するコードと、
   優先順位の高いオブジェクトを符号化することから得られたデータが、優先順位の低いオブジェクトを符号化することから得られたデータよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当てて、前記少なくとも２つの物理オブジェクトを符号化することから得られたデータを通信するコードと
   を含むことを特徴とする記憶媒体。

Images