JP5144522B2 - スケーラブルビデオ符号化でｒｏｉを定義し、再構成するための装置および方法 - Google Patents

Description

本発明は、スケーラブルビデオ符号化（ＳＶＣ：scalable video coding）で多重関心領域（multiple ＲＯＩ：multiple region of interest）を符号化および復号化する新たな機能をサポートする方法に関し、より詳細には、ＳＶＣで多重ＲＯＩを定義し、ＳＶＣで提供されるスケーラビリティを有する多重ＲＯＩを単独で復号化する方法に関する。

動画コーデックで実装されるＲＯＩの例として、Ｈ．２６３ベースの符号化およびＭＰＥＧ−４オブジェクトベースの符号化がある。特定の領域をＨ．２６３で単独で復号化する方法を提供するＩＳＤ（independent segment decoding）モードは、単独で復号化すべき領域をその符号化における１つの完全なイメージとして取り扱うという観点からすると、ＭＰＥＧ−４オブジェクトベースの復号化と同じである。しかし、ＩＳＤモードは、ＭＰＥＧ−４オブジェクトベースの復号化とは以下の点で異なる。

（１．Ｈ．２６３のＩＳＤモード）
Ｈ．２６３ベースの符号化では、イメージ内の特定の領域を単独で復号化する方法は、オプション（Ｈ．２６３のＡｎｎｅｘ Ｒ）として提供される。特に、Ｈ．２６３ベースの符号化では、スケーラブル階層符号化を使用することによって、空間スケーラビリティ、時間スケーラビリティ、および品質スケーラビリティを提供することができる。

Ｈ．２６３では、品質スケーラビリティは、ＳＶＣのＣＧＳ（coarse grain scalability）に対応する方法を使用することによって提供され、時間スケーラビリティは、ＦＧＳ（fine grain scalability）に対応し可変フレーム（variable frame）をサポートする方法を使用することによって提供される。さらに、空間スケーラビリティの場合、スケーラブルビデオ復号化（ＳＶＤ：scalable video decoding）と同様に、解像度に関してコード化が実行され、低解像度のイメージを使用することによって階層間コード化が実行される。

（２．ＭＰＥＧ−４オブジェクトベースのコーダ）
ＭＰＥＧ−４オブジェクトベースのコード化では、任意の形状を有するオブジェクト領域は、ＶＯＰ（video object plane）によって定義される長方形の領域にコード化される。この方法によると、ＲＯＩと類似のイメージ内の特定の領域は、単独で復号化することができるようなやり方でコード化される。

Ｈ．２６４ベースの符号化に基づくＳＶＣは、Ｈ．２６３およびＭＰＥＧ−４より高いコード化効率を有し、ＳＶＣのコード化スキーマは、Ｈ．２６３およびＭＰＥＧ−４のコード化スキーマとは異なる。

本発明は、ＳＶＣに適したＲＯＩを表す方法を提供する。

本発明の一形態に従って、少なくとも１つまたは複数のＲＯＩを設定し、ＲＯＩ識別番号をそれぞれのＲＯＩに割り当てるＲＯＩ設定ユニットと、少なくとも１つまたは複数のスライスグループ識別番号を、少なくとも１つまたは複数のＲＯＩ識別番号に割り当てるマッピングユニットと、ＲＯＩ関連情報、スライスグループ関連情報、少なくとも１つまたは複数のスライスグループ識別番号へのＲＯＩ識別番号のマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成するメッセージ生成ユニットとを備える、多重ＲＯＩ（関心領域）設定装置（multiple ROI setting apparatus）を提供する。

多重ＲＯＩ設定装置は、特定のスケーラビリティを伴う特定のＲＯＩを有する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択する選択ユニットをさらに備えることができる。

さらに、ＲＯＩ間でオーバーラップ領域があると、マッピングユニットは、スライスグループ識別番号のそれぞれを、オーバーラップ領域、および他のＲＯＩとオーバーラップしないＲＯＩの領域に割り当てることができる。

さらに、選択ユニットは、特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、ビットストリームからメッセージ内の情報に基づいて検出することができ、検出されるスライスグループが存在しないＮＡＬユニットを除去し、特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去する。

本発明の別の態様に従って、少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する受信ユニットと、特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択する選択ユニットとを備える、ＲＯＩ選択装置を提供する。

マッピング情報は、少なくとも１つまたは複数のＲＯＩへのＲＯＩ識別番号の割り当てに関する情報と、ＲＯＩ識別番号への少なくとも１つまたは複数のスライスグループを表すスライスグループ識別番号の割り当てに関する情報とを含むことができる。

さらに、ＲＯＩ間でオーバーラップ領域があると、スライスグループ識別番号を、オーバーラップ領域、および他のＲＯＩとオーバーラップしないＲＯＩの領域に割り当てることができる。

本発明の別の態様に従って、少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する受信ユニットと、特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択する選択ユニットと、選択されたビットストリームを復号化する復号化ユニットとを備える、選択的ＲＯＩ再構成装置（selective ROI reconstructing apparatus）を提供する。

本発明の別の態様に従って、（ａ）少なくとも１つまたは複数のＲＯＩを設定し、ＲＯＩ識別番号をそれぞれのＲＯＩに割り当てることと、（ｂ）少なくとも１つまたは複数のスライスグループ識別番号を、少なくとも１つまたは複数のＲＯＩ識別番号にマッピングすることと、（ｃ）ＲＯＩ関連情報、スライスグループ関連情報、少なくとも１つまたは複数のスライスグループ識別番号へのＲＯＩ識別番号のマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成することとを含む、多重ＲＯＩ（関心領域）設定方法（multiple ROI setting method）を提供する。

多重ＲＯＩ設定方法は、（ｄ）特定のスケーラビリティを伴う特定のＲＯＩを有する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択することをさらに含むことができる。

本発明の別の態様に従って、（ａ）少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信することと、（ｂ）特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択することとを含む、ＲＯＩ選択方法（ROI selecting method）を提供する。

本発明の別の態様に従って、（ａ）少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信することと、（ｂ）特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択することと、（ｃ）選択されたビットストリームを復号化することとを含む、選択的ＲＯＩ再構成方法（selective ROI reconstructing method）を提供する。

近年ＳＶＣは、異機種環境（heterogeneous environment）でビデオ（video）を伝送するための重要な技術として使用されている。ＳＶＣでは、特定の部分を、ユーザー端末またはネットワークの状況に従って、符号化されたビットストリームから除去し、その結果、異なる空間的、時間的、および品質的特性を有するビットストリームを生成することができる。

本発明は、既存のＳＶＣの前述した特徴に加え、１つまたは複数のＲＯＩを有するスケーラブルビデオストリームで、特定のＲＯＩを有する新しいビットストリームを抽出する方法（method of extracting）を提供する。

この方法により、ユーザーは、解像度およびディスプレイサイズが制限される携帯電話またはＰＤＡなどの自己の装置にとって最高の解像度で、ビデオを見ることができる。

ネットワークまたは端末がサイズに関して制限されると、ビデオ内で重要な意味を有するＲＯＩのみが伝送され、その結果、ＱｏＳ（quality of server）を保証することができるビデオストリーミングサービスを提供することができる。ここで、その一例を、図１を参照して説明する。

図１は、本発明の一実施形態による、携帯電話またはＰＤＡの画面に表示される交通監視ウィンドウ（traffic monitoring window）を示す。

このような低解像度の携帯電話またはＰＤＡの場合、元のイメージの解像度が低くなるように処理されたものを受信する。しかし、本実施形態では、１１０または１２０として定義されるＲＯＩのみを受信して出力し、その結果、端末に適したＲＯＩを表示することができる。

（ＳＶＣでの多重ＲＯＩの実装）
１つまたは複数のＲＯＩを定義する場合、ＲＯＩを表すために２つの要因（factor）を考慮する。

１）スケーラブルビデオビットストリームにおいて、異なるスケーラビリティを有するために、１つまたは複数のＲＯＩを提供することがある。

２）オーバーラップ領域が２つのＲＯＩの間に存在することがあり、オーバーラップ領域は、符号化効率（encoding rate）を低下させることがある。本発明の実施形態では、独立したＲＯＩは、Ｈ．２６４／ＡＶＣに従ってフレキシブルなマクロブロックの順番（ＦＭＯ：flexible macroblock ordering）を使用することによって構成される。

（１．ＦＭＯを使用することによるＲＯＩの符号化および復号化）
ここで、本発明の一実施形態による、ＳＶＣでのＲＯＩの実装について説明することとする。本発明の実施形態では、ＲＯＩは、様々なスライスグループのタイプの中のタイプ２のスライスグループマップに従ってＦＭＯを使用することによって、スライスグループとして定義される。図２は、タイプ２のスライスグループマップで定義される４つのスライスグループを示す。前述のタイプは単に例示にすぎず、本発明はこれらの変形および変更を全て含むことを認識されたい。

図３は、１つのＲＯＩが存在する例を示す。

フレーム内のＲＯＩの外側に存在するマクロブロックは、別のスライスグループとして定義される。１つのＲＯＩのみが存在する場合、ＲＯＩ３１０はスライスグループ１となり、その背景はスライスグループ２となる。

フレーム内のマクロブロックはそれぞれ、自己が含まれるスライスグループのスライスグループＩＤに割り当てられる。マクロブロックはそれぞれ、１つのスライスグループＩＤに割り当てられる。ＳＶＣでは、フレームの符号化は、スライスグループのユニット内で行われる。

特定のスライスグループが符号化されると、この特定のスライスグループの同じスライスグループＩＤを有するフレーム内のマクロブロックのみが符号化される。この符号化では、ピクチャパラメータセットで、スライスグループの総数およびスライスグループＩＤが表わされ、それぞれのスライスグループの左上隅および右下隅にマクロブロックのアドレスが記録される。この情報は、スライス単位で実行される復号化に使用される。

（２．ＦＭＯを使用することによる多重ＲＯＩの実装）
図４は、オーバーラップ領域を有する２つのＲＯＩが存在する例を示す。

１つのフレーム内に１つのＲＯＩが存在する図３に示される場合とは異なり、多重ＲＯＩ（multiple ROI）の場合は、複数のＲＯＩが存在する。したがって、ＲＯＩ間のオーバーラップ領域を考慮する必要がある。

例えば、図４に示されるように、ＲＯＩ＿１ ４００、およびＲＯＩ＿２ ４４０を定義することができる。この場合、ＦＭＯを使用することによって、ＲＯＩ＿１ ４００、およびＲＯＩ＿２ ４４０を別個のスライスグループとして定義する。したがって、ＲＯＩ＿１ ４００およびＲＯＩ＿２ ４４０に含まれるオーバーラップ領域は、ＲＯＩ＿１ ４００またはＲＯＩ＿２ ４４０が含まれるスライスグループの１つに含まれることがある。

この場合、以下の問題がある。オーバーラップ領域４２０は、ＲＯＩ＿１ ４００およびＲＯＩ＿２ ４４０の中で低い方のスライスグループＩＤを有するスライスグループに含まれる。例えば、ＲＯＩ＿１ ４００のスライスグループＩＤが０であり、ＲＯＩ＿２ ４４０のスライスグループＩＤが１である場合、オーバーラップ領域内のマクロブロックは、ＲＯＩ＿１ ４００に含まれる。

結果として起こる符号化では、ＲＯＩ＿１ ４００は、元の領域４１０および４２０を維持するために符号化される。しかし、ＲＯＩ＿２ ４４０は、オーバーラップ領域を除く領域４３０のみがＲＯＩ＿２として割り当てられるように符号化される。このような状況では、ユーザーが、ＲＯＩ＿２ ４４０のみを符号化されたビットストリームから復号化すると、オーバーラップ領域を除くＲＯＩ＿２ ４４０の領域４３０のみが、デコーダで表示されるように復号化される。

この問題を解決するために、本発明の一実施形態に従って、ＲＯＩ＿１ ４００とＲＯＩ＿２ ４４０の間のオーバーラップ領域ＯＲ４２０が、１つの独立のスライスグループとして定義される。したがって、オーバーラップ領域４２０を、単独で符号化し、復号化することができる。しかし、ＦＭＯで定義される規則を満たすために、オーバーラップ領域のスライスグループＩＤは、ＲＯＩ＿１ ４００およびＲＯＩ＿２ ４４０のスライスグループＩＤより低いものである必要がある。

ユーザーがＲＯＩ＿１ ４００を表示したい場合、オーバーラップ領域４２０、およびオーバーラップ領域４２０を除くＲＯＩ＿１ ４００の領域４１０が符号化され、復号化される。ユーザーがＲＯＩ＿２ ４４０を表示したい場合、オーバーラップ領域４２０、およびオーバーラップ領域４２０を除くＲＯＩ＿２ ４４０の領域４３０が符号化され、復号化される。結果として、適切なビデオを表示することができる。

図５Ａは、図４に示されるＲＯＩを、ＦＭＯを使用することによって実装する例を示す。

一例として、元のビデオは、共通イメージフォーマット（ＣＩＦ：common image format）サイズであるが、ユーザーは、ＲＯＩ＿１ ５００をその元のサイズすなわちＣＩＦサイズで、ＲＯＩ＿２を、元のサイズ（解像度）の半分すなわち４分の１のＣＩＦ（ＱＣＩＦ：quarter CIF）サイズで表示したいことがある。この場合、ＲＯＩ＿１ ５００およびＲＯＩ＿２ ５４０を符号化するために、エンコーダは、全てのスケーラビリティ層（ＱＣＩＦ、ＣＩＦ、４ＣＩＦ）で符号化を実行する。より詳細には、エンコーダは、オーバーラップ領域を除くＲＯＩ＿１ ５００の領域ＲＯＩ＿１−ＯＲ ５１０、オーバーラップ領域を除く領域ＲＯＩ＿２−ＯＲ ５３０、およびオーバーラップ領域ＯＲ ５２０を、３つの独立のスライスグループとして符号化する。

それぞれのスライスグループは、長方形の形である。ＲＯＩおよびオーバーラップ領域ＯＲを、タイプ２のスライスグループマップを使用することによって符号化することができる。本実施形態では、そのスケーラビリティは、２の整数倍で増減する。

一例として、図５Ａに示されるように、オーバーラップ領域ＯＲを考慮することによって復号化を実行するために、オーバーラップ領域ＯＲのスライスグループＩＤは、ＲＯＩ＿１ ５００およびＲＯＩ＿２ ５４０のスライスグループＩＤより低いものである必要がある。したがって、オーバーラップ領域ＯＲ、ＲＯＩ＿１、およびＲＯＩ＿２のスライスグループＩＤに、それぞれ０、１、２を割り当てることができる。

（３．ＲＯＩビットストリームを抽出するためのメタデータ）
図４および図５Ａに示されるように、オーバーラップ領域を有する多重ＲＯＩが、ＦＭＯを使用することによってビデオ内で定義されると、１つのＲＯＩを、１つまたは複数のスライスグループで構成することができる。したがって、特定のＲＯＩを有するビットストリームを抽出するために、スライスグループのＲＯＩそれぞれが含まれることを示す情報が必要である。

例えば、図４および図５Ａに示されるＲＯＩ（ＲＯＩ＿１およびＲＯＩ＿２）それぞれを有する２つのビットストリームを、元のビットストリームから抽出することができる。それぞれのＲＯＩを、復号化して、ユーザーの端末で表示することができる。この場合、ＲＯＩを単独でまたは同時に、１つのディスプレイユニットまたはいくつかのディスプレイユニット上に表示することができる。

本発明の一実施形態では、特定のＲＯＩを有するビットストリームを抽出するために、ＲＯＩ情報を表すメタデータを、ＳＥＩ（supplemental enhancement information）として定義して、スケーラブルビデオストリームに提供する。ＲＯＩ関連情報を含むＳＥＩメッセージは、ＲＯＩの位置およびサイズ、ならびにＲＯＩのスケーラビリティを含む。必要なメタデータは、ＳＥＩで表されるので、ＲＯＩの抽出に必要とされる情報を、ビットストリームエクストラクタまたはデコーダに伝送することができる。ＲＯＩを表すメタデータ構造の構造に含まれる主な情報は、以下である。
＊ＲＯＩの数：ビットストリームに含まれるＲＯＩの数
＊ＲＯＩ ＩＤ：ＲＯＩ固有の値であって、ユーザーはその値を使用して特定のＲＯＩを選択することができる。

以下の情報は、対応する空間層（spatial layer）に使用される。
＊スライスグループＩＤ：スライスグループ固有のＩＤ
＊スライスグループのサイズおよび位置：スライスグループのサイズおよび位置に関する情報であって、その情報を使用してＲＯＩのサイズおよび位置を、特定のスケーラビリティで認識することができる。
＊ＲＯＩへのスライスグループのマッピング：スライスグループＩＤを特定のＲＯＩ ＩＤにマッピングすることに関する情報。

現在のＳＶＣでは、ＲＯＩ関連情報を、３つのＳＥＩ、すなわち、スケーラブル情報のＳＥＩ、サブピクチャスケーラブル層情報のＳＥＩ、および動作制約（motion-constrained）スライスグループセットのＳＥＩを使用することによって表す。

図５Ｂは、ＲＯＩを含むＳＥＩメッセージのための操作を生成するＳＥＩメッセージを示す。

ピクチャパラメータセット（ＰＰＳ：picture parameter set）は、スライスグループに関する情報を含むＦＭＯ情報を使用することによって生成される。スライスグループに対応する層を、ＳＥＩの形式で記載する。このとき、ＲＯＩ ＩＤを複数の層の中のＲＯＩ関連層にマッピングするのに使用される情報を含むＳＥＩが、生成される。次に、スライスグループＩＤにリンクされるｌａｙｅｒ＿ＩＤに関する情報を表すメタデータを含むＳＥＩが生成され、符号化すべきビットストリームに挿入される。

（４．ＲＯＩを有するビットストリームの抽出）
図６は、本発明の一実施形態による、ＲＯＩベースのビデオ通信、ビデオ符号化および復号化の操作を示す概略図である。

エンコーダ６１０では、入力ビデオデータは、ＳＶＣ ＮＡＬ（Network Abstraction Layer：ネットワーク抽象化レイヤ）ユニットに符号化される（６１１）。ＳＥＩメッセージに含まれるＳＶＣビットストリーム内のＲＯＩ関連情報、およびスケーラビリティ情報も、ＳＥＩ ＮＡＬユニットに符号化される（６１２）。伝送においては、符号化されたＳＥＩ ＮＡＬユニットは、符号化されたビデオデータを包含するＳＶＣ ＮＡＬユニットに先行する。

選択ユニット６２０では、エンコーダ６１０で符号化されたスケーラブルビデオビットストリームから選択された特定のＲＯＩを有するビットストリームが、抽出される。デコーダ６３０では、抽出されたＮＡＬユニットで構成されるビットストリームが、復号化される。ここで、選択ユニット６２０で実行される、ＲＯＩを有するビットストリームを抽出する方法を、図７および図８を参照して詳細に説明することとする。

図７は、本発明の一実施形態による、多重ＲＯＩ設定装置７００の構成を示す図である。多重ＲＯＩ設定装置７００は、ＳＶＣでの多重ＲＯＩの設定、設定されたＲＯＩの符号化、ＲＯＩを復号化するためのＳＥＩメッセージの生成を実行する。さらに、多重ＲＯＩ設定装置７００は、特定のＲＯＩが有するビットストリームのみを抽出する機能を実行することができる。

多重ＲＯＩ設定装置７００には、ＲＯＩ設定ユニット７１０、マッピングユニット７２０、およびメッセージ生成ユニット７３０が含まれる。多重ＲＯＩ設定装置７００は、選択ユニット７４０をさらに含むことができる。

ＲＯＩ設定ユニット７１０は、少なくとも１つまたは複数のＲＯＩを設定し、その結果、マクロブロックは、Ｈ．２６４多重スライスグループ（H.264 multiple slice group）のＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定され、ＲＯＩ ＩＤをＲＯＩに割り当てる。

マッピングユニット７２０は、少なくとも１つまたは複数のスライスグループＩＤを、少なくとも１つまたは複数のＲＯＩ ＩＤに割り当てる。マッピングユニット７２０は、図３および図４に示される操作に従って、ＲＯＩ ＩＤをスライスグループＩＤにマップする。

１つまたは複数のＲＯＩがビデオに存在するとき、ＩＤは、ＲＯＩを識別するために使用される。ＲＯＩは、重要な意味のある領域であるので、空間的な解像度に関係なく特定の空間領域を指定する方法が必要である。ＳＶＣでは、特定のスケーラビリティの特定のフレームレートを表すことができるスライスグループのみを、ｌａｙｅｒ＿ＩＤで指定することができる。ビットストリームエクストラクタでは、ＲＯＩ ＩＤは、スケーラビリティおよびフレームレートに関係なく特定のＲＯＩを指定するように設定され、スライスグループＩＤ、特定のスケーラビリティの特定のフレームレートを表すように設定される。次いで、マッピングが実行される。

メッセージ生成ユニット７３０は、ＲＯＩ関連情報、スライスグループ関連情報、１つまたは複数のスライスグループＩＤへのＲＯＩ ＩＤのマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成する。メッセージは、Ｈ．２６４／ＡＶＣのＳＶＣのＳＥＩメッセージであり、エンコーダのビットストリームに含まれるように符号化される。ＳＥＩメッセージは、上記の（３．ＲＯＩビットストリームを抽出するためのメタデータ）のセクションで説明されているので、ＳＥＩメッセージについての詳細な説明は省略する。

選択ユニット７４０は、特定のスケーラビリティを伴う特定のＲＯＩを有するビットストリームを、元のビットストリームから、メッセージ生成ユニット７３０により生成されるＳＥＩメッセージに基づいて抽出する。ここで選択ユニット７４０を、図８を参照して詳細に説明することとする。

図８は、本発明の一実施形態によるＲＯＩ選択装置８００の構成を示す図である。

ＲＯＩ選択装置８００には、受信ユニット８１０、および選択ユニット８２０が含まれる。受信ユニット８１０は、（少なくとも１つまたは複数のスライスグループを、少なくとも１つまたは複数の設定されたＲＯＩに割り当てる）マッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する。

選択ユニット８２０は、特定のスケーラビリティを伴う特定のＲＯＩを有するビットストリームを、入力スケーラブルビデオストリームから抽出することができる。選択ユニット８２０は、特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを複数のビットストリームからＳＥＩメッセージに基づいて抽出するように、元のビットストリーム内の１つのＲＯＩを抽出するために、ＳＥＩメッセージの解析を実行する。ＲＯＩに関する情報は、メタデータの形式でＳＥＩメッセージに含まれ、特定のＲＯＩを抽出するために必要とされる情報は、ＳＥＩメッセージに含まれる。

端末またはネットワークの制限、あるいはユーザー選択に従って、抽出されるべき外部または所定ＲＯＩのＲＯＩ ＩＤとスケーラビリティとが入力され、スケーラビリティ層に対応する抽出されるべきスライスグループが、解析の対象であるＳＥＩメッセージ内のＲＯＩ ＩＤとスライスグループＩＤとの間のマッピングに関するマッピング情報を使用することによって、識別される。

次いで、要求されたＲＯＩに含まれるスライスグループが、受信したＮＡＬユニットのいずれにも存在しない場合、対応するＮＡＬユニットは除去される。さらに、ＮＡＬユニットが、要求されたＲＯＩのスケーラビリティより高い解像度を有する場合、そのＮＡＬユニットは除去される。

選択ユニット８２０からのビットストリーム出力は、前述の操作で除去されないＮＡＬユニットで構成される。選択ユニット８２０により抽出されたＲＯＩを含むビットストリームも、スケーラブルビットストリームである。

図９Ａは、本発明の一実施形態による選択的ＲＯＩ再構成装置９００の構成を示す図である。

選択的ＲＯＩ再構成装置９００には、図８に関して説明した受信ユニット８１０および選択ユニット８２０と実質的に同一または類似である、受信ユニット９１０および選択ユニット９２０が含まれる。さらに、選択的ＲＯＩ再構成装置９００には、復号化ユニット９３０が含まれる。受信ユニット９１０および選択ユニット９２０は、図８に示される受信ユニットおよび選択ユニットと同一または類似であるので、これらの詳細な説明は省略する。

復号化ユニット９３０は、選択ユニット８２０または９２０によって抽出されたＲＯＩを有するビットストリームを復号化し、その結果、多重ＲＯＩを、最終的にＳＶＣで復号化することができる。

図９Ｂは、本発明の一実施形態による選択的ＲＯＩ再構成装置のＲＯＩ抽出操作を示す。

スライスグループの数および形状の情報を、ＰＰＳから取得する。次に、スライスグループを表す層のＲＯＩ ＩＤ情報を、ＲＯＩ ＩＤへのｌａｙｅｒ＿ＩＤのマッピングに関するマッピング情報を含むＳＥＩから取得する。次に、スライスグループＩＤとｌａｙｅｒ＿ＩＤの間の関係を表す情報を、スライスグループＩＤに関連づけられるｌａｙｅｒ＿ＩＤに関する情報を含むＳＥＩから取得し、その結果、抽出されるべきＲＯＩ ＩＤに対応する入力ＲＯＩ＿ＩＤに関連付けられるスライスグループを、スライスグループＩＤを使用することによって識別することができる。結果として、関連ビットストリームを抽出することができる。

図１０Ａから図１０Ｃは、本発明の一実施形態によるＳＥＩメッセージのシンタックス(syntax）を示す。

スケーラビリティ情報ＳＥＩは、ビットストリームのスケーラビリティ情報を提供する。ビットストリームを構成する層は、そのスケーラビリティに従ってスケーラブル層に分類される。

スケーラブル層は、特定のスライスグループを示す。スケーラブル層の情報をスケーラビリティ情報ＳＥＩに記述することにより、ビットストリームの抽出に必要な情報を提供することができる。本発明の一実施形態では、ＲＯＩ ＩＤが特定のＲＯＩのスケーラブル層に割り当てられることにより、特定のＲＯＩを有するビットストリームを抽出することができる。

ｓｕｂ＿ｐｉｃ＿ｌａｙｅｒ＿ｆｌａｇ値１で表されるスケーラブル層は、あるスライスグループがＲＯＩを表すスライスグループであることを示す。ｓｕｂ＿ｐｉｃ＿ｌａｙｅｒ＿ｆｌａｇ値が１である場合、ＲＯＩ ＩＤが記録され、その結果、あるＲＯＩが特定のスライスグループのＲＯＩとなる。

図１１は、情報に関連するＲＯＩを包含する代替的なスケーラビリティ情報ＳＥＩを示す。ビットストリーム内にＲＯＩが存在する場合、ｒｏｉ＿ｆｌａｇをｓｕｂ＿ｐｉｃ＿ｌａｙｅｒ＿ｆｌａｇの代わりに信号として使用することができる。ｒｏｉ＿ｆｌａｇ値は、ＲＯＩがビットストリームに存在することを示すように、１に設定される。さらに、ＲＯＩの数−１の値が、ｎｕｍ＿ｒｏｉｓ＿ｍｉｎｕｓ＿１に設定される。ＲＯＩが定義されると、２つまたはそれ以上のスライスグループが１つのビデオに存在する。

この場合、ＲＯＩに対応する層がグループ化され、その結果、サブストリームを定義することができる。ＲＯＩに対応するサブストリームの数−１が、ｎｕｎ＿ｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍｓ＿ｍｉｎｕｓ＿１に設定される。ＩＤはサブストリームに割り当てられ、ｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍ＿ｉｄアレイに格納される。

サブストリームを構成するスケーラブル層に関する情報をさらに記述することにより、実際のスライスグループのスケーラビリティ情報を提供することができる。本発明の一実施形態では、ｒｏｉ＿ｆｌａｇ、サブストリーム、ｎｕｎ＿ｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍｓ＿ｍｉｎｕｓ＿１、およびｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍ＿ｉｄは、ＲＯＩ情報として格納される。

図１２は、ＳＶＣで多重ＲＯＩを実装するための操作を示すフローチャートである。

ＳＶＣでの多重ＲＯＩの実装は、次のように実行される。

少なくとも１つまたは複数のＲＯＩを、多重スライスグループを使用することによって設定し、ＲＯＩ ＩＤを、ＲＯＩに割り当てる（操作 Ｓ１２１０およびＳ１２２０）。

次に、少なくとも１つまたは複数のスライスグループＩＤを、少なくとも１つまたは複数のＲＯＩ ＩＤにマップする（操作 Ｓ１２３０）。ＲＯＩ間にオーバーラップ領域があると、スライスグループＩＤを、オーバーラップ領域、および他のＲＯＩとオーバーラップしないＲＯＩの領域に割り当てる（操作 Ｓ１２３０）。

スライスグループＩＤへのＲＯＩ ＩＤのマッピングが完了した後、ＲＯＩ関連情報、スライスグループ関連情報、１つまたは複数のスライスグループＩＤへのＲＯＩ ＩＤのマッピングに関するマッピング情報、およびスケーラビリティ情報を含むＳＥＩメッセージを生成する（操作 Ｓ１２４０）。

特定のスケーラビリティを伴う特定のＲＯＩを有する１つのビットストリームを、複数のビットストリームからＳＥＩメッセージに基づいて選択する（操作 Ｓ１２５０）。より詳細には、特定のＲＯＩ ＩＤにマップされるスライスグループＩＤに対応するスライスグループを、ビットストリームからＳＥＩメッセージ内の情報に基づいて検出する。

検出されたスライスグループが存在しないＮＡＬユニットを除去し、特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去する。その後、残っているＮＡＬユニットは、ビットストリームとして抽出される。抽出されたビットストリームを復号化する（操作 Ｓ１２６０）。

本発明は、コンピュータ読み取り可能な記録媒体においてコンピュータ読み取り可能コードとして具現化することもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータを格納することができる任意のデータストレージデバイスである。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データストレージデバイス、および搬送波（インターネットを介するデータ伝送など）が含まれる。コンピュータ読み取り可能な記録媒体を、コンピュータに結合されたネットワーク上に分散することができ、その結果、コンピュータ読み取り可能コードは、分散方式で格納され、実行される。

本発明を、特に例示的実施形態に関連して示し、説明してきたが、添付の特許請求の範囲により定義される本発明の精神および範囲から逸脱することなく、形態およびの詳細の様々な変更を行うことができることを、当業者であれば理解するであろう。

本発明の一実施形態による、携帯電話またはＰＤＡの画面に表示される交通監視ウィンドウを示す図である。 タイプ２のスライスグループマップで定義される４つのスライスグループを示す図である。 １つの関心領域（ＲＯＩ）が存在する一例を示す図である。 オーバーラップ領域を有する２つのＲＯＩが存在する一例を示す図である。 図４のＲＯＩを、ＦＭＯを使用することによって実装する一例を示す図である。 本発明の一実施形態による、ＲＯＩを含むＳＥＩメッセージのためのＳＥＩメッセージ生成操作を示す図である。 本発明の一実施形態による、ＲＯＩベースのビデオ通信、ビデオ符号化および復号化操作を示す図である。 本発明の一実施形態による多重ＲＯＩ設定装置の構成を示す図である。 本発明の一実施形態によるＲＯＩ選択装置の構成を示す図である。 本発明の一実施形態による選択的ＲＯＩ再構成装置の構成を示す図である。 本発明の一実施形態による、選択的ＲＯＩ再構成装置でのＲＯＩ抽出操作を示す図である。 本発明の一実施形態によるＳＥＩメッセージのシンタックスを示す図である。 本発明の一実施形態によるＳＥＩメッセージのシンタックスを示す図である。 本発明の一実施形態によるＳＥＩメッセージのシンタックスを示す図である。 本発明の一実施形態によるＳＥＩメッセージのシンタックスの例を示す図である。 ＳＶＣで多重ＲＯＩを実装する操作を示すフローチャートである。

Claims (15)

1. フレーム内に少なくとも１つの多重関心領域（ＲＯＩ）を設定し、前記ＲＯＩにＲＯＩ識別番号を割り当てる段階と、
   前記ＲＯＩ識別番号をＬａｙｅｒ識別番号とマッピングする段階と、
   前記Ｌａｙｅｒ識別番号に少なくとも１つ以上のスライスグループ識別番号をマッピングする段階と、
   を含み、この場合、前記ＲＯＩ識別番号と前記Ｌａｙｅｒ識別番号とのマッピング情報、及び前記ＲＯＩ識別番号と前記１つ以上のスライスグループ識別番号とのマッピング情報は、ＳＥＩメッセージに含まれることを特徴とするスケーラブルビデオのためのＲＯＩ情報設定方法。
2. 前記ＳＥＩメッセージは、
   スケーラビリティ情報ＳＥＩメッセージ、サブピクチャスケーラビリティ層（Ｓｕｂ−ｐｉｃｔｕｒｅ Ｓｃａｌａｂｌｅ Ｌａｙｅｒ）ＳＥＩメッセージ、動作制約スライスグループセット（Ｍｏｔｉｏｎ−Ｃｏｎｓｔｒａｉｎｅｄ Ｓｌｉｃｅ Ｇｒｏｕｐ Ｓｅｔ）ＳＥＩメッセージを含むことを特徴とする請求項１に記載のＲＯＩ情報設定方法。
3. 前記ＲＯＩ識別番号をＬａｙｅｒ識別番号とマッピングする段階において、
   マッピングされた前記ＲＯＩ識別番号と前記Ｌａｙｅｒ識別番号との情報を示すメタデータは、スケーラビリティ情報ＳＥＩメッセージに含まれることを特徴とする請求項１に記載のＲＯＩ情報設定方法。
4. 前記割り当てる段階において、
   割り当てられた前記Ｌａｙｅｒ識別番号と、それに割り当てられた少なくとも１つ以上のスライスグループ識別番号の情報とを示すメタデータは、それぞれサブピクチャスケーラビリティ層情報ＳＥＩメッセージ、動作制約スライスグループセットＳＥＩメッセージに含まれることを特徴とする請求項１に記載のＲＯＩ情報設定方法。
5. フレーム内に少なくとも１つのＲＯＩを設定する時、
   Ｈ．２６４多重スライスグループ（ＦＭＯ）を用いて、マクロブロックに少なくとも１つ以上のＲＯＩを設定することを特徴とする請求項１に記載のＲＯＩ情報設定方法。
6. ＳＥＩメッセージからＲＯＩ識別番号とＬａｙｅｒ識別番号とのマッピング関係を確認する段階と、
   ＳＥＩメッセージから前記Ｌａｙｅｒ識別番号に対応する少なくとも１つ以上のスライスグループ識別番号を把握する段階と、
   前記少なくとも１つ以上のスライスグループ識別番号に基づいて、ピクチャパラメータセット（ＰＰＳ）で当該スライスグループの位置を把握する段階と
   を含むことを特徴とするスケーラブルビデオのためのＲＯＩ解析方法。
7. 前記確認する段階で使われる前記ＳＥＩメッセージ内に含まれたｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値を把握し、ｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値が１である層に対してのみ、前記ＲＯＩ識別番号と前記Ｌａｙｅｒ識別番号とのマッピング関係を確認することを特徴とする請求項６に記載のＲＯＩ解析方法。
8. 前記確認する段階で使われる前記ＳＥＩメッセージは、
   スケーラビリティ情報ＳＥＩメッセージであることを特徴とする請求項７に記載のＲＯＩ解析方法。
9. 前記ｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値は、各層ごとに記述され、ｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値が１である場合にのみ、当該層にＲＯＩが存在することを特徴とする請求項７に記載のＲＯＩ解析方法。
10. 前記スライスグループ識別番号を把握する段階で使われる前記ＳＥＩメッセージは、サブピクチャスケーラビリティ層情報ＳＥＩメッセージと、動作制約スライスグループセットＳＥＩメッセージであることを特徴とする請求項６に記載のＲＯＩ解析方法。
11. 前記位置を把握する段階において、
    前記少なくとも１つ以上のスライスグループ識別番号に基づいて、各スライスグループの左側上端及び右側下端のマクロブロックのアドレスを把握することを特徴とする請求項６に記載のＲＯＩ解析方法。
12. スケーラビリティ情報ＳＥＩメッセージでＲＯＩが含まれた層のＬａｙｅｒ識別番号とＲＯＩ識別番号とのマッピング関係を確認する段階と、
    サブピクチャスケーラビリティ層情報ＳＥＩメッセージと、動作制約スライスグループセットＳＥＩメッセージとを用いて、前記Ｌａｙｅｒ識別番号に対応する少なくとも１つ以上のスライスグループ識別番号を把握する段階と、
    前記少なくとも１つ以上のスライスグループ識別番号に基づいて、ピクチャパラメータセット（ＰＰＳ）で当該スライスグループの位置を把握する段階と
    を含むことを特徴とするＲＯＩ解析方法。
13. 前記スケーラビリティ情報ＳＥＩメッセージ内に含まれたｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値を把握し、ｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値が１である層に対してのみ、前記ＲＯＩ識別番号と前記Ｌａｙｅｒ識別番号とのマッピング関係を確認することを特徴とする請求項１２に記載のＲＯＩ解析方法。
14. 前記ｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値は、各層ごとに記述され、ｓｕｂ＿ｐｉｃ＿Ｌａｙｅｒ＿ｆｌａｇ値が１である場合にのみ、当該層にＲＯＩが存在することを特徴とする請求項１３に記載のＲＯＩ解析方法。
15. 前記位置を把握する段階において、
    前記少なくとも１つ以上のスライスグループ識別番号に基づいて、各スライスグループの左側上端及び右側下端のマクロブロックのアドレスを把握することを特徴とする請求項１２に記載のＲＯＩ解析方法。

Images