JP4669239B2 - ビデオデータを符号化するための装置および方法 - Google Patents

Description

本発明は、ビデオデータを符号化するための装置および方法に関する。とりわけ本発明は、インタレースされたフレームの符号化、すなわち別の瞬間にサンプリングされた２つのフィールドから成るフレームの符号化に適用される。

ビデオフレームの符号化は、制限された帯域幅のネットワークでデジタルビデオデータを伝送するために必要であり、ストレージが制限されている適用のためにも必要である。ビデオシーケンスの空間的な冗長度、スペクトルの冗長度、時間的な冗長度、心理視覚的な冗長度が高ければ、品質が有意に劣化せずにデジタルビデオデータを圧縮することができる。

最近数年間において、マルチメディアに対する関心が新たな圧縮標準方式を出現させ、ＭＰＥＧ‐２、さらに最近ではＨ．２６４等の標準方式が開発されている。この標準方式は、ＩＴＵ‐Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６‐１０ＡＶＣの基準のもとに定義された標準方式である。これらの標準方式は、ビットレート、フレーム品質、複雑度、エラーに対するフォールトトレランス、タイムスケールおよび圧縮比の改善に関連して、異なる需要に対する非常に広範囲の適用を対象としている。

Ｈ．２６４圧縮標準方式では、ＭＰＥＧ‐２においてなされたことを反映して、フレームを２つのフィールドに分割して、フレームまたはフィールドのラインをインタレースするフレーム符号化構造の概念が導入されている。フィールドまたはフレームは水平の行から成り、各行は１６列のピクセルを含む。各行にはマクロブロックが設けられており、各マクロブロックは１６×１６の寸法である。マクロブロックは、４つの輝度ブロックおよび２，４または８個のクロミナンスブロックとして編成されている。このクロミナンスブロックの数は、サンプリングの形式に依存する。

データをフレームモードでマクロブロックでフォーマットする圧縮パタンでは、２つのブロックはなお、共通のブロックでインタレースされる。フィールド形式の符号化モードでは、この２つのフィールドはマクロブロックにて別個である。すなわち、一方のブロックは偶数のフィールドに相応し、他方のブロックは奇数のブロックに相応する。

Ｈ．２６４標準方式は、ＭＰＥＧ‐２標準方式にて定義された、以下の既知の形式のフレームも有する。
・先行して受け取られたフレームに符号化が依存しないＩ（イントラ）フレーム。
・先行して受け取られたフレームに符号化が依存するＰ（プレディクティブ）フレーム。
・先行および／または連続して受け取られたフレームに依存するＢ（バイプレディクティブ）フレーム。

２つのＩフレーム間のフレームのグループはＧＯＰ（「Group of Pictures（ピクチャのグループ）」の略称）と称される。ＧＯＰのサイズは可変であり、フレーム形式の点でＧＯＰの内部構造も任意である。

Ｈ．２６４標準方式の基準モデルによって、いわゆるアポステリオリの符号化の選択肢が提供された。すなわち、フレーム構造またはフィールド構造でのフレームの後符号化の選択肢が提供された。最良のビットレート／ひずみの妥協を実現する符号化が適合される。

このようなモードの符号化をリアルタイムの適用に使用することは、ほとんど考えられない。というのも、時間または計算手段の点で非常に手間がかかるからだ。換言すれば、フレーム構造フィールド予測、フレーム構造フレーム予測、フィールド構造フィールド予測の計算が必要とされる。すなわち、プログレッシブなソースの符号化（フレーム構造フレーム予測）の３倍の数の計算が必要とされる。このことはすでに、当該分野の現在の技術における標準的なテレビジョン方式に対して非常に致命的となっている。

さらに、該標準方式の基準モデルによって固定的なＧＯＰ構造が具現化されるが、ここでは符号化を選択することによって、アポステリオリのモードで実施されるにもかかわらず、ビットレート／ひずみ妥協の点で最良の符号化を得られることは保証されない。

本発明の課題は、符号化前にフィールドモードまたはフレームモードにおける符号化を選択できる符号化装置を提供することである。

前記課題は、フレームをフレーム構造またはフィールド構造として符号化するための手段は、該フレームの空間的なアクティビティおよび時間的なアクティビティの測定に依存して、フィールド構造またはフレーム構造を動的に選択するように構成することによって解決される。

本発明によって、基準モデルのアプローチに関して３０〜６０％の計算の数を低減することができる。このような計算の最適化を実施することによって、符号化品質が損なわれることはない。より詳細には、本発明は符号化の高品質の適用を対象としている。

有利な実施形態によれば、符号化する前記手段は、ビデオシーケンスをピクチャのグループの形態で符号化し、該装置には、空間的アクティビティおよび時間的アクティビティの測定に依存してピクチャのグループ（ＧＯＰ）の構造を選択するための手段が設けられている。

このようにして、弱い時間的アクティビティを示すシーケンスは、強い時間的アクティビティを示すシーケンスよりも大きな連続するＢフレームシーケンスを含むピクチャのグループを使用して符号化される。フレーム／フィールド符号化構造の選択とＧＯＰ構造の選択とを組み合わせることによって、該標準方式の基準モデルのパフォーマンスを上回ることができる。

有利な実施形態では該装置には、ビデオシーケンスがインタレース形式であるかまたはプログレッシブ形式であるかを判定するための手段が設けられている。このようにして、プログレッシブ形式のフレームシーケンスをフレーム構造として符号化することができる。とりわけ、プログレッシブなシーケンスは強い空間的な相関を示すので、このようなプログレッシブなシーケンスをフレーム構造として符号化するのが有利である。

有利な実施形態によればピクチャのグループは、イントラモードで符号化されたフレームと、プレディクティブモードで符号化されたフレームと、バイプレディクティブモードで符号化されたフレームとを有する。バイプレディクティブ形式のフレームは、ピクチャのグループの特定のフレームを符号化するために基準フレームとして使用される。

有利には、ピクチャのグループに含まれたシーケンスを構成する、バイプレディクティブモードで符号化された連続的なフレームの数は、どのような数でもよい。このことはとりわけ、弱い時間的アクティビティを示すシーケンスの場合に有利であり、バイプレディクティブモードでの符号化は格段に低コストになる。

有利な実施形態によれば、入力されたシーケンスがインタレース形式である場合、形式Ｉのフレームはフィールド構造として符号化され、該フレームの第２のフィールドは、該フレームの第１のフィールドに対して形式Ｐ（プレディクティブ）のフィールドとなる。このことによって符号化コストが低減され、ひいては符号化ビットレートが向上される。

本発明はまた、ビデオデータを符号化するための方法にも関する。この方法は、次のステップを含む。

・符号化すべきビデオフレームの空間的なアクティビティを測定するステップ。
・符号化すべきビデオフレームの時間的なアクティビティを測定するステップ。
・ビデオフレームをフレーム構造またはフィールド構造として符号化するステップ。

本発明によれば、フレームをフレーム構造またはフィールド構造として符号化するステップでは、該フレームの空間的なアクティビティおよび時間的アクティビティの測定に依存して、フィールド構造またはフレーム構造が動的に選択される。

また本発明は、コンピュータプログラム製品にも関する。本コンピュータプログラム製品は、該プログラムがコンピュータ上で実行される場合に、本発明による方法を具現化するプログラムコード命令を含むことを特徴とする。

本発明は、有利な実施例によって、添付された図面を参照してより良好に理解される。ここに挙げられた実施例は、まったく制限的ではない。

図１は、有利な実施形態による符号化装置を示している。この符号化装置は事前分析モジュール１を有し、この事前分析モジュール１は、符号化すべきビデオストリームに由来するフレームシーケンスを入力として受け取る。該ビデオストリームはまた、フレームを再編成するためのモジュール３の入力端にも伝送される。

フレーム再編成モジュール３の出力端は、符号化ループ４の入力端に接続されており、該符号化ループ４の出力端は、エントロピー符号化モジュール５に接続されている。このエントロピー符号化モジュール５は、符号化されたビデオデータストリームを出力として供給する。

事前分析モジュール１は、出力先として符号化制御モジュール２の入力端に接続されている。この符号化制御モジュール２は、エントロピー符号化モジュール５へ制御データを供給し、エントロピー符号化モジュール５は、符号化すべきフレームの形式をフレーム再編成モジュール３へ供給し、符号化ループ４へ符号化構造の形式を供給する。符号化構造の形式はすなわち、フレーム形式の符号化であるかまたはフィールド形式の符号化であるかということである。

エントロピー符号化モジュール５は、符号化されたビデオストリームを出力として供給する。

符号化ループ４は、Ｈ．２６４標準方式にて定義された符号化ループによる符号化ループである。別の実施形態によればこの符号化ループは、たとえばＭＰＥＧ‐２等の別の符号化標準方式に準ずるか、または別のすべての符号化形式に準ずる。種々のモジュールの機能は、以下の図面を参照して詳細に説明される。

図２は、図１に示された事前分析モジュール１および符号化制御モジュール２を機能ブロックに分解して示した図である。

ここに図示された機能ブロックは、物理的に区別可能な実体に相応してもよく、相応していなくてもよい。たとえば、これらのモジュールまたはこれらのモジュールのうち幾つかを単一の構成部分に組み合わせるか、またはこれらのモジュールまたはこれらのモジュールのうち幾つかによって同一のソフトウェアの機能を構成してもよい。逆に、可能であれば特定のモジュールを別個の物理的実体から構成してもよい。

モジュール６および７が事前分析モジュールであり、モジュール８，９および１０が符号化を制御するためのモジュールである。

モジュール６は、フィールド相関計算を実行する。図３では、モジュール６によって使用される相関パタンが図解されている。

モジュール６は、以下に示されたような空間的アクティビティの評価を実行する。モジュール６は、その時点のフレームの各フィールドのフィールド内相関を測定することによって、該フレームのフィールド内相関を実行する。図３に示されているように、偶数フィールドのフィールド内相関はＣＩｎｔｒａ［０］によって示されており、奇数フィールドのフィールド内相関はＣＩｎｔｒａ［１］によって示されている。

ここでは、ｊは各フィールドの列の数を示しており、別個に考慮される。Ｆは、ピクセル（ｉ，ｊ）の輝度の値を示している。

モジュール６は、以下に示されたような時間的アクティビティの評価を実行する。

２つのフィールド間の周期はＴによって示されている。信号が５０Ｈｚである場合、フィールド周期は１／５０ｓであり、６０Ｈｚの信号の場合、フィールド周期は１／６０Ｈｚである。各モジュール６は、その時点のフレームの第１のフィールドと先行のフレームの最後のフィールドとの間のフィールド間相関の測定を実行する。このフィールド間相関は、Ｃ＿Ｔ［０］によって示されている。

モジュール６は、その時点のフレームの第１のフィールドと先行のフレームの第１のフィールドとの間のフィールド間相関の測定を実行する。このフィールド間相関は、Ｃ＿２Ｔ［０］によって示されている。

モジュール６は、その時点のフレームの第２のフィールドとその時点のフレームの第１のフィールドとの間のフィールド間相関の測定を実行する。このフィールド間相関は、Ｃ＿Ｔ［１］によって示されている。

モジュール６は、その時点のフレームの第２のフィールドと先行のフレームの第２のフィールドとの間のフィールド間相関の測定を実行する。このフィールド間相関は、Ｃ＿２Ｔ［１］によって示されている。

モジュール６はモジュール７へ、フィールド間相関測定結果およびフィールド内相関測定結果を供給する。モジュール７は、プログレッシブ／インタレース判定モジュール１１と、重みづけされた時間的アクティビティを計算するためのモジュール１２とを有する。モジュール１１は、該符号化装置の入力端にて受け取られたその時点のシーケンスが、プログレッシブなソース（たとえばフィルム）に由来するものであるか、またはインタレースされたビデオソースに由来するものであるかを検出する。こうするため、以下の比較が実行される：（０．９＊（Ｃ＿Ｉｎｔｒａ［０］＋Ｃ＿Ｉｎｔｒａ［１］＞Ｃ＿Ｔ［１］）である場合、該シーケンスはプログレッシブであると見なされ、そうでなければ該シーケンスはインタレースであると見なされる。

モジュール１２は、空間的アクティビティによって重みづけされた時間的アクティビティの計算を実行する。フレーム形式の符号化は、弱い動きを有するフレームシーケンス、すなわち時間的アクティビティが弱いフレームシーケンスに適している。フィールド形式の符号化は逆に、強い動きを有するフレームシーケンス、すなわち時間的アクティビティが強いフレームシーケンスに適している。時間的アクティビティは空間的アクティビティによって重みづけされる。とりわけ、シーケンスが非常に強くテクスチャが施されているために強い空間的アクティビティを示す場合、すべての列をカバーするフレーム形式の符号化の結果が、２つの列のうち１つのみをカバーするフィールドモードでの符号化よりも良好である。

重みづけされた時間的アクティビティは、以下の数式に従って計算される。

ここでは、値２および０．５が示されているが、別の実施形態ではこの値を変更することができる。

その後、Ａｃｔの値と、プログレッシブまたはインタレースの符号化の形式の検出とに依存して、フィールドモードまたはフレームモードに従って符号化がモジュール１１によって実行される。符号化はモジュール８によって選択される。このモジュール８は入力として、検出されたシーケンス形式および重みづけされた時間的アクティビティを受け取る。

モジュール１１が、その時点のフィールド（フレーム）の対および先行のフィールドの対に関してインタレースシーケンスを検出した場合、その時点のフレームはフィールド形式の符号化を使用して符号化され、そうでなければその時点のフレームは、フレーム形式の符号化を使用して符号化される。

フィールド符号化モードが可能である場合、
Ａｃｔ＞３であれば、フレームはフィールドモードで符号化される。
そうでなければ、フレームはフレームモードで符号化される。

別の実施形態では、３に等しいこの閾値は異なってもよい。閾値の値の変更によって、一方または他方の符号化モードを有利にすることができる。

その後、モジュール８はピクチャのグループ（ＧＯＰ）の構造を選択する。モジュール８がフィールドモード符号化に決定した場合、ＧＯＰは各Ｐフレーム間において唯一のＢフレームを有する。したがって、可能性のある唯一のＧＯＰ構造は、Ｉ_０，０Ｉ_０，１Ｂ_１，０Ｂ_１，１Ｐ_２，０Ｐ_２，１Ｂ_３，０Ｂ_３，１Ｐ_４，０Ｐ_４，１Ｂ_５，０Ｂ_５，１Ｐ_６，０Ｐ_６，１である。ここでは、Ｘ_ｉ，ｊにおいてｉ，ｊはそれぞれ、フレーム数およびフィールド数を表す。ＧＯＰの長さは固定的ではない。モジュール８がフレームをフレームモードで符号化すると決定した場合、ＧＯＰ内の連続的なＢフレームの数は１より多いことがある。

この場合、モジュール８はまず、最適なＩ／Ｐ周期Ｔ_{Ｉ／Ｐ Ｏｐｔ}を計算することによって、すなわちＩフレームと後続のＰフレームとの間の周期を計算することによって、連続的なＢフレームの最適な数を計算する。

Ｔ_{Ｉ／Ｐｏｐｔ}＝７−２＊Ａｃｔ＋０．５
値７，２および０．５が示されているが、別の実施形態ではこの値を変更することができる。

その後、モジュール８はＢフレームのその時点の数を計算する。連続的なＢフレームの現在の数は時々、適用の制限に依存してＢフレームの最適な数と異なる場合がある。実際には、符号化／復号化チェーンにおける短い処理時間を必要とするので、最大Ｉ／Ｐ周期が必須である。したがってＩ／Ｐ周期は、時間間隔［２，最大Ｉ／Ｐ周期］によって制限される。値２は、Ｉ形式フレームとＰ形式フレームとの間のＢ形式フレームに相応する。

モジュール８は、形式案およびフレーム構造を最終決定モジュール９へ伝送する。また、モジュール９はモジュール１０を介して、符号化された最後の複数のフレームに関する決定の履歴も受け取る。その時点のＧＯＰの構造および符号化の形式が、モジュール８によって提案されたのと異なる場合、モジュール９は、その時点のＧＯＰの構造および符号化の形式が変更されていない限り、この最後の提案を考慮することはない。この場合、同一のＧＯＰが、フィールド構造またはフレーム構造として符号化されたフレームを含む。

有利な実施形態によれば、ＧＯＰはショートカットとされる。このことによって、フィールド形式の符号化からフレーム形式の符号化へ切り替え、その逆を行うことができる。この場合、各ＧＯＰはフレーム形式またはフィールド形式の符号化構造と、関連する一定のＧＯＰ構造とを有する。構造が変更された場合、ＧＯＰはイントラモードにて第１のフレームを符号化することによって変更される。このことによって、高パフォーマンスの符号化品質および優れた安定性が実現され、閉ループ符号化のためのビットレート調整が容易に実現される。

その後モジュール９は、符号化に必要な情報を、図３に示されたフレーム再編成モジュール３および図４に示された符号化ループ４へ伝送するとともに、図５に示されたエントロピー符号化モジュール５へ制御データを伝送する。この制御データはたとえば、エントロピー符号化モード（Ｈ．２６Ｌ符号化では「ｃａｂａｃ」または「ｃａｖｌｃ」）と、予測のための基準フレームの数と、フレームのサイズ（幅、高さ）と、輪郭とレベルとを示すハイレベルのパラメータを含む。

さらに詳細には符号化制御モジュール２は、後続のフレームを符号化すべき形式（イントラ、バイプレディクティブまたはプレディクティブ）をフレーム再編成モジュール３へ伝送し、該フレームの構造（フィールドまたはフレーム）を符号化ループ４へ伝送する。

本発明の有利な実施形態によれば、シーケンスがインタレース形式であると見なされた時点以降は、その時点のＧＯＰの構造および符号化のモードに関係なく、形式Ｉのフレームは常にフィールドモードで符号化される（フレームの第２のフィールドは、第１のフィールドに対してＰ形式として符号化される）。

本発明の有利な実施形態によれば、挿入されたＢフレームの数が２を上回る場合（弱い動きを有するシーケンス）、このＢフレームは、別のＢフレームに対する可能な基準フレームとして使用される。図４は、この有利な実施形態によるピクチャのグループの一例を示している。

ＩフレームとＰフレームとの間の周期は４である。すなわち、ＩフレームとＰフレームとの間には３つのＢフレームが存在する。別の２つのＢフレーム間に存在する中央のフレームＢ２は、該フレームＢ２を挟んでいる２つのＢフレームを符号化するための基準フレームである。このフレームＢ２はフレームＢ１の前に、その時点のＧＯＰの先行のフレームＩ０とその時点のＧＯＰの後続のフレームＰ４とに基づいて符号化される。

フレームＢ１は、後続のフレームＢ２の先行のフレームＩ０と後続のフレームＰ４とに基づいて符号化される。

フレームＢ３は、フレームＩ０とフレームＢ２とフレームＰ４とに基づいて符号化される。

本発明の有利な実施形態による符号化装置を示している。

本発明の有利な実施形態の機能ブロック図である。

フレーム内相関およびフレーム間相関を計算するための有利な実施形態を示している。

シーケンスが弱い動きを有する場合の、本発明の有利な実施形態によるピクチャのグループ（ＧＯＰ）を示している。

Claims (4)

1. ビデオフレームシーケンスを符号化するための装置であって、
   符号化すべきビデオフレームの空間的なアクティビティを測定するための第１の測定手段と、
   符号化すべきビデオフレームの時間的なアクティビティを測定するための第２の測定手段と、
   該ビデオフレームをフレーム構造またはフィールド構造として符号化するための手段であって、空間的なアクティビティおよび時間的なアクティビティの測定の間の比率に応じてフィールド構造またはフレーム構造のうちの１つを動的に選択することができる、符号化するための手段と、
   空間的なアクティビティまたは時間的なアクティビティの測定に基づいて、ビデオシーケンスがインタレース形式であるかまたはプログレッシブ形式であるかを判定するための手段と、
   を備え、
   各フレームは、第２のフィールドとインタレースされた第１のフィールドを含み、
   前記第１の測定手段は、フレームの第１のフィールドの空間的なアクティビティを測定して第１の値により該第１のフィールドの空間的なアクティビティを表現し、かつ前記フレームの第２のフィールドの空間的なアクティビティを測定して第２の値により該第２のフィールドの空間的なアクティビティを表現するために適合されており、
   前記第２の測定手段は、前記フレームの第１のフィールドおよび第２のフィールドの時間的なアクティビティを測定して第３の値により該第１のフィールドおよび第２のフィールドの時間的なアクティビティを表現し、かつ前記フレームの第１のフィールドおよび先行するフレームの第２のフィールドの間の時間的なアクティビティを測定して第４の値により該フレームの第１のフィールドおよび該先行するフレームの第２のフィールドの間の時間的なアクティビティを表現し、
   前記符号化するための手段は、重み付けされた時間的なアクティビティを以下の式
   

   

   
   により計算するために適合され、ここで
   Ｃ＿ｉｎｔｒａ［０］は第１の値であり、
   Ｃ＿ｉｎｔｒａ［１］は第２の値であり、
   Ｃ＿Ｔ［１］は第３の値であり、
   Ｃ＿Ｔ［０］は第４の値であり、
   ｍａｘ（ａ，ｂ）は値ａおよび値ｂの間の最大値を返す関数であり、かつ
   ｍｉｎ（ａ，ｂ）は値ａおよび値ｂの間の最小値を返す関数である、前記装置。
2. 前記符号化するための手段は、１）前記フレームおよび前記先行するフレームに対してインタレース形式のシーケンスが判定された場合、かつ２）前記重み付けされた時間的なアクティビティが予め定められた閾値より大きい場合、フィールド構造を選択し、
   前記符号化するための手段は、基準１）または２）のいずれかを満たさない場合にフレーム構造を選択する、請求項１に記載の装置。
3. 前記判定するための手段は、０．９に前記第１の値および前記第２の値の和を乗じた値が予め定められた閾値より大きい場合、前記フレームがプログレッシブなシーケンスに属すると判定する、請求項１または２に記載の装置。
4. 前記予め定められた値は第３の値と等しい、請求項３に記載の装置。

Images