JP5579730B2 - 明るさ変化コーディング - Google Patents

Description

本発明は、特定タイプの明るさ変化を含むビデオフレームを符号化する方法に関し、より具体的には、後方予測を用いるそのような方法に関する。

一般的に、ビデオシーケンス中の明るさ変化は、符号化するのが難しく、通常、結果として得られる復号化されたビデオにおいて主観的なビデオ品質の劣化をもたらす。これは、明るさ変化が発生するフレームの良好な予測を生成する上での動き補償能力の限界に起因している。一般に動きのみが考慮に入れられるからである。この問題を解決するため、一部のビデオエンコーダは、動き補償されるフレームに対して重み付け係数及びオフセット係数を計算して適用することで、符号化に使用される基準予測フレームを改善する加重予測を使用している。

しかしながら、符号化することが非常に難しい特定タイプの明るさ変化が存在する。これらのタイプの明るさ変化は、強い光強度状態で始まり、視覚コンテンツを示す光強度の漸進的な低下によって続かれる。逆の場合、それは非常に低い光強度で始まり、特定のシーンの視覚コンテンツを示す光強度の漸進的な増加によって続かれる。

双方の場合を包含する定義は、自己情報又はエントロピーとして情報理論の概念を用いて表現され得る。その場合、標的（ターゲット）明るさ変化は、明るさ変化挙動に含まれるフレーム群の間に情報コンテンツ（又は、自己情報）の量が徐々に増大する一組のフレームとして定義され得る。明るさ変化の一例として図１を参照する。標準的な例は、ブラックフェードイン（black fade in）フレームシーケンス及びホワイトフェードイン（white fade in）フレームシーケンスを含む。図１を参照するに、ブラックフェードインにおいて、連続したフレーム群の特定のグループは、黒（又は、ほぼ黒）のフレーム１９で開始し、後続フレーム２０、２１、２２及び２３において、それらのフレームの光強度を、フェード動作の終点と見なされる特定のコントラストまで徐々に増大させる。フラッシュインとしても知られるホワイトフェードインにおいては、連続したフレーム群の特定のグループは、黒フレームに代えて白（又は、ほぼ白）のフレームで開始し、後続フレームにおいて、それらのフレームの光強度を、フェード動作の終点と見なされる特定のコントラストまで徐々に低下させる。上述の定義を満足するこれらのタイプの明るさ変化を、標的明るさ変化（target light change）又はＴＬＣと表記することとする。

ビデオエンコーダにおける前方予測符号化モードは、動き予測及び動き補償に用いられるデフォルトモードである。ＭＰＥＧベースのビデオ規格において、それらはＰフレームと表され、先行Ｉフレーム又は先行Ｐフレームから予測することによって生成される。ＴＬＣ明るさ変化の場合、前方予測符号化モードの使用は、再構成されるビデオ内に品質アーチファクトを生成してしまい得る。予測の基準として使用されるフレームより詳細な（高い情報コンテンツの）フレームに由来した予測となるとき、直観的に、これは明らかになり得る。実際、前方予測がＴＬＣフレーム群に適用される場合、結果は、劣悪なフレーム間予測、又はこれらのフレームを符号化するのにイントラモードを非効率的に使用すること、の何れかとなる。従って、固定ビットレート（constant bit rate；ＣＢＲ）コーディングの場合、ＴＬＣフレーム群は非ＴＬＣフレーム群より低い主観的品質を示す。一方で、ＴＬＣフレーム群に、加重予測と組み合わせて逆の符号化順序が用いられる場合、それらのフレームを符号化するために、より正確な予測が生成され得る。

一般的な明るさ変化挙動に対処することへの試みは、一般に、加重予測技術を用いて取り組まれてきた。そのような試みは、一般に、動き補償されるフレームに加重予測パラメータを適用することが、明るさ変化フレームに起因するアーチファクトを実効的に抑制するように、加重予測パラメータを計算している。

結果として得られる復号化されたビデオの品質を向上させるようにＴＬＣフレーム群を符号化する符号化方法がビデオエンコーダに提供される。

ＴＬＣフレーム群として検出されたフレーム群には、前方予測に代えて、後方予測が適用される。また、（表示順に）最後の検出ＴＬＣフレームは、イントラ符号化モードのみを使用するように強いられる。

一連のビデオフレームを符号化する方法が提供される。当該方法は、前記一連のフレーム内で、極端な明るさのフレームで開始する明るさ変化パターンを検出し；前記一連のフレームをバッファリングし；前記一連のフレーム内で最終明るさ変化フレームを選択し、該最終明るさ変化フレームは前記極端な明るさのフレームより多くの情報コンテンツを有し；且つ前記最終明るさ変化フレームから前記極端な明るさのフレームまで後方に、フレーム群を符号化することを有する。前記極端な明るさのフレームは、黒色フレーム、実質的に黒色のフレーム、白色フレーム、又は実質的に白色のフレームとし得る。前記最終明るさ変化フレームはイントラ符号化モードで符号化され得る。バッファリングされるフレームの数はバッファのサイズに依存し、且つ／或いはバッファリングされるフレームの数は、グループオブピクチャに許容されるフレームの最大数に依存し得る。

一連の符号化されたビデオフレームを有する信号を生成あるいは受信するように適応された装置が提供される。前記一連の符号化されたビデオフレームは、前記一連のフレーム内で、極端な明るさのフレームで開始する明るさ変化パターンを検出し；前記一連のフレーム内で最終明るさ変化フレームを選択し、該最終明るさ変化フレームは前記極端な明るさのフレームより多くの情報コンテンツを有し；且つ前記最終明るさ変化フレームから前記極端な明るさのフレームまで後方に、フレーム群を符号化することによって符号化される。前記信号は、デジタル情報を表すことができ、また、電磁波の形態であるとすることができる。前記信号はベースバンド信号であるとし得る。

ビデオフレーム群を符号化することが可能な装置が提供される。当該装置は：明るさ変化検出装置を有する事前分析モジュールと、グループオブピクチャ（ＧＯＰ）パターン決定部を有する符号化モジュールであり、前記ＧＯＰパターン決定部は、明るさ変化を有するとして前記事前分析モジュールによって検出されたフレーム群に対して後方予測符号化順序が設定されるように、ＧＯＰに属するフレーム群の符号化順序及び表示順序を確立する、符号化モジュールとを有する。

続いて、以下の図を含む添付の図面を参照し、例として、本発明を説明する。
明るさ変化を有する一連のビデオフレームを示す図である。 本発明に従った符号化システムを示すブロック図である。 本発明に従ったフレーム符号化方法を模式的に示す図である。 本発明に従ったフレーム符号化方法を模式的に示す図である。 本発明に従ったフレーム符号化方法を模式的に示す図である。

図２は、事前分析モジュール３０及び符号化モジュール４０を有する単純化したビデオエンコーダ２５のブロック図を示している。これらのモジュールについて、以下の段落にて詳細に説明する。

事前分析モジュール３０は、明るさ変化検出アルゴリズム３２を有している。明るさ変化検出アルゴリズム３２は、或る明るさ変化に関与するフレーム１９−２３を特定し、それらフレームに、それらが属する明るさ変化のタイプを指し示すフラグを付する。或る明るさ変化の部分であるとして分類されたフレーム群は、そのようにマーク付けられてエンコーダ２５に知らされると仮定する。これらのフレーム１９−２３は後に、動き補償フレームの予測を改善するために使用される。なお、ここで説明する明るさ変化コーディングの実現は、明るさ変化の検出に使用されるアルゴリズムとは独立して為される。明るさ変化アルゴリズムは、ここでは事前分析モジュールの一部であるとして説明するが、事前分析モジュール内にある必要はない。明るさ変化アルゴリズムは、代替的に、その実行に応じてエンコーダ内にあってもよいし、符号化されるフレーム群のメタデータを集める外部モジュールの部分であってもよい。

この方法は、第１ステップとして、図１の最後の検出ＴＬＣフレーム２３又は図３のＴＬＣ６がイントラ符号化モードのみで符号化されることを強制することを含む。この決定はモード選択モジュール４４にて行われる。モード選択モジュール４４は、明るさ挙動フラグを検査して、現フレームが一連の検出ＴＬＣフレームの最後であるかを調べる。最後である場合、モード選択モジュール４４は、イントラ符号化モードを除く全ての符号化モードを無効にする。この強制が行われない場合に、予測を生成するために使用されるフレーム（群）が時間的に過度に遠いものとなって、乏しい予測をもたらすことが、網羅的な実験により示されている。この技術が用いられない場合、含まれるフレームの数に関して明るさ変化が長いほど、予測品質は乏しいものとなる。故に、このタイプのシーケンスの状況を考えると、イントラ符号化モードのみを用いてこのフレームを符号化することは、より高い品質を達成することになる。

図２の例において、グループオブピクチャ（ＧＯＰ）パターン決定部（サブモジュール）４２は、ＧＯＰに属する全てのフレームの符号化順序及び表示順序を確立する。第２ステップが行われるのは、このサブモジュール４２内である。このサブモジュール４２は、明るさ変化検出にて収集された情報を考慮に入れ、検出されたＴＬＣフレーム群に対して、図３のＴＬＣ６とＴＬＣ１との間の後方予測符号化順序が設定される。このＧＯＰパターン決定は、規定された符号化順序にエンコーダが正確に従い、如何なるＴＬＣフレーム（すなわち、ＴＬＣ１−ＴＬＣ６）も後方予測を用いて自動的に符号化されるということに帰結する。この方法は、如何なるその他のビデオエンコーダモジュールにも変更を必要としないので望ましいものである。図３は、ＧＯＰパターン決定がＴＬＣ挙動にどのように後方予測の使用を割り当てるかを示している。なお、図３−５において、ＴＬＣフレーム１９−２３はＴＬＣ１、・・・、ＴＬＣｎとして参照されている。

Ｈ．２６４／ＡＶＣビデオエンコーダへの適用では、後方予測される一連のフレームの最大長さに２つの異なる制限が存在する。

第１の制限は、復号ピクチャバッファ（Decoded Picture Buffer；ＤＰＢ）に関係する。ＤＰＢバッファのサイズは、後方予測符号化モードを用いて符号化される一連のフレームＴＬＣ１−ＴＬＣｎに或る最大長さを強いる。後方予測符号化モードの使用は、符号化／復号化順序と表示順序との間の不整合のために、エンコーダ及びデコーダの双方が多数の復号ピクチャをバッファ（ＤＰＢ）内に保存することを強制する。ＤＰＢはメモリバッファ制約に関する制限を有するので、後方予測を用いて符号化されることが可能なフレームの最大数に制限がある。これは図４に例示されている。ＴＬＣ挙動の初期のフレーム（最初の２乃至４フレーム）ＴＬＣ１−ＴＬＣ４で最も大きな利益が生じることが実験により示されている。故に、このＤＰＢ制限はこの方法の利益に有意に影響を及ぼさないものとなり得る。

第２の制限は、最大ＧＯＰサイズによってもたらされる。ＴＬＣ挙動が開始したものの未だ終了しない間にＧＯＰが最大サイズに達する場合、後方予測符号化モードは、ＧＯＰの最後で終了することを強いられる。依然としてＴＬＣフレームとして検出されながら新たなＧＯＰに割り当てられたフレームに対しては、進め得る２つの手法が存在する。現ＴＬＣ挙動のフレーム群のうちの残りに対して、前方予測符号化モードを強制することができ、あるいは、新たなＧＯＰのＩＤＲに続くフレームから開始する新たな後方予測フレームシリーズを割り当てられることができる。図５は第１の手法を示している。この場合も、主観的なビデオ品質における最も大きな利益は（表示順で）初期のＴＬＣフレームＴＬＣ１−ＴＬＣ４で生じるので、ＧＯＰ境界ＴＬＣ６の後のフレーム群が新たな独立ＴＬＣ挙動にて後方予測されても、あまり大きな利益は得られない。

最後に、言及しておくことには、大抵の実装例は、ＴＬＣフレーム群を符号化するのに、Ｐフレームのみを使用し、Ｂフレームを使用しない。説明した特定の技術をＢフレームで使用することは、このタイプのフレームに特有の双方向予測のために複雑となる。Ｂフレームが使用される場合、一部のマクロブロックは、再構成されたビデオに視認可能なモザイクアーチファクトを生じさせる可能性がある相異なる光強度を有する複数のフレーム、からの基準マクロブロックを使用してもよい。一部の実装例は、当然ながら、Ｂフレームをも使用し得る。

故に、特定の機能及び特徴を有する１つ以上の実装例が提供される。しかしながら、説明した実装例の機能及び特徴は、その他の実装例に適応されてもよい。ここで説明した実装例は特定の状況に関して記載されているが、それらの記載は、特徴及び概念をそのような実装例又は状況に限定するものとして解されるべきでない。

ここで説明した実装例は、例えば、方法若しくはプロセス、装置、又はソフトウェアプログラムにて実装され得る。単一の実装形態（例えば、方法としてのみ）の文脈でのみ説明されているとしても、説明した実装例又は機能は、その他の形態（例えば、装置又はプログラム）にて実装されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにて実装され得る。方法は、例えば、コンピュータ又はその他の処理装置などの装置にて実行され得る。また、方法は、処理装置又はその他の装置によって実行される命令によって実装されてもよく、そのような命令は、例えばＣＤなどのコンピュータ読み取り可能媒体、その他のコンピュータ読み取り可能記憶装置、又は集積回路に格納され得る。さらに、コンピュータ読み取り可能媒体は、実行によって生成されるデータ値を格納してもよい。

当業者に明らかなように、実行は、例えば格納あるいは伝送され得る情報を担持するように形式を定められた信号を生成してもよい。該情報は、例えば、方法を実行するための命令、又は説明した実装例のうちの１つによって生成されるデータを含み得る。

また、多くの実装例は、エンコーダ、エンコーダへのプリプロセッサ、デコーダ、又はデコーダへのポストプロセッサのうちの１つ以上内に実装され得る。説明した、あるいは意図される実装例は、多様な異なるアプリケーション及び製品にて使用され得る。アプリケーション又は製品の例には、セットトップボックス、携帯電話、携帯情報端末（ＰＤＡ）、テレビジョン、私用記録装置（例えば、ＰＶＲ、コンピュータ起動記録ソフトウェア、ＶＨＳ記録装置）、ビデオカメラ、インターネット若しくはその他の通信リンク上でのデータのストリーミング、及びビデオ・オン・デマンドが含まれる。

さらに、その他の実装例も意図される。例えば、開示した実装例の様々な特徴を結合、削除、変更あるいは補足することによって、更なる実装例が生み出され得る。

以下の羅列は、様々な実装例の一覧を提供するものである。この羅列は、網羅的であることを意図したものではなく、数多くの取り得る実装例のうちのごく一部を短く記述したものを提供するに過ぎない。

実装例１． 品質を向上し且つアーチファクトを抑制するために後方予測符号化モードを使用する、特定の明るさ変化を包含したフレーム群の新規な符号化手法。

実装例２． 検出された明るさ変化挙動内の最終フレームが、このフレームの予測を改善するためにイントラ符号化モードのみを用いて符号化される、ところの実装例１。

実装例３． 明るさ変化検出情報を使用して、該明るさ変化に関与するフレーム群に採用されるべき前方予測又は後方予測を効率的に選択する、新規なＧＯＰパターン選択。

実装例４． 前記明るさ変化は、強い光強度状態で始まり、視覚コンテンツを示す光強度の漸進的な低下が続くもの（フェードインとしても知られる）であるか、その逆、すなわち、低い光強度で始まり、特定のシーンの視覚コンテンツを示す光強度の漸進的な増大が続くもの（フラッシュインとしても知られる）であるかの何れかである、ところの実装例１及び／又は２。

実装例５． ＧＯＰ内に許容されるフレームの最大数と復号ピクチャバッファ（ＤＰＢ）のバッファ制限とに基づく、後方予測を用いるフレームの最大数の制限、を有するところの実装例１及び／又は２。

実装例６． この開示にて説明した何れかの実装例により生成される信号。

実装例７． この開示にて説明した１つ以上の実装例に従ったビデオ符号化情報を、生成、結集、格納、伝送、受信、且つ／或いは処理すること。

実装例８． 説明した実装例のうちの１つに従って、あるいはそれと連携して、動作することが可能な装置（例えば、エンコーダ、デコーダ、プリプロセッサ、又はポストプロセッサなど）。

実装例９． この開示にて説明した実装例のうちの１つ以上に従って符号化を実行するための命令又は命令セットを格納あるいは符号化するデバイス（例えば、コンピュータ読み取り可能媒体など）。

実装例１０． この開示にて説明した実装例のうちの１つ以上に従った符号化に関連する情報を含むように形式を定められた信号。

実装例１１． 前記信号がデジタル情報を表すところの実装例１０。

実装例１２． 前記信号が電磁波であるところの実装例１０。

実装例１３． 前記信号がベースバンド信号であるところの実装例１０。

実装例１４． 前記信号が、残余データ、動きベクトルデータ及び基準インジケータデータのうちの１つ以上を含む、ところの実装例１０。

この組み合わせ技術によって上述のフレーム群に対する知覚ビデオ符号化品質の有意な向上が生み出されることが、実験により示されている。

以上の説明は、本発明を実施する可能性の一部を例示するものである。本発明の範囲及び精神を逸脱することなく、数多くのその他の実施形態も考え得る。故に、以上の説明は、限定的ではなく例示的なものと見なされるべきものであり、本発明の範囲は添付の請求項及びその均等範囲全体によって与えられるものである。
（付記１） 一連のビデオフレームを符号化する方法であって：
前記一連のフレーム内で、極端な明るさのフレームで開始する明るさ変化パターンを検出し；
前記一連のフレームをバッファリングし；
前記一連のフレーム内で最終明るさ変化フレームを選択し、該最終明るさ変化フレームは前記極端な明るさのフレームより多くの情報コンテンツを有し；且つ
前記最終明るさ変化フレームから前記極端な明るさのフレームまで後方に、フレーム群を符号化する；
ことを有する方法。
（付記２） 前記極端な明るさのフレームは、実質的に黒色のフレームである、付記１に記載の方法。
（付記３） 前記極端な明るさのフレームは、実質的に白色のフレームである、付記１に記載の方法。
（付記４） 前記最終明るさ変化フレームはイントラ符号化モードで符号化される、付記１に記載の方法。
（付記５） バッファリングされるフレームの数はバッファのサイズに依存する、付記１に記載の方法。
（付記６） バッファリングされるフレームの数は、グループオブピクチャに許容されるフレームの最大数に依存する、付記１に記載の方法。
（付記７） 一連の符号化されたビデオフレームを有する信号を生成あるいは受信するように適応された装置であって、前記一連の符号化されたビデオフレームは：
前記一連のフレーム内で、極端な明るさのフレームで開始する明るさ変化パターンを検出し；
前記一連のフレーム内で最終明るさ変化フレームを選択し、該最終明るさ変化フレームは前記極端な明るさのフレームより多くの情報コンテンツを有し；且つ
前記最終明るさ変化フレームから前記極端な明るさのフレームまで後方に、フレーム群を符号化する；
ことによって符号化される、装置。
（付記８） 前記信号はデジタル情報を表す、付記７に記載の装置。
（付記９） 前記信号は電磁波である、付記７に記載の装置。
（付記１０） 前記信号はベースバンド信号である、付記７に記載の装置。
（付記１１） ビデオフレーム群を符号化することが可能な装置であって：
明るさ変化検出装置を有する事前分析モジュール；
グループオブピクチャ（ＧＯＰ）パターン決定部を有する符号化モジュールであり、前記ＧＯＰパターン決定部は、明るさ変化を有するとして前記事前分析モジュールによって検出されたフレーム群に対して後方予測符号化順序が設定されるように、ＧＯＰに属するフレーム群の符号化順序及び表示順序を確立する、符号化モジュール；
を有する装置。

Claims (9)

1. 一連のビデオフレームを符号化する方法であって：
   前記一連のフレーム内で、黒色又は白色のフレームで開始する明るさ変化パターンを検出し；
   前記一連のフレームをバッファリングし；
   前記一連のフレーム内で最終明るさ変化フレームを選択し、該最終明るさ変化フレームは前記黒色又は白色のフレームより多くの情報コンテンツを有し；且つ
   後方予測符号化モードを用いて、前記最終明るさ変化フレームから前記黒色又は白色のフレームまで後方に、フレーム群を符号化し、前記明るさ変化パターンが最大グループオブピクチャサイズを超える場合、後方予測符号化モードは前記最大グループオブピクチャサイズに達したときに終了することを強いられ、前記検出のステップでの前記明るさ変化パターンのうちの残りは新たなグループオブピクチャに割り当てられ、前方予測符号化モードが前記新たなグループオブピクチャ内の後続フレームに強制される；
   ことを有する方法。
2. 前記最終明るさ変化フレームはイントラ符号化モードで符号化される、請求項１に記載の方法。
3. 前記バッファリングされるフレームの数はバッファのサイズに依存する、請求項１に記載の方法。
4. 前記バッファリングされるフレームの数は、グループオブピクチャに許容されるフレームの最大数に依存する、請求項１に記載の方法。
5. 一連の符号化されたビデオフレームを有する信号を生成あるいは受信するように適応された装置であって、前記一連の符号化されたビデオフレームは：
   前記一連のフレーム内で、黒色又は白色のフレームで開始する明るさ変化パターンを検出し；
   前記一連のフレーム内で最終明るさ変化フレームを選択し、該最終明るさ変化フレームは前記黒色又は白色のフレームより多くの情報コンテンツを有し；且つ
   後方予測符号化モードを用いて、前記最終明るさ変化フレームから前記黒色又は白色のフレームまで後方に、フレーム群を符号化し、前記明るさ変化パターンが最大グループオブピクチャサイズを超える場合、後方予測符号化モードは前記最大グループオブピクチャサイズに達したときに終了することを強いられ、前記検出のステップでの前記明るさ変化パターンのうちの残りは新たなグループオブピクチャに割り当てられ、前方予測符号化モードが前記新たなグループオブピクチャ内の後続フレームに強制される；
   ことによって符号化される、装置。
6. 前記信号はデジタル情報を表す、請求項５に記載の装置。
7. 前記信号は電磁波である、請求項５に記載の装置。
8. 前記信号はベースバンド信号である、請求項５に記載の装置。
9. ビデオフレーム群を符号化することが可能な装置であって：
   明るさ変化検出装置を有する事前分析モジュール；
   グループオブピクチャパターン決定部を有する符号化モジュールであり、前記グループオブピクチャパターン決定部は、明るさ変化を有するとして前記事前分析モジュールによって検出されたフレーム群に対して後方予測符号化順序が設定されるように、グループオブピクチャに属するフレーム群の符号化順序及び表示順序を確立し、前記グループオブピクチャが最大グループオブピクチャサイズを超える場合、後方予測符号化モードは前記最大グループオブピクチャサイズに達したときに終了することを強いられ、前記グループオブピクチャのうちの残りは新たなグループオブピクチャに割り当てられ、前方予測符号化モードが前記新たなグループオブピクチャ内の後続フレームに強制される、符号化モジュール；
   を有する装置。

Images