JP5553979B2 - 人間の視覚的許容度に基づくビデオ符号化の符号化ツールの選択 - Google Patents

Description

特定的な実施形態は、一般的にビデオ符号化に関する。

Ｈ．２６４／高度ビデオ符号化（ＡＶＣ）のようなビデオ圧縮においては、他の符号化標準を超える符号化効率が達成される。ＡＶＣでは、ビットストリームを別様に符号化することにより圧縮効率を改善するために、複数の符号化ツールが提供される。例えば、各符号化ツールは、圧縮されたビットストリーム内の１つの符号化モードとして表現することができる。符号化モードの選択は、客観的なレート／歪（Ｒ／Ｄ）性能に着目する。例えば、性能は、同一のビットレートを使用してより良好なピークＳＮ比（ＰＳＮＲ）を得ること、又はより低いビットレートを使用して同一のＰＳＮＲを維持することによって評価される。

Ｒ／Ｄ手法を使用することにより、圧縮効率を有意に改善することができる。しかし、客観的に効率的であることは、人間のユーザが視覚的に満足すると見なされない場合がある。例えば、人間の目は、ビデオが客観Ｒ／Ｄ手法を使用して圧縮されていたとしても、符号化されたビデオ内の歪に悩まされる場合がある。

一実施形態では、符号化されたビデオシーケンスの視覚的品質を改善する符号化モード選択方法が提供される。符号化モードは、人間の視覚的許容度レベルに基づいて選択される。画像データは、ビデオ符号化処理のために受信することができる。次に、画像データは、人間の視覚的許容度調節情報を判断するために分析される。例えば、コスト方程式のパラメータは、人間の視覚系が許容できる歪限界に基づく許容度とすることができる人間の視覚的許容度レベルに基づいて調節することができる。

画像データは、トレーリング疑惑領域、ストライピング疑惑領域、画像境界領域、及び／又はブロッキング疑惑領域のような視覚的に敏感な領域と考えられる場所で分析することができる。どのような種類の視覚的敏感領域が画像データ中に検出されるかに応じて、コスト方程式内のパラメータは、異なる視覚的許容度閾値に基づいて調節することができる。コスト方程式内のパラメータが調節された状態で、ビデオ符号化処理のコストが計算される。次に、符号化モードは、このコストに基づいて判断される。従って、判断される符号化モードは、人間の視覚的許容度レベルに基づいて調節されたコスト方程式を使用して選択される。
本明細書に開示する特定的な実施形態の特質及び長所の更なる理解は、本明細書の残りの部分及び添付図面を参照することにより達成することができる。

概要
図１は、一実施形態による符号化器１００の実施例を示している。符号化器１００は、視覚的許容度パラメータ調節器１０２、コスト推定器１０４、及び符号化ツール選択器１０６を含む。
画像データは、符号化器によって受信しかつ符号化することができる。画像データは、あらゆるデータであってよく、またマクロブロックで構成することができる。符号化器１００は、ビデオ符号化規格を使用してマクロブロックを符号化することができる。一実施形態では、Ｈ．２６４／ＡＶＣが、符号化器１００により使用される。Ｈ．２６４／ＡＶＣが説明されているが、いずれかの「エムペグ（ＭＰＥＧ）」規格のような他の符号化規格を使用することができることは理解されるであろう。

視覚的許容度パラメータ調節器１０２は、画像データを分析し、コスト方程式内のパラメータを調節すべきか否かを判断することができる。コスト方程式は、符号化処理中で使用される符号化モードを判断するために使用されるいずれかの基準とすることができる。例えば、使用する値を定量化することができるあらゆる方程式は、どの符号化モードを使用することができるかを判断する。より詳細に以下で説明するように、トレーリング疑惑領域、ストライピング疑惑領域、又は画像境界領域のような視覚的敏感領域が分析され、コスト方程式内のパラメータを調節すべきであるか否かを判断することができる。分析においては、画像データに関する情報は、視覚的許容度閾値と比較することができる。比較結果に応じて、パラメータを調節することができる。

コスト推定器１０４は、符号化処理の符号化コストを推定する。推定されたコストは、画像データを符号化するために使用される符号化モードを選択するために使用される。異なる符号化モードを使用した画像データの符号化は、異なる視覚的品質に加えて異なる圧縮結果を生じる可能性がある。例えば、アーチファクト（歪画像）が、符号化処理から生じる可能性がある。このアーチファクトは、トレーリィングアーチファクト、ストライピングアーチファクト、又は画像境界アーチファクトを含むことができる。これらのアーチファクトは、人間の視覚系に対して（すなわち、符号化されたデータの復号後の表示画像を見る人間に対して）視覚的に不快である場合がある。使用される符号化モードは、アーチファクトを現出する又は悪化させる場合がある。従って、特定的な実施形態では、使用される符号化モードを人間の視覚的許容度レベルに基づいて判断する。人間の視覚的許容度レベルは、人間の視覚系が許容できると考えられる歪レベルとすることができる。例えば、実験において、ユーザは、許容できる歪レベルを判断することを試される。このレベルは、画像の領域（マクロブロック）に対する歪の限界として使用される。人間の視覚的許容度レベルは、歪限界より大きな歪をもたらす符号化ツールではなく、歪限界より小さい歪をもたらす符号化ツールを選択するために使用される。従って、人間の視覚的許容度レベルより小さい歪をもたらす符号化ツールが選択され、符号化に使用される。この処理は、符号化処理がもたらす視覚的アーチファクトを低減することができる。符号化モードは、符号化処理におけるレート／歪を最適化することはできないが、視覚的な体験は、ユーザに対してより良いものと考えられる。

どのように視覚的アーチファクトが生じる場合があるかの例を最初に説明し、次に、特定的な実施形態が符号化モードを選択して、アーチファクトの存在を最小にする方法のための処理を説明する。一実施例では、各マクロブロックに対して、符号化モードに対する符号化コストは、式１を使用して計算することができる。

式（１）において、ＱＰは、量子化スケールを表し、λは、量子化スケールに依存するパラメータである。レート及び歪も既知であり、符号化処理のビットレート及び歪である。量子化スケールが大きくなると、λの値が大きくなる。可変のλは、歪と使用されるビットレートの均衡を取るために重要な役割を演じることができる。例えば、２つの符号化モードが存在し、符号化モード１が、歪１及びレート１の値を導き、また、符号化モード２が、歪２及びレート２の値をもたらすことを考えた場合、次式を満足することができる。

すなわち、ｃｏｄｉｎｇ＿ｃｏｓｔ１＝ｃｏｄｉｎｇ＿ｃｏｓｔ２であり、これは、符号化モード１の符号化コストが、符号化モード２の符号化コストに等しいことを意味する。一実施例では、符号化モード１が、より大きな歪を導き、すなわち、λ（ＱＰ）が歪２より大きいとしても、常に選択される。λ（ＱＰ）があまりにも大きい場合、視覚的に不快にするアーチファクトが生じる可能性がある。従って、視覚的許容度レベルが、パラメータ（すなわち、λ）を調節すべきであることを示していると判断された場合、パラメータλは、視覚的許容度パラメータ調節器１０２により調節することができる。これは、歪を低減し、視覚的に不快にするアーチファクトをより少なくもたらすことができる。

ＡＶＣにおいては、イントラ符号化は、多数の予測モード（すなわち、予測方向）をサポートする。周囲条件に応じて、１つのモードは、別のモードよりも少ないビットを使用することができる。このモードは、最確モードと呼ばれる。従来のレート／歪符号化モード選択に基づいて、以下の式（２）は、各モードのイントラ符号化コストを計算するために使用することができる。

上述の式において、ＳＡＤは、絶対差の和を表し、ＳＡＴＤは、絶対変換差の和を表している。式（２）において、バイアス（ＱＰ）が大きい場合、視覚的に不快にするアーチファクトが生じる可能性がある。従って、視覚的許容度パラメータ調節器１０２は、視覚的アーチファクトが視覚的許容度閾値に基づいて生じる可能性があることが判断された時、バイアスパラメータを調節することができる。これは、視覚的に不快にするアーチファクトの存在を低減することができる。

次に、コスト推定器１０４は、コストを判断する。例えば、式（１）及び／又は式（２）は、コストを推定するために使用することができる。視覚的許容度パラメータ調節器１０２が、視覚的許容度に基づいてパラメータを調節することができるので、各符号化モードに対するコストは、人間の視覚的許容度レベルに基づいている。すなわち、コストは、人間の視覚的許容度レベルより低い歪レベルを提供することができる符号化ツールが選択されるように調節される。従って、コストは、客観レート／歪法を使用することと異なる可能性がある。

次に、符号化ツール選択器１０６は、符号化モードを選択する。例えば、異なる符号化モードを、ビデオ符号化処理中に達成することができる。一実施例では、ＡＶＣにおいて、異なる符号化ツールは、異なる符号化モードを提供することができる。符号化モードは、マクロブロック内の異なる大きさのサブブロック予測、異なる予測方向、又は他の変形を使用して画像データを符号化することができる。当業者は、異なる符号化モードを使用することができることを認めるであろう。

図２は、一実施形態による符号化器１００のより詳細な例を示している。異なる種類の画像データが、受信される可能性がある。一実施形態では、異なる画像データは、別様に処理することができる。例えば、アニメーションビデオシーケンス及び自然なビデオシーケンスは、別様に処理することができる。ビデオ形式判断器２０２は、画像データを分析して、その形式を判断することができる。一実施形態では、画像データは、アニメーション又は自然ビデオとして分類することができる。アニメーション及び自然動画を説明するが、他のビデオ形式を見分けることもできることが理解されるであろう。ビデオ形式に応じて、許容度レベル選択器２０４は、視覚的許容度レベルを選択する。異なる視覚的許容度レベルは、異なるビデオ形式に対して判断することができる。一実施例では、アニメーションシーケンスの視覚的許容度レベルは、自然ビデオシーケンスに対する視覚的許容度レベルより低くすることができる。低い視覚許容度レベルは、人間の視覚系が、符号化処理がもたらすあらゆるアーチファクトに対してより敏感である可能性があることを意味する。選択された視覚許容度レベルに基づいて、１組の閾値を判断することができる。これらの閾値は、生じる可能性がある異なる視覚的アーチファクトに対して異なるであろう。

ビデオ形式の判断に加えて、画像形式判断器２０６は、画像形式を判断するために使用される。一実施例では、画像形式が、イントラ画像又はインター画像であることを判断することができる。現在の画像（例えば、マクロブロック）は、公知のように、イントラ符号化又はインター符号化を使用して符号化することができる。ここで、処理は、マクロブロック処理と呼ぶことができるが、画像データが、あらゆるデータセットである可能性があることは解されるであろう。マクロブロックは、画像データの一部とすることができる。マクロブロックが、イントラマクロブロックとして符号化される場合、視覚的敏感領域に対する異なる分析は、現在画像がインター画像であると判断された場合に使用することができる。

視覚的アーチファクト分析器２０７は、マクロブロックを分析するように構成され、マクロブロックが、視覚的アーチファクトの１つ又はそれよりも多くに影響を受けるか否かを判断する。イントラ画像に対して、ストライピング分析器２０８は、マクロブロックが、ストライピングアーチファクトに影響される可能性があるか否かを判断することができる。境界マクロブロック検出器２１０は、マクロブロックが、画像境界アーチファクトに影響されるか否かを判断することができる。また、画像がインター画像であることが判断された場合、トレーリング分析器２１２は、マクロブロックが、トレーリングアーチファクトに影響されるか否かを判断するように構成される。また、ストライピング分析器２１４は、マクロブロックが、ストライピング分析器２０８と同様にストライピングアーチファクトに影響されるか否かを判断する。

実行された異なる分析に応じて、異なる視覚的許容度パラメータを調節することができる。ストライピングストライピング分析器２０８は、マクロブロックを分析して、これがストライピングアーチファクトに影響されるか否かを判断する。ストライピングアーチファクトは、人間の視覚系に対して縞のように見える場合がある、ある一定の不自然なパターンが１つの方向に沿って繰り返されている場所である。マクロブロックがストライピングアーチファクトに影響される可能性があることをストライピング分析器２０８が判断した場合、式（２）における方向バイアス（ＱＰ）パラメータは、視覚的許容度閾値に従って調節することができる。例えば、方向バイアス調節器２１６は、許容度レベル選択器２０４から視覚的許容度閾値を受信することができる。次に、バイアス（ＱＰ）パラメータは、視覚的許容度閾値に基づいて調節することができる。この処理をより詳細に以下で説明する。

境界マクロブロック検出器２１０は、マクロブロックを分析して、画像境界アーチファクトに影響されるか否かを判断する。これらのアーチファクトは、画像の画像境界に沿って目立つ可能性がある（例えば、表示画面上の上部／下部又は側部上の画像の水平又は垂直の黒いバー）。マクロブロックが画像境界マクロブロックとして検出されることを境界マクロブロック検出器２１８が判断した場合、量子化パラメータ（ＱＰ）調節器２１８は、視覚的許容度閾値に基づいて量子化スケールを調節することができる。例えば、ＱＰ調節器２１８は、視覚的許容度閾値を許容度レベル選択器２０４から受信し、この閾値に基づいて量子化スケールを調節することができる。

画像がインター画像である場合、画像内のマクロブロックは、インターマクロブロック又はイントラマクロブロックのいずれとして符号化することができる。インターマクロブロックに対しては、トレーリング分析器２１２は、マクロブロックがトレーリングアーチファクトに影響されるか否かを判断する。トレーリングアーチファクトは、ビデオシーケンスが表示された時、ある一定の不自然な移動パターンが観測される場所であるとすることができる。トレーリングアーチファクトが発生する可能性がある場合、式（１）内のλパラメータは、視覚的許容度閾値に基づいて調節することができる。例えば、λアダプタ２２０は、視覚的許容度閾値を許容度レベル選択器２０４から受信し、これに基づいてλ値を調節する。

イントラマクロブロックに対しては、ストライピング分析器２１４は、マクロブロックが、ストライピングアーチファクトに影響される可能性があるか否かを判断する。影響される場合、方向バイアス調節器２２２は、視覚的許容度閾値に基づいてパラメータバイアス（ＱＰ）を調節することができる。この場合、視覚的許容度閾値は、許容度レベル選択器２０４から受信することができ、バイアスが調節される。また、オフセット加算器２２４は、マクロブロック中にフィルム粒子条件が存在する場合、各方向に対してオフセットを予測コストに加算する。すなわち、使用することができる各モードは、コストがイントラ符号化されたフィルム粒子マクロブロックに対してより高くなるように、オフセットをそれに加えることができる。

次に、コスト推定器２２６は、マクロブロックを符号化するために使用することができる各符号化モードに対するコストを推定する。例えば、各符号化モードは、コストを計算するために式（１）及び／又は式（２）を使用することができる。パラメータに対する調節は、コスト推定の中で使用することができる。パラメータ値の一部は、コスト計算が実行される以前に調節される。例えば、マクロブロックが、ストライピングアーチファクトに影響されることが判断された場合、バイアスを調節することができる。量子化パラメータ及びλのような他のパラメータは、調節することができない。従って、コスト推定器２２６は、調節された方向バイアスを使用して各異なるモードに対するコストを推定することができる。次に、コスト推定器２２６は、符号化モード選択器２２８にコストを出力する。
次に、符号化モード選択器２２８は、符号化モードを選択するように構成される。例えば、最低コストを達成する符号化モードを選択することができる。次に、マクロブロックは、選択された符号化モードを使用して符号化することができる。

以下の各節では、異なる視覚的敏感領域の判断について分析し、調節される視覚的許容度パラメータを示している。第１節では、トレーリングアーチファクトを分析し、第２節では、ストライピングアーチファクトを分析し、また第３節では、画像境界検出を分析する。

トレーリングアーチファクト
トレーリングアーチファクトでは、人間の視覚系は、ビデオシーケンスが表示された時、インター画像内のある一定の不自然な動きを認識することができる。例えば、無地の黒い背景のような平坦な背景が示され、かつ場面が動く時、トレーリングアーチファクトが背景中で動いているのを見ることができる。一実施例として、壁の上に点がある場合、画像のシーケンスが動きを示す時、人間は、点が動いているのを見ることができる。

一実施形態では、トレーリングアーチファクトは、通常は、省略モード又は全てゼロ係数のマクロブロックの選択により生じる。省略モードは、複写予測がマクロブロックに対して使用される場合である。すなわち、同一のマクロブロックを別のマクロブロックに対して複写又は使用することができる。平坦な領域は、質感が低いので、省略モード及び／又は全てゼロ係数マクロブロックを選択する可能性が非常に高い。また、非常に弱いエッジを有するマクロブロックも、弱いエッジを含むマクロブロックが省略モードにより符号化することが適切であるので、トレーリングアーチファクトにより影響されやすい。基準マクロブロックと現在のマクロブロックの間の不整合は、トレーリングアーチファクトを生じる可能性がある。一実施例では、量子化スケールを低減することができる。しかし、省略モードが使用され、かつその量が十分に低減されない場合、アーチファクトは除去されない。また、低減される量が大きすぎる場合、そのコストは、あまりに多くのビットが使用されることである。

トレーリングアーチファクトは、非常に小さな残差誤差で伝播する場合がある。インターモードが選択された時、予測誤差は画像毎に独立である。これは、イントラモードが誤差伝播を防止することができることを意味する。更に、インター予測の性質により、復号されたマクロブロックは、均一な分布を有する。従って、小さいトレーリングアーチファクトに似たテクスチャ分布を発生する可能性は、イントラ符号化されたマクロブロックに対しては非常に小さい。従って、イントラモードは、インター画像内のトレーリング疑惑領域中で使用すべきである。すなわち、トレーリング分析器２１２は、画像がトレーリングアーチファクトを含む可能性があるか否かを判断するために使用することができる。

図３は、一実施形態によるトレーリングアーチファクト検出及び視覚的許容度パラメータ調節の例を示している。段階３０２において、分散検出が実行される。例えば、８×８分散が抽出される。分散は、画像内のコントラストを反映することができる。
段階３０４において、最小及び最大分散が、分散検出から抽出される。閾値ＴＨ１は、トレーリングアーチファクトの可能性が高いか否かを判断するために使用される。段階３０６において、最小分散が、第１の閾値（ＴＨ１）と比較される。最小分散が第１の閾値より大きい場合、トレーリングアーチファクトの可能性が非常に小さい事が判断される。従って、式（１）を使用して標準の符号化コスト推定を適用することができる。従って、パラメータは、この場合、視覚的許容度レベルに基づいて調節することはできない。

最小分散が第１の閾値に等しいか又は小さい場合、現在のマクロブロックは、トレーリングアーチファクトに影響される可能性がある。次に、段階３０８において、最大分散が、第２の閾値（ＴＨ２）と比較される。最大分散が第２の閾値より大きい場合、段階３１０において、視覚的許容度閾値が選択される。例えば、視覚的許容度閾値は、図２の許容度レベル選択器２０４から受信される２つの事前に生成された閾値から選択することができる。一実施例では、マクロブロックが弱いエッジを有する場合、小さい許容度レベルが選択される。現在のマクロブロックが強いエッジを有する場合、大きい許容度レベルが選択される。弱いエッジは、コントラストがエッジに沿って弱い場所であり、また強いエッジは、エッジに沿ってコントラストが明確に異なる場所である。強いエッジを有するマクロブロックに対する動き推定は、弱いエッジを有するマクロブロックより正確である可能性がある。弱いエッジを有するマクロブロックと比較して、強いエッジのマクロブロック内にトレーリングアーチファクトを有する可能性は少ない。従って、異なる許容度レベルが使用されるが、使用しなくてもよい。

次に、段階３１２において、式（１）内のパラメータλは、選択された視覚的許容度閾値に基づいて調節することができる。例えば、λ（ＱＰ）は、選択された視覚的許容度閾値と比較される。λ（ＱＰ）が、選択された視覚的許容度閾値より大きい場合、λ（ＱＰ）は、選択された視覚的許容度閾値の値でリセットされる。しかし、λ（ＱＰ）が、選択された視覚的許容度閾値より大きくない場合、λ（ＱＰ）は、変更せず維持することができる。λ（ＱＰ）の値は、この値が、トレーリングアーチファクトの存在を低減することができるので、この値が視覚的許容度閾値より大きい場合には視覚的許容度閾値にリセットされる。閾値が歪限界である場合、λ（ＱＰ）の値の調節は、歪限界よりも小さい歪になる符号化ツールを選択することができる。

段階３０８に戻って、最大分散が第２の閾値より大きくない場合、段階３１４において、周辺の動き検査が実行される。周辺の動き検査は、動きについて周辺のマクロブロックを検査することができる。例えば、マクロブロックは、現在のマクロブロックより前に符号化されるか又は復号されている可能性がある。これらのマクロブロックを分析して、いずれかの周辺のマクロブロックが、第３の閾値（ＴＨ３）より大きい動き及び第４の閾値（ＴＨ４）より大きい１６×１６分散を有するか否かを判断することができる。例えば、検査は、いずれかの周辺のマクロブロックが、閾値より大きい動きがある可能性があるか否かを判断することである。これは、背景が平坦ではなく動いている可能性があることを示している。従って、トレーリングアーチファクトの可能性が高い。

この場合、段階３１６において、周辺のマクロブロックが、閾値ＴＨ３より大きな動き及び閾値ＴＨ４より大きな分散を有する場合、視覚的許容度レベルが調節される。例えば、次式を許容度閾値を選択するために使用することができる。

Ｖ１がＶ２より少なくない場合、Ｔｏｌｅｒａｎｃｅ_INTRA＝Ｔｏｌｅｒａｎｃｅ_INTER＝Ｖ２である。Ｖ１及びＶ２は、経験的に視覚的閾値として得られる２つの定数である。

段階３１８において、予測精度検査が実行される。これは、動き予測が元の許容度閾値に等しいか又は小さいか否かを検査する。元の許容度閾値に等しいか又は小さい場合、λ（ＱＰ）は、段階３１２において変更することができない。予測歪が視覚的許容度レベルより大きい場合、λ（ＱＰ）は、視覚的許容度閾値と比較され、大きい場合には、λ（ＱＰ）は、視覚的許容度閾値の値としてリセットされる。

段階３０２に戻って、処理はまた、純粋平坦検査を実行することができる段階３２０に分岐することができる。純粋平坦検査は、分散がゼロであるか否かを見るために検査する。これは、背景が、真黒である可能性があることを意味する。この場合、人間の視覚系は、歪が非常に小さいことを観察することができるであろう。
この場合、段階３１６において、許容度レベルをゼロに設定し、すなわち、ｔｏｌｅｒａｎｃｅ_intraをゼロに設定することができる。次に、段階３１８及び３１２を上述のように実行することができる。しかし、この場合、許容度閾値がゼロである場合があるので、λ（ＱＰ）は、常にゼロに設定される。許容度閾値がゼロであるので、λ（ＱＰ）は閾値より大きくなり、常にゼロに設定される。この場合、トレーディングアーチファクトを有する可能性が高く、従って、許容度閾値は、トレーリングアーチファクトが存在する可能性を低めるためにゼロに設定される。
λ（ＱＰ）が、段階３１２において調節された後、段階３２２において、符号化コスト推定が実行される。符号化コスト推定は、調節されたλパラメータを使用して実行される。

ストライピングアーチファクト
図４は、一実施形態によるストライピングアーチファクトを検出する段階及び視覚的許容度パラメータを調節する段階の流れ図の例を示している。ストライピングアーチファクトは、ある方向に繰り返されるある一定の不自然なパターンを人間の視覚系が見る時に発生する場合がある。例えば、縞が、水平及び垂直方向に発生する可能性がある。一実施例では、ストライピングアーチファクトは、Ｉ画像中に発生し、次にその後のＰ及びＢ画像に伝播する可能性がある。

ストライピングアーチファクトは、通常は、平坦な領域、フィルム粒子領域、又はマクロブロック内の鋭敏なエッジに発生する場合がある。平坦な領域は、黒のような単色である領域であると考えられる。フィルム粒子領域は、粒子が粗く、多数の斑点を含む領域であると考えられる。エッジは、一部が黒であり、他の部分が明るい色のような異なる色であるようなエッジをマクロブロック中に含む場所である。

ストライピングアーチファクトは、不適切な符号化モード選択により生じる場合がある。平坦な領域では、各予測方向（符号化モード）は、類似の予測歪（ＳＡＤ／ＳＡＴＤ）を有する場合がある。従来のＲ／Ｄ型の方法は、最も可能性があるモードに強くバイアスされる。従って、同一の符号化モードは、ある方向に沿って繰り返される場合がある。予測が完全ではなく、量子化が残差を再生することができない場合、同一のパターンは、ある方向に沿って繰り返されることになる。ストライピングアーチファクトはまた、量子化スケールがあまり小さくない場合、フィルム粒子領域又は鋭敏なエッジ領域上に発生する場合がある。例えば、鋭敏なエッジ領域では、マクロブロックの一部が黒一色であり、他の部分がそうでない場合、一部の黒は、エッジを超えて他の領域中に漏れる場合がある。また、フィルム粒子領域では、粒子の粗いパターンは、量子化が十分に小さくない場合に縞になる場合がある。

図４は、一実施形態によるストライピングアーチファクト処理に対する流れ図４００を示している。図４では、各マクロブロックは、それが平坦なマクロブロック、フィルム粒子マクロブロック、又はエッジマクロブロックであるか否かを判断するために検査される。マクロブロックが、これらの３つのマクロブロックのいずれかである場合、予測精度を検査することができ、パラメータバイアス（ＱＰ）を調節することができる。マクロブロックが、３つのいずれにも属していない場合、パラメータバイアス（ＱＰ）は変更されずに維持される。
段階４０２において、マクロブロック分散検出が実行される。小さい分散がある場合、マクロブロックが平坦であると判断することができる。従って、段階４０４において、平坦性検査が実行される。マクロブロックが平坦である場合、予測精度が、段階４１２において検査される。この処理を以下に説明する。

フィルム粒子検査も実行される。段階４０６において、マクロブロック平均絶対差（ＭＡＤ）検出が、ＭＡＤを計算するために実行される。段階４０８において、フィルム粒子条件検査が実行される。この場合、１６×１６分散が、第１の閾値（Ｆ１）より少なく、かつ第２の閾値（Ｆ２）より大きい場合、マクロブロック平均絶対差（ＭＡＤ）条件検査が実行される。分散が２つの閾値内にない場合、マクロブロックは、フィルム粒子マクロブロックではないと見なされる。

現在のマクロブロックの平均絶対差に対して条件が検査される。一実施例では、マクロブロックがフィルム粒子マクロブロックであるか否かを判断するために、以下の式を使用することができる。

ＭＢ＿Ｖａｒは、マクロブロック分散、ＭＢ＿Ｍａｄは、マクロブロックに対するＭＡＤ、またｃ１及びｃ２は、定数である。式の左辺が右辺より大きい場合、現在のマクロブロックは、フィルム粒子マクロブロックとは見なされない。このフィルム粒子マクロブロック検出方法を提供するが、他の検出方法を使用することもできることが理解されるであろう。マクロブロックが、フィルム粒子マクロブロックと見なされる場合、処理は段階４１２に進み、次に、予測精度検査が実行される。

ここで、エッジ検出を以下に説明する。段階４１０において、エッジ検出が実行される。この場合、エッジがマクロブロック中に検出された場合、マクロブロックは、エッジマクロブロックであると判断される。従って、段階４１２に進む。
マクロブロックが、平坦なフィルム粒子又はエッジマクロブロックである場合、段階４１２において、予測精度検査が実行される。予測歪（ＳＡＤ／ＳＡＴＤ）が視覚的許容度閾値より小さい場合、この検査は、バイアス（ＱＰ）を段階４１４において調節すべきであることを示している。予測歪が視覚閾値より大きい場合、ストライピングアーチファクトが生じる場合がある。段階４１４において、パラメータバイアス（ＱＰ）が、視覚的許容度閾値と比較される。視覚的許容度レベルは、マクロブロックが、平坦なフィルム粒子又はエッジマクロブロックと見なされるか否かに応じて異なる場合がある。視覚的許容度レベルが視覚的許容度閾値より大きい場合、これは、この視覚的許容度閾値にリセットされる。大きくない場合、バイアス（ＱＰ）は、そのまま残される。
段階４１６において、調節されたバイアス（ＱＰ）を使用して、符号化コストが推定される。符号化コストは、マクロブロックがどの型と見なされたかに応じて異なるであろう。

画像境界
ここで、画像境界アーチファクト検出を以下に説明する。多くのビデオシーケンス、特に映画シーケンスでは、各画像の側部又は上部／下部に沿って縞状の黒い境界がある。これらは、いかなる情報も含まないが、符号化器１００は、これらを符号化し、かつこれらを鋭敏なエッジとして取り扱わざるを得ない。鋭敏なエッジ境界に沿った領域が滑らかである場合、垂直モードは、左側及び右側境界に対する最良のイントラモードであり、また水平モードは、常に上部及び下部境界に対する最良のイントラモードである。低ビットレートでは、下部マクロブロックは、垂直の縞の上部マクロブロックと完全に同一のパターンを複写し、また右側のマクロブロックは、水平に縞内の左側マクロブロックから完全に同一のパターンを複写することができる。この場合、人間の視覚系は、境界マクロブロックとその近くのマクロブロックの間の差を見ることができる。画像境界アーチファクト問題を避けるために、画像境界マクロブロックを検出することができ、量子化スケールを低減することができる。これは、符号化がもたらす場合がある視覚的に不快にするアーチファクトを低減することができる。

画像内の各マクロブロック列に対して、画像の左側から始まる第１のＮ個の左側マクロブロックが検査される。Ｎは、４より小さい整数の定数とすることができる。段階５０３において、各８×８ブロックの８×８分散が計算され、最小及び最大分散が抽出される。
第１の選択されたマクロブロックに対して、最大８×８分散が大きな閾値（Ｂ１）よりも大きく、かつ最小８×８分散が小さな閾値（Ｓ１）より小さい場合、境界マクロブロックであることが判断される。これは、分散が、マクロブロックの一部が平坦であり、かつ別の部分が高いコントラスト（例えば、黒以外の縞）を有することを示すためである。画像の右側内のマクロブロック、及び検出されたマクロブロックに対して中心対称マクロブロックも検査することができる。これらのマクロブロックがこれらの基準に適合する場合、これらは、境界マクロブロックとして表すことができる。現在の列内の全ての他のマクロブロックは、非境界マクロブロックとして示すことができる。

第１のマクロブロックの最大８×８分散が閾値Ｂ１より小さい場合、境界マクロブロックが検出されるか又は現在の列内の全てのマクロブロックが検査されるまで、次のＮ−１マクロブロックは、上述のように同一の手順を使用して検査される。
全てのＮ個の左のマクロブロックが境界マクロブロックでない場合、Ｎ個の右のマクロブロックが、画像の右側から検査される。各右側マクロブロックに対して、最大８×８分散が大きな閾値Ｂ２より大きく、かつ最小８×８分散が小さい閾値Ｓ２より小さい場合、それは、境界マクロブロックであると判断される。現在の列内の全ての他のマクロブロックは、非境界マクロブロックとして示される。
第１のマクロブロックの最大８×８分散が閾値Ｂ１より小さい場合、境界マクロブロックが検出されるか又は全てのＮ個の右側マクロブロックが検査されるまで、次のＮ−１の右側マクロブロックは、段階５１０において示された手順を使用して検査される。以下の手順は、全ての列が検査されるまで実行することができる。

水平の帯の検出（上部及び下部マクロブロック）は、上記手順を使用して実行することができる。検出された境界マクロブロックに対して、イントラＤＣモードが選択されず、イントラ予測コスト（ＳＡＤ／ＳＡＴＤ）が閾値より大きい場合、現在の量子化スケールは、量子化パラメータ値のような視覚的許容度閾値と比較される。現在の量子化スケールが量子化パラメータ値より大きい場合、現在のマクロブロックは、量子化スケールとして予め選択された量子化パラメータ値として視覚的許容度閾値を使用する。量子化スケールが、視覚的許容度閾値より大きくない場合、量子化スケールは変更されない。
境界マクロブロックの品質は、量子化スケールが、予め選択された量子化パラメータ値より大きく、予め選択された量子化パラメータであるように変更される場合、いかなるアーチファクトも見ることができないように改善することができる。量子化スケールが、予め選択された量子化パラメータより小さい場合、いかなるアーチファクトも見られないと考えられることが予想される。

結論
従って、特定的な実施形態は、視覚的敏感領域を検出し、人間の視覚的許容度レベルに基づいて符号化モードを調節する。これは、画像シーケンスに含まれる視覚的に不快にするアーチファクトを少なくする。従って、視聴体験は、ユーザにとってより快適であると考えられる。
説明は、特定的な実施形態に関して行ったが、これらの特定的な実施形態は、単に例示であり、制限するものではない。Ｈ．２６４／ＡＶＣを説明したが、他の符号化仕様を使用することもできる。

Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、アセンブリ言語などを含むあらゆる適切なプログラミング言語を特定的な実施形態のルーチンを実施するために使用することができる。プロシージャ又はオブジェクト指向のような異なるプログラミング技術を用いることもできる。ルーチンは、単一の処理装置又は複数のプロセッサ上で実行することができる。段階、作動、又は計算は、特定の順序で表現しているが、この順序は、異なる特定的な実施形態において変更することができる。一部の特定的な実施形態では、本明細書中では順番に示されている複数の段階を同時に実行することができる。

特定的な実施形態の目的のための「コンピュータ可読媒体」は、命令実行システム、装置、システム、又はデバイスによる又はそれに関連した使用のためのプログラムを収容し、記憶し、通信し、伝播し、又は搬送することができるあらゆる媒体とすることができる。コンピュータ可読媒体は、例示のためのみであり、制限するものではなく、電子的、磁気的、光学的、電磁気的、赤外線、又は半導体システム、装置、システム、デバイス、伝播媒体、又はコンピュータメモリとすることができる。特定的な実施形態は、ソフトウエア、ハードウエア、又は両方の組合せにおける制御論理の形で実施することができる。制御論理は、１つ又はそれよりも多くのプロセッサで実行される時、特定的な実施形態で説明したものを実行するように作動可能とすることができる。

特定的な実施形態は、プログラムされた汎用デジタルコンピュータを使用して実施することができ、特定用途集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、光学的、化学的、生物学的、量子又はナノ加工システム、構成要素、及び機構を使用することができる。一般的に、特定的な実施形態の機能は、当業技術で公知のあらゆる手段によって達成することができる。分散型ネットワーク化システム、構成要素、及び／又は回路を使用することができる。データの通信又は転送は、有線、無線、又はあらゆる他の手段によることができる。

図面／図に示す要素の１つ又はそれよりも多くは、特定の用途に有用であるように、より分離された又は統合された方法で実施するか、又はある一定の場合には除去するか又は作動不能にすることさえもできることも認められるであろう。また、コンピュータに上述の方法のいずれかを実行させるように機械可読媒体に記憶することができるプログラム又はコードを実施することは、本発明の精神及び範囲内である。

本明細書の説明及び特許請求の範囲を通して使用される「ａ」、［ａｎ」、及び「ｔｈｅ」は、文脈が明確にそうでないことを示さない限り、複数の参照を含む。また、本明細書の説明及び特許請求の範囲を通して使用される「ｉｎ」の意味は、文脈が明確にそうでないことを示さない限り、「ｉｎ」及び「ｏｎ」を含む。
すなわち、特定的な実施形態を本明細書で説明したが、以上の開示において修正、様々な変更、及び置換の自由が意図されており、一部の場合では、特定的な実施形態の一部の特徴は、説明した本発明の範囲及び精神を逸脱することなく、他の特徴の対応する使用なしに用いられることになることが認められるであろう。従って、特定の状況又は材料を本質的な範囲及び精神に適応させる多くの修正を行うことができる。

一実施形態による符号化器の例を示す図である。 一実施形態によるより詳細な符号化器の例を示す図である。 一実施形態によるトレーリングアーチファクト検出及び視覚的許容度パラメータ調節の例を示す図である。 一実施形態によるストライピングアーチファクトを検出する段階及び視覚的許容度パラメータを調節する段階の流れ図の例を示す図である。

符号の説明

１００ 符号化器
１０２ 視覚的許容度パラメータ調節器
１０４ コスト推定器
１０６ 符号化ツール選択器

Claims (24)

1. ビデオ符号化処理のための符号化ツールを選択する方法であって、
   ビデオ符号化処理のための画像データを受信する段階と、
   前記ビデオ符号化処理で発生する場合がある視覚的アーチファクトに対する人間の視覚的許容度レベルに基づいて判断される人間の視覚的許容度調節情報を判断するために、前記画像データを分析する段階と、
   前記人間の視覚的許容度調節情報に基づいて前記ビデオ符号化処理に対するコストを計算し、該計算されたコストに基づいて符号化ツールを選択する段階と、
   前記コストを判断するのに使用されるコスト推定におけるパラメータを、前記人間の視覚的許容度調節情報に基づいて調節する段階と、
   を含み、前記調節されたパラメータは、次式：
   

   

   中にλ（ＱＰ）パラメータを含んでおり、ここで、ＱＰは、量子化スケールを表し、λは、該量子化スケールに依存するパラメータであり、歪は、前記符号化処理の歪であり、レートは、該符号化処理のビットレートであることを特徴とする方法。
2. 前記パラメータは、視覚的閾値に基づいて調節されることを特徴とする請求項１に記載の方法。
3. 前記画像データを分析する段階は、視覚的に敏感な領域が該画像データに存在するかを判断する段階を含むことを特徴とする請求項１に記載の方法。
4. 前記画像データを分析する段階は、ストライピングアーチファクト疑惑領域、トレーリングアーチファクト疑惑、画像境界領域、及び／又はブロッキング疑惑領域が存在するかを判断する分析を実行する段階を含むことを特徴とする請求項３に記載の方法。
5. 前記符号化処理中に前記画像データで発生する場合がある視覚的アーチファクトが発生した時に検出する段階を更に含み、
   前記人間の視覚的許容度調節情報は、前記検出された視覚的アーチファクトに基づいて判断される、
   ことを特徴とする請求項１に記載の方法。
6. 異なる人間視覚的許容度調節情報が、歪限界に基づいて判断されることを特徴とする請求項５に記載の方法。
7. ビデオ符号化処理のための符号化ツールを選択する方法であって、
   ビデオ符号化処理のための画像データを受信する段階と、
   前記ビデオ符号化処理で発生する場合がある視覚的アーチファクトに対する人間の視覚的許容度レベルに基づいて判断される人間の視覚的許容度調節情報を判断するために、前記画像データを分析する段階と、
   前記人間の視覚的許容度調節情報に基づいて前記ビデオ符号化処理に対するコストを計算し、該計算されたコストに基づいて符号化ツールを選択する段階と、
   前記コストを判断するのに使用されるコスト推定におけるパラメータを、前記人間の視覚的許容度調節情報に基づいて調節する段階と、
   を含み、前記調節されたパラメータは、次式：
   

   

   中のバイアス（ＱＰ）パラメータであり、ここで、ＳＡＤは、絶対差の和であり、ＳＡＴＤは、絶対変換差の和であることを特徴とする方法。
8. 前記パラメータは、視覚的閾値に基づいて調節されることを特徴とする請求項７に記載の方法。
9. 前記画像データを分析する段階は、視覚的に敏感な領域が該画像データに存在するかを判断する段階を含むことを特徴とする請求項７に記載の方法。
10. 前記画像データを分析する段階は、ストライピングアーチファクト疑惑領域、トレーリングアーチファクト疑惑、画像境界領域、及び／又はブロッキング疑惑領域が存在するかを判断する分析を実行する段階を含むことを特徴とする請求項９に記載の方法。
11. 前記符号化処理中に前記画像データで発生する場合がある視覚的アーチファクトが発生した時に検出する段階を更に含み、
    前記人間の視覚的許容度調節情報は、前記検出された視覚的アーチファクトに基づいて判断される、
    ことを特徴とする請求項７に記載の方法。
12. 異なる人間視覚的許容度調節情報が、歪限界に基づいて判断されることを特徴とする請求項１１に記載の方法。
13. ビデオ符号化処理のための符号化ツールを選択するように構成された装置であって、
    １つ又はそれよりも多くのプロセッサと、
    前記１つ又はそれよりも多くのプロセッサによって実行するための論理が記憶された１つ又はそれよりも多くの有形媒体とを含み、
    前記論理は、実行された時に
    ビデオ符号化処理のための画像データを受信し、
    前記ビデオ符号化処理で発生する場合がある視覚的アーチファクトに対する人間の視覚的許容度レベルに基づいて判断される人間の視覚的許容度調節情報を判断するために前記画像データを分析し、
    前記人間の視覚的許容度調節情報に基づいて符号化ツールを選択する、
    ように作動可能であり、
    前記論理はさらに、実行された時に、前記人間の視覚的許容度調節情報に基づいて前記ビデオ符号化処理のためのコストを計算するように更に作動可能であり、前記符号化ツールを選択する段階は、該計算されたコストに基づくものであり、
    前記論理はさらに、実行された時に、前記人間の視覚的許容度調節情報に基づいて前記コストを判断するのに使用されるコスト推定におけるパラメータを調節するように更に作動可能であり、
    前記調節されたパラメータは、次式：
    

    

    中にλ（ＱＰ）パラメータを含み、ここで、ＱＰは、量子化スケールを表し、λは、該量子化スケールに依存するパラメータであり、歪は、前記符号化処理の歪であり、レートは、該符号化処理のビットレートであることを特徴とする装置。
14. 前記パラメータは、視覚的閾値に基づいて調節されることを特徴とする請求項１３に記載の装置。
15. 前記画像データを分析するように作動可能な論理は、実行された時に、視覚的に敏感な領域が該画像データに存在するかを判断するように更に作動可能である論理を含むことを特徴とする請求項１３に記載の装置。
16. 前記画像データを分析するように作動可能な論理は、実行された時に、ストライピングアーチファクト疑惑領域、トレーリングアーチファクト疑惑、画像境界領域、及び／又はブロッキング疑惑領域が存在するかを判断する分析を実行するように更に作動可能である論理を含むことを特徴とする請求項１５に記載の装置。
17. 前記論理は、実行された時に、前記符号化処理中に前記画像データで発生する場合がある視覚的アーチファクトが発生した時に検出するように更に作動可能であり、
    前記人間の視覚的許容度調節情報は、前記検出された視覚的アーチファクトに基づいて判断される、
    ことを特徴とする請求項１３に記載の装置。
18. 異なる人間視覚的許容度調節情報が、歪限界に基づいて判断されることを特徴とする請求項１７に記載の装置。
19. ビデオ符号化処理のための符号化ツールを選択するように構成された装置であって、
    １つ又はそれよりも多くのプロセッサと、
    前記１つ又はそれよりも多くのプロセッサによって実行するための論理が記憶された１つ又はそれよりも多くの有形媒体とを含み、
    前記論理は、実行された時に
    ビデオ符号化処理のための画像データを受信し、
    前記ビデオ符号化処理で発生する場合がある視覚的アーチファクトに対する人間の視覚的許容度レベルに基づいて判断される人間の視覚的許容度調節情報を判断するために前記画像データを分析し、
    前記人間の視覚的許容度調節情報に基づいて符号化ツールを選択する、
    ように作動可能であり、
    前記論理はさらに、実行された時に、前記人間の視覚的許容度調節情報に基づいて前記ビデオ符号化処理のためのコストを計算するように更に作動可能であり、前記符号化ツールを選択する段階は、該計算されたコストに基づくものであり、
    前記論理はさらに、実行された時に、前記人間の視覚的許容度調節情報に基づいて前記コストを判断するのに使用されるコスト推定におけるパラメータを調節するように更に作動可能であり、
    前記調節されたパラメータは、次式：
    

    

    中のバイアス（ＱＰ）パラメータであり、ここで、ＳＡＤは、絶対差の和であり、ＳＡＴＤは、絶対変換差の和であることを特徴とする装置。
20. 前記パラメータは、視覚的閾値に基づいて調節されることを特徴とする請求項１９に記載の装置。
21. 前記画像データを分析するように作動可能な論理は、実行された時に、視覚的に敏感な領域が該画像データに存在するかを判断するように更に作動可能である論理を含むことを特徴とする請求項１９に記載の装置。
22. 前記画像データを分析するように作動可能な論理は、実行された時に、ストライピングアーチファクト疑惑領域、トレーリングアーチファクト疑惑、画像境界領域、及び／又はブロッキング疑惑領域が存在するかを判断する分析を実行するように更に作動可能である論理を含むことを特徴とする請求項２１に記載の装置。
23. 前記論理は、実行された時に、前記符号化処理中に前記画像データで発生する場合がある視覚的アーチファクトが発生した時に検出するように更に作動可能であり、
    前記人間の視覚的許容度調節情報は、前記検出された視覚的アーチファクトに基づいて判断される、
    ことを特徴とする請求項１９に記載の装置。
24. 異なる人間視覚的許容度調節情報が、歪限界に基づいて判断されることを特徴とする請求項２３に記載の装置。

Images