JP7249417B2 - 適応的スパースフィルタリングを用いた画像のデバンディング - Google Patents

適応的スパースフィルタリングを用いた画像のデバンディング Download PDF

Info

Publication number
JP7249417B2
JP7249417B2 JP2021535667A JP2021535667A JP7249417B2 JP 7249417 B2 JP7249417 B2 JP 7249417B2 JP 2021535667 A JP2021535667 A JP 2021535667A JP 2021535667 A JP2021535667 A JP 2021535667A JP 7249417 B2 JP7249417 B2 JP 7249417B2
Authority
JP
Japan
Prior art keywords
image
stripe
pixel
output
tap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021535667A
Other languages
English (en)
Other versions
JP2022517305A (ja
Inventor
ガドギル，ニーラジ，ジェイ．
ソォン，チィン
スゥ，グワン‐ミーン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2022517305A publication Critical patent/JP2022517305A/ja
Application granted granted Critical
Publication of JP7249417B2 publication Critical patent/JP7249417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像全般に関する。より詳細には、本発明の一実施形態は、適応的スパースフィルタリングを用いて画像におけるバンディングアーティファクトを低減することに関する。
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（または明るさ：ｉｎｔｅｎｓｉｔｙ）（例えば、輝度、ルマ）（例えば、最暗のグレー（黒）から最明の白（ハイライト）まで）を知覚する能力に関連し得る。この意味では、ＤＲはシーン－リファード（ｓｃｅｎｅ－ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ－リファード（ｄｉｓｐｌａｙ－ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用され得る。
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４～１５桁にわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、視覚ダイナミックレンジ（ＶＤＲ）またはエンハンストダイナミックレンジ（ＥＤＲ）という用語は、個別に、または区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＶＤＲは、５～６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＶＤＲまたはＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。
実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされる。ＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。
ほとんどのコンシューマ用デスクトップディスプレイは現在、２００～３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマ用ＨＤＴＶは３００～５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ２）に達する。このような従来のディスプレイはしたがって、ＨＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ－４２００プロフェッショナルリファレンスモニタ）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。
本明細書において、「バンディング」（「カラーバンディング」とも呼ばれる）という用語は、変化する輝度の縞として同一の色の濃淡が表示される、イメージングおよび映像における視覚的アーティファクトのことを指す。目に見える場合、バンディングは目障りであり、低品質な符号化または低品質な表示を示すものであるとしばしば考えられている。本発明者らの理解によると、映像コンテンツ、特にＨＤＲコンテンツを表示する際にバンディングを低減するための改良技術が望まれる。
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
同様の部材に同様の参照符号を付した添付図面の各図において、本発明の一実施形態を限定する事なく例示する。
図１は、映像供給パイプラインのプロセス例を示す。
図２は、本発明の一実施形態におけるバンディングアーティファクトを低減するプロセス例を示す。
図３Ａは、本発明の一実施形態における、画像縞を決定するためのプロセス例を示す。
図３Ｂは、本発明の一実施形態における、バンディングを緩和するプロセス例を示す。
図４は、本発明の一実施形態における、マルチスキャン適応的スパースフィルタリングを用いてバンディングを緩和するプロセス例を示す。
図５は、マルチスキャンフィルタリング方向の例を示す。
図６は、本発明の一実施形態における、反復的マルチスキャン適応的スパースフィルタリングを用いてバンディングを緩和するプロセスの例を示す。
適応的スパースフィルタリングを用いて、画像および映像コンテンツ中のバンディングアーティファクトを低減することを、本明細書に記載する。バンディングアーティファクトを有する入力画像が与えられたとき、入力画像における縞の特性に応じて、１つ以上の適応的スパースフィルタのパラメータが、フィルタが画像に適用される前に調節される。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
概要
本明細書において記載する実施形態例は、画像および映像シーケンスにおけるバンディングアーティファクトを低減するための方法に関する。本方法は、エンコーダまたはデコーダに実装され得る。
ある実施形態において、エンコーダまたはデコーダは、画素値群を有する入力画像、および任意にフィルタリング決定閾値を受け取る。前記エンコーダまたはデコーダは、前記入力画像のある一次元画素アレイ中における開始位置と終了位置との間において同じ画素値を有する１つ以上の画素のシーケンスを特定して対応する１つ以上の画像縞を生成する。前記一次元画素アレイは、前記入力画像の画素値群、および画素方向（例えば行、列、または対角線にわたる）に基づいている。前記エンコーダまたはデコーダは、前記一次元画素アレイ中の画素値群を解析することにより、１つ以上の画像縞を特定する。特定された各画像縞は、前記縞の幅と縞画素値とによって特徴付けられる。前記縞の幅は、前記開始位置と前記終了位置との間の同じ値を有する画素数として定義される。前記１つ以上の画像縞のうちの各画像縞について、前記エンコーダまたはデコーダは、あるスパースフィルタに対し、前記スパースフィルタのあるタップの一画素と別のタップの一画素との間の連続した画素数を示すタップ距離パラメータを、前記画像縞の幅の関数として決定する。前記エンコーダまたはデコーダは、決定された前記タップ距離パラメータを有する前記スパースフィルタを、前記画像縞に適用し得る。前記スパースフィルタが前記画像縞に適用され、フィルタリングされた出力画素値群が生成される。エンコーダまたはデコーダは、前記フィルタリングされた出力画素値群に基づいて出力画像を生成する。
言い替えれば、前記特定された画像縞のうちのある画像縞について、本方法は、前記画像縞の幅に基づいて適応的スパースフィルタのためのタップ距離パラメータを決定し、前記タップ距離パラメータを有する前記適応的スパースフィルタを前記画像縞の画素値群に適用することにより、フィルタリングされた出力画素値群を生成する。そして、前記フィルタリングされた出力画素値群に基づいて出力画像を生成する。
ある実施形態において、前記タップ距離パラメータは、中央タップの一画素と近接タップの一画素との間で決定される。
ある実施形態において、前記スパースフィルタのタップ数は予め定められている。
ある実施形態において、前記決定されたタップ距離パラメータは、前記画像縞の幅に正比例する。
ある実施形態において、予め定められた前記タップ数が増加するにつれて前記タップ距離パラメータは減少する。
ある実施形態において、前記タップ距離パラメータを有する前記フィルタを前記画像縞の一画素に適用することは、前記スパースフィルタの対応するタップの画素値群を前記予め定められたタップ数にわたって平均化することを含む。
ある実施形態において、前記平均化は、近接する画像縞の境界に位置する境界タップの画素値群を除外する。前記フィルタのエッジの２つのタップは、平均を算出する際に無視される。
ある実施形態において、本方法は、フィルタリング決定閾値を受け取ることをさらに含み、さらに、各画像縞について、中央タップの画素値とその他のタップの各画素値との間において複数の差を算出することと、前記差の絶対値の最大値を算出することとを含む。この実施形態において前記スパースフィルタは、前記フィルタリング決定閾値と前記絶対値の最大値との比較に基づいて前記画像縞に適用される。
ある実施形態において、前記スパースフィルタは、前記タップ距離パラメータが前記フィルタリング決定閾値を越えない場合に前記画像縞に適用される。
ある実施形態において、前記スパースフィルタは、前記タップ距離パラメータが前記フィルタリング決定閾値を超える場合に前記画像縞に適用されず、前記画素群はフィルタリングされずに残る。
ある実施形態において、前記一次元画素アレイにおいて同じ画素値を有する１つ以上の画素のシーケンスを特定することは、前記入力画像のある色成分の画素値を、前記入力画像の行、前記入力画像の列、前記入力画像の４５度対角方向、または前記入力画像の－４５度対角方向にわたってサンプリングすることを含む。
ある実施形態において、前記バンディングアーティファクトを低減するための方法が、前記入力画像の列にわたって実行されることにより第１の出力画像を生成する。前記バンディングアーティファクトを低減するための方法が、前記第１の出力画像の行にわたって実行されることにより第２の出力画像を生成してもよい。
ある実施形態において、前記縞状アーティファクトを低減するための方法が前記第２の出力画像の４５度対角線にわたって実行されることにより第３の出力画像を生成してもよく、前記バンディングアーティファクトを低減するための方法が前記第３の出力画像の－４５度対角線にわたって実行されることにより第４の出力画像を生成してもよい。
ある実施形態において、前記方法は、画像距離条件にしたがって前記入力画像および前記出力画像間の画像距離メトリックを算出することと、前記画像距離メトリックを継続閾値と比較することと、前記画像距離メトリックが前記継続閾値より大きい場合に、前記フィルタリング決定閾値を減少することにより第２のフィルタリング決定閾値を生成し、前記第２のフィルタリング決定閾値を用いて請求項１から１３のいずれかに記載の方法にしたがって前記出力をフィルタリングすることによって第２の出力画像を生成することと、そうでない場合に前記出力画像を出力することと、をさらに含んでもよい。
映像供給パイプライン例
図１は、従来の映像供給パイプライン（１００）のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック（１０５）を用い、映像フレームのシーケンス（１０２）をキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか（例えばデジタルカメラにより）またはコンピュータによって生成（例えばコンピュータアニメーションを用いて）されることにより、映像データ（１０７）が得られる。あるいは映像フレーム（１０２）は、銀塩カメラによってフィルム上に取得されてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ（１０７）が得られる。プロダクションフェーズ（１１０）において、映像データ（１０７）は編集され、映像プロダクションストリーム（１１２）を得る。
プロダクションストリーム（１１２）の映像データは次に、ブロック（１１５）のプロセッサに与えられて、ポストプロダクション編集を受ける。ブロック（１１５）ポストプロダクション編集は、画像の特定の領域の色または明るさを調節または変更することにより、映像制作者の制作意図にしたがってその画像が特定の見え方をするようにしたり、画質を上げたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ブロック（１１５）において、その他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など）を行うことにより、プロダクションの、配信用の最終バージョン（１１７）を作成してもよい。ポストプロダクション編集（１１５）において、映像イメージは、リファレンスディスプレイ（１２５）上で視聴される。
ポストプロダクション（１１５）の後、最終プロダクションとしての映像データ（１１７）は、下流のテレビ受像機、セットトップボックス、映画館などの復号・再生機器まで供給されるために、符号化ブロック（１２０）に供給されてもよい。いくつかの実施形態において、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを有していてもよい。受信機において、符号化されたビットストリーム（１２２）は、復号ユニット（１３０）により復号されることにより、信号（１１７）と同一またはこれに近い近似を表す、復号された信号（１３２）を生成し得る。受信機は、リファレンスディスプレイ（１２５）と全く異なる特性を有し得るターゲットディスプレイ（１４０）に取り付けられていてもよい。その場合、ディスプレイマネジメントブロック（１３５）を用いてディスプレイマッピング化信号（１３７）を生成することで、復号された信号（１３２）のダイナミックレンジを、ターゲットディスプレイ（１４０）の特性にマッピングしてもよい。
映像データ（１０７）は、エンハンストＳＤＲ（ＳＤＲ＋）コンテンツを含むＳＤＲまたはＨＤＲコンテンツと、画像メタデータとを含んでもよい。画像メタデータは、映像供給パイプライン（１００）の下流にある受信側デバイスが、ＳＤＲ映像コンテンツを復号したものに対して画像処理操作を行うために使用され得る。ＳＤＲ映像コンテンツの例としては、ＳＤＲ＋映像コンテンツ、ＳＤＲ画像、ＳＤＲ映画リリース、ＳＤＲ＋画像、ＳＤＲメディアプログラムなどであってもよいが、必ずしもこれらだけに限定されない。
本明細書では、拡張ＳＤＲまたは「ＳＤＲ＋」という用語は、ＳＤＲ画像データとメタデータの組み合わせを意味し、これらを組み合わせることで、対応するハイダイナミックレンジ（ＨＤＲ）画像データを生成することができる。ＳＤＲ＋画像のメタデータには、入力されたＳＤＲ画像に適用されたとき対応するＨＤＲ画像を生成する、逆方向再構成マッピングを生成するためのコンポーザーデータが含まれる場合がある。ＳＤＲ＋画像は、旧式ＳＤＲディスプレイ（ＳＤＲ＋画像のメタデータを無視して単にＳＤＲ画像を表示することができる）との後方互換性を可能にする。
バンディングとは、表示または印刷された画像中に、目に見える「縞」のような形で現れる、顕著な視覚的アーティファクトのことである。映像において、このような縞は時間とともに変化することが多く、視聴者にとって著しく邪魔となる。画像のバンディングは、撮像の不備、圧縮やトランスコーディングの不備、非効果的または不十分な後処理技術の使用が原因となることが多い。バンディングでは、第１の連続した画素の集合が第１の同じ画素値を有する傾向があり、これにより「縞」が定義される。この集合の後に、第２の同じ画素値を有する第２の画素値の集合が続く。このパターンは、画像に縞々として現れる。バンディングアーティファクトの除去（本明細書において「デバンディング」ともいう）では、画像の真のエッジを維持しながら、バンディングアーティファクトを低減または除去することが課題となる。画像のデバンディングは、前処理ステップ（例えば、符号化（１２０）の前、ポストプロダクション（１１５）の一部として、または他の前処理の一部として）または後処理ステップ（例えば、復号（１３０）の後、ディスプレイマネジメント（１３５）の一部として、または他の後処理の一部として）の両方として実行することができる。
バンディングアーティファクトを低減するためのシステム例
図２は、一実施形態によるバンディングアーティファクトを低減するためのデータフロー（２００）の例を示す。図２に示すように、典型的には画像バッファに格納されている画像画素の集合が与えられると（２０５）、ステップ２１０において、画像の画素を解析して、バンディングアーティファクトを特徴付ける特性、例えば、各縞の位置、画素値、および幅を決定する。ある実施形態において、一次元画素アレイ中における連続した画素のシーケンスは、この一次元画素アレイ中における開始点と終了点との間のすべての画素値が同じ画素値を持つ場合、縞として特定される。数学的には、これは次のように表すことができる。

Figure 0007249417000001

ここで、ｓ（ｋ）は一次元画素アレイのｋ番目の位置における画素値を示し、
Figure 0007249417000002
はｊ番目の画像縞の始点を、
Figure 0007249417000003
はｊ番目の縞の終点を、αｊは縞の画素値を示す。
検出されたバンディングについての算出された特性が与えられると、ステップ２１５において、適応的スパースフィルタ（ＡＳＦ）のパラメータ、例えば、スパースフィルタのタップの画素スパン（画素数で表される）を生成する。スパースフィルタのスパン（またはサイズ）は、境界タップ間の画素数として定義することができる。最後に、ステップ２２０において、適応的スパースフィルタを入力画素データに適用し、バンディングアーティファクトを低減した出力画像を生成する。フィルタリングは、画像における行、列、または角度（例えば、４５度および－４５度、または他の任意のサンプリング方向）の画素値にわたって適用され得る。
ある実施形態において、本明細書に記載されるスパース有限入力応答（ＦＩＲ）フィルタリングは、例示的な表現として、以下のように定義され得る。
Figure 0007249417000004
 ここで、ｗｉはｉ番目のフィルタ係数であり、ｓ（ｋ）は入力信号のｋ番目の画素値であり、ｓ’（ｋ）は対応するフィルタリングされた出力画素値、ｄ［ｉ］はｉ番目のタップのタップ距離（画素数で表す）、２ｕ＋１はフィルタタップの数、すなわち式１のフィルタ項の数を示す。ある実施形態において、タップ距離ｄ［ｉ］は、中央の画素タップからの距離（画素数で表す）を示す。
スパースフィルタが入力画像に適用されたとき、フィルタは入力画像と畳み込まれ得る。画像とスパースフィルタとの畳み込みが、いわゆるフィルタリングされた画像を表す。
ある実施形態において、ｉ＝－ｕ＋１からｕ－１までに対してはｄ［ｉ］＝ｉ＊ｑであり、ｄ［ｕ］＝（ｕ－１）＊ｑ＋ｅであり、ｄ［－ｕ］＝（－ｕ＋１）＊ｑ－ｅであり、ｑおよびｅはフィルタリング距離パラメータを示す。ある実施形態において、ｑが奇数であれば
Figure 0007249417000005
であり、ｑが偶数であれば
Figure 0007249417000006
である。式（１）におけるフィルタリング係数は、典型的には、平均化フィルタなどの平滑化ローパスフィルタを表す。
いくつかの実施形態において、タップｉ＝－ｕおよびｉ＝ｕについては、ｗｉ＝０である。しかしながら、以下に説明するように、これらのタップにおける入力サンプルは、画素差を算出するために使用され、中央画素ｓ（ｋ）を平滑化するかどうかを決定するのに役立つ。これにより、フィルタの境界でのエッジやテクスチャの保存に対するロバスト性を向上させることができる。つまり、境界タップによって、太いエッジをよりよく保存することができる。例えば、
Figure 0007249417000007
が、中央タップの入力画素値（ｓ（ｋ））と残りの各フィルタタップの入力画素値との差を表すものとし、
Figure 0007249417000008
とすれば、一実施形態において、フィルタリングは
Figure 0007249417000009
の場合のみ行われる。ここで、Ｔｈはフィルタリング決定閾値（例えばＴｈ=１６）を示す。例えば、限定はしないが、７タップ（例えばｕ=３）の条件付き適応的スパースフィルタは以下のように記述される。
Figure 0007249417000010
したがって、ｉ＝３および－３についてはｗｉ＝０であり、ｉ＝－２から２までについてはｗｉ＝１／５であり、スパース平均化有限インパルス応答（ＦＩＲ）フィルタを表している。
Figure 0007249417000011
を算出して閾値Ｔｈと比較することは、エッジが検出された場合にスパースフィルタリングがスキップされるような、エッジ検出動作として特徴付けられ得る。したがって、Ｔｈはエッジ検出閾値と呼ばれ得る。他の実施形態においては、本明細書で示した条件付きスパースフィルタリングの実行を、当業者に公知の他のエッジ検出アルゴリズムで置き換えることができる。
式（４）より、フィルタ出力は、近接するタップ間の連続した画素数を示すスパースフィルタリング距離パラメータｑに依存する。広い縞を有する画像の場合、これらの縞を除去するためにはｑを大きくする必要があるが、ｑを大きくしすぎると、画像の一部が平滑化されすぎてしまう傾向があり、これもまた好ましくない。そのため、局所的な画素パラメータに基づいて適応的にｑを選択する必要がある。バンディングを有するテスト画像を用いた実験では、
Figure 0007249417000012

を用いることで最良の結果が得られる。ここで、Ｗは画像中の縞の幅であり、ｍは正整数の定数（例えばｍ＝２）であるが２ｕ－１の倍数ではない。例えば、限定はしないが、式（４）の７タップフィルタ（ｕ=３）において、スパースフィルタ中の近接するサンプル間の距離（ｑ）は、
Figure 0007249417000013
の倍数である。ある実施形態において、距離パラメータｑは、バンディング（Ｗ）の幅の推定値などの、局所的な画素特性に基づいて適応的に調節される。７タップのフィルタについては、実験の結果はｍの値が１と４の間である場合に最もうまくいくことを示唆している。フィルタリングされた中央画素である式（４）のｓ’［ｋ］は、画像縞の幅の関数であるタップ距離パラメータｑに依存するため、同じ画像縞の画素は、同じｑの値を持つスパースフィルタ、すなわち同じスパン（またはサイズ）のスパースフィルタでフィルタリングされる。異なる画像縞の画素は、異なるｑの値を持つスパースフィルタ、すなわち、異なるスパン（またはサイズ）のスパースフィルタでフィルタリングされる。
図２に戻って、ステップ２１０は、縞の幅Ｗなどの画素特性を特定する画素解析ステップを含む。ある実施形態において、「縞」とは、同じ画素値を有する近接画素の１グループとして定義される。Ｎ個の画素グループ（または画像縞）群を考え、そのそれぞれが、縞の位置を示す開始画素インデックスおよび終了画素インデックスと、グループの画素値（例えばルマ符号語）と、画素数すなわち縞の幅Ｗとを有するとする。開始画素インデックスおよび終了画素インデックスを
Figure 0007249417000014
とし、画素バッファ（２０５）のｊ番目の縞に属する全画素の画素値をαｊとする。すると、ｊ番目の縞中の画素数は、
Figure 0007249417000015

として与えられる。
ある実施形態において、同じ縞画素値を有する２つの縞だが、１つの非常に近い画素値（すなわち迷い画素）の縞によって隔てられた２つの縞を、単一の縞に併合してもよい。例えば、３つの連続した縞（縞ｊ、ｊ＋１、およびｊ＋２）は、以下のときに併合され得る。すなわち、
・第２の縞（ｊ＋１）中の画素数が閾値よりも小さく（これは、１つの縞中の迷い画素を考慮している）、かつ、
・縞ｊおよびｊ＋１のα値が閾値以内であり（すなわち、縞ｊ＋１中の迷い画素値は、ｊ番目の縞において支配的な画素値に近い値を有さなければならない）、かつ、
・縞ｊおよびｊ＋２のα値が同じである。すなわち、もし縞ｊおよびｊ＋２における画素値が異なる場合（すなわちαｊ≠αｊ＋２）、縞ｊおよびｊ＋１は併合されない。
これらの３つの条件は次のように表現され得る。
Figure 0007249417000016
であるとき、ｊ、ｊ＋１、およびｊ＋２の縞は、単一の縞に併合され得る。
ここでｎｔｏｌおよびαｔｏｌは閾値である。３つの縞が１つの縞（例えば縞ｊ）に併合されるとき、
Figure 0007249417000017

であり、後続の縞（例えばｋ番目の縞、ここでｋ＞ｊ＋２）はリナンバリングされ、そして新たに形成された縞ｊと後続の縞とが、併合の可能性について再び解析される。
例えば、一実施形態において、４８～６５インチ（対角）の範囲のディスプレイ用の、ハイデフィニション（例えば１０８０ｐ）の元の１０ビットＳＤＲ画像について、ｎｔｏｌ＝５，αｔｏｌ＝１である。８ビットから１０ビットに変換された画像について、αｔｏｌ＝２（１０－８）＝４を用いることで、８ビット符号語１語分の許容誤差を与えてもよい。そのような画像を生成する１つの方法は、各画素において８ビットデータを左ビットシフトすることにより、０のビットを末尾に２つ有する１０ビット画素値を生成することである。これにより、隣接する符号語間の差が２（１０－８）＝４となる。ＨＤＲ画像については、αｔｏｌを、２つの隣接するＨＤＲ符号語間の距離の関数（例えば最小値、最大値、または平均値）として定義してもよい。
ある実施形態による、縞の併合と適応的スパースフィルタリングの実行の例を図３Ａおよび図３Ｂに示す。図３Ａに示すように、一例として、ラインバッファ内の輝度画素群の分析により、６つの縞（３０５－０～３０５－５）が特定されており、それぞれの縞は、ｊ＝０～５について、縞内の画素数（ｎｊ）、縞画素値（αｉ）、および各縞の開始画素位置(
Figure 0007249417000018
)および終了画素位置(
Figure 0007249417000019
)によって特徴付けられる。ｎ２＜ｎｔｏｌ、｜α２－α１｜≦αｔｏｌかつα１＝α３と仮定すれば、縞３０５－１、３０５－２、３０５－３を単一の縞（３１０－１）に統合し得、残りの縞はリナンバリングされること以外についてはそのままである。例えば、縞３１０－０は、縞３０５－０と同じ縞特性（例えば、開始、終了、画素縞値、および幅）を有し、縞３１０－２は、縞３０５－４と同じ縞特性を有し、縞３１０－３は、縞３０５－５と同じ縞特性を有する。
画像縞の併合後（３１０－０～３１０－３）、各縞につき、ステップ２１５に示すように、各縞のｑ１値を式（５）をＷ＝ｎｊについて用いて、すなわち
Figure 0007249417000020
として決定する。次に、ステップ２２０に示すように、各縞を対応するスパースフィルタによってフィルタリングする。例えば、図３Ｂの上側は、各縞がｑｉ（ｉ＝０、１、２および３）を用いたフィルタによってフィルタリングされることを示す。図３Ｂの下側は、３１０－１の縞を式（４）の７タップのＡＳＦを用いてスパースフィルタリングする例を示しており、ここでｑ＝ｑ１であり、フィルタタップを
Figure 0007249417000021
 に有している。
マルチスキャン適応的スパースフィルタリング
画像が２次元であることを考慮すると、いくつかの実施形態では、水平、垂直、および／または対角などの複数の次元にわたってスパースフィルタリングを適用することが好ましい場合がある。そのような実施形態におけるプロセス例（４００）を図４に示す。限定はしないが、フィルタリング方向の例を図５に示す。図４に示されるように、デバンディングフィルタリングは、以下のような様々な方向にわたって、元の一次元デバンディング処理２００の１回以上の適用を含んでもよい。すなわち、垂直フィルタリング（４０５）（画像列５０５にわたって）、水平フィルタリング（４１０）（画像行５１０にわたって）、第１の対角フィルタリング（４２０）（例えば、４５度である角度５２０にわたって）、および第２の対角フィルタリング（４２５）（例えば、－４５度である角度５２５にわたって）である。典型的には、デバンディングフィルタリングは、ルマ画素成分（例えば、ＹＣｂＣｒにおけるＹ）にわたって実行される。ただし、同じフィルタリングが、任意の色空間（例えば、ＲＧＢなど）の任意の色成分にわたって、また、複数の色成分にわたって実行されてもよい。いくつかの実施形態において、フィルタリングは、図４に示す４つの方向のうち、１つ、２つ、または３つのみにわたって実行されてもよく、あるいは、他の角度方向（図示せず）にわたって実行されてもよい。
「縞」は、各方向において再定義されることに留意されたい。ただし、マルチパスフィルタリングでは、１つのパスの出力画像を後続のパスの入力画像として使用する。
マルチコアまたはマルチスレッドシステムでは、デバンディング処理を並列化してもよい。例えば、列ベースのフィルタリングでは、処理時間を短縮するために、複数の列（例えば、５０５－１、５０５－２、…、５０５－ｎ）を、それぞれプロセス２００を用いて並列にフィルタリングしてもよい。
反復マルチスキャン適応的スパースフィルタリング
特定の場合において、一般的に、特定の領域（例えば、暗部）での圧縮が不十分なため、前述のマルチスキャンフィルタリング処理（４００）を適用しても、まだ目に見えるバンディングが見られることがある。ある実施形態において、そのようなコンテンツに対処する１つの方法は、ＡＳＦのエッジ検出閾値Ｔｈを増大させることであるが、そのようなフィルタリングは、テクスチャやエッジなどの必要な詳細を除去してしまう可能性もある。その代わりに、第１のマルチスキャンＡＳＦパスの出力に第２のマルチスキャンＡＳＦ（ＭＡＳＦ）パスを適用すると、画像がより滑らかになり、その結果、バンディングアーティファクトがさらに減少する可能性がある。したがって、このような画像においてＭＡＳＦを反復的に実行することが有効である。このセクションでは、いくつかの動作条件が満たされるまでＭＡＳＦを繰り返し実行する、反復的ＭＡＳＦアルゴリズムについて説明する。
図６は、反復マルチスキャン適応的スパースフィルタリングのプロセス例を示す図である。入力画像（Ｉｏｒｉｇ）が与えられると、ステップ６０５は、フィルタリング決定閾値Ｔｈ（式（４）参照）を初期値に設定する（例えば、Ｔｈ=１６）。次に、ステップ６１０は、ＭＡＳＦアルゴリズム（例えば、プロセス４００による）を適用して、フィルタリングされた画像Ｉｏｕｔを生成する。Ｐを画像内の総画素数とする。また、現在のイテレーションにおけるＭＡＳＦの入力および対応する出力画像画素のｉ番目のルマ画素値をＩｉｎ（ｉ）およびＩｏｕｔ（ｉ）とする。次に、ステップ６１５で、２つの画像間の歪みの指標である、θを計算する。例えば、限定はしないが、一実施形態において、現在のイテレーションのＩｉｎとＩｏｕｔとの間の画素あたりの絶対差の平均和（ＳＡＤ）を計算することができる。これは、
Figure 0007249417000022

と計算される。
いくつかの実施形態において、θは平均二乗誤差基準などの代替基準を用いて計算してもよい。θを算出することは、ステップ６２０において、閾値Θと比較することで、処理を継続するかどうかを決定するのに役立つ。閾値Θは、経験的に決定されてもよい。θ＜Θであれば、出力画像はバンディングアーティファクトがないとみなされ、反復的プロセスは停止する。そうでなければ、ステップ６２５において、元のフィルタリング決定閾値（Ｔｈ）が減少されるが、ゼロ以下にはならない。例えば、一実施形態では、各イテレーションにおいて閾値を半分にするが、代替的方法も適用することができる（例えば、Ｔｈを１、２、または小さな整数値ｎだけ減らすことによってなど）。閾値Ｔｈを減少させる方法がない場合、処理は終了し、そうでない場合、Ｉｉｎ＝Ｉｏｕｔ（６２７）となり、処理は再びステップ６１０に続く。
上述のように、以下の２つの条件のいずれかが最初に満たされたときに、反復的プロセスは終了する。
・θ＜Θ：Θは、画素値に視覚的に無視し得る変化のみが存在することを示すパラメータ。式（８）のＳＡＤ条件を用い、実験の結果から０．１または０．２のΘ値により満足し得る結果が得られることが示されている。
・Ｔｈ≦０：これは、フィルタリング後に変化した画素値が無いと決定することに相当する。
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなバンディングアーティファクトを低減することに関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のバンディングアーティファクトを低減することに関する様々なパラメータまたは値のいずれを演算してもよい。これらの画像および映像ダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなバンディングアーティファクトの低減を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的かつ有形な媒体を含み得る。本発明によるプログラム製品は、様々な非一時的かつ有形の形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
均等物、拡張物、代替物、その他
バンディングアーティファクトを低減することに関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
本発明の様々な態様を、以下に続く列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔｓ）（ＥＥＥ）から理解することができる。
１．１つ以上のプロセッサを備えるエンコーダまたはデコーダにおいて、バンディングアーティファクトを低減するための方法であって、
画素値群を有する入力画像を受け取ること（２０５）と、
フィルタリング決定閾値を受け取ることと、
前記入力画像の画素値群に基づいて一次元画素アレイを生成することと、
前記一次元画素アレイにおける画素値群に基づいて、１つ以上の画像縞を生成すること（２１０）であって、前記１つ以上の画像縞のうちの１つの画像縞は、前記一次元画素アレイ中における開始位置、前記一次元画素アレイ中における終了位置または前記縞の幅、および縞画素値によって特徴付けられる、一次元画素アレイを生成することと、
前記１つ以上の画像縞のうちの１つの画像縞について、
前記画像縞の幅に基づいて、スパースフィルタのためのタップ距離パラメータを決定し（２１５）、
前記タップ距離パラメータを有する前記スパースフィルタとフィルタリング決定閾値とを前記画像縞に適用することにより、フィルタリングされた出力画素値群を生成することと、
前記フィルタリングされた出力画素値群に基づいて出力画像を生成することと、
を含む方法。
２．前記一次元画素アレイを生成することは、前記入力画像のある色成分の画素値を、前記入力画像の行、前記入力画像の列、前記入力画像の４５度対角方向、または前記入力画像の－４５度対角方向にわたってサンプリングすることを含む、ＥＥＥ１に記載の方法。
３．前記１つ以上の画像縞のうちｊ番目の画像縞を生成することは、
Figure 0007249417000023

であることを検出することを含み、
ｓ（ｋ）は前記一次元画素アレイ中のｋ番目の位置における画素値を表し、
Figure 0007249417000024
は前記一次元画素アレイ中の前記ｊ番目の画像縞の開始位置を表し、
Figure 0007249417000025
は前記一次元画素アレイ中の前記ｊ番目の画像縞の終了位置を表し、αｊは前記ｊ番目の画像縞の縞画素値を表す、ＥＥＥ１またはＥＥＥ２のいずれかに記載の方法。
４．前記１つ以上の画像縞のうち３つの連続する画像縞である縞ｊ、ｊ＋１、およびｊ＋２を与えられたとき、３つの連続する画像縞は

Figure 0007249417000026

であるとき１つの縞に併合され、ここで
ｎｔｏｌおよびαｔｏｌは閾値であり、ｎｊは前記ｊ番目の画像縞の幅を表す、ＥＥＥ３に記載の方法。
５．ｊ番目の画像縞について、前記画像縞の幅は

Figure 0007249417000027

として決定され、ここで
ｎｊは前記ｊ番目の画像縞の幅を表し、
Figure 0007249417000028
は前記一次元画素アレイ中の前記ｊ番目の画像縞の開始位置を表し、
Figure 0007249417000029
は前記一次元アレイ中の前記ｊ番目の画像縞の終了位置を表す、ＥＥＥ１～４のいずれかに記載の方法。
６．前記フィルタリングされた出力画素値群を生成することは、
Figure 0007249417000030

を算出することを含み、
ｗｉはｉ番目のフィルタ係数を表し、ｓ（ｋ）は前記画像縞におけるｋ番目の画素値を表し、ｓ’（ｋ）はｋ番目のフィルタリングされた出力画素値を表し、ｄ［ｉ］はｉ番目のタップについてのタップ距離を表し、２ｕ＋１はフィルタタップの数を表す、ＥＥＥ１～５のいずれかに記載の方法。
７．ｄ［ｉ］＝ｉ＊ｑであり、ｑは前記スパースフィルタに対する前記タップ距離パラメータを表す、ＥＥＥ６に記載の方法。
８．
Figure 0007249417000031
であり、ｍは２ｕ－１より小さい整数である定数であり、Ｗは前記スパースフィルタによりフィルタリングされた前記画像縞の幅である、ＥＥＥ７に記載の方法。
９． ＥＥＥ６またはＥＥＥ７のいずれかに記載の方法であって、
Figure 0007249417000032

を算出することをさらに含み、
Ｔｈは前記フィルタリング決定閾値を表す、方法。
１０．
Figure 0007249417000033

であり、
ｑおよびｅは定数である、ＥＥＥ９に記載の方法。
１１．ｑが奇数のときは
Figure 0007249417000034
でありｑが偶数のときは
Figure 0007249417000035
である、ＥＥＥ１０に記載の方法。
１２．１つ以上のプロセッサを備えるシステムにおいて、バンディングアーティファクトを低減するための方法であって、
画素値群を有する入力画像を受け取ることと、
ＥＥＥ１～１１のいずれかに記載の方法にしたがった適応的スパースフィルタリングを用いて前記入力画像をフィルタリングすることによって第１の出力画像を生成することであって、前記適応的スパースフィルタリングは前記入力画像の列にわたって行われる、第１の出力画像を生成することと、
ＥＥＥ１～１１のいずれかに記載の方法にしたがった適応的スパースフィルタリングを用いて前記第１の出力画像をフィルタリングすることにより第２の出力画像を生成することであって、前記適応的スパースフィルタリングは前記第１の出力画像の行にわたって行われる、第２の出力画像を生成することと、
を含む、方法。
１３．
ＥＥＥ１～１１のいずれかに記載の方法による適応的スパースフィルタリングを用いて前記第２の出力画像をフィルタリングすることにより第３の出力画像を生成することであって、前記適応的スパースフィルタリングは前記第２の出力画像の４５度対角線にわたって行われる、第３の出力画像を生成することと、
ＥＥＥ１～１１のいずれかに記載の方法による適応的スパースフィルタリングを用いて前記第３の出力画像をフィルタリングすることにより第４の出力画像を生成することであって、前記適応的スパースフィルタリングの前記第３の出力画像の－４５度対角線にわたって行われる、第４の出力画像を生成することと、
をさらに含む、ＥＥＥ１２に記載の方法。
１４．１つ以上のプロセッサを備えるシステムにおいて、バンディングアーティファクトを低減するための方法であって、
画素値群を有する入力画像を受け取ることと、
第１の閾値パラメータを受け取ることと、
前記第１の閾値パラメータを前記フィルタリング決定閾値として用い、ＥＥＥ１～１１のいずれかに記載の方法にしたがった適応的スパースフィルタリングを用いて前記入力画像をフィルタリングすることにより、第１の出力画像を生成することと、
画像距離条件にしたがって前記入力画像および前記第１の出力画像間の画像距離メトリックを算出することと、
前記画像距離メトリックを継続閾値に対して比較することと、
前記画像距離メトリックが前記継続閾値より大きい場合に、
前記第１の閾値パラメータを減少することにより第２の閾値パラメータを生成し、
前記第２の閾値パラメータを前記フィルタリング決定閾値として用い、ＥＥＥ１～１１のいずれかに記載の方法にしたがった適応的スパースフィルタリングを用いて前記第１の出力画像をフィルタリングすることにより第２の出力画像を生成することと、
そうでない場合に前記第１の出力画像を出力することと、
を含む、方法。
１５．前記画像距離メトリックは、前記入力画像の画素値群と前記第１の出力画像の画素値群との間の絶対差の平均和を算出することを含む、ＥＥＥ１４に記載の方法。
１６．ＥＥＥ１～１５のいずれかに記載の方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
１７．プロセッサを備え、ＥＥＥ１～１５に記載の方法のいずれかを実行するように構成された装置。

Claims (20)

  1. バンディングアーティファクトを低減するための方法であって、
    画素値群を有する入力画像を受け取ることと、
    前記入力画像のある一次元画素アレイ中において同じ画素値を有する１つ以上の画素のシーケンスであって開始位置と終了位置との間のシーケンスを特定して前記一次元画素アレイ中の対応する１つ以上の画像縞を特定することであって、前記１つ以上の画像縞のうちの１つの画像縞は、前記開始位置と前記終了位置との間の同じ画素値を有する画素の数として定義される前記縞の幅、および縞画素値によって特徴付けられる、１つ以上の画像縞を特定することと、
    前記１つ以上の画像縞のうちの各画像縞について、
    あるスパースフィルタに対し、前記スパースフィルタの中央タップの一画素と前記中央タップの隣のタップの一画素との間の連続した画素数を示すタップ距離パラメータを、前記画像縞の幅の関数として決定することであって、決定された前記タップ距離パラメータは前記画像縞の幅に正比例する、タップ距離パラメータを決定することと、
    前記タップ距離パラメータを有する前記スパースフィルタを前記画像縞に適用することにより、フィルタリングされた出力画素値群を生成することと、
    前記フィルタリングされた出力画素値群に基づいて出力画像を生成することと、
    を含む、方法。
  2. 前記スパースフィルタのタップ数は予め定められている、請求項１に記載の方法。
  3. 前記タップ距離パラメータを有する前記フィルタを前記画像縞の一画素に適用することは、対応するタップの画素値群を前記予め定められたタップ数にわたって平均化することを含む、請求項２に記載の方法。
  4. 前記平均化は、前記スパースフィルタの境界に位置する境界タップの画素値群を除外する、請求項３に記載の方法。
  5. フィルタリング決定閾値を受け取ることと、
    各画像縞について、
    中央タップの画素値とその他のタップの各画素値との間の複数の差を算出することと、
    前記差の絶対値の最大値を算出することと、
    をさらに含み、
    前記スパースフィルタは、前記フィルタリング決定閾値と前記絶対値の最大値との比較に基づいて前記画像縞に適用される、
    請求項１から４のいずれかに記載の方法。
  6. 前記スパースフィルタは、前記絶対値の最大値が前記フィルタリング決定閾値を越えない場合に前記画像縞に適用される、請求項５に記載の方法。
  7. 前記一次元画素アレイにおいて同じ画素値を有する１つ以上の画素のシーケンスを特定することは、前記入力画像のある色成分の画素値を、前記入力画像の行、前記入力画像の列、前記入力画像の列方向に対して４５度の対角方向、または前記入力画像の列方向に対して－４５度の対角方向にわたって解析することを含む、請求項１から６のいずれかに記載の方法。
  8. 同じ画素値を有する１つ以上の画素のシーケンスを特定することは、
    Figure 0007249417000036
    であることを検出することを含み、
    ｓ（ｋ）は前記一次元画素アレイ中のｋ番目の位置における画素値を表し、
    Figure 0007249417000037
    は前記一次元画素アレイ中のｊ番目の画像縞の開始位置を表し、
    Figure 0007249417000038
    は前記一次元画素アレイ中の前記ｊ番目の画像縞の終了位置を表し、αｊは前記ｊ番目の画像縞の縞画素値を表す、請求項１から７のいずれかに記載の方法。
  9. 前記１つ以上の画像縞のうちの３つの連続する画像縞を縞ｊ、ｊ＋１、およびｊ＋２とするとき、前記３つの連続する画像縞は、
    Figure 0007249417000039
    である場合に１つの縞に併合され、
    ｎｔｏｌおよびαｔｏｌは閾値であり、ｎｊは前記ｊ番目の画像縞の幅を表す、
    請求項８に記載の方法。
  10. ｊ番目の画像縞について、前記画像縞の幅は
    Figure 0007249417000040
    として決定され、
    ｎｊは前記ｊ番目の画像縞の幅を表し、
    Figure 0007249417000041
    は前記一次元画素アレイ中の前記ｊ番目の画像縞の開始位置を表し、
    Figure 0007249417000042
    は前記一次元画素アレイ中の前記ｊ番目の画像縞の終了位置を表す、
    請求項１から９のいずれかに記載の方法。
  11. 前記フィルタリングされた出力画素値群を生成することは、
    Figure 0007249417000043
    を算出することを含み、
    ｗｉはｉ番目のフィルタ係数を表し、ｓ（ｋ）は前記画像縞におけるｋ番目の画素値を表し、ｓ’（ｋ）はｋ番目のフィルタリングされた出力画素値を表し、ｄ［ｉ］は中央タップからｉ番目のタップについてのタップ距離を表し、２ｕ＋１はフィルタタップの数を表す、請求項１から１０のいずれかに記載の方法。
  12. ｉ＝－ｕ＋１からｉ＝ｕ＋１までについてｄ［ｉ］＝ｉ＊ｑであり、ｑは前記スパースフィルタに対する前記タップ距離パラメータを表す、請求項１１に記載の方法。
  13. Figure 0007249417000044
    であり、
    ｍは２ｕ－１より小さい整数である定数であり、Ｗは前記スパースフィルタによりフィルタリングされた前記画像縞の幅である、請求項１２に記載の方法。
  14. 請求項１１から１３のいずれかに記載の方法であって、請求項５に従属するとき、
    Figure 0007249417000045
    を算出することをさらに含み、
    Ｔｈは前記フィルタリング決定閾値を表し、
    Figure 0007249417000046
    は前記複数の差を表し、
    Figure 0007249417000047
    は前記差の絶対値の最大値を表す、方法。
  15. Figure 0007249417000048
    であり、
    ｑおよびｅは定数であり、ｑが奇数のときは
    Figure 0007249417000049
    でありｑが偶数のときは
    Figure 0007249417000050
    である、請求項１４に記載の方法。
  16. 前記方法が前記入力画像の列にわたって実行されることにより第１の出力画像を生成し、前記方法が前記第１の出力画像の行にわたって実行されることにより第２の出力画像を生成する、請求項１から１５のいずれかに記載の方法。
  17. 前記方法が前記第２の出力画像の列方向に対して４５度の対角線にわたって実行されることにより第３の出力画像を生成し、前記方法が前記第３の出力画像の列方向に対して－４５度の対角線にわたって実行されることにより第４の出力画像を生成する、請求項１６に記載の方法。
  18. 請求項１から１７のいずれかに記載の方法であって、請求項５に従属するとき、
    画像距離条件にしたがって前記入力画像および前記出力画像間の画像距離メトリックを算出することと、
    前記画像距離メトリックを継続閾値と比較することと、
    前記画像距離メトリックが前記継続閾値より大きい場合に、
    前記フィルタリング決定閾値を減少することにより第２のフィルタリング決定閾値を生成し、
    前記第２のフィルタリング決定閾値を用いて請求項１から１７のいずれかに記載の方法にしたがって前記出力画像をフィルタリングすることにより第２の出力画像を生成することと、
    そうでない場合に、前記出力画像を出力することと、
    をさらに含む、方法。
  19. 前記画像距離メトリックを算出することは、前記入力画像の画素値群と前記出力画像の画素値群との間の対応する画素値の差の絶対値の総和を画素数で割った値を算出することを含む、請求項１８に記載の方法。
  20. １つ以上のプロセッサによって実行された場合に、請求項１から１９のいずれかに記載の方法を前記１つ以上のプロセッサに実行させるコンピュータ実行可能命令を含むコンピュータプログラム。
JP2021535667A 2018-12-19 2019-12-10 適応的スパースフィルタリングを用いた画像のデバンディング Active JP7249417B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862781754P 2018-12-19 2018-12-19
US62/781,754 2018-12-19
EP18214110.1 2018-12-19
EP18214110 2018-12-19
PCT/US2019/065457 WO2020131494A1 (en) 2018-12-19 2019-12-10 Image debanding using adaptive sparse filtering

Publications (2)

Publication Number Publication Date
JP2022517305A JP2022517305A (ja) 2022-03-08
JP7249417B2 true JP7249417B2 (ja) 2023-03-30

Family

ID=69006101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021535667A Active JP7249417B2 (ja) 2018-12-19 2019-12-10 適応的スパースフィルタリングを用いた画像のデバンディング

Country Status (5)

Country Link
US (1) US11663702B2 (ja)
EP (1) EP3900335A1 (ja)
JP (1) JP7249417B2 (ja)
CN (1) CN113196754B (ja)
WO (1) WO2020131494A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092847A1 (en) 2013-10-01 2015-04-02 Dolby Laboratories Licensing Corporation Hardware Efficient Sparse FIR Filtering in Video Codec

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920653A (en) 1996-10-22 1999-07-06 Hewlett-Packard Company Multiple spatial channel printing
US6823089B1 (en) 2000-09-28 2004-11-23 Eastman Kodak Company Method of determining the extent of blocking and contouring artifacts in a digital image
JP2003304400A (ja) 2002-04-05 2003-10-24 Sharp Corp 画像処理装置、画像処理方法、プログラム、および記録媒体
KR101108435B1 (ko) 2005-05-31 2012-02-16 서강대학교산학협력단 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
KR20070118755A (ko) 2006-06-13 2007-12-18 삼성전자주식회사 의사 윤곽 제거 방법 및 그 장치
CN101779464B (zh) 2007-06-08 2014-02-12 汤姆森特许公司 多格点基于稀疏性滤波基础上环内去伪像滤波方法和装置
EP2171683A1 (en) 2007-06-29 2010-04-07 Thomson Licensing Apparatus and method for reducing artifacts in images
US8300802B2 (en) 2007-08-31 2012-10-30 Freescale Semiconductor, Inc. Adaptive filter for use in echo reduction
US8055095B2 (en) 2008-01-23 2011-11-08 Sparsense, Inc. Parallel and adaptive signal processing
US8180138B2 (en) * 2009-03-23 2012-05-15 Morpho Detection, Inc. Method and system for inspection of containers
JP5800396B2 (ja) * 2009-04-14 2015-10-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
US20110135011A1 (en) * 2009-12-04 2011-06-09 Apple Inc. Adaptive dithering during image processing
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
WO2011162124A1 (ja) * 2010-06-25 2011-12-29 シャープ株式会社 信号処理装置、信号処理プログラム、および表示装置
US20130107956A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US9036937B2 (en) * 2010-11-15 2015-05-19 Qualcomm Incorporated Fast repeated integral images
CA2842572C (en) 2011-08-16 2020-10-13 Imax Corporation Hybrid image decomposition and projection
US8908989B2 (en) 2012-11-02 2014-12-09 Board Of Regents, The University Of Texas System Recursive conditional means image denoising
US9213915B2 (en) 2013-03-15 2015-12-15 Raytheon Company Sparse adaptive filter
US10130325B2 (en) 2013-06-10 2018-11-20 General Electric Company System and method of correcting banding artifacts in cardiac CT
US9092856B2 (en) * 2013-10-31 2015-07-28 Stmicroelectronics Asia Pacific Pte. Ltd. Recursive de-banding filter for digital images
US9858502B2 (en) 2014-03-31 2018-01-02 Los Alamos National Security, Llc Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding
US9911179B2 (en) * 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
US9747673B2 (en) * 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
WO2016153936A1 (en) 2015-03-20 2016-09-29 Digimarc Corporation Digital watermarking and data hiding with narrow-band absorption materials
US9747514B2 (en) 2015-08-31 2017-08-29 Apple Inc. Noise filtering and image sharpening utilizing common spatial support
US10129565B2 (en) 2016-02-18 2018-11-13 Mathieu Monnier Method for processing high dynamic range video in order to improve perceived visual quality of encoded content
US20170347126A1 (en) * 2016-05-27 2017-11-30 Qualcomm Incorporated Video debanding using adaptive filter sizes and gradient based banding detection
US10685429B2 (en) 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
JP7037584B2 (ja) 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
GB2568039B (en) * 2017-10-30 2020-10-28 Imagination Tech Ltd Systems and methods for processing a stream of data values
EP3759916A1 (en) 2018-02-28 2021-01-06 Dolby Laboratories Licensing Corporation Linear encoder for image/video processing
CN112585969B (zh) 2018-08-10 2023-03-28 杜比实验室特许公司 用于减少目标图像中的条带伪影的方法、装置及存储介质
KR20200068457A (ko) * 2018-12-05 2020-06-15 삼성전자주식회사 에지 보전 스무딩을 수행하는 이미지 프로세싱 장치 및 이의 이미지 프로세싱 방법
US11297353B2 (en) * 2020-04-06 2022-04-05 Google Llc No-reference banding artefact predictor
TWI727784B (zh) * 2020-05-05 2021-05-11 瑞昱半導體股份有限公司 影像去色帶方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092847A1 (en) 2013-10-01 2015-04-02 Dolby Laboratories Licensing Corporation Hardware Efficient Sparse FIR Filtering in Video Codec

Also Published As

Publication number Publication date
US11663702B2 (en) 2023-05-30
CN113196754A (zh) 2021-07-30
WO2020131494A1 (en) 2020-06-25
EP3900335A1 (en) 2021-10-27
US20220076384A1 (en) 2022-03-10
CN113196754B (zh) 2023-10-03
JP2022517305A (ja) 2022-03-08

Similar Documents

Publication Publication Date Title
CN107409213B (zh) 用于高动态范围图像的内容自适应感知量化器
RU2713869C1 (ru) Преобразование тоновой кривой для изображений с расширенным динамическим диапазоном
US10223774B2 (en) Single-pass and multi-pass-based polynomial approximations for reshaping functions
US10080005B2 (en) High dynamic range color conversion correction
JP2010218549A (ja) 深度画像をフィルタリングする方法
JP7049526B2 (ja) 適応的なｓｄｒからｈｄｒへの再構成関数による、ｈｄｒ画像化におけるバンディングアーチファクトの低減
CN112771567B (zh) Sdr到hdr图像转换中的图像去噪
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
WO2013145510A1 (en) Methods and Systems for Image Enhancement and Estimation of Compression Noise
KR101818900B1 (ko) 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측
JP2022504213A (ja) 後方互換性を有するｈｄｒ画像化における、バンディングアーチファクトの低減
CN115362675A (zh) Hdr成像中的盲局部整形
JP7249417B2 (ja) 適応的スパースフィルタリングを用いた画像のデバンディング
US11895416B2 (en) Electro-optical transfer function conversion and signal legalization
US10715772B2 (en) High dynamic range color conversion correction
JP2016165065A (ja) 画像用ノイズ低減装置、画像用符号化装置、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230317

R150 Certificate of patent or registration of utility model

Ref document number: 7249417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150