JP2024504107A - 画像および映像におけるバンディング・アーティファクト検出 - Google Patents

画像および映像におけるバンディング・アーティファクト検出 Download PDF

Info

Publication number
JP2024504107A
JP2024504107A JP2023542561A JP2023542561A JP2024504107A JP 2024504107 A JP2024504107 A JP 2024504107A JP 2023542561 A JP2023542561 A JP 2023542561A JP 2023542561 A JP2023542561 A JP 2023542561A JP 2024504107 A JP2024504107 A JP 2024504107A
Authority
JP
Japan
Prior art keywords
image
pixel
banding
generating
confidence values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023542561A
Other languages
English (en)
Inventor
タンドン,プルキット
フェルナンデス アフォンソ,マリアーナ
ソレ ロハレス,ジョエル
クラスラ,ルーカス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netflix Inc
Original Assignee
Netflix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netflix Inc filed Critical Netflix Inc
Priority claimed from PCT/US2022/013692 external-priority patent/WO2022164795A1/en
Publication of JP2024504107A publication Critical patent/JP2024504107A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

多様な実施形態において、バンディング検出アプリケーションは、第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて、第1組の画素信頼度値を生成し、その際に、該第1組の画素信頼度値に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が該第1画像におけるバンディングに一致している可能性を示している。次に、バンディング検出アプリケーションは、該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する。

Description

関連出願との参照
本願は、2021年1月26日出願の「コントラスト認識による多重スケールのバンディング指数(CONTRAST-AWARE MULTI-SCALE BANDING INDEX)」との発明名称の米国特許仮出願第63/141,827号の優先権の利益を主張すると同時に、2021年6月18日出願の「画像および映像におけるバンディング・アーティファクト検出(BANDING ARTIFACT DETECTION IN IMAGES AND VIDEOS)」との発明名称の米国特許出願第17/351,955号の優先権の利益を主張するものである。これらの関連出願の主題は、ここに引例に挙げることにより本明細書に一部を構成しているものとする。
本願の多様な実施形態は広義にコンピュータ・サイエンスと映像処理および画像処理とに関するものであり、より具体的には、画像および映像におけるバンディング・アーティファクト(帯状縞発生などの副次的で不自然な作用)検出の技法に関連している。
画像、映像、または、その両方を再生装置に効率的に配信する目的で、媒体サービス提供業者が画像、映像、または、その両方を加工処理してから、加工処理済みの画像、映像、または、その両方を再生装置に送信することはよくある。但し、加工処理が原因で、加工処理済みの画像や映像の視覚的品質は、通常、ソース画像またはソース映像の視覚的品質ほど良くはない。例えば、滑らかな階調の広い領域を持つ画像を処理するにあたり、ビット深度変換やコード化などのような画素値を量子化する技法を利用して実施した場合は、「バンディング(帯状縞の発生など)」として周知の視覚的なアーティファクト(副次的で不自然な作用)が加工処理済みの画像に生じてしまう可能性がある。バンディングが原因で、ソース画像に含まれている広い領域が滑らかな諧調を有するどころか、分離した「複数の帯状縞」があるように見えることがある。
加工処理済みの画像におけるバンディング・アーティファクト検出の1つの取組み手法が、コード化処理中に偽エッジ検出技術または偽区分検出技術を実現することである。偽エッジ検出技術を利用する場合、ソース画像と加工処理済み画像の両方にエッジ検出操作を実行することで、ソース画像と加工処理済み画像の両方におけるエッジの同定を行う。同定されたエッジを比較し、ソース画像には存在しないエッジを加工処理済みの画像が含んでいるか否かを判定する。潜在的バンディング・アーティファクトは、ソース画像には含まれていないがコード化された画像には含まれているエッジに基づいて同定される。偽区分検出技術を利用する場合、ソース画像と加工処理済み画像の両方に区分け操作を実行することで、ソース画像と加工処理済み画像の両方の各区分の同定を行う。同定された各区分を比較して、ソース画像には含まれていない区分を加工処理済み画像が含んでいるか否かを判定する。潜在的バンディング・アーティファクトは、ソース画像には存在していないがコード化された画像には含まれている区分に基づいて同定される。
上記の技術に関する1つの欠点は、偽エッジ検出と偽輪郭区分検出のいずれであれバンディング・アーティファクトを高精度で検出できないことである。第1に、偽エッジ検出と偽区分検出は、画像の各要素を潜在的バンディング・アーティファクトと誤って同定する可能性がある。偽エッジ検出技術を利用した場合、潜在的バンディング・アーティファクトであると同定されたエッジが、実在のバンディング・アーティファクトに一致しておらず、画像に描写されたエッジに一致している可能性がある。偽区分検出技術を利用した場合、潜在的バンディング・アーティファクトであると同定された区分が、実在のバンディング・アーティファクトに一致しておらず画像に描写された区分に一致している可能性がある。第2に、偽エッジ検出と偽区分検出は、場合によっては、各バンディング・アーティファクトに対応しているエッジや区分を首尾よく検出してはいない可能性がある。バンディング・アーティファクト内およびその周囲の各画素の値が非常に似通っていることがあるせいで、エッジ検出操作ではバンディング・アーティファクトの周囲のどのエッジであれ首尾よく検出できない場合がある。同様に、区分検出操作では、バンディング・アーティファクトをその近傍領域から首尾よく区分けできない場合がある。
前述したように、当該技術分野で必要とされているのは、画像を加工処理する際にバンディング・アーティファクトを検出するためのより効果的な技法である。
一実施形態では、画像におけるバンディング(帯状縞の発生など)を検出する方法を明示している。この方法は、第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を含んでおり、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、また、該方法は、該第1組の画素信頼度値に基づいて該第1画像に対応しているバンディング指数を生成することを更に含んでいる。
従来技術に対する本件開示の各種技法の少なくとも1つの技術的利点は、本件開示の技法を利用した場合は先行技術に比して、或る画像におけるバンディングがより高精度に検出されることである。特に、コントラスト検出を利用する目的は、人間視聴者には視認できるが偽エッジ検出技術や偽区分検出技術を利用しても検出できないバンディングを同定することである。更に、これらの従来技術とは異なり、本件開示の技法により生成される成果は、人間視聴者には視認できないバンディングを同定する可能性もバンディング・アーティファクトと無関係な各種の視覚画像要素を同定する可能性も低い。従って、本件開示の技法は、従来技術と比較して、生じる偽陽性と偽陰性のどちらの数もより少なくて済む。これらの技術的利点は、先行技術の取組み手法に優る1つ以上の技術的進歩をもたらしている。
多様な実施形態の上述の特徴を詳細に理解できるようにする態様、すなわち、前段で簡略に要約した本発明の概念のより具体的説明が多様な実施形態を参照することによって得られるようにするために、その幾つかは添付の図面で図説してある。しかしながら、添付図面は本発明の概念の典型的な実施形態のみを例示しており、決して範囲を限定していると見なすべきではなく、他にも等価に効果的な実施形態が存在することに留意するべきである。
多様な実施形態の1つ以上の態様を実現するよう構成されたシステムの概念図。 多様々な実施形態による、図1のバンディング検出アプリケーションのより詳細な図。 上記以外の多様な実施形態による、図1のバンディング検出アプリケーションのより詳細な図。 多様な実施形態による、入力映像のバンディング指数を生成するための方法工程のフローチャート。 上記以外の多様な実施形態による、入力画像のバンディング指数を生成するための方法工程のフローチャート。 多様な実施形態の1つ以上の態様を実現するよう構成された電算装置の概念図。
以下の説明では、多数の具体的な詳細を明示することで、多様な実施形態のより完全な理解をもたらすよう図っている。しかしながら、本発明の概念はこれらの具体的な詳細の1つ以上がなくとも実施することができることは当業者には明らかになるであろう。
画像、映像、または、その両方を再生装置に効率的に配信する目的で、媒体サービス提供業者が画像、映像、または、その両方を加工処理してから、加工処理済みの画像、映像、または、その両方を再生装置に送信することはよくある。しかし、加工処理済み画像や映像の視覚的品質は、通常、ソース画像やソース映像の視覚的品質ほど良くはない。1つの問題点は、滑らかな階調の広い領域を持つ画像を加工処理するにあたり、コード化やビット深度変換などのような画素値を量子化する技法を利用して実行した場合は、バンディング(帯状縞発生など)が加工処理済みの画像に生じる可能性がある。バンディングが原因で、ソース画像に含まれている該広い領域が滑らかな諧調を有するどころか、分離した「複数の帯状縞」があるように見える。同様に、映像が滑らかな諧調の広い領域を持つ場面を描写している場合、加工処理済みの映像の各フレームにバンディングが生じる可能性がある。
視聴者に配信される加工処理済みの画像や映像の視覚的品質を向上させる目的で、媒体サービス提供業者はバンディング検出を実現することで、加工処理済みの画像や映像におけるバンディングを同定することができる。しかし、偽エッジ検出や偽区分検出などの従来の取組み手法では、バンディング・アーティファクトを精度よく検出することができない。具体的には、これらの取組み手法は、画像に属している各エッジや各区分をバンディング・アーティファクトであると誤って同定しながら、同時にバンディング・アーティファクトに属している各エッジや各区分を正しく同定し損なっていることがよくある。
本件開示の技法を利用して、或る画像について、複数のバンディング信頼度マップを生成する。バンディング信頼度マップは各々が、異なる強度差値および異なる画像解像度に基づいて、画像における各画素のバンディング信頼度を示している。或る画素についてのバンディング信頼度は、当該画素とその近傍にある複数画素との間の知覚されたコントラストに基づいて算定される。強度差値1つごとに、当該画素のバンディング信頼度は、その近傍にある画素のなかに、その強度が当該画素の強度とは強度差値に等しい量だけ異なっているものが多数あることを示す。画像に対応しているバンディング指数は、複数のバンディング信頼度マップに基づいて生成される。バンディング指数は、画像において視認できるバンディングの量を予測したものである。加えて、映像に対応しているバンディング指数は、映像のフレームごとのバンディング指数に基づいて生成される。映像に対応しているバンディング指数は、映像において視認できるバンディングの量を予測したものである。
本件開示の技法を利用して、画像におけるバンディングを先行技術の技法に比べてより高精度に検出するのは有利である。特に、本件開示の技法は、人間視聴者には見えても従来技術では検出できなかったバンディングをより精度よく同定することができる。更に、これらの従来技術とは異なり、本件開示の技法により生じた成果には、人間視聴者には見えないバンディングの量もバンディング・アーティファクトと無関係な各種の視覚画像要素の含まれている量も少なくて済む。従って、本件開示の技法は従来技術と比較して、生じる偽陽性と偽陰性の両方の数がより少なくて済む。
システム概要
図1は、本発明の1つ以上の態様を実現するよう構成されたシステム100の概念図である。システム100は電算インスタンス(電算実体)110を、無制限に幾つの個数でもどのような種類でも含む。説明のために、同一オブジェクトの多数のインスタンスは、当該オブジェクトを識別している参照番号と、必要に応じて各インスタンスを識別する括弧付きの数字で示した。多様な実施形態において、多数の地理的位置に亘っていくつの電算インスタンス110が分布させられていてもよいし、1つ以上のクラウド・コンピューティング環境(すなわち、カプセル化された共有のリソース、ソフトウェア、データなど)にいくつの電算インスタンス110が実装されていても構わない。
図示のように、電算インスタンス110は演算処理装置112および記憶装置116を備えているが、これらに限定されない。演算処理装置112は、命令を実行する能力があるのであればどのような命令実行システム、命令実行機器、または、命令実行装置であってもよい。例えば、演算処理装置112を構成するとすれば、中央処理装置(CPU)、グラフィックス処理装置(GPU)、制御装置、マイクロ・コントローラ、ステート・マシン、または、何であれこれらの組合せを備えているとよい。記憶装置116は、電算インスタンス110の演算処理装置112による使用を企図した各種のソフトウェア・アプリケーションおよびデータなどのようなコンテンツを保存する。これに代わる各実施形態では、どのような数の電算インスタンス110であれその各々は、任意の数の演算処理装置112および任意の数の記憶装置116を任意の組合せで備えているとよい。特に、どのような個数であれ(1個を含む)電算インスタンス110は、何であれ技術的に実現可能な方法で多重処理環境をもたらせばよい。
記憶装置116は、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM)、フロッピー・ディスク、ハード・ディスク、または、これら以外の、ローカルであれリモートであれ何らかの形式のデジタル式記憶域などのような、容易に利用できる記憶装置のうちの1種類以上であるとよい。実施形態によっては、記憶域(図示せず)は記憶装置116を補足し、または、それと置換わるものであってもよい。記憶域は、演算処理装置112にアクセス可能であればどのような個数でどのような種類の外部記憶装置を含んでいても構わない。具体例として、また、それらに限定するものではないが、記憶域は保護されたデジタル・カード、外部フラッシュ・メモリ、携帯式コンパクト・ディスク型リード・オンリ・メモリ(CD-ROM)、光記憶装置、磁気記憶装置、または、好適であれば何であれこれらの各種組合せを備えているとよい。
電算インスタンス110は、1つ以上のアプリケーションまたはアプリケーションの1つ以上のサブシステムを実装するよう構成されている。説明のためにすぎないのであるが、アプリケーションは各々が電算インスタンス110の記憶装置116に常駐して、電算インスタンス110の演算処理装置112上で実行されるように描かれている。しかし、これに代わる各実施形態では、各アプリケーションの機能性はどのような個数の上記以外のアプリケーションに亘って分散されていようと構わないが、後者のアプリケーションは任意の数の電算インスタンス110の各メモリ116に常駐して任意の数の電算インスタンス110の各プロセッサ112上で任意の組合せで実行される。更に、どのような個数のアプリケーションまたはサブシステムであれ、それらの機能性を単一のアプリケーションまたは単一サブシステムに集約させても構わない。
特に、電算インスタンス110は、入力映像102におけるバンディングを検出するよう構成されている。本明細書で既に述べたように、画像におけるバンディングを検出する従来の取組み手法では、加工処理済みの画像において同定されたエッジまたは区分をソース画像で同定されたエッジまたは区分と比較する。加工処理済みの画像には含まれていてもソース画像に含まれていないエッジまたは区分は、潜在的バンディング・アーティファクトと同定される。このような従来の取組み手法の1つの欠点は、画像に属しているエッジまたは区分が事実に反してバンディング・アーティファクトであると同定される可能性があることである。逆に、実在のバンディング・アーティファクトが、首尾よくバンディング・アーティファクトであると同定されない可能性もある。
画像におけるバンディング・アーティファクトの検出
上記の問題に対処するために、電算インスタンス110は、入力映像102におけるバンディングを検出することで映像バンディング指数140を生成するバンディング検出アプリケーション120を備えているが、これに限定されない。入力映像102は、ソース映像(図示せず)の加工処理済みのバージョンである。映像バンディング指数140は、入力映像102において検出されたバンディングの量を定量化する値である。
図示のように、バンディング検出アプリケーション120は、電算インスタンス110の記憶装置116に常駐し、電算インスタンス110の演算処理装置112上で実行される。図1には示されていないが、バンディング検出アプリケーション120が、どのような個数の電算インスタンス110に含まれているのであれ、また、該アプリケーションにどのような個数のインスタンスが属しているのであれ、該インスタンスは任意の数の入力映像102の映像バンディング指数140を同時に生成するように、逐次的に生成するように、或いは、同時と逐次を各種組み合わせて生成するように構成されていても構わない。
説明するためにすぎないが、バンディング検出アプリケーション120を映像の観点で記載してゆく。但し、当業者なら認識することであるが、本件開示の技法は、長編映画、テレビ番組連続物の毎回放映分、個別の画像、視聴できるカット場面などのような映像コンテンツについて、どのような個数でどのような種類の一部分にでも適用することができる。
図1に例示しているように、バンディング検出アプリケーション120は、副次標本抽出エンジン122、前処理エンジン126、信頼度エンジン130、空間プーリング・エンジン134、時間プーリング・エンジン138、映像バンディング指数140などを含んでいるが、これらに限定されない。
副次標本抽出エンジン122は、入力映像102を構成している複数のフレームから小集団のフレーム群を選択する。入力映像102の映像バンディング指数140は、入力映像102から選択された小集団のフレーム群にバンディング検出を実行したのに基づいて生成される。図示のように、バンディング検出アプリケーション120は、入力映像102を副次標本抽出エンジン122に入力する。これに応答して、副次標本抽出エンジン122は、入力映像102の複数の入力フレーム124(1)ないし124(M)を選択するが、これらに対してバンディング検出を実行する必要がある。説明のためにすぎないが、Mは副次標本抽出エンジン122により選択されたフレームの総数であり、任意の正の整数としてもよい。副次標本抽出エンジン122は、入力映像102のフレームをどのような個数でも、また、何であれ技術的に実行可能な様式で選択することができる。実施形態によっては、副次標本抽出エンジン122は、所与の時間間隔ごとに1フレームを選択する。例えば、副次標本抽出エンジン122は、入力映像102の0.5秒ごとに1フレームを選択してもよい。
実施形態によっては、バンディング検出アプリケーション120は、入力映像102に含まれている全てのフレームに基づいて映像バンディング指数140を生成する場合もある。バンディング検出アプリケーション120は、複数のフレームを副次標本抽出エンジン122に入力せずに、入力映像102を構成している複数のフレームを前処理エンジン126に入力するようにしてもよいし、或いは、副次標本抽出エンジン122が入力映像102に含まれているすべてのフレームを選択するよう構成されていてもよい。
前処理エンジン126は、入力フレームまたは入力画像に対して1つ以上の前処理操作を実行する。前処理エンジン126は、入力フレームまたは入力画像に対して任意の数、任意のタイプ、または、その両方の各種前処理操作を実行しても構わない。後段以降で更に詳細に説明するように、前処理操作としては、輝度成分の抽出、ビット深度の変換、低域通過濾波器の適用、画像スケーリングなどが挙げられるが、これらに限定されない。
図示のように、バンディング検出アプリケーション120は、入力フレーム124(1)ないし124(M)を前処理エンジン126に入力する。前処理エンジン126は、入力フレーム124(1)ないし124(M)に対して1つ以上の前処理操作を実行することで、加工処理済みのフレーム128(1)ないし128(M)のそれぞれを生成する。バンディング検出アプリケーション120は、入力フレーム124(1)ないし124(M)を前処理エンジン126の任意の数のインスタンスに逐次的に、同時に、または、逐次と同時の何らかの組合せを任意の順序で入力する。例えば、バンディング検出アプリケーション120が入力フレーム124(1)ないし124(M)を前処理エンジン126に逐次的に入力し、それに応答して、前処理エンジン126は加工処理済みフレーム128(1)ないし128(M)を逐次的に出力するようにしてもよい。
信頼度エンジン130は、入力フレームまたは入力画像に基づいて一組の信頼度マップを生成する。信頼度マップは各々が、或る特定の強度差値および或る特定の画像スケールに対応している。信頼度マップの各画素は、その各々に対応している、入力フレームまたは入力画像における画素ごとに、該対応している画素に関連付けられたバンディング信頼度値を示している。バンディング信頼度値は、該対応している画素がバンディング・アーティファクトである可能性を示している。実施形態によっては、或る画素に関連付けられたバンディング信頼度値が、特定の画像スケールで、該画素の周囲の領域に特定の強度差値の強度段差があるか否かに基づいて生成される場合もある。実施形態によっては、信頼度エンジン130は、4つの異なる強度差値および5つの異なる画像スケールに基づいて一組の信頼度マップを生成することで、1入力フレームあたり、または、1入力画像あたり合計20個の信頼度マップを得るようにしたものもある。
図示のように、前処理エンジン126は、加工処理済みフレーム128(1)ないし128(M)を信頼度エンジン130に送信する。信頼度エンジン130は加工処理済みフレーム128(1)ないし128(M)を受信する。これに応じて、信頼度エンジン130は、加工処理されたフレーム128(1)ないし128(M)のそれぞれに基づいて、各組の信頼度マップ132(1)ないし132(M)を生成する。前処理エンジン126は、加工処理済みフレーム128(1)ないし128(M)を、信頼度エンジン130のどのような個数のインスタンスにであれ、逐次的に、同時に、または、逐次と同時の何らかの組合せを任意の順序で送信する。実施形態によっては、前処理エンジン126の単一インスタンスが加工処理済みフレーム128(1)ないし128(M)を信頼度エンジン130の単一インスタンスに送信するにあたり、前処理エンジン126が加工処理済みフレーム128(1)ないし128(M)を生成するとおりの順序で送信するものもある。
空間プーリング・エンジン134は、或る入力フレームまたは或る入力画像に対応している一組の信頼度マップを受信したうえで、該一組の信頼度マップに基づいて、当該対応しているフレームまたは画像のバンディング指数を生成する。このバンディング指数は、当該対応している入力フレームまたは入力画像について検出されたバンディングの量を定量化したものである。空間プーリング・エンジン134が入力フレームまたは入力画像について一組の信頼度マップに基づいて生成するバンディング指数は、技術的に実現可能であればどのような様式で生成してもよい。入力フレームまたは入力画像のバンディング指数の生成には、当該入力フレームまたは入力画像を生成する元となるソースフレームまたはソース画像は不必要であり、ソースフレームまたはソース画像に基づいて何らの計算も実施されない点で有利である。
実施形態によっては、空間プーリング・エンジン134が上記一組の信頼度マップのうちの信頼度マップ1つごとに平均バンディング信頼度値を算定したうえで、複数の平均バンディング信頼度値に基づいてバンディング指数を生成するものもある。実施形態によっては、上記バンディング指数を生成するにあたり、空間プーリング・エンジン134が画像スケール1つごとに、当該画像スケールに関連付けられたバンディング指数を生成したうえで、多様な画像スケールに関連付けられた複数のバンディング指数に基づいて生成する場合もある。
実施形態によっては、空間プーリング・エンジン134が一組の信頼度マップ132に含まれている信頼度マップ1つごとに、バンディング信頼度最高値を有している複数の画素を選択したうえで、これら選択された複数の画素に基づいてフレーム・バンディング指数136を算定する場合もある。当該複数の画素に含まれている画素の数は、1から信頼度マップ内の画素数(すなわち、信頼度マップ内のすべての画素)までの間の任意の整数となるとよい。一例として、空間プーリング・エンジン134は信頼度マップに含まれている画素のうちバンディング信頼度最高値を有している30%を選択する場合もある。空間プーリング・エンジン134は、該一組の信頼度マップ132に含まれている信頼度マップ1つごとに異なる個数の複数画素を選択することもある。
図示のように、信頼度エンジン130は、各組の信頼度マップ132(1)ないし132(M)を空間プーリング・エンジン134に送信する。空間プーリング・エンジン134は、該各組の信頼度マップ132(1)ないし132(M)を信頼度エンジン130から受信する。これに応じて、空間プーリング・エンジン134は、入力フレーム124(1)ないし124(M)のそれぞれに対応しているフレーム・バンディング指数136(1)ないし136(M)を生成する。信頼度エンジン130は、該各組の信頼度マップ132(1)ないし132(M)を空間プーリング・エンジン134のどのような個数のインスタンスにであれ、逐次的に、同時に、または、逐次と同時の何らかの組合せを任意の順序で送信する。実施形態によっては、信頼度エンジン130の単一インスタンスが該各組の信頼度マップ132(1)ないし132(M)を空間エンジン134の単一インスタンスに送信するにあたり、信頼度エンジン130が各信頼度マップ132(1)ないし132(M)を生成するとおりの順番で送信する場合もある。
時間プーリング・エンジン138は、入力映像の複数のフレームに対応している複数のフレーム・バンディング指数を受信したうえで、該複数のフレーム・バンディング指数に基づいて、該入力映像に対応している映像バンディング指数を生成する。図示のように、バンディング検出アプリケーション120は、フレーム・バンディング指数136(1)ないし136(M)を時間プーリング・エンジン138に入力する。これに応じて、時間プーリング・エンジン138は映像バンディング指数140を生成する。時間プーリング・エンジン138は映像バンディング指数140を、技術的に実現可能であればどのような様式であれフレーム・バンディング指数136(1)ないし136(M)に基づいて算定することができる。例えば、実施形態によっては、時間プーリング・エンジン138は映像バンディング指数140を、フレーム・バンディング指数136(1)ないし136(M)の総和を入力フレームMの個数で除算したものに等しい値に設定するものもある。従って、映像バンディング指数140は、入力映像102から標本抽出された入力フレーム124(1)ないし124(M)に亘る平均バンディング指数を表している。
実施形態によっては、バンディング検出アプリケーション120が映像バンディング指数140を出力するものもある。実施形態によっては、バンディング検出アプリケーション120が、映像バンディング指数140の代わりに、または、映像バンディング指数140に追加して、フレーム・バンディング指数136(1)ないし136(M)を出力するものもある。フレーム・バンディング指数136(1)ないし136(M)は、入力映像102における複数の異なる点で検出されたバンディングの各量を示している。フレーム・バンディング指数136(1)ないし136(M)を利用することで、例えば、入力映像102の各点のうち他の点に比べてバンディング発生量が多いものを同定することができる。映像バンディング指数140、フレーム・バンディング指数136(1)ないし136(M)、または、その両方を出力するということは、映像バンディング指数140、フレーム・バンディング指数136(1)ないし136(M)、または、その両方を任意の数のソフトウェア・アプリケーションに送信することを含んでいる場合がある。入力映像や入力画像に存在しているバンディングの量を定量化する(映像バンディング指数140、フレーム・バンディング指数136)ことで、映像バンディング指数140とフレーム・バンディング指数136(1)ないし136(M)により開発者らとソフトウェア・アプリケーションが映像、画像、または、その両方をバンディング・アーティファクトであると同定することができるようになるとともに、各種コード化操作を確実に最適化することでバンディングを低減することができるようになる点で、有利である。
本明細書に示されているシステム100は具体例であり、各種の変更および修正が可能であることが正しく認識されるであろう。副次標本抽出エンジン122、前処理エンジン126、信頼度エンジン130、空間プーリング・エンジン134、および、時間エンジン138の位置と配置とを含む接続形態は必要に応じて変更することができる。 1つ以上の構成要素を組み合わせて単一の構成要素にしてもよいし、多数の構成要素に分割しても構わない。或る特定の実施形態では、図1に示される1つ以上の構成要素が存在していなくてもよい。
本明細書に記載の各技法は限定するものではなく具体例であり、各実施形態のより広い真髄および範囲から逸脱することなく変更してもよいことに留意するべきである。本件記載の各種の実施形態および技法の範囲および真髄から逸脱することなく、多くの修正例および変更例が当業者には自明となるであろう。更に、多様な実施形態において、本明細書に開示されている各技法がどのような数だけ実装されていてもよく、同時に、それら以外の各技法は技術的に実現可能などのような様式であれ省略されても構わない。
図2は、本発明の多様な実施形態による、図1のバンディング検出アプリケーション120のより詳細な図である。図2に示すように、バンディング検出アプリケーション120は入力画像202を受信したうえで、入力画像202に対応しているバンディング指数240を生成する。バンディング指数240とは、入力画像202において検出されたバンディングの量を定量化したものである。入力画像202は、コード化された画像などのような、どのような種類の画像でもよい。図1を参照すると、入力画像202は、入力フレーム124(1)ないし124(M)のうちの1つなどのような、入力映像102由来の1つのフレームであってもよい。
前処理エンジン126は、入力画像202を受信したうえで、入力画像202に対して1つ以上の前処理操作を実行することで、加工処理済み画像220を生成する。図2に示すように、前処理エンジン126は、成分抽出器210、ビット深度変換器212、低域通過濾波器214、画像アップスケーラ216などを含んでいるが、これらに限定されない。成分抽出器210、ビット深度変換器212、低域通過濾波器214、および、画像アップスケーラ216は各々が、入力画像202に対して実行される複数の異なる前処理操作のうちのいずれか1つに対応している。
入力画像202は、YCrCb画像の輝度成分、赤の色差成分、および、青の色差成分、ならびに、RGB画像の赤色成分、緑色成分、および、青色成分などのような複数の画像成分チャネルを含んでいる。成分抽出器210は1種類以上の画像成分チャネルを入力画像202から抽出する。実施形態によっては、該複数の画像成分チャネルが輝度成分を含んでおり、成分抽出器210がこの輝度成分を入力画像202から抽出するものもある。実施形態によっては、例えば、入力画像202が色チャネルしか含んでいない場合、該複数の画像成分チャネルは輝度成分を含んでいない場合もある。成分抽出器210は、該複数の画像成分チャネルに基づいて輝度成分を算定する。輝度成分とは、入力画像202における画素1つごとに、当該画素の明るさ、または、強度を示すものである。
ビット深度変換器212は入力画像202をその目下のビット深度から目標ビット深度に変換する。ビット深度とは、画素の値を表すために利用することができる数値を指す。例えば、ビット深度が2である時の画素値を表すのに「2ビット」が使用され、ビット深度が4である時の画素値を表すのに「4ビット」が使用されるといった具合である。ビット深度変換器212は、入力画像202の目下のビット深度を技術的に実現可能ならどのような値の目標ビット深度にでも変換することができる。実施形態によっては、入力画像202の目下のビット深度が10ではない場合に、ビット深度変換器212が入力画像202をビット深度10(すなわち、10ビット画像)に変換する場合もある。具体例として、入力画像202が8ビット画像である場合に、ビット深度変換器212は、各画素の値を乗算して4倍にすることにより、入力画像202を10ビット画像に変換する。実施形態によっては、ビット深度変換器212が抽出された輝度成分を成分抽出器210から受信したうえで、抽出された輝度成分のビット深度を変換するものもある。
場合によっては、入力画像202はディザリングを含んでいる。ディザリングとは、入力画像202に意図的に付与されたノイズのことである。ディザリングは入力画像202におけるバンディングの出現に影響するが、例えば、それが無ければきれいな輪郭を帯状縞の周囲で壊してしまうなどのような影響がある。入力画像202におけるエッジまたは輪郭を同定する従来の取組み手法では、ディザリングが原因でエッジや輪郭が不正確に検出される。入力画像202に対するディザリングの影響を低減するために、低域通過濾波器214が1つ以上の低域通過濾波器を入力画像202に適用する。図示したように、低域通過濾波器は、ビット深度変換済みの画像をビット深度変換器212から受信したうえで、1つ以上の低域通過濾波器をこのビット深度変換済みの画像に適用する。実施形態によっては、低域通過濾波器214が抽出された輝度成分を成分抽出器210から受信したうえで、1つ以上の低域通過濾波器を抽出された輝度成分に適用する場合もある。低域通過濾波器214は、低域通過濾波器をどのような個数でもどのような種類でも適用することができる。適用される低域通過濾波器の種類は、入力画像202に付与されるディザリングの種類に応じて変わってもよい。実施形態によっては、低域通過濾波器214は2×2平均フィルタを適用する。低域通過濾波器を適用することにより、低域通過濾波器214が入力画像202における強度値を平滑化するものもあるが、これにより、バンディングの検出性能を向上させている。
画像アップスケーラ216は、入力画像202の画像スケールが目標画像スケールより小さい場合、入力画像202をその目下の画像スケールから目標画像スケールまで高精細化調整(アップスケール)処理する。画像スケールとは、画像の解像度を指す。画像アップスケーラ216は画像をアップスケール処理するにあたり、どのような目標画像スケールにでも、また、技術的に実現可能であればどのような様式で実施しても構わない。実施形態によっては、入力画像202が2160pの画像スケールより小さい場合、画像アップスケーラ216が入力画像202を4KのUHD(3840画素×2160画素)すなわち本明細書で2160pの画像スケールとも呼ぶ超高解像度にアップスケール処理する場合もある。目標画像スケールは、入力画像202を表示するための目標表示装置の解像度としてもよい。図示のように、画像アップスケーラ216は、1つ以上の低域通過濾波器が適用された入力画像202を低域通過濾波器214から受信する。実施形態によっては、画像アップスケーラ216が抽出された輝度成分を成分抽出器210から受信したうえで、抽出された輝度成分をアップスケール処理する場合もある。実施形態によっては、画像アップスケーラ216がビット深度変換済みの画像をビット深度変換器212から受信したうえで、ビット深度変換済みの画像をアップスケール処理するものもある。
信頼度エンジン130は加工処理済みの画像220を受信したうえで、この加工処理済みの画像220に基づいて複数の信頼度マップ240を生成する。図2に示すように、信頼度エンジン130は信頼度マップ生成器222、画像ダウンスケーラ224などを含んでいるが、これらに限定されない。
信頼度マップ生成器222は画像を受信し、その画像に基づいて1つ以上の信頼度マップを生成する。上述のように、信頼度マップは各々が相互に異なる画像スケールおよび強度差値に対応している。信頼度マップ230の各画素は、その各々に対応している、加工処理済みの画像220における画素1つごとに、当該対応している画素に関連付けられたバンディング信頼度値を示している。或る1つの画素に関連付けられたバンディング信頼度値は、特定の画像スケールで、当該画素の周囲の領域に特定の強度差値の強度段差があるか否かを示している。図2に示すように、信頼度マップ生成器222は、画像スケール1ないしsの1つごとに、強度差値1ないしkのそれぞれに対応しているk個から成る一組の信頼度マップ230を生成する。従って、信頼度マップ生成器222はs×k個の信頼度マップを生成する。
信頼度マップ生成器222は加工処理済みの画像220を前処理エンジン126から受信する。加工処理済みの画像220は第1画像スケールの解像度である。信頼度マップ生成器222は、加工処理済みの画像220に基づいてk個の信頼度マップを生成する。実施形態によっては、信頼度マップ生成器222は、当該画像スケールについて、1、2、3、および、4の強度差値のそれぞれに対応している4つの信頼度マップを生成する。
信頼度マップ生成器222は、画像220における画素1つごとに、加工処理済みの画像220の特定の強度差値kおよび特定の画像スケールsに基づいて、当該画素のバンディング信頼度値を算定する。或る画素(x,y)のバンディング信頼度値c(k,s)を算定するための具体的な関数の例は、等式(1a)および等式(1b)で得られる。
Figure 2024504107000002
等式(1a)および等式(1b)において、I(x,y)、N(x,y)、および、∇(x,y)は当該画素における強度、スケールsでの当該画素を取り囲む近傍、および、当該画素での階調の大きさのそれぞれに相当しており、δは指標関数、τはバンディング検出中にテクスチャを避けるよう選択されたハイパーパラメータである。従って、等式(1a)および等式(1b)においては、p(k,s)は、画素(x,y)を取り囲む近傍に在る複数画素の割合に相当しているが、それら一組の画素間の強度差値はkであるとともに階調の大きさはτよりも小さい。
実施形態によっては、画素を取り囲む近傍とは、当該画素を中心とした63画素×63画素のサイズ(すなわち、各方向に31画素)のウィンドウのことをいう場合もある。 2160pの画像については、このウィンドウ・サイズは、バンディング検出のための2160pのコンテンツについての標準視聴距離(すなわち、表示装置の高さの1.6倍)における1°の視角に相当している。或る画像において検出されるバンディングの量は、複数の帯状縞の空間周波数に応じてむらが生じることがある。このむらに対処するために、加工処理済みの画像220をより低周波数で標本抽出し直す(ダウンサンプリング処理に付す)にあたり、ウィンドウ・サイズが異なる度数の視角に相当するようになるように、従って、異なる空間周波数に対応するように実施される。
画像ダウンスケーラ224は加工処理済みの画像220に対して1つ以上のダウンスケール操作を実行することで、第2画像スケールのダウンスケール処理済みの画像226を生成する。画像ダウンスケーラ224が加工処理済みの画像220に対してダウンスケール操作を実行するにあたり、どのような操作数であれ、どのような操作種類であれ、または、操作数と操作種類を任意に組合せて実行しても構わない。実施形態によっては、画像ダウンスケーラ224は加工処理済みの画像220を間引いて2分の1に縮小するものもある。画像ダウンスケーラ224は加工処理済みの画像220における画素を1つおきに選択して保持し、残余の画素を破棄する。ダウンスケール処理済みの画像226は選択された画素から構成されている。
信頼度マップ生成器222はダウンスケール処理済みの画像226を受信したうえで、このダウンスケール処理済の画像226に基づいてk個から成るもう1つ別組の信頼度マップを生成する。上述のダウンスケール処理および信頼度マップ生成は、個数sの画像スケールごとに繰り返される。実施形態によっては、画像ダウンスケーラ224は4つのダウンスケール済みの画像226を生成するが、これらはそれぞれに画像スケール1080p、540p、270p、および、135pに対応している。従って、信頼度マップ生成器222は合計20個の信頼度マップ230を生成するが、これらは強度差値1、2、3、および、4、ならびに、画像スケール2160p、1080p、540p、270p、および、135pに対応している。画像スケール2160p、1080p、540p、270p、および、135pは視角度1°、2°、4°、8°、および、16°のそれぞれに対応している。
空間プーリング・エンジン134は上記複数の信頼度マップ230を受信したうえで、これら複数の信頼度マップ230に基づいてバンディング指数240を生成する。複数の信頼度マップに基づいてバンディング指数(banding_index)を算定する具体的な関数の例は等式(2)で得られる。
Figure 2024504107000003
等式(2)において、kは複数の異なる強度差値 (1、2、3、および、4)を表しており、ν°は複数の異なる視角度(1、2、4、8、および、16)を表しており、1/ν°はバンディングが検出される多様な空間周波数を表している。加えて、等式(2)において、kは強度差値kに対応している信頼度マップにおけるp個から成る一組の画素であって、最高バンディング信頼度値を有している画素群を表している。当該組の画素kのサイズは、1から信頼度マップにおける画素数までの間の任意のサイズであるとよい。実施形態によっては、kがどの1つの信頼度マップでも画素を全部含んでいるものもある。実施形態によっては、kがどの1つの信頼度マップでも画素の30パーセントを含んでいるものもある。実施形態によっては、kがどの1つの信頼度マップでも画素の60パーセントを含んでいるものもある。
図3は、本発明の更に別の実施形態による、図1のバンディング検出アプリケーション120のより詳細な図である。図3に示すように、バンディング検出アプリケーション120は入力画像302を受信したうえで、バンディング指数350を生成する。バンディング指数350は、入力画像302において検出されたバンディングの量を定量化する。入力画像302はどのような種類の画像であってもよいが、例えば、コード化された画像などでも構わない。図1を参照すると、入力画像302は入力映像102に由来するフレームであるとよいが、例えば、入力フレーム124(1)ないし124(M)のうちの1つなどであればよい。
前処理エンジン126は上記入力画像302を受信したうえで、該入力画像302に対して1つ以上の前処理操作を実行することで、加工処理処理済みの画像320を生成する。図2に示すように、前処理エンジン126は成分抽出器310、ビット深度変換器312、低域通過濾波器314などを含んでいるが、これらに限定されない。成分抽出器310、ビット深度変換器312、および、低域通過濾波器314は各々が、該入力画像302に対して実行されるどれか1つの相互に異なる前処理操作に対応している。
入力画像302は、YCrCb画像の輝度成分、赤の色差成分、および、青の色差成分、ならびに、RGB画像の赤色成分、緑色成分、および、青色成分などのような複数の画像成分チャネルを含んでいる。成分抽出器310は、1つ以上の画像成分チャネルを入力画像302から抽出する。実施形態によっては、複数の画像成分チャネルが輝度成分を含んでおり、成分抽出器310がこの輝度成分を入力画像302から抽出するものもある。実施形態によっては、例えば、入力画像202が色チャネルしか含んでいない場合などは、複数の画像成分チャネルが輝度成分を含んでいない場合がある。成分抽出器210は、複数の画像成分チャネルに基づいて輝度成分を算定する。入力画像302における画素1つごとに、輝度成分は画素の明るさ、または、強度を示している。
ビット深度変換器312は入力画像302を変換するにあたり、入力画像302の目下のビット深度から目標ビット深度に変換する。ビット深度変換器312は、入力画像202のビット深度を技術的に実現可能であればどのような目標ビット深度にであれ変換して構わない。実施形態によっては、入力画像302のビット深度が10ではない場合は、ビット深度変換器312が入力画像302をビット深度10(すなわち、10ビット画像)に変換するものもある。例えば、入力画像302が8ビット画像である場合、ビット深度変換器312は乗算で各画素の値を4倍することによって、入力画像302を10ビット画像に変換する。実施形態によっては、ビット深度変換器312が抽出された輝度成分を成分抽出器310から受信したうえで、その抽出された輝度成分のビット深度を変換する場合もある。
場合によっては、入力画像302はディザリングを含んでいる。ディザリングとは、入力画像302に意図的に付与されたノイズのことである。ディザリングは入力画像302におけるバンディングの出現に影響するが、例えば、それが無ければきれいな輪郭を帯状縞の周囲で壊してしまうなどのような影響がある。入力画像302に対するディザリングの影響を低減するために、低域通過濾波器314が1つ以上の低域通過濾波器を入力画像302に適用する。図示したように、低域通過濾波器314は、ビット深度変換済みの画像をビット深度変換器312から受信したうえで、1つ以上の低域通過濾波器をこのビット深度変換済みの画像に適用する。実施形態によっては、低域通過濾波器314が抽出された輝度成分を成分抽出器310から受信したうえで、1つ以上の低域通過濾波器をこの抽出された輝度成分に適用する場合もある。低域通過濾波器314は、低域通過濾波器をどのような個数でもどのような種類でも適用することができる。適用される低域通過濾波器の種類は、入力画像202に付与されるディザリングの種類に応じて変わってもよい。実施形態によっては、低域通過濾波器214は2×2平均フィルタを適用するものもある。
信頼度エンジン130は加工処理済みの画像320を受信したうえで、この加工処理済みの画像320に基づいて複数の信頼度マップ240を生成する。図2に示すように、信頼度エンジン130は空間マスク生成器322、信頼度マップ生成器326、画像ダウンスケーラ328などを含んでいるが、これらに限定されない。
空間マスク生成器322は画像を受信したうえで、その画像に基づいて空間マスクを生成する。空間マスクは、画像に適用されると、画像の1か所以上の部分をフィルタ処理で除去する。図2に示すように、空間マスク生成器322は加工処理済みの画像320を受信したうえで、この加工処理済みの画像320に基づいて空間マスクを生成する。空間マスク生成器322はこの空間マスクを加工処理済みの画像320に適用することで、フィルタ処理済みの画像324を生成する。
実施形態によっては、空間マスクを生成するために、空間マスク生成器322が加工処理済みの画像320の画素1つごとに横方向の一次微分係数dおよび縦方向の一次微分係数dを判定するにあたり、2×1のフィルタ・カーネルと1×2のフィルタ・カーネルを利用する。空間マスク生成器322は一次微分係数の大きさを算定する。各微分係数の大きさdmagを算定する具体的な関数の例は等式(3)で得られる。
Figure 2024504107000004
実施形態によっては、空間マスク生成器322が、各画素の周囲のウィンドウ内の複数の画素に対応している各微分係数の大きさdmagの中央値を算定する場合もある。実施形態によっては、ウィンドウは7×7ウィンドウである。空間マスク生成器322は、中央値が閾値より大きいか否かを判定する。中央値が閾値より大きい場合、これに対応する、画像マスクにおける画素の値を、空間マスク生成器322が1に設定する。中央値が閾値以下の場合、これに対応する、画像マスクにおける画素の値を、空間マスク生成器322が0に設定する。実施形態によっては、閾値が、2160p画像のサイズと加工処理済みの画像320のサイズとの間の比率の平方根に等しいものもある。これ以外の実施形態では、加工処理済みの画像320のサイズ以外の性状と2160p画像のサイズ以外の性状との間の比率を利用してもよい場合もあるが、例えば、加工処理済みの画像320の高さまたは幅と2160p画像の高さまたは幅に対する比率、或いは、2160p以外の、例えば1080pなどのようなサイズの各種画像との比率を使用してもよい。
実施形態によっては、各微分係数の大きさdmagが0に等しくなる場合のウィンドウ・サイズ範囲内の画素数を空間マスク生成器322が判定するものもある。空間マスク生成器322は画素数が閾値より大きいか否かを判定する。画素数が閾値よりも大きい場合、これに対応している、画像マスクにおける画素の値を、空間マスク生成器322が1に設定する。画素数が閾値以下である場合、これに対応している、画像マスクにおける画素の値を、空間マスク生成器322が0に設定する。画素数を比較するための閾値は、上述の微分係数の大きさの中央値を比較するための閾値とは異なっていてもよい。実施形態によっては、画素数を比較するための閾値がウィンドウ・サイズに基づいているとともに、加工処理済みの画像320のサイズと2160p画像(3840画素×2160画素)のサイズとの間の比率にも基づいている場合もある。閾値tidxを判定するための具体的な関数の例は、等式(4)で得られる。
Figure 2024504107000005
等式(4)において、wsizeはウィンドウ・サイズ(例えば、7×7画素)を表しており、rratioは2160p画像のサイズと加工処理済みの画像320のサイズとの間の比率の平方根を表している。これ以外の各実施形態では、加工処理済みの画像320のサイズ以外の性状と2160p画像のサイズ以外の性状との間の比率を使用することもできるが、例えば、加工処理済みの画像320の高さまたは幅と2160p画像の高さまたは幅との比率、或いは、2160p以外の、例えば1080pなどのようなサイズの各種画像との比率を使用してもよい。等式(4)に示すように、閾値tidxは、rratioが増加すると減少し、上記比率が1のときに最大値を取る。これ以外の各実施形態では、上記以外の各種関数で、(各パラメータは異なっていても)閾値tidxとrratioとの間に同じ関係をとどめているものを使用してもよい。
空間マスクを加工処理済みの画像320に適用する1つの利点は、大量のテクスチャを有している画像の各領域に対してバンディング検出を実行しないことである。大量のテクスチャ、大量のノイズ、または、その両方を大量に有している画像の各領域に含まれている画素はそれぞれの値が、バンディング信頼度値を算定する目的で信頼度マップ生成器326によって使用される強度差値に等しい量だけ相互に異なっている可能性がある。空間マスクを適用することで、これらの領域について高いバンディング信頼度値を生成するのを回避している。エッジ検出操作と比較すると、先に開示した各技法は、入力画像に描かれたテクスチャ領域、非平坦領域、または、それら両領域を回避することにより、より高精度の成果を生じる。
実施形態によっては、空間マスク生成器322は加工処理済みの画像320に対して3×3モードに基づくフィルタ処理を実行することで、モード・フィルタ処理済みの画像を生成する。空間マスク生成器322は画像マスクをモード・フィルタ処理済みの画像に適用することで、フィルタ処理済みの画像324を生成する。実施形態によっては、画像マスクをモード・フィルタ処理済みの画像に適用する工程が、画像マスクの各画素とモード・フィルタ処理済みの画像の各画素との間で画素に関する乗算を実行する工程を含んでいる場合もある。3×3モード・フィルタを使用すると、低域通過濾波器314により導入された各輪郭相互の間の付加的な値が低下する。
信頼度マップ生成器326は画像を受信したうえで、その画像に基づいて1つ以上の信頼度マップを生成する。先に説明したように、各信頼度マップは相互に異なる画像スケールに対応しているとともに相互に異なる強度差値に対応している。信頼度マップ340の各画素は、それぞれに対応している、加工処理済みの画像320における各画素について、当該対応している画素に関連付けられたバンディング信頼度値を示している。或る1つの画素に関連付けられたバンディング信頼度値は、特定の画像スケールで、当該画素の周囲の領域に特定の強度差値の強度段差があるか否かを示している。図3に示すように、信頼度マップ生成器326は、画像スケール1ないしsの1つごとに、強度差値1ないしkのそれぞれに対応しているk個から成る一組の信頼度マップ340を生成する。従って、信頼度マップ生成器326はs×k個の信頼度マップを生成する。
図3に示すように、信頼度マップ生成器326は、フィルタ処理済みの画像324を空間マスク生成器322から受信する。加工処理済みの画像320、従って、フィルタ処理済みの画像324は、第1画像スケールの解像度である。信頼度マップ生成器326は、フィルタ処理済みの画像324に基づいてk個の信頼度マップを生成する。実施形態によっては、信頼度マップ生成器326は、この画像スケールに対して、1、2、3、および、4の強度差値のそれぞれに対応している4つの信頼度マップを生成する。信頼度マップ生成器326は、フィルタ処理済みの画像324における1画素ごとに、フィルタ処理済みの画像324の特定の強度差値kごとに、また、その特定の画像スケールsごとに、当該画素のバンディング信頼度値を算定する。画素(x,y)のバンディング信頼度値c(k,s)を算定するための具体的な関数の例は、図2に関連して先に説明した等式(1a)および等式(1b)により得られる。
図3に例示したように、前処理エンジン126は入力画像302をアップスケール処理しない。実施形態によっては、画素を取り囲む近傍を判定するためのウィンドウのサイズは、入力画像302のサイズに基づいて拡大または縮小(スケール)処理される。ウィンドウ・サイズ(windоw_size)を判定するための具体的な公式の例は等式(5)で得られる。
Figure 2024504107000006
等式5に示すように、ウィンドウ・サイズは、入力画像302の幅と2160p画像の幅との比率に基づいている。これ以外の各実施形態では、入力画像302の幅以外の性状と2160p画像の幅以外の性状の比率を利用するとよいが、例えば、入力画像の高さまたはサイズと2160p画像の高さまたはサイズの比率や、或いは、2160p以外の、例えば1080pなどのようなサイズの各種画像との比率を使用してもよい。
実施形態によっては、信頼度マップ生成器326が、信頼度マップ340を生成するときに輝度マスキングを適用する場合もある。信頼度マップ生成器326は、加工処理済みの画像320に対して、バンディングが見えなくなる輝度閾値を判定する。輝度閾値より明るい画素は、知覚されるバンディングに影響しない。つまり、画素が輝度閾値よりも明るいバンディング・アーティファクトは、人間視聴者には見えないのである。輝度マスキングを適用することで、輝度レベルが高くてバンディング・アーティファクトが見えないという偽陽性が減少する、という点で有利である。
信頼度マップ生成器326は、画素1つごとについて、当該画素の輝度を判定するにあたり、その輝度値に基づいて判定する。実施形態によっては、画素の輝度の判定が、BT.1886推奨規格に準拠した、或る画素値を前提として表示装置上の輝度レベルを特徴づける伝達関数に基づいて実施される場合もある。信頼度マップ生成器326は、黒画面の輝度に対応しているパラメータを0.01ニトの値に設定し、白画面の輝度に対応しているパラメータを300ニトの値に設定して、BT.1886推奨規格を使用して画素の輝度を判定する。これ以外の各実施形態では、上記以外の伝達関数、パラメータ、または、その両方を利用することで、多様な視聴条件をモデル化するものもある。例えば、HDR(ハイ・ダイナミック・レンジ)対応の表示装置の場合、輝度を算定するのであれば、PQ(知覚量子化器)または HLG(ハイブリッド・ログ・ガンマ)規格に準拠した各種関数を使用すればよい。
信頼度マップ生成器326は、画素1つごとに、当該画素のコントラスト(cоntrast)を判定するにあたり、当該画素の輝度(luminance)と強度差値1つごとの当該画素の輝度とに基づいて判定する。輝度値Yで強度差値kである画素のコントラストを判定する具体的な関数の例は等式(6)で得られる。
Figure 2024504107000007
信頼度マップ生成器326は、強度差値1つごとの画素のコントラストが閾値未満であるか否かを判定する。強度差値kである画素のコントラストが閾値未満である場合、信頼度マップ生成器326は、等式(1a)および等式(1b)で先に述べたとおり、p(k,s)の値を0に設定する。実施形態によっては、閾値が0.019に設定されたハイパーパラメータであるものもある。
信頼度マップ生成器326が上記以外の各種関数を使用することで輝度マスキングを実行するよう図っても構わない。例えば、閾値は、定数値ではなくむしろ、動的に算定される値にしてもよい。もう1つ別の例のように、画素1つごとの輝度値を算定する代わりに、画素1つごとの周囲の領域の平均輝度値を算定したうえで、この平均輝度値に基づいて当該画素におけるバンディングの可視性閾値を決定しても構わない。
画像ダウンスケーラ328は、フィルタ処理済みの画像324に対して1つ以上のダウンスケール操作を実行することで、第2画像スケールのダウンスケール処理済みの画像330を生成する。画像ダウンスケーラ328はフィルタ処理済みの画像324に対して、どのような数、どのような種類、または、数と種類のどのような組合せでダウンスケール操作を実行してもよい。実施形態によっては、画像ダウンスケーラ328がフィルタ処理済みの画像324を間引いて2分の1に縮小するものもある。画像ダウンスケーラ328は、フィルタ処理済みの画像324における画素を1つおきに選択して保持し、残余の画素を破棄する。ダウンスケール処理済みの画像330は、選択された画素から構成されている。
空間マスク生成器322はダウンスケール処理済みの画像330を受信したうえで、ダウンスケール処理済みの画像330に基づいて画像マスクを生成する。空間マスク生成器322は、加工処理済みの画像320に基づいた画像マスクの生成に関して先に説明したのと同様の方法で、ダウンスケール処理済みの画像330に基づいて画像マスクを生成する。空間マスク生成器322は空間マスクをダウンスケール処理済みの画像330に適用することで、ダウンスケール処理済みの画像330に対応しているフィルタ処理済みの画像324を生成する。信頼度マップ生成器326は、ダウンスケール処理済みの画像330に対応しているフィルタ処理済みの画像324を受信したうえで、このダウンスケール処理済みの画像330に基づいてk個から成るもう1つ別組の信頼度マップを生成する。上述のダウンスケール処理、空間マスクの生成、信頼度マップの生成、および、輝度マスクの生成は、s個の画像スケールについて繰り返される。実施形態によっては、画像ダウンスケーラ328は、画像スケール1080p、540p、270p、および、135pのそれぞれに対応している4つのダウンスケール処理済みの画像330を生成する。従って、信頼度マップ生成器326は、強度差値1、2、3、および、4、ならびに、画像スケール2160p、1080p、540p、270p、および、135pに対応している合計20個の信頼度マップ340を生成する。
実施形態によっては、入力画像302は2160pより小さい画像スケールであり、画像スケールが135pになるまで画像ダウンスケーラ328がダウンスケール画像330を生成する場合もある。例えば、入力画像302の解像度が画像スケール1080pである場合、画像ダウンスケーラ328は、画像スケール540p、270p、および135pに対応している3つのダウンスケール処理済みの画像330を生成する。従って、信頼度マップ生成器326は、強度差値1、2、3、および、4、ならびに、画像スケール1080p、540p、270p、および、135pに対応している16個の信頼度マップ340しか生成しない。入力画像をアップスケール処理してより高解像度にするのではなくむしろ、入力画像の画像スケールから開始することで、より低い解像度の入力画像のバンディング指数を生成するのに必要な処理量を削減している、という点で有利である。
空間プーリング・エンジン134は複数の信頼度マップ340を受信したうえで、複数の信頼度マップ340に基づいてバンディング指数350を生成する。先に述べたとおり、実施形態によっては、空間プーリング・エンジン134が画素群それぞれのバンディング信頼度値の平均化処理に基づいてバンディング指数を算定するものもあるが、その際の画素群は、複数の信頼度マップ340のうちの1つごとに最高バンディング信頼度値を有しているものである。複数の信頼度マップに基づいてバンディング指数を算定する具体的な関数の例は、図2に関連して先に説明した等式(2)で得られる。
実施形態によっては、空間プーリング・エンジン134が各画像スケールに対応しているバンディング指数を算定するにあたり、画像スケール1つごとに対応している信頼度マップに基づいて算定する場合もある。空間プーリング・エンジン134は、多様な画像スケールについてのバンディング指数に基づいて、入力画像302に対応しているバンディング指数を算定する。多様な画像スケールについてのバンディング指数(banding_indexscale)に基づいてバンディング指数(banding_indeximage)を算定する具体的な関数の例は、以下の等式(7a)および等式(7b)で得られる。
Figure 2024504107000008
等式(7a)および等式(7b)では、kは多様な強度差値(1、2、3、および、4)を表しており、ν°は多様な視覚度(1、2、4、8、および、16)を表しており、1/ν°はバンディングが検出される多様な空間周波数を表している。加えて、等式(7a)および等式(7b)では、kは強度差値kに対応している信頼度マップにおいて、最高バンディング信頼度値を有しているp個から成る一組の画素を表している。この一組の画素群kのサイズは、1 から信頼度マップにおける画素数までであればどのようなサイズであってもよい。実施形態によっては、kがどの1つの信頼度マップでも画素全部を含んでいるものもある。実施形態によっては、kがどの1つの信頼度マップでも画素の30パーセントを含んでいるものもある。実施形態によっては、kがどの1つの信頼度マップでも画素の60パーセントを含んでいるものもある。
等式(2)、等式(7a)、および、等式(7b)により示された各具体例では、或る1つの信頼度マップの各画素のバンディング信頼度値は、当該信頼度マップに対応している強度差値と画像スケールとに基づいて重み付け定量評価が実施される。等式(2)、等式(7a)、および、等式(7b)では、強度差値1、2、3、および、4には重み1、2、3、および、4のそれぞれが割り当てられるとともに、画像スケール1、1/2、1/4、1/8、および、1/16には重み16、8、4,2、および、1のそれぞれが割り当てられる。これ以外の各実施形態では、上記以外の重み付け関数および重み値を使用しても構わない。例えば、信頼度マップ生成器222、信頼度マップ生成器326、または、その両方が、最小バンディング信頼度値および最大バンディング信頼度値に基づく閾値を適用してもよい。もう1つ別の例として、信頼度マップ生成器222、信頼度マップ生成器326、または、その両方がバンディング信頼度値を重み付けするにあたり、非線形的に実施する場合もある。
図4は、本発明の多様な実施形態による、入力映像のバンディング指数を生成する方法の各工程のフローチャートである。この方法の各工程を図1ないし図3の各システムを参照しながら説明していくが、この方法の各工程をどのような順序で実行するよう構成したものであれ、いかなるシステムも本発明の範囲内に含まれることを当業者なら理解するであろう。
図示のように、方法400は、バンディング検出アプリケーション120が入力映像102を受信する工程402で始まる。工程404では、バンディング検出アプリケーション120はバンディング検出を実施する目的で、入力映像102に含まれている複数のフレーム124(1)ないし124(M)を同定する。複数のフレーム124(1)ないし124(M)を同定する工程は、副次標本抽出エンジン122に関して先に述べたのと同様の方法で実行される。実施形態によっては、バンディング検出アプリケーション120は、入力映像102から1つのフレームを選択するにあたり、多様な時間間隔で(例えば、0.5秒ごとに)実施するものもある。
工程406で、バンディング検出アプリケーション120は、複数のフレーム124(1)ないし124(M)に含まれているフレーム1つごとに、そのフレームに関連付けられたフレーム・バンディング指数136を生成する。各フレームに関連付けられたフレーム・バンディング指数136の生成工程は、信頼度エンジン130および空間プーリング・エンジン134に関して先に述べたのと同様の方法で実行されるが、図5に関して以下で更に説明する。実施形態によっては、或る1つのフレームに関連付けられたフレーム・バンディング指数136の生成工程が、当該フレームに対して1つ以上の前処理操作を実行することで加工処理済みのフレームを生成する工程、加工処理済みのフレームに基づいて複数の信頼度マップを生成する工程、これら複数の信頼度マップに基づいてバンディング指数を生成する工程などを含んでいるものもある。
工程408で、バンディング検出アプリケーション120は、複数のフレーム124(1)ないし124(M)に関連付けられた複数のフレーム・バンディング指数136(1)ないし136(M)に基づいて、入力映像102についての映像バンディング指数140を生成する。映像バンディング指数140の生成工程は、時間プーリング・エンジン138に関して先に述べたのと同様の方法で実行される。実施形態によっては、映像バンディング指数140の生成工程が、複数のフレーム・バンディング指数136(1)ないし136(M)の平均を算定する工程を含んでいるものもある。バンディング検出アプリケーション120は、映像バンディング指数140、複数のフレーム・バンディング指数136(1)ないし136(M)、または、その両方を記憶装置に保存し、映像バンディング指数140、複数のフレーム・バンディング指数136(1)ないし136(M)、または、その両方を将来的使用のために任意の数のソフトウェア・アプリケーションに送信し、もしくは、その両方を実行する。
図5は、本発明の多様な実施形態による、入力画像のバンディング指数を生成する方法の各工程のフローチャートである。この方法の各工程を図1ないし図3の各システムを参照しながら説明してゆくが、この方法の各工程をどのような順序で実行するよう構成したものであれ、いかなるシステムも本発明の範囲内に含まれることを当業者なら理解するであろう。先に述べたように、入力画像は個々の入力画像であってもよいし、入力映像または入力映像区分に由来して同定されるフレームであってもよい。
図示したように、方法500は、バンディング検出アプリケーション120が入力画像に対して1つ以上の前処理動作を実行する工程502で始まる。入力画像に対して1つ以上の前処理操作を実行する工程は、前処理エンジン126に関して先に明示したのと同様の方法で実行される。実施形態によっては、1つ以上の前処理操作が、輝度成分を入力画像から抽出する工程、入力画像のビット深度を目標ビット深度に変換する工程、低域通過濾波器を入力画像に適用する工程、入力画像をアップスケール処理して目標画像解像度まで高精細にする工程などのうち1つ以上を含んでいるものもある。
工程504で、バンディング検出アプリケーション120は、加工処理済みの入力画像に基づいて、特定の強度差値と特定の画像スケールとに関連付けられた信頼度マップを生成する。信頼度マップの生成は、信頼度エンジン130に関して先に明示したのと同様の方法で実行される。実施形態によっては、信頼度マップの生成工程が、加工処理済みの入力画像における画素1つごとに、当該画素に関連付けられたバンディング信頼度値を特定の強度差値と特定の画像スケールとに基づいて算定する工程を含んでいるものもある。
実施形態によっては、信頼度マップを生成する工程が、加工処理済みの入力画像に基づいて空間マスクを生成する工程、空間マスクを加工処理済みの入力画像に適用することでフィルタ処理済みの画像を生成する工程などを含んでいるものもある。バンディング検出アプリケーション120は、フィルタ処理済みの画像に基づいて信頼度マップを生成する。
実施形態によっては、信頼度マップを生成する工程が、輝度マスクキング処理を加工処理済みの入力画像に適用することを含んでいるものもある。バンディング検出アプリケーション120は、特定の強度レベルの加工処理済みの入力画像の画素1つごとに、当該画素が知覚されるバンディングに影響しているか否かを判定する。当該画素が知覚されるバンディングに影響しない場合は、当該画素に関連付けられたバンディング信頼度値が0に調整される。
工程506で、更なる強度レベルが残存している場合、本願の方法は工程504に戻り、同工程にて、次位の強度レベルに関連付けられた信頼度マップを生成する。先に述べたとおり、実施形態によっては、画像スケール1つごとに、1、2、3、および、4の強度差値のそれぞれについて信頼度マップが生成される。工程504は、特定の画像スケールと強度差値1、2、3、および、4の各々に対して繰り返される。信頼度マップを指定された強度レベルの全てについて生成するのが完了すると、本願の方法は工程508に進む。
工程508で、更なる画像スケールが残存している場合、本願の方法は工程510に進む。工程510で、バンディング検出アプリケーション120は、加工処理済みの入力画像をダウンスケール処理で縮小する。実施形態によっては、加工処理済みの入力画像をダウンスケール処理する工程が、加工処理済みの入力画像を間引いて特定の割合(例えば、2つに1つ)に縮小することを含んでいるものもある。本願の方法は工程504に戻り、この工程で、次位の画像スケールである加工処理済みの入力画像について信頼度マップを生成する。
先に述べたとおり、実施形態によっては、2160p、1080p、540p、270p、および、135pの画像スケールごとに一組の信頼度マップを生成するものもある。工程504ないし工程510は、多様な画像スケールの各々について繰り返される。画像が最小の画像スケールであり、更なる画像スケールが全く残存していない場合、本願の方法は工程512に進む。
工程512で、バンディング検出アプリケーション120は、上述の工程504の反復によって生成された複数の信頼度マップに基づいて、入力画像に対応しているバンディング指数を生成する。複数の信頼度マップに基づいてバンディング指数を生成する工程は、空間プーリング・エンジン134に関して先に明示したのと同様の方法で実行される。実施形態によっては、バンディング検出アプリケーション120が画素群それぞれのバンディング信頼度値の平均化処理に基づいてバンディング指数を算定するものもあるが、その際の画素群は、複数の信頼度マップのうちの1つごとに最高バンディング信頼度値を有しているものである。実施形態によっては、バンディング検出アプリケーション120が、特定の画像スケール1つごとに対応しているバンディング指数を算定するにあたり、各画像スケールに対応している信頼度マップに基づいて実施するものもある。バンディング検出アプリケーション120は入力画像に対応しているバンディング指数を算定するにあたり、複数の画像スケールについてのバンディング指数に基づいて実施する。バンディング検出アプリケーション120は、バンディング指数を記憶装置に保存し、このバンディング指数を将来的に使用することを目的として任意の数のソフトウェア・アプリケーションに送信し、または、その両方を実施する。実施形態によっては、バンディング検出アプリケーション120が、入力映像に対応している複数のフレーム(例えば、入力映像102の入力フレーム124(1)ないし124(M))について本願の方法500を実行したうえで、複数の入力フレームについて生成されたバンディング指数を使用することで、入力映像の映像バンディング指数150を生成する。
電算装置の概要
図6は、本発明の1つ以上の態様を実現するように構成された電算装置600の概念図である。図示のように、電算装置600は相互接続機能部(バス)612を備えており、これが1つ以上の演算処理装置602、1つ以上の入出力(I/O)装置608に接続された入出力(I/O)装置インターフェイス604、記憶装置616、記憶域614、ネットワーク・インターフェイス606などを接続している。多様な実施形態において、1つ以上の電算インスタンス110が、1つ以上の図示した電算装置600の随所に実装されていてもよい。
電算装置600としては、サーバ・コンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、スマートフォン、携帯情報端末(PDA)、タブレット型コンピュータ、または、これら以外の何らかの種類の電算装置であって、入力を受信し、データを処理し、任意選択で画像を表示するように構成されているうえに、1つ以上の実施形態を実施するのに好適なものなどが挙げられる。本明細書に記載されている電算装置600は例示的なものであり、技術的に実現可能であれば上記以外のどのような構成であれ本件開示の範囲に含まれる。
演算処理装置(単数または複数)602としては、中央処理装置(CPU)、グラフィックス処理装置(GPU)、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、人工知能(AI)アクセラレータ、上記以外の何らかの種類の処理装置、または、例えばGPUと連携して作動するよう構成されたCPUなどのような、複数の異なる処理装置の何らかの組合せとして実装される、何であれ好適な演算処理装置が挙げられる。一般に、演算処理装置(単数または複数)602は、データを処理し、ソフトウェア・アプリケーションを実行し、または、その両方を実施する能力があって技術的に実現可能であれば、どのようなハードウェア装置であってもよい。更に、本件開示の観点では、電算装置600の形態で図示されている電算素子は、何らかの物理的電算システム(例えば、データセンター内のシステム)に相当していてもよいし、或いは、電算資源内で実行される仮想電算インスタンスであってもよい。
一実施形態では、入出力装置608としては、キーボード、マウス、タッチスクリーンなどのような入力を行えるようにする各種装置は元より、表示装置などのような出力を行えるようにする各種装置も挙げられる。これに加えて、入出力装置608は、タッチスクリーンやユニバーサル・シリアル・バス(USB)ポートなどのような、入力の受信と出力の供与の両方を行う能力のある各種装置を含んでいてもよい。入出力装置608は、多様な種類の入力を電算装置600の末端利用者(例えば、デザイナー)から受信するよう構成されていてもよいし、或いは、表示用のデジタル画像やデジタル映像またはデジタルテキストなどのような多様な種類の出力を電算装置600の末端利用者に供与するよう構成されていてもよい。実施形態によっては、1つ以上の入出力装置608が電算装置600をネットワーク610に接続するよう構成されているものもある。
ネットワーク610としては、電算装置600と、ウェブ・サーバまたは何か別のネットワーク化された電算装置などのような各種の外部実存物すなわち外部装置との間でデータを交換することができるようにする、技術的に実現可能な何らかの種類の通信ネットワークが挙げられる。例えば、ネットワーク610としては、とりわけ、ワイド・エリア・ネットワーク(WAN)、ローカル・エリア・ネットワーク(LAN)、無線(WiFi)ネットワーク、インターネット、または、これらの各種組合せが挙げられる。
記憶域614としては、各種のアプリケーションおよびデータの不揮発性記憶域が挙げられるが、更にこれに、固定式または着脱自在な各種のディスク・ドライブやフラッシュ・メモリ装置と、CD-ROM、DVD-ROM、Blu-Ray、HD-DVD、または、これら以外の磁気記憶装置、光学記憶装置、もしくは、半導体記憶装置などを含めてもよい。
記憶装置616としては、ランダム・アクセス・メモリ(RAM)・モジュール、フラッシュ・メモリ装置、これら以外の何らかの種類の記憶装置、または、上記の何らかの組合せが挙げられる。演算処理装置(単数または複数)602、入出力装置インターフェイス604、および、ネットワーク・インターフェイス606は、記憶装置616からデータを読み取り、記憶装置616にデータを書き込むよう構成されている。記憶装置616は、演算処理装置(単数または複数)602によって実行され得る多様なソフトウェア・プログラムと、該ソフトウェア・プログラムに関連しているアプリケーション・データとを備えている。
要約すると、開示された技法は、画像または映像におけるバンディング・アーティファクトを検出することができるようにする。複数のバンディング信頼度マップを画像について生成する。バンディング信頼度マップは各々が、多様な強度差値および多様な画像解像度に基づいて、当該画像における各画素のバンディング信頼度を示している。画素1つごとのバンディング信頼度は、当該画素とその近傍の各画素との間の知覚されたコントラストに基づいて算定される。強度差値1つごとについて、当該画素のバンディング信頼度は、当該画素の強度に比べて強度差値に等しい量だけ強度が異なっている近傍の画素が多数あることを示している。
画像に対応するバンディング指数は、複数のバンディング信頼度マップに基づいて生成される。バンディング指数は、画像において視認できるバンディングの量を予測している。映像ごとまたは映像区分ごとにバンディング指数を生成する目的で、映像または映像区分の複数のフレーム群のフレーム1つごとにバンディング指数を生成する。例えば、映像または映像区分の0.5秒ごとに1フレームについてのバンディング指数を生成するとよい。映像または映像区分に対応しているバンディング指数は、複数のフレームのバンディング指数に基づいて生成される。
従来技術と比較した本件開示の技法の少なくとも1つの技術的利点は、本件開示の各種技法を用いることで、或る1つの画像におけるバンディングが従来技術と比較してより高精度に検出されることである。特に、コントラスト検出を利用することで、人間視聴者には視認できるが、偽エッジ検出技術や偽区分検出技術を利用したのでは検出できないバンディングを同定している。更に、本件開示の各技法により生成される成果に含まれる、人間視聴者には見えないバンディング、バンディング・アーティファクトと無関係である視覚画像要素、または、その両方が少なくなる。従って、本件開示の各技法は、従来技術と比べて、偽陽性と偽陰性の両方の生成が少なくなる。これらの技術的利点は、従来技術の取組み手法に優る1つ以上の技術的進歩をもたらしている。
1. 実施形態によっては、コンピュータに実装された、画像におけるバンディングの検出方法は、第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を含んでおり、その際に、該第1組の画素信頼度値に含まれることになる各画素信頼度値は、その各々に対応している、第1画像スケールの第1画像に含まれている各画素が第1画像におけるバンディングに一致している可能性を示しており、該方法は、該第1組の画素信頼度値に基づいて第1画像に対応しているバンディング指数を生成する工程を更に含んでいる。
2. 前段1のコンピュータに実装された上記方法においては、第1組の画素信頼度値を生成する上記工程は、上記第1画像に対して1つ以上の前処理操作を実行することで加工処理済みの画像を生成する工程、上記第1組の画素信頼度値を該加工処理済みの画像に基づいて生成する工程などを含んでいる。
3. 前段1または前段2のコンピュータに実装された上記方法においては、上記1つ以上の前処理操作は、上記第1画像から輝度成分を抽出する工程、上記第1画像を目標画像ビット深度に変換する工程、低域通過濾波器を上記第1画像に適用する工程、第1画像をアップスケール処理により高精細化して目標画像解像度にする工程などのうちの少なくとも1つを含んでいる。
4. 前段1から前段3のいずれかの、コンピュータに実装された上記方法においては、第1組の画素信頼度値を生成する上記工程は、上記第1画像に基づいて空間マスクを生成する工程、モード・フィルタを上記第1画像に適用することでモード・フィルタ処理された画像を生成する工程、空間マスクを該モード・フィルタ処理された画像に適用することでフィルタ処理済みの画像を生成する工程、上記第1組の画素信頼度値を該フィルタ処理済みの画像に基づいて生成する工程、などを含んでいる。
5. 前段1から前段4のいずれかの、コンピュータに実装された上記方法においては、第1組の画素信頼度値を生成する上記工程は、上記第1画像に含まれている1つ以上の画素について、各画素に関連のあるコントラスト値を判定する工程、上記第1組の画素信頼度値を生成するにあたり、前記第1組の画素信頼度値を生成するにあたり、該第1組に含まれることになる1つ以上の画素信頼度値の1つごとに、その各々に対応している、前記第1画像における各画素に関連のある該コントラスト値が閾値未満であるか否かに基づいて生成する工程、などを含んでいる。
6. 前段1から前段5のいずれかの、コンピュータに実装された上記方法は、第2強度差値と上記第1画像スケールとに基づいて第2組の画素信頼度値を生成する工程を更に含んでおり、その際に、該第2組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、上記第1画像スケールの上記第1画像に含まれている各画素が、上記第1画像におけるバンディングに一致している可能性を示しており、また、バンディング指数を生成する上記工程は更に該第2組の画素信頼度値に基づいている。
7. 前段1から前段6のいずれかの、コンピュータに実装された上記方法は、上記第1画像に対して1つ以上のダウンスケール操作を実行することで、第2画像スケールに関連付けられたダウンスケール処理済みの画像を生成する工程、第2組の画素信頼値を上記第1強度差値と第2画像スケールとに基づいて生成する工程、などを含んでおり、その際に、該第2組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第2画像スケールの該ダウンスケール処理済みの画像に含まれている各画素が、第1画像におけるバンディングに一致している可能性を示しており、また、バンディング指数を生成する上記工程は更に該第2組の画素信頼度値に基づいている。
8. 前段1から前段7のいずれかの、コンピュータに実装された上記方法においては、バンディング指数を生成する上記工程は、上記第1組の画素信頼度値に含まれている選択された小集団の画素信頼度値に基づいている。
9. 前段1から前段8のいずれかの、コンピュータに実装された上記方法においては、バンディング指数を生成する前記工程は、上記第1組の画素信頼度値に基づいて第1の画像スケール・バンディング指数を生成する工程、上記第2組の画素信頼度値に基づいて第2の画像スケール・バンディング指数を生成する工程、該第1の画像スケール・バンディング指数と該第2の画像スケール・バンディング指数に基づいてバンディング指数を生成する工程、などを含んでいる。
10. 前段1から前段9のいずれかの、コンピュータに実装された上記方法においては、上記第1画像は映像の一部に含まれており、上記第1画像に対応している上記バンディング指数を利用することで、該映像に対応しているバンディング指数を生成する。
11. 実施形態によっては、各種命令を保存している1つ以上の、コンピュータが読込める持続的な媒体において、該命令は、1つ以上の演算処理装置によって実行されると、該1つ以上の演算処理装置に、第1画像に関連のある第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を実行させ、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該命令は該1つ以上の演算処理装置に、該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する工程を更に実行させる。
12. 前段11の、1つ以上の、コンピュータが読込める持続的な媒体においては、第1組の画素信頼度値を生成する上記工程は、上記第1画像に対して1つ以上の前処理操作を実行することで加工処理済み画像を生成する工程、該加工処理済みの画像に基づいて該第1組の画素信頼度値を生成する工程、などを含んでいる。
13. 前段11または前段12の、1つ以上の、コンピュータが読込める持続的な媒体においては、上記1つ以上の前処理操作は、上記第1画像から輝度成分を抽出する工程、上記第1画像を目標画像ビット深度に変換する工程、低域通過濾波器を上記第1画像に適用する工程、上記第1画像をアップスケール処理により高精細化して目標画像解像度にする工程、などのうちの少なくとも1つを含んでいる。
14. 前段11から前段13のいずれかの、1つ以上の、コンピュータが読込める持続的な媒体においては、第1組の画素信頼度値を生成する上記工程は、上記第1画像に基づいて空間マスクを生成する工程、モード・フィルタを上記第1画像に適用することでモード・フィルタ処理された画像を生成する工程、該空間マスクを該モード・フィルタ処理された画像に適用することでフィルタ処理済みの画像を生成する工程、該フィルタ処理済みの画像に基づいて上記第1組の画素信頼度値を生成する工程、などを含んでいる。
15. 前段11から前段14のいずれかの、1つ以上の、コンピュータが読込める持続的な媒体においては、第1組の画素信頼度値を生成する上記工程は、上記第1画像に含まれている画素1つごとに、上記第1強度差値と上記第1画像スケールに基づいてそれぞれの画素信頼度値を算定する工程、などを含んでいる。
16. 前段11から前段15のいずれかの、1つ以上の、コンピュータが読込める持続的な媒体においては、それぞれの画素信頼度値を算定する上記工程は更に、その各々に対応している、上記第1画像における各画素と関連して
いるコントラスト値が閾値未満であるか否かにも基づいている。
17. 前段11から前段16のいずれかの、1つ以上の、コンピュータが読込める持続的な媒体においては、それぞれの画素信頼度値を算定する上記工程は、各画素の周囲の複数の近傍画素の1つごとに、上記画素の強度と該近傍画素の強度とが上記第1強度差値だけ異なっているか否かを判定する工程を含んでいる。
18. 前段11から前段17のいずれかの、1つ以上の、コンピュータが読込める持続的な媒体においては、上記第1画像のサイズに基づいて上記複数の近傍画素を判定する工程を更に含んでいる。
19. 前段11から前段18のいずれかの、1つ以上の、コンピュータが読込める持続的な媒体においては、上記第1画像は映像の一部に含まれており、上記第1画像に対応している上記バンディング指数を利用することで、該映像に対応しているバンディング指数を生成する。
20. 実施形態によっては、システムは、各種命令を保存している1つ以上の記憶装置と、該1つ以上の記憶装置に接続されている1つ以上の演算処理装置とを備えており、該演算処理装置は、該命令を実行すると、第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を実行し、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該演算処理装置は、該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する工程を更に実行する。
特許請求の範囲の請求項のいずれかに記載された請求対象の要素のいずれか、本願に記載されたあらゆる要素、または、そのありとあらゆる組合せは、いかなる様式であれ、本発明および保護の企図された範囲に入る。
多様な実施形態の説明は具体例を挙げるために提示してきたのであって、本件開示の各実施形態を余すところなく説明することも、それらに限定することも意図してはいない。説明してきた各実施形態の範囲および真髄から逸脱することなく、多くの修正および変更が当業者には明らかとなるであろう。
本件の各実施形態の各種態様は、システム、方法、または、コンピュータ・プログラム製品として具現化することができる。従って、本件開示の各種態様は、完全にハードウェアの実施形態、または、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロ・コードなどを含む)の形式を取ってもよいし、或いは、本明細書中で「モジュール」、「システム」、または、「コンピュータ」といずれも広義に呼称することのできる、ソフトウェアの態様とハードウェアの態様を組み合わせた実施形態の形式を取ってもよい。これに加えて、本件開示で説明してきたいずれのハードウェア技術またはいずれのソフトウェア技術、いずれのプロセス、機能、コンポーネント、エンジン、モジュール、もしくは、システムであれ、1つの回路またはひと組の回路群として実装されてもよい。更に、本件開示の各種態様は、1つ以上の、コンピュータが読込める媒体の状態で具現化された、コンピュータ・プログラム製品の形態を取っており、コンピュータが読出せるプログラムコードを該媒体上で具現化させるようにしてもよい。
1つ以上の、コンピュータが読込める媒体を任意に組合わせたものを利用することもできる。コンピュータが読込める該媒体は、コンピュータが読出せる信号の媒体であってもよいし、コンピュータが読込める記憶域媒体であってもよい。コンピュータが読込める記憶域媒体とは、例えば、電子式、磁気式、光学式、電磁式、赤外線式、または、半導体のシステム、機器、装置、または、これらの何であれ好適な組合わせであってもよいが、これらに限定されない。コンピュータが読込める記憶域媒体のより具体的な例(全部を網羅していないリスト)を挙げるとすれば以下のものがある。すなわち、1つ以上のワイヤが設けられた電気接続機能部、コンピュータ用の携帯ソフロッピー・ディスク、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM)、消去可能でプログラム可能なリード・オンリ・メモリ(EPROMまたはフラッシュ・メモリ)、光ファイバ、携帯コンパクト・ディスク式リード・オンリ・メモリ(CD-ROM)、光記憶装置、磁気記憶装置、または、これらの何であれ好適な組合せがある。この文書の観点では、コンピュータが読込める記憶域媒体とは、命令実行用のシステム、機器、または、装置により使用される、または、これに接続して使用されるプログラムを含んでいる、または、そのようなプログラムを保存することができる何らかの有形媒体であってもよい。
本件開示の各種態様は、本件開示の各実施形態による方法、機器(システム)、および、コンピュータ・プログラム製品のフローチャート、ブロック図、または、その両方を参照しながら先に説明している。フローチャート、ブロック図、または、その両方の個々のブロック、および、フローチャート、ブロック図、または、その両方における複数ブロックの各種組合せは、各種のコンピュータ・プログラム命令により実現することができることが分かるであろう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、専用コンピュータ、または、これら以外のプログラム可能なデータ処理機器の演算処理装置に供与することで、或る種のマシンを作り出すことができる。これらの命令を、コンピュータまたはそれ以外のプログラム可能なデータ処理機器の演算処理装置により実行すると、フローチャート、ブロック図、または、その両方の1ブロックまたは複数ブロックにおいて指定されている諸機能や各種動作を実現することができる。このような演算処理装置は、汎用演算処理装置、専用演算処理装置、特定用途向け演算処理装置、または、フィールド・プログラマブル・ゲート・アレイであればよいが、これらに限定されない。
図面中のフローチャートおよびブロック図は、本件開示の多様な実施形態による各種のシステム、方法、および、コンピュータ・プログラム製品の可能な実装例の構成、機能性、および、操作を例示している。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能(単数または複数)を実現するための1つ以上の実行可能な命令を含んでいるコードの或る種のモジュール、区分、または、一部を表している場合がある。また、これに代わる幾つかの実装例では、ブロック内に示されている諸機能が、各図に示されている順序を乱して起こる場合もある点にも留意するべきである。例えば、連続して図示されている2つのブロックが、実際には、ほぼ同時に実行されることもあれば、各ブロックが時には、関与している機能性に応じて、逆の順序で実行されることもある。ブロック図、フローチャート図、または、その両方のブロック1つごとが、または、ブロック図、フローチャート、または、その両方の複数ブロックの各種組合せが、指定された諸機能または各種動作を実行する専用のハードウェア・ベースのシステムにより実現されてもよいし、或いは、専用のハードウェアと各種のコンピュータ命令の各種組合せにより実現されてもよい点にも注目することになる。
前段までは本件開示の各実施形態を対象としているが、本件開示のそれら以外の更なる実施形態を、その基本的な範囲から逸脱することなく考案することができ、その範囲は添付の特許請求の範囲によって決まる。
100 バンディング検出システム
102 入力映像
110 電算インスタンス
112 演算処理装置
120 バンディング検出アプリケーション
122 副次標本抽出エンジン
124 フレーム
126 前処理エンジン
130 信頼度エンジン
132 信頼度マップ
134 空間プーリング・エンジン
138 時間プーリング・エンジン
600 電算装置
602 演算処理装置
604 入出力装置インターフェイス
606 ネットワーク・インターフェイス
608 入出力装置
610 ネットワーク
612 相互接続機能部(バス)
614 記憶域
616 記憶装置
前段までは本件開示の各実施形態を対象としているが、本件開示のそれら以外の更なる実施形態を、その基本的な範囲から逸脱することなく考案することができ、その範囲は添付の特許請求の範囲によって決まる。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態1
コンピュータに実装された、画像におけるバンディングの検出方法であって、該方法は、
第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を含んでおり、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該方法は、
該第1組の画素信頼度値に基づいて該第1画像に対応しているバンディング指数を生成する工程を更に含んでいる、コンピュータに実装された方法。
実施形態2
第1組の画素信頼度値を生成する前記工程は、
前記第1画像に対して1つ以上の前処理操作を実行することで加工処理済みの画像を生成する工程、および、
前記第1組の画素信頼度値を該加工処理済みの画像に基づいて生成する工程を含んでいる、実施形態1に記載のコンピュータに実装された方法。
実施形態3
前記1つ以上の前処理操作は、前記第1画像から輝度成分を抽出する工程、前記第1画像を目標画像ビット深度に変換する工程、低域通過濾波器を前記第1画像に適用する工程、第1画像をアップスケール処理により高精細化して目標画像解像度にする工程などのうちの少なくとも1つを含んでいる、実施形態2に記載のコンピュータに実装された方法。
実施形態4
第1組の画素信頼度値を生成する前記工程は、
前記第1画像に基づいて空間マスクを生成する工程、
モード・フィルタを前記第1画像に適用することでモード・フィルタ処理された画像を生成する工程、
空間マスクを該モード・フィルタ処理された画像に適用することでフィルタ処理済みの画像を生成する工程、および、
前記第1組の画素信頼度値を該フィルタ処理済みの画像に基づいて生成する工程を含んでいる、実施形態1に記載のコンピュータに実装された方法。
実施形態5
第1組の画素信頼度値を生成する前記工程は、
前記第1画像に含まれている1つ以上の画素について、各画素に関連のあるコントラスト値を判定する工程、および、
前記第1組の画素信頼度値を生成するにあたり、該第1組に含まれることになる1つ以上の画素信頼度値の1つごとに、その各々に対応している、前記第1画像における各画素に関連のある該コントラスト値が閾値未満であるか否かに基づいて生成する工程を含んでいる、実施形態1に記載のコンピュータに実装された方法。
実施形態6
前記方法は、第2強度差値と前記第1画像スケールとに基づいて第2組の画素信頼度値を生成する工程を更に含んでおり、その際に、該第2組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、前記第1画像スケールの前記第1画像に含まれている各画素が、前記第1画像におけるバンディングに一致している可能性を示しており、また、
バンディング指数を生成する前記工程は更に該第2組の画素信頼度値に基づいている、実施形態1に記載のコンピュータに実装された方法。
実施形態7
前記第1画像に対して1つ以上のダウンスケール操作を実行することで、第2画像スケールに関連付けられたダウンスケール処理済みの画像を生成する工程、および、
第2組の画素信頼値を前記第1強度差値と第2画像スケールとに基づいて生成する工程を含んでおり、該工程では、該第2組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第2画像スケールの該ダウンスケール処理済みの画像に含まれている各画素が、前記第1画像におけるバンディングに一致している可能性を示しており、
バンディング指数を生成する前記工程は更に該第2組の画素信頼度値に基づいている、実施形態1に記載のコンピュータに実装された方法。
実施形態8
バンディング指数を生成する前記工程は、前記第1組の画素信頼度値に含まれている選択された小集団の画素信頼度値に基づいている、実施形態1に記載のコンピュータに実装された方法。
実施形態9
バンディング指数を生成する前記工程は、
前記第1組の画素信頼度値に基づいて第1の画像スケール・バンディング指数を生成する工程、
前記第2組の画素信頼度値に基づいて第2の画像スケール・バンディング指数を生成する工程、および、
該第1の画像スケール・バンディング指数と該第2の画像スケール・バンディング指数に基づいてバンディング指数を生成する工程を含んでいる、実施形態7に記載のコンピュータに実装された方法。
実施形態10
前記第1画像は映像の一部に含まれており、前記第1画像に対応している前記バンディング指数を利用することで、該映像に対応しているバンディング指数を生成する、実施形態1に記載のコンピュータに実装された方法。
実施形態11
各種命令を保存している1つ以上の、コンピュータが読込める持続的な媒体であって、該命令は、1つ以上の演算処理装置によって実行されると、該1つ以上の演算処理装置に、
第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を実行させ、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該命令は該1つ以上の演算処理装置に、
該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する工程を更に実行させる、1つ以上の、コンピュータが読込める持続的な媒体。
実施形態12
第1組の画素信頼度値を生成する前記工程は、
前記第1画像に対して1つ以上の前処理操作を実行することで加工処理済み画像を生成する工程、および、
該加工処理済みの画像に基づいて該第1組の画素信頼度値を生成する工程を含んでいる、実施形態11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態13
前記1つ以上の前処理操作は、前記第1画像から輝度成分を抽出する工程、前記第1画像を目標画像ビット深度に変換する工程、低域通過濾波器を前記第1画像に適用する工程、前記第1画像をアップスケール処理により高精細化して目標画像解像度にする工程などのうちの少なくとも1つを含んでいる、実施形態12に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態14
第1組の画素信頼度値を生成する前記工程は、前記第1画像に基づいて空間マスクを生成する工程、モード・フィルタを前記第1画像に適用することでモード・フィルタ処理された画像を生成する工程、該空間マスクを該モード・フィルタ処理された画像に適用することでフィルタ処理済みの画像を生成する工程、および、該フィルタ処理済みの画像に基づいて前記第1組の画素信頼度値を生成する工程を含んでいる、実施形態11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態15
第1組の画素信頼度値を生成する前記工程は、前記第1画像に含まれている画素1つごとに、前記第1強度差値と前記第1画像スケールに基づいてそれぞれの画素信頼度値を算定する工程を含んでいる、実施形態11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態16
それぞれの画素信頼度値を算定する前記工程は更に、その各々に対応している、前記第1画像における各画素と関連しているコントラスト値が閾値未満であるか否かにも基づいている、実施形態15に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態17
それぞれの画素信頼度値を算定する前記工程は、各画素の周囲の複数の近傍画素の1つごとに、前記画素の強度と該近傍画素の強度とが前記第1強度差値だけ異なっているか否かを判定する工程を含んでいる、実施形態15に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態18
前記第1画像のサイズに基づいて前記複数の近傍画素を判定する工程を更に含んでいる、実施形態17に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態19
前記第1画像は映像の一部に含まれており、前記第1画像に対応している前記バンディング指数を利用することで、該映像に対応しているバンディング指数を生成する、実施形態11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
実施形態20
システムにおいて、該システムは
各種命令を保存している1つ以上の記憶装置、および、
該1つ以上の記憶装置に接続されている1つ以上の演算処理装置を備えており、
該演算処理装置は、該命令を実行すると、
第1画像に関連づけられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を実行し、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該演算処理装置は、
該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する工程を更に実行する、システム。

Claims (20)

  1. コンピュータに実装された、画像におけるバンディングの検出方法であって、該方法は、
    第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を含んでおり、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該方法は、
    該第1組の画素信頼度値に基づいて該第1画像に対応しているバンディング指数を生成する工程を更に含んでいる、コンピュータに実装された方法。
  2. 第1組の画素信頼度値を生成する前記工程は、
    前記第1画像に対して1つ以上の前処理操作を実行することで加工処理済みの画像を生成する工程、および、
    前記第1組の画素信頼度値を該加工処理済みの画像に基づいて生成する工程を含んでいる、請求項1に記載のコンピュータに実装された方法。
  3. 前記1つ以上の前処理操作は、前記第1画像から輝度成分を抽出する工程、前記第1画像を目標画像ビット深度に変換する工程、低域通過濾波器を前記第1画像に適用する工程、第1画像をアップスケール処理により高精細化して目標画像解像度にする工程などのうちの少なくとも1つを含んでいる、請求項2に記載のコンピュータに実装された方法。
  4. 第1組の画素信頼度値を生成する前記工程は、
    前記第1画像に基づいて空間マスクを生成する工程、
    モード・フィルタを前記第1画像に適用することでモード・フィルタ処理された画像を生成する工程、
    空間マスクを該モード・フィルタ処理された画像に適用することでフィルタ処理済みの画像を生成する工程、および、
    前記第1組の画素信頼度値を該フィルタ処理済みの画像に基づいて生成する工程を含んでいる、請求項1に記載のコンピュータに実装された方法。
  5. 第1組の画素信頼度値を生成する前記工程は、
    前記第1画像に含まれている1つ以上の画素について、各画素に関連のあるコントラスト値を判定する工程、および、
    前記第1組の画素信頼度値を生成するにあたり、該第1組に含まれることになる1つ以上の画素信頼度値の1つごとに、その各々に対応している、前記第1画像における各画素に関連のある該コントラスト値が閾値未満であるか否かに基づいて生成する工程を含んでいる、請求項1に記載のコンピュータに実装された方法。
  6. 前記方法は、第2強度差値と前記第1画像スケールとに基づいて第2組の画素信頼度値を生成する工程を更に含んでおり、その際に、該第2組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、前記第1画像スケールの前記第1画像に含まれている各画素が、前記第1画像におけるバンディングに一致している可能性を示しており、また、
    バンディング指数を生成する前記工程は更に該第2組の画素信頼度値に基づいている、請求項1に記載のコンピュータに実装された方法。
  7. 前記第1画像に対して1つ以上のダウンスケール操作を実行することで、第2画像スケールに関連付けられたダウンスケール処理済みの画像を生成する工程、および、
    第2組の画素信頼値を前記第1強度差値と第2画像スケールとに基づいて生成する工程を含んでおり、該工程では、該第2組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第2画像スケールの該ダウンスケール処理済みの画像に含まれている各画素が、前記第1画像におけるバンディングに一致している可能性を示しており、
    バンディング指数を生成する前記工程は更に該第2組の画素信頼度値に基づいている、請求項1に記載のコンピュータに実装された方法。
  8. バンディング指数を生成する前記工程は、前記第1組の画素信頼度値に含まれている選択された小集団の画素信頼度値に基づいている、請求項1に記載のコンピュータに実装された方法。
  9. バンディング指数を生成する前記工程は、
    前記第1組の画素信頼度値に基づいて第1の画像スケール・バンディング指数を生成する工程、
    前記第2組の画素信頼度値に基づいて第2の画像スケール・バンディング指数を生成する工程、および、
    該第1の画像スケール・バンディング指数と該第2の画像スケール・バンディング指数に基づいてバンディング指数を生成する工程を含んでいる、請求項7に記載のコンピュータに実装された方法。
  10. 前記第1画像は映像の一部に含まれており、前記第1画像に対応している前記バンディング指数を利用することで、該映像に対応しているバンディング指数を生成する、請求項1に記載のコンピュータに実装された方法。
  11. 各種命令を保存している1つ以上の、コンピュータが読込める持続的な媒体であって、該命令は、1つ以上の演算処理装置によって実行されると、該1つ以上の演算処理装置に、
    第1画像に関連付けられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を実行させ、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該命令は該1つ以上の演算処理装置に、
    該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する工程を更に実行させる、1つ以上の、コンピュータが読込める持続的な媒体。
  12. 第1組の画素信頼度値を生成する前記工程は、
    前記第1画像に対して1つ以上の前処理操作を実行することで加工処理済み画像を生成する工程、および、
    該加工処理済みの画像に基づいて該第1組の画素信頼度値を生成する工程を含んでいる、請求項11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  13. 前記1つ以上の前処理操作は、前記第1画像から輝度成分を抽出する工程、前記第1画像を目標画像ビット深度に変換する工程、低域通過濾波器を前記第1画像に適用する工程、前記第1画像をアップスケール処理により高精細化して目標画像解像度にする工程などのうちの少なくとも1つを含んでいる、請求項12に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  14. 第1組の画素信頼度値を生成する前記工程は、前記第1画像に基づいて空間マスクを生成する工程、モード・フィルタを前記第1画像に適用することでモード・フィルタ処理された画像を生成する工程、該空間マスクを該モード・フィルタ処理された画像に適用することでフィルタ処理済みの画像を生成する工程、および、該フィルタ処理済みの画像に基づいて前記第1組の画素信頼度値を生成する工程を含んでいる、請求項11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  15. 第1組の画素信頼度値を生成する前記工程は、前記第1画像に含まれている画素1つごとに、前記第1強度差値と前記第1画像スケールに基づいてそれぞれの画素信頼度値を算定する工程を含んでいる、請求項11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  16. それぞれの画素信頼度値を算定する前記工程は更に、その各々に対応している、前記第1画像における各画素と関連しているコントラスト値が閾値未満であるか否かにも基づいている、請求項15に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  17. それぞれの画素信頼度値を算定する前記工程は、各画素の周囲の複数の近傍画素の1つごとに、前記画素の強度と該近傍画素の強度とが前記第1強度差値だけ異なっているか否かを判定する工程を含んでいる、請求項15に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  18. 前記第1画像のサイズに基づいて前記複数の近傍画素を判定する工程を更に含んでいる、請求項17に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  19. 前記第1画像は映像の一部に含まれており、前記第1画像に対応している前記バンディング指数を利用することで、該映像に対応しているバンディング指数を生成する、請求項11に記載の1つ以上の、コンピュータが読込める持続的な媒体。
  20. システムにおいて、該システムは
    各種命令を保存している1つ以上の記憶装置、および、
    該1つ以上の記憶装置に接続されている1つ以上の演算処理装置を備えており、
    該演算処理装置は、該命令を実行すると、
    第1画像に関連づけられた第1強度差値と第1画像スケールとに基づいて第1組の画素信頼度値を生成する工程を実行し、その際に、該第1組の画素信頼度値群に含まれることになる各画素信頼度値は、その各々に対応している、該第1画像スケールの該第1画像に含まれている各画素が、該第1画像におけるバンディングに一致している可能性を示しており、該演算処理装置は、
    該第1組の画素信頼度値に基づいて、該第1画像に対応しているバンディング指数を生成する工程を更に実行する、システム。
JP2023542561A 2021-01-26 2022-01-25 画像および映像におけるバンディング・アーティファクト検出 Pending JP2024504107A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163141827P 2021-01-26 2021-01-26
US63/141,827 2021-01-26
US17/351,955 US11778240B2 (en) 2021-01-26 2021-06-18 Banding artifact detection in images and videos
US17/351,955 2021-06-18
PCT/US2022/013692 WO2022164795A1 (en) 2021-01-26 2022-01-25 Banding artifact detection in images and videos

Publications (1)

Publication Number Publication Date
JP2024504107A true JP2024504107A (ja) 2024-01-30

Family

ID=82496216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023542561A Pending JP2024504107A (ja) 2021-01-26 2022-01-25 画像および映像におけるバンディング・アーティファクト検出

Country Status (5)

Country Link
US (1) US11778240B2 (ja)
EP (1) EP4285317A1 (ja)
JP (1) JP2024504107A (ja)
KR (1) KR20230136161A (ja)
AU (1) AU2022212809B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101462696B1 (ko) * 2007-01-19 2014-11-17 톰슨 라이센싱 디지털 이미지들에서의 밴딩 식별
BRPI0822999A2 (pt) * 2008-08-08 2019-05-07 Thomson Licensing método e aparelho para detecçao de artefato de formação de faixas

Also Published As

Publication number Publication date
US20220239953A1 (en) 2022-07-28
AU2022212809A1 (en) 2023-07-27
KR20230136161A (ko) 2023-09-26
EP4285317A1 (en) 2023-12-06
US11778240B2 (en) 2023-10-03
AU2022212809B2 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
CN108335306B (zh) 图像处理方法及装置、电子设备和存储介质
US10140520B2 (en) Determining native resolutions of video sequences
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI767985B (zh) 用於處理影像性質圖的方法及裝置
US20200258196A1 (en) Image processing apparatus, image processing method, and storage medium
Ding et al. Efficient dark channel based image dehazing using quadtrees
US11030715B2 (en) Image processing method and apparatus
CN107622504B (zh) 用于处理图片的方法和装置
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
KR101377733B1 (ko) 업-스케일링
JP2015232869A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9286653B2 (en) System and method for increasing the bit depth of images
JP2018025878A (ja) 画像処理装置、画像処理方法及びプログラム
CN106875396B (zh) 基于运动特性的视频显著区的提取方法和装置
CN113808054B (zh) 用于对眼底图像的视盘区域进行修复的方法和相关产品
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
EP3833031B1 (en) Display apparatus and image processing method thereof
JP2024504107A (ja) 画像および映像におけるバンディング・アーティファクト検出
JP6242196B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品
WO2020241337A1 (ja) 画像処理装置
WO2022164795A1 (en) Banding artifact detection in images and videos
Nair et al. Benchmarking single image dehazing methods
KR101854611B1 (ko) 엔트로피를 이용한 가중치 할당에 기초한 이미지 처리 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240613