JP6166461B2 - クロマサブサンプリング - Google Patents

クロマサブサンプリング Download PDF

Info

Publication number
JP6166461B2
JP6166461B2 JP2016513292A JP2016513292A JP6166461B2 JP 6166461 B2 JP6166461 B2 JP 6166461B2 JP 2016513292 A JP2016513292 A JP 2016513292A JP 2016513292 A JP2016513292 A JP 2016513292A JP 6166461 B2 JP6166461 B2 JP 6166461B2
Authority
JP
Japan
Prior art keywords
chroma
image
subsampler
subsampling
high contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016513292A
Other languages
English (en)
Other versions
JP2016523056A (ja
Inventor
ヘルベルト トーマ
ヘルベルト トーマ
クリスティアン シャール
クリスティアン シャール
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ, フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2016523056A publication Critical patent/JP2016523056A/ja
Application granted granted Critical
Publication of JP6166461B2 publication Critical patent/JP6166461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Systems (AREA)

Description

本出願は、HDRイメージのクロマサブサンプリングのようなクロマサブサンプリングに関する。
従来の低いダイナミックレンジ(LDR)イメージおよびビデオ符号化方式は、人間の目がルミナンス・バリエーションよりもクロマ・バリエーションに反応しにくいという事実を利用するために、1つのルミナンスおよび2つのクロミナンス・チャネルを有するYCbCrのような色空間およびクロミナンス・チャネルのサブサンプリングを利用する。
高いダイナミックレンジ(HDR)ビデオのために、適応LogLuv色空間が、参照文献〔1〕において提案された。ここで、uおよびvクロミナンス・チャネルを同様にサブサンプリングすることが可能である。
しかしながら、特にHDRイメージおよびビデオにおいて、あらゆるハイコントラストを有するエッジ、すなわち非常に低いルミナンスを有する領域に続く非常に高いルミナンスを有する領域が発生する。このようなエッジで、クロマサブサンプリングによるアーチファクトが見えるようになる。
図Aは、参照文献〔2〕によるフィルタを用いたクロマサブサンプリングおよび参照文献〔3〕によるフィルタを用いたアップサンプリングの後のトーンマップHDRイメージを示す。色滲みアーチファクトは、イメージのそばで、すなわちフラワーポットの端およびブラインドのブレードの間で、矩形で強調された位置で明確に見え、拡大された形で示される。クロマサブサンプリングおよびアップサンプリングのプロセスの間、暗いおよび明るい領域からのクロマ値が関係するため、これらのアーチファクトは基本的に発生する。
国際公開第 WO2011/088960号明細書
Gary Sullivan:"Color forma down−conversion for test sequence generation",ISO/IECJTC1/SC29/WG11 MPEG2003/N6265,December 2003, Waikoloa Gary Sullivan;"Color format up−conversion for video display" ISO/IEC JTC1/SC29/WG11 MPEG2003/N6296,December 2003,Waikoloa
したがって、実質的にイメージの他の特徴を手元に残してこのような滲みアーチファクトを除去あるいは減少させる改良されたクロマサブサンプリング概念を有することが好ましい。したがって、改良された特徴のクロマサブサンプリング概念を提供することが本発明の目的である。
この目的は、添付の独立クレームの主題によって達成される。
減少したアーチファクトを有するクロマサブサンプリングは、イメージをハイコントラスト領域からなる第1部位と、第1部位とは異なる第2部位に分割するために、クロマサンプリングされるイメージのルミナンス・チャネルにおけるハイコントラストエリアを検出し、第1のクロマサブサンプラを用いて第1部位でイメージをクロマサブサンプリングするとともに第2のクロマサブサンプラを用いて第2部位でイメージをクロマサブサンプリングし、第1のクロマサブサンプラは第2のクロマサブサンプラと比べてより高いエッジ保存性を有することによって達成されるものであるということが、この発明の基本的な考え方である。このことにより、例えば、イメージの飽和のような、そうでなければ全体的にランクフィルタを用いることによって影響されるような他の特徴が実質的に保存されている間、滲みアーチファクトは少なくとも部分的に回避される。
本出願の好ましい実施例が図面を参照して記載されるが、有利な実施態様は従属クレームの主題である。
図1aはクロマサンプル・パターンの概略図である; 図1bは他のクロマサンプル・パターンの概略図である; 図1cはさらに他のクロマサンプル・パターンの概略図である; 図1dは別のクロマサンプル・パターンの概略図である; 図2は、実施例によるクロマサブサンプリングのための装置の概略ブロック図である; 図3aは、クロマサブサンプリングされたイメージのクロマサンプルの目標位置およびハイコントラスト検出が見本として実行される位置的エリアとともにクロマサブサンプリングされるイメージの位置を示し、図1cのカラー・サンプル・パターンまでクロマサブサンプリングするためのある時間を示す 図3bは、クロマサブサンプリングされたイメージのクロマサンプルの目標位置およびハイコントラスト検出が見本として実行される位置的エリアとともにクロマサブサンプリングされるイメージの位置を示し、図1bのカラー・サンプル・パターンまでクロマサブサンプリングするための別の時間を示す; 図4aは、フィルタ・カーネルを用いた第1のサブサンプラの可能な働きおよび図3aの検出エリアに関するフィルタ・カーネルの位置を示し、図3aの場合における図1cのカラー・サンプル・パターンまでのクロマサブサンプリングのためのある時間を表す; 図4bは、フィルタ・カーネルを用いた第1のサブサンプラの可能な働きおよび図3bの検出エリアに関するフィルタ・カーネルの位置を示し、図3bの場合における図1bのカラー・サンプル・パターンまでのクロマサブサンプリングのための別の時間を表す; 図5aは、ハイコントラストの検出が図3aに従って実行される位置的エリアを超えるフィルタ・カーネル・サイズを用いる第2のクロマサブサンプラの働きのモードを示し、図3aの場合における図1cのカラー・サンプル・パターンまでのクロマサブサンプリングのためのある時間を示す; 図5bは、ハイコントラストの検出が図3bに従って実行される位置的エリアを超えるフィルタ・カーネル・サイズを用いる第2のクロマサブサンプラの働きのモードを示し、図3bの場合における図1bのカラー・サンプル・パターンまでのクロマサブサンプリングのための別の時間を示す; 図6は、参照文献〔2〕および〔3〕に記載されている方法を用いてクロマダウンサンプリングおよびリクロマアップサンプリングによって得られるイメージおよびその拡大された従属部分を示す。
本出願のいくつかの実施例を記載する前に、クロマサブサンプリングの性質は、図1aから1dに関して示されている。これらの図の各々は、イメージまたは画像から空間従属部分、およびそこに含まれるルマおよびクロマサンプルを示す。特に、ルマサンプルは白い円として示されるが、クロマサンプルは2つの異なるクロマ成分のために使用される異なるハッチングを有する網掛けされた円として示される。
各「サンプル」は、それとともに特定の空間サンプリングされた位置およびサンプル値を関連付けた。単にサンプルのサンプル位置は、図1aから1dにおいて示される。サンプルの値は、一方ではルマサンプルのために、他方ではクロマサンプルのために別々に表される。あるいは、同じ表現が用いられることができる。HDRイメージにおいて、しばしばルマサンプルの表現によって示されるダイナミックレンジは、クロマサンプルの表すことができるダイナミックレンジを上回る。ルマサンプルは、例えば、浮動小数点表示を用いて表されることができる。logLuv表現として以下に示される他の実施例において、ルマサンプルは、対数関数的スケールでルミナンスを測定する整数値によって表され、クロマサンプルはそれらのクロマ値を、例えば、リニアスケールで整数値を用いて表す。
図1aの実施例において、示される空間従属部分の範囲内のルマサンプルの数は、第1のクロマ成分のクロマサンプルの数および第2のクロマ成分のサンプルの数に等しい。手本として示されるように、それらのサンプル位置は互いに同じ場所に位置する。このようなカラー表現は、例えば、4:4:4として公知である。しかしながら、図1bにおいて、ルミナンス・サンプル間の比率は、それぞれ、第1および第2のクロマ成分のクロマサンプルの数の2倍である。すなわち、画像の2つのクロマチャネルの空間的分解能は、図1bの場合には、ルマチャネルの半分の空間的分解能である。図1bの場合には、クロマサンプルは、ルマサンプルの2列ごとにルマサンプルと同じ場所に位置し、すなわちクロマチァネルが水平方向に沿って半分にされて、垂直方向に沿ったルマチャネルの空間的分解能に等しい。しかしながら、これは、異なるように設計されることもできる。いずれにせよ、図1bに示されるクロマサンプリング・パターンは、4:2:2として公知である。
図1cおよび図1dは、画像の第1および第2のクロマチャネルのクロマサンプルの数が、それぞれ、イメージのそれぞれの空間従属部分の範囲内のルマサンプルの4分の1の数である2つの可能な構成を示す。図1cの場合には、例えば、クロマチャネルごとのクロマサンプルは、2x2ルマサンプルのブロックの中央に配置される。ルマサンプルは、図1aから1dのいずれのクロマサンプリング・パターンにおいても一定の間隔で行および列に配置され、したがって、2x2ブロックもそうである。図1dの場合、図1cのパターンと比べて、クロマサンプル位置は水平または横列方向に沿って1/2画素分の距離だけ、すなわちルマサンプルの1/2ピッチだけ移され、ルマサンプルの第2の縦列ごとにルマサンプルの連続的な対の中央部に位置する。図1cおよび1dの両方のクロマサンプリング・パターンは、4:2:0として公知である。
図1aに従うクロマサンプリング・パターンないしカラー1bから1dのいずれかのクロマサンプリング・パターンにつながるオペレーションは「クロマサブサンプリング」と呼ばれ、手本となって以下において更に詳細に概説される実施例は、図1aによるカラー表現がクロマサブサンプリングの起源または出発点を形成すると仮定するが、これは自然なものであって強制的なものではない。クロマサブサンプリングされる画像のクロマサンプリング・パターンは、次の記載の代わりとして、図1aに示されるものと異なってもよい。同様に、カラーサブサンプリングから生じている特定のクロマサンプリング・パターンは、図1bおよび1dに示されるそれらと異なっていてもよく、単により簡単な理解だけのために、以下の説明は時々クロマサブサンプリング手順の目標として説明的に図1bおよび1cの色表現を参照する。たとえば、一方では図1aの色表現から図1cの色表現まで、他方では図1dから通じているクロマサブサンプリングは、クロマサブサンプリングが行わなければならないクロマサンプルの数よりもむしろクロマサンプル位置によって互いに異なるだけである。この差を説明するために、異なるフィルタ係数を有するクロマサブサンプリング・フィルタが用いられる。
本出願の明細書の前置き部分において上述のように概説された課題、すなわち通常使用されるクロマサブサンプリング・プロセスと関連した色滲みアーチファクトを解決するために、本出願の発明者は以下の考えを持っていた。特に、明るい領域からのクロマ値が、例えば、サブサンプリング方法のために使われさえすれば、色滲みアーチファクトは回避されることができる。たとえば、これを実現する簡単な方法は、4:2:0に対する2x2ピクセルエリアまたは4:2:2に対する2x1ピクセルエリアにおいて最も高いルミナンス値の位置を見つけて、この2x2または2x1ピクセルエリアのためのサブサンプリングされたクロミナンス値としてそれぞれのピクセルエリアの同じ位置に配置された位置からのクロミナンス値を使用することである。しかしながら、これがイメージ/画像のために全体的に行われる場合、他のアーチファクトが発生し:イメージの全体の色は不飽和となる。このように、クロマサブサンプリングのための2つの方法が、以下で概説される実施例に従って用いられ:色滲みアーチファクトを回避するクロマサブサンプリング方法および不飽和アーチファクトを回避する他のクロマサブサンプリング方法である。たとえば、不飽和化を回避する方法は、例えば、参照文献〔2〕によるダウンコンバージョンフィルタまたは4:2:0のための2x2ピクセルエリアの4つのクロマ値の単純な算術平均である。したがって、更に以下で概説される実施例は、そこで、2つのクロマサブサンプリング方法のうちどちらが適用されなければならないかに関しての決定を用いる。たとえば、この決定のための単純な方法は、以下に概説するように、2x2(4:2:0の場合)または2x1(4:2:2の場合)ピクセルエリアにおいて最高のおよび最低のルミナンス値を見つけることである。最高のおよび最低の値の間の比率が閾値を上回る場合、色滲みを回避する方法が適用され、さもなければ、不飽和を回避するクロマサブサンプリング方法が適用される。実験的に、2つの比率の閾値は良い結果を与えるとわかったが、当然、これは正に例であって、状況に依存し、したがって、変化することもある。
図2は、ちょうど概説された考えの結果を形成するクロマサブサンプリングのための装置を示す。装置は、一般的に、参照符号10を用いて示され、検出器12、第1のクロマサブサンプラ14および第2のクロマサブサンプラ16を含む。検出器は、画像をハイコントラスト領域から成る第1部位20および第1部位20とは別の第2部位22に仕切るためにクロマサブサンプリングされるイメージ18のルミナンス・チャネルにおけるハイコントラスト領域を検出する。第1のクロマサブサンプラ14は、第1部位20におけるイメージ18をクロマサブサンプリングするように構成され、すなわち、第1のクロマサブサンプラ14がそのクロマサブサンプリングの動作を第1部位20に限定し、したがって、第2のサブサンプラ16が第2部位22の範囲内のみの画像をクロマサブサンプリングするように構成される。第1のクロマサブサンプラ14によって実行されるクロマサブサンプリング24および第2のクロマサブサンプラ16によって実行されるクロマサブサンプリング26の結果、クロマサブサンプリングされたイメージ28はイメージ18から生じる。イメージ28のルマチャネルに関する限り、それは、例えば、オリジナルイメージ18と同じであってもよい。単にイメージ28のクロマチャネルの1つまたは両方のクロマ分解能がイメージ18からイメージ28にサブサンプリングされただけである。理論的には、それは単に1つのクロマチャネルだけがあるということであるが、通常の場合には2つのクロマチャネルがあるということである。
第2のサブサンプラ16と比較して第1のクロマサブサンプラのほうがより高いエッジ保存性を有するという点で、第1のクロマサブサンプラ14および第2のクロマサブサンプラ16は互いに異なる。たとえば、第1のクロマサブサンプラはランクフィルタを用いてクロマサブサンプリングを実行するように構成されることができ、第2のクロマサブサンプラは平均化するフィルタのような平均化フィルタを用いてクロマサブサンプリングを実行するように構成されることができる。以下において概説される実施例によれば、第2のクロマサブサンプラ16は、イメージ18のクロマチャネルだけを使用して、すなわちイメージ18のルミナンス・チャネルとはかかわりなく、独立して、そのサブサンプリング26を実行する。しかしながら、第1のクロマサブサンプラ14は、イメージ18のルミナンス・チャネルを評価することによりオリジナルのイメージ18におけるクロマサンプルのランキングを生じさせるクロマサブサンプリング24のためのランクフィルタを使用することができる。たとえば、第1のクロマサブサンプラ14は、クロマサブサンプリングされるイメージ18の最大または最小のルミナンス・サンプル値と同じ位置に配置されるクロマサブサンプリングされる画像のクロマサンプル値をカーネル的に選択する。
次に、特定の実施例または実施態様が提示される。それらは検出器、第1のクロマサブサンプラ14および第2のクロマサブサンプラ16の考えられる実施態様を例示するが、それらが図で起こっているように、これらの実施の詳細の全てが、組合せに固執せずに、検出器12、クロマサブサンプラ14およびクロマサブサンプラ16上へ、個々に、適用されることができることに注意されたい。
図3aおよび3bに関して、どのようにして検出器12がハイコントラスト領域検出30をするか(図2を参照)、どの検出がクロマサブサンプリング14および16の実行の位置を順に導くかが、手本として概説される。図3aおよび図3bは白い円でオリジナルのイメージ18のルマサンプルの位置を示す。それらが結果として生じるイメージのそれを残すので、これらの白い円は最終イメージ28の範囲内におけるルマサンプルの位置を同時に示すことができる。さらに、別にハッチングされた円は、結果として生じるクロマサブサンプリングされたイメージ28の範囲内でのクロマサンプルの位置を示し、図3aはクロマサブサンプリングが図1aに従うクロマサンプリング・パターンから図1cのクロマサンプリング・パターンまで行われると仮定するが、図3bは図1aのクロマサンプリング・パターンから図1bに従うクロマサンプリング・パターンまで推移するケースについて対処する。同じスタイルの説明が図4aから5bにおいても用いられるので、図3aおよび3bは、白い円形によってルマサンプル位置を表すだけでなく、同時に、図1aに関して示されるように、オリジナルのルマサンプルの位置に配置されたオリジナルのクロマサンプルの位置を示すことに留意する必要がある。ちょうど行われた説明は、このように、以下の図にもあてはまる。
図3aおよび3bの実施例によれば、検出器12は、第1のローカル・テンプレートの範囲内の最低および最高のルミナンスの間の比率が予め定められた閾値を上回るかどうか局所的に調べることによって、ハイコントラスト領域を検出する。検出器12は、特定の精度において、ここでは、見本として、図3aの場合には2x2ブロックの精度で、そして、図3bの場合には2x1ブロックの精度で、このチェックを実行する。図3aおよび3bに示される実施例によれば、同じ位置に配置されたそれぞれの領域のために、そこにあるルミナンス・イメージ・コンテンツがハイコントラストを有しているかどうか、すなわちハイコントラスト領域であるかどうかについて決定するために、検出器12は、それぞれ、2x2ルミナンス・サンプル・テンプレートおよび2x1ルミナンス・サンプル・テンプレートを使用し、すなわち、テンプレートは、図3aの場合オリジナルのイメージ18の範囲内で2x2ルマサンプルエリアを含み、図3bの場合オリジナルのイメージ18の範囲内で2x1ルマサンプルエリアを含む。しかしながら、これは、異なって扱われることもできる。実線を用いて、図3aおよび3bは、ローカル・テンプレートの位置を示し、そこにおいて、イメージ18の範囲内の最低および最高のルミナンス間の比率が予め定められた、ここでは、手本となって検出器12が検出を実行する位置領域と一致する閾値を上回るかどうか、検出器12はローカル・チェックを実行する。ここに示されているように、検出器は、イメージ18上にギャップがなく、重なり合わないように分布するようにローカル・テンプレートを配置し、それにより、図3aおよび3bにおいて実線によって格子が見える、図3aの場合には2x2格子領域および図3bの場合には2x1格子領域のテンプレート格子を定める。図4aおよび4bに関して概説されるように、第1および第2のクロマサブサンプラ14および16は、それぞれ、クロマサブサンプリング24および26を実行するように構成され、それにより、クロマサブサンプリングはクロマチャネルにつきテンプレート格子の分解能と一致しているサブサンプリング、すなわちローカル・テンプレート位置または格子領域につき正確に1つのクロマサンプルという結果になる。
ある限度まで進められる記載に関していくつかの変更態様がある点に留意する必要がある。たとえば、ハイコントラスト領域検出は、より複雑な方法で実行されることができる。たとえば、検出器12は、ローカル・テンプレート幅より低いピッチでハイコントラスト・チェックを実行することができ、すなわち、ローカル・テンプレートがイメージ18をカバーして局所的にイメージ18のコントラストをサンプリングするために配置されるピッチはローカル・テンプレート幅より低くてもよく、その結果、テンプレートは検出ピッチでイメージ18にわたって分布される位置で互いに重なり合う。たとえば、検出器12は、図3aおよび3bに示される2x2エリアの各々のためにハイコントラスト・チェックを実行することができ、したがって、ハイコントラストが検出される位置領域を形成するが、各検出のための4x4エリアまたは4x1エリア、すなわちそれぞれの位置領域のような、これらの領域のそれぞれを上回るテンプレートを使用する。さらに、ハイコントラスト領域検出は、単に特定の閾値を上回っている最小/最大ルミナンス比率を決定するだけであるより複雑に設計されることができる。たとえば、検出器12は、ヒストグラムが二峰性か否か、もしそうならば、二峰性分布の2つのモードが例えば、上述したように、2のような予め定められた閾値より大きく離されているかどうか決定するためにローカル・テンプレートの範囲内でルミナンス値のヒストグラムを調べることができる。ローカル・テンプレートの範囲内のエッジ検出の分類でさえ、ハイコントラスト領域の位置を決めるために使用されることができる。この検出の結果は、ローカル・テンプレートが現在配置される位置領域に起因している。
図4aおよび4bに関して、第1および第2のクロマサブサンプラ14および16は、検出器12が検出を実行する位置、すなわち検出器12がそのローカル・テンプレートを配置または分布させる位置に関して一致するように配置されたフィルタ・カーネルを用いてイメージ18のクロマサブサンプリングを実行するように構成されている例が示されている。図4aおよび4bによれば、上述のように、検出器により用いられるローカル・テンプレートが大きくありえたにもかかわらず、第1および第2のクロマサブサンプラ14および16は検出器12により用いられるローカル・テンプレートと比較して同一サイズのフィルタ・カーネルを使用する。図4aおよび4bに関して与えられている説明が、例えば、クロマサブサンプラ14および16のうちの1つだけに関して適用させるように変えることができる点に留意する必要がある。
しかしながら、図4aおよび4bの実施例によれば、クロマサブサンプラ14および16は、以下のように作動するように構成される。特に、例えば、検出器12がコントラストは図3aおよび3bに従って低いと決定した図4aの場合の2x2エリアおよび図4bの場合の2x1エリアの各々のために、クロマサブサンプラ16は、その領域内のクロマサンプル値を平均することによってクロマサブサンプリングを実行する。図4aおよび4bは、例えば、検出器12がコントラストは低いと決定した部位、すなわち部位22に帰属している領域のうちの1つの境界と一致するものとして、実例としてクロマサブサンプラ16のフィルタ・カーネル40を示す。この領域のために、クロマサブサンプラ16は、ここでは図4aの場合x1、x2、x3およびx4、図4bの場合x1およびx2として示されるカーネル40の範囲内のクロマサンプル値を使用して、所定の方法でそれを平均し、平均の結果を、フィルタ・カーネル40の範囲内で局部的に配置されるクロマサンプルの最終イメージ28のそれぞれのクロマチャネルのクロマサンプル値yとして使用する。たとえば、それぞれのクロマチャネルごとに別々に、クロマサブサンプラ16は、この平均化を実行する。
更なるバリエーションを説明するために、図5aおよび5bは、クロマサブサンプラ16のフィルタ・カーネル40が、例えば、検出器12がハイコントラスト検出を実行する位置領域のサイズを上回ることができること、すなわち、図5aの場合にはイメージ18の2x2サンプル位置より大きく、図5bの場合にはイメージ18の2x1サンプルエリアより大きいことを示す。その場合、第2のクロマサブサンプラ16は、例えば、外挿法を用いたり、または部分44の範囲内でクロマサンプル値を0のような所定のクロマ値に設定するなどのような適当な値により偶然ハイコントラスト部位20に及ぶこのフィルタ・カーネル40の部分44の範囲内でクロマ値の置換によるイメージ18のクロマサブサンプリング26を実行するように構成されることもあり得る。たとえば、部位20に重なるように現在配置されたフィルタ・カーネル40内のイメージ18のクロマサンプル値は、図5aの場合にはクロマサンプル値x4、x8およびx12であり、図5bの場合にはx5であって、クロマサンプラ16は、例えば、フィルタ・カーネル40の範囲内で、これらのクロマサンプル値を他のクロマサンプル値、すなわち、図5aの場合にはx1からx16の間、図5bの場合にはx1からx4の間の他の全てから推定することもあり得ることであり、またはこれらの値を0のような所定の値に設定することができる。それから、サブサンプラ16は、図5aの場合x1からx16にわたって、図5bの場合x1からx5にわたって平均するような、通常のフィルタ処理を続行することができる。
前記実施例を要約すると、それは、一方では色滲みアーチファクトを避けるために選択され、他方では不飽和アーチファクトを避けるために選択される2つの異なるクロマサブサンプリングを用いた。色滲み回避クロマサブサンプリング方法は、例えば、上述の通りに、2x2または2x1ピクセルエリアの最も高いルミナンス値を有するピクセル位置からクロミナンス値を使用することができる。クロマサブサンプリング方法の中の選択は、上述のように、2x2または2x1ピクセルエリアの最高対最低ルミナンス値の比率に基づいて実行されることができる。クロマサブサンプリング方法で使用されて、クロマサブサンプリング方法選択において使用されるピクセルエリアは、上述のように一致させることができる。ルミナンス値の比率は、イメージ18のルミナンスを表すために対数領域を使用する場合における違いとして計算されることができる。特に、上述の実施例が、クロマサブサンプルHDRイメージまたはビデオに使用されることができる。
いくつかの態様が装置との関連で記載されたが、これらの態様が対応する方法の説明を表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの関連で記載されている態様は、対応する装置の対応するブロックまたは部材または特徴の説明を表す。方法ステップのいくつかまたは全ては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路等のハードウェア装置によって(または使用して)実行される。いくつかの実施形態では、最も重要な方法ステップのいずれか1つ以上は、この種の装置によって実行される。
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施されることができる。実施はその上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体(例えばフレキシブルディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して実行されることができ、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協働する(または協働することができる)。したがって、デジタル記憶媒体は、計算機可読でもよい。
本発明によるいくつかの実施例は、プログラム可能なコンピュータシステムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含み、ここにおいて記載されている方法のうちの1つが実行される。
一般的に、本発明の実施例はプログラムコードを有するコンピュータプログラム製品として実施されることができ、コンピュータプログラム製品がコンピュータで動くときに、プログラムコードが方法のうちの1つを実行するために実施される。プログラムコードは、例えば、機械読み取り可読キャリアに格納されることができる。
他の実施例は、ここに記載され、機械読み取り可読キャリアに格納される方法のうちの1つを実行するためのコンピュータプログラムを含む。
換言すれば、発明の方法の実施例は、従って、コンピュータプログラムがコンピュータ上で動くとき、ここに記載されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
発明の方法の更なる実施例は、従って、その上に記録された、ここに記載されている方法のうちの1つを実行するためのコンピュータプログラムを含むデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体または記録媒体は、典型的には有形でおよび/または非移行のものである。
発明の方法の更なる実施例は、従って、ここに記載されている方法のうちの1つを実行するためのコンピュータプログラムを表しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続、例えばインターネットを経て転送されるように構成されることができる。
更なる実施例は、処理手段、例えばコンピュータまたはプログラム可能な論理装置を含み、ここに記載された方法の1つを実行するように構成または適応される。
更なる実施例は、ここに記載されている方法のうちの1つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
本発明による更なる実施例は、ここに記載されている方法のうちの1つを実行するためのコンピュータプログラムをレシーバに移す(例えば、電子的に、または、光学的に)ように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイス等でもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイル・サーバを含む。
いくつかの実施形態では、プログラム可能な論理装置(例えば、フィールド・プログラマブル・ゲート・アレイ)は、ここに記載されている方法の機能のいくらかまたは全てを実行するために用いることができる。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、ここに記載されている方法のうちの1つを実行するために、マイクロプロセッサと協働することができる。一般的に、方法は、いかなるハードウェア装置によっても好ましくは実行される。
上述した実施例は、本発明の原理のために、単に実例として示すだけである。配置の修正変更およびここに記載されている詳細は、他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許請求の範囲だけによって限定され、ここにおける実施例の説明および説明として示される具体的な詳細によって制限されないことが意図するところである。
参照文献
[1] WO2011088960
[2] Gary Sullivan:“Color forma down−conversion for test sequence generation”,ISO/IECJTC1/SC29/WG11 MPEG2003/N6265,December 2003, Waikoloa
[3] Gary Sullivan;”Color format up−conversion for video display“ ISO/IEC JTC1/SC29/WG11 MPEG2003/N6296,December 2003,Waikoloa

Claims (12)

  1. クロマサブサンプリングのための装置であって、
    イメージ(18)をハイコントラスト領域からなる第1部位(20)と、第1部位(20)とは異なる第2部位(22)に分割するために、クロマサブサンプリングされるイメージ(18)のルミナンス・チャネルにおいてハイコントラスト領域を検出するように構成される検出器(12)、
    第1部位においてイメージをクロマサブサンプリングするように構成される第1のクロマサブサンプラ(14)、
    第2部位においてイメージをクロマサブサンプリングするように構成される第2のクロマサブサンプラ(16)を含み、
    第1のクロマサブサンプラ(14)は第2のクロマサブサンプラ(16)と比較して高いエッジ保存性を有し、
    検出器(12)は、第1のローカル・テンプレートの範囲内の最低および最高のルミナンス間の比率が所定の閾値を上回るかどうかを局所的にチェックすることによってハイコントラスト領域を検出するように構成され、
    検出器(12)は、ハイコントラスト領域を検出する際にイメージ上にローカル・テンプレートを分布させ、それによってテンプレート格子を決定するように構成され、第1および第2のクロマサブサンプラは、クロマサブサンプリングがテンプレート格子の分解能と一致するサブサンプリング分解能という結果になるようにイメージのクロマサブサンプリングを実行するように構成される、装置。
  2. クロマサブサンプリングされるイメージのルミナンス・チャネルは対数目盛り上のルミナンスを示し、検出器(12)は減算によってローカル・テンプレートの範囲内の最低および最高のルミナンスの間の比率を決定するように構成された、請求項に記載の装置。
  3. 検出器(12)は、ハイコントラスト領域を検出する際に隙間なくかつ重なり合わないようにイメージ上にローカル・テンプレートを分布させる、請求項2または請求項3に記載の装置。
  4. 第1のクロマサブサンプラ(14)は、検出器(12)が検出を実行する位置と一致するように配置された第1のフィルタ・カーネルを用いてイメージのクロマサブサンプリングを実行するように構成された、請求項1ないし請求項3のいずれかに記載の装置。
  5. 第2のクロマサブサンプラ(16)は、検出器(12)が検出を実行する位置と一致するように配置された第2のフィルタ・カーネルを用いてイメージのクロマサブサンプリングを実行するように構成された、請求項4に記載の装置。
  6. 第1のクロマサブサンプラ(14)は、ランクフィルタを用いてクロマサブサンプリングを実行するように構成された、請求項1ないし請求項のいずれかに記載の装置。
  7. 第1のクロマサブサンプラ(14)は、クロマサブサンプリングされるイメージの最高または最低のルミナンス・サンプル値と同じ位置に配置されたクロマサブサンプリングされるイメージのクロマサンプル値をカーネル的に選択するように構成された、請求項1ないし請求項のいずれかに記載の装置。
  8. 第2のクロマサブサンプラ(16)は、平均化フィルタを用いてクロマサブサンプリングを実行するように構成された、請求項1ないし請求項のいずれかに記載の装置。
  9. クロマサブサンプリングのための装置であって、
    イメージ(18)をハイコントラスト領域からなる第1部位(20)と、第1部位(20)とは異なる第2部位(22)に分割するために、クロマサブサンプリングされるイメージ(18)のルミナンス・チャネルにおいてハイコントラスト領域を検出するように構成される検出器(12)、
    第1部位においてイメージをクロマサブサンプリングするように構成される第1のクロマサブサンプラ(14)、
    第2部位においてイメージをクロマサブサンプリングするように構成される第2のクロマサブサンプラ(16)を含み、
    第1のクロマサブサンプラ(14)は第2のクロマサブサンプラ(16)と比較して高いエッジ保存性を有し、
    第2のクロマサブサンプラ(16)は、第2のフィルタ・カーネルを用いてイメージのクロマサブサンプリングを実行し、外挿法を用いておよびそれを所定のクロマ値に設定することによって、第1部位にわたって第2のフィルタ・カーネルの位置を置換するように構成された、装置。
  10. クロマサブサンプリングのための方法であって、
    イメージをハイコントラスト領域からなる第1部位と、第1部位とは異なる第2部位に分割するために、クロマサブサンプリングされるイメージのルミナンス・チャネルにおいてハイコントラスト領域を検出するステップ、
    第1部位において第1のクロマサブサンプラを用いてイメージをクロマサブサンプリングするステップ、
    第2部位において第2のクロマサブサンプラを用いてイメージをクロマサブサンプリングするステップを含み、
    第1のクロマサブサンプラは第2のクロマサブサンプラと比較して高いエッジ保存性を有し、
    ハイコントラスト領域は、第1のローカル・テンプレートの範囲内の最低および最高のルミナンス間の比率が所定の閾値を上回るかどうかを局所的にチェックすることによって検出され、
    ハイコントラスト領域を検出することは、イメージ上にローカル・テンプレートを分布することを含み、それによってテンプレート格子を決定し、第1および第2のクロマサブサンプラは、クロマサブサンプリングがテンプレート格子の分解能と一致するサブサンプリング分解能という結果になるようにイメージのクロマサブサンプリングするステップに使用される、方法。
  11. クロマサブサンプリングのための方法であって、
    イメージをハイコントラスト領域からなる第1部位と、第1部位とは異なる第2部位に分割するために、クロマサブサンプリングされるイメージのルミナンス・チャネルにおいてハイコントラスト領域を検出するステップ、
    第1部位において第1のクロマサブサンプラを用いてイメージをクロマサブサンプリングするステップ、
    第2部位において第2のクロマサブサンプラを用いてイメージをクロマサブサンプリングするステップを含み、
    第1のクロマサブサンプラは第2のクロマサブサンプラと比較して高いエッジ保存性を有し、
    第2のクロマサブサンプラ(16)は、第2のフィルタ・カーネルを用い、外挿法を用いて第1部位にわたって第2のフィルタ・カーネルの位置を置換し、そして、それを所定のクロマ値に設定する、方法。
  12. コンピュータ上で実行するとき、請求項10または請求項11に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。
JP2016513292A 2013-05-14 2014-05-07 クロマサブサンプリング Active JP6166461B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13167639.7 2013-05-14
EP13167639.7A EP2804378A1 (en) 2013-05-14 2013-05-14 Chroma subsampling
PCT/EP2014/059382 WO2014184075A1 (en) 2013-05-14 2014-05-07 Chroma subsampling

Publications (2)

Publication Number Publication Date
JP2016523056A JP2016523056A (ja) 2016-08-04
JP6166461B2 true JP6166461B2 (ja) 2017-07-19

Family

ID=48325525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016513292A Active JP6166461B2 (ja) 2013-05-14 2014-05-07 クロマサブサンプリング

Country Status (6)

Country Link
US (1) US9916645B2 (ja)
EP (2) EP2804378A1 (ja)
JP (1) JP6166461B2 (ja)
CN (1) CN105409210B (ja)
RU (1) RU2654501C2 (ja)
WO (1) WO2014184075A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160366449A1 (en) * 2014-02-21 2016-12-15 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
CN112929670B (zh) 2015-03-10 2024-09-10 苹果公司 自适应色度下采样和色彩空间转换技术
US10674182B2 (en) 2015-06-05 2020-06-02 Telefonaktiebolaget Lm Ericsson (Publ) Pixel pre-processing and encoding
US10715816B2 (en) 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
CN106815801B (zh) * 2016-12-27 2020-05-15 上海集成电路研发中心有限公司 中值滤波器电路结构及中值获取方法
US10051252B1 (en) 2017-03-07 2018-08-14 Filmic Inc. Method of decaying chrominance in images
US11838522B2 (en) * 2020-12-29 2023-12-05 Tencent America LLC Method and apparatus for video coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2532742B2 (ja) * 1990-11-13 1996-09-11 松下電器産業株式会社 間引きフィルタ装置
JP2800633B2 (ja) 1993-04-30 1998-09-21 富士ゼロックス株式会社 画像符号化装置
US5477345A (en) * 1993-12-15 1995-12-19 Xerox Corporation Apparatus for subsampling chrominance
JP2002077625A (ja) * 2000-08-30 2002-03-15 Minolta Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
JP2002232293A (ja) * 2001-01-30 2002-08-16 Hudson Soft Co Ltd 画像データ圧縮装置、画像データ圧縮方法、画像データ圧縮方法をコンピュータに実行させるためのプログラム、及び、画像データ圧縮方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US7084906B2 (en) * 2002-10-15 2006-08-01 Eastman Kodak Company Reducing computation time in removing color aliasing artifacts from color digital images
JP2006058253A (ja) * 2004-08-24 2006-03-02 Hitachi Zosen Corp 物品の外観検査方法および外観検査用プログラム
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US8149336B2 (en) * 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
WO2010104624A2 (en) * 2009-03-10 2010-09-16 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US8520969B2 (en) * 2009-08-25 2013-08-27 Stmicroelectronics S.R.L. Digital image processing apparatus and method
EP2360926A1 (en) 2010-01-19 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Image encoder and image decoder
JP5323739B2 (ja) * 2010-02-10 2013-10-23 日本放送協会 映像信号送信装置および伝送用映像信号生成プログラム、映像信号受信装置および伝送用映像信号変換プログラム、並びに、映像信号伝送システム
US8699813B2 (en) * 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
EP2697972B1 (en) * 2011-04-14 2015-01-14 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
ITVI20110243A1 (it) * 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
CN112929670B (zh) * 2015-03-10 2024-09-10 苹果公司 自适应色度下采样和色彩空间转换技术

Also Published As

Publication number Publication date
RU2654501C2 (ru) 2018-05-21
EP2804378A1 (en) 2014-11-19
US20160071251A1 (en) 2016-03-10
CN105409210B (zh) 2017-07-14
CN105409210A (zh) 2016-03-16
JP2016523056A (ja) 2016-08-04
EP2997729B1 (en) 2017-06-28
EP2997729A1 (en) 2016-03-23
WO2014184075A1 (en) 2014-11-20
RU2015153046A (ru) 2017-06-19
US9916645B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
JP6166461B2 (ja) クロマサブサンプリング
JP5270573B2 (ja) ブロックアーチファクトを検出する方法及び装置
JP5701874B2 (ja) ビデオ画像の検出およびエンハンスメントのための方法およびシステム
US8254718B2 (en) Multi-channel edge-aware chrominance noise reduction
EP2230640A1 (en) Method for filtering depth images
CN110246087B (zh) 参考多通道的多分辨率去除图像色度噪声的系统和方法
US20160225125A1 (en) Image Interpolation Method and Image Interpolation Apparatus
US8965141B2 (en) Image filtering based on structural information
US8885969B2 (en) Method and apparatus for detecting coding artifacts in an image
JP7132364B2 (ja) マルチレベル・バイラテラル・ノイズフィルタリングのための方法、装置、およびシステム
CN106572285B (zh) 相机模块、电子装置及其操作方法
CN107424137B (zh) 一种文本增强方法及装置、计算机装置、可读存储介质
US8559716B2 (en) Methods for suppressing structured noise in a digital image
US10552876B2 (en) Method and apparatus for chroma reconstruction
EP3540685B1 (en) Image-processing apparatus to reduce staircase artifacts from an image signal
US20230069744A1 (en) Method of operating assessment device assessing color distortion of image sensor
US7920211B2 (en) Cross-color/dot interference reduction circuit, imaging apparatus having cross-color/dot interference function, and cross-color/dot interference reduction method
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
CN100371954C (zh) 视频信号后处理方法
US20170278286A1 (en) Method and electronic device for creating title background in video frame
JP2010039832A (ja) 画像処理装置および画像処理プログラム
JP6426909B2 (ja) 色情報補完装置およびそのプログラム
CN113538607B (zh) 基于人工图像y分量不变性的yuv图像转换方法及系统
Nokovic et al. Image enhancement by jetson tx2 embedded ai computing device
US9031348B2 (en) Edge-preserving filtering method and apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170622

R150 Certificate of patent or registration of utility model

Ref document number: 6166461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250