JP6499188B2 - 飽和画像を非飽和画像に変換する方法 - Google Patents

Description

本発明は、画像の飽和領域を、当該領域の非飽和色チャネルの色情報に基づいて再構築することに関する。

既存のカメラの多くは、１回の露出において、制限された範囲の照明のみを捕捉できる。カメラ設定を誤って選択すると、カメラセンサの物理的制約も相まって、所与の露出時間及び増幅器利得で画像として捕捉且つ記憶され得る最大放射照度値が制限される。したがって、カメラセンサ要素の最大容量を超えるシーン放射照度値は、正確に捕捉することができず、捕捉画像中に過剰露出領域又は色飽和領域が生じることになる。

画像における明るい画像領域の飽和は、画像を視覚的に劣化させるため、当然ながら望ましくない。明るい画像領域での細部の消失は、特に、高ダイナミックレンジ（ＨＤＲ）撮像の状況、特に逆トーンマッピングにおいて問題となる。表示機能の最近の展開は、近い将来、消費者ディスプレイがＨＤＲコンテンツを表示する可能性が高いことを示唆しており、この新しいディスプレイ様式のために、レガシーコンテンツを使えるようにする解決策が必要になる。最新の逆トーンマッピングによる解決策は、画像中の明領域を検出して拡大するため、これらの領域中の欠損色情報が、安定して復元されることが極めて重要である。

画像の色飽和は、２つの形態をとり得る。これらの形態は、通常、大きく異なる方法を適用して取り扱われる。画像の飽和部分の色における３つの色チャネルの全てが、飽和によりクリッピングされている場合、頑健な色情報（ロバストな色情報）は画像のその部分には存在しない。したがって、補正は、画像の残りの部分から得られる確率情報に基づいて欠損ピクセルを幻覚化（ｈａｌｌｕｃｉｎａｔｉｏｎ）する方法に頼るか、この画像の広範囲な前の部分に基づいて欠損情報を埋める方法に頼るかのいずれかである。他方、ＲＧＢ成分のうちの１つ又は２つのみが画像の一部で飽和する場合、クリッピングされていないチャネルにおける色情報を使用して、又は近くの画像領域からの情報と組み合わせることにより、クリッピングされた色チャネルにおける欠損情報を再構築することが可能である。本発明は、２つ目の形態の画像色飽和に関する。

特にＲＧＢ色空間内において色チャネル間に強い相関があることを理由に（E. Reinhard and T. Pouli,“Colour spaces for colour transfer,”IAPR Computational Color Imaging Workshop, ser. Lecture Notes in Computer Science, R. Schettini, S. Tominaga, and A. Tremeau, Eds. Springer Berlin Heidelberg, 2011 − invited paper, vol. 6626, pp. 1-15参照）、上記の２つ目の形態に関連する方法の多くは、画像をＲＧＢ色空間内で処理する。最も単純なケースでは、色チャネル間の大域的相関は、大域的ベイズモデルの形態で特定することができ、飽和に起因する色情報の欠損の復元プロセスに使用することができる（X. Zhang and D. H. Brainard,“Estimation of saturated pixel values in digital color Imaging,”JOSA A, vol. 21, no. 12, pp. 2301-2310, 2004参照）。

色チャネル間の相関は、同じ空間領域内のクリッピングされていない色チャネル内の情報を使用することによって利用することができる。S. Z. Masood, J. Zhu, and M. F. Tappen,“Automatic correction of saturated regions in photographs using cross-channel correlation,”Computer Graphics Forum, vol. 28, no. 7. Wiley Online Library, 2009, pp. 1861-1869では、Zhangらのベイズモデリング法（上記参照）が、拡張され、かつ、ＲＧＢチャネル間の比率を推定するためにピクセルとそれらの近傍ピクセルとの関係が使用されている。

この手法は、２つの費用関数の最小化に依存し、それにより、計算複雑性が大幅に増大する。さらに、近傍情報の使用は、不正確な色相値を生じさせ得る。

本発明の目的は、上記欠点を回避することである。

飽和画像を非飽和画像に変換する方法は、色チャネル間の相関にも依存するが、簡易な統計を用いることにより、クリッピングされた色情報を復元し、且つ、画像上の相異なる複数の線にわたって色の空間一貫性を高める。

さらに、従来の方法とは対照的に、この方法は、画像の線プロファイルについて動作するように意図され、ハードウェア用途及びディスプレイ側処理によく適するものになる。

この方法は、過剰露出エリアでは、ＲＧＢ成分が同じ空間位置でクリッピングされない傾向があることに依拠する。色チャネルが空間的に強く相関するという仮定に基づいて、この方法は、同じ空間位置にあるクリッピングされない色チャネル内のバリエーションを考慮して１つの色チャネルの過剰露出エリアを再構築する。

本発明の主題は、飽和画像を非飽和画像に変換する方法であって、
飽和画像をピクセルの領域にセグメント化することであって、ピクセルの色は、線形ＲＧＢ色空間において飽和した少なくとも１つの色チャネルを有することと、
これら飽和した領域のそれぞれについて、
領域の前記ピクセルについて線形ＲＧＢ色空間内の色情報を提供する相異なる複数の色チャネルの中から、領域にわたって飽和していない少なくとも１つの色チャネルを選択することと、
領域の各ピクセルについて、領域の少なくとも１つの飽和した色チャネルによって提供されるピクセルの色情報を、再構築された非飽和色情報で置換することと
を含み、
再構築された非飽和色情報は、
領域の少なくとも１つの飽和した色チャネルによりピクセルについて提供される色情報と、
選択された少なくとも１つの非飽和色チャネルによりピクセルについて提供される色情報と、ピクセルの領域について計算されるベースライン色値との差と
の和であり、
これにより変換された非飽和画像を提供する、方法である。

好ましくは、領域のベースライン色値は、少なくともこの領域内の全てのピクセルにわたって当該領域の参照色チャネルによって提供される最小色値として計算される。この最小色値の計算には、他のピクセル、特にこの領域を囲むピクセルを考慮し得る。

なお、欧州特許第２３６７３６０号の段落６３、６６、及び６９、並びに図８では、飽和ピクセルの再構築された非飽和色情報は、（本発明における飽和色チャネルの代わりに）非飽和色チャネルによってピクセルについて提供される色情報と差との和である。本発明では、各色チャネルにおいて提供される色情報が、クリッピング又は飽和閾値まで正確であると仮定される。色チャネルＧが、領域のピクセルの値Ｇ_ｍａｘにおいてクリッピングされる場合において、本発明は、飽和がないときのそれらのピクセルの正確なＧ値がＧ_ｍａｘ＋幾らかの増分であると考え、この増分は、飽和／クリッピングに起因して捕捉されない。欧州特許第２３６７３６０号では、補正されたＧ値がＧ_ｍａｘ＋幾らかの増分ではなく、Ｂ値＋幾らかの増分又はＲ値＋幾らかの増分である。欧州特許第２３６７３６０号では、最大補正Ｇ値はＧ_ｍａｘ以下であろうが、本発明では、補正Ｇ値は常にＧ_ｍａｘを上回り、したがって、実際のシーンの値により近い。これは、本発明が、レンジのダイナミックな拡大、すなわち、ＬＤＲ画像のＨＤＲ画像への変換に特に適することを意味する。

好ましくは、上述のセグメント化することは、飽和ピクセルを有する線毎に順次実行され、領域は線のセグメントである。好ましくは、セグメントのベースライン色値は、このセグメントの参照色チャネルによって提供される最小色値として計算される。参照色チャネルは、このセグメント内の全てのピクセルにわたって、かつ、近接線においてこのセグメントに隣接するピクセルにわたって、色相が近接性閾値よりもこのセグメントの代表的な平均色相に近い。好ましくは、少なくとも１つの飽和色チャネルによって提供されるピクセルの色情報を置換する再構築された色情報は、ピクセルのセグメントの同じ線及び／又は近傍線に属する他のピクセルに関連する色情報に基づく色統計も使用することにより、計算される。好ましくは、これらの近傍線は互いに隣接する。

本発明の主題は、飽和画像を非飽和画像に変換する方法でもあり、飽和画像の各ピクセルの色情報は、ＲＧＢ色空間にこの色情報を表現するなど、３つの相異なる色チャネルを通して提供され、この方法は、
飽和画像の隣接ピクセルの線を隣接ピクセルのセグメントにセグメント化するステップであって、隣接ピクセルの色が、飽和した少なくとも１つの色チャネルを有する、ステップと、
これらの飽和セグメントのそれぞれについて、
セグメントのピクセルについて線形ＲＧＢ色空間内の色情報を提供する相異なる色チャネルにわたり、セグメントにわたって飽和していない少なくとも１つの色チャネルを選択するステップと、
セグメントの各ピクセルについて、セグメントの少なくとも１つの飽和色チャネルによって提供されるピクセルの色情報を、再構築された色情報で置換するステップであって、再構築された色情報は、セグメントの選択された少なくとも１つの非飽和色チャネルにより同じピクセルについて提供される少なくとも色情報を使用することによって計算される、ステップと、
を含み、これにより、変換された非飽和画像を提供する。

好ましくは、セグメントのピクセルの再構築された非飽和色情報は、セグメントの少なくとも１つの飽和色チャネルによって提供されるピクセルの色情報と、セグメントの選択された少なくとも１つの非飽和色チャネルによりピクセルについて提供される色情報とセグメントに計算されるベースライン色値との差とを合算することにより、計算される。

好ましくは、セグメントのベースライン色値は、このセグメントの参照色チャネルによって提供される最小色値として計算される。参照色チャネルは、このセグメント内の全てのピクセルにわたって、かつ、近接線においてこのセグメントに隣接するピクセルにわたって、色相が近接性閾値よりもこのセグメントの代表的な平均色相に近い。好ましくは、近傍線は互いに隣接する。

好ましくは、この方法は、飽和ピクセルを有する線毎に順次実施される。

要約すると、本発明による方法は、線を飽和ピクセル領域にセグメント化することと、これらの飽和領域のそれぞれについて、飽和していない少なくとも１つの色チャネルを選択することとを含み、その後、領域の各ピクセルについて、飽和色チャネルによりピクセルについて提供される色情報に、選択された非飽和色チャネルによりピクセルについて提供される色情報とこのピクセルの領域について算出されたベースライン色値との差を加算することを含む。

本発明の主題は、飽和画像を脱飽和画像に変換する画像変換装置であって、
画像をピクセルの領域にセグメント化するように構成された第１のモジュールであって、ピクセルの色が線形ＲＧＢ色空間において色飽和した少なくとも１つの色チャネルを有する、第１のモジュールと、
前記領域の前記複数のピクセルにわたって飽和していない少なくとも１つの色チャネルを選択し、それらのピクセルのそれぞれについて、領域の少なくとも１つの飽和色チャネルによって提供されるピクセルの色情報を、ピクセルの領域の少なくとも１つの飽和色チャネルによって提供される色情報と、選択された少なくとも１つの非飽和色チャネルにより前記ピクセルについて提供される色情報とピクセルの領域に計算されるベースライン色値との差との和で置換することにより、第１のモジュールによって提供される各飽和領域のピクセルを脱飽和するように構成された第２のモジュールと、
を含む、画像変換装置でもある。

好ましくは、前記第１のモジュールは、線のセグメントである領域内の画像の各線をセグメント化するように構成されている。

本発明の主題は、本発明による画像変換装置を含む電子装置でもある。好ましくは、この電子装置は、ＴＶセット、携帯電話、タブレット、セットトップボックス、ゲートウェイ、又はカメラである。

本発明は、非限定的な例として、添付図を参照して与えられる以下の説明を読むことでより明確に理解されよう。

本発明による方法の第１の実施形態を示すフローチャートである。 色チャネル赤、緑、及び青のそれぞれについて、図１の実施形態の第１のステップ後に得られるマスクＳを示す。 図１の実施形態の第２のステップ後に、色相値に基づいてグループ化された色飽和ピクセルの異なるセグメントｓ_１、ｓ_２、ｓ_３、．．．への飽和画像の線のセグメント化を示す。 図３に示されるものと同じ線の全てのピクセルにわたる３つの色チャネルＲ、Ｇ、Ｂによって提供される色情報のバリエーションを示し、同じ飽和セグメントｓ_１、ｓ_２、ｓ_３、．．．は、３つの色チャネルＲ、Ｇ、及びＢのうちの少なくとも１つによって提供される色情報の飽和によって識別される。 図３及び図４のセグメントにおいて、図１の実施形態の第４のステップに従い、参照色チャネルによりこのセグメントのピクセルについて提供される色値と、このセグメントに計算されるベースライン色値ρ_ｓｉとの差が、このセグメントの飽和色チャネルによって提供されるこのピクセルの色値にどのようにして加算されるかを示す。 図３に示されるものと同じ線の全てのピクセルにわたり３つの色チャネルＲ、Ｇ、Ｂによって提供される色情報のバリエーションを示す。このバリエーションは、図１の実施形態の第４のステップの終了時に、図５に示される全ての色チャネルの脱飽和から生じる。 本発明による方法の第２の実施形態を示すフローチャートである。

図１を参照して、本発明による方法の２つの非限定的な実施形態の様々なステップについて説明する。これらの様々なステップは、専用ハードウェアを使用することによって実現してもよい。また、これらのステップは、ソフトウェアを実行可能なハードウェアを使用し、適切なソフトウェアと共に画像変換装置を形成することにより、実現してもよい。ハードウェアは、限定はしないが、特にデジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶する読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶装置を含み得る。画像変換装置は、電子消費者装置などに用いることも可能であり、電子消費者装置の例としては、ＴＶセット、携帯電話、タブレット、セットトップボックス、ゲートウェイ、又はカメラ等が挙げられる。

Ｉで示され、Ｒ、Ｇ、Ｂ色チャネル下で色符号化されたサイズＭ×Ｎピクセルの入力８ビットＲＧＢ飽和画像が、画像変換装置に提供される。この画像変換装置が、携帯電話、タブレット、又はカメラに用いられる場合、この画像は、画像の捕捉を通して直接提供され得る。そのような状況では、Ｒ、Ｇ、Ｂ色チャネルに関連付けられた線形ＲＧＢ色空間は、画像捕捉装置、特にこの捕捉に使用される画像捕捉装置と関連を持つことが好ましい。この画像変換装置が、ＴＶセット、セットトップボックス、携帯電話、タブレット、又はゲートウェイ等の電子装置に搭載される場合、画像は、電子装置に一体化される画像受信器によって提供され得る。そのような状況では、Ｒ、Ｇ、Ｂ色チャネルに関連付けられた線形ＲＧＢ色空間は、好ましくは、この電子装置又は電子装置の画像受信器に関連付けられた画像表示装置と関連を持つ。

必要に応じて、ガンマ補正がまず、飽和画像から、それ自体が既知の方法で除去されて（例えば、２．２ガンマを想定する）、表示装置の線形ＲＧＢ色空間で表現される色データを有する画像の取得等を行う。この表示装置は、ＬＣＤ、ＯＬＥＤディスプレイ、プロジェクタ、又は例えばＩＴＵ７０９としての規格に準拠する任意の装置など、任意の種類の実際又は仮想の装置とすることができる。画像のピクセルの各色に、線形ＲＧＢ空間内のこの色の色座標を表す３つの色値が対応する。各色値は、色チャネルＲ、Ｇ、又はＢに関連する。

本発明の第１の非限定的な実施形態を説明する。この実施形態では、画像は、色飽和した複数の隣接するピクセルからなる複数のセグメントに分割（セグメント化）される。これらの複数のセグメントは、複数のピクセルからなる同じ線に属している。この実施形態の利点は、画像を線毎に順次処理することができ、それにより、必要とされる計算リソースが少なくて済むことにある。

この第１の実施形態の第１のステップにおいて、飽和マスクＳが、それ自体が既知の方法により画像の各色チャネルについて構築されて、画像の過剰露出エリアをマークする。より詳細には、飽和マスクＳは、３つの色チャネルのうちの少なくとも１つで飽和した色値を有する当該画像の各ピクセルをマークする。これらのマスクを図２に示す。色チャネル毎に、飽和マスクＳは、例えば飽和色値ｔを使用して、以下の式１により示される。この飽和色値ｔは、全ての色チャネルに共通であっても、各色チャネルに固有であってもよい。

式中、Ｉ_ｍ（ｎ，ｃ）は、画像の線ｍ及び画像の列ｎに属するピクセルについての色チャネルｃでの色の値である。ここで、ｍは、間隔［１；Ｍ］に属し、且つ、線（又は行：ｌｉｎｅ）を示す。ｎは、間隔［１；Ｎ］に属し、且つ、列を示す。ｃは、色チャネルＲ、Ｇ、及びＢのグループに属し、且つ、色チャネルを示す。８ビットＲＧＢ画像の場合、閾値ｔは、例えば、全ての色チャネルで共通であり、ノイズに対応するために（２^８の代わりに）２３５に設定される。

色チャネルｃの飽和マスクＳの各ピクセルに割り当てられた値の上記定義によれば、
− 位置ｍ，ｎにおけるピクセルの値０は、このピクセルに関連付けられた色チャネルｃの値が飽和しており、このピクセルのために、この色チャネルに関連する色情報を再構築する必要があることを意味し、
− このピクセルの値１は、このピクセルに関連付けられた色チャネルｃの値が飽和しておらず、色情報を再構築する必要がないことを意味する。

この第１の実施形態の第２のステップにおいて、画像における隣接ピクセルの線は、マスクの対応する値が０である隣接ピクセルから成るセグメントにセグメント化される。これらのセグメントのいずれにおいても、全てのピクセルがクリッピングされている。すなわち、これらのピクセルの色は、飽和している色チャネルを少なくとも１つ有する。

理想的には、隣接飽和ピクセルのセグメントへのセグメント化と、各飽和ピクセルの再構築された非飽和色情報の計算（以下の第４のステップ参照）の両方が、画像全体に対して実行される。しかし、大半のハードウェアベースの用途において、特に画像処理装置が電子消費者装置に組み込まれる場合は、飽和画像を全体として処理することは、計算量的に実現が困難である。これを解決するために、後述するように、隣接する飽和ピクセルから成る少なくとも１つのセグメントが特定された相異なる線を別々に処理すること、すなわち、各線を順次処理することが好ましい。このように繰り返して実行するプロセスは、処理のために、線の色値と、それに加えて、以下に説明するように先行するα行の線及び後続するα行の線、すなわち間隔［ｍ−α，ｍ＋α］内の全ての線の色値とにアクセスすることだけを必要とする点で有利である。計算リソースが少ない場合は、このαを０又は１に設定し、一方、この方法の頑健性を上げるには、αをより大きな値に設定することが好ましい。当然ながら、画像のピクセルの線は一般に水平であり、列は垂直である。しかし、ピクセルの線が垂直で、列が水平であってもよい。

上記の第１のステップで構築された飽和マスクを使用して、飽和画像のピクセルの行を隣接する色飽和ピクセルの複数のセグメントにセグメント化する一方法について、さらなる詳細を以下に示す。本発明から逸脱せずに、線を複数の飽和セグメントにセグメント化する他の方法、例えばマスクを必要としない方法などを使用して、本発明を実施することもできる。

この第１の実施形態では、不連続性が生じることを回避し、且つ、画像上の同様のクリッピング領域が一貫した方法で処理されることを保証するために、画像の各線において、クリッピングされた複数のピクセルは、色相値に基づいてセグメントにグループ化され、各グループ（すなわち、セグメント）における複数のピクセルには、後述するように同じピクセルレベルが割り当てられる。

線ｍ及び列ｎに属するピクセルの色相Ｈ_ｍ（ｎ）は、ＣＩＥＬａｂ色空間で通常の方法によりＨ_ｍ（ｎ）＝ａｒｃｔａｎ（ｂ_ｍ（ｎ）；ａ_ｍ（ｎ））として定義される。この式中、ａ及びｂは、このピクセルのＲＧＢ色空間内の上記色値に対応するＬａｂ色空間内のＣＩＥＬａｂ色成分である。画像のピクセルのある線ｍのセグメント化プロセスがその後実行され、所与の閾値ｔ_ｃ（例えば、ｔ_ｃ＝３０°）よりも近い色相値Ｈ_ｍ（ｎ）を有するクリッピングされた隣接ピクセルは、この線と同じセグメントの一部として見なされ、したがって、同じラベルｓ_ｍ，ｉが割り当てられる。したがって、線ｍ及び列ｎに属するピクセルのラベルｓ_ｍ，ｉは、以下の式２に従って定義することができる。

ΔＨ（ｍ，ｎ）＜ｔ_ｃ及びＳ_ｍ（ｎ，ｃ）≡１である場合、Ｓ_ｍ，ｉ
ΔＨ（ｍ，ｎ）≧ｔ_ｃ及びＳ_ｍ（ｎ，ｃ）≡１である場合、Ｓ_{ｍ，（ｉ+１）}
その他の場合、φ
式（２）
この式中、ｉは、間隔［１，Ｌ_ｍ］に属し、Ｌ_ｍは、線ｍ中のクリッピングされたセグメントの数であり、
式中、ピクセル位置ｍ，ｎの関数ΔＨ（ｍ，ｎ）は、式３：
ΔＨ（ｍ，ｎ）＝ｍｉｎ（｜Ｈ_ｍ（ｎ）−Ｈ_ｍ（ｎ+１）｜，３６０−｜Ｈ_ｍ（ｎ）−Ｈ_ｍ（ｎ+１）｜） 式（３）
において定義され、式中、Ｈ_ｍ（ｎ）は、上記で定義されるように、このピクセルの色相である。

色飽和ピクセルを含む線ｍのこのセグメント化ステップの終了時、図３及び図４に示されるように、この線には、色飽和ピクセルのＬ_ｍ個のセグメントｓ_１、ｓ_２、ｓ_３、．．．、ｓ_Ｌｍがあり、これらの色値は、同じ少なくとも１つの色チャネルについて再構築される必要がある。図４では、飽和しているＲＧＢ色空間の色チャネルは、各セグメントｓ_１、ｓ_２、ｓ_３、．．．で同一となりうる。画像の各線中で同様の色相値を有するクリッピングされたピクセルのグループ化プロセスは、同様の色相のピクセルが同様に扱われ、その結果、脱飽和のために色情報が再構築された後、よりコヒーレントな見た目が得られることを保証するため、当該プロセスは選択自由であることが好ましい。

第１の実施形態の第３のステップにおいて、線ｍの飽和セグメントｓ_１、ｓ_２、ｓ_３、．．．、ｓ_Ｌｍの各ｓ_ｉについて、飽和していない少なくとも１つの色チャネルが、このセグメントのピクセルの色情報を提供する異なる色チャネルの中から選択される。この選択された色チャネルは、参照色チャネルｃ_ｒｅｆと呼ばれ、その理由は、後述するように、このセグメントのピクセルの色情報の再構築に使用されるためである。この参照チャネルｃ_ｒｅｆは、以下の表１に定義される規則に従い、このセグメントの飽和色チャネルの識別に基づき、例えば、図４に示されるような種々のチャネルによって提供される色情報を使用して、セグメントのクリッピングされていない色チャネルの中から選択される。

この規則によれば、セグメント内で色チャネルが一つだけクリッピングされた場合（表１中の事例１、２、及び３）、クリッピングされていない色チャネルのうちの一つが、脱飽和補正のための参照色チャネルとして選択される。この選択を行う際、可能であれば、緑チャネルを優先することが好ましい。その理由は、このチャネルが残りのチャネルに関してよりよい予測因子であることが知られているためである。これは、カメラに通常使用されるカラーフィルタアレイによる画像輝度との高い相関に起因する。２つの色チャネルが飽和した場合（表１中の事例４、５、及び６）、クリッピングされていない色チャネルのみが、脱飽和補正に使用される参照色チャネルとして選択される。最後に、セグメント内で全ての色チャネルが飽和する場合、単純な輝度伸張が、画像の残りの箇所に適用される補正に従って適用される（以下参照）。

第１の実施形態の第４のステップにおいて、上述のように定義された線の各飽和セグメント内において、このセグメントに関して特定された飽和色チャネルについての各ピクセルの色値は、再構築非飽和色値で置換される。この再構築非飽和色値は、上記第３のステップにおいて選択された当該セグメントの参照色チャネルについての同じピクセルの色値を少なくとも使用することにより算出される。

このステップにおいて、検出された各セグメントのピクセルの飽和チャネルは、このセグメントに対して選択された参照色チャネルｃ_ｒｅｆによって与えられる情報に従って脱飽和される。

１つ又は２つの飽和色チャネルを有する線ｍのセグメントｓ_ｉのピクセルの脱飽和の色補正について、このセグメントのこれらの飽和色チャネルのうちの１つに関して以下に説明する。この補正では、このセグメントの参照色チャネルｃ_ｒｅｆによって提供される幾つかの色情報は、以下に説明するように、このセグメントの飽和色チャネルに移される。画像の同様の領域（例えば、同じ物体上の複数のハイライト）間に非一貫性が生じることなくこの補正を達成するために、上記第２のステップのピクセルセグメントへの色相ベースのセグメント化に加えて、色相一貫性制約が使用される。このタイプの色相制約は、任意であるが、適用することが好ましい。

あるセグメントｓ_ｉの参照色チャネルｃ_ｒｅｆに関連する色チャネルのバリエーションを使用して、このセグメントｓ_ｉ内のピクセルの他の色チャネル内の欠損色情報を再構築することができると仮定している。しかし、色値は、参照色チャネルから飽和色チャネルに直接移すことはできない。その理由は、このセグメントに沿った飽和チャネル及び同じセグメントに沿った非飽和チャネルが、同じレベルの値を提供しないためである。一方が他方よりも高い。したがって、後述するように、好ましくは、スケーリング演算がこの移行のために実行される。

このスケーリングの問題を解決するために、脱飽和するセグメントｓ_ｉの参照色チャネルｃ_ｒｅｆに関連するベースライン色値ρ_ｓｉが計算される。そのような計算については後で詳述する。次に、移行は、図５に示されるように実行され、すなわち、このセグメントｓ_ｉの各ピクセルについて、このピクセルの参照色チャネルｃ_ｒｅｆの色値と、このセグメントに計算されるベースライン色値ρ_ｓｉとの差が、同じピクセルの飽和色チャネルの色値に加算される。

スケーリングに使用され、線ｍの飽和セグメントｓ_ｉの参照色チャネルｃ_ｒｅｆに関連するベースライン色値ρ_ｓｉを算出するために、このセグメントｓ_ｉの代表的な平均色相Ｈ_ｓｉがまず、このセグメントｓ_ｉの全てのピクセルのＣＩＥＬａｂ色空間で計算される。次に、このセグメントｓ_ｉのこの平均色相Ｈ_ｓｉと、位置ｋ，ｎでのピクセルの色相の平均Ｈ_ｋ（ｎ）との差ΔＨ（ｋ，ｎ）が、上記式３と同様にして計算される。ここで、ｋ∈｛ｍ−α，ｍ＋α｝であり、すなわち、位置ｋ，ｎは、線ｍ中並びにα本の先行する線及び後続する線中にある。その後、ベースライン色値ρ_ｓｉが次に以下の式４：

に従って計算される。式中、ｋ∈｛ｍ−α，ｍ＋α｝であり、ここで、好ましくは、ｔ_ｈｕｅは約２０°に等しい。

これは、α＝０である場合、ベースライン色値ρ_ｓｉが、｜ΔＨ（ｍ，ｎ）｜＜ｔ_ｈｕｅによって定義される近接性パラメータｔ_ｈｕｅに基づく基準に従って、色相がＨ_ｓｉに十分に近いセグメントｓ_ｉ中の全てのピクセルにわたる参照色チャネルｃ_ｒｅｆによって提供される最小色値として計算されることを意味する。

これは、α＞０である場合、ベースライン色値ρ_ｓｉが最小色値として計算されることを意味する。この最小色値は、線ｍのセグメントｓ_ｉ中の全てのピクセル、及び近傍線ｋ中のこのセグメントに隣接するピクセルにわたる参照色チャネルｃ_ｒｅｆによって提供される。ここで、ｋ∈｛ｍ−α，ｍ＋α｝であり、それらのピクセルの色相は、∀ｋ｜ΔＨ（ｋ，ｎ）｜＜ｔ_ｈｕｅによって定義される近接性パラメータｔ_ｈｕｅに基づく基準に従って、Ｈ_ｓｉに十分に近い。

次に、画像の線のセグメントの全てのピクセルの飽和色チャネルの色値の脱飽和のための上記の色補正は、別の色チャネルがある場合、その色チャネルに対して繰り返される。３つ全ての色チャネルがクリッピングされるセグメントでは、これらのセグメントのピクセルの色値は、同じ線上のピクセルの補正された隣接色値に従って拡張されて、局所最大色値を得る。これは、完全にクリッピングされたピクセルが、同じ線のその他のクリッピングされたセグメントの１つ又は複数の色チャネルに適用される補正と一貫性を有することを保証する。

次に、上記色補正プロセスは、この線の各セグメントに対して繰り返される。次に得られるこの線の全てのピクセルにわたり３つの色チャネルＲ、Ｇ、Ｂによって提供される色情報のバリエーションを図６に示す。

次に、ピクセル線について上述したプロセスは、飽和色を有するピクセルを含む画像の全ての線に対して繰り返される。

画像の全てのピクセルが脱飽和された後、脱飽和画像Ｉ’が得られる。この画像は次に、プロセスの上記開始とは逆の方法でガンマ補正される。

任意選択的に、上述した方法の頑健性をさらに改善するために、画像は水平及び垂直の両方で処理される。これは、上述した第１の処理後、飽和画像の線が列になり、この飽和画像の列が線になり、その後、２回目の脱飽和プロセスが、この飽和画像に対して繰り返されて、第２の脱飽和画像を提供することを意味する。最終画像は、２つの脱飽和画像にわたり、各ピクセルの各色チャネル中の最大色値を使用することによって計算される。飽和境界近くに不連続性が生じるのを回避するために、補正画像は、好ましくは、間隔［ｔ；２５５］中の入力ピクセル値に単純なランプを使用して、非補正入力とアルファブレンドされる。

複雑な画像解析の代わりに、この第１の実施形態による方法は、画像のピクセル線の小さい集合から計算される単純な統計を利用し、復元された領域間の色相一貫性を強化する。補正全体を通して色相情報を考慮することにより、方法は自然な結果を生成する。方法のセグメント化ステップ及び補正ステップは両方とも、少数のピクセル線に対して動作し、この方法をダイナミックレンジを拡張する前にディスプレイ側で画像を補正する等のリアルタイムハードウェア用途に適するものにする。計算が単純であるにも拘わらず、この方法は、幾つかの画質及び色差尺度に従って部分飽和補正の既存のソリューションよりも優れている。

図１を参照すると、この第１の実施形態の実施に使用される画像変換装置は、特に、
− 飽和色を有する少なくとも１つのピクセルを有する画像のピクセルの各線を、隣接ピクセルの少なくとも１つのセグメントにセグメント化するように構成されたモジュール１であって、隣接ピクセルの色は、線形ＲＧＢ色空間において色飽和した少なくとも１つの色チャネルを有する、第１のモジュール１と、
− セグメントのピクセルについて線形ＲＧＢ色空間における色情報を提供する異なる色チャネルの中から、セグメントにわたって飽和していない少なくとも１つの色チャネルｃ_ｒｅｆを選択し、且つ、セグメントの少なくとも１つの飽和色チャネルによって提供されるそれらのピクセルのそれぞれの色情報を、ピクセルの選択された少なくとも１つの非飽和色チャネルｃ_ｒｅｆによって提供される少なくとも色情報を使用することにより計算される再構築された非飽和色情報で置換することによって、第１のモジュール１により提供される線の各飽和セグメントのピクセルを脱飽和するように構成された第２のモジュール２と、を含む。

図７を参照して、本発明の第２の非限定的な実施形態を説明する。この実施形態では、画像は、色飽和隣接ピクセルの領域にセグメント化され、所与の飽和領域のピクセルは一般に、幾つかのピクセル線にわたって分布する。

この第２の実施形態の第１のステップにおいて、画像の各色チャネルの飽和マスクＳが、上記第１の実施形態のようにそれ自体が既知の方法で構築されて、画像の過剰露出エリアをマークする。より詳細には、飽和マスクＳは、３つの色チャネルのうちの少なくとも１つで飽和する少なくとも１つの色値を有するこの画像の各ピクセルをマークする。これらのマスクをここでも図２に示す。

この第２の実施形態の第２のステップにおいて、画像は、色飽和ピクセルの領域にセグメント化される。

この第２のステップを実行するために、画像はまず、飽和マスク内で接続色成分が検出されることにより、隣接ピクセルのラベル付き領域にセグメント化される。これを実施するために、ステップ１の飽和マスクにおいて０値に割り当てられたピクセルには、近傍である場合、同じセグメントラベルが与えられる（すなわち、同じ領域の一部になる）。２つのピクセル間の空間ピクセル距離が、空間距離近傍閾値より小さい又は同じである場合、これらのピクセルは近傍であると見なされる。これは近傍基準として見なされる。空間距離近傍閾値は一般に、４〜８個のピクセルで構成される。ステップ１の飽和マスクにおいて０値に割り当てられたピクセルには、近傍基準を満たさない場合、異なるセグメントラベルが与えられ、したがって、異なる初期領域に属するものとして見なされる。

次に、画像の上記初期セグメント化は、以下のように、ラベル付き領域間の色類似性及び距離に基づいて改善される。
１．画像のピクセルの色は、それ自体が既知の方法でＲＧＢ色空間からＣＩＥ Ｌａｂ色空間に変換される。
２．各ラベル付き領域ｒ∈Ｒについて、

を使用して平均色値を計算し、式中、｜ｒ｜は、この領域ｒ内のピクセル数を示す。
３．ラベル付き各領域ｒについて、

を使用して、ｒとあらゆる他のラベル付き領域ρとの色差を計算する。
４．ラベル付き領域ｒについて、以下を使用して、他の各ラベル付き領域ρへの空間距離Ｄ_ｒ（ρ）をさらに計算する。
ａ．ΔＭ_ｒ（ρ）＝ｍｉｎ｜Ｍ_ｒ−Ｍ_ρ｜（式中、Ｍは、画像内の各領域の垂直座標を示す）、
ｂ．ΔＮ_ｒ（ρ）＝ｍｉｎ｜Ｎ_ｒ−Ｎ_ρ｜（式中、Ｎは、画像内の各領域の水平座標を示す）、
ｃ．

５．最後に、色距離融合閾値未満の他の各ラベル付き領域ρへの色差ΔＥ_ｒ（ρ）と、空間距離融合閾値未満の他の各ラベル付き領域ρへの空間距離Ｄ_ｒ（ρ）とを有するラベル付き領域を融合する。

色距離融合閾値は、例えば、１０に等しく、空間距離融合閾値は、例えば、画像の最大寸法の１％に等しい。

このステップを終えることによって、画像の色飽和領域へのセグメント化が終了する。

この第２の実施形態の第３のステップにおいて、飽和領域ｒ_１、ｒ_２、．．．、ｒ_ｉ、．．．、ｒ_Ｌ’のそれぞれについて、飽和していない少なくとも１つの色チャネルが、この飽和領域のピクセルの色情報を提供する異なる複数の色チャネルの中から選択される。この選択された色チャネルは、参照色チャネルｃ’_{ｒｅｆ，ｒｉ}と呼ばれ、ステップ４において後述するように、この領域ｒ_ｉのピクセルの色情報を再構築するために使用される。特定の参照チャネルｃ’_{ｒｅｆ，ｒｉ}が、第１の実施形態の第３のステップにおいて説明されるように、各領域ｒ_ｉに対して選択される。

この第２の実施形態の第４のステップは、「セグメント」という用語を「領域」に置き換えると、第１の実施形態の第４のステップと同様である。

セグメント化ステップ２において上で定義される各飽和領域において、ピクセルの飽和色チャネルを脱飽和する。より詳細には、この領域で識別された飽和色チャネルに関連するこの領域の各ピクセルの色値は、第１の実施形態のステップ４と同様に、再構築された非飽和色値で置換される。

脱飽和する領域ｒ_ｉの参照色チャネルｃ’_{ｒｅｆ，ｒｉ}に関連するベースライン色値ρ’_ｒｉは、各飽和領域ｒ_ｉについて計算される。このベースライン色値ρ’_ｒｉは、例えば、この飽和領域ｒ_ｉ内の全てのピクセルにわたって参照チャネルｃ’_{ｒｅｆ，ｒｉ}によって提供される最小色値として使用され、以下の式：

に従って計算される。式中、ｋは、領域ｒ_ｉ内のピクセルロケーションを示す。

次に、飽和領域ｒ_ｉの各ピクセルについて、このピクセルの再構築された非飽和色値は、このピクセルの飽和色チャネルの色値に対して、このピクセルの参照色チャネルｃ_{ｒｅｆ，ｒｉ}の色値とこの領域に計算されるベースライン色値ρ_’ｒｉとの差を加算することによって得られる。

この第２の実施形態では、ベースラインρ’_ｒｉの計算は、飽和領域毎に行われる。これは、このベースラインの計算に含まれるピクセルが多くなるほど、且つ異なる飽和領域が画像構造に有利により正確に従うことが可能であるほど、画像での一貫性を改善する。

次に、画像の飽和領域の全てのピクセルの飽和色チャネルの色値を脱飽和する上記色補正は、別の色チャネルがある場合には、その色チャネルに対して繰り返される。

次に、上記色補正プロセスは、最後の領域ｒ_Ｌ’まで、画像の各飽和領域に対して繰り返される。

画像の全てのピクセルが脱飽和された後、脱飽和画像Ｉ’が得られ、この画像は次に、プロセスの開始時とは逆の方法でガンマ補正される。

図７を参照すると、この第２の実施形態の実施に使用される画像変換装置は、特に、
− 画像を、複数のピクセルの領域にセグメント化するように構成された第１のモジュール１’であって、複数のピクセルは、その色が線形ＲＧＢ色空間において色飽和した少なくとも１つの色チャネルを有する、第１のモジュール１’と、
− 領域（ｓ_ｉ；ｒ_ｉ）の複数のピクセルにわたって飽和していない少なくとも１つの色チャネル（ｃ_ｒｅｆ，ｃ’_{ｒｅｆ，ｒｉ}）を選択し、かつ、それらのピクセルのそれぞれについて、領域の少なくとも１つの飽和色チャネルによって提供されるピクセルの色情報を、ピクセルについて領域の少なくとも１つの飽和色チャネルによって提供される色情報と、これらの飽和領域のそれぞれ（ｒ_ｉ）について、ピクセルの少なくとも１つの非飽和色チャネル（ｃ_ｒｅｆ；ｃ’_{ｒｅｆ，ｒｉ}）によって提供される色情報とピクセルの領域（ｓ_ｉ；ｒ_ｉ）に計算されるベースライン色値（ρ_ｓｉ；ρ’_ｓｉ）との間の差との和で置換することにより、第１のモジュール１’によって提供される各飽和領域（ｒ_ｉ）のピクセルを脱飽和するように構成された第２のモジュール２’と、を含む。

第１又は第２の実施形態、並びに以下に特許請求される任意の他の実施形態の実施に使用される画像変換装置は、様々な形態のハードウェア、ファームウェア、専用プロセッサ、又はこれらの組合せを含み得ることを理解されたい。本発明は特に、ハードウェアとソフトウェアとの組合せとして実施され得る。さらに、ソフトウェアは、プログラム記憶ユニットに実体的に具現されるアプリケーションプログラムとして実施され得る。アプリケーションプログラムは、任意の適切な構造を含む機械にアップロードされ、そのような機械によって実行され得る。好ましくは、機械は、１つ又は複数の中央演算処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び入力／出力（「Ｉ／Ｏ」）インターフェース等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含むこともできる。本明細書に記載される様々なプロセス及び機能は、ＣＰＵによって実行し得るマイクロ命令コードの一部、アプリケーションプログラムの一部、又はそれらの任意の組合せであってもよい。さらに、追加のデータ記憶ユニット及び脱飽和前後の画像を表示するモニタディスプレイ装置等の様々な他の周辺ユニットがコンピュータプラットフォームに接続されてもよい。

この画像変換装置は、特に、ＴＶセット、携帯電話、タブレット、セットトップボックス、ゲートウェイ、又はカメラ等の電子装置に用いることができる。

結論として、説明した飽和画像を脱飽和画像に変換する方法は、自然な画像に存在する空間的ＲＧＢチャネル補正を利用する。複雑な画像解析に依存する代わりに、本発明による方法は、画像のピクセルの小さい集合から計算される単純な統計を利用する。

本発明を特定の実施形態に関して上述したが、本発明がこの実施形態に限定されないことが理解される。したがって、以下に特許請求される本発明は、当業者に理解されるように、本明細書に記載されるこの実施形態からの変形形態を含む。

Claims (7)

1. 飽和画像を非飽和画像に変換する方法であって、
   前記飽和画像をピクセルの領域にセグメント化することであって、前記ピクセルの色は、線形ＲＧＢ色空間において飽和した少なくとも１つの色チャネルを有することと、
   前記飽和した領域ｓ_ｉ；ｒ_ｉのそれぞれについて、
   前記領域ｓ_ｉ；ｒ_ｉの前記ピクセルについて前記線形ＲＧＢ色空間内の色情報を提供する相異なる複数の色チャネルの中から、前記領域ｓ_ｉ；ｒ_ｉの複数のピクセルにわたって飽和していない少なくとも１つの色チャネルｃ_ｒｅｆ；ｃ’_{ｒｅｆ，ｒｉ}を選択することと、
   前記領域の各ピクセルについて、前記領域ｓ_ｉ；ｒ_ｉの前記少なくとも１つの飽和した色チャネルによって提供される前記ピクセルの前記色情報を、再構築された非飽和色情報で置換することと、
   を含み、
   前記再構築された非飽和色情報は、前記領域の前記少なくとも１つの飽和した色チャネルにより前記ピクセルについて提供される前記色情報と、前記選択された少なくとも１つの非飽和色チャネルｃ_ｒｅｆ；ｃ’_{ｒｅｆ，ｒｉ}により前記ピクセルについて提供される前記色情報と前記ピクセルの前記領域ｓ_ｉ；ｒ_ｉについて計算されるベースライン色値ρ_ｓｉ；ρ’_ｓｉとの差との和であり、
   これにより前記変換された非飽和画像を提供する、方法。
2. 領域ｓ_ｉ；ｒ_ｉの前記ベースライン色値ρ_ｓｉ；ρ’_ｓｉは、少なくともこの領域内の全てのピクセルにわたって、当該領域の前記選択された少なくとも１つの非飽和色チャネルｃ_ｒｅｆ；ｃ’_{ｒｅｆ，ｒｉ}によって提供される最小色値として計算される、請求項１に記載の変換方法。
3. 前記画像はピクセルからなる複数の線に分割されており、前記セグメント化することは、飽和ピクセルを有する線毎に順次実行され、前記領域は線のセグメントである、請求項１又は２に記載の変換方法。
4. 飽和画像を脱飽和画像に変換する画像変換装置であって、
   画像をピクセルの領域にセグメント化するように構成された第１のモジュールであって、前記ピクセルの色は、線形ＲＧＢ色空間において色飽和した少なくとも１つの色チャネルを有する、前記第１のモジュール（１，１’）と、
   領域ｓ_ｉ；ｒ_ｉの複数のピクセルにわたって飽和していない少なくとも１つの色チャネルｃ_ｒｅｆ，ｃ’_{ｒｅｆ，ｒｉ}を選択し、かつ、前記ピクセルのそれぞれについて、前記領域の前記少なくとも１つの飽和色チャネルによって提供される前記ピクセルの色情報を、前記領域の前記少なくとも１つの飽和色チャネルによって前記ピクセルに提供される前記色情報と、前記選択された少なくとも１つの前記飽和していない色チャネルｃ_ｒｅｆ；ｃ’_{ｒｅｆ，ｒｉ}により前記ピクセルに提供される前記色情報と前記ピクセルの前記領域ｓ_ｉ；ｒ_ｉについて算出されたベースライン色値ρ_ｓｉ；ρ’_ｓｉとの差との和で置換することにより、前記第１のモジュール（１，１’）によって提供された飽和した各領域ｓ_ｉ；ｒ_ｉのピクセルを脱飽和するように構成された第２のモジュール（２，２’）と、
   を含む、画像変換装置。
5. 前記第１のモジュール（１）は、前記画像の各線を前記線のセグメントである領域にセグメント化するように構成されている、請求項４に記載の画像変換装置。
6. 請求項４又は５に記載の画像変換装置を含む電子装置。
7. 前記電子装置はＴＶセット、携帯電話、タブレット、セットトップボックス、ゲートウェイ、又はカメラである、請求項６に記載の電子装置。
   

Images