JP5411706B2 - デジタル画像のダイナミックレンジを増強するための装置及び方法 - Google Patents

デジタル画像のダイナミックレンジを増強するための装置及び方法 Download PDF

Info

Publication number
JP5411706B2
JP5411706B2 JP2009538424A JP2009538424A JP5411706B2 JP 5411706 B2 JP5411706 B2 JP 5411706B2 JP 2009538424 A JP2009538424 A JP 2009538424A JP 2009538424 A JP2009538424 A JP 2009538424A JP 5411706 B2 JP5411706 B2 JP 5411706B2
Authority
JP
Japan
Prior art keywords
image data
data
original image
extension
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009538424A
Other languages
English (en)
Other versions
JP2010511326A (ja
Inventor
バンターレ、フランチェスコ
レッダ、パトリック
デバッティスタ、カート
チャルマーズ、アラン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39468493&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5411706(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2010511326A publication Critical patent/JP2010511326A/ja
Application granted granted Critical
Publication of JP5411706B2 publication Critical patent/JP5411706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、デジタル画像生成に関する。本発明は、具体的には、デジタル画像のダイナミックレンジを増大するための方法及び装置に関する。
相互参照関連出願
本出願は、2006年11月27日に出願された米国仮出願連番第60/867,325号、表題「デジタル画像のダイナミックレンジを増強するための装置及び方法」の利益を主張するものであり、引用によりその全体を本明細書に組み込む。
人間の目は、極めて広範囲な輝度の光に対して高感度である。画像は、実際の場面を正確に再生するためには、高ダイナミックレンジを有さねばならない。高性能CCDアレイ等の高性能イメージセンサは、高ダイナミックレンジを有する画像を取り込むことが可能である。表示装置には、ドルビーカナダ(Dolby Canada)社から入手可能で高ダイナミックレンジ画像を表示可能な表示装置等が存在する。しかしながら、多くのコンピュータディスプレイやテレビ等は、ダイナミックレンジが制限されており、そのような高ダイナミックレンジ画像を表示できない。
一部の画像データは、その画像データが、取り込まれる又は生成される方法に起因して、低ダイナミックレンジを有する。他の場合、画像データのダイナミックレンジは、画像データの画像が再生される表示装置の特性に整合するように小さくしてもよい。階調マッピング演算子は、高ダイナミックレンジ画像データに適用して、画像データのダイナミックレンジを低減する。このことは、例えば、或る種の表示装置のダイナミックレンジ又は特定の画像データフォーマットに整合する画像データを提供するために行われる。
利用可能な高ダイナミックレンジ表示装置で表示でき及び/又は人間の目で認識できるダイナミックレンジより小さいダイナミックレンジを有する大量の既存の画像データがある。
低ダイナミックレンジ画像データのダイナミックレンジを増強し得る方法及び装置に対するニーズがある。
以下の実施形態及びその態様について、システム、ツール、及び方法と共に例示し記載するが、これらは、範囲を限定するのではなく、例示しようとするものである。様々な実施形態において、上述した問題の1つ又は複数が、低減されたり解消されたりしている一方で、他の実施形態が、他の改善に向けられている。
本発明の1つの態様は、画像を表す原画像データのダイナミックレンジを増大するための方法を提供する。本方法には、拡張関数を適用して、原画像データのダイナミックレンジより大きいダイナミックレンジを有する拡張データを原画像データから生成する段階と、画像の画素に関連付けられた領域の輝度の程度を示すデータが含まれる拡張マップを得る段階と、が任意の順番で含まれる。本方法は、拡張マップにより原画像データと拡張データを組み合わせて、強化画像データを生成する。
本発明の他の態様は、原画像データのダイナミックレンジを拡張するための装置を提供する。本装置には、原画像データを受信し、また、原画像データのダイナミックレンジより大きいダイナミックレンジを有する拡張データを出力するために接続されたダイナミックレンジ拡大器と、原画像データの画像における画素に関連付けられた領域の輝度を示す拡張マップを生成するように構成された輝度分布分析器と、拡張マップにより、原画像データをダイナミックレンジ拡大器からの拡張データと組み合わせて、強化画像データを生成するように構成された画像結合器と、が含まれる。
本発明の他の態様は、原画像データのダイナミックレンジを強化するための方法を提供する。本方法には、α、Lwhite、及び<L>が、パラメータであり、Lが、原画像データの画素に対応する輝度値である場合、下式
又はその数学的に等価なものによって与えられる逆階調マッピング演算子により、原画像データの画素の輝度値を処理する段階が含まれる。
上記した代表的態様及び実施形態に加えて、図面を参照して、また、以下の詳細な説明を解釈することによって、更なる態様及び実施形態について以下に記載し且つ/又は明らかにする。
本発明の一実施形態による方法を示すフローチャート。 本発明による装置を示すブロック図。 本発明の他の実施形態による装置を示すブロック図。
添付図面は、本発明の非限定的な実施形態を示す。
以下の説明全体において、当業者に更に十分な理解を提供するために、特定の細目について記載する。しかしながら、公知の要素については、本開示が不必要に不明瞭になることを避けるために、詳細に図示又は記載していないことがある。従って、本説明及び図面は、限定的であるというよりはむしろ例示的であると見なすものとする。
本発明は、画像データのダイナミックレンジを増強するための方法及び装置を提供する。本方法及び装置は、例えば、従来の画像(例えば、静止又はビデオ画像)のダイナミックレンジを広げて、高ダイナミックレンジ表示装置に表示するために適用される。
図1は、本発明の一実施形態による方法20を示す。方法20は、ブロック24において得られた原画像データ23に作用して、画像データ23のダイナミックレンジを拡張する。ブロック26において、方法20は、原画像データ23を拡張して拡張画像データ25を得る。拡張処理は、第1範囲から第2範囲に画素輝度値をマッピングする。第2範囲は、第1範囲よりもっと起こりうる値を提供する。例えば、第1範囲は、0乃至255の範囲にある値を容認するが、第2の拡張された範囲は、0乃至1023の範囲にある値を容認したり、又は或る指定した精度に合わせて、0.00乃至1.00の範囲にある値を容認したりできる。幾つかの実施形態において、拡張画像データ25における画素の輝度値は、原画像データ23における対応する画素の輝度値の関数である。
拡張処理は、線形スケーリング、非線形スケーリング、又は階調マッピング関数の逆等の更に複雑な拡張関数の適用を伴う。ブロック26が、逆階調マッピング関数を適用する場合、ブロック26において適用された逆階調マッピング関数は、必ずしも、原画像データ23の生成に用いられるいずれか特定の階調マッピング関数の逆とは限らない。実際、場合によっては、原画像データ23は、階調マッピング関数を適用することなく又はブロック26において適用された階調マッピング関数の逆とは異なる階調マッピング関数を適用することによって、得られることもある。
階調マッピング関数の一例は、ラインハード(Reinhard)らによる「デジタル画像のための写真階調再生(Photographic Tone Reproduction)」ACM会報、グラフ21、3、267−276(2002年)に記載された写真階調再生である。他の階調マッピング関数は、例えば、スミス(Smith)らによる「階調マッピングを超えて:階調マップHDR画像の強化描写」Computer Graphics Forum25,3(2006年)に記載されている。また、レッダ(Ledda)らによる「高ダイナミックレンジ表示装置を用いた階調マッピング演算子の評価」ACM会報、グラフ24、3、640−648(2005年)に記載されている。
写真調低減階調マッピング演算子は、幾何平均に基づき画素輝度値をスケーリングするが、幾何平均は、場面のキーであるか又は場面のキーを近似し、そして、結果的に生じる値を圧縮する。このスケーリングは、下式により与えられる。
上式において、Lは、スケーリング値であり、αは、ユーザパラメータであり、Lは、原画像データ23の画素の輝度である。原画像データ23がRGBフォーマットである場合、Lは、下式によって与えられる。
=0.213R+0.715G+0.072B・・・(2)
上式において、R、G及びBは、それぞれRGB色空間における画素の赤、緑及び青画素値である。<L>は、下式によって定義される幾何平均である
上式において、δは、負でない小さい値であり、Nは、画像の画素の数である。
圧縮は、第1範囲内にある入力値を取って、第2のより狭い範囲内にある出力値を生成する関数によって提供される。例えば、圧縮は、下式によって提供される。
上式において、Lは、(x,y)における画素の圧縮値である。更に柔軟な一実施形態では、圧縮は、下式によって提供される。
上式において、Lwhiteは、パラメータであり、圧縮データにおける白色にマッピングされる非圧縮データからの最小輝度値に対応する。
式(5)は、次の2次方程式を解くことによって逆関数が求められる。
式(5)において、式(1)を使ってLを置き換えると、下式が生成される。
式(7)は、2次方程式の解の公式を用いて、Lについて解き、正の最大値の解を得ることができる。このことを、画像における各画素について実施して、拡張画像データ25を得ることができる。
式(7)の解を逆階調マッピングに適用する場合、値をパラメータα,Lwhite,L及び幾何平均<L>に割り当てねばならない。どの階調マッピング演算子(もしあれば)が、処理対象の低ダイナミックレンジ画像を得るために適用されたかが分からない場合、これらのパラメータは、未知である。幾つかの実施形態による方法では、ユーザは、これらのパラメータの値を設定することができる。幾つかの実施形態では、パラメータは、自動的に設定するか予め決定される。幾つかの実施形態において、幾つかの又は全てのパラメータは、初期値に自動的に設定され、また、ユーザは、望む場合、それら初期値からのパラメータ値を変えることができる。
<L>を割り当てる一方法は、処理される低ダイナミックレンジ画像の幾何平均輝度を用いることである。同じ場面の画像の高及び低ダイナミックレンジの幾何平均輝度は、通常(低ダイナミックレンジ画像が、極端に露出過度又は不足でない場合)、かなり似通っていることが分かっている。或る階調マッピング演算子は、幾何平均輝度を変える傾向がある。そのような階調マッピング演算子が、原画像データ23の生成に用いられた場合、<L>について処理される低ダイナミックレンジ画像の幾何平均輝度の関数を用いることが望ましい。この関数は、原画像データ23を生成するために用いられる階調マッピング演算子の情報に基づき選択するか又は実験的に求められる。
パラメータL(x,y)に値を割り当てる一方法は、Lが、処理される低ダイナミックレンジ画像の輝度であることを実現することである。
パラメータα及びLwhiteは、ユーザによって設定される。パラメータαの意味は、幾分不可解である。従って、本発明者らは、好んで、下式のように、パラメータLmax’を定義する
max’は、逆階調マップ画像において予想された最大輝度値である。Lwhiteは、元の低及び中輝度値の拡張に影響を及ぼす。Lwhiteが、極めて高い場合、それらの値は、極めて低い輝度値にマッピングされる。Lwhiteが、極めて低い場合、逆階調マップ画像は、因子Lmax’によってスケーリングされた元の低ダイナミックレンジ画像のそれらと同様な輝度値を有する。通常の用途では、等しい又は同じオーダの値を有するようにLwhite及びLmax’を設定すると、妥当な結果が生成される傾向がある。
ブロック26において適用された拡張関数は、完全には許容可能ではない拡張画像を生成することがある。拡張関数が、高い出力輝度値を生成する場合、結果的に生じる画像は、“ごつごつした”外観になることがある。
方法20は、ブロック28において生成された拡張マップ29により、拡張画像25と原画像23を組み合わせることによって、出力画像33を得る。拡張マップ29は、原画像23の高輝度及び低輝度領域を識別する。拡張マップ29を用いて、方法20は、高輝度領域では、拡張画像25に出力画像33を強く基づかせ、また、低輝度領域では、原画像23に出力画像33を強く基づかせる。ブロック28は、画素が属する領域の輝度レベルを評価するための任意の適切な方法を用いる。例えば、ブロック28は、各画素が属する領域における画素の平均輝度又は加重平均輝度を演算する。拡張マップ29には、各画素に関連付けられた加重値が含まれる。加重値は、原画像23及び拡張画像25が、強化画像33のその画素の値に寄与する相対的な程度を示す。
例示した実施形態において、ブロック28は、ブロック28Aにおいて、中央値分割アルゴリズムを適用する。中央値分割アルゴリズムについては、例えば、デビベック(P.Debevec)による「光プローブサンプリングのための中央値分割アルゴリズム」ACMシググラフ、2005年寄稿(2005年)に記載されている。中央値分割アルゴリズムは、画像の高輝度領域付近に集まっている一組の点光源を識別する。画素付近のそのような光源の数及び輝度は、幾つかの実施形態では、拡張マップ29の生成に用いられる。
中央値分割アルゴリズムは、画像を同様な光エネルギの2nの領域に分割する。これらの領域は、輝度が、結果的に生じる領域間で同様に配分されるように画像を最も長い寸法に沿って更に分割することによって、識別される。このプロセスは、結果的に生じる領域について繰り返される。光源は、画像を領域に分割する処理をn回繰り返すことによって得られた2n領域各々の図心に置かれる。各光源の色は、領域全体の平均値に設定される(例えば、色は、領域内における画素値の和に等しくなるように設定される。
本発明の幾つかの実施形態において、nは、少なくとも9である(512光源に対応する)。幾つかの実施形態においてnは、10以上である。
幾つかの実施例において、点光源は、2Dツリーが含まれるデータ構造に格納され、拡張マップ29の生成時に実施される最近隣検索を容易にする。
原画像23を高及び低輝度領域の識別に用いることは、強制ではない。高及び低輝度領域の分布は、原画像データ23及び拡張画像データ25において同様である。中央値分割アルゴリズムは、拡張画像データ25に実施される。
ブロック28Aで実施される中央値分割アルゴリズムにより識別された光源から一組の加重値を得るための一方法は、各画素(x,y)について、画素周辺の領域内における光源の密度を決定することである。その領域は、好都合なことには、例えば、或る半径rを有する円形の領域を含む。他の領域形状を用いてもよい。密度推定については、デューダ(Duda)らによる「パターン分類第2版」Wiley Interscience(2001年)に記載されている。
密度推定に用い得る基本的な公式は、下式の通りである。
上式において、Λは、密度であり、Xは、画像における位置(x,y)であり、Ψは、点pにおける光源の輝度値であり、Pは、領域(本例では、半径rを有し、Xに中心がある円)内における点であって、中央値分割アルゴリズムによって識別された光源に対応する点の集合である。
密度推定は、
●中央値分割アルゴリズムを繰り返して、より大きい数の光源を得る方法(即ち、nを大きくする方法)、
●平滑フィルタを密度推定の結果に適用する方法、
●ゼロ以外の密度Λを画素に割り当てる前に、少なくともしきい値数の光源(例えば、1024以上の光源があるn=10の場合、しきい値数は、4以上であり、場合によっては、4−6光源)が、画素の影響の領域内(例えば、画素の半径r内)にあることを必要とする方法、
を含む多くの方法で改善される。
平滑フィルタには、ガウス平滑フィルタが含まれる。例えば、ひな形の実施形態では、下式で与えるカーネルの加重値により定義されたガウスフィルタを適用した。
上式において、w は、カーネルであり、γ及びβは、パラメータである。このフィルタについては、例えば、パビシック(Pavicic)による「一様でないサンプリングを最小限に抑える便利なアンチエリアシングフィルタ」モルガン・カオフマン(Morgan Kaufmann)(1990年)に記載されている。γ及びβについての例示値は、γ=0.918及びβ=1.953である。このフィルタは、規格化され、上記したように密度推定を計算する場合、
だけ輝度をスケーリングすることによって適用される。このフィルタは、画素に近い光源を画素から遠い光源より強く重み付けすることが分かる。
ブロック30において、原データ23及び拡張データ25は、拡張マップ29を用いて組み合わせられ、強化データ33を生成する。本例において、拡張マップ29は、各画素に範囲[0,1]の値を提供する。この値は、原データ23と拡張データ25との間の線形補間の加重値として用い得る。例えば、
上式において、Lfinalは、位置(x,y)にある画素の強化データ33における画素輝度値であり、Lは、拡張データ25における画素の輝度値であり、Lは、原データ23における画素の輝度値であり、Λは、拡張マップ29からの範囲[0,1]の画素の加重値である
ブロック30は、オプションとして、原データ23と拡張データ25を他の方法で組み合わせられる。例えば、補間は、非線形である。
本明細書に記載した方法は、例えば、デジタル静止画像又はビデオ画像のダイナミックレンジを強化するために適用される。強化データ33は、ブロック34に示すようにセーブしたり、又はブロック36に示すように表示装置に表示したりしてよい。
式(6)及び(7)を参照して上記した逆階調マッピング演算子は、方法20外に用途を有する。例えば、逆階調マッピング演算子は、映像のフレームのダイナミックレンジを大きくするために直接適用される。そのような実施形態において、映像の各フレームの画像は、逆階調マッピング演算子によって処理し、拡張フレームを得ることができる。拡張フレームは、記憶及び/又は再生して、原映像のダイナミックレンジより高いダイナミックレンジを有する映像を提供する。
通常の画像は、数十万の画素、もっと一般的には、数百万の画素を含む。本明細書に記載した方法は、専用ハードウェア及び/又はプログラム化されたコンピュータシステム等の自動装置を用いて実施される。
図2は、原画像データ23からの拡張ダイナミックレンジを有する画像を生成するための装置40を概略的示す。装置40には、原画像データ23を処理して、拡張データ25を生成するダイナミックレンジ拡大器44が含まれる。幾つかの実施形態において、ダイナミックレンジ拡大器44には、原画像データ23を選択し、ダイナミックレンジ拡張関数を原画像データ23における各輝度値に適用して、拡張データ25を生成するソフトウェアモジュールが含まれる。
装置40には、原画像データ23(又はオプションとして、拡張データ25)を処理して、拡張マップ29を生成する輝度分布分析器46が含まれる。輝度分布分析器46は、原画像データ23の画素が、原画像データ23によって表される画像の高輝度及び低輝度領域に属する程度を決定する。
結合器48は、原画像データ23と拡張データ25を組み合わせて、強化データ33を生成する。強化データ33の各画素が、原画像データ23及び拡張データ25の対応する画素の値に基づく相対的な程度は、拡張マップ29の対応する画素の値に依存する。
ダイナミックレンジ拡大器44、輝度分布分析器46、及び結合器48の各々には、ハードウェアモジュール、ハードウェアとソフトウェアの組合せ、又は1つ又は複数の適切に構成された書替え可能ゲートアレイ(FPGA)等の構成可能なハードウェアが含まれる。幾つかの実施形態において、装置40は、静止及び/又はビデオ画像を表示することが可能な高ダイナミックレンジ電子表示システムに設けられる。そのような実施形態では、装置40を起動して、表示システムが再生可能なダイナミックレンジより低いダイナミックレンジを有する従来の画像及び/又はビデオ画像を強化する。
図3は、本発明の他の実施形態による装置50を示す。装置50は、データ記憶装置54にあるパラメータ31の値をユーザに制御させるユーザインターフェイス52を有する。パラメータ31は、原画像データ23を処理して、本明細書に記載したように、強化画像データ33を得るダイナミックレンジ増強システム56の動作を制御する。強化画像データ33は、高ダイナミックレンジ表示ドライバ58によって制御される表示装置60に表示される。本実施形態において、ユーザは、表示装置60に表示された画像に対する特定の組のパラメータ31の影響を見て、ユーザインターフェイス52を介して、1つ又は複数のパラメータ31の値を変更し、画像の所望の外観を実現することができる。そして、ユーザは、強化画像データ33をセーブして、表示装置60上に又は他の高ダイナミックレンジ表示装置上に後で表示することができる。
本発明の或る実施例には、本発明の方法をプロセッサに実施させるソフトウェア命令を実行するコンピュータプロセッサが含まれる。例えば、画像処理又は画像表示システムにおける1つ又は複数のプロセッサは、プロセッサがアクセス可能なプログラムメモリにあるソフトウェア命令を実行することによって、図1の方法を実現する。本発明は、更に、プログラムプロダクトの形態で提供される。プログラムプロダクトには、データプロセッサによって実行されると、本発明の方法をデータプロセッサに実行させる命令が含まれる一組のコンピュータ判読可能信号を担持する任意の媒体を含む。本発明によるプログラムプロダクトは、任意の多種多様な形態であってよい。プログラムプロダクトには、例えば、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、CDROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAM等を含む電子データ記憶媒体等の物理的な媒体を含む。プログラムプロダクト上のコンピュータ判読可能信号は、圧縮又は暗号化することもできる。
構成要素(例えば、ソフトウェアモジュール、プロセッサ、組立体、装置、回路等)が、上記要素を指す場合、他に規定されない限り、その構成要素(“手段”についての指示を含む)に対する指示は、その構成要素の等価物として、記載された構成要素の機能を実施する(即ち、機能的に等価な)任意の構成要素を含むと解釈すべきである。更に、本発明の例示の代表的実施形態における機能を実施する開示構造と構造的に等価でない構成要素が含まれると解釈すべきである。
多数の代表的な態様及び実施形態について、これまで記載したが、当業者は、何らかの変更、置換、追加及びその下位の組み合わせを認識されるであろう。例えば、
●本発明の用途は、画像データを表すためのいずれか特定のフォーマットに又はいずれか特定の色空間に限定されない。輝度値は処理されるが、原画像データ23又は強化画像データ33が、LUV又は輝度値が明示的に表される他のフォーマットである必要はない。本発明は、輝度値を導出できる情報を含む他の画像フォーマットで実践することができる。例えば、画像データがRGBフォーマットで表される場合、輝度値は、式(2)から又は画像における個々の色の値から輝度に関連した値を生成する他の適切な関係を適用することから導出される。
従って、以下の添付請求項及び今後導入される請求項は、それらの真の精神及び範囲内にある全てのそのような修正、置換、追加及び下位組み合わせを含むと解釈するものとする。
尚、国際出願の英文明細書中にJISコードで表記できない箇所があったため、この翻訳文では代替表記を使用した、具体的には、
<L>は、
のように、国際出願の明細書ではLの上に横棒を付けて表現されていたが、便宜上、翻訳文ではLを< >で囲って表現した。

Claims (25)

  1. 画像を表す原画像データのダイナミックレンジを増大するための方法であって、
    拡張関数を適用して、前記原画像データのダイナミックレンジより大きいダイナミックレンジを有する拡張データを前記原画像データから生成する段階と、
    前記画像の画素に関連付けられた領域の輝度を示すデータが含まれる拡張マップを得る段階と、
    前記拡張マップにより前記原画像データと前記拡張データを組み合わせて、強化画像データを生成する段階と
    を任意の順番備える、方法。
  2. 請求項1に記載の方法であって、
    前記拡張マップを得る段階は、前記画像を表すデータに中央値分割アルゴリズムを実施する段階を含む、方法。
  3. 請求項2に記載の方法であって、前記画像を表す前記データは、前記原画像データを含む、方法。
  4. 請求項2に記載の方法であって、前記画像を表す前記データは、前記拡張データを含む、方法。
  5. 請求項2乃至4のいずれか1項に記載の方法であって、前記拡張マップを得る段階は、前記画素に関連付けられた前記領域における前記中央値分割アルゴリズムによって識別される光源の密度を推定する段階を含む、方法。
  6. 請求項5に記載の方法であって、前記画素に関連付けられた前記領域は、前記画素を中心にした円形領域が含まれる方法。
  7. 請求項6に記載の方法であって、前記円形領域は、10乃至20画素の範囲の半径を有する、方法。
  8. 請求項5乃至7のいずれか1項に記載の方法であって、前記密度を推定する段階は、平滑関数により前記光源を重み付けする段階を含む、方法。
  9. 請求項8に記載の方法であって、前記平滑関数は、前記画素からの前記光源の距離の関数である負の値の指数関数を計算する段階を含む、方法。
  10. 請求項5乃至7のいずれか1項に記載の方法であって、画素の前記密度を推定する段階は、前記画素からのそれらの距離により、前記光源を重み付けする段階であって、前記画素に近い光源は、前記画素から遠い光源よりも大きい加重値が与えられる前記段階を含む、方法。
  11. 請求項2乃至7のいずれか1項に記載の方法であって、nが少なくとも9である場合、前記中央値分割アルゴリズムを実施して、少なくとも2個の光源を得る段階を含む、方法。
  12. 請求項11に記載の方法であって、前記画素に関連付けられた前記領域に少なくともしきい値数の光源がない場合、前記拡張マップにおける画素値を所定の値に設定する段階を含む、方法。
  13. 請求項12に記載の方法であって、前記しきい値は、少なくとも4である方法。
  14. 請求項13に記載の方法であって、前記しきい値は、4乃至6の範囲内である、方法。
  15. 請求項1乃至14のいずれか1項に記載の方法であって、前記拡張関数を適用する段階は、逆階調マッピング演算子を適用する段階を含む、方法。
  16. 請求項1乃至14のいずれか1項に記載の方法であって、前記拡張関数を適用する段階は、前記原画像データの画素輝度値の線形スケーリングを含む、方法。
  17. 請求項1乃至14のいずれか1項に記載の方法であって、前記拡張関数を適用する段階は、前記原画像データの画素輝度値の非線形スケーリングを含む、方法。
  18. 請求項1乃至14のいずれか1項に記載の方法であって、前記拡張関数を適用する段階は、α、Lwhite、及び<L>が、パラメータであり、Lが、前記原画像データにおける画素に対応する輝度値である場合、2次方程式
    又はその数学的に等価なものを、Lについて解く段階を含む、方法。
  19. 請求項18に記載の方法であって、<L>を前記原画像データの幾何平均輝度に等しくなるように設定する段階を含む、方法。
  20. 請求項18又は19に記載の方法であって、<L>及びLwhiteを、同程度の大きさの値を有するように設定する段階を含む、方法。
  21. 請求項1乃至20のいずれか1項に記載の方法であって、前記原画像データと前記拡張データを組み合わせる段階は、前記拡張マップから求められた重み付け値を使用して前記原画像データ及び拡張データの画素輝度値の加重平均を演算する段階を含む、方法。
  22. 請求項1乃至20のいずれか1項に記載の方法であって、前記原画像データと前記拡張データとを組み合わせる段階は、前記拡張マップから求められた重み付け値を使用して前記原画像データ及び拡張データの画素の輝度値を補間する段階を含む、方法。
  23. 原画像データのダイナミックレンジを拡張するための装置であって、
    原画像データを受信し、且つ前記原画像データのダイナミックレンジより大きいダイナミックレンジを有する拡張データを出力するために接続されたダイナミックレンジ拡大器と、
    前記原画像データにおける画素に関連付けられた領域の輝度を示す拡張マップを生成するように構成された輝度分布分析器と、
    前記拡張マップに従って、前記原画像データを前記ダイナミックレンジ拡大器からの前記拡張データと組み合わせて、強化画像データを生成するように構成された画像結合器と、
    を備える装置。
  24. 請求項23に記載の装置であって、前記輝度分布分析器は、中央値分割アルゴリズムを実施するように構成される、装置。
  25. 請求項24に記載の装置であって、前記輝度分布分析器は、前記中央値分割アルゴリズムを適用することによって、少なくとも512の光源を生成するように構成されている装置。
JP2009538424A 2006-11-27 2007-11-27 デジタル画像のダイナミックレンジを増強するための装置及び方法 Active JP5411706B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US86732506P 2006-11-27 2006-11-27
US60/867,325 2006-11-27
PCT/US2007/024498 WO2008066840A2 (en) 2006-11-27 2007-11-27 Apparatus and methods for boosting dynamic range in digital images

Publications (2)

Publication Number Publication Date
JP2010511326A JP2010511326A (ja) 2010-04-08
JP5411706B2 true JP5411706B2 (ja) 2014-02-12

Family

ID=39468493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009538424A Active JP5411706B2 (ja) 2006-11-27 2007-11-27 デジタル画像のダイナミックレンジを増強するための装置及び方法

Country Status (16)

Country Link
US (1) US8289412B2 (ja)
EP (1) EP2098060B1 (ja)
JP (1) JP5411706B2 (ja)
KR (1) KR101466596B1 (ja)
CN (1) CN101595719B (ja)
AU (1) AU2007325737B2 (ja)
BR (1) BRPI0719548B1 (ja)
CA (1) CA2669028C (ja)
HK (1) HK1135543A1 (ja)
IL (1) IL198599A (ja)
MX (1) MX2009005564A (ja)
MY (1) MY147417A (ja)
NO (1) NO338509B1 (ja)
RU (1) RU2444786C2 (ja)
UA (1) UA99449C2 (ja)
WO (1) WO2008066840A2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
PL2835976T3 (pl) * 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
WO2010022558A1 (en) * 2008-08-28 2010-03-04 Hong Kong Applied Science and Technology Research Institute Co. Ltd Digital image enhancement
JP2010271480A (ja) * 2009-05-20 2010-12-02 Sharp Corp 表示装置
JP5752133B2 (ja) * 2009-10-08 2015-07-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム
US9300938B2 (en) 2010-07-22 2016-03-29 Dolby Laboratories Licensing Corporation Systems, apparatus and methods for mapping between video ranges of image data and display
TWI463862B (zh) * 2010-12-31 2014-12-01 Wt Microelectronics Co Ltd 寬動態範圍影像處理裝置及寬動態範圍影像處理方法
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
DK3324622T3 (da) 2011-04-14 2019-10-14 Dolby Laboratories Licensing Corp Indikator med multiple regressioner og multiple farvekanaler
JP5877693B2 (ja) * 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
CN104126307B (zh) 2012-02-29 2018-02-06 杜比实验室特许公司 用于改善的图像处理和内容传递的图像元数据创建处理器及方法
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
EP2880624B1 (en) 2012-03-26 2019-05-08 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding
CN103024328B (zh) * 2012-12-28 2015-11-25 北京汉邦高科数字技术股份有限公司 一种提高数字视频录像机抓图质量的方法
US9432589B2 (en) 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
EP2869260A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth
US9607364B2 (en) 2013-11-22 2017-03-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
KR102234092B1 (ko) 2013-12-27 2021-04-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지의 역 톤 매핑을 위한 방법
RU2669431C2 (ru) * 2014-05-15 2018-10-12 Сони Корпорейшн Устройство связи, способ связи и компьютерная программа
RU2578799C1 (ru) * 2015-03-13 2016-03-27 Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук Способ получения изображений с увеличенным динамическим диапазоном
WO2017032822A1 (en) 2015-08-25 2017-03-02 Thomson Licensing Inverse tone mapping based on luminance zones
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
EP3503019A1 (en) * 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
CN113518185B (zh) * 2020-12-30 2022-08-05 腾讯科技(深圳)有限公司 视频转换处理方法、装置、计算机可读介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005419A (en) * 1988-06-16 1991-04-09 General Electric Company Method and apparatus for coherent imaging system
JP3068628B2 (ja) 1990-03-22 2000-07-24 キヤノン株式会社 画像処理装置およびその方法
JPH05316446A (ja) * 1992-05-08 1993-11-26 Matsushita Electric Ind Co Ltd 階調補正装置
JP3452212B2 (ja) * 1994-07-07 2003-09-29 富士ゼロックス株式会社 減色処理を行なうカラー画像処理装置
US5761070A (en) * 1995-11-02 1998-06-02 Virginia Tech Intellectual Properties, Inc. Automatic color and grain sorting of materials
US5822452A (en) * 1996-04-30 1998-10-13 3Dfx Interactive, Inc. System and method for narrow channel compression
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JPH1042182A (ja) * 1996-07-26 1998-02-13 Canon Inc 撮像装置
KR100200363B1 (ko) * 1996-10-10 1999-06-15 윤종용 영상의 다이나믹 레인지 확대 장치
US5978518A (en) * 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
JPH1132201A (ja) * 1997-07-09 1999-02-02 Matsushita Electric Ind Co Ltd 画像処理装置
DE69915721D1 (de) * 1998-01-28 2004-04-29 Konishiroku Photo Ind Bildverarbeitungsvorrichtung
JP3484982B2 (ja) * 1998-07-17 2004-01-06 富士通株式会社 物体別ダイナミックレンジ拡張表示方式
JP4127603B2 (ja) * 2001-03-29 2008-07-30 株式会社リコー 画像読み取り装置、画像形成装置及び読み取り画像データ処理方法
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
WO2002101646A2 (en) * 2001-06-08 2002-12-19 University Of Southern California High dynamic range image editing
US7068841B2 (en) * 2001-06-29 2006-06-27 Hewlett-Packard Development Company, L.P. Automatic digital image enhancement
JP2004056573A (ja) * 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
JP2004140692A (ja) * 2002-10-18 2004-05-13 Matsushita Electric Ind Co Ltd 画像補正装置および画像補正方法
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
JP3950842B2 (ja) 2003-11-18 2007-08-01 キヤノン株式会社 画像処理方法及び装置
CN1696975A (zh) * 2004-05-14 2005-11-16 蒲恬 一种数字图像增强方法
JP2006173671A (ja) * 2004-12-10 2006-06-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
CA2669028C (en) 2016-01-12
KR101466596B1 (ko) 2014-11-28
US20100208143A1 (en) 2010-08-19
WO2008066840A2 (en) 2008-06-05
KR20090091207A (ko) 2009-08-26
WO2008066840A3 (en) 2009-04-16
CN101595719A (zh) 2009-12-02
JP2010511326A (ja) 2010-04-08
MX2009005564A (es) 2009-08-13
CA2669028A1 (en) 2008-06-05
NO20092391L (no) 2009-06-23
UA99449C2 (ru) 2012-08-27
MY147417A (en) 2012-12-14
AU2007325737A1 (en) 2008-06-05
AU2007325737B2 (en) 2011-02-10
HK1135543A1 (en) 2010-06-04
EP2098060B1 (en) 2012-10-24
NO338509B1 (no) 2016-08-29
IL198599A0 (en) 2010-02-17
BRPI0719548A2 (pt) 2014-01-21
RU2444786C2 (ru) 2012-03-10
US8289412B2 (en) 2012-10-16
CN101595719B (zh) 2012-06-13
EP2098060A4 (en) 2011-09-28
IL198599A (en) 2015-01-29
BRPI0719548B1 (pt) 2020-02-04
EP2098060A2 (en) 2009-09-09
RU2009123903A (ru) 2011-01-10

Similar Documents

Publication Publication Date Title
JP5411706B2 (ja) デジタル画像のダイナミックレンジを増強するための装置及び方法
US9466098B2 (en) Local definition of global image transformations
JP5752133B2 (ja) デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム
EP2131569B1 (en) Apparatus, method and program for image processing
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
JP2015232869A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2012014628A (ja) 画像表示装置
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
JP4996554B2 (ja) 画像高画質化装置、方法およびプログラム
Gao et al. Multiscale decomposition based high dynamic range tone mapping method using guided image filter
JP2005039457A (ja) 画像処理装置および方法
RU2595615C1 (ru) Способ улучшения цифровых растровых изображений методом локального выравнивания яркости
Qian et al. A new technique to reproduced High-Dynamic-Range images for Low-Dynamic-Range display
JP2012093904A (ja) 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131108

R150 Certificate of patent or registration of utility model

Ref document number: 5411706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250