JP7425361B2 - 画像調整装置、画像調整方法及びプログラム - Google Patents

画像調整装置、画像調整方法及びプログラム Download PDF

Info

Publication number
JP7425361B2
JP7425361B2 JP2022518432A JP2022518432A JP7425361B2 JP 7425361 B2 JP7425361 B2 JP 7425361B2 JP 2022518432 A JP2022518432 A JP 2022518432A JP 2022518432 A JP2022518432 A JP 2022518432A JP 7425361 B2 JP7425361 B2 JP 7425361B2
Authority
JP
Japan
Prior art keywords
image
brightness
function
grayscale
grayscale image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022518432A
Other languages
English (en)
Other versions
JPWO2021220333A1 (ja
Inventor
小萌 武
隆仁 川西
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021220333A1 publication Critical patent/JPWO2021220333A1/ja
Application granted granted Critical
Publication of JP7425361B2 publication Critical patent/JP7425361B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像調整装置、画像調整方法及びプログラムに関する。
近年、画像の強調処理の需要が著しく増大している。例えば、狭いダイナミックレンジを持つ画像に隠れている詳細を明らかにすることを目的として、コントラストを強調する処理が画像に対して実行される場合がある。しかしながら、十分な強調結果をユーザが市販の画像編集ソフトウェアを用いて得るためには、画像編集の専門知識を持つことがユーザに要求される。また、多くの手作業がユーザに要求される場合がある。そこで、様々な入力画像に自動的に対応する適応的な画像強調の方法（画像調整方法）が求められている。
画像強調の方法の一つであるヒストグラム平坦化は、直感的な実装品質と高効率とを有しているという理由で、最も注目を集めた方法である。ヒストグラム平坦化では、入力画像の輝度を変換する関数（以下「輝度変換関数」という。）が、画像における輝度分布のエントロピーが最大化されるように導出される。以下、画素同士の画素値（輝度）のコントラスト（差）を用いて濃淡を表す画像を「濃淡画像」という。
非特許文献１に示された方法では、局所的なコントラスト値として濃淡画像の反射率成分画像の勾配が導出される。また、コントラスト値で重み付けされた輝度ヒストグラムが導出される。非特許文献１に示された方法では、入力画像の明るさが過度に強調されることなく、様々な入力画像に対応する適応的な画像強調が、輝度ヒストグラムの平坦化によって実現されている。
しかしながら、非特許文献１に示された方法とヒストグラム平坦化とにおいて、単調性の制約が輝度変換関数に課される。つまり、非特許文献１に示された方法とヒストグラム平坦化とにおいて、輝度変換関数を用いて変換された出力画像の輝度は入力画像の輝度の増加に応じて常に増加していなければならないという制約が、輝度変換関数に課される。
また、Ｒｅｔｉｎｅｘ理論では、自然のシーンが撮影されている画像は照明成分画像と反射率成分画像との組み合わせであると見なされる。照明成分画像は大域的なコントラストを構成し、反射率成分画像は局所的な詳細を構成する。
非特許文献２に示された方法では、反射率成分画像は、コントラストの強調された所望の出力画像であると見なされる。推定された照明成分画像が入力画像から除去されることによって、入力画像と比較してコントラストが強調された出力画像が導出される。非特許文献２に示された方法では、パラメータが適切に調整されることによって、画像における暗く局所的な詳細が効果的に強調される。しかしながら、画像における大域的なコントラストが完全に失われてしまうので、画像における大域的な明るさが過度になってしまうという問題がある。
画像における大域的なコントラストが失われることなく画像を明るくすることを目的として、照明成分画像における照明成分を強調する方法が提案されている。この方法では、照明成分画像と反射率成分画像とに、入力画像が分解される。また、照明成分画像における照明成分が適度に強調され、強調された照明成分画像と反射率成分画像とが再結合される。
例えば、非特許文献３に示された方法では、推定された照明成分画像における照明成分がガンマ補正で強調され、強調された照明成分を含む照明成分画像と反射率成分画像とが再結合される。この再結合画像は、明るさが強調された画像として出力される。しかしながら、ガンマ補正では画像を適応的に明るくすることができない。このため、非特許文献３に示された方法では、画像の明るさが過度になってしまう場合がある。また、画像の明るさが不足してしまう場合がある。
Xiaomeng Wu, Takahito Kawanishi, and Kunio Kashino, "REFLECTANCE-GUIDED, CONTRAST-ACCUMULATED HISTOGRAM EQUALIZATION, " IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2020. Xiaojie Guo, Yu Li, and Haibin Ling, "LIME: Low-light image enhancement viaillumination map estimation," IEEE Transactions On Image Processing, Vol.26, No.2, pp.982-993, 2017. Xueyang Fu, Delu Zeng, Yue Huang, Xiao-Ping Zhang, and Xinghao Ding, "A weighted variational model for simultaneous reflectance and illumination estimation," In Computer Vision and Pattern Recognition (CVPR), pp.2782-2790, 2016.
非特許文献１に示された方法では、輝度（画素値）のコントラストが強調された領域が画像に存在する限り、その画像内の他の領域における輝度のコントラストは、単調性の制約によって必然的に抑制されることになる。コントラストが抑制された結果、非特許文献１に示された方法では、画像における局所的な詳細が減衰してしまうという問題がある。ヒストグラム平坦化についても同様である。このように、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することができない場合がある。
上記事情に鑑み、本発明は、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することが可能である画像調整装置、画像調整方法及びプログラムを提供することを目的としている。
本発明の一態様は、輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力部と、カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換部とを備える画像調整装置である。
本発明の一態様は、画像調整装置が実行する画像調整方法であって、輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力ステップと、カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換ステップとを含む画像調整方法である。
本発明の一態様は、上記の画像調整装置としてコンピュータを機能させるためのプログラムである。
本発明により、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することが可能である。
実施形態における、画像調整装置の構成例を示す図である。 実施形態における、画像調整装置のハードウェア構成例を示す図である。 実施形態における、画像調整装置の輝度変換部の動作例を示すフローチャートである。 実施形態における、変換濃淡画像と他の画像との比較の第１例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第２例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第３例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第４例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第５例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第６例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第７例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第８例を示す図である。
以下では、行列の演算は、画像の要素ごとに実行される。また以下では、画像内の全ての画素値は、［０，１］の範囲内で正規化されている。
以下では、任意の画像強調方法（以下「基盤画像強調方法」という。）に対する後処理の方法が提案される。以下、基盤画像強調方法を用いて輝度が調整された濃淡画像を「強調濃淡画像」という。以下では、濃淡画像「Ａｉｎ」から強調濃淡画像への変換が、非単調な輝度変換関数に近似される。すなわち、濃淡画像「Ａｉｎ」から強調濃淡画像への変換が、画像内の座標に応じて変化する輝度変換関数（空間的に変化する輝度変換関数）に近似される。また、このように近似された非単調な輝度変換関数を用いて濃淡画像を強調する方法が提案される。
以下では、基盤画像強調方法は、例えば、画像の大域的な明るさを適応的に強調可能な方法である。単調な輝度変換関数を用いて濃淡画像が強調される方法が基盤画像強調方法の一例として採用された場合、基盤画像強調方法に対する後処理は、顕著に有効である。そこで以下では、非特許文献１の方法が、基盤画像強調方法の一例として用いられる。
画像におけるコントラストを強調する目的で非単調な輝度変換関数が用いられる場合、非単調な輝度変換関数は、画像の局所的な詳細を強調できる必要がある。このため、非単調な輝度変換関数は、空間的に変化する関数、すなわち画像内の座標に応じて関数値が変化する関数である必要がある。これらの要件が満たされるように、以下では、非単調な輝度変換関数が、カメラ応答関数に基づいて導出される。
参考文献１「Steve Mann, "Comparametric equations with practical applications in quantigraphic image processing," IEEE Trans. Image Processing, Vol.9, No.8, pp.1389-1406, 2000.」では、比較方程式（Comparametric Equation）が解かれることによって輝度変換関数をカメラ応答関数から導出する方法が、提案されている。この輝度変換関数では、カメラ応答関数（Camera Response Function : CRF）のパラメータ（以下「ＣＲＦパラメータ」という。）と、写真の露出値とが、変数として使用されている。ここで、露出値はスカラーである。
以下、入力画像の輝度から変換された出力画像の輝度を「変換輝度」という。変換輝度は、カメラ応答関数から導出される輝度変換関数が用いられることによって、入力画像の輝度から変換される。露出値が大きいほど、変換輝度は高くなる。すなわち、露出値が小さいほど、変換輝度は低くなる。露出値がスカラーである限り、入力画像の輝度を変換輝度に変換するための、カメラ応答関数から導出される輝度変換関数は、単調に増加する関数である。このため、入力画像の輝度を変換輝度に変換するための、カメラ応答関数から導出される輝度変換関数は、そのままでは、非単調な輝度変換関数として使用できない。
画素周辺の領域が元々暗い場合、画像の局所的な詳細の視認性を高めるには、画素の変換輝度を上げる必要がある。また、画素周辺の領域が元々明るい場合、画像の局所的な詳細の視認性を高めるには、画素の変換輝度を下げる必要がある。
上述したように、露出値が大きいほど変換輝度は高くなり、露出値が小さいほど変換輝度は低くなる。つまり、画素周辺の領域が元々暗い場合、画像の局所的な詳細の視認性を高めるには、露出値を大きくする必要がある。また、画素周辺の領域が元々明るい場合、画像の局所的な詳細の視認性を高めるには、露出値を小さくする必要がある。
以下では、平滑化された濃淡画像に着目する。以下、平滑化された濃淡画像を「平滑濃淡画像」という。画素周辺の領域が元々暗い場合、平滑濃淡画像の画素値が小さい。また、画素周辺の領域が元々明るい場合、平滑濃淡画像の画素値が大きい。そこで以下では、平滑濃淡画像の画素値に反比例する正の実数行列を露出値行列として使用する方法が提案される。
この露出値行列を変数とする輝度変換関数は、単調には増加しない関数である。変換輝度は、入力画像の輝度と、画素周辺の領域における元々の明るさ（暗さ）とに応じて定まる。露出値行列を変数とする輝度変換関数が使用されることによって、画像の局所的な詳細を強調することが可能になる。
そこで以下では、濃淡画像から強調濃淡画像への変換が、上述の露出値行列を変数とする輝度変換関数に近似される。このように近似する目的を達成するために、画像調整装置は、濃淡画像と強調濃淡画像とを含む画像データに、輝度変換関数を適合させる。これにより、輝度変換関数の変数としてのＣＲＦパラメータが導出される。導出されたＣＲＦパラメータを変数とする輝度変換関数が、濃淡画像に適用される。ＣＲＦパラメータを変数とする輝度変換関数を用いて濃淡画像の輝度が変換されることによって、濃淡画像が強調される。以下、ＣＲＦパラメータを変数とする輝度変換関数を用いて輝度が変換された濃淡画像を「変換濃淡画像」という。
このように、画像調整装置は、基盤画像強調方法を使用して、強調濃淡画像を導出する。次に、画像調整装置は、一つ以上のパラメータ（ＣＲＦパラメータ）を有する単調増加関数を、カメラ応答関数として用いる。画像調整装置は、この関数の比較方程式を解くことによって、輝度変換関数を導出する。次に、画像調整装置は、平滑濃淡画像を濃淡画像から導出する。ここで、画像調整装置は、平滑濃淡画像の画素値に反比例する正の実数行列を、輝度変換関数の露出値行列として導出する。次に、強調濃淡画像と変換濃淡画像との差（例えば、残差の二乗和）が所定条件を満たすように、画像調整装置は、輝度変換関数のＣＲＦパラメータを算出する。この所定条件とは、例えば、強調濃淡画像と変換濃淡画像との差が最小となるという条件である。画像調整装置は、輝度変換関数を濃淡画像に適用することによって、濃淡画像の輝度を変換する。これによって、変換濃淡画像が生成される。
本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像調整装置１の構成例を示す図である。画像調整装置１は、画像を調整する装置である。例えば、画像調整装置１は、輝度のコントラストを調整する装置である。画像調整装置１は、入力画像における大域的な明るさ（輝度）を、任意の画像強調方法を用いて適応的に調整する。画像調整装置１は、大域的な明るさが調整された入力画像における局所的な詳細を、後処理において強調する。
画像調整装置１は、入力部１０と、画像強調部１１と、関数導出部１２と、行列導出部１３と、パラメータ導出部１４と、輝度変換部１５と、出力部１６とを備える。
図２は、画像調整装置１のハードウェア構成例を示す図である。画像調整装置１は、プロセッサ２と、メモリ３と、記憶装置４と、表示部５とを備える。
画像調整装置１の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ２が、不揮発性の記録媒体（非一時的な記録媒体）である記憶装置４からメモリ３に展開されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。プログラムは、電気通信回線を経由して受信されてもよい。表示部５は、画像を表示可能なデバイスである。表示部５は、例えば液晶ディスプレイである。
画像調整装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。
図１に戻り、画像調整装置１の概要を説明する。
入力部１０は、濃淡画像を入力画像として取得する。濃淡画像では、画素値（明度又は輝度）が異なる各画素を用いて、濃淡が表されている。入力部１０は、濃淡画像に基づいて、カメラ応答関数を導出する。入力部１０は、画像強調部１１と、行列導出部１３と、パラメータ導出部１４と、輝度変換部１５とに、濃淡画像を出力する。入力部１０は、カメラ応答関数を関数導出部１２に出力する。
画像強調部１１は、入力画像としての濃淡画像を、入力部１０から取得する。
画像強調部１１は、基盤画像強調方法を濃淡画像に適用することによって、強調濃淡画像を導出する。画像強調部１１は、強調濃淡画像をパラメータ導出部１４に出力する。
基盤画像強調方法として、輝度を調整する任意の方法を使用可能である。基盤画像強調方法として、例えば、画像の大域的な明るさを適応的に強調できる方法が好ましい。単調な輝度変換関数を使用して濃淡画像を強調する方法が基盤画像強調方法として採用された場合において、本実施形態の方法は顕著に有効である。単調な輝度変換関数を用いて濃淡画像を強調する方法は、例えば、ヒストグラム平坦化と、ガンマ補正と、参考文献２「Xiaomeng Wu, Xinhao Liu, Kaoru Hiramatsu, and Kunio Kashino, "Contrast-accumulated histogram equalization for image enhancement," In ICIP, pp.3190-3194, 2017.」に示された方法と、非特許文献１に示された方法とのうちのいずれでもよい。
以下では、非特許文献１に示された方法が、基盤画像強調方法として採用される。画像強調部１１は、濃淡画像の反射率成分画像の勾配を、濃淡画像の局所的なコントラスト値として導出する。ここで、画像強調部１１は、コントラスト値で重み付けされた濃淡画像の輝度ヒストグラムを導出する。画像強調部１１は、この輝度ヒストグラムを平坦化することによって、濃淡画像の輝度を変換する。画像強調部１１は、このようにして輝度が変換された濃淡画像を、強調濃淡画像として導出する。
関数導出部１２は、カメラ応答関数を入力として、入力部１０から取得する。関数導出部１２は、一つ以上のパラメータ（ＣＲＦパラメータ）を有する単調増加関数をカメラ応答関数として用いることによって、この単調増加関数の比較方程式を解く。関数導出部１２は、この単調増加関数の比較方程式を解くことによって、輝度変換関数を導出する。この輝度変換関数は、そのままでは、非単調な輝度変換関数として使用できない。関数導出部１２は、パラメータ導出部１４と輝度変換部１５とに、導出された輝度変換関数を出力する。
カメラ応答関数「ｆ（・）」として、一つ以上のパラメータを持つ任意の単調増加関数が使用可能である。ここで、「ｆ（０）＝０」及び「ｆ（１）＝１」を満たす関数がカメラ応答関数「ｆ（・）」として使用されることが好ましい。
濃淡画像と同じサイズの未知の実数行列「Ｑ」が、カメラ応答関数の変数として使用される。実数行列「Ｑ」は、濃淡画像が撮影された場合における、各画素の放射照度を表す。カメラ応答関数の関数値「ｆ（Ｑ）」は、カメラで撮影された画像、すなわち濃淡画像を表す。
カメラ応答関数の比較方程式は、式（１）のような形式で表される。
Figure 0007425361000001
ここで、「ｇ（・）」は、「ｆ（・）」の比較関数（Comparametric Function）である。上述の参考文献１によれば、比較関数「ｇ（・）」は、濃淡画像に適用される輝度変換関数として使用可能である。
式（１）における変数「Ｅ」は、露出値である。通常、露出値「Ｅ」はスカラーである。露出値「Ｅ」は、カメラレンズの絞り量と、濃淡画像が撮影された際の露光時間と、フィルム感度等との組み合わせに応じて定まる。ただし、カメラパラメータ等のカメラ情報が不明である場合には、露出値「Ｅ」は不明である。比較関数「ｇ（・）」が輝度変換関数として使用される場合、露出値「Ｅ」がパラメータとして事前に設定される必要がある。露出値「Ｅ」は、行列導出部１３によって導出される。
関数導出部１２は、カメラ応答関数「ｆ（・）」の比較方程式である式（１）を解くことによって、カメラ応答関数の比較関数「ｇ（・）」を輝度変換関数として導出する。カメラ応答関数の関数値「ｆ（Ｑ）」は、濃淡画像「Ａｉｎ」に対応している。つまり、「ｆ（Ｑ）＝Ａｉｎ」が成立している。このため、式（１）は式（２）のように表される。
Figure 0007425361000002
したがって、カメラ応答関数「ｆ（・）」が可逆的である場合、輝度変換関数として使用可能である比較関数「ｇ（・）」は、式（２）から導出可能である。
なお、カメラ応答関数のＣＲＦパラメータの数が多いほど、関数導出部１２によって導出される輝度変換関数の適合能力は高くなる。ただし、ＣＲＦパラメータの数が過剰に多い場合には、処理時間が非常に長くなると共に、パラメータ導出部１４において過剰適合が発生する可能性も高くなる。この過剰適合とは、濃淡画像から強調濃淡画像への変換（基盤画像強調方法）を、関数導出部１２によって導出される輝度変換関数が過剰に近似してしまうことである。これは、関数導出部１２によって導出される輝度変換関数の自由度が高すぎるために発生する。過剰適合が発生した結果として、変換濃淡画像（輝度変換関数を用いて輝度が変換された濃淡画像）と強調濃淡画像とが全く同じ画像になってしまう可能性がある。変換濃淡画像と強調濃淡画像とが全く同じ画像になった場合には、画像の局所的な詳細を回復することができない。基盤画像強調方法を用いてコントラストが強調された画素値が存在する限り、他の画素値のコントラストが必然的に抑制されてしまうという問題は、画像の局所的な詳細を回復することができない場合には解決することができなくなる。そこで、過剰適合を回避し、よりバランスのとれた画像調整性能を得るためには、二つのＣＲＦパラメータを持つ関数が使用される方が適切である。
関数導出部１２によって導出される輝度変換関数の第１例は、式（３）から式（５）までに示されているように導出される。関数導出部１２によって導出される輝度変換関数の第１例の導出処理では、カメラ応答関数としてのシグモイド関数が用いられる。シグモイド関数は、式（３）のように表される。
Figure 0007425361000003
ここで、「α」は、シグモイド関数における第１のＣＲＦパラメータを表す。「β」は、シグモイド関数における第２のＣＲＦパラメータを表す。式（３）の逆関数は、式（４）のように表される。
Figure 0007425361000004
関数導出部１２は、式（３）と式（４）とを、式（２）に代入することによって、輝度変換関数として使用可能である比較関数「ｇ（・）」が導出される。輝度変換関数の第１例は、式（５）のように表される。
Figure 0007425361000005
一方、関数導出部１２によって導出される輝度変換関数の第２例は、式（６）から式（８）までに示されているように導出される。関数導出部１２によって導出される輝度変換関数の第２例の導出処理では、カメラ応答関数として、べき関数が使用される。このべき関数は、式（６）のように表される。
Figure 0007425361000006
ここで、「γ」は、一つのＣＲＦパラメータを表す。式（６）の逆関数は、式（７）のように表される。
Figure 0007425361000007
関数導出部１２は、式（６）と式（７）とを式（２）に代入することによって、輝度変換関数として使用可能である比較関数「ｇ（・）」が導出される。関数導出部１２によって導出される輝度変換関数の第２例は、式（８）のように表される。
Figure 0007425361000008
輝度変換関数の第１例と輝度変換関数の第２例との各説明は以上である。
行列導出部１３は、入力画像としての濃淡画像を、入力部１０から取得する。行列導出部１３は、平滑化された濃淡画像を、平滑濃淡画像として導出する。行列導出部１３は、平滑濃淡画像の各画素値に反比例する正の実数行列を、露出値行列として導出する。行列導出部１３は、露出値行列をパラメータ導出部１４及び輝度変換部１５に出力する。
本実施形態の目的は、基盤画像強調方法を用いて画像が強調されたことによって減衰した画像の局所的な詳細を回復または強調することである。この目的を達成するため、輝度変換部１５は、関数導出部１２から導出された輝度変換関数を濃淡画像に適用することによって、濃淡画像の輝度を変換する。したがって、輝度変換関数は、画像の局所的な詳細を強調することが可能な関数である必要がある。そこで、輝度変換部１５が用いる輝度変換関数は、画像内の空間的に変化し、画像内の各画素の座標（位置）に応じて異なる値を取るという、非単調な関数である必要がある。以下、関数値の変化が単調ではないという要件を「非単調性要件」という。また、画像内の空間的に関数値が変化し、画像内の各画素の座標（位置）に応じて異なる値を取る（値が変動する）という要件を「空間変動性要件」という。
式（５）及び式（８）に示されているように、露出値がスカラーである場合には、関数導出部１２によって導出された輝度変換関数は、単調増加する。すなわち、露出値がスカラーである場合には、関数導出部１２によって導出された輝度変換関数は、上述の非単調性要件及び空間変動性要件を満たさない。式（５）及び式（８）に示されているように、露出値が大きいほど変換輝度「ｇ（Ａｉｎ）」は高くなり、露出値が小さいほど変換輝度「ｇ（Ａｉｎ）」は低くなる。
一方、画像の局所的な詳細の視認性が高くなるためには、画素周辺の領域が元々暗い場合、画像調整装置１が画素の変換輝度を上げる必要がある。また、画素周辺の領域が元々明るい場合、画像調整装置１が画素の変換輝度を下げる必要がある。このように、局所的な詳細の視認性を高くするためという視点と、画素周辺の領域が元々明るい場合という視点との二つの視点が考慮される。
これらの視点の組み合わせから、画素周辺の領域が元々暗い場合には露出値を大きくし、画素周辺の領域が元々明るい場合には露出値を小さくすることが、画像における局所的な詳細の視認性を高めるために必要であることが分かる。以下、露出値に関するこのような要件を「露出値要件」という。
露出値要件を満たす露出値の導出方法を検討するため、平滑化された濃淡画像に着目することが可能である。以下、平滑化された濃淡画像を「平滑濃淡画像」という。画素周辺の領域が元々暗い場合、平滑濃淡画像の画素値は小さい。画素周辺の領域が元々明るい場合、平滑濃淡画像の画素値が大きい。つまり、平滑濃淡画像の画素値に反比例する正の実数行列は、上述の露出値要件を必然的に満たす。以下では、平滑濃淡画像の画素値に反比例する正の実数行列を露出値行列として使用する方法が提案される。
平滑濃淡画像は、濃淡画像を平滑化することが可能な任意の方法を用いて導出可能である。ただし、より望ましい平滑濃淡画像が導出されるためには、エッジ保存平滑化と呼ばれる方法を使用する方が適切である。エッジ保存平滑化ではない方法が使用された場合、変換濃淡画像（輝度変換関数を用いて輝度が変換された濃淡画像）にハロー効果が発生する可能性がある。すなわち、明るさが急激に変化するエッジ付近（被写体の境界など）に、違和感のある欠陥が発生する可能性がある。
エッジ保存平滑化方法の例としては、メディアンフィルタと、バイラテラルフィルタと、ガイド付きフィルタと、異方性拡散フィルタと、参考文献３「Li Xu, Qiong Yan, Yang Xia, and Jiaya Jia, "Structure extraction from texture via relative total variation. ACM Trans. Graph," Vol.31, No.6, pp.139:1-139:10, 2012.」に示された方法とがある。
行列導出部１３は、一例として、参考文献３に示された方法を使用して平滑濃淡画像を導出する。参考文献３に示された方法では、画素の周囲の局所領域における輝度の一次導関数の絶対値の平均と、輝度の一次導関数の平均の絶対値との比率が、テクスチャ強度として画素ごとに測定される。平滑濃淡画像は、濃淡画像と平滑濃淡画像との差と、テクスチャ強度との合計ができるだけ小さくなるように最適化される。行列導出部１３は、最適化の結果としての画像を、平滑濃淡画像として導出する。
行列導出部１３は、平滑濃淡画像「Ｉ」の画素値に反比例する正の実数行列を、輝度変換関数の露出値行列として導出する。行列導出部１３は、「Ｅ＝１／Ｉ」のように露出値行列「Ｅ」を導出する。
なお、行列導出部１３は、平滑濃淡画像に反比例する任意の正の実数行列を使用できる。平滑濃淡画像「Ｉ」の画素値が［０，１］の範囲内で正規化されていると仮定可能な場合には、行列導出部１３は、「Ｅ＝１－Ｉ」のように露出値行列「Ｅ」を導出してもよい。
このようにして得られた露出値行列は、上述の露出値要件を満たす。結果として、露出値行列を変数とする輝度変換関数は、上述の非単調性要件及び空間変動性要件を満たす。したがって、露出値行列を変数とする輝度変換関数を輝度変換部１５が使用することにより、輝度変換部１５は画像の局所的な詳細を強調することができる。
パラメータ導出部１４は、濃淡画像を入力として、濃淡画像を入力部１０から取得する。パラメータ導出部１４は、強調濃淡画像を入力として、強調濃淡画像を画像強調部１１から取得する。パラメータ導出部１４は、輝度変換関数を入力として、輝度変換関数を関数導出部１２から取得する。パラメータ導出部１４は、露出値行列を入力として、露出値行列を行列導出部１３から取得する。
パラメータ導出部１４は、強調濃淡画像と変換濃淡画像との差（例えば、残差の二乗和）が所定条件を満たす（例えば、最小となる）ように、輝度変換関数のＣＲＦパラメータを導出する。パラメータ導出部１４は、輝度変換関数のＣＲＦパラメータを、輝度変換部１５に出力する。
従来では、ＣＲＦパラメータは、カメラ応答関数に基づいて専門家によって設定されるか、又は、カメラ応答関数のデータセットに基づいて、機械学習の手法によって導出される。いずれの場合でも、従来のＣＲＦパラメータは、固定値である。したがって、従来のＣＲＦパラメータは、入力画像として取得された濃淡画像の状況に応じて適応的に設定されていない。
輝度変換関数の変数としてＣＲＦパラメータが用いられる場合、ＣＲＦパラメータは、変換濃淡画像の大域的な明るさを制御するという役割を主に果たす。本実施形態では、最適な大域的な明るさを有する画像として強調濃淡画像が使用され、変換濃淡画像が強調濃淡画像に可能な限り近くなるようにＣＲＦパラメータが導出される。これによって、濃淡画像の状況に応じてパラメータ導出部１４がＣＲＦパラメータを適応的に導出することが可能である。
パラメータ導出部１４は、強調濃淡画像と変換濃淡画像との間の残差の二乗和を最小化するように、輝度変換関数のＣＲＦパラメータを導出する。ＣＲＦパラメータは、式（９）のように表される。ここで、「Θ」は、ＣＲＦパラメータの集合を表す。「Ｂ」は、強調濃淡画像を表す。「ｇ（Ａｉｎ；Θ）」は、変換輝度「ｇ（Ａｉｎ）」を表す。
Figure 0007425361000009
また、式（３）に示されたようなシグモイド関数がカメラ応答関数として使用される場合、ＣＲＦパラメータは、式（１０）のように表される。ここで、「Ｅ」は、露出値行列を表す。
Figure 0007425361000010
また、式（６）に示されたような「べき関数」がカメラ応答関数として使用される場合、ＣＲＦパラメータは、式（１１）のように表される。
Figure 0007425361000011
式（９）、式（１０）又は式（１１）に示されたＣＲＦパラメータを導出するという問題は、非線形計画問題又は非線形回帰問題と見なすことができる。したがって、パラメータ導出部１４は、非線形計画問題又は非線形回帰問題を解決できる任意の方法を用いて、式（９）、式（１０）又は式（１１）を解くことによって、ＣＲＦパラメータを導出することができる。非線形計画問題または非線形回帰問題を解決できる方法は、例えば、ネルダー・ミード法（参考文献４「Jeffrey C. Lagarias, James A. Reeds, Margaret H. Wright, and Paul E. Wright, "Convergence properties of the Nelder-Mead simplex method in low dimensions," SIAM Journal on Optimization, Vol.9, No.1, pp.112-147, 1998.」）と、レーベンバーグ・マルカート法と、信頼領域法と、確率的勾配降下法とである。
パラメータ導出部１４は、一例として「ネルダー・ミード法」を用いて、ＣＲＦパラメータと関数値との両方の終了許容誤差を「１０－４」に設定する。
式（３）に示されたようなシグモイド関数がカメラ応答関数として使用される場合、パラメータ導出部１４は、各ＣＲＦパラメータの初期値「α＝０」及び「β＝０」を設定する。
式（６）に示されたような「べき関数」がカメラ応答関数として使用される場合、パラメータ導出部１４は、ＣＲＦパラメータ「γ」の初期値を「０」と設定する。
パラメータ導出部１４によって導出された変換濃淡画像は、基盤画像強調方法を用いて導出された強調濃淡画像が持つ大域的な明るさと同じ大域的な明るさを持つ。
画像強調部１１が実行した基盤画像強調方法によって濃淡画像における大域的な明るさを適応的に強調可能である場合、濃淡画像の状況に応じてパラメータ導出部１４がＣＲＦパラメータを適応的に設定することができる。また、このような場合、基盤画像強調方法によって画像において減衰した局所的な詳細を、露出値行列を変数とする輝度変換関数を用いて、輝度変換部１５が回復又は強調することができる。
輝度変換部１５は、入力画像としての濃淡画像を、入力部１０から取得する。輝度変換部１５は、カメラ応答関数に基づいて濃淡画像内の座標に応じて関数値が変化する輝度変換関数を入力として、関数導出部１２から取得する。輝度変換部１５は、露出値行列を入力として、行列導出部１３から取得する。輝度変換部１５は、ＣＲＦパラメータを入力として、パラメータ導出部１４から取得する。
輝度変換部１５は、濃淡画像の各画素の輝度（画素値）に対して、露出値行列とＣＲＦパラメータとを変数とする輝度変換関数を適用することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された濃淡画像である変換濃淡画像を導出する。輝度変換部１５は、変換濃淡画像を出力部１６に出力する。輝度変換部１５は、変換濃淡画像「Ａｏｕｔ」を、式（１２）のように導出する。
Figure 0007425361000012
出力部１６は、表示装置であり、例えば液晶ディスプレイである。出力部１６は、変換濃淡画像「Ａｏｕｔ」を輝度変換部１５から取得する。出力部１６は、変換濃淡画像を表示する。出力部１６は、通信装置でもよい。出力部１６は、変換濃淡画像を外部装置（不図示）に送信してもよい。
次に、画像調整装置１の動作例を説明する。
図３は、画像調整装置１の輝度変換部１５の動作例を示すフローチャートである。輝度変換部１５は、輝度変換関数とＣＲＦパラメータと露出値行列と濃淡画像とを取得する（ステップＳ１０１）。輝度変換部１５は、ＣＲＦパラメータと露出値行列とを変数とする輝度変換関数を用いて、濃淡画像の各画素の輝度を変換する（ステップＳ１０２）。輝度変換部１５は、出力部１６等の所定の装置に変換濃淡画像を出力する（ステップＳ１０３）。
以上のように、画像強調部１１は、輝度のコントラストが強調された濃淡画像である強調濃淡画像を、濃淡画像から生成する。関数導出部１２は、カメラ応答関数に基づいて輝度変換関数を導出する。行列導出部１３は、平滑濃淡画像に基づいて、露出値行列を導出する。パラメータ導出部１４は、輝度変換関数と強調濃淡画像と濃淡画像と露出値行列とに基づいて、強調濃淡画像と変換濃淡画像との差が所定条件を満たすようにＣＲＦパラメータを導出する。輝度変換部１５は、輝度変換関数とＣＲＦパラメータと露出値行列と濃淡画像とを取得する。輝度変換部１５は、ＣＲＦパラメータと露出値行列とを変数とする輝度変換関数を用いて、濃淡画像の各画素の輝度を変換する。
このように、画像調整装置１は、非単調な輝度変換関数（空間的に変化する関数）を用いて、すなわち画像内の座標に応じて関数値が変化する関数を用いて、濃淡画像の各画素の輝度を変換する。例えば、画像調整装置１は、ＣＲＦパラメータと露出値行列とを変数とする輝度変換関数を用いて、濃淡画像の各画素の輝度を変換する。これによって、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することが可能である。また、従来の画像強調方法（基盤画像強調方法）を使用して入力画像が強調された際に入力画像において減衰した（弱められた）局所的な詳細を、回復又は強調することが可能である。
輝度変換部１５によって導出された変換濃淡画像は、基盤画像強調方法を用いて導出された強調濃淡画像が持つ大域的な明るさと同じ大域的な明るさを持つ。画像強調部１１が実行した基盤画像強調方法によって濃淡画像における大域的な明るさを適応的に強調可能である場合、濃淡画像の状況に応じてパラメータ導出部１４がＣＲＦパラメータを適応的に設定することができる。また、このような場合、基盤画像強調方法によって画像において減衰した局所的な詳細を、露出値行列を変数とする輝度変換関数を用いて、輝度変換部１５が回復又は強調することができる。
図４から図１１までは、実施形態における、変換濃淡画像と他の画像との比較の第１例から第８例までを示す図である。図４から図１１までにおいて、変換濃淡画像の生成に関して、式（３）に示されたシグモイド関数がカメラ応答関数として使用されている。
図４から図７までには、基盤画像強調方法（非特許文献１に示された方法）を用いて導出された強調濃淡画像と、輝度変換部１５によって導出された変換濃淡画像とが、比較可能に表されている。
図４には、濃淡画像１００と、基盤画像強調方法が濃淡画像１００に対して適用された結果である強調濃淡画像１１０と、露出値行列とＣＲＦパラメータとを変数とする輝度変換関数が濃淡画像１００に対して適用された結果である変換濃淡画像１２０とが、比較可能に表されている。
同様に、図５には、濃淡画像２００と強調濃淡画像２１０と変換濃淡画像２２０とが、比較可能に表されている。図６には、濃淡画像３００と強調濃淡画像３１０と変換濃淡画像３２０とが、比較可能に表されている。図７には、濃淡画像４００と強調濃淡画像４１０と変換濃淡画像４２０とが、比較可能に表されている。
強調濃淡画像１１０と強調濃淡画像２１０と強調濃淡画像３１０と強調濃淡画像４１０とに表されているように、基盤画像強調方法によって濃淡画像から生成された強調濃淡画像では、画像における一部の局所的な詳細が必然的に減衰している。暗い画像領域のコントラストを強調するように基盤画像強調方法が設計されているので、画像において明るい領域の局所的な詳細が減衰する傾向がある。
変換濃淡画像１２０と変換濃淡画像２２０と変換濃淡画像３２０と変換濃淡画像４２０とに表されているように、輝度変換部１５によって導出された変換濃淡画像では、強調濃淡画像における大域的な明るさを維持しながら、基盤画像強調方法によって減衰した画像の局所的な詳細を回復又は強調することが可能である。
図８から図１１までには、濃淡画像と、非特許文献２に示された方法を用いて導出された「ＬＩＭＥ（Low-light IMage Enhancement）画像」と、非特許文献３に示された方法を用いて導出された「ＳＲＩＥ（Simultaneous Reflectance and Illumination Estimation）画像」と、輝度変換部１５によって導出された変換濃淡画像とが、比較可能に表されている。
図８には、濃淡画像５００と、非特許文献２に示された方法が濃淡画像５００に対して適用された結果であるＬＩＭＥ画像５１０と、非特許文献３に示された方法が濃淡画像５００に対して適用された結果であるＳＲＩＥ画像５２０と、露出値行列とＣＲＦパラメータとを変数とする輝度変換関数が濃淡画像５００に対して適用された結果である変換濃淡画像５３０とが、比較可能に表されている。
同様に、図９には、濃淡画像６００とＬＩＭＥ画像６１０とＳＲＩＥ画像６２０と変換濃淡画像６３０とが、比較可能に表されている。図１０には、濃淡画像７００とＬＩＭＥ画像７１０とＳＲＩＥ画像７２０と変換濃淡画像７３０とが、比較可能に表されている。図１１には、濃淡画像８００とＬＩＭＥ画像８１０とＳＲＩＥ画像８２０と変換濃淡画像８３０とが、比較可能に表されている。
非特許文献２に示された方法では、反射率成分画像が所望の強調結果と見なされる。推定された照明成分画像が濃淡画像から除去されることによって、強調結果が導出される。しかしながら、ＬＩＭＥ画像５１０とＬＩＭＥ画像６１０とＬＩＭＥ画像８１０とに示されているように、ＬＩＭＥ画像における大域的なコントラストが完全に無くなる場合がある。このため、明るさが過度になるという問題が発生することもある。
非特許文献３に示された方法では、推定された照明成分画像がガンマ補正で強調される。強調された照明成分画像と反射率成分画像とが再結合される。この再結合された画像は、強調結果として導出される。しかしながら、ＳＲＩＥ画像５２０とＳＲＩＥ画像６２０とＳＲＩＥ画像７２０とＳＲＩＥ画像８２０とに示されているように、ガンマ補正を用いて画像における明るさを適応的に高めることができない場合がある。このため、ＳＲＩＥ画像の明るさが過度になってしまう場合があるという問題が発生することもある。また、ＳＲＩＥ画像の明るさが不足してしまう場合があるという問題が発生することもある。
露出値行列とＣＲＦパラメータとを変数とする輝度変換関数が濃淡画像に対して適用されるという方法（単調ではなく、画像における空間的にも変化し、各画素の座標に応じて異なる値を取る輝度変換関数が用いられるという方法）では、変換濃淡画像５３０と変換濃淡画像６３０と変換濃淡画像７３０と変換濃淡画像８３０とに示されているように、バランスのとれた自然なコントラスト強調が、一貫して可能となっている。このような方法では、画像の局所的な詳細が弱められることなく、画像における大域的な明るさが濃淡画像の状況に応じて適応的に強調される。また、画像の明るさが過度になってしまう場合があるという問題が発生することと、画像の明るさが不足してしまう場合があるという問題が発生することとを、効率的に回避することが可能である。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、「輝度」は「明度」と読み替えられてもよい。
本発明は、画像処理装置に適用可能である。
１…画像調整装置、２…プロセッサ、３…メモリ、４…記憶装置、５…表示部、１０…入力部、１１…画像強調部、１２…関数導出部、１３…行列導出部、１４…パラメータ導出部、１５…輝度変換部、１６…出力部、１００…濃淡画像、１１０…強調濃淡画像、１２０…変換濃淡画像、２００…濃淡画像、２１０…強調濃淡画像、２２０…変換濃淡画像、３００…濃淡画像、３１０…強調濃淡画像、３２０…変換濃淡画像、４００…濃淡画像、４１０…強調濃淡画像、４２０…変換濃淡画像、５００…濃淡画像、５１０…ＬＩＭＥ画像、５２０…ＳＲＩＥ画像、５３０…変換濃淡画像、６００…濃淡画像、６１０…ＬＩＭＥ画像、６２０…ＳＲＩＥ画像、６３０…変換濃淡画像、７００…濃淡画像、７１０…ＬＩＭＥ画像、７２０…ＳＲＩＥ画像、７３０…変換濃淡画像、８００…濃淡画像、８１０…ＬＩＭＥ画像、８２０…ＳＲＩＥ画像、８３０…変換濃淡画像

Claims (4)

  1. 輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力部と、
    カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換部と、
    輝度が調整された前記濃淡画像である強調濃淡画像を前記濃淡画像から生成する画像強調部と、
    前記カメラ応答関数に基づいて前記輝度変換関数を導出する関数導出部と、
    平滑化された前記濃淡画像である平滑濃淡画像に基づいて、前記平滑濃淡画像の画素値に反比例する正の実数行列である露出値行列を導出する行列導出部と、
    前記輝度変換関数と前記強調濃淡画像と前記濃淡画像と前記露出値行列とに基づいて、前記強調濃淡画像と前記変換濃淡画像との差が所定条件を満たすようにパラメータを導出するパラメータ導出部と
    を備え、
    前記輝度変換部は、前記露出値行列と前記パラメータとを変数とする前記輝度変換関数を用いて、前記濃淡画像の各画素の輝度を変換する、
    画像調整装置。
  2. 前記所定条件は、前記強調濃淡画像と前記変換濃淡画像との残差の二乗和が最小となるという条件である、
    請求項１に記載の画像調整装置。
  3. 画像調整装置が実行する画像調整方法であって、
    輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力ステップと、
    カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換ステップと、
    輝度が調整された前記濃淡画像である強調濃淡画像を前記濃淡画像から生成する画像強調ステップと、
    前記カメラ応答関数に基づいて前記輝度変換関数を導出する関数導出ステップと、
    平滑化された前記濃淡画像である平滑濃淡画像に基づいて、前記平滑濃淡画像の画素値に反比例する正の実数行列である露出値行列を導出する行列導出ステップと、
    前記輝度変換関数と前記強調濃淡画像と前記濃淡画像と前記露出値行列とに基づいて、前記強調濃淡画像と前記変換濃淡画像との差が所定条件を満たすようにパラメータを導出するパラメータ導出ステップと
    を含み、
    前記輝度変換ステップは、前記露出値行列と前記パラメータとを変数とする前記輝度変換関数を用いて、前記濃淡画像の各画素の輝度を変換することを含む、
    画像調整方法。
  4. 請求項１又は請求項２に記載の画像調整装置としてコンピュータを機能させるためのプログラム。
JP2022518432A 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム Active JP7425361B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017942 WO2021220333A1 (ja) 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021220333A1 JPWO2021220333A1 (ja) 2021-11-04
JP7425361B2 true JP7425361B2 (ja) 2024-01-31

Family

ID=78332349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518432A Active JP7425361B2 (ja) 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム

Country Status (3)

Country Link
US (1) US20230162335A1 (ja)
JP (1) JP7425361B2 (ja)
WO (1) WO2021220333A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360436B (zh) * 2020-09-28 2023-03-10 京东方科技集团股份有限公司 补偿显示画面的方法、装置、设备及显示屏驱动板

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158388A (ja) 2005-11-30 2007-06-21 Tama Tlo Kk 画質改善方法、装置及びプログラム
JP2008301331A (ja) 2007-06-01 2008-12-11 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2019016117A (ja) 2017-07-05 2019-01-31 日本電信電話株式会社 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158388A (ja) 2005-11-30 2007-06-21 Tama Tlo Kk 画質改善方法、装置及びプログラム
JP2008301331A (ja) 2007-06-01 2008-12-11 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2019016117A (ja) 2017-07-05 2019-01-31 日本電信電話株式会社 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム

Also Published As

Publication number Publication date
US20230162335A1 (en) 2023-05-25
WO2021220333A1 (ja) 2021-11-04
JPWO2021220333A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
Zhang et al. High-quality exposure correction of underexposed photos
JP7152540B2 (ja) フィルタリング方法、及びシステム
US9344636B2 (en) Scene motion correction in fused image systems
Niu et al. Image enhancement by entropy maximization and quantization resolution upconversion
US20130202204A1 (en) Image processing apparatus and method of controlling the same
JP6548907B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6418242B2 (ja) 画像コントラストの強調装置、電子機器及び方法
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
WO2024045821A1 (zh) 图像处理方法、装置、计算机设备和存储介质
Yu et al. Perceptually optimized enhancement of contrast and color in images
JP2019016117A (ja) 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム
JP6357881B2 (ja) 画像処理装置及びプログラム
US7379561B2 (en) Method and system for differentially and regularly modifying a digital image by pixel
JP7425361B2 (ja) 画像調整装置、画像調整方法及びプログラム
US9595082B2 (en) Image processor and non-transitory computer readable medium for generating a reproduction image which is reproduced so that visibility of an original image is enhanced
Zhao et al. Multi-scene image enhancement based on multi-channel illumination estimation
JP7307371B2 (ja) 画像調整装置、画像調整方法及びプログラム
Jen et al. Bayesian structure-preserving image contrast enhancement and its simplification
JP6415063B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP5234127B2 (ja) 階調変換装置、プログラム、電子カメラ、及びその方法
JP6548403B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109410143B (zh) 图像增强方法、装置、电子设备及计算机可读介质
WO2016051716A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
Wu et al. Reflectance-oriented probabilistic equalization for image enhancement
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7425361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150