WO2017104291A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- WO2017104291A1 WO2017104291A1 PCT/JP2016/082938 JP2016082938W WO2017104291A1 WO 2017104291 A1 WO2017104291 A1 WO 2017104291A1 JP 2016082938 W JP2016082938 W JP 2016082938W WO 2017104291 A1 WO2017104291 A1 WO 2017104291A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- component
- unit
- gain
- detail component
- flat region
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 71
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000009499 grossing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 230000003321 amplification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000001000 micrograph Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
入力画像(DIN)を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部(101)と、フィルター部(101)で算出される特徴レベル信号を用いて、入力画像(DIN)の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部(103)と、平坦領域マップに基づいて、ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部(104)と、ベース成分と、ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部(105)と、を備える。
Description
本発明は、画像処理装置及び画像処理方法に関し、特に、入力画像からディテール成分を分離して、処理を行う画像処理装置及び画像処理方法に関する。
監視カメラ及び車載カメラの可視映像及び赤外映像、医用画像、並びに、顕微鏡画像で、注目物体を弁別する際には、物体のコントラストが重要となる。例えば、近年注目される自動運転システムでは、飛び出してきた人物及び道路上の落下物の迅速な検出が重要である。
しかしながら、照度不足、影、逆光、霞、雪及びスモッグ等、コントラストの不足が生じるシーンでは、注目物体を画像中からは判別できない場合、及び、機械認識を用いた物体検出処理時に検出率低下が生じる場合がある。
これらの状況では、画像強調技術(単数枚ダイナミックレンジ圧縮技術ともいう)により視認性を改善する手法が有効である。従来の画像強調技術の1つに、エッジ保存平滑化フィルターにより入力画像をベース成分とディテール成分に分離し、ディテール成分にゲイン演算を行う手法がある。エッジ保存平滑化フィルターは、非特許文献1に記載のガイデッドフィルターが有効である。ガイデッドフィルターは、従来のバイラテラルフィルター等と比較して高速かつ、勾配反転誤差を生じない。
しかしながら、ディテール成分を均一にゲイン伸長するこれまでの手法では、ディテール成分に含まれるノイズ又は圧縮歪も同時に増幅してしまう課題を有する。また、階調が乏しい領域で擬似輪郭が生じる課題を有する。
特許文献1では、分離されたディテール成分に対して第2のエッジ保存平滑化フィルター処理を行うことにより、エッジ及びテクスチャを保存しつつ、ノイズを低減する手法が提案されている。
"Guided Image Filtering"、Kaiming He、Jian Sun、Xiaoou Tang、ECCV2010
分離されたディテール成分を均一にゲイン伸長する手法では、ノイズ又は圧縮歪の増幅、及び、擬似輪郭等のアーティファクトを生じさせる。また、特許文献1の手法ではエッジ保存平滑化フィルター処理を追加実装することになり、演算量が増加する上に、ディテールの鮮鋭度は低下する。
そこで、本発明は、上記のような問題点を解決するためになされたものである。本発明の目的は、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、僅かな演算量増加で、平坦領域のノイズ増幅及び階調の乏しい領域での擬似輪郭発生を低減できるようにすることである。
本発明の第1の一態様に係る画像処理装置は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、前記フィルター部で算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えることを特徴とする。
本発明の第2の態様に係る画像処理装置は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出する輝度適応ゲイン算出部と、前記フィルター部で算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えることを特徴とする。
本発明の第3の態様に係る画像処理装置は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、前記入力画像を表示する表示部と、前記表示部に表示された入力画像の中から、平坦な領域の選択を受ける入力部と、前記選択された領域におけるノイズレベルを算出する平坦領域ノイズレベル抽出部と、前記フィルター部で算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えることを特徴とする。
本発明の第1の態様に係る画像処理方法は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成することを特徴とする。
本発明の第2の態様に係る画像処理方法は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出し、前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成することを特徴とする。
本発明の第3の態様に係る画像処理方法は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、前記入力画像を表示し、前記表示された入力画像の中から、平坦な領域の選択を受け、前記選択された領域におけるノイズレベルを算出し、前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成することを特徴とする。
本発明の一態様によれば、ディテール成分の平坦領域を判定してゲイン調整を行うため、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、僅かな演算量増加で、平坦領域のノイズ増幅及び階調の乏しい領域での擬似輪郭発生を低減することができる。
実施の形態1.
図1は、実施の形態1に係る画像強調装置としての画像処理装置100の構成を概略的に示すブロック図である。
実施の形態1に係る画像処理装置100は、フィルター部101と、輝度変換部102と、平坦領域判定部103と、ゲイン調整部104と、成分合成部105とを有する。
画像処理装置100は、従来のガイデッドフィルターを用いた画像強調処理の課題となる、ノイズや圧縮歪の増幅、擬似輪郭の発生を低減するため、平坦領域判定処理の追加によって、僅かな演算量増加ながら効果的にアーティファクト発生の低減を実現できる。
図1は、実施の形態1に係る画像強調装置としての画像処理装置100の構成を概略的に示すブロック図である。
実施の形態1に係る画像処理装置100は、フィルター部101と、輝度変換部102と、平坦領域判定部103と、ゲイン調整部104と、成分合成部105とを有する。
画像処理装置100は、従来のガイデッドフィルターを用いた画像強調処理の課題となる、ノイズや圧縮歪の増幅、擬似輪郭の発生を低減するため、平坦領域判定処理の追加によって、僅かな演算量増加ながら効果的にアーティファクト発生の低減を実現できる。
フィルター部101は、入力画像DINに対して線形回帰係数を算出して、この入力画像DINを、算出された線形回帰係数に基づくエッジ保存平滑化フィルターを用いて、ベース成分D1Bとディテール成分D1Dとに分離する。エッジ保存平滑化フィルターとして、例えば、ガイデッドフィルター又はファストガイデッドフィルターが用いられる。
例えば、フィルター部101は、入力画像DINの局所領域毎の分散値を計算し、その分散値に基づいて分散値が極端に少ない局所領域を平滑化する。平滑化が行われた入力画像によりベース成分D1Bが生成され、入力画像DINとベース成分の差分値によりディテール成分D1Dが生成される。ベース成分D1Bは、輝度変換部102に与えられ、ディテール成分D1Dは、ゲイン調整部104に与えられる。
例えば、フィルター部101は、入力画像DINの局所領域毎の分散値を計算し、その分散値に基づいて分散値が極端に少ない局所領域を平滑化する。平滑化が行われた入力画像によりベース成分D1Bが生成され、入力画像DINとベース成分の差分値によりディテール成分D1Dが生成される。ベース成分D1Bは、輝度変換部102に与えられ、ディテール成分D1Dは、ゲイン調整部104に与えられる。
ガイデッドフィルターの出力であるベース成分D1Bをq、入力画像をIとした場合、qとIは式(1)のような線形関係で表される。
ここで、入力画像Iのある画素xを中心とした局所領域をΩとした場合、式(2)及び式(3)が成立する。
ここで、yは、Ω(x)を範囲とする局所領域の画素位置を示す。
次に、分散値が極端に小さい領域のみ平滑化処理を行い、その他の領域のテクスチャを保存するため、分散varDINを、式(5)に基づき階調変換を行い、係数aを得る。epsはエッジ保存の度合いを決定する定数パラメータである。
また係数bは、式(6)に基づき導出する。
フィルター部101は、式(5)、式(6)で得られた線形回帰係数a及びbを基に、ガイデッドフィルター出力値qを導出する。qはベース成分D1Bに対応する。
ディテール成分D1Dは、入力画像DINとベース成分D1Bの差分から求められる。なお、入力画像DIN(入力信号)と、ベース成分D1B(フィルター出力信号)と、ディテール成分D1D(ディテール信号)との関係は、図2に示されている。
ディテール成分D1Dは、入力画像DINとベース成分D1Bの差分から求められる。なお、入力画像DIN(入力信号)と、ベース成分D1B(フィルター出力信号)と、ディテール成分D1D(ディテール信号)との関係は、図2に示されている。
輝度変換部102は、ベース成分D1Bに対して視認性を向上させる輝度変換処理を行うことで、変換ベース成分D2を生成する。
例えば、輝度変換部102は、ベース成分D1Bの輝度を変換し、視認性を向上させる処理を行う。具体的には、輝度変換部102は、暗部領域には低輝度階調を伸長するような処理を行い、明部白飛び領域には高輝度階調を伸長するような処理を行う。この処理としては、例えば、トーンマッピングによるダイナミックレンジ圧縮処理又はヒストグラム均等化処理等が挙げられる。
例えば、輝度変換部102は、ベース成分D1Bの輝度を変換し、視認性を向上させる処理を行う。具体的には、輝度変換部102は、暗部領域には低輝度階調を伸長するような処理を行い、明部白飛び領域には高輝度階調を伸長するような処理を行う。この処理としては、例えば、トーンマッピングによるダイナミックレンジ圧縮処理又はヒストグラム均等化処理等が挙げられる。
平坦領域判定部103は、フィルター部101で算出される線形回帰係数D1Fを特徴レベル信号として用いて、入力画像DINの平坦領域を判定し、入力画像DINの平坦領域を識別するための平坦領域マップD4を生成する。
平坦領域判定部103に与えられる線形回帰係数D1Fは、式(2)で算出される線形回帰係数を使用するが、局所領域平均化前のaを用いても構わない。これらの線形回帰係数は、分散値を式(5)に基づくトーンマッピングにより分散値の大きい領域をダイナミックレンジ圧縮した値と捉えることができ、平坦領域の判定に利用しやすい。
平坦領域判定部103に与えられる線形回帰係数D1Fは、式(2)で算出される線形回帰係数を使用するが、局所領域平均化前のaを用いても構わない。これらの線形回帰係数は、分散値を式(5)に基づくトーンマッピングにより分散値の大きい領域をダイナミックレンジ圧縮した値と捉えることができ、平坦領域の判定に利用しやすい。
ここで、平坦領域判定部103は、フィルター部101から受け取った線形回帰係数D1Fを基に、ディテール成分D1Dのゲインを調整する際に平坦領域のゲインを増幅しないよう、入力画像DINの平坦領域を判定する。
平坦領域判定部103では、ディテール成分D1Dのゲイン調整時の重み成分となる平坦領域マップD4を出力する。平坦領域マップD4には、線形回帰係数D1Fをそのまま代入しても構わないが、ここでは平坦領域と非平坦領域をより精度よく分離するため、トーンマッピング処理を更に行う。トーンマッピング処理は、例えば、式(8)のような処理である。ここで、flatは平坦領域マップを表す。またεは平坦領域と非平坦領域の分離強度を決定する定数パラメータである。
ゲイン調整部104は、平坦領域マップD4を基にディテール成分D1Dのゲインを調整することで、ゲイン調整ディテール成分D3を生成する。
ゲインの調整は、例えば、式(9)のような積算で実現する。ここで、D(x)はディテール成分、adjustD(x)はゲイン調整ディテール成分、Gainはゲイン調整強度を決定する定数パラメータである。
ゲインの調整は、例えば、式(9)のような積算で実現する。ここで、D(x)はディテール成分、adjustD(x)はゲイン調整ディテール成分、Gainはゲイン調整強度を決定する定数パラメータである。
従来のエッジ保存平滑化フィルターを用いた画像強調処理では、ディテール成分を均一にゲイン伸長する方式、又は、変換テーブルに基づきディテールの小さい画素値はゲインを大きくする若しくは小さくする方式等の処理が多い。これらの手法では、ノイズ増幅、擬似輪郭の強調又は注目物体のディテール成分の低減が避けられなかった。
実施の形態1では、局所領域毎の分散値から平坦領域を判別しているため、従来の画一的なゲイン調整又は画素毎の変換テーブルを用いたゲイン調整と比較して、精度よく注目物体のみのディテールを強調し、ノイズ増幅の目立つ平坦領域のディテールは強調しない処理を行うことができる。更に、実施の形態1では、Gain又はε等のパラメータを調整することで、ノイズを入力画像よりも低減させつつ注目物体の視認性を向上させるような処理を行うこともできる。
成分合成部105は、変換ベース成分D2とゲイン調整ディテール成分D3を合成し、強調画像DOUTとして出力する。ここでは、成分合成部105は、変換ベース成分D2とゲイン調整ディテール成分D3を加算合成する。
以上に記載された画像処理装置100の一部又は全部は、例えば、図3(A)に示されているように、メモリ121と、メモリ121に格納されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサ122とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
また、画像処理装置100の一部又は全部は、例えば、図3(B)に示されているように、単一回路、復号回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuits)又はFPGA(Field Programmable Gate Array)等の処理回路123で構成することもできる。
次に、実施の形態1に係る画像処理方法について説明する。
図4は、実施の形態1に係る画像処理装置100により行われる画像処理方法を示すフローチャートである。
まず、フィルター部101は、入力画像DINの画像データに対して、エッジ保存平滑化フィルター(ここでは、ガイデッドフィルター)を用いてフィルター処理を行い、入力画像DINを、ベース成分D1Bとディテール成分D1Dに分離する(S10)。
図4は、実施の形態1に係る画像処理装置100により行われる画像処理方法を示すフローチャートである。
まず、フィルター部101は、入力画像DINの画像データに対して、エッジ保存平滑化フィルター(ここでは、ガイデッドフィルター)を用いてフィルター処理を行い、入力画像DINを、ベース成分D1Bとディテール成分D1Dに分離する(S10)。
次に、輝度変換部102は、ベース成分D1Bの輝度を調整する(S11)。
次に、平坦領域判定部103は、線形回帰係数D1Fを基に、平坦領域マップD4を算出する(S12)。
次に、ゲイン調整部104は、平坦領域マップD4を基にディテール成分D1Dのゲインを調整する(S13)。
最後に、成分合成部105は、変換ベース成分D2とゲイン調整ディテール成分D3とを合成し、強調画像DOUTを生成する(S14)。
以上で説明したように、可視画像、赤外画像、医用画像及び顕微鏡画像等の画像に対して、画像中のコントラストが不十分な領域の視認性を僅かな演算量増加で改善し、物体の判別を容易にすることが可能となる。
以上が、実施の形態1に係る画像処理装置100の動作の説明である。
次に実施の形態1の画像処理装置100により得られる効果を説明する。
実施の形態1の画像処理装置100では、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、平坦領域のノイズ、圧縮歪増幅及び階調の乏しい領域でのアーティファクト発生を大幅に低減することが可能となる。
次に実施の形態1の画像処理装置100により得られる効果を説明する。
実施の形態1の画像処理装置100では、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、平坦領域のノイズ、圧縮歪増幅及び階調の乏しい領域でのアーティファクト発生を大幅に低減することが可能となる。
実施の形態1の最も強調すべき点として、従来のガイデッドフィルター処理で生成された線形回帰係数を再利用し、平坦領域判定に用いることにより、僅かな演算量の増加でアーティファクト発生を低減することが可能な点である。ノイズ低減フィルター(例えば、バイラテラルフィルター)によるノイズ低減処理を追加で実装する構成と比較しても圧倒的に処理負荷の増加が少ない。
この効果により、リアルタイム処理に適する高速な処理で、可視画像や、赤外画像、医用画像、顕微鏡画像において視認性の低い画像内から、注目すべき物体及び対象を容易に判別することが実現可能となる。
ここで、線形回帰係数D1Fの代わりに、エッジ保存平滑化フィルターから算出される局所的な分散値(例えば、分散varDIN)、又は、ディテール成分(例えば、ディテール成分を平滑化処理した信号)等を画像の特徴レベル信号として平坦領域判定に用いてもよい。
実施の形態2
図5は、実施の形態2に係る画像処理装置200の構成を概略的に示すブロック図である。
実施の形態2に係る画像処理装置200は、フィルター部101と、輝度変換部102と、平坦領域判定部103と、ゲイン調整部204と、成分合成部105と、輝度適応ゲイン算出部206とを有する。
実施の形態2に係る画像処理装置200は、輝度適応ゲイン算出部206が追加された点と、ゲイン調整部204での処理の点とを除いて、実施の形態1に係る画像処理装置100と同様である。
図5は、実施の形態2に係る画像処理装置200の構成を概略的に示すブロック図である。
実施の形態2に係る画像処理装置200は、フィルター部101と、輝度変換部102と、平坦領域判定部103と、ゲイン調整部204と、成分合成部105と、輝度適応ゲイン算出部206とを有する。
実施の形態2に係る画像処理装置200は、輝度適応ゲイン算出部206が追加された点と、ゲイン調整部204での処理の点とを除いて、実施の形態1に係る画像処理装置100と同様である。
実施の形態1の構成の場合、平坦領域にノイズレベルに近い輝度振幅の物体が含まれている場合には、このような物体に対しては強調処理が行われない。実施の形態2は、このような物体に対して、ノイズ増幅を回避しつつ物体領域のみコントラストを強調するために、ベース成分の情報を有効に活用する。
輝度適応ゲイン算出部206は、ベース成分D1Bの輝度値に基づいて、ディテール成分D1Dのゲインを調整するための輝度適応ゲインを算出する。例えば、輝度適応ゲイン算出部206は、注目すべき物体の有するターゲット輝度レベルを予め設定し、ターゲット輝度レベル近傍の輝度値を保有する領域のゲインを大きく、ターゲット輝度レベルから離れた輝度値を保有する領域のゲインを小さく設定した輝度適応ゲインD6を出力する。言い換えると、輝度適応ゲイン算出部206は、予め定められた領域が保有する輝度値が予め定められたターゲット輝度値に近くなるほど、この領域の輝度適応ゲインが大きくなるように輝度適応ゲインを算出する。
輝度適応ゲイン算出部206での処理の一例を示す。ターゲット輝度レベルをLum、輝度適応ゲインをLumGainと表した場合、輝度適応ゲイン算出部206は、図6に示されているような変換テーブルに従い、ベース成分D1Bの値から輝度適応ゲインD6を求める。
ゲイン調整部204は、式(10)に示されているように、平坦領域マップflat、ゲイン調整強度Gainに加えて輝度適応ゲインLumAdaptGainに基づき、ディテール成分D1Dからゲイン調整ディテール成分D3を生成する。
以上が、実施の形態2に係る画像処理装置200の動作の説明である。
次に実施の形態2の画像処理装置200により得られる効果を説明する。
実施の形態2の画像処理装置200では、ベース成分D1Bの輝度値情報をガイドとして、注目したい物体のターゲット輝度レベルを設定することにより、ノイズとシグナルとの分離をより高精度に行うことが可能となる。
次に実施の形態2の画像処理装置200により得られる効果を説明する。
実施の形態2の画像処理装置200では、ベース成分D1Bの輝度値情報をガイドとして、注目したい物体のターゲット輝度レベルを設定することにより、ノイズとシグナルとの分離をより高精度に行うことが可能となる。
実施の形態3
図7は、実施の形態3に係る画像処理装置300の構成を概略的に示すブロック図である。
実施の形態3に係る画像処理装置300は、フィルター部101と、輝度変換部102と、平坦領域判定部303と、ゲイン調整部104と、成分合成部105と、平坦領域ノイズレベル抽出部307と、表示部308と、入力部309とを有する。
実施の形態3に係る画像処理装置300は、平坦領域ノイズレベル抽出部307、表示部308及び入力部309が追加された点と、平坦領域判定部303での処理の点とを除いて、実施の形態1に係る画像処理装置100と同様である。
図7は、実施の形態3に係る画像処理装置300の構成を概略的に示すブロック図である。
実施の形態3に係る画像処理装置300は、フィルター部101と、輝度変換部102と、平坦領域判定部303と、ゲイン調整部104と、成分合成部105と、平坦領域ノイズレベル抽出部307と、表示部308と、入力部309とを有する。
実施の形態3に係る画像処理装置300は、平坦領域ノイズレベル抽出部307、表示部308及び入力部309が追加された点と、平坦領域判定部303での処理の点とを除いて、実施の形態1に係る画像処理装置100と同様である。
平坦領域ノイズレベル抽出部307は、表示部308及び入力部309を介して、ユーザから、入力画像DINにおける平坦な領域の選択を受ける。そして、平坦領域ノイズレベル抽出部307は、選択された領域からノイズレベルD7を見積る。そして、このノイズレベルD7は平坦領域判定部303においてパラメータとして使用される。
表示部308は、画像を表示する表示装置である。特に、表示部308は、入力画像DINを表示する。
入力部309は、操作の入力を受け付ける入力装置である。特に、入力部309は、表示部308に表示された入力画像DINの中から、平坦な領域の選択を受ける。
表示部308は、画像を表示する表示装置である。特に、表示部308は、入力画像DINを表示する。
入力部309は、操作の入力を受け付ける入力装置である。特に、入力部309は、表示部308に表示された入力画像DINの中から、平坦な領域の選択を受ける。
ユーザが平坦領域を選択する例を、図8に示す。図8に示されているように、入力画像DINが表示部308に表示される。ユーザは、この入力画像DINの中から、入力部309を用いて、平坦と思われる任意の矩形領域SRを選択する。
次に、平坦領域ノイズレベル抽出部307は、ユーザが選択した平坦領域SRからノイズレベルを算出する。ノイズレベルの算出方法の一例として、ユーザが選択した平坦領域SRの局所領域毎の分散値を求める手法が挙げられる。
次に、平坦領域判定部303は、線形回帰係数D1FとノイズレベルNLとを用いて、入力画像DINの平坦領域を識別するための平坦領域マップD4を生成する。例えば、平坦領域判定部303は、上述した式(8)を用いて、入力画像DINを平坦領域と非平坦領域に分離する。その際、平坦領域判定部303は、分離強度を決定するパラメータεを、ノイズレベルD7に基づき設定することで、より精度よく領域分離が可能となる。
以上が、実施の形態3に係る画像処理装置300の動作の説明である。
次に、実施の形態3の画像処理装置300により得られる効果を説明する。
実施の形態3の画像処理装置300では、ユーザに平坦領域の範囲の指定を受けて、平坦領域から画像のノイズレベルを抽出することで、より精度の高い平坦領域及び非平坦領域の分離が可能となる。結果、画像強調時に発生し得たノイズ、圧縮歪の強調及び擬似輪郭をより抑制することが可能となる。
次に、実施の形態3の画像処理装置300により得られる効果を説明する。
実施の形態3の画像処理装置300では、ユーザに平坦領域の範囲の指定を受けて、平坦領域から画像のノイズレベルを抽出することで、より精度の高い平坦領域及び非平坦領域の分離が可能となる。結果、画像強調時に発生し得たノイズ、圧縮歪の強調及び擬似輪郭をより抑制することが可能となる。
実施の形態3は、ユーザ操作を含むため、顕微鏡画像又はX線画像等、1枚の画像に対してより精度良く強調処理を行いたい場合に適している。
また、以上のように実施の形態1~3について説明したが、本発明はこれらの実施の形態1~3に限るものではない。
以上に記載した実施の形態1~3では、成分合成部105は、輝度変換部102で輝度変換処理が行われたベース成分(変換ベース成分D2)に、ゲイン調整ディテール成分D3を合成しているが、画像処理装置100の構成はこのような例に限定されない。例えば、画像処理装置100は、輝度変換部102を備えなくてもよい。このような場合には、成分合成部105は、フィルター部101で分離されたベース成分D1Bに、ゲイン調整ディテール成分D3を合成する。
100,200,300 画像処理装置、 101 フィルター部、 102 輝度変換部、 103,303 平坦領域判定部、 104,204 ゲイン調整部、 105 成分合成部、 206 輝度適応ゲイン算出部、 307 平坦領域ノイズレベル抽出部、 308 表示部、 309 入力部。
Claims (11)
- 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、
前記フィルター部で算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、
前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、
前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えること
を特徴とする画像処理装置。 - 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、
前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出する輝度適応ゲイン算出部と、
前記フィルター部で算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、
前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、
前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えること
を特徴とする画像処理装置。 - 前記輝度適応ゲイン算出部は、予め定められた領域が保有する輝度値が予め定められたターゲット輝度値に近くなるほど、当該予め定められた領域の輝度適応ゲインが大きくなるようにすること
を特徴とする請求項2に記載の画像処理装置。 - 前記平坦領域判定部は、前記フィルター部で算出される特徴レベル信号に対してトーンマッピング処理を行うことで、前記平坦領域マップを生成すること
を特徴とする請求項1から3の何れか一項に記載の画像処理装置。 - 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、
前記入力画像を表示する表示部と、
前記表示部に表示された入力画像の中から、平坦な領域の選択を受ける入力部と、
前記選択された領域におけるノイズレベルを算出する平坦領域ノイズレベル抽出部と、
前記フィルター部で算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、
前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、
前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えること
を特徴とする画像処理装置。 - 前記エッジ保存平滑化フィルターは、ガイデッドフィルター又はファストガイデッドフィルターであること
を特徴とする請求項1から5の何れか一項に記載の画像処理装置。 - 前記ベース成分に対して輝度変換処理を行う輝度変換部をさらに備え、
前記成分合成部は、前記輝度変換処理が行われたベース成分と、前記ゲイン調整ディテール成分とを合成すること
を特徴とする請求項1から6の何れか一項に記載の画像処理装置。 - 前記輝度変換処理は、トーンマッピングによるダイナミックレンジ圧縮処理であること
を特徴とする請求項7に記載の画像処理装置。 - 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、
前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、
前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、
前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成すること
を特徴とする画像処理方法。 - 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、
前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出し、
前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号を用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、
前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、
前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成すること
を特徴とする画像処理方法。 - 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、
前記入力画像を表示し、
前記表示された入力画像の中から、平坦な領域の選択を受け、
前記選択された領域におけるノイズレベルを算出し、
前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、
前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、
前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成すること
を特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017501729A JP6161847B1 (ja) | 2015-12-18 | 2016-11-07 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246902 | 2015-12-18 | ||
JP2015-246902 | 2015-12-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017104291A1 true WO2017104291A1 (ja) | 2017-06-22 |
Family
ID=59056027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/082938 WO2017104291A1 (ja) | 2015-12-18 | 2016-11-07 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6161847B1 (ja) |
WO (1) | WO2017104291A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019181096A1 (ja) * | 2018-03-19 | 2019-09-26 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2020075227A1 (ja) * | 2018-10-10 | 2020-04-16 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
WO2020230319A1 (ja) * | 2019-05-16 | 2020-11-19 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004222233A (ja) * | 2002-12-27 | 2004-08-05 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2014138329A (ja) * | 2013-01-17 | 2014-07-28 | Sharp Corp | 画像処理装置、画像表示装置、プログラム、および、記憶媒体 |
US20140285719A1 (en) * | 2013-03-22 | 2014-09-25 | Marvell World Trade Ltd. | Guided Filter-Based Detail Enhancement |
US20150104100A1 (en) * | 2013-01-07 | 2015-04-16 | Huawei Device Co., Ltd. | Image Processing Method and Apparatus, and Shooting Terminal |
-
2016
- 2016-11-07 JP JP2017501729A patent/JP6161847B1/ja active Active
- 2016-11-07 WO PCT/JP2016/082938 patent/WO2017104291A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004222233A (ja) * | 2002-12-27 | 2004-08-05 | Nikon Corp | 画像処理装置および画像処理プログラム |
US20150104100A1 (en) * | 2013-01-07 | 2015-04-16 | Huawei Device Co., Ltd. | Image Processing Method and Apparatus, and Shooting Terminal |
JP2014138329A (ja) * | 2013-01-17 | 2014-07-28 | Sharp Corp | 画像処理装置、画像表示装置、プログラム、および、記憶媒体 |
US20140285719A1 (en) * | 2013-03-22 | 2014-09-25 | Marvell World Trade Ltd. | Guided Filter-Based Detail Enhancement |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019181096A1 (ja) * | 2018-03-19 | 2019-09-26 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN111868778A (zh) * | 2018-03-19 | 2020-10-30 | 索尼公司 | 图像处理装置、图像处理方法、以及程序 |
JPWO2019181096A1 (ja) * | 2018-03-19 | 2021-03-11 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11436706B2 (en) | 2018-03-19 | 2022-09-06 | Sony Corporation | Image processing apparatus and image processing method for improving quality of images by removing weather elements |
JP7160085B2 (ja) | 2018-03-19 | 2022-10-25 | ソニーグループ株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2020075227A1 (ja) * | 2018-10-10 | 2020-04-16 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
JPWO2020075227A1 (ja) * | 2018-10-10 | 2021-10-07 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
JP7174064B2 (ja) | 2018-10-10 | 2022-11-17 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
WO2020230319A1 (ja) * | 2019-05-16 | 2020-11-19 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
JPWO2020230319A1 (ja) * | 2019-05-16 | 2021-10-14 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
JP7142772B2 (ja) | 2019-05-16 | 2022-09-27 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017104291A1 (ja) | 2017-12-14 |
JP6161847B1 (ja) | 2017-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2664415C2 (ru) | Система обработки изображений и машиночитаемый записывающий носитель | |
EP2852152B1 (en) | Image processing method, apparatus and shooting terminal | |
US10672112B2 (en) | Method and system for real-time noise removal and image enhancement of high-dynamic range images | |
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
JP4746575B2 (ja) | 画像処理装置及びその方法 | |
US8867824B2 (en) | Image processing apparatus, method, and program | |
KR102567860B1 (ko) | 개선된 역 톤 매핑 방법 및 대응하는 디바이스 | |
CN106846270B (zh) | 一种图像边缘增强方法及装置 | |
US7176983B2 (en) | Adaptive coring for video peaking | |
JP6097588B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008244591A (ja) | 画像処理装置及びその方法 | |
JP6818463B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6161847B1 (ja) | 画像処理装置及び画像処理方法 | |
CN104157003B (zh) | 一种基于正态分布调节的热图像细节增强方法 | |
JP2019016117A (ja) | 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム | |
JP2016517975A (ja) | ガイデットフィルタベースのディテール強調 | |
JP2007329927A (ja) | ビデオ画質改善システムおよび方法 | |
WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
JP2005252869A (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP6514504B2 (ja) | 画像処理装置およびその制御方法、ならびにプログラム | |
CN110992287A (zh) | 一种非均匀光照视频的清晰化方法 | |
KR101872015B1 (ko) | 적외선 영상 생성장치 및 방법 | |
Chandpa et al. | Comparative study of linear and non-linear contrast enhancement techniques | |
JP2021082211A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6935842B2 (ja) | 画像調整装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017501729 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16875276 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16875276 Country of ref document: EP Kind code of ref document: A1 |