JP6161847B1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6161847B1
JP6161847B1 JP2017501729A JP2017501729A JP6161847B1 JP 6161847 B1 JP6161847 B1 JP 6161847B1 JP 2017501729 A JP2017501729 A JP 2017501729A JP 2017501729 A JP2017501729 A JP 2017501729A JP 6161847 B1 JP6161847 B1 JP 6161847B1
Authority
JP
Japan
Prior art keywords
component
unit
gain
input image
detail component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017501729A
Other languages
English (en)
Other versions
JPWO2017104291A1 (ja
Inventor
康平 栗原
康平 栗原
善隆 豊田
善隆 豊田
的場 成浩
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6161847B1 publication Critical patent/JP6161847B1/ja
Publication of JPWO2017104291A1 publication Critical patent/JPWO2017104291A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

入力画像(DIN)を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部(101)と、フィルター部(101)で算出される特徴レベル信号を用いて、入力画像(DIN)の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部(103)と、平坦領域マップに基づいて、ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部(104)と、ベース成分と、ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部(105)と、を備える。

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、入力画像からディテール成分を分離して、処理を行う画像処理装置及び画像処理方法に関する。
監視カメラ及び車載カメラの可視映像及び赤外映像、医用画像、並びに、顕微鏡画像で、注目物体を弁別する際には、物体のコントラストが重要となる。例えば、近年注目される自動運転システムでは、飛び出してきた人物及び道路上の落下物の迅速な検出が重要である。
しかしながら、照度不足、影、逆光、霞、雪及びスモッグ等、コントラストの不足が生じるシーンでは、注目物体を画像中からは判別できない場合、及び、機械認識を用いた物体検出処理時に検出率低下が生じる場合がある。
これらの状況では、画像強調技術(単数枚ダイナミックレンジ圧縮技術ともいう)により視認性を改善する手法が有効である。従来の画像強調技術の1つに、エッジ保存平滑化フィルターにより入力画像をベース成分とディテール成分に分離し、ディテール成分にゲイン演算を行う手法がある。エッジ保存平滑化フィルターは、非特許文献1に記載のガイデッドフィルターが有効である。ガイデッドフィルターは、従来のバイラテラルフィルター等と比較して高速かつ、勾配反転誤差を生じない。
しかしながら、ディテール成分を均一にゲイン伸長するこれまでの手法では、ディテール成分に含まれるノイズ又は圧縮歪も同時に増幅してしまう課題を有する。また、階調が乏しい領域で擬似輪郭が生じる課題を有する。
特許文献1では、分離されたディテール成分に対して第2のエッジ保存平滑化フィルター処理を行うことにより、エッジ及びテクスチャを保存しつつ、ノイズを低減する手法が提案されている。
特開2015−99546号公報
"Guided Image Filtering"、Kaiming He、Jian Sun、Xiaoou Tang、ECCV2010
分離されたディテール成分を均一にゲイン伸長する手法では、ノイズ又は圧縮歪の増幅、及び、擬似輪郭等のアーティファクトを生じさせる。また、特許文献1の手法ではエッジ保存平滑化フィルター処理を追加実装することになり、演算量が増加する上に、ディテールの鮮鋭度は低下する。
そこで、本発明は、上記のような問題点を解決するためになされたものである。本発明の目的は、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、僅かな演算量増加で、平坦領域のノイズ増幅及び階調の乏しい領域での擬似輪郭発生を低減できるようにすることである。
本発明の第1の態様に係る画像処理装置は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、表示された前記入力画像において選択された平坦な領域からノイズレベルを算出する平坦領域ノイズレベル抽出部と、前記フィルター部で算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えることを特徴とする。
本発明の第2の態様に係る画像処理装置は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、表示された前記入力画像において選択された平坦な領域からノイズレベルを算出する平坦領域ノイズレベル抽出部と、前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出する輝度適応ゲイン算出部と、前記フィルター部で算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えることを特徴とする。
本発明の第3の態様に係る画像処理装置は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、前記入力画像を表示する表示部と、前記表示部に表示された入力画像の中から、平坦な領域の選択を受ける入力部と、前記選択された領域におけるノイズレベルを算出する平坦領域ノイズレベル抽出部と、前記フィルター部で算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えることを特徴とする。
本発明の第1の態様に係る画像処理方法は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、表示された前記入力画像において選択された平坦な領域からノイズレベルを算出し、前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成することを特徴とする。
本発明の第2の態様に係る画像処理方法は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、表示された前記入力画像において選択された平坦な領域からノイズレベルを算出し、前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出し、前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成することを特徴とする。
本発明の第3の態様に係る画像処理方法は、入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、前記入力画像を表示し、前記表示された入力画像の中から、平坦な領域の選択を受け、前記選択された領域におけるノイズレベルを算出し、前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成することを特徴とする。
本発明の一態様によれば、ディテール成分の平坦領域を判定してゲイン調整を行うため、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、僅かな演算量増加で、平坦領域のノイズ増幅及び階調の乏しい領域での擬似輪郭発生を低減することができる。
実施の形態1に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態1における入力画像と、ベース成分と、ディテール成分との関係を示す概略図である。 (A)及び(B)は、実施の形態1に係る画像処理装置のハードウェア構成例を示す概略図である。 実施の形態1に係る画像処理装置により行われる画像処理方法を示すフローチャートである。 実施の形態2に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態2において、ベース成分の値から輝度適応ゲインを求める変換テーブルの一例を示す概略図である。 実施の形態3に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態3において、平坦領域を選択する際の処理例を示す概略図である。
実施の形態1.
図1は、実施の形態1に係る画像強調装置としての画像処理装置100の構成を概略的に示すブロック図である。
実施の形態1に係る画像処理装置100は、フィルター部101と、輝度変換部102と、平坦領域判定部103と、ゲイン調整部104と、成分合成部105とを有する。
画像処理装置100は、従来のガイデッドフィルターを用いた画像強調処理の課題となる、ノイズや圧縮歪の増幅、擬似輪郭の発生を低減するため、平坦領域判定処理の追加によって、僅かな演算量増加ながら効果的にアーティファクト発生の低減を実現できる。
フィルター部101は、入力画像DINに対して線形回帰係数を算出して、この入力画像DINを、算出された線形回帰係数に基づくエッジ保存平滑化フィルターを用いて、ベース成分D1Bとディテール成分D1Dとに分離する。エッジ保存平滑化フィルターとして、例えば、ガイデッドフィルター又はファストガイデッドフィルターが用いられる。
例えば、フィルター部101は、入力画像DINの局所領域毎の分散値を計算し、その分散値に基づいて分散値が極端に少ない局所領域を平滑化する。平滑化が行われた入力画像によりベース成分D1Bが生成され、入力画像DINとベース成分の差分値によりディテール成分D1Dが生成される。ベース成分D1Bは、輝度変換部102に与えられ、ディテール成分D1Dは、ゲイン調整部104に与えられる。
ガイデッドフィルターの出力であるベース成分D1Bをq、入力画像をIとした場合、qとIは式(1)のような線形関係で表される。
Figure 0006161847
ここで、入力画像Iのある画素xを中心とした局所領域をΩとした場合、式(2)及び式(3)が成立する。
Figure 0006161847
Figure 0006161847
ここで、yは、Ω(x)を範囲とする局所領域の画素位置を示す。
次に、線形回帰係数a及びbの導出方法を説明する。入力画像Iの分散varIの画素位置xに対応する画素値は、式(4)で表される。
Figure 0006161847
次に、分散値が極端に小さい領域のみ平滑化処理を行い、その他の領域のテクスチャを保存するため、分散varDINを、式(5)に基づき階調変換を行い、係数aを得る。epsはエッジ保存の度合いを決定する定数パラメータである。
Figure 0006161847
また係数bは、式(6)に基づき導出する。
Figure 0006161847
フィルター部101は、式(5)、式(6)で得られた線形回帰係数a及びbを基に、ガイデッドフィルター出力値qを導出する。qはベース成分D1Bに対応する。
ディテール成分D1Dは、入力画像DINとベース成分D1Bの差分から求められる。なお、入力画像DIN(入力信号)と、ベース成分D1B(フィルター出力信号)と、ディテール成分D1D(ディテール信号)との関係は、図2に示されている。
輝度変換部102は、ベース成分D1Bに対して視認性を向上させる輝度変換処理を行うことで、変換ベース成分D2を生成する。
例えば、輝度変換部102は、ベース成分D1Bの輝度を変換し、視認性を向上させる処理を行う。具体的には、輝度変換部102は、暗部領域には低輝度階調を伸長するような処理を行い、明部白飛び領域には高輝度階調を伸長するような処理を行う。この処理としては、例えば、トーンマッピングによるダイナミックレンジ圧縮処理又はヒストグラム均等化処理等が挙げられる。
トーンマッピングによる処理の一例を式(7)に示す。Bはベース成分D1Bに対応し、transBは変換ベース成分D2に対応する。また、γはダイナミックレンジの圧縮度合いを決定する定数パラメータである。
Figure 0006161847
平坦領域判定部103は、フィルター部101で算出される線形回帰係数D1Fを特徴レベル信号として用いて、入力画像DINの平坦領域を判定し、入力画像DINの平坦領域を識別するための平坦領域マップD4を生成する。
平坦領域判定部103に与えられる線形回帰係数D1Fは、式(2)で算出される線形回帰係数を使用するが、局所領域平均化前のaを用いても構わない。これらの線形回帰係数は、分散値を式(5)に基づくトーンマッピングにより分散値の大きい領域をダイナミックレンジ圧縮した値と捉えることができ、平坦領域の判定に利用しやすい。
ここで、平坦領域判定部103は、フィルター部101から受け取った線形回帰係数D1Fを基に、ディテール成分D1Dのゲインを調整する際に平坦領域のゲインを増幅しないよう、入力画像DINの平坦領域を判定する。
平坦領域判定部103では、ディテール成分D1Dのゲイン調整時の重み成分となる平坦領域マップD4を出力する。平坦領域マップD4には、線形回帰係数D1Fをそのまま代入しても構わないが、ここでは平坦領域と非平坦領域をより精度よく分離するため、トーンマッピング処理を更に行う。トーンマッピング処理は、例えば、式(8)のような処理である。ここで、flatは平坦領域マップを表す。またεは平坦領域と非平坦領域の分離強度を決定する定数パラメータである。
Figure 0006161847
ゲイン調整部104は、平坦領域マップD4を基にディテール成分D1Dのゲインを調整することで、ゲイン調整ディテール成分D3を生成する。
ゲインの調整は、例えば、式(9)のような積算で実現する。ここで、D(x)はディテール成分、adjustD(x)はゲイン調整ディテール成分、Gainはゲイン調整強度を決定する定数パラメータである。
Figure 0006161847
従来のエッジ保存平滑化フィルターを用いた画像強調処理では、ディテール成分を均一にゲイン伸長する方式、又は、変換テーブルに基づきディテールの小さい画素値はゲインを大きくする若しくは小さくする方式等の処理が多い。これらの手法では、ノイズ増幅、擬似輪郭の強調又は注目物体のディテール成分の低減が避けられなかった。
実施の形態1では、局所領域毎の分散値から平坦領域を判別しているため、従来の画一的なゲイン調整又は画素毎の変換テーブルを用いたゲイン調整と比較して、精度よく注目物体のみのディテールを強調し、ノイズ増幅の目立つ平坦領域のディテールは強調しない処理を行うことができる。更に、実施の形態1では、Gain又はε等のパラメータを調整することで、ノイズを入力画像よりも低減させつつ注目物体の視認性を向上させるような処理を行うこともできる。
成分合成部105は、変換ベース成分D2とゲイン調整ディテール成分D3を合成し、強調画像DOUTとして出力する。ここでは、成分合成部105は、変換ベース成分D2とゲイン調整ディテール成分D3を加算合成する。
以上に記載された画像処理装置100の一部又は全部は、例えば、図3(A)に示されているように、メモリ121と、メモリ121に格納されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサ122とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
また、画像処理装置100の一部又は全部は、例えば、図3(B)に示されているように、単一回路、復号回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuits)又はFPGA(Field Programmable Gate Array)等の処理回路123で構成することもできる。
次に、実施の形態1に係る画像処理方法について説明する。
図4は、実施の形態1に係る画像処理装置100により行われる画像処理方法を示すフローチャートである。
まず、フィルター部101は、入力画像DINの画像データに対して、エッジ保存平滑化フィルター(ここでは、ガイデッドフィルター)を用いてフィルター処理を行い、入力画像DINを、ベース成分D1Bとディテール成分D1Dに分離する(S10)。
次に、輝度変換部102は、ベース成分D1Bの輝度を調整する(S11)。
次に、平坦領域判定部103は、線形回帰係数D1Fを基に、平坦領域マップD4を算出する(S12)。
次に、ゲイン調整部104は、平坦領域マップD4を基にディテール成分D1Dのゲインを調整する(S13)。
最後に、成分合成部105は、変換ベース成分D2とゲイン調整ディテール成分D3とを合成し、強調画像DOUTを生成する(S14)。
以上で説明したように、可視画像、赤外画像、医用画像及び顕微鏡画像等の画像に対して、画像中のコントラストが不十分な領域の視認性を僅かな演算量増加で改善し、物体の判別を容易にすることが可能となる。
以上が、実施の形態1に係る画像処理装置100の動作の説明である。
次に実施の形態1の画像処理装置100により得られる効果を説明する。
実施の形態1の画像処理装置100では、画像中のコントラストが不十分な領域の視認性を改善する画像強調技術において、平坦領域のノイズ、圧縮歪増幅及び階調の乏しい領域でのアーティファクト発生を大幅に低減することが可能となる。
実施の形態1の最も強調すべき点として、従来のガイデッドフィルター処理で生成された線形回帰係数を再利用し、平坦領域判定に用いることにより、僅かな演算量の増加でアーティファクト発生を低減することが可能な点である。ノイズ低減フィルター(例えば、バイラテラルフィルター)によるノイズ低減処理を追加で実装する構成と比較しても圧倒的に処理負荷の増加が少ない。
この効果により、リアルタイム処理に適する高速な処理で、可視画像や、赤外画像、医用画像、顕微鏡画像において視認性の低い画像内から、注目すべき物体及び対象を容易に判別することが実現可能となる。
ここで、線形回帰係数D1Fの代わりに、エッジ保存平滑化フィルターから算出される局所的な分散値(例えば、分散varDIN)、又は、ディテール成分(例えば、ディテール成分を平滑化処理した信号)等を画像の特徴レベル信号として平坦領域判定に用いてもよい。
実施の形態2
図5は、実施の形態2に係る画像処理装置200の構成を概略的に示すブロック図である。
実施の形態2に係る画像処理装置200は、フィルター部101と、輝度変換部102と、平坦領域判定部103と、ゲイン調整部204と、成分合成部105と、輝度適応ゲイン算出部206とを有する。
実施の形態2に係る画像処理装置200は、輝度適応ゲイン算出部206が追加された点と、ゲイン調整部204での処理の点とを除いて、実施の形態1に係る画像処理装置100と同様である。
実施の形態1の構成の場合、平坦領域にノイズレベルに近い輝度振幅の物体が含まれている場合には、このような物体に対しては強調処理が行われない。実施の形態2は、このような物体に対して、ノイズ増幅を回避しつつ物体領域のみコントラストを強調するために、ベース成分の情報を有効に活用する。
輝度適応ゲイン算出部206は、ベース成分D1Bの輝度値に基づいて、ディテール成分D1Dのゲインを調整するための輝度適応ゲインを算出する。例えば、輝度適応ゲイン算出部206は、注目すべき物体の有するターゲット輝度レベルを予め設定し、ターゲット輝度レベル近傍の輝度値を保有する領域のゲインを大きく、ターゲット輝度レベルから離れた輝度値を保有する領域のゲインを小さく設定した輝度適応ゲインD6を出力する。言い換えると、輝度適応ゲイン算出部206は、予め定められた領域が保有する輝度値が予め定められたターゲット輝度値に近くなるほど、この領域の輝度適応ゲインが大きくなるように輝度適応ゲインを算出する。
輝度適応ゲイン算出部206での処理の一例を示す。ターゲット輝度レベルをLum、輝度適応ゲインをLumGainと表した場合、輝度適応ゲイン算出部206は、図6に示されているような変換テーブルに従い、ベース成分D1Bの値から輝度適応ゲインD6を求める。
ゲイン調整部204は、式(10)に示されているように、平坦領域マップflat、ゲイン調整強度Gainに加えて輝度適応ゲインLumAdaptGainに基づき、ディテール成分D1Dからゲイン調整ディテール成分D3を生成する。
Figure 0006161847
以上が、実施の形態2に係る画像処理装置200の動作の説明である。
次に実施の形態2の画像処理装置200により得られる効果を説明する。
実施の形態2の画像処理装置200では、ベース成分D1Bの輝度値情報をガイドとして、注目したい物体のターゲット輝度レベルを設定することにより、ノイズとシグナルとの分離をより高精度に行うことが可能となる。
実施の形態3
図7は、実施の形態3に係る画像処理装置300の構成を概略的に示すブロック図である。
実施の形態3に係る画像処理装置300は、フィルター部101と、輝度変換部102と、平坦領域判定部303と、ゲイン調整部104と、成分合成部105と、平坦領域ノイズレベル抽出部307と、表示部308と、入力部309とを有する。
実施の形態3に係る画像処理装置300は、平坦領域ノイズレベル抽出部307、表示部308及び入力部309が追加された点と、平坦領域判定部303での処理の点とを除いて、実施の形態1に係る画像処理装置100と同様である。
平坦領域ノイズレベル抽出部307は、表示部308及び入力部309を介して、ユーザから、入力画像DINにおける平坦な領域の選択を受ける。そして、平坦領域ノイズレベル抽出部307は、選択された領域からノイズレベルD7を見積る。そして、このノイズレベルD7は平坦領域判定部303においてパラメータとして使用される。
表示部308は、画像を表示する表示装置である。特に、表示部308は、入力画像DINを表示する。
入力部309は、操作の入力を受け付ける入力装置である。特に、入力部309は、表示部308に表示された入力画像DINの中から、平坦な領域の選択を受ける。
ユーザが平坦領域を選択する例を、図8に示す。図8に示されているように、入力画像DINが表示部308に表示される。ユーザは、この入力画像DINの中から、入力部309を用いて、平坦と思われる任意の矩形領域SRを選択する。
次に、平坦領域ノイズレベル抽出部307は、ユーザが選択した平坦領域SRからノイズレベルを算出する。ノイズレベルの算出方法の一例として、ユーザが選択した平坦領域SRの局所領域毎の分散値を求める手法が挙げられる。
ユーザ選択平坦領域をUとした場合、ノイズレベルNLは、式(11)で表される。
Figure 0006161847
次に、平坦領域判定部303は、線形回帰係数D1FとノイズレベルNLとを用いて、入力画像DINの平坦領域を識別するための平坦領域マップD4を生成する。例えば、平坦領域判定部303は、上述した式(8)を用いて、入力画像DINを平坦領域と非平坦領域に分離する。その際、平坦領域判定部303は、分離強度を決定するパラメータεを、ノイズレベルD7に基づき設定することで、より精度よく領域分離が可能となる。
以上が、実施の形態3に係る画像処理装置300の動作の説明である。
次に、実施の形態3の画像処理装置300により得られる効果を説明する。
実施の形態3の画像処理装置300では、ユーザに平坦領域の範囲の指定を受けて、平坦領域から画像のノイズレベルを抽出することで、より精度の高い平坦領域及び非平坦領域の分離が可能となる。結果、画像強調時に発生し得たノイズ、圧縮歪の強調及び擬似輪郭をより抑制することが可能となる。
実施の形態3は、ユーザ操作を含むため、顕微鏡画像又はX線画像等、1枚の画像に対してより精度良く強調処理を行いたい場合に適している。
また、以上のように実施の形態1〜3について説明したが、本発明はこれらの実施の形態1〜3に限るものではない。
以上に記載した実施の形態1〜3では、成分合成部105は、輝度変換部102で輝度変換処理が行われたベース成分(変換ベース成分D2)に、ゲイン調整ディテール成分D3を合成しているが、画像処理装置100の構成はこのような例に限定されない。例えば、画像処理装置100は、輝度変換部102を備えなくてもよい。このような場合には、成分合成部105は、フィルター部101で分離されたベース成分D1Bに、ゲイン調整ディテール成分D3を合成する。
100,200,300 画像処理装置、 101 フィルター部、 102 輝度変換部、 103,303 平坦領域判定部、 104,204 ゲイン調整部、 105 成分合成部、 206 輝度適応ゲイン算出部、 307 平坦領域ノイズレベル抽出部、 308 表示部、 309 入力部。

Claims (10)

  1. 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、
    表示された前記入力画像において選択された平坦な領域からノイズレベルを算出する平坦領域ノイズレベル抽出部と、
    前記フィルター部で算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、
    前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、
    前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えること
    を特徴とする画像処理装置。
  2. 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、
    表示された前記入力画像において選択された平坦な領域からノイズレベルを算出する平坦領域ノイズレベル抽出部と、
    前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出する輝度適応ゲイン算出部と、
    前記フィルター部で算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、
    前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、
    前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えること
    を特徴とする画像処理装置。
  3. 前記輝度適応ゲイン算出部は、予め定められた領域が保有する輝度値が予め定められたターゲット輝度値に近くなるほど、当該予め定められた領域の輝度適応ゲインが大きくなるようにすること
    を特徴とする請求項2に記載の画像処理装置。
  4. 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離するフィルター部と、
    前記入力画像を表示する表示部と、
    前記表示部に表示された入力画像の中から、平坦な領域の選択を受ける入力部と、
    前記選択された領域におけるノイズレベルを算出する平坦領域ノイズレベル抽出部と、
    前記フィルター部で算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成する平坦領域判定部と、
    前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成するゲイン調整部と、
    前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成する成分合成部と、を備えること
    を特徴とする画像処理装置。
  5. 前記エッジ保存平滑化フィルターは、ガイデッドフィルター又はファストガイデッドフィルターであること
    を特徴とする請求項1から4の何れか一項に記載の画像処理装置。
  6. 前記ベース成分に対して輝度変換処理を行う輝度変換部をさらに備え、
    前記成分合成部は、前記輝度変換処理が行われたベース成分と、前記ゲイン調整ディテール成分とを合成すること
    を特徴とする請求項1から5の何れか一項に記載の画像処理装置。
  7. 前記輝度変換処理は、トーンマッピングによるダイナミックレンジ圧縮処理であること
    を特徴とする請求項6に記載の画像処理装置。
  8. 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、
    表示された前記入力画像において選択された平坦な領域からノイズレベルを算出し、
    前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、
    前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、
    前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成すること
    を特徴とする画像処理方法。
  9. 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、
    表示された前記入力画像において選択された平坦な領域からノイズレベルを算出し、
    前記ベース成分の輝度値に基づいて、前記ディテール成分のゲインを調整するための輝度適応ゲインを算出し、
    前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記ノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、
    前記平坦領域マップ及び前記輝度適応ゲインに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、
    前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成すること
    を特徴とする画像処理方法。
  10. 入力画像を、エッジ保存平滑化フィルターを用いてベース成分とディテール成分とに分離し、
    前記入力画像を表示し、
    前記表示された入力画像の中から、平坦な領域の選択を受け、
    前記選択された領域におけるノイズレベルを算出し、
    前記ベース成分及び前記ディテール成分を分離する際に算出される特徴レベル信号と前記算出されたノイズレベルとを用いて、前記入力画像の平坦領域を識別するための平坦領域マップを生成し、
    前記平坦領域マップに基づいて、前記ディテール成分のゲインを調整したゲイン調整ディテール成分を生成し、
    前記ベース成分と、前記ゲイン調整ディテール成分とを合成した強調画像を生成すること
    を特徴とする画像処理方法。
JP2017501729A 2015-12-18 2016-11-07 画像処理装置及び画像処理方法 Active JP6161847B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015246902 2015-12-18
JP2015246902 2015-12-18
PCT/JP2016/082938 WO2017104291A1 (ja) 2015-12-18 2016-11-07 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP6161847B1 true JP6161847B1 (ja) 2017-07-12
JPWO2017104291A1 JPWO2017104291A1 (ja) 2017-12-14

Family

ID=59056027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017501729A Active JP6161847B1 (ja) 2015-12-18 2016-11-07 画像処理装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP6161847B1 (ja)
WO (1) WO2017104291A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7160085B2 (ja) * 2018-03-19 2022-10-25 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム
CN112823373A (zh) * 2018-10-10 2021-05-18 奥林巴斯株式会社 图像信号处理装置、图像信号处理方法、程序
CN113812137B (zh) * 2019-05-16 2024-03-15 三菱电机株式会社 图像处理装置和方法、图像读取装置和记录介质
FR3099637B1 (fr) 2019-08-01 2021-07-09 Soitec Silicon On Insulator procédé de fabrication d’unE structure composite comprenant une couche mince en Sic monocristallin sur un substrat support en sic polycristallin

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222233A (ja) * 2002-12-27 2004-08-05 Nikon Corp 画像処理装置および画像処理プログラム
WO2014106470A1 (zh) * 2013-01-07 2014-07-10 华为终端有限公司 图像处理方法、装置和拍摄终端
JP2014138329A (ja) * 2013-01-17 2014-07-28 Sharp Corp 画像処理装置、画像表示装置、プログラム、および、記憶媒体
WO2014153450A2 (en) * 2013-03-22 2014-09-25 Marvell World Trade Ltd. Guided filter-based detail enhancement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222233A (ja) * 2002-12-27 2004-08-05 Nikon Corp 画像処理装置および画像処理プログラム
WO2014106470A1 (zh) * 2013-01-07 2014-07-10 华为终端有限公司 图像处理方法、装置和拍摄终端
JP2014138329A (ja) * 2013-01-17 2014-07-28 Sharp Corp 画像処理装置、画像表示装置、プログラム、および、記憶媒体
WO2014153450A2 (en) * 2013-03-22 2014-09-25 Marvell World Trade Ltd. Guided filter-based detail enhancement

Also Published As

Publication number Publication date
JPWO2017104291A1 (ja) 2017-12-14
WO2017104291A1 (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
RU2664415C2 (ru) Система обработки изображений и машиночитаемый записывающий носитель
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
JP6161847B1 (ja) 画像処理装置及び画像処理方法
CN103369209B (zh) 视频降噪装置及方法
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
US8867824B2 (en) Image processing apparatus, method, and program
US7176983B2 (en) Adaptive coring for video peaking
KR101605770B1 (ko) 영상 처리 방법 및 장치
JP6097588B2 (ja) 画像処理装置及び画像処理方法
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019016117A (ja) 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム
JP2012023455A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007329927A (ja) ビデオ画質改善システムおよび方法
JP6514504B2 (ja) 画像処理装置およびその制御方法、ならびにプログラム
Mustafa et al. Image correction based on homomorphic filtering approaches: A study
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
JP6172641B2 (ja) 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム
JP2021082211A (ja) 画像処理装置、画像処理方法、及びプログラム
TWI474282B (zh) 深度相關的影像加強
JP6935842B2 (ja) 画像調整装置、方法、及びプログラム
Daway et al. Color image enhancement based on nonlinear filter and retinex algorithm
EP2309448A1 (en) Local image contrast enhancement
JP2015194829A (ja) 画像処理装置および画像処理方法
JP2022069197A (ja) 画像処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R150 Certificate of patent or registration of utility model

Ref document number: 6161847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250