JP4952796B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4952796B2
JP4952796B2 JP2009546901A JP2009546901A JP4952796B2 JP 4952796 B2 JP4952796 B2 JP 4952796B2 JP 2009546901 A JP2009546901 A JP 2009546901A JP 2009546901 A JP2009546901 A JP 2009546901A JP 4952796 B2 JP4952796 B2 JP 4952796B2
Authority
JP
Japan
Prior art keywords
image
level value
smoothed
input image
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009546901A
Other languages
English (en)
Other versions
JPWO2009081485A1 (ja
Inventor
雅芳 清水
雄志 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2009081485A1 publication Critical patent/JPWO2009081485A1/ja
Application granted granted Critical
Publication of JP4952796B2 publication Critical patent/JP4952796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

この発明は、入力された入力画像から当該入力画像をぼかした平滑化画像を生成する画像処理装置に関する。
従来より、デジタル画像処理では画像をぼかした平滑化画像を生成する際にはローパスフィルタを用いて、フィルタサイズ内の各画素のレベル値の平均値を注目画素の信号レベルとしていた。ところが、ローパスフィルタを用いた場合、フィルタサイズ内の各画素のレベル値の平均値を注目画素のレベル値とするため、レベル値の差が大きいエッジ部分もぼやけてしまうという問題があった。具体的には、ローパスフィルタを用いた場合、図17に示すように、実線で示した処理対象画像の明暗の差が大きいエッジ部分の勾配が、ローパスフィルタから出力される点線で示したローパスフィルタ画像(図中ではLPF画像)ではなまっており、エッジ部分を保持することができない。
このような問題を改善するために、従来から、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかすための種々の技術が考えられている。例えば、特許文献1には、イプシロンフィルタを用いた顔画像処理装置(画像処理装置)に関する技術が開示されている。
具体的には、図18に示すように、顔画像処理装置は、画像の座標(m,n)に位置する画素を注目画素とし、注目画素の周囲の画素(この場合は、座標(m−1,n−1)、座標(m,n−1)、座標(m+1,n−1)、座標(m−1,n)、座標(m+1,n)、座標(m−1,n+1)、座標(m,n+1)、座標(m+1,n+1)の8画素)を周辺画素とする。続いて、顔画像処理装置は、注目画素のレベル値(たとえば、輝度信号の階調値)と各周辺画素のレベル値との差分を算出し、算出されたそれぞれの差分が所定の閾値THより小さい周辺画素を抽出する。そして、顔画像処理装置は、抽出された周辺画素の信号レベルに所定の係数を乗じた画素値を注目画素の画素値に加算した値を注目画素の画素値として出力する。
このように、特許文献1に記載の従来技術においては、注目画素のレベル値との差分が閾値THより小さい周辺画素のみ処理対象とすることで階調値のレベル幅を制限するようにしているため、図19に示すように、イプシロンフィルタから出力される点線で示したイプシロンフィルタ画像(図中ではεフィルタ画像)のエッジ部分の勾配はなまることなく、実線で示した処理対象画像のエッジ部分の勾配を保持しており、エッジ部分を正確に保存し、かつエッジ以外をぼかすことができる。
特開2000−105815号公報
しかしながら、上記した従来の技術では、ノイズ除去強度を簡単に制御できないという課題と、ノイズ除去強度をできたとしても処理が高速でないという課題があった。
具体的には、画像内のノイズには、明度(輝度)変化によるノイズと色彩(色味)変化によるノイズとがある。色彩変化は人の目につきやすく、また、色彩変化によるノイズは、低輝度領域に多く存在する傾向がある。そこで、不自然にならないように色彩変化ノイズを除去するためには、入力画像の輝度値に応じて色彩変化ノイズの除去強度を変化させる必要がある。例えば、上記した特許文献1では、平滑化処理において、入力画像ごとに輝度値を算出し、算出した輝度値に応じたフィルタ係数をεフィルタに乗じることで、εフィルタにおけるノイズ除去強度を変化させる手法が考えられるが、この場合、入力画像ごとに毎回、輝度値を算出してフィルタ係数を求め、このフィルタ係数をεフィルタに乗じて平滑化処理を実施しなければならず、処理が格段に遅くなる。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、ノイズ除去強度を高速かつ簡単に制御することが可能である画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するため、本装置は、入力された入力画像から当該入力画像をぼかした平滑化画像を生成する画像処理装置であって、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、前記入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成するレベル値制限平滑化画像生成手段と、前記レベル値制限平滑化画像生成手段により生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成するレベル値合成手段と、前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成する平滑化画像生成手段と、を有する。
本発明によれば、ノイズ除去強度を高速かつ簡単に制御することが可能である。例えば、処理対象の画像成分そのものではない画像成分に応じて、高速なエッジ保存平滑化処理を実施でき、また、離散化されたローパスフィルタとは独立してレベル値制限合成画像と入力画像とを合成することが可能であり、また、低輝度部のノイズ除去強度を強め、高輝度部のノイズ除去強度を弱めることが可能である。
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
[用語の説明]
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像処理装置(請求の範囲に記載の「画像処理装置」に対応する。)」とは、入力画像と画像情報を受け付け、受け付けた入力画像を平滑化して出力画像を生成する装置のことであり、入力画像は、動画であっても静止画であってもよく、カラーでもモノクロでもかまわない。
また、イプシロンフィルタと同様に、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかすための技術としては、離散化されたローパスフィルタを用いた手法が考えられる。具体的には、図20に示すように、それぞれ異なるレベル値範囲を設定し、レベル値範囲内の画素のみで平滑化画像を生成する複数のレベル制限ローパスフィルタ(離散化ローパスフィルタ)によって、あらかじめ平滑画像を複数生成して複数の平滑化結果を選択し、補間することで、エッジ部分を正確に保存し、かつエッジ以外をぼかすことが考えられる。
具体的には、「画像処理装置」は、第1階層〜第n階層までのレベル値が異なる(離散化された)ローパスフィルタ(LPF)を備え、それぞれのLPFは、まず入力画像の横方向に対する1次元のフィルタ処理において、フィルタサイズ内の入力画像の画素のレベル値が自身に設定されているレベル値範囲内であるか否かを判定する。そして、LPFは、フィルタサイズ内の入力画像の画素のレベル値が自身に設定されているレベル値範囲内であると判定した画素のレベル値を累積して平均値を算出し、算出した平均値を注目画素のレベル値とする。次に、LPFは、横方向のフィルタ処理を全画素実施した画像に対し、同様に縦方向に対する1次元フィルタ処理を実施し、入力画像の全ての画素を注目画素としてそれぞれのレベル値を求めてレベル値制限平滑化画像を生成する。その後、「画像処理装置」は、生成されたレベル値制限平滑化画像を合成して、平滑化画像を生成する。なお、ここで言う「平均値」は、重み付け平均値も含むものとする。例えば、位置に関しては、フィルタ領域内の中央をもっとも高い重みとするレベル方向であれば、範囲の中央をもっとも高い重みとする等の重み付けである。
図21を用いてより具体的に説明すると、「画像処理装置」は、LPF0〜LPF4の複数のローパスフィルタを備え、それぞれのLPF0〜LPF4には、0〜84(P0)、42〜128(P1)、85〜160(P2)、129〜212(P3)、161〜255(P4)のレベル値がそれぞれ設定されている。このような構成において、「画像処理装置」は、入力画像50の画素を縦方向および横方向とも3画素おきに抽出して、縮小画像51を生成する。そして、LPF0〜LPF4は、縮小画像51に対してレベル値制限平滑化処理を行って、レベル値制限平滑化画像52−1〜52−5を生成する。
その後、画像処理装置は、例えば、入力画像50の画素g1を対象画素として選択した場合、画素g1のレベル値に基づいてレベル値制限平滑化画像52−1〜52−5を選択する。対象画素g1のレベル値がレベル値制限範囲P4に含まれる場合、画像処理装置は、レベル値制限平滑化画像52−1を選択し、対象画素g1に対応するレベル値制限平滑化画像53−1の画素g2と隣接する画素g3〜g5を選択する。また、画像処理装置は、選択したレベル値制限平滑化画像53−1のレベル値範囲に最も近いレベル値制限平滑化画像53−2の画素の中から、レベル値制限平滑化画像53−1の画素g2〜g5に対応する画素g6〜g9を選択する。
そして、画像処理装置は、選択した8個の画素g2〜g9のそれぞれのレベル値と位置情報(xy座標)を入力としてレベル値補間(3D−interpolation)を行って、入力画像50の領域e1に対応する部分を拡大する。このとき、画像処理装置は、入力画像50の領域e1に位置する画素のレベル値の中にレベル値範囲P4が含まれないレベル値をもつ画素が存在する場合には、その画素のレベル値を含むレベル値範囲のレベル値制限平滑化画像52−2〜52−3を選択し、対象画素g1に対応する画素と当該画素に隣接する画素のそれぞれのレベル値と位置情報とを用いて、3D−interpolationを行って、入力画像50の領域e1に対応する部分を拡大する。すなわち、画像処理装置は、入力画像50の領域e1の各画素のレベル値が含まれるレベル値制限平滑化画像52−1〜52−5の領域e1に対応する部分のみを拡大することとなる。
その後、画像処理装置は、入力画像50の領域e1の各画素ごとに当該画素のレベル値に基づいて、レベル値制限平滑化画像53−1〜53−nを選択してレベル値を合成して平滑化画像54を生成する。合成は、選択したレベル値制限平滑化画像のレベル値を、レベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重み付け平均値を算出する。例えば、画像処理装置は、処理対象画素のレベル値が60の時、60を含むレベル値範囲はレベル値0〜84であるP0と、42〜128であるP1であるので、LPF0とLPF1とを選択する。この時、P0のレベル値範囲の中心値は42、P1のレベル値範囲の中心値は85であるので、「画像処理装置」は、処理対象画素のレベル値(60)に近いレベル値中心値を持つLPF1の画素レベル値の重みを大きくするよう重み付けおよび入力画像が縮小画像であった場合にはさらに位置情報(縦軸(X軸)、横軸(Y軸))を用いて平均値を算出することで、生成されたレベル値制限平滑化画像を合成して平滑化画像を生成する。具体的には、「画像処理装置」は、「LPF1の画素レベル値×(25/43)+LPF0の画素レベル値×(18/43)」などとする。
このように、「画像処理装置」は、生成されたレベル値制限平滑化画像を、処理対象画素のレベル値および位置情報の3D−interpolationによる補間をおこなうことで、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかす処理を高速に行うことができる。
ところが、上記した手法は、処理対象画像以外で補正強度などを制御する手段がなく、「色味のノイズ除去において、輝度の高低でノイズ除去強度を制御」が不可能であった。具体的には、エッジ保存の高画質と高速処理の両立という優れた特徴を有するが、フィルタ特性を決める要素は、処理対象の画像そのもの(処理対象の画像成分そのもの)となる。一般に、画像のノイズの大小は、処理対象画像そのものだけでは決まらないことが多い。たとえば、画像の成分は、色味と輝度とに分けられるが、色味のノイズは、センサの感度などにより輝度の低い部分に多いといった性質がある。ノイズの除去は、完全に副作用(たとえばボケ感など)を抑えることは難しいため、理想的には、ノイズの大きなところに選択的に、強いノイズ除去をかけるのが望ましい。したがって、例えば、色味のノイズ除去において、輝度の高低でノイズ除去強度を制御するといったことが望まれている。
[画像処理装置の概要および特徴]
次に、図1を用いて、実施例1に係る画像処理装置の概要および特徴を説明する図1は、実施例1に係る画像処理装置の概要と特徴を説明するための図である。
図1に示すように、この画像処理装置は、第1階層〜第n階層までのレベル値が異なるローパスフィルタ(LPF)を備え、入力された入力画像から当該入力画像をぼかした平滑化画像を生成することを概要とするものであり、特に、ノイズ除去強度を高速かつ簡単に制御することが可能である点に主たる特徴がある。
この主たる特徴を具体的に説明すると、画像処理装置は、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタであるLPF#0〜LPF#nを用いて、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、複数のレベル値で制限された複数のレベル値制限平滑化画像を生成する(図1の(1)と(2)参照)。具体的に例を挙げれば、画像処理装置は、入力画像を色差成分と輝度成分とに分離し、分離した入力画像の色差成分について、LPF#0〜LPF#nからなるn階層のフィルタを用いて、上記した手法と同様の手法で、レベル値制限平滑化画像を生成する。例えば、LPF#0〜LPF#nのそれぞれは、入力された入力画像の各画素を参照して、自身に設定されているレベル値範囲内の画素を取得し、取得した各画素のレベル値を累積して平均値を算出(平滑化)する。また、LPF#0〜LPF#nのそれぞれは、入力画像の横方向、縦方向のそれぞれについて、上記した手法を実施し、それぞれの方向から算出された値の平均値を算出し、算出した平均値を入力画像の各画素の平滑化結果とする。
その後、画像処理装置は、生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成する(図1の(3)参照)。具体的に例を挙げれば、画像処理装置は、入力画像の各画素のレベル値に対応するレベル値制限変換画像を、各フィルタにより生成された複数のレベル値制限変換画像から選択する。そして、画像処理装置は、入力画像の各画素について選択した複数のレベル値制限変換画像を合成して、1つの合成画像(フレーム)であるレベル値制限合成画像を生成する。なお、合成についても、上記した手法と同様の手法でレベル値制限平滑化画像を合成する。
そして、画像処理装置は、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成する(図1の(4)と(5)参照)。
具体的に例を挙げれば、画像処理装置は、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報である色差成分とは異なる入力画像を分離して得られた輝度成分に基づいて、原画像である入力画像と生成されたレベル値制限合成画像との合成比率を決定する。例えば、上記した例では、複数のレベル値制限平滑化画像が生成する際に用いられた入力画像の色差成分とは異なる輝度成分が値が大きい場合には、入力画像の比率を高く、レベル値制限合成画像の比率を低くするように合成比率を決定し、また、輝度成分が小さい場合には、入力画像の比率を低く、レベル値制限合成画像の比率を高くするように合成比率を決定する。そして、画像処理装置は、決定した合成比率に基づいて、レベル値合成画像と入力画像とを合成して平滑化画像を生成する。
このように、実施例1に係る画像処理装置は、処理対象の画像成分そのものではない画像成分に応じて、高速なエッジ保存平滑化処理を実施でき、また、離散化されたローパスフィルタとは独立してレベル値制限合成画像と入力画像とを合成することができる結果、上記した主たる特徴のごとく、ノイズ除去強度を高速かつ簡単に制御することが可能である。
[画像処理装置の構成]
次に、図2を用いて、図1に示した画像処理装置の構成を説明する。図2は、実施例1に係る画像処理装置の構成を示すブロック図である。図2に示すように、この画像処理装置10は、入力画像受付部11と、記憶部20と、制御部30と、画像出力部40とから構成される。
入力画像受付部11は、動画像データなどを外部から受け付ける。具体的には、入力画像受付部11は、動画像データを1フレームずつ外部から受け付け、受け付けたフレームを入力画像として、後述する入力画像DB21に格納する。また、入力画像受付部11は、ネットワークなどを介して外部装置から入力画像を受け付けてもよく、CD−ROMやDVDなどの記憶媒体などから受け付けてもよい。なお、入力画像は、動画であっても静止画であってもよく、カラーでもモノクロでもかまわない。また、入力画像は、縮小画像であってもよく、その場合、後述する平滑化画像生成部34において拡大処理が実行される。
記憶部20は、制御部30による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、入力画像DB21と、レベル値制限平滑化画像#0DB22と、レベル値制限平滑化画像#1DB23と、レベル値制限平滑化画像#nDB24と、レベル値制限合成画像DB25と、平滑化画像DB26とを備える。
入力画像DB21は、画像処理装置10に入力されたフレームを記憶する。具体的に例を挙げると、入力画像DB21は、入力画像受付部11によって格納された動画像データのN番目のフレーム、N+1番目のフレームなどを記憶する。
レベル値制限平滑化画像#0DB22〜レベル値制限平滑化画像#nDB24は、後述するフィルタ処理部31のLPF#0〜LPF#nにより生成されたレベル値制限平滑化画像を記憶する。上記した例で具体的に説明すると、レベル値制限平滑化画像#0DB22〜レベル値制限平滑化画像#nDB24は、後述するフィルタ処理部31に備えられたLPFの数およびフィルタ処理部B35に備えられたLPFの数分のDBであり、それぞれのLPFに対応付けられている。例えば、レベル値制限平滑化画像#0DB22は、LPF#0により格納されたレベル値(例えば、0画素〜40画素)の複数の平滑化画像を記憶し、同様に、レベル値制限平滑化画像#1DB23は、LPF#1により格納されたレベル値(例えば、30画素〜60画素)の複数の平滑化画像を記憶し、レベル値制限平滑化画像#nDB24は、LPF#nにより格納されたレベル値(例えば、210画素〜255画素)の複数の平滑化画像を記憶する。
レベル値制限合成画像DB25は、後述するフィルタ処理部31のLPF#0〜LPF#nにより生成されてレベル値制限平滑化画像が合成されたレベル値制限合成画像を記憶する。上記した例で具体的に説明すると、レベル値制限合成画像DB25は、後述するレベル値制限平滑化画像合成部32によりにより、フィルタ処理部31のLPF#0〜LPF#nにより生成されてレベル値制限平滑化画像#0DB22〜レベル値制限平滑化画像#nDB24に格納されたそれぞれのレベル値制限平滑化画像が合成されたレベル値制限合成画像を記憶する。
平滑化画像DB26は、生成された平滑化画像を記憶する。上記した例で具体的に説明すると、平滑化画像DB26は、後述する平滑化画像生成部34によって格納された平滑化画像である、色味のノイズ除去において、輝度の高低でノイズ除去強度を制御したエッジ部分を正確に保存しつつエッジ以外をぼかした(平滑化された)平滑化画像を記憶する。
制御部30は、OS(Operating System)などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、フィルタ処理部31と、レベル値制限平滑化画像合成部32と、合成比率決定部33と、平滑化画像生成部34とを備え、これらによって種々の処理を実行する。
フィルタ処理部31は、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、入力画像の色差成分に対してフィルタリング処理を実施して複数のフィルタリング結果を生成し、特に本発明に密接に関連するものとしては、LPF#0〜LPF#nを備える。
LPF#0〜LPF#nは、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、複数のレベル値で制限された複数のレベル値制限平滑化画像を生成する。具体的に例を挙げると、LPF#0〜LPF#nは、1次元のローパスフィルタで、それぞれ異なったレベル値範囲が予め設定されており、記憶部に記憶されている入力画像の画素のレベル値が、自身に設定されたレベル値範囲内の画素を処理対象として平滑化(平均値の算出)するレベル値制限平滑化処理を行ってレベル値制限平滑化画像を生成し、生成したレベル値制限平滑化画像を対応するレベル値制限平滑化画像DB(例えば、LPF#0の場合、レベル値制限平滑化画像DB#0)に格納する。なお、LPFに設定するレベル値範囲は、その範囲の一部が少なくとも2つのLPFに重なるようにすることが好ましいが、入力画像のレベル値範囲をカバーしていればよい。さらに、LPFのフィルタサイズおよびレベル値範囲は、固定値を設定しておいてもよいし、外部から設定するようにしてもよい。
例えば、LPF#0〜LPF#nがLPF1〜LPF17の17階層であった場合、その時、LPF1_1からLPF1−17まで順に、レベル値範囲は、0-16、0-32、16-48、32-64、48-80、64-96、80-112、96-128、112-144、128-160、144-176、160-192、176-208、192-224、208-240、224-255、240-255とし、フィルタサイズは、すべて15としたりする。もちろん他の階層数でもかまわない。なお、上記したように、各LPFに設定するレベル値範囲は、その範囲の一部が少なくとも2つのLPFに重なるようにすることが好ましいが、入力画像のレベル値範囲をカバーしていればよい。
レベル値制限平滑化画像合成部32は、フィルタ処理部31により生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成する。上記した例で具体的に説明すると、レベル値制限平滑化画像合成部32は、入力画像の各画素のレベル値に対応するレベル値制限変換画像を、フィルタ処理部31により生成されて格納された複数のレベル値制限変換画像#0DB22〜レベル値制限変換画像#nDB24から選択する。そして、レベル値制限平滑化画像合成部32は、入力画像の各画素について選択した複数のレベル値制限変換画像を合成して、1つの合成画像(フレーム)であるレベル値制限合成画像を生成してレベル値制限合成画像DB25に格納する。なお、選択および合成については、上記した手法と同様の手法を用いるので、ここではその詳細な説明は省略する。
合成比率決定部33は、フィルタ処理部31により複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、前記第一の合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定して、決定した合成比率を平滑化画像生成部34に通知する。上記した例で具体的に説明すると、合成比率決定部33は、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報である色差成分とは異なる入力画像を分離して得られた輝度成分に基づいて、原画像である入力画像と生成されたレベル値制限合成画像との合成比率を決定する。例えば、上記した例では、複数のレベル値制限平滑化画像が生成する際に用いられた入力画像の色差成分とは異なる輝度成分が値が大きい場合には、入力画像の比率を高く、レベル値制限合成画像の比率を低くするように合成比率を決定し、また、輝度成分が小さい場合には、入力画像の比率を低く、レベル値制限合成画像の比率を高くするように合成比率を決定し、平滑化画像生成部34に通知する。
平滑化画像生成部34は、合成比率決定部33により決定された合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成する。上記した例で具体的に説明すると、平滑化画像生成部34は、合成比率決定部33により合成比率が「入力画像:レベル値制限合成画像」=「7:3」と決定された場合、入力画像DB21に記憶される入力画像の割合を「7」、レベル値制限合成画像DB25に記憶されるレベル値制限合成画像の割合を「3」として、両画像を合成して平滑化画像を生成し、生成した平滑化画像を平滑化画像DB26に格納する。
ここで、図3〜図7を用いて、合成比率決定部33による合成比率決定手法と平滑化画像生成部34による合成手法について、具体的に例を挙げて説明する。なお、図3は、入力画像から分解されたY成分を示す図であり、図4は、入力画像から分解されたCr成分を示す図であり、図5は、平滑化された入力画像のCr成分を示す図であり、図6は、合成比率を用いて原画合成された平滑化画像を示す図であり、図7は、高輝度域において非線形な合成比率を用いて原画合成された平滑化画像を示す図である。
上記したように、例えば、画像の色差成分のノイズを除去するノイズ除去用の平滑化処理について説明すると、色差成分は、例えば、画像処理の分野で一般的に用いられている、YCbCr三成分のうちの,CbCrの二成分に対応する。ここでは、0から255の8bitデータを処理することを前提とし、この場合、無彩色は、Cb、Crがともに、128に対応することとなる。
このような状態において、合成比率決定部33は、入力画像をY成分とCb、Crの2成分に分解すると、上記したフィルタ処理部31では、このCb、Cr成分が平滑化対象となり、Y成分が合成比率決定対象となる。なお、色差成分の信号は、一般的なマトリクス演算によってRGB値からY成分とCb、Crの2成分に分解すればよい。このようにして入力画像から分解されたY成分を入力画像の各画素に対応付けて数値化した図を図3に示し、同様にCr成分を図4に示す。図3と図4とを比較すると、入力画像の左上には、輝度成分よりも色差成分が多く、右上には色差成分よりも輝度成分が多いことがわかる。
その後、それぞれ異なったレベル値範囲が予め設定されているフィルタ処理部31の各LPFにより、入力画像の画素のレベル値が自身に設定されたレベル値範囲内の画素を処理対象として平滑化(平均値の算出)されたレベル制限平滑化画像が生成され、レベル値制限平滑化画像合成部32により、入力画像の各画素のレベル値に基づいて、当該画素に対するレベル制限平滑化画像を選択されて補間処理によって合成されたレベル値制限合成画像を図5に示す。平滑化された入力画像のCr成分は、図5に示すように、図4に比べて、全体的に平滑化されている。
そして、合成比率決定部33は、図4に示された輝度成分に基づいて、上記したように低輝度部のノイズ除去強度を強め、高輝度部のノイズ除去強度を弱めるとすると、入力画像をIn、LPF結果をL、出力をOut、該当画素の輝度Yを用いた「Out=(L*(255−Y)+In*Y)/255」を合成比率として決定し、平滑化画像生成部34は、この決定された算出式を用いて、図6に示すように、入力画像(図4参照)とレベル値制限合成画像(図5参照)とを原画合成する。このように、原画合成された図6に示す平滑化画像は、図4に示された入力画像(原画像)と図5に示されたレベル制限平滑化画像(平滑化結果)とのそれぞれと比べて、レベル値制限された平滑化画像(図5参照)における低輝度部分である図左上については補正が強く、高輝度部分である図右上については補正が弱いことがわかる。つまり、図6では、低輝度部分である図左上については、図4に示された入力画像の割合が少なく、図5に示されたレベル値制限合成画像の割合が多い。また、高輝度部分である図右上については、図4に示された入力画像の割合が多く、図5に示されたレベル値制限合成画像の割合が少ないことがわかる。
また、上式においては、輝度に応じて単純に線形補間を実施したものであるが、例えば、高輝度においては完全に補正量を「0」にせず、ある程度の高輝度域においては、一定の補正強度とするような非線形な制御にするならば、「if Y<255/2、Out=(L*(255−Y)+In*Y)/255、else Out=(In+L)/2」のような合成式(合成比率)を用いればよく、この式を用いて合成した場合、図7に示すような結果が得られる。図7では、高輝度においては完全に補正量を「0」とした図6と比べて、高輝度部分である図右上については補正が異なることがわかる。
画像出力部40は、生成された平滑化画像を接続される他の装置に出力する。具体的に例を挙げると、画像出力部40は、平滑化画像生成部34により生成されて平滑化画像DB2に格納された平滑化画像を取得し、例えば、逆光画像などをきれいにするダイナミックレンジ圧縮を行って画像を生成するダイナミックレンジ装置に出力する。
[画像処理装置による処理]
次に、図8を用いて、画像処理装置による処理を説明する。図8は、実施例1に係る画像処理装置における処理の流れを示すフローチャートである。
図8に示すように、入力画像が入力画像受付部11により受け付けられて入力画像DB12に格納されると(ステップS101肯定)、フィルタ処理部31のLPF#0〜LPF#nは、レベル値制限平滑化画像を生成して、対応するレベル値制限平滑化画像#0DB22〜レベル値制限平滑化画像#nDB24に格納する(ステップS102)。
続いて、レベル値制限平滑化画像合成部32は、フィルタ処理部31により生成された複数のレベル値制限平滑化画像をレベル値制限平滑化画像#0DB22〜レベル値制限平滑化画像#nDB24から一つまたは複数選択して合成したレベル値合成画像を生成し、生成したレベル値制限合成画像をレベル値制限合成画像DB25に格納する(ステップS103)。
その後、合成比率決定部33は、入力画像DB21に格納される入力画像を取得して、取得した入力画像から合成比率を算出し、算出した合成比率を平滑化画像生成部34に通知し(ステップS104)、平滑化画像生成部34は、通知された合成比率に基づいて、レベル値制限合成画像DB25に記憶されるレベル値制限合成画像と、入力画像DB21に記憶される入力画像とを合成した平滑化画像を生成して、生成した平滑化画像を平滑化画像DB26に格納する(ステップS105)。
そして、画像出力部40は、平滑化画像生成部34により生成されて平滑化画像DB25に格納された平滑化画像を取得し、例えば、逆光画像などをきれいにするダイナミックレンジ圧縮を行って画像を生成するダイナミックレンジ装置に出力する。
[実施例1による効果]
このように、実施例1によれば、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタであるLPF#0〜LPF#nを用いて、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成し、生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成し、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、高速なエッジ保存平滑化処理を実施でき、また、離散化されたローパスフィルタとは独立してレベル値制限合成画像と入力画像とを合成することができる結果、ノイズ除去強度を高速かつ簡単に制御することが可能である。
また、実施例1によれば、複数のレベル値制限平滑化画像が生成される際に使用された処理対象成分とは異なる成分に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、処理対象の画像成分そのものではない画像成分に応じて、ノイズ除去強度を高速かつ簡単に制御することが可能である。
また、実施例1によれば、入力画像における色差成分情報について、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、複数のレベル値で制限された複数のレベル値制限平滑化画像を生成し、複数のレベル値制限平滑化画像が生成される際に使用された色差成分情報とは異なる輝度成分情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、色差成分のノイズ除去を輝度の高低で制御することが可能である。
また、実施例1によれば、複数のレベル値制限平滑化画像が生成される際に使用された色差成分情報よりも輝度成分情報が大きい場合には、合成されたレベル値合成画像よりも入力画像の比率を大きくするように合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、低輝度部のノイズ除去強度を強め、高輝度部のノイズ除去強度を弱めることが可能である。例えば、入力画像の比率を高めれば補正を弱めることが可能である。
ところで、実施例1では、入力画像の色差成分のノイズ除去強度を制御した場合について説明したが、本発明はこれに限定されるものではなく、本発明は、入力画像の輝度成分のノイズ除去強度を制御することもできる。
そこで、実施例2では、図9〜図14を用いて、入力画像の輝度成分のノイズ除去強度を制御する場合について説明する。図9は、実施例2に係る画像処理装置の全体構成を示す図である。なお、輝度成分のノイズは、ゲイン補正など輝度のレベル補正の量に依存するので、ここでは、輝度に対する補正処理(階調補正)を実施したあとのノイズ除去に関して説明する。
図9に示すように、ここでは、画像処理装置は、原画像に対して輝度補正が実施された画像を入力画像として受け付けて、実施例1と同様に、レベル値制限された複数のLPFを用いてレベル値制限平滑化画像を生成し、その後、レベル値制限平滑化画像を一つまたは複数選択して合成したレベル値制限合成画像を生成する。なお、ここでは、原画像と輝度補正された入力画像とを対応付けて、入力画像DB21に格納する。
そして、実施例1と異なり、実施例2に係る画像処理装置は、入力画像とレベル値制限合成画像とを合成(原画合成)する場合に、原画像と入力画像との差分を算出し、算出した差分である輝度補正量に基づいて合成比率を決定し、決定した合成比率を用いて入力画像とレベル値制限合成画像とを合成した平滑化画像を生成する。
ここで、入力画像の輝度成分のノイズ除去強度を制御する、つまり、原画像と入力画像との差分を算出し、算出した差分である輝度補正量に基づいて合成比率を決定して入力画像とレベル値制限合成画像とを合成した平滑化画像を生成する場合について、図10〜図14を用いて、具体的に例を挙げて説明する。なお、図10は、実施例2に係る原画像から分解されたY成分を示す図であり、図11は、実施例2に係る入力画像から分解されたY成分を示す図であり、図12は、平滑化された入力画像のY成分を示す図であり、図13は、輝度補正量を示す図であり、図14は、実施例2に係る合成比率を用いて原画合成された平滑化画像を示す図である。
上記したように、画像の輝度成分のノイズを除去するノイズ除去用の平滑化処理について説明すると、色差成分は、例えば、画像処理の分野で一般的に用いられている、YCbCr三成分のうちの、CbCrの二成分に対応する。ここでは、0から255の8bitデータを処理することを前提とし、この場合、無彩色は、Cb、Crがともに、128に対応することとなる。
このような状態において、入力画像受付部11は、原画像に対して輝度補正が実施された画像を入力画像として受け付ける。例えば、図10に示したような原画像のY成分が、図11に示したように輝度補正された入力画像を受け付ける。ここで、図10と図11とを比較してもわかるように、原画像(図10)の輝度成分が小さい図左上の各画素が、輝度補正された図11では大きくなっており、これが、輝度補正されたことを示している。
その後、実施例1と同様に、それぞれ異なったレベル値範囲が予め設定されているフィルタ処理部31の各LPFにより、入力画像の画素のレベル値が自身に設定されたレベル値範囲内の画素を処理対象として平滑化(平均値の算出)されたレベル制限平滑化画像が生成され、レベル値制限平滑化画像合成部32により、入力画像の各画素のレベル値に基づいて、当該画素に対するレベル制限平滑化画像を選択されて補間処理によって合成されたレベル値制限合成画像を図12に示す。
そして、合成比率決定部33は、図13に示すように、図10に示された原画像の輝度成分と、図11に示された輝度補正された入力画像の輝度成分との差分を算出する。ここで、原画像に輝度補正が施され、その補正量の大小に応じて合成比率を制御するとすれば、合成比率決定部33は、原画像をIn、LPF結果をL、出力をOut、当該画素の輝度補正量をCとした算出式「Out=(In*(255−C)+L*C)/255」を合成比率として決定する。なお、補正量の大きな画素ほどLPFが強くかかるため、輝度補正の方法としては、たとえば、retinex等の方法を用いればよい。その後、平滑化画像生成部34は、この決定された算出式(合成比率)を用いて、図14に示すように、入力画像(図11参照)とレベル値制限合成画像(図12参照)とを合成した平滑化画像を生成する。図14では、合成において、輝度補正量の小さい図左上については、入力画像(図11参照)の割合が大きく、輝度補正量の大きい図右上については、レベル値制限合成画像(図12参照)の割合が大きくなっていることがわかる。
[実施例2による効果]
このように、実施例2によれば、入力画像から取得した階調補正処理の情報を示す階調補正情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、輝度に対する補正量に応じて、ノイズ除去強度を制御することが可能である。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、(1)輪郭強調補正量を用いた合成、(2)フィルタ数、(3)システム構成等、(4)プログラムにそれぞれ区分けして異なる実施例を説明する。
(1)輪郭強調補正量を用いた合成
例えば、実施例2では、輝度に対する補正処理(階調補正)を実施したあとのノイズ除去、つまり、原画像に対して輝度補正が実施された画像を入力画像として受け付けた場合の合成手法について説明したが、本発明はこれに限定されるものではなく、原画像に対して実施されている輪郭強調やエッジ補正に応じた補正量に基づいて合成することもできる。
具体的には、図15に示すように、画像処理装置は、原画像に対して、USM(アンシャープマスク)等の方法により輪郭強調補正が実施された画像を入力画像として受け付けて、実施例2と同様に、レベル値制限された複数のLPFを用いてレベル値制限平滑化画像を生成し、その後、レベル値制限平滑化画像を一つまたは複数選択して合成したレベル値制限合成画像を生成する。なお、ここでは、原画像と輝度補正された入力画像とを対応付けて、入力画像DB21に格納する。また、図15は、輪郭協調量を用いて合成する場合の画像処理装置の全体構成を示す図である。
そして、実施例1や2と異なり、画像処理装置は、入力画像とレベル値制限合成画像とを合成(原画合成)する場合に、原画像と入力画像との差分を算出し、算出した差分である輪郭強調量に基づいて合成比率を決定し、決定した合成比率を用いて入力画像とレベル値制限合成画像とを合成した平滑化画像を生成する。
例えば、ノイズは、輪郭強調量に依存するが、極端に大きく輪郭強調した場所は、輪郭の目立つところであり、LPFでぼかすべきでない。したがって、ノイズ除去のフィルタは、やや大きな値で輪郭強調が施されたところを選択的に実施するのがのぞましい。そこで、画像処理装置は、原画像をIn、LPF結果をL、出力をOut、該当画素の輪郭補正量をSとした場合に、「if S > 50、Out=In、else if S > 25、Out=(In*(S−25)+L*(50−S))/25、else Out=(In*(25−S)+L(S))/25」を合成比率として決定し、これを用いて入力画像とレベル値制限合成画像とを合成する。
(2)フィルタ数
また、本発明では、フィルタ数は図示したものに限定されるものではなく、フィルタ数を3や10などにしてもよい。また、各フィルタに設定されたレベル範囲(階調範囲)も上記した実施例で記載した数値に限定されるわけでなく、任意に設定することができる。
(3)システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(4)プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。
図16は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。図16に示すように、コンピュータシステム100は、RAM101と、HDD102と、ROM103と、CPU104とから構成される。ここで、ROM103には、上記の実施例と同様の機能を発揮するプログラム、つまり、図16に示すように、レベル値制限平滑化画像生成プログラム103aと、レベル値制限合成プログラム103bと、平滑化画像生成プログラム103cとがあらかじめ記憶されている。
そして、CPU104には、これらのプログラム103a〜103cを読み出して実行することで、図16に示すように、レベル値制限平滑化画像生成プロセス104aと、レベル値制限合成プロセス104bと、平滑化画像生成プロセス104cとなる。なお、レベル値制限平滑化画像生成プロセス104aは、図2に示した、フィルタ処理部31に対応し、同様に、レベル値制限合成プロセス104bは、レベル値制限平滑化画像合成部32に対応し、平滑化画像生成プロセス104cは、合成比率決定部33と平滑化画像生成部34とに対応する。
また、HDD102は、受け付けられた入力画像、レベル値制限平滑化画像生成プロセス104aにより生成された複数のレベル値制限平滑化画像、レベル値制限合成プロセス104bにより合成されたレベル値制限合成画像、平滑化画像生成プロセス104cにより生成された平滑化画像をそれぞれ記憶する。
ところで、上記したプログラム103a〜103cは、必ずしもROM103に記憶させておく必要はなく、例えば、コンピュータシステム100に挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」の他に、コンピュータシステム100の内外に備えられるハードディスクドライブ(HDD)などの「固定用の物理媒体」、さらに、公衆回線、インターネット、LAN、WANなどを介してコンピュータシステム100に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム100がこれらからプログラムを読み出して実行するようにしてもよい。
以上のように、本発明に係る画像処理装置は、入力された入力画像から当該入力画像をぼかした平滑化画像を生成することに有用であり、特に、ノイズ除去強度を高速かつ簡単に制御することに適する。
図1は、実施例1に係る画像処理装置の概要と特徴を説明するための図である。 図2は、実施例1に係る画像処理装置の構成を示すブロック図である。 図3は、入力画像から分解されたY成分を示す図である。 図4は、入力画像から分解されたCr成分を示す図である。 図5は、平滑化された入力画像のCr成分を示す図である。 図6は、合成比率を用いて原画合成された平滑化画像を示す図である。 図7は、高輝度域において非線形な合成比率を用いて原画合成された平滑化画像を示す図である。 図8は、実施例1に係る画像処理装置における処理の流れを示すフローチャートである。 図9は、実施例2に係る画像処理装置の全体構成を示す図である。 図10は、実施例2に係る原画像から分解されたY成分を示す図である。 図11は、実施例2に係る入力画像から分解されたY成分を示す図である。 図12は、平滑化された入力画像のY成分を示す図である。 図13は、輝度補正量を示す図である。 図14は、実施例2に係る合成比率を用いて原画合成された平滑化画像を示す図である。 図15は、輪郭協調量を用いて合成する場合の画像処理装置の全体構成を示す図である。 図16は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。 図17は、従来技術を説明するための図である。 図18は、従来技術を説明するための図である。 図19は、従来技術を説明するための図である。 図20は、離散化されたローパスフィルタを用いた画像処理装置の例を示す図である。 図21は、離散化されたローパスフィルタを用いた画像処理装置における合成処理を説明するための図である。
10 画像処理装置
11 入力画像受付部
20 記憶部
21 入力画像DB
22 レベル値制限平滑化画像#0DB
23 レベル値制限平滑化画像#1DB
24 レベル値制限平滑化画像#nDB
25 レベル値制限合成画像DB
26 平滑化画像DB
30 制御部
31 フィルタ処理部
32 レベル値制限平滑化画像合成部
33 合成比率決定部
34 平滑化画像生成部
40 画像出力部
100 コンピュータシステム
101 RAM
102 HDD
103 ROM
103a レベル値制限平滑化画像生成プログラム
103b レベル値制限合成プログラム
103c 平滑化画像生成プログラム
104 CPU
104a レベル値制限平滑化画像生成プロセス
104b レベル値制限合成プロセス
104c 平滑化画像生成プロセス

Claims (5)

  1. 入力された入力画像から当該入力画像をぼかした平滑化画像を生成する画像処理装置であって、
    それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、前記入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成するレベル値制限平滑化画像生成手段と、
    前記レベル値制限平滑化画像生成手段により生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成するレベル値合成手段と、
    前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成する平滑化画像生成手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記平滑化画像生成手段は、前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された処理対象成分とは異なる成分に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記レベル値制限平滑化画像生成手段は、前記入力画像における色差成分情報について、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、前記入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成し、
    前記平滑化画像生成手段は、前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された色差成分情報とは異なる輝度成分情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項1に記載の画像処理装置。
  4. 前記入力画像は、画像の階調を補正する階調補正処理が既に実施されている画像であって、
    前記平滑化画像生成手段は、前記入力画像から取得した階調補正処理の情報を示す階調補正情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項1に記載の画像処理装置。
  5. 前記入力画像は、画像のエッジ部分を補正するエッジ強調処理が既に実施されている画像であって、
    前記平滑化画像生成手段は、前記入力画像から取得したエッジ強調処理の情報を示すエッジ強調情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項1に記載の画像処理装置。
JP2009546901A 2007-12-25 2007-12-25 画像処理装置 Active JP4952796B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/074841 WO2009081485A1 (ja) 2007-12-25 2007-12-25 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2009081485A1 JPWO2009081485A1 (ja) 2011-05-06
JP4952796B2 true JP4952796B2 (ja) 2012-06-13

Family

ID=40800803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009546901A Active JP4952796B2 (ja) 2007-12-25 2007-12-25 画像処理装置

Country Status (3)

Country Link
US (1) US8311356B2 (ja)
JP (1) JP4952796B2 (ja)
WO (1) WO2009081485A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4527750B2 (ja) * 2007-05-30 2010-08-18 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
US8300974B2 (en) * 2007-11-12 2012-10-30 Mitsubishi Electric Corporation Image processing device, image display device, and image processing method therefor
TW200930044A (en) * 2007-12-28 2009-07-01 Altek Corp False color depressing method for digital images
JP5496036B2 (ja) * 2010-09-21 2014-05-21 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2012178042A (ja) * 2011-02-25 2012-09-13 Canon Inc 画像形成装置、画像形成方法及びプログラム
JP5585494B2 (ja) * 2011-02-28 2014-09-10 富士通株式会社 画像処理装置、画像処理プログラム及び画像処理方法
US9324137B2 (en) * 2012-10-24 2016-04-26 Marvell World Trade Ltd. Low-frequency compression of high dynamic range images
JP5887303B2 (ja) 2013-06-19 2016-03-16 株式会社 日立産業制御ソリューションズ 画像信号処理装置,撮像装置および画像処理プログラム
US10326969B2 (en) * 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
LU92673B1 (en) * 2015-03-05 2016-09-06 Iee Int Electronics & Eng Sa Method and system for real-time noise removal and image enhancement of high-dynamic range images
TWI638336B (zh) * 2017-11-22 2018-10-11 瑞昱半導體股份有限公司 影像增強方法及影像增強裝置
CN109862338B (zh) * 2017-11-30 2021-03-02 瑞昱半导体股份有限公司 影像增强方法及影像增强装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270005A (ja) * 1996-04-03 1997-10-14 Matsushita Electric Ind Co Ltd エッジ画像処理装置およびエッジ画像処理方法
JP2003008898A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2004172726A (ja) * 2002-11-18 2004-06-17 Sony Corp 画像処理装置および方法
JP2005328277A (ja) * 2004-05-13 2005-11-24 Sony Corp 信号処理装置および方法、記録媒体、並びにプログラム
WO2007097125A1 (ja) * 2006-02-27 2007-08-30 Nikon Corporation 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
WO2007129367A1 (ja) * 2006-04-25 2007-11-15 Mitsubishi Denki Kabushiki Kaisha 画像合成装置および画像合成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5048109A (en) * 1989-12-08 1991-09-10 Xerox Corporation Detection of highlighted regions
KR940007346B1 (ko) * 1991-03-28 1994-08-13 삼성전자 주식회사 화상 처리 시스템의 엣지 검출 장치
US6023535A (en) * 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
US5799112A (en) * 1996-08-30 1998-08-25 Xerox Corporation Method and apparatus for wavelet-based universal halftone image unscreening
JP2000105815A (ja) 1998-09-28 2000-04-11 Yasuhiko Arakawa 顔画像処理方法および顔画像処理装置
US7440612B2 (en) * 1998-11-13 2008-10-21 Sony Corporation Image processing apparatus and method capable of correcting gradation of image data
US6665448B1 (en) * 2000-09-29 2003-12-16 Hewlett-Packard Development Company, L.P. Selective smoothing and sharpening of images by generalized unsharp masking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270005A (ja) * 1996-04-03 1997-10-14 Matsushita Electric Ind Co Ltd エッジ画像処理装置およびエッジ画像処理方法
JP2003008898A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2004172726A (ja) * 2002-11-18 2004-06-17 Sony Corp 画像処理装置および方法
JP2005328277A (ja) * 2004-05-13 2005-11-24 Sony Corp 信号処理装置および方法、記録媒体、並びにプログラム
WO2007097125A1 (ja) * 2006-02-27 2007-08-30 Nikon Corporation 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
WO2007129367A1 (ja) * 2006-04-25 2007-11-15 Mitsubishi Denki Kabushiki Kaisha 画像合成装置および画像合成方法

Also Published As

Publication number Publication date
US8311356B2 (en) 2012-11-13
WO2009081485A1 (ja) 2009-07-02
JPWO2009081485A1 (ja) 2011-05-06
US20100260432A1 (en) 2010-10-14

Similar Documents

Publication Publication Date Title
JP4952796B2 (ja) 画像処理装置
JP4847591B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4998287B2 (ja) 画像処理装置および方法、並びにプログラム
JP5495025B2 (ja) 画像処理装置および方法、並びにプログラム
JP4707830B2 (ja) テクスチャのノイズ依存制御を有するディジタル画像を改善する方法
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
JP4526445B2 (ja) 撮像装置
JP4523926B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
WO2009107197A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2001275015A (ja) 画像処理回路及び画像処理方法
WO2006025486A1 (ja) 画像補正処理システム及び画像補正処理方法
WO2016031189A1 (en) Image processing apparatus, image processing method, recording medium, and program
JP2012104968A (ja) 画像処理装置およびその制御方法
JP2012216888A (ja) 画像理装置および方法、並びにプログラム
JP7265316B2 (ja) 画像処理装置及び画像処理方法
JP4962573B2 (ja) 画像処理装置
JP5295854B2 (ja) 画像処理装置及び画像処理プログラム
JP2008293424A (ja) ノイズ除去装置並びにプログラムおよび方法
JP4277550B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
Jin et al. 23‐2: An Adaptive Contrast Enhancement of Image Using Multi‐Scale Histogram Representation
JP4207381B2 (ja) 画像処理装置、画像処理方法、および記録媒体
JP5761195B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP4992438B2 (ja) 画像処理装置および画像処理プログラム
JP5277388B2 (ja) 画像処理装置および撮像装置
JP6891014B2 (ja) 画像処理装置および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

R150 Certificate of patent or registration of utility model

Ref document number: 4952796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3