JP6242196B2 - 画像処理装置、画像処理装置の制御方法、及び、プログラム - Google Patents

画像処理装置、画像処理装置の制御方法、及び、プログラム Download PDF

Info

Publication number
JP6242196B2
JP6242196B2 JP2013250552A JP2013250552A JP6242196B2 JP 6242196 B2 JP6242196 B2 JP 6242196B2 JP 2013250552 A JP2013250552 A JP 2013250552A JP 2013250552 A JP2013250552 A JP 2013250552A JP 6242196 B2 JP6242196 B2 JP 6242196B2
Authority
JP
Japan
Prior art keywords
image
resolution
low
ratio
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013250552A
Other languages
English (en)
Other versions
JP2015108897A (ja
JP2015108897A5 (ja
Inventor
本田 充輝
充輝 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013250552A priority Critical patent/JP6242196B2/ja
Publication of JP2015108897A publication Critical patent/JP2015108897A/ja
Publication of JP2015108897A5 publication Critical patent/JP2015108897A5/ja
Application granted granted Critical
Publication of JP6242196B2 publication Critical patent/JP6242196B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理装置の制御方法、及び、プログラムに関する。
デジタルカメラ等の撮像装置では、ユーザーからの更なる高感度化や高画素化の要求により、画像に含まれるノイズ成分を精度よく除去することが求められている。特許文献1は、ノイズ除去の方法として、画像を複数の周波数帯域に分割し、ノイズを除去した高周波成分の画像と、低周波成分の画像とを、高周波成分の画像から抽出したエッジ信号に基づいて合成する手法を開示している。
特開2008-015741号公報
しかし、先行技術文献が開示する方法には、ノイズ振幅が大きくなってきた場合に、エッジとノイズが明確に分離できなくなる問題点がある。これに対し、ノイズをエッジとして判断しないようにエッジ検出のための閾値を大きくすると、エッジの検出精度が下がって画像のエッジ部分がボケてしまう。一方、エッジ検出のための閾値を小さくすると、残留ノイズが画像に残存してしまうことになる。
このように、従来手法では画像からノイズ成分とエッジ成分を精度よく分離することが困難であった。そこで、本発明は、画像からノイズ成分とエッジ成分を精度よく分離可能とする技術を提供することを目的とする。
上記課題を解決するための本発明は、入力画像と、前記入力画像から得られた低解像度画像とを第1の合成比率に基づき合成して、第1の合成画像を生成する画像処理装置であって、
前記入力画像を段階的に低解像度化する低解像度化手段と、
前記低解像度化手段により段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第2の合成比率に基づき合成して第2の合成画像を生成する第1の合成手段と、
前記入力画像に含まれるエッジ成分の大きさと前記第2の合成比率とに基づく前記第1の合成比率に基づき、前記入力画像と前記第2の合成画像とを合成し、前記第1の合成画像を生成する第2の合成手段とを備えることを特徴とする。
本発明によれば、画像からノイズ成分とエッジ成分を精度よく分離することができる。
発明の実施形態1の構成を説明するための図 発明の実施形態1に対応するノイズ除去処理の一例を示すフローチャート 発明の実施形態に対応する平滑化処理を説明するための図 発明の実施形態に対応するメモリに格納される画像を説明するための図 発明の実施形態1に対応する合成処理のための閾値決定手法の一例を説明するための図 発明の実施形態1に対応する合成処理のための閾値決定手法の他の一例を説明するための図 発明の実施形態2の構成を説明するための図 発明の実施形態2に対応するノイズ除去処理の一例を示すフローチャート 発明の実施形態2に対応するノイズ除去処理のための閾値決定手法の一例を説明するための図 発明の実施形態2に対応するノイズ除去処理のための閾値決定手法の他の一例を説明するための図 発明の実施形態に対応する画像処理装置の構成例を示す図
[実施形態1]
以下、発明の実施形態について図面を参照して詳細に説明する。図1は発明の一実施形態に対応する画像処理装置の構成を示すブロック図であり、特に画像処理ユニットの構成を示している。当該画像処理装置は、例えば、パーソナルコンピュータ、デジタルカメラ、携帯電話、スマートフォン、PDA、タブレット端末などの任意の情報処理装置とすることができる。画像処理装置100の全体構成は例えば図11に示す通りである。
画像処理装置100はCPU101、RAM102、ROM103を有する。ROM103には画像処理装置の基本的な制御プログラムが記憶されている。この制御プログラムは、装置の起動時にRAM102に読み込まれ、CPU101によって実行される。二次記憶装置104は、実際にはハードディスクあるいはメモリディスクなどである。二次記憶装置104には、高レベルな制御プログラム(たとえばオペレーションシステム)、ブラウザ、処理データに関する情報を管理するためのデータベース、機能部105で取得されたデータを装置1000に取り込むためのアプリケーション、取り込まれたデータなどが記憶される。これらのソフトウェアは、適時RAM102に読み込まれ、CPU101によって実行される。
機能部105は、装置の種類に応じた特定機能を実行するための構成を有する機能部である。例えば、画像処理装置100がデジタルカメラであれば、画像を撮影するためのカメラ機能を実現するための構成、例えば撮像素子やA/D変換器、画像処理部などが含まれる。ネットワークインタフェース(I/F)106は、外部のネットワークと接続するためのインタフェースである。操作部107は、ユーザからの指示操作を受け付けることが可能であって、キーボード、マウス、ボタン、タッチパネルなどから構成される。表示部108は、CPU101の表示制御に従って画像やグラフィカルユーザインタフェース(GUI)画面を表示し、モニタなどから構成される。そしてバス109は、101〜108が情報をやり取りする際に用いられる。
発明の実施形態に対応する画像処理ユニットは、例えば、上記画像処理装置の構成においてCPU101として実現されても良いし、或いは機能部において特定のデータ処理を実現するためのハードウェアとして実現されても良い。例えば、画像処理装置がデジタルカメラである場合、装置に必要な画像処理機能が実装されたハードウェア(専用ロジック回路等)として実現される。以下の説明では、画像処理装置が撮像装置の場合であって、画像処理ユニットが機能部105における画像処理部の一部として実装される場合を説明する。
機能部105の撮像部(撮像素子やA/D変換器等)から出力された入力画像1000は、メモリ1001に記憶される。メモリ部1001は、メモリ1010、1110及び1210で構成されている。この入力画像1000は、画像処理部における補正部おいて公知のセンサー補正処理が行われた画像データである。また、入力画像1000には、ローパスフィルタ(LPF)1101でLPF処理、ダウンサンプリング(DS)部1102でダウンサンプリング処理が施され、同時化された低解像度画像(第1の低解像度画像)が生成される。なお、同時化とは、同じ画素位置に複数種類の信号が生成されることをいう。
生成された第1の低解像度画像はメモリ1110に記憶される。DS部1102から出力された第1の低解像度画像には、LPF1201でLPF処理、DS部1202でダウンサンプリング処理が更に施され、解像度を更に落とした低解像度画像(第2の低解像度画像)が生成される。当該第2の低解像度画像はメモリ1210に記憶される。このようにすることで、処理ステップごとに同時化された低解像度画像が生成される。このような複数段のLPF処理部及びDS部を、画像を低解像度化するための構成として用いることで、解像度レベルが異なる複数の画像を段階的に生成することができる。
メモリ1010から出力された入力画像はノイズ除去(NR)処理部1011に入力され、本実施形態に対応するNR処理が行われて、NR画像(DATA1)が出力される。また、入力画像は、エッジ検出部1012にも入力され、エッジ検出処理が施される。エッジ検出部1012は、例えば公知のエッジ検出フィルタで構成され、入力信号にエッジ検出フィルタをかけて、その出力を高解像度エッジ強度出力信号(第1のエッジ信号:EDGE1)とする。
合成部1020は、NR処理部1011から出力されたNR画像(DATA1)と、US部1021から出力されたアップサンプリングされた第2の合成画像(DATA2'')とを第1の合成比率(MIX1)に従って合成する。合成部1020は、第1の合成比率(MIX1)を、エッジ検出部1012の出力である第1のエッジ信号(EDGE1)と、アップサンプリング(US)部1022で、アップサンプリングされた第2の合成比率(MIX2')とに基づいて決定する。合成部1020における合成結果の第1の合成画像は、画像処理ユニットにおける処理結果の出力画像として出力される。
メモリ1110から出力された第1の低解像度画像はNR処理部1111に入力され、NR処理が行われて、第1の低解像度NR画像(DATA2)が出力される。また、第1の低解像度画像は、エッジ検出部1112にも入力され、エッジ検出処理が施されてエッジ強度出力信号(第2のエッジ信号:EDGE2)が出力される。NR処理部1111及びエッジ検出部1112の機能は、基本的にNR処理部1011及びエッジ検出部1012と同様である。
合成部1120は、NR処理部1111から出力された第1の低解像度NR画像(DATA2)と、US部1121でアップサンプリングされた第2の低解像度NR画像(DATA3')とを、第2の合成比率(MIX2)に従って合成する。合成部1120は、第2の合成比率(MIX2)を、エッジ検出部1112の出力である第2のエッジ信号(EDGE2)と、US部1122でアップサンプリングされた第3のエッジ信号(EDGE3')とに基づいて決定する。合成部1120は合成後の第2の合成画像(DATA2')と、合成比率(MIX2)とを出力する。第2の合成画像(DATA2')はUS部1021に入力され、第2の合成比率(MIX2)はUS部1022に入力され、それぞれアップサンプリングされる。
メモリ1210から出力された第2の低解像度画像はNR処理部1211に入力され、NR処理が行われて、第2の低解像度NR画像(DATA3)が出力される。また、第2の低解像度画像は、エッジ検出部1212にも入力され、エッジ検出処理が施されてエッジ強度出力信号(第3のエッジ信号:EDGE3)が出力される。NR処理部1211及びエッジ検出部1212の機能は、基本的にNR処理部1011及びエッジ検出部1012と同様である。
なお、ここではエッジ検出部1012は、メモリ1010から出力された入力画像に対してエッジ検出フィルタをかける構成としたが、NR処理部1011から出力されたNR画像(DATA1)に対してエッジ検出フィルタをかける構成としてもよい。これは、エッジ検出部1112とエッジ検出部1212についても同様である。
次に、NR処理部1011、1111及び1211におけるノイズ除去処理の詳細を説明する。これらのNR処理部では、画像におけるエッジ情報を保持しつつ、エッジとしては振幅が小さいレベルの信号をノイズとして除去する。図2は、NR処理部におけるノイズ除去処理の一例を示すフローチャートである。ここでは、輝度成分信号をY、色成分信号をU、Vとして説明する。なお、画像の色空間の持たせ方は、YUVに限定されず、YCbCrやYPbPrであっても良いし、RGBであってもよい。当該フローチャートに対応する処理は、機能部105の画像処理部を構成する専用ロジック回路のNR処理部に相当する回路において実施することができるが、それ以外にも、NR処理部として機能するCPU101が対応するプログラム(ROM等に格納)を実行することにより実施しても良い。
まずステップS201で、処理対象画像の全画素について画素ごとに色成分信号から以下の式に基づいて彩度信号Cを生成する。
C={U2+V21/2 (式1)
次に、ステップS202に進み、処理対象画像を構成する画素の中から注目画素を選択する。さらに、ステップS203において注目画素の彩度信号Ccと、注目画素の周辺画素の彩度信号Ciとの差分絶対値DIFF_Cを算出する。次にステップS204で差分絶対値DIFF_Cと閾値とを比較し、閾値より小さい場合(S204で「YES」)、ステップS205に進む。S205では、差分絶対値が閾値より小さい周辺画素について、平滑化の対象画素とするフラグを立てる。また、差分絶対値DIFF_Cが閾値以上の場合(S204で「NO」)、ステップS206に進む。ステップS206では、注目画素の周辺画素で、差分絶対値を未算出の周辺画素が残っているか否かを判定する。もし、未処理の周辺画素が存在する場合(S206で「YES」)、S203に戻って処理を継続する。ステップS206で未処理の周辺画素がない場合は、ステップS207に進み、ステップS205で平滑化の対象となるフラグを立てた周辺画素を用いて注目画素について平滑化処理を行う。その後、S208に進んで、注目画素として未選択の画素が存在するか否かを判定する。もし未選択の画素が存在する場合(S208で「YES」)、S202に戻って上記処理を繰り返す。全ての画素を注目画素として選択し、上記処理を終えた場合(S208で「NO」)、本処理を終了する。
上記のノイズ除去処理について具体的に図3を例に説明する。図3(A)、(B)に示すように、注目画素(Uc、Vc)を中心として、周辺画素Ui、Vi(i=0〜7)の3x3の領域を平滑化処理対象とする。このとき、i=0、2、6、7の周辺画素が平滑化処理の対象と仮定すると、平滑化処理後の色差信号U_out、V_outは、下記の式2、式3で表現される。
U_out=(U0+U2+Uc+U6+U7)/5 (式2)
V_out = (V0+V2+Vc+V6+V7)/5 (式3)
なお、図2のフローチャートでは、色成分信号を例としてフローチャートの説明を行ったが、輝度成分信号Yについても同様にNR処理を行う。Y成分については、S201の処理は不要であるため、S202以降の処理を行えばよい。
図4は、メモリ1010、1110、1210の周波数イメージを示したものである。メモリ1010が格納する入力画像の周波数はf1、メモリ1110が格納する第1の低解像度画像の周波数はf2、メモリ1210が格納する第2の低解像度画像の周波数はf3で表される。このとき、f1>f2>f3が成立する。本実施形態では、合成部を制御して、領域1に属する周波数の画像については、NR処理部1011からの出力の合成比率を高くする。また、領域2に属する周波数の画像については、NR処理部1111からの出力の合成比率を高くする。そして、領域3に属する周波数の画像については、NR処理部1211からの出力の合成比率を高くする。処理対象の画素が、どの領域に属するかについては、エッジ検出結果を示すエッジ信号の値や、合成部1120における合成比率を参照して判定することができる。
以下、その具体的手法について、合成部1020及び1120における動作の詳細を図5及び図6を参照して説明する。まず図5は、合成部1120における合成処理を説明する図である。図5(A)の横軸はエッジ検出部1112から出力された第2のエッジ信号EDGE2の値を表し、縦軸が合成部1120の第2の合成比率MIX2を表す。ここでは、閾値ThL1及びThL2と比較することによりEDGE2を評価して、第2の合成比率MIX2を決定する。注目画素におけるEDGE2が閾値Th2以上の場合、合成比率は1となり、合成部1120は、注目画素におけるNR処理部1111から出力された第1の低解像度NR画像(DATA2)をそのまま注目画素における第2の合成画像(DATA2')として出力する。注目画素におけるEDGE2が閾値Th1以下の場合、合成比率は0となり、合成部1120は注目画素におけるアップサンプリングされた第2の低解像度NR画像(DATA3')をそのまま注目画素における第2の合成画像(DATA2')として出力する。また、注目画素におけるEDGE2が閾値ThL1とThL2との間の値をとる場合は、以下の式に従って第2の合成比率MIX2が決定される。
MIX2 =(EDGE2 - ThL1)/(ThL2 - ThL1) (式4)
以上により第2の合成比率MIX2が決定すると、合成部1120からの出力される注目画素における第2の合成画像DATA2'は以下の式に従って決定される。
DATA2'=(DATA2×MIX2)+(DATA3'×(1-MIX2)) (式5)
以上の処理を、合成部1120から出力される第2の合成画像DATA2'に含まれる全ての画素について行う。
次に図5(B)は、EDGE2と比較される閾値ThL1とThL2の決定方法の一例を示す。横軸がアップサンプリングされた第3のエッジ信号EDGE3'で、縦軸がEDGE2の閾値ThL1を示す。EDGE3'がThL11以下の場合、閾値ThL1はThL1__maxを出力し、ThL12以上の場合は、閾値ThL1はThL1_Minを出力する。EDGE3'が閾値ThL11とThL12との間の場合は、
ThL1={(ThL1_min - ThL1_max)/(ThL12-ThL11)}*(EDGE3'-ThL11) +ThL1_max (式6)
となる。なお、ThL2の演算もThL1と同様に算出可能であるので説明は省略するが、EDGE3'と閾値ThL21、ThL22とを比較し、ThL2_2maxからThL2_minまでの範囲で値を決定する。なお、ThL22>ThL21、かつ、ThL2_2max > ThL2_min > ThL1_maxである。
このように、合成部1120の第2の合成比率MIX2を決定する際に、より低解像度の画像においてもアップサンプリングされた第3のエッジ信号EDGE3'によりエッジであると判定された場合には、EDGE2の判別閾値(ThL1、ThL2)を小さくする。これにより、エッジ判別精度を高めると共に、高解像度の画像の合成比率も高める。このように、よりノイズの影響を受けにくい低解像度画像から検出したエッジ検出結果を利用することで、ノイズとエッジの識別が難しい画像についても、エッジ検出精度を向上することが可能となる。
次に、図6は合成部1020における合成処理を説明する図である。図6(A)の横軸はエッジ検出部1012から出力された第1のエッジ信号EDGE1で、縦軸が合成部1020の第1の合成比率MIX1を示す。ここでは、閾値ThH1及びThH2と比較することによりEDGE1を評価し、第1の合成比率MIX1を決定する。注目画素におけるEDGE1が閾値ThH2以上の場合、第1の合成比率MIX1は1となり、合成部1020は、注目画素におけるNR処理部1011から出力されたNR画像(DATA1)を第1の合成画像(DATA1')として選択し出力する。注目画素におけるEDGE1が閾値ThH1以下の場合、第1の合成比率MIX1は0となり、合成部1020は注目画素におけるアップサンプリングされた第1の低解像度NR画像(DATA2')を第1の合成画像(DATA1')として選択し出力する。また、注目画素におけるEDGE1が閾値ThH1とThH2との間の値をとる場合は、以下の式に従って第1の合成比率MIX1が決定される。
MIX1 =(EDGE1 - ThH1)/(ThH2 - ThH1) (式7)
第1の合成比率MIX1が決定すると、合成部1020から出力される注目画素における第1の合成画像(DATA1')は以下の式に従って決定される。
DATA1'=(DATA1×MIX1)+(DATA2"×(1-MIX1)) (式8)
以上の処理を、合成部1020から出力される第1の合成画像DATA1'に含まれる全ての画素について行う。
また、図6(B)は、EDGE1と比較される閾値ThH1とThH2の決定方法の一例を示す。横軸がUS部1022でアップサンプリングされた第2の合成比率MIX2'で、縦軸がエッジ検出の閾値ThH1を示す。MIX2'信号が1の場合、閾値ThH1はThH1_minを出力し、MIX2'信号が0の場合、閾値ThH1はThH1_maxを出力する。MIX2'信号が0と1との間の値をとる場合は、以下の式に従って閾値ThH1を決定する。
ThH1=(ThH1_min - ThH1_max)*(MIX2') +ThH1_max (式9)
なお、閾値ThH2の演算もThH1と同様に算出可能であるので説明は省略するが、MIX2'と閾値ThH21、ThH22とを比較し、ThH2_2maxからThH2_minまでの範囲で値を決定する。なお、ThH22>ThH21、かつ、ThH2_2max > ThH2_min > ThH1_maxである。
このように、合成部1020の合成比率を決定する際に、MIX2'が大きい(エッジ成分が多い)と判定された場合、EDGE1の判別閾値(ThH1、ThH2)を小さくして、エッジ判別精度を高くする。また、これにより高解像度画像の合成比率を高くすることができる。このように、本実施形態では、よりノイズの影響を受けにくい低解像度画像について得られた合成比率を、画像のエッジ成分に関する指標として利用する。これにより、ノイズとエッジの識別が難しい画像においても、エッジ検出精度を向上することが可能となる。
上記説明したように、本実施形態では、低解像度画像から求めたエッジ検出結果及び合成比率と、高解像度画像のエッジ検出結果とを参照して、高解像度画像の合成比率を決定する。これにより、ノイズとエッジの識別が難しい画像であっても、エッジ検出精度を向上させることができる。よって、エッジ成分の多い画像については、高解像度の画像の合成比率を高めてエッジ情報を残存させる一方、エッジ成分が少ない画像については低解像度の画像の合成比率を高めてノイズ成分を低減させることができる。
なお、本実施形態において、低解像度画像のエッジ検出の結果または合成比率を参照して、エッジ検出の閾値(ThL1、ThL2、ThH1、ThH2)を変更する方法を用いて説明した。しかし、低解像度画像におけるエッジ検出結果や合成比率を合成比率に反映させるものであれば、方法はこれに限るものでない。
[実施形態2]
次に、発明の第2の実施形態を説明する。図7は発明の一実施形態に対応する画像処理装置の構成を示すブロック図であり、特に画像処理ユニットの構成を示している。本実施形態においても、画像処理装置の全体的な構成は図1と同様であり、以下、画像処理装置が撮像装置の場合であって、画像処理ユニットが機能部105における画像処理部の一部として実装される場合を説明する。但し、実施形態1と共通する点については説明を省略し、異なる点について主に説明する。なお、図7において、図1に対応する構成要素に対しては同一の参照番号を付している。
メモリ1010から出力された入力画像はノイズ除去(NR)処理部7011に入力され、本実施形態に対応するNR処理が行われて、NR画像(DATA1)が出力される。合成部7020は、NR処理部7011から出力されたNR画像(DATA1)と、アップサンプリング(US)部1021から出力されたアップサンプリングされた第2の合成画像(DATA2'')とを合成する。当該合成は、エッジ検出部1012の出力である第1のエッジ信号(EDGE1)に基づき決定される第1の合成比率(MIX1)に従って行う。合成部1020における合成結果の第1の合成画像は、画像処理ユニットにおける処理結果の出力画像として出力される。
次に、メモリ1110からの出力された第1の低解像度画像はNR処理部7111に入力され、本実施形態に対応するNR処理が行われ、第1の低解像度NR画像(DATA2)が出力される。また、第1の低解像度画像は、エッジ検出部1112にも入力され、第2のエッジ信号(EDGE2)が生成される。
合成部7120は、NR処理部7111から出力された第1の低解像度NR画像(DATA2)と、US部1121でアップサンプリングされた第2の低解像度NR画像(DATA3')とを合成する。当該合成は、エッジ検出部1112の出力である第2のエッジ信号(EDGE2)に基づき合成比率(MIX2)を決定して行う。
合成部7120は合成結果の第2の合成画像(DATA2')と第2の合成比率(MIX2)とを出力する。第2の合成画像(DATA2')はUS部1021に入力され、第2の合成比率(MIX2)はUS部1022に入力され、それぞれアップサンプリングされる。US部1022でアップサンプリングされた第2の合成比率(MIX2')は、NR処理部7011に入力される。
メモリ1210から出力された第2の低解像度画像はNR処理部1211に入力され、NR処理が行われて、第2の低解像度NR画像(DATA3)が出力される。また、第2の低解像度画像は、エッジ検出部1212にも入力され、第3のエッジ信号(EDGE3)が生成される。出力された第3のエッジ信号は、US部1122でアップサンプリングされて、NR処理部7111に入力される。
次に、NR処理部7011及び7111におけるノイズ除去処理の詳細を説明する。図8は、NR処理部におけるノイズ除去処理の一例を示すフローチャートである。当該フローチャートに対応する処理は、機能部105の画像処理部を構成する専用ロジック回路のNR処理部に相当する回路において実施することができるが、それ以外にも、NR処理部として機能するCPU101が対応するプログラム(ROM等に格納)を実行することにより実施しても良い。
ステップS801で、後段のステップS804の処理で使用する閾値の設定を行う。ここでの閾値設定の方法の一例を図9、図10を参照して説明する。図9は、NR処理部7111における閾値設定方法の一例を説明する図である。図9において、横軸はアップサンプリングされた第3のエッジ信号EDGE3'を表し、縦軸はノイズ除去処理用の閾値NRThの値を表す。本実施形態では、閾値NRThは、NRTh__maxからNRTh__minまでの値をとる。EDGE3'の値を閾値ThN11及びThN12と比較し、ThN11以下の場合、閾値NRThをNRTh__maxに決定する。一方、EDGE3'がThN12以上の場合、閾値NRThをNRTh_minに決定する。EDGE3'が閾値ThN11とThN12との間の場合は、以下の式に従って閾値NRThを決定する。
NRTh={(NRTh_min - NRTh_max)/(ThN12-ThN11)}*(EDGE3' - ThN11) +NRTh_max (式10)
次に、図10は、NR処理部7011における閾値設定方法の一例を説明する図である。図10において、横軸はUS部1022でアップサンプリングされた第2の合成比率MIX2'を表し、縦軸はノイズ除去処理用の閾値NRTHの値を表す。本実施形態では、閾値NRTHは、NRTh__maxからNRTh__minまでの値をとる。ここではMIX2'が0の場合、閾値NRThをNRTh__maxに決定し、1の場合、閾値NRThをNRTh_minに決定する。MIX2'が0と1との間の場合は、以下の式に従って閾値NRThを決定する。
NRTh=(NRTh_min - NRTh_max)*MIX2'+NRTh_max (式11)
再び図8の説明に戻り、S801で閾値が決定すると、S802で、処理対象画像の全画素について画素ごとに色成分信号から式1に基づいて彩度信号Cを生成する。S802以降S809までの処理は、図2のS201からS208と同様であるので、詳細な説明は省略する。
なお、本実施形態では、NR処理部において前段のエッジ検出結果や合成比率を考慮したノイズ除去処理を行っているので、合成部1120及び1020では、これらを考慮しなくても良い。即ち、図5(B)や図6(B)における閾値ThL1、ThL2、ThH1及びThH2の決定処理を省略し、各閾値を固定とすることができる。その場合、合成対象の画像については、画像に含まれるエッジ成分量に応じたノイズ除去処理が行われているので、エッジ判別精度が高くなるように、各閾値を小さく設定することができる。例えば、ThL1=ThL1_min、ThL2=ThL2_min、ThH1=ThH1_min、及び、ThH2=ThH2_minとすることができる。
以上のように、NR処理部においてノイズ除去処理を行う際に、注目画素と周辺画素との差分絶対値と比較される閾値を、低解像度画像におけるエッジ検出結果や合成比率に基づいて決定しノイズ除去の度合いを制御することができる。これにより、例えば、第2の低解像度画像におけるエッジ検出結果に基づくアップサンプリングされた第2のエッジ信号EDGE3で、エッジ成分が多いと判断される場合は、NR処理の閾値が小さくなる。この結果、平滑化処理に利用される周辺画素数が減り、第1の低解像度画像に対するNR処理効果が弱められ、画像におけるエッジ成分が維持されることになる。一方、第2のエッジ信号EDGE3からエッジ成分が少ないと判断される場合は、NR処理の閾値を大きくする。この結果、より多くの周辺画素を用いた平滑化処理がお壊れることになるので第1の低解像度画像に対するノイズ除去効果を高めた上で、合成処理を実行することができる。
また、例えば合成部1120における合成比率MIX2において、第1の低解像度NR画像の合成比率が高いと判断される場合、NR処理の閾値が小さくなる。この結果、入力画像に対するNR処理効果が弱められ、画像におけるエッジ成分が維持されることになる。一方、第1の低解像度NR画像の合成比率が低いと判断される場合、NR処理の閾値を大きくする。この結果、入力画像に対するノイズ除去効果を高めた上で、合成処理を実行することができる。
以上のように、本実施形態によれば、低解像度画像から求めたエッジ検出結果や合成比率を参照して、処理対象の画像に含まれるエッジ成分が多いと判断される場合、高解像度画像のNR処理部の効果を弱くしてエッジ情報を維持することができる。これにより、ノイズとエッジの識別が難しい画像であっても、ノイズとエッジの検出精度を向上することが可能となる。
本実施形態でも、低解像度画像のエッジ検出結果や合成比率を参照して、NR処理部の閾値(Th1、Th2)を変更する方法を用いて説明した。しかし、低解像度画像のエッジ検出の結果または合成比率をNR処理部に反映させるものであれば、方法はこれに限るものでない。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (17)

  1. 入力画像と、前記入力画像から得られた低解像度画像とを第1の合成比率に基づき合成して、第1の合成画像を生成する画像処理装置であって、
    前記入力画像を段階的に低解像度化する低解像度化手段と、
    前記低解像度化手段により段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第2の合成比率に基づき合成して第2の合成画像を生成する第1の合成手段と、
    前記入力画像に含まれるエッジ成分の大きさと前記第2の合成比率とに基づく前記第1の合成比率に基づき、前記入力画像と前記第2の合成画像とを合成し、前記第1の合成画像を生成する第2の合成手段と
    を備えることを特徴とする画像処理装置。
  2. 前記第1の合成手段は、前記低解像度化手段により得られた第1の低解像度画像と、該第1の低解像度画像よりも更に解像度の低い第2の低解像度画像とを合成し、
    前記第2の合成手段は、前記入力画像に含まれる前記エッジ成分の大きさを、前記第2の合成比率における前記第1の低解像度画像の合成比率の大きさに応じた第1の閾値との比較に基づき評価して、前記第1の合成比率を決定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2の合成手段は、前記第2の合成比率における前記第1の低解像度画像の合成比率が大きいほど、前記第1の閾値を小さく設定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第2の合成手段は、前記入力画像に含まれるエッジ成分が大きいほど、前記第1の合成比率において該入力画像の合成比率を高くすることを特徴とする請求項2または3に記載の画像処理装置。
  5. 前記第1の合成手段は、前記第1の低解像度画像に含まれる前記エッジ成分の大きさを、前記第2の低解像度画像に含まれる前記エッジ成分の大きさに応じた第2の閾値との比較に基づき評価して、前記第2の合成比率を決定することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
  6. 前記第1の合成手段は、前記第2の低解像度画像に含まれる前記エッジ成分が大きいほど、前記第2の閾値を小さく設定することを特徴とする請求項5に記載の画像処理装置。
  7. 前記第1の合成手段は、前記第1の低解像度画像に含まれるエッジ成分が大きいほど、前記第2の合成比率において該第1の低解像度画像の合成比率を高くすることを特徴とする請求項5または6に記載の画像処理装置。
  8. 入力画像と、前記入力画像から得られた低解像度画像とを第1の合成比率に基づき合成して、第1の合成画像を生成する画像処理装置であって、
    前記入力画像を段階的に低解像度化する低解像度化手段と、
    前記入力画像からノイズ除去する第1の除去手段と、
    前記低解像度化手段により段階的に低解像度化して得られた、第1の低解像度画像と、前記第1の低解像度画像よりも解像度の低い第2の低解像度画像とからノイズ除去する第2の除去手段と、
    前記ノイズ除去された前記第1の低解像度画像と前記第2の低解像度画像とを、前記第1の低解像度画像に含まれるエッジ成分の大きさに応じた第2の合成比率に基づき合成して第2の合成画像を生成する第1の合成手段と、
    前記ノイズ除去された入力画像に含まれるエッジ成分の大きさに基づく前記第1の合成比率に基づき、前記ノイズ除去された入力画像と前記第2の合成画像とを合成し、前記第1の合成画像を生成する第2の合成手段と
    を備え、
    前記第1の除去手段は、前記第2の合成比率に応じたノイズ除去の度合いにより、前記入力画像からノイズ除去を行うことを特徴とする画像処理装置。
  9. 前記第1除去手段は、前記入力画像に含まれる画素のうち、
    注目画素と周辺画素との差分絶対値が、前記第2の合成比率における前記第1の低解像度画像の合成比率の大きさに応じた第1の閾値よりも小さくなる周辺画素と、
    前記注目画素と
    を用いた平滑化処理により、前記ノイズ除去を行うことを特徴とする請求項8に記載の画像処理装置。
  10. 前記第1除去手段は、前記第2の合成比率における前記第1の低解像度画像の合成比率が大きいほど、前記第1の閾値を小さく設定することを特徴とする請求項9に記載の画像処理装置。
  11. 前記第2除去手段は、前記第1の低解像度画像について、前記第2の低解像度画像に含まれるエッジ成分の大きさに応じたノイズ除去の度合いにより前記ノイズ除去を行うことを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。
  12. 前記第2除去手段は、前記第1の低解像度画像に含まれる画素のうち、
    注目画素と周辺画素との差分絶対値が、前記第2の低解像度画像に含まれるエッジ成分の大きさに応じた第2の閾値よりも小さくなる周辺画素と、
    前記注目画素と
    を用いた平滑化処理により、前記ノイズ除去を行うことを特徴とする請求項11に記載の画像処理装置。
  13. 前記第2除去手段は、前記第2の低解像度画像に含まれるエッジ成分が大きいほど、前記第2の閾値を小さく設定することを特徴とする請求項12に記載の画像処理装置。
  14. 前記入力画像を撮像する撮像手段を更に備えることを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
  15. 入力画像と、前記入力画像から得られた低解像度画像とを第1の合成比率に基づき合成して、第1の合成画像を生成する画像処理装置の制御方法であって、
    前記入力画像を段階的に低解像度化する低解像度化工程と、
    前記低解像度化工程において段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第2の合成比率に基づき合成して第2の合成画像を生成する第1の合成工程と、
    前記入力画像に含まれるエッジ成分の大きさと前記第2の合成比率とに基づく前記第1の合成比率に基づき、前記入力画像と前記第2の合成画像とを合成し、前記第1の合成画像を生成する第2の合成工程と
    を備えることを特徴とする画像処理装置の制御方法。
  16. 入力画像と、前記入力画像から得られた低解像度画像とを第1の合成比率に基づき合成して、第1の合成画像を生成する画像処理装置の制御方法であって、
    前記入力画像を段階的に低解像度化する低解像度化工程と、
    前記入力画像からノイズ除去する第1の除去工程と、
    前記低解像度化工程において段階的に低解像度化して得られた、第1の低解像度画像と、前記第1の低解像度画像よりも解像度の低い第2の低解像度画像とからノイズ除去する第2の除去工程と、
    前記ノイズ除去された前記第1の低解像度画像と前記第2の低解像度画像とを、前記第1の低解像度画像に含まれるエッジ成分の大きさに応じた第2の合成比率に基づき合成して第2の合成画像を生成する第1の合成工程と、
    前記ノイズ除去された入力画像に含まれるエッジ成分の大きさに基づく前記第1の合成比率に基づき、前記ノイズ除去された入力画像と前記第2の合成画像とを合成し、前記第1の合成画像を生成する第2の合成工程と
    を備え、
    前記第1の除去工程では、前記第2の合成比率に応じたノイズ除去の度合いにより、前記入力画像からノイズ除去が行われることを特徴とする画像処理装置の制御方法。
  17. コンピュータを請求項1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2013250552A 2013-12-03 2013-12-03 画像処理装置、画像処理装置の制御方法、及び、プログラム Expired - Fee Related JP6242196B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013250552A JP6242196B2 (ja) 2013-12-03 2013-12-03 画像処理装置、画像処理装置の制御方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250552A JP6242196B2 (ja) 2013-12-03 2013-12-03 画像処理装置、画像処理装置の制御方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2015108897A JP2015108897A (ja) 2015-06-11
JP2015108897A5 JP2015108897A5 (ja) 2017-01-19
JP6242196B2 true JP6242196B2 (ja) 2017-12-06

Family

ID=53439216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250552A Expired - Fee Related JP6242196B2 (ja) 2013-12-03 2013-12-03 画像処理装置、画像処理装置の制御方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6242196B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595220B (zh) * 2018-04-25 2021-04-16 上海掌门科技有限公司 应用组件的处理方法、设备及计算机可读存储介质
JP2023103116A (ja) * 2022-01-13 2023-07-26 Tvs Regza株式会社 画像処理回路

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165312A (ja) * 2006-12-27 2008-07-17 Konica Minolta Holdings Inc 画像処理装置及び画像処理方法
KR101422096B1 (ko) * 2010-02-12 2014-07-23 캐논 가부시끼가이샤 화상 처리장치 및 화상 처리방법
JP5719148B2 (ja) * 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
JP2015108897A (ja) 2015-06-11

Similar Documents

Publication Publication Date Title
US9262684B2 (en) Methods of image fusion for image stabilization
US20060290950A1 (en) Image superresolution through edge extraction and contrast enhancement
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5609080B2 (ja) 画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法
JP6369150B2 (ja) アンチエイリアシングエッジを回復するフィルタリング方法及びフィルタリング装置
WO2020078102A1 (zh) 图像增强方法、装置和计算机可读存储介质
JP6242196B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
KR20220153657A (ko) 지향성 스케일링 시스템들 및 방법들
EP3125191A1 (en) Image processing device
KR20200080926A (ko) 영상 처리 장치 및 그 영상 처리 방법
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP2019100937A (ja) 欠陥検査装置及び欠陥検査方法
JP6344651B2 (ja) フォーカスアシスト機能付き撮像装置
JP2008021219A (ja) 画像処理装置及び方法
US9552632B2 (en) Dynamic waveform region enhancement
JP5350497B2 (ja) 動き検出装置、制御プログラム、および集積回路
JP2016174306A (ja) 画像処理装置、画面処理方法及びプログラム
US11778240B2 (en) Banding artifact detection in images and videos
EP3719740B1 (en) Image processing device, image processing method, and image processing program
WO2024214381A1 (ja) 画像処理装置、画像処理方法及びプログラム
US10096090B2 (en) Image processing apparatus, image processing method, and storage medium, relating to emphasizing a contour region
JP5804258B2 (ja) 画像処理装置、電子機器
WO2022164795A1 (en) Banding artifact detection in images and videos
JP5701816B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171107

R151 Written notification of patent or utility model registration

Ref document number: 6242196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees