WO2014042155A1

WO2014042155A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2014042155A1
Application number: PCT/JP2013/074393
Authority: WO
Inventors: 栄太小林; 竹中　崇
Original assignee: 日本電気株式会社
Priority date: 2012-09-11
Filing date: 2013-09-10
Publication date: 2014-03-20
Also published as: JPWO2014042155A1; EP2897099A1; US20160260200A1; EP2897099A4; US9922401B2

Abstract

　必要なリソースを最小限に抑えつつ、複数のノイズ除去を組み合わせたノイズ除去を行う画像処理装置を提供する。画像処理装置は、入力画像を第１の低周波数成分及び第１の低周波数成分よりも高い周波数成分を含む第１の高周波数成分に周波数分離する第１の周波数分離部と、第１の低周波数成分を、第２の低周波数成分及び第２の低周波数成分よりも高い周波数成分を含む第２の高周波数成分に分離する第２の周波数分離部と、第２の低周波数成分及び第２の高周波数成分に対してノイズ除去処理を行い、ノイズ除去後の画像を第１の変換画像として出力する第１の画像変換部と、第１の高周波数成分及び第１の変換画像に対して、第１の画像変換部に割り当てられたリソースよりも少ないリソースを割り当てて、ノイズ除去処理を行い、ノイズ除去後の画像を第２の変換画像として出力する第２の画像変換部と、を備える。

Description

画像処理装置及び画像処理方法

　［関連出願についての記載］
　本発明は、日本国特許出願：特願２０１２－１９９２８２号（２０１２年９月１１日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。

　本発明は、画像処理装置及び画像処理方法に関する。特に、画像信号のノイズを除去する画像処理装置及び画像処理方法に関する。

　ＣＣＤ（Charge Coupled Device）センサを初めとした画像センサの高性能化に伴い、画像信号からノイズを除去する技術の必要性が高まっている。画像センサが高画素化することで、隣接する画素間に流れる電流が互いに影響し、ノイズの原因となり得る。また、高画素の画像センサを用いて撮影された画像の容量は増加の一途である。そのため、原画像のまま撮影データを扱うことは適切ではなく、画像信号の圧縮処理が行われる。しかし、圧縮処理の際に、所謂モスキートノイズやブロックノイズといったノイズが発生する場合がある。

　特許文献１において、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制する画像処理装置が開示されている。特許文献２において、画像のエッジ部がぼやけるのを防ぎつつ、エッジ周辺部を含む画像全体のノイズを低減することができる画像処理装置が開示されている。特許文献３において、コアリング処理に起因して生じるエッジのぼけを低減しつつ、ノイズを除去できる画像処理装置が開示されている。特許文献４において、輝度と色差に関してそれぞれ最適なノイズリダクションを行いつつ、回路規模を大幅に削減した安価なノイズ除去回路を実現する画像処理装置が開示されている。

　さらに、特許文献５において、ＴＶ（Total Variation）ノイズ除去が開示されている。ＴＶノイズ除去は、周囲の画素の色情報を使用し、エッジ成分を保持しつつ、ノイズを除去する技術である。

特開２００７－１８８２１１号公報特開２００９－２１９０６６号公報特開２００７－３１６９８３号公報特開２００８－２１１６２７号公報特許第３２６３５３５号公報

　なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

　上述のように、画像信号からノイズを除去する技術には複数の手法が存在する。しかし、いずれのノイズ除去処理も万能ではない（全てのノイズが除去できるわけではない）。例えば、ウェーブレット縮退によるノイズ除去では、ウェーブレット変換を複数回実行する多重解像度解析によって、低周波ノイズを除去することができる。しかし、ウェーブレット縮退によるノイズ除去後の画像のエッジが不明瞭になる、あるいは、ブロックノイズのようなアーティファクトが発生することも多い。

　また、ＴＶノイズ除去は、画像信号をエッジ成分とテクスチャ成分に分離することで、エッジを保持しつつ、ノイズの除去が可能である。しかし、ウェーブレット縮退であれば除去できる低周波ノイズを除去できない場合や、ノイズ除去と共にテクスチャに関する情報も消去してしまう場合がある。

　このように、ノイズ除去処理には長所・短所が存在する。そこで、複数のノイズ除去処理を組み合わせて、効果的にノイズを除去しつつ、各ノイズ除去処理の短所を補完することが考えられる。なお、複数のノイズ除去処理の組み合わせについての詳細は後述する。

　複数のノイズ除去を組み合わせることで、よりノイズ除去の効果を高めることができる。しかし、複数のノイズ除去の組み合わせを、ＣＰＵ（Central Processing Unit）にプログラムを実行させることで実現することは、様々な制約から困難である。例えば、複数のノイズ除去処理を組み合わせたアルゴリズムは非常に複雑であり、ＣＰＵが、複雑なアルゴリズムを実装したプログラムを処理するスピードには限界がある。

　さらに、複雑なアルゴリズムを実行するには、大容量のメモリを必要とする。即ち、ＣＰＵにプログラムを実行させることで、複雑なアルゴリズムを用いた複数のノイズ除去処理を実現するためには、必要なリソースが肥大化してしまう。そのため、必要なリソースを最小限に抑えつつ、複数のノイズ除去を組み合わせたノイズ除去を行う画像処理装置が望まれる。なお、特許文献１～５が開示する技術では、複数のノイズ除去を組み合わせつつ、必要なリソースを最小限に抑えることはできない。

　本発明の第１の視点によれば、入力画像を受け付け、前記入力画像を、第１の低周波数成分及び前記第１の低周波数成分よりも高い周波数成分を含む第１の高周波数成分に周波数分離する第１の周波数分離部と、前記第１の低周波数成分を、第２の低周波数成分及び前記第２の低周波数成分よりも高い周波数成分を含む第２の高周波数成分に分離する第２の周波数分離部と、前記第２の低周波数成分及び第２の高周波数成分に対してノイズ除去処理を行い、ノイズ除去後の画像を第１の変換画像として出力する第１の画像変換部と、前記第１の高周波数成分及び前記第１の変換画像に対して、前記第１の画像変換部に割り当てられたリソースよりも少ないリソースを割り当てて、ノイズ除去処理を行い、ノイズ除去後の画像を第２の変換画像として出力する第２の画像変換部と、を備える画像処理装置が提供される。

　本発明の第２の視点によれば、入力画像を受け付け、前記入力画像を、第１の低周波数成分及び前記第１の低周波数成分よりも高い周波数成分を含む第１の高周波数成分に周波数分離する第１の周波数分離工程と、前記第１の低周波数成分を、第２の低周波数成分及び前記第２の低周波数成分よりも高い周波数成分を含む第２の高周波数成分に分離する第２の周波数分離工程と、前記第２の低周波数成分及び第２の高周波数成分に対してノイズ除去処理を行うことで第１の変換画像を出力する第１の画像変換工程と、前記第１の高周波数成分及び前記第１の変換画像に対して、前記第１の画像変換工程で使用するリソースよりも少ないリソースを使用して、ノイズ除去処理を行うことで第２の変換画像を出力する第２の画像変換工程と、を含む画像処理方法が提供される。

　本発明の各視点によれば、必要なリソースを最小限に抑えつつ、複数のノイズ除去を組み合わせたノイズ除去を行う画像処理装置及び画像処理方法が、提供される。

一実施形態の概要を説明するための図である。画像処理方法の一例を示す図である。入力画像に対して離散ウェーブレット変換を行った際の一例を示す図である。画像処理方法の一例を示す図である。画像処理装置１の内部構成の一例を示す図である。図５に示す画像処理部２０の内部構成の一例を示す図である。入力画像の構成の一例を示す図である。第１の実施形態に係る画像処理部２０ａの内部構成の一例を示す図である。

　初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。

　上述のように、複数のノイズ除去処理を組み合わせたアルゴリズムは非常に複雑なものとなる。複雑なアルゴリズムを実現するためには、多くのリソースを必要とする。そのため、必要なリソースを最小限に抑えつつ、複数のノイズ除去を組み合わせたノイズ除去を行う画像処理装置が、望まれる。

　そこで、一例として図１に示す画像処理装置１００を提供する。図１に示すが画像処理装置１００は、第１の周波数分離部１０１と、第２の周波数分離部１０２と、第１の画像変換部１０３と、第２の画像変換部１０４と、を備える。第１の周波数分離部１０１は、入力画像を受け付け、入力画像を、第１の低周波数成分及び第１の低周波数成分よりも高い周波数成分を含む第１の高周波数成分に周波数分離する。第２の周波数分離部１０２は、第１の低周波数成分を、第２の低周波数成分及び第２の低周波数成分よりも高い周波数成分を含む第２の高周波数成分に分離する。第１の画像変換部１０３は、第２の低周波数成分及び第２の高周波数成分に対してノイズ除去処理を行い、ノイズ除去後の画像を第１の変換画像として出力する。第２の画像変換部１０４は、第１の高周波数成分及び第１の変換画像に対して、第１の画像変換部１０３に割り当てられたリソースよりも少ないリソースを割り当てて、ノイズ除去処理を行い、ノイズ除去後の画像を第２の変換画像として出力する。

　第１の周波数分離部１０１は、入力画像を低周波数成分と高周波数成分に分離する。第２の周波数分離部１０２は、第１の周波数分離部１０１が分離した低周波数成分を受け付け、さらに、この低周波数成分を低周波数成分と高周波数成分に分離する。第１の画像変換部１０３では、第２の周波数分離部１０２が出力する低周波数成分と高周波数成分とを使用して、ノイズ除去処理を行う。より具体的には、第１の画像変換部１０３は、ウェーブレット縮退等を用いてノイズ除去処理を行う。

　ここで、第１の画像変換部１０３が出力する第１の変換画像は、第１の低周波数成分に対してノイズ除去を実施したものである。そのため、第１の高周波数成分と第１の変換画像から、第１の画像変換部１０３で行ったノイズ除去を反映した画像が再構築できる。さらに、第２の画像変換部１０４は、第１の高周波数成分と第１の変換画像に対して、ノイズ除去を行う。その際、第１の画像変換部１０３と第２の画像変換部１０４で行うノイズ除去は同一の処理である必要はない。

　上述のように、第２の画像変換部１０４では、第１の画像変換部１０３で行ったノイズ除去が反映された第１の変換画像を使用する。そのため、第１の画像変換部１０３におけるノイズ除去の効果は、画像全体（第２の変換画像）に与える影響が大きい。一方、第２の画像変換部１０４で行うノイズ除去の効果は、他のノイズ除去に影響を与えない。そのため、第２の画像変換部１０４で行うノイズ除去の効果が画像全体に与える影響は、第１の画像変換部１０３で行うノイズ除去と比較すれば、小さい。そこで、第２の画像変換部１０４で行う処理を簡略化し、第２の画像変換部１０４で必要とするリソースを削減する。

　その結果、必要なリソースを最小限に抑えつつ、複数のノイズ除去を組み合わせたノイズ除去を行う画像処理装置が、提供できる。

　さらに、下記の形態が可能である。

　［形態１］上記第１の視点に係る画像処理装置のとおりである。

　［形態２］前記第１の周波数分離部には、ウェーブレット変換を行う第１のウェーブレット変換部が含まれ、前記第２の周波数分離部には、ウェーブレット変換を行う第２のウェーブレット変換部が含まることが好ましい。

　［形態３］前記第１の画像変換部は、第１のウェーブレット縮退部と、第１の逆ウェーブレット変換部を含むことが好ましい。第１のウェーブレット縮退部は、前記第２の高周波数成分のウェーブレット係数と第１の閾値とを比較し、前記第１の閾値よりも小さいウェーブレット係数を縮退する。第１の逆ウェーブレット変換部は、前記第１のウェーブレット縮退部の出力する信号と前記第２の低周波数成分を逆ウェーブレット変換することで、画像を再構成する。前記第２の画像変換部は、第２のウェーブレット縮退部と、第２の逆ウェーブレット変換部と、を含むことが好ましい。第２のウェーブレット縮退部は、前記第１の高周波数成分のウェーブレット係数と第２の閾値とを比較し、前記第２の閾値よりも小さいウェーブレット係数を縮退する。第２の逆ウェーブレット変換部は、前記第２のウェーブレット縮退部の出力する信号と前記第１の変換画像を逆ウェーブレット変換することで、画像を再構成する。

　［形態４］前記第１のウェーブレット変換部及び前記第１の逆ウェーブレット変換部が使用する第１の基底関数と、前記第２のウェーブレット変換部及び前記第２の逆ウェーブレット変換部が使用する第２の基底関数と、は異なることが好ましい。

　［形態５］前記第１のウェーブレット変換部、前記第１の逆ウェーブレット変換部、前記第２のウェーブレット変換部及び前記第２の逆ウェーブレット変換部は、前記入力画像の走査線方向の画素を記憶するラインバッファを、それぞれ備えることが好ましい。さらに、前記第１のウェーブレット変換部及び前記第１の逆ウェーブレット変換部が備える第１のラインバッファは、前記第２のウェーブレット変換部及び前記第２の逆ウェーブレット変換部が備える第２のラインバッファよりもライン数が少ないことが好ましい。

　［形態６］前記第１及び／又は第２の画像変換部は、ノイズ除去後の画像に対して画像補正を行う画像補正部を含むことが好ましい。

　［形態７］前記第１のウェーブレット変換部と、前記第１のウェーブレット縮退部と、前記第１の逆ウェーブレット変換部と、前記第２のウェーブレット変換部と、前記第２のウェーブレット縮退部と、前記第２の逆ウェーブレット変換部と、によってパイプラインアーキテクチャを構成することが好ましい。

　［形態８］上記第２の視点に係る画像処理方法のとおりである。

　次に、複数のノイズ除去処理を組み合わせた画像処理について説明する。

　図２は、画像処理方法の一例を示す図である。

　図２に示す画像処理方法は、ノイズ除去と画像補正から構成されている。

　図２に示す画像処理方法では、入力された画像信号からノイズ除去処理によってノイズを除去し、ノイズ除去後の画像に対して補正を行うことで、ノイズを除去することによって生じる弊害を緩和し、画質を向上させる。

　次に、ノイズ除去処理について詳細に説明する。

　ノイズ除去処理には、離散ウェーブレット変換ＷＴ１と、ウェーブレット縮退ＷＤ１と、逆離散ウェーブレット変換ＩＷＴ１と、第２のノイズ除去処理ＮＲ１と、が含まれている。なお、図２以降の図面において、離散ウェーブレット変換を「ＤＷＴ」、ウェーブレットを「Ｗａｖeｌｅｔ」、逆離散ウェーブレット変換を「ＩＤＷＴ」と表記する。

　離散ウェーブレット変換ＷＴ１は、入力画像に対して水平方向（走査線方向）及び垂直方向の離散ウェーブレット変換を行う。図３は、入力画像に対して離散ウェーブレット変換を行った際の一例を示す図である。図３の左側に示す入力画像に対して離散ウェーブレット変換を行うと、入力画像は４つのサブバンドに周波数分離される。即ち、入力画像は、水平方向及び垂直方向のそれぞれの方向について、高周波数成分と低周波数成分を含む４つのサブバンドに分離される。図３の左上のサブバンドは、水平方向及び垂直方向の低周波数成分が含まれる。同様に、左下のサブバンドには、水平方向の低周波数成分と垂直方向の高周波数成分が、右上のサブバンドには、水平方向の高周波数成分と垂直方向の低周波数成分が、右下のサブバンドには、水平方向及び垂直方向の高周波数成分が、それぞれ含まれる。

　ウェーブレット縮退ＷＤ１では、入力画像に対して離散ウェーブレット変換を行うことで得られた４つのサブバンドのうち、高周波数成分を含むサブバンドのノイズ除去を行う。ウェーブレット縮退ＷＤ１で行うノイズ除去は、入力画像の高周波数成分のウェーブレット係数と閾値を比較することで、閾値以下のウェーブレット係数を持つ信号をノイズとみなす処理である。より具体的には、入力画像の高周波数成分（左上のサブバンドを除く各サブバンド）において、各信号のウェーブレット係数が設定した閾値以下であれば、そのような信号を０に置き換えることで縮退する。ここで、入力画像に本来含まれる信号であれば、ウェーブレット係数は一定値以上であると推定することができるが、ウェーブレット係数が微少である信号はノイズであると推定できる。このような信号とノイズの性質に着目し、閾値以下のウェーブレット係数を持つ信号をノイズとみなし、０に書き換え、除去するのが、ウェーブレット縮退ＷＤ１である。

　逆離散ウェーブレット変換ＩＷＴ１では、離散ウェーブレット変換ＷＴ１が分離した低周波数成分と、ウェーブレット縮退ＷＤ１が施された高周波数成分と、から画像信号を再構成する。

　第２のノイズ除去処理ＮＲ１は、ウェーブレット縮退ＷＤ１によるノイズ除去を補完する、又は、離散ウェーブレット変換ＷＴ１により生じるノイズを除去する機能を備える。第２のノイズ除去処理ＮＲ１には、平均値フィルタやメディアンフィルタ等を初めとしたウェーブレット変換を使用しないノイズ除去フィルタ処理を用いることができる。ただし、第２のノイズ除去処理ＮＲ１をこれらの処理に限定する趣旨ではなく、第２のノイズ除去処理ＮＲ１は、ウェーブレット縮退ＷＤ１によるノイズ除去を補完する、又は、離散ウェーブレット変換ＷＴ１により生じるノイズを除去する処理であればよい。例えば、ＴＶ正則化等のノイズ除去処理を、第２のノイズ除去処理ＮＲ１で実施することもできる。なお、ＴＶ正則化とは、入力画像が本来持っているエッジ成分を保持しつつ、画像信号からノイズを除去する処理である。より具体的には、周囲の画素の色情報から、エッジ成分とテクスチャ成分を分離し、エッジ成分を保持したまま、テクスチャ成分に含まれるノイズ成分を弱める処理である。

　画像補正は、図２に示す補正処理ＣＰ１において行われる。補正処理ＣＰ１では、エッジの書き戻しによるエッジ復元、又はエッジ強調等のシャープニング処理を実施するのが好ましい。あるいは、ホワイトバランスやトーンバランスの補正といった色彩補正を実施することができる。補正処理ＣＰ１では、エッジ処理、シャープニング処理、色彩補正等からいずれかを選択又は組み合わせることで、ノイズ除去された画像を補正する。ただし、補正処理ＣＰ１で行う処理を、これらの処理に限定する趣旨ではない。

　図２に示す画像処理方法では、入力画像に対して複数のノイズ除去処理を実施することで、ノイズ除去の効果を高めつつ、そのノイズ除去により生じる画像への影響を、画像補正によって緩和する。さらに、以下のような構成とすることで、よりノイズ除去の効果を高めることができる。

　図４は、画像処理方法の一例を示す図である。図４において、図２と同一の構成要素には同一の符号を付しその説明を省略する。

　図４に示す画像処理方法では、離散ウェーブレット変換を複数回繰り返し、より周波数の低い成分を抽出する。抽出した低周波数成分に対して一連のノイズ除去及び画像補正を行う。そのため、図４に示す画像処理方法は、離散ウェーブレット変換ＷＴ２及びＷＴ３を追加し、低周波数成分を抽出している。なお、図４において、周波数分離されたサブバンドのうち、低周波数成分については左下向き方向の網掛けで表記する。また、周波数分離されたサブバンドのうち、高周波数成分については右下向き方向の網掛けで表記する。抽出した各低周波数成分に対して一連のノイズ除去（ウェーブレット縮退、第２のノイズ除去処理）及び画像補正（補正処理）を実施する。その結果、より高画質な画像を得ることができる。

　次に、図４に示す画像処理方法の動作について説明する。

　離散ウェーブレット変換ＷＴ１は入力画像を受け付ける。離散ウェーブレット変換ＷＴ１は、入力画像を４つのサブバンドに分離する。離散ウェーブレット変換ＷＴ１が分離する４つのサブバンドをレイヤＬ０とする。

　離散ウェーブレット変換ＷＴ２は、分離されたサブバンドのうち、低周波数成分２０１を含むサブバンドを４つのサブバンドに分離する。この離散ウェーブレット変換ＷＴ２が分離する４つのサブバンドをレイヤＬ１とする。

　さらに、離散ウェーブレット変換ＷＴ３は、レイヤＬ１の低周波数成分２０３を含むサブバンドを４つのサブバンドに分離する。この離散ウェーブレット変換ＷＴ３が分離する４つのサブバンドをレイヤＬ２とする。

　このように、図４に示す画像処理方法では、入力画像に対して複数回の離散ウェーブレット変換を実施（図４では３回）し、低周波数成分を抽出している。複数回の離散ウェーブレット変換が実施された後は、レイヤＬ２の高周波数成分２０６に対してウェーブレット縮退ＷＤ３が実施される。その後、逆離散ウェーブレット変換ＩＷＴ３は、ウェーブレット縮退後のレイヤＬ２の高周波数成分２０６とレイヤＬ２の低周波数成分２０５から画像を再構成する。再構成された画像に対して第２のノイズ除去処理ＮＲ３及び画像補正（補正処理ＣＰ３）が実施される。

　補正処理ＣＰ３は、レイヤＬ２における再構成後の画像信号（レイヤＬ１の低周波数成分２０３）を出力する。逆離散ウェーブレット変換ＩＷＴ２は、補正処理ＣＰ３が出力するレイヤＬ２の画像信号を受け付ける。逆離散ウェーブレット変換ＩＷＴ２は、レイヤＬ２の画像信号とウェーブレット縮退ＷＤ２が実施された後のレイヤＬ１の高周波数成分２０４から画像を再構築する。その後、第２のノイズ除去処理ＮＲ２、画像補正（補正処理ＣＰ２）が実施され、補正処理ＣＰ２は、レイヤＬ１における再構成後の画像信号を出力する。

　逆離散ウェーブレット変換ＩＷＴ１は、補正処理ＣＰ２が出力するレイヤＬ１の画像信号（レイヤＬ０の低周波数成分２０１）とレイヤＬ０の高周波数成分２０２からレイヤＬ０の画像信号を再構築する。その後、レイヤＬ０の画像信号に対して第２のノイズ除去処理ＮＲ１、画像補正（補正処理ＣＰ１）が実施され、補正処理ＣＰ１から出力画像を出力する。

［第１の実施形態］
　第１の実施形態について、図面を用いてより詳細に説明する。

　図５は、画像処理装置１の内部構成の一例を示す図である。

　画像処理装置１は、画像入力部１０と、画像処理部２０と、メモリ３０と、画像出力部４０を備える。なお、メモリ３０は、画像処理装置１の内部に存在する内部メモリ、又は、外部に取り付けられる外部メモリのいずれかとする。

　画像入力部１０は、外部から入力画像を受け付ける。画像処理部２０は、画像入力部１０が出力する画像信号に対して、図４において説明した画像処理を行う。画像出力部４０は、画像処理部２０が出力するノイズ除去後の画像を出力する。

　以下、画像処理部２０の構成及び動作、即ち、図４の画像処理方法の実装について説明する。

　図６は、画像処理部２０の内部構成の一例を示す図である。

　画像処理部２０では、レイヤＬ０～Ｌ３の各レイヤのそれぞれにおいて、ノイズ除去及び画像補正を行う。その際、ノイズ除去等をパイプラインアーキテクチャにより処理する。パイプラインアーキテクチャを採用することで、複雑なアルゴリズム（複数のノイズ除去処理の組み合わせ）を高速に処理することができる。

　図６において、離散ウェーブレット変換部ＷＴ１Ｌ０、ウェーブレット縮退部ＷＤ１Ｌ０、逆離散ウェーブレット変換部ＩＷＴ１Ｌ０、第２のノイズ除去処理部ＮＲ１Ｌ０、補正処理部ＣＰ１Ｌ０によりレイヤＬ０におけるノイズ除去及び画像補正を実現する。

　さらに、離散ウェーブレット変換部ＷＴ１Ｌ０及び逆離散ウェーブレット変換部ＩＷＴ１Ｌ０には、それぞれ、ラインバッファＬＢ１Ｌ０及びＬＢ２Ｌ０が接続されている。また、離散ウェーブレット変換部ＷＴ１Ｌ０が周波数分離したレイヤＬ０の高周波数成分２０２は、バッファＢＦ１Ｌ０に一時的に記憶される。

　レイヤＬ１の画像信号（レイヤＬ０の低周波数成分２０１）についても、レイヤＬ０と同様の構成により、ノイズ除去及び画像補正が行われる。また、レイヤＬ２の画像信号についてもレイヤＬ０及びＬ１と同様に処理される。しかし、レイヤＬ２の高周波数成分２０６については、一時的に記憶しておく必要はなく、バッファＢＦ１Ｌ０及びＢＦ１Ｌ１に相当するバッファが存在しない点が相違する。

　なお、離散ウェーブレット変換部ＷＴ１Ｌ０が、上述の第１の周波数分離部１０１に相当し、離散ウェーブレット変換部ＷＴ１Ｌ２が、第２の周波数分離部１０２に相当する。また、ウェーブレット縮退部ＷＤ１Ｌ２、逆離散ウェーブレット変換部ＩＷＴ１Ｌ２、第２のノイズ除去処理部ＮＲ１Ｌ２の各部により、上述の第１の画像変換部１０３を構成する。同様に、ウェーブレット縮退部ＷＤ１Ｌ０、逆離散ウェーブレット変換部ＩＷＴ１Ｌ０、第２のノイズ除去処理部ＮＲ１Ｌ０の各部により、上述の第２の画像変換部１０４を構成する。さらに、離散ウェーブレット変換部ＷＴ１Ｌ１は上述の第２の周波数分離部１０２に相当する役割を担う。また、ウェーブレット縮退部ＷＤ１Ｌ１、逆離散ウェーブレット変換部ＩＷＴ１Ｌ１、第２のノイズ除去処理部ＮＲ１Ｌ１の各部は、上述の第１の画像変換部１０３に相当する役割を担う。即ち、図１に示す２レイヤ構成による画像処理を、３レイア構成による画像処理に拡張した構成が図６に示す構成に相当する。

　次に、画像処理部２０の動作について説明する。

　離散ウェーブレット変換部ＷＴ１Ｌ０は、入力画像を４つのサブバンド（低周波数成分２０１、高周波数成分２０２）に分離する。離散ウェーブレット変換部ＷＴ１Ｌ１は、レイヤＬ０の低周波数成分２０１を受け付け、４つのサブバンドに分離する。離散ウェーブレット変換部ＷＴ１Ｌ２は、レイヤＬ１の低周波数成分２０３を受け付け、４つのサブバンドに分離する。ウェーブレット縮退部ＷＤ１Ｌ２は、レイヤＬ２の高周波数成分２０６をウェーブレット縮退する。逆離散ウェーブレット変換部ＩＴＷ１Ｌ２は、ウェーブレット縮退部ＷＤ１Ｌ２が出力する信号とレイヤＬ２の低周波数成分２０５から画像を再構築する。再構築された画像は、第２のノイズ除去処理部ＮＲ１Ｌ２においてノイズ除去処理が行われる。さらに、補正処理部ＣＰ１Ｌ２において画像補正が施された画像が、レイヤＬ１の逆離散ウェーブレット変換部ＩＷＴ１Ｌ１に出力される。

　一方、離散ウェーブレット変換部ＷＴ１Ｌ１が周波数分離した高周波数成分２０４はバッファＢＦ１Ｌ１に一時的に記憶されている。ウェーブレット縮退部ＷＤ１Ｌ１は、レイヤＬ２の補正処理部ＣＰ１Ｌ２がレイヤＬ２の画像信号（レイヤＬ１の低周波数成分２０３）を出力するタイミングで、バッファＢＦ１Ｌ１からレイヤＬ１の高周波数成分２０４を読み出す。

　さらに、ウェーブレット縮退部ＷＤ１Ｌ１は、バッファＢＦ１Ｌ１から読み出したレイヤＬ１の高周波数成分２０４に対して、ウェーブレット縮退を行い、逆離散ウェーブレット変換部ＩＷＴ１Ｌ１に出力する。逆離散ウェーブレット変換部ＩＷＴ１Ｌ１は、レイヤＬ１の画像信号を再構築する。その後、レイヤＬ１の画像信号に対し、第２のノイズ除去処理部ＮＲ１Ｌ１においてノイズ除去処理が行われる。その後、補正処理部ＣＰ１Ｌ１により補正された画像が、レイヤＬ０の逆離散ウェーブレット変換部ＩＷＴ１Ｌ０に出力される。

　レイヤＬ０では、レイヤＬ１と同様に処理がなされ、補正処理部ＣＰ１Ｌ０はノイズ除去後の画像を出力する。

　このように、各レイヤのノイズ除去及び画像補正では、前段の処理が出力する信号を受け付け、各部の処理を実行し、後段の処理に信号を出力するパイプラインアーキテクチャを採用する。ここで、パイプラインアーキテクチャを採用するためには、各処理部にラインバッファが必要になる。

　次に、画像処理部２０への入力画像の入力方法及び各処理部に必要なラインバッファの容量について説明する。

　画像処理部２０は、走査線単位で画素を受け付ける。図７は、入力画像の構成の一例を示す図である。入力画像は、走査線ＳＬ０～ＳＬｎに含まれる画素から構成されている（但し、ｎは正の整数）。図６の離散ウェーブレット変換部ＷＴ１Ｌ０は、走査線単位で画素を受け付ける。より具体的には、走査線ＳＬ０、走査線ＳＬ１、・・・、走査線ＳＬｎ、と離散ウェーブレット変換部ＷＴ１Ｌ０に入力される。ラインバッファＬＢ１Ｌ０～ＬＢ５Ｌ２は、走査線方向（図７のＸ方向）の画素を記憶するバッファである。

　上述のように、離散ウェーブレット変換は、画像信号に対して水平方向と垂直方向に周波数を分離する処理である。水平方向の離散ウェーブレット変換には、入力画像の水平方向の情報を必要とするが、複数の走査線に跨がる画素は必要としない。図７においては、走査線ＳＬ１に含まれる画素の周波数分離には、走査線ＳＬ２～ＳＬｎに含まれる画素を必要としない。

　しかし、垂直方向については、複数の走査線に相当するラインバッファが確保されていなければ、離散ウェーブレット変換できない。図７においては、垂直方向の離散ウェーブレット変換には、走査線ＳＬ１に含まれる画素だけではなく、走査線ＳＬ２、ＳＬ３等に含まれる画素も必要とする。

　この際、垂直方向で必要なラインバッファの本数は、離散ウェーブレット変換に用いる基底関数に依存する。即ち、画像信号を精密に周波数分離するためには、多くのラインバッファを必要とする。そのため、垂直方向の離散ウェーブレット変換を精密に行うためには、より多くの走査線に相当するラインバッファを確保しなければならない。

　さらに、各レイヤで必要となるラインバッファの容量もレイヤごとに異なる場合がある。各レイヤの離散ウェーブレット変換部ＷＴ１Ｌ０～ＷＴ１Ｌ２が扱う周波数は、上位レイヤほど低周波数になる。そのため、下位のレイヤ（例えば、レイヤＬ０）の低周波数成分が、上位のレイヤ（例えば、レイヤＬ１）の離散ウェーブレット変換部に入力され、擬似的に解像度の小さい画像を扱うことになるからである。ここで、図６に示す離散ウェーブレット変換部及び逆離散ウェーブレット変換部に用いる基底関数を全て同一とすると、下位のレイヤに用いられるラインバッファほど多くの容量を必要とする。なお、離散ウェーブレット変換と逆離散ウェーブレット変換に必要なラインバッファの容量は同じであるため、逆離散ウェーブレット変換に必要なラインバッファについての説明は省略する。

　高画質な画像を得るためには、図６に示す全ての離散ウェーブレット変換及び逆ウェーブレット変換処理において、精密に周波数分離を行えばよい。しかし、その場合には、上述した理由により、各ラインバッファで確保しなければならない容量が増大する。

　一方で、ラインバッファのライン数の増加は、処理のレイテンシが増加する要因となる。ウェーブレット変換及び逆ウェーブレット変換のラインバッファにおける必要ライン数が多い場合、それだけ多くのライン入力を必要とする。データの入力速度が一定の場合、より精密な周波数分離を実施すると、それだけ処理のレイテンシが増加する。上位レイヤでの処理レイテンシの増加は、より下位レイヤにおいて一時的に高周波成分を記憶するＢＦ１Ｌ０及びＢＦ１Ｌ１の容量の増大を招く。このことも、画像処理装置１のメモリ３０の容量増大の一因となる。即ち、全てのレイヤで精密な周波数分離を行うことは、各ラインバッファで確保する容量及び高周波成分を確保する各バッファの増大を招き、画像処理装置１のメモリ３０の容量（サイズ）が必然的に増大する。その結果、画像処理装置１のチップサイズが増大し、コストが上昇する。

　さらに、メモリ３０として外部メモリを採用すれば、画像処理装置１と外部メモリとは、バスを介して接続されることになる。バスの帯域には限界があるため、外部メモリと画像処理装置１との間でやり取りするデータ量によっては、バスのデータ転送能力が、画像処理装置１の処理性能を決定することになる。即ち、メモリバンド幅が画像処理装置１のボトルネックとなり得る。

　このように、メモリ３０を内部メモリ、又は、外部メモリいずれで実現するとしても、ラインバッファとして確保しなければならない容量が増加すれば、問題が起きる。

　そこで、必要なラインバッファの容量を最適化した画像処理装置２を提案する。

　図８は、画像処理装置２における画像処理部２０ａの内部構成の一例を示す図である。画像処理部２０と画像処理部２０ａの相違点は、レイヤＬ０の離散ウェーブレット変換部ＷＴ１Ｌ０ａと、逆離散ウェーブレット変換部ＩＷＴ１Ｌ０ａに使用する基底関数を変更する点である。

　より具体的には、離散ウェーブレット変換部ＷＴ１Ｌ０ａ及び逆離散ウェーブレット変換部ＩＷＴ１Ｌ０ａにおいて、離散ウェーブレット変換部ＷＴ１Ｌ０及び逆離散ウェーブレット変換部ＩＷＴ１Ｌ０が使用する基底関数よりも、周波数分離が粗い基底関数を使用する。上述のように、使用する基底関数によって、垂直方向に必要な画素数が異なる。そこで、周波数分離が粗い基底関数を使用することで、離散ウェーブレット変換部ＷＴ１Ｌ０ａ及び逆離散ウェーブレット変換部ＩＷＴ１Ｌ０ａが必要とするラインバッファの容量が減少させる。即ち、ラインバッファＬＢ１Ｌ０ａ及びＬＢ２Ｌ０ａの容量を少なくすることができる。その結果、メモリ３０の総容量を抑制することができる。

　次に、レイヤＬ０の離散ウェーブレット変換部ＷＴ１Ｌ０ａと、逆離散ウェーブレット変換部ＩＷＴ１Ｌ０ａに使用する基底関数が変更可能な理由を説明する。

　上位のレイヤ（例えば、レイヤＬ２）におけるノイズ除去及び画像補正と、下位のレイヤ（例えば、レイヤＬ０）におけるノイズ除去及び画像補正と、では画像全体に与える影響が異なる。そこで、各レイアのノイズ除去と画像補正がノイズ除去後の画像全体に与える影響と、ノイズ除去及び画像補正に必要なラインバッファの容量と、考慮した上で、最適なラインバッファの容量を決定する。

　上述のように、レイヤＬ２では、レイヤＬ１の低周波数成分２０３に対して各種のノイズ除去（ウェーブレット縮退、第２のノイズ除去処理）及び画像補正を実施する。さらに、これらのノイズ除去及び画像補正が実施された後の信号（レイヤＬ１の低周波数成分２０３）と、レイヤＬ１の高周波数成分２０４と、から再構築された画像に対して、ノイズ除去及び画像補正が実施される。従って、レイヤＬ２でのノイズ除去及び画像補正は、レイヤＬ１でのノイズ除去及び画像補正に影響する。同様に、レイヤＬ１でのノイズ除去及び画像補正は、レイヤＬ０でのノイズ除去及び画像補正に影響する。即ち、レイヤＬ２でのノイズ除去及び画像補正は、レイヤＬ１及びＬ０でのノイズ除去及び画像補正に影響する。

　以上のことから、各レイヤにおいて、画像全体に対して最も強い影響を与える処理は、最上位のレイヤでの処理であって、画像全体に対して与える影響が最も弱い処理は、最下位のレイアでの処理であることがわかる。

　そこで、ウェーブレット変換（離散ウェーブレット変換及び逆離散ウェーブレット変換）ごとに使用する基底関数を変更し、必要なラインバッファの容量を削減する。なお、図８では、レイヤＬ０におけるウェーブレット変換の基底関数を変更したが、レイヤＬ１の基底関数を変更、又は、レイヤＬ０及びＬ１の基底関数を変更してもよい。

　以上のように、各レイヤでのノイズ除去及び画像補正が画像全体に与える影響を考慮しつつ、離散ウェーブレット変換及び逆離散ウェーブレット変換の基底関数を選択する。その結果、ノイズ除去及び画像補正の性能に与える影響を最小限に抑えつつ、メモリ３０の総容量を抑制することができる。即ち、内部メモリを使用する場合には、画像処理装置２のチップサイズが縮小し、外部メモリを使用する場合には、メモリバンド幅が画像処理装置２の性能を決定する上でのボトルネックになることもない。

　ここで、第１及び第２の実施形態において説明した周波数分離方法（ウェーブレット変換）、ノイズ除去（ウェーブレット縮退、第２のノイズ除去処理）及び画像補正（補正処理）は一例であって、これらに限定する趣旨ではない。さらに、本実施形態においては、入力画像を３階層（レイヤＬ０～Ｌ２）に周波数分離する場合について説明したが、入力画像の周波数分離を３階層に限定する趣旨ではない。

　なお、画像処理部２０の各部は、ＬＳＩ（Large Scale Integration）等のハードウェア部品である回路部品を実装することにより、その動作をハードウェア的に実現することができる。あるいは、その機能を提供するプログラムを、記憶装置に格納し、そのプログラムを主記憶部にロードしてＣＰＵにおいて実行することにより、ソフトウェア的に実現することも可能である。

　なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ乃至選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１～３、１００　画像処理装置
１０　画像入力部
２０、２０ａ　画像処理部
３０　メモリ
４０　画像出力部
１０１　第１の周波数分離部
１０２　第２の周波数分離部
１０３　第１の画像変換部
１０４　第２の画像変換部
２０１、２０３、２０５　低周波数成分
２０２、２０４、２０６　高周波数成分
ＢＦ１Ｌ０、ＢＦ１Ｌ１　バッファ
ＣＰ１～ＣＰ３　補正処理
ＣＰＬ０～ＣＰ１Ｌ２　補正処理部
ＩＷＴ１～ＩＷＴ３　逆離散ウェーブレット変換
ＩＷＴ１Ｌ０～ＩＷＴ２Ｌ２、ＩＷＴ１Ｌ０ａ　逆離散ウェーブレット変換部
ＬＢ１Ｌ０～ＬＢ２Ｌ２、ＬＢ１Ｌ０ａ、ＬＢ２Ｌ０ａ　ラインバッファ
ＮＲ１～ＮＲ３　第２のノイズ除去処理
ＮＲ１Ｌ０～ＮＲ１Ｌ２　第２のノイズ除去処理部
ＷＤ１～ＷＤ３　ウェーブレット縮退
ＷＤ１Ｌ０～ＷＤ１Ｌ２　ウェーブレット縮退部
ＷＴ１～ＷＴ３　離散ウェーブレット変換
ＷＴ１Ｌ０～ＷＴ１Ｌ２、ＷＴ１Ｌ０ａ　離散ウェーブレット変換部

Claims

　入力画像を受け付け、前記入力画像を、第１の低周波数成分及び前記第１の低周波数成分よりも高い周波数成分を含む第１の高周波数成分に周波数分離する第１の周波数分離部と、
　前記第１の低周波数成分を、第２の低周波数成分及び前記第２の低周波数成分よりも高い周波数成分を含む第２の高周波数成分に分離する第２の周波数分離部と、
　前記第２の低周波数成分及び第２の高周波数成分に対してノイズ除去処理を行い、ノイズ除去後の画像を第１の変換画像として出力する第１の画像変換部と、
　前記第１の高周波数成分及び前記第１の変換画像に対して、前記第１の画像変換部に割り当てられたリソースよりも少ないリソースを割り当てて、ノイズ除去処理を行い、ノイズ除去後の画像を第２の変換画像として出力する第２の画像変換部と、
　を備える画像処理装置。
　前記第１の周波数分離部には、ウェーブレット変換を行う第１のウェーブレット変換部が含まれ、
　前記第２の周波数分離部には、ウェーブレット変換を行う第２のウェーブレット変換部が含まる請求項１の画像処理装置。
　前記第１の画像変換部は、
　前記第２の高周波数成分のウェーブレット係数と第１の閾値とを比較し、前記第１の閾値よりも小さいウェーブレット係数を縮退する第１のウェーブレット縮退部と、
　前記第１のウェーブレット縮退部の出力する信号と前記第２の低周波数成分を逆ウェーブレット変換することで、画像を再構成する第１の逆ウェーブレット変換部と、
　前記第２の画像変換部は、
　前記第１の高周波数成分のウェーブレット係数と第２の閾値とを比較し、前記第２の閾値よりも小さいウェーブレット係数を縮退する第２のウェーブレット縮退部と、
　前記第２のウェーブレット縮退部の出力する信号と前記第１の変換画像を逆ウェーブレット変換することで、画像を再構成する第２の逆ウェーブレット変換部と、
　を含む請求項２の画像処理装置。
　前記第１のウェーブレット変換部及び前記第１の逆ウェーブレット変換部が使用する第１の基底関数と、前記第２のウェーブレット変換部及び前記第２の逆ウェーブレット変換部が使用する第２の基底関数と、が異なる請求項３の画像処理装置。
　前記第１のウェーブレット変換部、前記第１の逆ウェーブレット変換部、前記第２のウェーブレット変換部及び前記第２の逆ウェーブレット変換部は、前記入力画像の走査線方向の画素を記憶するラインバッファを、それぞれ備え、
　前記第１のウェーブレット変換部及び前記第１の逆ウェーブレット変換部が備える第１のラインバッファは、前記第２のウェーブレット変換部及び前記第２の逆ウェーブレット変換部が備える第２のラインバッファよりもライン数が少ない請求項４の画像処理装置。
　前記第１及び／又は第２の画像変換部は、ノイズ除去後の画像に対して画像補正を行う画像補正部を含む請求項１乃至５のいずれか一項に記載の画像処理装置。
　前記第１のウェーブレット変換部と、前記第１のウェーブレット縮退部と、前記第１の逆ウェーブレット変換部と、前記第２のウェーブレット変換部と、前記第２のウェーブレット縮退部と、前記第２の逆ウェーブレット変換部と、によってパイプラインアーキテクチャを構成する請求項３乃至６のいずれか一項に記載の画像処理装置。
　入力画像を受け付け、前記入力画像を、第１の低周波数成分及び前記第１の低周波数成分よりも高い周波数成分を含む第１の高周波数成分に周波数分離する第１の周波数分離工程と、
　前記第１の低周波数成分を、第２の低周波数成分及び前記第２の低周波数成分よりも高い周波数成分を含む第２の高周波数成分に分離する第２の周波数分離工程と、
　前記第２の低周波数成分及び第２の高周波数成分に対してノイズ除去処理を行うことで第１の変換画像を出力する第１の画像変換工程と、
　前記第１の高周波数成分及び前記第１の変換画像に対して、前記第１の画像変換工程で使用するリソースよりも少ないリソースを使用して、ノイズ除去処理を行うことで第２の変換画像を出力する第２の画像変換工程と、
　を含む画像処理方法。