JP5935649B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP5935649B2 JP5935649B2 JP2012228724A JP2012228724A JP5935649B2 JP 5935649 B2 JP5935649 B2 JP 5935649B2 JP 2012228724 A JP2012228724 A JP 2012228724A JP 2012228724 A JP2012228724 A JP 2012228724A JP 5935649 B2 JP5935649 B2 JP 5935649B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- noise
- unit
- image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title description 4
- 238000003708 edge detection Methods 0.000 claims description 57
- 238000000926 separation method Methods 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 58
- 230000015572 biosynthetic process Effects 0.000 description 20
- 238000003786 synthesis reaction Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 19
- 238000004321 preservation Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
デジタルカメラ等の撮像装置は、所定の撮像センサーを備え、この撮像センサーによる撮像によって撮影画像を取得する。一般的に、撮影画像(画像信号)には、撮像センサーに特有の、例えば、暗電流等に起因するノイズ成分が含まれるが、近年における更なる高画質化の要請に伴い、このノイズ成分を精度よく除去することが求められている。 An imaging apparatus such as a digital camera includes a predetermined imaging sensor, and acquires a captured image by imaging with the imaging sensor. In general, a captured image (image signal) includes a noise component specific to an imaging sensor, for example, due to dark current or the like. It is required to be removed with high accuracy.
このような状況に鑑み、従来の画像処理装置において、入力画像を複数の周波数帯に分離して、各周波数帯の周波数成分における低周波成分からエッジ強度を検出して、検出したエッジ強度に基づいてエッジ成分の保存度合いを算出し、高周波成分に対するエッジ成分の保存とノイズ成分の除去を行った後、低周波成分とを再び合成することにより、ノイズの除去とエッジ成分の保存とを同時に行って高画質な画像を得るようにしたものがある(例えば、特許文献1)。 In view of such a situation, in a conventional image processing apparatus, an input image is separated into a plurality of frequency bands, edge strength is detected from low frequency components in frequency components of each frequency band, and based on the detected edge strength. After calculating the degree of preservation of edge components, preserving edge components for high frequency components and removing noise components, and then synthesizing low frequency components again, noise removal and edge component preservation are performed simultaneously. In some cases, a high-quality image is obtained (for example, Patent Document 1).
しかしながら、上記特許文献1に記載の画像処理装置では、カラー画像の場合にあっては、RGBのチャンネル毎に上述した処理によりノイズの除去とエッジ成分の保存を行うのが便宜であるが、チャンネルによってノイズの分布状況が異なる場合には、ノイズが多いチャンネルではエッジ検出の精度が影響されてノイズをエッジとして誤検出してしまい、これが保存されてしまうおそれがある。したがって、カラー画像にあっては、ノイズ除去精度がよくないという問題がある。 However, in the image processing apparatus described in Patent Document 1, in the case of a color image, it is convenient to perform noise removal and edge component storage by the above-described processing for each RGB channel. If the distribution status of the noise differs depending on the channel, there is a possibility that the noise is erroneously detected as an edge in the channel having a lot of noise, and the noise is erroneously detected and stored. Therefore, a color image has a problem that noise removal accuracy is not good.
本発明の課題は、カラー画像において、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる画像処理装置及び画像処理方法を提供することである。 An object of the present invention is to provide an image processing apparatus and an image processing method capable of improving noise removal accuracy while maintaining good storage accuracy of edge components in a color image.
以上の課題を解決するため、請求項1に記載の発明は、画像処理装置において、
複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する周波数分離部と、
前記複数の波長領域から何れかを選択する波長領域選択部と、
前記複数の周波数帯のそれぞれについて、前記波長領域選択部によって選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出部と、
前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出部によって検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去部と、
前記複数の周波数帯のそれぞれにおける、前記ノイズ除去部によりノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成部と、
を備え、
前記波長領域選択部は、
前記複数の波長領域のそれぞれについて、前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出部と、
前記ノイズ量算出部により得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定部と
を備え、
前記波長領域判定部によって判定された波長領域を前記複数の波長領域から選択することを特徴とする。
In order to solve the above-described problems, the invention described in claim 1 is an image processing apparatus.
A frequency separation unit that separates an input image including a plurality of wavelength regions into frequency components in a plurality of frequency bands;
A wavelength region selection unit for selecting one of the plurality of wavelength regions;
For each of the plurality of frequency bands, an edge detection unit that detects edge intensity from a low frequency component in a frequency component of the wavelength region selected by the wavelength region selection unit;
Noise that removes noise components from high-frequency components in the frequency components of each frequency band separated by the frequency separation unit and that stores edge components for the high-frequency components based on the edge strength detected by the edge detection unit A removal section;
In each of the plurality of frequency bands, a frequency synthesizer that synthesizes the high frequency component in which the noise component is removed and the edge component is preserved by the noise removing unit;
Equipped with a,
The wavelength region selector is
For each of the plurality of wavelength regions, a noise amount calculation unit that calculates a noise amount from a high frequency component in a frequency component of each frequency band separated by the frequency separation unit;
A wavelength region determination unit that determines a wavelength region of a high-frequency component that is the smallest amount of noise from the amount of noise of the high-frequency component for each of the plurality of wavelength regions obtained by the noise amount calculation unit;
With
The wavelength region determined by the wavelength region determination unit is selected from the plurality of wavelength regions .
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とを含むことを特徴とする。
The invention according to
The plurality of wavelength regions include a red region, a green region, and a blue region of visible wavelengths.
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記複数の波長領域は、前記可視波長の赤色領域と緑色領域と青色領域とから求められる輝度情報を含むことを特徴とする。
The invention according to
The plurality of wavelength regions include luminance information obtained from a red region, a green region, and a blue region of the visible wavelength.
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像処理装置において、
前記複数の波長領域は、赤外波長領域を含むことを特徴とする。
The invention according to
The plurality of wavelength regions include an infrared wavelength region.
請求項5に記載の発明は、画像処理方法において、
複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する周波数分離工程と、
前記複数の波長領域から何れかを選択する波長領域選択工程と、
前記複数の周波数帯のそれぞれについて、前記波長領域選択工程において選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出工程と、
前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出工程において検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去工程と、
前記複数の周波数帯のそれぞれにおける、前記ノイズ除去工程においてノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成工程と、
を含み、
前記波長領域選択工程は、
前記複数の波長領域のそれぞれについて、前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出工程と、
前記ノイズ量算出工程において得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定工程と
を含み、
前記波長領域選択工程では、前記波長領域判定工程において判定された波長領域を前記複数の波長領域から選択することを特徴とする。
The invention according to
A frequency separation step of separating an input image including a plurality of wavelength regions into frequency components in a plurality of frequency bands;
A wavelength region selection step of selecting any one of the plurality of wavelength regions;
For each of the plurality of frequency bands, an edge detection step of detecting edge intensity from a low frequency component in a frequency component of the wavelength region selected in the wavelength region selection step;
Noise that removes noise components from high-frequency components in the frequency components of each frequency band separated in the frequency separation step and that stores edge components for the high-frequency components based on the edge strength detected in the edge detection step A removal step;
In each of the plurality of frequency bands, a frequency synthesizing step of synthesizing the high frequency component in which the noise component is removed and the edge component is stored in the noise removing step;
Only including,
The wavelength region selection step includes
For each of the plurality of wavelength regions, a noise amount calculation step of calculating a noise amount from a high frequency component in a frequency component of each frequency band separated in the frequency separation step;
A wavelength region determination step of determining a wavelength region of a high-frequency component that is the least amount of noise from the amount of noise of the high-frequency component for each of the plurality of wavelength regions obtained in the noise amount calculation step;
Including
In the wavelength region selection step, the wavelength region determined in the wavelength region determination step is selected from the plurality of wavelength regions .
本発明によれば、カラー画像において、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。 According to the present invention, noise removal accuracy can be improved in a color image while maintaining good preservation accuracy of edge components.
以下、本発明の実施の形態について図面を参照しながら説明する。なお、発明の範囲は図示例に限定されない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The scope of the invention is not limited to the illustrated example.
(第1の実施の形態)
図1は、第1の実施の形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ1の概略的な機能ブロック図を示している。図1に示すように、デジタルカメラ1は、レンズ部2、撮像センサー3、アンプ4、A/D変換部5、画像処理部6、画像メモリー7、制御部8、表示部9及び操作部10を備えている。
(First embodiment)
FIG. 1 is a schematic functional block diagram of a digital camera 1 that is an example of an imaging apparatus to which the image processing apparatus according to the first embodiment is applied. As shown in FIG. 1, the digital camera 1 includes a
レンズ部2は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサー3に導くための光学レンズ系を構成している。レンズ部2は、被写体光の光軸Lに沿って直列的に配置された、例えば、ズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部2は、レンズの透過光量を調節するための絞りやシャッターを備えており、制御部8によってこれらが駆動制御される。
The
撮像センサー3は、レンズ部2において結像された被写体光像の光量に応じ、R、G、B各成分の画像信号に光電変換してアンプ4に出力する。本実施の形態では、撮像センサー3としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー、VMIS(threshold Voltage Modulation Image Sensor)、あるいは、CCD(Charge Coupled Device)イメージセンサー等が採用できる。
The
アンプ4は、撮像センサー3から出力された画像信号を増幅するものであり、例えば、AGC(Auto Gain Control)回路を備え、当該出力信号のゲイン調整を行う。アンプ4は、AGC回路の他、アナログ値としての画像信号のサンプリングノイズの低減を行うCDS(Correlated Double Sampling:相関二重サンプリング)回路を備えていてもよい。AGC回路は、適正露出が得られなかった場合、例えば、非常に低輝度の被写体を撮影する場合の撮影画像のレベル不足を補償する機能も有する。なお、AGC回路に対するゲイン値は制御部8によって設定される。
The
A/D変換部5は、アンプ4にて増幅されたアナログ値の画像信号(アナログ信号)をデジタル値の画像信号(デジタル信号)に変換するA/D変換処理を行うものであり、撮像センサー3の各画素で受光して得られる画素信号をそれぞれ、例えば、12ビットの画素データに変換する。
The A /
画像処理部6は、上述したA/D変換処理により得られた画像信号に対し、各種画像処理を行う。具体的には、例えば、色補間処理、色補正処理及び色空間変換処理等の色処理や、ホワイトバランス補正処理、ノイズ除去処理、ダイナミックレンジ圧縮処理等を行う。本実施の形態では、これらの画像処理における特にノイズ除去処理について主な特徴点を有しているが、これについては後述する。
The
画像メモリー7は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリーからなり、画像処理部6にて画像処理される前のRAW画像データ、あるいは、画像処理部6や制御部8での各種処理時又は処理後の画像データ等のデータを保存する。
The
制御部8は、各制御プログラム等を記憶するROM、一時的に各種データを格納するRAM、及び、制御プログラム等をROMから読み出して実行するCPU(Central Processing Unit)等からなり、デジタルカメラ1全体の動作制御を司るものである。制御部8は、撮像センサー3や操作部10等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメーターを算出し、これを送信することで各部の動作を制御する。制御パラメーターは、例えば、撮影時における最適な露光量に設定するための露光量制御パラメーターや、最適なダイナミックレンジに設定するためのダイナミックレンジ制御パラメーター等がある。
The
表示部9は、例えば、カメラ背面に配設されたカラー液晶表示素子からなる液晶表示器(LCD;Liquid Crystal Display)等からなり、撮像センサー3で撮像された画像等を表示する。
The display unit 9 includes, for example, a liquid crystal display (LCD) composed of a color liquid crystal display element disposed on the back of the camera, and displays an image captured by the
操作部10は、デジタルカメラ1に対するユーザーによる操作指示を行うものであり、例えば、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群からなる。例えば、レリーズスイッチが押下されることで、撮像センサー3により被写体光が撮像され、これにより得られた撮影画像に対して所要の画像処理が施された後、画像メモリー7等に記録されるといった一連の撮影動作が実行される。
The
ところで、画像処理部6には、撮像センサー3による撮影により得られた広DR(Dynamic Range)画像(入力画像)が入力されるが、この入力画像に対する画像処理部6におけるノイズ除去処理について以下に説明する。図2は、画像処理部6における主にノイズ除去処理に関する回路構成例を示す機能ブロック図である。図2に示すように、画像処理部6は、周波数分離部601、HPF部604、ノイズ量算出部605、チャンネル判定部606、エッジ検出部607、ノイズ除去部608及び周波数合成部611を備えている。
By the way, a wide DR (Dynamic Range) image (input image) obtained by photographing by the
これら各機能部を概略的に説明すると、画像処理部6に入力された入力画像6200は、RGBのチャンネル毎に分離される。すなわち、入力画像6200には、可視波長の赤色(R)領域と緑色(G)領域と青色(B)領域とを有する複数の波長領域が含まれており、画像処理部6に入力されたときに、入力画像6200に含まれるこれらの波長領域がそれぞれRチャンネル、Gチャンネル、Bチャンネルとして分離される。そして、周波数分離部601は、RGBの各チャンネルに分離された入力画像6200に対してそれぞれ階層的な複数の処理ステップでのLPF処理とダウンサンプリング処理とを行うことによって、入力画像6200をRGBのチャンネル毎に複数の周波数成分に分離する。この周波数成分を分離する処理(周波数分離処理)により、処理ステップ毎に低周波成分の画像(低周波画像)が生成される。
Describing these functional units schematically, the
HPF部604は、各処理ステップにおいて、周波数分離部601による周波数分離処理で実施されるLPF処理前の画像からLPF処理後の画像である低周波画像を減算することで、RGBの各チャンネルについて高周波画像を生成する。
In each processing step, the
ノイズ量算出部605は、各処理ステップにおいて、HPF部604によって生成された高周波画像から、ノイズがどのくらい含まれているかについて、RGBの各チャンネルについてそれぞれ求める。
In each processing step, the noise
チャンネル判定部606は、各処理ステップにおいて、ノイズ量算出部605で求められたRGBの各チャンネルのノイズ量から、何れのチャンネルの画像のノイズ量が最も少ないかを判定する。
In each processing step, the
エッジ検出部607は、各処理ステップにおいて、LPF処理後の低周波画像に対するエッジ成分に関する検出処理(エッジ検出処理)を行う。ここでエッジ検出処理の対象となるのは、チャンネル判定部606によってノイズ量が最も少ないと判定されたチャンネルの低周波画像である。
In each processing step, the
ノイズ除去部608は、HPF部604において生成された高周波画像に対するノイズ成分の除去処理(ノイズ除去処理)をRGBの各チャンネルについて実施する。
The
周波数合成部611は、周波数分離部601における周波数分離処理により生成された各処理ステップのうちの最終段の処理ステップでの低周波画像に対する各処理ステップでのノイズ除去処理後の高周波画像の合成処理及びアップサンプリング処理を行って出力画像6210を生成する。画像処理部6から出力画像6210が出力されるとき、RGBの各チャンネルの画像は統合される。
The
上述した各部の構成及び動作の詳細について説明する。周波数分離部601は、上述したLPF処理を行うLPF部602と上述したダウンサンプリング(DS)処理を行うDS部603とを備えている。LPF部602は、処理ステップ1のLPF部6021、処理ステップ2のLPF部6022・・・、処理ステップ(n−1)のLPF部6023及び処理ステップnのLPF部6024を備えている。各LPF部6021〜6024では、画像処理部6に入力されてRGBのチャンネル毎に分離された入力画像のそれぞれに対し、各処理ステップにおいて、ローパスフィルターを用いたLPF処理を行う。例えば、処理ステップ(n−1)においては、Rチャンネル、Gチャンネル、Bチャンネルの各入力画像に対してそれぞれLPF部6023によりLPF処理が行われてRチャンネル、Gチャンネル、Bチャンネルの各低周波画像が抽出される。ここでの「入力画像」とは、各処理ステップに対して入力される画像という意味で用いている。この入力画像は、処理ステップ1に対するものはLPF処理されていない撮像センサー3から送信されてきた撮影画像そのものの画像データであるが、処理ステップ2から下段の処理により抽出された低周波画像は、後述するエッジ検出用(エッジ保存係数算出用)の画像であるともいえる。
Details of the configuration and operation of each unit described above will be described. The
DS部603は、処理ステップ1に対応するDS部6031、処理ステップ2に対応するDS部6032・・・、処理ステップ(n−1)に対応するDS部6033を備えている。但し、処理ステップnは最終段の処理ステップであることから、この処理ステップnに対応するDS部は備えられていない。各DS部6031〜6033では、各処理ステップにおいてLPF処理により抽出された低周波画像に対して、この画像のサイズ(画素数)を縦横ともに1/2にする、例えば、画素間引きによるDS処理を行い、このDS処理後の画像を次段の処理ステップのLPF部に出力する。例えば、処理ステップ(n−1)においては、LPF部6023によるLPF処理後の低周波画像に対してDS部6033によりDS処理が行われ、処理ステップnに対する入力画像が生成される。なお、本実施の形態では、画像のサイズを1/2にするDS処理を行うものとしているが、これに限らず、1/3や1/4等、任意の倍率でのDS処理が採用可能である。
The
なお、上述した処理ステップの数は任意に設定することができるが、本実施の形態では、例えば、「4」(n=4)に設定されているものとして説明する。また、本実施の形態では、処理ステップ数n=4となる場合において、各LPF部のLPF処理として、例えば、7×7LPF処理を適用する。7×7LPF処理は、タップ数「7」のフィルタサイズのLPFを用いた処理である。なお、当該処理ステップ数とタップ数との関係に関し、タップ数が「7」より小さい値、例えば、「5」となる場合のLPF処理である5×5LPF処理を行うときには、処理ステップ数nは「4」より大きな数(例えば、「8」)に設定するのが好適である。これは、タップ数が小さくなるにつれて、LPF処理を1回行う毎の画像の平滑化の度合いが小さくなるので、これに応じてLPF処理を行う回数、すなわち、処理ステップの段数を増加させる必要があることによる。但し、必ずしもこの関係が成立するように処理ステップ数及びタップ数を設定しなくてもよく、LPF部におけるLPF処理により得られる低周波画像から残存ノイズがなくなるような低周波画像が抽出される処理ステップ数やLPFのタップ数が設定されればよい。 The number of processing steps described above can be arbitrarily set, but in the present embodiment, for example, it is assumed that “4” (n = 4) is set. In the present embodiment, when the number of processing steps is n = 4, for example, 7 × 7 LPF processing is applied as the LPF processing of each LPF unit. The 7 × 7 LPF process is a process using an LPF having a filter size of “7” taps. Regarding the relationship between the number of processing steps and the number of taps, when performing 5 × 5 LPF processing, which is LPF processing when the number of taps is smaller than “7”, for example, “5”, the number of processing steps n is It is preferable to set a number larger than “4” (for example, “8”). This is because as the number of taps decreases, the degree of smoothing of the image each time the LPF process is performed decreases, and accordingly, the number of times the LPF process is performed, that is, the number of processing steps must be increased. It depends. However, it is not always necessary to set the number of processing steps and the number of taps so that this relationship is established, and a process of extracting a low frequency image that eliminates residual noise from the low frequency image obtained by the LPF process in the LPF unit. The number of steps and the number of LPF taps may be set.
このように、周波数分離部601では、最上段の処理ステップ1から最下段の処理ステップ4へと複数段の処理ステップによる複数回のLPF処理とDS処理とを行うことにより、入力画像6200を複数の周波数画像に分解する。なお、LPF処理とDS処理とを繰り返し行うことは、順にタップ数を大きくしていきながらLPF処理を行うことと同等の処理を行っていることになる。
As described above, the
HPF部604は、処理ステップ1〜n(1〜4)に対応するHPF部6041〜6044を備えている。HPF部604は、RGBのチャンネル毎に、LPF部602に入力される前の入力画像からLPF部602によってLPF処理された後の低周波画像を減算するハイパスフィルタ(HPF)処理を行ってRGB各チャンネルの高周波画像を抽出する。
The
例えば、処理ステップ(n−1)、すなわち、処理ステップ3におけるHPF部6043は、処理ステップ(n−1)の前段の処理ステップ(n−2)(処理ステップ2)におけるDS部6032から出力された入力画像と、LPF部6023から出力された低周波画像とを入力し、この入力画像に対する低周波画像の減算を行う。HPF部6043は、減算した結果得られた高周波画像を出力する。このように、各HPF部6041〜6044により生成された高周波画像は、各処理ステップの入力画像からノイズ成分を含む高周波成分が分離されたものであり、後述する処理においてこの高周波画像からノイズ除去を行うことになる。このように、複数段の処理ステップによる複数回のHPF処理を行うことによって、1回のHPF処理では分離しきれなかったノイズ成分を分離することが可能となる。
For example, the processing step (n−1), that is, the
ノイズ量算出部605は、処理ステップ1〜n(1〜4)に対応するノイズ量算出部6051〜6054を備えている。ノイズ量算出部605は、RGBの各チャンネルについて、HPF部604によって生成された高周波画像に含まれるノイズの量をそれぞれ算出する。ノイズ量算出部605は、例えば、高周波画像に含まれる各画素の画素値の平均を求めることにより、ノイズ量の算出を行う。このとき、画素値の平均を求める際の算出の対象とする画素を、所定の閾値を超えた画素値であるものとするのが好適である。なお、ノイズ量の算出ができるものであれば、他の方法によって算出するものであってもよい。
The noise
波長領域判定部としてのチャンネル判定部606は、処理ステップ1〜n(1〜4)に対応するチャンネル判定部6061〜6064を備えている。チャンネル判定部606は、ノイズ量算出部605によって算出されたRGBのチャンネル毎の高周波画像のノイズ量から、RGBの各チャンネルのうち最もノイズ量の少ないチャンネルを判定する。チャンネル判定部606は、判定したチャンネルの低周波画像がエッジ検出処理の対象として選択されるように、チャンネルの選択信号をエッジ検出部に出力する。
The
このように、本実施の形態では、ノイズ量算出部605とチャンネル判定部606とにより、波長領域選択部を構成している。
Thus, in the present embodiment, the noise
エッジ検出部607は、処理ステップ1〜n(1〜4)に対応するエッジ検出部6071〜6074を備えている。また、ノイズ除去部608は、処理ステップ1〜n(1〜4)に対応するノイズ除去部6081〜6084を備えている。これらエッジ検出部607及びノイズ除去部608において、HPF部604から送信されてきたノイズ成分を含む高周波画像に対してこの高周波画像中のエッジ成分を保存しつつ、ノイズ成分の除去を行う。エッジ検出部607及びノイズ除去部608それぞれでのエッジ検出処理及びノイズ除去処理の具体的な方法について説明する。
The
エッジ検出部6071〜6074は、チャンネル判定部6061〜6064においてRGBの各チャンネルのうちノイズ量が最も少ないと判定されたチャンネルの低周波画像をLPF部6021〜6024から入力する。エッジ検出部6071〜6074は、エッジ検出処理として、それぞれ各処理ステップにおいて入力した低周波画像に対してSobelフィルター等のエッジ強度検出用フィルターを用いたフィルター処理(エッジ強度検出フィルター処理)を行うことでこの低周波画像のエッジ強度を算出し、この算出したエッジ強度の情報からエッジ保存係数Eを算出する。算出されたエッジ保存係数Eの情報は、各ノイズ除去部6081〜6084に出力される。例えば、処理ステップ3では、エッジ検出部6073は、チャンネル判定部6063においてGチャンネルがノイズ量の最も少ないチャンネルと判定されたときは、LPF部6023からGチャンネルの低周波画像を入力する。エッジ検出部6073は、この低周波画像に対してエッジ強度検出フィルター処理を行ってエッジ強度を求めるとともに、このエッジ強度からエッジ保存係数Eを算出し、算出したこのエッジ保存係数Eの情報を、エッジ保存係数情報としてノイズ除去部6083に出力する。なお、上述したSobelフィルターは、微分計算に基づいて画像中の各画素値間の傾きを検出するものであり、これにより画像におけるエッジの強度を検出することができる。
The
上記エッジ強度及びエッジ保存係数Eの算出について、具体的には、各エッジ検出部6071〜6074は、各低周波画像に対してタップ数が「3」である3×3Sobelフィルターを用いたフィルター処理(3×3Sobelフィルター処理)を行うことでエッジ強度eを算出するとともに、算出したエッジ強度eに対するエッジ保存係数Eを下記式(1)により算出する。
e<e1のとき E=0
e1<e<e2のとき E=(e−e1)/(e2−e1)
e>e2のとき E=1.0 ・・・(1)
ここで、e1、e2は、予め設定したエッジ保存係数算出用の閾値(エッジ保存閾値)であり、e1<e2の関係を満たしている。
Regarding the calculation of the edge strength and the edge preserving coefficient E, specifically, each of the
When e <e1, E = 0
When e1 <e <e2 E = (e−e1) / (e2−e1)
When e> e2 E = 1.0 (1)
Here, e1 and e2 are preset threshold values for edge preservation coefficient calculation (edge preservation threshold values), and satisfy the relationship of e1 <e2.
上記式(1)の関係は、図3に示すように、縦軸をエッジ保存係数E、横軸をエッジ強度eとすると、符号655で示すエッジ強度eがe<e1となる範囲では、エッジ保存係数E=0となる。また、符号657で示すエッジ強度eがe>e2となる範囲では、エッジ保存係数E=1.0となる。また、符号656で示すエッジ強度eがe1<e<e2となる範囲では、エッジ保存係数Eが、0から1.0の範囲で、傾きを1/(e2−e1)として直線的に変化するものとなる。
As shown in FIG. 3, when the vertical axis is the edge preserving coefficient E and the horizontal axis is the edge strength e, as shown in FIG. The storage coefficient E = 0. In the range where the edge strength e indicated by
エッジ保存閾値e1、e2は、どの程度までエッジを保存すればよいかといった画像の質感に関わる値であり、各処理ステップにおいて好適にエッジ保存が行えるような値として予め設定されるものである。エッジ保存閾値e1、e2は、処理ステップ毎に予め設定されたものでもよいし、一律に全処理ステップで同じ値として設定されたものでもよい。また、選択されたチャンネルに応じて値が設定されるようにしてもよい。エッジ保存閾値e1、e2の情報は各エッジ検出部6071〜6074に記憶されている。また、本実施の形態では、上述のようにエッジ強度検出用フィルターとして3×3Sobelフィルターを用いているが、タップ数が「3」以外の、例えば、3よりも大きなSobelフィルターを用いてもよい。また、Sobelフィルターに代えてPrewittフィルター等の他の公知のフィルターを用いてもよい。
The edge storage thresholds e1 and e2 are values related to the texture of the image, such as how much an edge should be stored, and are set in advance as values that can suitably perform edge storage in each processing step. The edge storage thresholds e1 and e2 may be set in advance for each processing step, or may be uniformly set as the same value in all processing steps. Further, a value may be set according to the selected channel. Information on the edge storage threshold values e1 and e2 is stored in each of the
ノイズ除去部6081〜6084は、ノイズ除去処理として、それぞれ各処理ステップにおけるRGBの各チャンネルの高周波画像に対してそれぞれコアリング処理を行う。このとき、上記エッジ検出処理によって算出したエッジ保存係数Eの情報を用いることで、エッジ強度eが大きな画素についてはコアリング処理におけるコアリング強度が弱められてよりエッジ成分が保存されるようなエッジ保存処理を行う。一方、エッジ強度eが小さな画素についてはコアリング強度が強められてエッジ保存の度合いが弱められる。
The
上述のコアリング処理に関して、具体的には、各ノイズ除去部6081〜6084は、HPF部6041〜6044から入力される高周波画像に対して、図4に示すような、コアリング特性665に従って高周波画像の変換処理を行うことにより、ノイズ成分を除去する。図4中に示す「th」は、画像信号のノイズ成分を除去するためのコアリング係数である。このコアリング特性665に従ったコアリング処理では、入力が−thよりも大きくthよりも小さいときは出力がゼロとなり(すなわち、当該入力が−thよりも大きくthよりも小さい範囲のデータがノイズ成分として除去される。)、入力が−th以下であるときには、出力が入力に対してthを加えた値となり、入力がth以上であるときには、出力が入力に対してthを減じた値となるような変換処理が行われる。
Regarding the coring processing described above, specifically, each of the
但し、高周波画像には、ノイズ成分だけでなくディテイル成分も含まれている。そのため、コアリング処理によって、注目画素の絶対値がコアリング係数よりも小さいもの、すなわち、−thよりも大きくthよりも小さい範囲の画像成分が一律にカットされると、ディテイル成分まで欠落してしまうことになる。そこで、コアリング特性665の代わりに、−thよりも大きくthよりも小さい範囲ではグラフの傾きがk(0≦k≦1)となる「y=kx」の関係を有するコアリング特性666を導入し、このkn値を調整することで、画像で目立たない程度の僅かなノイズは許容し、ディテイル成分の欠落は抑えられるような処理結果が得られる構成としてもよい。なお、コアリング特性666を用いる場合、y=kxの、例えば、符号6661、6662で示すように入力xの値がコアリング係数th(−th)の値に近いほどよりディテイル成分が残されることになる。ここで、ディテイル成分とは、高周波画像におけるノイズ成分以外の画像であって、ぼやけた画像である低周波画像に対し、質感を表すような高周波画像本来の画像である。
However, the high-frequency image includes not only a noise component but also a detail component. Therefore, when the coring process uniformly cuts the image component in which the absolute value of the pixel of interest is smaller than the coring coefficient, that is, the range of the image component that is larger than -th and smaller than th, the detail component is lost. Will end up. Therefore, instead of the coring characteristic 665, a coring characteristic 666 having a relationship of “y = kx” in which the slope of the graph is k (0 ≦ k ≦ 1) is introduced in a range larger than −th and smaller than th. However, by adjusting the kn value, a slight noise that is not conspicuous in the image is allowed, and a processing result that suppresses the loss of the detail component may be obtained. When the coring characteristic 666 is used, the detail component is left as y = kx, for example, the value of the input x is closer to the coring coefficient th (−th) as indicated by
なお、コアリング係数th(−th)は、各処理ステップの高周波画像に存在するノイズ量に応じた値に設定することで、精度のよい正確なノイズ除去が可能となる。実際には、撮像センサー3に暗電流等のノイズがあり、このセンサー特有のノイズに応じて高周波画像のノイズ量が決まるということと、各処理ステップの高周波画像それぞれについても互いに異なるノイズ量になるということから、コアリング係数th(−th)の値は、各デジタルカメラ1で使用される撮像センサー3毎に、あるいは、処理ステップ毎に、除去したいノイズ量に対応させた好適なものが設定される。このコアリング係数thは、予め決められた値として各ノイズ除去部6081〜6084に記憶されている。なお、コアリング係数thは、予め定められた値でなくともよく、例えば、上述したノイズ量算出部6051〜6054により算出されたノイズ量によって都度算出されて設定される構成であってもよい。
The coring coefficient th (-th) is set to a value corresponding to the amount of noise present in the high-frequency image at each processing step, thereby enabling accurate and accurate noise removal. Actually, the
また、エッジ保存処理に関して、具体的には、各ノイズ除去部6081〜6084は、上述したエッジ検出処理において求めたエッジ保存係数Eの情報を用いて、下記式(2)により、ノイズ除去部6081〜6084に入力される高周波画像と、上記コアリング処理の結果得られた画像(以下、コアリング画像ということがある。)との重み付け平均処理を行う。この重み付け平均処理は、RGBの各チャンネルについて行う。例えば、処理ステップ3では、エッジ検出部6073においてGチャンネルの低周波画像からエッジ保存係数Eが得られた場合には、ノイズ除去部6083は、RGBの各チャンネルの高周波画像についてそれぞれこのエッジ保存係数Eの情報を用いてエッジ成分が保存された画像(エッジ保存画像)を取得するとともにコアリング画像を取得し、これらの画像について重み付け平均処理を行う。これにより、エッジ強度eに応じたエッジ保存量でのエッジ保存がなされた、すなわち、エッジ強度eに応じてコアリングの強度が変化するエッジ保存処理が行われたエッジ保存画像を生成することができる。このようなエッジ保存処理が行われることにより、図3に示すように、エッジ保存係数Eが大きい画素ほど(1.0の値に近づくほど)、コアリング処理前の高周波画像の画素の値に近い値となってよりエッジ成分が保存され、エッジ保存係数Eが小さい画素ほど(0の値に近づくほど)、上記コアリング画像の画素の値に近い値となる。
Img_output=(1.0−E)*Img_core+E*Img_input ・・・(2)
ここで、Img_output:エッジ保存画像
Img_core:コアリング画像
Img_input:各ノイズ除去部に入力される高周波画像
Further, regarding the edge preserving process, specifically, each of the
Img_output = (1.0−E) * Img_core + E * Img_input (2)
Where Img_output: edge-preserved image
Img_core: Coring image
Img_input: a high-frequency image input to each noise removing unit
このように、例えば、処理ステップ3では、ノイズ除去部6083は、エッジ検出部6073からのエッジ保存係数情報に基づいて、HPF部6043からの高周波画像に対して上記コアリング処理及びエッジ保存処理を行い、エッジ成分を保存しつつノイズ成分が除去された高周波画像を出力する。
Thus, for example, in processing
本実施の形態では、上述したように、RGBの各チャンネルからノイズ量の最も少ないチャンネルを選択し、選択したチャンネルの低周波画像に対してエッジ検出処理を行い、これに基づいて、RGBの各チャンネルの高周波画像についてそれぞれエッジ成分の保存及びノイズ成分の除去が行われる。その結果、ノイズが多いチャンネルの低周波画像によるエッジ検出の精度の影響を低減することができる。すなわち、ノイズをエッジとして誤検出するおそれを低減することができ、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。 In the present embodiment, as described above, the channel with the least amount of noise is selected from the RGB channels, and the edge detection process is performed on the low-frequency image of the selected channel. The edge component is stored and the noise component is removed from the high-frequency image of the channel. As a result, it is possible to reduce the influence of the accuracy of edge detection by the low-frequency image of the channel with a lot of noise. That is, the possibility of erroneous detection of noise as an edge can be reduced, and the noise removal accuracy can be improved while maintaining the preservation accuracy of the edge component.
周波数合成部611は、上述した合成処理を行う合成部609とアップサンプリング(US)処理を行うUS部610とを備えている。合成部609は、処理ステップ1〜n(1〜4)に対応する合成部6091〜6094を備えている。
The
各合成部6091〜6094では、前段の処理ステップのアップサンプリング処理済みの画像(周波数合成画像)と、各ノイズ除去部6081〜6084によるノイズ除去済みの高周波画像とを合成して、各処理ステップにおける周波数合成画像をRGBのチャンネル毎に生成する。例えば、処理ステップ3においては、ノイズ除去部6083からの高周波画像とUS部6103からの周波数合成画像との合成処理が行われて周波数合成画像が生成され、この周波数合成画像が上段の処理ステップ2側のUS部6102に入力される。最下段の処理ステップである処理ステップ4においては、上述した周波数合成画像ではなく、LPF部6024から出力された低周波画像そのものが用いられる。すなわち、合成部6094では、低周波画像とノイズ除去部6084からの高周波画像との合成処理が行われる。
In each
なお、合成部6091〜6094それぞれにおける合成画像処理は、ノイズ除去部608からの高周波画像と、下段の処理ステップからの低周波画像(処理ステップ4では上述したように同一の段での低周波画像)とを合成して、上段の処理ステップに低周波画像として出力する処理であるということができる。これは、各処理ステップにおける合成部、例えば、合成部6093側からみると、下段側の処理ステップにおいて生成された周波数合成画像は、高周波画像に対して低周波の画像となることによる。
Note that the composite image processing in each of the
US部610は、処理ステップ1に対応するUS部6101、処理ステップ2に対応するUS部6102及び処理ステップ3に対応するUS部6103を備えている。各US部6101〜6103では、前段の処理ステップにおける合成部において生成された周波数合成画像に対して、画像のサイズ(画素数)を縦横ともに2倍にする、例えば、線形補間等の画素補間によるUS処理を行い、このUS処理後の画像を次段の処理ステップの合成部に出力する。なお、ここでのUS処理における倍率は、上述したDS部でのDS処理での1/2の倍率に対応して元のサイズに復元すべく2倍としているが、例えば、DS処理の倍率が1/3ならばUS処理の倍率を3倍にするといったようにDS処理の倍率に応じた倍率とすることができる。但し、必ずしもDS処理の倍率に応じた倍率にせずともよく、任意の倍率としてもよい。
The
このような構成において、周波数合成部611は、最下段の処理ステップ4から最上段の処理ステップ1へと複数段の処理ステップによる複数回の周波数合成処理とUS処理とを行い、その結果、画像処理部6への入力画像6200に対する画像として、出力画像6210を出力する。このとき、上述したように、RGBの各チャンネルの画像は、画像処理部6から出力される際に統合される。
In such a configuration, the
次に、第1の実施の形態にかかるノイズ除去処理に関する動作について図5を参照しながら説明する。 Next, operations related to the noise removal processing according to the first embodiment will be described with reference to FIG.
まず、撮像センサー3による撮像等によって入力画像6200が取得されて画像処理部6の周波数分離部601に入力される(ステップS10)。次に、周波数分離部601のLPF部602及びDS部603によって、この入力画像6200に対して最上段の処理ステップから最下段の処理ステップへと複数段の処理ステップによる複数回のLPF処理とDS処理とが行われて複数の周波数成分に分離される。すなわち、処理ステップ毎に低周波画像が生成される(ステップS20)。処理ステップ毎に低周波画像が生成されるに従って、HPF部604によって、各処理ステップに対する入力画像からLPF処理後の低周波画像が減算されて高周波画像がRGBのチャンネル毎に生成される(ステップS30)。
First, an
そして、各処理ステップにおいて、ノイズ量算出部605及びチャンネル判定部606により、RGBの各チャンネルのうち、最もノイズ量が少ないチャンネルの高周波画像を判定する。すなわち、ノイズ量算出部605によって、HPF部604によって生成されたRGBの各チャンネルの高周波画像について、それぞれノイズ量が算出される。そして、チャンネル判定部606によって、ノイズ量算出部605において算出されたRGBの各チャンネルの高周波画像のノイズ量から、何れのチャンネルの画像のノイズ量が最も少ないかが判定される(ステップS40)。
In each processing step, the noise
そして、各処理ステップにおいて、エッジ検出部607及びノイズ除去部608によりエッジ検出処理及びノイズ除去処理が行われる。すなわち、チャンネル判定部606によってノイズ量が最も少ないと判定されたチャンネルの低周波画像がエッジ検出部607に入力されると、エッジ検出部607によって、この低周波画像に対してエッジ強度検出用フィルターを用いたエッジ強度検出フィルター処理が行われて低周波画像のエッジ強度が算出されるとともに、この算出されたエッジ強度の情報からエッジ保存係数Eが算出される。また、ノイズ除去部608によって、ノイズ除去部608に入力されたRGBの各チャンネルの高周波画像に対してそれぞれコアリング処理が行われてノイズ成分が除去されたコアリング画像が生成されて、エッジ検出部607において算出されたエッジ保存係数Eの情報を用いて、このコアリング画像と高周波画像との重み付け処理が行われることで、ノイズ成分が除去され、且つ、エッジ強度eに応じてエッジ成分が保存されたエッジ保存画像がRGBの各チャンネルについて生成される(ステップS50)。そして、周波数合成部611によって、最下段の処理ステップの低周波画像と各処理ステップの各高周波画像とが、最下段から最上段の処理ステップへと順に周波数合成処理及びUS処理を繰り返しながら加算され、その結果、ノイズ成分が除去され、且つ、エッジ成分が保存された合成画像が得られる。なお、この合成画像は出力画像6210として画像処理部6から出力される。このとき、RGBの各チャンネルの画像が統合される(ステップS60)。
In each processing step, edge detection processing and noise removal processing are performed by the
(第2の実施の形態)
次に、第2の実施の形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ1について説明する。なお、第2の実施の形態では、画像処理部について第1の実施の形態とは異なる他は第1の実施の形態と同一であるため、ここでは、画像処理部について説明し、他の構成については説明を省略する。また、画像処理部において、第1の実施の形態と同様の構成についても説明を省略する。
(Second Embodiment)
Next, a digital camera 1 that is an example of an imaging apparatus to which the image processing apparatus according to the second embodiment is applied will be described. In the second embodiment, the image processing unit is the same as that of the first embodiment except that the image processing unit is different from the first embodiment. Therefore, here, the image processing unit will be described and other configurations will be described. Description of is omitted. In the image processing unit, the description of the same configuration as that of the first embodiment is also omitted.
図6は、画像処理部6aにおける主にノイズ除去処理に関する回路構成例を示す機能ブロック図である。図6では、ステップ1についてのみ図示しているが、他のステップについても同様の構成となっている。第2の実施の形態では、画像処理部6aには、画像処理部6aに入力され、RGBの各チャンネルに分離された入力画像6200を入力して輝度信号(Y)を算出し、これを出力する輝度算出部612が設けられている。輝度算出部621は、RGBの各画素値から下記式(3)のようにして輝度信号(Y)を求める。
Y=0.299*R+0.587*G+0.144*B ・・・(3)
FIG. 6 is a functional block diagram illustrating a circuit configuration example mainly related to noise removal processing in the
Y = 0.299 * R + 0.587 * G + 0.144 * B (3)
上述のようにして求められた輝度信号はYチャンネルとしてRGBの各チャンネルに加えられ、YRGBの各チャンネルについて、周波数分離部601による周波数分離処理、HPF604による高周波画像の生成、ノイズ量算出部605によるノイズ量の算出、チャンネル判定部606によるチャンネル判定、エッジ検出部607によるエッジ検出処理が実施される。そして、ノイズ除去部608では、HPF部604において生成されたRGBの各チャンネルの高周波画像に対するノイズ除去処理が実施される。
The luminance signal obtained as described above is added to each RGB channel as a Y channel. For each YRGB channel, frequency separation processing by the
例えば、ノイズ量算出部605によりYRGBの各チャンネルの高周波画像のノイズ量を算出した結果、チャンネル判定部606によりYチャンネルの高周波画像のノイズ量が最も少ないと判定された場合には、LPF部602から出力されたYチャンネルの低周波画像がエッジ検出部607に入力され、この低周波画像に基づいてエッジ検出処理及びノイズ除去処理が行われる。
For example, when the noise
以上のようにして、最下段の処理ステップnから最上段の処理ステップ1のそれぞれにおいて、ノイズ除去処理が実施されてRGBの各チャンネルの高周波画像が得られると、上述したようにして、周波数合成部611による複数回の周波数合成処理とUS処理とが実施されて出力画像6210が生成される。なお、最下段の処理ステップnでは、LPF部においてYRGBの低周波画像が生成されるが、周波数合成処理においては、Yチャンネルを除いたRGBの各チャンネルの低周波画像とノイズ除去処理が実施されたRGBの各チャンネルの高周波画像とが合成される。
As described above, when noise removal processing is performed in each of the lowermost processing step n to the uppermost processing step 1 to obtain a high-frequency image of each channel of RGB, frequency synthesis is performed as described above. A plurality of frequency synthesis processes and US processes are performed by the
このように、第2の実施の形態では、第1の実施の形態と同様、ノイズをエッジとして誤検出するおそれを低減することができ、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。また、比較的ノイズの少ない輝度情報からエッジ検出を精度よく行うことができ、ノイズ除去精度を向上させることができる。 As described above, in the second embodiment, as in the first embodiment, it is possible to reduce the possibility that noise is erroneously detected as an edge, and the noise removal accuracy is improved while maintaining the preservation accuracy of the edge component. Can be improved. Further, edge detection can be performed with high accuracy from luminance information with relatively little noise, and noise removal accuracy can be improved.
(第3の実施の形態)
次に、第3の実施の形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ1について説明する。なお、第3の実施の形態では、画像処理部について第1の実施の形態とは異なる他は第1の実施の形態と同一であるため、ここでは、画像処理部について説明し、他の構成については説明を省略する。また、画像処理部において、第1の実施の形態と同様の構成についても説明を省略する。
(Third embodiment)
Next, a digital camera 1 that is an example of an imaging apparatus to which the image processing apparatus according to the third embodiment is applied will be described. In the third embodiment, the image processing unit is the same as that of the first embodiment except that the image processing unit is different from the first embodiment. Therefore, here, the image processing unit will be described and other configurations will be described. Description of is omitted. In the image processing unit, the description of the same configuration as that of the first embodiment is also omitted.
図7は、画像処理部6bにおける主にノイズ除去処理に関する回路構成例を示す機能ブロック図である。図7では、ステップ1についてのみ図示しているが、他のステップについても同様の構成となっている。第3の実施の形態では、画像処理部6bには、第2の実施の形態において説明した輝度算出部612と、制御部8からのチャンネル指定信号を受信し、受信したチャンネル指定信号に対応するチャンネルがエッジ検出処理の対象となるようにチャンネルの選択信号をエッジ検出部607に出力するチャンネル選択部613とが設けられている。なお、本実施の形態において、輝度算出部612が設けられていない構成であってもよい。チャンネル選択部613は、処理ステップ1〜n(1〜4)に対応してそれぞれ設けられており、例えば、ステップ1には、チャンネル選択部6131が設けられている。チャンネル指定信号は、例えば、温度や湿度、昼夜等の時間帯、周辺の明るさ、撮像センサー3の種類等に応じて制御部8から出力される。なお、何れの条件で何れのチャンネルに対応するチャンネル指定信号が出力されるかについては、RGBの各チャンネルの画像のノイズの発生の状況等に応じて適宜設定することができる。また、例えば、操作部10の操作に応じて、出力するチャンネル指定信号を予め設定できるように構成されてもよい。また、ステップ毎に異なるチャンネル指定信号が制御部8から出力されるようにしてもよいし、全てのステップにおいて同一のチャンネル指定信号が制御部8から出力されるようにしてもよい。
FIG. 7 is a functional block diagram illustrating a circuit configuration example mainly relating to noise removal processing in the
エッジ検出部607は、YGRBの各チャンネルから、チャンネル選択部613からのチャンネルの選択信号に応じたチャンネルの低周波画像を入力してエッジ検出処理を行う。
The
このように、第3の実施の形態では、第1の実施の形態と同様、ノイズをエッジとして誤検出するおそれを低減することができ、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。また、撮像する毎にチャンネルを切り換えなくて済むので、撮像時のリアルタイムでの処理量を低減させることができるようになる。 As described above, in the third embodiment, as in the first embodiment, it is possible to reduce the possibility of erroneous detection of noise as an edge, and the noise removal accuracy can be improved while maintaining the preservation accuracy of the edge component. Can be improved. In addition, since it is not necessary to switch the channel each time an image is taken, the amount of processing in real time at the time of image taking can be reduced.
以上説明したように、第1〜第3の実施の形態によれば、周波数分離部601は、複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する。チャンネル選択部613(ノイズ量算出部605、チャンネル判定部606)は、複数の波長領域から何れかを選択する。エッジ検出部607は、複数の周波数帯のそれぞれについて、チャンネル選択部613(ノイズ量算出部605、チャンネル判定部606)によって選択された波長領域の周波数成分における低周波成分からエッジ強度を検出する。ノイズ除去部608は、周波数分離部601により分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、エッジ検出部607によって検出されたエッジ強度に基づいて、高周波成分に対するエッジ成分の保存を行う。周波数合成部611は、複数の周波数帯のそれぞれにおける、ノイズ除去部608によりノイズ成分が除去されるとともにエッジ成分が保存された高周波成分を合成する。その結果、複数の波長領域を含むカラー画像において、例えば、ノイズ量の少ない波長領域の低周波画像を選択して、この低周波画像についてエッジ検出が行われ、これに基づいてノイズの除去及びエッジ成分の保存が行われるので、カラー画像において、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができるようになる。
As described above, according to the first to third embodiments, the
また、第1及び第2の実施の形態によれば、ノイズ量算出部605は、複数の波長領域のそれぞれについて、周波数分離部601により分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出する。チャンネル判定部606は、ノイズ量算出部605により得られた複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する。チャンネル判定部606によって判定された波長領域が複数の波長領域から選択される。その結果、ノイズ量の最も少ない波長領域の低周波画像についてエッジ検出が行われ、これに基づいてノイズの除去及びエッジ成分の保存が行われるので、エッジ成分の保存精度を良好に保ちながらノイズ除去精度をより向上させることができるようになる。
Further, according to the first and second embodiments, the noise
また、第1〜第3の実施の形態によれば、複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とを含むので、色チャンネルでのエッジ検出を精度良く行うことができるので、ノイズ除去精度をより向上させることができるようになる。 Further, according to the first to third embodiments, the plurality of wavelength regions include the red region, the green region, and the blue region of visible wavelengths, so that the edge detection in the color channel can be accurately performed. Therefore, the noise removal accuracy can be further improved.
また、第2及び第3の実施の形態によれば、複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とから求められる輝度情報を含むので、ノイズの少ない輝度情報を利用してエッジ検出を精度良く行うことができるようになり、ノイズ除去精度をより向上させることができるようになる。 In addition, according to the second and third embodiments, the plurality of wavelength regions include luminance information obtained from the red region, the green region, and the blue region of the visible wavelength, so that luminance information with less noise is used. Thus, edge detection can be performed with high accuracy, and noise removal accuracy can be further improved.
なお、本実施の形態における記述は、本発明に係るデジタルカメラの一例であり、これに限定されるものではない。デジタルカメラを構成する各機能部の細部構成及び細部動作に関しても適宜変更可能である。 Note that the description in this embodiment is an example of the digital camera according to the present invention, and the present invention is not limited to this. The detailed configuration and detailed operation of each functional unit constituting the digital camera can be changed as appropriate.
また、本実施の形態では、撮像センサー3として、COMSイメージセンサーやCCDイメージセンサー等、RGBの3つの波長領域の信号を取得する可視光センサーを適用し、これをA/D変換して画像処理を行うようにしたが、上述した可視光センサーの他、例えば、W(White)、Y(Yellow)、I(赤外波長領域)、R(Red)の各波長領域の信号を取得する補色センサーを適用してもよい。この場合、上記WYIRの各波長領域の信号からRGBの各チャンネルの画像を生成し、これらに対してエッジ検出処理及びノイズ除去処理を実施することができる。ここで、WYIRの各チャンネルの画像から何れかを選択し、選択したチャンネルの低周波画像に対してエッジ検出処理を実施するようにしてもよい。
すなわち、本実施の形態によれば、複数の波長領域は、赤外波長領域を含むので、赤外波長領域の信号を含む画像に対応することができるようになる。
In the present embodiment, a visible light sensor that acquires signals in the three wavelength regions of RGB, such as a COMS image sensor and a CCD image sensor, is applied as the
That is, according to the present embodiment, since the plurality of wavelength regions include the infrared wavelength region, it is possible to correspond to an image including a signal in the infrared wavelength region.
また、本実施の形態において、RGB(YRGB)の各チャンネルからエッジ検出部607によってエッジ検出処理を行う対象とするチャンネルの低周波画像の選択を実施するタイミングについては、適宜設定することができる。例えば、撮像センサー3によって1フレームの撮像が実施される毎に行ってもよいし、所定時間毎に実施されるようにしてもよいし、撮像の開始時に一度だけ実施されるようにしてもよい。
In the present embodiment, the timing for selecting the low-frequency image of the channel to be subjected to edge detection processing by the
また、本実施の形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)も適用される。 In the present embodiment, an example in which a hard disk, a semiconductor nonvolatile memory, or the like is used as a computer-readable medium for the program according to the present invention is disclosed, but the present invention is not limited to this example. As another computer-readable medium, a portable recording medium such as a CD-ROM can be applied. A carrier wave is also used as a medium for providing program data according to the present invention via a communication line.
1 デジタルカメラ
6 画像処理部
601 周波数分離部
602 LPF部
604 HPF部
605 ノイズ量算出部(波長領域選択部)
606 チャンネル判定部(波長領域選択部・波長領域判定部)
607 エッジ検出部
608 ノイズ除去部
611 周波数合成部
DESCRIPTION OF SYMBOLS 1
606 Channel determination unit (wavelength region selection unit / wavelength region determination unit)
607
Claims (5)
前記複数の波長領域から何れかを選択する波長領域選択部と、
前記複数の周波数帯のそれぞれについて、前記波長領域選択部によって選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出部と、
前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出部によって検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去部と、
前記複数の周波数帯のそれぞれにおける、前記ノイズ除去部によりノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成部と、
を備え、
前記波長領域選択部は、
前記複数の波長領域のそれぞれについて、前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出部と、
前記ノイズ量算出部により得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定部と
を備え、
前記波長領域判定部によって判定された波長領域を前記複数の波長領域から選択することを特徴とする画像処理装置。 A frequency separation unit that separates an input image including a plurality of wavelength regions into frequency components in a plurality of frequency bands;
A wavelength region selection unit for selecting one of the plurality of wavelength regions;
For each of the plurality of frequency bands, an edge detection unit that detects edge intensity from a low frequency component in a frequency component of the wavelength region selected by the wavelength region selection unit;
Noise that removes noise components from high-frequency components in the frequency components of each frequency band separated by the frequency separation unit and that stores edge components for the high-frequency components based on the edge strength detected by the edge detection unit A removal section;
In each of the plurality of frequency bands, a frequency synthesizer that synthesizes the high frequency component in which the noise component is removed and the edge component is preserved by the noise removing unit;
Equipped with a,
The wavelength region selector is
For each of the plurality of wavelength regions, a noise amount calculation unit that calculates a noise amount from a high frequency component in a frequency component of each frequency band separated by the frequency separation unit;
A wavelength region determination unit that determines a wavelength region of a high-frequency component that is the smallest amount of noise from the amount of noise of the high-frequency component for each of the plurality of wavelength regions obtained by the noise amount calculation unit;
With
An image processing apparatus, wherein a wavelength region determined by the wavelength region determination unit is selected from the plurality of wavelength regions .
前記複数の波長領域から何れかを選択する波長領域選択工程と、
前記複数の周波数帯のそれぞれについて、前記波長領域選択工程において選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出工程と、
前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出工程において検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去工程と、
前記複数の周波数帯のそれぞれにおける、前記ノイズ除去工程においてノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成工程と、
を含み、
前記波長領域選択工程は、
前記複数の波長領域のそれぞれについて、前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出工程と、
前記ノイズ量算出工程において得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定工程と
を含み、
前記波長領域選択工程では、前記波長領域判定工程において判定された波長領域を前記複数の波長領域から選択することを特徴とする画像処理方法。 A frequency separation step of separating an input image including a plurality of wavelength regions into frequency components in a plurality of frequency bands;
A wavelength region selection step of selecting any one of the plurality of wavelength regions;
For each of the plurality of frequency bands, an edge detection step of detecting edge intensity from a low frequency component in a frequency component of the wavelength region selected in the wavelength region selection step;
Noise that removes noise components from high-frequency components in the frequency components of each frequency band separated in the frequency separation step and that stores edge components for the high-frequency components based on the edge strength detected in the edge detection step A removal step;
In each of the plurality of frequency bands, a frequency synthesizing step of synthesizing the high frequency component in which the noise component is removed and the edge component is stored in the noise removing step;
Only including,
The wavelength region selection step includes
For each of the plurality of wavelength regions, a noise amount calculation step of calculating a noise amount from a high frequency component in a frequency component of each frequency band separated in the frequency separation step;
A wavelength region determination step of determining a wavelength region of a high-frequency component that is the least amount of noise from the amount of noise of the high-frequency component for each of the plurality of wavelength regions obtained in the noise amount calculation step;
Including
In the wavelength region selection step, the wavelength region determined in the wavelength region determination step is selected from the plurality of wavelength regions .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012228724A JP5935649B2 (en) | 2012-10-16 | 2012-10-16 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012228724A JP5935649B2 (en) | 2012-10-16 | 2012-10-16 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014081764A JP2014081764A (en) | 2014-05-08 |
JP5935649B2 true JP5935649B2 (en) | 2016-06-15 |
Family
ID=50785915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012228724A Expired - Fee Related JP5935649B2 (en) | 2012-10-16 | 2012-10-16 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5935649B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017216903A1 (en) | 2016-06-15 | 2017-12-21 | オリンパス株式会社 | Image processor, image processing method and image processing program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196892A (en) * | 1998-12-28 | 2000-07-14 | Ricoh Co Ltd | Color image forming device |
JP2008015741A (en) * | 2006-07-05 | 2008-01-24 | Konica Minolta Holdings Inc | Image processor, image processing method, and image pickup device using the same |
-
2012
- 2012-10-16 JP JP2012228724A patent/JP5935649B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014081764A (en) | 2014-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5460173B2 (en) | Image processing method, image processing apparatus, image processing program, and imaging apparatus | |
US7898583B2 (en) | Image processing device, image processing method, and image sensing apparatus | |
JP5112104B2 (en) | Image processing apparatus and image processing program | |
JP4742652B2 (en) | Imaging device | |
JP4666179B2 (en) | Image processing method and image processing apparatus | |
US10594996B2 (en) | Image processing apparatus, image pickup device, image pickup apparatus, and image processing method | |
JP2008165312A (en) | Image processor and image processing method | |
JP2007041834A (en) | Image processor | |
JP5541205B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
JP2010093470A (en) | Noise cancellation processing circuit and solid-state imaging device | |
US20100066869A1 (en) | Video signal processing apparatus, image pickup apparatus, display apparatus, and video signal processing method | |
JP5589660B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5291788B2 (en) | Imaging device | |
JP5062064B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
EP2645702B1 (en) | Image capturing apparatus, control method therefor, and program | |
JP2007043312A (en) | Imaging apparatus | |
CN106412391B (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
JP5935649B2 (en) | Image processing apparatus and image processing method | |
JP3863808B2 (en) | Outline enhancement circuit | |
JP6091311B2 (en) | Imaging device | |
JP4877402B2 (en) | Image processing apparatus, image processing method, imaging apparatus, program, and recording medium | |
JP2009055415A (en) | Camera | |
JP6029464B2 (en) | Imaging device, control method thereof, and control program | |
JP2016082390A (en) | Signal processing unit | |
JP4687750B2 (en) | Digital camera and image signal processing storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5935649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |