上述したような従来の単一の階調変換曲線を用いるスペースインバリアントな階調処理の手法では、逆光などの標準的でない状況においては適切な映像信号を得ることができないという課題がある。
また、上述した特許3465226号に係る公報に記載された技術では、ヒストグラムに基づいて画像毎に階調変換曲線を求めているが、ノイズ成分の増加に関しては考慮されていない。このために、例えば画像内における暗部の割合が大きいときには、ヒストグラムに基づく階調変換曲線によって該暗部に広い階調が与えられることになるが、この場合には暗部のノイズが顕著になってしまい、画質的に最適な階調変換処理が行われないという課題がある。
さらに、上述した特開平8−56316号公報に記載された技術では、低周波成分のみにコントラスト強調処理が行われるために、エッジ領域などの高周波成分を多く含む領域では解像感が低下するという課題がある。また、該公報に記載された技術では、低周波成分とそれ以外とで異なる処理を行っているために、画像全体としての連続性および統一性が失われてしまうことがあるという課題がある。
そして、上述した特開2004−128985号公報に記載された技術では、ノイズ低減処理と他の階調処理とが独立しているために、相互を最適に活用することができないという課題がある。
本発明は上記事情に鑑みてなされたものであり、スペースインバリアントおよびスペースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信号の生成を可能とする画像処理システム、画像処理プログラムを提供することを目的としている。
また本発明は、階調処理とノイズ低減処理との両方を行うことができ、かつ全体としての高性能化および低コスト化を可能とする画像処理システム、画像処理プログラムを提供することを目的としている。
上記の目的を達成するために、本発明の第1の態様による画像処理システムは、映像信号に対して階調変換を行う画像処理システムにおいて、上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離手段と、上記有効成分に対して階調変換を行う変換手段と、上記階調変換がなされた有効成分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成手段と、を具備したものである。
(第1の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、実施形態3、および実施形態4が対応する。
分離手段は図1,図2,図10に示す周波数分解部109および図1,図5,図10に示す高周波分離部112および図15,図18に示す周波数分解部804および図15,図20に示す高周波分離部806および図26に示す周波数分解部1200および図26,図28に示す高周波分離部1201および図31,図32に示すノイズ低減部1400および図31に示す差分部1401が、変換手段は図1,図4,図10,図26,図31に示す変換特性算出部111および図1,図6,図10,図26に示す階調処理部113および図15,図19に示す変換特性算出部805および図15,図21に示す階調処理部807および図31,図33に示す階調処理部1402が、合成手段は図1,図9,図10に示す周波数合成部115および図15に示す周波数合成部808および図26に示す周波数合成部1203および図31に示す信号合成部1403が、それぞれ該当する。
この発明の態様の好ましい適用例は、周波数分解部109,高周波分離部112,周波数分解部804,高周波分離部806,周波数分解部1200,高周波分離部1201,ノイズ低減部1400,差分部1401によって映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、変換特性算出部111,階調処理部113,変換特性算出部805,階調処理部807,階調処理部1402によって有効成分に対して階調変換を行い、周波数合成部115,周波数合成部808,周波数合成部1203,信号合成部1403によって階調変換がなされた有効成分と無効成分とを合成する画像処理システムである。
(作用)
映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、有効成分を階調変換した後に無効成分と合成する。
(効果)
階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
また、本発明の第2の態様による画像処理システムは、上記第1の態様による画像処理システムにおいて、上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するY/C分離手段をさらに具備し、上記分離手段、上記変換手段、および上記合成手段が扱う上記映像信号は、上記Y/C分離手段により分離された上記輝度信号である。
(第2の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
Y/C分離手段は図15に示すY/C分離部802が該当する。
この発明の態様の好ましい適用例は、Y/C分離部802によってカラー映像信号を輝度信号と色信号とへ分離し、輝度信号に関してノイズに起因する無効成分とその他の有効成分とに分離し、有効成分に対して階調変換を行い、階調処理がなされた有効成分と無効成分とを合成する画像処理システムである。
(作用)
カラー映像信号を輝度信号と色信号とへ分離し、輝度信号に関してノイズに起因する無効成分とその他の有効成分とに分離し、有効成分を階調変換した後に無効成分と合成する。
(効果)
カラー映像信号に対する階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性を向上することができる。
さらに、本発明の第3の態様による画像処理システムは、上記第1または第2の態様による画像処理システムにおいて、上記分離手段が、上記映像信号を高周波成分と低周波成分とに分解する周波数分解手段と、上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離手段と、を有して構成されたものである。
(第3の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、および実施形態3が対応する。
周波数分解手段は図1,図2,図10に示す周波数分解部109および図15,図18に示す周波数分解部804および図26に示す周波数分解部1200が、高周波分離手段は図1,図5,図10に示す高周波分離部112および図15,図20に示す高周波分離部806および図26,図28に示す高周波分離部1201が、それぞれ該当する。
この発明の態様の好ましい適用例は、周波数分解部109,周波数分解部804,周波数分解部1200によって映像信号を高周波成分と低周波成分とに分解し、高周波分離部112,高周波分離部806,高周波分離部1201によって高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する画像処理システムである。
(作用)
映像信号を高周波成分と低周波成分とに分解して、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。
(効果)
視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離するようにしたために、ノイズの抑制効果を向上することができ、高品位な映像信号を生成することが可能となる。また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
本発明の第4の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記周波数分解手段が、ウェーブレット(Wavelet)変換、フーリエ(Fourier)変換、またはDCT(Discrete Cosine Transform)変換を用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
(第4の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1および実施形態3が対応する。
ウェーブレット(Wavelet)変換は図1,図2,図10に示す周波数分解部109が、フーリエ(Fourier)変換は図1,図10に示す周波数分解部109が、DCT(Discrete Cosine Transform)変換は図26に示す周波数分解部1200が、それぞれ該当する。
この発明の態様の好ましい適用例は、周波数分解における変換に、ウェーブレット(Wavelet)変換、フーリエ(Fourier)変換、またはDCT(Discrete Cosine Transform)変換を用いる画像処理システムである。
(作用)
周波数分解に、ウェーブレット(Wavelet)変換、フーリエ(Fourier)変換、またはDCT(Discrete Cosine Transform)変換を用いる。
(効果)
ウェーブレット(Wavelet)変換、フーリエ(Fourier)変換、またはDCT(Discrete Cosine Transform)変換は、周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
本発明の第5の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記周波数分解手段が、ローパスフィルタおよび差分フィルタを用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
(第5の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
ローパスフィルタは図18に示すローパスフィルタ部901が、差分フィルタは図18に示す差分フィルタ部903が、それぞれ該当する。
この発明の態様の好ましい適用例は、周波数分解における変換にローパスフィルタおよび差分フィルタを用いる画像処理システムである。
(作用)
周波数分解にローパスフィルタおよび差分フィルタを用いる。
(効果)
ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
本発明の第6の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記周波数分解手段が、ガウシアンフィルタ(Gaussian Filter)およびラプラシアンフィルタ(Laplacian Filter)を用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
(第6の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
ガウシアンフィルタは図18に示すローパスフィルタ部901が、ラプラシアンフィルタは図18に示す差分フィルタ部903が、それぞれ該当する。
この発明の態様の好ましい適用例は、周波数分解における変換にガウシアンフィルタおよびラプラシアンフィルタを用いる画像処理システムである。
(作用)
周波数分解にガウシアンフィルタおよびラプラシアンフィルタを用いる。
(効果)
ガウシアンフィルタおよびラプラシアンフィルタは、フィルタ構成の複雑さの程度と周波数の分離能とのバランスに優れているために、比較的高い処理性能を得ながらコストを抑制した画像処理システムを構成することが可能となる。
本発明の第7の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記変換手段が、上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理手段と、を有して構成されたものである。
(第7の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、および実施形態3が対応する。
変換特性算出手段は図1,図4,図10,図26に示す変換特性算出部111および図15,図19に示す変換特性算出部805が、階調処理手段は図1,図6,図10,図26に示す階調処理部113および図15,図21に示す階調処理部807が、それぞれ該当する。
この発明の態様の好ましい適用例は、変換特性算出部111,変換特性算出部805によって低周波成分に基づき階調変換に用いる変換特性を算出し、階調処理部113,階調処理部807によって低周波成分と高周波成分中の有効成分とに対して階調処理を行う画像処理システムである。
(作用)
低周波成分に基づき階調変換に用いる変換特性を算出し、低周波成分と高周波成分中の有効成分とに対して階調処理を行う。
(効果)
低周波成分に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。また、低周波成分と高周波成分中の有効成分とに対して階調処理を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
本発明の第8の態様による画像処理システムは、上記第7の態様による画像処理システムにおいて、上記合成手段が、上記階調処理がなされた低周波成分と、上記階調処理がなされた高周波成分中の有効成分と、上記高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する周波数合成手段を有して構成されたものである。
(第8の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、および実施形態3が対応する。
周波数合成手段は図1,図9,図10に示す周波数合成部115および図15に示す周波数合成部808および図26に示す周波数合成部1203が該当する。
この発明の態様の好ましい適用例は、周波数合成部115,周波数合成部808,周波数合成部1203によって、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成する画像処理システムである。
(作用)
階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成する。
(効果)
階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成するようにしたために、有効成分と無効成分の分離処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
本発明の第9の態様による画像処理システムは、上記第7の態様による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
(第9の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
適正域抽出手段は図19に示す適正域抽出部302が、エッジ算出手段は図19に示すエッジ算出部303が、ヒストグラム作成手段は図19に示すヒストグラム作成部304が、階調変換曲線算出手段は図19に示す階調変換曲線算出部305が、それぞれ該当する。
この発明の態様の好ましい適用例は、適正域抽出部302によって低周波成分の信号値に基づき適正露光域を抽出し、エッジ算出部303によって適正露光域に関してエッジ量を算出し、ヒストグラム作成部304によってエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部305によってヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
(作用)
階調変換処理を行うために必要な階調変換曲線を、映像信号の低周波成分から適用的に算出する。
(効果)
映像信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
本発明の第10の態様による画像処理システムは、上記第9の態様による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分から関心領域を設定する関心領域設定手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、をさらに有して構成されたものであり、上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものである。
(第10の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
関心領域設定手段は図19に示すエッジ算出部303,色相算出部1000,人物判断部1001が、重み係数設定手段は図19に示す重み係数設定部1002が、ヒストグラム補正手段は図19に示すヒストグラム補正部1003が、それぞれ該当する。
この発明の態様の好ましい適用例は、エッジ算出部303,色相算出部1000,人物判断部1001によって低周波成分から関心領域を設定し、重み係数設定部1002によって関心領域に関して重み係数を設定し、ヒストグラム補正部1003によって重み係数に基づきヒストグラムに補正を行う画像処理システムである。
(作用)
人物などの関心領域に基づき、階調変換曲線を算出するためのヒストグラムに補正を行う。
(効果)
関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
本発明の第11の態様による画像処理システムは、上記第9または第10の態様による画像処理システムにおいて、上記階調処理手段が、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第1の抽出手段と、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第2の抽出手段と、上記階調変換曲線に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、を有して構成されたものである。
(第11の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
第1の抽出手段は図21に示す低周波成分抽出部500が、第2の抽出手段は図21に示す高周波成分抽出部504が、階調変換手段は図21に示す階調変換部505が、それぞれ該当する。
この発明の態様の好ましい適用例は、低周波成分抽出部500によって低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出し、高周波成分抽出部504によって高周波成分中の有効成分から低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出し、階調変換部505によって階調変換曲線に基づき低周波成分注目画素と有効成分注目画素とに対して階調変換を行う画像処理システムである。
(作用)
同一位置にある低周波成分と高周波成分の中の有効成分とを抽出して、同等な階調変換を行う。
(効果)
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
本発明の第12の態様による画像処理システムは、上記第7の態様による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分を複数の領域に分割する分割手段と、上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
(第12の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1および実施形態3が対応する。
各手段に該当する構成は、図1,図26における変換特性算出部111の具体的な構成を示す図4に示される。すなわち、分割手段は図4に示す分割部300が、適正域抽出手段は図4に示す適正域抽出部302が、エッジ算出手段は図4に示すエッジ算出部303が、ヒストグラム作成手段は図4に示すヒストグラム作成部304が、階調変換曲線算出手段は図4に示す階調変換曲線算出部305が、それぞれ該当する。
この発明の態様の好ましい適用例は、分割部300によって低周波成分を複数の領域に分割し、適正域抽出部302によって領域毎に低周波成分の信号値に基づき適正露光域を抽出し、エッジ算出部303によって領域毎に適正露光域に関してエッジ量を算出し、ヒストグラム作成部304によって領域毎にエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部305によって領域毎にヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
(作用)
階調変換処理を行うために必要な階調変換曲線を、映像信号の低周波成分から所定の領域毎に独立かつ適用的に算出する。
(効果)
映像信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
本発明の第13の態様による画像処理システムは、上記第12の態様による画像処理システムにおいて、上記階調処理手段が、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第1の抽出手段と、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第2の抽出手段と、上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、を有して構成されたものである。
(第13の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1および実施形態3が対応する。
各手段に該当する構成は、図1,図26における階調処理部113の具体的な構成を示す図6に示される。すなわち、第1の抽出手段は図6に示す低周波成分抽出部500が、第2の抽出手段は図6に示す高周波成分抽出部504が、距離算出手段は図6に示す距離算出部501が、階調変換式設定手段は図6に示す階調変換式設定部502が、階調変換手段は図6に示す階調変換部505が、それぞれ該当する。
この発明の態様の好ましい適用例は、低周波成分抽出部500によって低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出し、高周波成分抽出部504によって高周波成分中の有効成分から低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出し、距離算出部501によって低周波成分注目画素と低周波成分注目画素の近傍に位置する領域の中心との距離情報を算出し、階調変換式設定部502によって低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と距離情報とに基づき階調変換に用いる階調変換式を設定し、階調変換部505によって階調変換式に基づき低周波成分注目画素と有効成分注目画素とに対して階調変換を行う画像処理システムである。
(作用)
同一位置にある低周波成分と高周波成分の中の有効成分とを抽出して、同等な階調変換を行う。また、領域毎に独立して求めた階調変換曲線を合成して階調変換に用いる。
(効果)
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
本発明の第14の態様による画像処理システムは、上記第11または第13の態様による画像処理システムにおいて、上記階調処理手段が、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御手段をさらに有して構成されたものである。
(第14の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、および実施形態3が対応する。
制御手段は図6,図21に示す制御部118が該当する。
この発明の態様の好ましい適用例は、低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に、制御部118が有効成分注目画素に対する階調変換を中止するように制御する画像処理システムである。
(作用)
高周波成分中の有効成分が存在しない場合には、有効成分に対する階調変換を中止するように制御する。
(効果)
不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
本発明の第15の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記高周波分離手段が、上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定手段と、上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定手段と、上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断手段と、を有して構成されたものである。
(第15の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、および実施形態3が対応する。
ノイズ推定手段は図5,図28に示すゲイン算出部401,標準値付与部402,パラメータ用ROM403,パラメータ選択部404,補間部405,制御部118および図20に示すゲイン算出部401,標準値付与部402,ノイズLUT1100,制御部118が、設定手段は図5,図20,図28に示す平均算出部407,上限下限設定部408が、判断手段は図5,図20,図28に示す判断部409が、それぞれ該当する。
この発明の態様の好ましい適用例は、ゲイン算出部401,標準値付与部402,パラメータ用ROM403,パラメータ選択部404,補間部405,制御部118,ノイズLUT1100によって低周波成分に基づき高周波成分のノイズ量を推定し、上限下限設定部408によってノイズ量および高周波成分に基づき許容範囲を設定し、判断部409によって許容範囲に基づき高周波成分が無効成分と有効成分との何れに属するかを判断する画像処理システムである。
(作用)
低周波成分に基づき高周波成分のノイズ量を推定し、ノイズ量に基づき高周波成分が無効成分と有効成分との何れに属するかを判断する。
(効果)
ノイズ量に基づき高周波成分の有効性を判断するようにしたために、階調処理に伴うノイズの増加を抑制するために最適な判断が可能となる。
本発明の第16の態様による画像処理システムは、上記第15の態様による画像処理システムにおいて、上記設定手段が、上記高周波成分の平均値を算出する平均値算出手段と、上記ノイズ量および上記平均値に基づき高周波成分に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、を有して構成されたものである。
(第16の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1、実施形態2、および実施形態3が対応する。
平均算出手段は図5,図20,図28に示す平均算出部407が、上限下限設定手段は図5,図20,図28に示す上限下限設定部408が、それぞれ該当する。
この発明の態様の好ましい適用例は、平均算出部407によって高周波成分の平均値を算出し、上限下限設定部408によってノイズ量および平均値に基づき高周波成分に関する上限値および下限値を設定する画像処理システムである。
(作用)
高周波成分の平均値とノイズ量とに基づき、上限値および下限値を設定する。
(効果)
高周波成分に関してノイズに該当する範囲が適切に設定されるために、処理を高精度化することが可能となる。
本発明の第17の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記高周波成分に対してノイズ低減処理を行うノイズ低減手段をさらに具備したものである。
(第17の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態3が対応する。
ノイズ低減手段は図28に示す第1スムージング部1300,第2スムージング部1301が該当する。
この発明の態様の好ましい適用例は、第1スムージング部1300,第2スムージング部1301によって高周波成分に対してノイズ低減処理を行う画像処理システムである。
(作用)
高周波成分に対してノイズ低減処理を行う。
(効果)
ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
本発明の第18の態様による画像処理システムは、上記第17の態様による画像処理システムにおいて、上記ノイズ低減手段が、上記高周波成分中の有効成分に対して補正を行う第1のスムージング手段と、上記高周波成分中の無効成分に対して平滑化を行う第2のスムージング手段と、を有して構成されたものである。
(第18の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態3が対応する。
第1のスムージング手段は図28に示す第1スムージング部1300が、第2のスムージング手段は図28に示す第2スムージング部1301が、それぞれ該当する。
この発明の態様の好ましい適用例は、第1スムージング部1300によって高周波成分中の有効成分に対して補正を行い、第2スムージング部1301によって高周波成分中の無効成分に対して平滑化を行う画像処理システムである。
(作用)
高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成分に対しては平滑化処理を行う。
(効果)
ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
本発明の第19の態様による画像処理システムは、上記第3の態様による画像処理システムにおいて、上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調手段をさらに具備したものである。
(第19の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態3が対応する。
エッジ強調手段は図26に示すエッジ強調部1202が該当する。
この発明の態様の好ましい適用例は、エッジ強調部1202によって高周波成分中の有効成分に対してエッジ強調処理を行う画像処理システムである。
(作用)
高周波成分中の有効成分に対してエッジ強調処理を行う。
(効果)
ノイズ成分を強調することなくエッジ成分のみを強調することができるために、高品位な映像信号を生成することが可能となる。
本発明の第20の態様による画像処理システムは、上記第1または第2の態様による画像処理システムにおいて、上記分離手段が、上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減手段と、上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分手段と、を有して構成されたものである。
(第20の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
ノイズ低減手段は図31,図32に示すノイズ低減部1400が、差分手段は図31に示す差分部1401が、それぞれ該当する。
この発明の態様の好ましい適用例は、ノイズ低減部1400によって映像信号に対してノイズ低減を行うことにより有効成分を求めて、差分部1401によって映像信号とノイズ低減後の映像信号との差分から無効成分を求める画像処理システムである。
(作用)
映像信号に対してノイズ低減を行うことにより有効成分を求めて、映像信号とノイズ低減後の映像信号との差分から無効成分を求める。
(効果)
ノイズ低減処理により有効成分を求めて、差分処理により無効成分を求めるようにしたために、既存のシステムとの親和性および互換性が高く、多くの画像処理システムに適用することが可能となる。また、ノイズ低減処理を有効成分の算出に利用することができるために、システムの規模を縮小して低コスト化を図ることが可能となる。
本発明の第21の態様による画像処理システムは、上記第20の態様による画像処理システムにおいて、上記ノイズ低減手段が、上記映像信号のノイズ量を推定するノイズ推定手段と、上記ノイズ量および上映像信号に基づき許容範囲を設定する設定手段と、上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断手段と、上記映像信号がノイズに属さないと判断された場合に補正を行う第1のスムージング手段と、上記映像信号がノイズに属すると判断された場合に平滑化を行う第2のスムージング手段と、を有して構成されたものである。
(第21の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
ノイズ推定手段は図32に示す平均算出部1501,ゲイン算出部1502,標準値付与部1503,ノイズLUT1504,制御部118が、設定手段は図32に示す上限下限設定部1505が、判断手段は図32に示す判断部1506が、第1のスムージング手段は図32に示す第1スムージング部1507が、第2のスムージング手段は図32に示す第2スムージング部1508が、それぞれ該当する。
この発明の態様の好ましい適用例は、平均算出部1501,ゲイン算出部1502,標準値付与部1503,ノイズLUT1504,制御部118によって映像信号のノイズ量を推定し、上限下限設定部1505によってノイズ量および映像信号に基づき許容範囲を設定し、判断部1506によって許容範囲に基づき映像信号がノイズに属するか否かを判断し、映像信号がノイズに属さないと判断された場合に第1スムージング部1507によって補正を行い、映像信号がノイズに属すると判断された場合に第2スムージング部1508によって平滑化を行う画像処理システムである。
(作用)
映像信号のノイズ量を推定して、ノイズ量に基づき映像信号がノイズに属するか否かを判断し、ノイズに属さないと判断された場合には補正処理を、ノイズに属すると判断された場合には平滑化処理を行う。
(効果)
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
本発明の第22の態様による画像処理システムは、上記第20の態様による画像処理システムにおいて、上記変換手段が、上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理手段と、を有して構成されたものである。
(第22の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
変換特性算出手段は図31に示す変換特性算出部111が、階調処理手段は図31,図33に示す階調処理部1402が、それぞれ該当する。
この発明の態様の好ましい適用例は、変換特性算出部111によってノイズ低減後の映像信号に基づき階調変換に用いる変換特性を算出し、階調処理部1402によってノイズ低減後の映像信号に対して階調処理を行う画像処理システムである。
(作用)
ノイズ低減後の映像信号に基づき階調変換に用いる変換特性を算出し、ノイズ低減後の映像信号に対して階調処理を行う。
(効果)
ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。また、ノイズ低減後の映像信号に対して階調処理を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
本発明の第23の態様による画像処理システムは、上記第22の態様による画像処理システムにおいて、上記合成手段が、上記階調処理がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する信号合成手段を有して構成されたものである。
(第23の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
信号合成手段は図31に示す信号合成部1403が該当する。
この発明の態様の好ましい適用例は、信号合成部1403によって、階調処理がなされたノイズ低減後の映像信号と、映像信号とノイズ低減後の映像信号との差分からなる無効成分と、を合成する画像処理システムである。
(作用)
階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成する。
(効果)
階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するようにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
本発明の第24の態様による画像処理システムは、上記第22の態様による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
(第24の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
各手段に該当する構成は、図31における変換特性算出部111の具体的な構成を示す図19に示される。すなわち、適正域抽出手段は図19に示す適正域抽出部302が、エッジ算出手段は図19に示すエッジ算出部303が、ヒストグラム作成手段は図19に示すヒストグラム作成部304が、階調変換曲線算出手段は図19に示す階調変換曲線算出部305が、それぞれ該当する。
この発明の態様の好ましい適用例は、適正域抽出部302によってノイズ低減後の映像信号に基づき適正露光域を抽出し、エッジ算出部303によって適正露光域に関してエッジ量を算出し、ヒストグラム作成部304によってエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部305によってヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
(作用)
階調変換処理を行うために必要な階調変換曲線を、ノイズ低減後の映像信号から適用的に算出する。
(効果)
ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、ノイズ低減後の映像信号に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
本発明の第25の態様による画像処理システムは、上記第24の態様による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分から関心領域を設定する関心領域設定手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、をさらに有して構成されたものであり、上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものである。
(第25の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
各手段に該当する構成は、図31における変換特性算出部111の具体的な構成を示す図19に示される。すなわち、関心領域設定手段は図19に示すエッジ算出部303,色相算出部1000,人物判断部1001が、重み係数設定手段は図19に示す重み係数設定部1002が、ヒストグラム補正手段は図19に示すヒストグラム補正部1003が、それぞれ該当する。
この発明の態様の好ましい適用例は、エッジ算出部303,色相算出部1000,人物判断部1001によってノイズ低減後の映像信号から関心領域を設定し、重み係数設定部1002によって関心領域に関して重み係数を設定し、ヒストグラム補正部1003によって重み係数に基づきヒストグラムに補正を行う画像処理システムである。
(作用)
人物などの関心領域に基づき、階調変換曲線を算出するためのヒストグラムに補正を行う。
(効果)
関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
本発明の第26の態様による画像処理システムは、上記第24または第25の態様による画像処理システムにおいて、上記階調処理手段が、上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、上記階調変換曲線に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、を有して構成されたものである。
(第26の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
抽出手段は図33に示す映像信号抽出部1600が、階調変換手段は図33に示す階調変換部505が、それぞれ該当する。
この発明の態様の好ましい適用例は、映像信号抽出部1600によってノイズ低減後の映像信号から階調処理を行う対象となる有効成分注目画素を順次抽出し、階調変換部505によって階調変換曲線に基づき有効成分注目画素に対して階調変換を行う画像処理システムである。
(作用)
ノイズ低減後の映像信号を順次抽出して、階調変換を行う。
(効果)
ノイズ低減後の映像信号に階調変換を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
本発明の第27の態様による画像処理システムは、上記第22の態様による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分を複数の領域に分割する分割手段と、上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
(第27の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
各手段に該当する構成は、図31における変換特性算出部111の具体的な構成を示す図4に示される。すなわち、分割手段は図4に示す分割部300が、適正域抽出手段は図4に示す適正域抽出部302が、エッジ算出手段は図4に示すエッジ算出部303が、ヒストグラム作成手段は図4に示すヒストグラム作成部304が、階調変換曲線算出手段は図4に示す階調変換曲線算出部305が、それぞれ該当する。
この発明の態様の好ましい適用例は、分割部300によってノイズ低減後の映像信号を複数の領域に分割し、適正域抽出部302によって領域毎にノイズ低減後の映像信号に基づき適正露光域を抽出し、エッジ算出部303によって領域毎に適正露光域に関してエッジ量を算出し、ヒストグラム作成部304によって領域毎にエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部305によって領域毎にヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
(作用)
階調変換処理を行うために必要な階調変換曲線を、ノイズ低減後の映像信号から所定の領域毎に独立かつ適用的に算出する。
(効果)
ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。また、ノイズ低減後の映像信号に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
本発明の第28の態様による画像処理システムは、上記第27の態様による画像処理システムにおいて、上記階調処理手段が、上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、上記有効成分注目画素と上記有効成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、上記有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、上記設定された階調変換式に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、を有して構成されたものである。
(第28の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
抽出手段は図33に示す映像信号抽出部1600が、距離算出手段は図33に示す距離算出部501が、階調変換式設定手段は図33に示す階調変換式設定部502が、階調変換手段は図33に示す階調変換部505が、それぞれ該当する。
この発明の態様の好ましい適用例は、映像信号抽出部1600によってノイズ低減後の映像信号から階調処理を行う対象となる有効成分注目画素を順次抽出し、距離算出部501によって有効成分注目画素と有効成分注目画素の近傍に位置する領域の中心との距離情報を算出し、階調変換式設定部502によって有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と距離情報とに基づき階調変換に用いる階調変換式を設定し、階調変換部505によって階調変換式に基づき有効成分注目画素に対して階調変換を行う画像処理システムである。
(作用)
ノイズ低減後の映像信号を順次抽出して、階調変換を行う。また、領域毎に独立して求めた階調変換曲線を合成して階調変換に用いる。
(効果)
ノイズ低減後の映像信号に階調変換を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
本発明の第29の態様による画像処理システムは、上記第21の態様による画像処理システムにおいて、上記設定手段が、上記映像信号の平均値を算出する平均値算出手段と、上記ノイズ量および上記平均値に基づき上記映像信号に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、を有して構成されたものである。
(第29の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態4が対応する。
平均算出手段は図32に示す平均算出部1501が、上限下限設定手段は図32に示す上限下限設定部1505が、それぞれ該当する。
この発明の態様の好ましい適用例は、平均算出部1501によって映像信号の平均値を算出し、上限下限設定部1505によってノイズ量および平均値に基づき映像信号に関する上限値および下限値を設定する画像処理システムである。
(作用)
映像信号の平均値とノイズ量とに基づき、上限値および下限値を設定する。
(効果)
映像信号に関してノイズに該当する範囲が適切に設定されるために、処理を高精度化することが可能となる。
本発明の第30の態様による画像処理システムは、上記第15または第21の態様による画像処理システムにおいて、上記ノイズ推定手段が、基準ノイズモデルに関するパラメータ群を記録する記録手段と、上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記低周波成分または上記映像信号と上記選択されたパラメータとに基づき補間演算によりノイズ量を求める補間手段と、を有して構成されたものである。
(第30の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態1および実施形態3が対応する。
記録手段は図5,図28に示すパラメータ用ROM403が、収集手段は図5,図28に示すゲイン算出部401,制御部118が、付与手段は図5,図28に示す標準値付与部402が、パラメータ選択手段は図5,図28に示すパラメータ選択部404が、補間手段は図5,図28に示す補間部405が、それぞれ該当する。
この発明の態様の好ましい適用例は、パラメータ用ROM403に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、ゲイン算出部401,制御部118によって映像信号を撮像する際に用いた撮像素子の温度値と映像信号に対するゲイン値とに関する情報を収集し、標準値付与部402によってゲイン算出部401,制御部118からの情報が得られない場合に標準値を付与し、パラメータ選択部404によって収集手段または付与手段からの情報と低周波成分または映像信号とに基づきパラメータ群から必要となるパラメータを選択し、補間部405によって低周波成分または映像信号と選択されたパラメータとに基づき補間演算によりノイズ量を求める画像処理システムである。
(作用)
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、基準ノイズモデルに基づき補間処理を行うことによりノイズ量を求める。
(効果)
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にモデルを用いているために、ノイズ量を高精度に推定することが可能となる。また、補間処理は実装が容易であり、低コストなシステムを構成することが可能となる。
本発明の第31の態様による画像処理システムは、上記第15または第21の態様による画像処理システムにおいて、上記ノイズ推定手段が、上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づきノイズ量を出力するテーブル変換手段と、を有して構成されたものである。
(第31の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2および実施形態4が対応する。
収集手段は図20に示すゲイン算出部401,制御部118および図32に示すゲイン算出部1502,制御部118が、付与手段は図20に示す標準値付与部402および図32に示す標準値付与部1503が、テーブル変換手段は図20に示すノイズLUT1100および図32に示すノイズLUT1504が、それぞれ該当する。
この発明の態様の好ましい適用例は、ゲイン算出部401,制御部118,ゲイン算出部1502によって映像信号を撮像する際に用いた撮像素子の温度値と映像信号に対するゲイン値とに関する情報を収集し、標準値付与部402,標準値付与部1503によってゲイン算出部401,制御部118,ゲイン算出部1502からの情報が得られない場合に標準値を付与し、ノイズLUT1100,ノイズLUT1504によって収集手段または付与手段からの情報と低周波成分または映像信号とに基づきノイズ量を求める画像処理システムである。
(作用)
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、ルックアップテーブルからノイズ量を求める。
(効果)
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。
本発明の第32の態様による画像処理システムは、上記第2の態様による画像処理システムにおいて、上記階調変換がなされた輝度信号と上記色信号とに基づき、階調変換がなされたカラー映像信号を合成するY/C合成手段をさらに具備したものである。
(第32の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
Y/C合成手段は図15に示すY/C合成部809が該当する。
この発明の態様の好ましい適用例は、Y/C合成部809によって、階調変換がなされた輝度信号と、色信号と、に基づき階調変換がなされたカラー映像信号を合成する画像処理システムである。
(作用)
色信号と階調変換がなされた輝度信号とを合成し、階調変換がなされたカラー映像信号を得る。
(効果)
階調処理後の輝度信号と、色信号と、を本来のカラー映像信号へ戻すようにしたために、後段の処理系との互換性が維持される。これにより、多様なシステムと組み合わせることが可能となる。
本発明の第33の態様による画像処理システムは、上記第2の態様による画像処理システムにおいて、上記カラー映像信号が、R(赤),G(緑),B(青)ベイヤー(Bayer)型原色フィルタを前面に配置した単板撮像素子、またはCy(シアン),Mg(マゼンタ),Ye(イエロー),G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子から得られたカラー映像信号である。
(第33の態様に対応する実施形態および好ましい適用例)
この発明の態様には、実施形態2が対応する。
ベイヤー(Bayer)型原色フィルタは図16に、色差線順次型補色フィルタは図17に、それぞれ示される。
この発明の態様の好ましい適用例は、図16に示すベイヤー(Bayer)型原色フィルタ、または図17に示す色差線順次型補色フィルタを、単板撮像素子の前面に配置したカメラシステムである。
(作用)
ベイヤー(Bayer)型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。
(効果)
従来の撮影部との親和性が高く、多くの画像処理システムに適用することが可能となる。
本発明の第34の態様による画像処理プログラムは、コンピュータに、映像信号に対して階調変換を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離ステップと、上記有効成分に対して階調変換を行う変換ステップと、上記階調変換がなされた有効成分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成ステップと、を実行させるためのプログラムである。
(第34の態様に対応する実施形態および作用、効果)
第1の態様と同様である。
本発明の第35の態様による画像処理プログラムは、上記第34の態様による画像処理プログラムにおいて、コンピュータに、上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するY/C分離ステップをさらに実行させるためのものであり、上記分離ステップ、上記変換ステップ、および上記合成ステップにより扱う上記映像信号は、上記Y/C分離ステップにより分離された上記輝度信号である。
(第35の態様に対応する実施形態および作用、効果)
第2の態様と同様である。
本発明の第36の態様による画像処理プログラムは、上記第34または第35の態様による画像処理プログラムにおいて、上記分離ステップが、上記映像信号を高周波成分と低周波成分とに分解する周波数分解ステップと、上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離ステップと、を有する。
(第36の態様に対応する実施形態および作用、効果)
第3の態様と同様である。
本発明の第37の態様による画像処理プログラムは、上記第36の態様による画像処理プログラムにおいて、上記変換ステップが、上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理ステップと、を有し、さらに、上記変換特性算出ステップは、上記低周波成分を複数の領域に分割する分割ステップと、上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、を有する。
(第37の態様に対応する実施形態および作用、効果)
第12の態様と同様である。
本発明の第38の態様による画像処理プログラムは、上記第37の態様による画像処理プログラムにおいて、上記階調処理ステップが、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第1の抽出ステップと、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第2の抽出ステップと、上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出ステップと、上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定ステップと、上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換ステップと、を有する。
(第38の態様に対応する実施形態および作用、効果)
第13の態様と同様である。
本発明の第39の態様による画像処理プログラムは、上記第38の態様による画像処理プログラムにおいて、上記階調処理ステップが、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御ステップをさらに有する。
(第39の態様に対応する実施形態および作用、効果)
第14の態様と同様である。
本発明の第40の態様による画像処理プログラムは、上記第36の態様による画像処理プログラムにおいて、上記高周波分離ステップが、上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定ステップと、上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定ステップと、上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断ステップと、を有する。
(第40の態様に対応する実施形態および作用、効果)
第15の態様と同様である。
本発明の第41の態様による画像処理プログラムは、上記第36の態様による画像処理プログラムにおいて、コンピュータに、上記高周波成分に対してノイズ低減処理を行うノイズ低減ステップをさらに実行させるためのものである。
(第41の態様に対応する実施形態および作用、効果)
第17の態様と同様である。
本発明の第42の態様による画像処理プログラムは、上記第36の態様による画像処理プログラムにおいて、コンピュータに、上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調ステップをさらに実行させるためのものである。
(第42の態様に対応する実施形態および作用、効果)
第19の態様と同様である。
本発明の第43の態様による画像処理プログラムは、上記第34または第35の態様による画像処理プログラムにおいて、上記分離ステップが、上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減ステップと、上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分ステップと、を有する。
(第43の態様に対応する実施形態および作用、効果)
第20の態様と同様である。
本発明の第44の態様による画像処理プログラムは、上記第43の態様による画像処理プログラムにおいて、上記ノイズ低減ステップが、上記映像信号のノイズ量を推定するノイズ推定ステップと、上記ノイズ量および上映像信号に基づき許容範囲を設定する設定ステップと、上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断ステップと、上記映像信号がノイズに属さないと判断された場合に補正を行う第1のスムージングステップと、上記映像信号がノイズに属すると判断された場合に平滑化を行う第2のスムージングステップと、を有する。
(第44の態様に対応する実施形態および作用、効果)
第21の態様と同様である。
本発明の第45の態様による画像処理プログラムは、上記第43の態様による画像処理プログラムにおいて、上記変換ステップが、上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理ステップと、を有し、さらに、上記変換特性算出ステップは、上記有効成分を複数の領域に分割する分割ステップと、上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、を有する。
(第45の態様に対応する実施形態および作用、効果)
第27の態様と同様である。
本発明の画像処理システム、画像処理プログラムによれば、スペースインバリアントおよびスペースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信号を生成することが可能となる。
また本発明の画像処理システム、画像処理プログラムによれば、階調処理とノイズ低減処理との両方を行うことができ、かつ全体としての高性能化および低コスト化を図ることが可能となる。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図14は本発明の実施形態1を示したものであり、図1は画像処理システムの構成を示すブロック図である。
この図1に示す画像処理システムは、撮像部を含む撮像システムとして構成された例となっている。
すなわち、この画像処理システムは、レンズ系100と、絞り101と、CCD102と、増幅部103と、A/D変換部(図中では、単に「A/D」と記載する。)104と、バッファ105と、測光評価部106と、合焦点検出部107と、AFモータ108と、分離手段であり周波数分解手段たる周波数分解部109と、バッファ110と、変換手段であり変換特性算出手段たる変換特性算出部111と、分離手段であり高周波分離手段たる高周波分離部112と、変換手段であり階調処理手段たる階調処理部113と、バッファ114と、合成手段であり周波数合成手段たる周波数合成部115と、信号処理部116と、出力部117と、制御手段でありノイズ推定手段と収集手段とを兼ねた制御部118と、外部I/F部119と、温度センサ120と、を備えている。
レンズ系100,絞り101,CCD102を介して撮影し出力されたアナログの映像信号は、増幅部103によって増幅され、A/D変換部104によってデジタル信号へ変換される。
このA/D変換部104からの映像信号は、バッファ105を介して周波数分解部109へ転送される。バッファ105は、測光評価部106および合焦点検出部107へも接続されている。
測光評価部106は、絞り101とCCD102と増幅部103とへ接続されている。また、合焦点検出部107は、AFモータ108へ接続されている。
周波数分解部109からの信号は、バッファ110へ接続されている。バッファ110は、変換特性算出部111と高周波分離部112と階調処理部113とへ接続されている。
変換特性算出部111は、階調処理部113へ接続されている。高周波分離部112は、階調処理部113とバッファ114とへ接続されている。階調処理部113は、バッファ114へ接続されている。
バッファ114は、周波数合成部115と信号処理部116とを経由して、メモリカードなどの出力部117へ接続されている。
制御部118は、例えばマイクロコンピュータにより構成されていて、増幅部103,A/D変換部104,測光評価部106,合焦点検出部107,周波数分解部109,変換特性算出部111,高周波分離部112,階調処理部113,周波数合成部115,信号処理部116,出力部117と双方向に接続されており、これらを制御するようになっている。
また、外部I/F部119も制御部118と双方向に接続されている。この外部I/F部119は、電源スイッチ,シャッタボタン,撮影時の各種モードの切り替えを行うためのモードボタン等を備えたインタフェースである。
さらに、温度センサ120からの信号も制御部118へ接続されている。この温度センサ120は、CCD102の近傍に配置されていて、該CCD102の温度を実質的に測定するためのものである。
次に、図1に示したような画像処理システムの作用を、映像信号の流れに沿って説明する。
ユーザは、撮影を行う前に、外部I/F部119を介してISO感度などの撮影条件を設定する。
その後、ユーザが、外部I/F部119の2段式スイッチでなるシャッタボタンを半押しすると、この画像処理システムがプリ撮影モードに入る。
レンズ系100は、被写体の光学像をCCD102の撮像面へ結像する。
絞り101は、レンズ系100により結像される被写体光束の通過範囲を規定することにより、CCD102の撮像面に結像される光学像の明るさを変更する。
CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力する。なお、本実施形態においては、CCD102として、白黒用単板CCDを想定している。また、撮像素子も、CCDに限るものではなく、CMOSやその他の撮像素子を用いてももちろん構わない。
こうしてCCD102から出力されたアナログ信号は、増幅部103によってISO感度を考慮した所定量だけの増幅が行われた後に、A/D変換部104によってデジタル信号へ変換されてバッファ105へ転送される。なお、本実施形態においては、デジタル化された映像信号の階調幅を例えば12ビットとする。
このバッファ105内に記憶された映像信号は、測光評価部106と、合焦点検出部107と、へそれぞれ転送される。
測光評価部106は、映像信号に基づき、設定されたISO感度,手ぶれ限界のシャッタ速度などを考慮して、上述した絞り101の絞り値やCCD102の電子シャッタ速度や増幅部103の増幅率などを適正露光となるように制御する。
また、合焦点検出部107は、映像信号に基づき、エッジ強度を検出し、このエッジ強度が最大となるようにAFモータ108を制御して、合焦信号を得る。
こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部I/F部119の2段式スイッチでなるシャッタボタンを全押しにすると、この画像処理システムが本撮影モードに入る。
すると、プリ撮影と同様にして、映像信号がバッファ105へ転送される。この本撮影は、測光評価部106によって求められた露光条件と、合焦点検出部107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部118へ転送される。
本撮影によって得られたバッファ105内の映像信号は、周波数分解部109へ転送される。
周波数分解部109は、制御部118の制御に基づき、転送されてきた映像信号に所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部109は、得られた高周波成分および低周波成分を順次バッファ110へ転送する。なお、本実施形態においては、周波数分解として二回のウェーブレット(Wavelet)変換を用いることを想定している。
変換特性算出部111は、制御部118の制御に基づき、バッファ110から低周波成分を読み込み、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、局所領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部111は、算出した階調特性を、階調処理部113へ転送する。
高周波分離部112は、制御部118の制御に基づき、バッファ110から高周波成分を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部112は、分離した上記有効成分を階調処理部113へ、上記無効成分をバッファ114へ、それぞれ転送する。
階調処理部113は、制御部118の制御に基づき、バッファ110から低周波成分を、高周波分離部112から高周波成分中の有効成分を、変換特性算出部111から階調特性を、それぞれ読み込む。そして、階調処理部113は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部113は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分とを、バッファ114へ転送する。
周波数合成部115は、制御部118の制御に基づき、バッファ114から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を合成する。なお、本実施形態においては、周波数合成として逆ウェーブレット(Wavelet)変換を用いることを想定している。そして、周波数合成部115は、合成した映像信号を信号処理部116へ転送する。
信号処理部116は、制御部118の制御に基づき、周波数合成部115からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部117へ転送する。
出力部117は、信号処理部116から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図2は、周波数分解部109の構成の一例を示すブロック図である。
この周波数分解部109は、データ読取部200と、バッファ201と、水平ハイパスフィルタ(図中では、単に「水平ハイパス」とのみ記載する。以下同様。)202と、水平ローパスフィルタ(図中では、単に「水平ローパス」とのみ記載する。以下同様。)203と、サブサンプラ204と、サブサンプラ205と、垂直ハイパスフィルタ(図中では、単に「垂直ハイパス」とのみ記載する。以下同様。)206と、垂直ローパスフィルタ(図中では、単に「垂直ローパス」とのみ記載する。以下同様。)207と、垂直ハイパスフィルタ208と、垂直ローパスフィルタ209と、サブサンプラ210と、サブサンプラ211と、サブサンプラ212と、サブサンプラ213と、切換部214と、データ転送制御部215と、基底関数ROM216と、フィルタ係数読取部217と、を有して構成されている。
バッファ105は、データ読取部200を介して、バッファ201へ接続されている。
バッファ201は、水平ハイパスフィルタ202および水平ローパスフィルタ203へ接続されている。
水平ハイパスフィルタ202は、サブサンプラ204を介して垂直ハイパスフィルタ206および垂直ローパスフィルタ207へ接続されている。水平ローパスフィルタ203は、サブサンプラ205を介して垂直ハイパスフィルタ208および垂直ローパスフィルタ209へ接続されている。
垂直ハイパスフィルタ206はサブサンプラ210へ、垂直ローパスフィルタ207はサブサンプラ211へ、垂直ハイパスフィルタ208はサブサンプラ212へ、垂直ローパスフィルタ209はサブサンプラ213へ、それぞれ接続されている。
サブサンプラ210,サブサンプラ211,サブサンプラ212は切換部214へ接続されている。
サブサンプラ213は、切換部214およびデータ転送制御部215へ接続されている。切換部214は、バッファ110へ接続されている。データ転送制御部215は、バッファ201へ接続されている。
基底関数ROM216は、フィルタ係数読取部217へ接続されている。フィルタ係数読取部217は、水平ハイパスフィルタ202,水平ローパスフィルタ203,垂直ハイパスフィルタ206,垂直ローパスフィルタ207,垂直ハイパスフィルタ208,垂直ローパスフィルタ209へ、それぞれ接続されている。
制御部118は、データ読取部200,切換部214,データ転送制御部215,フィルタ係数読取部217と双方向に接続されていて、これらを制御するようになっている。
基底関数ROM216には、Harr関数やDaubechies関数などのウェーブレット(Wavelet)変換に用いられるフィルタ係数が記録されている。これらの内の、例えば、Harr関数におけるハイパスフィルタの係数を数式1に、ローパスフィルタの係数を数式2に、それぞれ示す。
[数1]
ハイパスフィルタ係数={0.5,−0.5}
[数2]
ローパスフィルタ係数={0.5,0.5}
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
フィルタ係数読取部217は、制御部118の制御に基づき、基底関数ROM216からフィルタ係数を読み込んで、水平ハイパスフィルタ202,垂直ハイパスフィルタ206,垂直ハイパスフィルタ208へハイパスフィルタ係数を、水平ローパスフィルタ203,垂直ローパスフィルタ207,垂直ローパスフィルタ209へローパスフィルタ係数を、それぞれ転送する。
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部200は、制御部118の制御に基づき、バッファ105から映像信号を読み込んで、バッファ201へ転送する。なお、これ以後は、バッファ105から読み込まれてバッファ201上に記憶されている映像信号を、L0とする。
バッファ201上の映像信号は、水平ハイパスフィルタ202,水平ローパスフィルタ203,垂直ハイパスフィルタ206,垂直ローパスフィルタ207,垂直ハイパスフィルタ208,垂直ローパスフィルタ209によって水平方向および垂直方向のフィルタリング処理がなされる。
ここで、サブサンプラ204,サブサンプラ205は、入力映像信号を水平方向に1/2にサブサンプリングし、サブサンプラ210,サブサンプラ211,サブサンプラ212,サブサンプラ213は、入力映像信号を垂直方向に1/2にサブサンプリングする。
従って、サブサンプラ210の出力は1回目の変換における斜め方向の高周波成分Hs1ijを、サブサンプラ211の出力は1回目の変換における水平方向の1次高周波成分Hh1ijを、サブサンプラ212の出力は1回目の変換における垂直方向の1次高周波成分Hv1ijを、サブサンプラ213の出力は1回目の変換における1次低周波成分L1ijを、それぞれ与えることになる。ここに、添え字のi,jは、変換後の1次の信号におけるx,y方向の座標をそれぞれ意味している。
図3はウェーブレット(Wavelet)変換を説明するための図であり、図3(A)は実空間における映像信号を、図3(B)は1回目のウェーブレット(Wavelet)変換を行った後の信号を、図3(C)は2回目のウェーブレット(Wavelet)変換を行った後の信号を、それぞれ示している。
図3(A)に示すような実空間における映像信号に対して、1回目のウェーブレット変換を行うと、信号は図3(B)に示すようになる。また、この図3(B)には、低周波成分L100に対応する斜め方向の1次高周波成分Hs100と、水平方向の1次高周波成分Hh100と、垂直方向の1次高周波成分Hv100と、も示している。
1回目の変換においては、1画素の1次低周波成分L1ijに対応する3つの1次高周波成分Hs1ij,Hh1ij,Hv1ijは、全て1画素となる。
切換部214は、制御部118の制御に基づき、上記3つの1次高周波成分Hs1ij,Hh1ij,Hv1ijと、1次低周波成分L1ijと、をバッファ110へ順次転送する。
また、データ転送制御部215は、制御部118の制御に基づき、サブサンプラ213から1次低周波成分L1ijをバッファ201へ転送する。
バッファ201上の1次低周波成分L1ijに対して、上述と同様のフィルタリング処理がなされることにより、3つの2次高周波成分Hs2kl,Hh2kl,Hv2klと、2次低周波成分L2klと、が出力される。ここに、添え字のk,lは、変換後の2次の信号におけるx,y方向の座標をそれぞれ意味している。
図3(C)は、このような2回目の変換における信号を示している。
図3(C)に示すように、2回目の変換においては、1画素の2次低周波成分L200に対応する斜め方向の2次高周波成分はHs200、水平方向の2次高周波成分はHh200、垂直方向の2次高周波成分はHv200で全て1画素となるが、対応する斜め方向の1次高周波成分はHs100,Hs110,Hs101,Hs111、水平方向の1次高周波成分はHh100,Hh110,Hh101,Hh111、垂直方向の1次高周波成分はHv100,Hv110,Hv101,Hv111で全て4画素となる。上述したような過程は、制御部118の制御に基づいて、所定のn(nは1以上の整数であり、本実施形態においては上述したようにn=2を想定している。)段階の分解が行われるまで繰り返して行われる。
次に、図4は、変換特性算出部111の構成の一例を示すブロック図である。
この変換特性算出部111は、分割手段たる分割部300と、バッファ301と、適正域抽出手段たる適正域抽出部302と、関心領域設定手段でありエッジ算出手段たるエッジ算出部303と、ヒストグラム作成手段たるヒストグラム作成部304と、階調変換曲線算出手段たる階調変換曲線算出部305と、バッファ306と、を有して構成されている。
バッファ110は、分割部300を介してバッファ301へ接続されている。
バッファ301は、適正域抽出部302およびヒストグラム作成部304へ接続されている。適正域抽出部302は、エッジ算出部303を介してヒストグラム作成部304へ接続されている。
ヒストグラム作成部304は、階調変換曲線算出部305,バッファ306を介して階調処理部113へ接続されている。
制御部118は、分割部300,適正域抽出部302,エッジ算出部303,ヒストグラム作成部304,階調変換曲線算出部305と双方向に接続されていて、これらを制御するようになっている。
続いて、このような変換特性算出部111の作用について説明する。
分割部300は、制御部118の制御に基づき、バッファ110から映像信号の低周波成分を読み込んで、これを図7に示すような所定サイズの領域、例えば32×32画素サイズの領域に、各領域同士が重複することのないように分割する。ここに、図7は、階調変換曲線の合成演算における低周波成分の領域への分割を説明するための図である。そして、分割部300は、分割した領域を、バッファ301へ順次転送する。
適正域抽出部302は、制御部118の制御に基づき、バッファ301から領域単位で低周波成分を読み込んで、暗部に関する所定の閾値(一例としての12ビット階調の場合には例えば128)および明部に関する所定の閾値(この12ビット階調の場合には例えば3968)とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を適正露光域としてエッジ算出部303へ転送する。
エッジ算出部303は、制御部118の制御に基づき、適正域抽出部302からの適正露光域の低周波成分を読み込んで、ラプラシアンフィルタなどを用いて公知のエッジ強度の算出を行う。エッジ算出部303は、算出したエッジ強度をヒストグラム作成部304へ転送する。
ヒストグラム作成部304は、制御部118の制御に基づき、エッジ算出部303からのエッジ強度に関して所定の閾値(上述した12ビット階調の場合には例えば64)以上のエッジ強度のある画素を選別して、バッファ301から対応する画素位置の低周波成分を読み込む。そして、ヒストグラム作成部304は、読み込んだ低周波成分に関してヒストグラムを作成し、作成したヒストグラムを階調変換曲線算出部305へ転送する。
階調変換曲線算出部305は、制御部118の制御に基づき、ヒストグラム作成部304からのヒストグラムを累積し、さらに正規化することにより階調変換曲線を算出する。この正規化は、映像信号の階調に従って行われ、上述した12ビット階調である場合には0〜4095の範囲になるように正規化される。階調変換曲線算出部305は、算出した階調変換曲線を、バッファ306へ転送する。
なお、上述した適正域抽出部302,エッジ算出部303,ヒストグラム作成部304,階調変換曲線算出部305における各処理は、制御部118の制御に基づき、領域単位で同期して行われるようになっている。
次に、図5は、高周波分離部112の構成の一例を示すブロック図である。
この高周波分離部112は、低周波成分抽出部400と、ノイズ推定手段であり収集手段たるゲイン算出部401と、ノイズ推定手段であり付与手段たる標準値付与部402と、ノイズ推定手段であり記録手段たるパラメータ用ROM403と、ノイズ推定手段でありパラメータ選択手段たるパラメータ選択部404と、ノイズ推定手段であり補間手段たる補間部405と、高周波成分抽出部406と、設定手段であり平均算出手段たる平均算出部407と、設定手段であり上限下限設定手段たる上限下限設定部408と、判断手段たる判断部409と、を有して構成されている。
バッファ110は、低周波成分抽出部400および高周波成分抽出部406へ接続されている。低周波成分抽出部400は、パラメータ選択部404へ接続されている。
ゲイン算出部401,標準値付与部402,パラメータ用ROM403は、パラメータ選択部404へ接続されている。パラメータ選択部404は、補間部405を介して上限下限設定部408へ接続されている。
高周波成分抽出部406は、平均算出部407および判断部409へ接続されている。平均算出部407は、上限下限設定部408を介して判断部409へ接続されている。
判断部409は、階調処理部113およびバッファ114へ接続されている。
制御部118は、低周波成分抽出部400,ゲイン算出部401,標準値付与部402,パラメータ選択部404,補間部405,高周波成分抽出部406,平均算出部407,上限下限設定部408,判断部409と双方向に接続されていて、これらを制御するようになっている。
続いて、このような高周波分離部112の作用について説明する。
低周波成分抽出部400は、制御部118の制御に基づき、バッファ110から低周波成分を画素単位で順次抽出する。なお、本実施形態においては、ウェーブレット(Wavelet)変換を2回行うことを想定している。この場合には、低周波成分抽出部400がバッファ110から抽出する低周波成分は、図3(C)に示すような2次低周波成分L2klとなる。
ゲイン算出部401は、制御部118から転送されるISO感度および露光条件に関する情報に基づき、増幅部103におけるゲイン情報を求めて、求めたゲイン情報をパラメータ選択部404へ転送する。
また、制御部118は、温度センサ120からCCD102の温度情報を取得して、取得した温度情報をパラメータ選択部404へ転送する。
標準値付与部402は、制御部118の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をパラメータ選択部404へ転送する。
パラメータ選択部404は、低周波成分抽出部400からの注目画素の画素値と、ゲイン算出部401または標準値付与部402からのゲイン情報と、制御部118または標準値付与部402からの温度情報とに基づき、ノイズ量を推定するために使用する基準ノイズモデルのパラメータをパラメータ用ROM403から探索する。そして、パラメータ選択部404は、探索したパラメータを補間部405へ転送する。また、パラメータ選択部404は、低周波成分抽出部400からの低周波成分の映像信号も補間部405へ転送する。
補間部405は、上記基準ノイズモデルのパラメータに基づき上記低周波成分に関するノイズ量Nを算出して、算出したノイズ量Nを上限下限設定部408へ転送する。
なお、上述したようなパラメータ用ROM403,パラメータ選択部404,補間部405によるノイズ量Nの算出は、具体的には、例えば上述した特開2004−128985号公報に記載されている技術により実現することができる。
高周波成分抽出部406は、制御部118の制御に基づき、低周波成分抽出部400により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する。
例えば、低周波成分として、図3(C)に示すような2次低周波成分L200が抽出された場合には、この2次低周波成分L200に対応する高周波成分は、2次高周波成分であるHs200,Hh200,Hv200の計3画素と、1次高周波成分であるHs100,Hs110,Hs101,Hs111,Hh100,Hh110,Hh101,Hh111,Hv100,Hv110,Hv101,Hv111の計12画素と、になる。
また、高周波成分の近傍に位置する高周波成分としては、対応する高周波成分を含む例えば2×2画素の領域が選択される。
高周波成分抽出部406は、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を平均算出部407へ順次転送するとともに、低周波成分に対応する高周波成分については判断部409へ順次転送する。
平均算出部407は、制御部118の制御に基づき、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値AVを算出して、算出した平均値AVを上限下限設定部408へ転送する。
上限下限設定部408は、制御部118の制御に基づき、平均算出部407からの平均値AVと補間部405からのノイズ量Nとを用いて、有効成分と無効成分とを識別するための上限App_Upおよび下限App_Lowを、次の数式3に示すように設定する。
[数3]
App_Up =AV+N/2
App_Low=AV−N/2
上限下限設定部408は、このようにして設定した上限App_Upおよび下限App_Lowを、判断部409へ転送する。
判断部409は、制御部118の制御に基づき、高周波成分抽出部406から低周波成分に対応する高周波成分を読み込むとともに、上限下限設定部408から数式3に示す上限App_Upおよび下限App_Lowを読み込む。そして、判断部409は、高周波成分が上限App_Upと下限App_Lowとの範囲内(例えば、下限App_Low以上かつ上限App_Up以下の範囲内)にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周波成分をバッファ114へ転送する。一方、判断部409は、高周波成分が上限App_Upを上回る(上限App_Upよりも大きい)か、または下限App_Lowを下回る(下限App_Lowよりも小さい)かする場合には、該高周波成分が有効成分であると判断して、高周波成分を階調処理部113へ転送する。
なお、上述した平均算出部407,上限下限設定部408,判断部409における各処理は、制御部118の制御に基づき、対応する高周波成分の各画素単位で同期して行われるようになっている。
次に、図6は、階調処理部113の構成の一例を示すブロック図である。
この階調処理部113は、第1の抽出手段たる低周波成分抽出部500と、距離算出手段たる距離算出部501と、階調変換式設定手段たる階調変換式設定部502と、バッファ503と、第2の抽出手段たる高周波成分抽出部504と、階調変換手段たる階調変換部505と、を有して構成されている。
変換特性算出部111は、階調変換式設定部502へ接続されている。
バッファ110は、低周波成分抽出部500へ接続されている。低周波成分抽出部500は、距離算出部501および階調変換部505へ接続されている。距離算出部501は、階調変換式設定部502,バッファ503を介して階調変換部505へ接続されている。
高周波分離部112は、高周波成分抽出部504を介して階調変換部505へ接続されている。
階調変換部505は、バッファ114へ接続されている。
制御部118は、低周波成分抽出部500,距離算出部501,階調変換式設定部502,高周波成分抽出部504,階調変換部505と双方向に接続されていて、これらを制御するようになっている。
続いて、このような階調処理部113の作用について説明する。
低周波成分抽出部500は、制御部118の制御に基づき、バッファ110から低周波成分を画素単位で順次抽出する。なお、本実施形態においては、上述したように、ウェーブレット(Wavelet)変換を2回行うことを想定している。この場合には、低周波成分抽出部500がバッファ110から抽出する低周波成分の注目画素は、図3(C)に示すような2次低周波成分L2klとなる。
低周波成分抽出部500は、抽出した低周波成分を、距離算出部501および階調変換部505へそれぞれ転送する。
距離算出部501は、低周波成分抽出部500により抽出された注目画素に関して、該注目画素の近傍に位置する4つの領域との間の距離を算出する。
図8は、階調変換曲線の合成演算における注目画素と近傍4領域との間の距離d1〜d4を説明するための図である。
注目画素と近傍4領域との間の距離は、該注目画素と各領域の中心との間の距離としてそれぞれ算出される。これ以後は、算出された注目画素と近傍4領域との間の各距離をdm(m=1〜4)により表し、近傍4領域の各階調変換曲線をTm()により表すことにする。距離算出部501は、算出した距離dmを、階調変換式設定部502へ転送する。
階調変換式設定部502は、制御部118の制御に基づき、距離算出部501から距離d
mを読み込むとともに、変換特性算出部111から対応する近傍4領域の階調変換曲線T
m()を読み込んで、注目画素に対する階調変換式を次の数式4に示すように設定する。
[数4]
ここに、数式4におけるPは階調変換処理の対象となる画素を、P’は階調変換処理後の画素を、それぞれ意味している。
階調変換式設定部502は、この数式4に示すように設定した階調変換式を、バッファ503へ転送する。
一方、高周波成分抽出部504は、制御部118の制御に基づき、低周波成分抽出部500が抽出した低周波成分に対応する高周波成分を高周波分離部112から抽出する。本実施形態においては、低周波成分の注目画素が図3(C)に示す2次低周波成分L2klであるとしているために、抽出される高周波成分は、2次高周波成Hs2kl,Hh2kl,Hv2klから1画素毎の計3画素と、1次高周波成分Hs1ij,Hh1ij,Hv1ijから4画素毎の計12画素と、になる。そして高周波成分抽出部504は、抽出した高周波成分を、階調変換部505へ転送する。
その後に、階調変換部505は、高周波成分抽出部504からの高周波成分が存在する場合には、該高周波成分を読み込むとともに、バッファ503から数式4に示す階調変換式を読み込んで、読み込んだ階調変換式に基づき高周波成分に階調変換を行う。階調変換部505は、階調変換後の高周波成分を、バッファ114へ転送する。一方、階調変換部505は、対応する高周波成分が無効成分であると判断されて抽出される高周波成分が存在しない場合には、制御部118の制御に基づき、高周波成分に対する階調変換を中止する。
また、階調変換部505は、低周波成分抽出部500から低周波成分を、バッファ503から数式4に示す階調変換式を、それぞれ読み込んで、低周波成分に対する階調変換を行う。階調変換部505は、階調変換後の低周波成分を、バッファ114へ転送する。
次に、図9は周波数合成部115の構成の一例を示すブロック図である。
この周波数合成部115は、データ読取部600と、切換部601と、アップサンプラ602と、アップサンプラ603と、アップサンプラ604と、アップサンプラ605と、垂直ハイパスフィルタ606と、垂直ローパスフィルタ607と、垂直ハイパスフィルタ608と、垂直ローパスフィルタ609と、アップサンプラ610と、アップサンプラ611と、水平ハイパスフィルタ612と、水平ローパスフィルタ613と、バッファ614と、データ転送制御部615と、基底関数ROM616と、フィルタ係数読取部617と、を有して構成されている。
バッファ114は、データ読取部600を介して切換部601へ接続されている。切換部601は、アップサンプラ602,アップサンプラ603,アップサンプラ604,アップサンプラ605へそれぞれ接続されている。アップサンプラ602は垂直ハイパスフィルタ606へ、アップサンプラ603は垂直ローパスフィルタ607へ、アップサンプラ604は垂直ハイパスフィルタ608へ、アップサンプラ605は垂直ローパスフィルタ609へ、接続されている。
垂直ハイパスフィルタ606および垂直ローパスフィルタ607はアップサンプラ610へ、垂直ハイパスフィルタ608および垂直ローパスフィルタ609はアップサンプラ611へ、接続されている。アップサンプラ610は水平ハイパスフィルタ612へ、アップサンプラ611は水平ローパスフィルタ613へ、接続されている。水平ハイパスフィルタ612および水平ローパスフィルタ613は、バッファ614へ接続されている。バッファ614は、信号処理部116およびデータ転送制御部615へ接続されている。
データ転送制御部615は、切換部601へ接続されている。
基底関数ROM616は、フィルタ係数読取部617へ接続されている。フィルタ係数読取部617は、垂直ハイパスフィルタ606,垂直ローパスフィルタ607,垂直ハイパスフィルタ608,垂直ローパスフィルタ609,水平ハイパスフィルタ612,水平ローパスフィルタ613へ接続されている。
制御部118は、データ読取部600,切換部601,データ転送制御部615,フィルタ係数読取部617と双方向に接続されていて、これらを制御するようになっている。
続いて、このような周波数合成部115の作用について説明する。
基底関数ROM616には、Harr関数やDaubechies関数などの逆ウェーブレット(Wavelet)変換に用いられるフィルタ係数が記録されている。
フィルタ係数読取部617は、制御部118の制御に基づき、基底関数ROM616からフィルタ係数を読み込んで、垂直ハイパスフィルタ606,垂直ハイパスフィルタ608,水平ハイパスフィルタ612へハイパスフィルタ係数を、垂直ローパスフィルタ607,垂直ローパスフィルタ609,水平ローパスフィルタ613へローパスフィルタ係数を、それぞれ転送する。
フィルタ係数が転送された後に、データ読取部600は、制御部118の制御に基づき、バッファ114から階調処理がなされた低周波成分と階調処理がなされたn段階の高周波成分中の有効成分とn段階の高周波成分中の無効成分とを読み込んで、切換部601へ転送する。なお、階調処理がなされたn段階の高周波成分中の有効成分とn段階の高周波成分中の無効成分とは、データ読取部600により読み取られた時点で、一体化されたn段階の高周波成分となる。
切換部601は、制御部118の制御に基づき、斜め方向の高周波成分をアップサンプラ602を介して垂直ハイパスフィルタ606へ、水平方向の高周波成分をアップサンプラ603を介して垂直ローパスフィルタ607へ、垂直方向の高周波成分をアップサンプラ604を介して垂直ハイパスフィルタ608へ、低周波成分をアップサンプラ605を介して垂直ローパスフィルタ609へそれぞれ転送し、垂直方向のフィルタリング処理を実行させる。
垂直ハイパスフィルタ606および垂直ローパスフィルタ607からの周波数成分はアップサンプラ610を介して水平ハイパスフィルタ612へ、垂直ハイパスフィルタ608および垂直ローパスフィルタ609からの周波数成分はアップサンプラ611を介して水平ローパスフィルタ613へ転送され、水平方向のフィルタリング処理がなされる。
水平ハイパスフィルタ612および水平ローパスフィルタ613からの周波数成分がバッファ614へ転送されて一つに合成されることにより、(n−1)段階の低周波成分が生成される。
ここで、アップサンプラ602,アップサンプラ603,アップサンプラ604,アップサンプラ605は入力周波数成分を垂直方向に2倍にアップサンプリングし、アップサンプラ610,アップサンプラ611は入力周波数成分を水平方向に2倍にアップサンプリングする。
データ転送制御部615は、制御部118の制御に基づき、低周波成分を切換部601へ転送する。
データ読取部600は、制御部118の制御に基づき、バッファ114から(n−1)段階の斜め,水平,垂直方向の三種類の高周波成分を読み込んで、切換部601へ転送する。そして、分解の段階数(n−1)の周波数成分に対して、上述と同様のフィルタリング処理がなされることによりn−2段階の低周波成分がバッファ614へ出力される。
上述したような過程は、制御部118により所定のn段階の合成が行われるまで繰り返して行われる。これにより、最終的にバッファ614には0段階の低周波成分が出力され、この0段階の低周波成分を階調変換がなされた映像信号として信号処理部116へ転送する。
なお、上述ではレンズ系100,絞り101,CCD102,増幅部103,A/D変換部104,測光評価部106,合焦点検出部107,AFモータ108,温度センサ120を含む撮像部を一体化した構成の画像処理システムについて説明したが、画像処理システムとしてはこのような構成に限定される必要はない。例えば、図10に示すように、撮像部が別体であっても構わない。すなわち、図10に示す画像処理システムは、別体の撮像部により撮像され、未処理のロー(Raw)データ形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度や露光条件などの映像信号に係る付随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
ここに、図10は画像処理システムの他の構成例を示す図である。
この図10に示す画像処理システムは、図1に示した画像処理システムから、レンズ系100,絞り101,CCD102,増幅部103,A/D変換部104,測光評価部106,合焦点検出部107,AFモータ108,温度センサ120を省略して、入力部700,ヘッダ情報解析部701を追加した構成となっている。この図10に示す画像処理システムにおけるその他の基本的な構成は図1に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
入力部700は、バッファ105およびヘッダ情報解析部701へ接続されている。制御部118は、入力部700,ヘッダ情報解析部701と双方向に接続されていて、これらを制御するようになっている。
次に、この図10に示す画像処理システムにおいて異なる作用は、以下のようになっている。
例えばマウスやキーボードなどの外部I/F部119を介して再生操作を開始すると、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部700を介して読み込まれる。
入力部700から読み込まれた情報の内の、映像信号はバッファ105へ、ヘッダ情報はヘッダ情報解析部701へ、それぞれ転送される。
ヘッダ情報解析部701は、入力部700から転送されたヘッダ情報に基づき、撮影時の情報(すなわち、上述したような露光条件、撮像素子の温度など)を抽出して制御部118へ転送する。
これ以後の処理は、図1に示したような画像処理システムと同様である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、CCD102からの映像信号を未処理のままのロー(Raw)データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部118からの撮影時の撮像素子の温度や露光条件など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図11は、画像処理プログラムのメインルーチンを示すフローチャートである。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む(ステップS1)。
次に、ウェーブレット(Wavelet)変換などの周波数分解を行って、高周波成分と低周波成分とを取得する(ステップS2)。
続いて、後で図12を参照して説明するように、変換特性を算出する(ステップS3)。
さらに、後で図13を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する(ステップS4)。
そして、後で図14を参照して説明するように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う(ステップS5)。
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する(ステップS6)。
続いて、公知の圧縮処理などの信号処理を行う(ステップS7)。
そして、処理後の映像信号を出力して(ステップS8)、この処理を終了する。
図12は、上記ステップS3における変換特性算出の処理を示すフローチャートである。
この処理を開始すると、図7に示すように、低周波成分を所定サイズの領域に分割して順次抽出する(ステップS10)。
次に、低周波成分を暗部に関する所定の閾値および明部に関する所定の閾値とそれぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を適正露光域として抽出する(ステップS11)。
続いて、適正露光域の低周波成分に対してラプラシアンフィルタを用いるなどして、公知のエッジ強度の算出を行う(ステップS12)。
そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成する(ステップS13)。
その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出する(ステップS14)。
こうして算出した階調変換曲線を出力する(ステップS15)。
続いて、全ての領域についての処理が完了したか否かを判断して(ステップS16)、完了していないと判断した場合には上記ステップS10へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図11に示した処理へリターンする。
図13は、上記ステップS4における高周波分離の処理を示すフローチャートである。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する(ステップS20)。
次に、読み込まれたヘッダ情報から、撮像素子の温度,ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる(ステップS21)。
続いて、基準ノイズモデルに関するパラメータを読み込む(ステップS22)。
そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補間処理によって算出する(ステップS23)。
その後、図3(B)または図3(C)に示すように、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を順次抽出する(ステップS24)。
次に、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値を算出する(ステップS25)。
続いて、平均値とノイズ量とに基づいて、数式3に示したように上限および下限を設定する(ステップS26)。
そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する(ステップS27)。
さらに、有効成分と無効成分とを分離して出力する(ステップS28)。
そして、全ての高周波成分の処理が完了したか否かを判断し(ステップS29)、完了していないと判断した場合には上記ステップS24へ戻って上述したような処理を繰り返して行う。
一方、このステップS29において、全ての高周波成分の処理が完了したと判断した場合には、全ての低周波成分の処理が完了したか否かを判断し(ステップS30)、完了していないと判断した場合には上記ステップS20へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図11に示した処理へリターンする。
図14は、上記ステップS5における階調処理を示すフローチャートである。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する(ステップS40)。
次に、図8に示すように、低周波成分の注目画素とその近傍4領域の中心との間の距離を算出する(ステップS41)。
続いて、近傍4領域における階調変換曲線を読み込む(ステップS42)。
さらに、数式4に示したように、注目画素に対する階調変換式を設定する(ステップS43)。
そして、図3(B)または図3(C)に示すように、低周波成分に対応する、有効成分とされる高周波成分を順次抽出する(ステップS44)。
その後、有効成分とされる高周波成分が存在するか否かを判断する(ステップS45)。
ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分とされる高周波成分に対して数式4に示した階調変換式を適用して階調変換を行う(ステップS46)。
このステップS46の処理が終了するか、または、上記ステップS45において、有効成分とされる高周波成分が存在していないと判断した場合には、低周波成分に対して数式4に示した階調変換式を適用して階調変換を行う(ステップS47)。
そして、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、を出力する(ステップS48)。
その後、全ての低周波成分の処理が完了したか否かを判断し(ステップS49)、完了していないと判断した場合には上記ステップS40へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図11に示した処理へリターンする。
なお、上述においては周波数分解および周波数合成にウェーブレット(Wavelet)変換を用いる構成を採用していたが、このような構成に限定される必要はない。例えば、フーリエ(Fourier)変換、またはDCT(Discrete Cosine Transform)変換などの、公知の周波数分解や周波数合成のための変換を用いるように構成することも可能である。
また、上述ではウェーブレット(Wavelet)変換の変換回数を2回としていたが、このような構成に限定される必要はない。例えば変換回数を増やすことによりノイズに起因する無効成分とその他の有効成分との分離能を向上させたり、あるいは変換回数を減らすことにより画像の統一性を向上させたりするように構成することが可能である。
このような実施形態1によれば、視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
また、ウェーブレット(Wavelet)変換は周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
そして、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
[実施形態2]
図15から図25は本発明の実施形態2を示したものであり、図15は画像処理システムの構成を示すブロック図である。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の画像処理システムは、上述した実施形態1の図1に示した画像処理システムに、プレホワイトバランス部801,Y/C分離手段たるY/C分離部802,バッファ803,Y/C合成手段たるY/C合成部809を追加し、CCD102,周波数分解部109,変換特性算出部111,高周波分離部112,階調処理部113,周波数合成部115をカラーCCD800,分離手段であり周波数分解手段たる周波数分解部804,変換手段であり変換特性算出手段たる変換特性算出部805,分離手段であり高周波分離手段たる高周波分離部806,変換手段であり階調処理手段たる階調処理部807,合成手段であり周波数合成手段たる周波数合成部808にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態1と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
レンズ系100,絞り101,カラーCCD800を介して撮影されたカラー映像信号は、増幅部103へ転送される。
バッファ105は、測光評価部106,合焦点検出部107,プレホワイトバランス部801,Y/C分離部802へ接続されている。
プレホワイトバランス部801は、増幅部103へ接続されている。
Y/C分離部802はバッファ803へ、バッファ803は周波数分解部804,変換特性算出部805,Y/C合成部809へ接続されている。
周波数分解部804は、バッファ110へ接続されている。バッファ110は、変換特性算出部805,高周波分離部806,階調処理部807へ接続されている。変換特性算出部805は、階調処理部807へ接続されている。高周波分離部806は、バッファ114および階調処理部807へ接続されている。階調処理部807は、バッファ114へ接続されている。
バッファ114は、周波数合成部808,Y/C合成部809を介して信号処理部116へ接続されている。
制御部118は、プレホワイトバランス部801,Y/C分離部802,周波数分解部804,変換特性算出部805,高周波分離部806,階調処理部807,周波数合成部808,Y/C合成部809とも双方向に接続されていて、これらも制御するようになっている。
また、本実施形態の温度センサ120は、上述したカラーCCD800の近傍に配置されていて、この温度センサ120からの信号も制御部118へ接続されている。
次に、図15に示したような画像処理システムの作用は、基本的に実施形態1と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
ユーザが、外部I/F部119の2段式スイッチでなるシャッタボタンを半押しすると、この画像処理システムがプリ撮影モードに入る。
すると、レンズ系100,絞り101,カラーCCD800を介して撮影されたカラー映像信号が、増幅部103,A/D変換部104を介してバッファ105へ転送される。なお、本実施形態においては、カラーCCD800として、ベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定している。
ここに、図16は、ベイヤー(Bayer)型原色フィルタの構成を示す図である。
ベイヤー(Bayer)型の原色フィルタは、2×2画素を基本単位として、この基本単位内の対角する画素位置に赤(R),青(B)フィルタが1つずつ、残りの対角する画素位置に緑(G)フィルタがそれぞれ、配置されたものとなっている。
続いて、バッファ105内のカラー映像信号は、プレホワイトバランス部801へ転送される。プレホワイトバランス部801は、所定レベルの信号を色信号毎に積算する(つまり、累計的に加算する)ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部801は、算出した係数を増幅部103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部I/F部119の2段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
すると、プリ撮影と同様にして、カラー映像信号がバッファ105へ転送される。このときにプレホワイトバランス部801によって求められたホワイトバランス係数は、制御部118へ転送される。
本撮影によって得られたバッファ105内のカラー映像信号は、Y/C分離部802へ転送される。
Y/C分離部802は、制御部118の制御に基づき、公知の補間処理によりR,G,Bの三板からなるカラー映像信号を生成し、さらに、R,G,B信号を次の数式5に示すように輝度信号Yおよび色差信号Cb,Crへ分離する。
[数5]
Y = 0.29900R+0.58700G+0.11400B
Cb=−0.16874R−0.33126G+0.50000B
Cr= 0.50000R−0.41869G−0.08131B
Y/C分離部802により分離された輝度信号および色差信号は、バッファ803へ転送される。
周波数分解部804は、制御部118の制御に基づき、バッファ105内の輝度信号に対して周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部804は、得られた高周波成分と低周波成分とを順次バッファ110へ転送する。
変換特性算出部805は、制御部118の制御に基づき、バッファ110から低周波成分を、バッファ803から色差信号を、それぞれ読み込んで、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、映像信号に対して単一の階調変換曲線を用いるスペースインバリアントな処理を想定している。そして、変換特性算出部805は、算出した階調特性を、階調処理部807へ転送する。
高周波分離部806は、制御部118の制御に基づき、バッファ110から高周波成分を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部806は、分離した上記有効成分を階調処理部807へ、上記無効成分をバッファ114へ、それぞれ転送する。
階調処理部807は、制御部118の制御に基づき、バッファ110から低周波成分を、高周波分離部806から高周波成分中の有効成分を、変換特性算出部805から階調特性を、それぞれ読み込む。そして、階調処理部807は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部807は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分とを、バッファ114へ転送する。
周波数合成部808は、制御部118の制御に基づき、バッファ114から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき加算処理することにより階調変換がなされた輝度信号を合成する。そして、周波数合成部808は、合成した輝度信号をY/C合成部809へ転送する。
Y/C合成部809は、制御部118の制御に基づき、周波数合成部808から階調変換がなされた輝度信号Y’を、バッファ803から色差信号Cb,Crを、それぞれ読み込んで、次の数式6に示すように、階調変換がなされたカラー映像信号R’,G’,B’を合成する。
[数6]
R’=Y’ +1.40200Cr
G’=Y’−0.34414Cb−0.71414Cr
B’=Y’+1.77200Cb
Y/C合成部809は、合成したカラー映像信号R’,G’,B’を、信号処理部116へ転送する。
信号処理部116は、制御部118の制御に基づき、Y/C合成部809からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部117へ転送する。
出力部117は、信号処理部116から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図18は、周波数分解部804の構成の一例を示すブロック図である。
この周波数分解部804は、信号抽出部900と、ローパスフィルタ部901と、低周波用バッファ902と、差分フィルタ部903と、を有して構成されている。
バッファ803は、信号抽出部900へ接続されている。信号抽出部900は、ローパスフィルタ部901および差分フィルタ部903へ接続されている。ローパスフィルタ部901は、低周波用バッファ902へ接続されている。低周波用バッファ902は、差分フィルタ部903へ接続されている。差分フィルタ部903は、バッファ110へ接続されている。
制御部118は、信号抽出部900,ローパスフィルタ部901,差分フィルタ部903と双方向に接続されていて、これらを制御するようになっている。
続いて、このような周波数分解部804の作用について説明する。
信号抽出部900は、制御部118の制御に基づき、バッファ803から輝度信号を読み込んで、ローパスフィルタ部901と差分フィルタ部903とへ転送する。
ローパスフィルタ部901は、制御部118の制御に基づき、信号抽出部900からの輝度信号に対して公知のローパスフィルタ処理を行い、輝度信号の低周波成分を算出する。なお、本実施形態においては、ローパスフィルタ部901が用いるローパスフィルタとして、例えば7×7画素サイズの平均値フィルタを想定している。ローパスフィルタ部901は、算出した低周波成分を、低周波用バッファ902へ転送する。
差分フィルタ部903は、信号抽出部900から輝度信号を読み込むとともに、低周波用バッファ902から輝度信号の低周波成分を読み込んで、これらの差分をとることにより、輝度信号の高周波成分を算出する。差分フィルタ部903は、算出した高周波成分と、読み込んだ低周波成分とを、バッファ110へ転送する。
次に、図19は、変換特性算出部805の構成の一例を示すブロック図である。
この変換特性算出部805は、上述した実施形態1の図4に示した変換特性算出部111に、関心領域設定手段たる色相算出部1000,関心領域設定手段たる人物判断部1001,重み係数設定手段たる重み係数設定部1002,ヒストグラム補正手段たるヒストグラム補正部1003を追加し、分割部300,バッファ301を削除した構成になっている。その他の基本的な構成は図4に示した変換特性算出部111と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ803およびバッファ110は、適正域抽出部302へ接続されている。適正域抽出部302は、エッジ算出部303および色相算出部1000へ接続されている。
色相算出部1000は、人物判断部1001,重み係数設定部1002を介してヒストグラム補正部1003へ接続されている。
ヒストグラム作成部304は、ヒストグラム補正部1003へ接続されている。
ヒストグラム補正部1003は、階調変換曲線算出部305,バッファ306を介して階調処理部807へ接続されている。
制御部118は、色相算出部1000,人物判断部1001,重み係数設定部1002,ヒストグラム補正部1003とも双方向に接続されていて、これらも制御するようになっている。
続いて、このような変換特性算出部805の作用について説明する。
適正域抽出部302は、制御部118の制御に基づき、バッファ110から輝度信号を読み込んで、暗部に関する所定の閾値(一例としての12ビット階調の場合には例えば128)および明部に関する所定の閾値(この12ビット階調の場合には例えば3968)とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号を適正露光域としてエッジ算出部303へ転送する。
また、適正域抽出部302は、適正露光域の輝度信号と対応する座標の色差信号Cb,Crをバッファ803から読み込んで、色相算出部1000へ転送する。
エッジ算出部303およびヒストグラム作成部304は、上述した実施形態1と同様にして、輝度信号からエッジ部のヒストグラムを作成し、作成したヒストグラムをヒストグラム補正部1003へ転送する。
色相算出部1000は、制御部118の制御に基づき、適正域抽出部302から色差信号Cb,Crを読み込んで、所定の閾値と比較することにより肌色領域を抽出し、この結果を人物判断部1001へ転送する。
人物判断部1001は、制御部118の制御に基づき、色相算出部1000からの肌色領域とエッジ算出部303からのエッジ量の情報とを用いて、人物の顔と判断される領域を抽出し、この結果を重み係数設定部1002へ転送する。
重み係数設定部1002は、制御部118の制御に基づき、人物の顔と判断される領域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに関する補正用の重み係数を算出する。なお、人物の顔と判断される領域内に存在しない輝度レベルに関しては、上記重み係数は0となる。重み係数設定部1002は、算出した重み係数を、ヒストグラム補正部1003へ転送する。
ヒストグラム補正部1003は、制御部118の制御に基づき、ヒストグラム作成部304からヒストグラムを読み込むとともに、重み係数設定部1002から重み係数を読み込んで、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。補正されたヒストグラムは、階調変換曲線算出部305へ転送され、上述した実施形態1と同様に階調変換曲線が算出される。
算出された階調変換曲線は、バッファ306へ転送され,必要に応じて階調処理部807へ転送される。なお、本実施形態においては、スペースインバリアントな処理を想定しているために、算出される階調変換曲線は1種類となる。
次に、図20は、高周波分離部806の構成の一例を示すブロック図である。
この高周波分離部806は、上述した実施形態1の図5に示した高周波分離部112に、ノイズ推定手段でありテーブル変換手段たるノイズLUT1100を追加し、パラメータ用ROM403,パラメータ選択部404,補間部405を削除した構成になっている。その他の基本的な構成は図5に示した高周波分離部112と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
低周波成分抽出部400,ゲイン算出部401,標準値付与部402は、ノイズLUT1100へ接続されている。ノイズLUT1100は、上限下限設定部408へ接続されている。
判断部409は、階調処理部807およびバッファ114へ接続されている。
制御部118は、ノイズLUT1100とも双方向に接続されて、これも制御するようになっている。
続いて、このような高周波分離部806の作用について説明する。
ゲイン算出部401は、制御部118から転送されるISO感度、露光条件に関する情報、およびホワイトバランス係数に基づき、増幅部103におけるゲイン情報を求めて、ノイズLUT1100へ転送する。
また、制御部118は、温度センサ120からカラーCCD800の温度情報を取得して、取得した温度情報をノイズLUT1100へ転送する。
標準値付与部402は、制御部118の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズLUT1100へ転送する。
ノイズLUT1100は、映像信号の信号値レベル,映像信号のゲイン,撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開2004−128985号公報に記載されている技術を用いて設計される。ノイズLUT1100は、低周波成分抽出部400からの注目画素の画素値と、ゲイン算出部401または標準値付与部402からのゲイン情報と、制御部118または標準値付与部402からの温度情報とに基づき、ノイズ量を出力する。出力されたノイズ量は、上限下限設定部408へ転送される。
高周波成分抽出部406は、制御部118の制御に基づき、低周波成分抽出部400により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する。
なお、本実施形態においては、周波数分解部804が上述したようにローパスフィルタと差分フィルタとを用いて低周波成分と高周波成分とを抽出しているために、低周波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波成分は1画素となる。
これ以後の高周波分離部806の作用は、上述した実施形態1の高周波分離部112と同様であって、高周波成分を有効成分と無効成分とに分離して、有効成分を階調処理部807へ、無効成分をバッファ114へ、それぞれ転送する。
次に、図21は、階調処理部807の構成の一例を示すブロック図である。
この階調処理部807は、上述した実施形態1の図6に示した階調処理部113から、距離算出部501,階調変換式設定部502,バッファ503を削除した構成になっている。その他の基本的な構成は図6に示した階調処理部113と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
変換特性算出部805は、階調変換部505へ接続されている。
バッファ110は、低周波成分抽出部500を介して階調変換部505へ接続されている。高周波分離部806は、高周波成分抽出部504を介して階調変換部505へ接続されている。
制御部118は、低周波成分抽出部500,高周波成分抽出部504,階調変換部505と双方向に接続されていて、これらを制御するようになっている。
続いて、このような階調処理部807の作用について説明する。
低周波成分抽出部500は、制御部118の制御に基づき、バッファ110から低周波成分を画素単位で順次抽出する。低周波成分抽出部500は、抽出した低周波成分を、階調変換部505へ転送する。
高周波成分抽出部504は、制御部118の制御に基づき、低周波成分抽出部500が抽出した低周波成分に対応する高周波成分を高周波分離部806から抽出する。本実施形態においては、上述したように、低周波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波成分は1画素となる。なお、低周波成分に対応する高周波成分が無効成分であると判断されて抽出される高周波成分が存在しない場合には、高周波成分抽出部504は、エラー情報を制御部118へ転送する。
階調変換部505は、制御部118の制御に基づき、低周波成分抽出部500から低周波成分を読み込むとともに、変換特性算出部805から階調変換曲線を読み込んで、低周波成分に対する階調変換を行う。階調変換部505は、階調変換後の低周波成分を、バッファ114へ転送する。
その後に、階調変換部505は、高周波成分抽出部504から低周波成分に対応する有効成分の高周波成分を読み込んで、階調変換を行う。そして、階調変換部505は、階調変換後の高周波成分を、バッファ114へ転送する。なお、低周波成分に対応する有効な高周波成分が存在しない場合には、階調変換部505は、制御部118の制御に基づき、高周波成分に対する階調変換を中止する。
なお、本実施形態においても、上述した実施形態1と同様に、撮像部が別体となっている画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、カラーCCD800からのカラー映像信号を未処理のままのロー(Raw)データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部118からの撮影時の撮像素子の温度や露光条件など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図22は、画像処理プログラムのメインルーチンを示すフローチャートである。
なお、この図22において、上述した実施形態1の図11に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、カラー映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む(ステップS1)。
次に、数式5に示したように、輝度信号と色差信号とを算出する(ステップS50)。
続いて、ローパスフィルタおよび差分フィルタ用いて輝度信号の周波数分解を行い、高周波成分と低周波成分とを取得する(ステップS2)。
さらに、後で図23を参照して説明するように、変換特性を算出する(ステップS51)。
そして、後で図24を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する(ステップS52)。
次に、後で図25を参照して説明するように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う(ステップS53)。
続いて、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた輝度信号を合成する(ステップS6)。
そして、数式6に示したように輝度信号と色差信号とを合成して、階調変換がなされたカラー映像信号を得る(ステップS54)。
さらに、公知の圧縮処理などの信号処理を行う(ステップS7)。
その後、処理後のカラー映像信号を出力して(ステップS8)、この処理を終了する。
図23は、上記ステップS51における変換特性算出の処理を示すフローチャートである。
なお、この図23において、上述した実施形態1の図12に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、輝度信号を暗部に関する所定の閾値および明部に関する所定の閾値とそれぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号を適正露光域として抽出する(ステップS11)。
続いて、適正露光域の輝度信号に対してラプラシアンフィルタを用いるなどして、公知のエッジ強度の算出を行う(ステップS12)。
そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成する(ステップS13)。
その後、色差信号を所定の閾値と比較することにより、特定の色相領域、例えば肌色領域を抽出する(ステップS60)。
さらに、肌色領域とエッジ強度の情報とに基づき、人物の顔と判断される領域を抽出して、これを関心領域として設定する(ステップS61)。
次に、関心領域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに関する補正用の重み係数を算出する(ステップS62)。
続いて、ヒストグラムの各輝度レベルに対して重み係数を加算することにより、ヒストグラムの補正を行う(ステップS63)。
その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出する(ステップS14)。
こうして算出した階調変換曲線を出力して(ステップS15)、この処理から図22に示した処理へリターンする。
図24は、上記ステップS52における高周波分離の処理を示すフローチャートである。
なお、この図24において、上述した実施形態1の図13に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する(ステップS20)。
次に、読み込まれたヘッダ情報から、撮像素子の温度,ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる(ステップS21)。
続いて、映像信号の信号値レベル,映像信号のゲイン,撮像素子の動作温度と、ノイズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む(ステップS70)。
そして、ノイズ量に関するテーブルに基づき、ノイズ量を求める(ステップS71)。
その後、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する(ステップS24)。
さらに、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値を算出する(ステップS25)。
次に、平均値とノイズ量とに基づいて、数式3に示したように上限および下限を設定する(ステップS26)。
続いて、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する(ステップS27)。
そして、有効成分と無効成分とを分離して出力する(ステップS28)。
さらに、全ての低周波成分の処理が完了したか否かを判断し(ステップS30)、完了していないと判断した場合には上記ステップS20へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図22に示した処理へリターンする。
図25は、上記ステップS53における階調処理を示すフローチャートである。
なお、この図25において、上述した実施形態1の図14に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する(ステップS40)。
次に、階調変換曲線を読み込む(ステップS42)。
続いて、低周波成分に対応する、有効成分とされる高周波成分を抽出する(ステップS44)。
そして、有効成分とされる高周波成分が存在するか否かを判断する(ステップS45)。
ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分とされる高周波成分に対して階調変換を行う(ステップS46)。
このステップS46の処理が終了するか、または、上記ステップS45において、有効成分とされる高周波成分が存在していないと判断した場合には、低周波成分に対し階調変換を行う(ステップS47)。
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、を出力する(ステップS48)。
その後、全ての低周波成分の処理が完了したか否かを判断し(ステップS49)、完了していないと判断した場合には上記ステップS40へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図22に示した処理へリターンする。
なお、上述では、周波数分解および周波数合成にローパスフィルタおよび差分フィルタを用いる構成を採用していたが、このような構成に限定される必要はない。例えば、ガウシアンフィルタおよびラプラシアンフィルタを用いて、周波数分解および周波数合成を行うように構成することも可能である。この場合には、演算量が増加するものの、周波数分解能がより優れるという利点がある。そして、ガウシアンフィルタおよびラプラシアンフィルタを用いる場合には、上述した実施形態1と同様に、多段階の周波数分解、周波数合成を行うように構成することも可能である。
また、上述では、カラー撮像素子としてベイヤー(Bayer)型原色フィルタを用いる構成を採用していたが、このような構成に限定される必要はない。例えば、図17に示すような色差線順次型補色フィルタを用いた単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。
ここに、図17は色差線順次型補色フィルタの構成を示す図である。
この色差線順次方式の補色フィルタは、2×2画素を基本単位として、シアン(Cy)およびイエロー(Ye)が2×2画素の同一ラインに、マゼンタ(Mg)および緑(G)が2×2画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ(Mg),緑(G)の位置は、ライン毎に反転するように構成されている。
このような実施形態2によれば、カラー映像信号に対して視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位なカラー映像信号を生成することが可能となる。
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ないカラー映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
そして、ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
加えて、輝度信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様なカラー映像信号に対して高精度な階調変換を行うことが可能となる。
また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
さらに、人物などの関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
そして、同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
加えて、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
[実施形態3]
図26から図30は本発明の実施形態3を示したものであり、図26は画像処理システムの構成を示すブロック図である。
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の画像処理システムは、上述した実施形態1の図1に示した画像処理システムに、エッジ強調手段たるエッジ強調部1202を追加し、周波数分解部109,高周波分離部112,周波数合成部115を分離手段であり周波数分解手段たる周波数分解部1200,分離手段であり高周波分離手段たる高周波分離部1201,合成手段であり周波数合成手段たる周波数合成部1203にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態1と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ105は、測光評価部106,合焦点検出部107,変換特性算出部111,周波数分解部1200へ接続されている。
周波数分解部1200は、バッファ110へ接続されている。バッファ110は、変換特性算出部111,高周波分離部1201,階調処理部113へ接続されている。
高周波分離部1201は、エッジ強調部1202およびバッファ114へ接続されている。エッジ強調部1202は、階調処理部113へ接続されている。
バッファ114は、周波数合成部1203を介して信号処理部116へ接続されている。
制御部118は、周波数分解部1200,高周波分離部1201,エッジ強調部1202,周波数合成部1203とも双方向に接続されていて、これらも制御するようになっている。
次に、図26に示したような画像処理システムの作用は、基本的に実施形態1と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
バッファ105内の映像信号は、周波数分解部1200へ転送される。
周波数分解部1200は、制御部118の制御に基づき、転送されてきた映像信号に所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部1200は、得られた高周波成分および低周波成分を順次バッファ110へ転送する。なお、本実施形態においては、周波数分解として例えば64×64画素単位の公知のDCT(Discrete Cosine Transform)変換を用いることを想定している。
図27はDCT(Discrete Cosine Transform)変換を説明するための図であり、図27(A)は実空間における映像信号を、図27(B)はDCT(Discrete Cosine Transform)変換後の周波数空間における信号を、それぞれ示している。
図27(B)の周波数空間において、左上を原点、すなわち0次成分として、1次以上の高周波成分はこの0次成分を原点とする同心円上に配置される。
変換特性算出部111は、制御部118の制御に基づき、バッファ105から周波数分解部1200において使用する64×64画素単位に映像信号を読み込む。その後、変換特性算出部111は、上述した実施形態1と同様に、階調変換処理に用いる階調特性を算出する。すなわち、本実施形態においては、階調変換処理として、64×64画素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部111は、算出した上記階調特性を、階調処理部113へ転送する。
高周波分離部1201は、制御部118の制御に基づき、バッファ110から高周波成分を読み込んで、高周波成分に対してノイズ低減処理を行った後に、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部1201は、分離した上記有効成分をエッジ強調部1202へ、上記無効成分をバッファ114へ、それぞれ転送する。
エッジ強調部1202は、高周波分離部1201から転送される有効成分に対して所定の係数を乗算することによりエッジ強調処理を行い、処理結果を階調処理部113へ転送する。
階調処理部113は、制御部118の制御に基づき、バッファ110から低周波成分を、エッジ強調部1202から高周波成分中の有効成分を、変換特性算出部111から階調特性を、それぞれ読み込む。そして、階調処理部113は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部113は、階調処理がなされた低周波成分と、高周波成分中の有効成分とを、バッファ114へ転送する。
周波数合成部1203は、制御部118の制御に基づき、バッファ114から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を合成する。なお、本実施形態においては、周波数合成として公知の逆DCT(Inverse Discrete Cosine Transform)変換を用いることを想定している。そして、周波数合成部1203は、合成した映像信号を信号処理部116へ転送する。
信号処理部116は、制御部118の制御に基づき、周波数合成部1203からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部117へ転送する。
出力部117は、信号処理部116から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図28は、高周波分離部1201の構成の一例を示すブロック図である。
この高周波分離部1201は、上述した実施形態1の図5に示した高周波分離部112に、ノイズ低減手段であり第1のスムージング手段たる第1スムージング部1300,ノイズ低減手段であり第2のスムージング手段たる第2スムージング部1301を追加した構成になっている。その他の基本的な構成は図5に示した高周波分離部112と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
判断部409は、第1スムージング部1300および第2スムージング部1301へ接続されている。第1スムージング部1300は、エッジ強調部1202へ接続されている。第2スムージング部1301は、バッファ114へ接続されている。
制御部118は、第1スムージング部1300および第2スムージング部1301とも双方向に接続されていて、これらも制御するようになっている。
続いて、このような高周波分離部1201の作用について説明する。
低周波成分抽出部400は、制御部118の制御に基づき、バッファ110から低周波成分を順次抽出する。なお、本実施形態においては、上述したように、64×64画素のDCT(Discrete Cosine Transform)変換を想定している。そして、低周波成分抽出部400は、図27(B)に示すような各次の周波成分の内の、所定のn次以下の周波数成分を低周波成分として、64×64画素の各領域から抽出する。
抽出された低周波成分に関して、パラメータ選択部404および補間部405を介して、上述した実施形態1と同様にノイズ量が算出される。そして、補間部405は、算出したノイズ量を上限下限設定部408へ転送する。
高周波成分抽出部406は、制御部118の制御に基づき、低周波成分抽出部400により抽出された低周波成分に対応する64×64画素の各領域から(n+1)次以上の周波成分を高周波成分として抽出する。
平均算出部407は、制御部118の制御に基づき、次数毎に高周波成分を分離して、各々の平均値AVを算出し、算出した平均値AVを上限下限設定部408へ転送する。
上限下限設定部408は、制御部118の制御に基づき、次数毎に、平均算出部407からの平均値AVと補間部405からのノイズ量Nとを用いて、有効成分と無効成分とを識別するための上限App_Upおよび下限App_Lowを、数式3に示したように設定する。
上限下限設定部408は、このようにして設定した上限App_Upおよび下限App_Lowを判断部409へ、平均値AVを第2スムージング部1301へ、平均値AVおよびノイズ量Nを第1スムージング部1300へ、それぞれ転送する。
判断部409は、制御部118の制御に基づき、高周波成分抽出部406から高周波成分を読み込むとともに、上限下限設定部408から高周波成分の次数に対応する上限App_Upおよび下限App_Lowを読み込む。そして、判断部409は、高周波成分が上限App_Upを上回るか、または下限App_Lowを下回るかする場合には、該高周波成分が有効成分であると判断して、高周波成分を第1スムージング部1300へ転送する。
一方、判断部409は、高周波成分が上限App_Upと下限App_Lowとの範囲内にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周波成分を第2スムージング部1301へ転送する。
第2スムージング部1301は、次の数式7に示すように、高周波成分(ここに、高周波成分をPとする)に上限下限設定部408からの平均値AVを代入する処理を行う。 [数7]
P=AV
また、第1スムージング部1300は、高周波成分Pに上限下限設定部408からの平均値AVとノイズ量Nとを用いて補正する処理を行う。この補正には2種類の処理があり、まず、高周波成分が上限App_Upを上回る場合は、第1スムージング部1300は、次の数式8に示すような補正を行う。
[数8]
P=AV−N/2
また、第1スムージング部1300は、高周波成分が下限App_Lowを下回る場合には、次の数式9に示すような補正を行う。
[数9]
P=AV+N/2
そして、第1スムージング部1300による処理結果はエッジ強調部1202へ、第2スムージング部1301による処理結果はバッファ114へ、それぞれ転送される。
従って、有効成分であると判断された高周波成分のみが、エッジ強調部1202を介して階調処理部113へ転送され、階調処理が行われることになる。これに対して、無効成分であると判断された高周波成分は、階調処理が行われることなくバッファ114へ転送される。
なお、本実施形態においても、上述した実施形態1,2と同様に、撮像部が別体となっている画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、CCD102からの映像信号を未処理のままのロー(Raw)データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部118からの撮影時の撮像素子の温度や露光条件など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図29は、画像処理プログラムのメインルーチンを示すフローチャートである。
なお、この図29において、上述した実施形態1の図11に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む(ステップS1)。
次に、DCT(Discrete Cosine Transform)変換などの周波数分解を行って、高周波成分と低周波成分とを取得する(ステップS2)。
続いて、図12に示したように、変換特性を算出する(ステップS3)。
さらに、後で図30を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する(ステップS80)。
そして、図14に示したように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う(ステップS5)。
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する(ステップS6)。
続いて、公知の圧縮処理などの信号処理を行う(ステップS7)。
そして、処理後の映像信号を出力して(ステップS8)、この処理を終了する。
図30は、上記ステップS80における高周波分離の処理を示すフローチャートである。
なお、この図30において、上述した実施形態1の図13に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する(ステップS20)。
次に、読み込まれたヘッダ情報から、撮像素子の温度,ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる(ステップS21)。
続いて、基準ノイズモデルに関するパラメータを読み込む(ステップS22)。
そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補間処理によって算出する(ステップS23)。
その後、図27(B)に示すように、低周波成分に対応する高周波成分を順次抽出する(ステップS24)。
次に、低周波成分に対応する高周波成分の平均値を、次数毎に算出する(ステップS25)。
続いて、平均値とノイズ量とに基づいて、数式3に示したように上限および下限を設定する(ステップS26)。
そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する(ステップS90)。
ここで、高周波成分が有効成分であると判断した場合には、高周波成分に対して数式8または数式9に示した補正処理を行う(ステップS91)。
また、ステップS90において、高周波成分が無効成分である場合と判断したには、高周波成分に対して数式7に示した補正処理を行う(ステップS92)。
ステップS91またはステップS92の処理が終了したら、補正された有効成分と補正された無効成分とを分離して出力する(ステップS93)。
そして、全ての高周波成分の処理が完了したか否かを判断し(ステップS29)、完了していないと判断した場合には上記ステップS24へ戻って上述したような処理を繰り返して行う。
一方、このステップS29において、全ての高周波成分の処理が完了したと判断した場合には、全ての低周波成分の処理が完了したか否かを判断し(ステップS30)、完了していないと判断した場合には上記ステップS20へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図29に示した処理へリターンする。
なお、上述では、周波数分解および周波数合成にDCT(Discrete Cosine Transform)変換を用いる構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態1と同様にウェーブレット(Wavelet)変換を用いる構成を採用することも可能であるし、上述した実施形態2と同様にローパスフィルタと差分フィルタとを組み合わせる構成を採用することも可能である。
さらに、上述では、白黒の映像信号を処理する構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態2と同様に、カラー撮像素子から得られるカラー映像信号から輝度信号を算出して処理する構成を採用することも可能である。
このような実施形態3によれば、視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
また、DCT(Discrete Cosine Transform)変換は周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
そして、ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成分に対しては平滑化処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
さらに、高周波成分中の有効成分に対してのみエッジ強調処理を行い、高周波成分中の無効成分に対してはエッジ強調処理を行わないために、ノイズ成分を強調することなくエッジ成分のみを強調することができる。これにより、高品位な映像信号を生成することが可能となる。
[実施形態4]
図31から図36は本発明の実施形態4を示したものであり、図31は画像処理システムの構成を示すブロック図である。
この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の画像処理システムは、上述した実施形態1の図1に示した画像処理システムに、分離手段でありノイズ低減手段たるノイズ低減部1400,分離手段であり差分手段たる差分部1401,合成手段であり信号合成手段たる信号合成部1403を追加し、階調処理部113を変換手段であり階調処理手段たる階調処理部1402に置換し、周波数分解部109,高周波分離部112,周波数合成部115を削除した構成になっている。その他の基本的な構成は上述した実施形態1と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ105は、測光評価部106,合焦点検出部107,ノイズ低減部1400,差分部1401へ接続されている。
ノイズ低減部1400は、バッファ110へ接続されている。バッファ110は、変換特性算出部111,差分部1401,階調処理部1402へ接続されている。
変換特性算出部111は、階調処理部1402へ接続されている。差分部1401は、バッファ114へ接続されている。階調処理部1402は、バッファ114へ接続されている。バッファ114は、信号合成部1403を介して信号処理部116へ接続されている。
制御部118は、ノイズ低減部1400,差分部1401,階調処理部1402,信号合成部1403とも双方向に接続されていて、これらも制御するようになっている。
次に、図31に示したような画像処理システムの作用は、基本的に実施形態1と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
バッファ105内の映像信号は、ノイズ低減部1400へ転送される。
ノイズ低減部1400は、制御部118の制御に基づき、ノイズ低減処理を行い、ノイズ低減処理後の映像信号を有効成分としてバッファ110へ転送する。
変換特性算出部111は、バッファ110から有効成分を読み込んで、上述した実施形態1と同様に、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、例えば64×64画素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部111は、算出した上記階調特性を、階調処理部1402へ転送する。
差分部1401は、制御部118の制御に基づき、バッファ105内からノイズ低減処理前の映像信号を読み込むとともに、バッファ110からノイズ低減処理後の映像信号を有効成分として読み込んで、これらの差分をとる処理を行う。この差分部1401は、差分をとった結果として得られる信号を、無効成分としてバッファ114へ転送する。
階調処理部1402は、制御部118の制御に基づき、バッファ110から有効成分を、変換特性算出部111から階調特性を、それぞれ読み込む。そして、階調処理部1402は、上記階調特性に基づき、上記有効成分に対して階調処理を行う。階調処理部1402は、階調処理を行った有効成分をバッファ114へ転送する。
信号合成部1403は、制御部118の制御に基づき、バッファ114から、階調処理がなされた有効成分と、無効成分と、を読み出して、これらを加算することにより、階調変換がなされた映像信号を合成する。信号合成部1403は、こうして合成した映像信号を、信号処理部116へ転送する。
信号処理部116は、制御部118の制御に基づき、信号合成部1403からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部117へ転送する。
出力部117は、信号処理部116から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図32は、ノイズ低減部1400の構成の一例を示すブロック図である。
このノイズ低減部1400は、映像信号抽出部1500と、ノイズ推定手段であり平均算出手段たる平均算出部1501と、ノイズ推定手段であり収集手段たるゲイン算出部1502と、ノイズ推定手段であり付与手段たる標準値付与部1503と、ノイズ推定手段でありテーブル変換手段たるノイズLUT1504と、設定手段であり上限下限設定手段たる上限下限設定部1505と、判断手段たる判断部1506と、第1のスムージング手段たる第1スムージング部1507と、第2のスムージング手段たる第2スムージング部1508と、を有して構成されている。
バッファ105は、映像信号抽出部1500へ接続されている。映像信号抽出部1500は、平均算出部1501および判断部1506へ接続されている。
平均算出部1501,ゲイン算出部1502,標準値付与部1503は、ノイズLUT1504へ接続されている。ノイズLUT1504は、上限下限設定部1505へ接続されている。上限下限設定部1505は、判断部1506,第1スムージング部1507,第2スムージング部1508へ接続されている。
判断部1506は、第1スムージング部1507および第2スムージング部1508へ接続されている。第1スムージング部1507および第2スムージング部1508は、バッファ110へ接続されている。
制御部118は、映像信号抽出部1500,平均算出部1501,ゲイン算出部1502,標準値付与部1503,ノイズLUT1504,上限下限設定部1505,判断部1506,第1スムージング部1507,第2スムージング部1508と双方向に接続されていて、これらを制御するようになっている。
続いて、このようなノイズ低減部1400の作用について説明する。
映像信号抽出部1500は、制御部118の制御に基づき、バッファ105からノイズ低減処理を行うべき注目画素と、この注目画素を含む例えば3×3画素の近傍画素と、を順次抽出する。映像信号抽出部1500は、抽出した注目画素および近傍画素を平均算出部1501へ、注目画素を判断部1506へ、それぞれ転送する。
平均算出部1501は、制御部118の制御に基づき、映像信号抽出部1500から注目画素および近傍画素を読み込んで、これらの平均値AVを算出する。平均算出部1501は、算出した平均値AVをノイズLUT1504へ転送する。
ゲイン算出部1502は、制御部118から転送されるISO感度および露光条件に関する情報に基づき、増幅部103におけるゲイン情報を求めて、ノイズLUT1504へ転送する。
また、制御部118は、温度センサ120からCCD102の温度情報を取得して、取得した温度情報をノイズLUT1504へ転送する。
標準値付与部1503は、制御部118の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズLUT1504へ転送する。
ノイズLUT1504は、映像信号の信号値レベル,映像信号のゲイン,撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開2004−128985号公報に記載されている技術を用いて設計される。
ノイズLUT1504は、平均算出部1501からの注目画素に関する平均値AVと、ゲイン算出部1502または標準値付与部1503からのゲイン情報と、制御部118または標準値付与部1503からの温度情報とに基づき、ノイズ量Nを出力する。このノイズ量Nと平均算出部1501からの平均値AVとは、ノイズLUT1504から上限下限設定部1505へ転送される。
上限下限設定部1505は、制御部118の制御に基づき、ノイズLUT1504からの平均値AVおよびノイズ量Nを用いて、ノイズに属するか否かの識別を行うための上限App_Upおよび下限App_Lowを、数式3に示したように設定する。
上限下限設定部1505は、このようにして設定した上限App_Upおよび下限App_Lowを判断部1506へ、平均値AVを第2スムージング部1508へ、平均値AVおよびノイズ量Nを第1スムージング部1507へ、それぞれ転送する。
判断部1506は、制御部118の制御に基づき、映像信号抽出部1500から注目画素を、上限下限設定部1505から上限App_Upおよび下限App_Lowを、それぞれ読み込む。そして、判断部1506は、注目画素が上限App_Upを上回るか、または下限App_Lowを下回るかする場合には、該注目画素がノイズに属さないと判断し、注目画素を第1スムージング部1507へ転送する。
一方、判断部1506は、注目画素が上限App_Upと下限App_Lowとの範囲内にある場合には、該注目画素がノイズに属すると判断して、注目画素を第2スムージング部1508へ転送する。
第2スムージング部1508は、数式7に示したように、注目画素(ここでは、注目画素をPとする)に上限下限設定部1505からの平均値AVを代入する処理を行う。
また、第1スムージング部1507は、注目画素Pに上限下限設定部1505からの平均値AVとノイズ量Nを用いて補正する処理を行う。この補正には2種類の処理があり、注目画素Pが上限App_Upを上回る場合は、第1スムージング部1507は、数式8に示したような補正を行う。一方、第1スムージング部1507は、注目画素Pが下限App_Lowを下回る場合には、数式9に示したような補正を行う。
そして、第1スムージング部1507による処理結果および第2スムージング部1508による処理結果は、何れもバッファ110へ転送される。
次に、図33は、階調処理部1402の構成の一例を示すブロック図である。
この階調処理部1402は、上述した実施形態1の図6に示した階調処理部113から、低周波成分抽出部500,高周波成分抽出部504を削除し、抽出手段たる映像信号抽出部1600を追加した構成になっている。その他の基本的な構成は図6に示した階調処理部113と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ110は、映像信号抽出部1600へ接続されている。映像信号抽出部1600は、距離算出部501および階調変換部505へ接続されている。
制御部118は、映像信号抽出部1600とも双方向に接続されていて、これも制御するようになっている。
続いて、このような階調処理部1402の作用について説明する。
映像信号抽出部1600は、制御部118の制御に基づき、バッファ110からノイズ低減処理後の映像信号を有効成分として画素単位で順次抽出する。映像信号抽出部1600は、抽出した有効成分を、距離算出部501および階調変換部505へそれぞれ転送する。
この後は、上述した実施形態1と同様にして、距離算出部501,階調変換式設定部502により、数式4に示したように注目画素に対する階調変換式を設定する。そして、階調変換式設定部502は、設定した階調変換式を、バッファ503へ転送する。
階調変換部505は、制御部118の制御に基づき、映像信号抽出部1600から有効成分を読み込むとともに、バッファ503から階調変換式を読み込んで、有効成分に対する階調変換を行う。階調変換部505は、階調変換後の有効成分を、バッファ114へ転送する。
なお、本実施形態においても、上述した実施形態1〜3と同様に、撮像部が別体となっている画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、CCD102からの映像信号を未処理のままのロー(Raw)データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部118からの撮影時の撮像素子の温度や露光条件など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図34は、画像処理プログラムのメインルーチンを示すフローチャートである。
なお、この図34において、上述した実施形態1の図11に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む(ステップS1)。
次に、後で図35を参照して明するように、ノイズ低減処理を行い、ノイズ低減処理後の映像信号を有効成分として算出する(ステップS100)。
続いて、図12に示したように、変換特性を算出する(ステップS3)。
さらに、映像信号とノイズ低減処理後の映像信号との差分から無効成分を算出する(ステップS101)。
そして、後で図36を参照して説明するように、有効成分に対して階調処理を行う(ステップS102)。
次に、階調処理がなされた有効成分と、無効成分と、に基づき、階調変換がなされた映像信号を合成する(ステップS103)。
続いて、公知の圧縮処理などの信号処理を行う(ステップS7)。
そして、処理後の映像信号を出力して(ステップS8)、この処理を終了する。
図35は、上記ステップS100におけるノイズ低減の処理を示すフローチャートである。
この処理を開始すると、まず、ノイズ低減処理を行うべき注目画素と、この注目画素を含む例えば3×3画素の近傍画素と、を順次抽出する(ステップS110)。
次に、注目画素および近傍画素の平均値を算出する(ステップS111)。
続いて、読み込まれたヘッダ情報から、撮像素子の温度,ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる(ステップS112)。
そして、映像信号の信号値レベル,映像信号のゲイン,撮像素子の動作温度と、ノイズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む(ステップS113)。
さらに、ノイズ量に関するテーブルに基づき、ノイズ量を求める(ステップS114)。
その後、平均値とノイズ量とに基づいて、数式3に示したように上限および下限を設定する(ステップS115)。
次に、注目画素がノイズに属さないかまたは属するかを、上限、下限と比較することにより判断する(ステップS116)。
ここで、注目画素が上限を上回るかまたは下限を下回るかする場合には、該注目画素がノイズに属さないと判断して、注目画素に対して数式8または数式9に示したような補正処理を行う(ステップS117)。
一方、ステップS116において、注目画素が上限と下限との範囲内にある場合には、該注目画素がノイズに属すると判断して、注目画素に対して数式7に示したような補正処理を行う(ステップS118)。
そして、補正された注目画素を、ノイズ低減処理後の画素として出力する(ステップS119)。
その後、ノイズ低減処理後の映像信号を有効成分として、全ての有効成分についての処理が完了したか否かを判断し(ステップS120)、完了していないと判断した場合には上記ステップS110へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図34に示した処理へリターンする。
図36は、上記ステップS102における階調処理を示すフローチャートである。
なお、この図36において、上述した実施形態1の図14に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、ノイズ低減処理後の映像信号を有効成分として画素単位で順次抽出する(ステップS130)。
次に、図8に示すように、有効成分の注目画素とその近傍4領域の中心との間の距離を算出する(ステップS41)。
続いて、近傍4領域における階調変換曲線を読み込む(ステップS42)。
さらに、数式4に示したように、注目画素に対する階調変換式を設定する(ステップS43)。
そして、有効成分の注目画素に対して数式4に示した階調変換式を適用して、階調変換を行う(ステップS47)。
次に、階調処理がなされた注目画素を出力する(ステップS48)。
その後、ノイズ低減処理後の全ての映像信号の処理が完了したか否かを判断し(ステップS131)、完了していないと判断した場合には上記ステップS130へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図34に示した処理へリターンする。
なお、上述では、白黒の映像信号を処理する構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態2と同様に、カラー撮像素子から得られるカラー映像信号を処理する構成を採用することも可能である。
このような実施形態4によれば、ノイズ低減後の映像信号にのみ階調処理を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。このとき、ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
さらに、本実施形態は階調変換処理をノイズ低減処理と組み合わせる処理系となっているために、既存のシステムとの親和性および互換性が高く、多くの画像処理システムに適用することが可能となり、さらに全体としての高性能化を図るとともに、システムの規模を縮小して低コスト化を図ることが可能となる。
そして、階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するようにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
加えて、適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。