WO2006134872A1

WO2006134872A1 - 撮像装置

Info

Publication number: WO2006134872A1
Application number: PCT/JP2006/311756
Authority: WO
Inventors: Hideya Aragaki
Original assignee: Olympus Corporation
Priority date: 2005-06-15
Filing date: 2006-06-12
Publication date: 2006-12-21
Also published as: JP4526445B2; JP2006352431A; EP1909487A1; US7889250B2; US20090091643A1

Abstract

　所定の画像処理が施された画像信号を取得して、複数の画素それぞれに対応する複数の補正係数からなる第一の補正係数群を領域毎に作成する補正係数群算出部１０９と、撮像素子からの画像信号又は画像処理が施された後の画像信号の特徴を用いて、第一の補正係数群を調整することにより、第二の補正係数群を作成する補正係数群調整部１１０と、第二の補正係数群を用いて、領域毎に階調変換処理を行う階調変換部１１１とを備える撮像装置を提供する。

Description

明細書

撮像装置

技術分野

[0001] 本発明は、領域ごとに異なる階調変換処理を行う撮像装置に係り、特に画像信号全体で平坦部における輝度勾配の不自然な強調を抑制する撮像装置に関する。背景技術

[0002] 現在、デジタルスチルカメラやビデオカメラなどでは、デジタル信号処理の桁落ちによる画質劣化を防止するため、最終的な出力信号の階調幅 (通常 8bit)に対して入力及び処理系における画像信号の階調幅（10〜12bit程度）をより広く設定している。この場合、出力系の階調幅に合致するよう階調変換を行う必要があり、一般的には標準的な撮像シーンに対する固定的な階調特性により、階調変換が行われている。しかし、人の視覚機能のように主観的に好ましい階調特性を持った画像信号を生成する場合、画像内の領域ごとに異なる階調変換 (以下、スペースバリアントな階調変換とする）を行うと好適であることが知られている。

[0003] 例えば、特許第 2951909号明細書には、入力画像の輝度分布に基づいて画像信号を複数領域に分割し、被写体条件に適応して各領域に最適な階調変換を行う例が開示されており、また、特許第 3465226号明細書には、テクスチャ情報に基づき画像信号を領域に分割し、各領域に対して適応的に階調変換を行う例が開示されている。

特許文献 1 :特許第 2951909号明細書

特許文献 2：特許第 3465226号明細書

発明の開示

[0004] 上記特許第 2951909号明細書や特許第 3465226号明細書に示される方法では、スペースバリアントな階調変換を行うため、明暗比の大きいシーンでも十分な改善効果が得られる。

しかし、特許第 2951909号明細書においては、入力画像を複数のブロックに分割し、ブロック毎の平均輝度に基づいて領域分割した後、領域毎に階調変換を行うが、この場合、領域内で階調幅は異なるが平均輝度が同一であるような領域に対して、同一な階調変換曲線に基づいて階調変換が施される。この結果、変換前の画像において微小な輝度勾配を持つ平坦部であり、変換後も同様の輝度勾配を持つことが望まれる領域においても、条件によっては大幅に階調幅が広げられ、不自然な階調特性を持った画像が生成されるという問題があった。

[0005] また、特許第 3465226号明細書においては、入力画像をテクスチャ解析の結果に基づ、て領域分割し、領域毎に局所的ヒストグラム平滑ィ匕法による階調変換が施されるが、領域内の画像信号のヒストグラムにおいて階調幅が狭く輝度勾配が緩やかな平坦部においては、ヒストグラム平滑ィ匕の結果、変換前の輝度勾配と比較して不自然な階調特性を持つ画像が生成されるという問題があった。

[0006] 本発明は、画像信号全体で平坦部における輝度勾配の不自然な強調を抑制することのできる撮像装置を提供することを目的とする。

[0007] 本発明の第 1の態様は、撮像素子からの画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を行う撮像装置であって、前記撮像素子からの画像信号に対し画像処理を行う画像処理手段と、前記画像処理が施された前記画像信号を取得して、複数の画素それぞれに対応する複数の補正係数からなる第一の補正係数群を前記領域毎に作成する補正係数群算出手段と、前記撮像素子からの画像信号又は前記画像処理が施された後の画像信号の特徴を用いて、前記第一の補正係数群を調整することにより、第二の補正係数群を作成する補正係数群調整手段と、前記第二の補正係数群を用いて、前記領域毎に階調変換処理を行う階調変換手段とを具備する撮像装置である。

[0008] この態様によれば、撮像素子からの画像信号は、画像処理手段により画像処理が施された後、補正係数群算出手段へ入力される。補正係数群算出手段では、画像処理が施された画像信号を元に、領域毎の階調変換処理に係る補正係数、換言すると、スペースノリアントな階調変換処理に関する補正係数が、画像信号の画素毎にそれぞれ算出され、これら補正係数からなる第一の補正係数群が作成される。続いて、調整手段では、補正係数群算出手段にて作成された第一の補正係数群が、撮像素子からの画像信号或いは画像処理が施された後の画像信号の特徴を用いることにより調整され、調整後の補正係数にて第二の補正係数群が作成される。そして、階調変換手段では、この第二の補正係数群を用いてスペースノリアントな階調変換処理が行われることとなる。

[0009] このように、本発明の第 1の態様に係る画像装置によれば、画像処理が施された後の画像信号に基づいて算出された補正係数を更に調整し、調整後の補正係数を用いてスペースノリアントな階調変換処理を行うので、従来、スペースノリアントな階調変換処理を行った後に現れる、輝度勾配が不自然に強調される現象を解消することが可能となる。これにより、見た目に自然な画質を得ることができる。

[0010] なお、この発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、第 1の態様に対応する実施形態は、第 1乃至第 3の実施形態であり、この態様の構成要素である画像処理手段には、例えば、図 1に示される WB調整部 104、補間処理部 105、 YZC分離部 106、及びエッジ強調処理部 107が該当する。補正係数群算出手段としては、例えば、図 1に示される補正係数群算出部 109が該当する。補正係数群調整手段としては、例えば、図 1に示される補正係数群調整部 110等が該当する。

[0011] この発明の好ましい適用例は、例えば、図 1に示されるように、撮像素子からの画像信号に対し、 WB調整部 104、補間処理部 105、 YZC分離部 106、エッジ強調処理部 107にて WB調整、補間処理、 YZC分離、エッジ強調などの画像処理を行い、補正係数群算出部 109にてスペースノリアントな階調変換処理に関する補正係数群を画素単位で算出する。次に、前記補正係数群に対して、補正係数群調整部 110〖こて調整を施した後、階調変換部 111にて階調処理変換処理を行う撮像装置である。

[0012] 本発明の第 1の態様に係る画像処理装置が、前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成する縮小画像生成手段を備え、前記縮小画像信号を用いて前記第一の補正係数群が作成されることが好まし、。

[0013] この態様によれば、縮小画像生成手段にて、画像処理が施された後の画像信号から所定の縮小率の縮小画像信号が生成され、この縮小画像信号を用いて第一の補正係数群が作成される。これにより、処理を高速化することが可能となる。

[0014] なお、この発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第 1乃至第 3の実施形態であり、この発明の構成要素である縮小画像作成手段には、例えば、図 5に示される縮小画像生成部 141が該当する。縮小率は、例えば、撮像装置が備える所定の記録媒体に予め登録されて!、ても良ヽし、外部から適宜設定変更可能な構成としても良ヽ。

[0015] 本発明の第 1の態様において、前記補正係数算出手段は、前記縮小画像信号における複数の画素それぞれに対応する複数の縮小補正係数からなる縮小補正係数群を作成し、前記縮小率による縮小を打ち消すように、前記縮小補正係数群を拡大処理することにより、前記第一の補正係数群を作成することが好ましい。

[0016] この態様によれば、縮小画像生成手段にて、画像処理が施された後の画像信号から所定の縮小率の縮小画像信号が生成され、補正係数算出手段にて、縮小画像信号の画素単位毎に、スペースバリアントな階調変換処理に関する縮小補正係数が算出され、この縮小補正係数が縮小率による縮小を打ち消すように拡大処理されることにより、第一の補正係数群が作成されることとなる。

[0017] 本発明の第 1の態様に係る撮像装置は、例えば、縮小率を設定する縮小率設定手段と、前記縮小率に基づいて、前記画像処理手段により得られた画像信号を縮小し、縮小画像信号を生成する縮小画像生成手段と、前記領域毎の階調変換処理に係る補正係数を前記縮小画像信号に基づいて画素単位で算出する補正係数算出手段と、前記縮小画像に対応する複数の補正係数からなる縮小補正係数群を前記縮小率に基づいて拡大処理することにより、原画像信号 (撮像素子からの画像信号）に対応する第一の補正係数群を作成する拡大手段と、前記拡大手段により得られた第一の補正係数群を調整して、第二の補正係数群を作成する調整手段と、前記第二の補正係数群を用ヽて階調変換処理を行う階調変換処理手段とを具備してヽても良い。

[0018] 本発明の第 1の態様において、前記補正係数群調整手段は、前記第一の補正係数群から注目画素に対応する補正係数と、該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、前記抽出手段により抽出された補正係数を用いて、前記第一の補正係数群に対してフィルタ処理を行うことで、前記第一の補正係数群を調整する調整手段とを備えることが好ま、。 [0019] この態様によれば、調整手段が備える抽出手段にて、補正係数算出手段により作成された第一の補正係数群から注目画素と該注目画素の近傍画素に対応する補正係数が抽出され、調整手段にて、抽出手段により抽出された補正係数に対して、第一の補正係数群に対してフィルタ処理を行うことにより、補正係数が調整される。そして、この調整後の補正係数から第二の補正係数群が作成されることとなる。

[0020] 本発明の第 1の態様において、前記補正係数群調整手段は、前記第一の補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、前記抽出手段により抽出された補正係数を用いて前記第一の補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記第一の補正係数群を調整する調整手段とを具備することが好まヽ。

[0021] この態様によれば、調整手段が備える抽出手段にて、補正係数算出手段により作成された第一の補正係数群から注目画素と該注目画素の近傍画素に対応する補正係数が抽出され、調整手段にて、抽出手段により抽出された補正係数に対して、フィルタ処理が行われるとともに、所定の重み係数を用いた演算が行われることにより、補正係数が調整される。そして、この調整後の補正係数から第二の補正係数群が作成されることとなる。

[0022] 上記フィルタ処理を行うとともに、所定の重み係数を用いた演算とは、例えば、第一の補正係数群に対して所定の重み係数に基づいたフィルタ処理等の平滑ィヒ処理を行う演算処理が挙げられる。このように、例えば、平滑ィ匕処理などのフィルタリング処理を行うことにより、均一且つ高速な調整処理を行うことが可能となる。

[0023] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 1の実施形態であり、この態様の構成要素である抽出手段には、例えば、図 6に示される補正係数抽出部 150が該当する。また、調整手段には、例えば、図 6に示されるフィルタ処理部 154が該当する。

この態様の好ましい適用例は、例えば、図 6に示されるように、補正係数抽出部 15 0により抽出した注目画素と該注目画素の近傍画素に対応する補正係数に対して、フィルタ処理部 154にて所定重み係数に基づいたフィルタ処理を行う画像処理装置である。

[0024] 本発明の第 1の態様において、前記補正係数群調整手段は、前記画像処理が施された後の画像信号から輝度信号を取得する輝度信号取得手段と、前記輝度信号取得手段により得られた前記輝度信号に基づ、て、前記第一の補正係数群を調整する調整手段とを具備することが好ましヽ。

[0025] この態様によれば、輝度信号取得手段により、画像処理が施された後の画像信号から輝度信号が取得され、調整手段にて、該輝度信号に基づいて第一の補正係数群が調整される。このように、画像信号の特徴として輝度信号を採用し、この輝度信号を用いて第一の補正係数群を調整することにより、調整後の補正係数で構成される第二の補正係数群を更に好ましい状態とすることが可能となる。これにより、スぺースノリアントな階調変換処理を行った際に生じていた輝度勾配の不自然な現れ方等を解消することが可能となり、より自然な画像を取得することが可能となる。

[0026] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 2乃至第 3の実施形態であり、この態様の構成要素である輝度信号取得手段には、例えば、図 11に示される画像信号抽出部 213、図 15に示される画像信号抽出部 312が該当し、調整手段には、例えば、図 11に示される乗算加算処理部 214、図 15に示されるフィルタ処理部 313 が該当する。

[0027] この態様の好ましい適用例は、例えば、図 11に示されるように、画像信号抽出部 2 13により抽出した注目画素の輝度値に基づいて、乗算加算処理部 214にて該注目画素に対応する補正係数の調整を行う画像処理装置である。

[0028] 本発明の第 1の態様において、前記調整手段は、重み係数を乗じた前記輝度信号を用いて、前記第一の補正係数群を調整することが好ま U、。

この態様によれば、調整手段にて、重み係数を乗じた輝度信号を用いた第一の補正係数群の調整が行われることとなる。

[0029] 本発明の第 1の態様において、前記調整手段は、前記補正係数算出手段により作成された前記第一の補正係数群を構成する補正係数に対して、重み係数を乗じた前記輝度信号をそれぞれ乗算することにより、前記第一の補正係数群を調整することが好ましい。

[0030] この態様によれば、調整手段において、補正係数算出手段により作成された第一の補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ乗算されることにより、第一の補正係数群が調整され、調整後の補正係数により第二の補正係数群が作成されることとなる。このように、所定の重み付け係数が乗じられた輝度信号を補正係数に乗じるという簡便な演算処理により、第一の補正係数群を調整することが可能となるので、迅速に調整を行うことができる。

[0031] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 2の実施形態であり、例えば、図 11に示される乗算加算処理部 214にて、補正係数算出手段により作成された第一の補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ乗算されることにより、補正係数が調整される。

[0032] この態様の好ましい適用例は、例えば、図 11に示されるように、注目画素に対応する補正係数に対して、乗算加算処理部 214にて注目画素の輝度値に所定の重み付けを乗じたものを乗算することにより調整を行う画像処理装置である。

[0033] 本発明の第 1の態様において、前記調整手段は、前記補正係数算出手段により作成された前記第一の補正係数群を構成する補正係数に、重み係数を乗じた前記輝度信号をそれぞれ加算することにより、前記第一の補正係数群を調整することが好ましい。

[0034] この態様によれば、調整手段において、補正係数算出手段により作成された第一の補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ加算されることにより、第一の補正係数群が調整され、調整後の補正係数により第二の補正係数群が作成されることとなる。このように、所定の重み付け係数が乗じられた輝度信号を補正係数に加算するという簡便な演算処理により、第一の補正係数群を調整することが可能となるので、迅速に調整を行うことができる。

[0035] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第 2の実施形態であり、例えば、図 11に示される乗算加算処理部 214にて、補正係数算出部により作成された第一の補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ加算されることにより、補正係数が調整される。

[0036] この発明の好ましい適用例は、例えば、図 11に示されるように、注目画素に対応する補正係数に対して、乗算加算処理部 214にて注目画素の輝度値に所定の重み付けを乗じたものを加算することにより調整を行う画像処理装置である。

[0037] 本発明の第 1の態様において、前記画像処理手段は、エッジ強度を算出するエツジ強度算出手段と、前記エッジ強度に基づき前記撮像素子からの画像信号に対してエッジ強調処理を行うエッジ強調手段とを備え、前記調整手段は、前記エッジ強度算出手段により算出された前記エッジ強度に基づいて、前記重み係数を設定することが好ましい。

[0038] この態様によれば、エッジ強調処理の際に算出されたエッジ強調に基づいて、重み係数が設定され、この重み係数を用いて第一の補正係数群の調整が行われる。このように、エッジ強調処理で算出したエッジ強度を再度利用するので、エッジ強度を考慮した補正係数の処理が可能となり、かつ再利用による処理の簡略化、高速化が可能となる。

[0039] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 1及び第 2の実施形態であり、この発明の構成要素であるエッジ強調算出手段には、例えば、図 2に示されるフィルタ処理部 123が該当する。エッジ強調手段は、例えば、図 2に示されるエッジ強調部 127が該当する。重み係数の設定については、例えば、図 6に示される重み係数調整部 153、或いは図 11に示される重み係数調整部 212が該当する。

[0040] この態様の好ましい適用例は、例えば、図 2に示されるように、画像信号に対して、フィルタ処理部 123にてエッジ強度を算出し、算出したエッジ強度に基づき、エッジ強調部 127にて画像信号に対してエッジ強調処理を行い、かつ、図 6に示される重み係数調整部 153にて重み係数を調整し、補正係数抽出部 150からの補正係数群に対してフィルタ処理部 154にて調整処理を行う画像処理装置である。

[0041] 本発明の第 1の態様において、前記画像処理手段は、コントラストを算出するコントラスト算出手段を備え、前記調整手段は、前記コントラスト算出手段により算出された前記コントラストに基づいて、前記重み係数を設定することが好ましい。

[0042] この態様によれば、画像信号力算出されたコントラストに基づいて重み係数が設定され、この重み係数を用いて第一の補正係数群の調整が行われるので、画像の明喑差を考慮した調整が可能となる。

[0043] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第 1及び第 2の実施形態であり、この発明の構成要素であるコントラスト算出手段には、例えば、図 1に示されるコントラスト算出処理部 108が該当する。重み係数の設定については、例えば、図 6に示される重み係数調整部 153、或いは図 11に示される重み係数調整部 212が該当する

[0044] この態様の好ましい適用例は、例えば、図 1に示されるように、撮像素子からの画像信号に対して、コントラスト算出処理部 108にてコントラストを算出し、算出したコントラストに基づき、図 6に示される重み係数調整部 153にて重み係数を調整し、フィルタ処理部 154にて、補正係数抽出部 150からの補正係数群に対して、該重み係数が反映された調整処理を行う画像処理装置である。

[0045] 本発明の第 1の態様において、前記補正係数群調整手段は、前記画像処理が施された後の画像信号から輝度信号を取得する輝度信号取得手段と、前記輝度信号力注目画素と該注目画素の近傍画素を含む所定サイズの注目領域に対応する画素値を抽出する画像信号抽出手段と、前記補正係数算出手段により作成された前記第一の補正係数群から前記注目領域に対応する補正係数を抽出する補正係数抽出手段と、前記画像信号抽出手段により抽出された前記注目領域における画素の空間的距離関数と、前記注目領域を構成する各画素値の差分関数とを用いて、前記補正係数抽出手段により抽出された前記注目画素に対応する補正係数を調整する調整手段とを具備することが好ましヽ。

[0046] この態様によれば、輝度信号取得手段にて画像処理が施された後の画像信号から輝度信号が取得され、画像信号抽出手段にて、該輝度信号から注目画素と該注目画素の近傍画素を含む所定サイズの注目領域に対応する画素値が抽出される。一方、補正係数抽出手段にて、補正係数算出手段により作成された第一の補正係数群から該注目領域に対応する補正係数が抽出される。そして、画像信号抽出手段により抽出された注目領域における画素の空間的距離関数と、該注目領域を構成する各画素値の差分関数 (輝度値の差分関数)とを用いて、該注目画素に対応する補正係数が調整される。例えば、該注目画素に対応する補正係数に対して、注目領域の空間的距離と、注目領域を構成する各画素の輝度値の差分を考慮したフィルタ処理を行う。

[0047] このような、調整が行われることにより、エッジ部を考慮した平滑ィ匕処理を行うことが可能となり、エッジ部の構造情報を残した調整を行うことができる。これにより、スぺースノリアントな階調変換処理を行った後の画像を、より自然な画像にすることが可能となる。

[0048] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 3の実施形態であり、この発明の構成要素である画像信号抽出手段には、例えば、図 15に示される画像信号抽出部 312が該当する。補正係数抽出手段には、例えば、図 15に示される補正係数抽出部 310が該当する。調整手段には、例えば、図 15に示されるフィルタ処理部 31 3が該当する。

[0049] この態様の好ましい適用例は、例えば、図 15に示されるように、画像信号抽出部 3 12にて注目画素ならびに近傍画素力なる所定サイズの注目領域を抽出し、一方、補正係数抽出部 310にて、該注目領域に対応する補正係数を抽出し、フィルタ処理部 313にて、抽出した補正係数をもとに、注目領域の空間的距離関数と、注目領域を構成する各画素の輝度値の差分関数により重み付けを行ったフィルタ処理を実施することにより、第一の補正係数群の調整を行う撮像装置である。

[0050] 本発明の第 2の態様は、画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を行う撮像装置であって、前記画像信号に対し画像処理を行う画像処理手段と、前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成する縮小画像生成手段と、前記縮小画像信号における複数の画素それぞれに対応する複数の縮小補正係数からなる縮小補正係数群を作成する補正係数群作成手段と、前記縮小画像信号の特徴を用いて前記縮小補正係数群を調整して、調整後の補正係数群を作成し、前記縮小率による縮小を打ち消すように前記調整後の補正係数群を拡大することにより、縮小前の画像信号に対応する最終補正係数群を作成する補正係数群調整手段と、前記最終補正係数群を用いて、前記領域毎に階調変換処理を行う階調変換手段とを具備する撮像装置である。

[0051] 上記第 2の態様によれば、例えば、撮像素子からの画像信号は、画像処理手段により画像処理が施された後、縮小画像生成手段へ入力される。画像処理が施された画像信号は、縮小画像生成手段により、所定の縮小率で縮小されて縮小画像信号に変換され、補正係数算出手段へ入力される。補正係数算出手段では、縮小画像信号を元に、領域毎の階調変換処理に係る補正係数、換言すると、スペースバリアントな階調変換処理に関する縮小補正係数が、縮小画像信号における複数の画素それぞれについて算出され、これら縮小補正係数からなる縮小補正係数群が作成される。続いて、調整手段では、補正係数群算出手段にて作成された縮小補正係数群力縮小画像信号の特徴を用いることにより調整され、調整後の縮小補正係数群が作成される。そして、この調整後の縮小補正係数群が、縮小率による縮小を打ち消すように拡大されることにより、縮小前の画像信号に対応する最終補正係数群が作成される。そして、階調変換手段では、この最終補正係数群を用いてスペースノリアントな階調変換処理が行われることとなる。

[0052] このように、本発明の第 2の態様に係る撮像装置によれば、画像処理が施された後の画像信号に基づいて算出された補正係数を更に調整し、調整後の補正係数を用 V、てスペースノリアントな階調変換処理を行うので、スペースノリアントな階調変換処理を行った後に現れる、輝度勾配が不自然に強調される現象を解消することが可能となる。これにより、見た目に自然な画質を得ることができる。更に、縮小画像信号を用いて縮小補正係数の算出、並びに、この縮小補正係数の調整が行われるので、処理を簡便化することができ、処理の高速ィ匕を図ることが可能となる。

[0053] 上記態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 4乃至第 6の実施形態であり、この態様の構成要素である画像処理手段には、例えば、図 18に示される WB調整部 10 4、補間処理部 105、 YZC分離部 106、及びエッジ強調処理部 500が該当する。縮小画像生成手段としては、例えば、図 20に示される縮小画像生成部 530が該当する。補正係数算出手段としては、例えば、図 18に示される補正係数群算出部 502が該当する。補正係数群調整手段としては、例えば、図 18に示される補正係数群調整部 503が該当する。階調変換手段としては、例えば、図 18に示される階調変換部 111 が該当する。

[0054] この態様の好ましい適用例は、例えば、図 18に示されるように、撮像素子からの画像信号に対し、 WB調整部 104、補間処理部 105、 YZC分離部 106、エッジ強調処理部 500にて、 WB調整、補間処理、 YZC分離、エッジ強調などの画像処理を行い、補正係数群算出部 502にてスペースノリアントな階調変換処理に関する補正係数群を縮小画像信号の画素単位で算出する。次に、この縮小画像信号に対する縮小補正係数群に対して、補正係数群調整部 503にて調整を施して第一の補正係数群を作成し、更に、この第一の補正係数群を拡大することにより、縮小前の画像信号、換言すると、原画像信号に対応する補正係数からなる第二の補正係数群を作成し、階調変換部 111にて、第二の補正係数群を用いた階調変換処理を行う撮像装置である。

[0055] 本発明の第 3の態様は、撮像素子からの画像信号に対し領域毎に独立に階調変換処理を行う撮像装置であって、前記撮像素子からの画像信号に対し画像処理を行う画像処理手段と、前記画像処理手段により得た画像信号に対して縮小率を設定する縮小率設定手段と、前記画像処理手段により得た画像信号に対し前記縮小率設定手段で設定された縮小率に基づいて縮小画像信号を生成する縮小画像生成手段と、前記領域毎の階調変換処理に適用する補正係数を前記縮小画像生成手段により得た縮小画像信号に基づき画素単位で算出する補正係数算出手段と、前記算出手段により画素単位で算出された補正係数カゝらなる補正係数群を調整する調整手段と、前記調整手段により調整された補正係数群と前記縮小率設定手段で設定された縮小率に基づき前記縮小画像信号に対応する補正係数群を前記画像処理手段で得た画像信号に対応するよう拡大する拡大手段と、前記画像処理手段により得た画像信号に対し前記拡大手段により算出された前記補正係数を用いて階調変換処理を行う階調変換手段を有することを特徴とする撮像装置である。 [0056] 本発明の第 3の態様にお、て、前記補正係数群調整手段は、前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、前記抽出手段により抽出された補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うことで、前記縮小補正係数群を調整する調整手段とを備えることが好まし、。

[0057] 上記態様によれば、補正係数群調整手段が備える抽出手段にて、補正係数算出手段により作成された縮小補正係数群から注目画素と該注目画素の近傍画素に対応する補正係数が抽出され、調整手段にて、抽出手段により抽出された補正係数に対してフィルタ処理が行われることにより、縮小補正係数が調整されることとなる。

[0058] 本発明の第 3の態様において、前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、前記抽出手段により抽出された補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記縮小補正係数群を調整する調整手段とを具備することが好まヽ。

[0059] 上記態様によれば、補正係数群調整手段が備える抽出手段にて、補正係数算出手段により作成された縮小補正係数群から注目画素と該注目画素の近傍画素に対応する補正係数が抽出され、調整手段にて、抽出手段により抽出された補正係数に対して、フィルタ処理が行われるとともに所定の重み係数を用いた演算が行われることにより、補正係数が調整されることとなる。

[0060] 上記所定の重み係数を用いた演算とは、例えば、縮小補正係数群に対して所定の重み係数に基づ、たフィルタ処理等の平滑化処理を行う演算処理が挙げられる。このような平滑ィ匕処理などのフィルタリング処理を行うことにより、均一且つ高速な調整処理を行うことが可能となる。

[0061] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 4の実施形態であり、この態様の構成要素である抽出手段には、例えば、図 21に示される補正係数抽出部 540 が該当する。また、調整手段には、例えば、図 21に示されるフィルタ処理部 542が該当する。 [0062] この態様の好ましい適用例は、例えば、図 21に示されるように、補正係数抽出部 5 40により抽出した注目画素と該注目画素の近傍画素に対応する補正係数に対して、フィルタ処理部 542にて所定の重み係数に基づヽたフィルタ処理を行う撮像装置である。

[0063] 本発明の第 3の態様にぉ、て、前記補正係数群調整手段は、前記縮小画像信号から輝度信号を取得する輝度信号取得手段と、前記輝度信号取得手段により得られた前記輝度信号に基づ!/ヽて、前記縮小補正係数群を調整する調整手段とを具備することが好ましい。

[0064] この態様によれば、輝度信号取得手段により、縮小画像信号から輝度信号が取得され、調整手段にて、該輝度信号に基づいて縮小補正係数群が調整される。このように、画像信号の特徴として輝度信号を採用し、この輝度信号を用いて縮小補正係数群を調整することにより、調整後の補正係数を更に好ましい状態とすることが可能となる。これにより、従来、スペースノリアントな階調変換処理を行った際に生じていた輝度勾配の不自然な現れ方等を解消することが可能となり、より自然な画像を取得することが可能となる。

[0065] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第 5乃至第 6の実施形態であり、この発明の構成要素である輝度信号取得手段には、例えば、図 25に示される画像信号抽出部 611、図 29に示される画像信号抽出部 711が該当する。調整手段には、例えば、図 25に示される乗算加算処理部 613、図 29に示されるフィルタ処理部 71 3が該当する。

[0066] この態様の好ましい適用例は、例えば、図 25に示されるように、画像信号抽出部 6

11により抽出した注目画素の輝度値に基づいて、乗算加算処理部 214にて該注目画素に対応する補正係数の調整を行う撮像装置である。

[0067] 本発明の第 3の態様において、前記調整手段は、重み係数を乗じた前記輝度信号を用いて、前記縮小補正係数群を調整することが好ましヽ。

この態様によれば、調整手段にて、重み係数を乗じた輝度信号を用いた縮小補正係数群の調整が行われることとなる。 [0068] 本発明の第 3の態様において、前記調整手段は、前記補正係数算出手段により作成された前記縮小補正係数群を構成する補正係数に、重み係数を乗じた前記輝度信号を乗算することにより、前記縮小補正係数群を調整することが好ましい。

[0069] この態様によれば、調整手段において、補正係数算出手段により作成された縮小補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ乗算されることにより、縮小補正係数群が調整され、調整後の補正係数により第一の補正係数群が作成されることとなる。このように、所定の重み付け係数が乗じられた輝度信号を補正係数に乗じるという簡便な演算処理により、縮小補正係数群を調整することが可能となるので、迅速に調整を行うことができる。

[0070] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 5の実施形態であり、例えば、図 25に示される乗算加算処理部 613にて、補正係数算出手段により作成された縮小補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ乗算されることにより、補正係数が調整される。

[0071] この態様の好ましい適用例は、例えば、図 25に示されるように、注目画素に対応する補正係数に対して、乗算加算処理部 613にて注目画素の輝度値に所定の重み付けを乗じたものを乗算することにより調整を行う撮像装置である。

[0072] 本発明の第 3の態様において、前記調整手段は、前記補正係数算出手段により作成された前記縮小補正係数群を構成する補正係数に、重み係数を乗じた前記輝度信号を加算することにより、前記縮小補正係数群を調整することが好ましい。

[0073] この態様によれば、調整手段において、補正係数算出手段により作成された縮小補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ加算されることにより、縮小補正係数群が調整され、調整後の縮小補正係数により第一の補正係数群が作成されることとなる。このように、所定の重み付け係数が乗じられた輝度信号を縮小補正係数に加算するという簡便な演算処理により、縮小補正係数群を調整することが可能となるので、迅速に調整を行うことができる。

[0074] なお、この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 5の実施形態であり、例えば、図 25に示される乗算加算処理部 613にて、補正係数算出手段により作成された縮小補正係数群を構成する補正係数に対して、重み係数を乗じた輝度信号がそれぞれ加算されることにより、補正係数が調整される。

[0075] この態様の好ましい適用例は、例えば、図 25に示されるように、注目画素に対応する補正係数に対して、乗算加算処理部 613にて注目画素の輝度値に所定の重み付けを乗じたものを加算することにより調整を行う撮像装置である。

[0076] 本発明の第 3の態様にお、て、前記補正係数群調整手段は、前記縮小画像信号から輝度信号を取得する輝度信号取得手段と、前記輝度信号から注目画素と該注目画素の近傍画素を含む所定サイズの注目領域に対応する画素値を抽出する画像信号抽出手段と、前記補正係数算出手段により作成された前記縮小補正係数群から前記注目領域に対応する補正係数を抽出する補正係数抽出手段と、前記画像信号抽出手段により抽出された前記注目領域における画素の空間的距離関数と、前記注目領域を構成する各画素値の差分関数とを用いて、前記補正係数抽出手段により抽出された前記注目画素に対応する補正係数を調整する調整手段とを具備することが好ましい。

[0077] この態様によれば、輝度信号取得手段にて縮小画像信号から輝度信号が取得され、画像信号抽出手段にて、該輝度信号から注目画素と該注目画素の近傍画素を含む所定サイズの注目領域に対応する画素値が抽出される。一方、補正係数抽出手段にて、補正係数算出手段により作成された縮小補正係数群から該注目領域に対応する補正係数が抽出される。そして、画像信号抽出手段により抽出された注目領域における画素の空間的距離関数と、該注目領域を構成する各画素値の差分関数 (輝度値の差分関数)とを用いて、該注目画素に対応する補正係数が調整される。例えば、該注目画素に対応する補正係数に対して、注目領域の空間的距離と、注目領域を構成する各画素の輝度値の差分を考慮したフィルタ処理を行う。

[0078] このような調整が行われることにより、エッジ部を考慮した平滑ィ匕処理を行うことが可能となり、エッジ部の構造情報を残した調整を行うことができる。これにより、スペースノリアントな階調変換処理を行った後の画像を、より自然な画像にすることが可能となる。 [0079] この態様を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この態様に対応する実施形態は、第 6の実施形態であり、この態様の構成要素である画像信号抽出手段には、例えば、図 29に示される画像信号抽出部 711 が該当する。補正係数抽出手段には、例えば、図 29に示される補正係数抽出部 71 0が該当する。調整手段には、例えば、図 29に示されるフィルタ処理部 713が該当する。

[0080] この態様の好ましい適用例は、例えば、図 29に示されるように、画像信号抽出部 7 11にて注目画素ならびに近傍画素力なる所定サイズの注目領域を抽出し、一方、補正係数抽出部 710にて、該注目領域に対応する補正係数を抽出し、フィルタ処理部 713にて、抽出した補正係数をもとに、注目領域の空間的距離関数と、注目領域を構成する各画素の輝度値の差分関数により重み付けを行ったフィルタ処理を実施することにより、第一の補正係数群の調整を行う撮像装置である。

[0081] 上記説明において、各発明の構成要素と実施形態における具体的構成要素とを対応付けて説明してきた力これらは、あくまでも一例を示したものであり、この発明の解釈を何ら限定するものではな、。

[0082] 本発明の第 4の態様は、撮像素子からの画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を実行するための画像処理プログラムであって、前記撮像素子からの画像信号に対し画像処理を行う第 1のステップと、前記画像処理が施された前記画像信号を取得して、複数の画素それぞれに対応する複数の補正係数からなる第一の補正係数群を前記領域毎に作成する第 2のステップと、前記撮像素子からの画像信号又は前記画像処理が施された後の画像信号の特徴を用いて、前記第一の補正係数群を調整することにより、第二の補正係数群を作成する第 3のステップと、前記第二の補正係数群を用いて、前記領域毎に階調変換処理を行う第 4のステップとをコンピュータに実行させるための画像処理プログラムである。

[0083] 本発明の第 4の態様において、前記第 2のステップは、前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成するステップと、前記縮小画像信号を用いて前記第一の補正係数群を作成するステップとを有することが好ましい。 [0084] 本発明の第 4の態様において、前記第 3のステップは、前記第一の補正係数群から注目画素に対応する補正係数と、該注目画素の近傍画素に対応する補正係数とを抽出するステップと、抽出された前記補正係数を用いて、前記第一の補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記第一の補正係数群を調整するステップとを有することが好ましい。

[0085] 本発明の第 4の態様において、前記第 3のステップは、前記第一の補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出するステップと、抽出された前記補正係数を用いて、前記第一の補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記第一の補正係数群を調整するステップとを有することが好ましい。

[0086] 本発明の第 4の態様にぉ、て、前記第 3のステップは、前記画像処理が施された後の画像信号から輝度信号を取得するステップと、取得した前記輝度信号に基づ、て、前記第一の補正係数群を調整するステップとを有することが好ましヽ。

[0087] 本発明の第 5の態様は、画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を実行するための画像処理プログラムであって、前記画像信号に対し画像処理を行う第 1のステップと、前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成する第 2のステップと、前記縮小画像信号における複数の画素それぞれに対応する複数の縮小補正係数からなる縮小補正係数群を作成する第 3のステップと、前記縮小画像信号の特徴を用いて前記縮小補正係数群を調整して、調整後の補正係数群を作成し、前記縮小率による縮小を打ち消すように前記調整後の補正係数群を拡大することにより、縮小前の画像信号に対応する最終補正係数群を作成する第 4のステップと、前記最終補正係数群を用いて、前記領域毎に階調変換処理を行う第 5のステップとをコンピュータに実行させるための画像処理プログラムである。

[0088] 本発明の第 5の態様において、前記第 4のステップは、前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出するステップと、抽出された前記補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うことで、前記縮小補正係数群を調整するステップとを有することが好ましい。

[0089] 本発明の第 5の態様において、前記第 4のステップは、前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出するステップと、抽出された前記補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記縮小補正係数群を調整するステップとを有することが好まし、。

[0090] 本発明の第 5の態様において、前記第 4のステップは、前記縮小画像信号から輝度信号を取得するステップと、取得した前記輝度信号に基づいて、前記縮小補正係数群を調整するステップとを有することが好ま、。

[0091] 本発明によれば、画像信号全体で輝度勾配の不自然な強調を抑制することができるという効果を奏する。

図面の簡単な説明

[0092] [図 1]本発明の第 1の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

[図 2]図 1に示したエッジ強調処理部の概略構成を示すブロック図である。

[図 3]エッジ強調処理において参照される入力エッジ成分とエッジ補正係数とを関係付けるテーブルの一例を示した図である。

[図 4]図 1に示したコントラスト算出処理部の概略構成を示すブロック図である。

[図 5]図 1に示した補正係数群算出部の概略構成を示すブロック図である。

[図 6]図 1に示した補正係数群調整部の概略構成を示すブロック図である。

[図 7]本発明の第 1の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 8]本発明の第 1の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 9]図 7に示したエッジ強調処理の手順を示したフローチャートである。

[図 10]本発明の第 2の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

[図 11]図 10に示した補正係数群調整部の概略構成を示すブロック図である。 [図 12]本発明の第 2の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 13]本発明の第 2の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

圆 14]本発明の第 3の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

圆 15]図 14に示した補正係数群調整部の概略構成を示すブロック図である。

[図 16]本発明の第 3の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 17]本発明の第 3の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

圆 18]本発明の第 4の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

[図 19]図 18に示したエッジ強調処理部の概略構成を示すブロック図である。

圆 20]図 18に示した補正係数群算出部の概略構成を示すブロック図である。

圆 21]図 18に示した補正係数群調整部の概略構成を示すブロック図である。

[図 22]本発明の第 4の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 23]本発明の第 4の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

圆 24]本発明の第 5の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

圆 25]図 24に示した補正係数群調整部の概略構成を示すブロック図である。

[図 26]本発明の第 5の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 27]本発明の第 5の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

圆 28]本発明の第 6の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

[図 29]図 28に示した補正係数群調整部の概略構成を示すブロック図である。

[図 30]本発明の第 6の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

[図 31]本発明の第 6の実施形態に係るデジタルスチルカメラにより実現される信号処理の手順を示したフローチャートである。

発明を実施するための最良の形態

[0093] 以下、本発明に係る撮像装置をデジタルスチルカメラに適用した実施形態について、図面を参照して説明する。

第 1の実施形態

図 1は本発明の第 1の実施形態に係るデジタルスチルカメラの一構成例を示したブロック図である。図 1に示されるように、本実施形態に係るデジタルスチルカメラは、レンズ系 100、 CCD101、 AZD変換器 102、バッファ 103、 WB調整部 104、補間処理部 105、 YZC分離部 106、エッジ強調処理部 107、コントラスト算出処理部 108、補正係数群算出部 109、補正係数群調整部 110、階調変換部 111、圧縮部 112、及び出力部 113を備えて構成されて、る。

[0094] 図 1において、レンズ系 100及び CCD101が光軸に沿って配置されている。 CCD 101の出力信号は、 AZD変換器 102へ転送される。 AZD変換器 102の出力信号は、バッファ 103を介して WB調整部 104へ転送される。 WB調整部 104の出力信号は、エッジ強調処理部 107及び補間処理部 105へ転送される。補間処理部 105の出力信号は、 YZC分離部 106へ転送される。 YZC分離部 106の出力信号は、エッジ強調処理部 107へ転送される。エッジ強調処理部 107の出力信号は、コントラスト算出処理部 108、補正係数群算出部 109、補正係数群調整部 110、及び階調変換部 111へ転送される。コントラスト算出処理部 108及び補正係数群算出部 109の出力信号は、補正係数群調整部 110へ転送される。補正係数群調整部 110の出力信号は、階調変換部 111へ転送される。階調変換部 111の出力信号は、圧縮部 112へ転送される。圧縮部 112の出力信号は、メモリーカードなどの出力部 113へ転送される。 [0095] 次に、上記信号の流れをより詳しく説明する。

図 1において、まず、図示しない外部 IZFを介して ISO感度などの撮影条件が設定された後、レンズ系 100により結像された被写体像は、 CCD101により光学被写体から電気信号に変換され、アナログ信号として出力される。なお、本実施形態において CCD 101は、 Bayer型原色フィルタを前面に配置した単板 CCDを想定する。上記アナログ信号は、 AZD変翻 102にてデジタル信号へ変換されてバッファ 103 へ転送される。なお、本実施形態例において AZD変翻102は 8bit階調でデジタル信号へ変換するものと想定する。

[0096] バッファ 103内の画像信号は、 WB調整部 104へ転送される。 WB調整部 104は、撮影情報に基づ、て、画像信号に対し所定の WB係数を乗算することで WB調整を行う。 WB調整後の画像信号は、補間処理部 105及びエッジ強調処理部 107に転送される。補間処理部 105は、 WB調整後の画像信号に対して補間処理を行う。補間処理後の R、 G、 Bの各色の信号は、 YZC分離部 106に転送される。 YZC分離部 1 06は、下記の式（1)に基づき各色信号を輝度信号 Yと色差信号 Cとに分離する。

[0097] Y=0. 29900R+0. 58700G + 0. 11400B

Cb=— 0. 16874R-0. 33126G + 0. 50000B (1)

Cr=0. 50000R-0. 41869G— 0. 08131B

[0098] このようにして分離された輝度信号 Yと色差信号 Cとは、エッジ強調処理部 107に転送される。エッジ強調処理部 107は、 WB調整部 104により WB調整がなされた R、 G、 Bの各色信号に対してフィルタ処理を行うことでエッジ成分を抽出し、更に、このエッジ成分を YZC分離部 106からの輝度信号 Yに対して加算することで、エッジ強調処理を行う。エッジ強調処理された輝度信号 Yは、コントラスト算出処理部 108、補正係数群算出部 109、及び階調変換部 111へ転送され、一方、色差信号 Cは、階調変換部 111へ転送される。また、エッジ強調処理部 107は、抽出した上記エッジ成分に基づいてエッジ補正係数を算出し、このエッジ補正係数を補正係数群調整部 110 へ転送する。

[0099] コントラスト算出処理部 108は、エッジ強調処理部 107からの輝度信号 Yに基づきコントラストを算出し、算出したコントラストを補正係数群調整部 110へ転送する。補正係数群算出部 109は、処理の高速ィ匕を目的として、補正係数算出用に輝度信号 Yから縮小画像信号を作成する。ここで、画像縮小手法は、公知の手法を用いることができる。画像縮小手法としては、公知のダウンサンプリング手法等を用いる。なお、縮小率を等倍に設定する場合は、縮小処理をキャンセルすることで補正係数算出精度を重視するようにしても良ヽ。

[0100] 次に、補正係数群算出部 109は、作成した縮小画像信号をもとに、注目画素を中心とする所定サイズの局所領域を抽出する。そして、抽出した局所領域のヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各注目画素に力かる補正係数を求める。

本実施形態において、このように求められた局所領域内の各注目画素に対応する 1群の補正係数は、各局所領域に対応する補正係数群として扱われる。補正係数群算出部 109は、更に、縮小画像信号の各画素に対応する補正係数から構成される補正係数群に対して、公知の画像拡大手法を用いた拡大処理を行う。この際に、補正係数群算出部 109は、縮小信号を作成したときの縮小率に基づいて、この縮小率による縮小を打ち消すように拡大処理を行う。この拡大処理により縮小前の輝度信号 Y (原画像)の画像サイズに対応する補正係数群を算出する。すなわち、拡大処理によって原画像の各画素に対応する補正係数の群で構成される補正係数群 (本実施形態において、以下、これを「第一の補正係数群」という。）を算出し、記録する。このようにして算出された第一の補正係数群は、補正係数群調整部 110へ転送される。

[0101] 補正係数群調整部 110は、原画像上の注目画素を中心とする所定サイズの局所領域内の画素に対応する補正係数を第一の補正係数群力抽出し、抽出した補正係数、エッジ強調処理部 107より転送されたエッジ補正係数、並びにコントラスト算出処理部 108より転送されたコントラストに基づいて、所定の重み係数を調整する。そして、調整後の重み係数を用いてフィルタ処理を行い、注目画素に対応する補正係数を調整する。そして、補正係数群調整部 110は、各注目画素についての調整後の補正係数の群で構成される補正係数群 (本実施形態において、以下、これを「第二の補正係数群」という。）を作成し、この第二の補正係数群を階調変換部 111に転送する。 [0102] 階調変換部 111は、エッジ強調処理部 107から転送された輝度信号 Y及び色差信号 Cに対して、補正係数群調整部 110から転送された第二の補正係数群における補正係数を乗算することで階調変換処理を行う。ここで、階調変換後の信号レベルが規定のレベルを超える場合は、クリッピング処理によりレベルが規定範囲内に収まるよう補正する。このようにして、階調変換処理が施された輝度信号 Υ及び色差信号 C とは、圧縮部 112へ転送される。圧縮部 112は、以下の式（2)を用いて、階調変換後の画像信号を RGB信号に変換した後、この RGB信号に公知の圧縮処理などを行ヽ、出力部 113へ転送する。

[0103] R=Y+ 1. 40200Cr

G=Y— 0. 34414Cb-0. 71414Cr (2)

B=Y+ 1. 77200Cb

出力部 111は、メモリーカードなどへ画像信号を記録保存する。

[0104] 次に、上述のエッジ強調処理部 107について、図を参照して詳しく説明する。

図 2は、エッジ強調処理部 107の概略構成を示すブロック図である。この図に示すように、輝度信号算出部 120、ノッファ 121、フィルタ用 ROM122、フィルタ処理部 1 23、エッジ補正係数算出用 ROM 124、エッジ補正係数算出部 125、エッジ補正係数マップ用バッファ 126、及びエッジ強調部 127を備えて構成されている。

[0105] 図 2において、 WB調整部 104からの出力信号は、エッジ強調処理部 107内の輝度信号算出部 120に転送される。輝度信号算出部 120の出力信号は、バッファ 121 へ転送される。フィルタ用 ROM122及びバッファ 121の出力信号は、フィルタ処理部 123へ転送される。フィルタ処理部 123の出力信号は、エッジ補正係数算出部 125 及びエッジ強調部 127へ転送される。

[0106] また、 YZC分離部 106の出力信号は、エッジ強調部 127へ転送される。エッジ強調部 127の出力信号は、補正係数群算出部 109と階調変換部 111へ転送される。エッジ補正係数算出用 ROM 124の出力信号は、エッジ補正係数算出部 125へ転送される。エッジ補正係数算出部 125の出力信号は、エッジ補正係数マップ用バッファ 126へ転送される。エッジ補正係数マップ用バッファ 126の出力信号は、補正係数群調整部 110へ転送される。 [0107] 以下、上記各部において行われる処理内容について具体的に説明する。

まず、輝度信号算出部 120は、 WB調整部 104から転送されてきた WB調整後の画像信号を画素単位で読み出し、上記式（1)に従い輝度信号を算出し、これをバッファ 121へ転送する。

フィルタ処理部 123は、始めにフィルタ用 ROM 122から公知のエッジ成分抽出— フィルタ処理に要する空間フィルタを読み出す。例えば 5 X 5画素サイズのフィルタである場合はバッファ 121より 5 X 5画素単位の局所領域を読み出し、上記空間フィルタを用いてエッジ成分を求め、これをエッジ補正係数算出部 125及びエッジ強調部 1 27へ転送する。

[0108] エッジ強調部 127は、 YZC分離部 106において上記式（1)に従い変換された輝度信号 Yから所定サイズの局所領域を抽出し、輝度信号 Yに対してフィルタ処理部 1 23からのエッジ成分を加算して、エッジ強調処理を行う。エッジ強調後の輝度信号 Y は、補正係数群算出部 109及び階調変換部 111へ転送され、色差信号 Cは階調変換部 111へ転送される。

[0109] 一方、エッジ補正係数算出部 125は、始めに、エッジ補正係数算出用 ROM 124からエッジを補正する関数またはテーブルを読み出す。ここで、エッジ補正係数用 RO M124には、例えば、図 3に示されるような入力エッジ成分とエッジ補正係数を関係付ける関数またはテーブルが記憶されて、る。

いま、変換曲線を f 0、注目画素 Px, yの入力エッジ成分を Ex, y,注目画素 Px, y のエッジ補正係数を Cedge :x, yとすると、エッジ補正係数 Cedge :x, yは、以下の式 (3)で与えられる。

[0110] Cedge :x, y=f (Ex, y) (3)

[0111] エッジ補正係数算出部 125は、エッジ補正係数用 ROM124から読み出した関数またはテーブルの値に基づいてエッジ補正係数 Cedge :x, yを算出する。算出したェッジ補正係数 Cedge :x, yは、エッジ補正係数マップ用バッファ 126へ転送される。これにより、エッジ補正係数マップ用バッファ 126には、原画像上の各画素にそれぞれ対応するエッジ補正係数 Cedgeが記録され、後段のノイズ低減処理の際に利用される。なお、上記補間の手法としては、例えば、ユアレストネイバ一補間、ノィリニア補間、ノィキュービック補間等が一例として挙げられる。

[0112] 次に、図 1に示したコントラスト算出処理部 108について、図を参照して詳しく説明する。

図 4は、コントラスト算出処理部 108の概略構成を示すブロック図である。この図に示すように、コントラスト算出処理部 108は、画像信号抽出部 130、輝度最大値最小値取得部 132、及びコントラスト算出部 133を備えて構成されて、る。

[0113] 図 4において、エッジ強調処理部 107からの出力信号は、画像信号抽出部 130に転送される。画像信号抽出部 130の出力信号は、バッファ 131へ転送される。バッファ 131の出力信号は、輝度最大値最小値取得部 132へ転送される。輝度最大値最小値取得部 132の出力信号は、コントラスト算出部 133へ転送される。コントラスト算出部 133の出力信号は、補正係数群調整部 110へ転送される。

[0114] 以下、上記各部において行われる処理内容について具体的に説明する。

まず、画像信号抽出部 130は、エッジ強調処理部 107から転送されてきたエッジ強調がなされた画像信号、すなわち輝度信号 Yを画素単位で読み出し、バッファ 131 へ転送する。

[0115] 輝度最大値最小値算出部 132は、ノッファ 131上の輝度信号 Yに含まれる輝度値を読み出し、前後の輝度値を順次比較することで、輝度値の最大値 (以下、「輝度最大値 Imax」 t ヽぅ。）及び最小値 (以下、「輝度最小値 Imin」 t ヽぅ。）を取得し、取得した輝度最大値 Imax及び最小値 Iminをコントラスト算出部 133へ転送する。

[0116] コントラスト算出部 133は、取得した輝度最大値 Imax及び輝度最小値 Iminを用い、以下の (4)式に従い、領域毎に、コントラスト Ccontを算出する。なお、ここでいぅ領域は、後述の抽出部 142により抽出される縮小画像における局所領域に対応する領域である。

Ccont = (Imax― Imin) / (Imax + Imin) (4)

このようにして算出されたコントラスト Ccontは、補正係数群調整部 110へ転送され、後段の補正係数の調整にて利用される。

[0117] 次に、図 1に示した補正係数群算出部 109について、図を参照して詳しく説明する図 5は、補正係数群算出部 109の概略構成を示すブロック図である。この図に示すように、補正係数群算出部 109は、縮小率設定部 140、縮小画像生成部 141、抽出部 142、ヒストグラム算出部 143、累積正規化部 144、補正係数算出部 145、拡大補間部 146、及び補正係数マップ用バッファ 147を備えて構成されている。

[0118] 図 5において、エッジ強調処理部 107からの出力信号は、縮小画像生成部 141へ転送される。縮小画像生成部 141の出力信号は、抽出部 142へ転送される。抽出部 142の出力信号は、ヒストグラム算出部 143へ転送される。ヒストグラム算出部 143の出力信号は、累積正規化部 144へ転送される。累積正規化部 144の出力信号は、補正係数算出部 145へ転送される。補正係数算出部 145の出力信号は、拡大補間部 146へ転送される。拡大補間部 146の出力信号は、補正係数マップ用バッファ 14 7へ転送される。また縮小率設定部 140の出力信号は、縮小画像生成部 141及び拡大補間部 146へ転送される。

[0119] 以下、上記各部において行われる処理内容について具体的に説明する。

まず、縮小画像生成部 141は、縮小率設定部 140で設定された縮小率に基づき、エッジ強調処理部 107から転送されてきた輝度信号 Yから縮小画像信号を作成し、作成した縮小画像信号を抽出部 142へ転送する。すなわち、縮小画像生成部 141 は、エッジ強調処理部 107からの輝度信号 Yで表される画像のサイズを縮小した画像を表す縮小画像信号を生成する。ここでの画像縮小手法は、例えば、公知のダウンサンプリング手法を用いる。

[0120] 抽出部 142は、縮小画像生成部で作成された縮小画像信号から局所領域の信号を抽出し、ヒストグラム算出部 143へ転送する。ヒストグラム算出部 143は、局所領域ごとにヒストグラムを作成し、累積正規化部 144へ転送する。累積正規ィ匕部 144は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで階調変換曲線を生成し、補正係数群算出部 145へ転送する。補正係数群算出部 145は、累積正規ィ匕部 144からの階調変換曲線に基づいて、各領域の画素それぞれに対する階調変換に係る補正係数を算出する。

いま、階調変換曲線を t ()、注目画素の入力信号レベルを AVc、階調変換処理における各注目画素の補正係数を gとすると、補正係数は、以下の式（5)で与えられる [0121] g=t (AVc) /AVc (5)

[0122] 以上のように算出した補正係数 gは、縮小画像の画素に対応するものである。そこで、補正係数 gから構成される補正係数群を縮小前の原画像の画素に対応させるために、補正係数群算出部 145は、算出した補正係数 gカゝらなる補正係数群を拡大補間部 146へ転送する。

局所領域内の各注目画素に対応する補正係数 gから構成される補正係数群は、各画素に対する画素値で定められる画像信号と同様に扱うことができる。従って、画像の拡大や縮小と同様の手法で、補正係数群の拡大や縮小も行うことができる。そこで、拡大補間部 146は、補正係数 gカゝらなる補正係数群に対して、補正係数 gに対応する画素の空間的位置関係に基づき、公知の画像拡大手法 (例えば、二アレストネイバ一補間、ノィリニア補間、ノィキュービック補間など)を用いた拡大処理を行う。この際に、拡大補間部 146は、原画像から縮小画像を作成したときの縮小率に基づいて、この縮小率による縮小を打ち消すように拡大処理を行う。この拡大処理により、縮小前の輝度信号 Y (原画像)の各画素に対応する補正係数から構成される第一の補正係数群を算出する。

算出された第一の補正係数群は、補正係数マップ用バッファ 147へ転送され、記録される。補正係数マップ用バッファ 147へ記録された第一の補正係数群は、後段の補正係数群調整部 110にて調整された後、階調変換部 111における階調変換処理の際に利用される。

[0123] 次に、図 1に示した補正係数群調整部 110について、図を参照して詳しく説明する図 6は、補正係数群調整部 110の概略構成を示すブロック図である。この図に示すように、補正係数群調整部 110は、補正係数抽出部 150、フィルタ用 ROM151、重み係数用 ROM152、重み係数調整部 153、及びフィルタ処理部 154を備えて構成されている。

[0124] 図 6において、補正係数群算出部 109からの信号は、補正係数抽出部 150へ転送される。一方、エッジ強調処理部 107及びコントラスト算出処理部 108からの信号は、重み係数調整部 153に転送される。重み係数用 ROM152は、重み係数調整部 153 に接続されている。補正係数抽出部 150及び重み係数調整部 153からの信号は、フィルタ処理部 154へ転送される。また、フィルタ処理部 154はフィルタ用 ROM151に接続されている。フィルタ処理部 154の出力信号は、階調変換部 111へ転送される。

[0125] 以下、上記各部において行われる処理内容について具体的に説明する。

まず、補正係数抽出部 150は、補正係数群算出部 109内の補正係数マップ用バッファ 147 (図 5参照）に記録されている原画像の各画素に対応する補正係数から構成される第一の補正係数群から、原画像上の注目画素と注目画素の近傍画素を含む所定サイズの局所領域内の画素に対応する補正係数を読み出し、フィルタ処理部 1 54へ転送する。このとき、補正係数抽出部 150は、後段のフィルタ処理部 154により用いられるフィルタのサイズに応じて、読み出す画素数を決定する。例えば、 5 X 5画素サイズのフィルタである場合は、 5 X 5画素単位で局所領域内画素に対応する補正係数を読み出す。

[0126] 一方、重み係数調整部 153は、重み係数用 ROM152から読み出した重み係数 W f、エッジ強調処理部 107より取得したエッジ補正係数 Cedge、及びコントラスト算出処理部 108より取得したコントラスト Ccontを用いて、以下の式（6)に基づいて、最終的な重み係数 W1を算出する。

Wl =Wf * Cedge * Ccont (6)

重ね係数調整部 153は、算出した重み係数 W1をフィルタ処理部 154へ出力する。なお、重み係数 W1の算出式は、上記（6)式に限られず、例えば、 Wf、 Cedge、 Cc ontを用いたその他の演算式とすることもできる。また、 Cedge、 Ccontのいずれか一方のみを用いた演算式とすることも可能である。更に、 Wl =Wfとしても良い。また、 Wfについては、複数の Wfを ROM 152に登録しておき、これらの中からユーザからの指示に基づ、て選択した値を用いるようにしてもょ、。

[0127] フィルタ処理部 154は、フィルタ ROM151から公知の平滑化フィルタ処理に要する平滑ィ匕フィルタを読み出し、補正係数抽出部 150からの補正係数に対して、平滑ィ匕フィルタを用いて演算することにより、補正係数群の平滑ィ匕を行って、注目画素に対応する平滑処理された補正係数を算出する。

[0128] 続いて、フィルタ処理部 154は、重み係数調整部 153から取得した重み係数 W1を平滑ィ匕前の補正係数 Pnrmと平滑ィ匕後の補正係数 Pfilの混合比率とし、以下の式（ 7)に従う計算を行うことにより、補正係数を調整して、最終的な補正係数 P1を算出する。

Pl = Pnrm * (1— Wl) +Pfil*Wl (7)

なお、 P1の算出式は、上記（7)式に限られず、 Wf、 Pfilを用いたその他の演算式とすることちでさる。

[0129] フィルタ処理部 154は、上記式（7)を用いて、各注目画素に対する補正係数 P1を算出すると、補正係数 P1から構成される第二の補正係数群を階調変換部 111へ出力する。階調変換部 111は、フィルタ処理部 154から取得した補正係数 P1を輝度信号 Y及び色差信号 Cの各画素値に対して乗算することで、階調変換処理を行う。

[0130] 以上、説明してきたように、本実施形態に係るデジタルスチルカメラによれば、補正係数調整部 110では、補正係数算出部 109により算出された第一の補正係数群の補正係数をフィルタ処理することにより、平滑化する。そして、平滑化後の補正係数と重み係数を用いた演算により、最終的な補正係数を各画素に対して求める。各画素に対応する最終的な補正係数から構成される第二の補正係数群は、階調変換部 11 1へ出力され、階調変換に用いられる。

このように、階調変換において、平滑化された補正係数を用いることにより、従来、スペースノリアントな階調変換処理を行った際に生じていた平坦部における輝度勾配の不自然な強調を抑制することができる。

なお、上述の実施形態では、フィルタ処理部 154において平滑ィ匕フィルタを用いて平滑化処理を行ったが、フィルタの設定を変更することで、その他のフィルタ処理を適用することも可能である。例えば、鮮鋭ィ匕フィルタを適用することによりエッジの傾斜を強調することで、相対的に平坦部の勾配を目立たなくすることができる。

[0131] また、上述の実施形態においては、 CCD101は、 Bayer型原色フィルタを前面に配置した単板 CCDを想定した力このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板 CCDを適用することが可能である。 [0132] 更に、上記実施形態では、ハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD101からの信号を未処理のままの Raw データとして、外部 IZFから入力された ISO感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトゥエア処理について、図 7を参照して説明する。

[0133] 図 7及び図 8は、本発明の第 1の実施形態に係るデジタルスチルカメラにて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。各処理ステップでは、図 1に示した各構成で行われる上述の処理と同様の処理を行う。

Steplにて、信号、 ISO感度などの撮影情報を含むヘッダ情報を読み出す。 Step 2にて、 WB調整、色補間、 YZC分離等の信号処理を行う。 Step3にて、エッジ強調処理を行うとともに、エッジ補正係数や、コントラストの算出を行う。 Step4にて、補正係数算出用の縮小画像を作成する。

[0134] Step5にて、 Step4にて作成した縮小画像カゝら所定サイズの局所領域を抽出し、 S tep6にて、ヒストグラム作成処理を行う。続く Step7にて、 Step5で作成されたヒストグラムを累積し、正規化処理を行う。 Step8にて、累積ヒストグラムに基づいて階調変換曲線を設定し、作成した階調変換曲線に基づいて各画素に対する補正係数を算出する。そして、 Step9にて、全領域の抽出が完了したかを判断し、完了している場合は SteplOへ、完了して!/、な、場合は Step5へ移行する。

[0135] SteplOにて、縮小画像信号に対する補正係数を元に、原画像信号の対応する画素に対する補正係数を算出し記録する。 Stepl lにて、例えば、 5 X 5画素サイズの局所領域内の画素値を抽出し、 Stepl2にて、 Stepl lで抽出した局所領域内の画素に対応する補正係数を抽出する。 Stepl3にて、上記式（3)、（4)、（6)に基づき、重み係数を算出する。 Stepl4にて、 Stepl 1、 Stepl2、及び Step 13における画素値、補正係数、重み係数を用いて補正係数群の平滑化処理を行う。

[0136] Stepl5にて、全領域の抽出が完了したかを判断し、完了している場合は Stepl6 へ、完了していない場合は Stepl lへ移行する。 Stepl6にて、上記 Step3でエッジ強調された画像信号に対し、補正係数群を乗算する。 Stepl7にて、公知の信号圧縮技術を用いて信号圧縮を行い、 Stepl8にて、処理後の信号が出力され処理を終了する。

[0137] 図 9は、上記 Step3において行われるエッジ強調処理に関する処理手順を示したフローチャートである。

まず、 Stepl9にて、画像信号が転送される。 Step20にて、画像信号から局所領域を抽出する。 Step21にて、フィルタ処理によりエッジ成分を抽出する。 Step22にて、上記式（3)に基づき、エッジ成分力もエッジ補正係数を算出する。 Step23にて、エッジ成分に基づきエッジ強調を行う。 Step24にて、全領域の抽出が完了したかを判断し、完了していない場合は Step20へ、完了した場合は Step25へ移行する。 St ep25にて、エッジ強調処理済みの画像信号を出力し、本処理を終了する。

[0138] 第 2の実施形態

次に、本発明の第 2の実施形態に係るデジタルスチルカメラについて図を参照して説明する。

上述した第 1の実施形態では、最終的な補正係数群である第二の補正係数群を求める際に、元の補正係数群、つまり、第一の補正係数群に平滑ィ匕フィルタをかけた平滑化後の補正係数群と、第一の補正係数群とに重み係数を乗算し、これらを加算することにより、第二の補正係数群を構成する補正係数 P1を算出していた。これに対して、本実施形態においては、第一の補正係数群に対して輝度値を用いることにより、最終的な補正係数 P2を求める。

[0139] 以下、本実施形態のデジタルスチルカメラについて、第 1の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、第 1の実施形態と同一の構成には、同一の名称と番号を割り当てている。

[0140] 図 10は、本発明の第 2の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

図 10に示すように、本実施形態に係るデジタルスチルカメラは、図 1に示した補正係数群調整部 110 (図 1参照）に代えて補正係数群調整部 200を備え、また、エッジ強調処理部 107の出力信号が、補正係数群算出部 109、補正係数群調整部 200、及び階調変換部 111へ転送される構成をとる。

[0141] 次に、本実施形態に係る補正係数群調整部 200について、図を参照して具体的に説明する。

図 11は、本実施形態に係る補正係数群調整部 200の概略構成を示すブロック図である。この図に示すように、補正係数群調整部 200は、補正係数抽出部 210、重み係数用 ROM211、重み係数調整部 212、画像信号抽出部 213、及び乗算加算処理部 214を備えて構成されている。

[0142] 図 11において、補正係数群算出部 109からの信号は、補正係数抽出部 210に転送される。エッジ強調処理部 107からの信号は、重み係数調整部 212及び画像信号抽出部 213へ転送される。コントラスト算出処理部 108からの信号は、重み係数調整部 212へ転送される。重み係数用 ROM211は、重み係数調整部 212に接続されている。補正係数抽出部 210、画像信号抽出部 213の出力は、乗算加算処理部 214 へ転送される。乗算加算処理部 214の出力は、階調変換部 111へ転送される。

[0143] 以下、上記各部において行われる処理内容について具体的に説明する。

補正係数抽出部 210は、補正係数群算出部 109内の補正係数マップ用バッファ 1 47 (図 5参照）に記録されている原画像上の各画素に対応する補正係数からなる補正係数群 (本実施形態において、以下、これを「第一の補正係数」という。）から、原画像上の注目画素に対応する補正係数を読み出し、乗算加算処理部 214へ転送する。

[0144] 画像信号抽出部 213は、エッジ強調処理部 107から取得した輝度信号 Yから注目画素の輝度値を読み出し、乗算加算処理部 214へ転送する。

重み係数調整部 212は、重み係数用 ROM211から予め登録されている重み係数

Wabを読み出し、この重み係数 Wab、エッジ強調処理部 107より取得したエッジ補正係数 Cedge、及びコントラスト算出処理部 108より取得したコントラスト Ccontを用いて、以下の式 (8)により、最終的な重み係数 W2を算出する。

[0145] W2=Wab * Cedge * Ccont (8)

[0146] なお、重み係数 W2の算出式は、上記（8)式に限られず、例えば、 Wab、 Cedge、 Ccontを用いたその他の演算式とすることもできる。また、 Cedge、 Ccontのいずれか一方のみを用いた演算式とすることも可能である。更に、 W2=Wabとしても良い。また、 Wabについては、複数の Wabを重み係数用 ROM211に登録しておき、これらの中から、ユーザの指示に基づ、て選択した値を用いるようにしてもょ、。

重み係数調整部 212は、最終的な重み係数 W2を算出すると、これを乗算加算処理部 214へ転送する。

乗算加算処理部 214は、補正係数抽出部 210により抽出された注目画素に対応する補正係数 Pr、重み係数調整部 212から取得した最終的な重み係数 W2、及び画像信号抽出部 213により抽出された注目画素の輝度値 Lpを用いて、以下の（9) 式に従い、補正係数算出部 109にて算出された補正係数を調整し、最終的な補正係数 P2を算出する。

[0147] P2 = Pr*W2 * Lp (9)

ただし、式 (9)における W2は、適当な上限値、下限値を設定しクリップする。

乗算加算処理部 214にて算出された補正係数 P2から構成される補正係数群 (本実施形態において、以下、これを「第二の補正係数群」という。）は、階調変換部 111 に転送され、輝度信号 Y、色差信号 Cに対して乗算されることにより、階調変換処理が実施される。

[0148] なお、上記補正係数 Ρ2は、以下の（10)式に示すように、注目画素の輝度値 Lpに最終的な重み係数 W2を乗じた値を、該注目画素に対応する補正係数 Prに加えることにより、求めるようにしてもよ、。

P2 = Pr+W2 * Lp (10)

なお、 P2の算出式は、上記（9)式や、（10)式に限られず、 Pr、 W2、 Lpを用いたその他の演算式とすることもできる。また、輝度値 Lpの変わりに、濃淡値、階調値、強度値とよばれる種々の画像値を用、るようにしても良!、。

[0149] 以上、説明してきたように、本実施形態に係るデジタルスチルカメラによれば、補正係数調整部 200では、補正係数算出部 109により算出された第一の補正係数群の補正係数と、輝度信号と、重み係数とを用いた演算 (乗算や加算など)を行うことにより、補正係数を調整し、この調整後の補正係数から構成される第二の補正係数群を階調変換部 111へ出力する。そして、このように求められた第二の補正係数群を用いて、スペースノリアントな階調変換処理を行うことにより、従来、スペースバリアントな階調変換処理を行った際に生じていた平坦部における輝度勾配の不自然な強調を抑制することができる。

[0150] なお、上記実施形態では、ハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD力の信号を未処理のままの Rawデータとして、外部 IZFから入力された ISO感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトウェア処理について、図 12及び図 13を参照して説明する。

[0151] 図 12及び図 13は、本発明の第 2の実施形態に係るデジタルスチルカメラにて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。この図において、上述した第 1の実施形態と同様の処理については、同一のステップ数を付している。各処理ステップでは、図 10に示した各構成で行われる上述の処理と同様の処理を行う。

[0152] 図 12及び図 13に示すように、 Stepl乃至 SteplOにおいては、図 7及び図 8に示した処理と同様である。 SteplOに続く Step26では、画像信号より注目画素の画素値を抽出する。続いて、 Step27にて、 Step26で抽出した注目画素に対応する補正係数を抽出する。 Step28にて、上記（3)式、（4)式、及び (8)に基づき、最終的な重み係数 W2を算出する。 Step29にて、 Step28における最終的な重み係数 W2に基づいて Step26及び Step27で抽出した画素値、補正係数を用いて、式（9)あるいは式 (10)に従って演算処理することにより、最終的な補正係数 P2を算出する。そして、上述した第 1の実施形態と同様に、 Stepl6乃至 Stepl8を経て、本処理を終了する

[0153] 第 3の実施形態

次に、本発明の第 3の実施形態に係るデジタルスチルカメラについて図を参照して説明する。

上述した第 1の実施形態では、最終的な補正係数群である第二の補正係数群を求める際に、元の補正係数群、つまり第一の補正係数群に重み係数を乗算したものと、第一の補正係数群に平滑ィ匕フィルタをかけた平滑ィ匕後の補正係数群に重み係数を乗算したものとを加算することにより、第二の補正係数群を構成する各補正係数 P1 を算出していた。これに対して、本実施形態においては、第一の補正係数群に対して、原画像信号の輝度値をパラメータとしたバイラテラルフィルタを施すことにより、第一の補正係数群に対する平滑化を行い、最終的な補正係数 P3を求め、この補正係数 P3により第二の補正係数群を作成する。

[0154] 以下、本実施形態のデジタルスチルカメラにっ、て、第 1の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、第 1の実施形態と同一の構成には、同一の名称と番号を割り当てている。

図 14は、本発明の第 3の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

[0155] 図 14に示すように、本実施形態に係るデジタルスチルカメラは、図 1に示した第 1の実施形態に係るデジタルスチルカメラと略同一の構成を備えるが、補正係数群調整部 110 (図 1参照）に代えて補正係数群調整部 300を備える点、また、エッジ強調処理部 107の出力信号が、補正係数群算出部 109、補正係数群調整部 300、及び階調変換部 111へ転送される構成をとる点について異なる。

[0156] 次に、本実施形態に係る補正係数群調整部 300について、図を参照して具体的に説明する。

図 15は、本実施形態に係る補正係数群調整部 300の概略構成を示すブロック図である。この図に示すように、補正係数群調整部 300は、補正係数抽出部 310、フィルタ用 ROM311、画像信号抽出部 312、及びフィルタ処理部 313を備えて構成されている。

[0157] 図 15において、補正係数群算出部 109からの信号は、補正係数抽出部 310に転送される。エッジ強調処理部 107からの信号は、画像信号抽出部 312へ転送される。画像信号抽出部 312からの信号は、フィルタ処理部 313へ出力される。フィルタ処理部 313はフィルタ用 ROM311に接続されて!、る。フィルタ処理部 313の出力は、階調変換部 111へ転送される。

[0158] 以下、上記各部において行われる処理内容について具体的に説明する。

画像信号抽出部 312は、エッジ強調処理部 107より転送された輝度信号 Yから、注目画素と注目画素の近傍画素からなる注目領域の輝度値を読み出し、フィルタ処理部 313へ転送する。 [0159] 補正係数抽出部 310は、補正係数群算出部 109内の補正係数マップ用バッファ 1 47(図 5参照）に記録されている原画像信号上の各画素に対応する補正係数からなる補正係数群 (以下、本実施形態において、これを「第一の補正係数群」という。）から、上記注目領域に対応する補正係数を読み出し、フィルタ処理部 313へ転送する

[0160] フィルタ処理部 313は、フィルタ用 ROM311より読み出したフィルタ係数 (後述の σ )を用いて、補正係数抽出部 310から取得した注目領域に対応する補正係数 Pr 並びに画像信号抽出部 312から取得した該注目領域における輝度値 Lpを用いて、式（11)に従って演算処理を行うことにより、最終的な補正係数 P(i, j)を算出し、この補正係数 P(i, j)カゝら構成される補正係数群 (本実施形態において、以下、これを「第二の補正係数群」という。）を求める。

[0161] [数 1]

P(i， j) = (∑∑ ( Pr(i + m, j + n)expAexpB))/N(i , j)

N(i, j) = ∑∑ expAexpB

A = - (m² + n²)/(2び²)

B = -((Lp(i, j) -Lp(i + m, j + n))²/(2び² ))

[0162] 上記式（11)において、 σはガウス分布の分散、 i及び jは画像信号の画素群の縦画素位置、横画素位置、 m及び nは近傍画素の注目画素からの縦横の画素間距離を表す。この式（11)に示されるように、画像信号抽出部 312により抽出された注目領域における画素の空間的距離関数と、注目領域を構成する各画素値の差分関数とを用いて、補正係数抽出部 310により抽出された前記注目画素に対応する補正係数を調整することにより、補正係数 P(i, j)を得る。このようにして算出された複数の補正係数 P(i, j)カゝらなる第二の補正係数群は、フィルタ処理部 313から階調変換部 1 11に転送される。階調変換部 111は、この調整後の補正係数 P (i, j)を輝度信号 Y 及び色差信号 cに対して乗算することにより、階調変換を行う。

[0163] 以上、説明してきたように、本実施形態に係るデジタルスチルカメラによれば、補正係数調整部 300では、上記式（11)に示されるように、画像信号抽出部 312により抽出された注目領域における画素の空間的距離関数と、注目領域を構成する各画素値の差分関数とを用いて、補正係数抽出部 310により抽出された注目画素に対応する第一の補正係数群を調整することにより、第二の補正係数群を算出する。そして、この第二の補正係数群を用いてスペースノリアントな階調変換処理を行うことにより、エッジを残しつつ、平坦部を平滑ィ匕することが可能となるので、従来に生じていた平坦部における輝度勾配の不自然な強調を抑制することができる。

[0164] なお、上記実施形態では、ハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD力の信号を未処理のままの Rawデータとして、外部 IZFから入力された ISO感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトウェア処理について、図 16及び図 17を参照して説明する。

[0165] 図 16及び図 17は、本発明の第 3の実施形態に係るデジタルスチルカメラにて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。この図において、上述した第 1の実施形態と同様の処理については、同一のステップ数を付している。各処理ステップでは、図 14に示した各構成で行われる上述の処理と同様の処理を行う。

[0166] 図 16及び図 17に示すように、 Stepl乃至 SteplOにおいては、図 7及び図 8に示した処理と同様である。 SteplOに続く Step30では、例えば、 5 X 5画素サイズの局所領域内の画素値を抽出し、 Step31にて、 Step30で抽出した局所領域内の画素に対応する補正係数を抽出する。 Step32にて、所定の重み係数に基づいて上記 Ste p30、 Step31で抽出した画素値、補正係数に対して式（11)に従いフィルタ処理を行うことにより、最終的な補正係数 P3を算出する。そして、上述した第 1の実施形態と同様に、 Stepl5乃至 Stepl8を経て、本処理を終了する。

[0167] 第 4の実施形態次に、本発明の第 4の実施形態に係るデジタルスチルカメラについて図を参照して説明する。

上述した第 1の実施形態では、最終的な補正係数を求める手順として、まず、原画像力縮小画像を作成し、この縮小画像についての補正係数群を求め、この縮小画像に対する補正係数を拡大処理することにより原画像に対応する補正係数群である第一の補正係数群を求め、その後、この第一の補正係数群を調整することにより、第二の補正係数群を求めて、た。

[0168] これに対して、本実施形態にぉヽては、原画像から縮小画像を作成し、この縮小画像に対応する補正係数 (本実施形態において、以下、これを「縮小補正係数」という。 )から構成される補正係数群 (本実施形態において、以下、これを「縮小補正係数群」という。）を作成する。更に、この縮小補正係数群を調整することにより調整後補正係数群を求める。そして、この調整後補正係数群を拡大処理することにより、原画像サイズに対応する最終的な補正係数群 (本実施形態において、以下、これを「最終補正係数群」という。）を求める。そして、この最終補正係数群を用いて階調変換処理を行う。

[0169] 以下、本実施形態のデジタルスチルカメラについて、第 1の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、第 1の実施形態と同一の構成には、同一の名称と番号を割り当てている。

[0170] 図 18は、本発明の第 4の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

図 18に示すように、本実施形態に係るデジタルスチルカメラは、図 1に示した第 1の実施形態に係るデジタルスチルカメラと略同一の構成を備える力図 1に示したコントラスト算出処理部 108を備えていない点、及び、エッジ強調処理部 107、補正係数群算出部、補正係数群調整部 110に代えて、エッジ強調処理部 500、縮小率設定部 5 01、補正係数群算出部 502、及び補正係数群調整部 503を備える点が異なる。

[0171] この図において、エッジ強調処理部 500の出力は、補正係数群算出部 502及び階調変換部 111へ転送される。縮小率瀬手恥部 501の信号は、補正係数群算出部 50 2及び補正係数群調整部 503に入力される。補正係数群算出部の出力は補正係数群調整部 503へ転送される。補正係数群調整部 503の出力は、階調変換部 111へ転送される。

[0172] 上記エッジ強調処理部 500は、 WB調整部 104からの色信号に対してフィルタ処理を行い、エッジ成分を抽出し、 YZC分離部 106からの輝度信号 Yに対して加算することでエッジ強調処理を行う。エッジ強調処理された輝度信号 Yは、補正係数群算出部 502及び階調変換部 111へ転送され、色差信号 Cは階調変換部 111へ転送される。

[0173] 補正係数群算出部 502は、処理の高速化を目的として、縮小率設定部 501で設定された縮小率に基づき、補正係数算出用に輝度信号 Yから縮小画像信号を作成する。画像縮小手法は公知のダウンサンプリング手法を用いる。また、縮小率を等倍に設定する場合は、縮小処理をキャンセルすることで補正係数算出精度を重視することが可能である。

[0174] 更に、補正係数群算出部 502は、作成した縮小画像信号をもとに、注目画素を中心とする所定サイズの局所領域を抽出する。続いて、抽出した局所領域のヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各注目画素にかかる縮小補正係数力もなる縮小補正係数群を求め、図示しない補正係数記録用バッファへ記録する。これにより、補正係数記録用バッファには、縮小画像サイズの画像信号に対応する補正係数群である縮小補正係数群が記録されることとなる。

[0175] 補正係数群算出部 502により算出された縮小補正係数群は、補正係数群調整部 5 03へ転送される。補正係数群調整部 503は、原画像上の注目画素を中心とする所定サイズの局所領域内の画素に対応する補正係数を縮小補正係数群から抽出する。そして、抽出した補正係数に対し、所定の重み係数を用いてフィルタ処理を行い、注目画素に対応する調整後の補正係数からなる調整後補正係数群を算出する。

[0176] 続いて、補正係数群算出部 502は、縮小率設定部 501で設定された縮小率に基づき、調整後補正係数群から、公知の画像拡大手法を用いて原画像サイズの画像信号に対応する最終的な補正係数 P4からなる最終補正係数群を算出し、階調変換部 111に転送する。 [0177] 階調変換部 111は、エッジ強調処理部 500から転送された輝度信号 Y及び色差信号 Cに対して、補正係数群調整部 503から転送された最終補正係数群を構成する各補正係数 Ρ4を乗算することで階調変換処理を行う。そして、階調変換処理後の信号は、圧縮部 112、出力部 113を経由して、所定のメモリーカード等へ保存される。

[0178] 次に、上述したエッジ強調処理部 500について、図を参照して説明する。

図 19は、エッジ強調処理部 500の概略構成を示すブロック図である。この図に示すように、エッジ強調処理部 500は、画像信号算出部 520、バッファ 521、フィルタ用 R ΟΜ522、フィルタ処理部 523、エッジ強調部 524を備えて構成されている。

[0179] 図 19において、 WB調整部 104からの出力信号は、エッジ強調処理部 500内の画像信号算出部 520へ転送される。画像信号算出部 520の出力は、バッファ 521へ転送される。バッファ 521の出力は、フィルタ処理部 523へ転送される。フィルタ用 RO Μは、フィルタ処理部 523に接続されている。フィルタ処理部 523及び YZC分離部 106の出力は、エッジ強調部 524へ転送される。エッジ強調部 524の出力は、補正係数群算出部 502及び階調変換部 111へ転送される。

[0180] 以下、上記各部において行われる処理内容について具体的に説明する。

まず、画像信号算出部 520は、 WB調整部 104から転送されてきた WB調整後の画像信号を画素単位で読み出し、上記式（1)に従って輝度信号を算出し、これをバッファ 521へ転送する。

[0181] 一方、フィルタ処理部 523では、始めにフィルタ用 ROM522から公知のエッジ成分抽出フィルタ処理に要する空間フィルタを読み出す。例えば、 5 X 5画素サイズのフィルタである場合は、ノッファ 521より 5 X 5画素単位の局所領域を読み出し、上記空間フィルタを用いてエッジ成分を求め、これをエッジ強調部 524へ転送する。

[0182] エッジ強調部 524は、 YZC分離部 106において、式（1)に従い変換された輝度信号 Υから所定サイズの局所領域を抽出し、輝度信号 Υに対してフィルタ処理部 523からのエッジ成分を加算し、エッジ強調処理を行う。エッジ強調後の輝度信号 Υは補正係数群算出部 502と階調変換部 111へ転送され、色差信号 Cは階調変換部 111へ転送される。

[0183] 次に、図 18に示した補正係数群算出部 502について、図を参照して説明する。図 20は、補正係数群算出部 502の概略構成を示すブロック図である。この図に示すように、補正係数群算出部 502は、縮小画像生成部 530、抽出部 531、ヒストグラム算出部 532、累積正規ィ匕部 533、補正係数算出部 534、及び補正係数マップ用ノッファ 535を備えて構成されてヽる。

[0184] 図 20において、エッジ強調処理部 500及び縮小設定部 501からの信号は、縮小画像生成部 530へ転送される。縮小画像生成部 530の出力は、抽出部 531及び補正係数群調整部 503へ転送される。抽出部 531の出力は、ヒストグラム算出部 532へ出力される。ヒストグラム算出部 532の出力は、累積正規化部 533へ転送される。累積正規化部 533の出力は、補正係数算出部 534へ転送される。補正係数算出部 53 4の出力は、補正係数マップ用バッファ 535へ転送される。補正係数マップ用バッファ 535に記録された補正係数群は、補正係数群調整部 503にて参照される。

[0185] 以下、上記各部において行われる処理内容について具体的に説明する。

縮小画像作成部 530は、縮小率設定部 501で設定された縮小率に基づき、エッジ強調処理部 500から取得した輝度信号 Yから縮小画像信号を作成し、縮小画像信号を抽出部 531及び補正係数群調整部 503へ転送する。画像縮小手法は、公知のダウンサンプリング手法を用いる。

[0186] 抽出部 531は、縮小画像生成部 530で作成された縮小画像信号から局所領域の信号を抽出し、ヒストグラム算出部 532へ転送する。ヒストグラム算出部 532は、局所領域ごとにヒストグラムを作成し、累積正規化部 533へ転送する。累積正規化部 534 は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで階調変換曲線を生成し、補正係数群算出部 534へ転送する。

[0187] 補正係数算出部 534は、累積正規ィ匕部 533からの階調変換曲線に基づいて、各領域の信号レベルに対する縮小補正係数から構成される縮小補正係数群を求める。このとき、補正係数算出部 534は、第 1の実施の形態例と同一の方法により、つまり、上述の式 (5)に従って演算処理を行うことにより、縮小補正係数群を算出する。

[0188] 補正係数算出部 534により算出された縮小補正係数群は、補正係数マップ用バッファ 535へ転送され、記録される。補正係数マップ用バッファ 535へ記録された縮小補正係数群は、後段の補正係数群調整部 503にて調整された後、階調変換処理の際に利用される。

[0189] 次に、図 18に示した補正係数群調整部 503について、図を参照して説明する。

図 21は、補正係数群調整部 503の概略構成を示すブロック図である。この図に示すように、補正係数群調整部 503は、補正係数抽出部 540、フィルタ用 ROM541、フィルタ処理部 542、バッファ 543、拡大補間部 544を備えて構成されている。

[0190] 図 21において、補正係数群算出部 502からの信号は、補正係数抽出部 540に転送される。補正係数抽出部 540の出力はフィルタ処理部 542に転送される。フィルタ処理部 542は、フィルタ用 ROM541に接続されている。フィルタ処理部 542の出力は、ノッファ 543へ転送される。バッファ 543の出力及び縮小率設定部 501からの信号は、拡大補間部 544へ出力される。拡大補間部 544の出力は、階調変換部 111 へ転送される。

[0191] 以下、上記各部において行われる処理内容について具体的に説明する。

補正係数抽出部 540は、補正係数群算出部 502内の補正係数マップ用バッファ 5 35 (図 20参照）に記録されて、る縮小補正係数群から、注目画素と注目画素の近傍画素を含む所定サイズの局所領域内の画素に対応する補正係数を読み出し、フィルタ処理部 542へ転送する。

[0192] このとき、読み出す局所領域のサイズは、後段のフィルタ処理部 542が用いるフィルタのサイズに応じて決定される。例えば、フィルタ用 ROM541に記録されているフィルタが 5 X 5画素サイズのフィルタである場合は、 5 X 5画素単位で局所領域内画素に対応する縮小補正係数を読み出し、フィルタ処理部 542へ転送する。

[0193] フィルタ処理部 542は、フィルタ用 ROM541から公知の平滑化フィルタ処理に要する平滑ィ匕フィルタを読み出し、この平滑ィ匕フィルタを用いて、補正係数抽出部 540 から転送されてくる各画素の縮小補正係数を平滑化処理することにより、平滑化処理された補正係数からなる調整後補正係数群を算出する。算出された調整後補正係数群は、バッファ 543を介して、拡大補間部 544へ転送される。

なお、本実施形態では、フィルタ処理部 542において平滑ィ匕フィルタを用いて平滑化処理を行っているが、平滑ィ匕フィルタの設定を変更することで、その他のフィルタ処理を適用することも可能である。例えば、鮮鋭ィ匕フィルタを適用することによりエツジの傾斜を強調することで、相対的に平坦部の勾配を目立たなくすることができる。拡大補間部 544は、ノッファ 543から取得した調整後補正係数群に対して、縮小率設定部 501に設定されている縮小率に基づいて公知の補間処理を行うことにより、原画像信号上の画素に対応する最終補正係数群を算出し、これを階調変換部 111 に ¾5送する。

以上、本実施形態に係るデジタルスチルカメラについて説明してきたが、上述の平滑ィ匕フィルタにおいて、重み係数の概念を適用することも可能である。例えば、重み係数 W4を ROM (不図示）に記憶しておき、以下の式（7— 2)式により調整後補正係数 Pr4を算出するようにしても良、。

Pr4 = Prm * ( 1— W4) + Prfil * W4 (7— 2)

上記式（7— 2)において、 Prmは縮小補正係数、 Prfilは平滑後の縮小補正係数である。また、 Pr4の算出式は、上記（7— 2)式に限られず、 Prm、 W4、 Prfilを用いたその他の演算式とすることもできる。また、 W4については、複数の W4を ROM (不図示）に登録しておき、これらの中力もユーザからの指示に基づいて選択した値を用いるようにしてちょい。

[0194] また、上記実施形態では、ハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD力の信号を未処理のままの Rawデータとして、外部 IZFから入力された ISO感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトウェア処理について、図 22及び図 23を参照して説明する。

[0195] 図 22及び図 23は、本発明の第 4の実施形態に係るデジタルスチルカメラにて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。各処理ステップでは、図 18に示した各構成で行われる上述の処理と同様の処理を行う。

[0196] 図 22及び図 23において、 Step50にて、信号、 ISO感度などの撮影情報を含むへッダ情報を読み込む。 Step51にて、 WB調整、色補間、 YZC分離等の信号処理を行う。 Step52にて、エッジ強調処理を行うとともに、エッジ補正係数や、コントラストの算出を行う。 Step53にて、補正係数算出用の縮小画像を作成する。 [0197] Step54にて、所定サイズ、例えば、 5 X 5画素サイズの局所領域を抽出し、 Step 5 5にて、ヒストグラム作成処理を行う。 Step56にて、 Step55で作成されたヒストグラムを累積し、正規化処理を行う。 Step57にて、累積ヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づき各画素に対する縮小補正係数を算出する。 Step58にて、全領域の抽出が完了したかを判断し、完了している場合は Step59へ、完了して Vヽな、場合は Step54へ移行する。

[0198] Step59にて、例えば、 5 X 5画素サイズの局所領域内の画素値を抽出し、 Step60 にて、 Step59で抽出した局所領域内の画素に対応する縮小補正係数を抽出する。 Step61にて、平滑ィ匕フイノレタを設定する。 Step62にて、 Step59、 Step60、及び St ep61における画素値、縮小補正係数、重み係数を用いて縮小補正係数群の平滑化処理を行い、調整後補正係数群を作成する。 Step63にて、全領域の抽出が完了したかを判断し、完了している場合は Step59へ、完了していない場合は Step64へ移行する。

[0199] Step64にて、調整後補正係数群を元に、最終補正係数群を算出し記録する。 Ste p65にて、 Step52でエッジ強調された画像信号に対し、最終補正係数群を乗算する。 Step66にて、公知の信号圧縮技術を用いて信号圧縮を行い、 Step67にて、処理後の信号を出力し、当該処理を終了する。

[0200] 第 5の実施形態

次に、本発明の第 5の実施形態に係るデジタルスチルカメラについて図を参照して説明する。本実施形態は、上述した第 2の実施形態と第 4の実施形態とを組み合わせたものである。具体的には、まず、原画像から縮小画像を作成し、この縮小画像に対応する縮小補正係数を求め、これら縮小補正係数から構成される縮小補正係数群を作成する。更に、この縮小補正係数群を上述の第 2の実施形態における手法を用いて調整することにより、調整後補正係数群を求める。その後、この調整後補正係数を拡大処理することにより、原画像上の画素に対応する最終的な補正係数である最終補正係数群を求める。

[0201] 以下、本実施形態のデジタルスチルカメラにつ!、て、第 4の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、第 4の実施形態と同一の構成には、同一の名称と番号を割り当てている。

[0202] 図 24は、本発明の第 5の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

図 24に示すように、本実施形態に係るデジタルスチルカメラは、上述の第 4の実施形態に係る補正係数群調整部 503 (図 18参照）に代えて、補正係数群調整部 600 を備え、また、エッジ強調処理部 500の出力信号が、補正係数群算出部 502、補正係数群調整部 600、及び階調変換部 111へ転送される構成をとる。

[0203] 次に、本実施形態に係る補正係数群調整部 600について、図を参照して具体的に説明する。

図 25は、本実施形態に係る補正係数群調整部 600の概略構成を示すブロック図である。この図に示すように、補正係数群調整部 600は、補正係数抽出部 610、画像信号抽出部 611、重み係数用 ROM612、乗算加算処理部 613、ノッファ 614、拡大補間部 615を備えて構成されている。

[0204] 図 25において、補正係数群算出部 502からの信号は、補正係数抽出部 610及び画像信号抽出部 611へ転送される。補正係数抽出部 610及び画像信号抽出部 613 の出力は、乗算加算処理部 613へ転送される。乗算加算処理部 613は重み係数用 ROM612に接続されている。乗算加算処理部 613の出力は、バッファ 614を介して拡大補間部 615へ転送される。縮小率設定部 501の出力は、拡大補間部 615へ転送される。拡大補間部 615の出力は、階調変換部 111へ転送される。

[0205] 以下、上記各部において行われる処理内容について具体的に説明する。

補正係数抽出部 610は、補正係数群算出部 502内の補正係数用バッファ 535〖こ記録されて！ヽる縮小画像上の画素に対応する縮小補正係数群から注目画素に対応する縮小補正係数を読み出し、乗算加算処理部 613へ転送する。

[0206] 画像信号抽出部 611は、補正係数群算出部 502内の縮小画像生成部 530 (図 20 参照)から転送された縮小画像の輝度信号 Yから上記補正係数抽出部 610にて抽出された注目画素に対応する輝度値を読み出し、乗算加算処理部 613へ転送する乗算加算処理部 613は、重み係数用 ROM612に記録されてヽる重み係数 W5を読み出し、この重み係数 W5、補正係数抽出部 610により抽出された注目画素に対応する縮小補正係数 Pr、及び画像信号抽出部 611により抽出された注目画素の輝度値 Lpを用いて、以下の式（12)に従い、縮小補正係数 Prを調整することで、調整後の補正係数 (本実施形態において、以下、これを「調整後補正係数」という。）P5を求める。そして、各画素に対する調整後補正係数 P5から構成される調整後補正係数群を求める。

[0207] P5 = Pr*W5 * Lp (12)

ただし、式（12)における W5は、適当な上限値、下限値を設定しクリップする。

[0208] 乗算加算処理部 613にて算出された調整後補正係数 P5からなる調整後補正係数群は、バッファ 641を経由して拡大補間部 615へ転送される。拡大補間部 615は、縮小率設定部 501から取得した縮小率に基づいて公知の補間処理を用いることにより、調整後補正係数群から原画像上の画素に対応する最終的な補正係数からなる最終補正係数群を算出し、階調変換部 111へ転送する。これにより、階調変換部 111 は、補正係数群調整部 600から取得した最終補正係数群を輝度信号 Y、色差信号 C に対して乗算することで、階調変換処理を行う。

[0209] なお、上記補正係数 Ρ5は、以下の（13)式に示すように、注目画素の輝度値 Lpに最終的な重み係数 W5を乗じた値を、該注目画素に対応する補正係数 Prに加えることにより、求めるようにしてもよ、。

P5 = Pr+W5 * Lp (13)

なお、 P5の算出式は、上記（12)式や、（13)式に限られず、 Pr、 W5、 Lpを用いたその他の演算式とすることもできる。また、 W5については、複数の W5を重み係数用 ROM612に登録しておき、これらの中からユーザからの指示に基づいて選択した値を用いるようにしてもよい。

[0210] なお、上記実施形態では、ハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD力の信号を未処理のままの Rawデータとして、外部 IZFから入力された ISO感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトウェア処理について、図 26及び図 27を参照して説明する。 [0211] 図 26及び図 27は、本発明の第 5の実施形態に係るデジタルスチルカメラにて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。この図において、上述した第 4の実施形態と同様の処理については、同一のステップ数を付している。各処理ステップでは、図 24に示した各構成で行われる上述の処理と同様の処理を行う。

[0212] 図 26及び図 27【こ示すよう【こ、 Step50乃至 Step58【こお!ヽて ίま、図 22【こ示した処理と同様である。 Step58〖こ続く Step68〖こて、画像信号より注目画素の画素値を抽出し、 Step69にて、 Step68で抽出した注目画素に対応する縮小補正係数を抽出する。 Step70〖こて、重み係数を設定する。 Step71〖こて、 Step70における重み係数に基づいて Step68、 Step69で抽出した画素値、縮小補正係数をもとに式（12)、あるいは（13)に従い、乗算、または加算処理を行うことにより調整後補正係数からなる調整後補正係数群を算出し、続く Step63へ移行する。

[0213] 第 6の実施形態

次に、本発明の第 6の実施形態に係るデジタルスチルカメラについて図を参照して説明する。本実施形態は、上述した第 3の実施形態と第 4の実施形態とを組み合わせたものである。具体的には、まず、原画像から縮小画像を作成し、この縮小画像に対応する縮小補正係数を求め、更に、この縮小補正係数を上述の第 3の実施形態における手法を用いて調整することにより、調整後補正係数を求め、この調整後補正係数から構成される調整後補正係数群を作成する。その後、この調整後補正係数群を拡大処理することにより、原画像上の画素に対応する最終的な補正係数群である最終補正係数群を求める。

[0214] 以下、本実施形態のデジタルスチルカメラにっ、て、第 4の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、第 4の実施形態と同一の構成には、同一の名称と番号を割り当てている。

[0215] 図 28は、本発明の第 6の実施形態に係るデジタルスチルカメラの概略構成を示すブロック図である。

図 28に示すように、本実施形態に係るデジタルスチルカメラは、図 18に示した第 4 の実施形態に係るデジタルスチルカメラと略同一の構成を備えるが、補正係数群調整部 503に代えて補正係数群調整部 700を備える点、また、エッジ強調処理部 107 の出力信号が、補正係数群算出部 502、補正係数群調整部 700、及び階調変換部 111へ転送される構成をとる点にっヽて異なる。

[0216] 次に、本実施形態に係る補正係数群調整部 700について、図を参照して具体的に説明する。

図 29は、本実施形態に係る補正係数群調整部 700の概略構成を示すブロック図である。この図に示すように、補正係数群調整部 700は、補正係数抽出部 710、画像信号抽出部 711、フィルタ用 ROM712、フィルタ処理部 713、ノッファ 714、及び拡大補間部 715を備えて構成されている。

[0217] 図 29において、補正係数群算出部 502からの信号は、補正係数抽出部 710及び画像信号抽出部 711に転送される。補正係数抽出部 710及び画像信号抽出部 711 の出力はフィルタ処理部 713に転送される。フィルタ処理部 713は、フィルタ用 ROM 712に接続されている。フィルタ処理部 713の出力は、ノッファ 714を経由して拡大補間部 715へ転送される。縮小率設定部 501の出力は、拡大補間部 715へ転送される。拡大補間部 715の出力は、階調変換部 111へ転送される。

[0218] 以下、上記各部において行われる処理内容について具体的に説明する。

画像信号抽出部 713は、補正係数群算出部 502内の縮小画像生成部 530から転送されてきた縮小画像の輝度信号 Yから注目画素と注目画素の近傍画素の輝度値を読み出し、フィルタ処理部 713へ転送する。

[0219] 一方、補正係数抽出部 710は、補正係数群算出部 502内の補正係数マップ用バッファ 535 (図 20参照）に記録されている縮小画像上の各画素に対応する縮小補正係数により構成される縮小補正係数群から、上記画像信号抽出部 713にて読み出された注目画素と注目画素の近傍画素に対応する縮小補正係数を読み出し、フィルタ処理部 713へ転送する。

[0220] フィルタ処理部 713は、フィルタ用 ROM712から読み出した平滑ィ匕フィルタを用いて、補正係数抽出部 710から取得した注目画素と注目画素の近傍画素に対応する縮小補正係数 Pr並びに画像信号抽出部 713から取得した該注目画素と注目画素の近傍画素における輝度値 Lpを用いて、上述の第 3の実施形態と同様、式（11)に従つて演算処理を行うことにより、調整後補正係数 P (i, j)を算出して、 P (i, j)力も構成される調整後補正係数群を求める。

[0221] このようにして算出された縮小画像上の各画素に対応する調整後補正係数 P (i, j) からなる調整後補正係数群は、ノッファ 714を介して拡大補間部 715へ転送される。拡大補間部 715は、縮小画像上の各画素に対応する調整後補正係数からなる調整後補正係数群を公知の補間処理を用いて拡大することにより、原画像上の各画素に対応する最終的な補正係数カゝらなる最終補正係数群を算出し、これを階調変換部 1 11へ転送する。階調変換部 111は、補正係数群調整部 700から取得した最終補正係数群を輝度信号 Y及び色差信号 Cに対して乗算することにより、階調変換処理を行う。

[0222] なお、上記実施形態では、ハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD力の信号を未処理のままの Rawデータとして、外部 IZFから入力された ISO感度など撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。以下、信号処理のソフトウェア処理について、図 30及び図 31を参照して説明する。

[0223] 図 30及び図 31は、本発明の第 6の実施形態に係るデジタルスチルカメラにて実行される信号処理のソフトウェア処理に関する処理手順を示したフローチャートである。この図において、上述した第 4の実施形態と同様の処理については、同一のステップ数を付している。各処理ステップでは、図 28に示した各構成で行われる上述の処理と同様の処理を行う。

[0224] 図 30及び図 31に示すように、 Step50乃至 Step58においては、図 22及び図 23に示した処理と同様である。 Step58に続く Step72では、縮小画像信号から局所領域 (例えば、 5 X 5画素サイズ）内の画素値が抽出され、 Step73にて、 Step72で抽出した注目画素に対応する縮小補正係数を抽出する。 Step 74にて、所定の重み係数に基づいて Step72及び Step73で抽出した画素値及び縮小補正係数に対して上述の式（11)に従いフィルタ処理を行い、 Step63へ移行する。その後の処理は、図 22 及び図 23に示した処理と同様である。

Claims

請求の範囲

[1] 撮像素子力ゝらの画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を行う撮像装置であって、

前記撮像素子からの画像信号に対し画像処理を行う画像処理手段と、前記画像処理が施された前記画像信号を取得して、複数の画素それぞれに対応する複数の補正係数からなる第一の補正係数群を前記領域毎に作成する補正係数群算出手段と、

前記撮像素子からの画像信号又は前記画像処理が施された後の画像信号の特徴を用いて、前記第一の補正係数群を調整することにより、第二の補正係数群を作成する補正係数群調整手段と、

前記第二の補正係数群を用いて、前記領域毎に階調変換処理を行う階調変換手段と

を具備する撮像装置。

[2] 前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成する縮小画像生成手段を備え、前記縮小画像信号を用いて前記第一の補正係数群が作成される請求項 1に記載の撮像装置。

[3] 前記補正係数算出手段は、前記縮小画像信号における複数の画素それぞれに対応する複数の縮小補正係数からなる縮小補正係数群を作成し、前記縮小率による縮小を打ち消すように、前記縮小補正係数群を拡大処理することにより、前記第一の補正係数群を作成する請求項 2に記載の撮像装置。

[4] 前記補正係数群調整手段は、

前記第一の補正係数群から注目画素に対応する補正係数と、該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、

前記抽出手段により抽出された補正係数を用いて、前記第一の補正係数群に対してフィルタ処理を行うことで、前記第一の補正係数群を調整する調整手段と

を具備する請求項 1から請求項 3のいずれかに記載の撮像装置。

[5] 前記補正係数群調整手段は、

前記第一の補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、

前記抽出手段により抽出された補正係数を用いて前記第一の補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記第一の補正係数群を調整する調整手段と

を具備する請求項 1から請求項 4のいずれかに記載の撮像装置。

[6] 前記補正係数群調整手段は、

前記画像処理が施された後の画像信号から輝度信号を取得する輝度信号取得手段と、

前記輝度信号取得手段により得られた前記輝度信号に基づ!、て、前記第一の補正係数群を調整する調整手段と

[7] 前記調整手段は、重み係数を乗じた前記輝度信号を用いて、前記第一の補正係数群を調整する請求項 6に記載の撮像装置。

[8] 前記画像処理手段は、

エッジ強度を算出するエッジ強度算出手段と、

前記エッジ強度に基づき前記撮像素子からの画像信号に対してエッジ強調処理を行うエッジ強調手段と

を備え、

前記調整手段は、前記エッジ強度算出手段により算出された前記エッジ強度に基づいて、前記重み係数を設定する請求項 4、請求項 5、及び請求項 7のいずれかに記載の撮像装置。

[9] 前記画像処理手段は、コントラストを算出するコントラスト算出手段を備え、

前記調整手段は、前記コントラスト算出手段により算出された前記コントラストに基づいて、前記重み係数を設定する請求項 4、請求項 5、及び請求項 7のいずれかに記載の撮像装置。

[10] 前記補正係数群調整手段は、

前記画像処理が施された後の画像信号から輝度信号を取得する輝度信号取得手段と、前記輝度信号から注目画素と該注目画素の近傍画素を含む所定サイズの注目領域に対応する画素値を抽出する画像信号抽出手段と、

前記補正係数算出手段により作成された前記第一の補正係数群から前記注目領域に対応する補正係数を抽出する補正係数抽出手段と、

前記画像信号抽出手段により抽出された前記注目領域における画素の空間的距離関数と、前記注目領域を構成する各画素値の差分関数とを用いて、前記補正係数抽出手段により抽出された前記注目画素に対応する補正係数を調整する調整手段と

[11] 画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を行う撮像装置であって、

前記画像信号に対し画像処理を行う画像処理手段と、

前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成する縮小画像生成手段と、

前記縮小画像信号における複数の画素それぞれに対応する複数の縮小補正係数からなる縮小補正係数群を作成する補正係数群作成手段と、

前記縮小画像信号の特徴を用いて前記縮小補正係数群を調整して、調整後の補正係数群を作成し、前記縮小率による縮小を打ち消すように前記調整後の補正係数群を拡大することにより、縮小前の画像信号に対応する最終補正係数群を作成する補正係数群調整手段と、

前記最終補正係数群を用いて、前記領域毎に階調変換処理を行う階調変換手段と

を具備する撮像装置。

[12] 前記補正係数群調整手段は、

前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出する抽出手段と、

前記抽出手段により抽出された補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うことで、前記縮小補正係数群を調整する調整手段とを具備する請求項 11に記載の撮像装置。

[13] 前記補正係数群調整手段は、

前記抽出手段により抽出された補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記縮小補正係数群を調整する調整手段と

を具備する請求項 11に記載の撮像装置。

[14] 前記補正係数群調整手段は、

前記縮小画像信号から輝度信号を取得する輝度信号取得手段と、

前記輝度信号取得手段により得られた前記輝度信号に基づ!ヽて、前記縮小補正係数群を調整する調整手段と

を具備する請求項 11に記載の撮像装置。

[15] 前記調整手段は、重み係数を乗じた前記輝度信号を用いて、前記縮小補正係数群を調整する請求項 12から請求項 14のいずれかに記載の撮像装置。

[16] 前記補正係数群調整手段は、

前記輝度信号から注目画素と該注目画素の近傍画素を含む所定サイズの注目領域に対応する画素値を抽出する画像信号抽出手段と、

前記補正係数算出手段により作成された前記縮小補正係数群から前記注目領域に対応する補正係数を抽出する補正係数抽出手段と、

を具備する請求項 11に記載の撮像装置。

[17] 撮像素子からの画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を実行するための画像処理プログラムであって、前記撮像素子からの画像信号に対し画像処理を行う第 1のステップと、前記画像処理が施された前記画像信号を取得して、複数の画素それぞれに対応する複数の補正係数からなる第一の補正係数群を前記領域毎に作成する第 2のステツプと、

前記撮像素子からの画像信号又は前記画像処理が施された後の画像信号の特徴を用いて、前記第一の補正係数群を調整することにより、第二の補正係数群を作成する第 3のステップと、

前記第二の補正係数群を用いて、前記領域毎に階調変換処理を行う第 4のステツプと

をコンピュータに実行させるための画像処理プログラム。

[18] 前記第 2のステップは、

前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成するステップと、

前記縮小画像信号を用いて前記第一の補正係数群を作成するステップとを有する請求項 17に記載の画像処理プログラム。

[19] 前記第 3のステップは、

前記第一の補正係数群から注目画素に対応する補正係数と、該注目画素の近傍画素に対応する補正係数とを抽出するステップと、

抽出された前記補正係数を用いて、前記第一の補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記第一の補正係数群を調整するステップと

を有する請求項 17又は請求項 18に記載の画像処理プログラム。

[20] 前記第 3のステップは、

前記第一の補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出するステップと、

抽出された前記補正係数を用いて、前記第一の補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記第一の補正係数群を調整するステップとを有する請求項 17又は請求項 18に記載の画像処理プログラム。

[21] 前記第 3のステップは、

前記画像処理が施された後の画像信号から輝度信号を取得するステップと、取得した前記輝度信号に基づ！/、て、前記第一の補正係数群を調整するステップとを有する請求項 17又は請求項 18に記載の画像処理プログラム。

[22] 画像信号に対して、該画像信号で表される画像の領域毎に階調変換処理を実行するための画像処理プログラムであって、

前記画像信号に対し画像処理を行う第 1のステップと、

前記画像処理が施された後の画像信号を所定の縮小率で縮小し、縮小画像信号を生成する第 2のステップと、

前記縮小画像信号における複数の画素それぞれに対応する複数の縮小補正係数からなる縮小補正係数群を作成する第 3のステップと、

前記縮小画像信号の特徴を用いて前記縮小補正係数群を調整して、調整後の補正係数群を作成し、前記縮小率による縮小を打ち消すように前記調整後の補正係数群を拡大することにより、縮小前の画像信号に対応する最終補正係数群を作成する第 4のステップと、

前記最終補正係数群を用いて、前記領域毎に階調変換処理を行う第 5のステップと

をコンピュータに実行させるための画像処理プログラム。

[23] 前記第 4のステップは、

前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出するステップと、

抽出された前記補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うことで、前記縮小補正係数群を調整するステップと

を有する請求項 22に記載の画像処理プログラム。

[24] 前記第 4のステップは、

前記縮小補正係数群から注目画素に対応する補正係数と該注目画素の近傍画素に対応する補正係数とを抽出するステップと、抽出された前記補正係数を用いて、前記縮小補正係数群に対してフィルタ処理を行うとともに、重み係数を用いた演算を行うことで、前記縮小補正係数群を調整するステップと

を有する請求項 22に記載の画像処理プログラム。

前記第 4のステップは、

前記縮小画像信号から輝度信号を取得するステップと、

取得した前記輝度信号に基づ！/ヽて、前記縮小補正係数群を調整するステップとを有する請求項 22に記載の画像処理プログラム。