JPWO2007108317A1 - 画像信号処理装置及び画像信号処理方法 - Google Patents

Abstract

固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くするとともに、色相回りの少ない画像を得る。増感モードで露光量を低く設定したことにより飽和電荷量までの余裕が大きくなることを利用して、高輝度側の被写体の信号成分を含んだダイナミック・レンジの広いＲＧＢ信号を得る。まず、べき乗γに近いγ補正を施してから、輝度信号と色差信号に色空間変換し、輝度信号に対しては所定の階調に収まるように非線形圧縮処理を行ない、色差信号に対してはべき乗ガンマによる色回り低減と色差マトリックス・クリッピングを行なう。

Description

本発明は、固体撮像素子などから得られた画像信号に基づいて、適切なダイナミック・レンジで輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）を出力する画像信号処理装置及び画像信号処理方法に係る。特に、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くするとともに、色相回りの少ない画像を得る画像信号処理装置及び画像信号処理方法に関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

ＣＣＤセンサは、２次元に配列された各画素（フォトダイオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。各画素の表面には、例えばＲ（赤）、緑（Ｇ）、青（Ｂ）の３色いずれかの色フィルタが設けられ、各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積される。そして、各画素から各色の入射光量に応じた信号電荷が読み出され、３色の各信号電荷量から各画素位置における入射光の色を再現することができる。但し、各画素が蓄積できる信号電荷量には上限があり、画素を構成するフォトダイオードの飽和電荷量を超える信号電荷を蓄積することができないという制約がある。すなわち、センサ素子が持つノイズ・レベルから、センサ素子が蓄積できる電荷の飽和量までの範囲がダイナミック・レンジとなる。ダイナミック・レンジを外れた部分の画像は、白く飛ぶ、あるいは黒く潰れるといった現象として撮像画像上で観察される。

人間の視覚は光量の桁数に対応して明るさを感じることができ、その範囲すなわちダイナミック・レンジは８桁と言われている。ネガフィルムのダイナミック・レンジは少なくとも４桁ある。一方、ＣＣＤのダイナミック・レンジは、例えば約２．４桁程度であり少々物足りない。近年では、微細化技術の進展により固体撮像素子の画素数が飛躍的に増え、解像力は銀塩写真に迫る反面、画素サイズに伴って飽和電荷量が小さくなり、ダイナミック・レンジ不足の問題はさらに深刻となっている。

カメラには絞りとシャッター速度という光量を補正する機能があり、例えば１絞り絞ると光量は半分になる。カメラに入射する光量を均等に半分にすれば、対数スケールに対してはその光量を０．５だけ平行移動させることができる。しかしながら、カメラによる光量補正は、被写体の光量分布をダイナミック・レンジの中に平行移動させるだけであり、ダイナミック・レンジより広い光量分布に対しては意味がない。

また、シャッター速度を変えて、多重に記録して合成してダイナミック・レンジを大きくする方法が知られている。すなわち、ＣＣＤセンサ上で電子シャッター制御により、高速シャッター処理で飽和を回避した画像と、低速シャッター処理で十分な電子数の低輝度部分画像を得て合成することによって、良好なダイナミック・レンジを確保することかできる。しかしながら、１枚の画像を得るために高速シャッター処理と低速シャッター処理の２回だけ撮影する必要があるので、動いている物体に対して適切な静止画像を得ることはできない。あるいは、２重の撮像系が必要となることから、装置構成も複雑化する。

また、センサ部に感度の高いセンサと低いセンサを交互に配置して、２つのセンサの情報を合成してダイナミック・レンジを確保する方法も考えられるが、センサ構造やセンサ出力の信号処理が複雑化するという問題がある。

例えば、撮像画像の輝度分布を検波して、逆光や白抜け、黒潰れの状態となった輝度分布を最適な輝度分布に補正して出力する信号処理方法について提案がなされている（例えば、特許文献１を参照のこと）。この信号処理方法によれば、出力画像の輝度分布が大きい場合にはこれを一様化するようにＢ−スプライン補間法などにより補正することで、γ補正の入出力を制御して、最適な画像を得ることができる。

また、入力した画像信号に含まれる高輝度被写体信号を検出すると、この高輝度被写体信号に応じて撮影動作に用いる露光量を制御するとともに、露光量に基づいて画像信号に対するγ補正量に対して低輝度領域の輝度レベルを持ち上げるような制御を行なうことで、例えば逆光状態において高輝度被写体と低輝度被写体が共存する映像から良好な画像を得るようにした自動露光制御方法について提案がなされている（例えば、特許文献２を参照のこと）。

また、γ補正を使って画像信号のダイナミック・レンジを確保する方法も考えられる。γ補正とは、モニタなどで撮影画像を出力する際に、画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節して、階調（輝度）を正しく（より自然に近い表示として）再現させるために階調を変換する処理である。モニタにおける階調（輝度）特性は、ＣＣＤからの入力信号のレベルに対して線形的に対して線形ではなく、入力信号をｘとし、モニタの輝度レベルをｙとすると、ｙ＝ｘγの関係がある。そこで、この逆関数に相当する処理を施すのがγ補正である。γ補正曲線は本来べき乗の関数であり、γ係数を変更することでダイナミック・レンジを確保することができる。しかしながら、γ係数の変更により理想的なγ曲線から離れた部分における撮像画像においては、色バランスが崩れる、コントラスト劣化が発生するといった影響が出るという問題がある。

また、固体撮像素子による撮影画像では、オーバー露光したときに高輝度部分で本来とは異なる色で表現されるという色相回りが生じるという問題がある。例えば、入射光のうち赤色の入射光量に応じた信号電荷量がフォトダイオードの飽和電荷量を超えてしまった場合、飽和電荷量に達していない緑色及び青色の各信号電荷量と赤色の信号電荷量（飽和電荷量）とから再現した色は赤みが不足した色となる。特に、人間の目は肌色に敏感なため、肌色をオーバー露光で撮影したとき肌色の黄変が目立ってしまう。

この色相回りを回避する方法として、例えば、画像色回りの始まる高輝度部で色差信号レベル自体を抑圧する方法が考えられる。これは、一般に「色消し」と呼ばれる技術であり、輝度信号レベルがある閾値以上になると段階的に色を消して白に飛ばす処理を施す。しかしながら、色が抜けるので画像白飛びを起こしているように見えてしまう、という問題を生じる。

また、色相回りを回避する他の方法として、例えばＲＧＢ信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）、あるいはさらにｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）に色空間変換した後に、色域を超えた信号に色差信号が回らないようにクリッピングすることも考えられる。この方法は「３Ｄルックアップ・テーブル処理」と呼ばれる常套手段であるが、回路規模が非常に大きくなってしまう。

これら従来の色相回り回避方法では、高輝度部での階調不足による白飛びが発生するという問題や、輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換する前のγ補正によってＲＧＢ信号クリップが発生した結果の色回りを抑制することができないなどの問題がある。

色相回りの問題は、ダイナミック・レンジ不足と同様に、画素の飽和電荷量が不足することに伴う。デジタルカメラは、画素数の飛躍的な増大により解像力は銀塩写真に迫るものの、色再現性の点で銀塩写真に及ばない。

ところで、デジタルカメラには、ちょうど銀塩カメラにおけるＩＳＯ感度に相当する感度条件を切り替える機能が設けられているものが多い。すなわち、露出補正によってもなお十分な感度が得られないような低照度被写体の撮像のために、ゲインアップという感度向上技術を適用する。ゲインアップにより、ＣＣＤなどの出力信号を増幅して輝度レンジを相対的に高めることで感度を上げて、暗い場所や低照度被写体を撮影することが可能になる。ＩＳＯ１００を標準感度とし、以降は増感モードとしてＩＳＯ２００、ＩＳＯ４００などが用意されている。

ここで、デジタルカメラのＩＳＯ感度設定毎のセンサ出力に対して信号処理レンジを適正に設定しないことが多く、本来使用できる固定撮像素子の出力信号レンジを有効に活用していないという問題がある。以下では、この点について考察してみる。

ＩＳＯ１００すなわち標準ゲインを使用する通常撮影時における使用信号振幅の上限をｓとし、このときのゲインをａとすると、ＩＳＯ２００すなわちゲインアップ時における使用信号振幅の上限はｓ／２となり、ゲインは２ａとなる。ゲインアップした増感モード下では、露光量を標準露光よりも低く設定するので、飽和電荷量に至るまでの余裕が大きくなることから、撮像可能な被写体の高輝度側の撮像レンジを拡大して、そのＣＣＤなどの出力信号には通常撮影モードでは得られない高輝度側の被写体の信号成分を含めることができるはずである。

平均的な被写体の露光量からＣＣＤの飽和レベルまでの余裕がないのが現状であるから、一般にはＣＣＤの飽和レベルを標準ゲインすなわちＩＳＯ１００における使用信号振幅の上限とする。例えば、飽和信号量（最大出力）５００ｍＶのＣＣＤセンサ出力に対し１０ビットでＡＤ変換を行なうとすると、ＩＳＯ１００では５００ｍＶを１０２３階調としてすべて使用する（図１７を参照のこと）。そして、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればこの１０２３階調のＲＧＢ画像信号をγ補正によって２５５階調に割り振る。一方、ＩＳＯ２００ではその半分のセンサ出力２５０ｍＶを１０２３階調とし（図１８を参照のこと）、ゲインアンプ出力時には１０２３階調で信号をクリップするから、ＣＣＤ最大出力すなわち飽和電荷量の半分しか使用していないことになる。

しかし、２５０ｍＶから５００ｍＶに至るまでの領域はＣＣＤセンサ出力としては有効であるから、高輝度側の撮像レンジとして活用すべきである。ところが、増感モードでも標準モードと同じγ補正回路により階調変換を行なうと、標準モードにおける撮像レンジ限界（図１７に示す例では１０２３階調）を基準にして階調変換可能な被写体の高輝度側の撮像レンジが制限されてしまい、増感モードで拡大される高輝度側の撮像レンジの拡大効果を画像に反映させることができない。

これに対し、ゲインアップと階調変換特性の変更を併せて行なう、すなわち高ゲイン時には階調変換特性の有効最大入力値を高く設定するという階調変換特性の変換を行なうことにより、ゲインアップによって生じる撮像素子の高輝度側の撮像レンジの拡大効果を画像に反映させて、被写体の高輝度側の再現域を拡大することができる撮像装置について提案がなされている（例えば、特許文献３を参照のこと）。

この撮像装置によれば、ＩＳＯ２００では５００ｍＶを２０４７階調としてすべて使用し、「広Ｄレンジ時γ特性」に従って２０４８ビットのＲＧＢ画像信号をγ補正によって２５５階調に割り振ることができる。この「広Ｄレンジ時γ特性」は、飽和電荷量の７５％までの低輝度側の領域では標準γ特性と同特性とし、それ以上の高輝度側の領域では階調の圧縮度合いが高くなるように設定されている。

しかしながら、特許文献３などによる方法では、階調の圧縮度合いを高めた高輝度域での再現性が犠牲になることは否めない。特にＲＧＢ信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換する前に、γ補正によって規定の階調に収まるように階調変換してしまうと、ＲＧＢ信号クリップが発生した結果の色回りや色飛びを十分抑制することはできない。同文献では、ダイナミック・レンジの改善に関する方法は開示されているが、色差信号の飽和レベル付近での色相回りの問題について言及はない。

特開２００３−１７９８０９号公報 特開２００４−２３６０５号公報 特開２００２−３３９５６号公報（図２、段落００３６）

本発明の目的は、固体撮像素子などから得られた画像信号に基づいて、ダイナミック・レンジで輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）を出力することができる、優れた画像信号処理装置及び画像信号処理方法を提供することにある。

本発明のさらなる目的は、デジタルカメラの感度設定毎に適正な信号処理レンジを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くするとともに、色相回りの少ない画像を得ることができる、優れた画像信号処理装置及び画像信号処理方法を提供することにある。

本発明は、上記課題を参酌してなされたものであり、被写体の撮像画像に基づいて所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置であって、
被写体を撮像した画像信号を入力する画像信号入力手段と、
入力した画像信号のダイナミック・レンジを拡張する増幅手段と、
該ダイナミック・レンジが拡張された画像信号に基づいてＲＧＢ信号を算出する手段と、
該ＲＧＢ信号に対してＲＧＢγ補正を行ない、前記出力ビット長よりもビット拡張した信号として出力するＲＧＢγ補正手段と、
前記ＲＧＢγ補正手段によりビット拡張されたＲＧＢ信号に基づいて輝度信号及び色差信号を算出する変換手段と、
該算出された輝度信号の出力レベルが前記出力ビット長に収まるように非線形補正を行なう非線形補正手段と、
を具備することを特徴とする画像信号処理装置である。

本発明は、ＣＣＤなどの固体撮像素子を用いてデジタル画像を撮像する撮像装置において、固体撮像素子から得られる画像信号に基づいて、適切なダイナミック・レンジで輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）を出力する画像信号処理装置に関する。

デジタルカメラと呼ばれるこの種の撮像装置は、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題から解放されるという利便性がある。最近では、微細化技術の進展により固体撮像素子の画素数が飛躍的に増え、解像度は銀塩写真に迫るものの、飽和電荷量の制約により、ダイナミック・レンジ不足や、高輝度域における色相回りという深刻な問題があり、色再現性の点では銀塩写真には及ばない。

これに対し、本発明に係る画像信号処理装置は、デジタルカメラを最低ＩＳＯ感度よりも高いＩＳＯ感度設定にしたときには、露光量を標準露光よりも低く設定するので飽和電荷量に至るまでの余裕が大きくなるという点に着眼し、ＩＳＯ感度設定を高感度に切り替えてゲインアップした場合であっても、使用信号振幅の上限を変えずに、ゲインアップによって生じる固体撮像素子の高輝度側の出力レンジを含むダイナミック・レンジの広いＲＧＢ信号を入力して、飽和電荷量に至るまでの領域を有効に使うように構成されている。

具体的には、最低感度のＩＳＯ１００においてＣＣＤセンサの飽和電荷量５００ｍＶをＡＤ変換出力の解像度である１０ビット（１０２３階調）に割り当てている場合に、ＩＳＯ２００に設定してゲインアップした場合であっても、飽和電荷量５００ｍＶをＡＤ変換出力の解像度である１０ビット（１０２３階調）のままとし、センサ出力が２５０ｍＶを超える信号をＲＧＢγ補正レベル（ビット長）拡張した上で、後段の処理へ送るようにしている。

本発明に係る画像信号処理装置によれば、ＲＧＢγ補正処理の出力レベル（ビット長）を拡張してから輝度信号と色差信号を作る。ＲＧＢγ補正出力のビット長を拡張することで、理想的なγ曲線に近い特性を持つＲＧＢγ補正を行なうことができる。具体的には、ＲＧＢγ補正出力を９ビット持つことにより、色差信号にはγ^1/2.2やｓＲＧＢγに近い特性で色差信号を作成する。

この場合、ビット拡張されたＲＧＢγ出力を色差変換する過程で色差信号に対してクリップが掛かるが、べき乗γ（γ^1/2.2）による９ビットのＲＧＢγ補正出力から８ビットの色差信号を作ることにより、べき乗γに乗っている上位ビット拡張で色差マトリクス・クリップが掛かりにくくなることから、高輝度領域で色差クリッピングや色相回りを大幅に改善することができる。

また、輝度信号に関しては、出力すべき８ビット長すなわち２５５階調に収めるべく、非線形補正手段が前段のＲＧＢγ補正に対するΔγ補正と位置付けられる非線形処理を施すことにより、ダイナミック・レンジの広い輝度信号を確保することができる。

前記ＲＧＢγ補正手段は、低感度設定時にはＲＧＢγ補正は従来と同じビット長で出力し、ゲインアンプから拡張した上位ビットは使用しないので、前記出力ビット長に合わせた出力を行なう低感度用ＲＧＢγ曲線を適用する。一方、高感度設定時には、低輝度から中輝度までは前記低感度用ＲＧＢγ曲線に従うことによって、低感度設定時の撮影画像とコントラストを揃える。また、高輝度域ではべき乗γに従う曲線を持つ高感度用ＲＧＢγ曲線を適用して、前記出力ビット長よりもビット拡張した信号を出力することで、上述したように、高輝度域での大幅な色回り抑圧とダイナミック・レンジの拡大を実現することができる。

また、前記Δγ補正手段は、例えば、ＲＧＢγ曲線で低輝度から中輝度までの画作りγ曲線で構成される領域ではΔγ補正入力をそのままΔγ補正出力とする直線状にする。一方、画作りγ曲線からγ^1/2.2曲線へ乗り換える場所を基準にして、それ以降の高輝度域で２５５階調に収まるように圧縮する曲線からなるΔγ曲線を用いて、輝度信号の階調変換を行なうことによって、高輝度部の階調を保ったままダイナミック・レンジを確保することができる。

この場合、低輝度〜中輝度域では低感度設定時とコントラストを揃えることができるものの、高輝度域でのみ階調圧縮を行なうため、この領域で階調が不足して輝度再現性が劣化する。例えば、高輝度部分が多く含まれる撮像画像においては、その影響が現れることが懸念される。

そこで、前記Δγ補正手段は、Δγ曲線（非線形補正曲線）を任意に引くことにより、輝度信号のダイナミック・レンジ圧縮と同時に輝度信号階調の改善を図るようにしてもよい。具体的には、輝度信号をヒストグラム検波してヒストグラムが集中する輝度域を判別するヒストグラム検波手段と、ヒストグラムが集中する輝度域における階調圧縮の度合いを緩和するように適応的にΔγ曲線を生成するΔγ曲線生成手段をさらに備える、前記Δγ補正手段は前記Δγ曲線生成手段から供給されるΔγ曲線に従って輝度信号の階調変換を行なうようにする。この場合、高輝度部分にヒストグラムが集中しているような画像では、高輝度側に階調特性を持ったΔγ曲線に修正することで、高輝度の階調特性を改善することができる。

他方、高感度用の階調変換を行なう場合には、通常のＲＧＢγテーブルに加えて、Δγ補正に使用するΔγテーブルを装備しなければならず、回路規模の増大を招くことになる。そこで、前記Δγ補正手段は、ＲＧＢγ曲線で低輝度から中輝度までの画作りγ曲線で構成される領域ではΔγ補正入力をそのままΔγ補正出力とする直線状とするとともに、画作りγ曲線からγ^1/2.2曲線へ乗り換える場所を基準にして以降の高輝度域で２５５階調に収まるように直線近似されたΔγ曲線を用いて輝度信号の階調変換を行なうようにしてもよい。この場合、Δγテーブルを参照せず、簡単な関数計算により輝度信号の階調変換を行なうことができるので、回路規模を削減することができる。

また、本発明のように広いダイナミック・レンジ信号を出力フォーマットの８ビットに階調変換すると、高輝度側での階調感が不足するという問題がある。これに対しては、例えばアパーチャ補償することによって、高輝度の解像特性を補うことができる。

具体的には、本発明に係る画像信号処理装置は、前記ＲＧＢγ補正手段によるＲＧＢγ補正前のＧ信号やγ補正前のＲＧＢ信号から作った輝度信号、又はγ変換出力信号から算出した輝度信号のいずれか又は両方から高域信号を得るハイパス・フィルタと、Δγ補正した後又は前の輝度信号Ｙを入力して、例えばΔγ曲線が直線から階調圧縮される曲線に切り替わる変化点を超える部分を検出し、変化点以下の部分ではゲイン値を０とし、変化点を超える部分では輝度信号レベルに応じたゲイン値０〜１を出力する輝度信号レベル検出手段をさらに備える。そして、前記ハイパス・フィルタの出力と前記レベル検出部手段からのゲイン値を乗算することによって高域補償信号を生成し、これをΔγ補正後又はΔγ補正する前の輝度信号に加算する。これによって、高輝度域でのエッジ部分を輝度信号に重畳することができ、高輝度での解像度特性を補償する。

本発明に係る画像信号処理装置をデジタルカメラに搭載することで、感度設定毎に適正な固体撮像素子の出力信号レベルを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くすると同時に、飽和電荷量付近での色相回りを低減することが可能となる。

但し、ＲＧＢγ補正出力をビット拡張して輝度信号についてさらにΔγ補正を掛けるという高感度用階調変換は、通常の階調変換に比べてシステム制御負荷が高くなる。そこで、画像信号処理装置が撮像装置に搭載される場合には、前記静止画撮影モード下ではΔγ補正手段により前記出力ビット長に収まるように階調変換された輝度信号を出力し、前記モニタリング・モード下では前記色変換手段により作成された輝度信号を直接出力する選択出力手段をさらに備えるようにしてもよい。

このような場合、デジタルカメラがモニタリング・モード下では、Δγ補正が適用されず、出力される輝度信号は２５５階調でクリップされて高輝度部分の情報が抜けてしまうが、画像保存する訳ではないので、システム制御負荷の低減を優先しても特に問題はない。

本発明によれば、固体撮像素子などから得られた画像信号を適切なダイナミック・レンジで輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）からなる画像信号に変換することができる、優れた画像信号処理装置及び画像信号処理方法を提供することができる。

また、本発明によれば、デジタルカメラの感度設定毎に適正な固体撮像素子の出力信号レベルを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くすると同時に、飽和電荷量付近での色相回りを低減することができる、優れた画像信号処理装置及び画像信号処理方法を提供することにある。

本発明によれば、ＲＧＢγ補正処理の出力レベル（ビット長）を拡張してから輝度信号と色差信号を作るので、色差信号に関しては、従来のＲＧＢγ補正によるクリップがなくなることにより、ダイナミック・レンジと色回りが改善される。色回り並びに色ダイナミック・レンジについては、ビット拡張されたＲＧＢγ出力を色差変換する過程で色差信号に対してクリップが掛かるが、十分なＲＧＢγ出力レベルを持つことにより、大幅な色回り抑圧とダイナミック・レンジの拡大を実現することができる。また、輝度信号に関しては、さらに輝度専用の非線形処理を施して出力すべき２５５階調に収めることにより、ダイナミック・レンジの広い輝度信号を得ることができる。

また、輝度信号の高感度用階調変換は通常の階調変換に比べてシステム制御負荷が高くなることから、本発明に係る画像信号処理を搭載した撮影装置においては、静止画撮影時のみ高感度用階調変換を適用し、ファインダ出力するだけのモニタリング・モード時には適用しないことによって、システム制御負荷を低減することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本発明の一実施形態に係る画像信号処理装置の構成を示した図である。 図２は、ＪＰＥＧこの１０２３階調のＲＧＢ画像信号を、出力フォーマットであるＪＰＥＧに適合するようにγ補正によって２５５階調に割り振る様子を示した図である。 図３は、ＩＳＯ２００に設定してゲインアップした場合に、飽和電荷量５００ｍＶをＡＤ変換出力の解像度である１０ビット（１０２３階調）のままとし、２５０ｍＶを超える信号を使用する様子を示した図である。 図４は、本発明に係る画像信号処理装置がＩＳＯ２００、ＩＳＯ４００などを設定した場合の動作を行なうための機能的構成を示した図である。 図５は、ＡＧＣ４のゲインアンプの入出力例を示した図である。 図６は、γ^1/2.2曲線と画作りγ曲線を示した図である。 図７は、１０ビットのゲインアンプ出力を入力として９ビットを出力するＲＧＢγ曲線の構成例を示した図である。 図８は、ＩＳＯ２００設定時において輝度信号の出力ビット長を調整するためのΔγ補正曲線の構成例を示した図である。 図９は、Δγ曲線を任意に引くように構成された画像信号処理装置の構成例を示した図である。 図１０は、輝度域全体にわたって階調圧縮するようにして高輝度域での階調改善を図ったΔγ曲線の構成例を示した図である。 図１１は、直線近似したΔγ曲線の構成例を示した図である。 図１２は、アパーチャ補償することによって、高輝度の解像特性を補うように構成された画像信号処理装置の構成例を示した図である。 図１３は、レベル検出部１６の出力特性を示した図である。 図１４は、輝度信号に対してアパーチャ補償による高域補償を施した場合の高輝度の解像特性を説明するための図である。 図１５は、ＲＧＢγ補正部９による最終的な２５５階調圧縮出力の特性を示した図である。 図１６は、静止画撮影時のみ高感度用階調変換を適用する画像信号処理装置の構成例を示した図である。 図１７は、飽和信号量（最大出力）５００ｍＶのＣＣＤセンサ出力に対し１０ビットでＡＤ変換を行なう場合に、ＩＳＯ１００で５００ｍＶを１０２３階調として信号振幅の上限まですべて使用する様子を示した図である。 図１８は、ＩＳＯ２００では飽和電荷量の半分を信号振幅の上限に設定して、センサ出力２５０ｍＶを１０２３階調として入力信号を使用する様子を示した図である。 図１９Ａは、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の感度別Ｙ輝度信号出力総合γ特性を示した図である。 図１９Ｂは、低域ではＩＳＯ１００γ曲線を使うとともに、γ１／２．２曲線と交差する以降の高域ではγ１／２．２曲線を使った、画作り用のＩＳＯ２００４００ＲＧＢγ曲線を示した図である。 図２０は、ＩＳＯ４００設定時に輝度信号の出力ビット長を調整するためのΔγ補正曲線の構成例を示した図である。

符号の説明

１…ＣＣＤセンサ
２…ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路
３…ＡＤ変換器
４…ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）
５…ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）
８…デモザイク処理部
９…ＲＧＢγ補正部
１０…Ｙマトリクス計算部
１１…Ｃマトリクス計算部
１２…Δγ補正部
１３…ヒストグラム検波部
１４…Δγテーブル生成部
１５…ハイパス・フィルタ
１６…レベル検出部

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明の一実施形態に係る画像信号処理装置の構成を示している。同装置は、固体撮像素子などから得られた画像を信号処理して得られるＲＧＢ画像信号に基づいて、輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）を出力するものである。図示の例では、ＩＳＯ１００すなわち最低ＩＳＯ感度に設定した場合の動作を行なうための機能的構成を示している。

センサ１は、ＣＣＤなどの固体撮像素子が利用される。光電変換効果を持つ各画素が２次元に配列され、受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。

センサ１からの画素信号は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路２にてＣＣＤセンサ１から受ける信号の低雑音を高精度に抑圧した後、ＡＤ変換器３によりデジタル信号に変換する。さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）４により適正なゲイン・コントロールをかけた後に、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）５によりホワイトバランス・ゲインを掛けて適正な色状態を再現し、デモザイク処理部８によりＲＧＢ画面信号を作成する。

ＲＧＢγ補正部９では、ＲＧＢ信号をモニタなどで撮影画像を出力する際に階調を正しく再現させるために階調変換を行なう。ＣＣＤセンサ１の出力に対し１０ビットでＡＤ変換を行なわれている場合、１０ビット（すなわち１０２３階調）のＲＧＢ画像信号をγ補正によって８ビット（すなわち２５５階調）に割り振る。

その後、Ｙマトリクス計算部１０並びにＣマトリクス計算部１１それぞれで、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、符号化器（図示しない）でＪＰＥＧ圧縮して記録メディア（図示しない）にデータ保存される。

平均的な被写体の露光量からＣＣＤの飽和レベルまでの余裕がないのが現状であるから、最低ＩＳＯ感度ではＣＣＤの飽和レベルを標準ゲインすなわちＩＳＯ１００における使用信号振幅の上限されている。例えば、ＩＳＯ１００では５００ｍＶを１０２３階調としてすべて使用している（図１７を参照のこと）。そして、この１０２３階調のＲＧＢ画像信号を、出力フォーマットであるＪＰＥＧに適合するようにγ補正によって２５５階調に割り振る。この場合、飽和電荷量５００ｍＶのＣＣＤセンサに対して、ＩＳＯ１００では飽和電荷量に設定された１０２３階調を超えるデータは使用できない（図２を参照のこと）。

一方、最低ＩＳＯ感度よりも高いＩＳＯ感度設定では、ＣＣＤの出力で使用する信号量をゲインアップ分だけ少なくする（絞る）ことにより、高感度を実現し、露出補正では十分な感度が得られない低照度被写体を撮影が可能となる。露光量を標準露光よりも低く設定するので、飽和電荷量に至るまでの余裕が大きくなる一方で、従来は、ゲインアップ分だけ使用信号振幅の上限を低下させていたため、この上限から飽和電荷量までは未使用の領域になっていた。例えば、ＩＳＯ２００ではその半分のセンサ出力２５０ｍＶを１０２３階調としており（図１８を参照のこと）、ＣＣＤ最大出力すなわち飽和電荷量の半分しか使用していない。ＩＳＯ２００では使用信号振幅の上限２５０ｍＶを超える信号はＣＣＤセンサ出力としては有効であるにも拘らず、１０２３階調でクリップしてこれ以上の階調を使用しないのが一般的であった。

これに対し、本実施形態では、ＩＳＯ感度設定を変えてゲインアップした場合であっても、使用信号振幅の上限を変えずに、飽和電荷量に至るまでの領域を有効に使うことによって、ダイナミック・レンジを広げることにした。具体的には、図３に示すように、ＩＳＯ２００に設定してゲインアップした場合であっても、飽和電荷量５００ｍＶをＡＤ変換出力の解像度である１０ビット（１０２３階調）のままとし、２５０ｍＶを超える信号をＲＧＢγ補正レベル（ビット長）拡張して送り、非線形処理及びそれ以降の処理を適切に設定することで、ダイナミック・レンジを改善するとともに色回り低減を実現し、より良好な画像を得ることが可能になる。

図４には、本発明に係る画像信号処理装置がＩＳＯ２００に設定した場合の動作を行なうための機能的構成を示している。Ｇ市松ＲＢ色コーディング単板カメラにおいて、ＣＣＤセンサ１の出力信号をＣＤＳ処理後にＡＤ変換してデジタル信号を得る部分は、図１に示した構成と同様である。

図５には、ＡＧＣ４のゲインアンプの入出力例を示している。ＩＳＯ１００の設定では、ＡＤ変換器３からの１０２３階調の入力を×１（すなわちスルー）して１０２３階調で出力する。一方、ＩＳＯ２００に設定した場合、１０２３階調の入力（図５（Ａ）を参照のこと）に対してＩＳＯ感度アップ分に相当する６ｄＢを掛けた後、従来のように１０２３階調でクリップすることなく、＋６ｄＢ分の２０４７階調という広いレンジで出力し（図５（Ｂ）を参照のこと）、後段のＲＧＢγ補正までダイナミック・レンジの広い信号を送る。

図４に示した構成によれば、ＲＧＢγ補正処理の出力レベル（ビット長）を拡張した後で輝度信号と色差信号を作ることができる。この場合、色差信号は従来のＲＧＢγ補正によるクリップがなくなることにより、ダイナミック・レンジと色回りが改善される。また、輝度信号に関しては、出力フォーマットである２５５階調に収めるべく、非線形処理（本明細書では、「Δγ補正」とも呼ぶ）を施すことにより、ダイナミック・レンジの広い輝度信号を得ることができる。Δγ補正の詳細については後述に譲る。

ＩＳＯ１００設定時と比較して、ＩＳＯ２００設定時における信号処理の主な相違は、以下の点である。

（１）ゲイン・コントロール・アンプ以降の信号レベルを拡張して、信号処理の後段にダイナミック・レンジが広い信号を転送する。
（２）ＲＧＢγカーブの特性が相違し、γ補正出力信号のビット長がより長い。
（３）輝度信号にΔγ補正を施し、信号処理ビット長が相違する。

色回り並びに色ダイナミック・レンジについては、ビット拡張されたＲＧＢγ出力を色差変換する過程で色差信号に対してクリップが掛かるが、十分なＲＧＢγ出力レベルを持つことにより、大幅な色回り抑圧とダイナミック・レンジの拡大を実現することができる。

図５では、最低ＩＳＯ感度１００で１５０％のダイナミック・レンジ設定に対し、増感モードとしてＩＳＯ２００でダイナミック・レンジを３００％の２０４７階調に拡張した例を挙げた。しかし、理論的には、ＩＳＯ４００で６００％の４０９５階調、以降同様にＩＳＯ８００で８１９１階調、ＩＳＯ１６００で１６３８３階調という具合に、高感度でダイナミック・レンジの改善が可能となる。なお、ここで言うダイナミック・レンジ１００％とは、入力６８３に対して出力２５５がある場合である。

ＲＧＢγ補正部９では、ＩＳＯ２００の場合、ゲインアンプ４からの１１ビット（＝２０４７）のＲＧＢ画像信号入力の階調変換を行なう。通常のＲＧＢγ補正曲線の出力は８ビットであり、これから下式に従って輝度信号と色差信号を算出する。

ＲＧＢγ曲線はγ^1/2.2（べき乗γ）やｓＲＧＢγが理想的である。しかし、出力レベルを８ビット長に揃える都合上、実際の画面作りのために使用するγ曲線（以下では、「画作りγ」とも呼ぶ）はこれから逸脱する場合が多い。ところが、理想的なγ曲線から実際の画作りγ曲線の特性が外れる結果として、輝度階調表現不足や色差信号白飛び、色相回りなどの副作用が生じる。

図６には、テレビジョンなどにおいて理想的とされるγ^1/2.2曲線と画作りγ曲線を例示している。但し、γ^1/2.2曲線を点線で表し、画作りγ曲線を実線で示している。図示の設定の場合、信号入力“１０２３”に対して（すなわち、ダイナミック・レンジ１５０％として）γ^1/2.2を引くと、出力は８ビットの２５５階調には収まらず、３０５階調まで使用してしまう。これに対して、中輝度域でのコントラスト間や高輝度域での階調を考慮して“２５５”出力に合わせた画作りγ曲線を設計することになる。この結果、高輝度階調は何とか入力信号レベル分だけ確保することができるが、γ^1/2.2から外れるために、色差信号白飛びや色相回りが観察される。この副作用を抑圧するために輝度信号レベルから見て色を消すシステムが考案されているが、色が抜けるので画像白飛びを起こしているように見えてしまう、という問題を生じる。一般に、べき乗からγ曲線が外れると、色相回りが発生する。

そこで、本実施形態では、ＲＧＢγ補正出力を、最終段（本画像信号処理装置の出力時）における出力ビット長よりもビット拡張することで理想的なγ曲線に近い特性を持つＲＧＢγ補正を行なって、色変換処理前での色相回りの要因を取り除くようにした。具体的には、ＲＧＢγ補正部９では、例えばＩＳＯ２００の場合、出力を９ビット持つことにより、色差信号にはγ^1/2.2やｓＲＧＢγに近い特性で色差信号を作成することができる。また、輝度信号Ｙに関しては、後段のΔγ補正部１２により適宜階調圧縮して８ビットの出力信号を得る。

続いて、ＲＧＢγ補正部９が使用するＲＧＢγ曲線の構成方法について説明する。

図７には、１１ビットのゲインアンプ出力を入力として９ビットを出力するＲＧＢγ曲線の構成例を示している。最低ＩＳＯ感度１００で１５０％ダイナミック・レンジ（１０２３階調）設定として、ＩＳＯ２００では３００％ダイナミック・レンジ（２０４７階調）を確保するように構成されている。

感度モードがＩＳＯ１００に設定されている場合には、１０２３までしか信号入力がないので、１０２３階調のγ入力に対してＲＧＢγ補正部９は従来と同じ２５５階調でγ出力する（図７中の一点鎖線を参照）。この場合、ゲインアンプ４から拡張した上位ビットは使用しない（すなわち１０２３でクリップする）ので、輝度信号に対するΔγ補正は不要となる（図１を参照のこと）。

これに対し、感度モードがＩＳＯ２００に設定されている場合には、図５に示したように、前段のＡＧＣ３でゲインアップによりビット拡張されているため、ＩＳＯ１００のとき（１５０％ダイナミック・レンジを想定）の２倍、すなわち３００％のダイナミック・レンジを持った信号がＲＧＢγ補正部９へのγ入力となる。この入力信号に対しては、ＲＧＢγ補正部９は、出力が８ビットから１ビット拡張された９ビットになるようなＲＧＢγ曲線で階調変換を掛ける。図７中において実線で示すように、高輝度領域では、ＲＧＢγ曲線として例えば、γ^1/2.2を使用することにより、色相回りを低減するとともに、ダイナミック・レンジを確保している。また、低輝度から中輝度までは、ＩＳＯ１００と同じ画作りγ曲線を使用して、コントラストを揃える。

図７で示すビット拡張したＩＳＯ２００用のＲＧＢγ補正曲線は、入力信号レベルで１００％前後、すなわち、画作りγ曲線とγ^1/2.2が交差する箇所で、画作りγ曲線からγ^1/2.2曲線へ乗り換えている。そして、この高感度モードのＲＧＢγ補正では、２０４７階調からなる３００％のダイナミック・レンジを持つγ入力を４１９階調のγ出力に変換している。図７に示したような特性を持つＲＧＢγテーブルは、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納して保持されている。

ＲＧＢγ補正部９による９ビット出力は、後段のＹマトリクス計算部１０並びにＣマトリクス計算部１１に送られ、色変換処理が施される。輝度信号Ｙは、上式（１）の演算結果として９ビット出力となる。続くΔγ補正部１２では、この９ビットの輝度信号を出力フォーマットの８ビットに圧縮する。これにより、ＲＧＢγ補正出力を最大限に生かし、輝度階調を確保することができる。

図８には、Δγ補正曲線の構成例を示している。ＩＳＯ１００では、上述したようにダイナミック・レンジの拡張を行なわない。したがって、図８中の破線で示すように、８ビットのΔγ補正入力をそのままΔγ補正出力とする。すなわち、この場合のΔγ補正曲線は直線となる。

一方、ＩＳＯ２００では、図７に示したようにＲＧＢγ補正出力は４１９階調であるから、これにΔγ補正を掛けて出力フォーマットの８ビットに圧縮する必要がある。図８に示したΔγ曲線は、ＲＧＢγ曲線で低輝度から中輝度までの画作りγ曲線で構成される領域に関しては、Δγ補正入力をそのまま出力する直線状とするが、高輝度域では２５５階調に収まるように圧縮する曲線を描いている。これによって、高輝度部の階調を保ったままダイナミック・レンジを確保することができる。ここで言う高輝度域とは、ＲＧＢγ曲線において、画作りγ曲線からγ^1/2.2曲線へ乗り換える箇所（図７を参照のこと）を基準にして、それ以降の輝度領域を指す。図８に示したような特性を持つΔγテーブルは、例えばＲＯＭに格納して保持されている。

ここで、ＲＧＢγ補正部９の出力が８ビットから１ビット拡張された９ビットになる場合の効果の一例として、黄色の信号処理（黄色はＲ：Ｇ：Ｂ＝１：１：０）を挙げて、実際の階調レベルの計算結果を以下の表にまとめた。ＲＧＢγ入力１５０レベルは従来例（８ビット）と本実施形態（９ビット）で同じレベル出力となる。しかしながら、入力レベルが９００、１５００、２０００と大きくなるに従って、従来例ではγ出力は（Ｒ−Ｙ）＝２８、（Ｂ−Ｙ）＝−２２７に張り付いて色差に変化がなくなる。これに対し、本実施形態では、入力信号が９００で（Ｂ−Ｙ）は２５５に張り付くが、（Ｒ−Ｙ）出力は張り付くことなく線形的に増えていき、この結果として色相回りを抑制することができる。

図８に示したΔγ曲線を用いて輝度信号の階調変換を行なった場合、低輝度〜中輝度域ではＩＳＯ１００設定時とコントラストを揃えることができるものの、高輝度域でのみ階調圧縮を行なうことため、この領域で高輝度階調が不足する。例えば、高輝度部分が多く含まれる撮像画像においては、その影響が現れることが懸念される。

そこで、Δγ補正部１２では、Δγ曲線を任意に引くことにより、輝度信号のダイナミック・レンジ圧縮と同時に輝度信号階調の改善を図るようにしてもよい。例えば、高輝度部分が集中しているような画像では、高輝度側に階調特性を持ったΔγ曲線に修正することで、高輝度の階調特性を改善することができる。

図９には、Δγ曲線を任意に引くように構成された画像信号処理装置の構成例を示している。ヒストグラム検波部１３は、Ｙマトリクス計算部１０から出力される輝度信号Ｙをヒストグラム検波して、ヒストグラムが集中する輝度域を判別する。Δγ曲線生成部１４では、ヒストグラムが集中する輝度域における階調圧縮の度合いを緩和するように適応的にΔγ曲線を生成し、これをΔγテーブルとしてΔγ補正部１２に供給する。

図１０には、ヒストグラム検波部１３及びΔγテーブル生成部１４によって作成される、輝度域全体にわたって階調圧縮するようにして高輝度域での階調改善を図ったΔγ曲線の構成例を実線で示している。ＩＳＯ２００設定時には、４１９階調あるＲＧＢγ補正出力をΔγ入力として、これにΔγ補正を掛けて出力フォーマットの８ビットに圧縮するが、図８に示したΔγ曲線とは相違し、高輝度部だけでなく、低輝度〜中輝度域も含めて階調圧縮し、且つ中輝度域と高輝度域を滑らかな曲線で繋いでいる。

他方、高感度用の階調変換を行なう場合には、通常のＲＧＢγテーブルに加えて、Δγ補正部１２で使用するΔγテーブルを装備しなければならず、回路規模の増大を招くことになる。そこで、図８に示したようなΔγ曲線を図１１中の実線で示すように直線近似特性に置き換えると、Δγ補正部１２では、Δγテーブルを参照せず、簡単な関数計算により輝度信号の階調変換を行なうことができるので、回路規模を削減することができる。

また、本実施形態のように広いダイナミック・レンジ信号を出力フォーマットの８ビットに階調変換すると、高輝度側での階調感が不足するが、例えばアパーチャ補償することによって、高輝度の解像特性を補うことができる。図１２には、この場合の画像信号処理装置の構成例を示している。

ＲＧＢγ補正前のＧ信号、又はＹマトリクス部１０により作られたＲＧＢ画像信号から輝度信号Ｙのいずれか又は両方をハイパス・フィルタ（ＨＰＦ）１５に入力して高域信号を得る。ＨＰＦ１５は、例えば、−１，２−１ ３ＴＡＰフィルタなどで構成される。

レベル検出部１６は、Δγ補正した後の輝度信号Ｙを入力して、Δγ曲線が直線から階調圧縮される曲線に切り替わる変化点を超える部分を検出し、変化点以下の部分ではゲイン値を０とし、変化点を超える部分では輝度信号レベルに応じたゲイン値０〜１を出力する。レベル検出部１６の出力特性を図１３に示しておく。

そして、ＨＰＦ１５の出力とレベル検出部１６からのゲイン値を乗算して高域補償信号を生成し、これをΔγ補正部１２が出力する階調変換後の輝度信号Ｙに加算して、最終的な輝度信号Ｙを得るようにする。これによって、高輝度域でのエッジ部分を輝度信号に重畳することができ、高輝度の解像特性を補うことができる。例えば、高輝度域でのエッジを図１４（Ａ）とすると、図１４（Ｂ）に示すような高域補償信号が生成され、これらが加算されると図１４（Ｃ）に示すようにエッジ部分でパルス成分を含む輝度信号となり、階調圧縮されてもエッジが残り易くなる。

なお、図１２では、Δγ補正部１２の出力に対して高域補償信号を加算しているが、Δ補正前の輝度信号に加算しても、同様の効果を得ることができる。

図１５には、ＲＧＢγ補正部９によるビット拡張したγ補正特性と（図７を参照のこと）、Δγ補正部１２により輝度信号が出力フォーマットの８ビットに収まるようにΔγ補正するΔγ補正特性（図８を参照のこと）を統合した、ＩＳＯ１００における１０２３階調のγ入力、並びにＩＳＯ２００における２０４７階調のγ入力に対する最終的な２５５階調圧縮出力の特性を示している。

同図では、ＩＳＯ１００設定時のγ曲線を点線で示している。また、ＩＳＯ２００設定時においてＲＧＢγ補正部９によるγ出力を一点鎖線で示している。既に述べたように、ＲＧＢγ曲線において、画作りγ曲線からγ^1/2.2曲線へ乗り換える場所を基準にして、それ以降の高輝度域がΔγ圧縮領域となる。そして、当該領域においてΔγ補正による階調変換が行なわれた結果として、実線で示す最終的な２５５階調圧縮出力の特性を得ることができる。

輝度信号Ｙに関しては、９ビットのＲＧＢγ補正出力から上式（１）を基に算出し、上述したΔγ補正を適用して出力フォーマットの８ビットに圧縮する。

他方、色差信号に関しては、９ビットのＲＧＢγ補正出力から上式（２）〜（３）を基に算出し、その計算結果を８ビットにクリップして色差信号として出力する。

従来の８ビットγ入力に対し８ビットγ出力するＲＧＢγ補正では、画作りγ曲線がべき乗γから離れていることと（図６を参照のこと）、ＲＧＢγ曲線、色差マトリクスでのクリッピングにより、色相回りや色飛びが発生するという問題があった。

これに対し、本実施形態に係る画像信号処理では、べき乗γ（γ^1/2.2）による９ビットのＲＧＢγ補正出力から８ビットの色差信号を作ることにより、べき乗γに乗っている上位ビット拡張で色差マトリクス・クリップが掛かりにくくなることから、高輝度領域で色差クリッピングや色相回りを大幅に改善することができる。

上述したような画像信号処理装置をデジタルカメラに搭載することで、感度設定毎に適正な固体撮像素子の出力信号レベルを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くすると同時に、飽和電荷量付近での色相回りを低減することが可能となる。

但し、ＲＧＢγ補正出力をビット拡張して輝度信号についてさらにΔγ補正を掛けるという高感度用階調変換は通常の階調変換に比べてシステム制御負荷が高くなる。そこで、静止画撮影時のみ高感度用階調変換を適用し、ファインダ出力するだけのリアルタイム・モニタリング（画像確認）時にはこれを適用しないことによって、システム制御負荷を低減するようにしてもよい。

図１６には、この場合の画像信号処理装置の機能的構成を示している。図示のように、輝度信号Ｙの出力端において、Ｙマトリクス計算部１０の出力、又はΔγ補正部１２の出力を択一的に選択する選択手段を備えており、モニタリング・モードでは前者を、静止画撮影時には後者を選択出力するようになっている。モニタリング・モード下では、Δγ補正が適用されず、出力される輝度信号は２５５階調でクリップされて高輝度部分の情報が抜けてしまうが、画像保存する訳ではないので、システム制御負荷の低減を優先しても特に問題はない。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）などのテレビジョン信号で一般的なγ２．２を例にとってγ補正について説明してきたが、本発明の要旨はこれに限定されるものではない。例えばｓＲＧＢやＡｄｏｂｅＲＧＢなど他のフォーマットにおいても本発明を適用することで、同様の効果を奏することができる。

また、本明細書では、デジタルカメラの高感度モードとしてＩＳＯ２００においてダイナミック・レンジを２００％の２０４７階調に拡張した例を挙げたが、さらにＩＳＯ感度を上げる度にγ曲線を変更して、ダイナミック・レンジを広げることができる。理論的には、ＩＳＯ４００で４００％の４０９５階調、以降同様にＩＳＯ８００で８１９１階調、ＩＳＯ１６００で１６３８３階調という具合に、ゲインアップした分だけダイナミック・レンジの改善が可能となる。但し、ＡＧＣアンプ以降の信号レベルを確保するとともに、より大きなＲＧＢγテーブルを用意する必要がある。

図１９Ａには、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の感度別Ｙ輝度信号出力総合γ特性を示している。最低ＩＳＯ感度１００で１５０％のダイナミック・レンジ設定とすると、ＩＳＯ４００ではゲインアップによりビット拡張されている。このため、ＩＳＯ１００のとき４倍（６００％）のダイナミック・レンジを持った信号がＲＧＢγ補正の入力となる。この入力信号に対しては、出力が８ビットすなわち２５５階調からビット長が拡張された５７５階調になるＲＧＢγ曲線を掛ける。そして、高輝度部でγ^1/2.2を使用することにより、色相回りを低減し、ダイナミック・レンジを確保している。また、低輝度から中輝度までは、ＩＳＯ１００と同じ画作りγ曲線を使用して、コントラストを揃える。図１９Ｂには、低域ではＩＳＯ１００γ曲線を使うとともに、γ１／２．２曲線と交差する以降の高域ではγ１／２．２曲線を使った、画作り用のＩＳＯ２００４００ＲＧＢγ曲線を示している。

そして、このＲＧＢγ補正出力から上式（１）を基に輝度信号を算出するが、ＩＳＯ４００ではＲＧＢγ補正出力は５７５階調であるから、これにΔγ補正を掛けて出力フォーマットの８ビットに圧縮する必要がある。この場合のΔγ補正曲線は、図２０に示すように、ＲＧＢγ曲線で低輝度から中輝度までの画作りγ曲線で構成される領域に関しては、Δγ補正入力をそのまま出力する直線状とし、画作りγ曲線からγ^1/2.2曲線へ乗り換える場所を基準にして以降の高輝度域で２５５階調に収まるように圧縮する曲線を描いている。これによって、高輝度部の階調を保ったままダイナミック・レンジを確保することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、請求の範囲の記載を参酌すべきである。

Claims (9)

1. 被写体の撮像画像に基づいて所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置であって、
   被写体を撮像した画像信号を入力する画像信号入力手段と、
   入力した画像信号のダイナミック・レンジを拡張する増幅手段と、
   該ダイナミック・レンジが拡張された画像信号に基づいてＲＧＢ信号を算出する手段と、
   該ＲＧＢ信号に対してＲＧＢγ補正を行ない、前記出力ビット長よりもビット拡張した信号として出力するＲＧＢγ補正手段と、
   前記ＲＧＢγ補正手段によりビット拡張されたＲＧＢ信号に基づいて輝度信号及び色差信号を算出する変換手段と、
   該算出された輝度信号の出力レベルが前記出力ビット長に収まるように非線形補正を行なう非線形補正手段と、
   を具備することを特徴とする画像信号処理装置。
2. 前記画像入力手段は固体撮像素子により撮像された画像信号を入力し、該入力される画像信号の感度を設定する感度設定手段をさらに備え、
   ダイナミック・レンジを拡張された画像信号は、前記感度設定手段による高感度設定時におけるゲインアップにより生じる高輝度側の出力レンジを含む、
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記ＲＧＢγ補正手段は、
   前記感度設定手段による低感度設定時には前記出力ビット長に合わせた出力を行なう低感度用ＲＧＢγ曲線を適用し、
   前記感度設定手段による高感度設定時には、低輝度から中輝度までは前記低感度用ＲＧＢγ曲線に従うとともに、高輝度域ではべき乗γに従う曲線を持つ高感度用ＲＧＢγ曲線を適用して、前記出力ビット長よりもビット拡張した信号を出力する、
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 前記非線形補正手段は、ＲＧＢγ曲線について、低輝度から中輝度までの画作りγ曲線で構成される領域において、前記非線形補正手段への入力をそのまま前記非線形補正手段の出力とする直線状とし、画作りγ曲線からべき乗γ曲線へ乗り換える箇所以降の高輝度域においては、２５５階調に収まるように圧縮する曲線からなる非線形補正曲線を用いて輝度信号の階調変換を行なう、
   ことを特徴とする請求項３に記載の画像信号処理装置。
5. 輝度信号をヒストグラム検波してヒストグラムが集中する輝度域を判別するヒストグラム検波手段と、
   ヒストグラムが集中する輝度域における階調圧縮の度合いを緩和するように適応的に非線形補正曲線を生成する非線形補正曲線生成手段をさらに備え、
   前記非線形補正手段は前記非線形補正曲線生成手段から供給される非線形補正曲線に従って輝度信号の階調変換を行なう、
   ことを特徴とする請求項３に記載の画像信号処理装置。
6. 前記非線形補正手段は、ＲＧＢγ曲線で低輝度から中輝度までの画作りγ曲線で構成される領域では前記非線形補正手段への入力をそのまま前記非線形補正手段の出力とする直線状とするとともに、画作りγ曲線からべき乗γ曲線へ乗り換える箇所以降の高輝度域で２５５階調に収まるように直線近似された非線形補正曲線を用いて輝度信号の階調変換を行なう、
   ことを特徴とする請求項３に記載の画像信号処理装置。
7. 前記ＲＧＢγ補正手段によるＲＧＢγ補正前のＧ信号、γ補正前のＲＧＢ信号に基づいて算出した輝度信号、又はγ変換出力信号から算出した輝度信号のいずれか又は両方から高域信号を得るハイパス・フィルタと、
   非線形補正した後又は前の輝度信号Ｙを入力して、前記非線形補正曲線が直線から階調圧縮される曲線に切り替わる変化点を超える部分を検出し、変化点以下の部分ではゲイン値を０とし、変化点を超える部分では輝度信号レベルに応じたゲイン値０〜１を出力する輝度信号レベル検出手段と、
   前記ハイパス・フィルタの出力と前記レベル検出部手段からのゲイン値を乗算して高域補償信号を生成して、輝度信号に加算する高輝度解像度特性補償手段と、
   をさらに備えることを特徴とする請求項４に記載の画像信号処理装置。
8. 静止画撮影モードと画像確認用のモニタリング・モードを持つ撮像装置に搭載して用いられ、
   前記静止画撮影モード下では前記非線形補正手段により前記出力ビット長に収まるように階調変換された輝度信号を出力し、前記モニタリング・モード下では前記変換手段により作成された輝度信号を直接出力する選択出力手段をさらに備える、
   ことを特徴とする請求項１に記載の画像信号処理装置。
9. 被写体の撮像画像に基づいて所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理方法であって、
   被写体を撮像した画像信号を入力する画像信号入力ステップと、
   入力した画像信号のダイナミック・レンジを拡張する増幅ステップと、
   該ダイナミック・レンジが拡張された画像信号に基づいてＲＧＢ信号を算出するステップと、
   該ＲＧＢ信号に対してＲＧＢγ補正を行ない、前記出力ビット長よりもビット拡張した信号として出力するＲＧＢγ補正ステップと、
   前記ＲＧＢγ補正ステップにおいてビット拡張されたＲＧＢ信号に基づいて輝度信号及び色差信号を算出する変換ステップと、
   該算出された輝度信号の出力レベルが前記出力ビット長に収まるように非線形補正を行なう非線形補正ステップと、
   を具備することを特徴とする画像信号処理方法。