WO2007108317A1

WO2007108317A1 - 画像信号処理装置及び画像信号処理方法

Info

Publication number: WO2007108317A1
Application number: PCT/JP2007/054357
Authority: WO
Inventors: Toru Wakagi; Tatsuya Deguchi; Makiko Baba
Original assignee: Sony Corporation
Priority date: 2006-03-20
Filing date: 2007-03-06
Publication date: 2007-09-27
Also published as: US8208038B2; JP5018770B2; TW200803532A; EP1998571A1; CN101322416A; JPWO2007108317A1; CN101322416B; KR20080102117A; US20090066816A1

Abstract

　固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック・レンジを広くするとともに、色相回りの少ない画像を得る。　増感モードで露光量を低く設定したことにより飽和電荷量までの余裕が大きくなることを利用して、高輝度側の被写体の信号成分を含んだダイナミック・レンジの広いＲＧＢ信号を得る。まず、べき乗γに近いγ補正を施してから、輝度信号と色差信号に色空間変換し、輝度信号に対しては所定の階調に収まるように非線形圧縮処理を行ない、色差信号に対してはべき乗ガンマによる色回り低減と色差マトリックス・クリッピングを行なう。

Description

明細書

画像信号処理装置及び画像信号処理方法

技術分野

[0001] 本発明は、固体撮像素子などから得られた画像信号に基づいて、適切なダイナミツク 'レンジで輝度信号と色差信号 (Y/Cr/Cbなど）を出力する画像信号処理装置及び画像信号処理方法に係る。特に、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック 'レンジを広くするとともに、色相回りの少ない画像を得る画像信号処理装置及び画像信号処理方法に関する。

背景技術

[0002] カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フイノレムや感光板を使って撮影する銀塩カメラに代わって、 CCD (Charge Coupled Devi ceノゃ CMOS (し omplementary Mental— Oxide Semiconductor)などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号ィ匕された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないとレ、つた利点がある。

[0003] CCDセンサは、 2次元に配列された各画素（フォトダイオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。各画素の表面には、例えば R (赤）、緑 (G)、青（B)の 3色いずれかの色フィルタが設けられ、各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積される。そして、各画素から各色の入射光量に応じた信号電荷が読み出され、 3色の各信号電荷量から各画素位置における入射光の色を再現することができる。但し、各画素が蓄積できる信号電荷量には上限があり、画素を構成するフォトダイオードの飽和電荷量を超える信号電荷を蓄積することができないという制約がある。すなわち、センサ素子が持つノイズ 'レベルから、センサ素子が蓄積できる電荷の飽和量までの範囲がダイナミック ·レンジとなる。ダイナミツク 'レンジを外れた部分の画像は、白く飛ぶ、あるいは黒く潰れるといった現象として撮像画像上で観察される。 [0004] 人間の視覚は光量の桁数に対応して明るさを感じることができ、その範囲すなわちダイナミック ·レンジは 8桁と言われてレ、る。ネガフィルムのダイナミック ·レンジは少なくとも 4桁ある。一方、 CCDのダイナミック 'レンジは、例えば約 2. 4桁程度であり少々物足りない。近年では、微細化技術の進展により固体撮像素子の画素数が飛躍的に増え、解像力は銀塩写真に迫る反面、画素サイズに伴って飽和電荷量が小さくなり、ダイナミック 'レンジ不足の問題はさらに深刻となっている。

[0005] カメラには絞りとシャッター速度という光量を補正する機能があり、例えば 1絞り絞ると光量は半分になる。カメラに入射する光量を均等に半分にすれば、対数スケールに対してはその光量を 0. 5だけ平行移動させることができる。し力、しながら、カメラによる光量補正は、被写体の光量分布をダイナミック ·レンジの中に平行移動させるだけであり、ダイナミック 'レンジより広い光量分布に対しては意味がない。

[0006] また、シャッター速度を変えて、多重に記録して合成してダイナミック 'レンジを大きくする方法が知られている。すなわち、 CCDセンサ上で電子シャッター制御により、高速シャッター処理で飽和を回避した画像と、低速シャッター処理で十分な電子数の低輝度部分画像を得て合成することによって、良好なダイナミック ·レンジを確保すること力できる。しかしながら、 1枚の画像を得るために高速シャッター処理と低速シャッター処理の 2回だけ撮影する必要があるので、動いている物体に対して適切な静止画像を得ることはできなレ、。あるいは、 2重の撮像系が必要となることから、装置構成も複雑化する。

[0007] また、センサ部に感度の高いセンサと低いセンサを交互に配置して、 2つのセンサの情報を合成してダイナミック ·レンジを確保する方法も考えられるが、センサ構造やセンサ出力の信号処理が複雑化するという問題がある。

[0008] 例えば、撮像画像の輝度分布を検波して、逆光や白抜け、黒潰れの状態となった輝度分布を最適な輝度分布に補正して出力する信号処理方法について提案がなされている（例えば、特許文献 1を参照のこと）。この信号処理方法によれば、出力画像の輝度分布が大きい場合にはこれを一様化するように B—スプライン補間法などにより補正することで、 γ補正の入出力を制御して、最適な画像を得ることができる。

[0009] また、入力した画像信号に含まれる高輝度被写体信号を検出すると、この高輝度被写体信号に応じて撮影動作に用いる露光量を制御するとともに、露光量に基づいて画像信号に対する γ補正量に対して低輝度領域の輝度レベルを持ち上げるような制御を行なうことで、例えば逆光状態において高輝度被写体と低輝度被写体が共存する映像力良好な画像を得るようにした自動露光制御方法について提案がなされている（例えば、特許文献 2を参照のこと）。

[0010] また、 γ補正を使って画像信号のダイナミック 'レンジを確保する方法も考えられる。 _Ί補正とは、モニタなどで撮影画像を出力する際に、画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節して、階調 (輝度）を正しくはり自然に近い表示として）再現させるために階調を変換する処理である。モニタにおける階調 (輝度）特性は、 CCDからの入力信号のレベルに対して線形的に対して線形ではなぐ入力信号を Xとし、モニタの輝度レベルを yとすると、 γ = χ γの関係がある。そこで、この逆関数に相当する処理を施すのが γ補正である。 γ補正曲線は本来べき乗の関数であり、 Ύ係数を変更することでダイナミック 'レンジを確保することができる。しかしながら、 γ係数の変更により理想的な γ曲線から離れた部分における撮像画像においては、色バランスが崩れる、コントラスト劣化が発生するといつた影響が出るという問題がある。

[0011] また、固体撮像素子による撮影画像では、オーバー露光したときに高輝度部分で本来とは異なる色で表現されるという色相回りが生じるという問題がある。例えば、入射光のうち赤色の入射光量に応じた信号電荷量がフォトダイオードの飽和電荷量を超えてしまった場合、飽和電荷量に達してレ、なレ、緑色及び青色の各信号電荷量と赤色の信号電荷量 (飽和電荷量）とから再現した色は赤みが不足した色となる。特に、人間の目は肌色に敏感なため、肌色をオーバー露光で撮影したとき肌色の黄変が目立ってしまう。

[0012] この色相回りを回避する方法として、例えば、画像色回りの始まる高輝度部で色差信号レベル自体を抑圧する方法が考えられる。これは、一般に「色消し」と呼ばれる技術であり、輝度信号レベルがある閾値以上になると段階的に色を消して白に飛ばす処理を施す。し力ながら、色が抜けるので画像白飛びを起こしているように見えてしまう、という問題を生じる。 [0013] また、色相回りを回避する他の方法として、例えば RGB信号を輝度信号と色差信号 (Y/Cr/Cb)、あるいはさらに sRGB (standard RGB)に色空間変換した後に、色域を超えた信号に色差信号が回らないようにクリッピングすることも考えられる。この方法は「3Dルックアップ ·テーブル処理」と呼ばれる常套手段である力回路規模が非常に大きくなつてしまう。

[0014] これら従来の色相回り回避方法では、高輝度部での階調不足による白飛びが発生するという問題や、輝度信号と色差信号 (YZCr/Cb)に色空間変換する前の _Ί補正によつて RGB信号クリップが発生した結果の色回りを抑制することができないなどの問題がある。

[0015] 色相回りの問題は、ダイナミック 'レンジ不足と同様に、画素の飽和電荷量が不足することに伴う。デジタルカメラは、画素数の飛躍的な増大により解像力は銀塩写真に迫るものの、色再現性の点で銀塩写真に及ばない。

[0016] ところで、デジタルカメラには、ちょうど銀塩カメラにおける ISO感度に相当する感度条件を切り替える機能が設けられているものが多レ、。すなわち、露出補正によってもなお十分な感度が得られないような低照度被写体の撮像のために、ゲインアップという感度向上技術を適用する。ゲインアップにより、 CCDなどの出力信号を増幅して輝度レンジを相対的に高めることで感度を上げて、暗い場所や低照度被写体を撮影することが可能になる。 ISO100を標準感度とし、以降は増感モードとして ISO200、 IS O400などが用意されてレ、る。

[0017] ここで、デジタルカメラの ISO感度設定毎のセンサ出力に対して信号処理レンジを適正に設定しないことが多ぐ本来使用できる固定撮像素子の出力信号レンジを有効に活用していないという問題がある。以下では、この点について考察してみる。

[0018] ISO100すなわち標準ゲインを使用する通常撮影時における使用信号振幅の上限を sとし、このときのゲインを aとすると、 ISO200すなわちゲインアップ時における使用信号振幅の上限は s/2となり、ゲインは 2aとなる。ゲインアップした増感モード下では、露光量を標準露光よりも低く設定するので、飽和電荷量に至るまでの余裕が大きくなることから、撮像可能な被写体の高輝度側の撮像レンジを拡大して、その CC Dなどの出力信号には通常撮影モードでは得られない高輝度側の被写体の信号成分を含めることができるはずである。

[0019] 平均的な被写体の露光量から CCDの飽和レベルまでの余裕がないのが現状であるから、一般には CCDの飽和レベルを標準ゲインすなわち ISO100における使用信号振幅の上限とする。例えば、飽和信号量 (最大出力） 500mVの CCDセンサ出力に対し 10ビットで AD変換を行なうとすると、 ISO100では 500mVを 1023階調としてすべて使用する（図 17を参照のこと）。そして、 JPEG ioint Picture Experts Gr oup)であればこの 1023階調の RGB画像信号を _Ί補正によって 255階調に割り振る。一方、 ISO200ではその半分のセンサ出力 250mVを 1023階調とし（図 18を参照のこと）、ゲインアンプ出力時には 1023階調で信号をクリップするから、 CCD最大出力すなわち飽和電荷量の半分しか使用していないことになる。

[0020] し力、し、 250mVから 500mVに至るまでの領域は CCDセンサ出力としては有効であるから、高輝度側の撮像レンジとして活用すべきである。ところ力増感モードでも標準モードと同じ γ補正回路により階調変換を行なうと、標準モードにおける撮像レンジ限界（図 17に示す例では 1023階調)を基準にして階調変換可能な被写体の高輝度側の撮像レンジが制限されてしまい、増感モードで拡大される高輝度側の撮像レンジの拡大効果を画像に反映させることができない。

[0021] これに対し、ゲインアップと階調変換特性の変更を併せて行なう、すなわち高ゲイン時には階調変換特性の有効最大入力値を高く設定するという階調変換特性の変換を行なうことにより、ゲインアップによって生じる撮像素子の高輝度側の撮像レンジの拡大効果を画像に反映させて、被写体の高輝度側の再現域を拡大することができる撮像装置について提案がなされている (例えば、特許文献 3を参照のこと)。

[0022] この撮像装置によれば、 ISO200では 500mVを 2047階調としてすベて使用し、「広 Dレンジ時 _Ί特性」に従って 2048ビットの RGB画像信号を _Ί補正によって 255階調に割り振ることができる。この「広 Dレンジ時 γ特性」は、飽和電荷量の 75。/₀までの低輝度側の領域では標準 γ特性と同特性とし、それ以上の高輝度側の領域では階調の圧縮度合レ、が高くなるように設定されてレ、る。

[0023] し力、しながら、特許文献 3などによる方法では、階調の圧縮度合いを高めた高輝度域での再現性が犠牲になることは否めない。特に RGB信号を輝度信号と色差信号（ Y/Cr/Cb)に色空間変換する前に、 γ補正によって規定の階調に収まるように階調変換してしまうと、 RGB信号クリップが発生した結果の色回りや色飛びを十分抑制することはできない。同文献では、ダイナミック 'レンジの改善に関する方法は開示されているが、色差信号の飽和レベル付近での色相回りの問題について言及はなレ、。

[0024] 特許文献 1 :特開 2003— 179809号公報

特許文献 2：特開 2004— 23605号公報

特許文献 3 :特開 2002— 33956号公報（図 2、段落 0036)

発明の開示

発明が解決しょうとする課題

[0025] 本発明の目的は、固体撮像素子などから得られた画像信号に基づいて、ダイナミツク 'レンジで輝度信号と色差信号 (Y/Cr/Cbなど）を出力することができる、優れた画像信号処理装置及び画像信号処理方法を提供することにある。

[0026] 本発明のさらなる目的は、デジタルカメラの感度設定毎に適正な信号処理レンジを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック'レンジを広くするとともに、色相回りの少ない画像を得ることができる、優れた画像信号処理装置及び画像信号処理方法を提供することにある。

課題を解決するための手段

[0027] 本発明は、上記課題を参酌してなされたものであり、被写体の撮像画像に基づいて所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置であつて、

被写体を撮像した画像信号を入力する画像信号入力手段と、

入力した画像信号のダイナミック 'レンジを拡張する増幅手段と、

該ダイナミック ·レンジが拡張された画像信号に基づレ、て RGB信号を算出する手段と、

該 RGB信号に対して RGB 補正を行ない、前記出力ビット長よりもビット拡張した信号として出力する RGB 補正手段と、

前記 RGB γ補正手段によりビット拡張された RGB信号に基づいて輝度信号及び色差信号を算出する変換手段と、該算出された輝度信号の出力レベルが前記出力ビット長に収まるように非線形補正を行なう非線形補正手段と、

を具備することを特徴とする画像信号処理装置である。

[0028] 本発明は、 CCDなどの固体撮像素子を用いてデジタル画像を撮像する撮像装置において、固体撮像素子から得られる画像信号に基づいて、適切なダイナミック'レンジで輝度信号と色差信号 (Y/Cr/Cbなど)を出力する画像信号処理装置に関する。

[0029] デジタルカメラと呼ばれるこの種の撮像装置は、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題から解放されるという利便性がある。最近では、微細化技術の進展により固体撮像素子の画素数が飛躍的に増え、解像度は銀塩写真に迫るものの、飽和電荷量の制約により、ダイナミック 'レンジ不足や、高輝度域における色相回りという深刻な問題があり、色再現性の点では銀塩写真には及ばない。

[0030] これに対し、本発明に係る画像信号処理装置は、デジタルカメラを最低 ISO感度よりも高い ISO感度設定にしたときには、露光量を標準露光よりも低く設定するので飽和電荷量に至るまでの余裕が大きくなるという点に着眼し、 ISO感度設定を高感度に切り替えてゲインアップした場合であっても、使用信号振幅の上限を変えずに、ゲインアップによって生じる固体撮像素子の高輝度側の出力レンジを含むダイナミック'レンジの広い RGB信号を入力して、飽和電荷量に至るまでの領域を有効に使うように構成されている。

[0031] 具体的には、最低感度の ISO100において CCDセンサの飽和電荷量 500mVを A D変換出力の解像度である 10ビット（1023階調）に割り当てている場合に、 ISO200 に設定してゲインアップした場合であっても、飽和電荷量 500mVを AD変換出力の解像度である 10ビット（1023階調）のままとし、センサ出力が 250mVを超える信号を RGB y補正レベル (ビット長）拡張した上で、後段の処理へ送るようにしている。

[0032] 本発明に係る画像信号処理装置によれば、 RGB y補正処理の出力レベル (ビット長）を拡張してから輝度信号と色差信号を作る。 RGB 補正出力のビット長を拡張することで、理想的な γ曲線に近い特性を持つ RGB τ /補正を行なうことができる。具体的には、 RGB γ補正出力を 9ビット持つことにより、色差信号には γ ^1/2·²や sRGB y に近レ、特性で色差信号を作成する。

[0033] この場合、ビット拡張された RGB γ出力を色差変換する過程で色差信号に対してクリップが掛かる力べき乗 γ ( y ^1/2-²)による 9ビットの RGB y補正出力から 8ビットの色差信号を作ることにより、べき乗 γに乗っている上位ビット拡張で色差マトリクス'クリップが掛力にくくなることから、高輝度領域で色差クリッピングや色相回りを大幅に改善することができる。

[0034] また、輝度信号に関しては、出力すべき 8ビット長すなわち 255階調に収めるベぐ非線形補正手段が前段の RGB γ補正に対する Δ γ補正と位置付けられる非線形処理を施すことにより、ダイナミック ·レンジの広レ、輝度信号を確保することができる。

[0035] 前記 RGB y補正手段は、低感度設定時には RGB y補正は従来と同じビット長で出力し、ゲインアンプから拡張した上位ビットは使用しないので、前記出力ビット長に合わせた出力を行なう低感度用 RGB γ曲線を適用する。一方、高感度設定時には、低輝度から中輝度までは前記低感度用 RGB γ曲線に従うことによって、低感度設定時の撮影画像とコントラストを揃える。また、高輝度域ではべき乗 γに従う曲線を持つ高感度用 RGB γ曲線を適用して、前記出力ビット長よりもビット拡張した信号を出力することで、上述したように、高輝度域での大幅な色回り抑圧とダイナミック 'レンジの拡大を実現することができる。

[0036] また、前記 Δ γ補正手段は、例えば、 RGB y曲線で低輝度から中輝度までの画作り γ曲線で構成される領域では Δ γ補正入力をそのまま Δ y補正出力とする直線状にする。一方、画作り γ曲線から γ ²曲線へ乗り換える場所を基準にして、それ以降の高輝度域で 255階調に収まるように圧縮する曲線からなる Δ γ曲線を用いて、輝度信号の階調変換を行なうことによって、高輝度部の階調を保ったままダイナミック •レンジを確保することができる。

[0037] この場合、低輝度〜中輝度域では低感度設定時とコントラストを揃えることができるものの、高輝度域でのみ階調圧縮を行なうため、この領域で階調が不足して輝度再現性が劣化する。例えば、高輝度部分が多く含まれる撮像画像においては、その影響が現れることが懸念される。 [0038] そこで、前記 Δ γ補正手段は、 Δ y曲線 (非線形補正曲線)を任意に引くことにより、輝度信号のダイナミック 'レンジ圧縮と同時に輝度信号階調の改善を図るようにしてもよレ、。具体的には、輝度信号をヒストグラム検波してヒストグラムが集中する輝度域を判別するヒストグラム検波手段と、ヒストグラムが集中する輝度域における階調圧縮の度合いを緩和するように適応的に Δ 曲線を生成する Δ γ曲線生成手段をさらに備える、前記 Δ γ補正手段は前記 Δ γ曲線生成手段から供給される Δ γ曲線に従つて輝度信号の階調変換を行なうようにする。この場合、高輝度部分にヒストグラムが集中しているような画像では、高輝度側に階調特性を持った Δ γ曲線に修正することで、高輝度の階調特性を改善することができる。

[0039] 他方、高感度用の階調変換を行なう場合には、通常の RGB yテーブルに加えて、

Δ γ補正に使用する Δ γテーブルを装備しなければならず、回路規模の増大を招くことになる。そこで、前記 Δ γ補正手段は、 RGB τ /曲線で低輝度から中輝度までの画作り γ曲線で構成される領域では Δ γ補正入力をそのまま Δ y補正出力とする直線状とするとともに、画作り γ曲線から γ ^1/2·²曲線へ乗り換える場所を基準にして以降の高輝度域で 255階調に収まるように直線近似された Δ y曲線を用いて輝度信号の階調変換を行なうようにしてもよい。この場合、 Δ γテーブルを参照せず、簡単な関数計算により輝度信号の階調変換を行なうことができるので、回路規模を削減すること力 Sできる。

[0040] また、本発明のように広いダイナミック 'レンジ信号を出力フォーマットの 8ビットに階調変換すると、高輝度側での階調感が不足するという問題がある。これに対しては、例えばアパーチャ補償することによって、高輝度の解像特性を補うことができる。

[0041] 具体的には、本発明に係る画像信号処理装置は、前記 RGB 補正手段による RG B 補正前の G信号や γ補正前の RGB信号から作った輝度信号、又は _Ί変換出力信号から算出した輝度信号のいずれか又は両方から高域信号を得るハイパス'フィノレタと、 Δ γ補正した後又は前の輝度信号 Υを入力して、例えば Δ γ曲線が直線から階調圧縮される曲線に切り替わる変化点を超える部分を検出し、変化点以下の部分ではゲイン値を 0とし、変化点を超える部分では輝度信号レベルに応じたゲイン値 0〜：!を出力する輝度信号レベル検出手段をさらに備える。そして、前記ハイパス'フィルタの出力と前記レベル検出部手段からのゲイン値を乗算することによって高域補償信号を生成し、これを Δ γ補正後又は Δ γ補正する前の輝度信号に加算する。これによって、高輝度域でのエッジ部分を輝度信号に重畳することができ、高輝度での解像度特性を補償する。

[0042] 本発明に係る画像信号処理装置をデジタルカメラに搭載することで、感度設定毎に適正な固体撮像素子の出力信号レベルを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック 'レンジを広くすると同時に、飽和電荷量付近での色相回りを低減することが可能となる。

[0043] 但し、 RGB y補正出力をビット拡張して輝度信号についてさらに Δ y補正を掛けるという高感度用階調変換は、通常の階調変換に比べてシステム制御負荷が高くなる。そこで、画像信号処理装置が撮像装置に搭載される場合には、前記静止画撮影モード下では Δ γ補正手段により前記出力ビット長に収まるように階調変換された輝度信号を出力し、前記モニタリング 'モード下では前記色変換手段により作成された輝度信号を直接出力する選択出力手段をさらに備えるようにしてもよい。

[0044] このような場合、デジタルカメラがモニタリング 'モード下では、 Δ γ補正が適用されず、出力される輝度信号は 255階調でクリップされて高輝度部分の情報が抜けてしまうが、画像保存する訳ではないので、システム制御負荷の低減を優先しても特に問題はない。

発明の効果

[0045] 本発明によれば、固体撮像素子などから得られた画像信号を適切なダイナミック- レンジで輝度信号と色差信号 (Y/CrZCbなど)からなる画像信号に変換することができる、優れた画像信号処理装置及び画像信号処理方法を提供することができる。

[0046] また、本発明によれば、デジタルカメラの感度設定毎に適正な固体撮像素子の出力信号レベルを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック 'レンジを広くすると同時に、飽和電荷量付近での色相回りを低減することができる、優れた画像信号処理装置及び画像信号処理方法を提供することにある。

[0047] 本発明によれば、 RGB γ補正処理の出力レベル（ビット長）を拡張してから輝度信号と色差信号を作るので、色差信号に関しては、従来の RGB γ補正によるクリップがなくなることにより、ダイナミック 'レンジと色回りが改善される。色回り並びに色ダイナミック'レンジについては、ビット拡張された RGB γ出力を色差変換する過程で色差信号に対してクリップが掛かる力十分な RGB γ出力レベルを持つことにより、大幅な色回り抑圧とダイナミック 'レンジの拡大を実現することができる。また、輝度信号に関しては、さらに輝度専用の非線形処理を施して出力すべき 255階調に収めることにより、ダイナミック ·レンジの広レ、輝度信号を得ることができる。

[0048] また、輝度信号の高感度用階調変換は通常の階調変換に比べてシステム制御負荷が高くなることから、本発明に係る画像信号処理を搭載した撮影装置においては、静止画撮影時のみ高感度用階調変換を適用し、ファインダ出力するだけのモニタリング ·モード時には適用しないことによって、システム制御負荷を低減することができる。

[0049] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

[0050] [図 1]図 1は、本発明の一実施形態に係る画像信号処理装置の構成を示した図である。

[図 2]図 2は、 JPEGこの 1023階調の RGB画像信号を、出力フォーマットである JPEG に適合するように γ補正によって 255階調に割り振る様子を示した図である。

[図 3]図 3は、 ISO200に設定してゲインアップした場合に、飽和電荷量 500mVを A D変換出力の解像度である 10ビット（1023階調）のままとし、 250mVを超える信号を使用する様子を示した図である。

[図 4]図 4は、本発明に係る画像信号処理装置が IS〇200、 ISO400などを設定した場合の動作を行なうための機能的構成を示した図である。

[図 5]図 5は、 AGC4のゲインアンプの入出力例を示した図である。

[図 6]図 6は、 γ ^1/2·²曲線と画作り γ曲線を示した図である。

[図 7]図 7は、 10ビットのゲインアンプ出力を入力として 9ビットを出力する RGB γ曲線の構成例を示した図である。 [図 8]図 8は、 ISO200設定時において輝度信号の出力ビット長を調整するための Δ γ補正曲線の構成例を示した図である。

園 9]図 9は、 Δ y曲線を任意に引くように構成された画像信号処理装置の構成例を示した図である。

園 10]図 10は、輝度域全体にわたって階調圧縮するようにして高輝度域での階調改善を図った Δ 曲線の構成例を示した図である。

[図 11]図 11は、直線近似した Δ y曲線の構成例を示した図である。

園 12]図 12は、アパーチャ補償することによって、高輝度の解像特性を補うように構成された画像信号処理装置の構成例を示した図である。

[図 13]図 13は、レベル検出部 16の出力特性を示した図である。

園 14]図 14は、輝度信号に対してアパーチャ補償による高域補償を施した場合の高輝度の解像特性を説明するための図である。

園 15]図 15は、 RGB γ補正部 9による最終的な 255階調圧縮出力の特性を示した図である。

[図 16]図 16は、静止画撮影時のみ高感度用階調変換を適用する画像信号処理装置の構成例を示した図である。

[図 17]図 17は、飽和信号量 (最大出力） 500mVの CCDセンサ出力に対し 10ビットで AD変換を行なう場合に、 ISO100で 500mVを 1023階調として信号振幅の上限まですベて使用する様子を示した図である。

[図 18]図 18は、 ISO200では飽和電荷量の半分を信号振幅の上限に設定して、センサ出力 250mVを 1023階調として入力信号を使用する様子を示した図である。

[図 19A]図 19Aは、 IS〇100、 IS〇200、 ISO400の感度別 Y輝度信号出力総合 γ 特性を示した図である。

[図 19B]図 19Bは、低域では ISOlOO y曲線を使うとともに、 y 1/2. 2曲線と交差する以降の高域では γ 1Z2. 2曲線を使った、画作り用の IS〇200400RGB o/曲線を示した図である。

[図 20]図 20は、 ISO400設定時に輝度信号の出力ビット長を調整するための Δ γ補正曲線の構成例を示した図である。符号の説明

[0051] l ' CCDセンサ

2- · -CDS (Correlated Double Sampling)回路

3… AD変換器

4 - ·■ AGC (Automatic Gain Control)

5- - -AWB (Auto White Balance)

8…デモザイク処理部

9…： RGB γ補正部

10· · · Υマトリクス計算部

11…じマトリクス計算部

12· · · Δ γ補正部

13…ヒストグラム検波部

14· · · Δ γテーブル生成部

15…ハイパス'フィルタ

16…レベル検出部

発明を実施するための最良の形態

[0052] 以下、図面を参照しながら本発明の実施形態について詳解する。

[0053] 図 1には、本発明の一実施形態に係る画像信号処理装置の構成を示している。同装置は、固体撮像素子などから得られた画像を信号処理して得られる RGB画像信号に基づいて、輝度信号と色差信号 (Y/Cr/Cbなど)を出力するものである。図示の例では、 ISO 100すなわち最低 ISO感度に設定した場合の動作を行なうための機能的構成を示している。

[0054] センサ 1は、 CCDなどの固体撮像素子が利用される。光電変換効果を持つ各画素力 ¾次元に配列され、受光側には例えば G巿松 RB色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される 3色の各信号電荷量からその画素位置における入射光の色を再現すること力できる。

[0055] センサ 1からの画素信号は、 CDS (Correlated Double Sampling)回路 2にて CCDセンサ 1から受ける信号の低雑音を高精度に抑圧した後、 AD変換器 3によりデジタル信号に変換する。さらに AGC (Automatic Gain Control :自動利得制御回路） 4により適正なゲイン'コントロールをかけた後に、 AWB (Auto White Bala nce) 5によりホワイトバランス ·ゲインを掛けて適正な色状態を再現し、デモザイク処理部 8により RGB画面信号を作成する。

[0056] RGB γ補正部 9では、 RGB信号をモニタなどで撮影画像を出力する際に階調を正しく再現させるために階調変換を行なう。 CCDセンサ 1の出力に対し 10ビットで A D変換を行なわれている場合、 10ビット（すなわち 1023階調）の RGB画像信号を γ 補正によって 8ビット（すなわち 255階調）に割り振る。

[0057] その後、 Υマトリクス計算部 10並びに Cマトリクス計算部 11それぞれで、 RGB画像信号を輝度信号と色差信号 (YZCrZCb)に色空間変換し、符号化器 (図示しない) で JPEG圧縮して記録メディア（図示しない）にデータ保存される。

[0058] 平均的な被写体の露光量から CCDの飽和レベルまでの余裕がないのが現状であるから、最低 ISO感度では CCDの飽和レベルを標準ゲインすなわち ISO100における使用信号振幅の上限されている。例えば、 ISO100では 500mVを 1023階調としてすベて使用している（図 17を参照のこと）。そして、この 1023階調の RGB画像信号を、出力フォーマットである JPEGに適合するように γ補正によって 255階調に割り振る。この場合、飽和電荷量 500mVの CCDセンサに対して、 ISO100では飽和電荷量に設定された 1023階調を超えるデータは使用できない（図 2を参照のこと）。

[0059] 一方、最低 ISO感度よりも高い ISO感度設定では、 CCDの出力で使用する信号量をゲインアップ分だけ少なくする（絞る）ことにより、高感度を実現し、露出補正では十分な感度が得られない低照度被写体を撮影が可能となる。露光量を標準露光よりも低く設定するので、飽和電荷量に至るまでの余裕が大きくなる一方で、従来は、ゲインアップ分だけ使用信号振幅の上限を低下させていたため、この上限から飽和電荷量までは未使用の領域になっていた。例えば、 ISO200ではその半分のセンサ出力 250mVを 1023階調としており（図 18を参照のこと）、 CCD最大出力すなわち飽和電荷量の半分しか使用していなレ、。 ISO200では使用信号振幅の上限 250mVを超える信号は CCDセンサ出力としては有効であるにも拘らず、 1023階調でクリップしてこれ以上の階調を使用しないのが一般的であった。

[0060] これに対し、本実施形態では、 ISO感度設定を変えてゲインアップした場合であつても、使用信号振幅の上限を変えずに、飽和電荷量に至るまでの領域を有効に使うことによって、ダイナミック 'レンジを広げることにした。具体的には、図 3に示すように、 ISO200に設定してゲインアップした場合であっても、飽和電荷量 500mVを AD変換出力の解像度である 10ビット（1023階調）のままとし、 250mVを超える信号を RG B 補正レベル (ビット長）拡張して送り、非線形処理及びそれ以降の処理を適切に設定することで、ダイナミック 'レンジを改善するとともに色回り低減を実現し、より良好な画像を得ることが可能になる。

[0061] 図 4には、本発明に係る画像信号処理装置が ISO200に設定した場合の動作を行なうための機能的構成を示している。 G巿松 RB色コーディング単板カメラにおいて、 CCDセンサ 1の出力信号を CDS処理後に AD変換してデジタル信号を得る部分は、図 1に示した構成と同様である。

[0062] 図 5には、 AGC4のゲインアンプの入出力例を示している。 ISO100の設定では、 AD変換器 3からの 1023階調の入力を X 1 (すなわちスルー）して 1023階調で出力する。一方、 ISO200に設定した場合、 1023階調の入力（図 5 (A)を参照のこと）に対して ISO感度アップ分に相当する 6dBを掛けた後、従来のように 1023階調でクリツプすることなぐ + 6dB分の 2047階調という広いレンジで出力し（図 5 (B)を参照のこと）、後段の RGB y補正までダイナミック ·レンジの広レ、信号を送る。

[0063] 図 4に示した構成によれば、 RGB γ補正処理の出力レベル（ビット長）を拡張した後で輝度信号と色差信号を作ることができる。この場合、色差信号は従来の RGB γ 補正によるクリップがなくなることにより、ダイナミック 'レンジと色回りが改善される。また、輝度信号に関しては、出力フォーマットである 255階調に収めるベぐ非線形処理 (本明細書では、「Δ γ補正」とも呼ぶ）を施すことにより、ダイナミック 'レンジの広い輝度信号を得ることができる。 Δ γ補正の詳細については後述に譲る。

[0064] ISO100設定時と比較して、 ISO200設定時における信号処理の主な相違は、以下の点である。

[0065] (1)ゲイン'コントロール.アンプ以降の信号レベルを拡張して、信号処理の後段にダイナミック ·レンジが広レ、信号を転送する。

(2) RGB γカーブの特性が相違し、 γ補正出力信号のビット長がより長い。

(3)輝度信号に Δ γ補正を施し、信号処理ビット長が相違する。

[0066] 色回り並びに色ダイナミック 'レンジについては、ビット拡張された RGB γ出力を色差変換する過程で色差信号に対してクリップが掛かるが、十分な RGB τ /出力レベルを持つことにより、大幅な色回り抑圧とダイナミック 'レンジの拡大を実現することができる。

[0067] 図 5では、最低 ISO感度 100で 150%のダイナミック 'レンジ設定に対し、増感モードとして ISO200でダイナミック 'レンジを 300%の 2047階調に拡張した例を挙げた。し力、し、理論白勺に fま、 ISO400で 600^ο/οの 4095皆調、以降同様に ISO800で 8191 階調、 ISO1600で 16383階調とレヽぅ具合に、高感度でダイナミック 'レンジの改善が可能となる。なお、ここで言うダイナミック 'レンジ 100%とは、入力 683に対して出力 2 55がある場合である。

[0068] RGB y補正部 9では、 ISO200の場合、ゲインアンプ 4からの 11ビット（ = 2047)の RGB画像信号入力の階調変換を行なう。通常の RGB y補正曲線の出力は 8ビットであり、これ力下式に従って輝度信号と色差信号を算出する。

[0069] [数 1]

Υ 0. 3R + 0. 59G + 0. 1 1 Β …（り

R-Y 0. 7R― 0. 59G - 0. 1 1 Β - (2)

Β-Υ - 0. 3R - 0. 59G + 0. 89Β - (3)

[0070] RGB γ曲線は γ ^1/2,2 (べき乗 γ )や sRGB yが理想的である。し力し、出力レベルを 8ビット長に揃える都合上、実際の画面作りのために使用する γ曲線（以下では、「画作り γ」とも呼ぶ）はこれから逸脱する場合が多い。ところが、理想的な γ曲線から実際の画作り y曲線の特性が外れる結果として、輝度階調表現不足や色差信号白飛び、色相回りなどの副作用が生じる。

[0071] 図 6には、テレビジョンなどにおいて理想的とされる _Ί ^1/2·²曲線と画作り _Ί曲線を例示している。但し、 ^1/2'²曲線を点線で表し、画作り _Ί曲線を実線で示している。図示の設定の場合、信号入力" 1023"に対して（すなわち、ダイナミック 'レンジ 150%として） γ ^1/2·²を引くと、出力は 8ビットの 255階調には収まらず、 305階調まで使用してしまう。これに対して、中輝度域でのコントラスト間や高輝度域での階調を考慮して" 25 5"出力に合わせた画作り γ曲線を設計することになる。この結果、高輝度階調は何とか入力信号レベル分だけ確保することができるが、 γ ^1/2·²から外れるために、色差信号白飛びや色相回りが観察される。この副作用を抑圧するために輝度信号レベルから見て色を消すシステムが考案されている力色が抜けるので画像白飛びを起こしてレ、るように見えてしまう、という問題を生じる。一般に、べき乗から γ曲線が外れると、色相回りが発生する。

[0072] そこで、本実施形態では、 RGB 補正出力を、最終段（本画像信号処理装置の出力時）における出力ビット長よりもビット拡張することで理想的な γ曲線に近い特性を持つ RGB y補正を行なって、色変換処理前での色相回りの要因を取り除くようにした。具体的には、 RGB γ補正部 9では、例えば ISO200の場合、出力を 9ビット持つことにより、色差信号には γ ^1/2·²や sRGB yに近い特性で色差信号を作成することができる。また、輝度信号 Yに関しては、後段の Δ γ補正部 12により適宜階調圧縮して 8ビットの出力信号を得る。

[0073] 続いて、 RGB γ補正部 9が使用する RGB γ曲線の構成方法について説明する。

[0074] 図 7には、 11ビットのゲインアンプ出力を入力として 9ビットを出力する RGB γ曲線の構成例を示している。最低 ISO感度 100で 150%ダイナミック 'レンジ（1023階調）設定として、 ISO200では 300%ダイナミック 'レンジ（2047階調）を確保するように構成されている。

[0075] 感度モードが ISO100に設定されている場合には、 1023までしか信号入力がないので、 1023階調の γ入力に対して RGB y補正部 9は従来と同じ 255階調で γ出力する（図 7中の一点鎖線を参照）。この場合、ゲインアンプ 4から拡張した上位ビットは使用しなレ、（すなわち 1023でクリップする）ので、輝度信号に対する Δ γ補正は不要となる（図 1を参照のこと）。

[0076] これに対し、感度モードが ISO200に設定されている場合には、図 5に示したように、前段の AGC3でゲインアップによりビット拡張されているため、 ISO100のとき（150 %ダイナミック 'レンジを想定）の 2倍、すなわち 300%のダイナミック 'レンジを持った信号力 ¾GB y補正部 9への γ入力となる。この入力信号に対しては、 RGB γ補正部 9は、出力が 8ビットから 1ビット拡張された 9ビットになるような RGB γ曲線で階調変換を掛ける。図 7中において実線で示すように、高輝度領域では、 RGB γ曲線として例えば、 _Ί ^1/2'²を使用することにより、色相回りを低減するとともに、ダイナミック 'レンジを確保している。また、低輝度から中輝度までは、 ISO100と同じ画作り _Ί曲線を使用して、コントラストを揃える。

[0077] 図 7で示すビット拡張した ISO200用の RGB y補正曲線は、入力信号レベルで 10 o%前後、すなわち、画作り _Ί曲線と _Ί ^1/2'²が交差する箇所で、画作り _Ί曲線から _Ί ¹⁷ ²·²曲線へ乗り換えている。そして、この高感度モードの RGB γ補正では、 2047階調力なる 300%のダイナミック 'レンジを持つ _Ί入力を 419階調の γ出力に変換してレ、る。図 7に示したような特性を持つ RGB γテーブルは、例えば ROM (Read Only Memory)に格納して保持されている。

[0078] RGB γ補正部 9による 9ビット出力は、後段の Υマトリクス計算部 10並びに Cマトリクス計算部 11に送られ、色変換処理が施される。輝度信号 Υは、上式（1)の演算結果として 9ビット出力となる。続く Δ γ補正部 12では、この 9ビットの輝度信号を出力フォ一マットの 8ビットに圧縮する。これにより、 RGB γ補正出力を最大限に生かし、輝度階調を確保することができる。

[0079] 図 8には、 Δ γ補正曲線の構成例を示している。 ISO100では、上述したようにダイナミック'レンジの拡張を行なわなレ、。したがって、図 8中の破線で示すように、 8ビットの Δ γ補正入力をそのまま Δ γ補正出力とする。すなわち、この場合の Δ y補正曲線は直線となる。

[0080] 一方、 ISO200では、図 7に示したように RGB γ補正出力は 419階調であるから、これに Δ γ補正を掛けて出力フォーマットの 8ビットに圧縮する必要がある。図 8に示した y曲線は、 RGB γ曲線で低輝度から中輝度までの画作り γ曲線で構成される領域に関しては、 Δ γ補正入力をそのまま出力する直線状とするが、高輝度域では 255階調に収まるように圧縮する曲線を描いている。これによつて、高輝度部の階調を保ったままダイナミック 'レンジを確保することができる。ここで言う高輝度域とは、 RGB γ曲線において、画作り γ曲線から γ ^1/2·²曲線へ乗り換える箇所（図 7を参照のこと）を基準にして、それ以降の輝度領域を指す。図 8に示したような特性を持つ Δ γ テーブルは、例えば ROMに格納して保持されている。

[0081] ここで、 RGB 補正部 9の出力力ビットから 1ビット拡張された 9ビットになる場合の効果の一例として、黄色の信号処理 (黄色は R : G : B = 1 : 1 : 0)を挙げて、実際の階調レベルの計算結果を以下の表にまとめた。 RGB y入力 150レベルは従来例（8ビット）と本実施形態（9ビット）で同じレベル出力となる。し力ながら、入力レベルが 90 0、 1500、 2000と大きくなるに従って、従来例では γ出力は (R— Y) = 28、（Β— Υ) = _ 227に張り付いて色差に変化がなくなる。これに対し、本実施形態では、入力信号が 900で (Β—Υ)は 255に張り付くが、（R—Y)出力は張り付くことなく線形的に増えていき、この結果として色相回りを抑制することができる。

[0082] [表 1]

図 8に示した Δ 曲線を用レ、て輝度信号の階調変換を行なった場合、低輝度〜中輝度域では ISO100設定時とコントラストを揃えることができるものの、高輝度域でのみ階調圧縮を行なうことため、この領域で高輝度階調が不足する。例えば、高輝度部分が多く含まれる撮像画像においては、その影響が現れることが懸念される。

[0084] そこで、 Δ γ補正部 12では、 Δ γ曲線を任意に引くことにより、輝度信号のダイナミック 'レンジ圧縮と同時に輝度信号階調の改善を図るようにしてもよい。例えば、高輝度部分が集中しているような画像では、高輝度側に階調特性を持った Δ 曲線に修正することで、高輝度の階調特性を改善することができる。

[0085] 図 9には、 Δ γ曲線を任意に引くように構成された画像信号処理装置の構成例を示している。ヒストグラム検波部 13は、 Υマトリクス計算部 10から出力される輝度信号 Υをヒストグラム検波して、ヒストグラムが集中する輝度域を判別する。 Δ 曲線生成部 14では、ヒストグラムが集中する輝度域における階調圧縮の度合いを緩和するように適応的に Δ y曲線を生成し、これを Δ γテーブルとして Δ γ補正部 12に供給する。

[0086] 図 10には、ヒストグラム検波部 13及び Δ γテーブル生成部 14によって作成される、輝度域全体にわたって階調圧縮するようにして高輝度域での階調改善を図った Δ γ曲線の構成例を実線で示している。 ISO200設定時には、 419階調ある RGB γ補正出力を Δ γ入力として、これに Δ γ補正を掛けて出力フォーマットの 8ビットに圧縮する力図 8に示した Δ γ曲線とは相違し、高輝度部だけでなぐ低輝度〜中輝度域も含めて階調圧縮し、且つ中輝度域と高輝度域を滑らかな曲線で繋いでいる。

[0087] 他方、高感度用の階調変換を行なう場合には、通常の RGB γテーブルに加えて、

Δ γ補正部 12で使用する Δ γテーブルを装備しなければならず、回路規模の増大を招くことになる。そこで、図 8に示したような Δ γ曲線を図 11中の実線で示すように直線近似特性に置き換えると、 Δ γ補正部 12では、 Δ γテーブルを参照せず、簡単な関数計算により輝度信号の階調変換を行なうことができるので、回路規模を削減すること力 Sできる。

[0088] また、本実施形態のように広いダイナミック 'レンジ信号を出力フォーマットの 8ビットに階調変換すると、高輝度側での階調感が不足するが、例えばアパーチャ補償することによって、高輝度の解像特性を補うことができる。図 12には、この場合の画像信号処理装置の構成例を示してレ、る。 [0089] RGB γ補正前の G信号、又は Yマトリクス部 10により作られた RGB画像信号から輝度信号 Yのレ、ずれか又は両方をハイパス ·フィルタ（HPF) 15に入力して高域信号を得る。 HPF15は、例えば、 1, 2—1 3TAPフィルタなどで構成される。

[0090] レベル検出部 16は、 Δ γ補正した後の輝度信号 Yを入力して、 Δ y曲線が直線から階調圧縮される曲線に切り替わる変化点を超える部分を検出し、変化点以下の部分ではゲイン値を 0とし、変化点を超える部分では輝度信号レベルに応じたゲイン値 0〜：!を出力する。レベル検出部 16の出力特性を図 13に示しておく。

[0091] そして、 HPF15の出力とレベル検出部 16からのゲイン値を乗算して高域補償信号を生成し、これを Δ γ補正部 12が出力する階調変換後の輝度信号 Yに加算して、最終的な輝度信号 Υを得るようにする。これによつて、高輝度域でのエッジ部分を輝度信号に重畳することができ、高輝度の解像特性を補うことができる。例えば、高輝度域でのエッジを図 14 (A)とすると、図 14 (B)に示すような高域補償信号が生成され、これらが加算されると図 14 (C)に示すようにエッジ部分でパルス成分を含む輝度信号となり、階調圧縮されてもエッジが残り易くなる。

[0092] なお、図 12では、 Δ γ補正部 12の出力に対して高域補償信号を加算しているが、

Δ補正前の輝度信号に加算しても、同様の効果を得ることができる。

[0093] 図 15には、 RGB γ補正部 9によるビット拡張した γ補正特性と（図 7を参照のこと）、 Δ γ補正部 12により輝度信号が出力フォーマットの 8ビットに収まるように Δ γ補正する Δ γ補正特性（図 8を参照のこと）を統合した、 ISO100における 1023階調の γ 入力、並びに ISO200における 2047階調の γ入力に対する最終的な 255階調圧縮出力の特性を示している。

[0094] 同図では、 ISO100設定時の _Ί曲線を点線で示している。また、 ISO200設定時において RGB γ補正部 9による γ出力を一点鎖線で示している。既に述べたように、 R GB o /曲線において、画作り γ曲線から γ ^1/2'²曲線へ乗り換える場所を基準にして、それ以降の高輝度域が Δ γ圧縮領域となる。そして、当該領域において Δ γ補正による階調変換が行なわれた結果として、実線で示す最終的な 255階調圧縮出力の特性を得ることができる。

[0095] 輝度信号 Υに関しては、 9ビットの RGB γ補正出力から上式（1)を基に算出し、上述した Δ γ補正を適用して出力フォーマットの 8ビットに圧縮する。

[0096] 他方、色差信号に関しては、 9ビットの RGB γ補正出力から上式（2)〜（3)を基に算出し、その計算結果を 8ビットにクリップして色差信号として出力する。

[0097] 従来の 8ビット _Ί入力に対し 8ビット _Ί出力する RGB y補正では、画作り _Ί曲線がべき乗 _Ί力離れてレ、ることと（図 6を参照のこと）、 RGB 曲線、色差マトリクスでのクリッピングにより、色相回りや色飛びが発生するという問題があった。

[0098] これに対し、本実施形態に係る画像信号処理では、べき乗 _Ί ( y ^1/2·²)による 9ビットの RGB γ補正出力から 8ビットの色差信号を作ることにより、べき乗 γに乗っている上位ビット拡張で色差マトリクス 'クリップが掛力にくくなることから、高輝度領域で色差クリッピングや色相回りを大幅に改善することができる。

[0099] 上述したような画像信号処理装置をデジタルカメラに搭載することで、感度設定毎に適正な固体撮像素子の出力信号レベルを設定して、固体撮像素子が本来持つ出力レンジを有効に使用することによってダイナミック 'レンジを広くすると同時に、飽和電荷量付近での色相回りを低減することが可能となる。

[0100] 但し、 RGB γ補正出力をビット拡張して輝度信号についてさらに Δ γ補正を掛けるという高感度用階調変換は通常の階調変換に比べてシステム制御負荷が高くなる。そこで、静止画撮影時のみ高感度用階調変換を適用し、ファインダ出力するだけのリアルタイム'モニタリング（画像確認）時にはこれを適用しないことによって、システム制御負荷を低減するようにしてもょレ、。

[0101] 図 16には、この場合の画像信号処理装置の機能的構成を示している。図示のように、輝度信号 Υの出力端において、 Υマトリクス計算部 10の出力、又は Δ γ補正部 1 2の出力を択一的に選択する選択手段を備えており、モニタリング ·モードでは前者を、静止画撮影時には後者を選択出力するようになっている。モニタリング 'モード下では、 Δ γ補正が適用されず、出力される輝度信号は 255階調でクリップされて高輝度部分の情報が抜けてしまうが、画像保存する訳ではないので、システム制御負荷の低減を優先しても特に問題はない。

産業上の利用可能性

[0102] 以上、特定の実施形態を参照しながら、本発明につレ、て詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

[0103] 本明細書では、 NTSC (National Television System Committee)などのテレビジョン信号で一般的な γ 2. 2を例にとって γ補正について説明してきた力 S、本発明の要旨はこれに限定されるものではなレ、。例えば sRGBや AdobeRGBなど他のフォーマットにおいても本発明を適用することで、同様の効果を奏することができる。

[0104] また、本明細書では、デジタルカメラの高感度モードとして ISO200においてダイナミック'レンジを 200。/oの 2047階調に拡張した例を挙げた力さらに ISO感度を上げる度に γ曲線を変更して、ダイナミック 'レンジを広げることができる。理論的には、 IS O400で 400%の 4095階調、以降同様に ISO800で 8191階調、 ISO1600で 163 83階調という具合に、ゲインアップした分だけダイナミック 'レンジの改善が可能となる。但し、 AGCアンプ以降の信号レベルを確保するとともに、より大きな RGB γテープルを用意する必要がある。

[0105] 図 19Aには、 IS〇100、 ISO200、 ISO400の感度別 Y輝度信号出力総合 γ特性を示している。最低 ISO感度 100で 150%のダイナミック 'レンジ設定とすると、 IS04 00ではゲインアップによりビット拡張されている。このため、 ISO100のとき 4倍（600 %)のダイナミック 'レンジを持った信号が RGB γ補正の入力となる。この入力信号に対しては、出力が 8ビットすなわち 255階調からビット長が拡張された 575階調になる RGB γ曲線を掛ける。そして、高輝度部で γ ^1/2·²を使用することにより、色相回りを低減し、ダイナミック 'レンジを確保している。また、低輝度から中輝度までは、 ISO 100 と同じ画作り γ曲線を使用して、コントラストを揃える。図 19Bには、低域では ISO10 0 γ曲線を使うとともに、 _Ί 1/2. 2曲線と交差する以降の高域では γ 1Ζ2. 2曲線を使った、画作り用の IS〇200400RGB o/曲線を示してレヽる。

[0106] そして、この RGB ₇補正出力から上式（1)を基に輝度信号を算出する力 S、IS〇40 0では RGB γ補正出力は 575階調であるから、これに Δ γ補正を掛けて出力フォーマットの 8ビットに圧縮する必要がある。この場合の Δ γ補正曲線は、図 20に示すように、 RGB γ曲線で低輝度から中輝度までの画作り _Ί曲線で構成される領域に関しては、 Δ γ補正入力をそのまま出力する直線状とし、画作り γ曲線から γ ^1/2·²曲線へ乗り換える場所を基準にして以降の高輝度域で 255階調に収まるように圧縮する曲線を描いている。これによつて、高輝度部の階調を保ったままダイナミック 'レンジを確保すること力 Sできる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、請求の範囲の記載を参酌すべきである。

Claims

請求の範囲

[1] 被写体の撮像画像に基づいて所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置であって、

該 RGB信号に対して RGB y補正を行ない、前記出力ビット長よりもビット拡張した信号として出力する RGB y補正手段と、

前記 RGB γ補正手段によりビット拡張された RGB信号に基づいて輝度信号及び色差信号を算出する変換手段と、

該算出された輝度信号の出力レベルが前記出力ビット長に収まるように非線形補正を行なう非線形補正手段と、

を具備することを特徴とする画像信号処理装置。

[2] 前記画像入力手段は固体撮像素子により撮像された画像信号を入力し、該入力される画像信号の感度を設定する感度設定手段をさらに備え、

ダイナミック 'レンジを拡張された画像信号は、前記感度設定手段による高感度設定時におけるゲインアップにより生じる高輝度側の出力レンジを含む、

ことを特徴とする請求項 1に記載の画像信号処理装置。

[3] 前記 RGB γ補正手段は、

前記感度設定手段による低感度設定時には前記出力ビット長に合わせた出力を行なう低感度用 RGB γ曲線を適用し、

前記感度設定手段による高感度設定時には、低輝度から中輝度までは前記低感度用 RGB γ曲線に従うとともに、高輝度域ではべき乗 γに従う曲線を持つ高感度用 RGB γ曲線を適用して、前記出力ビット長よりもビット拡張した信号を出力する、ことを特徴とする請求項 1に記載の画像信号処理装置。

[4] 前記非線形補正手段は、 RGB y曲線について、低輝度から中輝度までの画作り γ曲線で構成される領域において、前記非線形補正手段への入力をそのまま前記非線形補正手段の出力とする直線状とし、画作り γ曲線からべき乗 γ曲線へ乗り換える箇所以降の高輝度域においては、 255階調に収まるように圧縮する曲線からなる非線形補正曲線を用いて輝度信号の階調変換を行なう、

ことを特徴とする請求項 3に記載の画像信号処理装置。

[5] 輝度信号をヒストグラム検波してヒストグラムが集中する輝度域を判別するヒストグラム検波手段と、

ヒストグラムが集中する輝度域における階調圧縮の度合レ、を緩和するように適応的に非線形補正曲線を生成する非線形補正曲線生成手段をさらに備え、

前記非線形補正手段は前記非線形補正曲線生成手段から供給される非線形補正曲線に従って輝度信号の階調変換を行なう、

ことを特徴とする請求項 3に記載の画像信号処理装置。

[6] 前記非線形補正手段は、 RGB 曲線で低輝度から中輝度までの画作り _Ί曲線で構成される領域では前記非線形補正手段への入力をそのまま前記非線形補正手段の出力とする直線状とするとともに、画作り γ曲線からべき乗 γ曲線へ乗り換える箇所以降の高輝度域で 255階調に収まるように直線近似された非線形補正曲線を用いて輝度信号の階調変換を行なう、

ことを特徴とする請求項 3に記載の画像信号処理装置。

[7] 前記 RGB γ補正手段による RGB γ補正前の G信号、 γ補正前の RGB信号に基づいて算出した輝度信号、又は γ変換出力信号力算出した輝度信号のいずれか又は両方から高域信号を得るハイパス'フィルタと、

非線形補正した後又は前の輝度信号 Υを入力して、前記非線形補正曲線が直線力階調圧縮される曲線に切り替わる変化点を超える部分を検出し、変化点以下の部分ではゲイン値を 0とし、変化点を超える部分では輝度信号レベルに応じたゲイン値 0〜：!を出力する輝度信号レベル検出手段と、

前記ハイパス'フィルタの出力と前記レベル検出部手段からのゲイン値を乗算して高域補償信号を生成して、輝度信号に加算する高輝度解像度特性補償手段と、をさらに備えることを特徴とする請求項 4に記載の画像信号処理装置。

[8] 静止画撮影モードと画像確認用のモニタリング 'モードを持つ撮像装置に搭載して用いられ、

前記静止画撮影モード下では前記非線形補正手段により前記出力ビット長に収まるように階調変換された輝度信号を出力し、前記モニタリング 'モード下では前記変換手段により作成された輝度信号を直接出力する選択出力手段をさらに備える、ことを特徴とする請求項 1に記載の画像信号処理装置。

被写体の撮像画像に基づいて所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理方法であって、

被写体を撮像した画像信号を入力する画像信号入力ステップと、

入力した画像信号のダイナミック 'レンジを拡張する増幅ステップと、

該ダイナミック ·レンジが拡張された画像信号に基づレ、て RGB信号を算出するステップと、

該 RGB信号に対して RGB 補正を行ない、前記出力ビット長よりもビット拡張した信号として出力する RGB y補正ステップと、

前記 RGB γ補正ステップにおレ、てビット拡張された RGB信号に基づレ、て輝度信号及び色差信号を算出する変換ステップと、

該算出された輝度信号の出力レベルが前記出力ビット長に収まるように非線形補正を行なう非線形補正ステップと、

を具備することを特徴とする画像信号処理方法。