JP5310331B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP5310331B2
JP5310331B2 JP2009163900A JP2009163900A JP5310331B2 JP 5310331 B2 JP5310331 B2 JP 5310331B2 JP 2009163900 A JP2009163900 A JP 2009163900A JP 2009163900 A JP2009163900 A JP 2009163900A JP 5310331 B2 JP5310331 B2 JP 5310331B2
Authority
JP
Japan
Prior art keywords
pixel
output
filter
pixels
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009163900A
Other languages
English (en)
Other versions
JP2010093780A (ja
Inventor
学 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009163900A priority Critical patent/JP5310331B2/ja
Priority to US12/717,523 priority patent/US8319864B2/en
Publication of JP2010093780A publication Critical patent/JP2010093780A/ja
Application granted granted Critical
Publication of JP5310331B2 publication Critical patent/JP5310331B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる撮像装置および撮像方法に関する。
銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。
そこで、ＣＣＤ等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている（例えば、特許文献１参照）。
ところで、ダイナミックレンジを拡大するために、前記特許文献１のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が２重にずれた画像になり、正しく画像を合成できないことがある。
そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。
前記目的を達成するために請求項１に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、デジタル変換された前記各画素からの出力を検出する際の処理単位を、水平・垂直方向に２×２画素の大きさとして、前記各画素からの出力を検出するとともに、検出した画素出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上に達している前記特定色のフィルタが配置された画素からの出力を補正する画素出力補正処理手段と、前記画素出力補正処理手段から出力される、第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数にビット圧縮するビット圧縮変換手段と、前記各画素から出力される画像信号に基づいて前記被写体像の輝度ヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段で生成された輝度ヒストグラムから輝度分布の全画素数に対する、輝度分布を複数に区画分割したうちの最高輝度区画における画素数の割合を算出する算出手段とを備え、前記ビット圧縮変換手段は、前記算出手段で算出された全画素数に対する前記最高輝度区画の画素数の割合に応じて設定された圧縮特性により前記ビット圧縮を行うことを特徴としている。
請求項２に記載の発明は、前記ビット圧縮変換手段は前記算出手段で算出された全画素数に対する前記最高輝度区画の画素数の割合が所定の閾値よりも小さい場合、全画素数に対する前記最高輝度区画の画素数の割合が前記所定の閾値よりも大きい場合に対して、前記最高輝度区画を含む高輝度側に対応した画素出力のデータに対する圧縮率を小さくするように変更された圧縮特性に基づいて、前記ビット圧縮することを特徴としている。
請求項３に記載の発明は、前記ビット圧縮変換手段は前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
請求項４に記載の発明は、前記ビット圧縮変換手段は前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴としている。
請求項５に記載の発明は、前記ビット圧縮変換手段は前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルに近い出力レベルにある場合には、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルの１／２程度の出力レベルにある場合よりも、前記所定の飽和レベル以上領域における画素出力に対応したデータに対する圧縮率を小さくして前記ビット圧縮することを特徴としている。
請求項６に記載の発明は、前記各画素から出力される画像信号に基づいて生成される表示用画像データを、撮影画像記録前のモニタリング時におけるモニタリング画像として表示可能な表示手段をさらに有し、前記モニタリング時に、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上の場合に、前記画素出力補正処理手段による前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換手段による前記ビット圧縮処理を行っていなく前記最高輝度区画に階調がなく白飛びした画像と、前記白飛びしている箇所を表示した画像と、前記画素出力補正処理手段による前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換手段による前記ビット圧縮処理により、前記最高輝度区画にも階調を有する画像とを、所定の時間間隔で切替えてモニタリング画像として前記表示手段に表示されるようにしたことを特徴としている。
請求項７に記載の発明は、前記特定色のフィルタが配置された画素の出力に対して前記画素出力補正処理手段で前記補正させる動作を、選択して実行させるための動作選択手段を備えていることを特徴としている。
請求項８、１６に記載の発明は、前記処理単位内に欠陥画素がある場合は前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴としている。
請求項９に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を有する撮像装置の撮像方法において、デジタル変換された前記各画素からの出力を検出する際の処理単位を、水平・垂直方向に２×２画素の大きさとして、前記各画素からの出力を検出するとともに、検出した画素出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上に達している前記特定色のフィルタが配置された画素からの出力を補正する画素出力補正処理ステップと、前記画素出力補正処理ステップから出力される、第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数にビット圧縮するビット圧縮変換ステップと、前記各画素から出力される画像信号に基づいて前記被写体像の輝度ヒストグラムを生成するヒストグラム生成ステップと、前記ヒストグラム生成ステップで生成された輝度ヒストグラムから輝度分布の全画素数に対する、輝度分布を複数に区画分割したうちの最高輝度区画における画素数の割合を算出する算出処理ステップとを含み、前記ビット圧縮変換ステップは、前記算出処理ステップで算出された全画素数に対する前記最高輝度区画の画素数の割合に応じて設定された圧縮特性により前記ビット圧縮を行うことを特徴としている。
請求項１０に記載の発明は、前記ビット圧縮変換ステップは前記算出処理ステップで算出された全画素数に対する前記最高輝度区画の画素数の割合が所定の閾値よりも小さい場合、全画素数に対する前記最高輝度区画の画素数の割合が前記所定の閾値よりも大きい場合に対して、前記最高輝度区画を含む高輝度側に対応した画素出力のデータに対する圧縮率を小さくするように変更された圧縮特性に基づいて、前記ビット圧縮することを特徴としている。
請求項１１に記載の発明は、前記ビット圧縮変換ステップは前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
請求項１２に記載の発明は、前記ビット圧縮変換ステップは前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴としている。
請求項１３に記載の発明は、前記ビット圧縮変換ステップは前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルに近い出力レベルにある場合には、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルの１／２程度の出力レベルにある場合よりも、前記所定の飽和レベル以上領域における画素出力に対応したデータに対する圧縮率を小さくして前記ビット圧縮することを特徴としている。
請求項１４に記載の発明は、前記各画素から出力される画像信号に基づいて生成される表示用画像データを、撮影画像記録前のモニタリング時におけるモニタリング画像として表示可能な表示手段を有し、前記モニタリング時に、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上の場合に、前記画素出力補正処理ステップによる前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換ステップによる前記ビット圧縮処理を行っていなく前記最高輝度区画に階調がなく白飛びした画像と、前記白飛びしている箇所を表示した画像と、前記画素出力補正処理ステップによる前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換ステップによる前記ビット圧縮処理により、前記最高輝度区画にも階調を有する画像とを、所定の時間間隔で切替えてモニタリング画像として前記表示手段に表示されるようにしたことを特徴としている。
請求項１５に記載の発明は、前記特定色のフィルタが配置された画素の出力に対して前記画素出力補正処理ステップで前記補正させる動作を、選択して実行させるための動作選択手段を備えていることを特徴としている。
請求項１、９に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の特定色以外のフィルタが配置された画素からの出力に基づいて、所定の飽和レベル以上に達している特定色のフィルタが配置された画素からの出力を補正してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。更に、第１のビット数から第２のビット数に一度拡張された画素出力のデータを再度第１のビット数にビット圧縮する際に、輝度分布を複数に区画分割してこの輝度分布の全画素数に対する最高輝度区画の画素数の割合に基づいて設定された圧縮特性によりビット圧縮を行うことにより、最大階調である最高輝度区画の画素を残し、高輝度部分に対して適切な階調を確保することができる。また、各画素の出力を検出する際の処理単位を、必要最小限の水平・垂直方向に２×２画素の大きさとすることで、各画素の出力を検出する際に使用するメモリを抑えることができ、更に、画素出力の検出処理の高速化を図ることができる。
請求項２、１０に記載の発明によれば、全画素数に対する最高輝度区画の画素数の割合が所定の閾値よりも小さい場合は、全画素数に対する最高輝度区画の画素数の割合が所定の閾値よりも大きい場合に対して、最高輝度区画を含む高輝度側に対応した画素出力のデータに対する圧縮率を小さくするように変更された圧縮特性に基づいてビット圧縮することにより、最大階調である最高輝度区画の画素を残し、高輝度部分に対して適切な階調を確保することができる。
請求項３、１１に記載の発明によれば、飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することにより、飽和レベル以下における階調性を良好に保持することができる。
請求項４、１２に記載の発明によれば、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
請求項５、１３に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していて、その周囲の特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が所定の飽和レベルに近い出力レベルにある場合には、所定の飽和レベル以上領域における画素出力に対応したデータに対する圧縮率を小さくしてビット圧縮することにより、第２のビット数から第１のビット数に再度圧縮された特定色のフィルタと異なる他の色のフィルタの画素出力に対して、ホワイトバランスを合わせるためのゲインを掛けたときに、ゲインが小さくても飽和レベルにすることができるので、白飛びしている画像部分に色ずれが生じることを防止することができる。
請求項６、１４に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上の場合でも、モニタリング時に、最高輝度区画に階調がなく白飛びした画像と、この白飛びしている箇所を表示した画像と、高輝度区画にも階調を有する画像とを、所定の時間間隔で切替えてモニタリング画像として表示手段に表示することができるので、撮影者がモニタリング時にダイナミックレンジの拡大効果を容易に確認することができる。
請求項７、１５に記載の発明によれば、特定色のフィルタが配置された画素の出力に対して補正させる動作を、動作選択手段で動作選択することができるので、前記補正させる動作を撮影者の判断で行うことができる。
請求項８、１６に記載の発明によれば、処理単位内に欠陥画素があると判断した場合、欠陥画素を用いずにその処理単位の周囲にある欠陥画素と同じ色のフィルタを有する画素を代わりに用いることにより、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達しているか否かを判定処理する際に、欠陥画素を用いることがなくなるので、常に精度の高い飽和画素補正を行うことができる。
（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。 本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。 本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。 本発明におけるダイナミックレンジ拡大の原理を説明するための図。 本発明の実施形態１におけるＤレンジ拡大予測補間部の構成を示すブロック図。 本発明の実施形態１におけるＲＧＢフィルタの配置位置と処理単位を示す図。 ＲＧＢフィルタの各画素出力に対する所定の飽和判定レベル（ＴＧ、ＴＲ、ＴＢ）を示した図。 本発明の実施形態１におけるダイナミックレンジ拡大モードでの静止画撮影動作を示したフローチャート。 液晶モニタに表示された撮影設定画面の一例を示す図。 （ａ）、（ｂ）は、それぞれ１４ビットデータに拡張したＧフィルタの画素出力を１２ビットデータに圧縮するときに用いる変換テーブルを示す図。 （ａ）は、撮影画像の輝度のヒストグラムの一例を示す図、（ｂ）は、図１１（ａ）のヒストグラムに対して、図１０（ａ）の変換テーブルを用いてビット圧縮変換して生成されたヒストグラムの一例を示す図、（ｃ）は、図１１（ａ）のヒストグラムに対して、図１０（ｂ）の変換テーブルを用いてビット圧縮変換して生成されたヒストグラムの一例を示す図。 １２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換（γ変換）する変換テーブルを示す図。 本発明の実施形態４におけるモニタリング動作時でのダイナミックレンジ拡大処理を示したフローチャート。 （ａ）は、ダイナミックレンジ拡大処理する前のモニタリング画像の一例を示す図、（ｂ）は、ダイナミックレンジ拡大処理された後のモニタリング像の一例を示す図。 モニタリング画像の表示切替えモードを設定した場合に切替え表示されるモニタリング像の一例であり、（ａ）は、ダイナミックレンジ拡大処理する前のモニタリング画像の一例を示す図、（ｂ）は、ダイナミックレンジ拡大処理する前の白飛びしている部分を表示したモニタリング画像の一例を示す図、（ｃ）は、ダイナミックレンジ拡大処理された後のモニタリング画像の一例を示す図。 Ｇフィルタの画素出力が飽和レベルＡに達していて、その周囲のＲ、Ｂフィルタの各画素出力が飽和レベルＡの１／２程度の場合を示す図。 （ａ）は、Ｇフィルタの画素出力が飽和レベルＡに達していて、その周囲のＲフィルタの画素出力が飽和レベルＡに近い出力レベルにある場合を示す図、（ｂ）は、Ｇフィルタの画素出力が飽和レベルＡに達していて、その周囲のＢフィルタの画素出力が飽和レベルＡに近い出力レベルにある場合を示す図。 本発明の実施形態６におけるＲＧＢフィルタの配置位置と処理単位を示す図。
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉
図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。
（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。
デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。
（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム、後述する１４ビットデータを１２ビットにビット圧縮するための複数の変換テーブル等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。
鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、メカシャッタユニット２６を備えており、撮影レンズ系５、メカシャッタユニット２６の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２７からの駆動信号により駆動制御される。なお、メカシャッタユニット２６は絞り機能も有している。
ＣＣＤ２０は、ＣＣＤ２０を構成する複数の画素上にＲＧＢ原色フィルタ（図６参照：以下、「ＲＧＢフィルタ」という）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された無加工の画像信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。
信号処理部２２は、ＡＦＥ部２１のＴＧ３０からの画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）、および画素転送クロック（ピクセルクロック）の出力を受け、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むカメラインターフェース（以下、「カメラＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、前記ＲＡＷ−ＲＧＢデータを基に輝度ヒストグラムを生成するヒストグラム生成部３６、前記ＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３７と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３８と、画像データの表示出力を制御する表示出力制御部３９と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部４０と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４１と、操作部４２からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う前記制御部（ＣＰＵ）２７を備えている。信号処理部２２は、１つのＩＣとして構成されている。
カメラＩ／Ｆ３４は、ＡＦＥ部２１のＡ／Ｄ変換部３３から取り込んだＲＡＷ−ＲＧＢデータより、後述する被写体画像の合焦度合を示すＡＦ（自動合焦）評価値、被写体画像の輝度度合を示すＡＥ（自動露出）評価値、被写体画像の色合いを示すＡＷＢ（オートホワイトバランス）評価値を算出する機能を有している。
操作部４２は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２７に入力される。
ＳＤＲＡＭ２３には、カメラＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３７で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部４０で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
ＹＵＶ変換部３７は、図３に示すように、後述するダイナミックレンジ拡大予測補間部（以下、「Ｄレンジ拡大予測補間部」という）５０、ビット圧縮変換部５１、ホワイトバランス制御部５２、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、エッジエンハンス部５７を備えている。
（デジタルカメラ１のモニタリング動作、通常の静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と通常の静止画撮影動作について説明する。このデジタルカメラ１は、通常の静止画撮影モード時には、以下に説明するようなモニタリング動作と静止画撮影動作が行われる。
先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２７が検知すると、制御部２７はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。
そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に出力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換される。
このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３７で表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。
そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３９を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、カメラＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部３９からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
そして、信号処理部２２のカメラＩ／Ｆ３４は、取り込んだＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ処理が実行される。
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。
そして、制御部２７は、カメラＩ／Ｆ３４で算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３７でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
そして、前記したモニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ処理と静止画記録処理が行われる。
即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２７からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ処理が実行される。
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、カメラＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２７が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２７からモータドライバ２５への駆動指令によりメカシャッタユニット２６が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。
そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれ、ＹＵＶ変換部３７でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３８で記録画素数に対応するサイズに変換され、データ圧縮部４０でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に保存される。
本実施形態のデジタルカメラ１は、前記した通常の静止画撮影モード以外にダイナミックレンジを拡大するダイナミックレンジ拡大モードを有している。
（本発明におけるダイナミックレンジの拡大原理）
デジタルカメラ１のＣＣＤ２０を構成する各画素上には、一般にベイヤ配列のＲＧＢフィルタ（図６参照）が配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢフィルタは各色ごとに輝度に対する感度が異なっている。
例えば、図４に示すように、Ｇ（グリーン）フィルタの感度が、Ｒ（レッド）フィルタ、Ｂ（ブルー）フィルタの２倍程度の感度を有するＲＧＢフィルタ（図４のａ、ｂ、ｃ）を有するＣＣＤ２０の場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタに入射したときに、Ｒ、Ｂフィルタの各画素出力に対してＧフィルタ（図４のｃの斜線部分）の画素出力の方が先に飽和レベルＡに達してしまう。なお、図４において、ｆはＧフィルタの画素感度特性、ｇはＲ、Ｂフィルタの各画素感度特性であり、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。
ところで、ＲＧＢフィルタが配置されたＣＣＤなどの固体撮像素子を有する従来のデジタルカメラでは、図４のａ、ｂ、ｃのＲＧＢフィルタのように、感度の高いＧフィルタの画素出力に応じた飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。このため、Ｇフィルタの画素出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタの画素出力は飽和レベルＡの１／２程度である。
これに対して、本発明では、図４のｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡを超えていても、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡを超えていない範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図４のｇ）とＧフィルタの画素感度特性（図４のｆ）とに基づいてＧフィルタの画素出力レベルを予測補間（一点鎖線部分）するように補正し、この予測補間（補正）した分だけダイナミックレンジを拡大するようにした。
前記したように本実施形態では、太陽光のように広い波長帯域を持つ光に対して、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。よって、本実施形態におけるダイナミックレンジの拡大度合の最大値は、ダイナミックレンジの拡大処理動作を行わない通常の静止画撮影モード時に対して２倍程度である。
なお、本実施形態では、Ｇフィルタの画素感度特性がＲ、Ｂフィルタの各画素感度特性の２倍程度の感度を有し、これに基づいてダイナミックレンジの拡大度合の最大値が２倍としたが、ＲＧＢフィルタの各画素感度特性を変化させることにより、ダイナミックレンジの拡大度合の最大値を２倍以上の所定値、あるいは２倍以下の所定値に設定することができる。
（Ｄレンジ拡大予測補間部５０の構成）
図３に示したＹＵＶ変換部３７のＤレンジ拡大予測補間部５０は、前記したダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。Ｄレンジ拡大予測補間部５０は、図５に示すように、画素出力検出部６０、画素出力補正処理部６１、ビット拡張処理部６２を備えている。
画素出力検出部６０は、入力される前記ＲＡＷ−ＲＧＢデータからＲＧＢフィルタを設けた各画素の画素出力を検出するとともに、Ｇフィルタを設けた画素の画素出力（以下、「Ｇフィルタの画素出力」という）およびその周辺のＲ、Ｂフィルタを設けた画素の画素出力（以下、「Ｒ、Ｂフィルタの画素出力」という）のそれぞれの出力が、予め設定されている飽和レベル以上に達しているか否かを判定する。更に、画素出力検出部６０は、感度が一番高いＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、その周辺のＲ、Ｂフィルタの画素出力に基づいて、Ｇフィルタの画素出力の補正（予測補間）を行うための後述する補正係数を算出する。
画素出力補正処理部６１は、画素出力検出部６０で算出された補正係数をＧフィルタの画素出力に掛けることによって、Ｇフィルタの画素出力の補正処理を行う。
ビット拡張処理部６２は、画素出力検出部６０で前記したようにＧフィルタの画素出力が飽和レベル以上に達していると判断された場合に、Ｒ、Ｂフィルタの画素出力に対して、出力レベルの補正を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。なお、ビット拡張処理部６２は、画素出力検出部６０でＲＧＢフィルタの各画素出力が飽和レベルに達していないと判定された場合に、ＲＧＢフィルタの各画素出力に対して、出力レベルの補正を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。
画素出力検出部６０でＧフィルタの画素出力の補正係数を算出する際において、本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０の各画素に対して、図６に示すように、太枠Ａ内の２×２画素（２つのＧフィルタの画素、１つずつのＲ、Ｂフィルタの画素）を処理単位（最小単位）とする。Ｇフィルタの画素出力の補正係数（Ｋ）、補正処理後のＧフィルタの画素出力（Ｇｅ）、は、それぞれ下記の式（１）、式（２）から算出される。
Ｋ＝｛ｌ×ｆ（Ｒａ）＋ｍ×ｆ（Ｇａ）＋ｎ×ｆ（Ｂａ）｝／３ …式（１）
Ｇｅ＝Ｋ×Ｇａ …式（２）
ただし、ｌ、ｍ、ｎはＲＧＢの各フィルタの感度比率から設定される係数、Ｇａは補正処理前のＧフィルタの画素出力値である。また、ｆ（Ｒａ）、ｆ（Ｇａ）、ｆ（Ｂａ）は、下記の数１（式（３）〜式（５））で設定される係数である。
ただし、ＲａはＲフィルタの画素出力値、ＴＲはＲフィルタの画素出力の飽和判定レベル、Ｇａは補正処理前のＧフィルタの画素出力値、ＴＧはＧフィルタの画素出力の飽和判定レベル、ＢａはＢフィルタの画素出力値、ＴＢはＢフィルタの画素出力の飽和判定レベルである。
前記式（３）〜式（５）における飽和判定レベルＴＲ、ＴＧ、ＴＢは、例えば、図７に示したＲＧＢフィルタの各画素出力に対する所定の飽和判定レベルに相当する。なお、図７において、Ａ（ＴＧ）はＧフィルタの画素出力の飽和レベル（飽和判定レベル）、ＴＲはＲフィルタの画素出力の飽和判定レベル、ＴＢはＢフィルタの画素出力の飽和判定レベルである。
また、前記式（３）〜式（５）において、ＲＧＢフィルタの各画素出力が所定の飽和判定レベル（ＴＲ、ＴＧ、ＴＢ）以下の場合は“１”を設定しているが、これは補正後のＧフィルタの画素出力（Ｇｅ）の値が、補正前のＧフィルタの画素出力（Ｇa）よりも小さくならないようにするためである。
本実施形態においては、前記したようにＧフィルタを設けた画素の感度が、ＲフィルタおよびＢフィルタを設けた画素の感度の２倍としているため、Ｇフィルタの画素が飽和レベルＡに最初に達する。よって、飽和レベルＡに達した出力値をＧフィルタの画素出力の飽和判定レベルＴＧとし、ＲフィルタおよびＢフィルタの各画素出力の飽和判定レベルＴＲ、ＴＢは、ＴＧの１／２の値に設定した。なお、ＴＲ、ＴＧ、ＴＢは、撮像装置（デジタルカメラなど）に用いられるＲＧＢフィルタを有する固体撮像素子（ＣＣＤなど）の感度比に依存し、図７に示したような比率に限定されるものではない。
前記式（１）〜式（５）のように、Ｒ、Ｇ、Ｂフィルタの各画素出力と各飽和判定レベルＴＲ、ＴＧ、ＴＢとの比を算出し、これらの算出値にＲＧＢの各フィルタの感度比率から設定される係数を掛けて平均することで、Ｇフィルタの画素出力を補正する係数を算出し、算出した補正係数（Ｋ）をＧフィルタの画素出力に掛けることで補正後のＧフィルタの画素出力を算出する。そして、この補正係数（Ｋ）により前記式（２）から算出された補正後のＧフィルタの画素出力（Ｇｅ）の値は、処理単位（図６参照）内にある２つのＧフィルタの画素出力値として置き換えられる。
なお、このＧフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの各画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は８１９０となり、１４ビットのデータとして扱うことができる。
ところで、画素出力検出部６０でＧフィルタの画素出力の補正係数（Ｋ）を算出する前に、欠陥画素の出力補正が完了している必要がある。即ち、ＲＧＢフィルタを設けた各画素中に欠陥画素があり、常に飽和する値を出力する画素があった場合、前記補正係数（Ｋ）は大きな値になってしまい、結果として補正後のＧフィルタの画素出力を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。
このため、画素出力検出部６０により、前記処理単位（２×２画素）内に欠陥画素があると判断した場合、欠陥画素を用いずにその処理単位の周囲にある欠陥画素と同じ色のフィルタを有する画素を代わりに用いる。これにより、画素出力検出部６０でＧフィルタの画素出力が飽和レベル以上に達しているか否かを判定処理する際に、欠陥画素を用いることがなくなる。よって、Ｇフィルタの画素出力が所定の飽和レベル以上に達している場合に、常に精度の高い飽和画素補正を行うことができる。
また、本実施形態では、前記したように各画素の出力を検出する際の処理単位を、必要最小限の水平・垂直方向に２×２画素の大きさとしたことにより、各画素の出力を検出する際に使用するメモリを抑えることができ、更に、画素出力の検出処理の高速化を図ることができる。
次に、本実施形態における前記したダイナミックレンジ拡大モードでの静止画撮影動作を、図８に示したフローチャートを参照して説明する。
例えば、被写体の背景の一部に極端に明るい部分がある場合などに、撮影者がメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作することにより、例えば、図９に示すような撮影設定画面が液晶モニタ（ＬＣＤ）９に表示され、この表示画面から「ダイナミックレンジ２倍」の項目を選択することにより、制御部２７からＹＵＶ変換部３７へ制御信号が出力され、ダイナミックレンジを２倍に拡大するダイナミックレンジ拡大モードが実行される。
そして、前記したモニタリング動作から撮影者がレリーズボタン２を押圧（半押しから全押し）することにより、信号処理部２２のカメラＩ／Ｆ３４は、撮影レンズ系５、ＣＣＤ２０、ＡＦＥ部２１を介してＲＡＷ−ＲＧＢデータを取り込む（ステップＳ１）。
そして、カメラＩ／Ｆ３４は、取り込んだＲＡＷ−ＲＧＢデータより、ＡＥ（自動露出）評価値、ＡＦ（自動合焦）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出し、制御部２７は、算出した前記ＡＥ評価値に基づいてＡＥ処理を行い、撮影時の露出を決定する（ステップＳ２）。更に、制御部２７は、算出した前記ＡＦ評価値に基づいてＡＦ処理を行い、撮影レンズ系５のフォーカスレンズを合焦位置に移動させ、合焦させる（ステップＳ３）。
そして、ステップＳ２で決定した露出条件に基づいて撮影（記録）用の露光を行うことにより（ステップＳ４）、被写体像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に出力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換される。このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。ここまでの処理は、前記した通常の静止画撮影動作と同様である。
そして、ＳＤＲＡＭ２３から読み出したＲＡＷ−ＲＧＢデータをＹＵＶ変換部３７のＤレンジ拡大予測補間部５０に入力し、Ｄレンジ拡大予測補間部５０の画素出力検出部６０により、前記したようにＲＧＢフィルタを設けた各画素の画素出力を検出し（ステップＳ５）、予め設定している飽和レベル以上に達しているか否かを判定する（ステップＳ６）。飽和レベル以上に達している画素出力があると判定した場合には（ステップＳ６；ＹＥＳ）、飽和レベル以上に達している画素出力が一番感度の高いＧフィルタの画素出力のみであるか否かを判定する（ステップＳ７）。
ステップＳ７で、飽和レベルに達している画素出力がＧフィルタの画素出力のみであると判定した場合（ステップＳ７；ＹＥＳ）、画素出力検出部６０は、前記式（１）、式（３）〜式（５）よりＧフィルタの画素出力の補正を行うための補正係数を算出する（ステップＳ８）。そして、画素出力補正処理部６１は、前記式（２）のようにステップＳ７で算出された補正係数をＧフィルタの画素出力に乗算して、Ｇフィルタの画素出力を補正処理する（ステップＳ９）。
そして、ヒストグラム生成部３６により前記ＲＡＷ−ＲＧＢデータを基に被写体像の輝度のヒストグラムを生成する（ステップＳ１０）。そして、制御部２７は、ステップＳ１０で生成されたヒストグラムから、後述するように輝度分布の全画素数に対する最高輝度区画の画素数の割合を算出し、算出した割合に基づいて、Ｄレンジ拡大予測補間部（画素出力検出部６０、画素出力補正処理部６１）５０で１４ビットに拡張されたＧフィルタの画素出力データを、ビット圧縮変換部５１で１２ビットにビット圧縮する際における適切な変換テーブルを、以下のような判定処理により選択する（ステップＳ１１）。
なお、前記ＲＯＭ２４には、例えば、図１０（ａ）、（ｂ）に示すような、１４ビットデータを１２ビットにビット圧縮するための２つの変換テーブルが格納されている。なお、図１０（ａ）、（ｂ）において、ａは１２ビットの範囲である。
ステップＳ１１では、ステップＳ１０で生成された、例えば図１１（ａ）に示すようなヒストグラムの輝度分布に対して、輝度０〜２５５の範囲を例えば３２の区画に分割し、最高輝度区画（図１１（ａ）の区画ａ）の画素数の割合が、例えば全画素数の３％以上であるか否かを制御部２７で判定する。なお、前記した区画分割数の３２は一例であり、撮影シーン等によって任意の数に区画分割してもよい。また、本実施形態では、全画素数に対する高輝度区画の画素数の割合の判定基準を３％に設定したが、この判定基準は前記区画分割数や撮影シーン等によって任意に設定してもよい。
そして、最高輝度区画の画素数の割合が全画素数の３％以上であると制御部２７が判定した場合は、図１０（ａ）の変換テーブルを選択し、最高輝度区画の画素数の割合が全画素数の３％未満であると制御部２７が判定した場合は、図１０（ｂ）の変換テーブルを選択する。
なお、図１１（ａ）に示したヒストグラムは、例えば、曇天時の風景を撮影したときに生成されたもので、白飛びしている部分が少しある被写体像（飽和レベル以上に達している画素出力が少し存在する被写体像）であり、前記高輝度区画の画素数の割合が全画素数の３％未満である。
そして、ビット圧縮変換部５１は、選択された変換テーブルを制御部２７からの制御信号によりＲＯＭ２４から読み出し、読み出した変換テーブルを用いて、１４ビットデータを１２ビットデータにビット圧縮する（ステップＳ１２）。
図１０（ａ）に示した変換テーブルは、入力１４ビットデータが８１９０であるときに出力１２ビットデータが最大の４０９５となるような変換特性（２箇所の節点を指定し、それらの間を直線で近似する３区間の折れ線近似特性）であり、図１０（ｂ）に示した変換テーブルは、入力１４ビットデータが６１４２であるときに出力１２ビットデータが最大の４０９５となるような変換特性（２箇所の節点を指定し、それらの間を直線で近似する３区間の折れ線近似特性）である。なお、ビット圧縮変換部５１では、Ｇフィルタの画素出力を１４ビットデータから１２ビットデータにビット圧縮した変換テーブルに基づいて、拡張されているＲ、Ｂフィルタの画素出力の値も１４ビットデータから１２ビットデータに圧縮する。
図１０（ａ）の変換テーブルの方が図１０（ｂ）の変換テーブルよりも、高輝度側でビット割付を多くすることができる。よって、例えば、晴天時の明るい空を有する風景を撮影したときに生成される輝度フストグラムのように、前記最高輝度区画の画素数の割合が全画素数の３％以上あるような被写体像の場合には、図１０（ａ）の変換テーブルを選択することにより、高輝度側でのビット割付を多くして最大階調である最高輝度区画の画素を残し、高輝度部分に対して適切な階調を確保することができる。
一方、例えば、曇天時の風景を撮影したときに生成される図１１（ａ）に示したようなヒストグラムのように、前記最高輝度区画ａの画素数の割合が全画素数の３％未満であるような被写体像の場合にも、図１０（ａ）の変換テーブルを用いると高輝度側でのビット割付が多くなり過ぎる。このため、例えば、図１１（ｂ）に示すヒストグラムのように、高輝度部分がつぶれて最大階調である最高輝度区画ａの画素がなくなってしまい、コントラスト不足の画像になってしまう。
このため、前記最高輝度区画の画素数の割合が全画素数の３％未満であるような被写体像の場合には、図１０（ｂ）の変換テーブルを選択することにより、例えば、図１１（ｃ）に示すヒストグラムのように、高輝度側でのビット割付を減らして最高輝度区画ａの画素を残し、高輝度部分に対して適切なコントラストを確保することができる。
なお、図１０（ａ），（ｂ）に示した各変換テーブルでは、低輝度レベルから中輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値になるような圧縮率となっており、低輝度レベルから中輝度レベルにおける階調性を良好に保持することができる。
そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲＧＢフィルタの各画素出力データは、ホワイトバランス制御部５２に入力され、ホワイトバランス（ＡＷＢ）処理される（ステップＳ１３）。詳細には、ホワイトバランス制御部５２は、入力されるＲＧＢフィルタの各画素出力データをそれぞれ増幅する。この際、制御部２７は、カメラＩ／Ｆ３４で算出された前記ＡＷＢ評価値に基づいてホワイトバランスを合わせるための補正値を算出し、算出した補正値をホワイトバランス制御部５２に出力する。ホワイトバランス制御部５２は、入力される前記補正値に基づいてホワイトバランスを合わせる。
なお、ステップＳ６で、飽和レベル以上に達している画素出力がないと判定した場合（ステップＳ６；ＮＯ）、およびステップＳ７で、飽和レベルに達している画素出力がＧフィルタの画素出力のみでなく他のフィルタ（Ｒ、Ｂフィルタの少なくともいずれか一方のフィルタ）の画素出力も飽和レベルに達していると判定した場合（ステップＳ７；ＮＯ）には、前記ステップＳ８〜Ｓ１１の処理を行うことなくステップＳ１２で、１４ビットにビット拡張されているＲＧＢフィルタの各画素出力データを１２ビットデータに圧縮する。
そして、ホワイトバランス制御部５２でホワイトバランスが合わされたＲＧＢフィルタの各画素出力データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。
そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、例えば、図１２に示すような変換テーブルによって、１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータに変換し（ステップＳ１４）、画像サイズコンバータ部５６に出力する。画像サイズコンバータ部５６は、入力されるＹＵＶデータ（８ビット）に対して所望の画像サイズに縮小または拡大を行い、エッジエンハンス部５７に出力する。エッジエンハンス部５７は、入力されるＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する。
そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３８で記録画素数に対応するサイズに変換され、データ圧縮部４０でＪＰＥＧ形式等の画像データへと圧縮される（ステップＳ１５）。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される（ステップＳ１６）。
このように、本実施形態のデジタルカメラ１では、処理単位内の感度の高いＧフィルタの画素出力が飽和レベルを超えているような撮影においても、飽和レベルに達していない感度の低いＲ、Ｂフィルタの画素出力に基づいて、飽和しているＧフィルタの画素出力を補正処理することにより、図４に示したように、Ｇフィルタ（図４のｄ、ｅ）の画素出力の補正した拡張領域（図４のｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを２倍に拡大することが可能となる。よって、被写体の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。
更に、本実施形態のデジタルカメラ１では、前記したように被写体像のＲＡＷ−ＲＧＢデータから生成した輝度のヒストグラムから、輝度０〜２５５の範囲を例えば３２の区画に分割し、最高輝度区画の画素数の割合が例えば全画素数の３％以上であるか否かを判定し、この判定結果に応じて、Ｄレンジ拡大予測補間部５０から出力される補正されたＧフィルタの画素出力データ（１４ビット）を１２ビットにビット圧縮する際における適切な変換テーブル（図１０（ａ），（ｂ）参照）を選択するようにした。
これにより、例えば、曇天時の風景を撮影して図１１（ａ）に示したようなヒストグラムが生成されて、前記最高輝度区画ａの画素数の割合が全画素数の３％未満であるような被写体像の場合には、図１０（ｂ）の変換テーブルを選択することにより、図１１（ｃ）に示すヒストグラムのように、高輝度側でのビット割付を減らして最高輝度区画ａの画素を残し、高輝度部分に対しても階調を有し適切なコントラストを確保することができる。
〈実施形態２〉
無彩色の光源（例えば、太陽光のように広い波長帯域を持つ光源）下では、実施形態１のように一番感度の高いＧフィルタの画素出力のみが先に先に飽和レベルに達するが、例えば、無彩色の光源に対して赤味を帯びた光源下の場合には、Ｇフィルタの画素出力とＲフィルタの画素出力の両方が飽和レベル以上に達してしまうことがある（この場合、Ｂフィルタの画素出力は飽和レベルに達していない）。
このように、Ｇフィルタの画素出力とＲフィルタの画素出力の両方が飽和レベル以上に達した場合には、前記式（１）〜式（５）から算出される予測補間したＧフィルタの画素出力の値が不正確になるとともに、Ｒフィルタの画素出力の値を補正しないで、Ｇフィルタの画素出力で用いた圧縮率でビット圧縮するため、色相が変化してしまう可能性がある。
そこで、Ｇフィルタの画素出力とＲフィルタの画素出力の値が飽和レベル以上に達している場合には、前記した補正によるダイナミックレンジの拡大処理を行わないようにすることが好ましい。あるいは、複数（Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ））の画素出力の値が飽和レベル以上に達しているということは、その処理単位エリアの明るさは極めて明るいと仮定して、Ｇフィルタの画素出力の値を予め決めた値、例えば、
Ｇフィルタの画素出力＝４０９６×１．８＝７３７２（１４ビット）
などに設定してもよい。
なお、本実施形態では、前記したように無彩色の光源に対して赤味を帯びた光源下の場合について述べたが、無彩色の光源に対して青味を帯びた光源下の場合においても同様である。なお、この場合には、Ｇフィルタの画素出力とＢフィルタの画素出力の両方が飽和レベル以上に達してしまうことがある。
〈実施形態３〉
前記実施形態１では、Ｇフィルタの画素出力が飽和レベル以上に達している場合に、例えば、曇天時の風景を撮影したときに生成される前記図１１（ａ）に示したようなヒストグラムの輝度分布に対して、輝度０〜２５５の範囲を例えば３２の区画に分割し、最高輝度区画（図１１（ａ）の区画ａ）の画素数の割合が例えば全画素数の３％未満の場合は、補正によるダイナミックレンジの拡大処理、および図１０（ｂ）の変換テーブルを選択してビット圧縮する構成であったが、前記最高輝度区画の画素数の割合が例えば全画素数の３％未満のように小さい場合においては、実施形態１で述べた補正によるダイナミックレンジの拡大処理、および図１０（ｂ）の変換テーブルを用いたビット圧縮変換処理を行わないようにしてもよい。
即ち、前記最高輝度区画の画素数の割合が例えば全画素数の３％未満のように小さい場合には、この最高輝度区画における画素数がもともと少なく、このため、飽和レベル以上に達しているＧフィルタの画素数が少ないことにより、被写体像の白飛びが発生している部分の割合が小さく、全体として適切な階調を確保することができる。
〈実施形態４〉
前記実施形態１では、ダイナミックレンジ拡大モードでの静止画撮影動作について説明したが、本実施形態では、このダイナミックレンジ拡大モードでの静止画撮影動作前のモニタリング動作時においても、実施形態１で述べたダイナミックレンジの拡大処理を行う構成である。なお、本実施形態のデジタルカメラにおいても、実施形態１で述べたデジタルカメラ１と同様の構成を有している。
以下、本実施形態におけるモニタリング動作時でのダイナミックレンジ拡大処理を、図１３に示したフローチャートを参照して説明する。
撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動してモニタリング動作が開始される（ステップＳ２１）。そして、信号処理部２２のカメラＩ／Ｆ３４は、撮影レンズ系５、ＣＣＤ２０、ＡＦＥ部２１を介してＲＡＷ−ＲＧＢデータを取り込む（ステップＳ２２）。
カメラＩ／Ｆ３４は、取り込んだＲＡＷ−ＲＧＢデータより、ＡＥ（自動露出）評価値、ＡＦ（自動合焦）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出し、制御部２７は、算出した前記ＡＥ評価値に基づいてＡＥ処理を行い、モニタリング時の露出を決定する。そして、決定した露出条件に基づいてモニタリング用の露光を行うことにより（ステップＳ２３）、モニタリング時の被写体像（以下、「モニタリング画像」という）がＣＣＤ２０の各画素の受光面上に結像する。
そして、ＣＣＤ２０から出力されるモニタリング画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に出力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換される。このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。
そして、ＳＤＲＡＭ２３から読み出したＲＡＷ−ＲＧＢデータをＹＵＶ変換部３７のＤレンジ拡大予測補間部５０に入力し、Ｄレンジ拡大予測補間部５０の画素出力検出部６０により、前記したようにＲＧＢフィルタを設けた各画素の画素出力を検出し（ステップＳ２４）、予め設定している飽和レベル以上に達しているか否かを判定する（ステップＳ２５）。飽和レベル以上に達している画素出力があると判定した場合には（ステップＳ２５；ＹＥＳ）、飽和レベル以上に達している画素出力が一番感度の高いＧフィルタの画素出力のみであるか否かを判定する（ステップＳ２６）。
ステップＳ２６で、飽和レベルに達している画素出力がＧフィルタの画素出力のみであると判定した場合（ステップＳ２６；ＹＥＳ）、画素出力検出部６０は、前記式（１）、式（３）〜式（５）よりＧフィルタの画素出力の補正（予測補間）を行うための補正係数を算出する（ステップＳ２７）。そして、画素出力補正処理部６１は、前記式（２）のようにステップＳ２５で算出された補正係数をＧフィルタの画素出力に掛けて、Ｇフィルタの画素出力を補正処理する（ステップＳ２８）。
そして、ヒストグラム生成部３６により前記ＲＡＷ−ＲＧＢデータを基にモニタリング画像の輝度のヒストグラムを生成する（ステップＳ２９）。そして、制御部２７は、ステップＳ２９で生成されたヒストグラムから、後述するように全画素数に対する最高輝度区画の画素数の割合をし、算出した割合に基づいて、Ｄレンジ拡大予測補間部（画素出力検出部６０、画素出力補正処理部６１）５０で１４ビットに拡張されたＧフィルタの画素出力データを、ビット圧縮変換部５１で１２ビットにビット圧縮する際における適切な変換テーブルを選択する（ステップＳ３０）。
ステップＳ３０で適切な変換テーブルを選択する際の判定処理は、前記実施形態１と同様である。即ち、ステップＳ３０では、ステップＳ２９で生成された、例えば図１１（ａ）に示したようなヒストグラムの輝度分布に対して、輝度０〜２５５の範囲を例えば３２の区画に分割し、最高輝度区画（図１１（ａ）の区画ａ）の画素数の割合が、例えば全画素数の３％以上であるか否かを制御部２７で判定する。そして、最高輝度区画の画素数の割合が全画素数の３％以上であると制御部２７が判定した場合は、図１０（ａ）の変換テーブルを選択し、最高輝度区画の画素数が全画素数の３％未満であると制御部２７が判定した場合は、図１０（ｂ）の変換テーブルを選択する。
そして、ビット圧縮変換部５１は、選択された変換テーブルを制御部２７からの制御信号によりＲＯＭ２４から読み出し、読み出した変換テーブルを用いて、１４ビットデータを１２ビットデータにビット圧縮する（ステップＳ３１）。なお、ビット圧縮変換部５１では、Ｇフィルタの画素出力を１４ビットデータから１２ビットデータにビット圧縮した変換テーブルに基づいて、Ｒ、Ｂフィルタの画素出力の値も１４ビットデータから１２ビットデータに圧縮する。
前記したように、図１０（ａ）の変換テーブルの方が図１０（ｂ）の変換テーブルよりも、高輝度側でビット割付を多くすることができる。よって、例えば、晴天時の明るい空を有する風景を撮影したときに生成されるヒストグラムのように、前記最高輝度区画の画素数の割合が全画素数の３％以上あるようなモニタリング画像の場合には、図１０（ａ）の変換テーブルを選択することにより、高輝度側でのビット割付を多くして最高輝度区画（最大階調）の画素を残し、高輝度部分に対して適切な階調を確保することができる。
一方、前記したように、前記最高輝度区画の画素数の割合が全画素数の３％未満であるようなモニタリング画像の場合には、図１０（ｂ）の変換テーブルを選択することにより、例えば、図１１（ｃ）に示す輝度ヒストグラムのように、高輝度側でのビット割付を減らして最高輝度区画（最大階調）の画素を残し、高輝度部分に対して適切なコントラストを確保することができる。
そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲＧＢフィルタの各画素出力データは、ホワイトバランス制御部５２に入力され、ホワイトバランス（ＡＷＢ）処理される（ステップＳ３２）。
なお、ステップＳ２５で、飽和レベル以上に達している画素出力がないと判定した場合（ステップＳ２５；ＮＯ）、およびステップＳ２６で、飽和レベルに達している画素出力がＧフィルタの画素出力のみでなく他のフィルタ（Ｒ、Ｂフィルタの少なくともいずれか一方のフィルタ）の画素出力も飽和レベルに達していると判定した場合（ステップＳ２６；ＮＯ）には、前記ステップＳ２７〜Ｓ３０の処理を行うことなくステップＳ３１で、１４ビットにビット拡張されているＲＧＢフィルタの各画素出力データを１２ビットデータに圧縮する。
そして、ホワイトバランス制御部５２でホワイトバランスが合わされたＲＧＢフィルタの各画素出力データ（１２ビット）は、前記したように、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、エッジエンハンス部５７を介してＹＵＶデータ（ＹＵＶ信号）に変換された後に（ステップＳ３３）、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。
そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３９にてモニタリング用に例えばＶＧＡサイズの画像データに変換され、モニタリング画像が液晶モニタ（ＬＣＤ）９に表示される（ステップＳ３４）。なお、ステップＳ３４で、液晶モニタ９にモニタリング画像を表示しているモニタリング時においては、カメラＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
前記モニタリング動作は、電源ボタン３がＯＮ状態で撮影モードに設定されている間は継続され（ステップＳ３５；ＮＯ）、撮影者による撮影モードの設定解除、又は電源ボタン３のＯＦＦによって終了する（ステップＳ３５；ＹＥＳ）。
このように、前記したモニタリング動作時でのダイナミックレンジ拡大処理により、ダイナミックレンジ拡大処理する前のモニタリング画像が、例えば、図１４（ａ）に示すように、晴天時の風景画像で雲（図１４（ａ）のａ、ｂ）の一部分が白飛びしている場合（Ｇフィルタの画素出力が飽和レベル以上の場合）でも、図１４（ｂ）に示すように、雲の一部分（図１４（ｂ）のａ１、ｂ１）の白飛びが抑えられ、良好な階調が得られているモニタリング画像を表示することができる。
これにより、前記実施形態１で述べたダイナミックレンジ拡大モードによって静止画撮影を行う前のモニタリング動作時に、撮影者は前記したダイナミックレンジ拡大処理による効果を液晶モニタ９に表示されるモニタリング画像によって事前に確認することができる。
また、本実施形態におけるデジタルカメラは、モニタリング画像の表示切替えモードを有しており、モニタリング時に表示切替えボタン（不図示）を操作して表示切替えモードを設定することにより、制御部２７の制御によって、例えば、図１５（ａ）、（ｂ）、（ｃ）に示すようなモニタリング画像を所定の時間間隔（例えば、１秒間隔）で順次切り替えながら液晶モニタ９に表示することができる。
図１５（ａ）は、ダイナミックレンジ拡大処理する前のモニタリング画像（晴天時の風景画像で、雲（図１５（ａ）のａ、ｂ）の一部分が白飛びしている）、図１５（ｂ）は、雲の白飛びしている部分（黒い部分；図１５（ｂ）のａ１、ｂ１）を表示したモニタリング画像、図１５（ｃ）は、前記したモニタリング動作時でのダイナミックレンジ拡大処理により、雲の白飛びしていた部分（図１５（ｃ）のａ１、ｂ１）に階調が得られたモニタリング画像である。
このように、モニタリング像の表示切替えモードを設定することにより、例えば、図１５（ａ）、（ｂ）、（ｃ）のようなモニタリング画像を所定の時間間隔で順次切り替えながら液晶モニタ９に表示することができるので、撮影者は液晶モニタ９に表示されるモニタリング画像によって、画面内での白飛び部分と、ダイナミックレンジ拡大処理によるこの白飛び状態の補正を容易に確認することができる。
なお、前記ダイナミックレンジ拡大処理を行っているモニタリング動作時に、撮影者がレリーズボタン２を半押しから全押し操作することで静止画撮影動作が開始されるまでの間、あるいは撮影者がレリーズボタン２を半押し状態から緩めて押し操作が解除されるまでの間は、前記したモニタリング画像の表示切替えモードにより、例えば、図１５（ｃ）に示したようなダイナミックレンジ拡大処理したモニタリング画像を保持して表示する。
〈実施形態５〉
前記実施形態１では、例えば、太陽光のような広い波長帯域を持つ光源（以下、「一般的な光源）という）下において、飽和レベルに達している処理単位内のＧフィルタの画素出力の補正処理について説明したが、本実施形態では、低色温度又は高色温度の光源下などにおいて、飽和レベルに達している処理単位内のＧフィルタの画素出力の補正処理について説明する。
実施形態１で述べたように、一般的な光源下では、例えば、図１６に示すように、処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡに達している場合に、その周囲のＲ、Ｂフィルタの各画素出力が前記飽和レベルＡの１／２程度の状況である。
これに対して、低色温度の光源下などでは、例えば、図１７（ａ）に示すように、処理単位内のＧフィルタの画素出力が飽和レベルＡに達している場合に、処理単位内のＲフィルタの画素出力がこの飽和レベルＡに近い出力レベルになる。なお、Ｂフィルタの画素出力は前記飽和レベルＡの１／２以下である。また、高色温度の光源下などでは、例えば、図１７（ｂ）に示すように、処理単位内のＧフィルタの画素出力が飽和レベルＡに達している場合に、処理単位内のＢフィルタの画素出力がこの飽和レベルＡに近い出力レベルになる。なお、Ｒフィルタの画素出力は前記飽和レベルＡの１／２以下である。
そして、例えば、図１７（ａ）に示すように、Ｒフィルタの画素出力が飽和レベルＡに達しているＧフィルタの画素出力に近い出力レベルの場合でも、前記式（１）〜式（５）に基づいて、Ｇフィルタの画素出力を飽和レベルＡ以上に拡大するように予測補間処理することができる。そして、その後に１４ビットデータに拡張されたＧフィルタの画素出力を１２ビットデータに圧縮し、更に、Ｇフィルタの画素出力の圧縮率に合わせて１４ビットデータに拡張されたＲ、Ｂフィルタの各画素出力も１２ビットデータに圧縮処理する。
この際、１４ビットデータに拡張されたＧフィルタの画素出力を１２ビットデータに再度圧縮する場合に、図１０（ａ）に示したような変換テーブルを用いると、この変換テーブルでは、高輝度側の最大値８１９０（１４ビット）が４０９５（１２ビット）になるように圧縮される。また、この場合には、ホワイトバランスを合わせるためのゲイン（増幅率）を掛けるときにＲフィルタの画素出力のゲインが小さいものとなっている。
このため、１４ビットデータから１２ビットデータに再度圧縮されたＲフィルタの画素出力に対して、ホワイトバランスを合わせるためのゲインを掛けたときに、４０９５（１２ビット）の飽和レベルまで届かないことがある。よって、このような状況下では、前記したＧフィルタの画素出力を飽和レベルＡ以上に拡大するような予測補間処理を行った後でも、白飛びしているような明るい画像部分では飽和白色とならず、色ずれが生じることがある。なお、図１７（ｂ）に示すように、Ｂフィルタの画素出力が飽和レベルＡに達しているＧフィルタの画素出力に近い出力レベルの場合においても同様である。
そこで、本実施形態では、Ｒフィルタの画素出力又はＢフィルタの画素出力が飽和レベルＡに達しているＧフィルタの画素出力に近い出力レベルにある場合に、このような色ずれを防止するために、前記したＧフィルタの画素出力を飽和レベルＡ以上に拡大する予測補間処理を行った後、１４ビットデータに拡張されたＧフィルタの画素出力を１２ビットデータに再度圧縮する場合に、図１０（ｂ）に示したような変換テーブルを用いる。図１０（ｂ）の変換テーブルでは、高輝度側の６１４３（１３ビット）が４０９５（１２ビット）になるようにして、高輝度側の圧縮率を図１０（ａ）の変換テーブルよりも小さくしている。
このように、Ｒフィルタの画素出力又はＢフィルタの画素出力が、飽和レベルＡに達しているＧフィルタの画素出力に近い出力レベルにある場合においては、実施形態１で述べたＧフィルタの画素出力を飽和レベルＡ以上に拡大する予測補間処理を行った後、図１０（ｂ）に示したような変換テーブルを用いて、１４ビットデータから１２ビットデータに圧縮する際に高輝度側の圧縮率を抑えるようにする。
これにより、１４ビットデータから１２ビットデータに再度圧縮されたＲフィルタの画素出力又はＢフィルタの画素出力に対して、ホワイトバランスを合わせるためのゲインを掛けたときに、ゲインが小さくても４０９５（１２ビット）の飽和レベルにすることができるので、Ｇフィルタの画素出力を飽和レベルＡ以上に拡大するような予測補間処理を行った後でも、白飛びしているような明るい画像部分に色ずれが生じることを防止することができる。
〈実施形態６〉
前記実施形態１では図６に示したように、ＲＧＢフィルタを有するＣＣＤ２０に対して、２×２画素を処理単位（最小単位）としていたが、本実施形態では、図１８に示すように、太枠Ａ内の５画素（１つのＧフィルタの画素、２つずつのＲ（Ｒ１、Ｒ２）、Ｂ（Ｂ１、Ｂ２）フィルタの画素）を処理単位（最小単位）とし、処理単位を前記実施形態１の場合よりも広い範囲とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
本実施形態では、画素出力検出部６０は、処理単位（図１８参照）内の１つのＧフィルタの画素の周囲にある２つのＲ１、Ｒ２フィルタの画素出力の平均値、および２つのＢ１、Ｂ２フィルタの画素出力の平均値を算出し、算出した各平均値を処理単位（図１８参照）内のＲ、Ｂフィルタの各画素出力の値とする。
図１８に示した太枠Ａの処理単位内にあるＧフィルタの画素出力が飽和レベル以上に達している場合、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力の補正係数（Ｋ）、補正後のＧフィルタの画素出力（Ｇｅ）は、下記の式（６）、式（７）から算出される。
Ｋ＝｛ｌ×ｆ（Ｒo）＋ｍ×ｆ（Ｇo）＋ｎ×ｆ（Ｂo）｝／３ …式（６）
Ｇｅ＝Ｋ×Ｇo …式（７）
ただし、ｌ、ｍ、ｎはＲＧＢの各フィルタの感度比率から設定される係数、Ｇoは補正前のＧフィルタの画素出力である。また、ｆ（Ｒo）、ｆ（Ｇo）、ｆ（Ｂo）は、下記の数２（式（８）〜式（１０））で設定される係数である。
ただし、Ｒoは前記処理単位（図１８参照）内でのＲフィルタの画素出力の平均値、ＴＲはＲフィルタの画素出力の飽和判定レベル、Ｇoは前記処理単位（図１８参照）内でのＧフィルタの画素出力、ＴＧはＧフィルタの画素出力の飽和判定レベル、Ｂoは前記処理単位（図１８参照）内でのＢフィルタの画素出力の平均値、ＴＢはＢフィルタの画素出力の飽和判定レベルである。
なお、前記ＴＲ、ＴＧ、ＴＢは、前記式（３）〜式（５）と同様である。また、前記係数ｌ、ｍ、ｎは、Ｒ、Ｇ、Ｂフィルタの各画素出力の感度比が実施形態１と同様であれば、係数ｌ、ｎがそれぞれ３／２、ｍが０となる。
そして、図５に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（７）より算出されたＧフィルタの画素出力値を、前記処理単位（図１８参照）内にあるＧフィルタの画素出力値として置き換え、以下、前記実施形態１と同様の処理を行う。
このように、処理単位を広くすることで、処理単位内の他のＲ１，Ｒ２フィルタの画素、Ｂ１，Ｂ２フィルタの画素が持っている感度差による影響を緩和することができ、Ｇフィルタの画素出力に対して、より正確なダイナミックレンジ拡大予測補間が可能となる。
なお、前記した各実施形態では、色分解フィルタとしてＲＧＢの３原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。
１ デジタルカメラ（撮像装置）
５ 撮影レンズ系（光学系）
６ 鏡胴ユニット
９ 液晶モニタ（表示手段）
２０ ＣＣＤ（撮像素子）
２１ アナログフロントエンド部
２２ 信号処理部
２３ ＳＤＲＡＭ
２７ 制御部（算出手段）
３４ カメラインターフェース
３５ メモリコントローラ
３６ ヒストグラム生成部（ヒストグラム生成手段）
３７ ＹＵＶ変換部
５０ Ｄレンジ拡大予測補間部
５１ ビット圧縮変換部（ビット圧縮変換手段）
６０ 画素出力検出部（画素出力検出手段）
６１ 画素出力補正処理部（画素出力補正処理手段）
６２ ビット拡張処理部
特開２０００−９２３７８号公報

Claims (18)

  1. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、
    デジタル変換された前記各画素からの出力を検出する際の処理単位を、水平・垂直方向に２×２画素の大きさとして、前記各画素からの出力を検出するとともに、検出した画素出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
    前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上に達している前記特定色のフィルタが配置された画素からの出力を補正する画素出力補正処理手段と、
    前記画素出力補正処理手段から出力される、第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数にビット圧縮するビット圧縮変換手段と、
    前記各画素から出力される画像信号に基づいて前記被写体像の輝度ヒストグラムを生成するヒストグラム生成手段と、
    前記ヒストグラム生成手段で生成された輝度ヒストグラムから輝度分布の全画素数に対する、輝度分布を複数に区画分割したうちの最高輝度区画における画素数の割合を算出する算出手段とを備え、
    前記ビット圧縮変換手段は、前記算出手段で算出された全画素数に対する前記最高輝度区画の画素数の割合に応じて設定された圧縮特性により前記ビット圧縮を行うことを特徴とする撮像装置。
  2. 前記ビット圧縮変換手段は、前記算出手段で算出された全画素数に対する前記最高輝度区画の画素数の割合が所定の閾値よりも小さい場合、全画素数に対する前記最高輝度区画の画素数の割合が前記所定の閾値よりも大きい場合に対して、前記最高輝度区画を含む高輝度側に対応した画素出力のデータに対する圧縮率を小さくするように変更された圧縮特性に基づいて、前記ビット圧縮することを特徴とする請求項１に記載の撮像装置。
  3. 前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする請求項１に記載の撮像装置。
  4. 前記ビット圧縮変換手段は、前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴とする請求項１に記載の撮像装置。
  5. 前記ビット圧縮変換手段は、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルに近い出力レベルにある場合には、
    前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルの１／２程度の出力レベルにある場合よりも、前記所定の飽和レベル以上領域における画素出力に対応したデータに対する圧縮率を小さくして前記ビット圧縮することを特徴とする請求項１に記載の撮像装置。
  6. 前記各画素から出力される画像信号に基づいて生成される表示用画像データを、撮影画像記録前のモニタリング時におけるモニタリング画像として表示可能な表示手段をさらに有し、
    前記モニタリング時に、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上の場合に、前記画素出力補正処理手段による前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換手段による前記ビット圧縮処理を行っていなく前記最高輝度区画に階調がなく白飛びした画像と、前記白飛びしている箇所を表示した画像と、前記画素出力補正処理手段による前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換手段による前記ビット圧縮処理により、前記最高輝度区画にも階調を有する画像とを、所定の時間間隔で切替えてモニタリング画像として前記表示手段に表示されるようにしたことを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
  7. 前記特定色のフィルタが配置された画素の出力に対して前記画素出力補正処理手段で前記補正させる動作を、選択して実行させるための動作選択手段を備えていることを特徴とする請求項１に記載の撮像装置。
  8. 前記処理単位内に欠陥画素がある場合は、前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴とする請求項１に記載の撮像装置。
  9. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を有する撮像装置の撮像方法において、
    デジタル変換された前記各画素からの出力を検出する際の処理単位を、水平・垂直方向に２×２画素の大きさとして、前記各画素からの出力を検出するとともに、検出した画素出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
    前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上に達している前記特定色のフィルタが配置された画素からの出力を補正する画素出力補正処理ステップと、
    前記画素出力補正処理ステップから出力される、第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数にビット圧縮するビット圧縮変換ステップと、
    前記各画素から出力される画像信号に基づいて前記被写体像の輝度ヒストグラムを生成するヒストグラム生成ステップと、
    前記ヒストグラム生成ステップで生成された輝度ヒストグラムから輝度分布の全画素数に対する、輝度分布を複数に区画分割したうちの最高輝度区画における画素数の割合を算出する算出処理ステップとを含み、
    前記ビット圧縮変換ステップは、前記算出処理ステップで算出された全画素数に対する前記最高輝度区画の画素数の割合に応じて設定された圧縮特性により前記ビット圧縮を行うことを特徴とする撮像方法。
  10. 前記ビット圧縮変換ステップは、前記算出処理ステップで算出された全画素数に対する前記最高輝度区画の画素数の割合が所定の閾値よりも小さい場合、全画素数に対する前記最高輝度区画の画素数の割合が前記所定の閾値よりも大きい場合に対して、前記最高輝度区画を含む高輝度側に対応した画素出力のデータに対する圧縮率を小さくするように変更された圧縮特性に基づいて、前記ビット圧縮することを特徴とする請求項９に記載の撮像方法。
  11. 前記ビット圧縮変換ステップは、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする請求項９に記載の撮像方法。
  12. 前記ビット圧縮変換ステップは、前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴とする請求項９に記載の撮像方法。
  13. 前記ビット圧縮変換ステップは、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルに近い出力レベルにある場合には、
    前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していて、その周囲の前記特定色のフィルタと異なる他の色のフィルタが配置された画素からの出力が前記所定の飽和レベルの１／２程度の出力レベルにある場合よりも、前記所定の飽和レベル以上領域における画素出力に対応したデータに対する圧縮率を小さくして前記ビット圧縮することを特徴とする請求項９に記載の撮像方法。
  14. 前記各画素から出力される画像信号に基づいて生成される表示用画像データを、撮影画像記録前のモニタリング時におけるモニタリング画像として表示可能な表示手段を有し、
    前記モニタリング時に、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上の場合に、前記画素出力補正処理ステップによる前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換ステップによる前記ビット圧縮処理を行っていなく前記最高輝度区画に階調がなく白飛びした画像と、前記白飛びしている箇所を表示した画像と、前記画素出力補正処理ステップによる前記特定色のフィルタが配置された画素からの出力の補正処理、および前記ビット圧縮変換ステップによる前記ビット圧縮処理により、前記最高輝度区画にも階調を有する画像とを、所定の時間間隔で切替えてモニタリング画像として前記表示手段に表示されるようにしたことを特徴とする請求項９乃至１３のいずれか一項に記載の撮像方法。
  15. 前記特定色のフィルタが配置された画素の出力に対して前記画素出力補正処理ステップで前記補正させる動作を、選択して実行させるための動作選択手段を備えていることを特徴とする請求項９に記載の撮像方法。
  16. 前記処理単位内に欠陥画素がある場合は、前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴とする請求項９に記載の撮像方法。
  17. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、
    デジタル変換された前記各画素からの出力を検出する際の処理単位を、水平方向と垂直方向の画素列が十字状に交わり、水平方向に３画素、垂直方向に前記水平方向の中央の画素を含む３画素の大きさとして、前記各画素からの出力を検出するとともに、検出した画素出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
    前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上に達している前記特定色のフィルタが配置された画素からの出力を補正する画素出力補正処理手段と、
    前記画素出力補正処理手段から出力される、第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数にビット圧縮するビット圧縮変換手段と、
    前記各画素から出力される画像信号に基づいて前記被写体像の輝度ヒストグラムを生成するヒストグラム生成手段と、
    前記ヒストグラム生成手段で生成された輝度ヒストグラムから輝度分布の全画素数に対する、輝度分布を複数に区画分割したうちの最高輝度区画における画素数の割合を算出する算出手段とを備え、
    前記ビット圧縮変換手段は、前記算出手段で算出された全画素数に対する前記最高輝度区画の画素数の割合に応じて設定された圧縮特性により前記ビット圧縮を行うことを特徴とする撮像装置。
  18. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を有する撮像装置の撮像方法において、
    デジタル変換された前記各画素からの出力を検出する際の処理単位を、水平方向と垂直方向の画素列が十字状に交わり、水平方向に３画素、垂直方向に前記水平方向の中央の画素を含む３画素の大きさとして、前記各画素からの出力を検出するとともに、検出した画素出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
    前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上に達している前記特定色のフィルタが配置された画素からの出力を補正する画素出力補正処理ステップと、
    前記画素出力補正処理ステップから出力される、第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数にビット圧縮するビット圧縮変換ステップと、
    前記各画素から出力される画像信号に基づいて前記被写体像の輝度ヒストグラムを生成するヒストグラム生成ステップと、
    前記ヒストグラム生成ステップで生成された輝度ヒストグラムから輝度分布の全画素数に対する、輝度分布を複数に区画分割したうちの最高輝度区画における画素数の割合を算出する算出処理ステップとを含み、
    前記ビット圧縮変換ステップは、前記算出処理ステップで算出された全画素数に対する前記最高輝度区画の画素数の割合に応じて設定された圧縮特性により前記ビット圧縮を行うことを特徴とする撮像方法。
JP2009163900A 2008-09-11 2009-07-10 撮像装置および撮像方法 Expired - Fee Related JP5310331B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009163900A JP5310331B2 (ja) 2008-09-11 2009-07-10 撮像装置および撮像方法
US12/717,523 US8319864B2 (en) 2008-09-11 2010-03-04 Imaging apparatus and imaging method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008232862 2008-09-11
JP2008232862 2008-09-11
JP2009163900A JP5310331B2 (ja) 2008-09-11 2009-07-10 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2010093780A JP2010093780A (ja) 2010-04-22
JP5310331B2 true JP5310331B2 (ja) 2013-10-09

Family

ID=42256010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009163900A Expired - Fee Related JP5310331B2 (ja) 2008-09-11 2009-07-10 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP5310331B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101467909B1 (ko) * 2013-07-17 2014-12-02 (주)탑중앙연구소 카메라 모듈용 렌즈 균일도 평가 시스템 및 이를 사용한 카메라 모듈용 렌즈 균일도 평가 방법
KR101468433B1 (ko) * 2014-05-16 2014-12-10 중앙대학교 산학협력단 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
CN112233313B (zh) * 2020-10-19 2022-06-21 中国工商银行股份有限公司 一种纸币识别方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988457B2 (ja) * 2001-12-25 2007-10-10 ソニー株式会社 撮像装置及び固体撮像素子の信号処理方法
JP2006081037A (ja) * 2004-09-10 2006-03-23 Eastman Kodak Co 撮像装置
JP4666681B2 (ja) * 2006-01-20 2011-04-06 株式会社日立国際電気 画像処理装置および画像処理方法
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子

Also Published As

Publication number Publication date
JP2010093780A (ja) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5347707B2 (ja) 撮像装置および撮像方法
JP5123137B2 (ja) 撮像装置および撮像方法
US8269852B2 (en) Imaging apparatus and imaging method
JP6521776B2 (ja) 画像処理装置、画像処理方法
JP5660341B2 (ja) 撮像装置、撮像方法
US8319864B2 (en) Imaging apparatus and imaging method
US7884866B2 (en) Imaging apparatus and imaging method
JP5223686B2 (ja) 撮像装置および撮像方法
JP5458937B2 (ja) 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体
JP4999871B2 (ja) 撮像装置およびその制御方法
JP5256947B2 (ja) 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008053931A (ja) 撮像装置
JP5277863B2 (ja) 撮像装置および撮像方法
JP5948997B2 (ja) 撮像装置及び撮像方法
JP5310331B2 (ja) 撮像装置および撮像方法
JP5091781B2 (ja) 撮像装置および撮像方法
JP5146015B2 (ja) 撮像装置及び撮像方法
JP2010068331A (ja) 撮像装置および撮像方法
JP5803233B2 (ja) 撮像装置および撮像方法
JP5091734B2 (ja) 撮像装置および撮像方法
JP2010068064A (ja) 撮像装置及び撮像方法
JP5169540B2 (ja) 撮像装置および撮像方法
JP5145876B2 (ja) 撮像装置および撮像方法
JP2005311843A (ja) 撮像装置
JP2006094134A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130617

R151 Written notification of patent or utility model registration

Ref document number: 5310331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees