JP4934617B2 - 撮像装置及び撮像方法 - Google Patents

Description

この発明は、異なる露光量の2つ以上の画像を合成することで、ダイナミックレンジ拡大を行うようにした撮像装置及び撮像方法に関するものである。

従来の撮像装置としては、露光量が異なる２つ以上の画像信号を合成することで、ダイナミックレンジを拡大する方法は古くから数多く提案されている。例えば撮像装置としては、開効率の異なる2種類のセンサーを用いて、露光量の差が出るような構造をもつセンサーを撮像素子として用いたものも知られている（例えば、特許文献１参照）。

この撮像装置では、特殊な専用センサーを用いるために莫大なコストが必要になる。例えば、この撮像装置では、2種類の感度のセンサーを用いる場合、2画素で1画素分の情報となるため、同一サイズのセンサーと比較すると解像度が落ちてしまうという問題がある。

また、特殊な専用センサーを用いないで露光量が異なる２つの画像信号を取得する方法としては、露光量が異なる露光を2回以上連続して短時間で行うことも考えられている。

この場合、連続して2回の露光を行っても、2回の露光には露光タイミング差があるために、被写体が動いている場合や手ブレなどでカメラが動いている場合に被写体の位置ずれが発生してしまうという問題が生じる。

この被写体の位置ずれの問題を解消する撮像装置としては、1回目の読み出し画素数を少なくして短時間で終わるようにすることで、2回目露光との時間差を短くするようにしたものも知られている（例えば、特許文献２参照）。
特開２００４−１９３７６２号公報 特許第3674420号公報

しかし、この撮像装置では、1回目の読み出し画素数が少なくなってしまうために、画素数が少ないデータを使った領域の解像度が落ちてしまうという問題が発生する。例えば、高輝度部分が間引きまたは画素加算による少ない画素数データ、低輝度部分が全画素を用いた多い画素数のデータだった場合、画素数の少ないデータは拡大後に合成を行うが、高輝度部分に文字などの細かいエッジを持つデータがあると、文字がつぶれたような画像の劣化が生じてしまうという問題がある。

そこで、この発明は、特殊なセンサーを用いず、複数回の連続露光により一般的なセンサーを使ってダイナミックレンジを拡大できると共に、連続露光による画質の劣化を少なくできる撮像装置及び撮像方法を提供することを目的とするものである。

この目的を達成するため、この発明の撮像装置は、露光量および画素数が異なる複数の画像信号を連続して出力する撮像素子と、前記画像信号による複数の画像を合成してダイナミックレンジを拡大させる画像合成手段を備える撮像装置において、前記画像合成手段は、前記画像の合焦状態の詳細度を検出する詳細度検出手段と、前記被写体の詳細度の高低によりダイナミックレンジ拡大幅を変更する拡大幅変更手段を備えることを特徴とする。

また、上記目的を達成するため、この発明の撮像方法は、露光量および画素数が異なる複数の画像信号を撮像素子から連続して出力させて、前記画像信号による複数の画像を画像合成手段で合成することによりダイナミックレンジを拡大させる撮像方法において、前記画像の合焦状態の詳細度を詳細度検出手段で検出させ、前記被写体の詳細度の高低によりダイナミックレンジ拡大幅を拡大幅変更手段で変更させることを特徴とする。

この撮像装置及び撮像方法によれば、特殊なセンサーを用いず、複数回の連続露光により一般的なセンサーを使ってダイナミックレンジを拡大できると共に、連続露光による画質の劣化を少なくできる。

以下、この発明の実施の形態に係る撮像装置及び撮像方法を図面に基づいて説明する。
[構成]
（デジタルスチルカメラの外観構成）
図１（ａ）は本実施形態に係る撮像装置としてのデジタルスチルカメラの正面図、図１（ｂ）は図１（ａ）のデジタルスチルカメラの背面図、図１（ｃ）は図１（ｂ）のデジタルスチルカメラの平面図である。図１（ａ）〜（ｃ）において、１はこの発明に係るデジタルスチルカメラのカメラ本体（カメラボディ）である。

このカメラ本体１の正面１ａの中央には、図１（ａ）に示したように、撮影用の鏡胴ユニットである撮影レンズ２が設けられている。また、カメラ本体１の正面１ａの右上にはフラッシュ３が設けられ、カメラ本体１の正面１ａの中央上部には光学ファインダ４の透窓４ａが設けられている。

また、図１（ｂ）に示したように、カメラ本体１の背面１ｂの中央上部にはファインダ４の覗き窓４ｂが設けられており、カメラ本体１の背面１ｂの略左側には液晶表示器（ＬＣＤディスプレイ）５が画像表示装置（画像表示手段）として設けられている。また、カメラ本体１の背面１ｂ右側上部には、ワイドボタンである広角方向ズームスイッチ（ワイドスイッチ）６及び望遠ボタンである望遠方向ズームスイッチ（テレスイッチ）７が設けられている。

更に、カメラ本体１の背面１ｂ右側の下部には、図１（ｂ）に示したようにメニュースイッチ（メニューボタン）８及び確定スイッチ（確定ボタン）９が設けられている。このメニュースイッチ８をＯＮさせることで、液晶表示器５には撮影条件設定や画像選択或いはその他のメニュー画面が表示されるようになっている。このメニュー画面の内容としては、周知のディジタルカメラに採用されているものを用いることができるので、その詳細な説明は省略する。

また、カメラ本体１の背面１ｂ右側の上下方向の中央には、図１（ｂ）に示したように、選択スイッチ（選択ボタン、選択手段）１０が設けられている。この選択スイッチ１０は、例えばメニュースイッチ８で液晶表示器５に表示されるメニュー画面のメニューの選択や撮影条件の選択等に用いられる。尚、選択スイッチ１０には、上下左右に選択カーソル（図示せず）を移動させる上移動スイッチＵＰ，下移動スイッチＤＯＷＮ，横移動スイッチＲＩＧＨＴ，横移動スイッチＬＥＦＴ等が設けられている。

更に、図１（ｃ）に示したように、カメラ本体１の上面１ｃの右側には、撮影／再生切換ダイヤル（モード切替手段としてのモードダイヤル）１１と、電源釦１２及びレリーズシャッターボタンであるレリーズ釦（レリーズスイッチ）１３等を備えている。

この撮影／再生切換ダイヤル１１には、上面１ｃのマーク（モード設定線）１４に合わせることにより撮影モードとするカメラマーク１１ａや、再生モードとする右向きの三角マーク１１ｂ等が設けられている。更に、電源釦１２は撮影／再生切換ダイヤル１１の中央に設けられ、レリーズ釦１３は撮影／再生切換ダイヤル１１に近接して上面１ｃに設けられている。

尚、図１（ｃ）に示したように、カメラ本体１にはメモリカード収納部１５が設けられ、メモリカード収納部１５にはメモリカード１５ａが収納されている。
（デジタルスチルカメラのシステム構成）
また、図２は、図１（ａ）〜図１（ｃ）に示したデジタルスチルカメラの光学系（撮影レンズ２）及び制御回路等を含む撮像処理システムの概要図である。
＜撮影レンズ２＞
この図２において、図１の撮影レンズ２は、複数枚のレンズ又はレンズ群からなる撮影光学系（ズームＡＦレンズ即ちズームオートフォーカスレンズ）１６とメカニカルシャッタ１７を備えている。このズームレンズである撮影光学系１６は、図示しないレンズ駆動モータによりズーム及びオートフォーカスのための駆動ができるようになっている。また、メカニカルシャッタ１７は、図示しないシャッター駆動モータにより駆動されるようになっている。これらの構成には周知の構成を採用できるので、その詳細な説明は省略する。

尚、図２において、１８は上述したカメラ本体１の操作部である。この操作部１８は、カメラ本体１の広角方向ズームスイッチ６，望遠方向ズームスイッチ７，メニュースイッチ８，確定スイッチ９，撮影／再生切換ダイヤル１１，電源釦１２及びレリーズ釦１３等を含んでいる。
＜撮像処理システム＞
また、撮影レンズ２を透過した被写体からの光束は撮像処理システムにより信号処理されるようになっている。この撮像処理システムは、撮影レンズ２を透過した光束により被写体像を結像させて撮像する撮像センサー（撮像部）１９と、撮像センサー１９から出力されるデジタル信号を処理する信号処理部（信号処理ＩＣ）２０と、画像データ等を一時的に格納するＳＤＲＡＭ２１（フレームメモリ）と、制御プログラム等が記憶されたＲＯＭ２２、撮影レンズ２を駆動するモータドライバ２３等を有している。

尚、このモータドライバ２３は、撮影光学系１６のレンズを光軸方向に移動させるレンズ駆動モータ（図示せず）、及び、メカニカルシャッタ１７のシャッター駆動モータ（図示せず）を駆動するようになっている。
（撮像センサー１９）
この撮像センサー１９は、撮影レンズ２を透過した被写体からの光束が入射して被写体像が結像される撮像素子（二次元の受光センサー、イメージセンサ、撮像手段）２４と、この撮像素子２４から出力されるＲＧＢのアナログ信号（映像信号）を１２ｂｉｔのデジタルデータ（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部２５と、撮像素子２４及びＡ／Ｄ変換部２５を駆動するＴＧ（タイミング信号発生部）２６を有する。

尚、本実施例では撮像素子２４に８００万画素のＣＭＯＳイメージセンサー等の固体撮像素子が用いられている。また、ＣＭＯＳイメージセンサーには例えばＲＧＢのフィルタがベイヤ配列されたものが用いられていて、ＣＭＯＳイメージセンサーからはＲＧＢの画像信号が出力されるようになっている。

この撮像素子２４は、静止画撮影時は全画素を１／３０秒ごとに出力することができる。また、撮像素子２４は、ファインダモード時、周辺画素を加算と間引きを組み合わせて、全画素よりも少ない画素数で出力する。この加算する画素数および間引き率は設定により変更可能である。
（信号処理部２０）
この信号処理部（信号処理ＩＣ）２０は、センサーＩ／Ｆ部（センサーインタフェース部）２７、ＣＰＵ（中央演算制御装置）２８、メモリコントローラ２９、ＹＵＶ変換部３０、圧縮処理部３１、表示出力制御部３２、リサイズ処理部３３、及びメディアインタフェース（メディアＩ／Ｆ）３４等を備えている。

このセンサーＩ／Ｆ部（センサーインタフェース部）２７は、制御手段（演算制御手段）であるＣＰＵ（中央演算制御装置）２８及びメモリコントローラ２９に接続されている。また、ＣＰＵ２８は、メモリコントローラ２９，ＹＵＶ変換部３０，メディアインタフェース（メディアＩ／Ｆ）３４に接続されている。更に、メモリコントローラ２９は、ＳＤＲＡＭ２１（フレームメモリ），表示出力制御部３２及びリサイズ処理部３３に接続されている。この表示出力制御部３２は、液晶表示器５に接続されていると共に、ＴＶ（図示せず）に接続される。そして、表示出力制御部３２は、液晶表示器５に動画や静止画像等の画像信号を表示のために出力するようになっている。
＜センサーＩ／Ｆ部（画像取込手段）２７＞
この画像取込手段であるセンサーＩ／Ｆ部２７には、撮影レンズ２のＴＧ（タイミング信号発生部）２６から入力される画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）に合わせて、Ａ／Ｄ変換部２５で変換された１２ｂｉｔのＲＡＷ−ＲＧＢデータ（デジタルデータ、ＲＧＢのデジタル画像データ）を取り込むようになっている。

しかも、センサーＩ／Ｆ部２７は、ＲＧＢのデジタルデータを取り込むと、取り込んだＲＡＷ−ＲＧＢデータから、画面の合焦度合いを示すＡＦ評価値（自動合焦評価値）、被写体輝度を検出したＡＥ評価値（自動露出評価値）、及び被写体色や光源色を検出したＡＷＢ評価値（オートホワイトバランス評価値）等の特徴データを算出するようになっている。従って、センサーＩ／Ｆ部２７は、ＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値等の評価値算出手段（特徴データ算出手段）としての機能を有するので、画像取込・評価値算出手段又は画像取込・特徴データ算出手段ということもできる。そして、このＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値等の特徴データの算出は、動画を構成するフレーム（画像フレーム）毎に行うことができる。

しかし、実際、センサーＩ／Ｆ部２７は、動画を構成するフレーム（画像フレーム）毎にＡ／Ｄ変換部２５から出力されるＲＡＷ−ＲＧＢデータ（ＲＧＢのディジタルデータ）を順次取り込んで、各フレーム毎のＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値等の特徴データを算出させるようになっている。尚、センサーＩ／Ｆ部２７は、評価値算出用のフォーカス位置に対応するフレーム数になる毎にＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値等の特徴データを算出させるようにすることもできる。

この特徴データの算出は、例えば撮像素子２４の受光面（画面）を１６×１６のブロックに分割して、この分割したブロックのそれぞれの領域で算出されるようになっている。

また、ＡＦ評価値は、例えば高周波成分抽出フィルタ（図示せず）の出力積分値や、近接画素の輝度差の積分値によって算出（作成）される。尚、被写体が撮影光学系１６により撮像素子２４に対して合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が増加し、ＡＦ評価値が一番高くなる。

更に、ＡＥ評価値とＡＷＢ評価値は、ＲＧＢのそれぞれのディジタルデータの積分値から算出（作成）される。この際、センサーＩ／Ｆ部２７は、撮像素子２４の受光面（画面）を２５６エリア（水平１６分割、垂直１６分割）に分割して、各エリアのＲＧＢのディジタルデータの積算値からＡＥ評価値とＡＷＢ評価値を算出する。
＜ＣＰＵ２８＞
この制御手段（制御回路）であるＣＰＵ２８には、カメラ本体１の広角方向ズームスイッチ６，望遠方向ズームスイッチ７，メニュースイッチ８，確定スイッチ９，撮影／再生切換ダイヤル１１，電源釦１２及びレリーズ釦１３等の操作部１８から、所定の動作指示信号（操作信号）が入力されるようになっている。

そして、ＣＰＵ２８は、レリーズ釦１３が操作されると、メカニカルシャッタ１７を操作部１８からの撮影条件情報（例えば、露出条件信号）等に基づいてメカニカルシャッタ１７のシャッター駆動モータ（図示せず）を駆動制御し、メカニカルシャッタ１７を所定量開かせる。

これに伴い、ＣＰＵ２８は、フレームレートに同期してモータドライバ２３を作動制御して、撮影レンズ２に設けた撮影光学系１６のレンズ駆動モータ（図示せず）を駆動制御し、撮影光学系１６のフォーカスレンズ（図示せず）を光軸方向に移動制御して、合焦検出動作を開始するようになっている。このようなレリーズ釦１３の半押し操作の構成やメカニカルシャッタ１７の駆動構造及びフォーカスレンズ（図示せず）の駆動構造については、周知の構造を採用できるので、その詳細な説明は省略する。

この制御に際して、ＣＰＵ２８は、ＡＦ対象範囲が無限から至近までの全領域であった場合、フォーカスレンズを至近から無限、または無限から至近の方向に移動させて、撮影レンズ２の撮像素子２４で動画を撮像させるようになっている。尚、ＣＰＵ２８は、フォーカスレンズの光軸方向への移動に伴い、光軸方向への移動位置の複数箇所を評価値を算出するフォーカス位置とするように設定されている。

尚、センサーＩ／Ｆ部２７は、上述したように動画を構成するフレーム（画像フレーム）毎にＡ／Ｄ変換部２５から出力されるＲＡＷ−ＲＧＢデータ（ＲＧＢのディジタルデータ）を順次取り込んで、評価値算出用のフォーカス位置に対応するフレーム数になる毎にＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値等の特徴データを算出させるようになっている。

また、ＣＰＵ２８は、メモリコントローラ２９，ＹＵＶ変換部３０及びメディアインタフェース（メディアＩ／Ｆ）３４等を動作制御するようになっている。

更に、ＣＰＵ２８は、評価値算出用のフォーカス位置に対応するフレームのＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値等の特徴データをセンサーＩ／Ｆ部２７から順次読み出して、ＡＥ，ＡＦ，ＡＷＢのそれぞれの処理に利用するようになっている。

このＡＦ評価値は、上述したように被写体が撮影光学系１６により撮像素子２４に対して合焦状態にあるときに、一番高くなる。これを利用してＣＰＵ２８は、ＡＦによる合焦検出動作時に、モータドライバ２３を作動制御して撮影レンズ２のレンズ駆動モータ（図示せず）を作動制御することにより、撮影光学系１６のフォーカスレンズ（図示せず）をレンズ駆動モータ（図示せず）により光軸方向に移動させながら、それぞれのフォーカスレンズ位置におけるＡＦ評価値をセンサーＩ／Ｆ部２７から取得して、その極大になる点を合焦位置としてＡＦ（自動合焦）を実行する。

また、ＣＰＵ２８は、解像度の高いものがあるかどうかの判断にも利用できる。即ち、撮像素子２４の受光面を例えば１６×１６の複数のブロックに分割した領域のうち、例えば文字などがたくさん書いてある領域では、高周波成分が高くなり、高周波成分抽出ができるハイパスフィルタの出力値は大きくなる。逆に真っ白の紙など輝度の変化がない領域では、高周波成分がないために、ハイパスフィルタの出力は小さくなる。そのため、ＣＰＵ２８は、撮像素子２４の１６×１６にブロックに分割された受光面の各領域におけるＡＦ評価値を比較することで、どの領域に先鋭度の高いものが存在するかの判定をすることができる。

更に、ＣＰＵ２８は、センサーＩ／Ｆ部２７からＲＧＢのディジタルデータの変化の積分値を読み出し、ＡＥでの露光時間やＡＷＢの制御値を決定するようになっている。

即ち、ＡＥにおいてＣＰＵ２８は、撮像素子２４の１６×１６にブロックに分割された受光面の各領域（エリア）の輝度を算出して、この算出した輝度から撮像素子２４の受光面の輝度分布を求め、この算出した輝度分布から適正な露光時間を決定する。また、ＡＷＢにおいてＣＰＵ２８は、ＲＧＢの分布から被写体色や光源色を判定し、光源の色に合わせたＡＷＢの制御値を決定する。このＡＥとＡＷＢの処理は、ファインダモード中は連続的に行われている。

また、ＣＰＵ２８は、ＡＷＢなどの変換係数をＹＵＶ変換部３０に入力するようになっている。
＜メモリコントローラ２９＞
このメモリコントローラ２９は、ＣＰＵ（中央演算制御装置）２８により動作制御されて、ＳＤＲＡＭ（フレームメモリ）２１を作動制御すると共に、センサーＩ／Ｆ部２７から取り込まれたＲＡＷ−ＲＧＢデータをＳＤＲＡＭ（フレームメモリ）２１に記録させるようになっている。

また、メモリコントローラ２９は、ＳＤＲＡＭ２１に記録されたＲＡＷ−ＲＧＢデータ（画像データ）を読み込んでＹＵＶ変換部３０に入力させ、このＲＡＷ−ＲＧＢデータをＹＵＶ変換部３０によりＹＵＶデータ（ＹＵＶ画像データ）に変換させ、この変換されたＹＵＶデータ（ＹＵＶ画像データ）をＳＤＲＡＭ（フレームメモリ）２１に記録させるようになっている。

しかも、メモリコントローラ２９は、ＹＵＶデータをメディアインタフェース３４を介してメモリカード１５ａに記録させるようになっている。

また、メモリコントローラ２９は、ＳＤＲＡＭ２１に記録されたＹＵＶデータをリサイズ処理部３３に入力して、リサイズ処理部３３でＹＵＶデータの記録画素数に対応するサイズに変換させる。しかも、メモリコントローラ２９は、リサイズ処理部３３で記録画素数に対応するサイズに変換したＹＵＶデータを圧縮処理部３１に入力して、このＹＵＶデータを圧縮処理部３１でＪＰＥＧ形式等の画像データへと圧縮させ、この圧縮処理された画像データをＳＤＲＡＭ（フレームメモリ）２１に記録させるようになっている。また、メモリコントローラ２９は、圧縮処理されたＪＰＥＧ形式等の画像データもメディアインタフェース３４を介してメモリカード１５ａに記録させるようになっている。

更に、メモリコントローラ２９からは動画又は静止画像の画像データ信号が操作部１８の操作に応じて出力される。
＜ＹＵＶ変換部３０＞
このＹＵＶ変換部３０は、ＲＡＷ−ＲＧＢデータを輝度データ（Ｙ），色差（輝度データと青色（Ｂ）データの差分（Ｕ），輝度データと赤色（Ｒ）の差分（Ｖ）等の情報で色を表現する形式に変換する。
＜表示出力制御部３２＞
この表示出力制御部３２は、メモリコントローラ２９からの画像データ信号を表示用の画像信号に処理して、この画像信号を液晶表示器５に入力させ、液晶表示器５に撮像した動画又は静止画像を表示させる。また、表示出力制御部３２は、表示用の画像信号をＴＶ出力として出力させる。
＜リサイズ処理部３３＞
このリサイズ処理部３３は、ＳＤＲＡＭ２１に記録されたＹＵＶデータを記録画素数に対応するサイズに変換させる。
[作用]
次に、このような構成の撮像装置の作用を説明する。

図1の撮影／再生切り替えの撮影／再生切換ダイヤル（モードダイヤル）１１を回動操作して、撮影／再生切換ダイヤル１１のマーク１１ａをマーク１４に合わせることにより、ディジタルカメラを撮影モードに設定する。次に、電源釦２を押すことで、ディジタルカメラが記録モードで起動する。

即ち、上述の撮影／再生切換ダイヤル１１および電源釦２は図２における操作部１８に含まれているので、撮影／再生切換ダイヤル１１の状態が撮影モードの状態で電源釦２がＯＮさせられると、ＣＰＵ２８，撮像センサー１９，ＬＣＤディスプレイ５等のディジタルカメラの各部に電源が投入される。そして、ＣＰＵ２８は、電源が供給されると各部の制御動作を開始する。この際、ＣＰＵ２８は、モータドライバ２３を動作制御して、鏡胴ユニットである撮影レンズ２を撮影可能位置に移動させると共に、メカニカルシャッタ１７を所定面積開口させる。

また、ディジタルカメラは、各部に電源が投入されるとファインダモードの動作が開始する。

このファインダモードでは、先ず被写体からの撮影光束が撮影レンズ２の撮影光学系（レンズ）１６を通して撮像センサー（ここではＣＭＯＳセンサーとする）である撮像素子２４に入射すると、被写体像が撮影光学系（レンズ）１６により撮像素子２４に結像される。この際、撮像素子２４からはＲＧＢのアナログ信号（画像信号）が出力され、このアナログ信号がＡ／Ｄ変換部２５に送られる。このＡ／Ｄ変換部２５では、入力されたアナログ信号を１２ｂｉｔのＲＧＢのデジタルデータ（ＲＡＷ−ＲＧＢデータ）に変換する。

このデジタルデータに変換されたＲＧＢのそれぞれのデジタルデータ（ＲＡＷ−ＲＧＢデータ）は、信号処理部（デジタル信号処理ＩＣ）２０内のセンサーＩ／Ｆ部２７に取り込まれる。そして、メモリコントローラ２９は、センサーＩ／Ｆ部２７に取り込まれたデジタルデータ（ＲＡＷ−ＲＧＢデータ）は画像データとしてフレームメモリであるＳＤＲＡＭ２１に書き込まれる。

また、メモリコントローラ２９は、ＳＤＲＡＭ２１に書き込まれたデジタルデータ（ＲＡＷ−ＲＧＢデータ）を読み出してＹＵＶ変換部３０に入力させる。このＹＵＶ変換部３０は、入力されたＲＧＢのそれぞれの信号を表示可能な形式であるＹＵＶデータに変換する。そして、ＹＵＶデータは、メモリコントローラ２９によってフレームメモリであるＳＤＲＡＭ２１に書き込まれる。このＹＵＶデータは、メモリコントローラ２９に読み出されて、表示出力制御部３２を介してＴＶや液晶表示器（ＬＣＤモニタ）５へ送られて表示が行われる。このようなファインダモードでの撮像から表示までの処理は、１／６０秒間隔で行われて更新される。

一方、信号処理部（デジタル信号処理ＩＣ）２０のセンサーＩ／Ｆ部２７は、撮像素子２４の受光面を複数のブロックに分割したときに、各ブロック内に取り込まれたデジタルＲＧＢ信号より、画面の合焦度合いを示すＡＦ評価値と、被写体輝度を検出したＡＥ評価値と、被写体色や光源色を検出したＡＷＢ評価値が算出する。

このＡＦ評価値，ＡＥ評価値，ＡＷＢ評価値の算出は、例えば撮像素子２４の受光面（画面）を１６×１６のブロックに分割したそれぞれのブロックの領域に対して実行され、特徴データとしてＣＰＵ２８に読み出されて、ＡＥ、ＡＦ、ＡＷＢのそれぞれの処理に利用される。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が増加し、ＡＦ評価値が一番高くなる。これを利用して、ＡＦによる合焦検出動作時は、フォーカスレンズを移動させながら、それぞれのフォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦位置としてＡＦを実行する。

また解像度の高いものがあるかどうかの判断にも利用できる。文字などがたくさん書いてある領域では、高周波成分が高くなり、高周波成分抽出ができるハイパスフィルタの出力値は大きくなる。逆に真っ白の紙など輝度の変化がない領域では、高周波成分がないために、ハイパスフィルタの出力は小さくなる。そのためブロック分割された各領域におけるＡＦ評価値を比較することで、どの領域に先鋭度の高いもの存在するかの判定をすることができる。

ＡＥ評価値とＡＷＢ評価値は、ＲＧＢのそれぞれの積分値から作成される。画面を２５６エリア（水平１６分割、垂直１６分割）のエリアのＲＧＢ積算を算出する。ＣＰＵ２８はＲＧＢ積分値を読み出し、ＡＥでは、それぞれのブロックのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する。ＡＷＢでは、ＲＧＢの分布から被写体色や光源色を判定し、光源の色に合わせたＡＷＢの制御値を決定する。このＡＥとＡＷＢの処理は、ファインダモード中は連続的に行われている。

また、図１のレリーズ釦（レリーズシャッタボタン）１３が操作されると、合焦位置検出であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズ釦１３が押されると、図２のカメラ操作部１８から静止画撮影開始信号がＣＰＵ２８に取り込まれ、ＣＰＵ２８がフレームレートに同期してモータドライバ２３を介して撮影光学系１６の図示しないフォーカスレンズを光軸方向に移動制御（駆動制御）して、ＡＦ（自動合焦）を実行する。

この際、ＡＦ対象範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限の合焦方向、または無限から至近の合焦方向に移動させられる。尚、ＣＰＵ２８は、フォーカスレンズの光軸方向への移動に伴い、光軸方向への移動位置の複数箇所を評価値を算出するフォーカス位置とする。そして、このフォーカスレンズの移動に伴い、各フォーカス位置で信号処理部（デジタル信号処理ＩＣ）２０のセンサーＩ／Ｆ部２７で作成された各フレーム（＝各フォーカス位置）におけるＡＦ評価値をＣＰＵ２８が読み出す。

このＣＰＵ２８は、複数のフォーカス位置で読み出した複数のＡＦ評価値のうち、ＡＦ評価値が極大になる点を被写体への合焦位置とし、モータドライバ２３を動作制御してフォーカスレンズを合焦位置に移動させて、撮像素子２４の受光面を被写体にＡＦ（自動合焦）させ、ＡＦ動作を完了させる。

このようなＡＦ（自動合焦）動作の完了後に、撮像素子２４（撮像センサー）から出力された画像信号はＡ／Ｄ変換部２５でデジタルＲＧＢ信号、即ちデジタルデータ（ＲＡＷ−ＲＧＢデータ）に変換され、信号処理部（デジタル信号処理ＩＣ）２０のセンサーＩ／Ｆ部２７及びメモリコントローラ２９を介してＳＤＲＡＭ２１（フレームメモリ）に格納（記憶）される。また、このＳＤＲＡＭ２１に格納されたデジタルデータ（ＲＡＷ−ＲＧＢデータ）は、メモリコントローラ２９に読み込まれて、ＹＵＶ変換部３０に入力されてＹＵＶデータに変換されて、このＹＵＶデータがＳＤＲＡＭ２１に記録される（書き戻される）。
(i)．ＹＵＶ変換部３０の処理
ところで、通常撮影時のＹＵＶ変換部３０の内部処理は図６に示すような処理で行われ、ダイナミックレンジ拡大撮影時のＹＵＶ変換部３０の内部処理は図７に示すような処理で行われるようになっている。

即ち、図７のＹＵＶ変換部３０の内部処理ではＤレンジ拡大処理部３０１及びＢｉｔ圧縮変換部３０３を用いているが、このＤレンジ拡大処理部３０１及びＢｉｔ圧縮変換部３０３の処理は通常撮影時では行われない。

この図７においてＤレンジ拡大処理部３０１は、後で詳述するように、主露光及び副露光による１２ｂｉｔのＣＣＤ−ＲＡＷデータが入力されると、Ｄレンジ拡大処理部３０１は１２ｂｉｔのＣＣＤ−ＲＡＷデータ（即ち、ＲＡＷ−ＲＧＢデータ）のダイナミックレンジの拡大処理をして、ダイナミックレンジが拡大処理された合成画像データ（主露光画像データ及び副露光画像データの合成画像データ）を生成し、合成画像データを１４ｂｉｔのＣＣＤ−ＲＡＷデータに処理してＷＢ−ＡＭＰ３０２（ホワイトバランスアンプ）に入力する。

このＷＢ−ＡＭＰ３０２は、ＡＷＢ評価値から算出された光源色温度に合わせたＡＷＢ補正係数によってホワイトバランスの補正を１４ｂｉｔのＣＣＤ−ＲＡＷデータに対して実行する。このようにしてホワイトバランスの補正がされた画像データはＢｉｔ圧縮変換部３０３に入力される。

このＢｉｔ圧縮変換部３０３は、１４ｂｉｔのＣＣＤ−ＲＡＷデータを圧縮して１２ｂｉｔのＣＣＤ−ＲＡＷデータに変換し、同時化ブロック３０４に入力する。

このようなダイナミックレンジ拡大撮影時のダイナミックレンジの拡大処理以外は、図６の通常撮影時のＹＵＶ変換部３０のの内部処理で実行されるので、この通常撮影時のＹＵＶ変換部３０の処理について先ず説明する。

．通常撮影時のＹＵＶ変換部３０の内部処理
図６のＹＵＶ変換部３０の内部処理では、１２ｂｉｔのＣＣＤ−ＲＡＷデータがＷＢ−ＡＭＰ３０２（ホワイトバランスアンプ）に入力される。

このＷＢ−ＡＭＰ３０２は、ＡＷＢ評価値から算出された光源色温度に合わせたＡＷＢ補正係数によってホワイトバランスの補正を１２ｂｉｔのＣＣＤ−ＲＡＷデータに対して実行する。このようにしてホワイトバランスの補正がされた画像データは同時化ブロック３０４に入力される。

この同時化ブロック３０４は、ベイヤ配列のデータ（１２ｂｉｔのＣＣＤ−ＲＡＷデータ）に対して補間処理を行ない、各画素位置に１２ｂｉｔのＲＧＢ全ての値を生成させ、この１２ｂｉｔのＲＧＢのデータをトーン変換部３０５に入力する。

次に、トーン変換（γ変換）３０５は、１２ｂｉｔのＲＧＢのデータを階調補正して８ｂｉｔのＲＧＢのデータに変換し、この階調補正がされた８ｂｉｔのＲＧＢのデータをＲＧＢ-YUV変換部３０６に入力する。このＲＧＢ-YUV変換部３０６は、８ｂｉｔのＲＧＢのデータをＲＧＢ-YUV変換によって色空間変換により８ｂｉｔのＹＵＶデータに変換して、８ｂｉｔのＹＵＶデータを画像サイズコンバータ３０７に入力する。

この画像サイズコンバータ３０７は、８ｂｉｔのＹＵＶデータの画像サイズを所望のサイズに変更して、エッジエンハンス部３０８及び輝度ヒストグラム生成部３０９に入力する。

このエッジエンハンス部３０８は、エッジ強調やノイズリダクションを行って、最終的なＹＵＶデータとして出力する。

尚、スチル画像撮像時は、ＹＵＶ変換部３０でＹＵＶ変換された画像データ（ＹＵＶデータ）がメモリコントローラ２９により信号処理部（デジタル信号処理ＩＣ）２０内の圧縮処理部（画像圧縮伸張回路）３１に送られる。また、圧縮処理部（画像圧縮伸張回路）３１に送られたＹＵＶデータは圧縮され、メモリコントローラ２９によりＳＤＲＡＭ２１（フレームメモリ）に書き戻される。ＳＤＲＡＭ２１の圧縮データはメモリコントローラ２９を介して読み出され、メディアインターフェース３４を介してメモリカード（データ記憶メモリ）１５ａに格納される。

このような通常撮影時のＹＵＶ変換部３０の処理はダイナミックレンジ拡大撮影時のダイナミックレンジの拡大処理にも用いられる。
(iii).ダイナミックレンジ拡大撮影時のＹＵＶ変換部３０の内部処理
次に本発明の特徴となる動作であるダイナミックレンジ拡大撮影及びダイナミックレンジ拡大処理について説明する。
＜ダイナミックレンジ拡大撮影＞
図３は露光タイミングチャートである。上述したようにレリーズ釦（レリーズシャッタ）１３が押されると、ＡＦ（自動合焦）が実行される。そして、ＡＦ終了後に、図３で示すように、最初に露光時間の短い副露光がＣＭＯＳセンサーを用いた撮像素子２４のローリングシャッタによって実行され、撮像素子２４から出力される副露光画像の画像信号の取り込みが信号処理部２０によって行われる。

続いて、露光時間の長い主露光は、副露光による画像信号の取り込みが時間ｔ１で終了した後、撮像素子２４の一括電子シャッタによる初期化が時間ｔ２で終了すると開始され、メカニカルシャッタ１７が時間ｔ３閉じられたところで停止する。そして、この主露光により撮像素子２４から出力される主露光画像の画像信号の取り込みが信号処理部２０によって行われる。

この副露光による画像信号は、Ａ／Ｄ変換部２５でＲＡＷ−ＲＧＢデータ（デジタルデータ）に変換され、上述したように信号処理部２０によってフレームメモリであるＳＤＲＡＭ２１に副露光画像データ（ＲＡＷ−ＲＧＢデータ）として保存される。また、主露光による画像信号は、Ａ／Ｄ変換部２５でＲＡＷ−ＲＧＢデータ（デジタルデータ）に変換され、上述したように信号処理部２０によってフレームメモリであるＳＤＲＡＭ２１に主露光画像データ（ＲＡＷ−ＲＧＢデータ）として保存される。

図４は露光量が多く画素数が多い主露光画像と、露光量が少なく画素数が少ない副露光画像の被写体輝度に対する露光画像データ出力の関係を示している。

この図４から明らかなように、主露光は露光時間が長いために被写体輝度Ｌｘ１からＬｘ４までの高輝度部分では飽和（白飛び）してしまっている。しかし、副露光は露光時間が短いために被写体輝度Ｌｘ１を超えても飽和が起こっておらず、被写体輝度Ｌｘ４の時点で飽和することが分かる。この副露光画像データによる副露光画像は、露光時間が短いために主露光画像データが飽和する被写体輝度Ｌｘ１では主露光画像よりも暗い画像となる。
＜ダイナミックレンジ拡大処理＞
この主露光画像データ（ＲＡＷ−ＲＧＢデータ）と副露光画像データ（ＲＡＷ−ＲＧＢデータ）は、図２のメモリコントローラ２９により読み出されて、図７のＹＵＶ変換部３０のＤレンジ拡大処理部３０１に入力される。この副露光画像データによる副露光画像を主露光画像データによる主露光画像と略同じ輝度の明るい画像にするには副露光画像データと主露光画像データの出力信号値を略同じレベルにすれば良い。

そして、Ｄレンジ拡大処理部３０１は、副露光画像データの輝度が主露光画像データの輝度より低いと判断した場合、主露光画像データの輝度が露光画像データの輝度に対して何倍の倍率であるかを求めて、副露光画像データの輝度を主露光画像データの輝度と同じ又は略同じになるように、副露光画像データの輝度を主露光画像データの輝度に合わせた倍率に拡大処理する。

このためには、副露光画像データと主露光画像データの出力信号値を略同じレベルにするために、図５に示すような主露光と副露光の合成原理で副露光画像データを主露光画像データと同じレベル出力になるように拡大処理を行うと良い。

例えば、図５（ａ）では、被写体輝度Ｌｘ１からＬｘ４までの高輝度部分で主露光の露光量は飽和状態となっていると共に、副露光が被写体輝度Ｌｘ４の部分で飽和状態となるので、副露光が飽和するまでには主露光が飽和するまでの４倍であることが分かる。

従って、この場合、副露光画像データと主露光画像データの出力信号値を略同じレベルにするためには、副露光画像データの輝度を主露光画像データ輝度の４倍に拡大処理すれば良い。

そして、この増幅した副露光画像データと主露光画像データの２つのデータを、図５（ｂ）のような割合で合成することで広いダイナミックレンジの合成画像データを生成する。

即ち、Ｄレンジ拡大処理部３０１は、被写体輝度Ｌｘ１より輝度の低い低輝度側（Ｄ１側）では主露光画像データを用い、主露光の飽和付近の被写体輝度ＬｘからＬｘ１の間（Ｄ２）では主露光画像データと副露画像光データの加重平均を行い、主露光が飽和を超える被写体輝度Ｌｘ１以上の部分（Ｄ３）では副露光画像データを用いて、副露光画像データと主露光画像データの２つのデータを合成する拡大処理を実行する。

このＤレンジ拡大処理部３０１で拡大処理された合成画像データは１４ｂｉｔのデータとしてＷＢ−ＡＭＰ３０２に入力される。このＷＢ−ＡＭＰ３０２は、この副露光画像データと主露光画像データの２つのデータの合成画像データをホワイトバランス処理をして１４ｂｉｔで出力し、Ｂｉｔ圧縮変換部３０３に入力する。

尚、図７におけるＹＵＶ変換部３０のＤレンジ拡大処理部３０１に入力されるＣＣＤ−ＲＡＷデータ（ＲＡＷ−ＲＧＢデータ）は主露光も副露光もいずれも１２ビットである。即ち、Ｄレンジ拡大処理部３０１に入力される主露光画像データ（ＲＡＷ−ＲＧＢデータ）と副露光画像データ（ＲＡＷ−ＲＧＢデータ）は、もともといずれも１２ビットである。この副露光画像データを４倍にするために、ＷＢ−ＡＭＰ３０２（ホワイトバランス増幅部）の部分で合成データ（合成画像データ）を１４ビットに拡張する。

そして、この１４ビットの合成データを元に１２ビットのデータに置き換えるＢｉｔ圧縮変換部３０３のところで、全１４ビット中のどの範囲までを利用するかの割合を変更すると、Ｄレンジの拡大幅が変更されたことになる。

図８は、このようにして合成された１４ビットの合成データを全Ｄレンジを利用して圧縮する場合のビット圧縮特性である。この図８は全Ｄレンジを利用して圧縮する場合を示しているので、直線的に傾斜する特性線ｆで示すようにＢｉｔ圧縮変換部３０３に入力される１４ｂｉｔの全ビットデータが１２ｂｉｔの範囲のビットデータ４０９６の４倍の１６３８４である。このＢｉｔ圧縮変換部３０３への入力をもとの１２ｂｉｔの範囲に戻して出力するには、直線的な特性線ｆに基づく変換係数で１２ｂｉｔに圧縮処理すればよい。

従って、このようにＤレンジ拡大処理部３０１からＢｉｔ圧縮変換部３０３までの処理を行うことにより、短時間の副露光によって撮像素子２４から出力される画像信号による副露光画像データの輝度が低くても、副露光画像データの輝度を副露光よりも長時間の主露光によって撮像素子２４から出力される主画像信号よる主画像データの輝度と同等又は略同等とできるので、副露光画像データの輝度を撮像素子２４が本来持っているＤレンジを４倍に拡大することができたことになる。

図９は、特性線ｆ１で示すように、合成された全Ｄレンジのうちの一部だけを利用する場合のビット圧縮特性である。この特性線ｆ１で示す利用リミット値（利用限界値）は、Ｂｉｔ圧縮変換部３０３に入力される１４ｂｉｔビットデータの５１２０ビットと６１４４ビットとの間であるので、Ｄレンジの拡大幅は狭くなっているが、副露光が使われる割合が下がっていることがわかる。この場合も、Ｂｉｔ圧縮変換部３０３への入力をもとの１２ｂｉｔの範囲に戻して出力するには、特性線ｆ１に基づく変換係数で１２ｂｉｔに圧縮処理すればよい。

図１０は、１２ビットのＲＡＷデータを８ビットに非線形変換（γ変換）する時の変換係数である。この場合には、Ｂｉｔ圧縮変換部３０３への入力をもとの１２ｂｉｔの範囲に戻して出力するには、特性線ｆ２に基づく変換係数で１２ｂｉｔに圧縮処理すればよい。

この図８〜図１０に示したような圧縮特性による変換係数のデータは、ＲＯＭ２３に記憶させておいて、ＣＰＵ２８により読み出してＹＵＶ変換部３０に入力させ、ＹＵＶデータの処理に用いられる。
＜ダイナミックレンジ拡大処理の概要＞
このように拡大処理は、上述したように図７のようなＹＵＶ変換ブロック３０内の回路の内部動作で行われる。即ち、ＳＤＲＡＭ２１（フレームメモリ）に保存されている主露光画像データと副露光画像データの２つのＲＡＷ−ＲＧＢデータは、それぞれＹＵＶ変換ブロック３０に読み込まれる。Ｄレンジ拡大処理ブロック３０１では、図５で示す条件に従って上述のように副露光を増幅し、副露光画像データと主露光画像データとの合成を行い、Ｄレンジが拡大処理された合成画像データを出力させる。続いてＷＢ−ＡＭＰ３０２では、合成画像データのＷＢ補正（ホワイトバランス補正）を行った後に、ＷＢ補正された合成画像データをＢｉｔ圧縮変換部３０３でビット圧縮を行う。このビット圧縮では、図８や図９に示すような圧縮特性によって圧縮が行われる。その後の処理は、上述した通常のＹＵＶ変換３０と同じであり、同時化に進み、最終的にＹＵＶ変換された結果が出力される。
＜ダイナミックレンジの拡大処理の使用例＞
ところで、上記図８や図９に示したビット圧縮特性による圧縮処理例を以下に説明する。例えば、図１１に示したように、１ｍ程度のところに人物Ｐ１，Ｐ２がいる構図等の場合である。この図１１の縦点線Ｌｖと横点線Ｌｈで区画された部分は、図２のセンサーＩ／Ｆ部２７でＡＦ評価値を生成するときの分割エリア（１６×１６分割のエリア）Ａを仮想的に示したものである。ＡＦ評価値は前記のように、各分割エリアＡでのハイパスフィルタ出力の積分結果であるから、分割エリアＡ内にはっきりとしたエッジが存在すると、大きな値が出力される。つまり近い範囲に人物がおり、その人物にピントが合っていると、その範囲からは高いＡＦ評価値が出力されることになる。

図１１の太線枠Ｆは、高いＡＦ評価値が出力されたところである。図２のＣＰＵ２８は、撮影時の主露光画像データより生成されたＡＦ評価値および副露光画像データより生成されたＡＦ評価値をそれぞれ読み込み、この２つのＡＦ評価値の最大値を選択する。そして、ＣＰＵ２８は、この最大値によって画面内に解像度の高い（詳細度の高い）データがあるかを判定し、Ｄレンジの拡大幅の処理の変換係数等を変更して、この変換係数をＹＵＶ変換部３０に入力する。尚、センサーＩ／Ｆ２７及びＣＰＵ２８は、合焦状態の詳細度を検出する詳細度検出手段を構成している。

そして、Ｄレンジの拡大幅の処理の変換係数等の変更には、図１３のＡＦ評価値と利用リミット値の関係が用いられる。この図１３のように、ＡＦ評価値の最大値がある特定の値を超えた場合、例えばＡＦ評価値の詳細度の高い（詳細度の大きい）データｄ１がある場合、利用される範囲が制限される。図１１の被写体は、人物Ｐ１，Ｐ２の部分で詳細な部分があると判断され、図９にあるようなビット圧縮特性を用いることで、利用範囲の制限が行われる。

このような制限が行われない場合、例えば右側の人物Ｐ２の胸にある文字Ｃｈが白い文字で反射率が高く輝度が高くなっていた場合、この文字Ｃｈのある領域Ａ（Ｓ１），Ａ（Ｓ２）は画素数が少ないデータが利用されてしまうことになり、文字Ｃｈがつぶれてしまうことになる。

今回のような利用範囲の制限を行うことで、ダイナミックレンジの拡大幅は狭くなってしまうが、文字などの詳細部分がつぶれてしまうことを抑制でき、違和感のない画像を作ることができる。

図１２はＤレンジ拡大幅の制限が行われないような画像である。この画像は遠景画像であり、ＡＦ評価値が高くなる部分がないために、文字がつぶれてしまうなどの違和感は発生しないので、図８のビット圧縮を行う特性で１４ビットを１２ビットに変換し、全Ｄレンジを利用するようにする。

以上のように、被写体の条件によって、画面内に詳細な部分があり、２画面合成（主露光画像と副露光画像の合成）により違和感がある画像が生成されてしまう可能性がある場合は、Ｄレンジ拡大幅を変えて、違和感がある画像を生成しないようにすることができる。
[変形例]
上記第１の実施形態では、画面内のＡＦ評価値の最大値を見つけて、その最大値によってＤレンジの拡大幅の制限を見つけた。

しかし画面内の全ての範囲が詳細な部分ではない場合、特に詳細な部分は低輝度にしか存在せず、高輝度部分には詳細な被写体がいない場合に、活用できるＤレンジを使わないという無駄が発生してしまっている。そこで本実施形態では、ＡＦ評価値を取得する分割エリア（１６×１６分割エリア）Ａごとに、図１３によるＤレンジ拡大幅をコントロールするようにする。

図１１では、人物Ｐ１，Ｐ２がいる太線枠Ｆの中は、その詳細度（ＡＦ評価値）に合せて利用する範囲の制限が設定され、背景では拡大された全Ｄレンジが利用できるようになる。

この方法を用いれば、詳細な被写体が存在し、画素数が少ないデータが利用されると解像がつぶれて違和感がある画像が生成されてしまう範囲では、Ｄレンジ拡大幅を制限することで違和感がある画像が生成されないようにするとともに、詳細な被写体が存在しない範囲では、活用できるＤレンジの全範囲を利用することができるようになる。

本実施例では、詳細度（ＡＦ評価値）を用いて判断を行ったが、さらにＡＥ評価値を使った輝度分布データを用いてもよい。

ＡＥ評価値は前記のように各エリアにおけるＲＧＢそれぞれの積算値から算出している。このデータからそのエリアの輝度を算出することが可能である。

そこで主露光画像の輝度情報で飽和した領域であり、かつその領域のＡＦ評価値が高い（詳細部分が存在する）領域のみで、図１３でＤレンジ拡大幅を制限する条件としてもよい。

以上説明したように、この発明の実施の形態の撮像装置は、露光量および画素数が異なる複数の画像信号を連続して出力する撮像素子２４と、前記画像信号による複数の画像を合成してダイナミックレンジを拡大させる画像合成手段（信号処理部２０）を備えている。しかも、前記画像合成手段（信号処理部２０）は、前記画像の合焦状態の詳細度を検出する詳細度検出手段（センサーＩ／Ｆ２７及びＣＰＵ２８を備える検出手段）と、前記被写体の詳細度の高低によりダイナミックレンジ拡大幅を変更する拡大幅変更手段（制御手段であるＣＰＵ２８）を備えている。

この撮像装置によれば、特殊なセンサーを用いず、複数回の連続露光により一般的なセンサーを使ってダイナミックレンジを拡大できると共に、連続露光による画質の劣化を少なくできる。尚、上述した実施例では、撮像素子２４による露光を連続して２回行って、２枚の連続する被写体の画像を撮像するようにしているが、連続して撮像する画像は３枚以上であっても良い。

また、この発明の実施の形態の撮像装置において、前記拡大幅変更手段（ＣＰＵ２８）は、複数画像を合成するときに利用される複数画像の合成割合の割合係数を前記詳細度の高低で変更することでダイナミックレンジ拡大幅を変更するようになっている。

この構成によれば、撮像素子２４による露光を連続して複数回行って、複数枚の連続する被写体の画像データを撮像する場合、先のデータ量を後のデータ量よりも少なくするか、後のデータ量を先のデータ量よりも少なくするかすることで、複数枚の画像間でのずれの発生をより小さくできる。

更に、この発明の実施の形態の撮像装置において、前記画像合成手段（信号処理部２０）は、詳細度が高い画像（画像データ）と詳細度が低い画像（画像データ）とを合成する際、詳細度が高い画像（画像データ）を詳細度が低い画像（画像データ）よりも大きな割合で利用することにより、ダイナミックレンジ拡大幅を変更するようになっている。

尚、上述した実施例では、撮像素子２４による露光を連続して２回行って、２枚の連続する被写体の画像データを撮像するので、1回目の画像データ読み出しから2回目の画像データ読み出しまでに時間を短くしないと、2枚の画像間でずれが発生してしまう。この2枚の露光タイミング差を小さくするために、1枚目の画像データの読み出しを早くする必要があり、1枚目の読み出しデータ量を少なくすることで、それを達成することができる。このように先のデータ量を後のデータ量よりも少なくすることで、２枚の画像間でのずれの発生をより小さくできる。尚、２枚目の読み出しデータ量を1枚目の読み出しデータ量よりも少なくすることも可能である。

このようなデータ量に関する条件は、撮像素子２４による露光を連続して３回以上行って、３枚以上の連続する被写体の画像データを撮像する場合、先のデータ量を後のデータ量よりも少なくすることで、複数枚の画像間でのずれの発生をより小さくできる。

しかし、何らかの方法で読み出しデータ量を少なくするということは、解像度が落ちてしまうことになる。このため、解像度の低下による画質の劣化を少なくすることを実現するために、例えば、画面内の合焦状態の詳細度を検出し、詳細度が高いと判断したら、画面全体または部分的に画素数の少ないデータの依存度を下げる。また、解像度の高い画像と低い画像との間には露光量の差があるが、どちらかの画像を利用する割合が大きくなるということは、ダイナミックレンジの拡大幅は狭くなることになる。しかし、解像度の高い画像をより大きな割合で利用すれば、解像度が落ちてしまうことによる画質の劣化を少なくし、違和感のない画像の生成を行うことができる。

また、この発明の実施の形態の撮像装置において、前記画像合成手段（信号処理部２０）は、２枚の画像を合成をする際に、高輝度部に詳細度が高いものが検出された場合に、少ない画素のデータを使う輝度範囲を狭くして、全Ｄレンジにおける画素数が少ないデータが使用される割合を下げるようになっている。

この構成において、画素数が少なく解像度の低い画像は、高速で読みだしが必要なために短い露光であり白飛びしない程度に露光されたデータである。また、画素数が多い画像は、長い露光で白飛び部分を含んでいる。この露光時間が長い（画素数が多い）画像に対して、白飛びしてしまっている輝度領域を、短い露光データで補うというような合成をすることでDレンジの拡大を行う。しかしこの高輝度部分に解像度が高いもの、例えば文字のようなものがあった場合に、白飛びは防止できるが、文字がつぶれたようになってしまい違和感が出てしまう。そのため２画面合成を行う場合において、合成で利用される係数を変更する。例えば、完全に白飛びしてしまう領域だけしか解像度の低い画像を使わないような合成係数にすることで、解像度低下による画質廉価を目立たなくすることができる。

また、この発明の実施の形態の撮像装置において、前記拡大幅変更手段（ＣＰＵ２８）は、合成で利用される割合係数は画面内の場所によって異なる係数を用いる。

この構成によれば、詳細度が高いかどうかの判断を部分的または画素単位で行い、高輝度部に詳細データがある部分は少ない画素数のデータの割合を下げ、高輝度部に詳細なデータがない部分では少ない画像のデータの割合に制限を行わないようにすることができる。

また、この発明の実施の形態の撮像装置において、前記拡大幅変更手段（ＣＰＵ２８）は、画面内を複数の分割エリアＡに分けて各分割エリアＡの前記画像の合焦状態の詳細度を検出させると共に、前記複数画像の合成の際に各分割エリアＡで検出された前記詳細度の高低に応じて各分割エリアＡの前記割合係数を異ならせるようになっている。

この構成によれば、詳細度が高いかどうかの判断を各分割エリアＡで行い、高輝度部に詳細データがある部分は少ない画素数のデータの割合を下げ、高輝度部に詳細なデータがない部分では少ない画像のデータの割合に制限を行わないようにすることができる。

更に、この発明の実施の形態の撮像方法は、露光量および画素数が異なる複数の画像信号を撮像素子から連続して出力させて、前記画像信号による複数の画像を画像合成手段で合成することによりダイナミックレンジを拡大させるようになっている。しかも、前記画像の合焦状態の詳細度を詳細度検出手段で検出させ、前記被写体の詳細度の高低によりダイナミックレンジ拡大幅を拡大幅変更手段で変更させるようになっている。

この撮像方法によれば、特殊なセンサーを用いず、複数回の連続露光により一般的なセンサーを使ってダイナミックレンジを拡大できると共に、連続露光による画質の劣化を少なくできる。尚、上述した実施例では、撮像素子２４による露光を連続して２回行って、２枚の連続する被写体の画像を撮像するようにしているが、連続して撮像する画像は３枚以上であっても良い。

また、この発明の実施の形態の撮像方法において、前記拡大幅変更手段（ＣＰＵ２８）は、複数画像を合成するときに利用される複数画像の合成割合の割合係数を前記詳細度の高低に応じて変更することでダイナミックレンジ拡大幅を変更するようになっている。

この撮像方法によれば、撮像素子２４による露光を連続して複数回行って、複数枚の連続する被写体の画像データを撮像する場合、先のデータ量を後のデータ量よりも少なくするか、後のデータ量を先のデータ量よりも少なくするかすることで、複数枚の画像間でのずれの発生をより小さくできる。

また、この発明の実施の形態の撮像方法において、前記画像合成手段（信号処理部２０）は、詳細度が高い画像（画像データ）と詳細度が低い画像（画像データ）とを合成する際、詳細度が高い画像（画像データ）を詳細度が低い画像（画像データ）よりも大きな割合で利用することにより、ダイナミックレンジ拡大幅を変更するようになっている。

尚、上述した実施例では、撮像素子２４による露光を連続して２回行って、２枚の連続する被写体の画像データを撮像するので、1回目の画像データ読み出しから2回目の画像データ読み出しまでに時間を短くしないと、2枚の画像間でずれが発生してしまう。この2枚の露光タイミング差を小さくするために、1枚目の画像データの読み出しを早くする必要があり、1枚目の読み出しデータ量を少なくすることで、それを達成することができる。このように先のデータ量を後のデータ量よりも少なくすることで、２枚の画像間でのずれの発生をより小さくできる。尚、２枚目の読み出しデータ量を1枚目の読み出しデータ量よりも少なくすることも可能である。

このようなデータ量に関する条件は、撮像素子２４による露光を連続して３回以上行って、３枚以上の連続する被写体の画像データを撮像する場合、先のデータ量を後のデータ量よりも少なくすることで、複数枚の画像間でのずれの発生をより小さくできる。

しかし、何らかの方法で読み出しデータ量を少なくするということは、解像度が落ちてしまうことになる。このため、解像度の低下による画質の劣化を少なくすることを実現するために、例えば、画面内の合焦状態の詳細度を検出し、詳細度が高いと判断したら、画面全体または部分的に画素数の少ないデータの依存度を下げる。また、解像度の高い画像と低い画像との間には露光量の差があるが、どちらかの画像を利用する割合が大きくなるということは、ダイナミックレンジの拡大幅は狭くなることになる。しかし、解像度の高い画像をより大きな割合で利用すれば、解像度が落ちてしまうことによる画質の劣化を少なくし、違和感のない画像の生成を行うことができる。

また、この発明の実施の形態の撮像方法において、前記画像合成手段（信号処理部２０）は、２枚の画像を合成をする際に、高輝度部に詳細度が高いものが検出された場合に、少ない画素のデータを使う輝度範囲を狭くして、全Ｄレンジにおける画素数が少ないデータが使用される割合を下げるようになっている。

この撮像方法において、画素数が少なく解像度の低い画像は、高速で読みだしが必要なために短い露光であり白飛びしない程度に露光されたデータである。また、画素数が多い画像は、長い露光で白飛び部分を含んでいる。この露光時間が長い（画素数が多い）画像に対して、白飛びしてしまっている輝度領域を、短い露光データで補うというような合成をすることでDレンジの拡大を行う。しかしこの高輝度部分に解像度が高いもの、例えば文字のようなものがあった場合に、白飛びは防止できるが、文字がつぶれたようになってしまい違和感が出てしまう。そのため２画面合成を行う場合において、合成で利用される係数を変更する。例えば、完全に白飛びしてしまう領域だけしか解像度の低い画像を使わないような合成係数にすることで、解像度低下による画質廉価を目立たなくすることができる。

また、この発明の実施の形態の撮像方法において、前記拡大幅変更手段（ＣＰＵ２８）は、合成で利用される割合係数は画面内の場所によって異なる係数を用いるようになっている。

この撮像方法によれば、詳細度が高いかどうかの判断を部分的または画素単位で行い、高輝度部に詳細データがある部分は少ない画素数のデータの割合を下げ、高輝度部に詳細なデータがない部分では少ない画像のデータの割合に制限を行わないようにすることができる。

また、この発明の実施の形態の撮像方法において、前記拡大幅変更手段（ＣＰＵ２８）は、画面内を複数の分割エリアＡに分けて各分割エリアＡの前記画像の合焦状態の詳細度を検出させた後、前記複数画像の合成の際に各分割エリアＡで検出された前記詳細度の高低に応じて各分割エリアＡの前記割合係数を異ならせるようになっている。

この撮像方法によれば、詳細度が高いかどうかの判断を各分割エリアＡで行い、高輝度部に詳細データがある部分は少ない画素数のデータの割合を下げ、高輝度部に詳細なデータがない部分では少ない画像のデータの割合に制限を行わないようにすることができる。

（ａ）はこの発明に係るデジタルカメラ（撮像装置）の正面図、（ｂ）は（ａ）のデジタルカメラの背面図、（ｃ）は（ｂ）のデジタルカメラの平面図である。 図１（ａ）〜（ｃ）に示したデジタルカメラの光学系及びシステム構成図である。 図２の信号処理部のダイナミックレンジ拡大の撮影タイミングチャートである。 図２の撮像素子が被写体輝度に対して出力する主露光および副露光の信号レベルを示す説明図である。 図２の撮像素子の主露光および副露光の合成原理を説明する説明図である。 図２のＹＵＶ変換部の通常撮影時における内部処理を説明する説明図である。 図２のＹＵＶ変換部のＤレンジ拡大時における内部処理を説明する説明図である。 図５の画像合成原理で全Ｄレンジ拡大処理する際に拡張（伸長）された画像のビットデータを圧縮するための変換係数を求める説明図である。 図５の画像合成原理でＤレンジ拡大処理する際に拡張（伸長）された画像のビットデータを圧縮するための変換係数を求める他の説明図である。 １２ｂｉｔの入力データを８ｂｉｔに変換するトーン変換のための変換係数を求めるための説明図である。 図２のＹＵＶ変換部でＤレンジ拡大処理をしたＹＵＶデータを得る際の説明図である。 図２のＹＵＶ変換部でＹＵＶデータを得る際の画像の他の例を示す説明図である。 図２の信号処理部におけるＡＦ評価値と利用リミット値の関係を示す説明図である。

符号の説明

２４・・・撮像素子
２０・・・信号処理部（画像合成手段）
２７・・・センサーＩ／Ｆ（詳細度検出手段の一部）
２８・・・ＣＰＵ（詳細度検出手段の一部、拡大幅変更手段）
Ａ・・・分割エリア

Claims (6)

1. 露光量および画素数が異なる複数の画像信号を連続して出力する撮像素子と、前記画像信号による複数の画像を合成してダイナミックレンジを拡大させる画像合成手段を備える撮像装置において、
   前記画像合成手段は、前記画像の合焦状態の詳細度を検出する詳細度検出手段と、前記被写体の詳細度の高低によりダイナミックレンジ拡大幅を変更する拡大幅変更手段を備えることとを特徴とする撮像装置。
2. 請求項１の撮像装置において、前記拡大幅変更手段は、複数画像を合成するときに利用される複数画像の合成割合の割合係数を前記詳細度の高低で変更することでダイナミックレンジ拡大幅を変更することを特徴とする撮像装置。
3. 請求項２の撮像装置において、前記拡大幅変更手段は、合成で利用される割合係数は画面内の場所によって異なる係数を用いることを特徴とする撮像装置。
4. 露光量および画素数が異なる複数の画像信号を撮像素子から連続して出力させて、前記画像信号による複数の画像を画像合成手段で合成することによりダイナミックレンジを拡大させる撮像方法において、
   前記画像の合焦状態の詳細度を詳細度検出手段で検出させ、前記被写体の詳細度の高低によりダイナミックレンジ拡大幅を拡大幅変更手段で変更させることを特徴とする撮像方法。
5. 請求項４の撮像方法において、前記拡大幅変更手段は、複数画像を合成するときに利用される複数画像の合成割合の割合係数を前記詳細度の高低に応じて変更することでダイナミックレンジ拡大幅を変更することを特徴とする撮像方法。
6. 請求項５の撮像方法において、前記拡大幅変更手段は、前記拡大幅変更手段は、合成で利用される割合係数は画面内の場所によって異なる係数を用いることを特徴とする撮像方法。

Images