JP5009880B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明はデジタルカメラ等の撮像装置に関し、特に独立に駆動制御可能な２種類の受光素子を有する撮像素子を備えてなる撮像装置及び撮像方法に関するものである。

デジタルカメラに用いられる撮像素子であるＣＣＤは、銀塩フイルムと比較してダイナミックレンジが狭いため、撮像した画像中に白とびや黒つぶれが生じやすい。そこで近年、広ダイナミックレンジの画像データを取得するために、様々な撮像技術が提案されている。例えば、異なる露光条件で撮像した複数枚の画像データを合成する技術や、高感度の主画素（第１の受光素子）と、該主画素よりも面積が小さく感度は低いが飽和し難い副画素（第２の受光素子）とを所定の配列形態で多数配置したＣＣＤを使用し、主画素で得られる高感度画像データと副画素で得られる低感度画像データとを合成することにより、広いダイナミックレンジを確保して、高輝度の部分を含む広い範囲で良好な再現性を実現した合成画像データを取得する技術等がある。

後者の技術を使用した撮像装置としては、ユーザによって選択、又はシーンに応じて選択されたダイナミックレンジ優先、解像度優先、感度優先、色再現優先等の駆動モードに基づいて、画像信号の処理方法を切り替えるものや（特許文献１）、被写界シーンに応じて２種類のＣＣＤの駆動方法を切り替えるもの（特許文献２）等がある。

一方、受光素子に感度差を持たせる方法としては、上記のように受光面積を異ならせる方法の他に、受光素子の露光時間を異ならせる方法等もある。
特開２００７−２５９３４４号公報 特開２００６−１４８５９１号公報

上記のような撮像装置では、シーン毎に駆動モードが決定されるため、シーンが認識されると同時に画像信号処理方法やＣＣＤ駆動方法が決定してしまう。

シーンの認識には、一般的に被写体の明るさや色温度等の被写界シーン（被写界情報）と、風景、人物、夜景等の被写体シーンの２つがあり、上記被写界シーンの認識結果のみで上記画像信号処理や上記ＣＣＤ駆動方法の決定を行うと、被写体の明るさや色温度等が同じ値であれば、すなわち被写界シーンの認識結果が同じであれば、被写体シーンが例えば人物であっても風景であっても同じ上記画像信号処理や上記ＣＣＤ駆動方法になってしまい、取得した撮像画像が被写体にとって最適な画像ではない場合がある。同様に、被写体シーンの認識結果のみで上記決定を行っても、取得した撮像画像が被写体にとって最適な画像ではない場合がある。

本発明はかかる事情に鑑みてなされたものであり、被写体に対してより最適な撮像画像を取得することができる撮像装置及び撮像方法を提供することを目的とするものである。

本発明の撮像装置は、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子と第２の受光素子とが所定の配列形態によって多数配置され、前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて画像信号を取得する撮像手段と、
該撮像手段により取得された前記画像信号から画像データを生成する画像信号処理手段と、
前記画像信号に基づいて被写体のシーンを認識する被写体認識手段と、
前記画像信号に基づいて被写界情報を取得する被写界情報取得手段と、
前記被写体認識手段により認識された前記被写体のシーン及び前記被写界情報取得手段により取得された前記被写界情報に基づいて駆動モードを選択して前記撮像手段および前記画像信号処理手段を駆動する制御手段とを備えたことを特徴とするものである。

なお本発明において「所定の配列形態」は、例えば第１の受光素子と第２の受光素子とを交互に行方向及び列方向にそれぞれ一定のピッチで配列したものや、第１の受光素子を奇数行、第２の受光素子を偶数行に配列し、奇数行の第１の受光素子と偶数行の第２の受光素子とを１／２ピッチずつずらして配列した、いわゆるハニカム配列等がある。「被写体のシーン」は風景、夜景、人物等の被写体の種類を意味する。「被写界情報」は被写体の明るさや色温度等の値を意味する。「駆動モード」は解像度優先駆動モード、感度優先駆動モード、ダイナミックレンジ優先駆動モード等の撮像手段の駆動方法及び画像信号処理手段の信号処理方法の種類を意味する。

また本発明の撮像装置においては、予め前記撮像手段の設定可能な１つ以上の撮像条件の範囲が各々設定された１種類以上の駆動モードを含む２種類以上の駆動パターンから、前記被写体認識手段により認識された前記被写体のシーンに基づいて、１つの駆動パターンを決定する駆動パターン決定手段と、
前記被写界情報取得手段により取得された前記被写界情報に基づいて、前記駆動パターン決定手段により決定された駆動パターンの前記１種類以上の駆動モードから１つの駆動モードを決定する駆動モード決定手段とを備え、
前記制御手段が、該駆動モード決定手段により決定された駆動モードで前記撮像手段および前記画像信号処理手段を駆動してもよい。

この場合、前記駆動パターンが、前記被写体のシーン毎に設定されたものであることが好ましい。

なお本発明において「撮像条件」は、感度やダイナミックレンジの値を含むものとする。

また本発明の撮像装置においては、前記被写体認識手段により認識された前記被写体のシーンに基づいて前記撮像手段の前記感度及び／又はダイナミックレンジの値の設定可能な範囲を設定する設定手段と、
前記被写界情報取得手段により取得された前記被写界情報に基づいて、前記設定手段により設定された前記感度及び／又はダイナミックレンジの値の範囲の中で前記感度及び前記ダイナミックレンジの値を決定する撮像条件決定手段と、
該撮像条件決定手段により決定された前記感度及び前記ダイナミックレンジの値に基づいて前記駆動モードを決定する駆動モード決定手段とを備え、
前記撮像制御手段が、該駆動モード決定手段により決定された駆動モードで前記撮像手段及び前記画像信号処理手段を駆動してもよい。

また本発明の撮像装置においては、前記駆動モードが、解像度優先駆動モード、感度優先駆動モード、ダイナミックレンジ優先駆動モードのうちのいずれかであることが好ましい。

また本発明の撮像装置においては、前記制御手段が、前記ダイナミックレンジ優先駆動モードで記撮像手段および前記画像信号処理手段を駆動するときに、前記撮像手段が前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行い、前記画像処理手段が前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号を処理して画像データを取得する第１の撮像方法と前記撮像手段が前記第１の受光素子と前記第２の受光素子とが同じ露光で、かつアンダー露光で撮像を行い、前記画像処理手段が前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号に対して階調補正を施す処理をして画像データを取得するダイナミックレンジ優先駆動の第２の撮像方法とを任意に切り替えて使用可能であることが好ましい。

また本発明の撮像装置においては、前記被写体のシーンが、風景、人物、夜景のうちのいずれかであることが好ましい。

また本発明の撮像装置においては、前記被写体のシーンが、人物、風景、夜景のうちのいずれかであり、
前記被写体のシーンが人物のときの前記駆動パターンが、ダイナミックレンジ優先駆動モードのみを含むものであり、該ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ３に設定されると共に前記感度の値の範囲がＡ１からＡ３に設定されるものであって、
前記被写体のシーンが風景のときの前記駆動パターンが、解像度優先駆動モード及びダイナミックレンジ優先駆動モードを含むものであり、前記解像度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定され、前記ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ４に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定されるものであって、
前記被写体のシーンが夜景のときの前記駆動パターンが、解像度優先駆動モード、感度優先駆動モード、及びダイナミックレンジ優先駆動モードを含むものであり、前記解像度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定され、前記感度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ２からＡ４に設定され、前記ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ４に設定されると共に前記感度の値の範囲がＡ１からＡ４に設定されるものであって、
さらにＤ１、Ｄ２、Ｄ３、Ｄ４及びＡ１、Ａ２、Ａ３、Ａ４が、
Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４かつＡ１＜Ａ２＜Ａ３＜Ａ４
の条件を満たすものあることが好ましい。

また本発明の撮像方法は、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子と第２の受光素子とが所定の配列形態によって多数配置された撮像素子を備えてなる撮像装置を使用する撮像方法において、
前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて画像信号を取得し、
該取得した画像信号に基づいて被写体のシーンを認識すると共に被写界情報を取得し、
該取得した前記被写体のシーン及び前記被写界情報基づいて駆動モードを選択し、
該選択した駆動モードで、前記撮像素子を駆動して画像信号を取得すると共に該画像信号から画像データを生成することを特徴とするものである。

なお本発明の撮像方法においては、予め駆動モード毎に前記撮像素子の設定可能な１つ以上の撮像条件の範囲を設定すると共に該設定された１種類以上の駆動モードを含む２種類以上の駆動パターンを設定し、
前記認識した被写体のシーンに基づいて、前記２種類以上の駆動パターンから１つの駆動パターンを決定し、
前記取得した前記被写界情報に基づいて、前記決定した駆動パターンの前記１種類以上の駆動モードから１つの駆動モードを決定し、
該設定した駆動モードで、前記撮像素子を駆動して画像信号を取得すると共に該画像信号から画像データを生成してもよい。

また本発明の撮像方法においては、前記認識した前記被写体のシーンに基づいて、前記撮像素子の感度及び／又はダイナミックレンジの値の設定可能な範囲を設定し、
前記取得した前記被写界情報に基づいて、前記設定した感度及び／又はダイナミックレンジの値の範囲の中で前記感度及び前記ダイナミックレンジの値を決定し、
該決定した前記感度及び前記ダイナミックレンジの値に基づいて前記駆動モードを決し、
該決定した駆動モードで、前記撮像素子を駆動して画像信号を取得すると共に該画像信号から画像データを生成してもよい。

本発明の撮像装置及び撮像方法によれば、第１の受光素子及び／又は第２の受光素子の出力に基づいて画像信号を取得し、取得した画像信号に基づいて被写体のシーンを認識すると共に被写界情報を取得し、取得した被写体のシーン及び被写界情報基づいて駆動モードを選択し、選択した駆動モードで、撮像素子を駆動して画像信号を取得すると共に画像信号から画像データを生成するので、被写体のシーンと被写界情報の両方の情報に基づいて選択した駆動モードで撮像手段（撮像素子を含む）の駆動制御と画像処理が行われることにより、被写体に対してより最適な撮像画像を取得することができる。

以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。

ここで図１にデジタルカメラ１の機能構成を示すブロック図を示す。本実施形態のデジタルカメラ１は、図１に示す如く、デジタルカメラ１の操作系として、レリーズボタン２７や、図示しないメニュー／ＯＫボタン、ズーム／上下矢印ボタン等の操作内容をＣＰＵ３０に伝える操作部２６が設けられている。

撮影レンズ１０は被写体像を所定の結像面上（カメラ本体内部にあるＣＣＤ）に結像させるためのものであり、撮影レンズ１０を構成するものとして、フォーカスレンズ１０ａ及びズームレンズ１０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部２０ａ、ズームレンズ駆動部２０ｂによってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部２０ａは、後述するＡＦ処理部３２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ１０ａをステップ駆動する。ズームレンズ駆動部２０ｂは、ズーム／上下矢印ボタン（操作部２６）の操作量データに基づいてズームレンズ１０ｂのステップ駆動を制御する。

絞り１１は、モータとモータドライバとからなる絞り駆動部２１によって駆動される。この絞り駆動部２１は、後述するＡＥ処理部３３から出力される絞り値データに基づいて絞り１１の絞り径の調整を行う。

シャッタ１２は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部２２によって駆動される。シャッタ駆動部２２は、レリーズボタン２７の押下により発生する信号と、ＡＥ処理部３３から出力されるシャッタ速度データとに応じてシャッタ１２の開閉の制御を行う。

上記光学系の後方には、撮影素子であるＣＣＤ（撮像手段）１３を有している。ＣＣＤ１３は、互いに独立に駆動制御可能で、かつ受光面積の等しい複数の第１の受光素子と複数の第２の受光素子とを、第１の受光素子を奇数行、第２の受光素子を偶数行に配列し、奇数行の第１の受光素子と偶数行の第２の受光素子とを１／２ピッチずつずらして配列した、いわゆるハニカム配列の光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。

ＣＣＤ１３は、ＣＣＤ駆動部２３から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出してシリアルなアナログ画像信号として出力する。第１の受光素子と第２の受光素子にそれぞれ対応する画素における電荷の蓄積時間、即ち露光時間は、第１の受光素子と第２の受光素子とで別々にＣＣＤ駆動部２３から与えられる電子シャッタ駆動信号によって決定される。

ＣＣＤ１３が出力するアナログ画像信号は、アナログ信号処理部１４に入力される。このアナログ信号処理部１４は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、アナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてこのデジタル信号に変換されたデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ２４は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部２２、ＣＣＤ駆動部２３、アナログ信号処理部１４に入力されて、レリーズボタン２７の操作と、シャッタ１２の開閉、ＣＣＤ１３の電荷取り込み、アナログ信号処理部１４の処理の同期が取られる。

フラッシュ１５は、レリーズボタン２７が押下され、シャッタ１２が開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。フラッシュ制御部２５は、このフラッシュ２４の発光動作を制御する。

画像入力コントローラ３１は、上記アナログ信号処理部１４から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ３６に書き込む。このフレームメモリ３６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。

表示制御部３９は、フレームメモリ３６に格納された画像データをスルー画像として液晶モニタ４０に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、液晶モニタ４０に出力する。スルー画像は、撮影モードが選択されている間、所定時間間隔で取得されて液晶モニタ４０に表示される。また、表示制御部３９は、外部記録メディア３８に記憶され、メディア制御部３７によって読み出された画像ファイルに含まれる画像データに基づいた画像を液晶モニタ４０に表示させる。

ＡＦ処理部３２は、画像データに基づいて焦点位置を検出して合焦設定値（フォーカス駆動量）を決定し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、ピントが合った状態では画像の合焦評価値（コントラスト値）が高くなるという特徴を利用して合焦位置を検出するパッシブ方式や測距センサによって被写体距離を検出し、この測距結果を使用するアクティブ方式等を適用することができる。

ＡＥ処理部３３は、画像データに基づいて被写体輝度（測光値）を測定し、測定した被写体輝度に基づいて絞り値及び露光時間（シャッタスピード）等の露光設定値を決定し、絞り値データ及び露光時間データを出力する（ＡＥ処理）。一般的に露光時間を長く設定したときにはシャッタスピードが遅くなって手ぶれが発生し易くなり、露光時間を短く設定したときにはシャッタスピードが速くなって手ぶれが発生し難くなる。また露出時間が長すぎると露出オーバーで写真が白っぽくなり、逆に短すぎると露出アンダーで写真は暗くなってしまう。

ＡＷＢ処理部３４は、画像データに基づいて色温度 を算出し、算出した色温度 に応じて本撮像時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、ＡＷＢ処理部３４は、撮像前でも、本撮像後でもホワイトバランスの調整を行うことができる。なおこのＡＥ処理部３３とＡＷＢ処理部３４とが被写体の明るさや色温度等の被写界情報を取得する被写界情報取得手段として機能する。

画像信号処理部（画像信号処理手段）４１は、画像入力コントローラから入力された画像信号を、後述する駆動モード毎に異なる処理方法で信号処理を行う。なおこの処理方法については後で詳細に説明する。また画像信号処理部４１は、本画像の画像データに対してガンマ補正処理、輪郭強調（シャープネス）処理、コントラスト処理、ノイズ低減処理等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

なお本画像とは、撮影者によって撮影指示がなされた時、例えばレリーズボタン２７が全押し操作された時にＣＣＤ１３から取り込まれ、アナログ信号処理部１４、画像入力コントローラ３１経由でフレームメモリ３６に格納された画像データによる画像であり、この本画像を取得することを本撮像という。本画像の画素数の上限はＣＣＤ１３の画素数によって決定されるが、例えば、撮影者が設定可能な画質設定（フル画素、ハーフ画素、自動画素等の設定）により、記録画素数を変更することができる。一方、スルー画像等の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。

圧縮／伸長処理部３５は、画像信号処理部４１によって画質補正等の処理が行われた本画像の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ形式等に基づいて、撮影日時や、肖像権保護モードで撮影された画像であるか等の付帯情報が格納されたタグが付加される。またこの圧縮／伸長処理部３５は、再生モードにおいては外部記録メディア３８から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部３９に出力され、表示制御部３９は画像データに基づいた画像を液晶モニタ４０に表示する。

メディア制御部３７は、メモリカード等の外部記録メディア３８が充填されるための充填口であり外部記録メディア３８が充填されるとデータの読み取り／書き込みが行われるメディアスロットに相当し、外部記録メディア３８に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。

内部メモリ４２は、デジタルカメラ１において設定される各種定数、及び、ＣＰＵ３０が実行するプログラム等を格納する。

顔検出部４３は、フレームメモリ３６に格納された画像データつまりスルー画像から定期的に人物の顔を検出する。具体的には、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出するものであり、両目画像データのマッチングにより顔を検出してもよいし、目及び口の位置関係などから顔を検出してもよいし、顔の輪郭の検出、顔の肌に相当する色情報の検出等によって顔領域を特定するようにしてもよいし、公知の技術を使用することができる。なお顔検出部４３は、シーン自動認識モードがＯＮされているときに自動的にＯＮに設定される。

シーン認識部（被写体認識手段）４４は、ＡＦ処理部３２、ＡＥ処理部３３、ＡＷＢ処理部３４によって検出された被写体距離データ、測光値データ、色温度データ及び顔検出部４３による顔検出結果等に基づいて画像データ中の被写体のシーンを認識するものであり、本実施形態においては、被写体シーンとして風景、人物、夜景を認識する。

シーン認識部４４は、例えば顔検出部４３により顔が検出されたときには被写体シーンを人物として認識し、被写体距離が遠く、かつ被写体輝度が所定の閾値よりも明るいときには風景、被写体距離が遠く、かつ被写体輝度が所定の閾値よりも暗いときには夜景としてそれぞれ被写体シーンを認識する。なお被写体シーンの認識方法は、これに限られるものではなく、別の公知の認識方法を使用することができる。

撮像条件決定部４５は、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて撮影感度及びダイナミックレンジの値を決定する。

駆動パターン決定部４６は、ＣＣＤ１３の設定可能な感度とダイナミックレンジの値の範囲が設定された２種類以上（本実施形態では３種類）の駆動パターンから、シーン認識部４４によって認識された被写体シーンに基づいて１つの駆動パターンを決定する。ここで図２に各種駆動パターンの一例を示す。駆動パターンは予めカメラ本体に設定されて例えば内部メモリに記録され、図２に示す如く、１種類以上の駆動モードを含んでいる。例えば被写体シーンが風景のときに決定される駆動パターン１では感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）、ダイナミックレンジＤがＤ１からＤ４（Ｄ１＜Ｄ≦Ｄ４）の範囲にＣＣＤ１３の設定可能な範囲が制限され、その範囲の中で、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲では解像度優先駆動モード、Ｄ２からＤ４（Ｄ２＜Ｄ≦Ｄ４）の範囲ではダイナミックレンジ優先駆動モードが設定されている。

同様にして被写体シーンが人物のときに決定される駆動パターン２では感度ＡがＡ１からＡ３（Ａ１＜Ａ≦Ａ３）、ダイナミックレンジＤがＤ２からＤ３（Ｄ２＜Ｄ≦Ｄ３）の範囲にＣＣＤ１３の設定可能な範囲が制限され、その範囲の中でダイナミックレンジ優先駆動モードのみが設定されていて、被写体シーンが主に夜景のときに決定される駆動パターン３では感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）、ダイナミックレンジＤがＤ１からＤ４（Ｄ１＜Ｄ≦Ｄ４）の範囲にＣＣＤ１３の設定可能な範囲が制限され、その範囲の中で、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲では解像度優先駆動モード、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ２からＡ４（Ａ２＜Ａ≦Ａ４）の範囲では感度優先駆動モード、ダイナミックレンジＤがＤ２からＤ４（Ｄ２＜Ｄ≦Ｄ４）の範囲でかつ感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）の範囲ではダイナミックレンジ優先駆動モードがそれぞれ設定されている。

被写体シーンが人物のときには、人物の肌等が白くとんでしまうことがあるため、明るい部分の白とびを防ぐダイナミックレンジ優先駆動モードのみが設定されていて、被写体シーンが夜景のときには被写体が暗い場合であっても、手ブレによる失敗を抑えるため、できるだけ早いシャッタ速度で撮像したいので駆動パターン３には感度優先駆動モードが含まれている。被写体シーンが風景のときには、感度アップによるノイズを抑えるため、必要以上に感度が上がらないようにしている。なお本実施形態において感度は、いわゆるＩＳＯ感度のＳＶ値を示す。

駆動モード決定部４７は、被写界情報取得手段としてのＡＥ処理部３３やＡＷＢ処理部３４によって取得された被写界情報から撮像条件決定部４５によって最終的に決定された感度及びダイナミックレンジの値に基づいて、駆動パターン決定部４６によって決定された駆動パターンに含まれる駆動モードから１つの駆動モードを決定する。

本実施形態ではＣＣＤ１３及び画像信号処理部４１を駆動する駆動モードとして高解像度で撮影を行う解像度優先駆動モード、高感度時に高Ｓ／Ｎの撮影を行う感度優先駆動モード、広ダイナミックレンジで撮影を行うダイナミックレンジ優先駆動モードの３つの駆動モードがある。

解像度優先駆動モードでは、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とで露光時間が同じになるようにＣＣＤ１３を駆動し、かつ画像信号処理部４１が第１の受光素子に対応する主画素の出力と、第２の受光素子に対応する副画素の出力とを混合せずに各々を１つの画素の出力とし、全ての画素すなわちフル画素で出力された信号を使用することにより画素数を確保して１つの画像データを生成する。

感度優先駆動モードでは、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とで露光時間が同じになるようにＣＣＤ１３を駆動し、かつ画像信号処理部４１が第１の受光素子に対応する主画素の出力と、第２の受光素子に対応する副画素の出力とを加算して１つの出力信号を生成し、この加算された信号を使用することにより半分の画素すなわちハーフ画素の画像データを生成する。加算された出力信号は主画素や副画素のみでの出力の２倍の出力となることにより、フル画素に対して感度が２倍になる。

なお本実施形態では主画素と副画素を混合せずに出力させた後で画像信号処理部４１が出力信号の合成処理を行っているが、ＣＣＤ１３からの読み出しにおいて、主画素と副画素とを混合して１つの信号として読み出してもよい。

ダイナミックレンジ優先駆動モードでは、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とで露光時間が異なるようにＣＣＤ１３を駆動し、かつ画像信号処理部４１が第１の受光素子に対応する主画素の出力と、第２の受光素子に対応する副画素の出力とを混合せずに各々を１つの画素の出力とし、このようにして得られた、出力の異なる２つの画像信号を合成する処理を行い、ダイナミックレンジを拡大した画像データを生成する。

ここで図３Ａに第１の方式のダイナミックレンジ優先駆動モードでの画像信号処理方法を説明する図を示す。例えばダイナミックレンジを４倍に拡大する場合には、図３Ａに示す如く、通常の露光量で撮像される主画素の露光量に対して、副画素の露光量は１／４、つまりアンダー露光で撮像する。すると主画素の出力は露光量が１００％で飽和するのに対して副画素の出力は露光量が４００％で飽和する出力特性を得るので、主画素（Ａ面）にて主に低輝度側の情報を取得するための画像データを取得し、副画素(Ｂ面)にて主に高輝度側の情報を取得するための画像データを取得すべく、主画素の出力と副画素の出力を合成する。

主画素の出力と副画素の出力を合成するためには、まず図３Ａの（Ａ）に示す如く、主画素の出力のデータ量を１／４にして、主画素と副画素の出力の傾き特性を一致させる。そして図３Ａの（Ｂ）に示す如く、副画素の出力（（Ｂ）左図）から図３Ａの（Ａ）のデータ量が１／４に相当する出力分を減算し、減算された副画素の出力（（Ｂ）右図）をデータ量が１／４となった主画素の出力（（Ａ）右図）に加えることにより、図３Ａの（Ｃ）に示す如く、１つの合成画像データを生成する。そして合成された画像データに対してガンマ補正処理を行うときにガンマで明るくして適正の明るさに戻すことによりダイナミックレンジを４倍に拡大させた画像データを生成する。

またダイナミックレンジ優先駆動モードの、第２の方式としては、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とで露光時間が同じで、かつこの露光条件をダイナミックレンジに応じた段数でアンダー露光してＣＣＤ１３を駆動し、かつ画像信号処理部４１が取得した画像データに対してガンマ補正処理を行うときにガンマで明るくして適正の明るさに戻すことによりダイナミックレンジを拡大した画像データを生成する。

ここで図３Ｂに第２の方式のダイナミックレンジ優先駆動モードでの画像信号処理方法を説明する図を示す。例えばダイナミックレンジを４倍に拡大する場合には、通常の露光量で撮像される主画素及び副画素の露光量に対して１／４の露光量、つまりアンダー露光で撮像する。すると通常の露光では主画素及び副画素の出力は露光量が１００％で飽和するのに対してアンダー露光では、図３Ｂに示す如く、主画素及び副画素の出力は露光量が４００％で飽和する出力特性を得るので、このアンダー露光にて取得した画像データに対してガンマ補正処理を行うときにガンマで明るくして適正の明るさに戻すことによりダイナミックレンジを４倍に拡大させた画像データを生成する。

なおこのとき２画素を混合して読み出したり、２画素の出力を合成したりしてハーフ画素の画像データを生成してもよい。

この第２の方法では、ガンマ補正を行うことで、ゲインアップと同じ影響（ノイズ大）があるため、ガンマ補正時には見かけ上、ゲインが上がる。そのため、低感度でのダイナミックレンジの拡大ができない。

なお本実施形態ではダイナミックレンジ優先駆動モードが決定されたときには、前者の第１の方式と後者の第２の方式のいずれを使用してよい。例えば感度Ａが所定の閾値よりも小さいときには第１の方式を使用するようにしてもよい。こうすることにより低感度でのダイナミックレンジの拡大が可能になる。但し、第１の方式では、露光時間の差を作ることから、ロングシャッタ時にブレなどで合成が正しくできないこと、第２の方式では、低感度側でダイナミックレンジ拡大ができないなどのデメリットがあることから、シャッタ速度やフラッシュ発光の有無により切り替えて使用することもできる。

ＣＰＵ３０は、操作部の２６による操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。また駆動モード決定部４７によって決定（選択）された駆動モードでＣＣＤ駆動部２３を介してＣＣＤ１３を駆動させると共に画像信号処理部４１を駆動させる制御手段としても機能する。

データバス５０は、画像入力コントローラ３１、各種処理部１４、３２〜３５、４１、フレームメモリ３６、各種制御部２５、３７、３９、顔検出部４３、内部メモリ４２、シーン認識部４４、各種決定部４５〜４７及びＣＰＵ３０に接続されており、このデータバス５０を介して各種信号、データの送受信が行われる。

次に、以上の構成のデジタルカメラ１における撮像方法について説明する。図４はデジタルカメラ１の撮像処理のフローチャート、図５は感度・ダイナミックレンジ決定処理１のフローチャート、図６は感度・ダイナミックレンジ決定処理２のフローチャート、図７は駆動モード決定処理１のフローチャートである。

デジタルカメラ１は、電源が入れられると図４に示す如く、被写体の撮像を開始して（ステップＳ１）、表示制御部３９がスルー画像の表示制御を行う。スルー画像の表示とはフレームメモリ３６に格納された画像データを液晶モニタ４０に表示する処理であり、このスルー画像にて顔検出部４３が定期的に顔の検出を行う。

次にＣＰＵ３０は、レリーズボタン２７が半押しされたか否かを判別する（ステップＳ２）。レリーズボタン２７が半押しされていない場合（ステップＳ２；ＮＯ）には、ＣＰＵ３０はレリーズボタン２７が半押しされるまでステップＳ２の処理を繰り返し行い、レリーズボタン２７が半押しされている場合には（ステップＳ２；ＹＥＳ）、ＡＥ処理部３３がＡＥ処理を行い（ステップＳ３）、ＡＦ処理部３２がＡＦ処理を行う（ステップＳ４）。このときＡＷＢ処理部３４がＡＷＢ処理を行ってもよい。

次にシーン認識部４４が上述したように被写体シーンの認識の自動認識を行い（ステップＳ５）、続いて撮像条件決定部４５が撮像条件として感度とダイナミックレンジの値を決定する処理を行う（ステップＳ６）。

感度とダイナミックレンジの値の決定処理は、図５に示す如く、駆動パターン決定部４６がステップＳ５でシーン認識部４４が認識した被写体シーンを判別し（ステップＳ２１）、被写体シーンが風景のときには（ステップＳ２１；風景）、駆動パターンとして図２に示す駆動パターン１を決定する（ステップＳ２２）。また被写体シーンが人物のときには（ステップＳ２１；人物）、駆動パターンとして図２に示す駆動パターン２を決定し（ステップＳ２３）、被写体シーンが夜景（その他も含む）のときには（ステップＳ２１；夜景・その他）、駆動パターンとして図２に示す駆動パターン３を決定する（ステップＳ２４）。

そして駆動パターンが決定すると撮像条件決定部４５は、駆動パターン決定部４６が決定した駆動パターンで制限された、すなわち設定可能な範囲の中で、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、例えば被写体の全体的な明るさや、中心と周辺の明るさの差等から最終的に撮影の感度及びダイナミックレンジの値を決定する（ステップＳ２５）。

なお本実施形態では、上記のように駆動パターン決定部４６が２種類以上の駆動パターンから１つの駆動パターンを決定することにより感度とダイナミックレンジの設定可能な範囲を設定したが、本発明はこれに限られるものではない。ここで感度とダイナミックレンジの値の別の決定処理の方法を説明する。なおこの方法を使用する場合には、図１に示すデジタルカメラ１の構成において、駆動パターン決定部４６は備えていなくてもよいが、ＣＣＤ１３の感度とダイナミックレンジの値の設定可能な範囲を設定する設定手段（図示省略）を備えているものとする。なお撮像条件決定部４５が設定手段として機能を備えていてもよい。

感度とダイナミックレンジの値の別の決定処理は、図６に示す如く、設定手段がステップＳ５でシーン認識部４４が認識した被写体シーンを判別し（ステップＳ３１）、被写体シーンが風景のときには（ステップＳ３１；風景）、設定可能な感度Ａの値の範囲をＡ１からＡ２（Ａ１＜Ａ≦Ａ２）に設定する（ステップＳ３２）と共に設定可能なダイナミックレンジＤの値の範囲をＤ１からＤ４（Ｄ１＜Ｄ≦Ｄ４）に設定する（ステップＳ３３）。

また被写体シーンが人物のときには（ステップＳ３１；人物）、設定可能な感度Ａの値の範囲をＡ１からＡ３（Ａ１＜Ａ≦Ａ３）に設定する（ステップＳ３４）と共に設定可能なダイナミックレンジＤの値の範囲をＤ２からＤ３（Ｄ２＜Ｄ≦Ｄ３）に設定する（ステップＳ３５）。被写体シーンが夜景（その他も含む）のときには（ステップＳ３１；夜景・その他）、設定可能な感度Ａの値の範囲をＡ１からＡ４（Ａ１＜Ａ≦Ａ４）に設定する（ステップＳ３６）と共に設定可能なダイナミックレンジＤの値の範囲をＤ１からＤ４（Ｄ１＜Ｄ≦Ｄ４）に設定する（ステップＳ３７）。なおこのときＤ１、Ｄ２、Ｄ３、Ｄ４及びＡ１、Ａ２、Ａ３、Ａ４は、Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４かつＡ１＜Ａ２＜Ａ３＜Ａ４の条件を満たすものとする。

そして次に撮像条件決定部４５は上述のように設定された設定可能な範囲の中で、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、例えば被写体の全体的な明るさや、中心と周辺の明るさの差等から最終的に撮影の感度及びダイナミックレンジの値を決定する（ステップＳ３８）。

このようにして感度とダイナミックレンジの値の決定処理が行われると、次に図４に示す如く、駆動モード決定部４７が駆動モードの決定処理を行う（ステップＳ７）。なお撮像条件決定部４５によって決定されたダイナミックレンジ及び感度の値は再度ＡＥ処理部３３に入力されて、ＡＥ処理部３３はこの入力されたダイナミックレンジ及び感度の値に基づいて最終的な絞り値及び露光時間（シャッタスピード）等の露光設定値が決定される。

駆動モードの決定処理は、上記のように決定された感度とダイナミックレンジの値をシーン認識部４４が認識したシーンに基づいて決定された図２の駆動パターンに適用することにより駆動モードを決定するようにしてもよいし、図７に示す如く、駆動モードの決定処理を行ってもよい。この駆動モード決定処理は、図７に示す如く、駆動モード決定部４７が、ダイナミックレンジＤが所定値Ｄ２よりも大きい値か否かを判別し（ステップＳ４１）、大きい値であると判別した場合（ステップＳ４１；ＹＥＳ）には、駆動モードをダイナミックレンジ優先駆動モードに決定する（ステップＳ４２）。

一方、ステップＳ４１にてダイナミックレンジＤが所定値Ｄ２以下であると判別した場合（ステップＳ４１；ＮＯ）には、駆動モード決定部４７は感度ＡがＡ２よりも大きい値か否かを判別し（ステップＳ４３）、大きい値であると判別した場合（ステップＳ４３；ＹＥＳ）には、駆動モードを感度優先駆動モードに決定する（ステップＳ４４）。またステップＳ４３にて感度Ａの値が所定値Ａ２以下であると判別した場合（ステップＳ４３；ＮＯ）には、駆動モードを解像度優先駆動モードに決定する（ステップＳ４５）。

このように被写体シーン毎に、各被写体シーンに適した1つ以上の駆動モードを設定可能にすると共に、各被写体シーンに適した感度とダイナミックレンジの値の設定可能な範囲を制限することにより、被写体シーンの認識結果に基づいて設定可能な駆動モード及び設定可能な感度とダイナミックレンジの値が制限され、この制限された範囲の中で被写体情報に基づいて感度とダイナミックレンジの値が最終的に決定されて、決定された感度とダイナミックレンジの値に基づいて駆動モードが決定されるので、決定された駆動モードは被写体シーンの認識結果と取得した被写体情報の両方に基づいたものとなる。また被写体シーン毎に1種類以上の駆動モードから感度とダイナミックレンジの値つまり被写体情報によって1つの駆動モードを決定することができるので、同じ被写体シーンが認識されていても被写体情報が異なっている場合には別の駆動モードが決定される場合もあり、被写体により最適な駆動モードを決定することが可能となる。

このようにして駆動モードの決定処理が行われると、図４に示す如く、ＣＰＵ３０はレリーズボタン２７が全押しされたか否かを判別し（ステップＳ８）、レリーズボタン２７が全押しされていない場合（ステップＳ８；ＮＯ）には、ＣＰＵ３０はレリーズボタン２７の半押しが解除されたか否かを判別し（ステップＳ９）、半押しが解除されている場合（ステップＳ９；ＹＥＳ）には、ステップＳ２へ処理を移行する。レリーズボタン２７が、半押しが解除されていない場合（ステップＳ９；ＮＯ）には、ステップＳ８へ処理を移行して、ステップＳ８以降の処理を繰り返し行う。

一方、ステップＳ８にてレリーズボタン２７が全押しされた場合（ステップＳ５；ＹＥＳ）には、ＡＦ処理部３２で決定されたフォーカス駆動量データ及びＡＥ処理部で最終的に決定された露光設定値でＣＰＵ３０がフォーカスレンズ駆動部２０ａ、絞り駆動部２１、シャッタ駆動部２２にフォーカスレンズ１０ａ、絞り１１、シャッタ１２を駆動させると共に駆動モード決定部４７にて決定された駆動モードでＣＰＵ３０がＣＣＤ駆動部２３にＣＣＤ１３を駆動させることにより被写体の本撮像を行い（ステップＳ１０）、このとき本撮像により取得された本画像に対して、駆動モード決定部４７にて決定された駆動モードでＣＰＵ３０が画像信号処理部４１に画像処理を行わせる（ステップＳ１１）。

次に画像信号処理部４１によって画像処理が施された本画像を、表示制御部３９を介してモニタ４０に表示する処理を行うともにメディア制御部３７を介して外部記録メディア３８に記録する（ステップＳ１２）。なおこのとき画像処理が施された本画像データに対してさらに圧縮／伸長処理部３５によって圧縮処理が施されて画像ファイルが生成されてもよい。

そしてＣＰＵ３０は電源がオフ操作されたか否かを判別し（ステップＳ１３）、オフ操作がされていなかったら（ステップＳ１３；ＮＯ）、図４に示す如く、ステップＳ１へ処理を移行し、ステップＳ１以降の処理を繰り返す。オフ操作されていたら（ステップＳ１３；ＹＥＳ）、デジタルカメラ１の電源をオフにし、処理を終了する。このようにしてデジタルカメラ１の撮像処理を行う。

以上より、本実施形態の撮像装置１及び撮像方法によれば、第１の受光素子及び第２の受光素子の出力に基づいて画像信号を取得し、取得した画像信号に基づいて被写体のシーンを認識すると共に被写界情報を取得し、取得した被写体のシーン及び被写界情報基づいて駆動モードを選択し、選択した駆動モードで、ＣＣＤ１３を駆動して画像信号を取得すると共に画像信号から画像データを生成するので、被写体のシーンと被写界情報の両方の情報に基づいて選択した駆動モードでＣＣＤの駆動制御と画像処理が行われることにより、被写体に対してより最適な撮像画像を取得することができる。

次にデジタルカメラ１における他の撮像方法について以下説明する。図８はデジタルカメラ１の他の撮像処理のフローチャート、図９は各種駆動パターンの別の一例を示す図、図１０は駆動モード決定処理２のフローチャートである。なお図８は、便宜上図４のフローチャートと同様の処理は同じステップ番号で示して説明は省略する。

本実施形態の撮像方法は、図８に示す如く、ステップＳ６にて撮像条件決定部４５が感度とダイナミックレンジの値の決定処理を行ったら、ＣＰＵ３０が記録する画素数の設定を判別する（ステップＳ５１）。ここで記録する画素数の設定は、ユーザが操作部２６を操作することにより任意に設定可能である。ただしシーン自動認識モードが設定されているときには、駆動モードにより、ＣＣＤ−ＲＡＷデータ画素数が切り替わるため、フル画素の設定はできないようになっている。

そしてＣＰＵ３０が、画素数が自動に設定されていると判別した場合（ステップＳ５１；自動）には、駆動モード決定部４７が駆動モード決定処理１の処理を行う（ステップＳ５２）。この駆動モード決定処理１は、図７と同様の処理であるため詳細な説明は省略する。なお駆動モード決定処理１はステップＳ６にて決定された感度とダイナミックレンジの値をシーン認識部４４が認識したシーンに基づいて決定された図９の駆動パターン４に適用することにより駆動モードを決定するようにしてもよい
図９の駆動パターンは予めカメラ本体に設定されて例えば内部メモリに記録され、記録画素数が自動（ＡＵＴＯ）に設定されたときには駆動パターンとして駆動パターン４を決定する。駆動パターン４は、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲では解像度優先駆動モード、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ２からＡ４（Ａ２＜Ａ≦Ａ４）の範囲では感度優先駆動モード、ダイナミックレンジＤがＤ２からＤ４（Ｄ２＜Ｄ≦Ｄ４）の範囲でかつ感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）の範囲ではダイナミックレンジ優先駆動モードがそれぞれ設定されている。

一方、ステップＳ５１にてＣＰＵ３０が、画素数がハーフ画素に設定されていると判別した場合（ステップＳ５１；ハーフ画素）には、駆動モード決定部４７が駆動モード決定処理２を行う（ステップＳ５３）。

駆動モードの決定処理２は、上記のように決定された感度とダイナミックレンジの値をシーン認識部４４が認識したシーンに基づいて決定された図９の駆動パターン５に適用することにより駆動モードを決定するようにしてもよい。

図９の駆動パターンは予めカメラ本体に設定されて例えば内部メモリに記録され、記録画素数がハーフ画素に設定されたときには駆動パターンとして駆動パターン５を決定する。駆動パターン５は、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲では解像度優先駆動モードが選択される。

なおハーフ画素が設定されたときには解像度優先駆動モードでＣＣＤ駆動部２３がＣＣＤ１３を駆動し、画像信号処理部４１が画素数を確保して１つの画像データを生成した後で、さらに画素数を半分にリサイズする信号処理を行う。このときリサイズする方法としては、例えば画素数が半分になるように一定の間隔で画素を間引いてもよいし、２つの画素の出力信号を合成処理して１つの出力データを生成することにより画素数を半分にしてもよいし、適宜変更することができる。

また駆動パターン５は、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ２からＡ４（Ａ２＜Ａ≦Ａ４）の範囲では感度優先駆動モード、ダイナミックレンジＤがＤ２からＤ４（Ｄ２＜Ｄ≦Ｄ４）の範囲でかつ感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）の範囲ではダイナミックレンジ優先駆動モードがそれぞれ設定されている。

また駆動モードの決定処理２は、図１０に示す如く、駆動モードの決定処理を行ってもよい。なお図１０において、図７のフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。

駆動モード決定処理２は、図１０に示す如く、駆動モード決定部４７が感度Ａの値が所定値Ａ２以下であると判別した場合（ステップＳ４３；ＮＯ）には、駆動モードを解像度優先駆動モードに決定し、このとき決定された解像度優先駆動モードではＣＣＤ駆動部２３がＣＣＤ１３を駆動し、画像信号処理部４１が画素数を確保して１つの画像データを生成した後で、さらに画素数を半分にリサイズする信号処理を行うようにする。このときリサイズする方法は、上述した方法と同じである（ステップＳ４５’）。

このようにして駆動モードの決定処理が行われると、図８に示す如く、図３と同様にステップ８からステップ１３の処理を行ってデジタルカメラ１による撮像処理を終了する。

以上のように、ユーザによって記録画素数が設定されていても、記録画素数を確保しつつ被写体のシーンと被写界情報の両方の情報に基づいて選択した駆動モードでＣＣＤ駆動部２３によるＣＣＤ１３の駆動及び画像信号処理部４１による信号処理を行うことができるので、設定された記録画素数で、かつ被写体に対してより最適な撮像画像を取得することができる。

次にさらに他の撮像方法について以下説明する。図１１は感度決定処理１のフローチャート、図１２は各種駆動パターンのさらに別の一例を示す図、図１３は感度決定処理２のフローチャート、図１４は駆動モード決定処理３のフローチャートである。

上述した実施形態の撮像方法では、感度とダイナミックレンジの両方の値に基づいて、駆動モードを決定していたが、図１の撮像条件決定部４５がＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて撮影感度のみの値を決定するものであって、ダイナミックレンジを拡大しない、若しくは拡大できないデジタルカメラの場合には、図４のステップＳ６の感度とダイナミックレンジの値を決定する処理に替えて、ダイナミックレンジの値を固定にして、感度の値のみを決定する感度決定処理を行う。

感度決定処理は、図１１に示す如く、駆動パターン決定部４６がステップＳ５でシーン認識部４４が認識した被写体シーンを判別し（ステップＳ６１）、被写体シーンが風景のときには（ステップＳ６１；風景）、駆動パターンとして図１２に示す駆動パターン６を決定する（ステップＳ６２）。また被写体シーンが人物のときには（ステップＳ６１；人物）、駆動パターンとして図１２に示す駆動パターン７を決定し（ステップＳ６３）、被写体シーンが夜景（その他も含む）のときには（ステップＳ６１；夜景・その他）、駆動パターンとして図１２に示す駆動パターン８を決定する（ステップＳ６４）。

なお図１２に示す駆動パターンは、予めカメラ本体に設定されて例えば内部メモリに記録され、ダイナミックレンジの値が固定されており、被写体シーンが風景のときに決定される駆動パターン６はＣＣＤ１３の設定可能な感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲に制限され、この範囲では解像度優先駆動モードが設定されている。

また被写体シーンが人物のときに決定される駆動パターン７は、ＣＣＤ１３の設定可能な感度ＡがＡ１からＡ３（Ａ１＜Ａ≦Ａ３）の範囲に制限され、この範囲の中で、感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲では解像度優先駆動モードが設定され、感度ＡがＡ２からＡ３（Ａ２＜Ａ≦Ａ３）の範囲では感度優先駆動モードが設定されている。

また被写体シーンが夜景のときに決定される駆動パターン８は、ＣＣＤ１３の設定可能な感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）の範囲に制限され、この範囲の中で、感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲では解像度優先駆動モードが設定され、感度ＡがＡ２からＡ４（Ａ２＜Ａ≦Ａ４）の範囲では感度優先駆動モードが設定されている。

そして駆動パターンが決定すると撮像条件決定部４５は、駆動パターン決定部４６が決定した駆動パターンで制限された、すなわち設定可能な範囲の中で、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、例えば被写体の全体的な明るさ等から最終的に撮影の感度の値を決定する（ステップＳ６５）。

なお本実施形態では、上記のように駆動パターン決定部４６が２種類以上の駆動パターンから１つの駆動パターンを決定することにより感度の設定可能な範囲を設定したが、本発明はこれに限られるものではない。ここで感度の値の別の決定処理の方法を説明する。なおこの方法を使用する場合には、図１に示すデジタルカメラ１の構成において、駆動パターン決定部４６は備えていなくてもよいが、ＣＣＤ１３の感度の値の設定可能な範囲を設定する設定手段（図示省略）を備えているものとする。

感度の値の別の決定処理（感度決定処理２）は、図１３に示す如く、図示しない設定手段がステップＳ５でシーン認識部４４が認識した被写体シーンを判別し（ステップＳ７１）、被写体シーンが風景のときには（ステップＳ７１；風景）、設定可能な感度Ａの値の範囲をＡ１からＡ２（Ａ１＜Ａ≦Ａ２）に設定する（ステップＳ７２）。

また被写体シーンが人物のときには（ステップＳ７１；人物）、設定可能な感度Ａの値の範囲をＡ１からＡ３（Ａ１＜Ａ≦Ａ３）に設定し（ステップＳ７３）、被写体シーンが夜景のときには（ステップＳ７１；夜景）、設定可能な感度Ａの値の範囲をＡ１からＡ４（Ａ１＜Ａ≦Ａ４）に設定する（ステップＳ７４）。なおこのときＡ１、Ａ２、Ａ３、Ａ４は、Ａ１＜Ａ２＜Ａ３＜Ａ４の条件を満たすものとする。

そして次に撮像条件決定部４５は上述のように設定された設定可能な範囲の中で、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、例えば被写体の全体的な明るさ等から最終的に撮影の感度の値を決定する（ステップＳ７５）。

このようにして感度の値の決定処理が行われると、次に駆動モード決定部４７が駆動モードの決定処理を行う（ステップＳ７）。なお撮像条件決定部４５によって決定された感度の値と固定されているダイナミックレンジの値は再度ＡＥ処理部３３に入力されて、ＡＥ処理部３３はこの入力されたダイナミックレンジ及び感度の値に基づいて最終的な絞り値及び露光時間（シャッタスピード）等の露光設定値が決定される。

本実施形態での駆動モードの決定処理は、上記のように決定された感度の値をシーン認識部４４が認識したシーンに基づいて決定された図１２の駆動パターンに適用することにより駆動モードを決定するようにしてもよいし、図１４に示す如く、駆動モードの決定処理を行ってもよい。この駆動モード決定処理３は、図１４に示す如く、駆動モード決定部４７が、感度Ａ２が所定値Ａ２よりも大きい値か否かを判別し（ステップＳ８１）、大きい値であると判別した場合（ステップＳ８１；ＹＥＳ）には、駆動モードを感度優先駆動モードに決定して（ステップＳ８２）、感度Ａ２が所定値Ａ２以下であると判別した場合（ステップＳ８１；ＮＯ）には、駆動モードを解像度優先駆動モードに決定する（ステップＳ８３）。

このように被写体シーン毎に、各被写体シーンに適した1つ以上の駆動モードを設定可能にすると共に、各被写体シーンに適した感度の値の設定可能な範囲を制限することにより、被写体シーンの認識結果に基づいて設定可能な駆動モード及び設定可能な感度の値が制限され、この制限された範囲の中で被写体情報に基づいて感度の値が最終的に決定されて、決定された感度の値に基づいて駆動モードが決定されるので、決定された駆動モードは被写体シーンの認識結果と取得した被写体情報の両方に基づいたものとなる。また被写体シーン毎に1種類以上の駆動モードから感度の値つまり被写体情報によって1つの駆動モードを決定することができるので、同じ被写体シーンが認識されていても被写体情報が異なっている場合には別の駆動モードが決定される場合もあり、被写体により最適な駆動モードを決定することが可能となる。

本実施形態のようにダイナミックレンジが固定されている場合であっても、上記実施形態と同様に、被写体のシーンと被写界情報の両方の情報に基づいて選択した駆動モードでＣＣＤ１３の駆動制御と画像処理が行われることにより、被写体に対してより最適な撮像画像を取得することができる。

なお上述した実施形態のＣＣＤ１３では、第１の受光素子と第２の受光素子の受光面積は等しいものとしたが、本発明はこれに限られるものではなく、例えば第１の受光素子が第２の受光素子よりも受光面積が広い、すなわち感度が高いものとしてもよい。

例えば第２の受光素子に対応する副画素が、第１の受光素子に対応する主画素と同じ飽和点が同じレベルで、かつ感度が１／４である場合には、解像度優先駆動モードでは、副画素の出力が主画素の出力の１／４の信号しか出力できないため、信号を４倍にする。

また感度優先モードでは、加算された出力信号は主画素のみでの出力の１．２５倍の出力となることにより、フル画素に対して感度が１．２５倍になる。

またダイナミックレンジ優先駆動モードでは、第１の方式を用いる。主画素の出力及び副画素の出力の異なる２つの画像信号を合成する処理を行い、ダイナミックレンジを拡大した画像データを生成する。また第２の方式のときには、副画素の出力が主画素の出力の１／４の信号しか出力できないため、信号を４倍にする。

なお各駆動モードにおけるＣＣＤ駆動方法及び画像処理方法は、特開２００７−２５９３４４に記載されている方法を使用することもできる。

なお本発明の撮像装置は、上述した実施形態のデジタルカメラ１に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

デジタルカメラの機能構成を示すブロック図 各種駆動パターンの一例を示す図 第１の方式のダイナミックレンジ優先駆動モードでの画像処理方法を説明する図 第２の方式のダイナミックレンジ優先駆動モードでの画像処理方法を説明する図 デジタルカメラの撮像処理のフローチャート 感度・ダイナミックレンジ決定処理のフローチャート 他の感度・ダイナミックレンジ決定処理のフローチャート 駆動モード決定処理のフローチャート デジタルカメラの他の撮像処理のフローチャート 各種駆動パターンの別の一例を示す図 他の駆動モード決定処理のフローチャート 感度決定処理のフローチャート 各種駆動パターンのさらに別の一例を示す図 他の感度決定処理のフローチャート さらに他の駆動モード決定処理のフローチャート

符号の説明

１ デジタルカメラ（撮像装置）
１３ ＣＣＤ（撮像手段、撮像素子）
３０ ＣＰＵ（制御手段）
３３ ＡＥ処理部
３４ ＡＷＢ処理部
３３、３４ 被写界情報取得手段
４１ 画像信号処理部（画像信号処理手段）
４４ シーン認識部（被写体認識手段）
４５ 撮像条件決定部（撮像条件決定手段、設定手段）
４６ 駆動パターン決定部
４７ 駆動モード決定部

Claims (16)

1. 被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子と第２の受光素子とが所定の配列形態によって多数配置され、前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて画像信号を取得する撮像手段と、
   該撮像手段により取得された前記画像信号から画像データを生成する画像信号処理手段と、
   前記画像信号に基づいて被写体のシーンを認識する被写体認識手段と、
   前記画像信号に基づいて被写界情報を取得する被写界情報取得手段と、
   前記被写体認識手段により認識された前記被写体のシーン及び前記被写界情報取得手段により取得された前記被写界情報に基づいて、前記第１の受光素子と前記第２の受光素子とを同一の条件で駆動するかあるいは異なる条件で駆動するかを含む前記撮像手段の駆動方法の種類及び前記画像信号処理手段による画像データの生成方法の種類を表す複数の駆動モードの中から所定の駆動モードを選択し、該選択した駆動モードで、前記撮像手段及び前記画像信号処理手段を駆動する制御手段とを備えたことを特徴とする撮像装置。
2. 予め前記撮像手段の設定可能な１つ以上の撮像条件の範囲が各々設定された１種類以上の駆動モードを含む２種類以上の駆動パターンから、前記被写体認識手段により認識された前記被写体のシーンに基づいて、１つの駆動パターンを決定する駆動パターン決定手段と、
   前記被写界情報取得手段により取得された前記被写界情報に基づいて、前記駆動パターン決定手段により決定された駆動パターンの前記１種類以上の駆動モードから１つの駆動モードを決定する駆動モード決定手段とを備え、
   前記制御手段が、該駆動モード決定手段により決定された駆動モードで前記撮像手段及び前記画像信号処理手段を駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体認識手段により認識された前記被写体のシーンに基づいて前記撮像手段の感度及び／又はダイナミックレンジの値の設定可能な範囲を設定する設定手段と、
   前記被写界情報取得手段により取得された前記被写界情報に基づいて、前記設定手段により設定された前記感度及び／又はダイナミックレンジの値の範囲の中で前記感度及び前記ダイナミックレンジの値を決定する撮像条件決定手段と、
   該撮像条件決定手段により決定された前記感度及び前記ダイナミックレンジの値に基づいて前記駆動モードを決定する駆動モード決定手段とを備え、
   前記撮像制御手段が、該駆動モード決定手段により決定された駆動モードで前記撮像手段及び前記画像信号処理手段を駆動することを特徴とする請求項１に記載の撮像装置。
4. 前記駆動パターンが、前記被写体のシーン毎に設定されたものであることを特徴とする請求項２に記載の撮像装置。
5. 前記駆動モードが、解像度優先駆動モード、感度優先駆動モード、ダイナミックレンジ優先駆動モードのうちのいずれかであることを特徴とする請求項１〜４いずれか１項に記載の撮像装置。
6. 前記制御手段が、前記ダイナミックレンジ優先駆動モードで記撮像手段及び前記画像信号処理手段を駆動するときに、前記撮像手段が前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行い、前記画像処理手段が前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号を処理して画像データを取得する第１の撮像方法と前記撮像手段が前記第１の受光素子と前記第２の受光素子とが同じ露光で、かつアンダー露光で撮像を行い、前記画像処理手段が前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号に対して階調補正を施す処理をして画像データを取得するダイナミックレンジ優先駆動の第２の撮像方法とを任意に切り替えて使用可能であることを特徴とする請求項５に記載の撮像装置。
7. 前記被写体のシーンが、風景、人物、夜景のうちのいずれかであることを特徴とする請求項１〜６いずれか１項に記載の撮像装置。
8. 前記被写体のシーンが、人物、風景、夜景のうちのいずれかであり、
   前記被写体のシーンが人物のときの前記駆動パターンが、ダイナミックレンジ優先駆動モードのみを含むものであり、該ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ３に設定されると共に前記感度の値の範囲がＡ１からＡ３に設定されるものであって、
   前記被写体のシーンが風景のときの前記駆動パターンが、解像度優先駆動モード及びダイナミックレンジ優先駆動モードを含むものであり、前記解像度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定され、前記ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ４に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定されるものであって、
   前記被写体のシーンが夜景のときの前記駆動パターンが、解像度優先駆動モード、感度優先駆動モード、及びダイナミックレンジ優先駆動モードを含むものであり、前記解像度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定され、前記感度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ２からＡ４に設定され、前記ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ４に設定されると共に前記感度の値の範囲がＡ１からＡ４に設定されるものであって、
   さらにＤ１、Ｄ２、Ｄ３、Ｄ４及びＡ１、Ａ２、Ａ３、Ａ４が、
   Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４かつＡ１＜Ａ２＜Ａ３＜Ａ４
   の条件を満たすものあることを特徴とする請求項２又は４に記載の撮像装置。
9. 被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子と第２の受光素子とが所定の配列形態によって多数配置され、前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて画像信号を取得する撮像手段と、
   該撮像手段により取得された前記画像信号から画像データを生成する画像信号処理手段とを備えてなる撮像装置を使用する撮像方法において、
   前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて画像信号を取得し、
   該取得した画像信号に基づいて被写体のシーンを認識すると共に被写界情報を取得し、
   該取得した前記被写体のシーン及び前記被写界情報基づいて、前記第１の受光素子と前記第２の受光素子とを同一の条件で駆動するかあるいは異なる条件で駆動するかを含む前記撮像手段の駆動方法の種類及び前記画像信号処理手段による画像データの生成方法の種類を表す複数の駆動モードの中から所定の駆動モードを選択し、
   該選択した駆動モードで、前記撮像手段及び前記画像信号処理手段を駆動することを特徴とする撮像方法。
10. 予め駆動モード毎に前記撮像手段の設定可能な１つ以上の撮像条件の範囲を設定すると共に該設定された１種類以上の駆動モードを含む２種類以上の駆動パターンを設定し、
    前記認識した被写体のシーンに基づいて、前記２種類以上の駆動パターンから１つの駆動パターンを決定し、
    前記取得した前記被写界情報に基づいて、前記決定した駆動パターンの前記１種類以上の駆動モードから１つの駆動モードを決定し、
    該設定した駆動モードで、前記撮像手段及び前記画像信号処理手段を駆動することを特徴とする請求項９に記載の撮像方法。
11. 前記認識した前記被写体のシーンに基づいて、前記撮像手段の感度及び／又はダイナミックレンジの値の設定可能な範囲を設定し、
    前記取得した前記被写界情報に基づいて、前記設定した感度及び／又はダイナミックレンジの値の範囲の中で前記感度及び前記ダイナミックレンジの値を決定し、
    該決定した前記感度及び前記ダイナミックレンジの値に基づいて前記駆動モードを決し、
    該決定した駆動モードで、前記撮像手段及び前記画像信号処理手段を駆動することを特徴とする請求項９に記載の撮像方法。
12. 前記駆動パターンが、前記被写体のシーン毎に設定されたものであることを特徴とする請求項１０に記載の撮像方法。
13. 前記駆動モードが、解像度優先駆動モード、感度優先駆動モード、ダイナミックレンジ優先駆動モードのうちのいずれかであることを特徴とする請求項９〜１２いずれか１項に記載の撮像方法。
14. 前記ダイナミックレンジ優先駆動モードで記撮像手段及び前記画像信号処理手段を駆動するときに、前記撮像手段が前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行い、前記画像処理手段が前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号を処理して画像データを取得する第１の撮像方法と前記撮像手段が前記第１の受光素子と前記第２の受光素子とが同じ露光で、かつアンダー露光で撮像を行い、前記画像処理手段が前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号に対して階調補正を施す処理をして画像データを取得するダイナミックレンジ優先駆動の第２の撮像方法とを任意に切り替えて使用することを特徴とする請求項１３に記載の撮像方法。
15. 前記被写体のシーンが、風景、人物、夜景のうちのいずれかであることを特徴とする請求項９〜１４いずれか１項に記載の撮像方法。
16. 前記被写体のシーンが、人物、風景、夜景のうちのいずれかであり、
    前記被写体のシーンが人物のときの前記駆動パターンが、ダイナミックレンジ優先駆動モードのみを含むものであり、該ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ３に設定されると共に前記感度の値の範囲がＡ１からＡ３に設定されるものであって、
    前記被写体のシーンが風景のときの前記駆動パターンが、解像度優先駆動モード及びダイナミックレンジ優先駆動モードを含むものであり、前記解像度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定され、前記ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ４に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定されるものであって、
    前記被写体のシーンが夜景のときの前記駆動パターンが、解像度優先駆動モード、感度優先駆動モード、及びダイナミックレンジ優先駆動モードを含むものであり、前記解像度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ１からＡ２に設定され、前記感度優先駆動モードの前記ダイナミックレンジの値の範囲がＤ１からＤ２に設定されると共に前記感度の値の範囲がＡ２からＡ４に設定され、前記ダイナミックレンジ優先駆動モードの前記ダイナミックレンジの値の範囲がＤ２からＤ４に設定されると共に前記感度の値の範囲がＡ１からＡ４に設定されるものであって、
    さらにＤ１、Ｄ２、Ｄ３、Ｄ４及びＡ１、Ａ２、Ａ３、Ａ４が、
    Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４かつＡ１＜Ａ２＜Ａ３＜Ａ４
    の条件を満たすものあることを特徴とする請求項１０又は１２に記載の撮像方法。

Images