以下、本発明の実施の形態を図面を参照して説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る撮像装置の構成を示すブロック図である。
この撮像装置は一例としてデジタルカメラ100であるとするが、ビデオカメラでもよく、静止画または動画撮影の機能を有する装置に本発明が適用される。
図1に示すデジタルカメラ100において、撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群である。シャッタ101は絞り機能を備えるシャッタである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。後述する複数の画素201(図2(a))を有すると共に、A/D変換処理機能を備えている。撮像部22はAF評価値検出部23を備える。AF評価値検出部23は、デジタル画像信号から得られるコントラスト情報などから、オートフォーカス制御を行う際に用いられるAF評価値を算出し、得られたAF評価値をシステム制御部50に出力する。バリア105は、撮影レンズ103を覆うことにより、撮影レンズ103、シャッタ101及び撮像部22を含む撮像系の汚れや破損を防止する。
画像処理部24は、撮像部22から出力されるデータ、またはメモリ制御部15から出力されるデータに対して、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュ自動調光発光)処理が行われる。また画像処理部24ではAF(オートフォーカス)処理が行われるが、このとき撮像部22が備えるAF評価値検出部23の出力が用いられることもある。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
撮像部22の出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介して直接、メモリ32に書き込まれる。メモリ32は、撮像部22によって取得されA/D変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器を備え、この表示器に、D/A変換器13からのアナログ信号に応じた表示を行う。撮像部22で一度A/D変換されメモリ32に蓄積されたデジタル信号がD/A変換器13においてアナログ変換され、表示部28に逐次転送されて表示されることで、電子ビューファインダとしての機能が果たされ、スルー画像表示を行える。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が採用される。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施の形態にて後述する各種フローチャートを実行するための制御プログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する。不揮発性メモリ56に記録されたプログラムを実行することで、後述する各処理を実現する。システムメモリ52は例えばRAMであり、システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。
システムタイマ53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、第1シャッタスイッチ62、第2シャッタスイッチ64、操作部70は、システム制御部50に各種の動作指示を入力するための操作部材である。
モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタスイッチ62は、デジタルカメラ100に設けられたシャッタボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり、第1シャッタスイッチ信号SW1を発生させる。第1シャッタスイッチ信号SW1の発生により、AF処理、AE処理、AWB処理、EF処理等の動作が開始される。
第2シャッタスイッチ64は、シャッタボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタスイッチ信号SW2を発生させる。システム制御部50は、第2シャッタスイッチ信号SW2の発生により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作が開始される。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
コントローラホイール73は、操作部70に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール73を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部50はデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラホイール73が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール73は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール73自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール73自体は回転せず、コントローラホイール73上でのユーザの指の回転動作などを検出するものであってもよい(いわゆる、タッチホイール)。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源スイッチ72は、ユーザによって操作される。
電源部40は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプタ等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
図2は、図1に示す撮像部22の構成を説明するための図である。そして、図2(a)はその構造を示す斜視図であり、図2(b)はその構成を示すブロック図である。
図2(a)において、撮像部22は第1のチップ20および第2のチップ21を有している。第2のチップ21上に第1のチップ20が積層されている。第1のチップ20はマトリックス状に配列された複数の画素201を有しており、第1のチップ20は光入射側に配置されている(つまり、光学像の受光側に位置している)。
第2のチップ21には、図2(b)に示す列走査回路213−a、213−bと行走査回路212などの画素駆動回路が形成されるとともに、前述のAF評価値検出部23が形成されている。
このように、2つのチップに半導体を分けて配設し、第1のチップ20に画素201を形成し、第2のチップ21に画素駆動回路およびAF評価値検出部23を形成している。これにより、撮像素子102の周辺回路および画素部の製造プロセスを分けることができ、周辺回路における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
図2(b)に示すように、第1のチップ20において、画素201はマトリクス状に配列されている。画素201は水平方向(行方向)において転送信号線203、リセット信号線204、及び行選択信号線205に接続され、垂直方向(列方向)において列信号線202−a、202−bに接続されている。なお、列信号線202−a、202−bの各々は読み出し行単位に応じて接続先が異なる。
画像処理部24は、信号処理部104を有する。画素接続方式に関する説明については図3にて後述する。
第2のチップ21には、複数のカラムADCブロック211が備えられており、カラムADCブロック211は列信号線202−aまたは列信号線202−bに接続されている。さらに、第2のチップ21には、行走査回路212、列走査回路213−a、213−b、タイミング制御回路214、水平信号線215−a、215−b、切替スイッチ216、フレームメモリ217、及びAF評価値検出部23が備えられる。
タイミング制御回路214はシステム制御部50からの制御信号を受けて、行走査回路212、列走査回路213−a、213−b、及びカラムADCブロック211の動作タイミングを制御する。行走査回路212は各行の走査を行い、列走査回路213a、213bはそれぞれ各列の走査を行う。
水平信号線215−a、215−bは、それぞれ列走査回路213−a、213−bで制御されるタイミングに応じてカラムADCブロック211の出力信号(画像信号)を転送する。
フレームメモリ217は水平信号線215−bから出力される画像信号を一時的に記憶する。AF評価値検出部23はフレームメモリ217に記憶された画像信号に応じてAF評価値を検出(生成)して、当該AF評価値を制御部106に送る。切替スイッチ216は水平信号線215−bに出力される画像信号をAF評価値検出部23または信号処理部104のいずれか一方に選択的に出力するための切り替えスイッチである。水平信号線215−aに転送された画像信号は信号処理部104に与えられる。
次に撮像部22の構成及び動作について説明する。複数の画素201の各々の構成は共通であるが、図2(b)には1つの画素201だけ詳しく図示しているので、主にそれを参照して説明する。
画素201の各々は、光電変換素子であるフォトダイオードPD、転送トランジスタM1、リセットトランジスタM2、増幅トランジスタM3、選択トランジスタM4、FD(フローティングディフュージョン)を有している。なお、図示の例では、トランジスタの各々はnチャネルMOSFET(MOS Field−Effect Transistor)である。
転送トランジスタM1、リセットトランジスタM2、および選択トランジスタM4のゲートには、それぞれ転送信号線203、リセット信号線204、および行選択信号線205が接続されている。これら信号線203〜205は水平方向に延在し、同一行の画素が同時に駆動される。これによってライン順次動作型のローリングシャッタまたは全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタM4のソースには列信号線202−aまたは列信号線202−bが行単位で接続されている。
フォトダイオードPDは、光電変換によって生成された電荷を蓄積する。フォトダイオードPDのP側が接地され、N側が転送トランジスタM1のソースに接続されている。転送トランジスタM1がオン(ON)すると、フォトダイオードPDの電荷がFDに転送され、FDには寄生容量が存在するので、FDに転送された電荷が蓄積される。
増幅トランジスタM3のドレインには電源電圧Vddが印加され、そのゲートはFDに接続されている。増幅トランジスタM3は、FDの電荷(つまり、電圧)を増幅して電圧信号に変換する。選択トランジスタM4は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタM3のソースに接続されている。また、選択トランジスタM4のソースは列信号線202に接続されている。
選択トランジスタM4がオンすると、FDの電圧に対応する電圧信号が列信号線202に出力される。リセットトランジスタM2のドレインには電源電圧Vddが印加され、そのソースはFDに接続されている。リセットトランジスタM2のオンによって、FDの電圧は電源電圧Vddにリセットされる。
以下の説明では、撮像の際、列信号線202−aから水平信号線215−aを経由する出力経路をチャンネルCh1と呼び、列信号線202−bから水平信号線215−bを経由する出力経路をチャンネルCh2と呼ぶ。
チャンネルCh1から画像を取得する撮像を「メイン撮像」と称し、それにより得られる画像をメイン撮像画像と称する。チャンネルCh2から画像を取得する撮像を「サブ撮像」と称し、それにより得られる画像をサブ撮像画像と称する。メイン撮像画像の用途は、スキャンAEまたはライブビューである。サブ撮像画像は、多重出力モードではスキャンAE用となるが、フォーカス制御モードではAF評価値検出用となる。
メイン撮像によるスキャンAE用またはライブビュー用の画像信号は列信号線202−aに出力され、サブ撮像によるスキャンAE用またはAF評価値検出用の画像信号は列信号線202−bに出力される。
図3は、図2に示す第1のチップ20において列信号線202−aまたは202−bにおける画素選択を説明するための図である。
図3においては、8行×6列の画素群が示されており、ここでは各画素はベイヤ配列されている。
図1に示す操作部70の操作によってフォーカス制御モードになると、システム制御部50は、メイン撮像とサブ撮像とを同時(並行して)に行うことができるように、撮像部22における読み出し行を分ける。つまり、切替スイッチ216を切替制御して、水平信号線215−bをフレームメモリ217に接続する。
図3において、行番号1、2はサブ撮像のための行であり、これらの行に属する画素201を「第2の画素群」と呼称する。行番号3〜8はメイン撮像のための行であり、これらの行に属する画素201を「第1の画素群」と呼称する。第1の画素群と第2の画素群とは重複しない。図示の例では、読み出し走査が行単位で順次行われて、8行単位で繰り返し読み出し走査が行われることになる。
サブ撮像では、フレームレート重視のため垂直同色4画素中3画素を間引き読み出しする。一方、メイン撮像では、画質重視のため垂直同色4画素中1画素を間引き3画素を加算する。
言い換えると、メイン撮像では第1の画素群を第1のフレームレートで読み出しを行う。サブ撮像においては、第2の画素群を第1のフレームレートより高速の第2のフレームレートで読み出しを行う。
このように、選択行ごとにメイン撮像とサブ撮像とを分けることによって、異なる電荷蓄積時間でデータサイズの異なるフレームレートの画像信号を取得することが可能となる。図3に示す例では、メイン撮像に対し、サブ撮像は3倍のフレームレートを持つことになる。例えば、メイン撮像のフレームレートを30fpsとした場合、サブ撮像のフレームレートは90fpsとなる。
列信号線202−a、202−bに出力された電圧信号(アナログ信号)は、カラムADCブロック211(図2)においてアナログ信号からデジタル信号(画像信号)に変換される。
カラムADCブロック211の出力である画像信号は、列走査回路213−aまたは列走査回路213−bによってカラムADCブロック211から水平信号線215−aまたは水平信号線215−bに読み出される。水平信号線215−aに読み出された画像信号は信号処理部104に送られる。
一方、水平信号線215−bに読み出された画像信号は、切替スイッチ216に出力され、システム制御部50からの制御信号に従って、信号処理部104またはフレームメモリ217に出力される。切替スイッチ216による切り替えはフレーム単位で行われる。
多重出力モードにおいては、切替スイッチ216は、水平信号線215−bに出力された第2の画素群の信号の出力先を信号処理部104に切り替える。この場合、第1の画素群及び第2の画素群の画像信号は、それぞれ水平信号線215−a及び水平信号線215−bを通じて、並行して信号処理部104に出力される。
フォーカス制御モードにおいては、切替スイッチ216は、水平信号線215−bに出力された第2の画素群の信号の出力先をフレームメモリ217に切り替える。この場合、第1の画素群の画像信号は、水平信号線215−aを通じて信号処理部104に出力されると共に、第2の画素群の画像信号は、水平信号線215−bを通じてフレームメモリ217に出力される。
AF評価モード(オートフォーカス制御モード)の際には、サブ撮像によるAF評価値検出用の画像信号は、水平信号線215−bから切替スイッチ216を介してフレームメモリ217に供給されて記録される。AF評価値検出部23は、フレームメモリ217に記録された画像信号におけるコントラスト情報に基づいてAF評価値を検出する。そして、このAF評価値はAF評価値検出部23からシステム制御部50に送られる。
次に、スキャン型露出制御について説明する。ここでは、測光を3回行うスキャン型露出制御を例にとって説明する。
予め決定された露出値の異なる3つの制御値Bv1,Bv2,Bv3によって、それぞれ測光が行われる。それぞれの制御値により得られるデジタルデータの平均輝度値をそれぞれY1,Y2,Y3とし、また目標の輝度値をYrefとする。3つの制御値ΔBv1,ΔBv2,ΔBv3は以下の数式1、2、3で求めることができる。
[数1]
ΔBv1=log2(Y1/Yref)
[数2]
ΔBv2=log2(Y2/Yref)
[数3]
ΔBv3=log2(Y3/Yref)
次に、制御値ΔBv1,ΔBv2,ΔBv3のそれぞれの絶対値である、ABS(ΔBv1),ABS(ΔBv2),ABS(ΔBv3)のうち、最も小さいものを元にして露出制御値BvSが求められる。例えば、ABS(ΔBv1),ABS(ΔBv2),ABS(ΔBv3)のうちでABS(ΔBv1)が一番小さい場合には、露出制御値BvSは数式4、5で求められる。ただしAv1,Tv1,Sv1はそれぞれ、測光の露出値が制御値Bv1であるときの絞り制御値、電子シャッタ制御値、撮像部22の感度制御値である。
[数4]
Bv1=Av1+Tv1−Sv1
[数5]
BvS=Bv1+ΔBv1
従って、一番小さいものがABS(ΔBv2)またはABS(ΔBv2)であれば、数式3、4においてBv1の代わりにBv2またはBv3が入り、ΔBv1の代わりにΔBv2またはΔBv3が入る。また、Av1,Tv1,Sv1の代わりにBv2またはBv3に対応する値が入る。ここで求められた露出制御値BvSが、初期露出値Bvsとして撮像部22へと送られ、絞り、シャッタが制御されて本露光撮影が行われる。
このスキャン型露出制御に従って、制御値Bv1、Bv2、Bv3によって撮像動作を行い、各々の平均輝度値Y1、Y2、Y3を迅速に求めることができれば、適正露出状態でのライブ表示開始までのタイムラグの短縮が可能となる。
ここでは、スキャン型露出制御を行う場合において3回の測光を行い、表示部28に撮像画像をプレビュー表示させる際の初期露出条件(初期露出値Bvs)を求める方法について述べた。しかし測光の回数は3回に限定されるものではなく、2回に減らしてもよいし、あるいは4回もしくは5回と増やしてもよい。図4,図5では、測光回数を2回とした場合を説明する。
図4は、撮影起動時におけるライブ表示開始の処理のフローチャートである。図4を含む以降の各フローチャートにおける各処理は、システム制御部50が不揮発性メモリ56に格納されたプログラムを実行することにより実現される。
このライブ表示開始では、撮影起動後、ライブ表示開始前に、測光回数2回のスキャンAE制御を行う。また、チャンネルCh2から出力されるサブ撮像画像を、AF評価値検出として使用するのではなく、ライブ表示開始前のAE動作を高速に実施するために使用する。なおスキャンAE実施の前提として、チャンネルCh1、Ch2での撮像感度が同一(あるいは同等)となるように制御され、絞りも同一とされる。
まずステップS401では、システム制御部50は、撮像部22に電源を供給することで撮像電源をONにし、さらにシャッタ101、バリア105を開成すると共に、撮影レンズ103を初期位置に移動させる。
ステップS402では、システム制御部50は、メイン撮像及びサブ撮像を並行して行う多重出力モードで動作させるための設定を行い、撮像部22等の駆動を開始させる。具体的には、システム制御部50は、切替スイッチ216によるチャンネルCh2の出力先の設定を信号処理部104とする。その際、システム制御部50は、前述のスキャン型露出制御における制御値Bv1,Bv2から導出される露光時間(シャッタスピード)T1、T2(T1>T2)の設定を、それぞれメイン撮像、サブ撮像に対して行う。
以降、露光時間T2(第2の露出条件)にて露光した、第2の画素群から得られるサブ撮像画像を第2の画像P2と称し、露光時間T1(第1の露出条件)にて露光した、第1の画素群から得られるメイン撮像画像を第1の画像P1と称する。
次にシステム制御部50は、サブ撮像により露光時間T2にて露光した第2の画像P2の撮像部22からの読み出し(取り込み)動作が完了するのを待つ(ステップS403)。第2の画像P2の読み出し動作が完了したら(第2の取得ステップ)、システム制御部50は、読み出しにより取得した第2の画像P2に対する輝度情報である輝度評価値Y(P2)を、画像処理部24から取得する(ステップS404)。それと共に、システム制御部50は、動作モードをAF評価モードとし、切替スイッチ216によるチャンネルCh2の出力先の設定をフレームメモリ217とする。
次にシステム制御部50は、メイン撮像により露光時間T1にて露光した第1の画像P1の撮像部22からの読み出し動作が完了するのを待つ(ステップS405)。第1の画像P1の読み出し動作が完了したら(第1の取得ステップ)、システム制御部50は、読み出しにより取得した第1の画像P1に対する輝度情報である輝度評価値Y(P1)を、画像処理部24から取得する(ステップS406)。
次にシステム制御部50は、前述のスキャン型露出制御における演算(数式1〜5)に基づいて、制御値Bv1,Bv2から初期露出値Bvsを求める(ステップS407)。次にシステム制御部50は、この初期露出値BvS及び不揮発性メモリ56内に格納されたプログラム線図から、プレビュー表示させる際の初期露光時間T0を決定し、それを撮像部22に設定する(ステップS408)。
次にシステム制御部50は、撮像部22から出力されたメイン撮像画像を、信号処理部104を経由して連続的に画像処理部24に転送し、表示用現像処理を施してメモリ32へ書きこむ。そしてシステム制御部50は、メモリ32内の画像をメモリ制御部15、D/A変換器13を介して表示部28に転送することで、ライブ表示を開始させ(ステップS409)、図4の処理を終了させる。
次に、図5を用いて、図4の処理に対応する撮影起動後の撮像タイミングの詳細について説明する。
図5は、ライブ表示開始の処理時のタイミングチャートである。図5において、PVDは表示用の垂直同期信号、VD1はチャンネルCh1におけるメイン撮像の垂直同期信号を表し、VD2はチャンネルCh2におけるサブ撮像の垂直同期信号を表している。時刻t507の前までは、撮像画像を表示部28に表示させていない状態である。
サブ撮像により露光時間T2にて露光した第2の画像P2の読み出しは時刻t501にて完了し、その第2の画像P2から輝度評価値Y(P2)が画像処理部24内での演算により求められる。この後、動作モードはAF評価モードとなる。従って、時刻t501以降は、サブ撮像は本来のAF評価値検出用に用いられる。
一方、サブ撮像と並行してメイン撮像により露光時間T1にて露光した第1の画像P1の読み出しは時刻t502にて完了し、その第1の画像P1から輝度評価値Y(P1)が画像処理部24内での演算により求められる(時刻t503)。
時刻t503の後、輝度評価値Y(P1)、Y(P2)から、前述の演算式により初期露出値BvSが導出され、初期露出値BvS及びプログラム線図より初期露光時間T0が決定される(時刻t504)。
この初期露光時間T0は、次のメイン撮像、すなわち次のライブ表示用の撮像の垂直期間から反映され、時刻t505から露光が開始される。その後、露光画像P0の読み出しが時刻t506で完了し、次の表示用の垂直同期信号PVDに合わせ、時刻t507からライブ表示を開始できる。
このように、スキャン型露出制御において、ライブ表示を用途にできるメイン撮像とAF評価値検出を用途にできるサブ撮像とを時間的に並行して行える仕組みを利用すると共に、メイン撮像よりもサブ撮像を高速のフレームレートとする。スキャン型露出制御動作において、露光時間T2は露光時間T1よりも短く、メイン撮像が長秒側、サブ撮像が短秒側となる。
メイン撮像及びサブ撮像のいずれにおける露光も、チャンネルCh1の1V期間(1垂直走査期間)内に完了するように制御される。従って、メイン撮像による第1の画像P1の取得が完了する前に、サブ撮像による第2の画像P2の取得が完了する。これにより、スキャン型露出制御動作に要する時間が短縮される。すなわち、従来では、ライブ表示用の撮像において、2V期間(2垂直走査期間)を要していたスキャン型露出制御を1V期間で完了することができる。
本実施の形態によれば、撮像画像を表示部28に表示させていない状態で、画像処理部24の信号処理部104による、第1の画像P1の取得と第2の画像P2の取得とが、時間的に並行して行われる。第1の画像P1は、第1のフレームレートで且つ第1の露出条件にて取得される。第2の画像P1は、第1のフレームレートよりも高速の第2のフレームレートで且つ、第1の露出条件(露光時間T1)よりも露光時間が短い第2の露出条件(露光時間T2)にて取得される。そして、取得された画像P1、P2から求められる輝度情報(Y(P1))、(Y(P2))に基づいて、表示部28に撮像画像を表示させる際の初期露出条件として初期露光時間T0が決定される。これにより、表示画質を落とすことなく、コストアップを回避しつつ、適正露出での画像表示開始までの時間を短縮することができる。従来のように外部測光センサを別途設ける必要がない点で、構成の複雑化やコストアップも回避でき、消費電力の点でも有利となる。
また、時刻t501以降は、チャンネルCh2については本来のAF評価値検出用の動作が実施できる。従って、時刻t507でライブ表示が開始される前までに、撮影レンズ103を動作させてフォーカシング動作を完了させておくことで、ライブ表示開始時からピントの合った状態にしておくことが可能となる。また、シーケンシャルに画像を読み出す従来の方式に比べて、第1の画像P1,第2の画像P2の露光タイミングがほぼ同時化されることで、自動露出制御のための演算精度が向上するというメリットもある。
また、第2の画素群から読み出される信号は、スキャンAEに用いられると共に、切替スイッチ216での切り替えによって、AF評価値検出部23によるAF評価値の生成(検出)にも用いられる。従って、第2の画素群がスキャンAE専用でないので、構成の複雑化を抑制できる。
なお、スキャン型露出制御を行う場合において2回の測光を行い、初期露出条件を求める方法について述べたが、測光の回数は2回に限定されるものではない。撮像部22のダイナミックレンジ等を考慮し、第2の実施の形態でも説明するように、測光の回数を3回以上としてもよい。
(第2の実施の形態)
上述した第1の実施の形態では、スキャン型露出制御を行う場合の測光の回数が2回であったが、第2の実施の形態では3回とする。また、チャンネルCh2において先に取り込みが完了した画像から輝度評価値Yの算出を行い、輝度評価値Yが満足な値であれば、切替スイッチ216におけるチャンネルCh2の信号の出力先をフレームメモリ217に直ちに切り替える。
図6は、第2の実施の形態における撮影起動時におけるライブ表示開始の処理のフローチャートである。
システム制御部50は、ステップS601〜S604では、図4のステップS401〜S404と同様の処理を実行する。ただし、ステップS602では、前述のスキャン型露出制御における制御値Bv1から導出される露光時間T1の設定を、メイン撮像に対して行う。それと共に、制御値Bv2、Bv3から導出される露光時間T2、T3の設定を、サブ撮像に対して行う。露光時間Tの長短の関係は、T1>T3>T2である。サブ撮像に関しては、短秒側である露光時間T2による撮像を露光時間T3による撮像に先だって行う。
ステップS605では、システム制御部50は、ステップS604で取得した輝度評価値Y(P2)を目標輝度値Yrefと比較し、輝度評価値Y(P2)と目標輝度値Yrefとの差分d(P2)が所定範囲内であるか否かを判別する。
その判別の結果、差分d(P2)が所定範囲外である場合は、システム制御部50は、サブ撮像により露光時間T3にて露光した第3の画像P3の撮像部22からの読み出し動作が完了するのを待つ(ステップS606)。ここで第3の画像P3は、第2のフレームレートで且つ、露光時間T3(第3の露出条件)にて露光した、第2の画素群から得られるサブ撮像画像である。第3の画像P3の読み出し動作が完了したら、システム制御部50は、読み出しにより取得した第3の画像P3に対する輝度評価値Y(P3)を、画像処理部24から取得する(ステップS607)。
そして、システム制御部50は、取得した輝度評価値Y(P3)を目標輝度値Yrefと比較し、輝度評価値Y(P3)と目標輝度値Yrefとの差分d(P3)が所定範囲内であるか否かを判別する(ステップS608)。その判別の結果、差分d(P3)が所定範囲外である場合は、システム制御部50は、メイン撮像により露光時間T1にて露光した第1の画像P1の撮像部22からの読み出し動作が完了するのを待つ(ステップS609)。
第1の画像P1の読み出し動作が完了したら、システム制御部50は、読み出しにより取得した第1の画像P1に対する輝度評価値Y(P1)を、画像処理部24から取得する(ステップS610)。そしてシステム制御部50は、スキャン型露出制御における演算(数式1〜5)に基づいて、制御値Bv1,Bv2、Bv3から初期露出値Bvsを求める(ステップS611)。
ステップS611を経由してステップS612に移行した場合、システム制御部50は、ステップS611で求めた初期露出値BvS及び不揮発性メモリ56内に格納されたプログラム線図から、プレビュー表示させる際の初期露光時間T0を決定する。そしてシステム制御部50は、求めた初期露光時間T0を撮像部22に設定する。
その後、システム制御部50は、ステップS613で、図4のステップS409と同様の処理を実行してライブ表示を開始させ、図6の処理を終了させる。
一方、ステップS605の判別の結果、差分d(P2)が所定範囲内である場合は、システム制御部50は、動作モードをAF評価モードとし、本来のAF評価値検出用の動作を開始し(ステップS614)、処理をステップS612に移行させる。ステップS608の判別の結果、差分d(P3)が所定範囲内である場合も、システム制御部50は、動作モードをAF評価モードとし、本来のAF評価値検出用の動作を開始し(ステップS614)、処理をステップS612に移行させる。
ステップS614を経由してステップS612に移行した場合、ステップS612では、システム制御部50は、初期露出値BvSを求めることなく初期露光時間T0を決定しそれを撮像部22に設定する。すなわち、処理がステップS605→S614→S612と移行した場合、システム制御部50は、差分d(P2)に基づいて初期露光時間T0を決定する。一方、処理がステップS608→S614→S612と移行した場合、システム制御部50は、差分d(P3)に基づいて初期露光時間T0を決定する。
次に、図7を用いて、図6における処理がステップS611→S612と移行した場合に対応する撮影起動後の撮像タイミングの詳細について説明する。
図7は、ライブ表示開始の処理時のタイミングチャートである。
サブ撮像により露光時間T2にて露光した第2の画像P2の読み出しは時刻t701にて完了し、その第2の画像P2から輝度評価値Y(P2)が画像処理部24内での演算により求められる。露光時間T2によるサブ撮像の後に露光時間T3によるサブ撮像が開始される。サブ撮像により露光時間T3にて露光した第3の画像P3の読み出しは時刻t702にて完了し、その第3の画像P3から輝度評価値Y(P3)が画像処理部24内での演算により求められる。
一方、露光時間T2によるサブ撮像及び露光時間T3によるサブ撮像と並行して、露光時間T1によるメイン撮像がなされる。メイン撮像により露光時間T1にて露光した第1の画像P1の読み出しは時刻t703にて完了し、その第1の画像P1から輝度評価値Y(P1)が画像処理部24内での演算により求められる(時刻t704)。
その後、求められた輝度評価値Y(P1)、Y(P2)、Y(P3)から、前述のスキャン型露出制御の演算式により初期露出値BvSが導出され、初期露出値BvS及びプログラム線図より初期露光時間T0が決定される(時刻t705)。
この初期露光時間T0は、次のメイン撮像、すなわちライブ表示用の撮像の垂直期間から反映され、時刻t706から露光が開始される。その後、露光画像P0の読み出しが時刻t707で完了し、次の表示用の垂直同期信号PVDに合わせ、時刻t708からライブ表示を開始できる。
次に、図8を用いて、図6における処理がステップS605→S614→S612と移行した場合に対応する撮影起動後の撮像タイミングの詳細について説明する。
図8は、ライブ表示開始の処理時のタイミングチャートである。
サブ撮像により露光時間T2にて露光した第2の画像P2の読み出しは時刻t801にて完了し、その第2の画像P2から輝度評価値Y(P2)が画像処理部24内での演算により求められる。この輝度評価値Y(P2)と目標輝度値Yrefとの差分d(P2)が所定範囲内であったので、差分d(P2)に基づいて初期露光時間T0が決定される。
従って、これ以降のスキャン型露出制御は不要となり、露光時間T3によるサブ撮像も必要ではなくなる。そこで、時刻t802において、動作モードがAF評価モードとなり、本来のAF評価値の取得が指示される。そして時刻t803からAF制御が可能となる。ライブ表示用の露光は時刻t805から開始される。時刻t806で露光画像P0の読み出しが完了する。ライブ表示の開始が可能となるのは次の表示用の垂直同期信号PVDのタイミングとなるt807以降となる。
一方、図6における処理がステップS608→S614→S612と移行した場合、
サブ撮像により露光時間T3にて露光した第3の画像P3の読み出しは時刻t901にて完了する。従って、メイン撮像による第1の画像P1の取得が完了する前に、サブ撮像による後に露光がなされる第3の画像P3の取得が完了する。そして第3の画像P3から輝度評価値Y(P3)が求められる。この輝度評価値Y(P3)と目標輝度値Yrefとの差分d(P3)が所定範囲内であったので、差分d(P3)に基づいて初期露光時間T0が決定される。
このように、短秒側となるサブ撮像による画像P2、P3の取得は、長秒側となるメイン撮像による画像P1の取得よりも高速のフレームレートで行われ、しかもチャンネルCh1の1V期間内に完了する。これにより、従来では3V期間を要していたスキャン型露出制御が、本実施の形態では1V期間で完了する。
また、第1の画像P1よりも早く取り込みが完了する第2の画像P2または第3の画像P3から輝度評価値Yの算出を行い、輝度評価値Yと目標輝度値Yrefとの差分dが所定範囲内であれば直ちにAF動作へ移行する。従って、AF動作の開始タイミングを前倒しすることが可能となる。さらに、差分dが所定範囲内であれば、メイン撮像の露光途中であっても、スキャン型露出のために実施していたメイン撮像に対しても露光途中で初期露光時間T0を決定可能となるため、適正露光による表示開始までの時間短縮効果が大きい。
また、画像P2、P3のうち短秒側の第2の画像P2の読み出しを先行させることにより、高輝度下においてはより迅速にライブ表示及びAF動作を開始することができる。
本実施の形態によれば、適正露出での画像表示開始までの時間を短縮することに関し、第1の実施の形態と同様の効果を奏することができる。しかしそれだけでなく、第2の画像P2または第3の画像P3から算出される輝度評価値Yが満足する値である場合は、画像P1の取得を必要とすることなく初期露光時間T0を決定できるので、画像表示開始までの時間短縮に一層寄与する。特に、サブ撮像においては、短秒側の第2の画像P2の読み出しが先になされるので、大きな時間短縮効果を得る可能性を高めることができる。
なお、第1、第2の実施の形態において、撮影起動からライブビュー開始までのシーケンスについて説明したが、ライブビューに限らず、起動直後の動画撮影時などにおけるタイムラグ短縮にも有効である。光学ファインダー使用の撮影時のタイムラグも短縮される。
なお、第2の実施の形態において、図6の処理がステップS608→S614→S612と移行した場合であっても、差分d(P3)でなく差分d(P2)に基づいて初期露光時間T0を決定するという構成を採用することは可能である。
なお、第2の実施の形態においては、サブ撮像は露光時間の異なる画像P2、P3の2つを対象としたが、チャンネルCh1の1V期間内に3つ以上の画像を露光・読み出しの対象としてもよい。その場合、大きな時間短縮効果を得られやすくするためには、露光時間の最も短い(短秒の)露出条件での画像の取得を最も早く開始するのが望ましい。
なお、第1、第2の実施の形態のように、ライブ表示用の撮像とは別にフレームレートの高い撮像を撮像部22で並行して取得し、そのデータから測光評価値を高速に出力する構成であれば、例示の構成以外も採用可能である。従って、画素群の分け方も、例示のような第1、第2の画素群という分け方に限定されず、重複しないように複数画素群に分ければよい。また、第1のチップ20において、画素201はマトリクス状に配列される構成に限定されない。
また、例えば、短秒側のサブ撮像においてはメイン撮像によるライブ表示用画像の画角に対して中央部を切り出すように画角を狭めて取り込んでもよい。すなわち、サブ撮像で用いる画素群は、メイン撮像で用いる画素群に対して行で分けるのではなく、画素201の配設範囲の中央部を切り出した狭画角としてもよい。このように構成すれば、画像読み出しにかかる時間をさらに短縮することができるだけでなく、撮影レンズ103が収納状態から撮影初期位置に移動するまでに発生するケラレが露出制御に与える影響を軽減できるというメリットがある。
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。