JP6702777B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

従来より、焦点検出用信号の取得と画像信号の取得とを１つの撮像素子を用いて実現する技術が知られている。一例として、焦点検出用信号を取得する画素を、表示／記録用の画像信号を取得するための画素として兼用する技術が提案されている（特許文献１参照）。この技術によれば、撮像素子を構成する画素のうち少なくとも一部の画素が、水平方向及び垂直方向のうちの少なくとも一方に複数の領域に分割される。画像取得時には、分割された領域から得られる信号を加算することで、画像信号を得ることができる。また、焦点調節時には、水平方向又は垂直方向に分割された２領域分の信号を得るように読み出しを行うことで、各画素を瞳分割した、位相差方式の焦点検出用信号を得ることができる。

また、特許文献２には、分割された複数の領域の信号をそれぞれラインメモリに読み出し、画素ごとに加算して画像信号として出力するか、各領域の信号を独立に出力して位相差方式の焦点検出用信号として用いるかを切り替える撮像装置が開示されている。

特開２００１−０８３４０７号公報 特開２０１２−１５５０９５号公報

特許文献２に示すように各画素が複数の光電変換部によって構成された、瞳分割読み出し機能を持った撮像素子において、ＡＦ追従しながら連続撮影を行う処理について考える。水平方向又は垂直方向に分割された２領域分の信号を得るように読み出しを行うことで焦点検出用信号を得ることができるため、１フレームの撮影で焦点検出用信号と画像信号の両方を取得することができる。即ち、露光、焦点検出用信号及び画像信号の取得、及び焦点調節を繰り返すことで、連続撮影を実現することができる。

しかしながら、同じ画素から焦点検出用信号及び画像信号の両方を取得する場合、画像信号のみを取得する場合よりも、ノイズが大きくなる。また、撮影画角の一部の領域のみを焦点検出領域として用いる場合など、焦点検出用信号及び画像信号の両方を取得する画素と画像信号のみを取得する画素とが混在する場合には、撮影画像において領域ごとにノイズ感が異なり、画質が劣化する可能性がある。この問題は、高感度撮影時など、ノイズが大きくなる撮影条件での撮影時に特に顕著になる。

また、記録用静止画の撮影に要する時間は比較的長いため、１回目の撮影時に取得した焦点検出用信号に基づいて２回目の撮影のための合焦制御を行う場合、高速に移動する被写体に対してフォーカスが追従できず、画質が劣化する可能性がある。

本発明はこのような状況に鑑みてなされたものであり、同じ画素から焦点検出用信号及び画像信号の両方を取得可能な撮像素子を用いて連写を行う場合に、画質の劣化を抑制する技術を提供することを目的とする。

上記課題を解決するために、本発明は、光学系の射出瞳の異なる領域を通過した光束から焦点検出用信号を生成する複数の光電変換部を各々が含む複数の画素を有する撮像素子と、前記撮像素子を用いて複数の静止画を連続的に撮影する撮影手段であって、画素ごとに、前記複数の光電変換部の焦点検出用信号が合算された画像信号を取得し前記焦点検出用信号を取得しない第１の取得モード、又は前記画像信号に加えて前記焦点検出用信号を取得する第２の取得モードで信号を取得する、撮影手段と、を備え、前記撮影手段は、記録用静止画と前記記録用静止画よりも画素数が少ない焦点検出用静止画とを交互に撮影し、前記記録用静止画の撮影において全画素を前記第１の取得モードに対応させ、前記焦点検出用静止画の撮影において少なくとも一部の画素を前記第２の取得モードに対応させることを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、同じ画素から焦点検出用信号及び画像信号の両方を取得可能な撮像素子を用いて連写を行う場合に、画質の劣化を抑制することが可能となる。

撮像装置１００の外観図。 撮像装置１００の機能ブロック図。 撮像部２２の１画素の構成を概略的に示す図。 撮影レンズ１０３（光学系）の射出瞳を通過した光束が撮像部２２に入射する様子を概念的に示す図。 撮影シーケンスＡにおける撮像部２２の読出し領域を示す図。 撮影シーケンスＡのタイミングチャート。 撮影シーケンスＢのライブ表示用静止画（焦点検出用静止画）に対応する撮像部２２の読出し領域を示す図。 撮影シーケンスＢのタイミングチャート。 撮像装置１００による連写処理のフローチャート。 図９のＳ９０２における撮影シーケンス選択処理の詳細を示すフローチャート。 感度に基づく撮影シーケンスの選択の例を示す図。 黒引き処理を実行するか否か、感度、及び温度に基づく撮影シーケンスの選択の例を示す図。 露光時間及び温度に基づく撮影シーケンスの選択の例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の外観図である。図１において、表示部２８は、画像や各種情報を表示する。シャッターボタン６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。コネクタ１１２は、接続ケーブル１１１と撮像装置１００とを接続する。操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材である。コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための操作部である。記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、撮像装置１００との通信が可能となる。

図２は、撮像装置１００の機能ブロック図である。図２において、シャッター１０１は、絞り機能を備えるシャッターである。撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２は、Ａ／Ｄ変換処理機能を備えている。ＡＦ評価値検出部２３は、デジタル画像信号から得られるコントラスト情報などからＡＦ（オートフォーカス）評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。バリア１０２は、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系を覆うことにより、撮像系の汚れや破損を防止する。ストロボ９０は、撮影時に発光させることにより、低照度シーンでの撮影時や逆光シーンでの撮影時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し、所定の画素補間や縮小といったリサイズ処理や、色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また、画像処理部２４では、ＡＦ（オートフォーカス）処理が行われるが、このとき、撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４は更に、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得及びＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示デバイス上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、表示部２８は電子ビューファインダとして機能し、スルー画像表示を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、撮像装置１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより、表示制御も行う。システムメモリ５２は、ＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部材である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。或いは、モード切替スイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、撮像装置１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンなどを用いて直感的に各種設定を行うことができる。

図１に示したコントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０は撮像装置１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は、回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

温度計７４は、撮像装置１００の温度を測定する。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインタフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

図３は、撮像部２２の１画素の構成を概略的に示す図である。画素２２０１１は、マイクロレンズ２２０１２を有する。また、画素２２０１１は、複数の光電変換部としてのフォトダイオード（ＰＤ）を有する。図２の例では、２つのＰＤ（ＰＤ２２０１３及びＰＤ２２０１４）が図示されているが、２つ以上であれば個数に限定はない。

図４は、撮影レンズ１０３（光学系）の射出瞳を通過した光束が撮像部２２に入射する様子を概念的に示す図である。図４において、符号４０１は画素アレイの断面を示し、断面４０１には、マイクロレンズ４０２、カラーフィルタ４０３、ＰＤ４０４、及びＰＤ４０５が含まれる。ＰＤ４０４及びＰＤ４０５は、図３におけるＰＤ２２０１３及びＰＤ２２０１４に対応する。符号４０６は、撮影レンズ１０３の射出瞳を示す。

ここでは、マイクロレンズ４０２を有する画素に対して、射出瞳４０６を通過した光束の中心を光軸４０９とする。射出瞳４０６を通過した光束は、光軸４０９を中心として撮像部２２に入射される。領域４０７及び領域４０８は、射出瞳４０６の一部の領域を表す。領域４０７を通過する光束の最外周の光線を符号４１０及び４１１で示し、領域４０８を通過する光束の最外周の光線を符号４１２及び４１３で示す。

図４から分かるように、射出瞳４０６から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４及びＰＤ４０５は、それぞれ射出瞳４０６の異なる領域を通過した光束を受光している。ここで、ＰＤ４０４で受光した信号を「Ａ像」、ＰＤ４０５で受光した信号を「Ｂ像」、Ａ像とＢ像を合算した値を「Ａ＋Ｂ像」と呼ぶことにする。撮像装置１００は、Ａ像及びＢ像（焦点検出用信号）を取得すれば、これらを対の位相差信号として用いることによりデフォーカス量を算出し、距離情報を取得することができる。また、撮像装置１００は、Ａ＋Ｂ像（画像信号）を取得すれば、これに基づいて静止画を生成することができる。撮像装置１００は、撮像部２２の各画素からの信号読出しを、下記のＸ方式又はＹ方式により行うことができる。
Ｘ方式（第１の取得モード）：Ａ＋Ｂ像を取得する読出し方式
Ｙ方式（第２の取得モード）：Ａ像、Ｂ像、及びＡ＋Ｂ像を取得する読出し方式

Ｙ方式の場合、撮像装置１００は、例えば、Ａ像とＡ＋Ｂ像とを読み出してから「（Ａ＋Ｂ像）−（Ａ像）」の演算を行うことによりＢ像を生成することができる。或いは、撮像装置１００は、Ａ像とＢ像とを読み出してから「（Ａ像）＋（Ｂ像）」の演算を行うことによりＡ＋Ｂ像を生成することができる。本実施形態においては、Ａ像、Ｂ像、及びＡ＋Ｂ像が取得される限り、読出し及び演算の詳細については特に限定されないものとする。

次に、図５乃至図８を参照して、撮像装置１００が実行可能な、静止画の連写の２つの撮影シーケンスについて説明する。撮像装置１００は、記録用静止画のみを連続して撮影する撮影シーケンスＡ（第１の連写モード）、又は、記録用静止画とライブ表示用静止画とを交互に撮影する撮影シーケンスＢ（第２の連写モード）を実行可能である。

図５は、撮影シーケンスＡにおける撮像部２２の読出し領域を示す図である。図５に示すように、撮像装置１００は、読出し領域の一部の行（静止画測距用画素として指定された行）についてはＹ方式での読出しを行い、残りの行についてはＸ方式での読出しを行う。このようにＸ方式及びＹ方式を混在させる読出し方式を、「Ｘ／Ｙ方式」と呼ぶことにする。撮像装置１００は、読出し領域の各画素から取得したＡ＋Ｂ像に基づいて記録用静止画を生成する。また、撮像装置１００は、Ｙ方式に対応する画素から取得したＡ像及びＢ像に基づいてデフォーカス量を算出する。即ち、撮像装置１００は、図５に示す方式に従って撮影を行うことにより、記録用静止画のための画像信号に加えて焦点検出用信号（位相差信号）を取得することができる。

なお、撮像装置１００は、読出し領域の全画素についてＹ方式での読出しを行うことも可能である。しかしながら、この場合、読出しに時間がかかってしまい、連写速度が低下する。そこで、図５ではＸ方式とＹ方式とが混在した構成について説明した。しかしながら、本実施形態は、Ｘ方式とＹ方式とが混在した構成に限定される訳ではない。なお、読出し方式はリアルタイムに変更することができるため、撮像装置１００は、被写体に応じてＹ方式で読み出す画素を変更してもよい。これにより、合焦精度を高めることができる。

図６は、撮影シーケンスＡのタイミングチャートである。撮像装置１００は、設定された露光時間分の電荷蓄積が完了したら、撮像信号の読出しを開始する。図６に示すセンサ駆動において、斜線部はＹ方式での読出しを示す。撮像装置１００は、Ｙ方式での読出しが行われる画素については、Ａ＋Ｂ像（画像信号）を記録用静止画の生成のために使用し、Ａ像及びＢ像（焦点検出用信号）を測距処理（デフォーカス量の算出）のために使用する。撮像装置１００は、測距処理の完了後、次の撮影タイミング（露光期間の開始タイミング）までの間に、フォーカスレンズを駆動する。

図７は、撮影シーケンスＢのライブ表示用静止画（焦点検出用静止画）に対応する撮像部２２の読出し領域を示す図である。一般的に、ライブ表示用静止画の画素数は記録用静止画よりも少ないため、ライブ表示用静止画の撮影時には読出し対象画素の間引きが行われる。図７の読出し領域が図５の読出し領域よりも小さく図示されていることは、この間引きを概念的に表現している。但し、これら２つの読出し領域の大きさの比は、間引き率を限定するものではない。図７に示すように、撮像装置１００は、読出し領域の一部の行（ライブ測距用画素として指定された行）についてはＹ方式での読出しを行い、残りの行についてはＸ方式での読出しを行う。システム制御部５０は、読出し領域の各画素から取得したＡ＋Ｂ像に基づいてライブ表示用静止画を生成する。また、撮像装置１００は、Ｙ方式に対応する画素から取得したＡ像及びＢ像に基づいてデフォーカス量を算出する。即ち、撮像装置１００は、図７に示す方式に従って静止画の撮影を行うことにより、ライブ表示用静止画のための画像信号に加えて焦点検出用信号（位相差信号）を取得することができる。

図８は、撮影シーケンスＢのタイミングチャートである。図８に示すセンサ駆動において、斜線部はＹ方式での読出しを示す。図８に示すように、２回の記録用静止画の撮影の間にライブ表示用静止画の撮影が行われ、測距処理用のＡ像及びＢ像は、ライブ表示用静止画の撮影時に取得される。また、記録用静止画の撮影時には、読出し領域の全画素についてＸ方式での読出しが行われ、これにより得られたＡ＋Ｂ像から記録用静止画が生成される。ライブ表示用静止画の露光時間は、記録用静止画よりも短い。

撮影シーケンスＢの場合、記録用静止画の撮影後にライブ表示用静止画を撮影する必要があるため、撮影シーケンスＡと比べて連写速度が低下する。従って、連写速度に関しては、撮影シーケンスＡの方が撮影シーケンスＢよりも優れている。しかしながら、画質に関しては、次の３つの理由により、撮影シーケンスＢの方が撮影シーケンスＡよりも優れている。

第１に、撮影シーケンスＡの場合、記録用静止画においてノイズ段差が発生し、画質が劣化する可能性がある。具体的には、Ｙ方式で取得されるＡ＋Ｂ像は、Ｘ方式で取得されるＡ＋Ｂ像よりもノイズが増加する。そのため、記録用静止画において、Ｘ方式に対応する領域とＹ方式に対応する領域との境界でノイズ段差が生じる。特に、ノイズが大きい撮影条件の場合（例えば、感度が高い場合）、ノイズ段差が顕著になり、画質が大きく劣化する可能性がある。一方、撮影シーケンスＢの場合、記録用静止画についてはＸ方式のみが使用されるため、ノイズ段差による画質劣化を防止することができる。なお、撮影シーケンスＡにおいて読出し領域の全画素についてＹ方式での読出しを行う場合は、ノイズ段差は発生しないが、静止画全体のノイズが増加する。従って、いずれにしても、撮影シーケンスＡの画質は撮影シーケンスＢよりも劣化する。

第２に、撮影シーケンスＡの場合、合焦制御に用いるＡ像及びＢ像の蓄積は、記録用静止画の撮影時の絞り値で行われる。そのため、絞り値が大きく被写界深度が深い場合、デフォーカス量を適切に取得できない可能性がある。その結果、合焦精度が低下し、画質が劣化する可能性がある。一方、撮影シーケンスＢの場合、ライブ表示用静止画の撮影時に絞り値を小さくすることにより、被写界深度を浅くして合焦精度を向上させることができる。

第３に、撮影シーケンスＡの場合、合焦制御に用いるＡ像及びＢ像の蓄積タイミングから次の蓄積タイミング（即ち、次の記録用静止画の撮影タイミング）までの時間が比較的長く、移動する被写体に対して高速にフォーカスを追従させることができない。そのため、被写体が高速に移動する場合に、合焦精度が低下し、画質が劣化する可能性がある。一方、撮影シーケンスＢの場合、前述の通りライブ表示用静止画の画素数は記録用静止画よりも少ないため、ライブ表示用静止画のための蓄積及び読出しは記録用静止画よりも短時間で行われる。そのため、合焦制御に用いるＡ像及びＢ像の蓄積タイミングから次の記録用静止画の撮影タイミングまでの時間が撮影シーケンスＡよりも短くなる。従って、フォーカスの追従速度が向上し、画質劣化が抑制される。

なお、撮影シーケンスＢにおいて、２つの記録用静止画の間に撮影される静止画をライブ表示することは必須ではない。一般化すると、撮影シーケンスＢにおいては、２つの記録用静止画の間に、記録用静止画よりも画素数の少ない静止画（焦点検出用静止画）が撮影される。

本実施形態では、撮像装置１００は、静止画の連写を行う際に、撮影条件（例えば、感度及び絞り値）及び被写体速度に応じて撮影シーケンスＡ又は撮影シーケンスＢを選択する。大きな画質劣化が発生する可能性が高い撮影条件や被写体速度の場合、撮像装置１００は、撮影シーケンスＢを選択することにより画質劣化を抑制する。反対に、大きな画質劣化が発生する可能性が低い撮影条件や被写体速度の場合、撮像装置１００は、撮影シーケンスＡを選択することにより連写速度を向上させる。具体的な選択基準の例については、図１０を参照して後述する。

なお、本実施形態において、撮影シーケンスの選択は必須ではなく、撮像装置１００は、常に撮影シーケンスＢを実行してもよい。この場合、連写速度は低下するが、撮影条件及び被写体速度に関わらず画質劣化を抑制することができる。また、撮像装置１００が撮影シーケンスの選択を行う場合の選択基準は、前述した撮影条件及び被写体速度に限定されない。例えば、撮像装置１００は、ユーザの指示に従って、撮影シーケンスＡ又は撮影シーケンスＢを選択してもよい。

次に、図９を参照して、撮像装置１００による連写処理について説明する。図９のフローチャートの各ステップの処理は、特に断らない限り、不揮発性メモリ５６に記憶されたプログラムをシステム制御部５０が実行することにより実現される。ユーザがモード切替スイッチ６０を操作して撮像装置１００を連写モードにセットすると、本フローチャートの処理が開始する。

Ｓ９０１で、システム制御部５０は、第２シャッタースイッチ６４がＯＮになるまで待つ。第２シャッタースイッチ６４がＯＮになると、システム制御部５０は処理をＳ９０２に進める。Ｓ９０２で、システム制御部５０は、撮影条件及び被写体速度に応じて撮影シーケンスＡ又はＢを選択する。選択処理の詳細については、図１０を参照して後述する。Ｓ９０３で、システム制御部５０は、Ｓ９０２において撮影シーケンスＡ及びＢのうちのどちらが選択されたかを判定する。撮影シーケンスＡが選択された場合、システム制御部５０は処理をＳ９０４に進め、撮影シーケンスＢが選択された場合、システム制御部５０は処理をＳ９０７に進める。

Ｓ９０４で、システム制御部５０は、Ｘ／Ｙ方式で記録用静止画を撮影し、記録媒体２００に記録する。具体的な撮影方法は、図５及び図６を参照して前述した通りである。システム制御部５０は、撮影時に取得されたＡ像及びＢ像を、メモリ３２に一時的に格納する。Ｓ９０５で、システム制御部５０は、Ａ像及びＢ像を用いてデフォーカス量を算出し、撮影レンズ１０３のフォーカスレンズを駆動することにより、被写体に対する合焦制御を行う。Ｓ９０６で、システム制御部５０は、連写が完了したか否かを判定する。例えば、所定数の記録用静止画の生成が完了した場合や、第２シャッタースイッチ６４がＯＦＦになった場合などに、連写が完了したと判定される。連写が完了した場合、本フローチャートの処理は終了する。そうでない場合、システム制御部５０は、処理をＳ９０３に戻す。これにより、記録用静止画が連続的に撮影される。

一方、Ｓ９０２において撮影シーケンスＢが選択された場合、システム制御部５０は、処理をＳ９０３からＳ９０７へ進める。Ｓ９０７で、システム制御部５０は、Ｘ方式で記録用静止画を撮影し、記録媒体２００に記録する。具体的な撮影方法は、図８を参照して前述した通りであり、読出し領域の全画素についてＸ方式での読出しが行われる。Ｓ９０８で、システム制御部５０は、記録用静止画の撮影時の絞り条件を取得し、絞り値が閾値以上か否かを判定する。

Ｓ９０８において絞り値が閾値未満である（絞りが開放に近い）と判定された場合、システム制御部５０は処理をＳ９０９に進める。Ｓ９０９で、システム制御部５０は、Ｘ／Ｙ方式でライブ表示用静止画を撮影し、表示部２８に表示する。具体的な撮影方法は、図７及び図８を参照して前述した通りである。システム制御部５０は、撮影時に取得されたＡ像及びＢ像を、メモリ３２に一時的に格納する。なお、システム制御部５０は、Ｓ９０９における撮影を行うたびに、何らかの基準（例えば、被写体の状態）に基づいてＹ方式で読み出す画素の位置及び数を決定してもよい。これにより、合焦精度を更に高めることができる。

Ｓ９０８において絞り値が閾値以上であると判定された場合、システム制御部５０は処理をＳ９１０に進める。Ｓ９１０で、システム制御部５０は、絞りを開放してからＸ／Ｙ方式でライブ表示用静止画を撮影し、表示部２８に表示する。ここでの撮影は、Ｓ９０９における撮影と同様である。即ち、Ｓ９１０の処理は、撮影前に絞りを開放することを除き、Ｓ９０９の処理と同様である。前述の通り、絞り値が大きい場合は被写界深度が深くデフォーカス量を適切に取得できない可能性があるため、絞り値が閾値以上の場合には絞りを開放する処理が行われる。なお、絞りを大きく開放するほど（即ち、絞り値を小さくするほど）合焦精度が向上するが、少ししか開放しない場合であってもある程度の効果は期待できる。そのため、Ｓ９１０における絞りの開放の度合いは特に限定されない。

Ｓ９０９又はＳ９１０の後、システム制御部５０は処理をＳ９０５に進める。Ｓ９０５の処理は撮影シーケンスＡの場合と同様であるが、デフォーカス量の算出には、ライブ表示用静止画の撮影時に取得されたＡ像及びＢ像が用いられる。その後、システム制御部５０は、連写が完了するまで、記録用静止画及びライブ表示用静止画を交互に撮影する。

次に、図１０を参照して、図９のＳ９０２における撮影シーケンス選択処理の詳細について説明する。Ｓ１００１で、システム制御部５０は、記録用静止画の撮影に関する感度が閾値以上であるか否かを判定する。感度が閾値以上（高感度）の場合、システム制御部５０は処理をＳ１００５に進め、撮影シーケンスＢを選択する。感度が閾値未満（低感度）の場合、システム制御部５０は処理をＳ１００２に進め、絞り値が閾値以上か否かを判定する。絞り値が閾値以上（絞り側）の場合、システム制御部５０は処理をＳ１００５に進め、撮影シーケンスＢを選択する。絞り値が閾値未満（開放側）の場合、システム制御部５０は処理をＳ１００３に進め、被写体の動き検出を行い、被写体速度が閾値以上であるか否かを判定する。被写体の動き検出においては、例えば、システム制御部５０は、撮像部２２から出力される信号データから、フレーム間の主要被写体領域の重心位置の変化量を取得し、その変化量から被写体の状態変化を検出することができる。主要被写体の検出については、画面内の輝度や色の領域分布やエッジ情報から画面内に主要な被写体が存在するかどうかを判定するアルゴリズムが一般的に知られている。被写体速度が閾値以上（高速）の場合、システム制御部５０は処理をＳ１００５に進め、撮影シーケンスＢを選択する。被写体速度が閾値未満（低速）の場合、システム制御部５０は処理をＳ１００４に進め、撮影シーケンスＡを選択する。

ところで、図１０のＳ１００１においては、ノイズに影響する撮影条件の例として記録用静止画の撮影に関する感度を挙げたが、本実施形態はこれに限定されない。撮影条件の他の例としては、記録用静止画の撮影に関する、黒引き処理を実行するか否か、温度、及び露光時間などが挙げられる。撮像装置１００は、これらの撮影条件のうちの１つ又は任意の組み合わせに基づく予想ノイズレベルが小さい（第１のレベル）場合に撮影シーケンスＡを選択し、予想ノイズレベルが大きい（第２のレベル）場合に撮影シーケンスＢを選択する。

また、一般的に、ライブ表示用静止画に要求される画質レベルは、記録用静止画に要求される画質レベルよりも低い。しかしながら、ノイズの大きさによっては、連写中にリアルタイムに表示されるライブ表示用静止画のノイズ段差が顕著になり、ユーザが画質劣化を強く感じてしまう可能性がある。そこで、撮像装置１００は、撮影シーケンスＢに対応する予想ノイズレベルを更に２段階に分け、予想ノイズレベルに応じてＳ９０９及びＳ９１０におけるライブ表示用静止画の撮影方法を変化させてもよい。この場合、撮像装置１００は、予想ノイズレベルが小さい（第１のレベル）場合に撮影シーケンスＡを選択し、予想ノイズレベルが中程度（第２のレベル）又は大きい（第３のレベル）場合に撮影シーケンスＢを選択する。撮影シーケンスＢのライブ表示用静止画の撮影（Ｓ９０９又はＳ９１０）に関して、撮像装置１００は、予想ノイズレベルが中程度（第２のレベル）の場合はＸ／Ｙ方式を用い、予想ノイズレベルが大きい（第３のレベル）の場合はＹ方式を用いる。以下、図１１乃至図１３を参照して具体例について説明する。

図１１乃至図１３において、「Ａ」は、撮影シーケンスＡを示し、「Ｂ１」は、Ｘ／Ｙ方式でライブ表示用静止画を撮影する撮影シーケンスＢ（以下、「撮影シーケンスＢ１」とも呼ぶ）を示す。また、「Ｂ２」は、Ｙ方式でライブ表示用静止画を撮影する撮影シーケンスＢ（以下、「撮影シーケンスＢ２」とも呼ぶ）を示す。

図１１は、感度に基づく撮影シーケンスの選択の例を示す図である。図１１の例では、感度がＩＳＯ４００以下の場合、撮影シーケンスＡが選択される。そして、記録用静止画のノイズ段差が目立ってしまうＩＳＯ８００において、撮影シーケンスＡから撮影シーケンスＢ１への切り替えが生じる。更に、ライブ表示用静止画のノイズ段差が目立ってしまうＩＳＯ３２００において、撮影シーケンスＢ１から撮影シーケンスＢ２への切り替えが生じる。

図１２は、黒引き処理を実行するか否か、感度、及び温度に基づく撮影シーケンスの選択の例を示す図である。黒引き処理は、欠陥画素の補正やシェーディング除去を目的とした処理である。黒引き処理を行う場合、撮影画像においてノイズが大きくなることが知られている。図１２の例では、感度及び温度に応じて黒引き処理が実行されるか否かが決まっている。空欄に対応する撮影条件の場合、黒引き処理は実行されない。この場合、例えば図１１に従って撮影シーケンスが選択される。また、「Ａ」、「Ｂ１」、又は「Ｂ２」が記載された欄に対応する撮影条件の場合、黒引き処理が実行される。この場合、記録用静止画のノイズ段差が目立ってしまうＩＳＯ４００において、撮影シーケンスＡから撮影シーケンスＢ１への切り替えが生じる。更に、ライブ表示用静止画のノイズ段差が目立ってしまうＩＳＯ１６００において、撮影シーケンスＢ１から撮影シーケンスＢ２への切り替えが生じる。図１１と図１２とを比較すると、黒引き処理が行われる場合、より低い感度で撮影シーケンスの切り替えが生じていることが分かる。これは、感度が同じであれば、黒引き処理が行われる場合の方が黒引き処理が行われない場合よりも予想ノイズレベルが大きいからである。

図１３は、露光時間及び温度に基づく撮影シーケンスの選択の例を示す図である。露光時間が長いほど、また、温度が高いほど、ノイズが大きくなる傾向がある。そのため、図１３の例では、露光時間が長くなり温度が高くなるにつれて、撮影シーケンスＡ→撮影シーケンスＢ１→撮影シーケンスＢ２のように撮影シーケンスの切り替えが生じる。

以上説明したように、第１の実施形態によれば、撮像装置１００は、連写時に撮影シーケンスＢが選択されると、記録用静止画と、記録用静止画よりも画素数が少ない焦点検出用静止画とを交互に撮影する。そして、撮像装置１００は、記録用静止画の撮影はＸ方式で行い、焦点検出用静止画の撮影はＸ／Ｙ方式又はＹ方式で行う。これにより、記録用静止画の画質の劣化を抑制することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２…撮像部、２４…画像処理部、２８…表示部、３２…メモリ、５０…システム制御部、５２…システムメモリ、５６…不揮発性メモリ、１００…撮像装置、２００…記録媒体

Claims (13)

1. 光学系の射出瞳の異なる領域を通過した光束から焦点検出用信号を生成する複数の光電変換部を各々が含む複数の画素を有する撮像素子と、
   前記撮像素子を用いて複数の静止画を連続的に撮影する撮影手段であって、画素ごとに、
   前記複数の光電変換部の焦点検出用信号が合算された画像信号を取得し前記焦点検出用信号を取得しない第１の取得モード、又は
   前記画像信号に加えて前記焦点検出用信号を取得する第２の取得モード
   で信号を取得する、撮影手段と、
   を備え、
   前記撮影手段は、記録用静止画と前記記録用静止画よりも画素数が少ない焦点検出用静止画とを交互に撮影し、前記記録用静止画の撮影において全画素を前記第１の取得モードに対応させ、前記焦点検出用静止画の撮影において少なくとも一部の画素を前記第２の取得モードに対応させる
   ことを特徴とする撮像装置。
2. 所定の条件に基づいて第１の連写モード又は第２の連写モードを選択する選択手段を更に備え、
   前記第１の連写モードが選択された場合、前記撮影手段は、前記記録用静止画を連続的に撮影し、前記記録用静止画の撮影において少なくとも一部の画素を前記第２の取得モードに対応させ、
   前記第２の連写モードが選択された場合、前記撮影手段は、前記記録用静止画と前記焦点検出用静止画とを交互に撮影し、前記記録用静止画の撮影において全画素を前記第１の取得モードに対応させ、前記焦点検出用静止画の撮影において少なくとも一部の画素を前記第２の取得モードに対応させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記選択手段は、撮影条件に基づく予想ノイズレベルが第１のレベルの場合に前記第１の連写モードを選択し、前記予想ノイズレベルが前記第１のレベルよりも大きい第２のレベルの場合に前記第２の連写モードを選択する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮影条件は、前記記録用静止画の撮影に関する、感度、黒引き処理を実行するか否か、温度、及び露光時間のうちの少なくともいずれかを含む
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記選択手段は、前記記録用静止画の撮影に関する絞り値が閾値未満の場合に前記第１の連写モードを選択し、前記記録用静止画の撮影に関する絞り値が前記閾値以上の場合に前記第２の連写モードを選択し、
   前記第２の連写モードが選択された場合、前記撮影手段は、前記焦点検出用静止画の撮影に関する絞り値を前記記録用静止画の撮影に関する絞り値よりも小さくする
   ことを特徴とする請求項２に記載の撮像装置。
6. 被写体速度を検出する検出手段を更に備え、
   前記選択手段は、前記被写体速度が閾値未満の場合に前記第１の連写モードを選択し、前記被写体速度が前記閾値以上の場合に前記第２の連写モードを選択する
   ことを特徴とする請求項２に記載の撮像装置。
7. 前記焦点検出用静止画をリアルタイムで表示する表示手段を更に備える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記焦点検出用静止画をリアルタイムで表示する表示手段を更に備え、
   前記選択手段は、撮影条件に基づく予想ノイズレベルが第１のレベルの場合に前記第１の連写モードを選択し、前記予想ノイズレベルが前記第１のレベルよりも大きい第２のレベル又は前記第２のレベルよりも大きい第３のレベルの場合に前記第２の連写モードを選択し、
   前記第２の連写モードの前記焦点検出用静止画の撮影において、前記撮影手段は、
   前記予想ノイズレベルが前記第２のレベルの場合、一部の画素を前記第２の取得モードに対応させ、
   前記予想ノイズレベルが前記第３のレベルの場合、全画素を前記第２の取得モードに対応させる
   ことを特徴とする請求項２に記載の撮像装置。
9. 前記撮影条件は、前記記録用静止画の撮影に関する、感度、黒引き処理を実行するか否か、温度、及び露光時間のうちの少なくともいずれかを含む
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記焦点検出用静止画の露光時間は、前記記録用静止画よりも短い
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記撮影手段は、前記焦点検出用静止画の撮影において一部の画素を前記第２の取得モードに対応させる場合、撮影ごとに前記一部の画素の位置及び数を決定する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 光学系の射出瞳の異なる領域を通過した光束から焦点検出用信号を生成する複数の光電変換部を各々が含む複数の画素を有する撮像素子を備える撮像装置が実行する撮像方法であって、
    前記撮像素子を用いて複数の静止画を連続的に撮影する撮影工程であって、画素ごとに、
    前記複数の光電変換部の焦点検出用信号が合算された画像信号を取得し前記焦点検出用信号を取得しない第１の取得モード、又は
    前記画像信号に加えて前記焦点検出用信号を取得する第２の取得モード
    で信号を取得する、撮影工程
    を備え、
    前記撮影工程では、記録用静止画と前記記録用静止画よりも画素数が少ない焦点検出用静止画とを交互に撮影し、前記記録用静止画の撮影において全画素を前記第１の取得モードに対応させ、前記焦点検出用静止画の撮影において少なくとも一部の画素を前記第２の取得モードに対応させる
    ことを特徴とする撮像方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images