JP6442362B2 - 撮像装置及び撮像素子の制御方法 - Google Patents

Description

本発明は撮像装置及び撮像素子の制御方法に関し、各画素から光学系の異なる瞳領域を通過した光束に基づく一対の信号を読み出すことが可能な撮像装置及び撮像素子の制御方法に関する。

従来より、焦点検出機能と画像信号取得を１枚の撮像素子を用いて実現する技術が知られており、その一例として、焦点検出用の情報取得用画素を、表示／記録用の画像取得用画素として兼用できるものが提案されている（特許文献１参照）。この技術によれば、撮像素子を構成する画素のうち、少なくとも一部の画素を水平及び／または垂直方向に複数の領域に分割し、画像取得時には分割された領域から得られる信号を加算することで画像信号を得る。また、焦点調節時には、水平または垂直方向に分割された２領域分の信号を得るように読み出すことで、各画素を瞳分割した、位相差方式の焦点調節用信号として用いることが可能である。

また、特許文献２では、分割された領域の信号を画素毎に加算して画像信号として出力するか、分割された領域それぞれの信号を出力して位相差方式の焦点調節用信号として用いるかを切り替えることが可能な撮像装置が提案されている。

特開２００７−３２５１３９号公報 特開２０１２−１５５０９５号公報

一方、撮像素子の多画素化に伴い、予め定められた時間内により多くの画素信号を読み出すことが要求される一方で、撮像素子の出力レートの増加、あるいは出力チャンネル数の増加などによるシステムへの負荷も大きくなってきている。たとえば、出力チャンネル数が増加することにより、あるいは、同じチャンネル数であっても出力レートが上がることにより、チャンネル間の信号遅延量の調整が複雑になるという問題があった。特に、上述したように１つの画素が複数の光電変換部によって構成された、瞳分割読み出し機能を持った撮像素子の場合は、信号の読み出し数が増えるため、さらにシステムへの負担は増加してしまう。また、多くの信号を読み出すことによる消費電力の増加という問題も発生している。

特許文献２では、焦点調節領域では各光電変換部毎に読み出した信号をそのまま撮像素子から出力し、それ以外の領域では各光電変換部毎に読み出した信号を画素毎に加算して撮像素子から出力する。このように、焦点調節領域とそれ以外の領域とで出力方法を切り替えることで、信号の出力数を減らしている。しかしながら、特許文献２では、各光電変換部からの読み出しはそれぞれ独立に行っているため、読み出しにかかる時間を十分に短くすることができなかった。

また、特許文献２では、被写体領域に焦点調節領域を設定して、焦点調節用の信号の出力の仕方と画像信号用の信号の出力の仕方とを切り替えているが、被写体が動いている場合に、被写体に十分に追従した焦点調節を行うことが難しい場合があった。動く被写体を追尾して焦点検出を行う精度は、加算せずに読み出す領域が多いほど高くなる一方、システム負荷及び消費電力の増加に関する課題は解決できなくなる。そのため、画面中のどの領域から位相差方式の焦点調節用信号を読み出すかが課題となっていた。

本発明は上記問題点を鑑みてなされたものであり、焦点検出の精度を落とすことなく、システムの負荷を軽減し、消費電力を削減することを目的とする。

上記目的を達成するために、本発明の撮像装置は、２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、入射光量に応じた画像信号を出力する撮像素子と、前記画像信号に基づいて、被写体の動き方向を検出する検出手段と、前記検出手段により検出された前記被写体の動き方向が主走査方向である場合に、前記各マイクロレンズに対応する前記複数の光電変換部から、所定行おきに、視差を有する一対の信号および該複数の光電変換部の信号を加算した加算信号を得ることが可能な第１の読み出しを行い、それ以外の行から、一対の信号を得ずに加算信号を得る第２の読み出しを行うと判断する判断手段と、前記判断手段により判断された結果に基づいて、行単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する制御手段とを有する。

本発明によれば、焦点検出の精度を落とすことなく、システムの負荷を軽減し、消費電力を削減することができる。

本発明の第１及び第３の実施形態に係る撮像システムの概略構成を示すブロック図。 第１及び第２の実施形態における撮像素子の概略構成を示す図。 実施形態における撮像素子の画素の構成例を示す概念図及び回路図。 実施形態における撮影光学系の瞳領域と画素との対応関係を説明する図。 第１の実施形態及び第３の実施形態における撮像素子の駆動方法を説明する図。 第１の実施形態における撮像素子の駆動方法を示すフローチャート。 第２及び第４の実施形態に係る撮像システムの概略構成を示すブロック図。 第２の実施形態における撮像素子の駆動方法を示すフローチャート。 第３及び第４の実施形態における撮像素子の概略構成を示す図。 第３の実施形態における撮像素子の駆動方法を示すフローチャート。 第４の実施形態における撮像素子の駆動方法を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
●撮像システムの構成
図１は、本発明の第１の実施形態に係る撮像システムの概略構成を示すブロック図である。なお、第１の実施形態では、レンズ交換可能な撮像システムとして説明するが、固定レンズを有する撮像装置であってもよい。

図１に示すように、本実施形態における撮像システムは、レンズユニット１０とカメラ本体２０から構成されている。そして、レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、レンズユニット１０を含めた撮像システム全体の動作を統括するカメラ制御部２３２とは、レンズマウントに設けられた端子を通じて相互にデータを通信している。

まず、レンズユニット１０の構成について説明する。レンズユニット１０は、固定レンズ１０１、絞り１０２、フォーカスレンズ１０３等により構成される撮影光学系を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２２１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、焦点調節に用いられる。なお、後述する撮像素子２２１の位置を光軸方向に駆動することで、焦点調節を行うように構成しても構わない。絞り駆動部１０４及びフォーカスレンズ駆動部１０５はレンズ制御部１０６によって制御され、絞り１０２の開口径や、フォーカスレンズ１０３の位置が制御される。

ユーザによりレンズ操作部１０７に備えられたフォーカスリング等の操作により、フォーカスなどの操作が行われた場合には、レンズ制御部１０６がユーザ操作に応じた制御を行う。また、レンズ操作部１０７は、オートフォーカス（ＡＦ）／マニュアルフォーカス（ＭＦ）モードの切り替え、撮影距離範囲の設定、手ブレ補正モードの設定など、ユーザがレンズユニット１０の動作に関する設定を行うことができる。

レンズ制御部１０６は、後述するカメラ制御部２３２から受信した制御命令や制御情報に応じて、絞り駆動部１０４やフォーカスレンズ駆動部１０５の制御を行うと共に、レンズ情報をカメラ制御部２３２に送信する。

次に、カメラ本体２０の構成について説明する。カメラ本体２０において、撮像素子２２１は、ＣＣＤやＣＭＯＳセンサにより構成され、レンズユニット１０の撮影光学系を通過した光束が撮像素子２２１の受光面上に結像される。そして、形成された被写体像が撮像素子２２１のフォトダイオード（光電変換部）によって入射光量に応じた電荷に光電変換され、蓄積される。各フォトダイオードに蓄積された電荷は、カメラ制御部２３２の指令に従ってタイミングジェネレータ２３５から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子２２１から順次読み出される。なお、撮像素子２２１の詳細構成については後述するが、本実施形態における撮像素子２２１は、通常の撮像信号（記録／表示用の信号）の他に、位相差方式の焦点検出に用いることのできる視差を有する一対のＡＦ用信号を出力することができる。

撮像素子２２１から読み出された撮像信号及びＡＦ用信号は、ＣＤＳ／ＡＧＣ／ＡＤ回路２２２に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。そして、ＣＤＳ／ＡＧＣ／ＡＤ回路２２２は、処理した撮像信号を画像信号処理部２２３及び被写体検出部２３６に、ＡＦ用信号をＡＦ信号処理部２２４に出力する。

画像信号処理部２２３は、ＣＤＳ／ＡＧＣ／ＡＤ回路２２２から出力された撮像信号に対して各種の画像処理を施して、画像信号を生成し、バス２１を介してＳＤＲＡＭ２２９に格納する。ＳＤＲＡＭ２２９に格納された画像信号は、バス２１を介して表示制御部２２５によって読み出され、表示部２２６に表示される。また、撮像信号の記録を行う動作モードでは、ＳＤＲＡＭ２２９に格納された画像信号は記録媒体制御部２２７によって記録媒体２２８に記録される。

ＲＯＭ２３０にはカメラ制御部２３２が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュＲＯＭ２３１には、ユーザ設定情報等のカメラ本体２０の動作に関する各種設定情報等が格納されている。

ＡＦ信号処理部２２４は、カメラ制御部２３２からの情報に基づいて、撮像画面内に焦点検出領域の設定や配置を行う。そして、ＣＤＳ／ＡＧＣ／ＡＤ回路２２２から出力された一対のＡＦ用信号のうち、設定した焦点検出領域に含まれる一対のＡＦ用信号を基に公知の相関演算を行い、像ずれ量と信頼性情報を算出する。信頼性情報としては、例えば、二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等を含む。そして、算出した像ずれ量と信頼性情報をカメラ制御部２３２へ出力する。

カメラ制御部２３２は、例えば、１つ以上のプログラマブルプロセッサ等により構成され、例えばＲＯＭ２３０に記憶された制御プログラムを実行することで、レンズユニット１０を含めたカメラシステム全体の動作を実現する。まず、カメラ制御部２３２は、カメラ本体２０内の各構成と情報をやり取りして制御を行う。また、カメラ本体２０内の処理だけでなく、ユーザにより操作されたカメラ操作部２３４からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録を制御する。更に、オートフォーカス（ＡＦ）／マニュアルフォーカス（ＭＦ）制御の切り替え、記録画像の確認、焦点検出領域の指定等、ユーザ操作に応じた様々な機能を実行する。更に、先述したようにレンズユニット１０内のレンズ制御部１０６と情報をやり取りし、撮影光学系の制御命令や制御情報を送信したり、レンズユニット１０内の情報を取得する。その制御の１つとして、カメラ制御部２３２は、ＡＦ信号処理部２２４から取得した相関演算結果に基づいて、レンズ制御部１０６を介してフォーカスレンズ１０３を駆動する。

被写体検出部２３６は、ＣＤＳ／ＡＧＣ／ＡＤ回路２２２から出力された撮像信号に対して公知の検出処理を施し、被写体が存在するかを特定する。被写体が存在する場合は、被写体が存在する位置座標を基に被写体領域を決定し、その結果をカメラ制御部２３２に送信する。カメラ制御部２３２はＡＦを行う位置として設定したり、ＡＥを行う位置として設定したりする。そして、被写体検出部２３６により検出された被写体に応じて、カメラ制御部２３２は、後述するように、撮像素子２２１に対してＡＦ用信号を読み出す行の判定及び制御を行う。なお、ユーザがカメラ操作部２３４を介して焦点検出領域を指定した場合、指定された焦点検出領域の位置に存在する被写体を検出する。

また、被写体が存在する位置座標はＳＤＲＡＭ２２９に保持され、次回以降の被写体領域の検出を行う際に用いることで、被写体の検出処理を施すエリアを限定することができる。そして、被写体領域の特定時に、被写体が存在する位置座標が更新されるたびに、ＳＤＲＡＭ２２９に保持する位置座標も更新する。

カメラ制御部２３２は、カメラ本体２０の制御情報及びレンズユニット１０の状態など、ＡＦ用信号生成範囲の設定に必要な情報をＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、カメラ制御部２３２から取得した情報を用いて、撮像素子２２１に対してＡＦ用信号を読み出す範囲の設定を行う。

●撮像素子の構成
次に、本第１の実施形態における撮像素子２２１の構成について、図２及び図３を参照して説明する。第１の実施形態における撮像素子２２１は、ＸＹアドレス型の走査方法を採る、例えばＣＭＯＳイメージセンサである。

図２は、本実施形態における撮像素子２２１の概略構成を示す図である。図２に示すように、撮像素子２２１は、複数の画素が二次元に配列された画素部２０５と、垂直走査回路２０６と、読み出し回路２０７と、水平走査回路２０８と、出力回路２０９とを有する。画素部２０５は、複数色からなるカラーフィルタに覆われており、本実施形態では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のフィルタがモザイク状に二次元的に配列された、ベイヤー配列のカラーフィルタであるものとする。

垂直走査回路２０６は、ＡＦ用信号読み出し制御部２３３及びタイミングジェネレータ２３５からの制御信号に基づいて、画素部２０５中の任意の画素行を選択して駆動する。読み出し回路２０７は、垂直走査回路２０６により選択された行の画素から出力された信号を読み出し、読み出した信号を、水平走査回路２０８の制御に応じて出力回路２０９に転送する。これにより、主走査方向（水平方向）の走査が行われる。また、垂直走査回路２０６が、選択する画素行を副走査方向（垂直方向）にシフトしていくことで、画素部２０５全体から信号を読み出すことが可能になる。読み出された信号は、出力回路２０９を介して撮像素子２２１の外部へと送出される。

図３（ａ）は、画素部２０５を構成する１つの画素の構成例を示す概念図、図３（ｂ）は画素２０１の構成例を示す回路図である。図３（ａ）に示すように、画素２０１は１つのマイクロレンズ２０２と、第１のフォトダイオード（ＰＤ）２０３と第２のフォトダイオード（ＰＤ）２０４の２つのフォトダイオードを有する。第１のＰＤ２０３及び第２のＰＤ２０４は、同一のマイクロレンズ２０２を通過した光を受光し、その受光量に応じた信号電荷を生成する光電変換部である。また、図３（ｂ）に示すように、第１のＰＤ２０３、第２のＰＤ２０４には、垂直走査回路２０６からの転送パルス信号ＰＴＸＡ、ＰＴＸＢによって制御される、第１の転送スイッチ２１３、第２の転送スイッチ２１４がそれぞれ接続されている。第１の転送スイッチ２１３及び第２の転送スイッチ２１４は、それぞれがＯＮの時に、第１のＰＤ２０３及び第２のＰＤ２０４で発生した電荷を共通のフローティングディフュージョン領域（ＦＤ）２１５に転送する。

ＦＤ２１５は、第１のＰＤ２０３及び第２のＰＤ２０４から転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部２１６は、ソースフォロワＭＯＳトランジスタであり、ＦＤ２１５に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。選択スイッチ２１８は、垂直走査回路２０６からの制御信号ＰＳＥＬによって制御され、選択されている時に、増幅部２１６で増幅された画素信号を垂直出力線２２０に出力する。

リセットスイッチ２１７は、垂直走査回路２０６からのリセットパルス信号ＰＲＥＳによって制御され、ＦＤ２１５の電位を基準電位ＶＤＤにリセットする。また、リセットスイッチ２１７と第１の転送スイッチ２１３、第２の転送スイッチ２１４とを同時にＯＮにすることで、第１のＰＤ２０３及び第２のＰＤ２０４の電位を基準電位ＶＤＤにリセットすることができる。

上記構成を有する画素２０１において、記録／表示用の信号（Ａ＋Ｂ信号）のみを読み出す場合には、まず、第１の転送スイッチ２１３及び第２の転送スイッチ２１４を共にＯＮにする。そして、第１のＰＤ２０３及び第２のＰＤ２０４で発生した電荷をＦＤ２１５に転送して読み出す。上記制御を制御信号ＰＳＥＬにより選択スイッチ２１８がＯＮの間に行うことで、記録／表示用の信号（Ａ＋Ｂ信号、加算信号）を得ることができる。以下、この読み出し方法を「加算読み出し」（第２の読み出し）と呼ぶ。

一方、位相差検出方式のＡＦのための一対のＡＦ用信号を得る場合には、次のように読み出し制御する。まず、転送パルス信号ＰＴＸＡまたはＰＴＸＢにより、第１の転送スイッチ２１３または第２の転送スイッチ２１４をＯＮすることで、第１のＰＤ２０３または第２のＰＤ２０４で発生した電荷をＦＤ２１５に転送する。そして、制御信号ＰＳＥＬにより選択スイッチ２１８がＯＮの間にこれを読み出すことで、一対のＡＦ用信号の片方（Ａ信号）を得る。次に、第１の転送スイッチ２１３及び第２の転送スイッチ２１４を共にＯＮすることで、第１のＰＤ２０３及び第２のＰＤ２０４で発生した電荷がＦＤ２１５に転送される。そして、制御信号ＰＳＥＬにより選択スイッチ２１８がＯＮの間にこれを読み出すことで、記録／表示用の信号（Ａ＋Ｂ信号、加算信号）を得ることができる。そして、記録／表示用の信号（Ａ＋Ｂ信号）から先に読み出した一対のＡＦ用信号の片方（Ａ信号）を減算することで、もう一方のＡＦ用信号（Ｂ信号）を得ることができる。なお一対のＡＦ用信号（Ａ信号、Ｂ信号）をそれぞれ読み出してから、加算することにより、記録／表示用の信号（Ａ＋Ｂ信号、加算信号）を得るようにしてもよい。以下、上述した読み出し方法を「分割読み出し」（第１の読み出し）と呼ぶ。

上記構成を有する画素２０１から得られる一対のＡＦ用信号の位相差をＡＦ信号処理部２２４で算出することで、位相差検出方式の焦点検出を行うことができる。

次に、撮影光学系の瞳領域と、撮像素子２２１の画素２０１における第１のＰＤ２０３及び第２のＰＤ２０４との対応関係について、図４を用いて説明する。図４は、撮影光学系の射出瞳３０６を通過した光束が撮像素子２２１に入射している状態を示している。なお、図３と同じ構成には、同じ参照番号を付している。３０１は撮像素子２２１を構成する一部の画素の断面を示しており、各画素２０１において、マイクロレンズ２０２と第１のＰＤ２０３及び第２のＰＤ２０４との間に、カラーフィルタ３０３が配されている。

また、図４において、射出瞳３０６から、マイクロレンズ２０２を有する画素２０１に入射する光束の中心を光軸３０９とする。射出瞳３０６を通過した光束は、光軸３０９を中心として撮像素子２２１に入射する。３０７、３０８は撮影光学系の射出瞳３０６のうち、互いに異なる領域（瞳領域）を示している。瞳領域３０７を通過した光束の最外周の光線を３１０、３１１で示し、瞳領域３０８を通過した光束の最外周の光線を３１２、３１３で示す。図４に示すように、射出瞳３０６のうち、光軸３０９よりも上側の瞳領域３０７を通過した光束は第２のＰＤ２０４に入射し、下側の瞳領域３０８を通過した光束は第１のＰＤ２０３に入射する。このように、第１のＰＤ２０３及び第２のＰＤ２０４は、それぞれ互いに異なる瞳領域を通過した一対の光束、すなわち、これら一対の光束により形成された一対の被写体像を受光する。

なお、図２〜図４では、１つのマイクロレンズ２０２に対して２つのフォトダイオードが設けられている画素構成を示したが、本発明はこれに限られるものではない。例えば、１つのマイクロレンズに対して、３つ以上の光電変換部を配置しても良い。このように、撮像素子は、互いに異なる瞳領域を通過した光束をそれぞれ受光することのできる画素を２次元配置したものであればよい。

●撮像素子の駆動方法
次に、第１の実施形態における撮像素子２２１の駆動方法について、図５及び図６を参照して説明する。図５（ａ）〜（ｄ）は、第１の実施形態における後述する各駆動状態を示す概念図、図６は、第１の実施形態における撮像素子２２１の駆動方法を示すフローチャートである。第１の実施形態における駆動方法は、特に撮像装置において、動画像の撮影や電子ビューファインダの状態に適用することができる。

動画処理を開始すると、まず、Ｓ１１において、被写体検出部２３６で被写体が検出できたかどうかを判断する。被写体が検出できなかった場合はＳ１４に進み、カメラ制御部２３２は、被写体が検出できなかったことをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、全画素において分割読み出しを行うように撮像素子２２１を制御する。これにより、全画素から、記録／表示用の信号と一対のＡＦ用信号とを読み出す。図５（ａ）は、被写体が検出できなかった様子を示している。

被写体が検出できた場合にはＳ１２に進み、カメラ制御部２３２において、これまでに検出された被写体の位置と比較することで、被写体の動きが横方向かどうかを判断する。Ｓ１２において被写体の動きが横方向ではなかった場合はＳ１４に進み、カメラ制御部２３２は、被写体の動きが横方向ではないことをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、全画素において分割読み出しを行うように撮像素子２２１を制御する。この場合も、全画素から記録／表示用の信号と一対のＡＦ用信号とを読み出す。図５（ｂ）は被写体を検出したものの、過去の被写体のデータが無い等の理由により、動きの方向が判定できない場合、図５（ｃ）は、被写体の動きが縦方向である場合の一例を示している。

一方、Ｓ１２において、被写体の動きが横方向であった場合には、Ｓ１３において、カメラ制御部２３２は被写体の動きが横方向であることをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、所定行おきに分割読み出しを行い、その他の行では加算読み出しを行うように撮像素子２２１を制御する。その際に、被写体が存在する領域では、被写体が存在しない領域よりも密に分割読み出しを行うようにする。これにより、全画素から記録／表示用の信号を読み出すとともに、所定行おきに一対のＡＦ用信号を読み出す。図５（ｄ）は、被写体の動きが横方向であった場合の読み出し制御の一例を示している。

Ｓ１３またはＳ１４の処理後、Ｓ１５において動画撮影が終了したかどうかを判断し、終了していない場合にはＳ１１に戻って上述した処理を繰り返す。動画撮影を終了する場合には（Ｓ１５でＹＥＳ）、上記処理を終了する。

上記の通り本第１の実施形態によれば、被写体の動きが横方向である場合に、分割読み出しを行う行を少なくすることにより、焦点検出の精度を落とすことなく、分割読み出しを行う画素数を減らすことができる。これにより、システムの負荷を削減し、消費電力を削減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮影した画像における被写体の動き方向が横方向である場合に、所定行おきに分割読み出しを行うように制御する場合について説明した。これに対し、第２の実施形態では、撮像装置の動きが横方向である場合に、所定行おきに分割読み出しを行うように制御する。

図７は、第２の実施形態における撮像システムの概略構成を示すブロック図である。図１との違いは、カメラ本体２０’が、カメラ動き検出部７０１を更に有する点である。その他の構成は第１の実施形態で説明したものと同様であるため、同じ参照番号を付して説明を省略する。

カメラ動き検出部７０１は、例えば、公知のジャイロセンサ等からなり、カメラ本体２０’の動きを検出し、動き情報をカメラ制御部２３２に出力する。カメラ制御部２３２では、カメラ動き検出部７０１から得られた動き情報に基づいて、カメラの動き方向を検出する。

図８は、第２の実施形態における撮像素子２２１の駆動方法を示すフローチャートである。第２の実施形態における駆動方法は、特に撮像装置において、動画像の撮影や電子ビューファインダの状態に適用することができる。

動画処理を開始すると、まず、Ｓ２１において、カメラ制御部２３２は、カメラ動き検出部７０１から動き情報を取得する。そして、Ｓ２２において、カメラ本体２０’の動き方向が横方向かどうかを判断する。カメラ本体２０’の動きが横方向であった場合には、Ｓ２３において、カメラ制御部２３２はカメラ本体２０’の動きが横方向であることをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、所定行おきに分割読み出しを行い、その他の行では加算読み出しを行うように撮像素子２２１を制御する。これにより、全画素から記録／表示用の信号を読み出すとともに、所定行おきに一対のＡＦ用信号を読み出す。その際に、被写体検出部２３６により被写体が検出されている場合、被写体が存在する領域では、被写体が存在しない領域よりも密に分割読み出しを行うようにしてもよい。

一方、Ｓ２２においてカメラ本体２０’の動きが横方向ではなかった場合はＳ２４に進み、カメラ制御部２３２は、カメラ本体２０’の動きが横方向ではないことをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、全画素において分割読み出しを行うように撮像素子２２１を制御する。この場合、全画素から記録／表示用の信号と一対のＡＦ用信号とを読み出す。

Ｓ２３またはＳ２４の処理後、Ｓ２５において動画撮影が終了したかどうかを判断し、終了していない場合にはＳ２１に戻って上述した処理を繰り返す。動画撮影を終了する場合には（Ｓ２５でＹＥＳ）、上記処理を終了する。

上記の通り本第２の実施形態によれば、カメラ本体２０’の動きが横方向である場合に、分割読み出しを行う行を少なくすることにより、焦点検出の精度を落とすことなく、分割読み出しを行う画素数を減らすことができる。これにより、システムの負荷を削減し、消費電力を削減することができる。

なお、第１の実施形態における被写体の動き方向が横方向でなかった場合に、第２の実施形態におけるカメラ本体２０’の動き方向を更に判断して、読み出し方法を制御するようにしてもよい。逆に、第２の実施形態におけるカメラ本体２０’の動き方向が横方向でなかった場合に、第１の実施形態における被写体の動き方向を更に判断して、読み出し方法を制御するようにしてもよい。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態における撮像素子は、行単位で、分割読み出しまたは加算読み出しで選択的に読み出し可能であったが、第３の実施形態では、列単位でも分割読み出しまたは加算読み出しで読み出し制御可能とした場合について説明する。

図９は、第３の実施形態における撮像素子２２１’の構成を示す図である。図２に示す撮像素子２２１と比較して、第１の水平走査回路２０８ａと第２の水平走査回路２０８ｂの２つの水平走査回路を有するところが異なる。第１の水平走査回路２０８ａは、読み出し回路２０７に読み出された信号を順次出力回路２０９に転送するように制御する。第２の水平走査回路２０８ｂは、読み出し回路２０７に読み出された信号の一部を選択的に出力回路２０９に転送するように制御する。なお、撮像素子２２１’以外の構成は、第１の実施形態で説明したものと同様であるため、同じ参照番号を付して説明を省略する。

以下、第３の実施形態における撮像素子２２１’の駆動方法について、図１０のフローチャート及び図５を参照して説明する。なお、図６に示す処理と同様の処理については同じステップ番号を付し、適宜説明を省略する。第３の実施形態における駆動方法も、特に撮像装置において、動画像の撮影や電子ビューファインダの状態に適用することができる。

動画処理を開始すると、まず、Ｓ１１において、被写体検出部２３６で被写体が検出できたかどうかを判断する。被写体が検出できなかった場合はＳ１４に進み、全画素において分割読み出しを行うように撮像素子２２１を制御する。この場合、第１の水平走査回路２０８ａを用いて、読み出し回路２０７に読み出された信号を全て出力回路２０９を介して出力する。

被写体が検出できた場合にはＳ１２に進み、カメラ制御部２３２において、これまでに検出された被写体の位置と比較することで、被写体の動きが横方向かどうかを判断する。Ｓ１２において被写体の動きが横方向であった場合には、Ｓ１３に進み、所定行おきに分割読み出しを行い、その他の行では加算読み出しを行うように撮像素子２２１’を制御する。この場合も、第１の水平走査回路２０８ａを用いて、読み出し回路２０７に読み出された信号を全て出力回路２０９を介して出力する。

Ｓ１２で、被写体の動きが横方向ではなかった場合はＳ３１に進み、被写体の動きが縦方向かどうかを判断し、縦方向でなかった場合には、Ｓ１４に進み、上述した処理を行う。被写体の動きが縦方向であった場合はＳ３２に進み、カメラ制御部２３２は被写体の動きが縦方向であることをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、所定列おきに分割読み出しを行い、その他の列では加算読み出しを行うように撮像素子２２１’を制御する。その際に、被写体が存在する列では、被写体が存在しない列よりも密に分割読み出しを行うようにする。これにより、全画素から記録／表示用の信号を読み出すとともに、所定列おきに一対のＡＦ用信号を読み出す。図５（ｅ）は、被写体の動きが縦方向であった場合の読み出し制御の一例を示している。

この場合、まず、全ての行について、第１のＰＤ２０３または第２のＰＤ２０４からＡＦ用信号（Ａ信号またはＢ信号）を読み出し回路２０７に読み出す。そして、第２の水平走査回路２０８ｂを用いて、読み出し回路２０７に読み出された信号のうち、所定列おきに信号を選択して、出力回路２０９を介して出力する。その後、記録／表示用の信号（Ａ＋Ｂ信号）を読み出し回路２０７に読み出し、今度は第１の水平走査回路２０８ａを用いて、読み出し回路２０７に読み出された信号を全て出力回路２０９を介して出力する。

Ｓ１３、Ｓ１４、またはＳ３２の処理後、Ｓ１５において動画撮影が終了したかどうかを判断し、終了していない場合にはＳ１１に戻って上述した処理を繰り返す。動画撮影を終了する場合には（Ｓ１５でＹＥＳ）、上記処理を終了する。

上記の通り本第３の実施形態によれば、第１の実施形態と同様の効果に加えて、被写体の動きが縦方向である場合に、分割読み出しを行う列を少なくすることにより、焦点検出の精度を落とすことなく、分割読み出しを行う画素数を減らすことができる。これにより、システムの負荷を削減し、消費電力を削減することができる。

なお、図９では、全列の信号を出力するための水平走査回路と、所定列おきに信号を出力するための水平走査回路とを２つ有する場合について説明したが、読み出す列を選択可能な１つの水平走査回路により構成することも可能である。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。上述した第３の実施形態では、撮影した画像における被写体の動き方向に応じて、所定行または所定列おきに分割読み出しを行うように制御する場合について説明した。これに対し、第４の実施形態では、撮像装置の動き方向に応じて、所定行または所定列おきに分割読み出しを行うように制御する。

なお、第４の実施形態の撮像システムは、図７に示す撮像システムに、図９に示す撮像素子２２１’を搭載することで実現することができるため、ここでは詳細説明を省略する。

図１１は、第４の実施形態における撮像素子２２１’の駆動方法を示すフローチャートである。なお、図８と同様の処理には同じステップ番号を付して、適宜説明を省略する。第４の実施形態における駆動方法は、特に撮像装置において、動画像の撮影や電子ビューファインダの状態に適用することができる。

動画処理を開始すると、まず、Ｓ２１において、カメラ制御部２３２は、カメラ動き検出部７０１から動き情報を取得する。そして、Ｓ２２において、カメラ本体２０’の動き方向が横方向かどうかを判断する。カメラ本体２０’の動きが横方向であった場合には、Ｓ２３において、第１の水平走査回路２０８ａを用いて、上述した処理を行う。

一方、Ｓ２２においてカメラ本体２０’の動きが横方向ではなかった場合はＳ４１に進み、カメラ本体２０’の動き方向が縦方向かどうかを判断する。カメラ本体２０’の動きが縦方向であった場合には、Ｓ４２において、カメラ制御部２３２はカメラの動きが縦方向であることをＡＦ用信号読み出し制御部２３３に通知する。ＡＦ用信号読み出し制御部２３３は、所定列おきに分割読み出しを行い、その他の列では加算読み出しを行うように撮像素子２２１’を制御する。なお、Ｓ４２で行われる制御は、図１０のＳ３２で行われる制御と同様であるため、説明を省略する。

Ｓ４１においてカメラ本体２０’の動きが縦方向でもなかった場合はＳ２４に進み、ＡＦ用信号読み出し制御部２３３は、全画素において分割読み出しを行うように撮像素子２２１’を制御する。

Ｓ２３、Ｓ２４またはＳ４２の処理後、Ｓ２５において動画撮影が終了したかどうかを判断し、終了していない場合にはＳ２１に戻って上述した処理を繰り返す。動画撮影を終了する場合には（Ｓ２５でＹＥＳ）、上記処理を終了する。

上記の通り本第４の実施形態によれば、第２の実施形態と同様の効果に加えて、カメラ本体の動きが縦方向である場合に、分割読み出しを行う列を少なくすることにより、焦点検出の精度を落とすことなく、分割読み出しを行う画素数を減らすことができる。これにより、システムの負荷を削減し、消費電力を削減することができる。

なお、第３の実施形態における被写体の動き方向が横方向及び縦方向でなかった場合に、第４の実施形態におけるカメラ本体２０’の動き方向を更に判断して、読み出し方法を制御するようにしてもよい。逆に、第４の実施形態におけるカメラ本体２０’の動き方向が横方向及び縦方向でなかった場合に、第３の実施形態における被写体の動き方向を更に判断して、読み出し方法を制御するようにしてもよい。

また、被写体またはカメラ本体２０’の動き方向が横方向かどうかを判断し、横方向でなかった場合に、被写体またはカメラ本体２０’の動き方向が縦方向かどうかを判断して、読み出し方法を制御するようにしてもよい。

また、上述した第１〜第４の実施形態においては、動画や電子ビューファインダ状態の撮像素子の例を出したが、静止画でも、連写中などのフォーカス追従中に利用可能である。

また、上述した第３及び第４の実施形態では、被写体またはカメラ本体の動き方向に応じて、分割読み出しを行う行または列を所定数に減らす場合について説明したが、フィールド毎に交互に分割読み出しを減らす方向を変化させるように制御してもよい。例えば、偶数フィールドでは所定列おきに分割読み出しを行い、奇数フィールドでは所定行おきに分割読み出しを行うといったように制御してもよい。

なお、上述した各実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。すなわち携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。

１０：レンズユニット、１０３：フォーカスレンズ、１０５：フォーカスレンズ駆動部、１０６：レンズ制御部、１０７：レンズ操作部、２０，２０’：カメラ本体、２０１：画素、２０２：マイクロレンズ、２０３：第１のフォトダイオード（ＰＤ）、２０４：第２のフォトダイオード（ＰＤ）、２０５：画素部、２０６：垂直走査回路、２０７：読み出し回路、２０８：水平走査回路、２０８ａ：第１水平走査回路、２０８ｂ：第２水平走査回路、２２１，２２１’：撮像素子、２２３：画像信号処理部、２２４：ＡＦ信号処理部、２３２：カメラ制御部、２３３：ＡＦ用信号読み出し制御部、２３５：タイミングジェネレータ、２３６：被写体検出部、３０３：カラーフィルタ、７０１：カメラ動き検出部

Claims (14)

1. ２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、入射光量に応じた画像信号を出力する撮像素子と、
   前記画像信号に基づいて、被写体の動き方向を検出する検出手段と、
   前記検出手段により検出された前記被写体の動き方向が主走査方向である場合に、前記各マイクロレンズに対応する前記複数の光電変換部から、所定行おきに、視差を有する一対の信号および該複数の光電変換部の信号を加算した加算信号を得ることが可能な第１の読み出しを行い、それ以外の行から、一対の信号を得ずに加算信号を得る第２の読み出しを行うと判断する判断手段と、
   前記判断手段により判断された結果に基づいて、行単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記判断手段は、動き方向が主走査方向である前記被写体が検出された領域に対応する行において、それ以外の行よりもより多くの行を前記第１の読み出しにより読み出すようにすることを特徴とする請求項１に記載の撮像装置。
3. 前記判断手段は、前記被写体の動き方向が主走査方向でない場合に、全ての行から前記第１の読み出しを行うと判断することを特徴とする請求項１または２に記載の撮像装置。
4. 前記判断手段は、前記被写体の動き方向が副走査方向である場合に、所定列おきに、前記第１の読み出しを行い、それ以外の列から、前記第２の読み出しを行うと判断し、
   前記制御手段は、前記被写体の動き方向が副走査方向である場合に前記判断手段により判断された結果に基づいて、列単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御することを特徴とする請求項１または２に記載の撮像装置。
5. 前記判断手段は、動き方向が副走査方向である前記被写体が検出された領域に対応する列において、それ以外の列よりもより多くの列を前記第１の読み出しにより読み出すようにすることを特徴とする請求項４に記載の撮像装置。
6. 前記判断手段は、前記被写体の動き方向が主走査方向および副走査方向のいずれでもない場合に、全ての行および列から前記第１の読み出しを行うと判断することを特徴とする請求項４または５に記載の撮像装置。
7. ２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、入射光量に応じた画像信号を出力する撮像素子と、
   撮像装置の動き方向を検出する検出手段と、
   前記検出手段により検出された前記撮像装置の動き方向が、主走査方向である場合に、前記各マイクロレンズに対応する前記複数の光電変換部から、所定行おきに、視差を有する一対の信号および該複数の光電変換部の信号を加算した加算信号を得ることが可能な第１の読み出しを行い、それ以外の行から、一対の信号を得ずに加算信号を得る第２の読み出しを行うと判断する判断手段と、
   前記判断手段により判断された結果に基づいて、行単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する制御手段と
   を有することを特徴とする撮像装置。
8. 前記判断手段は、前記撮像装置の動き方向が主走査方向でない場合に、全ての行から前記第１の読み出しを行うと判断することを特徴とする請求項７に記載の撮像装置。
9. 前記判断手段は、前記撮像装置の動き方向が副走査方向である場合に、所定列おきに、前記第１の読み出しを行い、それ以外の列から、前記第２の読み出しを行うと判断し、
   前記制御手段は、前記撮像装置の動き方向が副走査方向である場合に前記判断手段により判断された結果に基づいて、列単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御することを特徴とする請求項７に記載の撮像装置。
10. 前記判断手段は、前記撮像装置の動き方向が主走査方向および副走査方向のいずれでもない場合に、全ての行および列から前記第１の読み出しを行うと判断することを特徴とする請求項９に記載の撮像装置。
11. ２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、入射光量に応じた画像信号を出力する撮像素子の制御方法であって、
    検出手段が、前記画像信号に基づいて、被写体の動き方向を検出する検出工程と、
    判断手段が、前記検出工程で検出された前記被写体の動き方向が主走査方向である場合に、前記各マイクロレンズに対応する前記複数の光電変換部から、所定行おきに、視差を有する一対の信号および該複数の光電変換部の信号を加算した加算信号を得ることが可能な第１の読み出しを行い、それ以外の行から、一対の信号を得ずに加算信号を得る第２の読み出しを行うと判断する第１の判断工程と、
    制御手段が、前記第１の判断工程で判断された結果に基づいて、行単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する第１の制御工程と
    を有することを特徴とする制御方法。
12. 前記判断手段が、前記被写体の動き方向が副走査方向である場合に、所定列おきに、前記第１の読み出しを行い、それ以外の列から、前記第２の読み出しを行うと判断する第２の判断工程と、
    前記制御手段が、前記第２の判断工程で判断された結果に基づいて、列単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する第２の制御工程と
    を更に有することを特徴とする請求項１１に記載の制御方法。
13. ２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、入射光量に応じた画像信号を出力する撮像素子の制御方法であって、
    検出手段が、撮像装置の動き方向を検出する検出工程と、
    判断手段が、前記検出工程で検出された前記撮像装置の動き方向が、主走査方向である場合に、前記各マイクロレンズに対応する前記複数の光電変換部から、所定行おきに、視差を有する一対の信号および該複数の光電変換部の信号を加算した加算信号を得ることが可能な第１の読み出しを行い、それ以外の行から、一対の信号を得ずに加算信号を得る第２の読み出しを行うと判断する第１の判断工程と、
    制御手段が、前記第１の判断工程で判断された結果に基づいて、行単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する第１の制御工程と
    を有することを特徴とする制御方法。
14. 前記判断手段が、前記撮像装置の動き方向が副走査方向である場合に、所定列おきに、前記第１の読み出しを行い、それ以外の列から、前記第２の読み出しを行うと判断する第２の判断工程と、
    前記制御手段が、前記第２の判断工程で判断された結果に基づいて、列単位で、前記第１の読み出しと前記第２の読み出しを切り替えて前記撮像素子を制御する第２の制御工程と
    を更に有することを特徴とする請求項１３に記載の制御方法。

Images