JP6412826B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6412826B2
JP6412826B2 JP2015113624A JP2015113624A JP6412826B2 JP 6412826 B2 JP6412826 B2 JP 6412826B2 JP 2015113624 A JP2015113624 A JP 2015113624A JP 2015113624 A JP2015113624 A JP 2015113624A JP 6412826 B2 JP6412826 B2 JP 6412826B2
Authority
JP
Japan
Prior art keywords
phase difference
pixel data
difference pixel
focus detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015113624A
Other languages
English (en)
Other versions
JP2016224385A (ja
Inventor
池田 誠
誠 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015113624A priority Critical patent/JP6412826B2/ja
Priority to US15/170,543 priority patent/US9979876B2/en
Priority to CN201610389795.9A priority patent/CN106254760B/zh
Publication of JP2016224385A publication Critical patent/JP2016224385A/ja
Application granted granted Critical
Publication of JP6412826B2 publication Critical patent/JP6412826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

この発明は、位相差画素出力を用いて測距演算をする撮像装置に関する。
撮像面に配置された位相差画素の位相差画素出力を用いて測距演算を行い、当該測距演算の結果に基づき焦点を検出する手法が知られている。測距演算では、位相差画素出力がセンサ出力レンジに対して小さい場合、演算誤差が大きくなることで測距性能が低下する。このため、一定の位相差画素出力を確保する必要がある。
しかしながら、一般に位相差画素出力は、表示又は記録に用いられる記録画素出力に比べ半分以下程度である。したがって、位相差画素出力を記録画素出力程度に確保するために種々の手法が提案されている。
例えば、特許文献1に記載の技術は、画素生成のために用いられる撮像行の電荷の蓄積制御と位相差画素を有する焦点検出行の電荷の蓄積制御とを1フレーム内で独立して行うようにしている。
また、特許文献2に記載の技術は、撮像素子により生成された画素データのうち、最新の画素データに含まれる最新の焦点検出データに、少なくとも1つの焦点検出データを加算する加算処理を行って加算焦点検出データを算出するようにしている。
特許第5319347号公報 特許第5565105号公報
上述した特許文献1は、位相差画素について十分な蓄積時間を確保できるものの、撮像面内の位相差画素について同一の蓄積時間で電荷を蓄積するようにしている。したがって、位相差画素の特性による出力レベルの差に起因する白とび(飽和)、又は黒つぶれ(出力不足)する領域が発生する可能性がある。また、特許文献2は、加算処理を加算データの最大値が閾値を超えるまで繰り返すようにしているため、最大値をとる位相差画素以外の位相差画素については、十分な出力レベルが確保できず、測距性能を確保できない可能性がある。
また、位相差画素出力と、記録画素出力とを別々のフレームで抽出する手法も考えられるが、当該手法によると表示又は記録用のフレームが離散的となり、表示又は記録用のデータ品質を保てない可能性がある。
本発明は、上記事情に鑑みてなされたもので、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することを目的とする。
上記目的を達成するために、本発明の第1の態様の撮像装置は、複数の記録画素と、上記各記録画素に対して受光部の開口の一部を遮蔽された複数の位相差画素とを有する撮像素子と、上記撮像素子の撮像動作のフレーム毎に、上記各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた画素データを読出す読出し手段と、上記読出されたフレーム毎の位相差画素の画素データについて、現在フレーム及び過去フレームにおける同一座標の画素データを加算する加算手段と、上記各位相差画素の特性と、上記各位相差画素に対応する位相差画素データとに応じて、上記加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する判定手段と、上記判定の結果、上記加算された位相差画素データに基づき焦点検出動作を実行すると判定された場合、上記加算手段により加算された位相差画素データを適用し、否の場合、上記現在フレームの位相差画素データを適用して焦点検出動作を実行する焦点検出手段と、を有することを特徴とする。
本発明によれば、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することができる。
この発明の第1の実施形態に係る撮像装置の機能構成の一例を示すブロック図である。 第1の実施形態における撮像素子の画素配列の一例を示す模式図である。 第1の実施形態における正面から見た受光部を示す模式図である。 第1の実施形態における測距演算部の機能構成の一例を示すブロック図である。 第1の実施形態における画素データ加工部の機能構成の一例を示すブロック図である。 第1の実施形態における画素データが記憶される記憶領域の一例を説明するための模式図である。 第1の実施形態における画素データが記憶される記憶領域の一例を説明するための模式図である。 第1の実施形態における撮像装置の動作の一例を示すフローチャートである。 第1の実施形態における撮像装置の動作の一例を示すタイミングチャートである。 第1の実施形態における加算演算の一例を示す模式図である。 第1の実施形態における加算演算の一例を示す模式図である。 第1の実施形態における撮像装置の動作の一例を示すタイミングチャートである。 第1の実施形態における光学フィルタの分光特性の一例を示す模式図である。 この発明の第2の実施形態に係る動作の一例を示すフローチャートである。 第2の実施形態における像高による出力レベルの違いを示す模式図である。 第2の実施形態における相関演算の一例を示す模式図である。 第2の実施形態における光源の出力変動と、測距エリアにおける蓄積動作及び出力走査のタイミングチャートとの関係を示す模式図である。 第2の実施形態における測距エリアにおけるT/B画素の出力レベルの変化の一例を示す模式図である。 本発明の各実施形態に適用可能な読出し方式の一例を示す模式図である。
以下、本発明に関わる各実施形態について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラ(以下、単にカメラと言う。)の構成を示すブロック図である。図1に示すカメラ1は、レンズ11と、レンズ駆動部12と、撮像素子13と、撮像素子シフト部14と、撮像素子駆動部15と、CPU(Central Processing Unit)16と、メモリ部17と、表示部18と、記録部19と、操作部20と、測距演算部21と、露出演算部22と、フリッカ演算部23と、画像処理部24と、データ・制御バス25と、を備えている。
レンズ11は、図示しない被写体からの像を撮像素子13の受光面上に結像させるための光学系である。このレンズ11は、フォーカスレンズ及びズームレンズ等の複数のレンズや、絞りを有している。
レンズ駆動部12は、CPU16からの制御信号に基づいて、レンズ11の焦点調節、絞りの開口径制御等を行う。
撮像素子13は、画素を構成するフォトダイオード(以下、受光部と言う。)が2次元的に配置されて構成されている。撮像素子13を構成する受光部は、マイクロレンズによって集光された光の受光量に応じた電荷を生成する。受光部で発生した電荷は、各受光部に接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が撮像素子駆動部15によって画素信号として出力される。画素信号は、図示しない撮像回路によってノイズ低減処理やゲイン調整等の処理がなされた後、デジタル形式の画像信号(以下、画素データと言う。)として出力される。ここで、撮像素子13は、電子シャッタ機能を有していることが望ましい。電子シャッタ機能とは、撮像素子13の露出時間を露出演算部22の演算結果に基づいて電子的に制御する機能である。電子シャッタとしては、後述する撮像素子13の駆動方式に応じて、ローリングシャッタやグローバルシャッタ等の種々の電子シャッタが適用可能である。
また、画素を構成する受光部の前面には、ベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にR画素とG(Gr)画素とが交互に配置されたラインと、G(Gb)画素とB画素とが交互に配置されたラインと、を有している。なお、カラーフィルタの配置は、ベイヤ配列に限らず、補色フィルタ(緑:G、イエロー:Y、マゼンタ:Mg、シアン:Cy)等の他の光学フィルタによる異なる配列等も適宜適用可能である。
ここで、本実施形態における撮像素子13は、位相差AF(Auto Focus)を実施可能な構成として、記録又は表示のための撮像画像を取得するための複数の記録画素(通常画素、又は撮像用画素)と、焦点検出をするための複数の位相差画素(焦点検出用画素)と、を有する。図2は、本実施形態における撮像素子13の画素配列を示した図である。図2に示すように、位相差画素1002r,l,t,bは、記録画素1001に対して離散的に配置される。位相差画素1002r,l,t,bと記録画素1001とは、マイクロレンズの集光率、及びマイクロレンズから受光部までの距離が同じであるように構成される。位相差画素1002r,l,t,bは、記録画素1001よりも受光部の開口の位置をずらすか、又は光軸中心と開口中心とをずらした構成とすることによって、受光部の一部を物理的に遮蔽する構成となっている。位相差画素1002r,l,t,bの遮光領域の向きは、被写体の縦線、横線のどちらを検知するかによって異なる。この検知方向に応じて、位相差画素は、それぞれ左右方向(R/L)、上下方向(T/B)に開口される。図2では、左方向に開口した位相差画素1002lと、右方向に開口した位相差画素1002rとが、同色画素(図2ではGr画素)上に、垂直方向に沿って(図2では3画素分離れて)配置されている。また、上方向に開口した位相差画素1002tと、下方向に開口した位相差画素1002bとが、同色画素(図2ではB画素)上に、水平方向に沿って(図2では3画素分離れて)配置されている。
また、位相差画素は、図3に示すように、デフォーカス量の大きい場合と小さい場合とのいずれの状況でも測距できるように構成されている。具体的には、開口率の異なる画素が各遮光向きに対してそれぞれ配置されている。図3は、受光部を正面から見た場合の模式図であり、丸部がマイクロレンズ1003を示し、四角部が受光部の受光領域1004を示している。なお、受光領域のハッチング領域は、遮光されていることを示している。ここで図3(A)は、小デフォーカス用の遮光率の小さい右側開口画素を、図3(B)は、大デフォーカス用の遮光率の大きい右側開口画素を示している。このように、位相差画素は、入射光量が制限されているため、画素データの出力レベルは減衰する。例えば、位相差画素データ(焦点検出用画素データ)の出力レベルは、遮光面積比を50%とすると、飽和露光時の記録画素データ(撮像用画素データ)の出力レベルの1/14〜1/20程度まで減衰する。
なお、本実施形態では、撮像素子駆動部15の駆動方式としてCMOS(Complementary Metal Oxide Semiconductor)方式を適用した例について説明しているが、CMOS方式に限らず、CCD(Charge Coupled Device)方式も適宜適用可能である。
撮像素子シフト部14は、CPU16からの制御信号に基づいて、撮像素子13をその受光面と平行な平面内で物理的に移動させ、手ぶれ等を補正する。
撮像素子駆動部15は、CPU16からの制御信号に基づいて駆動し、撮像素子13に蓄積された電荷を画素信号として読出す。読み出された画素信号は、デジタル形式の画素データに変換され、データ・制御バス25を介してメモリ部17に送信され記憶される。
本実施形態における撮像素子駆動部15による電荷の読出し方式では、撮像素子13の撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて画素データが得られる。
CPU16は、レンズ駆動部12によるレンズ11の駆動制御、並びに撮像素子シフト部14及び撮像素子駆動部15による撮像素子13の駆動制御等のカメラ1の各種シーケンスを統括的に制御する。CPU16は、データ・制御バス25を介して、メモリ部17、表示部18、記憶部19、操作部20、測距演算部21、露出演算部22、フリッカ演算部23、及び画像処理部24と相互に接続されており、制御指令の送信やデータ等の授受を行うことが可能である。
メモリ部17は、各部から読取/書込可能な記憶媒体であり、カメラ1内部で発生した各種のデータを一時的に記憶するための作業メモリとして動作する。メモリ部17は、例えば、撮像素子駆動部15によって撮像素子13から読出された画素データを記憶する。
表示部18は、例えば液晶ディスプレイであり、画像処理部24によって処理された画像データに基づく静止画像、動画像、及び表示画像等の各種の画像を表示する。
記録部19は、例えばカメラ1に着脱自在になされたメモリカードであって、画像処理部24によって圧縮された画像データを含む画像ファイル等が記録される。
操作部20は、例えば電源ボタン、シャッタボタン、再生ボタン、各種入力キー等の操作部材である。また、操作部20は、測距演算部21による焦点検出動作が実行される焦点検出エリアを設定するための操作部材を含んでもよい。撮影者により操作部20の操作がなされると、CPU16は、その操作に対応したシーケンスを実行する。
測距演算部21は、図4に示すように、位相差画素抽出部211と、画素データ加工部212と、測距演算処理部213と、位相差画素フレームメモリ214と、を備えている。測距演算部21は、CPU16からの制御信号に基づき、フレーム毎の位相差画素データを読出し、当該フレーム毎の位相差画素データに基づいて焦点検出動作を実行する機能を有する。測距演算部21の機能構成については、後で詳述する。
露出演算部22は、操作部20からの入力等に基づき、撮像素子13の露出量を算出する。露出演算部22は、当該算出結果を撮像素子駆動部15にCPU16を介して送信する。
フリッカ演算部23は、メモリ部17に記憶された記録画素データを読出し、当該記録画素データに基づき、フリッカを検出する。フリッカ演算部23は、フリッカが検出されると、当該フリッカを解消するための制御情報を演算し、当該演算結果を撮像素子駆動部15にCPU16を介して送信する。
画像処理部24は、メモリ部17に記憶された記録画素データを読出し、当該記録画素データに基づき、各種の画像処理を施して画像データを生成する。例えば画像処理部24は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部24は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。更に、画像処理部24は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。
次に、測距演算部21の機能構成について、図4を参照しながら説明する。位相差画素抽出部211は、撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す。位相差画素抽出部211は、開口方向等の条件毎にラスタ順に位相差画素データを読出すことにより、座標の対応関係をフレーム間で保持しつつ最小限のメモリサイズに抑えて読出す。したがって、位相差画素抽出部211は、読出したフレーム毎の位相差画素データの位相差画素特性についても、関連付けて読出すことが可能である。位相差画素抽出部211は、読出したフレーム毎の位相差画素データを画素データ加工部212に送信し、位相差画素フレームメモリ214に書込む。なお、位相差画素抽出部211は、撮像素子駆動部15により読出された画素データを直接受信し、当該受信した画素データから位相差画素データを読出すようにしてもよい。
画素データ加工部212は、判定部2121と、位相差画素演算部2122と、を備えている。画素データ加工部212は、現在フレームの位相差画素データをラスタ順に位相差画素抽出部211から受信し、対応する過去フレームの位相差画素データを位相差画素フレームメモリ214から受信する。画素データ加工部212は、現在フレーム及び過去フレームの位相差画素データを加工することによって焦点検出動作に適用する位相差画素データを生成し、測距演算処理部213に送信する。
判定部2121は、現在フレームの位相差画素データをラスタ順に受信すると、各位相差画素の特性と、各位相差画素に対応する位相差画素データとに応じて、位相差画素演算部2122による演算結果に基づき焦点検出動作を実行するか否かを判定する。ここでの演算は、現在フレームと過去フレームとの位相差画素データの加算である。判定部2121は、判定の結果、加算結果に基づき焦点検出動作を実行すると判定した場合、例えば、位相差画素演算部2122により加算される過去フレームのフレーム数を含む演算情報を決定する。判定部2121は、演算情報及び現在フレームの位相差画素データを位相差画素演算部2122に送信する。また、判定部2121は、加算結果に基づき焦点検出動作を実行しないと判定した場合、現在フレームの位相差画素データを位相差画素フレームメモリ214に送信する。
位相差画素演算部2122は、演算情報と、現在フレームの位相差画素データとをラスタ順に受信すると、当該演算情報内のフレーム数に基づき、演算に使用する数の過去フレームの対応する位相差画素データを位相差画素フレームメモリ214から受信する。位相差画素演算部2122は、位相差画素抽出部211によって読出されたフレーム毎の位相差画素データについて、現在フレーム及び過去フレームにおける同一座標の焦点検出データを加算する。位相差画素演算部2122は、加算された位相差画素データを位相差画素フレームメモリ214に送信する。
なお、位相差画素演算部2122は、減算、乗算、除算の機能を有していてもよく、判定部2121の判定結果に応じて、各種の演算を複合的に実行してもよい。この場合、判定部2121が生成する演算情報は、更に、加算演算以外の演算の有無、複数の演算を実行する順番を示す演算式等を含む。例えば、過去フレームのフレーム数を“1”とし、演算式を「(現在フレーム+過去フレーム)/2」とする演算情報は、現在フレームと、1フレーム分の過去フレームとの加算平均を示す。なお、乗算の機能は、例えば位相差画素データをゲインアップする場合に使用する。また、減算の機能は、例えばフレーム間における出力差を評価することによって、フレーム間で被写体が移動した度合いを推定する場合に使用する。
なお、画素データ加工部212内の具体的な構成は、図5に示すように、SEL(セレクタ)2123,2125,2127と、加減処理部2124と、乗除処理部2126と、を備えるように構成されてもよい。ここで、各SEL2123,2125,2127は、上述の判定部2121と同等の機能を備えていてもよく、加減処理部2124及び乗除処理部2126は、上述の位相差画素演算部2122と同等の機能を備えていてもよい。例えば、SEL2123は、各位相差画素データを位相差画素抽出部211から受信すると、加算演算及び/又は減算演算を実行するか否かを判定する。SEL2123は、加算演算及び/又は減算演算を実行すると判定した位相差画素データを加減処理部2124に送信し、否の場合、SEL2125に送信する。加減処理部2124は、位相差画素データをSEL2123から受信すると、過去フレームにおける同一の座標の位相差画素データを読出し、加算演算及び/又は減算演算を実行する。加減処理部2124は、演算を実行した位相差画素データをSEL2125に送信する。SEL2125は、位相差画素データを受信すると、乗算演算及び/又は除算演算を実行するか否かを判定する。SEL2125は、乗算演算及び/又は除算演算を実行すると判定した位相差画素データを乗除処理部2126に送信し、否の場合、SEL2127に送信する。乗除処理部2126は、位相差画素データをSEL2125から受信すると、過去フレームにおける同一の座標の位相差画素データを読出し、乗算演算及び/又は除算演算を実行する。乗除処理部2126は、演算を実行した位相差画素データをSEL2127に送信する。SEL2127は、位相差画素データを受信すると、当該位相差画素データに基づいて焦点検出動作を実行するか否かを判定する。SEL2127は、焦点検出動作を実行すると判定した場合、当該位相差画素データを位相差画素フレームメモリ214に送信する。
ここで、図4の説明に戻る。測距演算処理部213は、画素データ加工部212による判定及び演算が終了すると、画素データ加工部212から位相差画素フレームメモリ214に書込まれた加工後の位相差画素データを読出す。測距演算処理部213は、判定部2121による判定の結果、加算された位相差画素データに基づき焦点検出動作を実行すると判定された場合、位相差画素演算部2122により加算された位相差画素データを適用し、焦点検出動作を実行する。また、測距演算処理部213は、判定部2121による判定の結果、加算された位相差画素データに基づき焦点検出動作を実行しないと判定された場合、当該現在フレームの位相差画素データを適用して焦点検出動作を実行する。測距演算処理部213は、焦点検出動作の実行結果をCPU16に送信する。
ここで、本実施形態における測距演算処理は、R/L開口画素、及びT/B開口画素による画素データのペア間で生じる位相差を検出することで実行される。ただし、検出される位相差は、R/L,T/Bのいずれの場合も1画素ずつのペア間の位相差だけでなく、測距エリア内等の所定の範囲内における複数の画素のペア間の位相差の平均値を用いる。
位相差画素フレームメモリ214は、各部211,212,213から読出し/書込み可能なメモリであり、R開口画素保持部2141と、L開口画素保持部2142と、T開口画素保持部2143と、B開口画素保持部2144と、を備えている。各開口画素保持部2141−2144は、開口方向等の条件毎にラスタ順に位相差画素抽出部211で分類されて読出された位相差画素データを、座標情報とフレーム単位で対応付けて記憶する。すなわち、R開口画素保持部2141は右開口画素、L開口画素保持部2142は左開口画素、T開口画素保持部2143は上開口画素、B開口画素保持部2144は下開口画素の位相差画素データを、それぞれ記憶する。また、各開口画素保持部2141−2144は、位相差画素抽出部211によって遮光率の違い等のその他の位相差画素特性に応じて更に分類された位相差画素データを記憶してもよい。位相差画素フレームメモリ214は、位相差画素演算部2122の要求に応じて過去フレームの位相差画素データを読出し、位相差画素演算部2122に送信する。位相差画素フレームメモリ214は、画素データ加工部212から送信された加工後の位相差画素データを記憶し、測距演算処理部213からの要求に応じて測距演算処理部213に送信する。なお、位相差画素フレームメモリ214は、測距演算部21内に限らず、メモリ部17内に併設されてもよい。
ここで、本実施形態において読出された画素データが格納されるメモリ内の記憶領域の例を、図6及び図7に示す。図6の例では、あるフレームの画素データは、記録画素と位相差画素との区別なく、水平同期信号2011をトリガとして、1行目に配置された画素の画素データから順に、1行毎に撮像素子13から読出され、順次記憶領域に書込まれる。また、次のフレームの画素データは、垂直同期信号2012をトリガとして、再度1行目から順に、1行毎に撮像素子13から読出され、記憶領域に書込まれる。図6では、記憶領域2013は、画素配列の行及び列に対応する座標が割当てられた領域を示している。ここで、記憶領域2013の左端及び上端に示される番号は、それぞれ画素配列の行番号及び列番号に対応している。記憶領域2013内の空白の記憶領域2013aは、記録画素データの記憶領域であることを示している。また、L,R,T,B等の文字の付された記憶領域2013bは、それぞれ左右上下方向に開口された位相差画素データの記憶領域であることを示している。記憶領域2013内には、垂直同期信号2012をトリガとして1フレームの画素データの格納が開始され、水平同期信号2011をトリガとして1行毎に画素データが格納される。位相差画素データは、各位相差画素が遮光されている左右上下(L,R,T,B)の向き、遮光率、光学フィルタの種類等の位相差画素特性に更に関連付けて記憶領域2013bに格納されてもよい。
図7では、記憶領域2014,2015に記録画素データと位相差画素データとを分けて格納する例を示している。図7の例では、あるフレームの画素データは、水平期間の前半においては記録画素の画素データのみから読出され、順次記憶領域に書込まれる。また、図7の例では、あるフレームの画素データは、水平期間の後半においては位相差画素の画素データのみから読出され、順次記憶領域に書込まれる。図7では、記憶領域2014aは、図6と同様に記録画素データが記憶される領域であることを示している。一方、記憶領域2014bは、位相差画素データが記憶される領域ではなく、周囲の隣接する同色画素の記録画素データにより補間された値X(n)が記録画素データとして記憶される領域であることを示している。位相差画素データは、水平期間の前半において、例えば、撮像素子13に設けられるラインメモリに一時的に保持される。ラインメモリに保持された位相差画素データは、同一行の記録画素データが記憶領域2014に格納された後に読出され、記憶領域2015bに格納される。位相差画素データが格納される領域以外の記憶領域2015aには、ダミーデータDが格納される。いずれにしても、本実施形態において読出された画素データは、画素配列の座標と対応付けられて記憶される。また、当該画素配列の座標は、位相差画素データの遮光向き、遮光率、光学フィルタの種類といった位相差画素特性とも関連付けられて記憶される。
次に、以上のように本実施形態の撮像装置の具体的な動作を説明する。図8は、撮像装置による焦点検出動作の処理を示すフローチャートである。図8における各処理は、主に測距演算部21及び画像処理部24によって実行される。また図8は、例えば静止画撮影モード中に操作部20のシャッタボタンを半押し状態にした場合に開始されるが、動画撮影時やライブビュー時においても開始されてもよい。なお、図8における各処理に伴い、カメラ1は、一例として図9に示すタイミングチャートにしたがって動作する。すなわち、カメラ1は、CMOSセンサ方式にしたがい撮像素子駆動部15を駆動し、ローリング読出しによって撮像素子13に蓄積された電荷から画素データを読出すものとして以下に説明する。
まず始めに、CPU16は、図9(A)に示す垂直同期信号及び図9(B)に示す水平同期信号を撮像素子駆動部15に送信する。
次に、撮像素子駆動部15は、図9(C)に示すように、撮像素子13における電荷の蓄積、及び画素データの出力走査を実行する。具体的には、撮像素子駆動部15は、時刻T0から電子シャッタの制御を行う。撮像素子13の受光部は、この制御によって撮像素子13上に配置された画素の上部から下部の順に1行ずつ時間をずらしながら一定時間露光される。撮像素子駆動部15は、露光終了後の時刻T1において画素データの出力を開始する。ここで、図9では、位相差画素は、記録画素の配置された範囲のうち、受光面の上下端を除く範囲に配置されている。したがって、記録画素データF1は、図9(D)に示すように、時刻T1から時刻T4の期間で出力され、位相差画素データZ1は、図9(E)に示すように、時刻T2から時刻T3の期間で出力される。カメラ1は、このような時刻T0から時刻T4における一連の動作をフレーム毎に繰り返し実行し、フレーム番号nにおける記録画素データFn及び位相差画素データZnを順次出力する。
位相差画素抽出部211は、撮像素子13の撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す(ST110)。図9では、位相差画素抽出部211は、フレーム番号“1”において出力された位相差画素データZ1を読出し、位相差画素フレームメモリ214に記憶すると共に、画素データ加工部212に送信する。この時、位相差画素フレームメモリ214には、過去フレームの画素データとして、フレーム番号“0”の位相差画素データZ0が少なくとも記憶されている。
判定部2121は、各位相差画素の特性と、各位相差画素に対応する位相差画素データとに応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する(ST120)。
具体的には、判定部2121は、加算された位相差画素データに基づき焦点検出動作を実行すると判定した場合(ST120;yes)、現在フレームの位相差画素データZ1を位相差画素演算部2122に送信する。位相差画素演算部2122は、過去フレームの位相差画素データを位相差画素フレームメモリ214から受信し、各フレーム間における同一座標の位相差画素データを加算する(ST130)。位相差画素演算部2122は、当該加算された位相差画素データを位相差画素フレームメモリ214に送信する。一方、判定部2121は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定した場合(ST120;no)、現在フレームにおける位相差画素データを位相差画素フレームメモリ214に送信する。画素データ加工部212は、全ての位相差画素についてステップST120−130が実行されるまで、ステップST120−ST130を繰り返し実行する(ST140)。
なお、図9の例では、判定部2121は、全ての位相差画素データについて、加算すると判定している場合を想定している。したがって、位相差画素演算部2122は、図9(F)に示すように、位相差画素データZ1と、1フレーム前の位相差画素データZ0とを加算して位相差画素データS1を生成している。
ここで、図9に示す加算演算の例は、撮像素子13の画素配列上で考えると、図10に示すように、同一座標に配置された位相差画素の画素データ同士について加算演算が実行されている。ここで、各画素配列2016−2018の位相差画素データの数値は、それぞれフレーム番号“0”、フレーム番号“1”、及びフレーム番号“0”とフレーム番号“1”とを加算演算した場合の値を示している。また、各画素配列2016−2018上の空白の領域は、記録画素であることを示し、数値が付された領域は、当該数値の位相差画素データが出力された位相差画素であることを示している。なお、実際の加算演算時は、位相差画素抽出部211は、図11に示すように、位相差画素データのみをラスタ順、又は開口向き順等の所定の順に並び替えた状態で記憶領域から読出している。ここで、各記憶領域2019−2021の数値は、それぞれフレーム番号“0”、フレーム番号“1”、及びフレーム番号“0”とフレーム番号“1”とを加算演算した場合の値を示している。また、読出された位相差画素データは、必要に応じて遮光向き、遮光率、光学フィルタの種類といった位相差画素特性とも関連付けられている。したがって、位相差画素演算部2122は、予め定められた位相差画素の座標配置や、開口向き、遮光率、及び光学フィルタ種別等の位相差画素特性との対応関係を保ちつつ、最小限のメモリ領域でフレーム間の演算を実行することができる。
測距演算処理部213は、位相差画素フレームメモリ214から加工後の位相差画素データを読出す。測距演算処理部213は、当該加工後の位相差画素データに基づき、加算された位相差画素データに基づき焦点検出動作を実行すると判定された位相差画素には、加算された位相差画素データを適用する。また、測距演算処理部213は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定された位相差画素には、現在フレームの位相差画素データを適用して、最終的に焦点検出動作を実行する(ST150)。
画像処理部24は、焦点検出動作が実行されたフレームにおいて出力された記録画素データを受信し、画像処理を施して画像データを生成する。表示部18は、生成された画像データを例えば液晶ディスプレイに表示する(ST160)。
また、CPU16は、測距演算処理部213によって検出された焦点に関する情報に基づき、レンズ駆動部12に制御信号を送信し、以降のフレームにおいて焦点調節制御を実行させる。また、CPU16は、撮像素子駆動部15に制御信号を送信し、焦点調節後の記録画素データを出力するよう制御する。画像処理部24は、焦点調節された記録画素データを受信し、画像処理を施して画像データを生成する。表示部18は、焦点調節された画像データを例えば液晶ディスプレイに表示する。
次に、上述したステップST120−ST150における位相差画素の特性と、当該位相差画素に対応する位相差画素データとに応じた判定動作及び演算動作の詳細について説明する。
判定部2121は、各位相差画素データの大きさに応じて、判定動作を実行してもよい。具体的には、判定部2121は、現在フレームの位相差画素データが所定の閾値未満の場合、過去フレームにおける同一座標の位相差画素データと加算された位相差画素データに基づき焦点検出動作を実行すると判定する。また、判定部2121は、現在フレームの位相差画素データの大きさに応じて、加算する過去フレームのフレーム数を決定してもよい。例えば、現在フレームの位相差画素データの大きさが所望の値の1/3程度であった場合、判定部2121は、演算情報として過去フレームのフレーム数を“2”と設定し、位相差画素演算部2122に送信する。図12は、過去の2フレームと、現在フレームとの加算を行う場合のタイミングチャートであり、図12(A)−(E)は、図9(A)−(E)と同じである。この場合、位相差画素演算部2122は、図12(F)に示すように、現在フレームのフレーム番号が“2”の時、過去の2フレームにおける位相差画素データZ0,Z1を、現在フレームの位相差画素データZ2と加算し、位相差画素データS1を算出する。
また、判定部2121は、現在フレームの位相差画素データが所定の閾値以上の場合、当該位相差画素データについて、加算演算を実行しないと判定してもよい。また、判定部2121は、位相差画素データが飽和近傍である場合には、予め除算を行ったうえで、フレーム加算を実行すると判定してもよい。
また、判定部2121は、各位相差画素の特性として、各位相差画素の遮光率の特性に応じて判定動作を実行してもよい。一般に、位相差画素の遮光率が小さい場合、遮蔽される光は少量であるため、測距精度が確保できる程度の位相差画素データの出力が得られる。一方、遮光率が大きい場合、受光部に達する光が大幅に遮蔽されるため、十分な出力が得られない場合がある。したがって、判定部2121は、判定対象の位相差画素データに対応する位相差画素の遮光率が大きい場合、過去フレームにおける同一座標の位相差画素データと加算された位相差画素データに基づき焦点検出動作を実行すると判定する。一方、判定部2121は、遮光率が小さい場合、位相差画素データを加算しないと判定してもよく、ノイズ除去を目的として、加算平均に基づき焦点検出動作を実行すると判定してもよい。
また、判定部2121は、各位相差画素の受光部の前面に配置された光学フィルタの特性に応じて、判定動作を実行してもよい。各位相差画素は、図13に示すように、波長帯によって異なる分光特性を有するG,B,Rフィルタが配置されている。Gフィルタ分光特性3001は、比較的広い波長帯を透過する。したがって、Gフィルタが配置された位相差画素は、被写体からの反射光が青、赤成分であっても測距精度が確保できる程度の位相差画素データが得られる。一方、Bフィルタ分光特性3002は、赤成分等の長波長帯の透過率が低いため、Bフィルタが配置された位相差画素は、長波長領域の被写体の場合に十分な出力が得られない場合がある。同様に、Rフィルタ分光特性3003は、青成分等の短波長帯の透過率が低いため、Rフィルタが配置された位相差画素は、短波長領域の被写体の場合に十分な出力が得られない場合がある。したがって、判定部2121は、Gフィルタが配置された位相差画素データについては加算しないと判定し、B,Rフィルタが配置された位相差画素データについては加算すると判定する。また、判定部2121は、光学フィルタの種類毎に位相差画素データの平均値を算出し、当該平均値が所定の閾値未満の場合は、加算フレームの位相差データを用いて測距演算を行うよう判定してもよい。また、判定部2121は、現フレームの記録画素データをメモリ部17から読出し、当該記録画素データにおけるR,G,Bの出力レベルを基に、加算演算を行うか否かを判定してもよい。
以上説明したように、第1の実施形態においては、位相差画素抽出部211は、撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す。判定部2121は、上記各位相差画素の特性と、上記各位相差画素に対応する位相差画素データとに応じて、現在フレーム及び過去フレームにおける同一座標について加算された位相差画素データに基づき、焦点検出動作を実行するか否かを判断するようにしている。これにより、記録画素及び位相差画素の画素データを出力するフレームを分離することなく、測距演算の確度を上げることができる。したがって、記録画素出力の連続性を損なうことなく焦点検出動作を実行することができる。また、動画像モードのように記録画素によるフレームを連続して出力する必要がある場合にも、位相差画素の蓄積時間を稼ぐために位相差画素読出しフレームを伸長する必要がなく、スムーズな表示が可能となる。加えて、位相差画素部のみ、独立した電子シャッタ回路を設けることなく、測距演算の確度を上げることができる。したがって、撮像回路の複雑化、開口率の低下、追加回路の寄生容量増加等による画素の読出し応答性低下を抑えることにより、出力段差や残像等の隣接画素に対しての性能劣化を防ぐことができる。また、フレーム内の位相差画素に対して個別に加算するか否かを判断することができるため、白とびや黒つぶれする位相差画素出力をなくすことができる。また、フィルタ構成が記録画素と異なる構成となることによる集光率の悪化や、感度が高すぎることによる隣接する記録画素への漏れこみといった副作用をなくすことができる。
また、判定部2121は、各位相差画素データの出力に応じて、加算された位相差画素データに基づき、焦点検出動作を実行するか否かを判定するようにしている。これにより、出力の低い位相差画素データであっても、十分な測距演算に必要な出力を確保することができる。特に、ライブビューや動画時等のように、センサの高速化に伴ってセンサ出力の階調を落とす運用がなされる場合においても、複数の過去フレームの出力を加算することで、測距演算誤差を抑えることができる。
また、判定部2121は、各位相差画素の遮光率の特性に応じて、加算された位相差画素データに基づき、焦点検出動作を実行するか否かを判定するようにしている。これにより、入射光量が大幅に制限されている位相差画素と、あまり制限されていない位相差画素とで、測距演算誤差に差が生じないようにすることができる。
また、判定部2121は、各位相差画素の受光部の前面に配置された光学特性フィルタの特性に応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定するようにしている。これにより、被写体の反射光の波長帯によって生じる位相差画素データの減衰によらず、測距演算精度を確保することができる。また、位相差画素データの出力を得るためにカラーフィルタを配置せずに、透明フィルタを配置する構成によることなく、測距演算精度を確保することができる。
また、画像処理部24は、測距演算部21によって焦点検出動作を実行して得られたフレームにおける記録画素データを読出し、画像データを生成する。表示部18は、生成された画像データに基づき、表示動作を実行するようにしている。これにより、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することができる。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。上述の第1の実施形態は、位相差画素データの大きさや、位相差画素の遮光率、光学フィルタの特性等の位相差画素特性の違いといった、撮像素子全域にわたって適用可能な条件に応じて、フレーム加算を実行するか否かを判定するようにしている。しかしながら、実際の焦点検出動作の実行に際しては、焦点検出を実行する領域をより限定することで、より精確な焦点検出を実行する場合も考えられる。第2の実施形態は、上述の第1の実施形態に加え、焦点検出動作が実行される測距エリアが更に設定される場合において、当該設定された測距エリア内の位相差画素について、フレーム加算を実行するか否かを判定するようにした例である。ここで、第2の実施形態は、測距エリアの設定動作及び判定動作以外は第1の実施形態と同様である。したがって、カメラの構成や、上記第1の実施形態と異なる動作以外の動作については、説明を省略する。
図14は、第2の実施形態における撮像装置による焦点検出動作を示すフローチャートである。まず始めに、操作部20は、ユーザからの操作を受けて焦点検出動作を実行する測距エリアを設定する(ST210)。操作部20は、当該設定された測距エリアに関する情報をCPU16に送信する。CPU16は、設定された測距エリアに基づき、焦点検出動作に係る動作シーケンスを実行する。
CPU16は、露出演算部22の演算結果に基づく制御信号を撮像素子駆動部15に送信する。撮像素子13及び撮像素子駆動部15は、撮像素子13における露出による電荷の蓄積、及び画素データの出力走査を実行する。
位相差画素抽出部211は、撮像素子13の撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す(ST220)。判定部2121は、各位相差画素の特性と、各位相差画素に対応する位相差画素データとに応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する。また、判定部2121は、位相差画素が含まれる焦点検出エリアに応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する(ST230)。
具体的には、判定部2121は、加算された位相差画素データに基づき焦点検出動作を実行すると判定した場合(ST230;yes)、現在フレームの位相差画素データZ1を位相差画素演算部2122に送信する。位相差画素演算部2122は、過去フレームの位相差画素データを位相差画素フレームメモリ214から受信し、各フレーム間における同一座標の位相差画素データを加算する(ST240)。位相差画素演算部2122は、当該加算された位相差画素データを位相差画素フレームメモリ214に送信する。一方、判定部2121は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定した場合(ST230;no)、現在フレームにおける位相差画素データを位相差画素フレームメモリ214に送信する。画素データ加工部212は、測距エリア内の全ての位相差画素についてステップST230−240が実行されるまで、ステップST230−ST240を繰り返し実行する(ST250)。
測距演算処理部213は、位相差画素フレームメモリ214から加工後の位相差画素データを読出す。測距演算処理部213は、当該加工後の位相差画素データに基づき、加算された位相差画素データに基づき焦点検出動作を実行すると判定された位相差画素には、加算された位相差画素データを適用する。また、測距演算処理部213は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定された位相差画素には、現在フレームの位相差画素データを適用して焦点検出動作を実行する(ST260)。
画像処理部24は、焦点検出動作が実行されたフレームにおいて出力された記録画素データを受信し、画像処理を施して画像データを生成する。表示部18は、生成された画像データを例えば液晶ディスプレイに表示する(ST270)。
また、CPU16は、測距演算処理部213によって検出された焦点に関する情報に基づき、レンズ駆動部12に制御信号を送信し、以降のフレームにおいて焦点調節制御を実行する。また、CPU16は、撮像素子駆動部15に制御信号を送信し、焦点調節後の記録画素データを出力するよう制御する。画像処理部24は、焦点調節された記録画素データを受信し、画像処理を施して画像データを生成する。表示部18は、焦点調節された画像データを液晶ディスプレイに表示する。
次に、上述したステップST230−ST260における焦点検出動作が実行される測距エリアに応じた判定動作及び演算動作の詳細について説明する。
判定部2121は、位相差画素が含まれる測距エリア(焦点検出エリア)に応じて、判定動作を実行してもよい。具体的には、判定部2121は、測距エリアにおける各位相差画素の像高に応じて判定動作を実行してもよい。
図15は、撮像素子13と像高との相関関係の一例を示した図である。図15(A)は、領域Dを光軸中心相当領域として、記録画素配置領域4001内の位相差画素配置領域4002を光軸からの距離(像高)に応じて水平方向に領域A−Gのように区分けした様子を示している。ここで、領域A−Gにおける記録画素データ及び位相差画素データの出力レベルは、像高を横軸とした場合、図15(B)のように表される。すなわち、記録画素データ出力4003は、マイクロレンズの入射角特性、瞳位置等のレンズ特性パラメタに起因して、光軸からの距離が離れている領域A及びGの方が光軸に近い領域Dよりも出力レベルが低下する。一方、位相差画素データは、出力レベルの変化の様子が開口向きによって異なる。すなわち、右開口位相差画素データ出力4004rは、左側の領域Aにおいて出力レベルが低下し、左開口位相差画素データ出力4004lは、右側の領域Gにおいて出力レベルが低下する。このように、同一の像高における位相差画素は、その開口向きにおいて出力レベルの大きさに差が生じる。測距演算では、図15(C)に示すように、相関演算を実行する際に、R/L,T/Bのペアにおける位相差画素データの出力差をゲインアップ等によって補正する。図15(C)の例では、右開口位相差画素データ出力4004r及び左開口位相差画素データ出力4004lは、画素データ出力が均一化されて、補正後右開口位相差画素データ出力4005r及び補正後左開口位相差画素データ出力5005lとなっている。しかしながら、上述のように出力レベルに大きな差が生じる場合、ゲインアップによると出力差の補正が正しく実行できず、結果として測距精度が低下する要因となる。
したがって、判定部2121は、焦点検出動作が実行される対象の測距エリアが含まれる像高領域に応じて、予め記憶された各像高における出力相対比に関する情報に基づき、R/L又はT/Bの出力レベルを均一化するか否かを判定する。判定部2121は、出力レベルを均一化すると判定した場合、R/L又はT/Bの位相差画素のうち、出力が低い方の画素データをフレーム毎に加算するように判定する。また、判定部2121は、出力が高いほうの画素データについては、フレーム毎に加算した後、平均値を算出するように判定するようにしてもよい。
また、判定部2121は、測距エリアにおける垂直開始座標及び垂直終了座標の間の走査時間と、蓄積時間とに応じて判定動作を実行してもよい。
図16は、受光面に配置された位相差画素の開口向きと、相関演算時に相関を取る焦点検出画素データとの関係の一例を示した図である。図16では、左右上下に開口位相差画素が配置された領域の画素データを、それぞれL,R,T,Bとして示している。ここで、図16の例では、T/B画素による相関演算は、行方向(垂直方向)に算出された位相差画素データ(T1,B1)、(T2,B2)、(T3,B3)、(T4,B4)に対して実行される。このように、T/B画素において相関演算が実行される場合、異なる時間帯において露光された位相差画素同士で相関演算が実行される。このため、光源の出力に時間変動がある場合、各位相差画素データ間における出力に差が生じる。測距演算処理部213は、このような位相差画素データを適用して焦点検出動作を実行すると、光源の時間変化による出力変動を、被写体成分と誤認識してしまう可能性がある。
一方、R/L画素による相関演算は、列方向(水平方向)に算出された位相差画素データ(R1,L1)、(R2,L2)、(R3,L3)、(R4,L4)に対して実行される。したがって、R/L画素において相関演算が実行される場合、同じ時間において露光された位相差画素同士で相関演算が実行されるため、光源の出力に時間変動がある場合においても、各位相差画素データ間における出力の差は小さい。
このように、例えばフリッカ等に代表される光源のちらつきによって光源の明暗が変動する場合、このフリッカ成分によって主にT/B方向開口画素の測距演算に影響が出る可能性がある。また、例えば、夜景やイルミネーション等のLED(Light Emitting Diode)光源は、100Hz等のフリッカ成分を含むうえに、局所的に光源が存在するため、フリッカ演算部23によるフリッカ検出そのものが判断できない場合がある。
ここで、フリッカ成分によって測距エリア内の位相差画素出力が変動する様子を説明する一例として、測距エリアの垂直走査開始から垂直走査終了までの走査時間及び蓄積時間の関係と、時間変動する光源出力との関係を図17,18に示す。図17(A),(B)は、行方向に分布した複数の測距エリア(H1−H5又はH’1−H’3)における蓄積及び出力走査を示すタイミングチャートと、光源出力5001の時間変動との関係を示す模式図である。光源出力5001の時間変動は、輝度が周期的に変化していることを示している。また、図18は、図17(B)の測距エリア内のT/B方向開口画素に蓄積される光源出力5001が変動する様子を示す模式図である。なお、図18内の各画素配置領域5002,5003は、隣接するフレームにおける測距エリアH’1を含む行を示している。なお、図18では、光源出力5001が強い時間帯に電荷が蓄積された行を白く示し、光源出力5001が弱い時間帯に電荷が蓄積された行をハッチングして示している。
図17(A)における測距エリアH1では、時刻T10−T30において上部(垂直開始座標)の行の蓄積を実行し、時刻T20−T40において下部(垂直終了座標)の行の蓄積を実行している。ここで、時刻T10−T30及び時刻T20−T40における光源出力5001の変動は、大半の時間帯が重複しており、いずれも高い出力が継続している。
一方、図17(B)における測距エリアH’1では、時刻T’10−T’30において垂直開始座標の行の蓄積を実行し、時刻T’20−T’40において垂直終了座標の行の蓄積を実行している。また、次のフレームでは、時刻T’50−T’70において垂直開始座標の行の蓄積を実行し、時刻T’60−T’80において垂直終了座標の行の蓄積を実行している。ここで、時刻T’10−T’30における光源出力5001の変動は、比較的弱い出力が継続している。したがって、図18の画素配置領域5002のうち垂直開始座標の行は、光源出力5001が弱い時間帯に電荷が蓄積されている。一方、時刻T’20−T’40における光源出力5001の変動は、比較的強い出力が継続している。したがって、図18の画素配置領域5002のうち垂直終了座標の行は、光源出力5001が強い時間帯に電荷が蓄積されている。このような場合、測距エリアH’1内のT/B画素出力は、フリッカ成分による影響を受け、相関演算時の精度が劣化する。これは、測距エリアH’1内の位相差画素配置行数分に読出しに要する時間T’30−T’40が、蓄積時間T’10−T’30に対して同等か、長いためである。
このようなフリッカ成分の影響は、複数のフレーム毎に変動して現れる。例えば、図18において、時刻T’50−T’70における光源出力5001の変動は、比較的強い出力が継続している。したがって、図18の次フレームの画素配置領域5003のうち垂直開始座標の行は、光源出力5001が強い時間帯に電荷が蓄積されている。一方、時刻T’60−T’80における光源出力5001の変動は、比較的弱い出力が継続している。したがって、図18の次フレームの画素配置領域5003のうち垂直終了座標の行は、光源出力5001が強い時間帯に電荷が蓄積されている。すなわち、フリッカ成分によって発生する測距エリア内の行毎の位相差画素データの変動は、フレーム毎に加算又は加算平均することによって平滑化することができる。
したがって、判定部2121は、以下に示す条件式が成立する場合、T/Bの位相差画素の画素データをフレーム毎に加算するように判定することにより、フリッカ成分の影響を平滑化する。
(測距エリア内の位相差画素配置行数分の読出しに要する時間)≧蓄積時間
また判定部2121は、上述の条件式が成立する場合、T/Bの位相差画素の画素データをフレーム毎に加算した後、加算したフレーム数で割ることで加算平均を算出するように判定してもよい。
以上説明したように、第2の実施形態においては、焦点検出動作が実行される焦点検出エリアを設定し、各位相差画素が含まれる上記設定された焦点検出エリアに応じて判定するようにしている。これにより、設定された焦点検出エリアの像高に応じて加算処理を行うか否かを判定するので、第1の実施形態の効果に加え、像高に応じて変動する出力レベルを補正することができる。したがって、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することができる。
具体的には、測距演算では、R/L,T/Bのペアとなる位相差画素データの出力差を補正し、R/L,T/B間の相関演算を実行する。しかしながら、位相差画素は、設定された測距エリアの像高と、当該測距エリア内の位相差画素の開口向きに応じて、R/L、又はT/B間の出力が不均一となってしまうため、測距演算の精度が劣化してしまう。従来技術では、出力を均一化するためにR/L、又はT/B間の位相差画素データの一方に対してゲインを付加している。このため、従来技術では、出力の低い像高領域においては、ゲインを付加することによりデータが離散的になり、測距演算精度に影響を与える可能性がある。また、従来技術では、データ内のノイズもゲインによって増幅されるという影響もある。これに対し、第2の実施形態では、開口向きによる出力の不均一に対して位相差画素毎に加算するか否かを判定することにより、出力が低い像高領域はフレーム毎に出力を加算することで出力レベルを確保することができる。また、フレーム間で出力を加算するので、ノイズの影響を軽減しつつ、R/L、又はT/B間の出力を均一化することができる。
また、上記設定された焦点検出エリア内における垂直開始座標及び垂直終了座標の間の走査時間と、蓄積時間とに応じて判定するようにしている。これにより、ローリングシャッタ制御で1行毎にリセット処理、読出し処理が実行される場合においてT/B画素に生じるフリッカの影響を低減することができる。また、グローバルシャッタ制御においても、フレーム間で生じ得るフリッカの影響による出力レベルの変動を低減することができる。
以上各実施形態に基づいて本発明を説明したが、本発明は上述した各実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。
例えば、本発明の各実施形態における電荷の読出し方式は、上述の例に限らず、図19(A)に示す如き記録画素出力及び位相差画素出力のフレームを分離する方式や、図19(B)に示す如き位相差画素のみ独立した電子シャッタを設ける方式についても適宜適用可能である。
また、本発明の各実施形態における判定動作は、演算量の増加を軽減するために、加算するフレーム数を予め決定してもよい。具体的には、判定部2121は、加算するフレーム数を2のべき乗とすることで、演算量の増加を軽減してもよい。
また、本発明の各実施形態における判定動作は、フレーム間で被写体が移動した場合を考慮して実行してもよい。例えば、画素データ加工部212は、フレーム間で同一の被写体が撮像された位相差画素データの座標が異なる場合、同一の被写体が撮像された位相差画素データ同士について演算を実行してもよい。具体的には、判定部2121は、焦点検出動作を実行すると判定した場合、現在フレームと過去フレームとの間の被写体のずれ量を算出してもよい。判定部2121は、算出したフレーム間の被写体のずれ量に基づき、フレーム間において同一の特徴を有する位相差画素の対応関係を決定してもよい。位相差画素演算部2122は、当該決定された対応関係に基づき、加算演算を実行してもよい。
また、第1の実施形態において示された判定動作及び第2の実施形態において示された判定動作は、それぞれ単独で実施する場合に限らず、任意に組み合わせて実施可能である。具体的には、判定部2121は、位相差画素データの出力と、遮光率の特性と、光学フィルタの特性と、測距エリアと、垂直開始座標及び垂直終了座標の間の走査時間と蓄積時間と、に応じた判定を複合的に実行してもよい。位相差画素演算部2122は、当該複合的に実行された判定の結果に応じて少なくとも加算を含む演算を実行してもよく、測距演算処理部213は、当該演算結果を適用して、最終的に焦点検出動作を実行してもよい。
また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…カメラ、11…レンズ、12…レンズ駆動部、13…撮像素子、14…撮像素子シフト部、15…撮像素子駆動部、16…CPU、17…メモリ部、18…表示部、19記録部、20…操作部、21…測距演算部、22…露出演算部、23…フリッカ演算部、24…画像処理部、25…データ・制御バス、211…位相差画素抽出部、212…画素データ加工部、213…測距演算処理部、214…位相差画素フレームメモリ、1001…記録画素、1002r,1002l,1002t,1002b…位相差画素、1003…マイクロレンズ、1004…受光領域、2011…水平同期信号、2012…垂直同期信号、2013,2014,2015…記憶領域、2016,2017,2018…画素配列、2019,2020,2021…位相差画素配列の記憶領域、2121…判定部、2122…位相差画素演算部、2123,2125,2127…SEL、2124…加減処理部、2126…乗除処理部、2141…R開口画素保持部、2142…L開口画素保持部、2143…T開口画素保持部、2144…B開口画素保持部、3001…Gフィルタ分光特性、3002…Bフィルタ分光特性、3003…Rフィルタ分光特性、4001…記録画素配置領域、4002…位相差画素配置領域、4003…記録画素データ出力、4004l…左開口位相差画素データ出力、4004r…右開口位相差画素データ出力、4005l…補正後左開口位相差画素データ出力、4005r…補正後右開口位相差画素データ出力、5001…光源出力、5002,5003…画素配置領域。

Claims (7)

  1. 複数の記録画素と、前記各記録画素における受光部の開口の一部を遮蔽された複数の位相差画素とを有する撮像素子と、
    前記撮像素子の撮像動作のフレーム毎に、前記各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す読出し手段と、
    前記読出されたフレーム毎の位相差画素データについて、現在フレーム及び過去フレームにおける同一座標の位相差画素データを加算する加算手段と、
    前記各位相差画素の特性と、前記位相差画素に対応する位相差画素データとに応じて、前記加算された位相差画素データに基づく焦点検出動作を実行するか否かを判定する判定手段と、
    前記判定の結果、前記加算された位相差画素データに基づき焦点検出動作を実行すると判定された場合、前記加算手段により加算された位相差画素データを適用し、否の場合、前記現在フレームの位相差画素データを適用して焦点検出動作を実行する焦点検出手段と、
    を有することを特徴とする撮像装置。
  2. 前記判定手段は、前記各位相差画素データの大きさに応じて判定することを特徴とする請求項1に記載の撮像装置。
  3. 前記判定手段は、前記各位相差画素の遮光率の特性に応じて判定することを特徴とする請求項1に記載の撮像装置。
  4. 前記各位相差画素は、前記受光部の前面に異なる特性の光学フィルタが配置され、
    前記判定手段は、前記位相差画素の光学フィルタの特性に応じて判定すること
    を特徴とする請求項1に記載の撮像装置。
  5. 前記撮像素子内において、前記焦点検出動作が実行される焦点検出エリアを設定する焦点検出エリア設定手段を有し、
    前記判定手段は、前記位相差画素が含まれる前記設定された焦点検出エリアに応じて判定すること
    を特徴とする請求項1に記載の撮像装置。
  6. 前記撮像素子内において、前記焦点検出動作が実行される焦点検出エリアを設定する焦点検出エリア設定手段を有し、
    前記判定手段は、前記設定された焦点検出エリア内における垂直開始座標及び垂直終了座標の間の走査時間と、前記蓄積時間と、に応じて判定すること
    を特徴とする請求項1に記載の撮像装置。
  7. 前記撮像素子の撮像動作のフレーム毎に得られた記録画素データに基づいて、表示動作を実行する表示手段を有し、
    前記読出し手段は、前記記録画素データを更に読出し、
    前記表示手段は、前記焦点検出動作が実行されたフレームで得られた前記記録画素データに基づいて、表示動作を実行すること
    を特徴とする請求項1に記載の撮像装置。
JP2015113624A 2015-06-04 2015-06-04 撮像装置 Active JP6412826B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015113624A JP6412826B2 (ja) 2015-06-04 2015-06-04 撮像装置
US15/170,543 US9979876B2 (en) 2015-06-04 2016-06-01 Imaging apparatus, imaging method, and storage medium
CN201610389795.9A CN106254760B (zh) 2015-06-04 2016-06-03 摄像装置和摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015113624A JP6412826B2 (ja) 2015-06-04 2015-06-04 撮像装置

Publications (2)

Publication Number Publication Date
JP2016224385A JP2016224385A (ja) 2016-12-28
JP6412826B2 true JP6412826B2 (ja) 2018-10-24

Family

ID=57452678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015113624A Active JP6412826B2 (ja) 2015-06-04 2015-06-04 撮像装置

Country Status (3)

Country Link
US (1) US9979876B2 (ja)
JP (1) JP6412826B2 (ja)
CN (1) CN106254760B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
JP6700924B2 (ja) * 2016-04-08 2020-05-27 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US10313579B2 (en) 2017-08-31 2019-06-04 Qualcomm Incorporated Dual phase detection auto focus camera sensor data processing
KR102288528B1 (ko) * 2019-11-14 2021-08-10 한국광기술원 증강현실 영상 생성장치 및 방법
JP7302455B2 (ja) * 2019-11-27 2023-07-04 株式会社リコー 撮像装置、フォーカス調整方法、フォーカス調整プログラム
KR20220101998A (ko) * 2021-01-12 2022-07-19 삼성전자주식회사 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977062B2 (ja) * 2001-11-21 2007-09-19 キヤノン株式会社 撮像装置及び焦点調節方法
JP4916095B2 (ja) * 2004-05-13 2012-04-11 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
US20070177048A1 (en) * 2006-01-31 2007-08-02 Phil Van Dyke Long exposure images using electronic or rolling shutter
JP2009036985A (ja) * 2007-08-01 2009-02-19 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP2009239398A (ja) * 2008-03-26 2009-10-15 Victor Co Of Japan Ltd 撮像装置
JP5489641B2 (ja) * 2008-11-11 2014-05-14 キヤノン株式会社 焦点検出装置及びその制御方法
WO2010090025A1 (ja) * 2009-02-05 2010-08-12 パナソニック株式会社 撮像処理装置
JP5319347B2 (ja) 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
JP5159700B2 (ja) * 2009-05-19 2013-03-06 キヤノン株式会社 光学装置及び焦点検出方法
JP5565105B2 (ja) * 2010-05-31 2014-08-06 株式会社ニコン 撮像装置
JP5473977B2 (ja) * 2011-04-14 2014-04-16 キヤノン株式会社 撮像装置およびカメラシステム
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP2013064799A (ja) * 2011-09-15 2013-04-11 Nikon Corp 焦点検出装置、撮像装置
JP6006083B2 (ja) * 2012-10-30 2016-10-12 オリンパス株式会社 撮像装置および撮像方法
WO2014118868A1 (ja) * 2013-01-30 2014-08-07 パナソニック株式会社 撮像装置及び固体撮像装置
JP6238578B2 (ja) * 2013-06-05 2017-11-29 キヤノン株式会社 撮像装置およびその制御方法
JP2015087543A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
US9979876B2 (en) 2018-05-22
CN106254760A (zh) 2016-12-21
JP2016224385A (ja) 2016-12-28
CN106254760B (zh) 2019-05-10
US20160360093A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
JP6412826B2 (ja) 撮像装置
US9794493B2 (en) Image capturing apparatus, image capturing method, and control method
JP5947507B2 (ja) 撮像装置及びその制御方法
US9451145B2 (en) Image capturing apparatus including an image sensor that has pixels for detecting a phase difference and control method for the same
US9247122B2 (en) Focus adjustment apparatus and control method therefor
US9762838B2 (en) Imaging device and signal processing method to correct shading of images having a phase difference
US8040407B2 (en) Image capturing apparatus and image capturing apparatus control method
US10009547B2 (en) Image pickup apparatus that compensates for flash band, control method therefor, and storage medium
JP2015111252A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6652303B2 (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP2014165787A (ja) 撮像装置およびその制御方法、プログラム、記憶媒体
JP6774279B2 (ja) 撮像装置及びその制御方法、情報処理装置、及び情報処理方法
JP6987524B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP5747510B2 (ja) 撮像装置
US11102423B2 (en) Image pickup apparatus that performs flicker detection, control method for image pickup apparatus, and storage medium
JP6391319B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2021158491A (ja) 撮像装置
JP6704718B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2016010008A (ja) 撮像装置及びノイズ補正方法
US20240334069A1 (en) Image capturing apparatus, control method thereof, and storage medium
JP2014057196A (ja) 撮像装置
JP2017169026A (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP6415139B2 (ja) 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム
JP2014143497A (ja) 固体撮像装置
JP2011234225A (ja) 画像処理方法、画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R151 Written notification of patent or utility model registration

Ref document number: 6412826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250