JP6741549B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP6741549B2
JP6741549B2 JP2016203030A JP2016203030A JP6741549B2 JP 6741549 B2 JP6741549 B2 JP 6741549B2 JP 2016203030 A JP2016203030 A JP 2016203030A JP 2016203030 A JP2016203030 A JP 2016203030A JP 6741549 B2 JP6741549 B2 JP 6741549B2
Authority
JP
Japan
Prior art keywords
read
control
noise
focus detection
rows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016203030A
Other languages
English (en)
Other versions
JP2018064249A (ja
JP2018064249A5 (ja
Inventor
和紀 ▲高▼山
和紀 ▲高▼山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016203030A priority Critical patent/JP6741549B2/ja
Priority to US15/727,928 priority patent/US10341556B2/en
Publication of JP2018064249A publication Critical patent/JP2018064249A/ja
Publication of JP2018064249A5 publication Critical patent/JP2018064249A5/ja
Application granted granted Critical
Publication of JP6741549B2 publication Critical patent/JP6741549B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/72Modifying the appearance of television pictures by optical filters or diffusing screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は撮像装置及びその制御方法に関し、特に、各画素から光学系の異なる瞳領域を通過した光束に基づく一対の信号の読み出すことが可能な撮像装置及びその制御方法に関する。
従来より、焦点検出機能と画像信号取得を1枚の撮像素子を用いて実現する技術が知られており、その一例として、特許文献1に、焦点検出用の情報取得用画素を、画像信号取得のための画像取得用画素として兼用できるものが提案されている。この技術によれば、情報取得用画素を水平、垂直方向に4分割し、画像取得時には4分割された領域の信号をすべて加算することで画像信号を得ることができる。また、焦点調節時には、4分割された領域の内、水平または垂直方向の2領域の信号を加算することで、画素内を瞳分割し、いわゆる撮像面位相差方式の焦点調節用信号として用いることができる。
しかしながら、上述したような撮像素子から焦点調節用信号の信号を読み出す場合、予め定められた時間内により多くの画素信号を読み出すことが要求される一方、撮像素子の出力レートが上がることによるシステムへの負荷も大きくなってきている。
そこで、特許文献2は、撮像素子内の任意の領域に焦点検出用の情報取得領域を設定可能にしつつ、撮像素子からの画像信号の読み出し時間を短縮することができる撮像装置を提案している。この撮像素子における焦点検出用の情報取得領域では、瞳分割された各画素の複数の光電変換部から信号を独立に読み出し、独立に読み出された信号を撮像装置内で加算して画像信号としている。一方、画像信号取得のための画像取得領域では、複数の光電変換部の信号を画素毎に撮像素子内で加算してから読み出して、画像信号としている。
特開2007−325139号公報 特開2012−155095号公報
しかしながら、このようにして情報取得領域から得られた画像信号と、画像取得領域から得られた画像信号とでは、ノイズのレベルが異なり、領域ごとにノイズの差が見えてしまうという問題がある。
本発明は上記問題点を鑑みてなされたものであり、撮像面位相差方式の焦点調節を行う場合に、焦点検出用の情報取得領域と画像信号取得のための画像取得領域とで、ノイズの差を見えにくくすることを目的とする。
上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、前記複数の光電変換部から、瞳分割した信号を得られるように読み出す第1の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部の信号を混合して画像信号を読み出す第2の読み出し制御のいずれかにより、前記撮像素子から読み出しを行うように制御する制御手段と、焦点検出を行う焦点検出領域を含む行のうち、前記第1の読み出し制御により読み出しを行う行を設定する設定手段と、露出状態に応じて設定されたゲインにより、前記撮像素子から読み出された信号を増幅する増幅手段と、前記第1の読み出し制御により読み出された信号から求めた前記マイクロレンズごとの画像信号と、前記第2の読み出し制御により読み出された前記マイクロレンズごとの画像信号に対して、隣接する行の画像信号を用いて信号処理を行う信号処理手段と、を有し、前記設定手段は、前記ゲインに基づいて、前記第1の読み出し制御により読み出しを行う行を設定する。
本発明によれば、撮像面位相差方式の焦点調節を行う場合に、焦点検出用の情報取得領域と画像信号取得のための画像取得領域とで、ノイズの差を見えにくくすることができる。
本発明の第1の実施形態における撮像装置の概略構成を示すブロック図。 実施の形態における撮像素子の構成例を示す図。 第1の実施形態における情報取得領域と、画像取得領域と、フィルタ処理との関係を説明する図。 第1の実施形態における読み出し領域制御部の制御動作を示すフローチャート。 第2の実施形態における撮像装置の概略構成を示すブロック図。 第2の実施形態におけるノイズ抑圧部の抑圧度合を示す図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
<第1の実施形態>
図1は、本発明の第1実施形態における撮像装置の概略構成を示すブロック図である。図1において、ズームレンズ、フォーカスレンズ、絞りを含む光学系1は、光学系駆動部2からの制御信号により、絞りとレンズを駆動して、適切な明るさに制御された被写体像を撮像素子3上に結像させる。撮像素子3は、光学系1の射出瞳の異なる領域を通過した光束をそれぞれ受光し、光電変換により電気信号に変換して、瞳分割された画像信号を出力する複数の光電変換部を有する。撮像素子3は、撮像素子駆動部4により制御される駆動パルスで駆動され、瞳分割された一対の焦点検出信号を個別に取得可能に読み出すことができる。この際に、撮像素子3に後述するようにして設定された一対の焦点検出信号取得のための情報取得領域からは、複数の光電変換部211a,211bから瞳分割された電気信号をそれぞれ独立に読み出す。一方、後述するようにして設定された画像信号取得のための画像取得領域からは、複数の光電変換部211a,211bで瞳分割された電気信号を、撮像素子3内で画素毎に混合して読み出す。撮像素子駆動部4からの駆動パルスは、読み出し領域制御部11からの視差画像取得領域情報に基づいて制御される。
ここで、撮像素子3の構成及び読み出し制御について、図2を参照して説明する。図2(a)は本実施形態における撮像素子3の画素配列を示した図で、2次元CMOSエリアセンサの縦(Y方向)6行と横(X方向)8列の範囲を、光学系1側から観察した状態を示している。撮像素子3にはベイヤー配列のカラーフィルタが設けられている。本実施形態のベイヤー配列は、例えば、奇数行の画素には、左から順に緑(G)と赤(R)のカラーフィルタがX方向に交互に配置され、偶数行の画素には、左から順に青(B)と緑(G)のカラーフィルタがX方向に交互に配置されている。画素211において、行列状に配置された各オンチップマイクロレンズ211iの内側に配置された複数の矩形は、それぞれ光電変換部211a,211bを表している。
本実施形態の撮像素子3に含まれる光電変換部211a,211bは、光学系1の異なる瞳部分領域を各々通過する光束を受光し、電気信号に変換する。なお、本実施形態では、撮像素子3のすべての画素の光電変換部はX方向に2分割され、分割された複数の光電変換部211a,211bからそれぞれ独立に信号を読み出しできる構成となっているが、本発明はこれに限られるものではない。例えば、Y方向に分割しても、X方向およびY方向に複数に分割された構成であっても良い。そして、それぞれ読み出しされた信号を加算することにより、画素毎の画像信号を得ることができる。例えば、光電変換部211aの出力と、光電変換部211bの出力が読み出される場合、光電変換部211aの出力と光電変換部211bの出力を加算することで取得する。これらの分割された光電変換領域の光電変換信号は、公知の位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される立体(3D)画像を生成するために用いることもできる。一方で、2つの光電変換信号の和は、通常の撮影画像として用いられる。
なお、ここでは、撮像素子3の各画素の複数の光電変換部からそれぞれ信号を読み出す場合について説明したが、本発明はこれに限られるものではない。例えば、光電変換部211a,211bのいずれか一方の焦点検出信号と、複数の光電変換部の信号を画素毎に混合して読み出し、混合して読み出した画像信号から、焦点検出信号を減算することで、もう一方の焦点検出信号を得るようにしてもよい。
図2(b)は本実施形態の撮像素子3の読み出し回路の構成例を示した図である。151は水平走査回路、153は垂直走査回路である。そして各画素の境界部には、水平走査ライン152a及び152bと、垂直走査ライン154a及び154bが配線され、各光電変換部211a,211bからはこれらの走査ラインを介して信号が外部に読み出される。
露出評価値算出部5は、上記構成を有する撮像素子3から得られた画像信号に基づいて露出状態を検出し、画像全体が適切な露出となるように絞りを制御する。また、絞りを開放としても明るさが足りない場合は、画像信号が適切な露出となるようなゲインを生成し、露出制御部6へ出力する。露出制御部6は露出評価値算出部5からのゲインを、撮像素子3から出力された信号に適用して増幅して、焦点検出部7及び現像部8へ出力する。
焦点検出部7は、露出制御部6から出力された瞳分割された一対の焦点検出信号から、位相差方式のAFを行って、焦点状態を求める。
本実施形態においては、上述したように図2(a)に示すマイクロレンズ211iと、分割された光電変換部211a,211bで撮影光学系の射出光束を瞳分割する。そして、同一の画素行に配置された所定範囲内の複数の画素211について、光電変換部211aの出力をつなぎ合わせて編成したものを、第1の焦点検出信号(AF用A像)とする。同様に、光電変換部211bの出力をつなぎ合わせて編成したものを第2の焦点検出信号(AF用B像)とする。光電変換部211a,211bの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の複数色いずれかの色成分の出力であるため、これらの出力を合成して生成した疑似的な輝度(Y)信号を用いる。但し、赤、青、緑の色毎に、AF用A像、AF用B像を編成してもよい。このように生成したAF用A像とB像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量(デフォーカス量)を検出することができる。なお、このような撮像素子は、特開2004−134867号公報に開示されるように公知であるため、これ以上の詳細に関する説明は省略する。
現像部8は、同色3タップのLPF81を含み、露出制御部6から出力された信号のうち、情報取得領域から読み出された焦点検出信号から画素毎の画像信号を生成する。そして、画像取得領域から読み出された画像信号と共に、ローパスフィルタ処理(LPF処理)を行う。更に、LPF処理した画像信号を輝度・色差の信号に変換する。ここで、LPF81により行われるLPF処理について説明する。
上述したように、情報取得領域については、光電変換部211a,211bから瞳分割された焦点検出信号を独立に読み出し(第1の読み出し制御)、読み出した焦点検出信号を撮像装置内で加算することにより画像信号を生成する。一方、画像取得領域については、各マイクロレンズ211iに対応する複数の光電変換部から瞳分割された電気信号を撮像素子3内で混合して読み出す(第2の読み出し制御)。これら2つの領域における領域単位でのノイズ差は、露出評価値算出部5からのゲインが大きいほど強調される。
一方で、通常、撮像装置にはフィルタ処理のように、着目画素に対し周辺画素を参照する処理がある。例えば、着目画素が情報取得領域に含まれ、周辺画素が画像取得領域に含まれる場合、着目画素と周辺画素を演算で使用するため、ノイズ差が小さくなる。
そこで、ゲインレベルが大きく、ノイズ差が見えやすい場合は、情報取得領域を離散的に読み出すように設定し、ノイズ差の大きい画素を演算で混ぜ合わせることでノイズ差が小さくなるようにする。また、ゲインレベルが小さく、ノイズ差が見えにくい場合は、情報取得領域を連続的に読み出すように設定し、通常の位相差方式の焦点調節を行うようにする。これにより、情報取得領域と画像取得領域間のノイズ差を見えにくくしながら、位相差方式の焦点調節を行うことができるようになる。
これを図3を参照して説明する。図3は、撮像素子3を構成する画素のうち、焦点検出枠300により示される焦点検出領域を含む一部の画素を示す図である。焦点検出枠300内において、網掛けしていない領域は画像取得領域、網掛けしてある領域は情報取得領域を示している。焦点検出部7は、焦点検出枠300内の情報取得領域から読み出した画像信号を用いて焦点検出を行う。現像部8内の同色3タップのLPF81において、行(n+8)の画素を着目画素とした場合に、行(n+6),(n+8),(n+10)はLPF81の参照範囲を示している。なお、ここでのノイズは、説明を簡単にするため撮像素子3の読み出し過程で発生するオフセット成分とする。
図3(a)は、ゲインレベル小の時の画像取得領域と、情報取得領域と、行(n+6),(n+8),(n+10)との関係を示す。図3(b)は、ゲインレベル中の時の画像取得領域と、情報取得領域と、行(n+6),(n+8),(n+10)の関係を示す。また、図3(c)はゲインレベル大時の画像取得領域、情報取得領域、行(n+6),(n+8),(n+10)の関係を示す。
図3(a)に示すように、ゲインレベル小の時には情報取得領域が連続的に設定されている。この条件において、同色3タップのLPF81によるLPF処理を行うことを考える。LPF81は行(n+6)の画素を着目画素とし、行(n+8),(n+10)の画素を参照して演算する。ここで行(n+6),(n+8),(n+10)は共に情報取得領域に含まれるため、LPF処理後のオフセット成分はLPF処理前と変わらない。
一方で、図3(b)、(c)のように、LPF処理を行うときに情報取得領域の画素と画像取得領域の画素を参照した場合、オフセット成分が混ざり合うことになり、画像取得領域の画素のみにLPF処理を行ったときのオフセット成分と近くなる。LPF処理時の参照画素により多くの画像取得領域の画素が混ざるほど、画像取得領域の画素のみにLPF処理を行ったときのオフセット成分と近くなり、情報取得領域と画像取得領域とで、ノイズの差が見えにくくなる。
上述したようにして現像部8によりLPF処理された輝度・色差の信号は、記録部9及び主被写体検出部10に出力される。記録部9は、現像部8からの輝度・色差の信号を、不図示の記録媒体等に記録する。
主被写体検出部10は、現像部8により現像された画像信号から主被写体の位置を検出し、その位置及び大きさを示す被写体情報をシステム制御部12へ出力する。読み出し領域制御部11は、主被写体検出部10により検出された主被写体の位置及び大きさと、露出評価値算出部5からのゲインとに基づいて、情報取得領域及び画像取得領域を決定し、撮像素子駆動部4へ出力する。システム制御部12は、撮像装置全体を制御する。
次に、図4のフローチャートを参照して、第1の実施形態における読み出し領域制御部11の制御動作について説明する。図4において、S101では、露出評価値算出部5が生成したゲインを取得し、S102へ進む。S102においては、生成されたゲインレベルと、閾値Thg1(第2の閾値)及び閾値Thg2(第1の閾値)(Thg1>Thg2)とを比較する。ゲインレベルが閾値Thg1より大きければゲインレベル大、閾値Thg1以下かつ閾値Thg2より大きければゲインレベル中、閾値Thg2以下であればゲインレベル小と判断する。そして、ゲインレベル大であればS103、ゲインレベル中であればS105、ゲインレベル小であればS107へ進む。
図3を参照して上述した特性を鑑みて、ゲインレベル大の場合、S103では、情報取得領域が連続する行数が閾値Th2以上であれば、ノイズ差が見えやすくなるためS104へ進み、情報取得領域が連続する行数が閾値Th2より小さければS107へ進む。S104では、情報取得領域が連続する行数が閾値Th2より小さくなるように、情報取得領域が連続する行数の調整を行い、S107へ進む。
一方、ゲインレベル中の場合、S105では、情報取得領域が連続する行数が閾値Th1以上であれば、ノイズ差が見えやすくなるためS106へ進み、情報取得領域が連続する行数が閾値Th1より小さければS107へ進む。S106では、情報取得領域が連続する行数が閾値Th1より小さくなるように、情報取得領域が連続する行数の調整を行い、S107へ進む。ここで、ゲインレベル大の場合、ゲインレベル中の場合よりもノイズ差が見えやすくなるため、より多くの画像取得領域の画素をLPF処理に含めるために、閾値はTh1>Th2とする。
S107においては、設定されたライン情報を撮像素子駆動部4へ出力する。
以上説明したように、本第1の実施形態によれば、ノイズ差が見えやすいゲインレベル大の場合は、情報取得領域を離散的に読み出すように設定し、ノイズ差の大きい画素を演算で混ぜ合わせることでノイズ差が小さくなるようにする。また、ノイズ差が見えにくいゲインレベル小の場合は、情報取得領域を連続的に読み出すように設定し、通常の位相差方式の焦点調節を行うようにする。これにより、情報取得領域と画像取得領域間でノイズの差を見えにくくしながら、位相差方式の焦点調節を行うことができるようになる。
なお、ライン調整は、フィルタ参照範囲を考慮した調整値としても良い。また、本第1の実施形態では、ライン調整は、ゲインレベルに応じて情報取得領域内の読み出しを変えたが、本発明はこれに限るものではない。例えば、情報取得領域に着目し、ゲインレベルが大きいほど情報取得領域を大きくし、画像取得領域をフィルタ参照範囲より小さくすることでノイズ差を小さくしても良い。
また、上述した第1の実施形態では、LPF処理を行う場合について説明したが、本発明はこれに限るものではなく、隣接する行の信号を参照する信号処理に適用することが可能である。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図5は、本発明の第2の実施形態における撮像装置の概略構成を示すブロック図である。第2の実施形態の撮像装置は、第1の実施形態と比較して、ノイズ抑圧部13を有し、読み出し領域制御部11からの情報取得領域の情報に応じて抑圧度合を変える点が異なる。それ以外の構成は、図1を参照して第1の実施形態で上述したものと同様であるため、同じ構成には同じ番号を付し、説明を省略する。
図5において、ノイズ抑圧部13は、露出制御部6からの画像信号と読み出し領域制御部11からの情報取得領域の情報より、焦点検出信号のノイズを抑圧して焦点検出部7へ出力する。
焦点検出部7は、図3における焦点検出枠300内に設定された情報取得領域に対して焦点検出処理を行う。ここで、ゲインレベルに応じて焦点検出枠300内の情報取得領域が連続する行数が少なくなった場合、ランダムノイズの影響を受けやすくなり焦点検出精度が低下する。
そこで、ノイズ抑圧部13でランダムノイズを抑圧するが、情報取得領域が連続する行数が大きい場合、少ない場合と同じようにランダムノイズを抑圧すると、画像のテクスチャを失くしてしまい、逆に焦点検出精度を低下させてしまう。
そこで、図6に示すように、情報取得領域が連続する行数に応じてノイズ抑圧部13の抑圧度合を変えることで、焦点検出精度をできる限り低下させないようにする。
図6において、横軸は情報取得領域が連続する行数であり、縦軸がノイズ抑圧度合である。図6に示すように、情報取得領域が連続する行数が少なくなるほど抑圧度合を高めることでランダムノイズを抑圧すると共に、焦点検出用の情報取得領域が連続する行数が大きくなるほど抑圧度合を低くすることで画像のテクスチャを失くさないようにする。
以上説明したように、第2の実施形態によれば、ノイズ抑圧部13の抑圧度合を変えることで、情報取得領域が連続する行数に応じて、焦点検出精度をできる限り低下させないようにすることができる。
なお、上述した第2の実施形態によれば、情報取得領域が連続する行数に応じて抑圧度合を変更する場合について説明したが、ゲインレベルに応じて抑圧度合を変更するように制御しても良い。その場合、ゲインレベルが低いほど、抑圧度合を低くするように制御すればよい。
また、図6に示すグラフでは、抑圧度合が連続的に変化する場合を示しているが、情報取得領域が連続する行数、またはゲインレベルに応じて、予 め決められた閾値と比較して、段階的に変化するように制御しても良い。
<他の実施形態>
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
3:撮像素子、4:撮像素子駆動部、5:露出評価値算出部、6:露出制御部、7:焦点検出部、8:現像部、10:主被写体検出部、11:読み出し領域制御部、12:システム制御部、13:ノイズ抑圧部、81:LPF

Claims (17)

  1. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、
    前記複数の光電変換部から、瞳分割した信号を得られるように読み出す第1の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部の信号を混合して画像信号を読み出す第2の読み出し制御のいずれかにより、前記撮像素子から読み出しを行うように制御する制御手段と、
    焦点検出を行う焦点検出領域を含む行のうち、前記第1の読み出し制御により読み出しを行う行を設定する設定手段と、
    露出状態に応じて設定されたゲインにより、前記撮像素子から読み出された信号を増幅する増幅手段と、
    前記第1の読み出し制御により読み出された信号から求めた前記マイクロレンズごとの画像信号と、前記第2の読み出し制御により読み出された前記マイクロレンズごとの画像信号に対して、隣接する行の画像信号を用いて信号処理を行う信号処理手段と、を有し、
    前記設定手段は、前記ゲインに基づいて、前記第1の読み出し制御により読み出しを行う行を設定することを特徴とする撮像装置。
  2. 前記設定手段は、前記ゲインが予め決められた第1の閾値よりも大きい場合に、前記第1の読み出し制御により読み出しを行う行を離散的に設定することを特徴とする請求項1に記載の撮像装置。
  3. 前記設定手段は、前記第1の読み出し制御により読み出しを行う行と、前記第2の読み出し制御により読み出しを行う行とを、それぞれの制御についてそれぞれ予め決められた行数ずつ交互に設定し、前記ゲインが、前記第1の閾値よりも大きい予め決められた第2の閾値よりも大きい場合に、前記第2の閾値以下の場合よりも、第1の読み出し制御により読み出しを行う前記予め決められた行数を少なくすることを特徴とする請求項に記載の撮像装置。
  4. 前記設定手段は、前記第1の読み出し制御により読み出しを行う行と、前記第2の読み出し制御により読み出しを行う行とを、それぞれの制御についてそれぞれ予め決められた行数ずつ交互に設定し、前記ゲインが前記第1の閾値以下の場合に、前記焦点検出領域を含む全ての行を前記第1の読み出し制御により読み出すように設定することを特徴とする請求項またはに記載の撮像装置。
  5. 前記予め決められた行数は、前記信号処理手段が前記信号処理に用いる行の数に基づいて決められていることを特徴とする請求項またはに記載の撮像装置。
  6. 前記第1の読み出し制御により読み出された信号に基づく視差を有する一対の信号のノイズを抑圧するノイズ抑圧手段と、
    前記ノイズ抑圧手段によりノイズが抑圧された前記一対の信号に基づいて焦点検出を行う焦点検出手段とを更に有し、
    前記ノイズ抑圧手段は、前記第1の読み出し制御により読み出す前記予め決められ行数が予め決められた第3の閾値よりも多い場合に、当該第3の閾値以下の場合よりも、前記抑圧する度合を低くすることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
  7. 前記ノイズ抑圧手段は、前記第1の読み出し制御により読み出す前記予め決められ行数が多くなるほど、前記抑圧する度合をより低くすることを特徴とする請求項に記載の撮像装置。
  8. 前記第1の読み出し制御により読み出された信号に基づく視差を有する一対の信号のノイズを抑圧するノイズ抑圧手段と、
    前記ノイズ抑圧手段によりノイズが抑圧された前記一対の信号に基づいて焦点検出を行う焦点検出手段とを更に有し、
    前記ノイズ抑圧手段は、前記ゲインが予め決められた第4の閾値以下の場合に、当該第4の閾値より大きい場合よりも、前記抑圧する度合を低くすることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  9. 前記ノイズ抑圧手段は、前記ゲインが低くなるほど、前記抑圧する度合をより低くすることを特徴とする請求項に記載の撮像装置。
  10. 前記信号処理手段は、ローパスフィルタ処理を行うことを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  11. 前記撮像素子は、カラーフィルタにより覆われており、
    前記信号処理手段は、同色の隣接する行の画像信号を用いて前記信号処理を行うことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子を有する撮像装置の制御方法であって、
    設定手段が、焦点検出を行う焦点検出領域を含む行のうち、前記複数の光電変換部から、瞳分割した信号を得られるように読み出す第1の読み出し制御により読み出しを行う行を設定する設定工程と、
    読み出し手段が、前記複数の光電変換部から、前記第1の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部の信号を混合して画像信号を読み出す第2の読み出し制御のいずれかにより、前記撮像素子から読み出しを行う読み出し工程と、
    増幅手段が、露出状態に応じて設定されたゲインにより、前記撮像素子から読み出された信号を増幅する増幅工程と、
    信号処理手段が、前記第1の読み出し制御により読み出された信号から求めた前記マイクロレンズごとの画像信号と、前記第2の読み出し制御により読み出された前記マイクロレンズごとの画像信号に対して、隣接する行の画像信号を用いて信号処理を行う信号処理工程と、を有し、
    前記設定工程では、前記ゲインに基づいて、前記第1の読み出し制御により読み出しを行う行を設定することを特徴とする撮像装置の制御方法。
  13. 前記設定工程では、前記ゲインが予め決められた第1の閾値よりも大きい場合に、前記第1の読み出し制御により読み出しを行う行を離散的に設定することを特徴とする請求項12に記載の撮像装置の制御方法。
  14. 前記設定工程では、前記第1の読み出し制御により読み出しを行う行と、前記第2の読み出し制御により読み出しを行う行とを、それぞれの制御についてそれぞれ予め決められた行数ずつ交互に設定し、
    ノイズ抑圧手段が、前記第1の読み出し制御により読み出された信号に基づく視差を有する一対の信号のノイズを抑圧するノイズ抑圧工程と、
    焦点検出手段が、前記ノイズ抑圧工程でノイズが抑圧された前記一対の信号に基づいて焦点検出を行う焦点検出工程とを更に有し、
    前記ノイズ抑圧工程では、前記第1の読み出し制御により読み出す前記予め決められ行数が予め決められた第の閾値よりも多い場合に、当該第の閾値以下の場合よりも、前記抑圧する度合を低くすることを特徴とする請求項12に記載の撮像装置の制御方法。
  15. ノイズ抑圧手段が、前記第1の読み出し制御により読み出された信号に基づく視差を有する一対の信号のノイズを抑圧するノイズ抑圧工程と、
    焦点検出手段が、前記ノイズ抑圧工程でノイズが抑圧された前記一対の信号に基づいて焦点検出を行う焦点検出工程とを更に有し、
    前記ノイズ抑圧工程では、前記ゲインが予め決められた第の閾値以下の場合に、当該第の閾値より大きい場合よりも、前記抑圧する度合を低くすることを特徴とする請求項12に記載の撮像装置の制御方法。
  16. コンピュータに、請求項12乃至15のいずれか1項に記載の制御方法の各工程を実行させるためのプログラム。
  17. 請求項16に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2016203030A 2016-10-14 2016-10-14 撮像装置及びその制御方法 Active JP6741549B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016203030A JP6741549B2 (ja) 2016-10-14 2016-10-14 撮像装置及びその制御方法
US15/727,928 US10341556B2 (en) 2016-10-14 2017-10-09 Image capturing apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016203030A JP6741549B2 (ja) 2016-10-14 2016-10-14 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2018064249A JP2018064249A (ja) 2018-04-19
JP2018064249A5 JP2018064249A5 (ja) 2019-11-28
JP6741549B2 true JP6741549B2 (ja) 2020-08-19

Family

ID=61902897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016203030A Active JP6741549B2 (ja) 2016-10-14 2016-10-14 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US10341556B2 (ja)
JP (1) JP6741549B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6847669B2 (ja) * 2017-01-10 2021-03-24 オリンパス株式会社 撮像装置、撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004134867A (ja) 2002-10-08 2004-04-30 Canon Inc 固体撮像装置、その駆動方法、及び撮像システム
JP4835270B2 (ja) 2006-06-03 2011-12-14 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5040960B2 (ja) * 2009-06-04 2012-10-03 株式会社ニコン 電子カメラ
JP5778931B2 (ja) 2011-01-25 2015-09-16 キヤノン株式会社 撮像装置及びその制御方法
JP6264616B2 (ja) * 2013-01-30 2018-01-24 パナソニックIpマネジメント株式会社 撮像装置及び固体撮像装置
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
JP6381274B2 (ja) * 2014-05-07 2018-08-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2016092792A (ja) * 2014-11-11 2016-05-23 キヤノン株式会社 撮像装置
JP6218799B2 (ja) * 2015-01-05 2017-10-25 キヤノン株式会社 撮像素子及び撮像装置

Also Published As

Publication number Publication date
JP2018064249A (ja) 2018-04-19
US10341556B2 (en) 2019-07-02
US20180109726A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
US9742984B2 (en) Image capturing apparatus and method of controlling the same
JP6099536B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9088710B2 (en) Image processing apparatus, and method, and recording medium recording image processing program for processing output pixels utilized as phase difference detecting elements
JP6442362B2 (ja) 撮像装置及び撮像素子の制御方法
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
JP5826901B2 (ja) 撮像装置及び光軸位置算出方法
JP5526287B2 (ja) 撮像装置及び撮像方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US20170257583A1 (en) Image processing device and control method thereof
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP5775918B2 (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP6207293B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US9749520B2 (en) Imaging device and image processing method
JP6741549B2 (ja) 撮像装置及びその制御方法
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6976789B2 (ja) 撮像装置及び撮像方法
US20170155882A1 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium
JP2018064249A5 (ja)
JP7019442B2 (ja) 撮像装置およびその制御方法
JP6234097B2 (ja) 撮像装置およびその制御方法
JP6727856B2 (ja) 撮像装置およびその制御方法
JP2021071573A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200727

R151 Written notification of patent or utility model registration

Ref document number: 6741549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151