JP5764884B2 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JP5764884B2
JP5764884B2 JP2010181486A JP2010181486A JP5764884B2 JP 5764884 B2 JP5764884 B2 JP 5764884B2 JP 2010181486 A JP2010181486 A JP 2010181486A JP 2010181486 A JP2010181486 A JP 2010181486A JP 5764884 B2 JP5764884 B2 JP 5764884B2
Authority
JP
Japan
Prior art keywords
phase difference
difference detection
pixel
pixels
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010181486A
Other languages
English (en)
Other versions
JP2012042544A (ja
Inventor
藤井 真一
真一 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010181486A priority Critical patent/JP5764884B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US13/811,684 priority patent/US9196644B2/en
Priority to PCT/JP2011/065561 priority patent/WO2012023355A1/ja
Priority to CN201180039146.1A priority patent/CN103069325B/zh
Priority to RU2013105471/28A priority patent/RU2574316C2/ru
Priority to KR1020137003452A priority patent/KR20130108253A/ko
Priority to BR112013003237A priority patent/BR112013003237A2/pt
Priority to TW100127405A priority patent/TW201224565A/zh
Publication of JP2012042544A publication Critical patent/JP2012042544A/ja
Application granted granted Critical
Publication of JP5764884B2 publication Critical patent/JP5764884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/12Reflex cameras with single objective and a movable reflector or a partly-transmitting mirror
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像素子に関し、特に位相差検出および撮像を行う撮像素子、および、撮像装置に関する。
近年、人物等の被写体を撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。また、この撮像装置として、ユーザの撮影操作を簡便にするため、撮像時のフォーカス(ピント、焦点)調整を自動的に行うオートフォーカス(AF:Auto Focus)機能を備える撮像装置が広く普及している。
このような撮像装置として、例えば、撮像レンズを通過した光を瞳分割して1対の像を形成し、その形成された像の間隔を計測(位相差を検出)することによって撮像レンズの位置を決定する撮像装置が提案されている(例えば、特許文献1参照。)。この撮像装置は、受光素子が受光する被写体光の半分を遮光することにより瞳分割を行う焦点検出用の画素をイメージセンサに設けることにより1対の像を形成し、その形成された像の間隔を計測することによってフォーカスのズレの量を算出している。そして、この撮像装置は、算出したフォーカスのズレの量に基づいて撮像レンズの移動量を算出し、算出した移動量に基づいて撮像レンズの位置を調整することによってフォーカスを合わせている(フォーカス調整)。
特開2009−145401号公報(図15)
上述の従来技術では、位相差検出(焦点検出)用の画素(位相差検出画素)と撮像画像の生成用の画素(画像生成画素)との両方の画素を1つのイメージセンサに設けるため、焦点検出用のセンサと撮像画像用のセンサとの2つのセンサを別々に設ける必要がない。
しかしながら、上記の従来技術では、位相差検出用画素は画像生成に用いる信号を生成することができないため、位相差検出用画素の位置を欠陥画素扱いとして、近接する画像生成画素のデータから、位相差検出画素の位置のデータを予測(補完)する必要がある。また、位相差検出画素と隣接する画像生成画素は、画像生成画素のみと隣接する画像生成画素と特性が異なることがあるため、画像を生成する際に補正が必要となる。これらにより、位相差検出画素に対応する画像および位相差検出画素に近接する画像生成画素に対応する画像を生成するための画像処理が必要になり、この画像処理の負荷が増加する。
本発明はこのような状況に鑑みてなされたものであり、位相差検出および画像生成に用いられる撮像素子により画像を生成する場合に、画像生成に係る処理の負担を軽減させることを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と、画像を生成するための信号を生成する複数の画像生成画素とを具備し、上記複数の位相差検出画素のうちの一部の位相差検出画素が特定方向に並べて構成される第1画素群と、上記複数の画像生成画素のうちの一部の画像生成画素が上記特定方向に並べて構成される第2画素群とが上記特定方向とは直交する直交方向に交互に配置されている撮像素子である。これにより、位相差検出画素が特定方向に並べて構成されている第1画素群と、画像生成画素が特定方向に並べて構成されている第2画素群とを交互に配置させるという作用をもたらす。
また、この第1の側面において、上記複数の画像生成画素の各々は、上記撮像素子における被写体光を受光する領域において、隣接する各画素について上記位相差検出画素と上記画像生成画素との割合が一定であるようにしてもよい。これにより、画像生成画素に隣接する各画素について位相差検出画素と画像生成画素との割合を一定にさせるという作用をもたらす。
また、この第1の側面において、上記第1画素群は、1または複数のラインを構成する複数の位相差検出画素からなり、上記第2画素群は、1または2のラインを構成する複数の画像生成画素からなるようにしてもよい。これにより、第1画素群は、1または複数のラインを構成する複数の位相差検出画素からなり、第2画素群は、1または2のラインを構成する複数の画像生成画素からなるという作用をもたらす。
また、この第1の側面において、上記特定方向は、上記位相差検出画素および上記画像生成画素により生成されたデータが上記位相差検出画素および上記画像生成画素から読み出される場合における読み出し方向であるようにしてもよい。これにより、位相差検出画素が読み出し方向に並べて構成されている第1画素群と、画像生成画素が読み出し方向に並べて構成されている第2画素群とを交互に配置させるという作用をもたらす。
また、この第1の側面において、上記第1画素群は、1のラインを構成する複数の位相差検出画素からなり、上記第2画素群は、1のラインを構成する複数の画像生成画素からなり、上記複数の画像生成画素のうち、同一の特性のカラーフィルタを備え、上記特定方向に並べられている連続する2つの画像生成画素を1組の画像生成画素とし、当該1組の画像生成画素を画素単位として各画素を配置するようにしてもよい。これにより、同一の特性のカラーフィルタを備え、特定方向に並べられている連続する2つの画像生成画素を1組の画像生成画素とし、当該1組の画像生成画素を画素単位として各画素を配置させるという作用をもたらす。また、この場合において、上記複数の画像生成画素は、上記撮像素子において、上記画素単位がベイヤー配列で配置されるようにしてもよい。これにより、画像生成画素の画素単位がベイヤー配列で配置されるという作用をもたらす。
また、この第1の側面において、上記複数の位相差検出画素のうち、同一方向の瞳分割を行い上記同一方向におけるいずれか一方に分割された光を受光する2つの位相差検出画素であって、上記特定方向に並べられている連続する2つの位相差検出画素を1組の位相差検出画素とし、当該1組の位相差検出画素を画素単位として各画素を配置するようにしてもよい。これにより、特定方向に並べられている連続する2つの位相差検出画素を1組の位相差検出画素とし、当該1組の位相差検出画素を画素単位として各画素を配置させるという作用をもたらす。
また、この第1の側面において、上記複数の画像生成画素が備える受光素子のうち、同一の特性のカラーフィルタを備え、上記特定方向に並べられている連続する2つの受光素子を1組の受光素子とし、当該1組の受光素子に係る2つの画素を画素単位として各画素を配置するようにしてもよい。これにより、2つの受光素子を1組の受光素子として画像生成画素に備えさせるという作用をもたらす。
また、この第1の側面において、上記複数の位相差検出画素が備える受光素子のうち、同一方向の瞳分割を行い上記同一方向におけるいずれか一方に分割された光を受光する2つの受光素子を1組の受光素子とし、当該1組の受光素子に係る2つの画素を画素単位として各画素を配置するようにしてもよい。これにより、2つの受光素子を1組の受光素子として位相差検出画素に備えさせるという作用をもたらす。
また、この第1の側面において、上記第1画素群は、上記特定方向に瞳分割する上記位相差検出画素が上記特定方向に並べて構成されている第1ラインと、上記直交方向に瞳分割する上記位相差検出画素が上記特定方向に並べて構成されている第2ラインとを含み、上記第1ラインおよび上記第2ラインは、上記第2画素群を間に挟んで交互に配置されるようにしてもよい。これにより、特定方向に瞳分割する上記位相差検出画素の第1ラインと、直交方向に瞳分割する位相差検出画素の第2ラインとが第2画素群を間に挟んで交互に配置されるという作用をもたらす。また、この場合において、上記位相差検出画素は、光軸方向における位置が異なる複数の射出瞳にそれぞれ対応する複数の位相差検出画素を含み、上記第1ラインは、上記複数の位相差検出画素のうち上記射出瞳の位置が同一の位相差検出画素が並べで構成されているようにしてもよい。これにより、第1ラインは、複数の位相差検出画素のうち射出瞳の位置が同一の位相差検出画素が並べで構成されるという作用をもたらす。また、この場合において、上記複数の位相差検出画素は、軸方向における位置が異なる複数の射出瞳にそれぞれ対応する複数の位相差検出画素を含み、上記第2ラインは、上記特定方向の位置における同じ位置には上記射出瞳の位置が同一の位相差検出画素が配置されるように構成されるようにしてもよい。これにより、第2ラインは、特定方向の位置における同じ位置には射出瞳の位置が同一の位相差検出画素が配置されるように構成という作用をもたらす。
また、本発明の第2の側面は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と、画像を生成するための信号を生成する複数の画像生成画素とを具備し、上記複数の画像生成画素の各々は、被写体光を受光する領域において、隣接する各画素について上記位相差検出画素と上記画像生成画素との割合が一定である撮像素子である。これにより、画像生成画素に隣接する各画素について位相差検出画素と画像生成画素との割合を一定にさせるという作用をもたらす。
また、本発明の第3の側面は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と、画像を生成するための信号を生成する複数の画像生成画素とを備え、上記複数の位相差検出画素のうちの一部の位相差検出画素が特定方向に並べて構成されている第1画素群と、上記複数の画像生成画素のうちの一部の画像生成画素が特定方向に並べて構成されている第2画素群とが上記特定方向とは直交する直交方向に交互に配置されている撮像素子と、上記位相差検出画素が生成する信号に基づいて位相差検出による合焦判定を行う合焦判定部と、上記画像生成画素が生成する信号に基づいて画像を生成する画像生成部とを具備する撮像装置である。これにより、位相差検出画素が特定方向に並べて構成されている第1画素群と、画像生成画素が特定方向に並べて構成されている第2画素群とを交互に配置した撮像素子を用いて、位相差検出による合焦判定および画像生成を行わせるという作用をもたらす。
本発明によれば、位相差検出および画像生成に用いられる撮像素子により画像を生成する場合に、画像生成に係る処理の負担を軽減させることができるという優れた効果を奏し得る。
本発明の第1の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。 本発明の第1の実施の形態において撮像装置100におけるペリクルミラー160の位置の例を模式的に示す断面図である。 本発明の第1の実施の形態における第2イメージセンサ200に備えられる受光素子の配置の一例を示す模式図である。 本発明の第1の実施の形態の第2イメージセンサ200の領域340における画素の配置の一例および従来のイメージセンサにおける画素の配置の一例を模式的に示す上面図である。 本発明の第1の実施の形態における第2イメージセンサ200の画素の内部構成および従来のイメージセンサの画素の内部構成の一例を示した模式図である。 本発明の第1の実施の形態における位相差検出画素D1および位相差検出画素D2による瞳分割を示す模式図である。 本発明の第1の実施の形態における位相差検出画素D3および位相差検出画素D4による瞳分割を示す模式図である。 本発明の第1の実施の形態における第2イメージセンサ200の画像生成画素に隣接する画素および従来のイメージセンサの画像生成画素に隣接する画素を示す模式図である。 本発明の第1の実施の形態における第2イメージセンサ200の信号から生成される撮像画像および従来のイメージセンサの信号から生成される撮像画像を示す模式図である。 本発明の第1の実施の形態の第2イメージセンサ200におけるデータ読み出し速度の一例と、従来のイメージセンサにおけるデータ読み出し速度の一例とを示すグラフである。 本発明の第1の実施の形態の変形例として、対となる位相差検出画素の位置が第1の実施の形態と反対である第2イメージセンサの受光素子の配置の一例を示す図である。 本発明の第1の実施の形態の変形例として、読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される第2イメージセンサの受光素子の配置の一例を示す図である。 本発明の第1の実施の形態の変形例として、読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される第2イメージセンサの受光素子の配置の図12とは異なる一例を示す図である。 本発明の第1の実施の形態の変形例として、位相差検出画素の行と画像生成画素の行とが2行ごとに交互に配置される第2イメージセンサの受光素子の配置の一例を示す図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(撮像制御:位相差検出画素のラインと画像生成画素のラインとを交互に配置する例)
2.変形例
<1.第1の実施の形態>
[撮像装置の機能構成例]
図1は、本発明の第1の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。撮像装置100は、被写体を撮像して画像データ(撮像画像)を生成し、生成された画像データを画像コンテンツ(静止画コンテンツまたは動画コンテンツ)として記録する撮像装置である。なお、以下では、画像コンテンツ(画像ファイル)として静止画コンテンツ(静止画ファイル)を記録する例を主に示す。
撮像装置100は、レンズ部110と、操作受付部120と、制御部130と、第1イメージセンサ140と、第1信号処理部150とを備える。また、撮像装置100は、ペリクルミラー160と、第2イメージセンサ200と、第2信号処理部170と、記憶部181と、表示部182と、合焦判定部183と、駆動部184とを備える。
レンズ部110は、被写体からの光(被写体光)を集光するためのものである。このレンズ部110は、ズームレンズ111と、絞り112と、フォーカスレンズ113とを備える。
ズームレンズ111は、駆動部184の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
絞り112は、駆動部184の駆動により開口の度合いを変化させて第1イメージセンサ140および第2イメージセンサ200に入射する被写体光の光量を調整するための遮蔽物である。
フォーカスレンズ113は、駆動部184の駆動により光軸方向に移動することによりフォーカスを調整するものである。
操作受付部120は、ユーザからの操作を受け付けるものである。この操作受付部120は、例えば、シャッターボタン121(図2に示す)が押下された場合には、その押下に関する信号を、操作信号として制御部130に供給する。
制御部130は、撮像装置100における各部動作を制御するものである。例えば、この制御部130は、シャッターボタン121が押下されて、静止画像の記録を開始するための操作信号を受け付けた場合には、静止画像の記録実行に関する信号(静止画像撮像動作信号)を、第1信号処理部150に供給する。また、制御部130は、表示部182にライブビューを表示する場合には、第2イメージセンサ200が出力した信号に基づいてライブビュー画像を生成させるための信号(ライブビュー表示信号)を、第2信号処理部170に供給する。ここで、ライブビューとは、撮像装置100に入射する被写体の像のリアルタイム表示である。また、制御部130は、位相差検出方式によりフォーカスの合焦判定を行う場合には、この合焦判定を行う動作(位相差検出動作)を示す信号(位相差検出動作信号)を、第2信号処理部170に供給する。ここで、位相差検出方式とは、撮像レンズを通過した光を瞳分割して1対の像を形成し、その形成された像の間隔(像の間のズレ量)を計測(位相差を検出)することによって合焦の度合いを検出する焦点検出方法である。
ペリクルミラー160は、レンズ部110を介して集光された被写体光を、2つに分割するものである。このペリクルミラー160は例えば、半透過型の鏡であり、被写体光の30%を反射することにより、被写体光を2つに分割する。ペリクルミラー160は、2つに分割した光の一方を第1イメージセンサ140に供給し、他方を第2イメージセンサ200に供給する。
第1イメージセンサ140は、ペリクルミラー160で分割された被写体光の一方を受光して、受光した被写体光を電気信号に光電変換する撮像素子である。この第1イメージセンサ140は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサなどにより実現される。第1イメージセンサ140には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素(画像生成画素)のみが、ベイヤー配列により配置される。第1イメージセンサ140は、光電変換により発生した電気信号を第1信号処理部150に供給する。
第1信号処理部150は、第1イメージセンサ140から供給された電気信号に対して各種の信号処理を施すものである。この第1信号処理部150は、例えば、制御部130から静止画像撮像動作信号が供給されている場合には、静止画像のデータ(静止画像データ)を生成する。そして、第1信号処理部150は、この生成した画像データを記憶部181に供給し、記憶部181に記憶させる。
記憶部181は、第1信号処理部150から供給された画像データを画像コンテンツ(画像ファイル)として記録するものである。例えば、この記憶部181として、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体(1または複数の記録媒体)を用いることができる。また、これらの記録媒体は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
第2イメージセンサ200は、ペリクルミラー160で分割された被写体光の一方を受光して、受光した被写体光を電気信号に光電変換する撮像素子である。この第2イメージセンサ200は、第1イメージセンサ140と同様に、例えば、CMOSセンサにより実現される。第2イメージセンサ200には、画像生成画素と、位相差検出を行うための信号を生成する画素(位相差検出画素)とが配置される。なお、第2イメージセンサ200については、図3乃至10を参照して説明する。第2イメージセンサ200は、光電変換により発生した電気信号を第2信号処理部170に供給する。なお、第2イメージセンサ200は、特許請求の範囲に記載の撮像素子の一例である。
第2信号処理部170は、第2イメージセンサ200から供給された電気信号に対して各種の信号処理を施すものである。例えば、この信号処理部170は、制御部130から位相差検出動作信号が供給されている場合には、第2イメージセンサ200における位相差検出画素からの出力信号に基づいて、位相差を検出するためのデータ(位相差検出用データ)を生成する。そして、第2信号処理部170は、その生成した位相差検出用データを合焦判定部183に供給する。また、第2信号処理部170は、制御部130からライブビュー表示信号が供給されている場合には、第2イメージセンサ200における画像生成画素からの出力信号に基づいて、ライブビュー画像のデータ(ライブビュー画像データ)を生成する。そして、第2信号処理部170は、その生成したライブビュー画像データを表示部182に供給し、表示部182における表示画面にライブビューを表示させる。なお、第2信号処理部170は、特許請求の範囲に記載の画像生成部の一例である。
表示部182は、第2信号処理部170から供給された画像データに基づいて、画像を表示するものである。この表示部182、例えば、カラー液晶パネルにより実現される。この表示部182は、例えば、第2信号処理部170からライブビュー画像データが供給された場合には、表示画面にライブビュー画像を表示する。
合焦判定部183は、第2信号処理部170から供給された位相差検出用データに基づいて、フォーカスを合わせる対象の物体(合焦対象物)に対してフォーカスが合っているか否か判定するものである。この合焦判定部183は、フォーカシングを行う領域(フォーカスエリア)における物体(合焦対象物)に対して合焦している場合には、合焦していることを示す情報を合焦判定結果情報として、駆動部184に供給する。また、この合焦判定部183は合焦対象物にフォーカスが合っていない場合には、フォーカスのズレの量(デフォーカス量)を算出し、その算出したデフォーカス量を示す情報を合焦判定結果情報として、駆動部184に供給する。
駆動部184は、ズームレンズ111、絞り112およびフォーカスレンズ113を駆動させるものである。例えば、駆動部184は、合焦判定部183から出力された合焦判定結果情報に基づいて、フォーカスレンズ113の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ113を移動させる。この駆動部184は、フォーカスが合っている場合には、フォーカスレンズ113の現在の位置を維持させる。また、駆動部184は、フォーカスがズレている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ113の位置情報に基づいて駆動量(移動距離)を算出し、その駆動量に応じてフォーカスレンズ113を移動させる。
[ペリクルミラーの位置例]
図2は、本発明の第1の実施の形態において撮像装置100におけるペリクルミラー160の位置の例を模式的に示す断面図である。なお、同図では、撮像装置100は、一眼レフカメラであることを想定して説明する。
同図には、撮像装置100の断面図として、シャッターボタン121と、表示部182の表示画面(液晶表示画面182a)と、ペリクルミラー160と、第1イメージセンサ140と、第2イメージセンサ200とが示されている。また、同図には、レンズ部110に備えられているレンズにおける光軸(光軸L12)と、被写体光が通過する範囲を示す2つの線(線L11およびL13)とが示されている。なお、線L11およびL13に挟まれた範囲は、第1イメージセンサ140および第2イメージセンサ200に入射する光が通過する範囲を示している。
ペリクルミラー160は、撮像装置100に入射する被写体光を2つに分割するように配置される。例えば、光軸L12に対して45°となるように配置される。これにより、ペリクルミラー160は、被写体光の一部(例えば、30%)を上方に反射する。
第1イメージセンサ140は、ペリクルミラー160を透過した被写体光を受光するように、ペリクルミラー160の先(被写体光の進行先)に光軸L12に対して垂直に配置される。
第2イメージセンサ200は、ペリクルミラー160が反射した被写体光を受光するように、ペリクルミラー160の上方に光軸L12に対して水平(ペリクルミラー160が光軸L12に対して45°であるため)に配置される。
このように、撮像装置100において、入射する被写体光を2つに分割するようにペリクルミラー160が配置される。また、2つに分割された被写体光をそれぞれ受光するように、第1イメージセンサ140および第2イメージセンサ200がそれぞれ配置される。
[第2イメージセンサにおける受光素子の配置例]
図3は、本発明の第1の実施の形態における第2イメージセンサ200に備えられる受光素子の配置の一例を示す模式図である。本発明の第1の実施の形態では、1つの画像生成画素は2つの受光素子を備え、また、1つの位相差検出画素も2つの受光素子を備えている。このため、同図において、まず、受光素子の配置について説明する。
なお、同図では、左右方向をy軸とし、上下方向をx軸とするxy軸を想定して説明する。また、同図において、左上隅をxy軸における原点とし、上から下へ向かう方向をx軸の+側とし、左から右へ向かう方向をy軸の+側とする。なお、この第2イメージセンサ200における信号の読み出し方向は、x軸方向(行単位で読み出される)であるものとする。なお、第2イメージセンサ200における信号の読み出し方向は、特許請求の範囲に記載の特定方向の一例である。
同図では、説明の便宜上、第2イメージセンサ200を構成する各画素の受光素子のうちの一部の受光素子(16行×16列の受光素子)の領域(領域210)を用いて説明する。なお、第2イメージセンサ200における受光素子の配置は、領域210において示す画素配置を1つの単位として、この単位に対応する画素配置(領域210に対応する画素配置)が、x方向およびy方向に繰り返される配置である。
同図では、1つの受光素子を1つの円で示す。そして、画像生成画素の受光素子については、受光素子に対して備えられるカラーフィルタを表す符号(R(赤)、G(緑)、B(青))を内に示した円により示す。また、位相差検出画素の受光素子については、入射光が遮光部により遮光される側と同じ側を塗りつぶした(灰色の半円)部分を備える円により示す。なお、位相差検出画素の受光素子については、4つの位置(位置d1乃至d4)の射出瞳にそれぞれ対応する受光素子を符号(D1乃至D4)とともに示している。また、位相差検出画素の受光素子の符号におけるアルファベット(a乃至d)は、入射光が遮光部により遮光される側(aはx軸の−側、bはx軸の+側、cはy軸の+側、dはy軸の−側)を示している。例えば、D1aは、位置d1の射出瞳における左右(x軸の+−側)に瞳分割された光のうちの右半分の光を遮光し、左半分の瞳分割された光を受光する受光素子である。なお、位相差検出画素については、図4乃至図8を参照して説明する。
ここで、第2イメージセンサ200における画素の配置について説明する。
第2イメージセンサ200では、画像生成画素の受光素子が配置される行(ライン)と位相差検出画素の受光素子が配置される行(ライン)とが交互に配置される。すなわち、図3に示すように、y軸方向に、画像生成画素、位相差検出画素、画像生成画素、位相差検出画素…と交互に配置される。なお、画像生成画素の受光素子が配置される行は、特許請求の範囲に記載の第2画素群の一例である。また、位相差検出画素の受光素子が配置される行は、特許請求の範囲に記載の第1画素群の一例である。
また、画像生成画素の受光素子は、同色のカラーフィルタが配置される受光素子がx軸方向に2個ずつ連続するように配置される(図3では、x軸方向に、RR、GG、BBと連続している)。なお、本発明の第1の実施の形態では、この連続する2個の受光素子で1つの画像生成画素を構成するが、これについては、図6を参照して説明する。
位相差検出画素の受光素子は、遮光される側が同一の受光素子がx軸方向に2個ずつ連続するように配置される(図3では、x軸方向に、例えば、D1aD1a、D1bD1bと連続している)。なお、本発明の第1の実施の形態では、この連続する2個の受光素子で1つの位相差検出画素を構成するが、これについては、図6を参照して説明する。
また、位相差検出画素の受光素子は、被写体光の遮光側と入射側との位置関係がx軸方向(読み出し方向)の受光素子のみの行と、遮光側と入射側との位置関係がy軸方向の受光素子のみの行とが、画像生成画素の受光素子の行を挟んで交互になるように配置される。すなわち、位相差検出画素の受光素子は、同一方向(読み出し方向または読み出し方向に直交する方向)に瞳分割を行う位相差検出画素が行単位で配置される。図3では、x軸方向の受光素子のみの行として、横D1行321、横D2行323、横D3行325および横D4行327が示されている。また、y軸方向の受光素子のみの行として、縦検出行322、縦検出行324、縦検出行326および縦検出行328が示されている。
x軸方向の受光素子のみの行には、射出瞳の位置が同一の受光素子が配置される。すなわち、横D1行321にはD1aおよびD1bのみが配置され、横D2行323にはD2aおよびD2bのみが配置され、横D行325にはD3aおよびD3bのみが配置され、横D4行327にはD4aおよびD4bのみが配置される。また、x軸方向の受光素子のみの行では、aの受光素子(x軸方向で−側が遮光)の位相差検出画素と、bの受光素子の位相差検出画素(x軸方向で+側が遮光)とが交互に配置されている。例えば、図3の横D1行321では、2つの受光素子D1aD1aの隣が常に2つの受光素子D1bD1bとなっている(2つの受光素子で1つの位相差検出画素であるため、D1aの位相差検出画素の隣がD1bの位相差検出画素)。すなわち、第2イメージセンサ200の読み出し方向(図3ではx軸方向)に瞳分割する受光素子(aおよびbタイプの受光素子)は、1行に配置された位相差検出画素の信号のみで位相差検出ができるように配置される。これにより、読み出し方向(x軸方向)に瞳分割する場合には、複数の位相差検出画素の行のうちの1つの行における位相差検出画素のデータのみから位相差検出を行うこと可能となる。
y軸方向の受光素子のみの行には、同一の射出瞳の位置に対して反対側の光を受光する受光素子を2つずつ対にして(例えば、D1cD1cとD1dD1d)、4つの射出瞳位置に対する4つの対(D1乃至D2の対)が順に配置されている。また、y軸方向の受光素子のみの行は、他のy軸方向の受光素子のみの行に対して、受光素子がy軸方向にお互いに同一になる。すなわち、図3における縦D1列311は、縦検出行におけるこの列に位置する受光素子がD1cおよびD1dである列を示している。同様に、縦D2列312はD2cおよびD2dである列を示し、縦D3列313はD3cおよびD3dである列を示し、縦D4列314はD4cおよびD4dである列を示している。すなわち、第2イメージセンサ200の読み出し方向と90°異なる方向(図3ではy軸方向)に瞳分割する位相差検出画素は、連続する2つの列に配置された位相差検出画素(受光素子では4つの列)の信号に基づいて位相差検出ができるように配置される。また、y軸方向に瞳分割する位相差検出画素の行とx軸方向に瞳分割する位相差検出画素の行とが画像生成画素の行を挟んで交互に配置されることにより、y軸方向に瞳分割する位相差検出画素の行の間隔が狭くなるように配置される。
このように、第2イメージセンサ200において、画像生成画素が配置される行と位相差検出画素が配置される行とが交互になる。
次に、本発明の第1の実施の形態における画素について、領域340(受光素子4個×4個)に含まれる画素に着目し、図4を参照して説明する。
[第2イメージセンサにおける画素の配置例]
図4は、本発明の第1の実施の形態の第2イメージセンサ200の領域340における画素の配置の一例および従来のイメージセンサにおける画素の配置の一例を模式的に示す上面図である。なお、同図では、左右方向をx軸とし、上下方向をy軸とするxy軸を想定する。また、信号の読み出し方向は、x軸方向(行単位で読み出される)であることとする。
同図(a)には、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサにおける画像生成画素の画素配置と、従来のイメージセンサにおける位相差検出画素の画素配置とを模式的に示す3つの画素群(画素群391乃至393)が示されている。
画素群391は、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサにおける画像生成画素の画素配置を示す2行×2列の画素である。画素群391では、赤色の光を透過するカラーフィルタにより赤色の光を受光する画素(R画素291)が左上に配置され、緑色の光を透過するカラーフィルタにより緑色の光を受光する画素(G画素292)が右上と左下に配置されている。また、画素群391では、青色の光を透過するカラーフィルタにより青色の光を受光する画素(B画素293)が右下に配置されている。このように、従来のイメージセンサの画像生成画素では、青色、緑色および赤色の3色が、ベイヤー配列で配置される。また、従来のイメージセンサの画像生成画素では、イメージセンサの大部分が画素群391に示す配置の画素で構成される。
画素群392は、従来のイメージセンサにおいてx軸方向に設けられる位相差検出画素の画素配置を示す1行×4列の画素である。画素群392では、左側が遮光された位相差検出画素(位相差検出画素(D1a)294)と、右側が遮光された位相差検出画素(位相差検出画素(D1b)295)とがx軸方向に交互に配置されている。
画素群393は、従来のイメージセンサにおいてy軸方向に設けられる位相差検出画素の画素配置を示す4行×1列の画素である。画素群393では、上側が遮光された位相差検出画素(位相差検出画素(D1c)296)と、下側が遮光された位相差検出画素(位相差検出画素(D1d)297)とがy軸方向に交互に配置されている。
ここで、従来のイメージセンサにおける位相差検出画素の位置について説明する。従来のイメージセンサにおいては、画像生成に用いることが可能な信号を生成できない位相差検出画素の位置の画像情報を補完する必要があるため、位相差検出画素ができるだけ少ない数になるように配置される。すなわち、従来のイメージセンサにおいて、大部分の画素が画素群391に示す画素であり、位相差を検出する部位における画素のみが、画素群392および画素群393に示すような配置の位相差検出画素とされる。
同図(b)には、本発明の第1の実施の形態における第2イメージセンサ200における画素配置として、図3の領域340に対応する画素が示されている。図4(b)では、画像生成画素として、赤色(R)の光を受光する受光素子を2つ備える画素(R画素220)と、緑色(G)の光を受光する受光素子を2つ備える画素(G画素230)とが示されている。また、画像生成画素として、青色(B)の光を受光する受光素子を2つ備える画素(B画素240)が示されている。また、同図(b)では、位相差検出画素として、左側が遮光された受光素子(D1a)を2つ備える画素(位相差検出画素(D1a)251)と、右側が遮光された受光素子(D1b)を2つ備える画素(位相差検出画素(D1b)252)とが示されている。また、位相差検出画素として、上側が遮光された受光素子(D1c)を2つ備える画素(位相差検出画素(D1c)253)と下側が遮光された受光素子(D1a)を2つ備える画素(位相差検出画素(D1d)254)とが示されている。
このように、第2イメージセンサ200における画像生成画素および位相差検出画素は、それぞれが2つの受光素子を備えている。なお、位相差検出画素の受光素子が配置される行を除外して、画像生成画素のみで配置をみると、図4(a)と同様に、左上がR画素220であり、右上と左下がG画素230であり、右下がB画素240であるベイヤー配列で配置される。第2イメージセンサ200は、領域210に示すような配置で全ての画素が構成されるため、位相差検出画素の受光素子が配置される行を除外した画像生成画素のみにおける配置は、均一なベイヤー配列となる。
[イメージセンサの構成例]
図5は、本発明の第1の実施の形態における第2イメージセンサ200の画素の内部構成および従来のイメージセンサの画素の内部構成の一例を示した模式図である。
同図(a)には、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサに配置される画像生成画素および位相差検出画素の模式図が示されている。同図(a)では、画像生成画素が配置されている行と、位相差検出画素が配置されている行とが隣接している領域を想定して説明する。同図(a)には、R画素291と、G画素292と、位相差検出画素(D1a)294と、位相差検出画素(D1b)295と、信号線461乃至468とが示されている。
R画素291は、赤色の光を透過するカラーフィルタが備えられる画素であり、受光素子410と、FD(Floating Diffusion)442と、アンプ443とを備える。
受光素子410は、受けた光を電気信号に変換(光電変換)することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子410は、例えば、フォトダイオード(PD:Photo Diode)により構成される。
FD442は、受光素子の電荷を検出するものである。このFD442は、検出した電荷を電圧に変えてアンプ443に供給する。
アンプ443は、FD442から供給された電圧を増幅するものである。このアンプ443は、増幅した電圧を信号線461に供給する。
なお、G画素292は、赤色の光を透過するカラーフィルタに代えて、緑色の光を透過するカラーフィルタが備えられること以外はR画素291と同様のものであるため、ここでの説明を省略する。
また、位相差検出画素(D1a)294および位相差検出画素(D1b)295は、カラーフィルタが無く、さらに、受光素子の半分が遮光部(例えば、配線の一部)により遮光されていること以外はR画素291と同様のものであるため、ここでの説明を省略する。
信号線461乃至468は、これらの信号線に接続されている各画素が生成した信号を読み出すためのものである。第2イメージセンサ200においては、この信号線461乃至468を介して、読み出し方向である横方向(列方向)に、画素が生成するデータが順次読み出される。例えば、画像生成画素の行(R画素291とG画素292とが交互に配置されている行)の画素のデータを読み出す場合には、まず、画素からデータを読み出す行として、この画像生成画素の行が設定される(y軸方向の設定)。そして、画素からデータを読み出す列が順次設定(x軸方向の設定)され、画素からデータが順次読み出される。左から順に読み出すことを想定すると、同図(a)においては、まず、信号線461に接続されている画像生成画素(R画素291)のデータが読み出される。次に、信号線462に接続されている画像生成画素(G画素292)のデータが読み出され、続いて信号線463に接続されている画像生成画素というように、データが順次読み出される。
このように、従来のイメージセンサは、受光素子410、FD442およびアンプ443が1つずつ備えられた画素(画像生成画素および位相差検出画素)により構成される。
同図(b)には、本発明の第1の実施の形態における第2イメージセンサ200に配置される画像生成画素および位相差検出画素の模式図が示されている。同図(b)では、図3において示した領域210の1番上の行および上から2番目の行における8×2個の受光素子(4×2個の画素)を想定して説明する。図5(b)には、R画素220と、G画素230と、位相差検出画素(D1a)253と、位相差検出画素(D1b)254と、信号線462、464、466および468とが示されている。
R画素220は、赤色の光を透過するカラーフィルタが備えられる2つの受光素子を備える画素であり、2つの受光素子410と、アンプ443と、FD452とを備える。
なお、受光素子410およびアンプ443は、同図(a)において示したものと同様のものであるため、ここでの説明を省略する。
FD452は、受光素子の電荷を検出するものであり、接続された2つの受光素子410が検出した電荷を電圧に変えてアンプ443に供給する。同図(a)において示したFD442が1つの受光素子410が検出した電荷を検出するのに対し、このFD452は2つの受光素子410が検出した電荷を検出する。
なお、G画素230は、赤色の光を透過するカラーフィルタに代えて、緑色の光を透過するカラーフィルタが備えられること以外はR画素220と同様のものであるため、ここでの説明を省略する。
また、位相差検出画素(D1a)253および位相差検出画素(D1b)254は、カラーフィルタが無く、さらに、受光素子の半分が遮光部(例えば、配線の一部)により遮光されていること以外はR画素220と同様のものであるため、ここでの説明を省略する。
信号線462、464、466および468は、これらの信号線に接続されている各画素が生成した信号を読み出すためのものである。同図(b)において示す信号線は、同図(a)に示した信号線と比較すると、信号線の数が2分の1になっている。なお、信号線462、464、466および468は、信号線の数が少なく、また、接続されている各画素が異なること以外は、同図(a)に示したものと同様のものであるため、ここでの説明を省略する。
このように、本発明の第1の実施の第2イメージセンサ200は、2つの受光素子410、1つのFD442および1つのアンプ443が備えられた画素(画像生成画素および位相差検出画素)により構成される。
[4種類の位相差検出画素が行う瞳分割例]
図6および図7は、本発明の第1の実施の形態における4種類の位相差検出画素(D1乃至D4)による瞳分割を示す模式図である。なお、第2イメージセンサ200については、図2に示すように、ペリクルミラー160の上方に配置されるが、図6および図7では、説明の容易のため、射出瞳と平行なイメージセンサとして説明する。
図6は、本発明の第1の実施の形態における位相差検出画素D1および位相差検出画素D2による瞳分割を示す模式図である。
図6(a)は、位置d1の射出瞳に対応する位相差検出画素(位相差検出画素D1)が行う瞳分割と、位置d1乃至d4の射出瞳との関係が模式的に示されている。同図(a)には、第2イメージセンサ200からの距離がそれぞれ異なる4つの射出瞳(射出瞳E1乃至E4)と、第2イメージセンサ200とが示されている。また、射出瞳E1乃至E4には、それぞれの射出瞳の中心を示す中心点(中心C1乃至C4)が示されている。
また、第2イメージセンサ200には、第2イメージセンサ200における位相差検出画素の位置として、4つの位置(F1乃至F4)が示されている。位置F1および位置F4は、第2イメージセンサ200における中心からの距離(像高)が同じものの、中心からの位置が互いに反対である位置を示す。また、位置F2および位置F3も同様に、像高が同じものの、中心からの位置が互いに反対である位置を示す。なお、同図(a)に示す第2イメージセンサ200の上下方向は、図3において示した第2イメージセンサ200の領域210の上下方向(y軸方向)であることとする。
また、図6(a)には、位置F1乃至F4の位相差検出画素D1がそれぞれ分割する領域の境界を示す軸として、瞳分割ラインL21乃至L24が示されている。なお、同図(a)においては、説明の便宜上、位置F1乃至F4における位相差検出画素D1は、受光素子の上側(同図(a)における上方向)が遮光部により覆われる位相差検出画素(D1c)253であることを想定して説明する。
ここで、位置F1における位相差検出画素(D1c)253による瞳分割について説明する。
位相差検出画素(D1c)253は、射出瞳E1を2等分する瞳分割が行えるように遮光部が形成される。これにより、位置F1における位相差検出画素(D1c)253は、瞳分割ラインL21を境界として、この瞳分割ラインL21より上側からの被写体光を受光する。なお、この射出瞳E1の位置に応じた遮光部の設置方法として、例えば、遮光部の配置を各画素で異ならせる方法(例えば、特開2009−204987参照。)などを用いることができる。
位置F1における位相差検出画素(D1c)253は、射出瞳E1の位置に合わせて遮光部を形成することにより、射出瞳E1に対して、射出瞳E1を2等分するように瞳分割を行う。しかしながら、瞳分割ラインL21が光軸(図における点線L29)に対して斜めであるため、他の位置の射出瞳に関しては、その射出瞳を2等分にするように瞳分割を行うことができない。例えば、位置F1における位相差検出画素(D1c)253は、射出瞳E2に対して、射出瞳E2の上から3/4ぐらいの領域を通過する被写体光を受光してしまう。また、射出瞳E3に対しては、射出瞳E3の上から9割ぐらいの領域を通過する被写体光を受光してしまう。そして、射出瞳E4に対しては、射出瞳E4を通過する被写体光を全て受光してしまう。
このように、位置F1における位相差検出画素(D1c)253は、位置d1における射出瞳E1を2等分に瞳分割できるため、射出瞳E1に対して精度良く位相差検出を行うことができる。しかしながら、射出瞳E2乃至E4に対しては、被写体光が2分割されないため、位相差検出の精度が悪くなる。
なお、位置F2乃至位置F4における位相差検出画素(D1c)253も位置F1と同様に、射出瞳E1の位置に合わせて遮光部が形成されることにより、射出瞳E1に対しては精度良く位相差検出を行えるが、射出瞳E2乃至E4に対しては精度が悪くなる。
このように、位相差検出画素D1cは、射出瞳E1に対しては精度良く位相差検出を行えるものの、射出瞳E2乃至E4に対しては精度が悪くなる。
図6(b)は、位置d2の射出瞳に対応する位相差検出画素(位相差検出画素D2)が行う瞳分割と、位置d1乃至d4の射出瞳との関係が模式的に示されている。同図(b)には、同図(a)と同様に、射出瞳(射出瞳E1乃至E4)と、第2イメージセンサ200とが示されている。
同図(b)には、同図(a)において示した瞳分割ラインL21乃至L24の代わりに、位置F1乃至F4の位相差検出画素D2がそれぞれ分割する領域の境界を示す軸として、瞳分割ラインL31乃至L34が示されている。
位相差検出画素D2は、射出瞳E2を2等分する瞳分割が行えるように遮光部が形成される。すなわち、位相差検出画素D2は、同図(b)に示すように、射出瞳E2に対しては精度良く位相差検出を行えるが、射出瞳E1、E3およびE4に対しては精度が悪くなる。
図7は、本発明の第1の実施の形態における位相差検出画素D3および位相差検出画素D4による瞳分割を示す模式図である。
図7(a)は、位置d3の射出瞳に対応する位相差検出画素(位相差検出画素D3)が行う瞳分割と、位置d1乃至d4の射出瞳との関係が模式的に示されている。同図(a)には、図6(a)と同様に、射出瞳(射出瞳E1乃至E4)と、第2イメージセンサ200とが示されている。
図7(a)には、図6(a)において示した瞳分割ラインL21乃至L24の代わりに、位置F1乃至F4の位相差検出画素D3がそれぞれ分割する領域の境界を示す軸として、瞳分割ラインL41乃至L44が示されている。
位相差検出画素D3は、射出瞳E3を2等分する瞳分割が行えるように遮光部が形成される。すなわち、位相差検出画素D3は、図7(a)に示すように、射出瞳E3に対しては精度良く位相差検出を行えるが、射出瞳E1、E2およびE4に対しては精度が悪くなる。
図7(b)は、位置d4の射出瞳に対応する位相差検出画素(位相差検出画素D4)が行う瞳分割と、位置d1乃至d4の射出瞳との関係が模式的に示されている。同図(b)には、図6(a)と同様に、射出瞳(射出瞳E1乃至E4)と、第2イメージセンサ200とが示されている。
図7(b)には、図6(a)において示した瞳分割ラインL21乃至L24の代わりに、位置F1乃至F4の位相差検出画素D4がそれぞれ分割する領域の境界を示す軸として、瞳分割ラインL51乃至L54が示されている。
位相差検出画素D4は、射出瞳E4を2等分する瞳分割が行えるように遮光部が形成される。すなわち、位相差検出画素D4は、図7(b)に示すように、射出瞳E4に対しては精度良く位相差検出を行えるが、射出瞳E1乃至E3に対しては精度が悪くなる。
このように、位相差検出画素D1乃至D4は、それぞれが異なる位置の射出瞳に対応するように遮光部が形成される。このように、異なる位置の射出瞳に対応する位相差検出画素を第2イメージセンサ200に設けることにより、撮像装置100がレンズユニットの交換可能な一眼レフカメラである場合などにおいて、射出瞳の位置が異なる交換レンズにも対応することができる。
なお、位相差検出画素は、第1の実施の形態において、4つの射出瞳位置にそれぞれ対応するD1乃至D4を想定したが、これに限定されるものではない。位相差検出画素の行と画像生成画素の行とが交互に配置される(画像生成画素に隣接する位相差検出画素の割合が一定になる)のであれば、4以外でもよい。例えば、レンズ一体型のカメラに第2イメージセンサ200が設けられる場合には、1つの射出瞳位置に対する位相差検出画素のみを配置することなども考えられる。
[画像生成画素に隣接する画素の一例]
図8は、本発明の第1の実施の形態における第2イメージセンサ200の画像生成画素に隣接する画素および従来のイメージセンサの画像生成画素に隣接する画素を示す模式図である。なお、同図では、画像生成画素(の受光素子)に対する隣接する位相差検出画素(の受光素子)の影響の一例として、低波長の光が漏れ込むことを想定して説明する。すなわち、低波長の光が漏れ込む量が異なることにより、画像生成画素の受光素子が受光する光の波長特性が僅かに変化してしまうことを想定する。
同図(a)には、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサにおける画像生成画素と位相差検出画素とがともに配置されている領域(6行×10列)が示されている。同図(a)では、上から3行目の行において8個の位相差検出画素が1行に配置され、他の画素は全て画像生成画素である領域が示されている。
同図(a)に示すように、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサにおいては、位相差検出画素が部分的に配置される。このため、この部分的に配置された位相差検出画素の周囲の画像生成画素のみが、位相差検出画素に隣接する画像生成画素となる。
ここで、同図(a)に示した領域の画素のうち、隣接する画素が異なる3つのG画素(G画素511乃至513)について着目し、同図(b)を参照して説明する。
同図(b)には、同図(a)において示したG画素511乃至513が、位相差検出画素から漏れ込む光を示す矢印とともに示されている。
G画素511は、隣接する8つの画素が全て画像生成画素であるG画素である。このG画素511は、隣接する画素に位相差検出画素が無いため、位相差検出画素を備えていないイメージセンサの画素と同様の特性になる。
G画素512は、隣接する8つの画素のうち、7つが画像生成画素であり、1つが位相差検出画素であるG画素である。このG画素512は、1つの位相差検出画素と隣接しているため、この1つの位相差検出画素からの影響を受ける。例えば、位相差検出画素にカラーフィルタが設けられていない場合には、隣接する位相差検出画素からG画素512に短波長の光が漏れ込むことなどが考えられる。これにより、G画素512の受光素子が受光する光の波長特性が、G画素511の波長特性と僅かに異なってしまうことが生じる。
G画素513は、隣接する8つの画素のうち、5つが画像生成画素であり、3つが位相差検出画素であるG画素である。このG画素513は、3つの位相差検出画素と隣接しているため、位相差検出画素3つ分の影響を受ける。すなわち、G画素512と比較して、漏れ込む光の量が増加する。これにより、G画素513の受光素子が受光する光の波長特性が、G画素511の波長特性やG画素512の波長特性と異なってしまう。
このように、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサにおいては、位相差検出画素に隣接する画像生成画素と、隣接しない画像生成画素とが混在する。このため、画像生成画素の受光素子の受光する光の波長特性が、ばらつく問題が発生する。
同図(c)には、本発明の第1の実施の形態における第2イメージセンサ200におけるG画素およびB画素が画像生成画素として配置される行と、この行の上下に隣接する位相差検出画素が配置される行とが配置される領域が示されている。同図(c)では、図3において示した領域210の上から2番目乃至4番目の行における3行×8列の受光素子(3×4個の画素)を想定して説明する。
図8(c)に示すように、第2イメージセンサ200においては、画像生成画素の行に隣接する行(上下の行)は、位相差検出画素が配置される行である。このため、全ての画像生成画素が、位相差検出画素に隣接する画像生成画素となる。
ここで、隣接する位相差検出画素について、G画素230における1つの受光素子(受光素子521)に着目して、同図(d)を参照して説明する。
同図(d)には、同図(c)において示した受光素子521が、位相差検出画素から漏れ込む光を示す矢印とともに示されている。
受光素子521は、隣接する8つの受光素子のうち、2つが画像生成画素の受光素子であり、6つが位相差検出画素の受光素子である。この受光素子521は、位相差検出画素の受光素子6個と隣接しているため、この位相差検出画素の受光素子6つ分の影響を受ける。なお、第2イメージセンサ200では位相差検出画素の行と画像生成画素の行とが交互であるため、行の端を除いた全ての画像生成画素が、位相差検出画素の受光素子6個と隣接する(隣接する画素についての位相差検出画素と画像生成画素との割合が一定となる)。
同図(d)に示すように、第2イメージセンサ200において、第2イメージセンサ200の端の画素は除いた全ての画像生成画素の受光素子が位相差検出画素の受光素子6個からの影響を受けるため、画像生成画素の受光素子の受光する光の波長特性が均一になる。すなわち、第2イメージセンサ200の端の画素を使わないことにより(有効画素から除く)、受光素子の受光する光の波長特性の補正をする必要がなくなる。
このように、有効画素の領域における画像生成画素の受光素子の隣接する受光素子について、位相差検出画素の受光素子と画像生成画素の受光素子との割合を一定とすることにより、画像生成画素の受光素子の特性を均一にすることができる。なお、本発明の第1の実施の形態では、画像生成画素が2つの受光素子を備える場合について説明しているが、これに限定されるものではなく、画像生成画素が1つの受光素子を備える場合においても、同様の効果を得ることができる。すなわち、有効画素(被写体光を受光して画像を生成する画素)の領域における画像生成画素の隣接する各画素について、位相差検出画素と画像生成画素との割合を一定とすることにより、画像生成画素の受光素子の特性を均一にすることができる。
[第2イメージセンサが生成する画像の一例]
図9は、本発明の第1の実施の形態における第2イメージセンサ200の信号から生成される撮像画像および従来のイメージセンサの信号から生成される撮像画像を示す模式図である。なお、同図において、生成される撮像画像は、各イメージセンサが生成することのできる最大画素数の画像であることとする。
同図(a)には、画像生成画素および位相差検出画素が両方設けられる従来のイメージセンサ(イメージセンサ540)と、このイメージセンサ540が出力する信号から生成される撮像画像(撮像画像550)とが示されている。
イメージセンサ540には、4つの行の一部において位相差検出画素が配置されており、この位相差検出画素が配置されている場所が破線(位相差検出画素位置541)により模式的に示されている。また、イメージセンサ540の横方向(読み出し方向)の大きさ(受光素子(画素)数)をW1とし、縦方向(読み出し方向に対して直行する方向)の大きさ(受光素子(画素)数)をH1とする。
撮像画像550には、位相差検出画素の位置の画像データの場所が、破線(データ補完画素位置551)により模式的に示されている。また、撮像画像550の横方向(読み出し方向)の大きさ(受光素子数)をW2とし、縦方向の大きさ(受光素子数)をH2とする。
ここで、イメージセンサ540による撮像画像550の生成について説明する。
イメージセンサ540では、一部の画素が位相差検出画素であるため、撮像画像を生成する際には、その位相差検出画素の位置の画像データを、周囲の画像生成画素のデータから推測して補完する処理が行われる。また、イメージセンサ540は1つの画像生成画素に1つの受光素子が備えられるため、イメージセンサ540の信号から生成される撮像画像の最大画素数は、イメージセンサ540における受光素子数と同数になる。
すなわち、同図(a)に示すように、従来のイメージセンサの信号から生成される撮像画像550は、位相差検出画素の位置(イメージセンサ540の位相差検出画素位置541)のデータを補完した位置(データ補完画素位置551)を含む画像である。また、撮像画像550は、横方向の画素数(W2)がイメージセンサ540の横方向の受光素子(画素)数(W1)と同一になるとともに、縦方向の画素数(H2)もイメージセンサ540の縦方向の受光素子(画素)数(H1)と同一になる。例えば、イメージセンサ540の有効な受光素子の数(撮像画像を生成する際に用いられる受光素子の数)が4592列×3056行である場合には、画素数が4592列×3056行の撮像画像550が生成される。
同図(b)には、本発明の第1の実施の形態の第2イメージセンサ200と、この第2イメージセンサ200が出力する信号から生成される撮像画像(撮像画像560)とが示されている。
第2イメージセンサ200には、位相差検出画素の行が撮像画像の行と交互に配置されており、この位相差検出画素の行が複数の破線により模式的に示されている。また、第2イメージセンサ200の横方向(読み出し方向)の大きさ(受光素子数)をW11とし、縦方向の大きさ(受光素子数)をH11とする。また、撮像画像560では、撮像画像560の横方向(読み出し方向)の大きさ(画素数)をW12とし、縦方向の大きさ(画素数)をH12とする。
ここで、第2イメージセンサ200による撮像画像560の生成について説明する。
第2イメージセンサ200では、位相差検出画素の行が画像生成画素の行と交互に配置されているため、撮像画像を生成する際には、画像生成画素の行のデータのみで撮像画像が生成される。また、半数の画素が位相差検出画素であるため、撮像画像を生成する際において、位相差検出画素の位置の画像データを補完する処理は行われない。これにより、第2イメージセンサ200の信号から生成される撮像画像の縦方向の最大画素数は、イメージセンサ540における縦方向の受光素子数の2分の1になる(画素数でも2分の1)。また、第2イメージセンサ200は1つの画像生成画素に2つの受光素子が備えられるため、第2イメージセンサ200の信号から生成される撮像画像の横方向の最大画素数は、イメージセンサ540における横方向の受光素子数の2分の1になる(画素数では同数)。
すなわち、同図(b)に示すように、第2イメージセンサ200の信号から生成される撮像画像560は、位相差検出画素の位置のデータを補完したデータを含んでおらず、撮像素子が生成したデータのみにより構成される画像である。また、撮像画像560は、横方向の画素数(W12)が第2イメージセンサ200の横方向の受光素子数(W11)の2分の1になるとともに、縦方向の画素数(H12)が第2イメージセンサ200の縦方向の受光素子数(H11)の2分の1になる。例えば、第2イメージセンサ200の有効な受光素子の数が4592列×3056行である場合には、画素数が2296列×1528行の撮像画像560が生成される。
このように、第2イメージセンサ200においては、位相差検出画素の行と画像生成画素の行とが交互に配置されているにも係わらず、生成される画像のアスペクト比を画像生成画素のみのイメージセンサと同じ比にすることができる。すなわち、第2イメージセンサ200の信号から生成される画像(ライブビュー画像)と、第1イメージセンサ140の信号から生成される画像(静止画像)とのアスペクト比を同一にすることができる。これにより、第2イメージセンサ200からの信号から容易に(特別な補正処理を行う必要が無く)、静止画像のライブビュー画像を生成することができる。
なお、本発明の第1の実施の形態では、2つの受光素子を備える位相差検出画素と、2つの受光素子を備える画像生成画素を用いる場合について説明しているが、これに限定されるものではない。1つの受光素子を備える画像生成画素を用いる場合においても、同一のカラーフィルタを備えて読み出し方向に連続する2つの画素を1組の画素(生成する画像における画素単位)として画像を生成することで、アスペクト比を同一にすることができる。
[第2イメージセンサにおけるデータ読み出し速度の一例]
図10は、本発明の第1の実施の形態の第2イメージセンサ200におけるデータ読み出し速度の一例と、従来のイメージセンサにおけるデータ読み出し速度の一例とを示すグラフである。また、同図では、各イメージセンサが最大画素数の撮像画像を生成する際のデータ読み出し速度を示す。
なお、同図では、図9と同様に、各イメージセンサが4592列×3056行の受光素子を備えていることを想定する。すなわち、本発明の第1の実施の形態における第2イメージセンサ200は、2296列×3056行の画素を備え、従来のイメージセンサは4592列×3056行の画素を備えることとする。また、従来のイメージセンサは、大部分が画像生成画素であり、1行乃至3行の読み出しを省略しても読出時間が少なくならないため、説明の便宜上、全ての位相差検出画素からデータを読み出すものとして説明する。
同10(a)には、横軸をデータ読み出し時間を示す軸とするグラフにおいて、1つの行に配置される全ての画素のデータを読み出すのに必要な時間(読み出し方向に関するデータ読み出し時間)が示されている。同図(a)では、データ読み出し時間として、従来のイメージセンサのデータ読み出し時間(時間T1)と、本発明の第1の実施における第2イメージセンサ200のデータ読み出し時間(時間T2)とが示されている。
ここで、時間T1と時間T2との違いについて説明する。従来のイメージセンサは、1つの画像生成画素に1つの受光素子が備えられるため、画素からのデータ読み出しが1行当たり4592回行われる。すなわち、時間T1は、この4592回のデータ読み出しに係る時間を示している。
一方、第2イメージセンサ200は、1つの画像生成画素に2つの受光素子が備えられるため、画素からのデータ読み出しが1行当たり2296回行われる。すなわち、時間T2は、この2296回のデータ読み出しに係る時間を示している。
同図(a)に示すように、本発明の第1の実施の第2イメージセンサ200は、1つの画像生成画素に2つの受光素子が備えられることにより、従来のイメージセンサと比較して、1行当たりのデータ読み出し速度が速くなる。
同図(b)には、横軸をデータ読み出し時間を示す軸とするグラフにおいて、読み出し方向と直交する直交方向の全ての画素のデータを読み出すのに必要な時間(読み出し方向との直交方向に関するデータ読み出し時間)が示されている。同図(b)では、データ読み出し時間として、従来のイメージセンサにおける時間(時間T3)と、1行の位相差検出画素を用いて位相差検出を行う場合(読み出し方向に瞳分割する場合)における第2イメージセンサ200の時間(時間T4)とが示されている。また、同図(b)では、複数行の位相差検出画素を用いて位相差検出を行う場合(読み出し方向に対して直行する方向に瞳分割する場合)における第2イメージセンサ200のデータ読み出し時間(時間T5)が示されている。
ここで、時間T3、時間T4および時間T5の違いについて説明する。従来のイメージセンサは、画素の大部分が画像生成画素であり、また、位相差検出画素が備えられる行には画像生成画素も混在するため、画素のデータが読み出されない行はほとんどない。すなわち、従来のイメージセンサにおいて、読み出す行の指定(y軸方向の指定)が3056回行われる。すなわち、時間T3は、3056回のデータ読み出しに係る時間を示している。
一方、第2イメージセンサ200は、画像生成画素の行と位相差検出画素の行とが交互に配置されるため、撮像画像を生成するために必要な読み出す行の指定の回数は1528回(3056行の2分の1の)となる。また、位相差検出画素の行については、横方向の瞳分割で行う場合には、最低1つの行における位相差検出画素のデータで行うことができる。また、縦方向の瞳分割で行う場合には、縦方向に瞳分割する行の画素のうちの、対となる画素が配置されている2つの画素の列に配置されている画素のデータで行うことができる。時間T4は、横方向に瞳分割する場合における1528回+1回のデータ読み出しに係る時間を示し、時間T5は縦方向に瞳分割する場合における1528回+764回のデータ読み出しに係る時間を示す。
同図(b)に示すように、本発明の第1の実施の第2イメージセンサ200は、画像生成画素のみが配置される行と位相差検出画素のみが配置される行とを交互に配置することにより、従来のイメージセンサと比較して、読み出されない行の数が多くなる。これにより、従来のイメージセンサと比較して、データ読み出し速度が速くなる。
同図(c)には、横軸をデータ読み出し時間を示す軸とするグラフにおいて、1つの撮像画像を生成する際に画素のデータを読み出すのに必要な時間(イメージセンサ全体に関する読みだし時間)が示されている。同図(c)では、データ読み出し時間として、従来のイメージセンサのデータ読み出し時間(時間T6)と、1行における位相差検出画素を用いて位相差検出を行う場合における第2イメージセンサ200のデータ読み出し時間(時間T7)とが示されている。また、同図(c)では、764行における位相差検出画素を用いて位相差検出を行う場合における第2イメージセンサ200のデータ読み出し時間(時間T8)が示されている。
ここで、時間T6、時間T7および時間T8の違いについて説明する。従来のイメージセンサは、読み出す行の指定(y軸方向の指定)が3056回行われ、指定された各行の画素からのデータ読み出しが4592回行われる。すなわち、画素からのデータ読み出しが、3056×4592回行われる。時間T6は3056×4592回のデータ読み出しに係る時間を示す。
一方、第2イメージセンサ200は、1行の位相差検出画素を用いて位相差検出を行う場合には、読み出す行の指定が1528+1回行われ、指定されている各行の画素からのデータ読み出しが2296回行われる。すなわち、画素からのデータ読み出しが、(1528+1)×2296回行われる。時間T7は(1528+1)×2296回のデータ読み出しに係る時間を示す。
また、縦方向の位相差検出を行う場合には、読み出す行の指定が1528+764回行われ、指定されている各行の画素からのデータ読み出しが2296回行われる(便宜上、位相差検出画素の行の全ての画素からもデータを読み出すこととしている)。すなわち、画素からのデータ読み出しが、(1528+764)×2296回行われる。時間T8は(1528+764)×2296回のデータ読み出しに係る時間を示す。
同図(c)に示すように、本発明の第1の実施の第2イメージセンサ200は、従来のイメージセンサと比較して、データ読み出し速度が速くなる。
このように、本発明の第1の実施では、画像生成画素(受光素子)に隣接する位相差検出画素の割合を一定にすることにより、画像生成画素における特性を均一にすることができる。これにより、撮像画像を生成する際における各画素の特性に関する補正処理を軽減することができる。
また、本発明の第1の実施では、画像生成画素の行において、同一の特性のフィルタを備える2つの受光素子を1つの組として画像生成画素をベイヤー配列状に配置した。このことにより、従来のベイヤー配列における処理と同様の処理を用いて撮像画像を生成することができ、撮像画像を生成する際における色に関する補正処理を軽減することができる。
さらに、本発明の第1の実施では、画像生成画素および位相差検出画素において、1つの画素が2つの受光素子を備えることにした。このことにより、読み出し方向における画素からのデータの読み出しの時間を短くすることができる。また、1つの画素における受光面の面積が広くなるため、1つの画素が生成する信号を強くすることができる。また、画像生成画素のみのイメージセンサと同じアスペクト比の撮像画像を生成することができる。
<2.変形例>
本発明の第1の実施の形態では、第2イメージセンサ200において、読み出し方向に瞳分割する位相差検出画素と、読み出し方向に対して直行する方向に瞳分割する位相差検出画素とを1ライン毎に交互に配置する例について説明した。ただし、位相差検出画素および位相差検出画素については、他の配置とするようにしてもよい。例えば、画像生成画素に隣接する位相差検出画素の数が全ての画像生成画素において均一になる(割合が一定になる)ように、位相差検出画素の行と画像生成画素の行とを交互に配置することができる。このように、位相差検出画素の配置については、第1の実施の形態に示したものの他に、種々のパターンが考えられる。
そこで、種々のパターンの一例として、対となる位相差検出画素の位置が第1の実施の形態の第2イメージセンサと反対であるイメージセンサの例について、図11を参照して説明する。また、位相差検出画素が読出方向に瞳分割する画素のみであるイメージセンサの例について、図12および図13を参照して説明する。さらに、位相差検出画素の行と画像生成画素の行とが2行ごとに交互に配置されるイメージセンサの例について、図14を参照して説明する。
[第2イメージセンサにおける画素の配置例]
図11乃至図14は、本発明の第1の実施の形態の変形例における第2イメージセンサに備えられる受光素子の配置の一例を示す模式図である。同図では、説明の便宜上、第2イメージセンサ200を構成する各画素の受光素子のうちの一部の受光素子(16行×16列の受光素子)の領域を用いて説明する。なお、同図以降では、図3において示した本発明の第1の実施の形態における領域210との違いに着目して説明する。
図11は、本発明の第1の実施の形態の変形例として、対となる位相差検出画素の位置が第1の実施の形態と反対である第2イメージセンサの受光素子の配置の一例を示す図である。
同図には、対となる位相差検出画素の位置が第1の実施の形態と反対である第2イメージセンサにおける16行×16列の受光素子の領域であって、図3において示した領域210に対応する領域である領域710が示されている。図11では、読み出し方向に瞳分割する受光素子が配置される行として、横D1行721、横D2行723、横D3行725および横D4行727が示されている。また、縦方向に瞳分割する受光素子が配置される行として、縦検出行722、縦検出行724、縦検出行726および縦検出行728が示されている。これらの行における受光素子は、図3において示した領域210の瞳分割する受光素子が配置される行と比較して、対となる受光素子の位置が逆になっている。例えば、横D1行721と横D1行321(図3参照)とを比較すると、位相差検出画素D1aと位相差検出画素D1bとの位置がそれぞれ逆になっている。なお、読み出し方向に瞳分割する受光素子が配置される行と同様に、読み出し方向に対して直行する方向に瞳分割する受光素子が配置される行においても、対となる受光素子の位置が逆になっている。
このように、本発明の第1の実施の形態とは対となる位相差検出画素の位置が異なる場合においても、本発明の第1の実施の形態と同様に、画像生成画素に隣接する位相差検出画素の割合を一定にすることができる。
図12は、本発明の第1の実施の形態の変形例として、読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される第2イメージセンサの受光素子の配置の一例を示す図である。
同図には、読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される第2イメージセンサにおける16行×16列の受光素子の領域であって、図3において示した領域210に対応する領域である領域730が示されている。図12では、読み出し方向に瞳分割する受光素子が配置される行として、横D1行731、横D2行732、横D3行733、横D4行734、横D5行735、横D6行736、横D7行737および横D8行738が示されている。横D5行735乃至横D8行738は、横D1行731乃至横D4行734とは異なる射出瞳位置にそれぞれ対応する位相差検出画素が配置される行である。また、領域730における位相差検出画素の行では、対となる位相差検出画素が並べて配置されている。
このように、読み出し方向に瞳分割する位相差検出画素のみを対となる位相差検出画素が並ぶように配置することにより、第1の実施の形態に示した第2イメージセンサ200より多くの射出瞳位置に対応できるようになる。
図13は、本発明の第1の実施の形態の変形例として、読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される第2イメージセンサの受光素子の配置の図12とは異なる一例を示す図である。
図13には、読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される第2イメージセンサにおける16行×16列の受光素子の領域であって、図12において示した領域730とは異なるパターンである領域740が示されている。図13では、読み出し方向に瞳分割する受光素子が配置される行として、横D1a行741、横D1b行742、横D2a行743、横D2b行744、横D3a行745、横D3b行746、横D4a行747および横D4b行748が示されている。横D1a行741は位相差検出画素D1aのみが配置される行であり、横D1b行742は位相差検出画素D1bのみが配置される行である。横D2a行743乃至横D4b行748も同様に、位相差検出画素D2a乃至D4bのみがそれぞれ配置される行である。
このように、読み出し方向に瞳分割する位相差検出画素のみを対となる位相差検出画素がそれぞれ別の行となるように配置することにより、同一方向に瞳分割された光を受光する位相差検出画素間のピッチが細かくなり、位相差検出の精度が上がる。
なお、図12および図13に示したような読み出し方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される場合の他に、読み出し方向に対して直行する方向方向に瞳分割する位相差検出画素のみが位相差検出画素の行に配置される場合も考えられる。
図14は、本発明の第1の実施の形態の変形例として、位相差検出画素の行と画像生成画素の行とが2行ごとに交互に配置される第2イメージセンサの受光素子の配置の一例を示す図である。
同図では、位相差検出画素の行と画像生成画素の行とが2行ごとに交互に配置される第2イメージセンサにおける16行×16列の受光素子の領域であって、図3において示した領域210に対応する領域である領域750が示されている。図14では、画像生成画素が配置される2つの行と、位相差検出画素が配置される2つの行とが交互にされることが示されている。このように配置した場合において、画像生成画素の受光素子は、3つの位相差検出画素の受光素子と隣接する。すなわち、第1の実施に示すような画像生成画素の行と位相差検出画素の行とが2行ごとに交互である場合においても、画像生成画素に隣接する位相差検出画素の割合を一定にすることができる。
なお、画像生成画素の行が2行ごとであり、位相差検出画素の行が3行ごとである場合においても、画像生成画素に隣接する位相差検出画素の割合が一定になる。この場合においては、撮像画像を生成する際に、アスペクト比が静止画像と同一になるように補正処理をすることにより、静止画像のライブビュー画像を生成することができる。
図11乃至図14に示すように、本発明の第1の実施の形態に示すような配置以外においても、画像生成画素に隣接する位相差検出画素の割合を一定にすることができる。
なお、本発明の第1の実施の形態およびその変形例において、位相差検出画素および画像生成画素は2つの受光素子を備えることを想定して説明したが、これに限定されるものではない。例えば、画素の数を2分の1にする必要がないほどデータの転送が速い場合には、1つの画素につき1つの受光素子とした位相差検出画素および画像生成画素を、画像生成画素に隣接する位相差検出画素の割合が一定となるように配置しても良い。また、第2イメージセンサを作成する際に長方形(第1の実施の受光素子の2個分の大きさ)の受光素子を作成することにより、1つの受光素子で1つの画素とする場合も考えられる。
なお、本発明の第1の実施の形態およびその変形例において、第2イメージセンサ200はCMOSのセンサであることを想定したが、これに限定されるものではなく、CCD(Charge Coupled Device)のセンサを用いる場合も考えられる。また、第2イメージセンサ200の信号から生成される画像をライブビュー画像として用いることを想定したが、これに限定されるものではなく、例えば、動画の画像として記憶部181に保存する場合なども考えられる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 撮像装置
110 レンズ部
111 ズームレンズ
112 絞り
113 フォーカスレンズ
120 操作受付部
130 制御部
140 第1イメージセンサ
150 第1信号処理部
160 ペリクルミラー
170 第2信号処理部
181 記憶部
182 表示部
183 合焦判定部
184 駆動部
200 第2イメージセンサ

Claims (12)

  1. 位相差検出による合焦判定を行うための信号を生成する2つの第1受光素子と当該2つの第1受光素子に接続された浮遊拡散層とがそれぞれに設けられた複数の位相差検出画素と、
    画像を生成するための信号を生成する複数の画像生成画素とを具備し、
    前記2つの第1受光素子に接続された前記浮遊拡散層は、合焦判定を行うための前記信号を検出し、
    隣接する2つの前記位相差検出画素の一方に設けられた前記2つの第1受光素子はいずれも特定の部分が遮光され、他方に設けられた前記2つの第1受光素子はいずれも前記特定の部分と異なる部分が遮光され、
    前記複数の位相差検出画素のうちの一部の位相差検出画素が特定方向に並べて構成される第1画素群と、前記複数の画像生成画素のうちの一部の画像生成画素が前記特定方向に並べて構成される第2画素群とが前記特定方向とは直交する直交方向に交互に配置されている
    撮像素子。
  2. 前記複数の画像生成画素の各々は、前記撮像素子における被写体光を受光する領域において、隣接する各画素について前記位相差検出画素と前記画像生成画素との割合が一定である請求項1記載の撮像素子。
  3. 前記第1画素群は、1または複数のラインを構成する複数の位相差検出画素からなり、
    前記第2画素群は、1または2のラインを構成する複数の画像生成画素からなる
    請求項1記載の撮像素子。
  4. 前記特定方向は、前記位相差検出画素および前記画像生成画素により生成されたデータが前記位相差検出画素および前記画像生成画素から読み出される場合における読み出し方向である請求項1記載の撮像素子。
  5. 前記第1画素群は、1のラインを構成する複数の位相差検出画素からなり、
    前記第2画素群は、1のラインを構成する複数の画像生成画素からなり、
    前記複数の画像生成画素のそれぞれには、同一の波長の光を透過する2つのカラーフィルタが設けられる
    請求項1記載の撮像素子。
  6. 前記複数の画像生成画素は、前記撮像素子において、前記画素単位がベイヤー配列で配置される請求項5記載の撮像素子。
  7. 前記第1画素群は、前記特定方向に瞳分割する前記位相差検出画素が前記特定方向に並べて構成されている第1ラインと、前記直交方向に瞳分割する前記位相差検出画素が前記特定方向に並べて構成されている第2ラインとを含み、
    前記第1ラインおよび前記第2ラインは、前記第2画素群を間に挟んで交互に配置される
    請求項1記載の撮像素子。
  8. 前記位相差検出画素は、光軸方向における位置が異なる複数の射出瞳にそれぞれ対応する複数の位相差検出画素を含み、
    前記第1ラインは、前記複数の位相差検出画素のうち前記射出瞳の位置が同一の位相差検出画素が並べで構成されている
    請求項7記載の撮像素子。
  9. 前記複数の位相差検出画素は、軸方向における位置が異なる複数の射出瞳にそれぞれ対応する複数の位相差検出画素を含み、
    前記第2ラインは、前記特定方向の位置における同じ位置には前記射出瞳の位置が同一の位相差検出画素が配置されるように構成される
    請求項7記載の撮像素子。
  10. 前記画像を生成するための信号を生成する2つの第2受光素子と当該2つの第2受光素子に接続された前記浮遊拡散層とが前記複数の画像生成画素のそれぞれに設けられ
    前記2つの第2受光素子に接続された前記浮遊拡散層は、前記画像を生成するための前記信号を検出する
    請求項1記載の撮像素子。
  11. 位相差検出による合焦判定を行うための信号を生成する2つの第1受光素子と当該2つの第1受光素子に接続された浮遊拡散層とがそれぞれに設けられた複数の位相差検出画素と、
    画像を生成するための信号を生成する複数の画像生成画素とを具備し、
    前記2つの第1受光素子に接続された前記浮遊拡散層は、合焦判定を行うための前記信号を検出し、
    隣接する2つの前記位相差検出画素の一方に設けられた前記2つの第1受光素子はいずれも特定の部分が遮光され、他方に設けられた前記2つの第1受光素子はいずれも前記特定の部分と異なる部分が遮光され、
    前記複数の画像生成画素の各々は、被写体光を受光する領域において、隣接する各画素について前記位相差検出画素と前記画像生成画素との割合が一定である
    撮像素子。
  12. 位相差検出による合焦判定を行うための信号を生成する2つの第1受光素子と前記当該2つの第1受光素子に接続された浮遊拡散層とがそれぞれに設けられた複数の位相差検出画素と、画像を生成するための信号を生成する複数の画像生成画素とを備え、前記2つの第1受光素子に接続された前記浮遊拡散層は、合焦判定を行うための前記信号を検出し、隣接する2つの前記位相差検出画素の一方に設けられた前記2つの第1受光素子はいずれも特定の部分が遮光され、他方に設けられた前記2つの第1受光素子はいずれも前記特定の部分と異なる部分が遮光され、前記複数の位相差検出画素のうちの一部の位相差検出画素が特定方向に並べて構成されている第1画素群と、前記複数の画像生成画素のうちの一部の画像生成画素が前記特定方向に並べて構成されている第2画素群とが前記特定方向とは直交する直交方向に交互に配置されている撮像素子と、
    前記位相差検出画素が生成する信号に基づいて位相差検出による合焦判定を行う合焦判定部と、
    前記画像生成画素が生成する信号に基づいて画像を生成する画像生成部と
    を具備する撮像装置。
JP2010181486A 2010-08-16 2010-08-16 撮像素子および撮像装置 Active JP5764884B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2010181486A JP5764884B2 (ja) 2010-08-16 2010-08-16 撮像素子および撮像装置
PCT/JP2011/065561 WO2012023355A1 (ja) 2010-08-16 2011-07-07 撮像素子および撮像装置
CN201180039146.1A CN103069325B (zh) 2010-08-16 2011-07-07 图像捕获元件和成像设备
RU2013105471/28A RU2574316C2 (ru) 2010-08-16 2011-07-07 Элемент получения изображения и устройство формирования изображения
US13/811,684 US9196644B2 (en) 2010-08-16 2011-07-07 Imaging device for phase difference detection for focusing and image generation
KR1020137003452A KR20130108253A (ko) 2010-08-16 2011-07-07 촬상 소자 및 촬상 장치
BR112013003237A BR112013003237A2 (pt) 2010-08-16 2011-07-07 elemento de captura de imagem, e, dispositivo de formação de imagem
TW100127405A TW201224565A (en) 2010-08-16 2011-08-02 Image pickup device and image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010181486A JP5764884B2 (ja) 2010-08-16 2010-08-16 撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP2012042544A JP2012042544A (ja) 2012-03-01
JP5764884B2 true JP5764884B2 (ja) 2015-08-19

Family

ID=45605016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010181486A Active JP5764884B2 (ja) 2010-08-16 2010-08-16 撮像素子および撮像装置

Country Status (7)

Country Link
US (1) US9196644B2 (ja)
JP (1) JP5764884B2 (ja)
KR (1) KR20130108253A (ja)
CN (1) CN103069325B (ja)
BR (1) BR112013003237A2 (ja)
TW (1) TW201224565A (ja)
WO (1) WO2012023355A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11632510B2 (en) 2017-06-30 2023-04-18 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468178B2 (ja) * 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置、撮像装置の制御方法及びプログラム
US9191566B2 (en) * 2012-03-30 2015-11-17 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
DE112013005594T5 (de) * 2012-11-22 2015-10-22 Fujifilm Corporation Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
JP2014106476A (ja) 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
US9473688B2 (en) 2012-12-20 2016-10-18 Canon Kabushiki Kaisha Image pickup apparatus comprising a plurality of imaging sensors and image processing units
JP5882925B2 (ja) * 2013-02-18 2016-03-09 キヤノン株式会社 撮像装置及びその制御方法
JP6184132B2 (ja) * 2013-03-07 2017-08-23 オリンパス株式会社 撮像装置および画像処理方法
JP6052057B2 (ja) * 2013-05-22 2016-12-27 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
WO2015045375A1 (ja) * 2013-09-26 2015-04-02 株式会社ニコン 撮像素子および撮像装置
WO2016080153A1 (ja) * 2014-11-18 2016-05-26 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
KR102242472B1 (ko) 2014-12-18 2021-04-20 엘지이노텍 주식회사 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
KR102197083B1 (ko) * 2014-12-18 2020-12-31 엘지이노텍 주식회사 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
KR102299575B1 (ko) 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
JP6733657B2 (ja) * 2015-03-18 2020-08-05 ソニー株式会社 固体撮像装置および駆動方法、並びに電子機器
US9743015B2 (en) * 2015-05-22 2017-08-22 Samsung Electronics Co., Ltd. Image capturing apparatus and method of controlling the same
JP6584149B2 (ja) * 2015-05-29 2019-10-02 キヤノン株式会社 撮像装置
JP2017085484A (ja) * 2015-10-30 2017-05-18 日本放送協会 撮像素子、合焦位置検出器及び撮像装置
JP6890998B2 (ja) * 2016-03-04 2021-06-18 キヤノン株式会社 撮像素子、撮像装置及び移動体
KR20180024604A (ko) 2016-08-30 2018-03-08 삼성전자주식회사 이미지 센서 및 그 구동 방법
WO2018061497A1 (ja) * 2016-09-27 2018-04-05 富士フイルム株式会社 撮像素子及び撮像装置
KR20180074368A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP6882016B2 (ja) * 2017-03-06 2021-06-02 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2018148383A (ja) * 2017-03-06 2018-09-20 キヤノン株式会社 撮像装置および撮像ユニット
CN106973206B (zh) * 2017-04-28 2020-06-05 Oppo广东移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
WO2019031000A1 (ja) * 2017-08-09 2019-02-14 ソニー株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム
JP2019106634A (ja) * 2017-12-13 2019-06-27 オリンパス株式会社 撮像素子及び撮像装置
CN109949332B (zh) * 2017-12-20 2021-09-17 北京京东尚科信息技术有限公司 用于处理图像的方法和装置
KR102520487B1 (ko) * 2018-02-21 2023-04-12 에스케이하이닉스 주식회사 이미지 센싱 장치
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
JP7281895B2 (ja) 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
CN112866542B (zh) * 2019-11-12 2022-08-12 Oppo广东移动通信有限公司 追焦方法和装置、电子设备、计算机可读存储介质
US11539875B1 (en) * 2021-08-27 2022-12-27 Omnivision Technologies Inc. Image-focusing method and associated image sensor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977062B2 (ja) * 2001-11-21 2007-09-19 キヤノン株式会社 撮像装置及び焦点調節方法
JP2009069255A (ja) * 2007-09-11 2009-04-02 Sony Corp 撮像装置および合焦制御方法
JP4973478B2 (ja) 2007-12-11 2012-07-11 ソニー株式会社 撮像素子および撮像装置
JP5320735B2 (ja) * 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
JP5040700B2 (ja) * 2008-02-12 2012-10-03 ソニー株式会社 撮像素子および撮像装置
JP5157525B2 (ja) * 2008-02-28 2013-03-06 ソニー株式会社 撮像装置
JP5050928B2 (ja) * 2008-02-28 2012-10-17 ソニー株式会社 撮像装置および撮像素子
JP5451111B2 (ja) * 2008-03-11 2014-03-26 キヤノン株式会社 焦点検出装置およびそれを有する撮像装置
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置,其訊號處理方法,及電子設備
JP5322561B2 (ja) 2008-09-25 2013-10-23 キヤノン株式会社 撮像装置及びその制御方法
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11632510B2 (en) 2017-06-30 2023-04-18 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
US11924566B2 (en) 2017-06-30 2024-03-05 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device

Also Published As

Publication number Publication date
KR20130108253A (ko) 2013-10-02
US9196644B2 (en) 2015-11-24
BR112013003237A2 (pt) 2016-05-17
JP2012042544A (ja) 2012-03-01
CN103069325B (zh) 2016-07-27
WO2012023355A1 (ja) 2012-02-23
RU2013105471A (ru) 2014-08-20
TW201224565A (en) 2012-06-16
US20130120644A1 (en) 2013-05-16
CN103069325A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
JP5764884B2 (ja) 撮像素子および撮像装置
JP5664270B2 (ja) 撮像素子および撮像装置
JP5803095B2 (ja) 撮像素子および撮像装置
JP5589857B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5861257B2 (ja) 撮像素子および撮像装置
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
EP2247975B1 (en) Image forming apparatus
US8817166B2 (en) Imaging device and imaging apparatus
JP5490313B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP2012182332A (ja) 撮像素子および撮像装置
JP2011221253A (ja) 撮像装置、固体撮像素子、撮像方法およびプログラム
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP2012032723A (ja) 撮像装置、撮像素子、撮像方法およびプログラム
JP2011221254A (ja) 撮像装置、固体撮像素子、撮像方法およびプログラム
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5539584B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5539583B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
RU2574316C2 (ru) Элемент получения изображения и устройство формирования изображения
JP5699573B2 (ja) 撮像素子
JP5929307B2 (ja) 撮像装置およびデジタルカメラ
JP2018046563A (ja) 撮像素子
JP2009025454A (ja) 光学機器
JP2015161727A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150601

R151 Written notification of patent or utility model registration

Ref document number: 5764884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250