JPWO2012133427A1 - 撮像装置及びそのオートフォーカス制御方法 - Google Patents

撮像装置及びそのオートフォーカス制御方法 Download PDF

Info

Publication number
JPWO2012133427A1
JPWO2012133427A1 JP2013507621A JP2013507621A JPWO2012133427A1 JP WO2012133427 A1 JPWO2012133427 A1 JP WO2012133427A1 JP 2013507621 A JP2013507621 A JP 2013507621A JP 2013507621 A JP2013507621 A JP 2013507621A JP WO2012133427 A1 JPWO2012133427 A1 JP WO2012133427A1
Authority
JP
Japan
Prior art keywords
phase difference
imaging apparatus
reliability
dust
autofocus control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013507621A
Other languages
English (en)
Other versions
JP5396566B2 (ja
Inventor
宗之 大島
宗之 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013507621A priority Critical patent/JP5396566B2/ja
Application granted granted Critical
Publication of JP5396566B2 publication Critical patent/JP5396566B2/ja
Publication of JPWO2012133427A1 publication Critical patent/JPWO2012133427A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

焦点検出画素(位相差検出画素)を受光面に搭載した固体撮像素子を持つ撮像装置において、受光面上にダストが乗ったとき、ダスト有り領域における位相差量を位相差検出画素の検出信号から求め、この位相差量の信頼性を判断し、その信頼性が高い場合にはダスト有り領域で求めた位相差量で位相差AF制御を行う。

Description

本発明は、焦点検出用画素(位相差検出画素ともいう。)を持つ固体撮像素子を搭載したデジタルカメラ等の撮像装置及びそのオートフォーカス制御方法に係り、特に、位相差検出画素から出力される位相差情報により被写体までの焦点距離を求める撮像装置及びそのオートフォーカス制御方法に関する。
カメラシステムにおいて、例えば図19に示す様に、固体撮像素子の受光面(固体撮像素子の受光面である感光画素領域の前面には光学ローパスフィルタが配置されるため、実際には光学ローパスフィルタ上)100上にダスト101が乗ってしまうことがある。カメラの機種によっては、光学ローパスフィルタを振動させてダストを除去できるものもあるが、粘着性の高いダストの場合はなかなか取れない。この場合、固体撮像素子で撮像された被写体画像の中に、ダストが乗った部分的領域が感度低下領域として現れる。
特許文献1には、ダスト101の存在する領域を特定し、ダストの存在する領域を除いた領域の撮像画像信号を用いて焦点検出を行う技術が開示されている。また、特許文献2には、固体撮像素子とは別に設けたAFセンサ表面の複数の焦点検出領域を各々複数のブロックに分割し、ダスト有無判定手段によりダスト有りと判定されたブロックでのフォーカス量検出手段の出力を無効にする技術が開示されている。この様な場合、ダスト有り領域に主要被写体が映っていると、その主要被写体に焦点を合わせることができない。
近年、固体撮像素子の受光面上に位相差検出画素を埋め込んだものが普及し始めている。位相差検出画素は、例えば2つの隣接画素を瞳分割して構成することができる。例えば、下記の特許文献3に記載されている様に、遮光膜開口を他の通常画素より小面積にし、かつ2つの隣接画素(ペア画素)の各遮光膜開口を反対方向に偏心させて構成される。
この様な位相差検出画素を持つ固体撮像素子においても、固体撮像素子受光面上にダストが乗ってしまうと、正確な位相差情報がとれず、オートフォーカス(AF)の精度が低下してしまう。特に、主要被写体画像がダスト有り領域に来てしまうと、主要被写体にピントのあった画像を撮像することができない。
日本国特開2010―14981号公報 日本国特開2009―271428号公報 日本国特開2009―105358号公報
本発明の目的は、位相差検出画素を持つ固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる撮像装置及びそのオートフォーカス制御方法を提供することにある。
瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、上記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、上記AFエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第1の位相差検出画素の検出信号と上記第2の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、上記ズレ量の信頼性を判定するズレ量信頼性判定部と、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差AF方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差AF方式以外のオートフォーカス制御を行う制御部とを備える撮像装置。
瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、上記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定し、上記AFエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第1の位相差検出画素の検出信号と上記第2の位相差検出画素の検出信号との間のズレ量を求め、上記ズレ量の信頼性を判定し、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差AF方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差AF方式以外のオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
本発明によれば、位相差検出画素を持つ固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる。
本発明の一実施形態に係る撮像装置の機能ブロック図である。 図1に示す固体撮像素子の表面模式図である。 図2に代わる固体撮像素子の表面模式である。 図2,図3に代わる固体撮像素子の表面模式図である。 位相差検出画素による位相差情報の検出原理説明図である。 ダストが位相差検出画素有効領域に付着した状態を示す図である。 図7Aは、図6に示すダストの付着した状態を示す拡大図であり、図7Bは、ダスト画像を示す拡大図である。 本発明の一実施形態に係るオートフォーカス制御方法の処理手順の全体を示すフローチャートである。 図4に示す固体撮像素子にダストが乗ったときのダスト境界部の状態を示す図である。 図8に示す位相差検出画素除外処理のステップS5の詳細処理手順を示すフローチャートである。 図8のダスト有り領域における位相差検出画素の検出信号を求めるステップS6の詳細処理手順を示すフローチャートである。 図8のダスト無し領域における位相差検出画素の検出信号を求めるステップS10の詳細処理手順を示すフローチャートである。 図8の焦点ズレ量di算出処理のステップS7の詳細処理手順を示すフローチャートである。 図8のダスト有り領域で求めた焦点ズレ量diの信頼性判定処理のステップS8の詳細処理手順を示すフローチャートである。 図8の焦点ズレ量dj算出処理のステップS11の詳細処理手順を示すフローチャートである。 図8のダスト無し領域で求めた焦点ズレ量djの信頼性判定処理のステップS12の詳細処理手順を示すフローチャートである。 図8のコントラストAF制御ステップS14の説明図である。 図8のコントラストAF制御ステップS14を行うときの領域分割を示す図である。 固体撮像素子の受光面にダストが乗った状態を示す図である。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置(デジタルカメラ)の機能ブロック構成図である。撮像装置10は、CCD型やCMOS型等の固体撮像素子11と、固体撮像素子11の前面に配置された光学的ローパスフィルタ(OLPF)12と、光学的ローパスフィルタ12の前段に配置されるレンズユニット13とを備える。なお、光学的ローパスフィルタ12には、赤外線カットフィルタが並置されるが、この図示は省略している。
レンズユニット13は、レンズユニット内のレンズマウント14と、カメラ本体側のレンズマウント15とを着脱自在に係合することで、他の図示しないレンズユニットと交換可能になっている。
レンズユニット13内には、ズームレンズやフォーカスレンズを持つ撮影レンズ17と、撮影レンズ17の背部に配置された絞り18と、撮影レンズ17の倍率制御やフォーカス位置を、後述するシステムコントローラ21の指示に従って制御するマイコン19とを備える。
撮像装置10は、更に、固体撮像素子11から出力されるアナログの撮像画像信号を処理(相関二重サンプリング処理,利得制御処理,アナログデジタル変換処理等)するアナログ信号処理部16と、このアナログ信号処理部16の出力信号を取り込んで各種画像処理等を行う信号処理LSI20とを備える。
信号処理LSI20は、この撮像装置10の全体を統括的に制御するシステムコントローラ(マイコン)21と、取り込んだ撮像画像信号に対して各種画像処理等を行うカメラ信号処理部22と、画像処理された画像データを圧縮したり伸張したり画素数変換処理等を行う圧縮伸張処理部23と、固体撮像素子11から出力されるスルー画像データを処理してAF(自動焦点)処理,AE(自動露出)処理,AWB(自動ホワイトバランス)処理等を行い、後述する焦点ズレ量の演算を行うと共に露出の判定を行うAF/AE/AWB処理部24とを備える。
信号処理LSI20は、更に、メインメモリとして使用するSDRAM41に接続されるメモリコントローラ25と、カメラ背面などに設けられた表示部42やビデオアンプ43に接続される表示系処理部26と、オーディオIC44に接続されるオーディオ処理部27と、ダスト検出・除去演算部28と、撮像画像データを記録するメモリカード45に接続されるメモリインタフェースやUSB端子46に接続されるUSBインタフェースを持つインタフェース部29とを備える。
信号処理LSI20の上記の各構成部(システムコントローラ21〜インタフェース部29)は、バス30によって相互に接続されている。オーディオIC44にはマイク47やスピーカ48が接続され、ビデオアンプ43とオーディオIC44にはAFインタフェース49が接続される。
システムコントローラ21は、レンズユニット13内のマイコン19と通信を行い、フォーカス制御や絞り制御を行うと共にレンズ情報を取得する。また、システムコントローラ21は、ドライバ(DR)51を介し光学的ローパスフィルタ12の微細振動制御を行ってダスト除去制御を行うと共に、タイミングジェネレータ(TG)52を介して固体撮像素子11に駆動パルスを供給する。また、カメラ前面所要箇所に設けたフラッシュ53の発光制御を行う。撮像装置10には電源回路54が設けられており、上述した各構成部に電源供給を行う。
図2は、図1に示す固体撮像素子11の画素配列,カラーフィルタ配列の一例を示す図である。斜め45度に傾けた正方形枠が各々画素(光電変換素子:フォトダイオード)を示し、その上に記載したR(=r),G(=g),B(=b)は、カラーフィルタの色を示している。
図示する例の固体撮像素子11は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置された、所謂ハニカム画素配列となっている。奇数行の画素だけみると正方格子配列され、その上に、カラーフィルタrgbがベイヤ配列され、偶数行の画素だけみても正方格子配列され、その上に、カラーフィルタRGBがベイヤ配列されている。
そして、水平方向,垂直方向共に、4画素に1画素、緑色(G,g)のカラーフィルタが積層された隣接画素の遮光膜開口2a,2bを他の通常画素の遮光膜開口(図示省略)より小さく、かつ互いに反対方向に偏心して設け、瞳分割を行っている。この様な遮光膜開口2aを持つ画素が、第1の位相差検出画素(焦点検出画素)2を構成し、遮光膜開口2bを持つ画素が、ペアとなる第2の位相差検出画素2を構成している。なお、この例では、隣接二画素の遮光膜開口を偏心させることで瞳分割したが、隣接二画素に共通の1つの楕円状のマイクロレンズを搭載して瞳分割することでも良い。
図3は、別実施形態に係る固体撮像素子の表面模式図である。画素配列,カラーフィルタ配列は図2の実施形態と同じであるが、本実施形態では、全画素を位相差検出画素2とし、ペアとなる隣接二画素の夫々に偏心した遮光膜開口2a,2bを設けている点が異なる。
図2の実施形態では、位相差検出画素は位相差情報だけを検出し、位相差検出画素位置の撮像画像信号は、周りの通常の同色画素の撮像画像信号を補間演算して求めるが、本実施形態では、全画素が位相差情報を検出すると共に、全画素の検出信号を撮像画像信号として被写体撮像画像を生成する。
図4は、更に別実施形態に係る固体撮像素子の表面模式図である。図2,図3の実施形態における画素配列は所謂ハニカム画素配列であったが、本実施形態では、正方格子配列となっている。そして、全画素を位相差検出画素とし、ペアとなる水平方向に隣接する同色二画素に夫々偏心した遮光膜開口2a,2bを設けている。勿論、画素配列が正方格子配列の場合でも、位相差検出画素を図2の実施形態と同様に離散的位置(及び/又は周期的位置)に設けることでも良い。
なお、図2〜図4の実施形態では、固体撮像素子受光面(感光画素領域)の全領域の全画素又は離散的画素に位相検出画素を設けたが、受光面の中央部分の領域にだけ位相差検出画素を設ける構成としても良い。位相差情報は、AF処理を行う場合に必要な情報であり、主要被写体は中央部分の領域内に入る蓋然性が高いためである。
図5は、位相差検出画素により検出する位相差情報の検出原理を説明する図である。撮影レンズの焦点位置をずらしながら、遮光膜開口2aを持つ第1の位相差検出画素の出力信号f(x)と、遮光膜開口2bを持つ第2の位相差検出画素の出力信号g(x)をプロットしていくと、図5のようになる。ここで、xは、水平方向(横方向)の位置を表す。f(x),g(x)の値が高いほど、ピントがあっていることになる。図5の場合、f(x),g(x)は、位相差量dだけずれたところでピントの山がきている。この位相差量dが焦点ズレ量に相当し、被写体までの距離の関数となる。
焦点ズレ量は、
S(d)=∫|f(x+d)−g(x)|dxを定義した場合、S(d)が最小となるdを求めればよい。
焦点ズレ量を算出した後、焦点ズレ量をフォカースレンズの駆動パルス数等のAF用パラメータに変換し(変換用のテーブルは撮像装置の記憶領域に格納されている)、AF制御を行うことができる。
この位相差AF制御は、コントラストAF方式に比べて高速処理が可能なため、シャッタチャンスを逃す虞が小さくなる。しかし、AF精度を高精度にするには、固体撮像素子の垂直方向(縦方向)に並ぶ複数個の位相差検出画素の検出信号を加算平均して上記のf(x),g(x)を算出するのが好ましい。この垂直加算数を確保できない場合には、AF精度が期待できない可能性が高い。
図6は、ダストが固体撮像素子受光面(光学的ローパスフィルタ表面)に付着した状態を示す図である。固体撮像素子11の受光面(感光画素領域)11aの中央部分の領域内でダスト101が付着した様子を示している。中央部分の領域は、図2〜図5で説明した位相差検出画素2が設けられ、位相差画素有効領域11bとなっている。
撮像装置10で被写体(例えば、人物)の画像を撮像するとき、このダスト101が付着した領域に主要被写体部分(例えば、顔)の画像が入るとする。撮影者は、当然に、主要被写体部分(この例では人の顔)にピントの合った画像を撮像したい意図があるはずである。
しかし、図7Aに示す様に、位相差画素有効領域11b内の所要部分(合焦させるAFエリア)の位相差検出画素2の上にダスト101が乗ると、図7Bに示す様に、ダスト101が乗ったダスト有り領域内の位相差検出画素2(ハッチングで示す)の感度は、ダスト101の透過光量が少なくなる分だけ、ダスト無し領域内の位相差検出画素の感度より低下し、若干暗い画像となってしまう。
このため、ダスト有り領域で位相差AF制御を行うと、AF精度が低下してしまう虞がある。しかし、ダスト無し領域で位相差AF制御を行うと、主要被写体に合焦しない所謂ピンボケ画像が撮像されてしまう虞がある。
そこで、以下に述べる実施形態では、ダスト有り領域における位相差量di(図5)を求め、この位相差量の信頼性を判断し、その信頼性が高い場合にはダスト有り領域で求めた位相差量diで位相差AF制御を行う。
ダスト有り領域における位相差量diの信頼性が低い場合には、ダスト無し領域の位相差量djを求め、この位相差量djの信頼性を判断し、この信頼性が高い場合にはダスト無し領域で求めた位相差量djで位相差AF制御を行う。ダスト無し領域における位相差量djの信頼性が低い場合には、コントラストAF制御を行う。
図8は、本発明の実施形態に係るAF制御処理手順を示すフローチャートであり、図1のシステムコントローラ21がバス30で接続された配下の各構成部を用いて実行する。先ず、ステップS1で、装着しているレンズユニット13の情報を取得すると共に、固体撮像素子11の情報を取得する。位相差量を算出する場合、撮影レンズ17の射出瞳位置や撮像素子対角長,画素ピッチなどを用いるためである。レンズユニット13が交換式でなく、固定であれば、これらの情報は固定値となる。
次のステップS2ではドライバ51に指示を出し、光学的ローパスフィルタ12に微細震動を与えるダスト除去制御を行う。そしてステップS3で、光学的ローパスフィルタ12の表面に残ったダストの有無を検出する。即ち、光学的ローパスフィルタ12を透過した入射光は固体撮像素子11の受光面に投射されるため、ダストの画像が固体撮像素子11で撮像されることになり、このダスト画像の有無を検出する。
ダストの有無の検出すなわちダスト画像の有無の検出は、撮像装置10が起動して固体撮像素子11が動画状態の撮像画像データ(スルー画像データ)を出力したとき、この画像を解析することで検出できる。例えばこのとき、シャッタ速度を遅くし露光量を大きくしたスルー画像データを出力させ、周囲より感度が低下している領域があるか否かで検出できる。このとき、ユーザに対して「白い壁や紙にレンズを向けて下さい。」とか「空を写して下さい。」というメッセージを表示することで、より精度良くダスト画像の有無を検出しても良い。
あるいは、通常の撮影動作で撮影される画像を撮影毎に解析し、その数が数十枚,数百枚と累積していくと精度良くダストの有無が検出可能となる。検出したダストの位置をメモリ等に保存しておき、これを用いて以下の制御を行う様にしても良い。
次のステップS4では、AFエリア内にダストが有るか否か判定し、ダスト有りの場合にはステップS5に進む。ステップS5では、ダスト境界部の位相差検出画素(焦点検出画素)の除外処理を行う。本実施形態の位相差検出画素は、図2〜図5で説明したように、水平方向に隣接する2画素をペア画素としており、例えば図9に示す様に、ダスト境界部では、ペア画素の一方がダスト領域に重なり、他方がダスト領域外となっているペア画素(図中、矩形枠61で囲っている。)が存在する。
図5で説明した様に、ペア画素を構成する第1の位相差検出画素の検出信号と第2の位相差検出画素の検出信号との差分を求めることで、位相差情報を取得するため、ペア画素の一方だけがダストで覆われていると、その差分は位相差情報よりもダストの有無に影響されてしまい、精度の高い位相差情報を取得することができない。このため、ダスト境界部の図9の矩形枠61で囲ったペア画素(位相差検出画素)を除外する必要がある。
図10は、ダスト境界部の位相差検出画素除外処理(図8のステップS5)の詳細手順を示すフローチャートである。先ず、ダスト有り領域とダスト無し領域の境界に位置する位相差検出画素を抽出する(ステップS51)。次のステップS52では、ペア画素となる2つの隣接する位相差検出画素が同じ領域内(両方共にダスト有り領域内、又は、両方共にダスト無し領域内)に存在するか否かを判定する。
ステップS52の判定の結果、同じ領域内に存在しないペアの位相差検出画素は次のステップS53に進んで除外し、図5で説明した加算平均処理の対象から外し、ステップS54に進む。ステップS52の判定の結果、ペアとなる位相差検出画素が同じ領域内に存在する場合にはステップS54に進む。
ステップS54では、ステップS51で抽出された位相差検出画素の全てでステップS52の判定処理を行ったか否かを判定し、判定結果が否定(No)の場合にはステップS52に戻り、判定結果が肯定(Yes)の場合には、この図10の処理を終了し、図8のステップS6に進む。
図8のステップS6では、AFエリア内のダスト有り領域(図7Bのハッチング領域)で図5で説明したf(x),g(x)のサンプリング点(遮光膜開口2a,2bの位置)の信号量fi(x),gi(x)を求め、次のステップS7でダスト有り領域における焦点ズレ量diの算出処理を行う。
図5に示した様に、位相差検出画素2の検出信号からは、下段のf(x),g(x)のグラフ上の離散的な黒点位置(サンプリング点)の信号しか検出できない。ペア画素による信号検出位置(遮光膜開口2a位置と遮光膜開口2b位置)には若干の位置ズレはあるが、これは同一水平位置xとみなすことができる。この離散的な検出位置から、連続的なf(x),g(x)のグラフを求め、両者間の例えばピーク位置の位置ズレを焦点ズレ量diとして算出する。
ダスト有り領域における焦点ズレ量diが算出された後は、ステップS8に進み、ダスト有り領域で求めた焦点ズレ量diの信頼性を後述する様に判定する。この信頼性が高い場合にはステップS9に進み、焦点ズレ量diに基づいて位相差AF制御を実行し、この処理を終了する。
ステップS4の判定の結果、ダスト無しと判定された場合には、ステップS10に進む。また、ステップS8の判定の結果、信頼性が低い場合にもステップS10に進む。
ステップS10では、AFエリア内のダスト無し領域(図7Bの白抜き領域)で、ステップS6と同様にして、サンプリング点のfj(x),gj(x)を求め、次のステップS11で、ダスト無し領域における焦点ズレ量djの算出処理を行う。
次のステップS12では、ダスト無し領域で求めた焦点ズレ量djの信頼性を後述するように判定し、信頼性が高い場合にはステップS13に進み、焦点ズレ量djで位相差AF制御を実行し、この処理を終了する。
ステップS12の判定の結果、信頼性が低い場合には、ステップS14に進み、後述するようにしてコントラストAF制御を実行し、この処理を終了する。
図11は、図8のステップS6の詳細処理手順を示すフローチャートである。先ず、ステップS61で、ダスト有り領域に含まれる画素群の同一列の複数のペア画素を構成する第1及び第2の位相差検出画素の検出信号を垂直方向に加算し、その平均値を算出する。
次のステップS62では、ダスト有り領域で、ペア画素列の第n列において垂直加算平均された第1(又は第2)位相差検出画素の総加算平均化数が所定閾値A未満であるか否かを判定する。A以上の場合には、画素加算数が充分に有りAF精度がとれると考え、この図8の処理を終了する。
ステップS62の判定の結果、総加算平均化数がA未満とされた場合、画素加算数が少なくAF精度をとれない蓋然性が高いため、次のステップS63の処理を行い、この図8の処理を終了する。
ステップS63では、ペア画素列の第n列と隣接する第n+1列(又は第n−1列)の第1位相差検出画素の検出信号の垂直加算平均値を加算し、第2位相差検出画素の検出信号の垂直加算平均値を加算する。これにより、図5に示すf(x),g(x)の黒点で示す位置の信号量が求まる。
この様に、本実施形態では、画素加算数が少ない場合には、垂直加算平均値の確からしさが低いと考えられるため、水平方向の解像度は犠牲にして水平方向の画素加算を行い、AF精度の向上を図る。
図12は、図8のステップS10の詳細処理手順を示すフローチャートである。このステップS101,S102,S103の処理内容は、夫々図11のステップS61,S62,S63の処理内容と同じであり、図11がダスト有り領域での処理であるのに対し、図12はダスト無し領域での処理の違いしかない。このため、重複する説明は省略する。
図13は、図8のステップS7の詳細処理手順を示すフローチャートである。先ず、ステップS71で、ダスト有り領域におけるペア画素列の第n列において、垂直加算平均した画素数が所定閾値Eより大であるか否かを判定する。
この判定の結果、加算画素数≧Eの場合には次のステップS72に進む。ステップS71の判定の結果、加算画素数<Eの場合にはステップS73で第n列を焦点ズレ演算対象から除外してステップS72に進む。
ステップS72では、ダスト有り領域の全列でステップS71の判定を行ったか否かを判定し、まだ未判定の列がある場合にはステップS71に戻る。全列の判定が済んだ場合には、次にステップS74に進み、図5にしめすf(x),g(x)を算出し、次のステップS75で、f(x)のピーク位置とg(x)のピーク位置との位相差量diを、ダスト有り領域の焦点ズレ量diとして算出し、図8のステップS8に進む。
図14は、信頼性の判定を行うステップS8(図8)の詳細処理手順を示すフローチャートである。先ず、ステップS81で、焦点ズレ量の演算対象とするペア画素列の本数が所定閾値本数Fより大であるか否かを判定する。演算対象ペア画素列本数<Fの場合には、精度がとれる本数ではないため、信頼性が低いと判断して図8のステップS10に進む。
ステップS81の判定の結果、演算対象ペア画素列本数≧Fの場合には、次にステップS82に進み、ペア画素列の第n列において、第1位相差検出画素の信号量と第2位相差検出画素の信号量との差分の絶対値を算出する。
そして次のステップS83で、上記差分の絶対値の最小値が所定閾値G未満であるか否かを判定する。差分の絶対値の最小値≧Gの場合、すなわち、差分が大きすぎる場合には、この差分が視差(位相差量)によるものではなく他の要因に起因すると考えられるため、焦点ズレ量diの信頼性は低いと判断し、ステップS10に進む。
ステップS83の判定の結果、差分の絶対値<Gの場合には、次にステップS84に進む。このステップS84では、ダスト有り領域で算出された焦点ズレ量diを被写体までの距離に換算し、所定閾値B(例えば最短撮影距離MOD)より遠方か否か、即ち、被写体距離>Bであるか否かを判定する。
この判定の結果が否定、すなわち被写体までの距離≦Bの場合、最短撮影距離より近いということは考え難いため、焦点ズレ量diの信頼性は低いと判断してステップS10に進む。
ステップS84の判定の結果、被写体距離>Bの場合、次のステップS85に進み、ダストの占める面積若しくは位置の判定を行い、主要被写体がダスト有り領域に存在する可能性が高いか否かを判定する。即ち、ダスト有り領域の面積が所定閾値Cより大面積であるか否かを判定し、あるいは、撮像面(受光面)中心からダスト有り領域の中心までの距離が所定閾値Dより小つまり近いか否かを判定する。
この判定の結果が否定の場合には、焦点ズレ量diの信頼性が低いと判断してステップS10に進み、肯定の場合には、焦点ズレ量diの信頼性が高いと判断し、ステップS9に進み、焦点ズレ量diを用いた位相差AF制御を実行する。
図15は、図8のステップS11の詳細処理手順を示すフローチャートである。このステップS111,S112,S113,S114,S115の処理内容は、図13で説明したステップS71,S72,S73,S74,S75の処理内容と同じであり、異なるのは、図15がダスト無し領域の処理である点だけである。ステップS115では、焦点ズレ量djが算出され、ステップS12に進む。
図16は、図8のステップS12の詳細処理手順を示すフローチャートであり、ステップS11で算出されたダスト無し領域における焦点ズレ量djの信頼性を判定する処理手順を示している。このフローチャートでは、ステップS121,S122,S123の3つのステップを備える。これら3つのステップでは、夫々図14のステップS81,S82,S83と同じ処理を行う。即ち、ステップS121で焦点ズレ量演算対象列の本数がFより大のときステップS122に進み、小のとき信頼性が低いとしてステップS14に進む。
ステップS122では、ステップS82と同様に差分の絶対値を求め、ステップS123で、差分の絶対値の最小値<Gのとき焦点ズレ量djの信頼性が高いとしてステップS13に進み、差分の絶対値の最小値≧Gのときは焦点ズレ量djの信頼性が低いとしてステップS14に進む。
ステップS14では、コントラストAF制御を行う。このコントラストAF制御を行う場合、例えば撮影画像を複数領域に分割し、各領域でコントラスト値を評価する。このとき、ダストが含まれる領域をダスト有り領域とする。ダスト有り領域は、コントラストAFの対象から外したり、焦点ズレ量演算時と同等の判定基準(例えば、被写体距離がMODEかの場合はNGとする等)をもって、ダスト有り領域で求めたコントラスト値の信頼性を判定する。
また、ダスト有り領域のみで、別途、コントラストAFを行い、他の領域のコントラスト値と比較しても良い。この場合は、ダスト有り領域において、矩形にて最大の面積がとれるように領域を指定する。例えば、図17に示す様に、矩形の最大面積をとる四隅のペア画素63,64,65,66を決める。ペア画素の2画素は共にダスト有り領域に含まれる様に選択する。これは、感度不足等を補うために、第1位相差検出画素と第2位相差検出画素の各検出信号を画素混合するためである。
撮像領域を複数領域に分割する場合、上記のペア画素63,64,65,66の大きさを基準とする。つまり、ペア画素63とペア画素64との距離(矩形の横寸法)をa、ペア画素64とペア画素65との距離(矩形の縦寸法)をbとしたとき、この横a縦bの矩形領域を単位領域とする。そして、図18に示す様に、感光画素領域を多数の単位領域で分割する。ダスト101の一部でも含まれる領域はダスト有り領域102とする。周囲の単位領域で感光画素領域の外側の無効画素領域にはみ出す単位領域は無効とする。
以上の様にして複数領域に分割し、コントラストAFを行うことで、精度の高いコントラストAF制御を行うことが可能となる。このコントラストAFを行う場合、先に、ダスト有り領域のコントラスト値を求め、コントラストAF制御を行うことで、ダスト有り領域に主要被写体画像が重なった場合でも主要被写体に合焦した被写体画像を撮像することが可能となる。
ダスト有り領域のコントラスト値の信頼性が低いとき、ダスト有り領域を除いたダスト無し領域でコントラストAFを行う様にしても良く、最初からダスト無し領域でコントラストAFを行う様にしても良い。また、撮像領域に複数のダストが存在した場合、その内の最小のダストの大きさで上記の単位領域の大きさを決めれば良い。
以上述べた実施形態によれば、位相差検出画素を用いた位相差AF方式をコントラストAF方式よりも優先して実施し、かつ、位相差AF方式を実施する場合でも、AFエリアにダストが重なったとしてもダスト有り領域での位相差AF方式を優先するため、主要被写体に合焦した画像を撮像することが可能となる。また、位相差AF方式でAF精度がとれない場合に初めてコントラストAF方式を実施するため、どのような場面でもピント合わせを行うことが可能となる。
以上述べた実施形態の撮像装置及びそのオートフォーカス制御方法は、瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置及びそのオートフォーカス制御方法であって、上記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定し、上記AFエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第1の位相差検出画素の検出信号と上記第2の位相差検出画素の検出信号との間のズレ量を求め、上記ズレ量の信頼性を判定し、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差AF方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差AF方式以外のオートフォーカス制御を行う。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記信頼性が低い場合には、上記AFエリア内の上記ダスト画像と重ならないダスト無し領域のズレ量を求め、このダスト無し領域のズレ量の信頼性を判定し、この信頼性が高い場合にはこのダスト無し領域のズレ量を用いて位相差AF方式でオートフォーカス制御を行い、この信頼性が低い場合にはコントラストAF方式でオートフォーカス制御を行う。
また、実施形態の撮像装置及びそのオートフォーカス制御方法の上記コントラストAF方式は、上記受光面のうち、上記ダスト画像が存在する領域と上記ダスト画像が存在しない領域の各々で行う。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記AFエリア内の上記ダスト画像に重なる領域の境界部にある上記第1の位相差検出画素及び上記第2の位相差検出画素の組のうち一方がこのダスト画像に重ならない領域に含まれる上記位相差検出画素の組を、請求項13記載の上記ズレ量の演算対象外とする。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用する上記第1,第2の位相差検出画素の上記検出信号として、上記受光面に垂直方向に並ぶ複数の上記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記加算平均した画素数が第1所定閾値未満の場合には、上記画素列の上記信号とこの画素列に隣接する画素列の上記信号とを加算平均した信号を上記ズレ量を算出する検出信号として使用する。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記加算平均するときに加算した数が第2所定閾値未満の場合には上記画素列の上記信号を除外して上記ズレ量を求める。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用した上記画素列の本数が第3所定値未満の場合には上記信頼性が低いと判定する。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用した上記第1の位相差検出画素の検出信号から求めた上記信号と上記第2の位相差検出画素の検出信号から求めた上記信号との差分の絶対値を上記信頼性の評価値とする。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記評価値が低いほど上記信頼性が高いと判定し、上記絶対値の最小値が第4所定閾値より大きいとき上記信頼性が低いと判定する。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を被写体までの距離に換算し、この被写体までの距離が第5所定閾値より小さいとき上記信頼性が低いと判定する。
また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ダスト画像の面積が第6所定閾値より大きく、又は、上記ダスト画像の中心と上記受光面の中心との距離が第7所定閾値より小さい場合には上記信頼性が低いと判定する。
以上述べた実施形態によれば、固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる。
本発明に係る撮像装置は、AFエリアにダストが乗った場合でもAFエリア内の主要被写体画像に合焦した画像を撮像することができるため、デジタルカメラやカメラ付携帯電話機等の撮像装置に適用すると有用である。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2011年03月30日出願の日本特許出願(特願2011−076344)に基づくものであり、その内容はここに参照として取り込まれる。
2 位相差検出画素
2a 第1の位相差検出画素の遮光膜開口
2b 第2の位相差検出画素の遮光膜開口
10 撮像装置
11 固体撮像素子
11a 感光画素領域(受光領域)
11b 位相差検出画素有効領域
20 信号処理LSI
21 システムコントローラ
101 ダスト
瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、前記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、前記AFエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第1の位相差検出画素の検出信号と前記第2の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、前記ズレ量の信頼性を判定するズレ量信頼性判定部と、前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差AF方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差AF方式以外のオートフォーカス制御を行う制御部とを備え、前記AFエリア内の前記ダスト画像に重なる領域の境界部にある前記第1の位相差検出画素及び前記第2の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とする撮像装置。
瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、前記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定し、前記AFエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第1の位相差検出画素の検出信号と前記第2の位相差検出画素の検出信号との間のズレ量を求め、前記ズレ量の信頼性を判定し、前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差AF方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差AF方式以外のオートフォーカス制御を行い、前記AFエリア内の前記ダスト画像に重なる領域の境界部にある前記第1の位相差検出画素及び前記第2の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とする撮像装置のオートフォーカス制御方法。
本発明の撮像装置は、瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、前記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、前記AFエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第1の位相差検出画素の検出信号と前記第2の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、前記ズレ量の信頼性を判定するズレ量信頼性判定部と、前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差AF方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差AF方式以外のオートフォーカス制御を行う制御部とを備え、前記AFエリア内の前記ダスト画像に重なる領域の境界部にある前記第1の位相差検出画素及び前記第2の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とし、前記ズレ量信頼性判定部は、前記ズレ量を算出するときに使用する前記第1,第2の位相差検出画素の前記検出信号、前記ズレ量から換算される被写体までの距離、前記ダスト画像の面積、及び、前記ダスト画像の位置の少なくとも1つに基づいて、前記ズレ量の信頼性を判定するものである。
本発明の撮像装置のオートフォーカス制御方法は、瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、前記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定し、前記AFエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第1の位相差検出画素の検出信号と前記第2の位相差検出画素の検出信号との間のズレ量を求め、前記ズレ量の信頼性を判定し、前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差AF方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差AF方式以外のオートフォーカス制御を行い、前記AFエリア内の前記ダスト画像に重なる領域の境界部にある前記第1の位相差検出画素及び前記第2の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とし、前記ズレ量を算出するときに使用する前記第1,第2の位相差検出画素の前記検出信号、前記ズレ量から換算される被写体までの距離、前記ダスト画像の面積、及び、前記ダスト画像の位置の少なくとも1つに基づいて、前記ズレ量の信頼性を判定するものである。

Claims (24)

  1. 瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、
    前記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、
    前記AFエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第1の位相差検出画素の検出信号と前記第2の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、
    前記ズレ量の信頼性を判定するズレ量信頼性判定部と、
    前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差AF方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差AF方式以外のオートフォーカス制御を行う制御部とを備える撮像装置。
  2. 請求項1に記載の撮像装置であって、
    前記信頼性が低い場合には、前記AFエリア内の前記ダスト画像と重ならないダスト無し領域のズレ量を前記焦点ズレ量演算部で求め、該ダスト無し領域のズレ量の信頼性を判定し、該信頼性が高い場合には該ダスト無し領域のズレ量を用いて位相差AF方式でオートフォーカス制御を行い、該信頼性が低い場合にはコントラストAF方式でオートフォーカス制御を行う撮像装置。
  3. 請求項2に記載の撮像装置であって、
    前記コントラストAF方式は、前記受光面のうち、前記ダスト画像が存在する領域と前記ダスト画像が存在しない領域の各々で行う撮像装置。
  4. 請求項1から請求項3のいずれか1項に記載の撮像装置であって、
    前記AFエリア内の前記ダスト画像に重なる領域の境界部にある前記第1の位相差検出画素及び前記第2の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を、請求項1記載の前記ズレ量の演算対象外とする撮像装置。
  5. 請求項1から請求項4のいずれか1項に記載の撮像装置であって、
    前記ズレ量を算出するときに使用する前記第1,第2の位相差検出画素の前記検出信号として、前記受光面に垂直方向に並ぶ複数の前記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる撮像装置。
  6. 請求項5に記載の撮像装置であって、
    前記加算平均した画素数が第1所定閾値未満の場合には、前記画素列の前記信号と該画素列に隣接する画素列の前記信号とを加算平均した信号を前記ズレ量を算出する検出信号として使用する撮像装置。
  7. 請求項5又は請求項6に記載の撮像装置であって、
    前記加算平均するときに加算した数が第2所定閾値未満の場合には前記画素列の前記信号を除外して前記ズレ量を求める撮像装置。
  8. 請求項5から請求項7のいずれか1項に記載の撮像装置であって、
    前記ズレ量を算出するときに使用した前記画素列の本数が第3所定値未満の場合には前記信頼性が低いと判定する撮像装置。
  9. 請求項5から請求項8のいずれか1項に記載の撮像装置であって、
    前記ズレ量を算出するときに使用した前記第1の位相差検出画素の検出信号から求めた前記信号と前記第2の位相差検出画素の検出信号から求めた前記信号との差分の絶対値を前記信頼性の評価値とする撮像装置。
  10. 請求項9に記載の撮像装置であって、
    前記評価値が低いほど前記信頼性が高いと判定し、前記絶対値の最小値が第4所定閾値より大きいとき前記信頼性が低いと判定する撮像装置。
  11. 請求項1から請求項10のいずれか1項に記載の撮像装置であって、
    請求項1に記載のズレ量を被写体までの距離に換算し、該被写体までの距離が第5所定閾値より小さいとき請求項1に記載の信頼性が低いと判定する撮像装置。
  12. 請求項1から請求項11のいずれか1項に記載の撮像装置であって、
    前記ダスト画像の面積が第6所定閾値より大きく、又は、前記ダスト画像の中心と前記受光面の中心との距離が第7所定閾値より小さい場合には請求項1に記載の信頼性が低いと判定する撮像装置。
  13. 瞳分割された隣接する第1の位相差検出画素及び第2の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、
    前記受光面のAFエリア内で撮像される画像中にダスト画像があるか否かを判定し、
    前記AFエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第1の位相差検出画素の検出信号と前記第2の位相差検出画素の検出信号との間のズレ量を求め、
    前記ズレ量の信頼性を判定し、
    前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差AF方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差AF方式以外のオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
  14. 請求項13に記載の撮像装置のオートフォーカス制御方法であって、
    前記信頼性が低い場合には、前記AFエリア内の前記ダスト画像と重ならないダスト無し領域のズレ量を求め、該ダスト無し領域のズレ量の信頼性を判定し、該信頼性が高い場合には該ダスト無し領域のズレ量を用いて位相差AF方式でオートフォーカス制御を行い、該信頼性が低い場合にはコントラストAF方式でオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
  15. 請求項14に記載の撮像装置のオートフォーカス制御方法であって、
    前記コントラストAF方式は、前記受光面のうち、前記ダスト画像が存在する領域と前記ダスト画像が存在しない領域の各々で行う撮像装置のオートフォーカス制御方法。
  16. 請求項13から請求項15のいずれか1項に記載の撮像装置のオートフォーカス制御方法であって、
    前記AFエリア内の前記ダスト画像に重なる領域の境界部にある前記第1の位相差検出画素及び前記第2の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を、請求項13記載の前記ズレ量の演算対象外とする撮像装置のオートフォーカス制御方法。
  17. 請求項13から請求項16のいずれか1項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ズレ量を算出するときに使用する前記第1,第2の位相差検出画素の前記検出信号として、前記受光面に垂直方向に並ぶ複数の前記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる撮像装置のオートフォーカス制御方法。
  18. 請求項17に記載の撮像装置のオートフォーカス制御方法であって、
    前記加算平均した画素数が第1所定閾値未満の場合には、前記画素列の前記信号と該画素列に隣接する画素列の前記信号とを加算平均した信号を前記ズレ量を算出する検出信号として使用する撮像装置のオートフォーカス制御方法。
  19. 請求項17又は請求項18に記載の撮像装置のオートフォーカス制御方法であって、
    前記加算平均するときに加算した数が第2所定閾値未満の場合には前記画素列の前記信号を除外して前記ズレ量を求める撮像装置のオートフォーカス制御方法。
  20. 請求項17から請求項19のいずれか1項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ズレ量を算出するときに使用した前記画素列の本数が第3所定値未満の場合には前記信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
  21. 請求項17から請求項20のいずれか1項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ズレ量を算出するときに使用した前記第1の位相差検出画素の検出信号から求めた前記信号と前記第2の位相差検出画素の検出信号から求めた前記信号との差分の絶対値を前記信頼性の評価値とする撮像装置のオートフォーカス制御方法。
  22. 請求項21に記載の撮像装置のオートフォーカス制御方法であって、
    前記評価値が低いほど前記信頼性が高いと判定し、前記絶対値の最小値が第4所定閾値より大きいとき前記信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
  23. 請求項13から請求項22のいずれか1項に記載の撮像装置のオートフォーカス制御方法であって、
    請求項13に記載のズレ量を被写体までの距離に換算し、該被写体までの距離が第5所定閾値より小さいとき請求項13に記載の信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
  24. 請求項13から請求項23のいずれか1項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ダスト画像の面積が第6所定閾値より大きく、又は、前記ダスト画像の中心と前記受光面の中心との距離が第7所定閾値より小さい場合には請求項1に記載の信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
JP2013507621A 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法 Expired - Fee Related JP5396566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507621A JP5396566B2 (ja) 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011076344 2011-03-30
JP2011076344 2011-03-30
PCT/JP2012/057963 WO2012133427A1 (ja) 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法
JP2013507621A JP5396566B2 (ja) 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法

Publications (2)

Publication Number Publication Date
JP5396566B2 JP5396566B2 (ja) 2014-01-22
JPWO2012133427A1 true JPWO2012133427A1 (ja) 2014-07-28

Family

ID=46931142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507621A Expired - Fee Related JP5396566B2 (ja) 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法

Country Status (4)

Country Link
US (1) US8885090B2 (ja)
JP (1) JP5396566B2 (ja)
CN (1) CN103460105B (ja)
WO (1) WO2012133427A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5802846B2 (ja) * 2012-11-22 2015-11-04 富士フイルム株式会社 撮像装置
US9451152B2 (en) 2013-03-14 2016-09-20 Apple Inc. Image sensor with in-pixel depth sensing
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6492394B2 (ja) * 2013-05-31 2019-04-03 株式会社ニコン 撮像素子および撮像装置
KR101479637B1 (ko) * 2014-03-12 2015-01-07 삼성전기주식회사 카메라 모듈
JP6506506B2 (ja) * 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
US9338345B2 (en) * 2014-06-13 2016-05-10 Intel Corporation Reliability measurements for phase based autofocus
CN105227947B (zh) * 2014-06-20 2018-10-26 南京中兴软件有限责任公司 污垢检测方法及装置
JP2016009043A (ja) * 2014-06-24 2016-01-18 ソニー株式会社 イメージセンサ、演算方法、および電子装置
KR102242472B1 (ko) * 2014-12-18 2021-04-20 엘지이노텍 주식회사 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
TWI583996B (zh) * 2016-05-27 2017-05-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
JP6800628B2 (ja) * 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
CN106027905B (zh) * 2016-06-29 2019-05-21 努比亚技术有限公司 一种用于天空对焦的方法和移动终端
CN106161952B (zh) * 2016-08-08 2019-06-11 Oppo广东移动通信有限公司 一种对焦方法、装置及移动终端
US10070042B2 (en) 2016-12-19 2018-09-04 Intel Corporation Method and system of self-calibration for phase detection autofocus
US11394866B2 (en) * 2017-08-09 2022-07-19 Sony Group Corporation Signal processing device, imaging device, signal processing meihod and program
US11496728B2 (en) 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586588B2 (en) * 2006-05-17 2009-09-08 Nikon Corporation Correlation operation method, correlation operation device, focus detection device and imaging device
JP5157084B2 (ja) * 2006-05-17 2013-03-06 株式会社ニコン 相関演算装置、焦点検出装置および撮像装置
JP4349407B2 (ja) * 2006-11-17 2009-10-21 ソニー株式会社 撮像装置
JP5264131B2 (ja) 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5364995B2 (ja) * 2007-10-01 2013-12-11 株式会社ニコン 固体撮像素子及びこれを用いた電子カメラ
JP2009271428A (ja) * 2008-05-09 2009-11-19 Olympus Imaging Corp 焦点検出装置
JP2010014981A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
JP5276371B2 (ja) 2008-07-09 2013-08-28 キヤノン株式会社 撮像装置
JP5322561B2 (ja) * 2008-09-25 2013-10-23 キヤノン株式会社 撮像装置及びその制御方法
JP5274307B2 (ja) 2009-03-02 2013-08-28 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
WO2012133427A1 (ja) 2012-10-04
JP5396566B2 (ja) 2014-01-22
US8885090B2 (en) 2014-11-11
US20140028896A1 (en) 2014-01-30
CN103460105A (zh) 2013-12-18
CN103460105B (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
JP5396566B2 (ja) 撮像装置及びそのオートフォーカス制御方法
US9742984B2 (en) Image capturing apparatus and method of controlling the same
US8525917B2 (en) Image sensing apparatus with plural focus detection pixel groups
JP5595014B2 (ja) 撮像装置
US8964061B2 (en) Image capturing apparatus with selection of thinning and readout mode in accordance with moving image recording mode
JP5455397B2 (ja) 光学機器
US20120268613A1 (en) Image capturing apparatus and control method thereof
US10397502B2 (en) Method and apparatus for imaging an object
JP5753371B2 (ja) 撮像装置およびその制御方法
US9344617B2 (en) Image capture apparatus and method of controlling that performs focus detection
JP2009128892A (ja) 撮像素子および撮像装置
US9001260B2 (en) Imaging apparatus and imaging method
JP2005092085A (ja) 焦点検出及び調節方法並びに焦点検出及び調節装置
US8644698B2 (en) Focusing-state detection apparatus, imaging apparatus, and its control method
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP2016018033A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2014142497A (ja) 撮像装置及びその制御方法
JP5159295B2 (ja) 自動焦点調節装置および撮像装置
JP5224879B2 (ja) 撮影装置
JP2015154153A (ja) 撮像装置を備えたカメラ
JP2014165785A (ja) 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
JP2009302653A (ja) 撮像装置
KR20070098404A (ko) 촬상 장치 및 촬상 방법
JP6254780B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP2024004307A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees