JPWO2014041845A1 - 撮像装置及び信号処理方法 - Google Patents

撮像装置及び信号処理方法 Download PDF

Info

Publication number
JPWO2014041845A1
JPWO2014041845A1 JP2014535394A JP2014535394A JPWO2014041845A1 JP WO2014041845 A1 JPWO2014041845 A1 JP WO2014041845A1 JP 2014535394 A JP2014535394 A JP 2014535394A JP 2014535394 A JP2014535394 A JP 2014535394A JP WO2014041845 A1 JPWO2014041845 A1 JP WO2014041845A1
Authority
JP
Japan
Prior art keywords
phase difference
imaging
pixel cell
difference detection
detection pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014535394A
Other languages
English (en)
Other versions
JP5657184B2 (ja
Inventor
和紀 井上
和紀 井上
岩崎 洋一
洋一 岩崎
貴嗣 青木
貴嗣 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014535394A priority Critical patent/JP5657184B2/ja
Application granted granted Critical
Publication of JP5657184B2 publication Critical patent/JP5657184B2/ja
Publication of JPWO2014041845A1 publication Critical patent/JPWO2014041845A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像素子5は、撮像用画素セル51と位相差検出用画素セル51R,51Lとを備える。デフォーカス量算出部19は、撮像素子5からの撮像画像信号に含まれる撮像用画素セル51の出力信号、位相差検出用画素セル51Rの出力信号、及び位相差検出用画素セル51Lの出力信号を用いて、近接する位相差検出用画素セル51R,51Lの感度差を補正するための補正データを生成し、AF指示があると、位相差検出用画素セル51R,51Lの出力信号を上記補正データを用いて補正し、補正後の出力信号にしたがってデフォーカス量を算出する。

Description

本発明は、撮像装置及び信号処理方法に関する。
近年、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、PDA(Personal Digital Assistant,携帯情報端末)等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。
これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストAF(Auto Focus、自動合焦)方式や位相差AF方式が採用されている。位相差AF方式は、コントラストAF方式に比べて合焦位置の 検出を高速,高精度に行うことができるため、様々な撮像装置で多く採用されている。
例えば、特許文献1には、撮像素子の画素セルの一部を位相差検出用の画素セルとし、位相差検出用の画素セルから読み出した信号を用いて位相差AFを行う撮像装置が開示されている。
特許文献1の撮像装置は、レンズ情報、測距点情報、及び最新のデフォーカス情報から、一対の位相差検出用の画素セルの一方で撮像して得られる被写体像A像と、一対の位相差検出用の画素セルの他方で撮像して得られる被写体像B像のシェーディングを予測し、A像B像の光量比を調節するシェーディング補正を行うことで、位相差AFの精度を向上させている。
また、位相差AFに関する技術ではないが、シェーディング補正に関する技術として、特許文献2には、ライブビュー画像を用いてシェーディング補正係数を算出するレンズ交換式の撮像装置が開示されている。
日本国特開2010−286826号公報 日本国特開2009−159093号公報
特許文献1のように、レンズ情報を用いて位相差のある一対の画像のシェーディング補正を行う方法では、レンズ情報を内蔵していないレンズには対応することができない。
特許文献2によれば、ライブビュー画像を用いてシェーディング補正係数を算出するため、どのようなレンズに対しても、シェーディング補正を正確に行うことができる。しかし、特許文献2に記載の技術は、位相差検出用の画素セルを持たない撮像素子を用いることが前提である。このため、位相差のある一対の画像のシェーディング補正を行う技術には適用できない。
本発明は、上記事情に鑑みてなされたものであり、位相差のある一対の画像のシェーディング補正を精度良く行うことのできる撮像装置及び信号処理方法を提供することを目的とする。
本発明の撮像装置は、撮像光学系を着脱可能な撮像装置であって、上記撮像光学系の瞳領域を通過した光束により形成された像を撮像する複数の撮像用画素セル、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素セル、及び上記一対の像の他方を撮像する複数の第二の位相差検出用画素セルを含む撮像素子と、上記撮像素子により被写体を撮像して得られる撮像画像信号に含まれる上記撮像用画素セルの出力信号、上記第一の位相差検出用画素セルの出力信号、及び上記第二の位相差検出用画素セルの出力信号を用いて、上記第一の位相差検出用画素セルと上記第二の位相差検出用画素セルの感度差を補正するための補正データを生成する補正データ生成部と、上記第一の位相差検出用画素セルの出力信号と上記第二の位相差検出用画素セルの出力信号の少なくとも一方を上記補正データにしたがって補正する信号補正部とを備え、上記補正データ生成部は、上記第一の位相差検出用画素セルの出力信号とその第一の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比、及び、その第一の位相差検出用画素セルに近接する上記第二の位相差検出用画素セルの出力信号とその第二の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比を算出し、上記2つの比に基づいて上記補正データを生成するものである。
本発明の信号処理方法は、撮像光学系を着脱可能な撮像装置における信号処理方法であって、上記撮像光学系の瞳領域を通過した光束により形成された像を撮像する複数の撮像用画素セル、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素セル、及び上記一対の像の他方を撮像する複数の第二の位相差検出用画素セルを含む撮像素子により被写体を撮像し、その撮像により得られる撮像画像信号に含まれる上記撮像用画素セルの出力信号、上記第一の位相差検出用画素セルの出力信号、及び上記第二の位相差検出用画素セルの出力信号を用いて、上記第一の位相差検出用画素セルと上記第二の位相差検出用画素セルの感度差を補正するための補正データを生成する補正データ生成ステップと、上記第一の位相差検出用画素セルの出力信号と上記第二の位相差検出用画素セルの出力信号の少なくとも一方を上記補正データにしたがって補正する信号補正ステップとを備え、上記補正データ生成ステップでは、上記第一の位相差検出用画素セルの出力信号とその第一の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比、及び、その第一の位相差検出用画素セルに近接する上記第二の位相差検出用画素セルの出力信号とその第二の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比を算出し、上記2つの比に基づいて上記補正データを生成するものである。
本発明によれば、位相差のある一対の画像のシェーディング補正を精度良く行うことのできる撮像装置及び信号処理方法を提供することができる。
本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図1に示すデジタルカメラに搭載される固体撮像素子5の構成を示す平面模式図 固体撮像素子5における行方向Xの位置での位相差検出用画素セル51R,51Lの感度比を示す図 図3に示す位相差検出用画素セル51R,51Lの感度比を揃えた状態を示す図 図1に示すデジタルカメラの動作を説明するためのフローチャート 図1に示すデジタルカメラの動作の変形例を説明するためのフローチャート 図5のステップS4〜S6までの処理の変形例を示すフローチャート 図7のステップS44を説明するための図 図7に示すフローチャートの変形例を示す図 被写体のエッジが固体撮像素子にかかっているときの状態を示す図 図2に示す固体撮像素子5の変形例である固体撮像素子5aを示す図 図2に示す固体撮像素子5の変形例である固体撮像素子5bを示す図
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
図1に示すデジタルカメラの撮像系は、撮像光学系としてのレンズ装置(撮影レンズ1と絞り2とを含む)と、CMOS型の固体撮像素子5とを備えている。図1の例では固体撮像素子5をCMOS型としているがCCD型のものを用いてもよい。
撮影レンズ1及び絞り2を含むレンズ装置は、カメラ本体に着脱可能となっており、別のものに交換することができる。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、フラッシュ発光部12及び受光部13を制御する。また、システム制御部11は、レンズ駆動部8を制御して撮影レンズ1に含まれるフォーカスレンズの位置を調整したり、撮影レンズ1に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部11は、絞り駆動部9を介して絞り2の開口量を制御することにより、露光量の調整を行う。
また、システム制御部11は、撮像素子駆動部10を介して固体撮像素子5を駆動し、撮影レンズ1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
デジタルカメラの電気制御系は、更に、固体撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力されるアナログ信号をデジタル信号に変換するA/D変換回路7とを備える。アナログ信号処理部6及びA/D変換回路7は、システム制御部11によって制御される。アナログ信号処理部6及びA/D変換回路7は固体撮像素子5に内蔵されることもある。
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、A/D変換回路7から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びRGB/YC変換処理等を行って撮影画像データを生成するデジタル信号処理部17と、デジタル信号処理部17で生成された撮影画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部18と、デフォーカス量を算出するデフォーカス量算出部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された表示部23が接続される表示制御部22とを備えている。メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、デフォーカス量算出部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
図2は、図1に示すデジタルカメラに搭載される固体撮像素子5の構成を示す平面模式図である。
固体撮像素子5は、行方向X及びこれに直交する列方向Yに二次元状に配列された多数の画素セル51(図中の各正方形のブロック)を備えている。図2では全ての画素セル51は図示していないが、実際には、数百万〜1千数万個程度の画素セル51が二次元状に配列される。固体撮像素子5により撮像を行うと、この多数の画素セル51の各々から出力信号が得られる。この多数の出力信号の集合を本明細書では撮像画像信号という。
各画素セル51は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタと、光電変換部に蓄積された信号電荷に応じた信号を出力する信号出力回路とを含む。
信号出力回路は、良く知られているMOS回路であり、例えば、光電変換部に蓄積された電荷が転送される電荷蓄積部と、光電変換部の電荷を電荷蓄積部に転送するための転送トランジスタと、電荷蓄積部の電位をリセットするリセットトランジスタと、電荷蓄積部の電位に応じた信号を出力する出力トランジスタと、出力トランジスタから出力信号線に信号を選択的に出力させるための行選択トランジスタとを含んで構成される。
図2では、赤色光を透過するカラーフィルタを含む画素セル51には“R”の文字を付し、緑色光を透過するカラーフィルタを含む画素セル51には“G”の文字を付し、青色光を透過するカラーフィルタを含む画素セル51には“B”の文字を付している。
多数の画素セル51は、行方向Xに並ぶ複数の画素セル51からなる画素セル行を、列方向Yに複数個並べた配列となっている。そして、奇数行の画素セル行と偶数行の画素セル行は、各画素セル行の画素セル51の配列ピッチの略1/2、行方向Xにずれている。
奇数行の画素セル行の各画素セル51に含まれるカラーフィルタの配列は全体としてベイヤ配列となっている。また、偶数行の画素セル行の各画素セル51に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。奇数行にある画素セル51と、この画素セル51に対して右下に隣接する、この画素セル51と同色光を検出する画素セル51とがペア画素を構成する。
このような画素セル配列の固体撮像素子5によれば、ペア画素を構成する2つの画素セル51の出力信号を加算することでカメラの高感度化を図ったり、ペア画素を構成する2つの画素セル51の露光時間を変え、かつ、この2つの画素セル51の出力信号を加算することでカメラの広ダイナミックレンジ化を図ったりすることができる。
固体撮像素子5では、多数の画素セル51のうちの一部が位相差検出用画素セルとなっている。
位相差検出用画素セルは、複数の位相差検出用画素セル51Rと複数の位相差検出用画素セル51Lとを含む。
複数の位相差検出用画素セル51Rは、撮影レンズ1の瞳領域の異なる部分を通過した一対の光束の一方(例えば瞳領域の右半分を通過した光束)を受光し受光量に応じた信号を出力する。つまり、固体撮像素子5に設けられた複数の位相差検出用画素セル51Rは、撮影レンズ1の瞳領域の異なる部分を通過した一対の光束の一方によって形成される像を撮像するものとなる。
複数の位相差検出用画素セル51Lは、上記一対の光束の他方(例えば瞳領域の左半分を通過した光束)を受光し受光量に応じた信号を出力する。つまり、固体撮像素子5に設けられた複数の位相差検出用画素セル51Lは、撮影レンズ1の瞳領域の異なる部分を通過した一対の光束の他方によって形成される像を撮像するものとなる。
なお、位相差検出用画素セル51R,51L以外の複数の画素セル51(以下、撮像用画素セルという)は、撮影レンズ1の瞳領域のほぼ全ての部分を通過した光束によって形成される像を撮像するものとなる。
画素セル51の光電変換部上方には、遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。
撮像用画素セル51の開口(図2において符号aで示す)の中心は、撮像用画素セル51の光電変換部の中心(正方形のブロックの中心)と一致している。なお、図2では、図を簡略化するために、撮像用画素セル51については一部のみに開口aを図示している。
これに対し、位相差検出用画素セル51Rの開口(図2において符号cで示す)の中心は、位相差検出用画素セル51Rの光電変換部の中心に対し右側に偏心している。
位相差検出用画素セル51Lの開口(図2において符号bで示す)の中心は、位相差検出用画素セル51Lの光電変換部の中心に対して左側に偏心している。
固体撮像素子5では、緑色のカラーフィルタが搭載される画素セル51の一部が位相差検出用画素セル51R又は位相差検出用画素セル51Lとなっている。勿論、他の色のカラーフィルタが搭載される画素セルを位相差検出用画素セルとしてもよい。
位相差検出用画素セル51Rと位相差検出用画素セル51Lは、それぞれ、画素セル51が配置される領域において離散的及び周期的に配置されている。
位相差検出用画素セル51Rは、図2の例では、偶数行の画素セル行の一部(図2の例では、3画素セル行おきに並ぶ4つの画素セル行)において、行方向Xに3つの画素セルおきに配置されている。
位相差検出用画素セル51Lは、図2の例では、奇数行の画素セル行の一部(位相差検出用画素セル51Rを含む画素セル行の隣にある画素セル行)において、行方向Xに、位相差検出用画素セル51Rと同じ周期で配置されている。
このような構成により、遮光膜の開口bを通って画素セル51Lに受光される光は、図2の紙面上方に設けられる撮影レンズ1の被写体から見て左側からの光、すなわち被写体を右眼で見た方向から来た光が主となり、遮光膜の開口cを通って画素セル51Rに受光される光は、撮影レンズ1の被写体から見て右側からの光、すなわち被写体を左眼で見た方向から来た光が主となる。
即ち、全ての位相差検出用画素セル51Rによって、被写体を左眼で見た撮像画像信号を得ることができ、全ての位相差検出用画素セル51Lによって、被写体を右眼で見た撮像画像信号を得ることができる。このため、両者を組み合わせることで、被写体の立体画像データを生成したり、両者を相関演算することで位相差情報を生成したりすることが可能になる。
なお、位相差検出用画素セル51Rと位相差検出用画素セル51Lは、遮光膜の開口を逆方向に偏心させることで、撮影レンズ1の瞳領域の異なる部分を通過した光束をそれぞれ受光できるようにして位相差情報を得られるようにしている。しかし、位相差情報を得るための構造はこれに限らず、よく知られているものを採用することができる。
固体撮像素子5は、更に、垂直走査回路52と水平走査回路53を備える。
垂直走査回路52は、各画素セル51に含まれる信号出力回路の転送トランジスタ、リセットトランジスタ、及び行選択トランジスタのオンオフ制御を行う。
水平走査回路53は、列方向Yに並ぶ画素セル51からなる画素セル列毎に設けられる出力信号線に接続され、画素セル行にある各画素セル51から出力信号線に出力された出力信号を順次、固体撮像素子5外部に出力する。
垂直走査回路52及び水平走査回路53は、図1に示した撮像素子駆動部10の指示にしたがって動作する。撮像素子駆動部10は、画素セル行毎に露光期間を一定時間ずらす、所謂ローリングシャッタ方式で固体撮像素子5を駆動する。
図1に示すデフォーカス量算出部19は、位相差検出用画素セル51L及び位相差検出用画素セル51Rから読み出される出力信号群を用いて、上記一対の光束によって形成される2つの像の相対的な位置ずれ量である位相差量を算出し、この位相差量に基づいて、撮影レンズ1の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。
図1に示すシステム制御部11は、デフォーカス量算出部19によって算出されたデフォーカス量に基づいて、撮像レンズ1に含まれるフォーカスレンズを合焦位置に移動させて、撮像レンズ1の合焦状態を制御する。このように、システム制御部11は、合焦制御部としての機能を果たす。
位相差検出用画素セル51Rと位相差検出用画素セル51Lは、開口が逆方向に偏心しているものである。このため、この開口の偏心方向(図2の行方向X)における位置がほぼ同じであっても、位相差検出用画素セル51Rと位相差検出用画素セル51Lには感度差が発生する。
図3は、固体撮像素子5における行方向Xの位置での位相差検出用画素セル51R,51Lの感度比を示す図である。符号51Rで示した直線が位相差検出用画素セル51Rの感度比を示し、符号51Lで示した直線が位相差検出用画素セル51Lの感度比を示している。
感度比とは、近接する位相差検出用画素セルと撮像用画素セル(ただし位相差検出用画素セルと同色光を検出するもの)の各々の出力信号の比を意味する。本明細書において、近接する2つの画素セルとは、実質的に同じ被写体部分からの光を受光していると見なすことのできる程度に近接している2つの画素セルのことを言う。
また、感度比は、位相差検出用画素セルの出力信号レベルをAとし、撮像用画素セルの出力信号レベルをBとしたとき、A/B、又は、B/Aで示される数値である。
位相差検出用画素セル51R,51Lは列方向Yにも周期的に配置されている。このため、図3に示すデータは、行方向Xにおける位置が同じ位相差検出用画素セル51R(51L)についての感度比のデータの平均をとったものとしている。
複数の位相差検出用画素セル51Rの出力信号と、複数の位相差検出用画素セル51Lの出力信号は、それぞれ、それ単独では、被写体によって行方向Xでの位置毎にレベルが異なるため、シェーディング形状がどのようになっているかは分からない。しかし、図3に示すように、位相差検出用画素セルとこれに近接する撮像用画素セルの出力信号との比である感度比を求めれば、位相差検出用画素セルの感度分布(シェーディング形状)を知ることができる。
なお、固体撮像素子5では、位相差検出用画素セル51Rと位相差検出用画素セル51Lの行方向Xにおける位置が厳密には同じではないが、図3では、近接する位相差検出用画素セル51Rと位相差検出用画素セル51Lは、行方向Xにおける位置が同じものとして扱っている。
位相差検出用画素セル51Lは、開口bが図2において左側に偏心している。このため、図2において、固体撮像素子5の左側端部にある位相差検出用画素セル51Lの開口bには、固体撮像素子5の中心部と比較して光が入りやすくなる。一方、固体撮像素子5の右側端部にある位相差検出用画素セル51Lの開口bには、固体撮像素子5の中心部と比較して光が入り難くなる。
また、位相差検出用画素セル51Rは、開口cが位相差検出用画素セル51Lと行方向Xにおいて逆方向に偏心しているため、その感度比の特性は位相差検出用画素セル51Lと逆になる。
したがって、図3に示したように、位相差検出用画素セル51Lの感度比は、固体撮像素子5の左端部から右端部に向かうほど低くなる。また、位相差検出用画素セル51Rの感度比は、固体撮像素子5の左端部から右端部に向かうほど高くなる。
なお、位相差検出用画素セル51Lの感度比と位相差検出用画素セル51Rの感度比は、固体撮像素子5の中央部分ではほぼ同じになる。
このように、位相差検出用画素セル51Rと位相差検出用画素セル51Lに感度差があると、複数の位相差検出用画素セル51Rから得られる出力信号群と、複数の位相差検出用画素セル51Lから得られる出力信号群との相関演算の結果が誤差を含むことになる。このため、位相差検出用画素セル51Rによって撮像される像と、位相差検出用画素セル51Lによって撮像される像との間の位相差量の算出を正確に行うことができない。
そこで、本実施形態のデジタルカメラでは、デフォーカス量算出部19が、位相差検出用画素セル51Rと位相差検出用画素セル51Lの感度差をなくすべく、位相差検出用画素セル51Rの出力信号と位相差検出用画素セル51Lの出力信号を補正データにしたがって補正する信号補正部としての機能を果たし、補正後の出力信号を用いて位相差量を算出する位相差量算出部としての機能を果たす。
デフォーカス量算出部19は、固体撮像素子5によって撮像して得られる撮像画像信号のうち、各位相差検出用画素セル51R(51L)の出力信号と、この各位相差検出用画素セル51R(51L)に近接する撮像用画素セル51の出力信号とを用いて、上記補正データを生成する補正データ生成部、生成した補正データを記録媒体に記録する記録制御部としての機能を果たす。
例えば、デフォーカス量算出部19は、撮像画像信号を用いて、位相差検出用画素セル51Rの感度比と位相差検出用画素セル51Lの感度比を行方向Xの位置毎に算出して図3に示すデータを生成する。そして、デフォーカス量算出部19は、図4に示すように、位相差検出用画素セル51Rの感度比と位相差検出用画素セル51Lの感度比が、それぞれ、どの位置でも同じ値になるような、位相差検出用画素セル51R,51Lの出力信号に乗じる係数を、上記補正データとして生成する。
あるいは、デフォーカス量算出部19は、図3に示す位相差検出用画素セル51Rの感度比のグラフに、位相差検出用画素セル51Lの感度比のグラフを一致させるために必要な、位相差検出用画素セル51Lの出力信号に乗じるべき係数を、上記補正データとして生成する。
又は、デフォーカス量算出部19は、図3に示す位相差検出用画素セル51Lの感度比のグラフに、位相差検出用画素セル51Rの感度比のグラフを一致させるために必要な、位相差検出用画素セル51Rの出力信号に乗じるべき係数を、上記補正データとして生成する。
このように構成されたデジタルカメラの動作について説明する。
図5は、図1に示すデジタルカメラの動作を説明するためのフローチャートである。
撮影モードに設定されると、システム制御部11は、ライブビュー画像を表示部23に表示するための撮像(動画撮像)を固体撮像素子5により開始する。この撮像が開始されると、固体撮像素子5から出力された撮像画像信号がデジタル信号処理部17により処理され、処理後の撮像画像データに基づく画像が表示部23に表示される。これにより、表示部23に表示される画像によって、撮像中の被写体をリアルタイムに確認することができる。
一方、デフォーカス量算出部19は、撮影モードに設定されると、システム制御部11から、カメラ本体に装着されているレンズ装置を識別するための識別情報であるレンズIDを取得する(ステップS1)。
続いて、デフォーカス量算出部19は、レンズ装置の光学条件の情報をシステム制御部11から取得する(ステップS2)。この光学条件は、固体撮像素子5に入射する光線の角度を決めるパラメータに関する情報であり、撮像時の絞りF値及び焦点距離等の情報を含む。
次に、デフォーカス量算出部19は、ステップS1において取得したレンズID及びステップS2において取得した光学条件の組み合わせに対応する補正データがメインメモリ16に記憶されていれば(ステップS3:YES)、ステップS7に処理を移行し、補正データがメインメモリ16に記憶されていなければ(ステップS3:NO)、ステップS4に処理を移行する。
ステップS4において、デフォーカス量算出部19は、固体撮像素子5から出力された撮像画像信号を取得する。そして、デフォーカス量算出部19は、取得した撮像画像信号を用いて、図3に示したデータを生成し、このデータから補正データを生成する(ステップS5)。
次に、デフォーカス量算出部19は、生成した補正データと、ステップS1で取得したレンズIDと、ステップS2で取得した光学条件の情報とを関連付けてメインメモリ16に記憶する(ステップS6)。
ステップS6の後、デフォーカス量算出部19は、レンズ装置の光学条件に変更があった場合(ステップS7:YES)はステップS2に処理を戻し、レンズ装置の光学条件に変更がない場合(ステップS7:NO)は、ステップS8に処理を移行する。
デフォーカス量算出部19は、ステップS8において、位相差AFを行う指示がシステム制御部11に対してなされたか否かを判定し、AF指示がなされた場合(ステップS8:YES)にステップS9に処理を移行し、AF指示がなされていない場合(ステップS8:NO)にはステップS7に処理を戻す。
ステップS9において、デフォーカス量算出部19は、AF指示に応じて固体撮像素子5により撮像して得られた撮像画像信号と、当該撮像時の光学条件の情報と、現在装着されているレンズ装置のレンズIDとをシステム制御部11から取得する。
続いて、デフォーカス量算出部19は、ステップS9において取得したレンズIDと光学条件の組み合わせに対応する補正データをメインメモリ16から読み出し、これを用いて、ステップS9において取得した撮像画像信号に含まれる位相差検出用画素セルの出力信号を補正する(ステップS10)。
次に、デフォーカス量算出部19は、補正後の位相差検出用画素セルの出力信号を用いて相関演算を行い、位相差検出用画素セル51Rによって撮像される像と、位相差検出用画素セル51Lによって撮像される像との間の位相差量を算出し、この位相差量に基づいてデフォーカス量を算出する(ステップS11)。
ステップS11の後は、システム制御部11が、デフォーカス量に基づいてフォーカスレンズを合焦位置に移動させる合焦制御を行い(ステップS12)、その後は、撮像待機状態となる。
なお、撮影モード中の任意のタイミングでレンズ装置が交換された場合は、その時点で、ステップS1以降の処理が行われる。また、撮像待機状態において、光学条件の変更があった場合には、その時点でステップS2以降の処理が行われる。
以上のように、図1に示すデジタルカメラによれば、固体撮像素子5により撮像して得られる撮像画像信号を用いて、位相差検出用画素セル51Rと位相差検出用画素セル51Lの感度差を補正するための補正データを生成することができる。このため、デジタルカメラに装着可能なあらゆるレンズ装置に対応して補正データを予め生成してカメラ本体に記憶しておく必要がなくなり、カメラの調整工数の削減が可能となる。
また、レンズID以外の詳細な情報を取得できないようなレンズ装置であっても、そのレンズ装置を装着して撮影モードに設定するだけで、補正データを生成して記憶しておくことができる。このため、どのようなレンズ装置が装着された場合でも、位相差AFを精度良く行なうことが可能となる。
なお、図5の説明では、生成した補正データをレンズIDと光学条件に関連付けて記憶しておき、以降は、この記憶した補正データを用いて位相差検出用画素セルの感度比を補正するものとしたが、これに限らない。
例えば、AF指示が行われる度に、デフォーカス量算出部19が、撮像画像信号から補正データを生成し、この補正データを用いて位相差検出用画素セルの出力信号を補正し、補正後の信号を用いて位相差量を算出してもよい。このようにすることで、メモリ容量を削減することができる。
また、あるレンズID及び光学条件に対応する補正データをメインメモリ16に記憶した後でも、このレンズID及び光学条件に対応する補正データを定期的に生成しなおすことが好ましい。こうすることで、レンズ装置の長期間の使用により、レンズ装置の性能や固体撮像素子5の性能に若干の差が生じた場合でも、その状況に合った正しい補正データを生成することができる。
また、図1に示すデジタルカメラによれば、撮像用画素セル51と、位相差検出用画素セル51Rと、位相差検出用画素セル51Lとの3種類の画素セルを有する固体撮像素子5を用いているため、図3に示すようなシェーディングに対応するデータを1回の撮像によって生成することができる。したがって、補正データを生成するのに要する時間を短縮することができ、上述したように、AF指示が行われる度に補正データを生成する形態では特に有利となる。
また、以上の説明では、デフォーカス量算出部19が生成した補正データを、レンズ装置の識別情報と対応付けて、デジタルカメラのメインメモリ16に記録する構成とした。しかし、デフォーカス量算出部19が生成した補正データを、デジタルカメラの識別情報と対応付けて、レンズ装置内の記録媒体に記録する構成としてもよい。
図6は、デフォーカス量算出部19が生成した補正データをレンズ装置内の記録媒体に記録する場合のデジタルカメラの動作を説明するためのフローチャートである。図6において図5に示した処理と同じものには同一符号を付して説明を省略する。
デフォーカス量算出部19は、撮影モードに設定されると、ステップS2においてレンズ装置の光学条件の情報をシステム制御部11から取得する。
次に、デフォーカス量算出部19は、メインメモリ16に記憶されているデジタルカメラのカメラID及びステップS2において取得した光学条件の組み合わせに対応する補正データがレンズ装置内のメモリに記憶されていれば(ステップS3A:YES)、ステップS7に処理を移行し、補正データがレンズ装置内のメモリに記憶されていなければ(ステップS3A:NO)、ステップS4に処理を移行する。
ステップS4及びステップS5の後、デフォーカス量算出部19は、ステップS5で生成した補正データと、カメラIDと、ステップS2で取得した光学条件の情報とを関連付けて、これらを、システム制御部11を経由してレンズ装置内のメモリに記憶する(ステップS6A)。
ステップS8:YESのとき、デフォーカス量算出部19は、AF指示に応じて固体撮像素子5により撮像して得られた撮像画像信号と、当該撮像時の光学条件の情報とをシステム制御部11から取得し、当該光学条件の情報に対応する補正データを、レンズ装置内のメモリからシステム制御部11を経由して取得する(ステップS9A)。
その後は、デフォーカス量算出部19が、取得した補正データにしたがって補正をし(ステップS10)、ステップS11,12の処理が行われる。
この場合も、撮影モード中の任意のタイミングでレンズ装置が交換された場合は、その時点で、ステップS2以降の処理が行われる。
次に、図1に示すデジタルカメラにおける補正データの生成方法の変形例を説明する。この変形例では、デフォーカス量算出部19が、1回の撮像で得られた撮像画像信号を用いて補正データを生成するのではなく、複数回の撮像で得られた複数の撮像画像信号を用いて補正データを生成する。
図7は、図5のステップS4〜S5までの処理の変形例を示すフローチャートである。この変形例は図6においても適用可能である。
撮影モードに設定されると、ライブビュー画像表示のために固体撮像素子5により連続した撮像(動画撮像)が開始され、各撮像によって得られる撮像画像信号がメインメモリ16に記憶されていく。
図5のステップS3又は図6のステップS3Aの後、ステップS41において、デフォーカス量算出部19は、図5,6のステップS2の以降の任意の時刻T(n)で得られたライブビュー画像表示用の撮像画像信号G(n)をメインメモリ16から取得し、内部メモリに記憶する。
次に、デフォーカス量算出部19は、内部メモリに記憶した撮像画像信号の数が2つ以上になっていれば(ステップS42:YES)、ステップS43の処理を行い、内部メモリに記憶した撮像画像信号の数が2つ未満であれば(ステップS42:NO)、上記T(n)の“n”を“n+1”に変更して、ステップS41の処理を行う。なお、時刻T(n)は、“n”の数字が大きいほど、時刻が新しいことを示す。
デフォーカス量算出部19は、内部メモリに2つ以上の撮像画像信号が記憶されると、ステップS43において、撮像画像信号G(n)と撮像画像信号G(n+1)を比較し、双方に基づく被写体像同士に大きな差があるかどうかを判定する。
具体的には、デフォーカス量算出部19は、撮像画像信号G(n)と撮像画像信号G(n+1)のそれぞれの同一座標にある信号同士の差分を算出し、その差分が予め決められた閾値を超えていれば、撮像画像信号G(n+1)は、撮像画像信号G(n)に対して被写体に大きな変化があると判定する。
一方、デフォーカス量算出部19は、上記差分が予め決められた閾値以下であれば、撮像画像信号G(n)と撮像画像信号G(n+1)の間で被写体に大きな変化がないと判定する。
ステップS43の判定がYESのとき、デフォーカス量算出部19は内部メモリに記憶した撮像画像信号G(n+1)を消去し(ステップS44)、その後、ステップS45の処理を行う。
例えば、図8に示すように、撮像画像信号G(1)〜G(4)があり、撮像画像信号(3)にだけ太陽の光Hが写りこんでいた場合、デフォーカス量算出部19は、撮像画像信号G(3)については内部メモリから消去する。
ステップS43の判定がNOのとき、デフォーカス量算出部19はステップS44の処理を行わずにステップS45の処理を行う。
ステップS45において、デフォーカス量算出部19は、内部メモリに記憶した撮像画像信号の数が予め決められた数(この数をMとする)に達しているかどうかを判定する。デフォーカス量算出部19は、ステップS45の判定がYESの場合にステップS47の処理を行い、ステップS45の判定がNOの場合に“n”を“n+1”に変更して、ステップS41の処理を行う。
ステップS47において、デフォーカス量算出部19は、内部メモリに記憶しているM個の撮像画像信号の同一座標にある出力信号の平均値を算出する処理を全ての座標について行う(ステップS47)。つまり、M個の撮像画像信号を平均化して1つの撮像画像信号を生成する。
その後、デフォーカス量算出部19は、ステップS47の結果得られた平均化後の1つの撮像画像信号を用いて、前述したのと同様に、補正データを生成する(ステップS48)。
以上のように、この変形例では、デフォーカス量算出部19が、複数の撮像画像信号を平均化して得た撮像画像信号を用いて補正データを生成する。複数の撮像画像信号を平均化することにより、各出力信号に含まれるランダムノイズを減らすことができる。このため、平均化後の撮像画像信号のS/N比を向上させることができ、生成される補正データの信頼性を高いものにすることができる。
なお、複数の撮像画像信号を平均することによるノイズ低減効果は、Ev値に換算すると以下の式で表される。
Ev=(1/2)*log
Mは平均化する撮像画像信号の数
例えば、M=2であれば、平均化前の各撮像画像信号の撮像時のEv値を0.5上げたときと同等のノイズ性能が得られることを意味する。
上述した平均化に必要な撮像画像信号の数Mは、図3に示した感度比のデータを正確に求めるために必要とされるノイズ性能と、平均化前の撮像画像信号を取得する際の撮像時のISO感度とによって決めることができる。
例えば、必要とされるノイズ性能をISO100相当とし、撮像時のISO感度がISO800である場合を考える。この場合、ISO800とISO100とではEv値換算で“3”の差がある。Ev=3を上記式に代入するとM=64となる。このため、ステップS45で判定する撮像画像信号の必要数が64に達した時点で、撮像画像信号の取得を終了すれば、信頼性の高い補正データを得ることができる。
なお、信頼性の高い補正データを得るために必要とされるノイズ性能は、固体撮像素子5のノイズ性能によって変わる。このため、必要とされるノイズ性能はデジタルカメラに搭載される固体撮像素子5の性能に応じた値を決めておけばよい。
なお、図7は、撮像画像信号の平均化を行うのを前提としたフローチャートである。しかし、撮影条件(被写体明るさ)やノイズ性能によっては、平均化が不要となる場合もある。このため、図5のステップS3:NO(又は図6のステップS3A:NO)の後に、デフォーカス量算出部19が、平均化が必要かどうかを判定し、平均化が必要と判定したとき(例えば、必要とされるノイズ性能をISO100相当とし、撮像時のISO感度がISO200より大きい場合)には、上記Mを設定した上で図7のステップS41以降の処理を行い、平均化が不要と判定したとき(例えば、必要とされるノイズ性能をISO100相当とし、撮像時のISO感度がISO100である場合)には、図5のステップS4以降の処理を行うようにすることが好ましい。
上述してきたように、図7に示す変形例では、補正データの生成のために、M個の撮像画像信号が必要である。一般的に、ライブビュー画像表示のための動画撮像におけるフレームレート(単位時間当たりに出力される撮像画像信号(フレーム)の数)は固定である。
例えば、フレームレートが1秒間に30フレームである場合、上記Mが60であれば、補正データを生成するまでに少なくとも2秒必要になる。これに対し、フレームレートを上げれば、補正データを生成するまでの時間を短縮することができる。
そこで、図7の変形例においては、デフォーカス量算出部19がフレームレートを上げることをシステム制御部11に指示し、システム制御部11によってフレームレートを上げる制御がなされてから、ステップS41以降の処理を行うことが好ましい。
図9は、図7に示すフローチャートの変形例を示す図である。図9において図7と同じ処理には同一符号を付して説明を省略する。
まず、デフォーカス量算出部19は、ライブビュー画像表示用の各撮像における露光時間(シャッタスピード)の情報をシステム制御部11から取得し、シャッタスピードが閾値THよりも小さいか否かを判定する(ステップS50)。
シャッタスピードが閾値THよりも小さい場合(ステップS50:YES)、デフォーカス量算出部19はフレームレートを上げる(例えば、ライブビュー画像表示のための動画撮像中のフレームレートのデフォルト値の2倍にする)ことをシステム制御部11に指示し(ステップS51)、その後、ステップS41以降の処理を行う。
一方、シャッタスピードが閾値TH以上の場合(ステップS50:NO)、デフォーカス量算出部19は、ステップS51の処理を行わずに、ステップS41以降の処理を行なう。
ステップS51においてフレームレートを上げる指示を受けたシステム制御部11は、フレームレートをデフォルト値の2倍にする。このようにすることで、撮像画像信号の数がMに達するまでの時間を、フレームレートがデフォルト値のまま固定の場合と比較して半分にすることができる。
このように、この変形例においては、システム制御部11が、M個の撮像画像信号を得るための撮像が行われる間のフレームレートを、動画撮像中のデフォルトのフレームレートより上げる制御を、動画撮像時に設定されている各フレームの露光時間に応じて行うフレームレート制御部として機能する。
なお、フレームレートを上げるということは、1つの撮像画像信号の取得に必要な時間(以下、フレーム取得時間という)が短くなることを意味する。フレーム取得時間は、例えば、フレームレートが30フレーム/秒であれば、1/30秒となる。
一方で、シャッタスピードは、フレーム取得時間よりも大きくすることはできない。このため、本変形例では、ステップS50において、シャッタスピードに応じて、ステップS51の処理を行うか否かを決定している。
具体的には、ステップS51でフレームレートを上げた場合におけるフレーム取得時間を閾値THとして設定している。
例えば、デフォルトのフレームレートが30フレーム/秒であり、ステップS51において設定されるフレームレートが60フレーム/秒であると仮定する。この場合、閾値THは1/60秒となる。
つまり、ライブビュー画像表示用の各撮像におけるシャッタスピードが例えば1/40秒の場合には、ステップS51の処理は行われない。一方、ライブビュー画像表示用の各撮像におけるシャッタスピードが1/100秒の場合には、ステップS51の処理が行われることになる。
ステップS41以降の処理が開始され、ステップS45において、撮像画像信号の数がMに達すると(ステップS45:YES)、デフォーカス量算出部19は、フレームレートがデフォルト値よりも大きくなっている場合は(ステップS52:YES)、フレームレートをデフォルト値に戻す指示をシステム制御部11に行い、その後、ステップS47以降の処理を行う。この指示にしたがって、システム制御部11はフレームレートをデフォルト値に戻す制御を行う。
一方、フレームレートがデフォルト値のままの場合(ステップS52:NO)、デフォーカス量算出部19は、ステップS53の処理を行わずに、ステップS47以降の処理を行う。
以上のように、図8の変形例によれば、複数の撮像画像信号を用いて補正データを生成する場合における補正データ生成までの時間を短縮することができる。
ここまでの説明で、デフォーカス量算出部19は、図5のステップS5、図7のステップS48、及び図9のステップS48において、撮像画像信号を用いて図3に示す感度比のデータを生成し、このデータをもとに補正データを生成している。
この感度比のデータは、高輝度被写体を撮像していて、位相差検出用画素セルとこれに近接する撮像用画素セルの各々の出力信号が飽和していた場合には正確な値を得ることができない。
また、図10に示すように、固体撮像素子5において破線で囲った部分に被写体のエッジ部(周辺よりも輝度が閾値以上高い又は低い被写体部分)が結像されていた場合、位相差検出用画素セル51Lとこれに近接する(例えば左上にある)撮像用画素セル51の各々の出力信号の比や、位相差検出用画素セル51Rとこれに近接する(例えば右下にある)撮像用画素セル51の各々の出力信号の比は正確な値とはならない。
そこで、デフォーカス量算出部19は、図3に示す感度比のデータを生成するにあたり、出力信号が飽和レベルに達している画素セルについては、感度比の演算対象からは除外する。また、デフォーカス量算出部19は、撮像画像信号を用いてその撮像画像信号から被写体のエッジ部を検出し、エッジ部があった場合には、このエッジ部が結像されている画素セルについては、感度比の演算対象からは除外する。デフォーカス量算出部19は、エッジ部を検出するエッジ検出部としての機能を果たす。
エッジ部の検出は、撮像画像信号において、近接する同色成分の出力信号同士を比較することで行う。例えば、図10において太線で囲った2つの撮像用画素セル51の各々の出力信号同士の差分は大きくなるため、この2つの撮像用画素セル51のどちらかにエッジ部が重なっていることを検出することができる。行方向X,列方向Y,図10の左下から右上に向かう斜め45°方向,図10の左上から右下に向かう斜め45°方向のそれぞれにおいて、近接する同色の2つの画素セルの出力信号を比較することで、撮像画像信号においてどの出力信号がエッジ部に対応するものなのかを検出することができる。
このように、出力信号が飽和レベルに達している画素セル、エッジ部がかかっている画素セルについては、感度比の演算対象からは除外することで、補正データの信頼性を向上させることができる。
また、図5のステップS5、図7のステップS48、及び図9のステップS48において、補正データの生成に用いる感度比として、連続して得られた複数の撮像画像信号のそれぞれから求めた感度比の平均値を用いるようにしてもよい。
このように、感度比のデータについても、複数回の撮像分の平均値として算出することで、輝度シェーディング形状をより正確に検出できるようになり、補正データの信頼性を向上させることができる。
ここまでは、画素セル51がいわゆるハニカム配列されたものを例にしたが、画素セル51が正方格子状に配列された固体撮像素子にも本発明は適用可能である。
図11は、図2に示す固体撮像素子5の変形例である固体撮像素子5aを示す図である。
固体撮像素子5aは、行方向Xと列方向Yに正方格子状に配列された多数の画素セル51Aと、垂直走査回路52と、水平走査回路53とを備える。画素セル51Aの構成は画素セル51と同じであり、カラーフィルタの配列はベイヤ配列となっている。
多数の画素セル51Aは、遮光膜の開口aが偏心していない通常の画素セル51Aと、偏心した開口d,eを有する位相差検出用画素セルとを含む。開口dを有する画素セル51Aが位相差検出用画素セル51Lに対応し、開口eを有する画素セル51Aが位相差検出用画素セル51Rに対応している。
このような構成の固体撮像素子5aでも、上述してきた方法で補正データを生成することで、正確なデフォーカス量を算出することができる。
また、図2及び図11では、近接する位相差検出用画素セル51Rと位相差検出用画素セル51Lとで行方向Xの位置が1画素セル分ずれているが、図12に示す固体撮像素子5bのように、近接する位相差検出用画素セル51Rと位相差検出用画素セル51Lの行方向Xの位置を同じにした構成としてもよい。
本明細書では撮像装置としてデジタルカメラを例にしたが、レンズ装置を装着できる撮像装置であれば本発明を適用可能である。例えば、カメラ付のスマートフォンにレンズ装置を装着する場合でも本実施形態の技術を適用することができる。
また、本明細書では、レンズ装置を交換可能な撮像装置を例にしたが、レンズ装置がカメラ本体に固定されたレンズ一体型の撮像装置であっても、上述した方法で補正データを生成して、位相差AFの精度を向上させることは可能である。
レンズ装置が固定の場合でも、撮像時の環境によっては、図3に示す感度比のデータが変化する場合が有り得る。
例えば、撮像光学系に含まれるレンズとして樹脂を用いた場合、高い気温下における撮像では、レンズが変形して、固体撮像素子への入射光線角度が設計からずれる可能性がある。このような場合でも、上述したように、固体撮像素子により撮像して得られる撮像画像信号を用いて補正データを生成することで、撮像環境に合った補正データを得ることができ、位相差AFの精度を向上させることができる。
図1のデジタルカメラには、位相差検出用画素セル51R,51Lを、それぞれ単体で十分な解像度の画像を撮像できる程度の数設けておき、位相差検出用画素セル51Rで撮像した画像と、位相差検出用画素セル51Lで撮像した画像とで立体画像を生成する立体撮像機能を持たせることもできる。
この場合も、上述した方法で補正データを生成し、位相差検出用画素セル51Rの出力信号と位相差検出用画素セル51Lの出力信号を補正データにしたがって補正してから立体画像を生成する処理を行う。このようにすることで、シェーディング特性を揃えた2つの画像により立体画像を生成することができ、立体画像の品質を向上させることが可能である。
ここまでは、固体撮像素子5,5a,5bが複数色のカラーフィルタを搭載してカラー撮像を行うものとしたが、固体撮像素子5,5a,5bは、カラーフィルタを緑色の単色にするか又は省略して、モノクロ撮像用の撮像素子としてもよい。
また、図3に示した感度比のデータは、列方向Yにおける位置の異なる複数の位相差検出用画素セルの各々の感度比の平均をとったものとしたが、位相差検出用画素セル51R,51Lを含む画素セルの行毎に感度比のデータを生成し、この行毎に補正データを生成し、感度比を補正するようにしてもよい。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された撮像装置は、撮像光学系を着脱可能な撮像装置であって、上記撮像光学系の瞳領域を通過した光束により形成された像を撮像する複数の撮像用画素セル、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素セル、及び上記一対の像の他方を撮像する複数の第二の位相差検出用画素セルを含む撮像素子と、上記撮像素子により被写体を撮像して得られる撮像画像信号に含まれる上記撮像用画素セルの出力信号、上記第一の位相差検出用画素セルの出力信号、及び上記第二の位相差検出用画素セルの出力信号を用いて、上記第一の位相差検出用画素セルと上記第二の位相差検出用画素セルの感度差を補正するための補正データを生成する補正データ生成部と、上記第一の位相差検出用画素セルの出力信号と上記第二の位相差検出用画素セルの出力信号の少なくとも一方を上記補正データにしたがって補正する信号補正部とを備え、上記補正データ生成部は、上記第一の位相差検出用画素セルの出力信号とその第一の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比、及び、その第一の位相差検出用画素セルに近接する上記第二の位相差検出用画素セルの出力信号とその第二の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比を算出し、上記2つの比に基づいて上記補正データを生成するものである。
開示された撮像装置は、上記補正データ生成部が、上記2つの比を同じにするために必要な上記第一の位相差検出用画素セル及び上記第二の位相差検出用画素セルの少なくとも一方の出力信号に乗じる係数を上記補正データとして算出するものである。
開示された撮像装置は、上記補正データ生成部が、上記補正データの生成に用いる上記撮像用画素セルの出力信号、上記第一の位相差検出用画素セルの出力信号、及び上記第二の位相差検出用画素セルの出力信号の各々として、上記撮像素子により被写体を複数回撮像して得られる出力信号の平均値を用いるものである。
開示された撮像装置は、上記補正データ生成部が、上記撮像素子により連続して撮像が行われる動画撮像中に上記補正データの生成を行い、上記複数回の撮像が行われるときの第一のフレームレートを、上記動画撮像中の第二のフレームレートより上げる制御を、上記動画撮像時に設定されている各フレームの露光時間に応じて行うフレームレート制御部を備えるものである。
開示された撮像装置は、上記フレームレート制御部が、上記露光時間が閾値よりも小さい場合に上記第一のフレームレートを上記第二のフレームレートよりも上げる制御を行い、上記露光時間が閾値以上の場合に上記第一のフレームレートを上記第二のフレームレートと同じにする制御を行うものである。
開示された撮像装置は、上記補正データ生成部が、上記平均値の演算対象とする出力信号の数を、その出力信号を得る際の撮像時に設定されたISO感度に基づいて決めるものである。
開示された撮像装置は、上記補正データ生成部が、上記撮像素子により被写体を複数回撮像して得られる同一の画素セルの出力信号のうち、他の出力信号との差分が閾値を超える出力信号を含む上記撮像画像信号を除外して、上記平均値を算出するものである。
開示された撮像措置は、上記補正データ生成部が、上記補正データの生成に用いる上記比として、上記撮像素子により被写体を複数回撮像して得られる出力信号の各々から求めた比の平均値を用いるものである。
開示された撮像装置は、上記撮像画像信号に基づいて上記撮像画像信号における被写体のエッジ部を検出するエッジ検出部を備え、上記補正データ生成部は、上記補正データの生成に用いる出力信号として、上記エッジ部にかかる画素セルの出力信号を除外するものである。
開示された撮像装置は、上記補正データ生成部が、上記補正データの生成に用いる出力信号として、飽和レベルに達しているものを除外するものである。
開示された撮像装置は、上記補正データ生成部が、上記撮像光学系の光学条件又は上記撮像光学系が変更された場合に上記補正データを生成するものである。
開示された撮像装置は、上記補正データ生成部によって生成された補正データを、その補正データを求める際に装着されていた上記撮像光学系の識別情報と関連付けて記録媒体に記録する記録制御部を備え、上記記録媒体に上記補正データが記録されている撮像光学系が装着された場合に、上記信号補正部は、上記記録媒体に記録されている補正データにしたがって上記第一の位相差検出用画素セルの出力信号と上記第二の位相差検出用画素セルの少なくとも一方の出力信号を補正するものである。
開示された撮像措置は、上記補正データ生成部によって生成された補正データを、その補正データを求める際に装着されていた上記撮像光学系に設けられた記録媒体に、上記撮像装置の識別情報と対応付けて記録する記録制御部を備え、上記撮像装置の識別情報に対応する上記補正データが記録媒体に記録されている撮像光学系が装着された場合に、上記信号補正部は、上記記録媒体に記録されている補正データにしたがって上記第一の位相差検出用画素セルの出力信号と上記第二の位相差検出用画素セルの少なくとも一方の出力信号を補正するものである。
開示された撮像装置は、上記信号補正部による補正後の出力信号を用いて上記一対の像の相対的な位置ずれ量である位相差量を算出する位相差量算出部と、上記位相差量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、を備えるものである。
開示された信号処理方法は、撮像光学系を着脱可能な撮像装置における信号処理方法であって、上記撮像光学系の瞳領域を通過した光束により形成された像を撮像する複数の撮像用画素セル、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素セル、及び上記一対の像の他方を撮像する複数の第二の位相差検出用画素セルを含む撮像素子により被写体を撮像し、その撮像により得られる撮像画像信号に含まれる上記撮像用画素セルの出力信号、上記第一の位相差検出用画素セルの出力信号、及び上記第二の位相差検出用画素セルの出力信号を用いて、上記第一の位相差検出用画素セルと上記第二の位相差検出用画素セルの感度差を補正するための補正データを生成する補正データ生成ステップと、上記第一の位相差検出用画素セルの出力信号と上記第二の位相差検出用画素セルの出力信号の少なくとも一方を上記補正データにしたがって補正する信号補正ステップとを備え、上記補正データ生成ステップでは、上記第一の位相差検出用画素セルの出力信号とその第一の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比、及び、その第一の位相差検出用画素セルに近接する上記第二の位相差検出用画素セルの出力信号とその第二の位相差検出用画素セルに近接する上記撮像用画素セルの出力信号との比を算出し、上記2つの比に基づいて上記補正データを生成するものである。
本発明によれば、位相差のある一対の画像のシェーディング補正を精度良く行うことのできる撮像装置及び信号処理方法を提供することができる。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、2012年9月12日出願の日本特許出願(特願2012−200475)、2013年4月30日出願の日本特許出願(特願2013−095388)に基づくものであり、その内容はここに取り込まれる。
5 固体撮像素子
19 デフォーカス量算出部
51 画素セル
51R,51L 位相差検出用画素セル

Claims (15)

  1. 撮像光学系を着脱可能な撮像装置であって、
    前記撮像光学系の瞳領域を通過した光束により形成された像を撮像する複数の撮像用画素セル、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素セル、及び前記一対の像の他方を撮像する複数の第二の位相差検出用画素セルを含む撮像素子と、
    前記撮像素子により被写体を撮像して得られる撮像画像信号に含まれる前記撮像用画素セルの出力信号、前記第一の位相差検出用画素セルの出力信号、及び前記第二の位相差検出用画素セルの出力信号を用いて、前記第一の位相差検出用画素セルと前記第二の位相差検出用画素セルの感度差を補正するための補正データを生成する補正データ生成部と、
    前記第一の位相差検出用画素セルの出力信号と前記第二の位相差検出用画素セルの出力信号の少なくとも一方を前記補正データにしたがって補正する信号補正部とを備え、
    前記補正データ生成部は、前記第一の位相差検出用画素セルの出力信号と当該第一の位相差検出用画素セルに近接する前記撮像用画素セルの出力信号との比、及び、当該第一の位相差検出用画素セルに近接する前記第二の位相差検出用画素セルの出力信号と当該第二の位相差検出用画素セルに近接する前記撮像用画素セルの出力信号との比を算出し、前記2つの比に基づいて前記補正データを生成する撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記補正データ生成部は、前記2つの比を同じにするために必要な前記第一の位相差検出用画素セル及び前記第二の位相差検出用画素セルの少なくとも一方の出力信号に乗じる係数を前記補正データとして算出する撮像装置。
  3. 請求項1又は2記載の撮像装置であって、
    前記補正データ生成部は、前記補正データの生成に用いる前記撮像用画素セルの出力信号、前記第一の位相差検出用画素セルの出力信号、及び前記第二の位相差検出用画素セルの出力信号の各々として、前記撮像素子により被写体を複数回撮像して得られる出力信号の平均値を用いる撮像装置。
  4. 請求項3記載の撮像装置であって、
    前記補正データ生成部は、前記撮像素子により連続して撮像が行われる動画撮像中に前記補正データの生成を行い、
    前記複数回の撮像が行われるときの第一のフレームレートを、前記動画撮像中の第二のフレームレートより上げる制御を、前記動画撮像時に設定されている各フレームの露光時間に応じて行うフレームレート制御部を備える撮像装置。
  5. 請求項4記載の撮像装置であって、
    前記フレームレート制御部は、前記露光時間が閾値よりも小さい場合に前記第一のフレームレートを前記第二のフレームレートよりも上げる制御を行い、前記露光時間が閾値以上の場合に前記第一のフレームレートを前記第二のフレームレートのままにする制御を行う撮像装置。
  6. 請求項3〜5のいずれか1項記載の撮像装置であって、
    前記補正データ生成部は、前記平均値の演算対象とする出力信号の数を、当該出力信号を得る際の撮像時に設定されたISO感度に基づいて決める撮像装置。
  7. 請求項3〜6のいずれか1項記載の撮像装置であって、
    前記補正データ生成部は、前記撮像素子により被写体を複数回撮像して得られる同一の画素セルの出力信号のうち、他の出力信号との差分が閾値を超える出力信号を含む前記撮像画像信号を除外して、前記平均値を算出する撮像装置。
  8. 請求項1〜7のいずれか1項記載の撮像装置であって、
    前記補正データ生成部は、前記補正データの生成に用いる前記比として、前記撮像素子により被写体を複数回撮像して得られる出力信号の各々から求めた比の平均値を用いる撮像装置。
  9. 請求項1〜8のいずれか1項記載の撮像装置であって、
    前記撮像画像信号に基づいて前記撮像画像信号における被写体のエッジ部を検出するエッジ検出部を備え、
    前記補正データ生成部は、前記補正データの生成に用いる出力信号として、前記エッジ部にかかる画素セルの出力信号を除外する撮像装置。
  10. 請求項1〜9のいずれか1項記載の撮像装置であって、
    前記補正データ生成部は、前記補正データの生成に用いる出力信号として、飽和レベルに達しているものを除外する撮像装置。
  11. 請求項1〜10のいずれか1項記載の撮像装置であって、
    前記補正データ生成部は、前記撮像光学系の光学条件又は前記撮像光学系が変更された場合に前記補正データを生成する撮像装置。
  12. 請求項1〜11のいずれか1項記載の撮像装置であって、
    前記補正データ生成部によって生成された補正データを、当該補正データを求める際に装着されていた前記撮像光学系の識別情報と関連付けて記録媒体に記録する記録制御部を備え、
    前記記録媒体に前記補正データが記録されている撮像光学系が装着された場合に、前記信号補正部は、前記記録媒体に記録されている補正データにしたがって前記第一の位相差検出用画素セルの出力信号と前記第二の位相差検出用画素セルの少なくとも一方の出力信号を補正する撮像装置。
  13. 請求項1〜11のいずれか1項記載の撮像装置であって、
    前記補正データ生成部によって生成された補正データを、当該補正データを求める際に装着されていた前記撮像光学系に設けられた記録媒体に、前記撮像装置の識別情報と対応付けて記録する記録制御部を備え、
    前記撮像装置の識別情報に対応する前記補正データが記録媒体に記録されている撮像光学系が装着された場合に、前記信号補正部は、前記記録媒体に記録されている補正データにしたがって前記第一の位相差検出用画素セルの出力信号と前記第二の位相差検出用画素セルの少なくとも一方の出力信号を補正する撮像装置。
  14. 請求項1〜13のいずれか1項記載の撮像装置であって、
    前記信号補正部による補正後の出力信号を用いて前記一対の像の相対的な位置ずれ量である位相差量を算出する位相差量算出部と、
    前記位相差量に基づいて前記撮像光学系の合焦状態を制御する合焦制御部と、を備える撮像装置。
  15. 撮像光学系を着脱可能な撮像装置における信号処理方法であって、
    前記撮像光学系の瞳領域を通過した光束により形成された像を撮像する複数の撮像用画素セル、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素セル、及び前記一対の像の他方を撮像する複数の第二の位相差検出用画素セルを含む撮像素子により被写体を撮像し、その撮像により得られる撮像画像信号に含まれる前記撮像用画素セルの出力信号、前記第一の位相差検出用画素セルの出力信号、及び前記第二の位相差検出用画素セルの出力信号を用いて、前記第一の位相差検出用画素セルと前記第二の位相差検出用画素セルの感度差を補正するための補正データを生成する補正データ生成ステップと、
    前記第一の位相差検出用画素セルの出力信号と前記第二の位相差検出用画素セルの出力信号の少なくとも一方を前記補正データにしたがって補正する信号補正ステップとを備え、
    前記補正データ生成ステップでは、前記第一の位相差検出用画素セルの出力信号と当該第一の位相差検出用画素セルに近接する前記撮像用画素セルの出力信号との比、及び、当該第一の位相差検出用画素セルに近接する前記第二の位相差検出用画素セルの出力信号と当該第二の位相差検出用画素セルに近接する前記撮像用画素セルの出力信号との比を算出し、前記2つの比に基づいて前記補正データを生成する信号処理方法。
JP2014535394A 2012-09-12 2013-05-08 撮像装置及び信号処理方法 Active JP5657184B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014535394A JP5657184B2 (ja) 2012-09-12 2013-05-08 撮像装置及び信号処理方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012200475 2012-09-12
JP2012200475 2012-09-12
JP2013095388 2013-04-30
JP2013095388 2013-04-30
JP2014535394A JP5657184B2 (ja) 2012-09-12 2013-05-08 撮像装置及び信号処理方法
PCT/JP2013/062948 WO2014041845A1 (ja) 2012-09-12 2013-05-08 撮像装置及び信号処理方法

Publications (2)

Publication Number Publication Date
JP5657184B2 JP5657184B2 (ja) 2015-01-21
JPWO2014041845A1 true JPWO2014041845A1 (ja) 2016-08-18

Family

ID=50277982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014535394A Active JP5657184B2 (ja) 2012-09-12 2013-05-08 撮像装置及び信号処理方法

Country Status (4)

Country Link
US (1) US9762838B2 (ja)
JP (1) JP5657184B2 (ja)
CN (1) CN104641276B (ja)
WO (1) WO2014041845A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390836B1 (ko) * 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법
JP6808340B2 (ja) * 2016-03-31 2021-01-06 キヤノン株式会社 レンズ制御装置、制御方法
JP2018006881A (ja) * 2016-06-29 2018-01-11 株式会社シグマ 画像処理装置及び画像処理方法
WO2021090663A1 (ja) * 2019-11-05 2021-05-14 ソニーセミコンダクタソリューションズ株式会社 撮像デバイス及び撮像デバイスにおける画素信号の補正処理方法
CN115336251B (zh) * 2020-03-25 2024-05-03 富士胶片株式会社 摄像装置、摄像方法及记录介质
JP2022107563A (ja) * 2021-01-11 2022-07-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
US20230020061A1 (en) * 2021-07-15 2023-01-19 Robert Bosch Gmbh Vehicle mounted virtual visor system having predictive pre-shading of visor segments

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005181356A (ja) * 2003-12-15 2005-07-07 Canon Inc カメラシステム、カメラ、アクセサリ及び撮影レンズ
JP2006115470A (ja) * 2004-09-16 2006-04-27 Ntt Docomo Inc 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム
US7349033B2 (en) * 2005-05-23 2008-03-25 Texas Instruments Incorporated Systems and methods for correcting color phase error in video systems
JP4908382B2 (ja) * 2007-11-14 2012-04-04 株式会社リコー 画像処理装置及び画像処理方法
JP5374862B2 (ja) * 2007-11-16 2013-12-25 株式会社ニコン 焦点検出装置および撮像装置
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP5020800B2 (ja) 2007-12-25 2012-09-05 キヤノン株式会社 撮像装置及びその制御方法
JP5164707B2 (ja) * 2008-07-17 2013-03-21 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出装置の信号レベル補正方法、信号レベル補正プログラム
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5675157B2 (ja) 2009-05-12 2015-02-25 キヤノン株式会社 焦点検出装置
JP5381646B2 (ja) * 2009-11-26 2014-01-08 株式会社ニコン 撮像装置
JP2011257565A (ja) * 2010-06-08 2011-12-22 Canon Inc 撮像装置
JP5901246B2 (ja) * 2010-12-13 2016-04-06 キヤノン株式会社 撮像装置
JP2012150289A (ja) * 2011-01-19 2012-08-09 Olympus Corp 画像処理装置、撮像装置、および画像処理方法
JP6061532B2 (ja) * 2011-08-22 2017-01-18 キヤノン株式会社 制御装置、撮影装置および制御方法
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking

Also Published As

Publication number Publication date
WO2014041845A1 (ja) 2014-03-20
US20150195473A1 (en) 2015-07-09
CN104641276B (zh) 2016-08-24
CN104641276A (zh) 2015-05-20
JP5657184B2 (ja) 2015-01-21
US9762838B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
JP5241355B2 (ja) 撮像装置とその制御方法
JP5319347B2 (ja) 撮像装置及びその制御方法
JP5657184B2 (ja) 撮像装置及び信号処理方法
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
JP5468177B2 (ja) 撮像装置及びその合焦制御方法
JP5946421B2 (ja) 撮像装置及びその制御方法
JP5911445B2 (ja) 撮像装置及びその制御方法
US9154685B2 (en) Driving technology of an image sensor in an image capture apparatus
JP6944846B2 (ja) 撮像装置、撮像装置の制御方法
US11290648B2 (en) Image capture apparatus and control method thereof
JP5484617B2 (ja) 撮像装置
JP5279638B2 (ja) 撮像装置
JP6238578B2 (ja) 撮像装置およびその制御方法
JP5990008B2 (ja) 撮像装置およびその制御方法
JP2015018084A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP6799656B2 (ja) 合焦位置検出装置及び合焦位置検出方法
JP5452269B2 (ja) 撮像装置
JP6594048B2 (ja) 撮像装置及びその制御方法
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2008283477A (ja) 画像処理装置及び画像処理方法
US11463613B2 (en) Detection device and detection method
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP5311927B2 (ja) 撮像装置、撮像方法
US20200007782A1 (en) Image capturing apparatus and control method therefor
JP2020048135A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

R150 Certificate of patent or registration of utility model

Ref document number: 5657184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250