JP5656613B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5656613B2
JP5656613B2 JP2010285388A JP2010285388A JP5656613B2 JP 5656613 B2 JP5656613 B2 JP 5656613B2 JP 2010285388 A JP2010285388 A JP 2010285388A JP 2010285388 A JP2010285388 A JP 2010285388A JP 5656613 B2 JP5656613 B2 JP 5656613B2
Authority
JP
Japan
Prior art keywords
flicker
flicker correction
imaging
image
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010285388A
Other languages
English (en)
Other versions
JP2012134784A (ja
Inventor
浩靖 形川
浩靖 形川
武志 小川
武志 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010285388A priority Critical patent/JP5656613B2/ja
Priority to US13/314,794 priority patent/US8842195B2/en
Publication of JP2012134784A publication Critical patent/JP2012134784A/ja
Application granted granted Critical
Publication of JP5656613B2 publication Critical patent/JP5656613B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、焦点検出用画素及び撮像用画素を兼用した撮像素子を備えた撮像装置に関する。
近年、CCDイメージセンサやCMOSイメージセンサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。このような撮像装置を用いて、蛍光灯照明下において被写体を動画として撮影する場合、いわゆる蛍光灯フリッカと呼ばれる現象が発生する。すなわち、商用交流電源によって直接点灯される蛍光灯の照明下で、ローリングシャッタ特性を有する撮像素子を用いて撮影を行うと、各画像において時間方向に輝度のフリッカ(いわゆる蛍光灯フリッカ)が生じる。
特許文献1には、CMOSイメージセンサの出力を水平方向に積分して垂直強度分布を求め、複数フレームの垂直強度分布から現フレームにおける垂直方向のフリッカ成分を算出する方法が開示されている。また特許文献1では、算出したフリッカ成分から補正ゲイン値を算出して、補正係数を現フレームの映像信号に乗じることにより、原画像(補正前の撮影画像)を補正する。
特許文献2には、撮像素子の一部の画素の受光部を2分割することで瞳分割機能を付与し、焦点検出用画素を撮像用画素群の間に所定の間隔で配置することで位相差方式の焦点検出を行う方法が開示されている。特許文献3には、撮像素子の撮像領域の一部を焦点検出用画素として使用するだけでなく、その焦点検出用画素を加算して撮像信号を生成する構成が開示されている。特許文献4には、蛍光灯フリッカを補正する方法が開示されている。特許文献5には、被写体の動きによる影響を少なくするために平滑化を行って被写体の動きの影響を抑制し、正弦波を生成してフリッカの補正ゲインとする方法が開示されている。
特開2009−17213号公報 特開2000−292686号公報 特開2007−282108号公報 特開2009−38666号公報 特開2009−81684号公報
焦点検出用画素と撮像用画素とを兼用した画素を備えた撮像素子の場合、蛍光灯フリッカは焦点検出用画素にも影響する。蛍光灯フリッカは垂直方向の輝度ムラが生じるため、上下に瞳分離された焦点検出用画素からの信号のみを集めて瞳分割された2つの線像(A+B像、C+D像)にも明暗が現れ、像ずれ量、すなわちデフォーカス量を正確に算出することができない。
特許文献4では、フリッカ成分に被写体の動き等のフリッカ成分以外の変動成分が含まれている場合に蛍光灯フリッカを補正する際に、誤ったフリッカ補正ゲイン値を算出してしまう。また特許文献5では、正弦波を生成してフリッカの補正ゲインとしているが、蛍光灯の発光特性は交流電源の整流性能や蛍光物質の劣化等で歪みを有するため、補正残りや過補正が発生する。このような現象は、瞳分割した後にフリッカ検出及びフリッカ補正を行った場合でも発生しうる。
そこで本発明は、高精度なフリッカ補正が可能な撮像装置及びその制御方法を提供する。
本発明の一側面としての撮像装置は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出手段と、前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成手段と、前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正手段と、前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出手段と、前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成手段と、前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正手段とを有する。
また、本発明の他の側面としての撮像装置の制御方法は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成ステップと、前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正ステップと、前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出ステップと、前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成ステップと、前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正ステップと、
を有する。
本発明の他の側面としての撮像装置は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出手段と、前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成手段と、前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正手段とを有する。
また、本発明の他の側面としての撮像装置の制御方法は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成ステップと、前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正ステップと、を有する。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、高精度なフリッカ補正が可能な撮像装置及びその制御方法を提供することができる。
本実施例における撮像装置のブロック図である。 本実施例における撮像素子の画素及びマイクロレンズの配置図である。 本実施例において、縦に瞳分割を行った際に得られる2つの像の説明図である。 本実施例における蛍光灯フリッカの発生原理の説明図である。 本実施例におけるフリッカ補正方法のフローチャートである。 本実施例におけるフリッカ成分と補正ゲイン値の関係図である。 本実施例における評価値生成部のブロック図である。 本実施例におけるフリッカ検出部のブロック図である。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
まず、図1を参照して、本発明の実施例における撮像装置の構成について説明する。図1は、本実施例における撮像装置100のブロック図である。撮像素子101は、被写体の撮影時に、光電変換により光学情報を電気信号(撮像信号)に換えて出力する。撮像素子101は、撮像光学系(不図示)からの光束により形成された像を光電変換する複数の撮像用画素と、撮像光学系からの光束のうち瞳分割された光束により形成された像を光電変換する複数の焦点検出用画素を兼用した複数の画素を備える。また撮像素子101は、所定の第一の方向に光電変換された撮像信号が読み出されるように構成されている。CDS(相関二重サンプリング)/AGC(Auto Gain Control)部102は、アナログ電気信号のS/Nを改善するための処理部である。A/D変換部103は、アナログ信号としての撮像信号を、デジタル画像信号としての撮像信号に変換する。フリッカ回路104は、変換されたデジタル画像信号を用いて、フリッカの補正ゲインを算出する。
続いて、図4を参照して、蛍光灯フリッカの発生原理について説明する。図4は、商用交流電源周波数が50Hzの地域における蛍光灯照明下で、CMOSイメージセンサを利用した撮像装置で被写体を動画として撮影した場合の、撮像素子における電荷蓄積の様子を時間方向に模式的に示している。401は、撮像装置の撮影方式で決定される垂直同期信号VD、402は世界各国及び地域で各々決められている商用電源周期(ここでは1/50s)である。また、403は商用電源周期402に応じて蛍光発光している発光体の発光周期である。ここでは、CMOSイメージセンサ上での電荷の蓄積時間が、垂直同期信号VDの周期に従って垂直同期信号の周期と同じ時間(1/60s)間隔であるものとする。
404は、CMOSイメージセンサにおける各ラインの電荷蓄積時間(露光タイミング)である。このように、各ライン(1〜Nライン目)の露光タイミングは順次制御される。また、電荷蓄積時間404における蛍光体の発光周期が異なるため、単色の平面を撮影すると1ライン目の蓄積電荷量と2ライン目の蓄積電荷量とは異なる。このように、同一フレーム内においても電荷蓄積時間内に受光する蓄積電荷量は各ラインで異なるため、蛍光灯フリッカが発生する。
図1に示されるように、フリッカ回路104は、輝度生成部106、評価値生成部107、フリッカ検出部108、及び、フリッカ補正値生成部109を備えて構成される。フリッカ回路104は、R、G、Bの画素から輝度Yを生成し、輝度Yを利用してフリッカを除去する回路である。まず、フリッカ回路104の輝度生成部106は、R、G、Bの画素から輝度Yを生成する。輝度Yの算出式は、例えば以下の式(1)のように表される。
Y ≒ 0.299R + 0.587G + 0.114B … (1)
輝度生成部106は、上記の式(1)を用いて輝度Yを生成し、生成した輝度Yを評価値生成部107へ出力する。評価値生成部107は、輝度生成部106から入力された輝度Yに基づいて、撮像信号の評価値(検出に用いられるデータ)を生成する。
続いて、図7を参照して、評価値生成部107の回路構成について説明する。図7は、評価値生成部107のブロック図である。701は垂直方向及び水平方向の複数の領域に分割し、各領域で積分を行う積分回路である。積分回路701で積分した結果(積分値)は平均化回路702(正規化回路)に入力さる。平均化回路702は、積分回路701による積分値に対して平均化(正規化)を行い、その結果(平均化値)をフリッカ検出部108に出力する。フリッカ検出部108は、評価値生成部107により得られた評価値(撮像信号のレベル)に基づいて照明強度の変化情報(フリッカ)を検出する。
次に、図8を参照して、フリッカ検出部108による各検出枠のフリッカ成分の算出方法の一例を説明する。図8は、フリッカ検出部108のブロック図である。図8において、引算器801、乗算器802、加算器803、及び、メモリ804は、以下の式(2)による演算を行うことで、いわゆる巡回型ローパスフィルタを形成している。
mem=ave×k+mout×(1−k) … (2)
ここで、aveは、評価値生成部107で生成された平均化値である。moutは、メモリ804からの出力である。memは、加算器803の出力であり、メモリ804に新しく記憶される値である。kは、巡回型ローパスフィルタのフィルタ係数である。除算器805は、平均化値aveと、メモリ804からの出力を除算することによって蛍光体の発光周期に起因する輝度変化成分をフリッカ成分として算出し、第一のフリッカ補正値生成部109に出力する。
第一のフリッカ補正値生成部109は、フリッカ検出部108で検出された照明強度の変化情報に基づいて、撮像信号に対してフリッカ補正を行うためのフリッカ補正値(第一の補正ゲイン値)を生成する。具体的には、第一のフリッカ補正値生成部109は、フリッカ検出部108から与えられたフリッカ成分の逆数を求め、第一の補正ゲイン値を生成する。第一の補正ゲイン値は、乗算器105により撮像データと乗算されることにより、フリッカ補正が行われる。このように、乗算器105は、フリッカ補正値としての第一の補正ゲイン値に基づいて撮像信号に対してフリッカ補正を行うフリッカ補正部である。
続いて、焦点検出用に縦目の像と横目の像を生成するため、データ分配部112によりデータの分配が行われる。データ分配部112は、縦目相関演算部114と横目相関演算部113(相関演算部)に出力するデータを分配する。縦目相関演算部114及び横目相関演算部113はそれぞれ、フリッカ補正が行われた後、縦目の相関演算(第一の方向における相関演算)と、横目の相関演算(第二の方向における相関演算)を行う。これらの結果はAF検出系に出力され、焦点状態の検出に用いられる。また、後述のように、縦目相関演算部114における相関演算結果は、フリッカの補正残り(残りフリッカ)を算出するために用いられる。
次に、図2及び図3を参照して、撮像素子における画素配置と縦に瞳分割を行う際の像について説明する。図2は、撮像素子101における画素及びマイクロレンズの配置図である。図2の画素配置は、焦点検出と撮像の両方に利用される信号を出力する画素を備えた撮像素子の一例を示している。図2において、201aは、4つの画素202の前方に配置されるマイクロレンズである。同様に、201b〜201dは、それぞれ、4つの画素203、204、205の前方に配置されるマイクロレンズである。マイクロレンズ201a〜201dは、明るい交換レンズの射出瞳(例えばF1.0)を通過する光束を全て受光するような形状に設計されている。4つの画素202を図2に示されるようにA、B、C、Dと割り当てて縦に瞳分割を行うと、上部の像と下部の像とに分けることができる。本実施例では、瞳分割された上部の像をA+B像とし、瞳分割された下部の像をC+D像とする。4つの画素203、204、205のそれぞれについても、4つの画素204と同様に、瞳分割により上部の像と下部の像に分けられる。画素202にはR(赤)、4つの画素203、204にはG(緑)、画素205にはB(青)の色フィルタが、それぞれ配置されている。
図3は、縦に瞳分割を行った場合に得られる像の説明図であり、図3(a)はA+B像301、図3(b)はC+D像302を示す。ピントが合っている位置303においては、像ずれは発生しない。一方、ピントが合っていない位置304においては、縦に瞳分割を行ったため、縦方向に像ずれが発生している。ここで305は、ピントが合っていない位置304の一部の画素であり、仮にフリッカ等の現象が発生していないとすると、A+B像301中の画素305とC+D像302中の画素305のレベルは一致する。具体的には、2つの像を重ね合わせてレベル差の絶対値の和を求める処理を、2つの像の重ね合わせ位置をずらしながら行い、レベル差の絶対値が最小になる位置を求める。その際に得られた着目画素(画素305)のレベルの差分値をフリッカ補正残りと判定する。
図6は、フリッカ成分と補正ゲイン値の関係図である。図6において、横軸はライン数、縦軸はフリッカ成分の強度又は補正ゲイン値のレベルを表している。601は、図1中のフリッカ回路104を用いたフリッカ補正が行われる前、すなわち撮像データそのものに含まれるフリッカ成分である。602は、フリッカ回路104(第一のフリッカ補正値生成部109)により算出された補正ゲイン値(第一の補正ゲイン値)である。フリッカ回路104は、補正ゲイン値602を用いてフリッカ成分601を除去する。具体的には、図1中の乗算器105によりフリッカ成分601に補正ゲイン値602を乗算して、撮像データに含まれているフリッカの補正が行われる。ただし実際には、被写体の動き等により正確なフリッカ検出を行うことは困難であり、フリッカ補正残り(残フリッカ成分)がある。図6中の603は、その残フリッカ成分である。また、604は、後述の第二のフリッカ補正値生成部110により算出された補正ゲイン値(第二の補正ゲイン値)である。図1中の乗算器111で残フリッカ成分603に補正ゲイン値604を乗算することで、フリッカ補正の精度を向上させることができる。
以下、図1に示される残りフリッカ検出部115及び第二のフリッカ補正値生成部110の動作について説明する。残りフリッカ検出部115は、縦目の相関演算の結果に基づいて残りフリッカを検出するフリッカ検出部である。第二のフリッカ補正値生成部110は、残りフリッカと第一の補正ゲイン値(フリッカ補正値)に基づいて、撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成するフリッカ補正値生成部である。
図3の画素305を着目画素とし、図3(a)のA+B像301における画素305の画素値が990、図3(b)のC+D像302における画素305の画素値が1000であると仮定する。このとき、2つの画素値の差の絶対値は10となる。また、A+B像301の着目画素(画素305)に基準を合わせて乗算器105による第一のフリッカ補正で乗算して得られた補正ゲイン値がA+B像301の着目画素(画素305)において500であると仮定する。このとき、第一の補正ゲイン値の中心値(基準値)が512であるとする。A+B像301の着目画素(画素305)に基準を合わせるため、乗算器111によるC+D像302の第二のフリッカ補正後における理想の画素値は990となる。
残りフリッカ検出部115による残フリッカ補正検出において、C+D像302の着目画素(画素305)での追加補正ゲイン値算出式は、以下の式(3)のように表される。
1000×α/512 = 990 … (3)
ここで、αはC+D像302の着目画素(画素305)における追加補正ゲイン値であり、以下の式(4)のように求められる。
α = (990×512)/1000 ≒ 507
このように、C+D像302の着目画素(画素305)における追加補正ゲイン値は507となる。第二のフリッカ補正値生成部110は、この追加補正ゲイン値と第一のフリッカ補正で乗算した第一の補正ゲイン値を用いて、第二の補正ゲイン値を算出する。
第二のフリッカ補正値生成部110における第二の補正ゲイン値の算出式は、以下の式(5)のように表される。
(512−500)/512:(512−507)/512 = (512−β)/512:(512−γ)/512 … (5)
ここで、βはA+B像301に乗算した第一の補正ゲイン値であり、γはC+D像302に乗算するべき追加補正ゲイン値である。上記式を簡略化すると、以下の式(6)のように表すことができる。
12:5 = (512−β):(512−γ) … (6)
第二のフリッカ補正値生成部110は、上記式より、C+D像302の各ラインに乗算するべき追加補正ゲイン値γを算出する。乗算器111は、算出された追加補正ゲイン値(第二の補正ゲイン値)を用いて追加のフリッカ補正(第二のフリッカ補正)を行う。このように、乗算器111(第二のフリッカ補正部)は、第二のフリッカ補正値に基づいて撮像信号に対して第二のフリッカ補正を行うフリッカ補正部である。そして、乗算器111の出力(現像系データ)は画素加算部116に入力される。画素加算部116は、現像系データの画素加算を行ってベイヤ配列にし、ベイヤ配列化したデータを現像系へ出力する。
次に、本実施例の撮像装置によるフリッカ補正方法(フリッカ補正、デフォーカス量算出、及び、追加フリッカ補正に至るまでの手順)について説明する。図5は、フリッカ補正方法のフローチャートである。図5の各ステップは、例えば、撮像装置に格納されたプログラムに基づいた制御部の指示により実行される。
まず、ステップS501において、撮像素子101から得られた信号(撮像電気信号)に対してA/D変換部103にてA/D変換を行い、この撮像電気信号をデジタル画像信号に変換する。続いてステップS502において、フリッカ検出部108でフリッカ検出を行い、またステップS503において、第一のフリッカ補正値生成部109で第一の補正ゲイン値を算出する。そしてステップS504において、乗算器105でA/D変換部103の出力である撮像データに対して、第一の補正ゲイン値を用いてフリッカ補正を行う。
次に、ステップS505において、フリッカ補正が行われた撮像データに対して、相関演算部(横目相関演算部113、縦目相関演算部114)により相関演算が行われる。具体的には、瞳分割して得られた2つの像を重ね合わせてレベル差の絶対値の和を求める処理を、重ね合わせ位置をずらしながら行い、そのレベル差の絶対値が最小になる位置を求める。このような処理を横目と縦目の両方に対して行う。
そしてステップS506において、ステップS505で算出した相関演算結果を利用してレベル差の絶対値が小さくなる位置の前後の値から、パラボラフィッティング手法を用いたサブピクセルマッチングを行う。このような処理により、像ずれ量の精度を向上させることができる。続いてステップS508において、像ずれ量に基線長で決まる所定の係数を乗算することより、デフォーカス量を求める。
一方、ステップS508において、残りフリッカ検出部115で着目画素に対する残りフリッカ検出を行う。残りフリッカ検出は、垂直方向に輝度ムラができる蛍光灯フリッカの特性から、ステップS505で算出した縦目の相関演算の結果に基づいて行われる。続いてステップS509において、第二のフリッカ補正値生成部110は、ステップS508で検出した残りフリッカとステップS503で算出した第一の補正ゲイン値を用いて、残りフリッカを補正するための第二の補正ゲイン値を算出する。そしてステップS510において、ステップS509で算出した第二の補正ゲイン値を用い、フリッカ補正が行われた撮像データ(乗算器105の出力)に対して、乗算器111で残りフリッカ補正を行う。
このように、本実施例の撮像装置は、焦点検出用画素と撮像用画素と兼用した撮像素子を備え、フリッカ補正後に縦目相関演算を行う。そして、瞳分割して得られた2つの像の着目画素を比較することによりフリッカの補正残り又は過補正を検出し、追加のフリッカ補正を行う。したがって、本実施例によれば、高精度なフリッカ補正が可能な撮像装置を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 撮像装置
101 撮像素子
105 乗算器
107 評価値生成部
108 フリッカ検出部
109 第一のフリッカ補正値生成部
114 縦目相関演算部

Claims (7)

  1. 焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、
    前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出手段と、
    前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成手段と、
    前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正手段と、
    前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、
    前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出手段と、
    前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成手段と、
    前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正手段と、を有することを特徴とする撮像装置。
  2. 前記フリッカ検出手段は、前記撮像信号を複数の領域に分割して該複数の領域の各領域で正規化を行うことにより、該撮像信号のレベルを表す評価値を生成し、前記評価値に基づいて照明強度の変化情報を検出することを特徴とする請求項1に記載の撮像装置。
  3. 前記焦点検出用信号を出力可能な画素は、撮像光学系からの光束により形成された像を光電変換する複数の撮像用画素と、該撮像光学系からの光束のうち瞳分割された光束により形成された像を光電変換する複数の焦点検出用画素とを兼用した画素であることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記撮像素子は、CMOSイメージセンサであることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、
    前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、
    前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出手段と、
    前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成手段と、
    前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正手段と、を有することを特徴とする撮像装置。
  6. 焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、
    前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、
    前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成ステップと、
    前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正ステップと、
    前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、
    前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出ステップと、
    前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成ステップと、
    前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正ステップと、を有することを特徴とする制御方法。
  7. 焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、
    前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、
    前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、
    前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成ステップと、
    前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正ステップと、を有することを特徴とする制御方法。
JP2010285388A 2010-12-22 2010-12-22 撮像装置及びその制御方法 Expired - Fee Related JP5656613B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010285388A JP5656613B2 (ja) 2010-12-22 2010-12-22 撮像装置及びその制御方法
US13/314,794 US8842195B2 (en) 2010-12-22 2011-12-08 Image pickup apparatus having image pickup element that includes pixels used as both focus detection pixels and image pickup pixels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285388A JP5656613B2 (ja) 2010-12-22 2010-12-22 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2012134784A JP2012134784A (ja) 2012-07-12
JP5656613B2 true JP5656613B2 (ja) 2015-01-21

Family

ID=46316247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285388A Expired - Fee Related JP5656613B2 (ja) 2010-12-22 2010-12-22 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US8842195B2 (ja)
JP (1) JP5656613B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667865B2 (en) * 2012-11-03 2017-05-30 Apple Inc. Optical demodulation using an image sensor
JP6247530B2 (ja) * 2013-12-27 2017-12-13 キヤノン株式会社 撮像装置
JP2015192393A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10244183B2 (en) * 2014-08-27 2019-03-26 Sony Corporation Image capturing device and method of controlling image capturing device
JP6700924B2 (ja) * 2016-04-08 2020-05-27 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US10848684B2 (en) 2016-08-16 2020-11-24 Sony Corporation Imaging control device, imaging control method, and imaging system
JP7254592B2 (ja) * 2019-03-29 2023-04-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP7234361B2 (ja) * 2019-06-18 2023-03-07 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007713B2 (ja) 1999-04-06 2007-11-14 オリンパス株式会社 撮像装置
JP4770560B2 (ja) 2006-04-11 2011-09-14 株式会社ニコン 撮像装置、カメラおよび画像処理方法
JP2007336329A (ja) * 2006-06-16 2007-12-27 Matsushita Electric Ind Co Ltd 撮像装置
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
JP2009017213A (ja) * 2007-07-04 2009-01-22 Canon Inc 撮像装置
JP4875564B2 (ja) 2007-08-02 2012-02-15 キヤノン株式会社 フリッカ補正装置及びフリッカ補正方法
JP2009081684A (ja) 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置
JP5094454B2 (ja) * 2008-02-12 2012-12-12 キヤノン株式会社 撮像装置及びその制御方法
JP5183565B2 (ja) * 2009-05-11 2013-04-17 キヤノン株式会社 撮像装置
JP5818451B2 (ja) * 2011-02-09 2015-11-18 キヤノン株式会社 撮像装置および制御方法

Also Published As

Publication number Publication date
JP2012134784A (ja) 2012-07-12
US20120162466A1 (en) 2012-06-28
US8842195B2 (en) 2014-09-23

Similar Documents

Publication Publication Date Title
JP5656613B2 (ja) 撮像装置及びその制御方法
US10025061B2 (en) Focus detection apparatus, control method thereof, and storage medium storing program
JP6249825B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6239857B2 (ja) 撮像装置およびその制御方法
JP5762002B2 (ja) 撮像装置
JP2009244858A (ja) 撮像装置及び画像処理方法
JP2009031682A (ja) 撮像システム及び画像信号処理プログラム
JP6971685B2 (ja) 撮像装置およびその制御方法
US20170359500A1 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP2014219588A (ja) 撮像装置およびその制御方法
JP2015194736A (ja) 撮像装置およびその制御方法
JP7019337B2 (ja) 像ブレ補正装置、レンズ装置およびそれらの制御方法
JP2014235417A (ja) 撮像装置およびその制御方法
JP2015210285A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5818451B2 (ja) 撮像装置および制御方法
JP6639326B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6467289B2 (ja) 撮像装置およびその制御方法
JP2015072312A (ja) 撮像装置及びその制御方法
JP2017054052A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6611486B2 (ja) フォーカス制御装置、撮像装置、フォーカス制御方法、プログラム、および記憶媒体
JP2016122941A (ja) 画像処理装置
JP2012226088A (ja) 撮像装置
JP2018110299A (ja) 画像処理方法、画像処理装置、および、撮像装置
JP2018019348A (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

R151 Written notification of patent or utility model registration

Ref document number: 5656613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees