JP6630058B2 - 撮像装置、撮像装置の制御方法、及び、プログラム - Google Patents

撮像装置、撮像装置の制御方法、及び、プログラム Download PDF

Info

Publication number
JP6630058B2
JP6630058B2 JP2015094444A JP2015094444A JP6630058B2 JP 6630058 B2 JP6630058 B2 JP 6630058B2 JP 2015094444 A JP2015094444 A JP 2015094444A JP 2015094444 A JP2015094444 A JP 2015094444A JP 6630058 B2 JP6630058 B2 JP 6630058B2
Authority
JP
Japan
Prior art keywords
pixel
focus detection
output
pixel value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015094444A
Other languages
English (en)
Other versions
JP2016028265A (ja
Inventor
武志 小川
武志 小川
本田　充輝
充輝 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015094444A priority Critical patent/JP6630058B2/ja
Priority to US14/739,648 priority patent/US9621828B2/en
Publication of JP2016028265A publication Critical patent/JP2016028265A/ja
Priority to US15/445,364 priority patent/US9807325B2/en
Application granted granted Critical
Publication of JP6630058B2 publication Critical patent/JP6630058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Description

本発明は、撮像装置、撮像装置の制御方法、及び、プログラムに関する。
焦点検出技術の１つとして瞳分割位相差方式がある。この方式では、撮影レンズの通過光束を分割して一対の分割像を形成する。この一対の分割像のパターンズレを検出することによって、撮影レンズのデフォーカス量とでフォーカス方向を検出できる。この原理を用いて撮像素子の画素に遮光層をもうけて焦点検出用画素として利用する固体撮像素子がある。
撮像素子の画素に遮光層を設けて焦点検出用画素として利用する撮像素子がある。特許文献１は撮像用画素の間に焦点検出用画素が埋め込まれた撮像素子を用い、周囲の撮像用画素から補間した画素値と焦点検出用画素の画素値を取得して焦点検出用画素位置の画像データを取得する方法を開示する。この場合、画質の劣化を引き起こすおそれがある。
また、特許文献２は、焦点検出用画素の信号を撮像信号として用いる技術を開示する。焦点検出用画素は撮像レンズの通過光束の一部を遮光して瞳分割像を得ており、遮光部分に相当する信号を周囲の焦点検出用画素の遮光部分と開口部が逆になっている画素から補間して撮像信号用画素としている。
特開２００７−２７９５９７公報 特開２０１０−２４３７７２号公報
しかしながら、上述の特許文献に開示された従来技術では、周囲の画素を用いて画素値の半分の成分を補間しているため、信号成分の半分はローパス効果により周波数特性が落ちた成分となってしまう。特に、ナイキスト周波数に近い高周波成分の繰り返し模様を持った被写体を撮影すると、焦点検出画素の配置された部分だけ、ぼけてしまい、不自然な画像となるという問題がある。また、上述の特許文献２では同色の焦点検出画素を用いるために隣接画素上下左右の画素を使って補正する事ができないために、高周波成分の再現性が低くなってしまう。
そこで、本発明は、焦点検出画素位置の画素信号の高周波成分の再現性を向上させる技術を提供する。
上記目的を達成するための本発明は、撮像装置であって、
焦点検出用の画像を生成するための所定方向に交互に配列された異なる色の複数の焦点検出用画素と、被写体を撮像した撮像画像を生成するための複数の撮像用画素とを含む撮像素子と、
処理対象の焦点検出用画素の周辺に位置する撮像用画素から出力された画素値に基づき、色比を検出する色比検出手段と、
前記処理対象の焦点検出用画素に対して前記所定方向に位置する焦点検出用画素から出力された画素値を、前記色比を用いて色変換して第１の画素値を生成する色変換手段と、
前記処理対象の焦点検出用画素から出力された第２の画素値と、前記第２の画素値と同色の前記第１の画素値とを、混合して第３の画素値を生成する混合手段と
を備えることを特徴とする。
本発明によれば、焦点検出画素位置の画素信号の高周波成分の再現性を向上させる技術を提供することができる。
発明の実施形態１に対応する撮像装置の構成例を示すブロック図。 発明の実施形態１に対応するラインメモリの構成例を示すブロック図。 発明の実施形態１に対応する色比検出部の構成例及び動作を示す図。 発明の実施形態１に対応する色変換部の構成例及び動作を示す図。 発明の実施形態１に対応する混合部の構成例を示すブロック図。 発明の実施形態に対応する撮像素子の画素断面図。 発明の実施形態に対応する撮像素子における画素の配列例を示す図。 発明の実施形態２に対応する撮像装置の構成例を示すブロック図。 発明の実施形態２に対応する混合部の構成例を示すブロック図。 発明の実施形態２に対応する色変換部の構成例及び動作を示す図。 発明の実施形態３に対応する撮像装置の構成例を示すブロック図。 発明の実施形態３に対応する混合部の構成例を示すブロック図。 シェーディングを説明するための図。 シェーディング像を説明するための図。 撮像用画素と焦点検出用画素とのシェーディング像の違いを説明するための図。 発明の実施形態３に対応するレベル比算出部における処理の一例を示すフローチャート。 発明の実施形態４に対応するゲインテーブルの一例と補正量を示す図。 発明の実施形態５に対応する撮像装置及びレベル比算出部の構成例を示すブロック図。 発明の実施形態６に対応する撮像装置の構成例を示すブロック図。 発明の実施形態６に対応する欠陥画素補正部における処理を説明するための図。 発明の実施形態６に対応する合成比算出部における処理の一例を示すフローチャート。 発明の実施形態６に対応する０挿入Ｇ画像を説明するためのフローチャート 発明の実施形態６に対応する撮像装置の撮像面について説明するための図。 発明の実施形態６に対応する合成比の算出方法を説明するための図。 発明の実施形態６に対応する撮像素子の構成例を示す図。
以下、発明の実施形態を、添付の図面を参照して説明する。
［実施形態１］
図１は発明の実施形態に対応する撮像装置の構成例を示すブロック図である。当該撮像装置は、例えばデジタルカメラとして構成することができるが、撮像用画素と焦点検出用画素とを有する画素構造の撮像素子を使用する装置であれば、これに限らない。例えば、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末等を含むことができる。
図１において、撮像装置は以下の構成を備える。撮像レンズ１０１により結像する光学像を撮像素子１０２により電気信号に変換する。撮像素子１０２はＣＣＤやＣＭＯＳセンサで構成されており、図７に示すベイヤー配列に従う複数の画素の集合で構成されているものとする。撮像素子１０２から出力された画素信号はラインメモリ１０３に蓄積され、色比検出部１０４に出力される。色比検出部１０４では、図３で説明するように、入力された画素信号に基づき色比信号を生成し、画素信号と共に出力する。
また、撮像素子１０２からの出力は焦点検出画素分離部１１０にも供給される。色変換部１０５は、図４で説明するように、色比検出部１０４から供給された画素信号を、色比信号を用いて色変換し、混合部１０６に供給する。混合部１０６は、図５で説明するように、色変換部１０５から入力された色変換値とスルー出力された画素信号（スルー画像）とに基づき混合画像を生成し、スルー画像と共に出力する。スイッチ１０８は、混合部１０６から入力される混合画像とスルー画像のいずれかを選択し信号処理部１０９へ供給する。信号処理部１０９は供給された画像に所定の画像処理を実行し後段に出力する。
なお、スイッチ１０８の切替えは、同期信号発生部１０７から供給されるタイミング信号により行われる。即ち、スイッチ１０８は、処理対象が焦点検出画素からの画素信号の場合には混合画像を選択し、撮像用画素の場合にはスルー画像を選択するように制御される。焦点検出画素分離部は、同期信号発生部１０７から供給されるタイミング信号に基づき、焦点検出画素からの画素信号を分離し焦点検出部１１１へ供給する。焦点検出部１１１は焦点検出画素分離部１１０から供給された焦点検出画素の画素信号に基づき焦点検出を行い、レンズ制御部１１２に制御信号を出力しレンズの動作を制御する。
なお、図１の撮像装置において、撮像素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行して装置の動作を制御することにより、ソフトウェア的に構成されてもよい。
以下、図１の各ブロックの構成及び動作について添付の図面を参照して説明する。まず、図６を参照して、本実施形態に対応する撮像素子１０２の構成及び動作を説明する。図６は発明の実施形態に対応する撮像素子１０２における、撮像用画素と焦点検出用画素の断面構造の一例を示す。本実施形態において、撮像素子はマイクロレンズ６０１、カラーフィルタ６０２、配線層６０３、配線層６０３を延長して形成された遮光部６０４、入射した光を電気信号に変換する光電変換部６０５及び６０６を含んで構成される。
撮像用画素のための光電変換部６０６は、マイクロレンズ６０１からの入射光のうちカラーフィルタ６０２を透過した所定波長の光を受光して電気信号に変換し、撮像画像を生成する。焦点検出用画素のための光電変換部６０５は、マイクロレンズ６０１からの入射光のうち、カラーフィルタ６０２を透過した所定波長の光は遮光部６０４によって一部遮られる。従って、光電変換部６０５の露光面の重心位置は該焦点検出用画素の中心位置からシフトしている。光電変換部６０５は、遮光部６０４によって遮られなかった光を受光し、電気信号に変換する。上述の構造により、撮像レンズの通過光束の一部のみを受光する焦点検出用画素が構成される。光電変換部６０５の上方領域のうち、遮光部６０４によって遮られていない部分を本実施形態では開口部と呼ぶ。光電変換部６０５の遮光部６０４と開口部との配置関係が逆になった画素を用意することで瞳を２分割することができる。即ち、図６の場合では、光電変換部６０５の上方領域は図の左側が開口部で右側が遮光部６０４となっているが、光電変換部６０５の上方領域で右側が開口部で左側が遮光部６０４となった画素が用意されることになる。なお、焦点検出の方法に対しては、本発明とは無関係のため詳細な説明は省略する。
次に、図７（ａ）は本実施形態に対応する撮像素子１０２の配列を示す図である。画素７０１は緑色のカラーフィルタが配置された画素、画素７０２は青色のカラーフィルタが配置された画素、画素７０３は赤色のカラーフィルタが配置された画素である。図７（ａ）に示す配列は、ベイヤー配列と呼ばれ、カラー撮像素子で一般的に用いられる配列である。画素７０１から７０３の間に配置された画素７０４および７０５は焦点検出用画素である。焦点検出用画素は所定方向に規則的に配列される。図７（ａ）では水平方向に配列されているが、垂直方向であっても良いし、斜め方向（例えば、４５度や１３５度等）であっても良い。画素７０４は青色用画素で右側が遮光部、左側が開口部となっている。画素７０５は緑色用画素で左側が遮光部、右側が開口部となっている。画素７０４、７０５のラインを用いて焦点検出を行うことができる。
画素７０５は右側が開口部になっているが、それに対して周囲の４画素の平均から減算すると、左側の開口で得られる値の近似値が得られる。焦点検出部１１１は、こうして得られた右側と左側の画素値で得られる右側像と左側像の位相差を検出することで焦点検出が可能となる。なお、焦点検出の方法に関しては本発明の本質ではないため、これ以上の詳細な説明は省略することとする。画素７０４、７０５のラインは焦点検出画素であるので、通常の撮像用画素は存在していない。したがって、そのまま処理するとノイズとなってしまうため、画像信号を得るための信号を作成しなければならない。
次に図２を参照してラインメモリ１０３の構成及び動作を説明する。撮像素子１０２の出力は入力信号２０１としてラインメモリ１０３に入力される。入力信号２０１は１ライン遅延回路２０２により１ライン遅延される。１ライン遅延回路２０２の出力は１ライン遅延回路２０３の入力となっており、１ライン遅延回路２０３の出力は入力信号２０１を２ライン遅延した出力信号２０７となる。１ライン遅延回路２０３からの出力信号は１ライン遅延回路２０４を介して１ライン遅延回路２０５に供給され、さらに１ラインずつ、２ライン分遅延される。
ラインメモリ１０３からの出力は、入力信号２０１をそのまま出力する出力信号２０６、１ライン遅延回路２０３の出力である出力信号２０７、遅延回路２０５の出力である出力信号２０８の３系統がある。出力信号２０７を中心とみなして、上下に２ライン離れた画素を出力する。具体的に、出力２０８は２ライン上の画素を出力し、出力２０６は２ライン下のラインの画素を出力する。ここで、ラインの上下は焦点検出用画素の配列方向に対して直交する方向として特定することができる。このように中心出力２０７と２ライン上下の信号２０６、２０８が同期されて出力される。
次に図３（ａ）を参照して色比検出部１０４の構成及び動作を説明する。ラインメモリ１０３の２ライン下出力２０６が入力３００に、中心ライン出力２０７が入力３１５に、２ライン上出力２０８が入力３２１にそれぞれ入力される。
色比検出部１０４はすべてのラインで同じ処理を行うが、出力として利用されるのは入力３１５に入力される信号であるので、そのラインのあるサイクルにおける信号について説明する。入力３１５に対して緑色の焦点検出画素が入力されるサイクルでは、入力３００には２ライン下の緑色の画素（以後G画素、又は、単にＧと呼ぶ）が、入力３２１には２ライン上の緑色の画素がそれぞれ入力される。
図３（ａ）において、入力信号は遅延素子を用いて遅延される。例えば、遅延素子３０１からは、１つ前のサイクルで入力された青色画素（以後B画素、又は、単にＢと呼ぶ）が出力される。加算器３０３は遅延素子３０１及び３０２により２サイクル遅延したG画素と、入力されたばかりのG画素とを加算し、減衰器３０４によって半分の値になる。また、割り算器３０５によって減衰器３０４からの出力と、遅延素子３０１からの出力の比が計算される。演算器３０３、３０４、３０５によって遅延素子３０１の画素と、その両隣の画素の平均との比が計算されていることとなる。これは、G画素からなる画像信号とB画素からなる画像信号のそれぞれに対して、周波数帯域を制限する空間フィルタであるローパスフィルタを適用してから、色比を求めていることになる。
割り算器３０５の出力はこのタイミングではG／Bの値が出力されているが、入力３００にはGとBが交互に入力されるため、割り算器３０５の出力もG／BとB／Gが交互に出力される。割り算器３０５の出力は遅延素子３０６から３０９により遅延され、加算器３１０、３１１によって２サイクル後と４サイクル後の値が加算される。これにより遅延素子３０７の出力のタイミングに対して左右に２画素離れた値を加算したこととなる。
入力３００から加算器３１１までの回路と同じ回路が点線で示すブロック３２２内にも存在する。ブロック３２２には２ライン上の値に相当する入力３２１が入力されている。ブロック３２２の出力と加算器３１１の出力が加算器３１２によって加算され減衰器３１３により値が６分の１に減衰された後、色比出力３１４として出力される。
それに対して入力３１５は遅延素子３１６から３１８によって３サイクル遅延され出力される。この遅延段数は、遅延素子３０１、３０６、３０７に対応したものである。この回路により出力３２０の値に対し、その２ライン上と２ライン下の３か所ずつの場所における色比の平均値が同期して出力される。このときの出力の関係は図３（ｂ）のタイミングチャートに示す通りである。ここに示すとおり、クロック信号に合わせて各サイクルで、遅延出力３２０ではGとBが交互に出力され、色比出力３１４もまた、G／BとB／Gとが交互に出力される。
次に、図４（ａ）を参照して色変換部１０５の構成及び動作の一例を説明する。色変換部１０５の入力４０１には色比検出部１０４の色比出力３１４が入力され、入力４０２には色比検出部１０４の遅延出力３２０が入力される。乗算器４０３は入力４０２に対して色比４０１を乗算して、色変換を行い、色変換出力４０４が出力される。入力４０２はスルー出力４０５として、そのまま後段の回路に出力される。
入力４０２にGの信号が入るサイクルでは、色比入力にはB/Gが入力される。よって、色変換出力４０４で出力されるのは、Gの信号をBに換算した値となる。当該出力は、Bの値として演算に利用できる。
このときの出力の関係は図４（ｂ）のタイミングチャートに示す通りである。ここに示す通りクロックに合わせて各サイクルでスルー出力４０５ではGとBの値が交互に出力され、色変換出力４０４は、スルー出力４０５と逆相の色信号が出力されている。
次に図５を参照して混合部１０６の構成及び動作の一例を説明する。まず、入力５０１には、色変換部１０５の色変換出力４０４の値が入力される。色変換部１０５からのスルー出力４０５は入力５０６に入力される。入力５０１は遅延素子５０２、５０３により遅延され、加算器５０４に供給される。入力５０６は遅延素子５０７により１サイクル遅延されて加算器５０８に供給されると共に、そのままスルー出力５１０として出力される。
加算器５０４は、入力５０１と、入力５０１を２サイクル遅延させた遅延信号値とを加算し、減衰器５０５に出力する。減衰器５０５では、加算器５０４での加算結果を１／２に減衰する。減衰器５０５からの出力は加算器５０８に供給される。加算器５０８は、減衰器５０５の出力と遅延素子５０７によって１サイクル遅延された入力５０６の値とを加算する。
入力５０６にGが入力されるサイクルを例に説明すると、遅延素子５０７の出力はBであり、入力５０１および遅延素子５０３の出力もBである。この回路により遅延素子５０７からの出力のＢを中心として、それに対する左右の画素をBに換算した値の平均を加算したこととなる。
混合出力５０９、スルー出力５１０は、スイッチ１０８に入力される。同期信号発生部１０７から、スイッチ１０８を切替える切替信号が出力され、通常の撮像用画素出力のタイミングではスルー出力５１０が選択され、焦点検出画素の出力のタイミングでは混合出力５０９が選択され出力される。
このようにしてスイッチ１０８の出力は、常にベイヤー配列の信号が出力されるので信号処理部１０９は通常のベイヤーを処理して映像信号を作り出すことができる。上記のような回路構成により、図７（ａ）の配列の焦点検出画素を含む撮像素子の出力において、同色でない隣接画素を用いて撮影レンズの通過光束のすべての領域をカバーする信号を作成することができる。
本実施形態では、焦点検出用画素周辺の撮像用画素における色比を検出し、当該色比に基づき焦点検出用画素から出力された画素値を補間するための色変換値を生成し、当該画素値と混合することにより、焦点検出用画素の位置における高周波成分の再現性を向上できる。
［実施形態２］
以下、発明の第２の実施形態を説明する。図７（ｂ）は、本実施形態に対応する撮像素子の配列を示す図である。画素７０１〜７０３、７０５は実施形態１と同様である。画素７０６は画素７０５の遮光領域と開口領域が逆になっているG画素である。即ち、実施形態１の図７（ａ）では焦点検出画素の配列がGとBとが交互に配列されていたのに対し、本実施形態では焦点検出画素がすべてGとなっている。この配列において画素７０５と画素７０６のそれぞれで、左像、右像を作成して位相差を検出することで焦点検出が可能である。但し、焦点検出の詳細に関しては本発明の本質ではないため説明を省略する。
図８は本実施形態に対応する撮像装置の構成の一例を示すブロック図である。実施形態１の構成と比較すると、混合部１０６と色変換部１０５の順序が逆になっている。実施形態２において、焦点検出画素はすべてGで隣接画素が同色なため、遮光領域を左右から補間して混合することができる。また、焦点検出画素と通常撮像用画素の切り替えを行うスイッチ１０８に加え、本実施形態では、色変換部１０５からの出力と、混合出力の切り替えを行うスイッチ８０１も存在する。
以下、図９を参照して本実施形態の混合部１０６の構成及び動作を説明する。入力９０１には、図３（ｂ）に示す色比検出部１０４が出力した遅延出力３２０が入力される。入力される信号は全てＧであり、遅延素子９０２、９０３で遅延された後、加算器９０４が入力９０１と遅延素子９０３の出力とを加算し、減衰器９０５で当該加算結果を１／２に減衰する。減衰器９０５からの出力は加算器９０６に入力され、遅延素子９０２からの出力と加算されて混合出力９０７が生成される。この回路により遅延素子９０２からの出力のＧを中心として、それに対する左右の画素の値の平均を加算して混合出力が得られたこととなる。また、加算器９０６における混合を行わずに遅延素子９０２からの出力をそのままスルー出力９０８として出力する。
また、色比検出部１０４が出力した色比出力３１４は、入力９１１として遅延素子９１２に入力され、１サイクル遅延されて色比出力９１３として出力される。
このように、図９では、入力９０１より入力されるのが全てGの同色なので、中心画素は遅延素子９０２の出力となっている点で、実施形態１の構成と異なる。
次に、図１０（ａ）を参照して実施形態２における色変換部１０５の構成及び動作について説明する。まず、入力１００１には、混合部１０６が出力した色比出力９１３が入力される。また、入力１００２には、混合部１０６が出力した混合出力９０７が入力される。乗算器１００３は、入力１００１と混合入力１００２とを混合して、入力１００２を色変換して色変換出力１００４を出力する。なお、色変換は、混合入力Ｇに対し、色比入力がＢ／Ｇの場合は有効値となる。これにより、焦点検出用画素には存在しないＢ画素を生成することが可能となる。
一方、混合入力Ｇに対し、色比入力がＧ／Ｂの場合は、色比を算出できないので無効値となる。但し、この場合にはＧのタイミングに相当し、混合部１０６で得られた混合画素値を用いればよいだけなので全く問題はない。よって、混合入力１００２は、そのまま混合出力１００５としても出力され、混合部１０６からのスルー出力９０８は、スルー出力１００６としてそのまま出力される。
色変換部１０５からの出力は、スイッチ８０１及び１０８に供給される。スイッチ１０８にはスルー出力１００６が入力され、スイッチ８０１には色変換出力１００４と混合出力１００５とが入力される。なお、スイッチ１０８には、スイッチ８０１からの出力信号が更に入力される。
図１０（ｂ）は、スイッチ８０１の入出力信号のタイミングチャートである。スイッチ８０１には、色変換部１０５からの色変換出力１００４と混合出力１００５とが入力される。混合出力１００５は常にＧであり、色変換出力１００４は、有効値と無効値とが１サイクル毎に切り替る。有効値はＢとなる。同期信号発生部１０７から供給される切替信号は、ＨＩＧＨの時に混合出力１００５を選択し、ＬＯＷの時に色変換出力１００４を選択する。これにより、色変換が有効値として正しくBに変換されているサイクルだけ切り替え信号が発生する。これにより、スイッチ８０１の出力は、ベイヤー出力１０１０のようにGとBとが交互に出力されるようになる。このようにしてGのみ一列の焦点検出画素を持った撮像素子の出力もベイヤー配列の信号と同等の信号に変換される。
本実施形態では、焦点検出用画素周辺の撮像用画素における色比を検出し、当該色比に基づき焦点検出用画素の位置で焦点検出用画素が有しない青色画素の信号を生成することができる。また、当該信号は、色比を用いて生成されるので、焦点検出用画素の位置における高周波成分の再現性を向上できる。
［実施形態３］
次に、発明の第３の実施形態を説明する。図１１は、実施形態３に対応する撮像装置の構成例を示すブロック図である。撮像装置は、撮像レンズ１１０１、撮像素子１１０２である。混合部１１０３、レベル補正部１１０４、レベル比算出部１１０５、焦点検出部１１０６、信号処理のタイミング信号を発生させる同期信号発生部１１０７、スイッチ１１０８、映像信号を作成する信号処理部１１０９、焦点検出画素分離部１１１０、焦点検出部の出力に応じてレンズを駆動するレンズ制御部１１１１を有する。
撮像素子１１０２から図７（ａ）の配列で構成された信号が出力される。なお、図７（ａ）では各画素にカラーフィルタにより色が割り当てられているが、カラーフィルタを透明フィルタとして白黒の撮像素子としてもよい。図７（ａ）の７０４、７０５の焦点検出画素が配置されたラインで焦点検出画素分離部１１１０が焦点検出画素を分離できるように同期信号発生部１１０７がタイミング信号を発生させる。焦点検出部１１０６は焦点検出画素分離部１１１０から転送される焦点検出画素信号に基づいて焦点検出を行い、レンズ制御部１１１１に制御信号を出力する。焦点検出部１１０６の詳細に関しては、本発明の本質ではないため、説明を省略する。
撮像素子１１０２の出力は混合部１１０３、レベル補正部１１０４にも転送される。混合部１１０３、レベル補正部１１０４は共に信号を加工せずに出力するスルー出力を持つ。同期信号発生部１１０７からのタイミング信号に基づいて信号切り替え回路１１０８で混合に用いられた画素値のスルー出力と混合部１１０３、レベル補正部１１０４で加工された補正画素値の出力とを切り替える。このように撮像用画素のラインではスルー出力、焦点検出画素の配置されたラインでは混合、レベル補正された補正画素値の出力に切り替わり、信号処理部１１０９に転送される。
以下、焦点検出画素の信号を撮像用画素と同様に処理する信号に変換するために混合部１１０３とレベル補正部１１０４で行う処理を説明する。
まず、図１２を参照して混合部１１０３の構成及び動作を説明する。撮像素子１１０２から出力された画素信号は入力１２０１から入力され、遅延素子１２０２、１２０３で遅延される。遅延素子１２０２の信号を中心画素とすると、入力１２０１及び遅延素子１２０３の信号はそれぞれ左右の画素の信号に相当する。例えば、遅延素子１２０２の信号が、右側開口の焦点検出画素７０５である場合、入力１２０１、遅延素子１２０３は左側開口の焦点検出画素７０４の値となっている。当該中心画素に対して左右に配置された左側開口画素７０４の値は、加算器１２０４により加算され、減衰器１２０５で二分の一に減衰される。減衰器１２０５の出力は加算器１２０８に供給され、遅延素子１２０２の出力と加算されて混合出力１２０９が得られる。次のサイクルでは、遅延素子１２０２の出力は左側開口の焦点検出画素７０４となり、同様に左右の右側開口の焦点検出画素７０５と混合される。
このように混合部１１０３で行っている処理は、中心の半開口画素に対して同じ重心の逆開口画素を左右から補間して加算する処理であり、特許文献２にも記載されている。この補間処理によって撮像用画素と同様の特性を持った画素出力を得ることができる。しかし、遮光部分が逆になっている画素で補間しても、混合画素と撮像用画素の間に生じるシェーディング特性の違いに起因して周囲の画素に対してレベル差が生じてしまうため、薄く焦点検出画素の跡が画像に残ってしまうおそれがある。
ここで図１３（ａ）のレンズ断面図を参照してシェーディングが発生する理由を説明する。図１１に示すレンズ１１０１は、前レンズ１３０１、絞り１３０２、後レンズ１３０３で構成することができ、レンズにより集光された被写体からの反射光が撮像面１３０４上で合焦され被写体像が形成される。また、前レンズ１３０１の枠を前枠、後レンズ１３０３によってできる枠を後枠と呼ぶ。図１３（ｂ）は、撮像面１３０４のｘの位置から見た１３０１、１３０２、１３０３の枠の重なりと、撮像面ｙの位置から見た１３０１、１３０２、１３０３の枠の重なり方とを示している。ｘの位置からみると光量を制限しているものは絞り１３０２だけであるが、ｙの位置から見ると、絞り１３０２の他に、前枠１３０１と後枠１３０３によっても光量が制限されている。
図１３（ｃ）は図１３（ｂ）のｙの位置における光が届く範囲（斜線部）に撮像素子１１０２の焦点検出画素を重ねたものである。画素７０４と７０５とでは光が届く範囲が大きく異なることがわかる。このようにシェーディングとは光軸中心から離れて像高が高くなるにつれ光量（画素の受光量）が落ちてくる現象であり、瞳分離された像においては像高が高くなるとバランスがくずれるという性質がある。図１３（ｃ）の斜線部の形状のことをケラレ形状という。ケラレ形状は場所により異なるが、場所がずれることにより少しずつ変化する。
図１４は、ある像高中心を通るラインにおけるシェーディング像を示している。横軸が撮像素子１１０２上の位置を示し縦軸は光量を示している。点線１４０２で示すのは撮像用画素（７０１〜７０３）のシェーディング像であり、二点鎖線１４０１で示すは焦点検出画素（７０４、７０５）の混合出力のシェーディング像である。このようにシェーディング像１４０１と１４０２とでは特性が異なることが分かる。また、像高中心から外側にいくにつれて光量が減少し、シェーディング像１４０２は、像高中心ではシェーディング像１４０１よりも光量が高いのに対し、像高が高くなると光量の相対的関係が逆転し、シェーディング像１４０１よりも光量が低くなっている。
そこで本実施形態では、レベル補正部１１０４を用いてシェーディング像１４０１と１４０２との特性の差を吸収する。以下、焦点検出画素の混合出力と撮像用画素出力のシェーディング像になぜ違いが生じるかを図１５を参照して説明する。
図１５（ａ）は撮像用画素及び焦点検出画素の瞳強度を示すグラフである。横軸に入射光の入射角、縦軸に感度を示している。１５０１は撮像用画素７０１等の特性である。入射角垂直を０°として０°が最も感度が高く、入射角が傾くにつれ感度が低下する。撮像用画素の特性１５０１に対し、１５０２は焦点検出画素７０４の特性を示している。焦点検出画素７０４は左側に開口しているため開口部中心に対する角度において最も感度が高くなっている。同様に１５０３は右側に開口を有する焦点検出画素７０５の特性を示している。このように感度中心が左右に分離されていることにより、瞳分離が行われている。
特性１５０４は特性１５０２と１５０３を加算した特性である。特性１５０４は焦点検出画素の混合部の出力の特性と一致する。本来であれば特性１５０２と１５０３とを加算した特性は、特性１５０１と一致するように設計するが、アルミ配線層で遮光して得られた特性を加算しても、遮光の無い画素と完全に同じ特性にすることは困難であり、若干の特性差が生じる。なお、図１５（ａ）では横軸をＸ方向のみの特性で示したが、実際はＸ軸Ｙ軸からなる平面でこのような特性があり、これを瞳強度分布という。
図１５（ｂ）は瞳強度分布を等高線で表現したものである。図１５（ｂ）の(i)の１５１１は撮像用画素７０１等の瞳強度分布を示している。（ii）の１５１２は、焦点検出画素の混合信号の瞳強度分布を示している。１５１４のあたりの強度中心部分に撮像用画素との差異が生じている。また、１５１３はケラレ形状を示している。（iii）の１５１５は焦点検出画素７０４の瞳強度分布を示している。ある像高における光量差は、ケラレ形状１５１３の内側の瞳強度の積分値の差と一致する。したがって、(i)の場合と（ii）の場合とでは得られる積分値が異なる。このような理由から図１４の１４０１及び１４０２のようなシェーディング像の差が生じる。この特性はケラレ形状に依存するため、レンズのズームポジションやフォーカシングポジション、絞りの状態などで変化する。
本実施形態のレベル補正部１１０４はこれらの特性差を補正するために混合部１１０３の出力である混合画素値にゲインをかける。具体的に、図１４に示すシェーディング像の差異を解消するように、混合画素値の値をレベル比算出部１１０５から供給される補正量に基づき補正する。その際、補正量は像高中心から離れるほど小さくなる。なお、レベル比算出部１１０５は焦点検出部１１０６からレンズ制御部１１１１に送られる制御信号を入力として、レンズのズームポジション、フォーカシングポジション、絞り等の撮像時の設定に関する情報を得て補正量を決定する。
図１６はレベル比算出部１１０５の処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、レベル比算出部１１０５として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
まず、Ｓ１６０１で、補正する焦点検出画素の位置を初期値に設定する。続くＳ１６０２からＳ１６０６までのループで、焦点検出画素が存在する位置を網羅する。まず、Ｓ１６０２で、撮像用画素のシェーディング特性を計算する。次にＳ１６０３で混合焦点検出画素のシェーディング特性を計算する。さらにＳ１６０４で撮像用画素のシェーディングと混合焦点検出画素のシェーディングの比を計算し、Ｓ１６０５で次の補正位置を設定する。Ｓ１６０６では、全ての補正位置について算出が完了したか否かを判定し、完了している場合は処理を終了する。完了していない場合はＳ１６０２に戻って処理を続ける。
Ｓ１６０２、Ｓ１６０３におけるシェーディング計算は、図１６（ｂ）のシェーディング計算ルーチンによって処理される。但し、Ｓ１６０２とＳ１６０３とではシェーディング計算に与えるパラメータとして瞳強度分布が異なる。
シェーディング計算処理では、まず、Ｓ１６１１において撮像素子１１０２の各画素の位置Ｘ，Ｙから見たケラレ形状を算出し、射出瞳に投影する。次いでＳ１６１２で射出瞳に瞳強度分布を投影し、ケラレ形状内の強度を積分する。これにより図１５（ｂ）のケラレ形状１５１３の内側の強度積分値にあたる値が計算される。その後、親ルーチンに復帰する。なお射出瞳上の投影は絞りに相当する距離の平面に対して、レンズの枠の距離と直径を元に各図形の射影処理を行う事である。したがって、ズームポジション、フォーカシングポジション、絞り値が変わると枠の距離と直径が変化するため、再計算が必要となる。
また、Ｓ１６１１におけるケラレ形状の計算は、図１６（ｃ）のサブルーチンに従って実施できる。まず、Ｓ１６２１でズームポジション、フォーカシングポジション、絞りの値を取得し、Ｓ１６２２でレンズ前枠を射出瞳に投影する。次にＳ１６２３でレンズ後枠を射出瞳に投影し、Ｓ１６２３で絞りを射出瞳に投影し、全ての投影図形の内側がケラレ形状となる。その後、親ルーチンに復帰する。
以上により、シェーディング特性に基づき混合画素値のレベルを補正し、撮像用画素と焦点検出用画素とのレベル差を解消することができ、薄く焦点検出画素の跡が画像に残ってしまうといった問題を解決することができる。
［実施形態４］
以下、発明の第４の実施形態について説明する。上述の実施形態３では、レベル比算出部１１０５において、レンズの状態からケラレ形状を幾何学計算により求め、瞳強度分布とケラレ形状からシェーディング係数を算出し、最終的に混合焦点検出画素にかけるゲインを求めていた。これに対し本実施形態ではレベル比算出部１１０５が予め計算済みのテーブルを用いてゲインを算出する。
図１７（ａ）は撮像素子１１０２のある位置Ｘ，Ｙにおける補正量を登録するゲインテーブルを示している。縦軸横軸に絞り、フォーカスポジション、奥行き方向にズームポジションをとり、それぞれの軸に離散的に打った目盛りの交点に対して１つの補正量のデータを持つ。黒点１７０１に相当する位置に１つのデータが存在する。本ゲインテーブルを用いれば、ズーム、フォーカス、絞りが決まると一意に補正量が決まる。なお、テーブルに登録される補正量は離散値となるため、ズーム、フォーカス、絞りに対応する値が存在しない場合は、近傍の値から補間して求めることができる。
図１７（ｂ）のシェーディング像は横軸に離散的に目盛り１７０２が示してある。この目盛りのそれぞれの位置に対して図１７（ａ）のテーブルが存在する。また、図１７（ｂ）の目盛りの中間位置におけるゲインは、近傍のデータから補間して求めることができる。
このように本実施形態のレベル比算出部１１０５は、予め算出済みのデータを参照してゲインを求めることができる。レベル比算出部１１０５以外の部分に関しては実施形態３と同様である。
［実施形態５］
以下、発明の第５の実施形態を説明する。本実施形態では、レベル比算出部１１０５がレンズの設計情報及び制御情報を用いずにレベル比を検出する。
図１８（ａ）は本実施形態に対応する撮像装置の構成例を示すブロック図である。図１１に示した実施形態３の構成とは、撮像素子１１０２と混合部１１０３との間に遅延調整部１１１３が挿入されている点、レベル比算出部１１０５の入力としてレンズの制御情報ではなく撮像素子１１０２の出力が接続されている点で異なる。
以下、図１８（ｂ）を参照して本実施形態に対応するレベル比算出部１１０５の構成及び動作を説明する。入力信号として撮像素子１０２の出力が入力され、１ライン遅延部１８０１、１８０２により入力信号が遅延される。入力信号と１ライン遅延部１８０２の出力は１ライン遅延部１８０１の出力に対して、上下のラインの信号となる。加算器１８０３と４分の１乗算器１８０４により上下の信号の平均信号が得られる。４分の１乗算器１８０４の出力と１ライン遅延部１８０１の出力はそれぞれローパスフィルタ１８０５、１８０６により各画素値は低周波成分のみが出力され、除算器１８０７により比が算出される。
このように本実施形態では上下の撮像用画素の平均にローパスフィルタをかけた波形と、焦点検出画素にローパスフィルタをかけた波形とを用いて、レベル比を算出している。シェーディング像比は、その特性上なだらかにしか変化しないため、ローパスフィルタによりなだらかにしか変化しないようにスムージングを行った信号から直接レベル比を検出することができる。
［実施形態６］
次に、発明の第６の実施形態を説明する。本実施形態に対応する発明は、焦点検出用画素を有する撮像素子の画素補正性能を向上させる。
上述の特開２００７−２７９５９７公報に開示の技術では、周囲の画素を用いて補間した画素値では、焦点検出用画素の配列方向と同方向の被写体で補正痕が目立つという問題点がある。また焦点検出用画素値は、半開口分の画素値しか存在しないため、デフォーカス領域の画素値が正しく再現できないという問題点がある。また、特開２０１０−２４３７７２号公報に記載の方法では、高周波成分の繰り返し模様を持った被写体を撮影すると、正しい補正が行われず、補正痕が残るという問題がある。本実施形態では、当該問題を解決する発明を提供する。
図１９は、撮像装置の全体を示す構成図である。当該撮像装置は、例えばデジタルカメラとして構成することができるが、撮像用画素と焦点検出用画素とを有する画素構造の撮像素子を使用する装置であれば、これに限らない。例えば、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末等を含むことができる。
図１９において、撮像部１０１は不図示の撮影レンズ、撮像素子及びその駆動回路を含んで構成され、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。撮像素子はＣＣＤやＣＭＯＳセンサで構成されており、図２３（ａ）に示すベイヤー配列に従う複数の画素の集合で構成されているものとする。ベイヤー配列は、赤成分（Ｒ）、青成分（Ｂ）、緑成分（Ｇ）の３つの色成分からなり、各色成分が図２３（ａ）に示す順で繰り返し配列される。
撮像部１９０１から出力されるアナログ信号は、Ａ／Ｄ変換部１９０２によってデジタル信号に変換される。Ａ／Ｄ変換部１９０２によってデジタル信号に変換された画像信号は、欠陥画素補正部１９０３に入力される。欠陥画素補正部１９０３は、詳細は後述するが、欠陥画素と判定された画素の信号値を補正して、欠陥補正後のＲＡＷ信号を出力する。欠陥画素補正部１９０３は、周辺画素補間部１９０４、半開口補間部１９０５、合成比算出部１９０６、合成部１９０７で構成される。詳細は後述するが、Ａ／Ｄ変換部１９０２から出力された画像信号は周辺画素補間部１９０４、半開口補間部１９０５および合成比算出部１９０６に出力される。周辺画素補間部１９０４の出力は合成部１９０７に接続されている。半開口補間部１９０５の出力は、合成部１９０７および合成比算出部１９０６に接続されている。合成比算出部１９０６から出力される合成比にしたがって、合成部１９０７では周辺画素補間部１９０４と半開口補間部１９０５とからの出力を合成する。欠陥画素補正部１９０３から出力された欠陥画素補正後のＲＡＷ信号は、信号処理部１９０８に送られ、公知のホワイトバランス部、色補間処理、ノイズリダクション処理、ガンマ処理、マトリックス処理等の信号処理が行われる。
なお、図１９の撮像装置において、撮像素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行して装置の動作を制御することにより、ソフトウェア的に構成されてもよい。本実施形態に対応する撮像素子の構成は図６に示したとおりであるので、説明は省略する。
次に図２０（ａ）を参照して、半開口補間部１９０５における具体的な処理の一例を説明する。ここでは、欠陥画素補正を行う着目画素を中心に位置するＧａ３４とし、Ｇａ３４を含む横１列のラインＧａ３０、Ｇｂ３１、Ｇａ３２、Ｇｂ３３、Ｇａ３４、Ｇｂ３５、Ｇａ３６、Ｇｂ３７、Ｇｂ３８が焦点検出用画素で構成されているものとする。これらの焦点検出用画素では、互いに隣接する焦点検出用画素の間で、光電変換部６０５の露光面の重心位置の画素中心位置からのシフト方向が互いに逆となっている。具体的に、Ｇａ３０、Ｇａ３２、Ｇａ３４、Ｇａ３６、Ｇａ３８の位置は、右側が開口部で左側が遮光部となる。逆に、Ｇｂ３１、Ｇｂ３３、Ｇｂ３５、Ｇｂ３７の位置は、左側が開口部で右側が遮光部となる。また、焦点検出用画素のカラーフィルタは同一のカラーフィルタとなっており、この例ではＧ（緑）としている。Ｇａ３４の位置での半開口補間は、中心の半開口画素に対して同じ重心の逆半開口画素を左右から補間して加算を行う。具体的にはＧａ３４でのＧ画素値Ｇpos_1は、
Ｇpos_1＝(Ｇb33＋Ｇa34×２＋Ｇb35)／４・・・(式１）
となる。但し、半開口補間部１９０５はＧｂ３３、Ｇａ３４、Ｇｂ３５という水平３画素分を使って補間を行うので、水平方向のエッジ成分が連続する被写体、例えば高周波の縦線に対しては補間の精度を確保することが難しい場合がある。
次に図２０（ａ）を参照して、周辺画素補間部１９０４の具体的な動作の一例を説明する。ここでは、欠陥画素補正を行う着目画素が中心に位置するＧａ３４である場合の補正方法について説明を行う。一例として、図２３（ｂ）に示すような中心画素を含む水平３画素（図中の×印の画素）を除いた３ｘ３の領域の６画素の領域で差分絶対値和（以下ＳＡＤ）を取得し、差分絶対値和が小さい場所が最も相関が高い領域であるという判定条件で補正を行う例を示す。具体的には、着目画素を中心とする３ｘ３領域とＧ１２の位置を中心とする３ｘ３領域とのＳＡＤ１２は、下記の式で表される。
SAD12=ABS(G01-G23) +ABS(R02-R24) +ABS(G03-G25)
+ ABS(G21-G43) +ABS(R22-R44) +ABS(G23-G45)・・・(式２）
以下、実施形態中のＳＡＤを取得する領域は３ｘ３領域であるとして記載を行う。同様に、着目画素を中心とする領域とＧ１４の位置を中心とする領域とのＳＡＤ１４を、着目画素を中心とする領域とＧ１６の位置を中心とする領域とのＳＡＤ１６を取得する。同様に、着目画素を中心とする領域とＧ５２の位置を中心とする領域とのＳＡＤ５２を、着目画素を中心とする領域とＧ５４の位置を中心とする領域とのＳＡＤ５４を、着目画素を中心とする領域とＧ５６の位置を中心とする領域とのＳＡＤ５６を取得する。
続いて、取得したＳＡＤ値からＳＡＤの最小値をとる位置でのＧ画素値Ｇｐｏｓ＿２を取得する。ＳＡＤ最小値がＳＡＤ１２の場合はＧｐｏｓ＿２はＧ１２となり、ＳＡＤ最小値がＳＡＤ１４の場合はＧｐｏｓ＿２はＧ１４となり、ＳＡＤ最小値がＳＡＤ１６の場合はＧｐｏｓ＿２はＧ１６となる。また、ＳＡＤ最小値がＳＡＤ５２の場合はＧｐｏｓ＿２はＧ５２となり、ＳＡＤ最小値がＳＡＤ５４の場合はＧｐｏｓ＿２はＧ５４となり、ＳＡＤ最小値がＳＡＤ５６の場合はＧｐｏｓ＿２はＧ５６となる。
ここで、図２０（ｂ）のような焦点検出用画素と同方向（例えば、横線）の被写体を考える。この場合、被写体画像では垂直成分のエッジが水平方向に連続して発生する。即ち、焦点検出用画素の配列方向と直交する成分のエッジが、焦点検出用画素の配列方向と一致する方向に配置されている。以下、具体的に領域２０００(図中の斜線領域）が周囲に比べて輝度が低い場合を考える。Ｇｐｏｓ＿２の出力はＧ１２、Ｇ１４、Ｇ１６、Ｇ５２、Ｇ５４及びＧ５６のいずれかの値を取ることになるが、どの値を取得しても、斜線領域の外の画素ゆえ本来の被写体の値には近づかなくなってしまう。つまり、周辺画素補間部１９０４は、高周波の横線に対して正しい補間処理ができない場合がある。
このように、半開口補間にしても、周辺画素補間にしても、特定方向のエッジ成分を有する被写体が含まれる場合は補間の効力を発揮しない場合がある。そこで、以下で説明するように、特定方向のエッジ成分を有する被写体を検出し、検出結果に基づき半開口補間と周辺画素補間とを組み合わせることとする。これにより、単一の補間方法では対応が難しかった特定方向のエッジ成分についても対応が可能となる。
図２１のフローチャートを参照して、発明の実施形態に対応する合成比算出部１９０６における合成処理の詳細を説明する。該フローチャートに対応する処理は、例えば、合成比算出部１９０６として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。ここでは、周辺画素補間部１９０４が不得意とする垂直成分のエッジを有する被写体である横線について、補間が可能となる周波数帯域を検出する。
まず、Ｓ２１０１で、処理対象の焦点検出用画素を含む所定領域内の画素についてＧ以外の画素に０を挿入し、０挿入Ｇ画像を作成する。ここで図２２を参照して、０挿入Ｇ画像の生成方法を説明する。まず、図２０（ａ）と同じ画素配列の図２２（ａ）に示す画像が対象であり、本実施形態では焦点検出用画素Ｇａ３４を中心とした５×５の画像となる。このような画像に対して、Ｇ３２、Ｇ３４、Ｇ３６の画素には上記の半開口補間により得られた画素値を与える。その結果は図２２（ｂ）に示す通りである。次に、画像を構成する各画素のうち、Ｇ成分以外、すなわち、Ｒ成分とＢ成分の画素値をすべて０とする。また、半開口補間を行わなかったＧｂ３３及びＧｂ３５も画素値を０とする。この結果生成されるのが０挿入Ｇ画像であり、図２２（ｃ）に示すとおりである。
再び図２１のフローチャートの説明に戻ると、Ｓ２１０２では、Ｓ２１０１で作成した０挿入Ｇ画像に対して、焦点検出用画素の配列方向と同一方向の水平方向（Ｈ方向）にローパスフィルタ処理（ＬＰＦ）を実施して、Ｇ＿ＬＰＦを作成する。これにより、水平方向における高周波成分が除去される。次にＳ２１０３では、Ｇ＿ＬＰＦに対して、焦点検出用画素の配列方向と直交する垂直方向（Ｖ方向）にバンドパスフィルタ処理（ＢＰＦ）を実施して、Ｇ＿ＢＰＦを作成する。これにより垂直成分の特定周波数成分、具体的には、周辺画素補間部１９０４では補間が難しい高周波の横線に対応する成分が抽出される。なお、ＢＰＦにより抽出すべき周波数成分は、例えば図２０（ｂ）に示すような焦点検出用画素と同方向の横線を、０挿入Ｇ画像において検出可能な範囲で設定される。
ここで図２４を参照してＧ＿ＢＰＦについて説明する。図２４（ａ）はＣＺＰ（Circular Zone Plate)であるが、領域２４０１の位置がＤＣ成分、領域２４０２、２４０３、２４０４の位置がそれぞれナイキスト周波数を示している。図２４（ｂ）において、２４０１、２４０２、２４０３、２４０４は図２４（ａ）と同じ周波数帯域を示し、２４１０の領域がＧ＿ＢＰＦが出力される帯域となるように、水平方向にローパスフィルタ処理（ＬＰＦ）を実施して、垂直方向にバンドパスフィルタ処理（ＢＰＦ）を実施する。この領域は横線を成しており垂直成分のエッジが多く、周辺画素補間部１９０４よりも半開口補間部１９０５での補間に適するといえる。
再び、図２１のフローチャートの説明に戻る。バンドパスフィルタをかけて得られたＧ＿ＬＰＦでは、特定の周波数成分が抽出され、当該周波数成分以外は減衰するので、Ｓ２１０４において、閾値Thres2と比較してＧ＿ＢＰＦが大きい場合はＳ２１０８に進み、半開口補間部１９０５の出力だけを使うように合成比（ＳＲ）を０に設定する。この場合、垂直成分のエッジが強く存在するので、半開口補間部１９０５からの出力を優先する。一方、Ｓ２１０４において、閾値Thres2と比較してＧ＿ＢＰＦが小さい場合は、Ｓ２１０５に進み、閾値Thres1と比較する。閾値Thres1と比較してＧ＿ＢＰＦが小さい場合は、Ｓ２１０７に進み、周辺画素補間部１９０４の出力だけを使うように合成比SRを１に設定する。この場合、垂直成分のエッジが存在しないか、或いは、エッジが弱いので周辺画素補間部１９０４を使用することができる。閾値Thres1と比較してＧ＿ＢＰＦが大きい場合は、Ｓ２１０６にて閾値Thres1と閾値Thres2の間を線形補間する。この場合、垂直成分のエッジの強度に応じて周辺画素補間部１９０４からの出力と半開口補間部１９０５からの出力とを合成する。即ち、垂直成分のエッジの強度が弱くなるほど周辺画素補間部１９０４からの出力を優先し、垂直成分のエッジの強度が強くなれば半開口補間部１９０５からの出力を優先する。図２４（ｃ）に上記処理におけるＧ＿ＢＰＦと閾値Thres1とThres2と合成比SRとの関係を図示する。図２４（ｃ）において、Ｇ＿ＢＰＦがThres1より小さい場合、合成比SRは１を出力し、Ｇ＿ＢＰＦがThres2より大きい場合は合成比SRは0を出力し、Ｇ＿ＢＰＦとが閾値Thres1と閾値Thres2との間の場合は
SR ＝ (Thres1−G_BPF)／(Thres2−Thres1)・・・（式３）
となる。
なお、閾値Thres1と閾値Thres2は、周囲の輝度値やＧの値に応じて、可変としてもよい。例えば、周囲の輝度値が大きい場合は、大きめの閾値を設定することができる。このとき、閾値が大きくなるほど図２４（ｃ）のグラフが右側にシフトし、周辺画素補間部１９０４からの出力が合成される割合が高くなる。なお、周囲画素の輝度値の求め方は、周辺画素にＬＰＦをかける等の公知の方法を用いればよいので詳細な説明は省略する。また、閾値Thres1と閾値Thres2は、高感度時や長秒露光時など撮像素子で発生するノイズ量に応じて可変としてもよい。例えば、高感度時や長秒露光時は、撮像画像に含まれるノイズが多くなるので周辺画素補間部１９０４からの出力が合成される割合がより高くなるように、大きめの閾値を設定することができる。
さらに、閾値Thres1と閾値Thres2は、処理対象の焦点検出用画素の周辺領域に飽和画素が存在するか否かに応じて、可変としてもよい。例えば、周辺画素補間部１９０４で着目画素を中心とする３ｘ３領域とＳＡＤを取得した３ｘ３領域に飽和画素が含まれる場合は、半開口補間部１９０５がより優先されるように、小さめの閾値を設定することができる。これにより、飽和画素が含まれる場合は、飽和画素が含まれない場合に比べて周辺画素補間部１９０４からの出力が合成される割合が低くなる。
再び図１９に戻るが、合成比算出部１９０６の出力である合成比SRの値に応じて、周辺画素補間部１９０４の出力Ｇｐｏｓ＿１、半開口補間部１９０５の出力Ｇｐｏｓ＿２の画素値を合成部１９０７で合成する。
Gpos ＝ (Gpos_2×(1-SR))＋(Gpos_1×SR)・・・（式４）
なお、焦点検出用画素でべイヤー上でカラーフィルタがＢの位置となる画素の補間に関しては、公知の周囲画素からの補間によって求めることができるため、ここでは詳細な説明は省略する。
上記説明したとおり、周辺画素補間部１９０４と半開口補間部１９０５とにおける２つの補間処理を行い、焦点検出用画素の配列方向と直交する成分方向のエッジを検出して、当該エッジがある場合は、半開口補間部１９０５の重みを重くした合成処理を行う。このようにして、周辺画素補間部１９０４が効力を発揮しにくい種類の領域であっても、半開口補間部１９０５で精度の高い補間を行うことができ、より正確な画素補正が可能となる。また、焦点検出用画素の配列方向と直交する成分方向のエッジが検出された場合に、半開口補間部１９０５を選択し、当該エッジが検出されない場合に、周辺画素補間部１９０４を選択するように、２つの補間部を切り替える処理を行うように構成してもよい。当該エッジが検出されたか否かは、閾値Thres1と比較してＧ＿ＢＰＦが大きいか否かを判定すればよい。
なお本実施形態では、焦点検出用画素が配列される方向を水平方向としたが、焦点検出用画素が所定方向に規則的に配列されていればその方向は水平方向に限定されるものではない。例えば図２５（ａ）のように焦点検出用画素を垂直方向、図２５（ｂ）のように焦点検出用画素をななめ４５度方向、図２５（ｃ）のように焦点検出用画素をななめ１３５度方向としてもよい。詳細なアルゴリズムに関しては、本実施形態で説明したものと方向が異なるのみで同一なため、詳細な説明は省略する。
なお、本実施形態では、周辺画素補間部１９０４での周辺画素との相関を求める方法として、３ｘ３の画素範囲でのＳＡＤ値が最小の値となるものを最も相関が高いとしたが、方法はこれにかぎるものではない。また、本実施形態では、最も相関が高い画素範囲の中心画素で着目画素を置き換える処理を行ったが、方法はこれに限るものではない。例えば周囲の画素も使い、３ｘ３の領域のＧ画素5画素の平均値が同じ値になるように、着目画素を補正するような処理を行ってもよい。
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
１０１：レンズ、１０２：撮像素子、１０３：ラインメモリ、１０４：色比検出部、１０５：色変換部、１０６：混合部、１０７：同期信号発生部、１０８：スイッチ、１０９：信号処理部、１１０：焦点検出画素分離部、１１１：焦点検出部、１１２：レンズ制御部

Claims (8)

  1. 焦点検出用の画像を生成するための所定方向に交互に配列された異なる色の複数の焦点検出用画素と、被写体を撮像した撮像画像を生成するための複数の撮像用画素とを含む撮像素子と、
    処理対象の焦点検出用画素の周辺に位置する撮像用画素から出力された画素値に基づき、色比を検出する色比検出手段と、
    前記処理対象の焦点検出用画素に対して前記所定方向に位置する焦点検出用画素から出力された画素値を、前記色比を用いて色変換して第１の画素値を生成する色変換手段と、
    前記処理対象の焦点検出用画素から出力された第２の画素値と、前記第２の画素値と同色の前記第１の画素値とを、混合して第３の画素値を生成する混合手段と
    を備える、ことを特徴とする撮像装置。
  2. 前記混合手段は、前記処理対象の焦点検出用画素に対して前記所定方向において両隣となる焦点検出用画素から出力された画素値から生成された前記第１の画素値を、前記処理対象の焦点検出用画素から出力された第２の画素値を混合することを特徴とする請求項１に記載の撮像装置。
  3. 前記複数の撮像用画素はベイヤー配列であることを特徴とする請求項１または２に記載の撮像装置。
  4. 焦点検出用の画像を生成するための所定方向に配置された同色の複数の焦点検出用画素と、被写体を撮像した撮像画像を生成するための複数の撮像用画素とを含む撮像素子と、
    処理対象の焦点検出用画素の周辺に位置する撮像用画素から出力された画素値に基づき、色比を検出する色比検出手段と、
    前記処理対象の焦点検出用画素が出力した第１の画素値と、該第１の画素値と前記所定方向に隣接する画素値とを混合して第２の画素値を生成する混合手段と、
    前記色比に基づく前記第２の画素値の色変換により第３の画素値を生成する色変換手段と
    を備えることを特徴とする撮像装置。
  5. 前記複数の撮像用画素はベイヤー配列であり、前記同色の複数の焦点検出用画素は前記所定方向に隣接して配置されることを特徴とする請求項４に記載の撮像装置。
  6. 焦点検出用の画像を生成するための所定方向に交互に配列された異なる色の複数の焦点検出用画素と、被写体を撮像した撮像画像を生成するための複数の撮像用画素とを含む撮像素子を備える撮像装置の制御方法であって、
    処理対象の焦点検出用画素の周辺に位置する撮像用画素から出力された画素値に基づき、色比を検出する色比検出工程と、
    前記処理対象の焦点検出用画素に対して前記所定方向に位置する焦点検出用画素から出力された画素値を、前記色比を用いて色変換して第１の画素値を生成する色変換工程と、
    前記処理対象の焦点検出用画素から出力された第２の画素値と、前記第２の画素値と同色の前記第１の画素値とを、混合して第３の画素値を生成する混合工程と
    を含むことを特徴とする撮像装置の制御方法。
  7. 焦点検出用の画像を生成するための所定方向に配置された同色の複数の焦点検出用画素と、被写体を撮像した撮像画像を生成するための複数の撮像用画素とを含む撮像素子を備える撮像装置の制御方法であって、
    処理対象の焦点検出用画素の周辺に位置する撮像用画素から出力された画素値に基づき、色比を検出する色比検出工程と、
    前記処理対象の焦点検出用画素が出力した第１の画素値と、該第１の画素値と前記所定方向に隣接する画素値とを混合して第２の画素値を生成する混合工程と、
    前記色比に基づく前記第２の画素値の色変換により第３の画素値を生成する色変換工程と
    を含むことを特徴とする撮像装置の制御方法。
  8. 撮像素子を備えるコンピュータを請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるプログラム。
JP2015094444A 2014-06-16 2015-05-01 撮像装置、撮像装置の制御方法、及び、プログラム Active JP6630058B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015094444A JP6630058B2 (ja) 2014-06-16 2015-05-01 撮像装置、撮像装置の制御方法、及び、プログラム
US14/739,648 US9621828B2 (en) 2014-06-16 2015-06-15 Imaging apparatus, control method for imaging apparatus, and non-transitory computer-readable storage medium
US15/445,364 US9807325B2 (en) 2014-06-16 2017-02-28 Imaging apparatus, control method for imaging apparatus, and non-transitory computer-readable storage medium

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014123814 2014-06-16
JP2014123814 2014-06-16
JP2014144568 2014-07-14
JP2014144568 2014-07-14
JP2015094444A JP6630058B2 (ja) 2014-06-16 2015-05-01 撮像装置、撮像装置の制御方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019222241A Division JP6764518B2 (ja) 2014-06-16 2019-12-09 撮像装置、撮像装置の制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016028265A JP2016028265A (ja) 2016-02-25
JP6630058B2 true JP6630058B2 (ja) 2020-01-15

Family

ID=54837247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015094444A Active JP6630058B2 (ja) 2014-06-16 2015-05-01 撮像装置、撮像装置の制御方法、及び、プログラム

Country Status (2)

Country Link
US (2) US9621828B2 (ja)
JP (1) JP6630058B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141084A1 (ja) * 2014-03-18 2015-09-24 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6364259B2 (ja) * 2014-07-02 2018-07-25 オリンパス株式会社 撮像装置、画像処理方法、及び画像処理プログラム
JP6017641B1 (ja) * 2015-07-13 2016-11-02 オリンパス株式会社 撮像装置，信号処理方法，信号処理プログラム
US9965881B2 (en) * 2015-08-28 2018-05-08 Panasonic Intellectual Property Corporation Of America Method for generating image and image generation system
WO2018181164A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 撮像装置及び画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
US7711261B2 (en) * 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4857877B2 (ja) 2006-04-11 2012-01-18 株式会社ニコン 撮像装置およびカメラ
JP5176959B2 (ja) * 2006-09-14 2013-04-03 株式会社ニコン 撮像素子および撮像装置
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5278123B2 (ja) 2009-04-06 2013-09-04 株式会社ニコン 撮像装置
JP5697433B2 (ja) * 2010-12-22 2015-04-08 キヤノン株式会社 画像処理装置及び画像処理方法
WO2012127699A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP5784395B2 (ja) * 2011-07-13 2015-09-24 オリンパス株式会社 撮像装置
JP6239820B2 (ja) * 2011-12-19 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法
JP5979961B2 (ja) * 2012-05-07 2016-08-31 キヤノン株式会社 焦点検出装置、焦点検出方法及び撮像装置

Also Published As

Publication number Publication date
US9807325B2 (en) 2017-10-31
US20150365639A1 (en) 2015-12-17
JP2016028265A (ja) 2016-02-25
US20170171481A1 (en) 2017-06-15
US9621828B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
US20160142656A1 (en) Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
US8203645B2 (en) Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency
JP6630058B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
US9451160B2 (en) Imaging apparatus and method for controlling the imaging apparatus
US10630920B2 (en) Image processing apparatus
WO2017098897A1 (ja) 撮像装置、撮像制御方法、および、プログラム
US8648940B2 (en) Image processing apparatus and image processing method of interpolating defective pixel of image pickup element to perform image processing
US20100085449A1 (en) Image Apparatus and Method and Program for Producing Interpolation Signal
US9398207B2 (en) Imaging apparatus and image correction method, and image processing apparatus and image processing method
JP5737929B2 (ja) 画像処理装置及び画像処理方法
JP4823168B2 (ja) 撮像装置
JP2011041056A (ja) 撮像装置及び撮像方法
US9503661B2 (en) Imaging apparatus and image processing method
JP2013171257A (ja) 撮像装置およびその制御方法
US9749520B2 (en) Imaging device and image processing method
JP5814610B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP6764518B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP6316140B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4269369B2 (ja) カメラ信号処理装置及びカメラ信号処理方法
JP2007180689A (ja) 撮像装置
JP6727911B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2019022033A (ja) 画像処理装置
JP2004140424A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191206

R151 Written notification of patent or utility model registration

Ref document number: 6630058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151