JP6765829B2 - 画像処理装置、画像処理装置の制御方法、撮像装置 - Google Patents

Description

本発明は、視差を有する画像信号の画像処理技術に関するものである。

撮影レンズの射出瞳を複数の瞳部分領域に瞳分割し、分割された瞳部分領域に応じた複数の視差画像を同時に撮影可能な撮像装置がある。特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成された２次元撮像素子を備える撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの異なる瞳部分領域を通過する光を受光する。各光電変換部により得られる信号から、各瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２では、分割された光電変換部が受光した信号を、全て加算することにより撮像画像を生成することが開示されている。

米国特許４４１０８０４号明細書 特開２００１−０８３４０７号公報

しかしながら、撮影された視差画像のごく一部に欠陥画素が生じた場合、画質低下が起きる可能性がある。本発明は、視差画像に係る欠陥画素の画素信号を補正することを目的とする。

本発明の一実施形態に係る画像処理装置は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子により、第１の光電変換部または第２の光電変換部に対応する視差画像の画素信号を取得し、前記第１の光電変換部および第２の光電変換部に対応する撮像画像を取得する取得手段と、前記視差画像を用いて欠陥となっている画素を検出する欠陥画素検出を行う検出手段と、前記視差画像の画素信号を補正するに当たって、前記検出手段により欠陥画素として検出された画素に対応する信号を、当該画素に隣接する、欠陥画素でない画素に対応する信号を用いて補正する第１の補正と、前記検出手段により欠陥画素として検出された画素に対応する信号を、当該画素に対応する前記撮像画像の画素信号を用いて補正する第２の補正とを行う補正手段を備える。

本発明に係る画像処理装置によれば、視差画像に係る欠陥画素の画素信号を補正することができる。

本発明の第１実施形態における撮像装置を示す概略構成図である。 第１実施形態におけるセンサ配列の概略図である。 第１実施形態における画素の概略平面図と概略断面図である。 第１実施形態における画素と瞳分割の概略説明図である。 第１実施形態における瞳分割、デフォーカス量と像ずれ量の概略説明図である。 第１実施形態における検出画素と周辺画素を例示する概略図である。 第１実施形態における視差画像配列と撮像画像配列を例示する概略図である。 第１実施形態における視差画像配列と撮像画像配列の別例を示す概略図である。 第１実施形態における処理を説明するメインフローチャートである。 第１実施形態における欠陥画素補正処理を説明するサブフローチャートである。 本発明の第２実施形態におけるセンサ配列および画素構成の概略図である。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。各実施形態では、本発明に係る画像処理装置をデジタルカメラ等の撮像装置に適用した例を説明するが、以下の画像処理を実行する情報処理装置や電子機器等に幅広く適用可能である。

［第１実施形態］
図１は本発明の第１実施形態に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

欠陥画素検出部１２１ａは、撮影画像において欠陥画素があるかどうかを検出する。孤立欠陥画素補正部１２１ｂは、隣接してない孤立欠陥画素の補正を行う。隣接欠陥画素補正部１２１ｃは、隣接した欠陥画素の補正を行う。欠陥画素の検出および補正処理の詳細については後述する。欠陥画素検出部１２１ａ、孤立欠陥画素補正部１２１ｂ、隣接欠陥画素補正部１２１ｃは、ＣＰＵ１２１の処理によって実現される機能ブロックとして示す。なお、本実施形態ではＣＰＵ１２１の処理が撮像装置の一部として行われる場合を説明する。これに限らず、ＣＰＵ１２１の機能のうち、画像処理や欠陥画素検出部１２１ａ、孤立欠陥画素補正部１２１ｂ、隣接欠陥画素補正部１２１ｃを、撮像装置とは別の画像処理装置に設ける実施形態でもよい。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

次に図２を参照して本実施形態における撮像素子のセンサ部（光電変換部）の配列を説明する。図２は、本実施形態における撮像素子のセンサ部の配列を示す概略図である。図２の左右方向をｘ軸方向とし、上下方向をｙ軸方向とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向と定義する。２次元ＣＭＯＳセンサ（撮像素子）の撮像センサ配列を４列×４行の範囲で例示し、焦点検出センサ配列を８列×４行の範囲で例示する。撮像信号を出力する撮像センサ部は、複数に分割された光電変換部から構成される。本実施形態では、所定方向に２分割された光電変換部を例示する。

２列×２行のセンサ群２００は、１組のセンサ部２００Ｒ，２００Ｇ，２００Ｂを備える。センサ部２００Ｒ（左上の位置参照）はＲ（赤）色の分光感度を有し、センサ部２００Ｇ（右上と左下の位置参照）はＧ（緑）色の分光感度を有する。センサ部２００Ｂ（右下の位置参照）はＢ（青）色の分光感度を有する。さらに、各センサ部は２列×１行に配列された第１光電変換部２０１と第２光電変換部２０２により構成されている。光電変換部はそれぞれ、焦点検出信号を出力する焦点検出センサとしての機能を有する。図２に示す例では、４列×４行のセンサ部（８列×４行の光電変換部）を平面上に多数配置することで、撮像画像信号および焦点検出信号が取得可能である。撮像素子にて、センサ部の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行（約２０７５万画素）とする。また、分割された光電変換部の配列方向周期Ｐ_ＳＵＢを２μｍとし、対応する画素数Ｎ_Ｓを横１１１５０列×縦３７２５行（約４１５０万画素）とする。

図２に示す撮像素子における１つのセンサ部２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。センサ部２００Ｇは、各画素の受光面側（＋ｚ方向）にて入射光を集光するためのマイクロレンズ３０５が形成され、分割された複数の光電変換部を備える。例えば、ｘ方向における分割数をＮ_Ｈとし、ｙ方向における分割数をＮ_Ｖとする。図３には、瞳領域を水平方向にて２分割した例、すなわち、Ｎ_Ｈ＝２，Ｎ_Ｖ＝１の場合を例示し、光電変換部３０１と光電変換部３０２が形成されている。光電変換部３０１は第１の焦点検出センサに対応し、光電変換部３０２は第２の焦点検出センサに対応する。

光電変換部３０１と光電変換部３０２は、例えばｐ型層３００とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとして形成される。または必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、光電変換部ごとにカラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

センサ部２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、光電変換部３０１と光電変換部３０２がそれぞれ受光する。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、負電荷をもつ電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を示す概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面（射出瞳４００参照）を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

第１瞳部分領域５０１は、−ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１瞳部分領域５０１は第１光電変換部３０１で受光可能な瞳領域を表し、瞳面上で＋Ｘ方向に重心が偏倚している。また、第２瞳部分領域５０２は、重心が＋ｘ方向に偏倚している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２瞳部分領域５０２は第２光電変換部３０２で受光可能な瞳領域を表し、瞳面上で−Ｘ方向に重心が偏倚している。また、図４に示す瞳領域５００は、光電変換部３０１と光電変換部３０２を全て併せた場合の、センサ部２００Ｇ全体で受光可能な瞳領域である。

入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折暈けのため、明瞭に瞳分割されず、受光率分布（瞳強度分布）となる。

撮像素子と瞳分割との対応関係を図５（Ａ）の概略図に示す。第１瞳部分領域５０１と第２瞳部分領域５０２という、異なる瞳部分領域をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。入射光は、Ｎ_Ｈ（＝２）×Ｎ_Ｖ（＝１）に分割された光電変換部３０１と光電変換部３０２がそれぞれ受光して光電変換する。本実施形態では、瞳領域が水平方向に２分割されている例を示すが、必要に応じて、垂直方向に瞳分割を行ってもよい。

以上のように本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が設けられたセンサ部を、複数配列させた構造を有する。例えば、撮像素子の画素ごとに、複数の光電変換部の信号を加算して読み出すことで、有効画素数の解像度の撮像画像が生成される。この場合、撮像画像は、画素ごとに複数の光電変換部の受光信号を合成することで生成される。また、別の方法では、撮像素子の光電変換部２０１の受光信号を集めて第１の視差画像が生成される。撮像画像から第１の視差画像を減算して第２の視差画像が生成される。必要に応じて、撮像素子の光電変換部２０１の受光信号を集めて第１の視差画像を生成し、光電変換部２０２の受光信号を集めて第２の視差画像を生成してもよい。異なる瞳部分領域ごとに、光電変換部の受光信号から、1つ以上の視差画像を生成することができる。

本実施形態では、撮像画像、第１の視差画像、第２の視差画像はそれぞれ、ベイヤー配列の画像となる。必要に応じて、ベイヤー配列の撮像画像、第１の視差画像、第２の視差画像にデモザイキング処理を行ってもよい。

次に、撮像素子により取得される第１の視差画像と第２の視差画像のデフォーカス量と、像ずれ量との関係について説明する。
図５（Ｂ）は、第１の視差画像と第２の視差画像のデフォーカス量と、第１の視差画像と第２の視差画像との間の像ずれ量について概略的に示す関係図である。撮像面８００には撮像素子（不図示）が配置され、図４、図５（Ａ）の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面８００までの距離を表す。被写体像の結像位置が撮像面８００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図５（Ｂ）に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面８００上で暈けた像となる。暈け像は、撮像素子に配列された第１光電変換部３０１（または第２光電変換部３０２）により受光され、第１の視差画像信号（または第２の視差画像信号）が生成される。よって、第１の視差画像（または第２の視差画像）は、撮像面８００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（暈け像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の視差画像と第２の視差画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１の視差画像と第２の視差画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

したがって、本実施形態の場合には、第１の視差画像と第２の視差画像、または、第１の視差画像と第２の視差画像を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の視差画像と第２の視差画像との間の像ずれ量の大きさが増加する。

以下、本実施形態における視差画像の補正処理について説明する。
撮像素子１０７の各画素部、つまり結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の光電変換部からは、撮像画像と、１つ以上の視差画像（例えば、第１の視差画像）とが取得される。取得された撮像画像と第１の視差画像は画像処理回路１２５に入力され、撮像画像に基づいて補正処理が行われる。必要に応じて、取得された撮像画像と視差画像を記録装置の記録媒体に保存してもよい。この場合、保存された撮像画像と視差画像の各データが記録媒体から読み出されて画像処理回路１２５に入力される。

撮像素子の回路構成や駆動方式により、転送ゲートの短絡などで、撮像画像は正常であるが、例えば第１の視差画像にキズ信号が生じ、点キズや線キズとなる可能性がある。その対策として、量産工程等で検査された点キズ情報や線キズ情報は、画像処理回路１２５等に事前に記録される。記録された点キズ情報や線キズ情報を用いて視差画像の補正処理が行われる。また、必要に応じて、視差画像をリアルタイムに検査して点キズ判定や線キズ判定を行ってもよい。

図６を参照して、欠陥画素検出について説明する。図６は、欠陥画素検出を行う際、検出画素の出力値（第１出力値）と、検出画素に近接した周辺の画素の出力値（第２出力値）との差分値を算出して評価する方法の説明図である。図６（Ａ）は近接する５×５画素の領域を用いて欠陥画素検出を行う場合を例示する。図６（Ｂ）は近接する±３行の領域（７×７画素の領域）を用いて欠陥画素検出を行う場合を例示する。整数の変数ｉとｊを用いて、各画素の位置を表現している。図６では縦方向の画素位置を変数ｉで表し、横方向の画素位置を変数ｊで表している。

欠陥画素検出の一般的な方法の１つとして、検出対象の画素に近接した周辺画素を選定した代表値、または、近接した周辺画素を用いて算出した代表値と、欠陥検出画素との差分値を用いる方法がある。この方法は、検出対象の画素と当該画素に近接する周辺画素の出力値を、代表値で正規化してその乖離度を評価する方法である。正規化された値が所定閾値（Ｅｅｒｒｏｒと記す）を超えた場合、検出対象の画素が欠陥画素として検出される。図６（Ａ）に（ｉ，ｊ）で示す個所が、欠陥画素検出を行う対象画素を示している。その出力値をＳ（ｉ，ｊ）と表記する。図６（Ａ）で示された領域での代表値、つまり５×５画素の出力値のメディアン値を代表値とする場合、これをＳ_ｔｙｐ（ｉ，ｊ）と表記する。メディアン値に代えて、平均値等を用いてもよく、代表値の設定方法については任意である。一般的な欠陥画素検出の評価値（第１の評価値）をＥと表記し、所定閾値Ｅｒｒｏｒを用いて、下記条件式（１）が使用される。

式（１）の左辺では輝度で正規化をしているため、輝度の変化が数％の範囲内であれば精度良く欠陥画素検出を行うことができる。しかしながら、Ｒ，Ｇ，Ｂといったカラーフィルタの透過率の違いや、シェーディングの違いは数％のオーダーでは収まらない。このため、カラーフィルタに加え、シェーディングの影響がある状態で式（１）を用いて検出精度を保証することは難しい。通常、式（１）を用いて欠陥画素検出を行う場合、カラーフィルタの透過率ごとに評価閾値を設定し、光学系を工夫してシェーディングを極力低減し、受光量違いによるノイズを低減することが行われ、キズ検出精度の向上を図っている。

ところで、レンズ交換式カメラ等での様々な射出瞳距離で撮影を行う場合、シェーディングが発生した状態の画像の欠陥画素検出をリアルタイムで行わなければならない。この場合、画像領域ごとに受光量が異なる状態で検査を行わなければならず、画像領域ごとに検出精度が異なってしまう。これを解決する有効な方法として、検出画素の出力値の変化によるノイズ変化量を加味して、式（１）の評価値を更に正規化する方法がある。

画素のノイズには固定ノイズとランダムノイズがあり、ランダムノイズは出力値に対して、その平方根で変化することが知られている。欠陥画素検出にて、基準出力値をＳ_ｓｔｄと表記し、評価値全体（第２の評価値）をＥ_{ｔｏｔａｌ}と表記する。評価値Ｅ_{ｔｏｔａｌ}のうち、出力値に応じて変化するランダム成分をＥ_{ｒａｎｄｏｍ}と表記し、出力値に応じて変化しない固定成分をＥ_{ｆｉｘｅｄ}と表記する。出力値の変化を加味して欠陥画素検出を行う場合、所定閾値Ｅｅｒｒｏｒを用いて、下記条件式（２）が使用される。

式（２）にて、基準出力値Ｓ_ｓｔｄと代表値Ｓ_ｔｙｐを用いて正規化されていることが分かる。そのため、代表値Ｓ_ｔｙｐが変化しても常に一定の規格にて検査が可能となり、領域ごとに光量が変化しても同程度の欠陥画素検出精度が得られる。式（１）で算出した評価値Ｅは、ランダム成分Ｅ_{ｒａｎｄｏｍ}と固定成分Ｅ_{ｆｉｘｅｄ}から構成されるため、

となる。式（３）を、Ｅ_{ｒａｎｄｏｍ}＝Ｅ−Ｅ_{ｆｉｘｅｄ}として式（２）に代入し、更に式を整理すると、下記（４）式となる。

式（４）にて、第２の評価値Ｅ_{ｔｏｔａｌ}は第１項と第２項との和から構成される。第１項は、第１の評価値Ｅを、代表値Ｓ_ｔｙｐが小さくなるにつれて大きな値で除算する項である。第２項は、代表値Ｓ_ｔｙｐが小さくなるにつれて値が大きくなる項である。Ｅ_{ｆｉｘｅｄ}については欠陥画素検出の所定閾値Ｅｅｒｒｏｒを設定する際に、許容できる値を設定すればよい。また、求められる欠陥画素の検出精度と演算規模のバランスを鑑みて、式（４）の評価値Ｅとして、出力値の変化率で正規化した項のみを用いてもよいし、全ての項を用いてもよい。

これまでは１画素に着目した欠陥画素検出を説明したが、図６（Ｂ）で示した線状の欠陥画素検出の場合においても同様の考え方で適用可能であり、適用範囲は図６で示した限りではない。また、第１の評価値Ｅを算出する時に用いる代表値Ｓ_ｔｙｐは、正規化の精度および欠陥画素検出精度を向上させるために、欠陥検出画素と処理条件に応じて設定される。処理条件とは、例えば画素上に配置されているカラーフィルタ、画素の受光する光束が通過する瞳部分領域、画素加算等である。

孤立欠陥画素補正部１２１ｂは、欠陥画素検出にて検出された画素が隣接していない場合の欠陥画素補正を行う。孤立点での欠陥画素補正は、欠陥画素に隣接した画素情報を用いてバイリニア法やバイキュービック法等で行う欠陥画素補正である。孤立欠陥画素信号の補正により、高画質な画像を生成することができる。

孤立点での欠陥画素補正は欠陥画素に隣接した画素が欠陥画素でない場合に有効である。しかし、欠陥画素が隣接している場合には隣接欠陥画素補正部１２１ｃが欠陥画素補正を行う。図７を参照して具体例について説明する。図７中の行を整数の変数ｊで表し、列を整数の変数ｉで表す。第ｊ行、第ｉ列の位置を（ｊ，ｉ）と表記し、当該位置の第１の視差画像をＡ（ｊ，ｉ）と表記し、撮像画像をＩ（ｊ，ｉ）と表記する。図７（Ａ）はベイヤー配列の第１の視差画像配列をｊ−１からｊ＋１およびｉ−１からｉ＋１の範囲で示す概略図である。図７（Ｂ）はベイヤー配列の撮像画像配列をｊ−１からｊ＋１およびｉ−１からｉ＋１の範囲で示す概要図である。

第１の視差画像の第ｊ行の画像がすべて欠陥画素であり、撮像画像については正常である場合を想定する。この場合、補正位置（ｊ，ｉ）における第１の視差画像Ａ（ｊ，ｉ）の信号を算出する補正処理が行われる。下記式（５）は、第１の視差画像Ａ（ｊ，ｉ）の信号がＧ（緑）の分光感度を有する画素の画素信号である場合の補正式である。

次に第１の視差画像Ａ（ｊ，ｉ）の信号がＲ（赤）またはＢ（青）の分光感度を有する画素の画素信号である場合の補正式を下記式（６）に示す。

図８は、第１の視差画像Ａ（ｊ，ｉ）の信号がＢ（青）の分光感度を有する画素の画素信号である場合を例示する。変数ｊとｉの定義は図７の場合と同じである。図８（Ａ）はベイヤー配列の第１の視差画像配列をｊ−２からｊ＋２およびｉ−２からｉ＋２の範囲で示している。図８（Ｂ）はベイヤー配列の撮像画像配列をｊ−２からｊ＋２およびｉ−２からｉ＋２の範囲で示している。必要に応じて、第２の視差画像の画素信号についても同様に補正処理が行われる。

このように欠陥画素が隣接している場合、第１の視差画像と撮像画像の画素信号を用いて上式により欠陥画素補正を行うことができる。ただし、欠陥画素が隣接していない場合には演算負荷の低減や補正精度の観点から、１つの画像を用いてバイリニア法やバイキュービック法等により欠陥画素補正が行われる。欠陥画素補正は撮像光学系の情報を用いずに、所定の演算方法で行うことが可能である。本実施形態では画像処理装置内でハードウェア処理を行った。これは、外部機器（ＰＣ等）でソフトウェア処理を行うよりも高速に欠陥画素補正を行えるためである。欠陥画素の抽出後、撮像装置内で欠陥画素補正処理が実行される。しかし、本発明はこれに限らず、欠陥画素の抽出処理、欠陥画素の補正処理の少なくとも一部をソフトウェア処理で実現してもよい。

次に図９のフローチャートを参照して、本実施形態における視差画像の欠陥画素補正について説明する。Ｓ１００で処理を開始し、Ｓ１０１で撮像素子１０７による撮像処理が行われる。次のＳ１０２でＣＰＵ１２１は、撮像画像と視差画像の画像データを取得する制御を行ってから、Ｓ１０３へ進む。Ｓ１０３で欠陥画素検出部１２１ａは各画像の欠陥画素検出を行い、Ｓ１０４へ進む。Ｓ１０４では欠陥画素補正処理が実行される。欠陥画素補正処理については図１０を用いて後述する。Ｓ１０４の次にＳ１０５へ進み、ＣＰＵ１２１はＳ１０４で補正された画像データの記録処理を実行する。そしてＳ１０６へ進み、一連の処理を終了する。

次に図１０のサブフローチャートを参照して、欠陥画素補正（図９：Ｓ１０４）について説明する。
Ｓ２００で欠陥画素補正処理を開始し、Ｓ２０１へ進む。Ｓ２０１でＣＰＵ１２１は画像データの取り込みを制御し、Ｓ２０２へ進む。Ｓ２０２では、Ｓ２０１で取得された画像データの各画素の参照を開始する。次のＳ２０３で欠陥画素検出部１２１ａは、欠陥画素検出を行う。欠陥画素検出の結果、欠陥画素が隣接しているかどうかについて判定処理が行われる。Ｓ２０３で、欠陥画素が隣接していないと判定された場合、Ｓ２０４へ進み、欠陥画素が隣接していると判定された場合にはＳ２０５へ移行する。

Ｓ２０４で孤立欠陥画素補正部１２１ｂは孤立欠陥画素補正処理を実行し、Ｓ２０５へ進む。Ｓ２０５でＣＰＵ１２１は、画像データの画素の参照がすべて終了しているかどうかを判定する。画素の参照がすべて終了していると判定された場合にはＳ２０６へ進む。また画素の参照がすべて終了していないと判定された場合にはＳ２０２へ戻る。次の画素参照が行われ、Ｓ２０３からＳ２０５の処理が繰り返される。

Ｓ２０６でＣＰＵ１２１は、撮像画像、視差画像ともに孤立欠陥画素補正が完了しているかどうかを判定する。撮像画像、視差画像ともに孤立欠陥画素補正が完了していると判定された場合、Ｓ２０７へ進む。撮像画像または視差画像の孤立欠陥画素補正が完了していない場合にはＳ２０１へ戻って処理を続行する。

Ｓ２０７でＣＰＵ１２１は、撮像画像と視差画像を取り込む制御を行い、次のＳ２０８で視差画像の画素の参照を開始し、Ｓ２０９へ進む。Ｓ２０９では隣接欠陥画素補正部１２１ｃは隣接欠陥画素補正処理を実行し、Ｓ２１０へ進む。Ｓ２１０でＣＰＵ１２１は画像データの画素の参照がすべて終了しているかどうかを判定する。画像データの画素の参照がすべて終了している場合にはＳ２１１のリターン処理へ進み、欠陥画素補正処理を完了し、メインフローチャートに戻る。またＳ２１０で画像データの画素の参照がすべて終了していない場合にはＳ２０８へ戻る。次の画素参照が行われ、Ｓ２０９およびＳ２１０の処理が繰り返される。
本実施形態によれば、撮影された視差画像の一部に欠陥画素が生じた場合に視差画像の欠陥画素信号を補正することができる。

［第２実施形態］
図１１の概略図を参照して、本発明の第２実施形態における撮像素子の撮像センサ部と焦点検出センサ部の配列を説明する。なお、第１実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。

図１１（Ａ）は２次元ＣＭＯＳセンサ（撮像素子）の撮像センサ配列を４列×４行の範囲にて示し、４分割された光電変換部の配列を８列×８行の範囲で示した概略図である。
２列×２行のセンサ群２００において、左上の位置にはＲ（赤）の分光感度を有するセンサ部２００Ｒが配置されている。右上と左下には、Ｇ（緑）の分光感度を有するセンサ部２００Ｇが配置され、右下にはＢ（青）の分光感度を有するセンサ部２００Ｂが配置されている。さらに、各センサ部は２列×２行に配列された第１光電変換部２０１、第２光電変換部２０２、第３光電変換部２０３、第４光電変換部２０４により構成されている。

図１１（Ａ）に示した４列×４行の撮像センサ部（８列×８行の焦点検出センサ部）を平面上でアレイ状に多数配置することで、撮像画像信号（複数の光電変換部の加算信号）が取得可能である。本実施形態で説明する撮像素子は、画素周期Ｐが４μｍであり、画素数Ｎが横５５７５列×縦３７２５行（約２０７５万画素）である。分割された光電変換部の周期Ｐ_ＳＵＢは２μｍであり、対応する画素数Ｎ_ＳＵＢが横１１１５０列×縦７４５０行（約８３００万画素）である。

図１１（Ｂ）は、撮像素子における１つのセンサ部２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図である。ｘ方向に２分割され、ｙ方向に２分割された、第１光電変換部３０１から第４光電変換部３０４が形成されている。図１１（Ｂ）のａ−ａ断面については、図３（Ｂ）にて、光電変換部３０１を第３光電変換部３０３に置き換え、光電変換部３０２を第４光電変換部３０４に置き換えた図と同じであるため、図示を省略する。

本実施形態では、撮像素子のセンサ部ごとに、光電変換部２０１から２０４の信号を加算して読み出すことで、有効画素数Ｎの解像度の撮像画像が生成される。撮像素子の第１から第３光電変換部２０１、２０２、２０３の受光信号をそれぞれ個別に集めて第１、第２、第３視差画像が生成される。あるいは撮像画像信号から、第１の視差画像および第２の視差画像および第３の視差画像の画像信号を減算することにより、第４視差画像が生成される。必要に応じて、撮像素子のセンサ部の第４光電変換部２０４の受光信号を集めて第４視差画像を生成してもよい。異なる瞳部分領域ごとに、対応する光電変換部の受光信号から１つ以上の視差画像を生成することができる。

また本実施形態では、撮像画像、第１の視差画像、第２の視差画像、第３の視差画像はそれぞれ、ベイヤー配列の画像となる。必要に応じて、ベイヤー配列の撮像画像、第１の視差画像、第２の視差画像、第３の視差画像にデモザイキング処理を行ってもよい。
本実施形態によれば、複数の視差画像に係る欠陥画素信号を補正することができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。
本実施形態では、撮像画像および視差画像の画素信号を取得し、２種類の欠陥画素情報を用いて第１および第２の欠陥画素補正が行われる。欠陥画素情報は、製品出荷時や所定のタイミングで検出されてメモリに記憶され、撮像画像とは別に、視差画像に対応する欠陥画素情報として使用される。例えば、複数の視差画像の１つをＡ像とすると、メモリには、Ａ像用の点の欠陥画素情報と、線の欠陥画素情報が保持される。以下、Ａ像に関する欠陥画素補正を説明する。

ＣＰＵ１２１は、例えば第１の欠陥画素補正として、線の欠陥画素情報を参照し、線状領域に対するライン欠陥画素補正を行う。この補正では各ラインに対して、欠陥でない直前ラインを用いた前置補間が行われる。次にＣＰＵ１２１は点（各画素）の欠陥画素検出をリアルタイムで行い、メモリに記憶された点の欠陥画素情報を参照して、撮像画像を用いて第２の欠陥画素補正を行う。なお、ライン欠陥画素補正や点の欠陥画素補正は例示であって、必要に応じて所定形状の領域に対する欠陥画素補正を行うことができる。
撮像画像の信号（例えばＡ像とＢ像を加算したＡ＋Ｂ像の信号）から、欠陥画素補正が行われたＡ像の信号を減算することにより、他の視差画像（Ｂ像）の信号を生成することができる。

本実施形態では、第１の欠陥画素情報を取得して、欠陥画素でない画素の信号を用いて欠陥画素の信号を補正する第１の補正と、第２の欠陥画素情報を取得して、撮像画像の画素信号を用いて欠陥画素の信号を補正する第２の補正が行われる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７ 撮像素子
１２１ ＣＰＵ
１２１ａ 欠陥画素検出部
１２１ｂ 孤立欠陥画素補正部
１２１ｃ 隣接欠陥画素補正部

Claims (9)

1. 複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子により、第１の光電変換部または第２の光電変換部に対応する視差画像の画素信号を取得し、前記第１の光電変換部および第２の光電変換部に対応する撮像画像を取得する取得手段と、
   前記視差画像を用いて欠陥となっている画素を検出する欠陥画素検出を行う検出手段と、
   前記視差画像の画素信号を補正するに当たって、前記検出手段により欠陥画素として検出された画素に対応する信号を、当該画素に隣接する、欠陥画素でない画素に対応する信号を用いて補正する第１の補正と、前記検出手段により欠陥画素として検出された画素に対応する信号を、当該画素に対応する前記撮像画像の画素信号を用いて補正する第２の補正とを行う補正手段を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記検出手段により欠陥画素として検出された画素に欠陥画素が隣接していない場合に前記第１の補正を行い、前記検出手段により欠陥画素として検出された画素に欠陥画素が隣接している場合に前記第２の補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記第１の光電変換部から第１の視差画像の画素信号を取得し、前記第２の光電変換部から第２の視差画像の画素信号を取得し、
   前記補正手段は、前記第１または第２の視差画像の画素信号と、前記第１の視差画像の画素信号および前記第２の視差画像の画素信号を加算した前記撮像画像の画素信号を用いて前記第２の補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記取得手段は、前記第１の光電変換部または第２の光電変換部から前記視差画像の画素信号を取得し、前記第１の光電変換部および第２の光電変換部から前記撮像画像の画素信号を取得し、
   前記補正手段は、前記視差画像および撮像画像の画素信号を用いて前記第２の補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記補正手段は、前記第１の補正を行ってから前記第２の補正を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子により、第１の光電変換部または第２の光電変換部に対応する視差画像の画素信号を取得し、前記第１の光電変換部および第２の光電変換部に対応する撮像画像を取得する取得手段と、
   前記視差画像に係る第１および第２の欠陥画素情報を記憶する記憶手段と、
   前記視差画像の画素信号を補正するに当たって、前記記憶手段から前記第１の欠陥画素情報を取得して、欠陥画素に対応する信号を、当該欠陥画素に隣接する、欠陥画素でない画素に対応する信号を用いて補正する第１の補正と、前記記憶手段から前記第２の欠陥画素情報を取得して、欠陥画素に対応する信号を、当該欠陥画素に対応する前記撮像画像の画素信号を用いて補正する第２の補正とを行う補正手段を備えることを特徴とする画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
8. 撮像画像および視差画像を処理する画像処理装置にて実行される制御方法であって、
   複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子により、第１の光電変換部または第２の光電変換部に対応する前記視差画像の画素信号を取得し、前記第１の光電変換部および第２の光電変換部に対応する前記撮像画像を取得する取得工程と、
   前記視差画像を用いて欠陥となっている画素を検出する欠陥画素検出を行う検出工程と、
   前記視差画像の画素信号を補正するに当たって、
   前記検出工程で欠陥画素として検出された画素に対応する信号を、当該画素に隣接する、欠陥画素でない画素に対応する信号を用いて補正する第１の補正工程と、
   前記検出工程で欠陥画素として検出された画素に対応する信号を、当該画素に対応する前記撮像画像の画素信号を用いて補正する第２の補正工程と、を有することを特徴とする画像処理装置の制御方法。
9. 撮像画像および視差画像を処理する画像処理装置にて実行される制御方法であって、
   複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子により、第１の光電変換部または第２の光電変換部に対応する前記視差画像の画素信号を取得し、前記第１の光電変換部および第２の光電変換部に対応する前記撮像画像を取得する取得工程と、
   前記視差画像の画素信号を補正するに当たって、
   記憶手段から前記視差画像に係る第１の欠陥画素情報を取得して、欠陥画素に対応する信号を、当該欠陥画素に隣接する、欠陥画素でない画素に対応する信号を用いて補正する第１の補正工程と、
   前記記憶手段から前記視差画像に係る第２の欠陥画素情報を取得して、欠陥画素に対応する信号を、当該欠陥画素に対応する前記撮像画像の画素信号を用いて補正する第２の補正工程と、を有することを特徴とする画像処理装置の制御方法。
   
   

Images