JP5740465B2 - 撮像装置及び欠陥画素補正方法 - Google Patents

撮像装置及び欠陥画素補正方法 Download PDF

Info

Publication number
JP5740465B2
JP5740465B2 JP2013502146A JP2013502146A JP5740465B2 JP 5740465 B2 JP5740465 B2 JP 5740465B2 JP 2013502146 A JP2013502146 A JP 2013502146A JP 2013502146 A JP2013502146 A JP 2013502146A JP 5740465 B2 JP5740465 B2 JP 5740465B2
Authority
JP
Japan
Prior art keywords
pixel
correction
pixels
defective
correction target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013502146A
Other languages
English (en)
Other versions
JPWO2012117616A1 (ja
Inventor
豪彦 矢村
豪彦 矢村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013502146A priority Critical patent/JP5740465B2/ja
Publication of JPWO2012117616A1 publication Critical patent/JPWO2012117616A1/ja
Application granted granted Critical
Publication of JP5740465B2 publication Critical patent/JP5740465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮像装置及び欠陥画素補正方法に関する。
近年の固体撮像素子は、多画素化、狭画素ピッチ化が進んでおり、これに伴って発生する混色や画素欠陥が画質に与える影響は大きい。
欠陥画素の補正は、その欠陥画素から得られる信号を、その欠陥画素の周囲にあるその欠陥画素と同色の画素から得られる信号の平均値に置き換えることで行うことが一般的である。しかし、近年の多画素化、狭画素ピッチ化に伴い、このような一般的な補正方法では、補正痕が目立ってしまう場合がある。以下、その理由を説明する。
図13は、ベイヤー配列のカラーフィルタを搭載する固体撮像素子の画素配列を示す図である。図13において“R”を付したブロックが、赤色光を検出するR画素を示し、“B”を付したブロックが青色光を検出するB画素を示し、“Gr”を付したブロックが、緑色光を検出するG画素のうち左右にR画素があるものを示し、“Gb”を付したブロックが、緑色光を検出するG画素のうち左右にB画素があるものを示す。
図13に示されるように、ベイヤー配列のカラーフィルタを搭載する固体撮像素子においては、固体撮像素子に、R画素、G画素、及びB画素の3種類の画素が含まれ、これら3種類の画素のうちG画素については、周囲にあるR画素及びB画素の配置が異なる2種類の属性(Gr画素,Gb画素)に分けることができる。
Gr画素とGb画素は、その周囲のR画素及びB画素の配置が異なるため、入射光の入射方向に依存する混色により、Gr画素の信号レベルとGb画素の信号レベルには差が生じる。このような信号レベルの差は、ゴーストの原因となる光のように固体撮像素子に対する光の入射角が大きいほど、また、入射光が赤色光のように単色になるほど顕著になる。
このため、例えば、Gr画素(又はGb画素)の位置に欠陥画素があった場合、この欠陥画素を、その欠陥画素に×字方向に隣接する(欠陥画素の斜め右上、斜め右下、斜め左上、斜め左下に近接する)4つのGb画素(Gr画素)を用いて補正すると、レベル差の生じているGb画素(Gr画素)の出力信号を用いて補正を行うことになるため、欠陥画素の出力レベルを本来のレベルに近づけることが困難である。
そこで、Gr画素(又はGb画素)の位置にある欠陥画素を、その欠陥画素に十字方向に近接する(欠陥画素の上下左右に近接する)4つのGr画素(Gb画素)を用いて補正することが考えられる。しかし、この補正方法では、欠陥画素に×字方向に隣接する4つの画素を用いて補正を行う方法と比べて、欠陥画素から遠い位置にある画素の信号を用いて補正を行うことになるため、高周波画像においては、欠陥画素の出力レベルを本来のレベルに近づけることが困難である。
欠陥画素の信号を、その画素の周囲の画素の信号を用いて補正する方法としては例えば下記特許文献1〜3に示すものがある。
特許文献1には、ベイヤー配列のカラーフィルタを搭載する固体撮像素子における欠陥画素の補正方法として、欠陥画素の十字方向に近接する当該欠陥画素と同色画素の出力信号を用いて補正を行う第一の補正処理と、欠陥画素の×字方向に近接する当該欠陥画素と同色画素の出力信号を用いて補正を行う第二の補正処理とのいずれかを、当該欠陥画素の出力信号と当該欠陥画素に近接する同色画素の出力信号との相関性に基づいて選択して実行する方法が記載されている。
特許文献2には、補正対象画素の十字方向に近接する同色画素の出力信号を用いて当該補正対象画素の出力信号の補正を行う方法が記載されている。
特許文献3には、補正対象画素に隣接する8つの画素の出力信号を用いて当該補正対象画素の出力信号の補正を行う方法が記載されている。
日本国特開2010−68329号公報 日本国特開2011−15157号公報 日本国特開平7−336605号公報
特許文献1に記載の装置は、欠陥画素の出力信号とその周囲の画素の出力信号との相関性に基づいて補正方法を選択するものであるため、高周波画像に対しても上記第二の補正処理が行われる場合があり、この場合には高周波画像に対する補正痕が目立ってしまう。
特許文献2に記載の装置は、補正対象画素の十字方向に近接する同色画素の出力信号を用いて当該補正対象画素の出力信号の補正を行う処理しか行わないものであるため、高周波画像に対する補正痕が目立つという課題を解決することができない。
特許文献3に記載の補正方法は、図13に示される固体撮像素子のように、周囲に配置される画素の配置が異なる複数種類の同色画素(Gr画素,Gb画素)が存在する固体撮像素子に適用した場合には、色の異なる信号を用いて補正データを生成することになり、欠陥画素補正後の補正痕が目立ってしまう。
本発明は、上記事情に鑑みてなされたものであり、欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供することを目的とする。
本発明の撮像装置は、二次元状に配列された検出波長域の異なる少なくとも3種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子と、前記固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正部とを有する撮像装置であって、前記少なくとも3種類の画素のうちの1種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる2種類の属性の画素に分けられ、前記欠陥画素補正部は、補正対象画素が前記2種類の属性の画素のいずれかである場合に前記補正対象画素を中心として前記補正対象画素と同一種類かつ同一属性の画素を含む画素エリア内に被写体のエッジ部がかかっているか否かを判定し、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行い、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である。
本発明の欠陥画素補正方法は、二次元状に配列された検出波長域の異なる少なくとも3種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正方法であって、前記少なくとも3種類の画素のうちの1種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる2種類の属性の画素に分けられるものであり、補正対象画素が前記2種類の属性の画素のいずれかである場合に前記補正対象画素を中心として前記補正対象画素と同一種類かつ同一属性の画素を含む画素エリア内に被写体のエッジ部がかかっているか否かを判定するエッジ判定ステップと、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行う補正処理ステップとを備え、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である。
本発明によれば、欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供することができる。
本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図1に示されるデジタルカメラにおける固体撮像素子5の構成を示す平面模式図 図1に示されるデジタルカメラにおける欠陥画素補正部19が実行する第一の補正処理と第二の補正処理を説明するための図 図1に示されるデジタルカメラにおける欠陥画素補正部19が実行するエッジ判定処理の一例を説明するための図 図1に示されるデジタルカメラにおける欠陥画素補正部19の動作を説明するためのフローチャート 図1に示されるデジタルカメラにおける欠陥画素補正部19の動作の変形例を説明するための図 図1に示されるデジタルカメラにおける欠陥画素補正部19の動作の変形例を説明するためのフローチャート 図1に示されるデジタルカメラにおける固体撮像素子5の第一の変形例を示す平面模式図 図1に示されるデジタルカメラにおける固体撮像素子5の第二の変形例を示す平面模式図 図1に示されるデジタルカメラにおける固体撮像素子5の第三の変形例を示す平面模式図 図1に示されるデジタルカメラにおける固体撮像素子5の第四の変形例を示す平面模式図 図1に示されるデジタルカメラにおける固体撮像素子5の第五の変形例を示す平面模式図 ベイヤー配列のカラーフィルタを搭載する固体撮像素子の画素配列を示す図
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
図1に示されるデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む撮影レンズ1と、CCD型やMOS型のイメージセンサであるカラー撮像用の固体撮像素子5と、この両者の間に設けられた絞り2と、赤外線カットフィルタ3と、光学ローパスフィルタ4とを備える。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、レンズ駆動部8を制御して撮影レンズ1のフォーカスレズ位置やズームレンズ位置を調整したり、絞り駆動部9を介し絞り2の開口量を制御して露光量を調整したりする。
また、システム制御部11は、撮像素子駆動部10を介して固体撮像素子5を駆動し、撮影レンズ1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
デジタルカメラの電気制御系は、更に、固体撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力された撮像画像信号をデジタル信号に変換するA/D変換回路7とを備え、これらはシステム制御部11によって制御される。
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、A/D変換回路7から出力された撮像画像信号に対し、ガンマ補正演算,RGB/YC変換処理等を行って撮像画像データを生成するデジタル信号処理部17と、デジタル信号処理部17で生成された撮像画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部18と、A/D変換回路7から出力された撮像画像信号に対し、詳細は後述する欠陥画素補正を行う欠陥画素補正部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された液晶表示部23が接続される表示制御部22とを備える。メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、欠陥画素補正部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
図2は、図1に示されるデジタルカメラにおける固体撮像素子5の構成を示す平面模式図である。
固体撮像素子5は、行方向Xとこれに直交する列方向Yに二次元状(図2の例では正方格子状)に配置された複数の画素(51,52,53,54)を備える。固体撮像素子5に含まれる各画素は、フォトダイオード等の光電変換素子と、この光電変換素子の上方に設けられたカラーフィルタとを有する。
この複数の画素は、赤色光を検出するR画素51(図2では“R”の文字を付してある)と、青色光を検出するB画素52(図2では“B”の文字を付してある)と、緑色光を検出するG画素(53,54(図2では“Gr,Gb”の文字を付してある))の検出波長域の異なる3種類の画素を含み、これら3種類の画素がベイヤー状に配置されたものとなっている。
正方格子配置された複数の画素のうち市松位置にはG画素(53、54)が配置され、残りの市松位置には奇数行にR画素51が配置され、偶数行にB画素52が配置されている。言い換えると、複数の画素は、R画素51とG画素54が行方向Xに交互に並べられた行と、G画素53とB画素52が行方向Xに交互に並べられた行とが、列方向Yに交互に配列されたものとなっている。また、複数の画素は、図2において左上隅にある4つの画素(R画素51、B画素52、G画素53,54)を1単位画素として、この単位画素が正方格子状に配列されたものとなっている。
緑色光を検出するG画素は、図2に示されるように、当該G画素の周囲にある当該G画素とは異なる種類のR画素51及びB画素52の配置が異なる2種類の属性の画素(G画素53、G画素54)に分けられる。
以下では、左右にB画素52のあるG画素53のことをGb画素53と言い、左右にR画素51のあるG画素54のことをGr画素54と言う。図2においては、Gb画素53に“Gb”の文字を付し、Gr画素54に“Gr”の文字を付してある。
このGb画素53とGr画素54は、各々の周囲のR画素51及びB画素52の配置が異なる。このため、固体撮像素子5に斜め光が入射した場合には、Gb画素53の出力信号とGr画素54の出力信号との間に、入射光の入射方向に依存する混色に起因したレベル差が発生する。
次に、図1に示されるデジタルカメラにおける欠陥画素補正部19の機能について説明する。
欠陥画素補正部19は、A/D変換回路7から出力されて、メインメモリ16に一時記憶された固体撮像素子5からの撮像画像信号(固体撮像素子5に含まれる各画素の出力信号の集合)に対して欠陥画素補正を行う。欠陥画素補正とは、固体撮像素子5に含まれる全画素のうち欠陥画素から出力された信号を、その欠陥画素の周囲の当該欠陥画素と同一種類の画素の出力信号を用いて補正する処理のことを言う。
デジタルカメラのメインメモリ16には、固体撮像素子5の欠陥画素のアドレス情報及び当該欠陥画素の種類(検出色)を示す情報がデジタルカメラの出荷時に記憶される。このため、欠陥画素補正部19は、この情報を用いて、補正を行う対象となる画素(補正対象画素)を特定することができる。
なお、固体撮像素子5の欠陥画素のアドレス情報及び当該欠陥画素の種類(検出色)を示す情報は、デジタルカメラを出荷した後に欠陥画素が生じた場合に、随時更新できるようにしてもよい。このようにすることで、欠陥画素補正部19は、デジタルカメラの出荷後に生じる所謂後発キズの補正を行うこともできる。
欠陥画素補正部19は、補正対象画素が、固体撮像素子5に含まれる3種類の画素のうちの2種類の属性に分けられる種類の画素であるG画素である場合には、第一の補正処理と第二の補正処理とのいずれかを選択して実行して、当該G画素の出力信号の補正を行う。
第一の補正処理は、メインメモリ16に記憶された撮像画像信号を構成する出力信号のうち、補正対象画素の出力信号を、当該補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて補正する処理のことをいう。
第二の補正処理は、補正対象画素の出力信号を、当該補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて補正する処理のことを言う。
図3は、図1に示されるデジタルカメラにおける欠陥画素補正部19が実行する第一の補正処理と第二の補正処理を説明するための図である。図3において、FIG3Aが第一の補正処理を説明するための図であり、FIG3Bが第二の補正処理を説明するための図である。
図3には、図2に示される固体撮像素子5の画素の一部(5行×5列)が図示されている(符号は省略している)。以下では、FIG3A、FIG3Bに示される25個の画素のうち真ん中にあるGr画素(○印を付してある)が補正対象画素であるものとして説明する。
欠陥画素補正部19は、第一の補正処理では、補正対象画素であるGr画素に×字方向(当該Gr画素の右下、右上、左下、左上)に近接する4つのGb画素(FIG3Aにおいてハッチングを付した画素)の出力信号を用いて、当該Gr画素の出力信号を補正する。例えば、○印を付したGr画素の出力信号を、ハッチングを付した4つのGb画素の出力信号の平均値に置き換えることで補正を行う。図2に示される固体撮像素子の構成において、第一の補正処理は、補正対象画素に×字方向に近接する同色画素を用いて補正を行う処理であるため、以下では、第一の補正処理のことを×字補正処理とも言う。
欠陥画素補正部19は、第二の補正処理では、補正対象画素であるGr画素に十字方向(当該Gr画素の上下左右)に近接する4つのGr画素(FIG3Bにおいてハッチングを付した画素)の出力信号を用いて、当該Gr画素の出力信号を補正する。例えば、○印を付したGr画素の出力信号を、ハッチングを付した4つのGr画素の出力信号の平均値に置き換えることで補正を行う。図2に示される固体撮像素子の構成において、第二の補正処理は、補正対象画素に十字方向に近接する同色画素を用いて補正を行う処理であるため、以下では、第二の補正処理のことを十字補正処理とも言う。
G画素を補正対象画素とした場合、×字補正処理は、十字補正処理と比較して、補正対象画素により近い位置にある同色画素の出力信号を用いて補正を行うものである。このため、高周波画像に対しての補正痕は目立ちにくくなる。しかし、補正対象画素と異なる属性の同色画素(出力レベル差の大きい画素)の出力信号を用いて補正を行うものであるため、低周波画像に対しては補正痕が目立ちやすくなる。
一方、十字補正処理は、補正対象画素と同じ属性の同色画素(出力レベル差の少ない画素)の出力信号を用いて補正を行うものである。このため、低周波画像に対しての補正痕は目立ちにくくなる。しかし、補正対象画素から遠い位置にある同色画素の出力信号を用いて補正を行うものであるため、高周波画像に対しては補正痕が目立ちやすくなる。
このように、固体撮像素子5においてG画素を補正対象画素とした場合、×字補正処理と十字補正処理はそれぞれ一長一短の特性を持つ。そこで、欠陥画素補正部19は、補正対象画素がG画素である場合に、当該補正対象画素の周囲にある画素に被写体のエッジ部がかかっているか否かを判定するエッジ判定処理を行い、このエッジ判定処理によりエッジ部がかかっていると判定した場合に第一の補正処理(FIG3A)を行い、エッジ判定処理によりエッジ部がかかっていないと判定した場合に第二の補正処理(FIG3B)を行う。
なお、欠陥画素補正部19は、補正対象画素がR画素51又はB画素52であった場合には、補正対象画素であるR画素51(B画素52)に十字方向に近接する当該補正対象画素と同一種類の4つのR画素51(B画素52)の出力信号を用いて、当該補正対象画素の出力信号を補正する。
エッジ判定処理においてエッジ部がかかるか否かを判定する画素エリア(エッジ判定エリア)は、例えば、図3に示されるように、補正対象画素を中心とした5×5=25個の画素が配置されるエリアとする。十字補正処理を行うには、補正対象画素に近接する同一種類かつ同一属性の4つの画素を用いる必要があるため、当該4つの画素が入るエリアをエッジ判定エリアとする。
以下では、エッジ判定処理の一例について説明する。
図4は、エッジ判定処理の一例を説明するための図である。図4のFIG4A〜4Dには、補正対象画素となるGr画素を中心とする5行×5列の画素が示されている(符号は省略している)。
欠陥画素補正部19は、FIG4Aに示すように、補正対象画素を中心とする25個の画素に含まれる6つのR画素を、補正対象画素と同一行にある2つのR画素(図中△印で囲ったR画素)と、それ以外の4つのR画素(図中□印で囲ったR画素)とに分類し、この6つのR画素の出力信号を用いて1つの評価値を算出する。
また、欠陥画素補正部19は、FIG4Bに示すように、補正対象画素を中心とする25個の画素に含まれる6つのB画素を、補正対象画素と同一列にある2つのB画素(図中△印で囲ったB画素)と、それ以外の4つのB画素(図中□印で囲ったB画素)とに分類し、この6つのB画素52の出力信号を用いて1つの評価値を算出する。
また、欠陥画素補正部19は、FIG4Cに示すように、補正対象画素を中心とする25個の画素に含まれる補正対象画素の周囲の6つのGr画素を、補正対象画素と同一列にある2つのGr画素(図中△印で囲ったGr画素)と、それ以外の4つのGr画素(図中□印で囲ったGr画素)とに分類し、この6つのGr画素の出力信号を用いて1つの評価値を算出する。
また、欠陥画素補正部19は、FIG4Dに示すように、補正対象画素を中心とする25個の画素に含まれる補正対象画素の周囲の6つのGr画素を、補正対象画素と同一行にある2つのGr画素(図中△印で囲ったGr画素)と、それ以外の4つのGr画素(図中□印で囲ったGr画素)とに分類し、この6つのGr画素の出力信号を用いて1つの評価値を算出する。
欠陥画素補正部19は、FIG4A〜4Dにそれぞれ示された、△印で囲った画素の出力信号(以下、△画素信号という)及び□印で囲った画素の出力信号(以下、□画素信号という)を用いた以下の演算式(1)により、FIG4A〜4Dの各々の分類に対応した上記評価値を算出する。
評価値={|(2つの△画素信号の平均値)−(4つの□画素信号の平均値)|}/(2つの△画素信号と4つの□画素信号の計6つの画素信号の平均値)・・・(1)
式(1)を用いた演算により、FIG4A〜FIG4Dのそれぞれに対応して1つの評価値が算出される。
欠陥画素補正部19は、この演算で求めた4つの評価値をそれぞれ閾値と比較し、閾値を越える評価値が1つでもあれば、25個の画素が配置されるエリアにエッジ部がかかっていると判定し、閾値を越える評価値が1つもなければ、25個の画素が配置されるエリアにエッジ部がかかっていないと判定する。
なお、補正対象画素がGb画素の場合は、FIG4A〜4Dにおける“Gr”を“Gb”に置き換えて上記式(1)により評価値を求めることで、エッジ判定処理を行う。このエッジ判定処理は上述した方法に限らず、周知の方法を採用することができる。
次に、図1に示されるデジタルカメラにおける欠陥画素補正部19の動作について説明する。
図5は、図1に示されるデジタルカメラにおける欠陥画素補正部19の動作を説明するためのフローチャートである。
固体撮像素子5による撮像が実施され、当該撮像によって固体撮像素子5から出力された撮像画像信号は、A/D変換回路7にてデジタル信号に変換された後、メインメモリ16に一時記憶される。
メインメモリ16に撮像画像信号が記憶されると、欠陥画素補正部19による欠陥画素補正処理フローが開始される。
まず、欠陥画素補正部19は、固体撮像素子5に含まれる欠陥画素のアドレス情報と当該欠陥画素の種類を示す情報(検出色情報)とをメインメモリ16から読み込む(ステップS1)。
次に、欠陥画素補正部19は、ステップSAにおいて欠陥画素毎の処理ループを開始する。
処理ループ開始後、欠陥画素補正部19は、欠陥画素のアドレス情報にしたがって1つの欠陥画素を補正対象画素に設定し、補正対象画素に設定した画素がGr画素54又はGb画素53であるか否かを判定する(ステップS2)。
欠陥画素補正部19は、補正対象画素に設定した画素がGr画素54又はGb画素53であった場合(ステップS2:YES)はステップS3の処理を行い、補正対象画素に設定した画素がR画素51又はB画素52であった場合(ステップS2:NO)はステップS4の処理を行う。
ステップS3において、欠陥画素補正部19は、式(1)の演算式にしたがって上述したように4つの評価値を算出する。
ステップS4において、欠陥画素補正部19は、補正対象画素の出力信号を、当該補正対象画素に十字方向に近接する当該補正対象画素と同一種類の4つの画素の出力信号を用いて補正し、ステップS4の後はステップSBに処理を移行する。
ステップSBでは、欠陥画素補正部19が、全ての欠陥画素について欠陥画素補正を行ったかどうかを判定し、欠陥画素補正を行っていない欠陥画素がある場合には、未補正の欠陥画素を補正対象画素に設定してステップS2に処理を戻し、欠陥画素補正を行っていない欠陥画素がない場合には欠陥画素補正処理フローを終了する。
ステップS3の後、欠陥画素補正部19は、ステップS3で算出した4つの評価値をそれぞれ閾値と比較する。
閾値を超える評価値がなかった場合(ステップS5:NO)、この場合は、補正対象画素の周囲の画素に被写体のエッジ部がかかっていない(補正対象画素の周囲の画素が被写体の低周波領域に重なっている)と判定できる。このため、欠陥画素補正部19は低周波画像に適した十字補正処理を行う(ステップS6)。
閾値を超える評価値があった場合(ステップS5:YES)、この場合は、補正対象画素の周囲の画素に被写体のエッジ部がかかっている(補正対象画素の周囲の画素が被写体の高周波領域に重なっている)と判定できる。このため、欠陥画素補正部19は高周波画像に適した×字補正処理を行う(ステップS7)。
このように、補正対象画素の周囲の画素にエッジ部が重なっていた場合には、補正対象画素により近い位置にある当該補正対象画素と同一種類の画素の出力信号の利用によって当該補正対象画素の出力信号が補正されるため、補正痕を目立ちにくくすることができる。エッジ部が重なるエリアにおいては、Gr画素とGb画素の出力信号のレベル差が画質に与える影響が小さくなるため、十字補正処理を行うよりも、×字補正処理を行うことで画質向上を図ることができる。
また、補正対象画素の周囲の画素にエッジ部が重なっていない場合には、補正対象画素と同一種類かつ同一属性の画素の出力信号の利用によって当該補正対象画素の出力信号が補正されるため、補正痕を目立ちにくくすることができる。エッジ部が重なっていないエリアにおいては、Gr画素とGb画素の出力信号のレベル差が画質に与える影響が大きくなるため、×字補正処理を行うよりも、十字補正処理を行うことで画質向上を図ることができる。
以上のように、図1に示されるデジタルカメラは、G画素が補正対象画素であった場合には、補正対象画素の周囲の画素に被写体のエッジ部がかかっているかどうかを判定し、エッジ部がかかっている場合には×字補正処理を行い、エッジ部がかかっていない場合には十字補正処理を行う。このように、補正対象画素周辺のエリアと重なる被写体の内容に応じて最適な補正処理を選択して実行することができるため、高周波領域と低周波領域が共存し、かつ、ゴースト光源による混色が発生する一般的な被写体に対しても、欠陥画素補正後の補正痕を最小限に抑えて、画質向上を図ることができる。
ここまでは、補正対象画素を中心とする25個の画素に、当該補正対象画素以外の欠陥画素が存在しないことを前提として説明してきた。しかし、補正対象画素を中心とする25個の画素に、当該補正対象画素以外の欠陥画素が存在する場合も有り得る。
このため、欠陥画素補正部19は、第一の補正処理(×字補正処理)においては、補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正することが好ましい。
また、欠陥画素補正部19は、第二の補正処理(十字補正処理)においては、補正対象画素に近接する当該補正対象画素と同一種類でかつ同一属性の画素のうち、欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正することが好ましい。
例えば、図6に示されるように、行方向Xに近接する斜線のハッチングを付した3つのGr画素が欠陥画素であった場合を考える。この場合、3つのGr画素のうちの左のGr画素に対して欠陥画素補正を行う際、当該左のGr画素を中心とする25個の画素には被写体のエッジ部がかかっていないため、当該左のGr画素の出力信号は十字補正処理によって補正される。しかし、当該左のGr画素の右方向隣にあるGr画素は欠陥画素である。そのため、欠陥画素補正部19は、当該左のGr画素の上、左、下に近接する3つのGr画素の出力信号の平均値を、当該左のGr画素の出力信号と置き換えることで、当該左のGr画素に対する欠陥画素補正を行う。
また、図6において3つのGr画素のうちの真ん中のGr画素に対して欠陥画素補正を行う際、当該真ん中のGr画素を中心とする25個の画素には被写体のエッジ部がかかっていないため、当該真ん中のGr画素の出力信号は十字補正処理によって補正される。しかし、当該真ん中のGr画素の右方向隣と左方向隣にあるGr画素は欠陥画素である。そのため、欠陥画素補正部19は、当該真ん中のGr画素の上下に近接する2つのGr画素の出力信号の平均値を、当該真ん中のGr画素の出力信号と置き換えることで、当該真ん中のGr画素に対する欠陥画素補正を行う。
また、図6において3つのGr画素のうちの右のGr画素に対して欠陥画素補正を行う際、当該右のGr画素を中心とする25個の画素には被写体のエッジ部がかかっているため、当該右のGr画素の出力信号は×字補正処理によって補正される。当該右のGr画素の×字方向に近接する4つのGb画素には欠陥画素が含まれないため、欠陥画素補正部19は、当該右のGr画素の×字方向に近接する4つのGb画素の出力信号の平均値を、当該右のGr画素の出力信号と置き換えることで、当該右のGr画素に対する欠陥画素補正を行う。
このように、補正対象画素の出力信号の補正に用いる信号の出力元の画素に欠陥画素が含まれていた場合には、その欠陥画素を除外した残りの画素の出力信号を利用して補正対象画素の出力信号を補正することで、図6に示されるように、固体撮像素子5に連キズ(連続して並ぶ欠陥画素)がある場合でも、補正後の画質劣化を極力低下させることができる。
以下、補正対象画素の出力信号の補正に用いる信号の出力元の画素に欠陥画素が含まれていた場合に、その欠陥画素を除外した残りの画素の出力信号を利用して補正対処画素の出力信号を補正する場合の、欠陥画素補正部19の動作について図面を参照して説明する。
図7は、図1に示されるデジタルカメラにおける欠陥画素補正部19の動作の変形例を説明するためのフローチャートである。図7において図5に示される処理と同じ処理には同一符号を付して説明を省略する。
ステップSAにおいて処理ループ開始後、欠陥画素補正部19は、欠陥画素のアドレス情報にしたがって1つの欠陥画素を補正対象画素に設定し、補正対象画素に設定した画素がGr画素54又はGb画素53であるか否かを判定する(ステップS2)。
欠陥画素補正部19は、ステップS2:YESのときはステップS3、ステップS5の処理を順次行い、ステップS2:NOのときはステップS21の処理を行う。
ステップS21において、欠陥画素補正部19は、補正対象画素に十字方向に近接する当該補正対象画素と同一種類の4つの画素に欠陥画素が含まれるか否かを、ステップS1で読み込んだ情報に基づいて判定する。当該4つの画素に欠陥画素が含まれる場合(ステップS21:YES)、欠陥画素補正部19は、この欠陥画素を補正演算の対象から除外する(ステップS22)。ステップS21:NO又はステップS22の後、欠陥画素補正部19はステップS23の処理を行う。
ステップS23において、欠陥画素補正部19は、補正対象画素に十字方向に近接する当該補正対象画素と同一種類の4つの画素のうち、ステップS22で補正演算の対象から除外された画素を除く画素の出力信号を用いて、当該補正対象画素の出力信号を補正し、その後はステップSBに処理を移行する。
ステップSBでは、欠陥画素補正部19が、全ての欠陥画素について欠陥画素補正処理を行ったかどうかを判定し、欠陥画素補正を行っていない欠陥画素がある場合には、未補正の欠陥画素を補正対象画素に設定してステップS2に処理を戻し、欠陥画素補正を行っていない欠陥画素がない場合には欠陥画素補正処理フローを終了する。
ステップS5の判定がNOであった場合、欠陥画素補正部19は、補正対象画素に十字方向に近接する当該補正対象画素と同一種類かつ同一属性の4つの画素に欠陥画素が含まれるか否かを、ステップS1で読み込んだ情報に基づいて判定する(ステップS24)。当該4つの画素に欠陥画素が含まれる場合(ステップS24:YES)、欠陥画素補正部19は、この欠陥画素を補正演算の対象から除外する(ステップS25)。ステップS24:NO又はステップS25の後、欠陥画素補正部19はステップS26の処理を行う。
ステップS26では、欠陥画素補正部19が、補正対象画素に十字方向に近接する当該補正対象画素と同一種類かつ同一属性の4つの画素のうち、ステップS25で補正演算の対象から除外した画素を除く画素の出力信号を用いて、当該補正対象画素の出力信号を補正し、その後はステップSBに処理を移行する。
ステップS5の判定がYESであった場合、欠陥画素補正部19は、補正対象画素に×字方向に近接する当該補正対象画素と同一種類かつ別属性の4つの画素に欠陥画素が含まれるか否かを、ステップS1で読み込んだ情報に基づいて判定する(ステップS27)。当該4つの画素に欠陥画素が含まれる場合(ステップS27:YES)、欠陥画素補正部19は、この欠陥画素を補正演算の対象から除外する(ステップS28)。ステップS27:NO又はステップS28の後、欠陥画素補正部19はステップS29の処理を行う。
ステップS29では、欠陥画素補正部19が、補正対象画素に×字方向に近接する当該補正対象画素と同一種類かつ別属性の4つの画素のうち、ステップS28で補正演算の対象から除外した画素を除く画素の出力信号を用いて、当該補正対象画素の出力信号を補正し、その後はステップSBに処理を移行する。
以上のように、欠陥画素補正部19は、G画素に対して×字補正処理又は十字補正処理を行う場合、R画素(B画素)に対して当該R画素(B画素)に十字方向に近接する4つの同一種類の画素の出力信号を用いて補正を行う場合、のいずれにおいても、補正対象画素の出力信号の補正に用いる出力信号の出力元の画素に欠陥画素が含まれる場合には、この欠陥画素を除いた画素を補正演算対象とし、この補正演算対象とした画素の出力信号を用いて補正対象画素の出力信号を補正する。このため、欠陥画素の出力信号が用いられて、補正対象画素の出力信号の補正が行われることはなく、補正後の画質劣化を防ぐことができる。
図8は、図1に示されるデジタルカメラにおける固体撮像素子5の第一の変形例を示す平面模式図である。図8において図2と同じ構成には同一符号を付してある。
図8に示される固体撮像素子は、一部のGb画素53と、この一部のGb画素53の右下方向に隣接して配置されるGr画素54とが、撮影レンズ1の異なる瞳領域を通過した光を受光する瞳分割用画素として機能する点を除いては、図2に示される固体撮像素子5と同じ構成である。
図8において、斜線のハッチングを付したGb画素53とこの右下に隣接するGr画素54とが瞳分割用画素を構成する。瞳分割用画素は、これを構成するGb画素とGr画素の各々の光学開口を互いに逆方向に偏心させる構成、画素Gbと画素Grとでマイクロレンズを共用する構成など、周知の構成により実現することができる。
瞳分割用画素は、固体撮像素子5の全面に複数組まばらに配置されている。システム制御部11は、瞳分割用画素を構成する全てのGb画素53から出力される撮像画像信号と、瞳分割用画素を構成する全てのGr画素54から出力される撮像画像信号とを用いて位相差情報を算出し、この位相差情報に基づいてデフォーカス量を算出し、このデフォーカス量にしたがって撮影レンズ1に含まれるフォーカスレンズの位置を制御する。
図8に示されるように、固体撮像素子5が瞳分割用画素を含む構成である場合には、メインメモリ16に記憶しておく欠陥画素のアドレスとして、瞳分割用画素を構成する全ての画素のアドレスとその画素の種類の情報も記憶しておけばよい。
瞳分割用画素は、それ以外の通常の画素と比べると光の受光量が極端に少ないため、この瞳分割用画素を欠陥画素として補正するのが一般的である。前述したように、瞳分割用画素も欠陥画素としてメインメモリ16にアドレス及び種類の情報を記憶しておくことで、製造工程上発生する欠陥画素の他に、意図的に形成している瞳分割用画素についても、出力信号の補正を、画質劣化を防いで精度良く行うことができる。
図9は、図1に示されるデジタルカメラにおける固体撮像素子5の第二の変形例を示す平面模式図である。
図9に示される固体撮像素子は、図2に示される固体撮像素子5を45度回転させたものに相当する。この固体撮像素子は、3種類の画素(R画素、G画素、B画素)を含み、この3種類の画素のうちのG画素が、その周囲のR画素及びB画素の配置が異なる2種類の属性の画素(Gr画素、Gb画素)に分けられる点は、図2に示される固体撮像素子5と同じである。
固体撮像素子5が図9に示される固体撮像素子に変更された場合でも、欠陥画素補正部19の処理内容は同じである。
例えば、図9において○印で囲ったGb画素を補正対象画素とすると、欠陥画素補正部19は、このGb画素とその周囲の画素が配置される図9において破線で囲ったエリアをエッジ判定エリアとし、このエッジ判定エリア内にエッジ部がかかるか否かを判定する。
次に、欠陥画素補正部19は、エッジ判定エリアにエッジ部がかかっていると判定した場合は、補正対象画素であるGb画素の出力信号を、当該Gb画素に十字方向に近接する当該Gb画素と同一種類かつ別属性のGr画素(図9において△印を付したGr画素)の出力信号を用いて補正する。また、欠陥画素補正部19は、エッジ判定エリアにエッジ部がかかっていないと判定した場合は、補正対象画素であるGb画素の出力信号を、当該Gb画素に×字方向に近接する当該Gb画素と同一種類かつ同一属性のGb画素(図9において□印を付したGr画素)の出力信号を用いて補正する。
このように、図9に示されるような画素配置の固体撮像素子であっても、エッジ判定エリアにエッジ部がかかっているときには、補正対象画素との距離が近い当該補正対象画素と同一種類かつ別属性の画素を用いて補正を行い、エッジ判定エリアにエッジ部がかかっていないときには、補正対象画素との出力レベル差が少ない当該補正対象画素と同一種類かつ同一属性の画素を用いて補正を行うことで、低周波領域と高周波領域が混在する被写体でかつゴースト光源を含む被写体であっても、欠陥画素補正後の画質劣化を最小限に抑えることができる。
図10は、図1に示されるデジタルカメラにおける固体撮像素子5の第三の変形例を示す平面模式図である。
図10に示される固体撮像素子は、行方向Xとこれに直交する列方向Yに二次元状(図10の例では正方格子状)に配置された図10においてハッチングを付してある複数の画素(101,102,103,104)を含む第一の画素群と、第一の画素群に含まれる複数の画素と同数かつ同一配列で配列された複数の画素(105,106,107,108)を含む第二の画素群と備える。
固体撮像素子は、第一の画素群に含まれる各画素に対して同一の方向(図10の例では右下方向)に、第二の画素群に含まれる画素の1つが隣接して配置されるよう、第一の画素群と第二の画素群とが互いに斜め45度ずれて配置されたものとなっている。
第一の画素群と第二の画素群は、それぞれ、赤色光を検出するR画素(図10では“R”の文字を付してある)と、青色光を検出するB画素(図10では“B”の文字を付してある)と、緑色光を検出するG画素(図10では“Gr,Gb”の文字を付してある)の検出波長域の異なる3種類の画素を含み、これら3種類の画素がベイヤー状に配置されている。
第一の画素群において、正方格子配置された複数の画素のうち市松位置にはG画素(103、104)が配置され、残りの市松位置には奇数行にR画素101が配置され、偶数行にB画素102が配置されている。
第一の画素群に含まれる緑色光を検出するG画素は、当該G画素の周囲にある当該G画素とは異なる種類のR画素101及びB画素102の配置が異なる2種類の属性の画素(G画素103、G画素104)に分けられる。
以下では、左右にB画素102のあるG画素103のことをGb画素103と言い、左右にR画素101のあるG画素104のことをGr画素104と言う。Gb画素103とGr画素104は、その周囲のR画素101及びB画素102の配置が異なるため、固体撮像素子に斜め光が入射した場合には、Gb画素103の出力信号とGr画素104の出力信号との間には、入射光の入射方向に依存する混色に起因したレベル差が発生する。
第二の画素群に含まれる緑色光を検出するG画素は、図10に示されるように、当該G画素の周囲にある当該G画素とは異なる種類のR画素105及びB画素106の配置が異なる2種類の属性の画素(G画素107、G画素108)に分けられる。
以下では、左右にB画素106のあるG画素107のことをGb画素107と言い、左右にR画素105のあるG画素108のことをGr画素108と言う。Gb画素107とGr画素108は、その周囲のR画素105及びB画素106の配置が異なるため、固体撮像素子に斜め光が入射した場合には、Gb画素107の出力信号とGr画素108の出力信号との間には、入射光の入射方向に依存する混色に起因したレベル差が発生する。
この固体撮像素子は、第一画素群と第二画素群とから独立に撮像画像信号を読みだすことが可能であり、第一の画素群と第二の画素群とで独立して露光時間を制御することも可能になっている。
固体撮像素子5を図10に示される固体撮像素子に変更したデジタルカメラは、静止画撮影モードとして、高解像度モード、高感度モード、広ダイナミックレンジモードの3種類のモードを設定可能になっている。
高解像度モードでは、システム制御部11が、第一の画素群と第二の画素群の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部17が、第一の画素群と第二の画素群から得られた全ての信号を用いて、少なくとも当該全ての信号の数と同じ画素数を持つ高解像度の撮像画像データを生成する。この撮像画像データは圧縮後、記録媒体21に記録される。
高感度モードでは、システム制御部11が、第一の画素群と第二の画素群の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部17が、第一の画素群の各画素から得られた信号と、当該各画素の右下に隣接する第二の画素群の画素から得られた信号とを合成し、合成後の信号を用いて高感度の撮像画像データを生成する。この撮像画像データは圧縮後、記録媒体21に記録される。
広ダイナミックレンジモードでは、システム制御部11が、第一の画素群の露光時間を、第二の画素群の露光時間よりも短くして撮像を実施する。デジタル信号処理部17では、第一の画素群から得られた撮像画像信号から短時間露光撮像画像データを生成し、第二の画素群から得られた撮像画像信号から長時間露光撮像画像データを生成し、これら短時間露光撮像画像データと長時間露光撮像画像データを合成することで、ダイナミックレンジを拡大した広ダイナミックレンジの撮像画像データを生成する。この広ダイナミックレンジの撮像画像データは圧縮後、記録媒体21に記録される。
固体撮像素子5を図10に示される固体撮像素子に変更したデジタルカメラの欠陥画素補正部19は、第一の画素群に対しては、図5や図6において説明した方法で欠陥画素補正を行う。
例えば、図10において○印を付したGb画素103が補正対象画素であった場合、欠陥画素補正部19は、第一の画素群において当該Gb画素103を中心とする5行×5列=25個の画素の配置されるエリアをエッジ判定エリアとし、当該エッジ判定エリアに被写体のエッジ部がかかるか否かを判定する。
当該エッジ判定エリアにエッジ部がかかっていた場合、欠陥画素補正部19は、○印を付したGb画素103の出力信号を、当該Gb画素103に×字方向で近接する4つのGr画素104(図10において△印を付したGr画素)の出力信号を用いて補正する。当該エッジ判定エリアにエッジ部がかかっていない場合、欠陥画素補正部19は、○印を付したGb画素103の出力信号を、当該Gb画素103に十字方向で近接する4つのGb画素103(図10において□印を付したGb画素)の出力信号を用いて補正する。
欠陥画素補正部19は、第一の画素群から出力された撮像画像信号に対する欠陥画素補正を終了した後、第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の第一の画素群の画素の出力信号を用いて補正する。
例えば、図10における○印を付した第一の画素群のGb画素103と、○印を付した第二画素群のGb画素107が欠陥画素である場合について説明する。この場合、高解像度モード又は高感度モードにおいて、欠陥画素補正部19は、第一の画素群に対する欠陥画素補正を終了した後、○印を付した第二画素群のGb画素107の出力信号を、当該Gb画素107に隣接する同一種類の第一の画素群の画素(Gb画素103とGr画素104)のうち、隣接する第二の画素群の画素の配置が、補正対象画素のGb画素107に隣接する第一の画素群の画素の配置と同じになっているGr画素104の出力信号で置き換える。
また、広ダイナミックレンジモードにおいては、欠陥画素補正部19は、第一の画素群に対する欠陥画素補正を終了した後、第一の画素群と第二の画素群の露光時間比(第二の画素群の露光時間/第一の画素群の露光時間)の情報をシステム制御部11から取得し、○印を付した第二画素群のGb画素107の出力信号を、当該Gb画素107に隣接するGr画素104の出力信号に当該露光時間比を乗じた値に置き換える。
図10に示される固体撮像素子は、第一の画素群の各画素に当該各画素と同一種類の第二の画素群の画素が隣接して配置される構成であるため、第一の画素群と第二の画素群で互いに隣接する同一種類の画素の出力信号の相関性は高い。このため、第一の画素群に対してはエッジ判定の結果に応じて第一の補正処理か第二の補正処理を行って欠陥画素補正を行い、第二の画素群に対しては、補正後の第一の画素群からの撮像画像信号を用いて欠陥画素の出力信号の補正を行うことで、補正精度は維持しつつ、欠陥画素補正に要する時間を短縮することができる。
なお、欠陥画素補正部19は、第二の画素群の補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の画素のうち、隣接する第二の画素群の画素の配置が、当該補正対象画素に隣接する第一の画素群の画素の配置と同じになっていない画素の出力信号を用いて補正したり、当該補正対象画素に隣接する当該補正対象画素と同一種類の2つの画素の両方の出力信号を用いて補正したりすることも可能である。
前述したように、第二の画素群の補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の画素のうち、隣接する第二の画素群の画素の配置が、当該補正対象画素に隣接する第一の画素群の画素の配置と同じになっている画素の出力信号を用いて補正する場合には、斜め光による混色の影響度が同じ画素同士の置換により補正を行うことになるため、補正後の画質劣化を最小限に抑えられるという利点がある。
図11は、図1に示されるデジタルカメラにおける固体撮像素子5の第四の変形例を示す平面模式図である。
図11に示される固体撮像素子は、第一の画素群と第二の画素群が列方向Yに互いにずれて配置されている点を除いては、図10に示される固体撮像素子と同じ構成である。
固体撮像素子5を図11に示される固体撮像素子に変更したデジタルカメラは、固体撮像素子5を図10に示される固体撮像素子に変更したデジタルカメラと同様に、静止画撮影モードとして、高解像度モード、高感度モード、広ダイナミックレンジモードの3種類のモードを設定可能になっている。
また、固体撮像素子5を図11に示される固体撮像素子に変更したデジタルカメラの欠陥画素補正部19は、固体撮像素子5を図10に示される固体撮像素子に変更したデジタルカメラと同様に、第一の画素群に対しては、図5や図6において説明した方法で欠陥画素補正を行う。
例えば、図11において○印を付した第一の画素群のGb画素103が補正対象画素であった場合、欠陥画素補正部19は、第一の画素群において当該Gb画素103を中心とする5行×5列=25個の画素の配置されるエリア(破線で囲ったエリア)をエッジ判定エリアとし、当該エッジ判定エリアに被写体のエッジ部がかかるか否かを判定する。
当該エッジ判定エリアにエッジ部がかかっていた場合、欠陥画素補正部19は、○印を付したGb画素103の出力信号を、当該Gb画素103に×字方向で近接する4つのGr画素104(図11において△印を付したGr画素)の出力信号を用いて補正する。当該エッジ判定エリアにエッジ部がかかっていない場合、欠陥画素補正部19は、○印を付したGb画素103の出力信号を、当該Gb画素103に十字方向で近接する4つのGb画素103(図11において□印を付したGb画素)の出力信号を用いて補正する。
欠陥画素補正部19は、第一の画素群から出力された撮像画像信号に対する欠陥画素補正を終了した後、第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の第一の画素群の画素の出力信号を用いて補正する。
例えば、図11における○印を付した第一の画素群のGb画素103と、○印を付した第二画素群のGb画素107が欠陥画素である場合を説明する。
この場合、高解像度モード又は高感度モードにおいて、欠陥画素補正部19は、第一の画素群に対する欠陥画素補正を終了した後、○印が付された第二画素群のGb画素107の出力信号を、当該Gb画素107に隣接する同一種類の第一の画素群の画素(Gb画素103)の出力信号で置き換える。また、広ダイナミックレンジモードにおいて、欠陥画素補正部19は、第一の画素群に対する欠陥画素補正を終了した後、第一の画素群と第二の画素群の露光時間比(第二の画素群の露光時間/第一の画素群の露光時間)の情報をシステム制御部11から取得し、○印が付された第二画素群のGb画素107の出力信号を、当該Gb画素107に隣接するGb画素103の出力信号に当該露光時間比を乗じた値に置き換える。
このように、図11に示される画素配置であっても、欠陥画素補正を、画質劣化を最小限に抑えながら高速に行うことができる。
図12は、図1に示されるデジタルカメラにおける固体撮像素子5の第五の変形例を示す平面模式図である。
図12に示される固体撮像素子は、第一の画素群におけるG画素の一部(図12において太線で囲ったGb画素)と、当該一部の画素の左上方向において隣接する当該一部の画素と同一種類のG画素(図12において太線で囲ったGr画素)とが、デジタルカメラに搭載される撮影レンズ1の異なる瞳領域を通過した光を受光する瞳分割用の画素に変更されている点を除いては、図10に示される固体撮像素子と同じ構成である。
図12に示される固体撮像素子を図1に示されるデジタルカメラに搭載する場合、瞳分割用画素も欠陥画素として扱い、メインメモリ16にアドレス及び種類の情報を記憶しておくことで、製造工程上発生する欠陥画素の他に、意図的に形成している瞳分割用画素についても、出力信号の補正を、画質劣化を防ぎながら高速に行うことができる。
また、瞳分割用画素は、固体撮像素子に多数組設けられるものであるため、第一の画素群に対しては図5,6において説明した方法で画質劣化が最小限になる欠陥画素補正を行い、第二の画素群に対しては、第一の画素群の補正後の撮像画像信号を用いた速度優先の簡易な処理によって欠陥画素補正を行うことで、瞳分割用画素を有する固体撮像素子における、撮像画質の向上と欠陥画素補正に要する時間の大幅短縮とを実現することができる。
なお、図12に示される固体撮像素子は、第一の画素群の一部のGb画素103と、当該一部のGb画素に対して右下方向に隣接する第二の画素群のGb画素107とにより瞳分割用画素が構成されるものであってもよい。
ただし、この場合、瞳分割用画素を構成する第一の画素群の画素に隣接する第二の画素群の画素の配置と、瞳分割用画素を構成する第二の画素群の画素に隣接する第一の画素群の画素の配置とが互いに異なるものになる。このため、瞳分割用画素を構成する2つの画素の出力信号の相関性が低下し、位相差情報の検出精度が低下するおそれがある。
図12に示されるように、瞳分割用画素を構成する第一の画素群の画素に隣接する第二の画素群の画素の配置と、瞳分割用画素を構成する第二の画素群の画素に隣接する第一の画素群の画素の配置とが互いに同じになるように瞳分割用画素を構成することで、瞳分割用画素を構成する2つの画素の出力信号の相関性を高めることができ、位相差情報の検出精度の向上を図ることができる。
以上の説明では、固体撮像素子が検出波長域の異なる3種類の画素を有するものとなっているが、検出波長域の異なる4種類以上の画素を有するものであってもよい。また、検出波長域についても、原色光を前提としているが、補色光であってもよい。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された撮像装置は、二次元状に配列された検出波長域の異なる少なくとも3種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子と、前記固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正部とを有する撮像装置であって、前記少なくとも3種類の画素のうちの1種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる2種類の属性の画素に分けられ、前記欠陥画素補正部は、補正対象画素が前記2種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定し、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行い、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であるものである。
開示された撮像装置は、前記固体撮像素子は、二次元状に配列された前記少なくとも3種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正するものである。
開示された撮像装置は、前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記1種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成され、前記欠陥画素補正部は、前記瞳分割用の画素も補正対象画素とするものである。
開示された撮像装置は、前記第一の画素群の露光時間を前記第二の画素群の露光時間よりも短くした撮像を前記固体撮像素子に行わせる撮像制御部と、前記撮像によって前記第一の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データと、前記撮像によって前記第二の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データとを合成した画像データを生成する画像処理部とを備えるものである。
開示された撮像装置は、前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が2つある場合には、当該2つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行うものである。
開示された撮像装置は、前記欠陥画素補正部は、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正するものである。
開示された撮像装置は、前記少なくとも3種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、前記緑色光を検出する画素が、前記2種類の属性に分けられる画素であるものである。
開示された撮像装置は、前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列されるものである。
開示された欠陥画素補正方法は、二次元状に配列された検出波長域の異なる少なくとも3種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正方法であって、前記少なくとも3種類の画素のうちの1種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる2種類の属性の画素に分けられるものであり、補正対象画素が前記2種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定するエッジ判定ステップと、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行う補正処理ステップとを備え、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であるものである。
開示された欠陥画素補正方法は、前記固体撮像素子は、二次元状に配列された前記少なくとも3種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、前記第一の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第一の欠陥画素補正ステップと、前記第一の欠陥画素補正ステップの終了後、前記第二の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第二の欠陥画素補正ステップとを含み、前記第一の欠陥画素補正ステップは、前記エッジ判定ステップと前記補正処理ステップを含み、前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正するものである。
開示された欠陥画素補正方法は、前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記1種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成されるものであり、前記第一の欠陥画素補正ステップ及び前記第二の欠陥画素補正ステップでは、前記瞳分割用の画素も補正対象画素とするものである。
開示された欠陥画素補正方法は、前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が2つある場合には、当該2つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行うものである。
開示された欠陥画素補正方法は、前記補正処理ステップでは、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正するものである。
開示された欠陥画素補正方法は、前記少なくとも3種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、前記緑色光を検出する画素が、前記2種類の属性に分けられる画素であるものを含む。
開示された欠陥画素補正方法は、前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列されるものを含む。
本発明によれば、欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供することができる。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2011年2月28日出願の日本出願(特願2011−43392)に基づくものであり、その内容はここに参照として取り込まれる。
5 固体撮像素子
19 欠陥画素補正部
51 B画素
52 R画素
53 Gb画素
54 Gr画素

Claims (15)

  1. 二次元状に配列された検出波長域の異なる少なくとも3種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子と、前記固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正部とを有する撮像装置であって、
    前記少なくとも3種類の画素のうちの1種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる2種類の属性の画素に分けられ、
    前記欠陥画素補正部は、補正対象画素が前記2種類の属性の画素のいずれかである場合に、前記補正対象画素を中心として前記補正対象画素と同一種類かつ同一属性の画素を含む画素エリア内に被写体のエッジ部がかかっているか否かを判定し、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行い、
    前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、
    前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記固体撮像素子は、二次元状に配列された前記少なくとも3種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、
    前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正する撮像装置。
  3. 請求項2記載の撮像装置であって、
    前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記1種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成され、
    前記欠陥画素補正部は、前記瞳分割用の画素も補正対象画素とする撮像装置。
  4. 請求項2又は3記載の撮像装置であって、
    前記第一の画素群の露光時間を前記第二の画素群の露光時間よりも短くした撮像を前記固体撮像素子に行わせる撮像制御部と、
    前記撮像によって前記第一の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データと、前記撮像によって前記第二の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データとを合成した画像データを生成する画像処理部とを備える撮像装置。
  5. 請求項2〜4のいずれか1項記載の撮像装置であって、
    前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が2つある場合には、当該2つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行う撮像装置。
  6. 請求項1〜5のいずれか1項記載の撮像装置であって、
    前記欠陥画素補正部は、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正する撮像装置。
  7. 請求項1〜6のいずれか1項記載の撮像装置であって、
    前記少なくとも3種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、
    前記緑色光を検出する画素が、前記2種類の属性に分けられる画素である撮像装置。
  8. 請求項7記載の撮像装置であって、
    前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列される撮像装置。
  9. 二次元状に配列された検出波長域の異なる少なくとも3種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正方法であって、
    前記少なくとも3種類の画素のうちの1種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる2種類の属性の画素に分けられるものであり、
    補正対象画素が前記2種類の属性の画素のいずれかである場合に、前記補正対象画素を中心として前記補正対象画素と同一種類かつ同一属性の画素を含む画素エリア内に被写体のエッジ部がかかっているか否かを判定するエッジ判定ステップと、
    前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行う補正処理ステップとを備え、
    前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、
    前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である欠陥画素補正方法。
  10. 請求項9記載の欠陥画素補正方法であって、
    前記固体撮像素子は、二次元状に配列された前記少なくとも3種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、
    前記第一の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第一の欠陥画素補正ステップと、前記第一の欠陥画素補正ステップの終了後、前記第二の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第二の欠陥画素補正ステップとを含み、
    前記第一の欠陥画素補正ステップは、前記エッジ判定ステップと前記補正処理ステップを含み、
    前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正する欠陥画素補正方法。
  11. 請求項10記載の欠陥画素補正方法であって、
    前記固体撮像素子は、撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記1種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成されるものであり、
    前記第一の欠陥画素補正ステップ及び前記第二の欠陥画素補正ステップでは、前記瞳分割用の画素も補正対象画素とする欠陥画素補正方法。
  12. 請求項10又は11記載の欠陥画素補正方法であって、
    前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が2つある場合には、当該2つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行う欠陥画素補正方法。
  13. 請求項9〜12のいずれか1項記載の欠陥画素補正方法であって、
    前記補正処理ステップでは、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正する欠陥画素補正方法。
  14. 請求項9〜13のいずれか1項記載の欠陥画素補正方法であって、
    前記少なくとも3種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、
    前記緑色光を検出する画素が、前記2種類の属性に分けられる画素である欠陥画素補正方法。
  15. 請求項14記載の欠陥画素補正方法であって、
    前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列されるものである欠陥画素補正方法。
JP2013502146A 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法 Active JP5740465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013502146A JP5740465B2 (ja) 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011043392 2011-02-28
JP2011043392 2011-02-28
PCT/JP2011/075736 WO2012117616A1 (ja) 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法
JP2013502146A JP5740465B2 (ja) 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法

Publications (2)

Publication Number Publication Date
JPWO2012117616A1 JPWO2012117616A1 (ja) 2014-07-07
JP5740465B2 true JP5740465B2 (ja) 2015-06-24

Family

ID=46757565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013502146A Active JP5740465B2 (ja) 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法

Country Status (4)

Country Link
US (1) US9729805B2 (ja)
JP (1) JP5740465B2 (ja)
CN (1) CN103404123B (ja)
WO (1) WO2012117616A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2831698C (en) 2007-04-11 2015-11-03 Red.Com, Inc. Video camera
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
JP6046927B2 (ja) * 2011-08-09 2016-12-21 キヤノン株式会社 画像処理装置及びその制御方法
JP5604700B2 (ja) 2012-10-29 2014-10-15 弘一 関根 動き検出用撮像装置、動き検出カメラおよび動き検出システム
JP6006618B2 (ja) * 2012-11-12 2016-10-12 株式会社東芝 赤外線固体撮像素子の検査装置および検査方法
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
WO2014103852A1 (ja) * 2012-12-28 2014-07-03 富士フイルム株式会社 画素補正方法及び撮像装置
JP2016508700A (ja) 2013-02-14 2016-03-22 レッド.コム,インコーポレイテッド ビデオカメラ
JP6180882B2 (ja) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理装置、および電子機器
JP6326961B2 (ja) * 2014-05-21 2018-05-23 株式会社ソシオネクスト 欠陥画素補正方法及び画像処理装置
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
WO2017073401A1 (ja) * 2015-10-29 2017-05-04 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
JP2017126898A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 撮像装置及び映像処理装置
CN106398183B (zh) * 2016-08-31 2018-12-07 上海分尚网络科技有限公司 一种插花装置的制备方法
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
WO2019076278A1 (en) 2017-10-19 2019-04-25 Zhejiang Dahua Technology Co., Ltd. METHODS AND DEVICES FOR PROCESSING IMAGES
JP2020022135A (ja) * 2018-08-03 2020-02-06 オリンパス株式会社 欠陥画素補正装置、撮像装置、欠陥画素補正方法
JP7246176B2 (ja) * 2018-12-12 2023-03-27 キヤノン株式会社 撮像装置
TWI753410B (zh) * 2020-04-24 2022-01-21 晶相光電股份有限公司 影像感測系統以及缺陷感光元件偵測以及修正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304231A (ja) * 2005-04-25 2006-11-02 Eastman Kodak Co 画素欠陥補正装置
JP2008278324A (ja) * 2007-05-01 2008-11-13 Sharp Corp 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器
JP2010166236A (ja) * 2009-01-14 2010-07-29 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP2011024246A (ja) * 2009-06-15 2011-02-03 Konica Minolta Opto Inc 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336605A (ja) 1994-06-13 1995-12-22 Matsushita Electric Ind Co Ltd 画素欠陥補正装置
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP4935162B2 (ja) * 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP4289419B2 (ja) * 2007-05-07 2009-07-01 ソニー株式会社 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム
JP5311916B2 (ja) * 2008-07-31 2013-10-09 株式会社エルモ社 撮像装置
JP2010068329A (ja) 2008-09-11 2010-03-25 Toshiba Corp 撮像装置
JP5306081B2 (ja) 2009-07-01 2013-10-02 株式会社東芝 信号処理回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304231A (ja) * 2005-04-25 2006-11-02 Eastman Kodak Co 画素欠陥補正装置
JP2008278324A (ja) * 2007-05-01 2008-11-13 Sharp Corp 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器
JP2010166236A (ja) * 2009-01-14 2010-07-29 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP2011024246A (ja) * 2009-06-15 2011-02-03 Konica Minolta Opto Inc 撮像装置

Also Published As

Publication number Publication date
CN103404123A (zh) 2013-11-20
JPWO2012117616A1 (ja) 2014-07-07
US9729805B2 (en) 2017-08-08
WO2012117616A1 (ja) 2012-09-07
CN103404123B (zh) 2017-10-20
US20140063297A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
JP5528627B2 (ja) 撮像装置、撮像素子及び感度差補正方法
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP6027777B2 (ja) 画素情報管理装置およびそれを用いた撮像装置
JP2010062640A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP4253634B2 (ja) デジタルカメラ
JP5608820B2 (ja) 撮像装置及び合焦制御方法
JPWO2013046828A1 (ja) 画像処理装置、方法、プログラムおよび撮像装置
JP5539584B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5526287B2 (ja) 撮像装置及び撮像方法
US20090167917A1 (en) Imaging device
JP2008301481A (ja) 撮像装置
JP2004320128A (ja) 欠陥画素補正装置
JP2007274504A (ja) デジタルカメラ
JP5634614B2 (ja) 撮像素子及び撮像装置
JP5446955B2 (ja) 撮像装置
JP5359553B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2020022135A (ja) 欠陥画素補正装置、撮像装置、欠陥画素補正方法
JPH11262025A (ja) 画像入力装置および画像補正方法
JP2005210164A (ja) 欠陥画素補正装置
JP2005210164A5 (ja)
JP5008122B2 (ja) 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置
JP5968145B2 (ja) 画像処理装置及びその制御方法
JP4911479B2 (ja) 信号処理方法及びその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150427

R150 Certificate of patent or registration of utility model

Ref document number: 5740465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250