JP4583680B2 - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP4583680B2 JP4583680B2 JP2001301643A JP2001301643A JP4583680B2 JP 4583680 B2 JP4583680 B2 JP 4583680B2 JP 2001301643 A JP2001301643 A JP 2001301643A JP 2001301643 A JP2001301643 A JP 2001301643A JP 4583680 B2 JP4583680 B2 JP 4583680B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- determination target
- data
- defective
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はビデオカメラ等に用いられる固体撮像素子を備えた固体撮像装置に係り、特に、固体撮像素子の欠陥画素の出力信号を補正する補正装置を備えた固体撮像装置に関する。
【０００２】
【従来の技術】
図１０は、例えば特開平５−４１８６８号公報に記載されている従来の欠陥画素補正機能を備える固体撮像装置の構成図である。この従来の固体撮像装置では、画像情報がレンズ１０１を通し撮像素子１０２で撮像される。この撮像素子１０２は、フレーム読み出し駆動の撮像素子であり、撮像された画像信号は、前処理部１０３で前処理された後、Ａ／Ｄ変換器１０４でデジタル信号に変換される。
【０００３】
このデジタル信号は、１Ｈ遅延回路１０５で１水平走査期間だけ遅延され、更に１Ｈ遅延回路１０６で１水平走査期間（都合、２水平走査期間）遅延される。
Ａ／Ｄ変換器１０４から出力されたデジタル画像信号と、１水平走査期間だけ延されたデジタル画像信号と、２水平走査期間だけ遅延されたデジタル画像信号は、色信号処理回路１０７に入力されて色信号が生成されると共に、夫々、デジタルローパスフィルタ１０８、１０９、１１０に入力されてフィルタ処理される。
【０００４】
フィルタ処理された３種の画像信号は、欠陥画素検出回路１１１に入力され、ここで閾値１１２と比較されて欠陥画素が検出される。欠陥画素補正回路１１３は、フィルタ処理された３種の画像信号と、欠陥画素検出回路１１１からの欠陥画素検出信号とを取り込み、欠陥画素の画素信号を補正してから輝度信号処理回路１１４に画像信号を出力し、この輝度信号処理回路１１４が輝度信号を生成する様になっている。
【０００５】
この従来の欠陥画素検出回路１１１では、画像信号の中から、判定対象画素とそれに隣接する周辺画素の画素データを抽出し、これらの画素データに対し加減算処理や比較処理を行うことで突出量（判定対象画素の画素データと周りの画素データとの差違）を算出し、この突出量と閾値１１２とを比較することで、判定対象画素が欠陥画素であるか否かを判定している。
【０００６】
【発明が解決しようとする課題】
上述した従来の欠陥画素補正装置は、フレーム読み出し駆動の固体撮像素子１０２から読み出した画素データのうち、各フィルタ１０８、１０９、１１０から出力される垂直２画素のデータを加算し、更に水平２画素のデータを加算して輝度信号を得た後に、欠陥画素と判定した画素データを周辺画素データを用いて補正している。このため、欠陥画素の影響が周辺画素の画素データに広がり、正しく欠陥画素を検出し欠陥画素の画素データを補正することができないという問題がある。
【０００７】
本発明の目的は、欠陥画素の影響が周辺画素に広がることなく欠陥画素の出力信号を補正することができる欠陥画素補正機能を備えた固体撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記判定対象画素の画素データが前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データから第１の閾値以上の差があり、且つ、前記判定対象画素に隣接する画素であって前記判定対象画素と異なる異種フィルタ画素の画素データが前記周辺画素のうち前記隣接する画素と同一フィルタ画素の画素データと第２閾値以下の差が有る場合に前記判定対象画素を欠陥画素と判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素検出手段は、前記第１の閾値以上の差が有るか否かを判定する場合、前記周辺画素のうち画素データが最大の前記同一フィルタ画素と前記判定対象画素の画素データとを比較することを特徴とする。
【００１１】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記判定対象画素の画素データが前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データから第１の閾値以上の差があり、且つ、前記判定対象画素に隣接する画素であって前記判定対象画素と異なる異種フィルタ画素の画素データが前記周辺画素のうち前記隣接する画素と同一フィルタ画素の画素データと第２閾値以下の差が有る場合に前記判定対象画素を欠陥画素と判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素検出手段は、前記第２閾値以上の差が有るか否かを判定する場合、前記周辺画素のうち画素データが少なくとも最大値以外の前記同一フィルタ画素と前記隣接する画素の画素データを比較することを特徴とする。この構成により、欠陥のレベルに応じて閾値を任意に設定することで欠陥画素の位置を特定し、補正することができる。
【００１２】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとから前記判定対象画素が欠陥画素であるか否かを判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素補正手段は、前記判定対象画素が欠陥画素と判定された場合、前記判定対象画素の画素データを、前記周辺画素のうちの前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとの差分、および、前記周辺画素のうちの異種フィルタ画素の画素データと前記隣接する画素の画素データとの差分により補正することを特徴とする。この構成により、欠陥のレベルに応じて閾値を任意に設定し、欠陥画素に隣接している画素の画素データが周りから突出しているかの判定をすることができる。
【００１４】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとから前記判定対象画素が欠陥画素であるか否かを判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素補正手段は、前記判定対象画素が欠陥画素と判定された場合、前記判定対象画素の画素データを、前記周辺画素のうちの前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとの差分、および、前記周辺画素のうちの異種フィルタ画素の画素データと前記隣接する画素の画素データとの差分により補正することを特徴とする。この構成により、判定対象画素およびそれに隣接する画素の突出量に応じて閾値周辺にある場合、これらの突出量に応じて補正値を滑らかに変化させることができ、ノイズ等の影響による欠陥画素の点滅を軽減することができる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、レンズ１と、このレンズ１の焦点位置に配置されたフレーム読み出し駆動の固体撮像素子（以下、単に「固体撮像素子」という。）２と、固体撮像素子２の出力信号を前処理する前処理回路（この前処理回路は、信号をサンプルアンドホールドするＣＤＳ（Correlated Double Sampling）回路と、自動利得制御を行うＡＧＣ（Automatic Gain Control）回路を含む。）３と、前処理回路３から出力されるアナログ信号をデジタル信号に変換するＡＤ変換回路４とを備える。
【００１８】
固体撮像装置は更に、ＡＤ変換回路４の出力信号（以下、信号（ａ））を１水平走査期間遅延させる１Ｈ遅延回路５と、この１Ｈ遅延回路５の出力信号（以下、信号（ｂ））を更に１水平走査期間遅延させる１Ｈ遅延回路６（この回路６の出力信号を、以下、信号（ｃ）とする。）と、信号（ａ）及び信号（ｂ）及び信号（ｃ）と閾値７とを入力して欠陥画素を後述する様に検出する欠陥画素検出回路８と、この欠陥画素検出回路８の検出結果と信号（ａ）、信号（ｂ）、信号（ｃ）とを入力して欠陥画素の出力信号を後述する様に補正する欠陥画素補正回路９とを備える。
【００１９】
欠陥画素補正回路９からは、信号（ｄ）、信号（ｅ）、信号（ｆ）が出力される。信号（ｄ）は信号（ａ）のうち欠陥画素の画素データを補正した信号（欠陥画素が無い場合には信号（ａ）と同じ）であり、信号（ｅ）、信号（ｆ）も、信号（ｄ）と同様に、信号（ｂ）、信号（ｃ）を補正した信号である。
【００２０】
本実施形態の固体撮像装置では、信号（ｄ）、信号（ｅ）、信号（ｆ）から輝度信号を生成するために、加算回路１０と、１Ｈ遅延回路１１と、３つのデジタルローパスフィルタ１２、１３、１４と、輝度信号処理回路１５を備える。
【００２１】
加算回路１０は、信号（ｄ）と信号（ｅ）とを加算して信号（ｇ）を出力する加算器１６と、信号（ｅ）と信号（ｆ）とを加算して信号（ｈ）を出力する加算器１７とを備える。１Ｈ遅延回路１１は、信号（ｈ）を入力として１水平走査期間遅延させた信号（ｉ）を出力し、ローパスフィルタ１２、１３、１４は、夫々、信号（ｇ）、信号（ｈ）、信号（ｉ）を入力とし、フィルタ処理後の信号を輝度信号処理回路１５に出力する。輝度信号処理回路１５はこれら３つのローパスフィルタ１２、１３、１４からの出力信号を取り込み、輝度信号を生成して出力する。
【００２２】
本実施形態の固体撮像装置では、信号（ｅ）、信号（ｆ）、信号（ｈ）から色信号を生成するために、加算回路１８と、遅延調整回路１９と、色信号処理回路２０とを備える。加算回路１８は、信号（ｅ）を遅延させた信号（ｊ）を出力する遅延手段２１と、信号（ｊ）と信号（ｆ）とを加算して信号（ｋ）を出力する加算器２２とを備える。
【００２３】
遅延調整回路１９は、信号（ｋ）を遅延させた信号（ｍ）を出力する遅延手段２３と、信号（ｍ）または信号（ｋ）のいずれか一方を選択した信号を信号（ｎ）として出力するセレクタ２４とを備える。色信号処理回路２０は、信号（ｅ）と信号（ｆ）とを加算した加算回路１０の一方の出力信号（ｈ）と、信号（ｎ）とを取り込み、色信号を生成して出力する。
【００２４】
以下、先ず、固体撮像装置の全体動作について述べる。図２は、固体撮像素子２の説明図である。本実施形態の固体撮像素子２の各画素は、イエロー（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）、グリーン（Ｇ）の各色フィルタを通して撮像を行う。この図２に示す色フィルタを通すことで、図１に示す信号（ａ）、信号（ｂ）、信号（ｃ）は、図３に示す様な信号となる。即ち、３ライン目が固体撮像素子２から出力されているときは、信号（ａ）は、シアン（Ｃｙ）イエロー（Ｙｅ）シアン（Ｃｙ）イエロー（Ｙｅ）…の画素データが並ぶ信号となり、１水平走査期間だけ遅延された信号（ｂ）は、マゼンダ（Ｍｇ）グリーン（Ｇ）マゼンダ（Ｍｇ）グリーン（Ｇ）…の画素データが並ぶ信号となる。
【００２５】
欠陥画素補正回路９から出力される信号（ｄ）、信号（ｅ）、信号（ｆ）は、欠陥画素が存在しない場合は、図４に示すように、図３と同じ信号となる。加算回路１０は、信号（ｄ）と信号（ｅ）を加算することにより、また、信号（ｅ）と信号（ｆ）とを加算することにより、
輝度信号Ｙ＝｛（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）｝×１／２
の生成に必要な（Ｃｙ＋Ｍｇ）、（Ｙｅ＋Ｇ）の信号を生成し、出力する。
【００２６】
加算回路１８では、色差信号の１つであるＲ−Ｙを生成する際に必要な信号（ｋ）すなわち（Ｍｇ＋Ｙｅ）、（Ｇ＋Ｃｙ）を、図５（イ）（ロ）に示す様に、信号（ｊ）及び信号（ｆ）から生成している。
【００２７】
遅延調整回路１９は、セレクタ２４を信号ＦＨ２（図２参照）で切り換え、信号（ｎ）として、信号（ｋ）そのもの或いは信号（ｋ）を遅延させた信号（ｍ）の一方を選択している。信号（ｋ）は、１ライン毎に（Ｙｅ＋Ｍｇ）と（Ｃｙ＋Ｇ）とが入れ替わってしまうため、１水平走査期間毎にハイレベルとローレベルを繰り返すライン選択信号ＦＨ２によりセレクタ２４を切り換えている。
【００２８】
１Ｈ遅延回路１１は、輝度信号処理回路１５での処理で垂直方向の輪郭強調信号を生成する際に３ライン分の信号が必要になるため、この１Ｈ遅延回路１１で信号（ｈ）を１水平走査期間だけ遅延させた信号（ｉ）を生成し、信号（ｇ）、信号（ｈ）に加え、信号（ｉ）も輝度信号処理回路１５に入力する。
【００２９】
輝度信号処理回路１５は、３ライン分の輝度信号すなわちローパスフィルタ１２、１３、１４の出力信号を取り込み、ローパスフィルタ１３の出力信号に対して、ガンマ補正、ゲイン調整、水平・垂直輪郭強調信号加算を行い、輝度信号Ｙとして出力する。
【００３０】
色信号処理回路２０は、遅延調整回路２４からの出力信号（ｎ）と、加算回路１０からの出力信号（ｈ）とから、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を次式に基づき生成し、
Ｒ−Ｙ＝（Ｍｇ＋Ｙｅ）−（Ｇ＋Ｃｙ）
Ｂ−Ｙ＝（Ｍｇ＋Ｃｙ）−（Ｇ＋Ｙｅ）
出力する。この色信号処理回路２０からは、色信号が、（Ｒ−Ｙ）、（Ｂ−Ｙ）、（Ｒ−Ｙ）、…と交互に出力される。
【００３１】
次に、固体撮像素子２に欠陥画素が存在する場合について説明する。欠陥画素が存在する場合、輝度信号中に、白点または黒点として画像欠陥が起きる。以下、白点となる欠陥画素の検出方法を図６を参照して説明する。
【００３２】
欠陥画素検出回路８は、図６に示す様に、判定対象とする画素Ｂと、それを除く周辺の同一フィルタ画素（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）を抽出し、さらに判定対象画素Ｂに隣接した異種フィルタ画素、すなわち枠２５内の画素（ａ２，ａ３，ｂ２，ｂ３，ｃ２）と、これら周辺の異種フィルタ画素（枠２５内の画素を除くａ１〜ａ８，ｂ１〜ｂ８，ｃ１〜ｃ７）を抽出する。これらの抽出された画素の出力データを用いて、判定対象とする画素Ｂが欠陥画素であるか否かの判定を行なう。
【００３３】
まず、判定対象画素が周辺画素に対してどのくらい突出しているのかを調べるため、判定対象画素Ｂとそれを除く周辺の同一フィルタ画素（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）の最大値との差分を計算し、この差分が所定の閾値ｔｈｗ１以上の場合、判定対象画素は突出している画素であると判定する。式で表すと次の判定式１に示す様になり、これを判定対象画素が欠陥であることの「第１条件」
〔判定対象画素の突出量の判定〕
|Ｂ−ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）|≧ｔｈｗ１ …（判定式１）
とする。尚、ｔｈｗの“ｗ”はホワイト（白）を表す。
【００３４】
次に、判定対象画素Ｂに隣接した異種フィルタ画素、すなわち枠２５内の画素（ａ２，ａ３，ｂ２，ｂ３，ｃ２）のそれぞれの画素が周辺画素に対してどのくらい突出しているのかを調べる。例えば、画素ａ２の突出量は自画素ａ２とそれを除く周辺の同一フィルタ画素（ａ１，ａ３，ａ５，ａ６，ａ７）のうちで最大値以外の画素（例えば、２番目に大きい画素）との差分を計算し、この差分が所定の閾値ｔｈｗ２以下の場合は、自画素ａ２は突出していないと判定する。
【００３５】
その他の画素（ａ３，ｂ２，ｂ３，ｃ２）についても同様にして突出量を調べ、枠２５内の画素（ａ２，ａ３，ｂ２，ｂ３，ｃ２）の中に突出した画素が一つも無いことを判定対象画素が欠陥であることの「第２条件」とする。
【００３６】
この第２条件は、次の判定式２で表される。
〔隣接画素の突出量の判定〕
｛｜ａ２−ｍａｘ２（ａ１，ａ３，ａ５，ａ６，ａ７）｜≦ｔｈｗ２｝ ＆
｛｜ａ３−ｍａｘ２（ａ２，ａ４，ａ６，ａ７，ａ８）｜≦ｔｈｗ２｝ ＆
｛｜ｂ２−ｍａｘ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｗ２｝ ＆
｛｜ｃ２−ｍａｘ２（ｃ１，ｃ３，ｃ５，ｃ６，ｃ７）｜≦ｔｈｗ２｝ ＆
｛｜ｂ３−ｍａｘ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｗ２｝
…（判定式２）
ここで、ｍａｘ２（）は、（）内の画素のうちで２番目に大きい画素である。
【００３７】
上記の「第１条件」と「第２条件」を共に満たしたとき、すなわち（判定式１）と（判定式２）が共に「真」であるとき、即ち、
〔欠陥画素の判定〕
（判定式１）∩（判定式２）＝真 （判定式３）
が成立するとき、判定対象画素Ｂを欠陥画素と判定し、この画素Ｂの出力データを後述するようにして補正する。
【００３８】
欠陥画素であるか否かの判定で難しいのは、その画素が欠陥画素であるのか、それとも画像情報中のエッジ部分（輪郭部分）を撮像した画素であるかの区別である。しかし、上述した本実施形態に係る欠陥画素の検出方法は、判定式３を用い、
「判定対象画素が突出している」
且つ
「判定対象画素に隣接している画素の中で、突出している画素が無い」
場合に、判定対象画素を欠陥画素と判定しているため、判定対象画素がエッジの一部であるか欠陥画素であるかの区別を容易に行うことが可能である。これを図７で説明する。
【００３９】
図７（イ）は画像情報中のエッジ部分にかかる画素の状態を示す図であり、図７（ロ）は欠陥画素の状態を示す図である。図中の“１”となっている画素は、前記「第１条件」または「第２条件」で突出していると判定された画素を示している。
【００４０】
図７（イ）において、エッジの場合は「判定対象画素に隣接した画素」の中に突出している画素（図中の“１”となっている画素）が存在するため、たとえ判定対象画素が突出していても、判定対象画素を欠陥画素と判定することはない。
しかし、図７（ロ）に示す様に、判定対象画素が孤立して突出している場合は、上記の判定式３により、この判定対象画素を欠陥画素であると判定でき、エッジの先端等と欠陥画素とを容易に区別することが可能である。
【００４１】
次に、欠陥画素の画素データの補正方法について説明する。欠陥画素のデータ補正は、本実施形態では、判定対象画素のデータ値と、それを除く周辺の同一フィルタ画素のデータとを用いて行う。例えば、図６において、判定対象画素Ｂが欠陥であると判定された場合、画素Ｂの補正値は、次の補正式１
補正値＝ｋ×ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）十（１−ｋ）×Ｂ
…（補正式１）
によって求められる。
【００４２】
但し、ｋは判定対象画素Ｂの突出量と判定対象画素Ｂに隣接する画素（枠２５内の画素）の突出量によって決定される係数（０≦ｋ≦１）である（以下、補正係数と呼ぶ）。
【００４３】
図８（イ）（ロ）は、それぞれ横軸を判定対象画素の突出量、判定対象画素に隣接する画素の突出量とした場合に、それらに応じて変化する係数ｋ１（０≦ｋ１≦１）、ｋ２（０≦ｋ２≦１）の特性を示している。これらの係数ｋ１、ｋ２と上記の補正式１における補正係数ｋとの関係は以下のようになっている。
【００４４】
ｋ＝ｍｉｎ（ｋ１，ｋ２） …（補正式２）
例えば図８（イ）（ロ）に示すＰ点は、「判定対象画素の突出量は閾値ｔｈｗ１よりもはるかに大きく、それに隣接する画素の突出量は閾値ｔｈｗ２近傍にある」場合を示している。この時は、ｋ１＝１、ｋ２＝０．５となり、このため、上記の補正式２によれば、ｋ＝０．５となる。
【００４５】
従って、この場合の欠陥画素Ｂのデータの補正値は、上記の補正式１により、
補正値＝０．５×ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）十０．５×Ｂ
となり、周辺画素の最大値と判定対象画素Ｂの値の中間値で補正される。
【００４６】
一方、図８（イ）（ロ）に示すＱ点は、「判定対象画素の突出量は閾値ｔｗｈ１よりもはるかに大きく、それに隣接する画素の突出量は閾値ｔｗｈ２よりもはるかに小さい」場合を示している。この時は、ｋ１＝１、ｋ２＝１となり、補正式２により、補正係数はｋ＝１となる。
【００４７】
従って、この場合の欠陥画素Ｂのデータの補正値は、上記の補正式１により、
補正値＝１×ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）十０×Ｂ
となり、周辺画素の最大値で補正されることになる。
【００４８】
以上の様に、本実施形態に係る固体撮像装置では、判定対象画素およびそれに隣接する画素の突出量が閾値周辺にある場合、これらの突出量に応じてデータの補正値を滑らかに変化させている。これにより、ノイズ等の影響により判定対象画素またはそれに隣接する画素の突出量が閾値をまたぎ、欠陥補正のオンオフを繰り返す場合には、欠陥の点滅（この例では、白の点滅）を軽減することが可能となる。
【００４９】
以上は、白の欠陥画素の検出とその画素データの補正方法について述べたが、黒の欠陥画素の検出とその補正方法も同様の原理で可能である。以下に、上記の判定式１、２、３、補正式１、２に対応する式を示す。
【００５０】
〔判定対象画素の突出量の判定〕
｜Ｂ−ｍｉｎ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）｜≧ｔｈｂ１ …（判定式１ｂ）
尚、ｔｈｂの“ｂ”はブラック（黒）を表す。
【００５１】
〔隣接画素の突出量の判定〕
｛｜ａ１−ｍｉｎ２（ａ１，ａ３，ａ５，ａ６，ａ７）｜≦ｔｈｂ２｝ ＆
｛｜ａ３−ｍｉｎ２（ａ２，ａ４，ａ６，ａ７，ａ８）｜≦ｔｈｂ２｝ ＆
｛｜ｂ２−ｍｉｎ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｂ２｝ ＆
｛｜ｃ２−ｍｉｎ２（ｃ１，ｃ３，ｃ５，ｃ６，ｃ７）｜≦ｔｈｂ２｝ ＆
｛｜ｂ３−ｍｉｎ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｂ２｝
…（判定式２ｂ）
但し、ここでｍｉｎ２（）は（）内の画素のうちで２番目に小さい画素を表している。
【００５２】
〔欠陥画素の判定〕
（判定式１ｂ）∩（判定式２ｂ）＝真 …（判定式３ｂ）
〔欠陥画素のデータ補正〕
補正値＝ｋ×ｍｉｎ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）＋（１−ｋ）×Ｂ
…（補正式１ｂ）
〔補正係数の補正〕
ｋ＝ｍｉｎ（ｋ１，ｋ２） …（補正式２ｂ）
【００５３】
本実施形態に係る固体撮像装置では、複数ラインの画素データを欠陥画素検出回路８が同時に取り込んでいるため、また、複数ラインの画素データを欠陥画素補正回路９が同時に取り込んでいるため、図９に示す垂直方向の複数ラインの判定対象画素に対し、上記の欠陥画素の判定処理を同時に並行して行い、上記の補正処理を同時に並行して行うことができる。これにより、輝度信号処理回路および色信号処理回路で使用する入力信号全てに対して欠陥画素を検出し補正することができる。
【００５４】
また、本実施形態では、固体撮像素子２から順次送られてくる画像信号（画素データ）から欠陥画素であるか否かをその都度判定し、データ補正を行う構成のため、欠陥画素がどの画素であるかを記憶しておくためのメモリが不要であり、コストを削減できると共に、固体撮像装置の動作中に新たに画素が故障した場合でも直ちに対処することが可能となる。
【００５５】
【発明の効果】
本発明によれば、欠陥画素の影響が周辺画素に広がることなく欠陥画素の出力信号を補正することができるので、固体撮像素子に欠陥画素が含まれている場合も欠陥画素が無い場合と同様の綺麗で違和感の無い画像を画面に表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像装置の構成図
【図２】本発明の一実施形態に係る固体撮像装置で用いる固体撮像素子の色フィルタ配列の例を示す図
【図３】本発明の一実施形態に係る固体撮像装置で用いる固体撮像素子の出力信号を示す図
【図４】本発明の一実施形態に係る固体撮像装置で用いる欠陥画素補正回路の出力信号を示す図
【図５】本発明の一実施形態に係る固体撮像装置の各部の信号を示す図
【図６】本発明の一実施形態に係る欠陥画素の検出のためのエリアを示す図
【図７】本発明の一実施形態に係る欠陥画素の検出方法を説明するための図
【図８】（イ）本発明の一実施形態に係る欠陥画素補正における注目画素の突出量と補正係数ｋ１の関係を示す図（ロ）本発明の一実施形態に係る欠陥画素補正における周辺画素の突出量と補正係数ｋ２の関係示す図
【図９】本発明の一実施形態に係る欠陥画素の検出および補正を同時に行なうことのできる判定対象画素を示した図
【図１０】従来の固体撮像装置の構成図
【符号の説明】
１ レンズ
２ 固体撮像素子
３ 前処理部
４ ＡＤ変換器
５、６、１１ １Ｈ遅延回路
７ しきい（閾）値
８ 欠陥画素検出回路
９ 欠陥画素補正回路
１０、１８ 加算回路
１２、１３、１４ デジタルローパスフィルタ回路
１５ 輝度信号処理回路
１９ 遅延調整回路
２０ 色信号処理回路
【発明の属する技術分野】
本発明はビデオカメラ等に用いられる固体撮像素子を備えた固体撮像装置に係り、特に、固体撮像素子の欠陥画素の出力信号を補正する補正装置を備えた固体撮像装置に関する。
【０００２】
【従来の技術】
図１０は、例えば特開平５−４１８６８号公報に記載されている従来の欠陥画素補正機能を備える固体撮像装置の構成図である。この従来の固体撮像装置では、画像情報がレンズ１０１を通し撮像素子１０２で撮像される。この撮像素子１０２は、フレーム読み出し駆動の撮像素子であり、撮像された画像信号は、前処理部１０３で前処理された後、Ａ／Ｄ変換器１０４でデジタル信号に変換される。
【０００３】
このデジタル信号は、１Ｈ遅延回路１０５で１水平走査期間だけ遅延され、更に１Ｈ遅延回路１０６で１水平走査期間（都合、２水平走査期間）遅延される。
Ａ／Ｄ変換器１０４から出力されたデジタル画像信号と、１水平走査期間だけ延されたデジタル画像信号と、２水平走査期間だけ遅延されたデジタル画像信号は、色信号処理回路１０７に入力されて色信号が生成されると共に、夫々、デジタルローパスフィルタ１０８、１０９、１１０に入力されてフィルタ処理される。
【０００４】
フィルタ処理された３種の画像信号は、欠陥画素検出回路１１１に入力され、ここで閾値１１２と比較されて欠陥画素が検出される。欠陥画素補正回路１１３は、フィルタ処理された３種の画像信号と、欠陥画素検出回路１１１からの欠陥画素検出信号とを取り込み、欠陥画素の画素信号を補正してから輝度信号処理回路１１４に画像信号を出力し、この輝度信号処理回路１１４が輝度信号を生成する様になっている。
【０００５】
この従来の欠陥画素検出回路１１１では、画像信号の中から、判定対象画素とそれに隣接する周辺画素の画素データを抽出し、これらの画素データに対し加減算処理や比較処理を行うことで突出量（判定対象画素の画素データと周りの画素データとの差違）を算出し、この突出量と閾値１１２とを比較することで、判定対象画素が欠陥画素であるか否かを判定している。
【０００６】
【発明が解決しようとする課題】
上述した従来の欠陥画素補正装置は、フレーム読み出し駆動の固体撮像素子１０２から読み出した画素データのうち、各フィルタ１０８、１０９、１１０から出力される垂直２画素のデータを加算し、更に水平２画素のデータを加算して輝度信号を得た後に、欠陥画素と判定した画素データを周辺画素データを用いて補正している。このため、欠陥画素の影響が周辺画素の画素データに広がり、正しく欠陥画素を検出し欠陥画素の画素データを補正することができないという問題がある。
【０００７】
本発明の目的は、欠陥画素の影響が周辺画素に広がることなく欠陥画素の出力信号を補正することができる欠陥画素補正機能を備えた固体撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記判定対象画素の画素データが前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データから第１の閾値以上の差があり、且つ、前記判定対象画素に隣接する画素であって前記判定対象画素と異なる異種フィルタ画素の画素データが前記周辺画素のうち前記隣接する画素と同一フィルタ画素の画素データと第２閾値以下の差が有る場合に前記判定対象画素を欠陥画素と判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素検出手段は、前記第１の閾値以上の差が有るか否かを判定する場合、前記周辺画素のうち画素データが最大の前記同一フィルタ画素と前記判定対象画素の画素データとを比較することを特徴とする。
【００１１】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記判定対象画素の画素データが前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データから第１の閾値以上の差があり、且つ、前記判定対象画素に隣接する画素であって前記判定対象画素と異なる異種フィルタ画素の画素データが前記周辺画素のうち前記隣接する画素と同一フィルタ画素の画素データと第２閾値以下の差が有る場合に前記判定対象画素を欠陥画素と判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素検出手段は、前記第２閾値以上の差が有るか否かを判定する場合、前記周辺画素のうち画素データが少なくとも最大値以外の前記同一フィルタ画素と前記隣接する画素の画素データを比較することを特徴とする。この構成により、欠陥のレベルに応じて閾値を任意に設定することで欠陥画素の位置を特定し、補正することができる。
【００１２】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとから前記判定対象画素が欠陥画素であるか否かを判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素補正手段は、前記判定対象画素が欠陥画素と判定された場合、前記判定対象画素の画素データを、前記周辺画素のうちの前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとの差分、および、前記周辺画素のうちの異種フィルタ画素の画素データと前記隣接する画素の画素データとの差分により補正することを特徴とする。この構成により、欠陥のレベルに応じて閾値を任意に設定し、欠陥画素に隣接している画素の画素データが周りから突出しているかの判定をすることができる。
【００１４】
本発明の固体撮像装置は、フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとから前記判定対象画素が欠陥画素であるか否かを判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素補正手段は、前記判定対象画素が欠陥画素と判定された場合、前記判定対象画素の画素データを、前記周辺画素のうちの前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとの差分、および、前記周辺画素のうちの異種フィルタ画素の画素データと前記隣接する画素の画素データとの差分により補正することを特徴とする。この構成により、判定対象画素およびそれに隣接する画素の突出量に応じて閾値周辺にある場合、これらの突出量に応じて補正値を滑らかに変化させることができ、ノイズ等の影響による欠陥画素の点滅を軽減することができる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、レンズ１と、このレンズ１の焦点位置に配置されたフレーム読み出し駆動の固体撮像素子（以下、単に「固体撮像素子」という。）２と、固体撮像素子２の出力信号を前処理する前処理回路（この前処理回路は、信号をサンプルアンドホールドするＣＤＳ（Correlated Double Sampling）回路と、自動利得制御を行うＡＧＣ（Automatic Gain Control）回路を含む。）３と、前処理回路３から出力されるアナログ信号をデジタル信号に変換するＡＤ変換回路４とを備える。
【００１８】
固体撮像装置は更に、ＡＤ変換回路４の出力信号（以下、信号（ａ））を１水平走査期間遅延させる１Ｈ遅延回路５と、この１Ｈ遅延回路５の出力信号（以下、信号（ｂ））を更に１水平走査期間遅延させる１Ｈ遅延回路６（この回路６の出力信号を、以下、信号（ｃ）とする。）と、信号（ａ）及び信号（ｂ）及び信号（ｃ）と閾値７とを入力して欠陥画素を後述する様に検出する欠陥画素検出回路８と、この欠陥画素検出回路８の検出結果と信号（ａ）、信号（ｂ）、信号（ｃ）とを入力して欠陥画素の出力信号を後述する様に補正する欠陥画素補正回路９とを備える。
【００１９】
欠陥画素補正回路９からは、信号（ｄ）、信号（ｅ）、信号（ｆ）が出力される。信号（ｄ）は信号（ａ）のうち欠陥画素の画素データを補正した信号（欠陥画素が無い場合には信号（ａ）と同じ）であり、信号（ｅ）、信号（ｆ）も、信号（ｄ）と同様に、信号（ｂ）、信号（ｃ）を補正した信号である。
【００２０】
本実施形態の固体撮像装置では、信号（ｄ）、信号（ｅ）、信号（ｆ）から輝度信号を生成するために、加算回路１０と、１Ｈ遅延回路１１と、３つのデジタルローパスフィルタ１２、１３、１４と、輝度信号処理回路１５を備える。
【００２１】
加算回路１０は、信号（ｄ）と信号（ｅ）とを加算して信号（ｇ）を出力する加算器１６と、信号（ｅ）と信号（ｆ）とを加算して信号（ｈ）を出力する加算器１７とを備える。１Ｈ遅延回路１１は、信号（ｈ）を入力として１水平走査期間遅延させた信号（ｉ）を出力し、ローパスフィルタ１２、１３、１４は、夫々、信号（ｇ）、信号（ｈ）、信号（ｉ）を入力とし、フィルタ処理後の信号を輝度信号処理回路１５に出力する。輝度信号処理回路１５はこれら３つのローパスフィルタ１２、１３、１４からの出力信号を取り込み、輝度信号を生成して出力する。
【００２２】
本実施形態の固体撮像装置では、信号（ｅ）、信号（ｆ）、信号（ｈ）から色信号を生成するために、加算回路１８と、遅延調整回路１９と、色信号処理回路２０とを備える。加算回路１８は、信号（ｅ）を遅延させた信号（ｊ）を出力する遅延手段２１と、信号（ｊ）と信号（ｆ）とを加算して信号（ｋ）を出力する加算器２２とを備える。
【００２３】
遅延調整回路１９は、信号（ｋ）を遅延させた信号（ｍ）を出力する遅延手段２３と、信号（ｍ）または信号（ｋ）のいずれか一方を選択した信号を信号（ｎ）として出力するセレクタ２４とを備える。色信号処理回路２０は、信号（ｅ）と信号（ｆ）とを加算した加算回路１０の一方の出力信号（ｈ）と、信号（ｎ）とを取り込み、色信号を生成して出力する。
【００２４】
以下、先ず、固体撮像装置の全体動作について述べる。図２は、固体撮像素子２の説明図である。本実施形態の固体撮像素子２の各画素は、イエロー（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）、グリーン（Ｇ）の各色フィルタを通して撮像を行う。この図２に示す色フィルタを通すことで、図１に示す信号（ａ）、信号（ｂ）、信号（ｃ）は、図３に示す様な信号となる。即ち、３ライン目が固体撮像素子２から出力されているときは、信号（ａ）は、シアン（Ｃｙ）イエロー（Ｙｅ）シアン（Ｃｙ）イエロー（Ｙｅ）…の画素データが並ぶ信号となり、１水平走査期間だけ遅延された信号（ｂ）は、マゼンダ（Ｍｇ）グリーン（Ｇ）マゼンダ（Ｍｇ）グリーン（Ｇ）…の画素データが並ぶ信号となる。
【００２５】
欠陥画素補正回路９から出力される信号（ｄ）、信号（ｅ）、信号（ｆ）は、欠陥画素が存在しない場合は、図４に示すように、図３と同じ信号となる。加算回路１０は、信号（ｄ）と信号（ｅ）を加算することにより、また、信号（ｅ）と信号（ｆ）とを加算することにより、
輝度信号Ｙ＝｛（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）｝×１／２
の生成に必要な（Ｃｙ＋Ｍｇ）、（Ｙｅ＋Ｇ）の信号を生成し、出力する。
【００２６】
加算回路１８では、色差信号の１つであるＲ−Ｙを生成する際に必要な信号（ｋ）すなわち（Ｍｇ＋Ｙｅ）、（Ｇ＋Ｃｙ）を、図５（イ）（ロ）に示す様に、信号（ｊ）及び信号（ｆ）から生成している。
【００２７】
遅延調整回路１９は、セレクタ２４を信号ＦＨ２（図２参照）で切り換え、信号（ｎ）として、信号（ｋ）そのもの或いは信号（ｋ）を遅延させた信号（ｍ）の一方を選択している。信号（ｋ）は、１ライン毎に（Ｙｅ＋Ｍｇ）と（Ｃｙ＋Ｇ）とが入れ替わってしまうため、１水平走査期間毎にハイレベルとローレベルを繰り返すライン選択信号ＦＨ２によりセレクタ２４を切り換えている。
【００２８】
１Ｈ遅延回路１１は、輝度信号処理回路１５での処理で垂直方向の輪郭強調信号を生成する際に３ライン分の信号が必要になるため、この１Ｈ遅延回路１１で信号（ｈ）を１水平走査期間だけ遅延させた信号（ｉ）を生成し、信号（ｇ）、信号（ｈ）に加え、信号（ｉ）も輝度信号処理回路１５に入力する。
【００２９】
輝度信号処理回路１５は、３ライン分の輝度信号すなわちローパスフィルタ１２、１３、１４の出力信号を取り込み、ローパスフィルタ１３の出力信号に対して、ガンマ補正、ゲイン調整、水平・垂直輪郭強調信号加算を行い、輝度信号Ｙとして出力する。
【００３０】
色信号処理回路２０は、遅延調整回路２４からの出力信号（ｎ）と、加算回路１０からの出力信号（ｈ）とから、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を次式に基づき生成し、
Ｒ−Ｙ＝（Ｍｇ＋Ｙｅ）−（Ｇ＋Ｃｙ）
Ｂ−Ｙ＝（Ｍｇ＋Ｃｙ）−（Ｇ＋Ｙｅ）
出力する。この色信号処理回路２０からは、色信号が、（Ｒ−Ｙ）、（Ｂ−Ｙ）、（Ｒ−Ｙ）、…と交互に出力される。
【００３１】
次に、固体撮像素子２に欠陥画素が存在する場合について説明する。欠陥画素が存在する場合、輝度信号中に、白点または黒点として画像欠陥が起きる。以下、白点となる欠陥画素の検出方法を図６を参照して説明する。
【００３２】
欠陥画素検出回路８は、図６に示す様に、判定対象とする画素Ｂと、それを除く周辺の同一フィルタ画素（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）を抽出し、さらに判定対象画素Ｂに隣接した異種フィルタ画素、すなわち枠２５内の画素（ａ２，ａ３，ｂ２，ｂ３，ｃ２）と、これら周辺の異種フィルタ画素（枠２５内の画素を除くａ１〜ａ８，ｂ１〜ｂ８，ｃ１〜ｃ７）を抽出する。これらの抽出された画素の出力データを用いて、判定対象とする画素Ｂが欠陥画素であるか否かの判定を行なう。
【００３３】
まず、判定対象画素が周辺画素に対してどのくらい突出しているのかを調べるため、判定対象画素Ｂとそれを除く周辺の同一フィルタ画素（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）の最大値との差分を計算し、この差分が所定の閾値ｔｈｗ１以上の場合、判定対象画素は突出している画素であると判定する。式で表すと次の判定式１に示す様になり、これを判定対象画素が欠陥であることの「第１条件」
〔判定対象画素の突出量の判定〕
|Ｂ−ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）|≧ｔｈｗ１ …（判定式１）
とする。尚、ｔｈｗの“ｗ”はホワイト（白）を表す。
【００３４】
次に、判定対象画素Ｂに隣接した異種フィルタ画素、すなわち枠２５内の画素（ａ２，ａ３，ｂ２，ｂ３，ｃ２）のそれぞれの画素が周辺画素に対してどのくらい突出しているのかを調べる。例えば、画素ａ２の突出量は自画素ａ２とそれを除く周辺の同一フィルタ画素（ａ１，ａ３，ａ５，ａ６，ａ７）のうちで最大値以外の画素（例えば、２番目に大きい画素）との差分を計算し、この差分が所定の閾値ｔｈｗ２以下の場合は、自画素ａ２は突出していないと判定する。
【００３５】
その他の画素（ａ３，ｂ２，ｂ３，ｃ２）についても同様にして突出量を調べ、枠２５内の画素（ａ２，ａ３，ｂ２，ｂ３，ｃ２）の中に突出した画素が一つも無いことを判定対象画素が欠陥であることの「第２条件」とする。
【００３６】
この第２条件は、次の判定式２で表される。
〔隣接画素の突出量の判定〕
｛｜ａ２−ｍａｘ２（ａ１，ａ３，ａ５，ａ６，ａ７）｜≦ｔｈｗ２｝ ＆
｛｜ａ３−ｍａｘ２（ａ２，ａ４，ａ６，ａ７，ａ８）｜≦ｔｈｗ２｝ ＆
｛｜ｂ２−ｍａｘ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｗ２｝ ＆
｛｜ｃ２−ｍａｘ２（ｃ１，ｃ３，ｃ５，ｃ６，ｃ７）｜≦ｔｈｗ２｝ ＆
｛｜ｂ３−ｍａｘ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｗ２｝
…（判定式２）
ここで、ｍａｘ２（）は、（）内の画素のうちで２番目に大きい画素である。
【００３７】
上記の「第１条件」と「第２条件」を共に満たしたとき、すなわち（判定式１）と（判定式２）が共に「真」であるとき、即ち、
〔欠陥画素の判定〕
（判定式１）∩（判定式２）＝真 （判定式３）
が成立するとき、判定対象画素Ｂを欠陥画素と判定し、この画素Ｂの出力データを後述するようにして補正する。
【００３８】
欠陥画素であるか否かの判定で難しいのは、その画素が欠陥画素であるのか、それとも画像情報中のエッジ部分（輪郭部分）を撮像した画素であるかの区別である。しかし、上述した本実施形態に係る欠陥画素の検出方法は、判定式３を用い、
「判定対象画素が突出している」
且つ
「判定対象画素に隣接している画素の中で、突出している画素が無い」
場合に、判定対象画素を欠陥画素と判定しているため、判定対象画素がエッジの一部であるか欠陥画素であるかの区別を容易に行うことが可能である。これを図７で説明する。
【００３９】
図７（イ）は画像情報中のエッジ部分にかかる画素の状態を示す図であり、図７（ロ）は欠陥画素の状態を示す図である。図中の“１”となっている画素は、前記「第１条件」または「第２条件」で突出していると判定された画素を示している。
【００４０】
図７（イ）において、エッジの場合は「判定対象画素に隣接した画素」の中に突出している画素（図中の“１”となっている画素）が存在するため、たとえ判定対象画素が突出していても、判定対象画素を欠陥画素と判定することはない。
しかし、図７（ロ）に示す様に、判定対象画素が孤立して突出している場合は、上記の判定式３により、この判定対象画素を欠陥画素であると判定でき、エッジの先端等と欠陥画素とを容易に区別することが可能である。
【００４１】
次に、欠陥画素の画素データの補正方法について説明する。欠陥画素のデータ補正は、本実施形態では、判定対象画素のデータ値と、それを除く周辺の同一フィルタ画素のデータとを用いて行う。例えば、図６において、判定対象画素Ｂが欠陥であると判定された場合、画素Ｂの補正値は、次の補正式１
補正値＝ｋ×ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）十（１−ｋ）×Ｂ
…（補正式１）
によって求められる。
【００４２】
但し、ｋは判定対象画素Ｂの突出量と判定対象画素Ｂに隣接する画素（枠２５内の画素）の突出量によって決定される係数（０≦ｋ≦１）である（以下、補正係数と呼ぶ）。
【００４３】
図８（イ）（ロ）は、それぞれ横軸を判定対象画素の突出量、判定対象画素に隣接する画素の突出量とした場合に、それらに応じて変化する係数ｋ１（０≦ｋ１≦１）、ｋ２（０≦ｋ２≦１）の特性を示している。これらの係数ｋ１、ｋ２と上記の補正式１における補正係数ｋとの関係は以下のようになっている。
【００４４】
ｋ＝ｍｉｎ（ｋ１，ｋ２） …（補正式２）
例えば図８（イ）（ロ）に示すＰ点は、「判定対象画素の突出量は閾値ｔｈｗ１よりもはるかに大きく、それに隣接する画素の突出量は閾値ｔｈｗ２近傍にある」場合を示している。この時は、ｋ１＝１、ｋ２＝０．５となり、このため、上記の補正式２によれば、ｋ＝０．５となる。
【００４５】
従って、この場合の欠陥画素Ｂのデータの補正値は、上記の補正式１により、
補正値＝０．５×ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）十０．５×Ｂ
となり、周辺画素の最大値と判定対象画素Ｂの値の中間値で補正される。
【００４６】
一方、図８（イ）（ロ）に示すＱ点は、「判定対象画素の突出量は閾値ｔｗｈ１よりもはるかに大きく、それに隣接する画素の突出量は閾値ｔｗｈ２よりもはるかに小さい」場合を示している。この時は、ｋ１＝１、ｋ２＝１となり、補正式２により、補正係数はｋ＝１となる。
【００４７】
従って、この場合の欠陥画素Ｂのデータの補正値は、上記の補正式１により、
補正値＝１×ｍａｘ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）十０×Ｂ
となり、周辺画素の最大値で補正されることになる。
【００４８】
以上の様に、本実施形態に係る固体撮像装置では、判定対象画素およびそれに隣接する画素の突出量が閾値周辺にある場合、これらの突出量に応じてデータの補正値を滑らかに変化させている。これにより、ノイズ等の影響により判定対象画素またはそれに隣接する画素の突出量が閾値をまたぎ、欠陥補正のオンオフを繰り返す場合には、欠陥の点滅（この例では、白の点滅）を軽減することが可能となる。
【００４９】
以上は、白の欠陥画素の検出とその画素データの補正方法について述べたが、黒の欠陥画素の検出とその補正方法も同様の原理で可能である。以下に、上記の判定式１、２、３、補正式１、２に対応する式を示す。
【００５０】
〔判定対象画素の突出量の判定〕
｜Ｂ−ｍｉｎ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）｜≧ｔｈｂ１ …（判定式１ｂ）
尚、ｔｈｂの“ｂ”はブラック（黒）を表す。
【００５１】
〔隣接画素の突出量の判定〕
｛｜ａ１−ｍｉｎ２（ａ１，ａ３，ａ５，ａ６，ａ７）｜≦ｔｈｂ２｝ ＆
｛｜ａ３−ｍｉｎ２（ａ２，ａ４，ａ６，ａ７，ａ８）｜≦ｔｈｂ２｝ ＆
｛｜ｂ２−ｍｉｎ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｂ２｝ ＆
｛｜ｃ２−ｍｉｎ２（ｃ１，ｃ３，ｃ５，ｃ６，ｃ７）｜≦ｔｈｂ２｝ ＆
｛｜ｂ３−ｍｉｎ２（ｂ１，ｂ３，ｂ５，ｂ６，ｂ７）｜≦ｔｈｂ２｝
…（判定式２ｂ）
但し、ここでｍｉｎ２（）は（）内の画素のうちで２番目に小さい画素を表している。
【００５２】
〔欠陥画素の判定〕
（判定式１ｂ）∩（判定式２ｂ）＝真 …（判定式３ｂ）
〔欠陥画素のデータ補正〕
補正値＝ｋ×ｍｉｎ（Ａ，Ｃ，Ｄ，Ｅ，Ｆ）＋（１−ｋ）×Ｂ
…（補正式１ｂ）
〔補正係数の補正〕
ｋ＝ｍｉｎ（ｋ１，ｋ２） …（補正式２ｂ）
【００５３】
本実施形態に係る固体撮像装置では、複数ラインの画素データを欠陥画素検出回路８が同時に取り込んでいるため、また、複数ラインの画素データを欠陥画素補正回路９が同時に取り込んでいるため、図９に示す垂直方向の複数ラインの判定対象画素に対し、上記の欠陥画素の判定処理を同時に並行して行い、上記の補正処理を同時に並行して行うことができる。これにより、輝度信号処理回路および色信号処理回路で使用する入力信号全てに対して欠陥画素を検出し補正することができる。
【００５４】
また、本実施形態では、固体撮像素子２から順次送られてくる画像信号（画素データ）から欠陥画素であるか否かをその都度判定し、データ補正を行う構成のため、欠陥画素がどの画素であるかを記憶しておくためのメモリが不要であり、コストを削減できると共に、固体撮像装置の動作中に新たに画素が故障した場合でも直ちに対処することが可能となる。
【００５５】
【発明の効果】
本発明によれば、欠陥画素の影響が周辺画素に広がることなく欠陥画素の出力信号を補正することができるので、固体撮像素子に欠陥画素が含まれている場合も欠陥画素が無い場合と同様の綺麗で違和感の無い画像を画面に表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像装置の構成図
【図２】本発明の一実施形態に係る固体撮像装置で用いる固体撮像素子の色フィルタ配列の例を示す図
【図３】本発明の一実施形態に係る固体撮像装置で用いる固体撮像素子の出力信号を示す図
【図４】本発明の一実施形態に係る固体撮像装置で用いる欠陥画素補正回路の出力信号を示す図
【図５】本発明の一実施形態に係る固体撮像装置の各部の信号を示す図
【図６】本発明の一実施形態に係る欠陥画素の検出のためのエリアを示す図
【図７】本発明の一実施形態に係る欠陥画素の検出方法を説明するための図
【図８】（イ）本発明の一実施形態に係る欠陥画素補正における注目画素の突出量と補正係数ｋ１の関係を示す図（ロ）本発明の一実施形態に係る欠陥画素補正における周辺画素の突出量と補正係数ｋ２の関係示す図
【図９】本発明の一実施形態に係る欠陥画素の検出および補正を同時に行なうことのできる判定対象画素を示した図
【図１０】従来の固体撮像装置の構成図
【符号の説明】
１ レンズ
２ 固体撮像素子
３ 前処理部
４ ＡＤ変換器
５、６、１１ １Ｈ遅延回路
７ しきい（閾）値
８ 欠陥画素検出回路
９ 欠陥画素補正回路
１０、１８ 加算回路
１２、１３、１４ デジタルローパスフィルタ回路
１５ 輝度信号処理回路
１９ 遅延調整回路
２０ 色信号処理回路
Claims (3)
- フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記判定対象画素の画素データが前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データから第１の閾値以上の差があり、且つ、前記判定対象画素に隣接する画素であって前記判定対象画素と異なる異種フィルタ画素の画素データが前記周辺画素のうち前記隣接する画素と同一フィルタ画素の画素データと第２閾値以下の差が有る場合に前記判定対象画素を欠陥画素と判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素検出手段は、前記第１の閾値以上の差が有るか否かを判定する場合、前記周辺画素のうち画素データが最大の前記同一フィルタ画素と前記判定対象画素の画素データとを比較することを特徴とする固体撮像装置。
- フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記判定対象画素の画素データが前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データから第１の閾値以上の差があり、且つ、前記判定対象画素に隣接する画素であって前記判定対象画素と異なる異種フィルタ画素の画素データが前記周辺画素のうち前記隣接する画素と同一フィルタ画素の画素データと第２閾値以下の差が有る場合に前記判定対象画素を欠陥画素と判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素検出手段は、前記第２閾値以上の差が有るか否かを判定する場合、前記周辺画素のうち画素データが少なくとも最大値以外の前記同一フィルタ画素と前記隣接する画素の画素データを比較することを特徴とする固体撮像装置。
- フレーム読み出し駆動の固体撮像素子の出力信号から判定対象画素の画素データ及び前記判定対象画素の周辺画素の画素データを抽出し、前記周辺画素のうち前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとから前記判定対象画素が欠陥画素であるか否かを判定する欠陥画素検出手段と、前記欠陥画素の画素データを前記周辺画素の画素データを用いて補正する欠陥画素補正手段とを備え、前記欠陥画素補正手段は、前記判定対象画素が欠陥画素と判定された場合、前記判定対象画素の画素データを、前記周辺画素のうちの前記判定対象画素と同一フィルタ画素の画素データと前記判定対象画素の画素データとの差分、および、前記周辺画素のうちの異種フィルタ画素の画素データと前記隣接する画素の画素データとの差分により補正することを特徴とする固体撮像装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301643A JP4583680B2 (ja) | 2001-09-28 | 2001-09-28 | 固体撮像装置 |
| US10/256,811 US7280142B2 (en) | 2001-09-28 | 2002-09-27 | Defective pixel detection and correction apparatus using target pixel and adjacent pixel data |
| CNB021444145A CN100431340C (zh) | 2001-09-28 | 2002-09-27 | 固态成像设备 |
| EP02021863A EP1298921B1 (en) | 2001-09-28 | 2002-09-30 | Solid-state imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301643A JP4583680B2 (ja) | 2001-09-28 | 2001-09-28 | 固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003111088A JP2003111088A (ja) | 2003-04-11 |
| JP4583680B2 true JP4583680B2 (ja) | 2010-11-17 |
Family
ID=19122021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001301643A Expired - Fee Related JP4583680B2 (ja) | 2001-09-28 | 2001-09-28 | 固体撮像装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7280142B2 (ja) |
| EP (1) | EP1298921B1 (ja) |
| JP (1) | JP4583680B2 (ja) |
| CN (1) | CN100431340C (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10122876C2 (de) * | 2000-11-24 | 2003-08-21 | Siemens Ag | Verfahren zum Betrieb eines Bildsystems einer bildgebenden medizinischen Untersuchungseinrichtung und medizinische Untersuchungseinrichtung |
| JP2003143621A (ja) * | 2001-11-01 | 2003-05-16 | Nec Viewtechnology Ltd | 色むら及び輝度むら補正回路付プロジェクタ |
| US7423678B2 (en) * | 2002-11-07 | 2008-09-09 | Rohm Co., Ltd. | Area image sensor |
| KR100535636B1 (ko) * | 2003-02-24 | 2005-12-08 | 매그나칩 반도체 유한회사 | 불량 화소 보상 기능을 갖는 이미지센서 |
| TWI220360B (en) * | 2003-04-23 | 2004-08-11 | Pixart Imaging Inc | Defect compensating method and device of color image |
| US7388609B2 (en) * | 2003-07-07 | 2008-06-17 | Zoran Corporation | Dynamic identification and correction of defective pixels |
| JP3984936B2 (ja) | 2003-08-08 | 2007-10-03 | キヤノン株式会社 | 撮像装置および撮像方法 |
| US7796169B2 (en) * | 2004-04-20 | 2010-09-14 | Canon Kabushiki Kaisha | Image processing apparatus for correcting captured image |
| US7711203B2 (en) * | 2004-06-09 | 2010-05-04 | Broadcom Corporation | Impulsive noise removal using maximum and minimum neighborhood values |
| JP4244969B2 (ja) * | 2004-08-04 | 2009-03-25 | セイコーエプソン株式会社 | 画素の検査方法および画素の補正方法、並びに処理装置、プログラムおよび記録媒体 |
| JP4789602B2 (ja) * | 2005-11-29 | 2011-10-12 | キヤノン株式会社 | 撮像装置及び欠陥画素処理方法 |
| JP4956009B2 (ja) * | 2006-02-02 | 2012-06-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2007251698A (ja) * | 2006-03-16 | 2007-09-27 | Sharp Corp | 欠陥画素補正方法、及び欠陥画素補正回路 |
| US20070273626A1 (en) * | 2006-05-04 | 2007-11-29 | Sharp Laboratories Of America, Inc. | System for pixel defect masking and control thereof |
| JP4859223B2 (ja) * | 2006-10-24 | 2012-01-25 | キヤノン株式会社 | 画像欠陥補正装置、画像欠陥補正方法、及びプログラム |
| JP4976112B2 (ja) * | 2006-11-24 | 2012-07-18 | 株式会社日立ハイテクノロジーズ | 欠陥レビュー方法および装置 |
| JP4325703B2 (ja) * | 2007-05-24 | 2009-09-02 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置 |
| JP5110289B2 (ja) * | 2008-03-24 | 2012-12-26 | 株式会社メガチップス | ノイズ低減装置およびデジタルカメラ |
| JP2009253668A (ja) * | 2008-04-07 | 2009-10-29 | Fujifilm Corp | 画像撮影装置および画像欠陥補正方法 |
| CN101262621B (zh) * | 2008-04-10 | 2010-11-10 | 北京中星微电子有限公司 | 一种故障像素检测的方法和装置 |
| JP2010081259A (ja) * | 2008-09-25 | 2010-04-08 | Panasonic Corp | 固体撮像装置 |
| JP5379664B2 (ja) * | 2009-12-11 | 2013-12-25 | キヤノン株式会社 | 画像表示装置およびその制御方法 |
| JP5968025B2 (ja) * | 2012-04-11 | 2016-08-10 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| JP6071333B2 (ja) * | 2012-08-27 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 |
| JP6291940B2 (ja) | 2014-03-20 | 2018-03-14 | 株式会社ソシオネクスト | 欠陥画素補正装置、撮像装置、及び欠陥画素補正方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086517A (ja) * | 1999-09-13 | 2001-03-30 | Toshiba Corp | 画素欠陥検出装置 |
| JP2001111893A (ja) * | 1999-10-07 | 2001-04-20 | Sanyo Electric Co Ltd | 画素欠陥検出方法及び画像処理装置 |
| JP2002010274A (ja) * | 2000-06-20 | 2002-01-11 | Olympus Optical Co Ltd | カラー画像処理装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4600946A (en) * | 1985-01-31 | 1986-07-15 | Rca Corporation | Adaptive defect correction for solid-state imagers |
| EP0496573B1 (en) * | 1991-01-24 | 1995-12-20 | Matsushita Electric Industrial Co., Ltd. | Pixel defect removing circuit for solid-state image pickup device |
| JP3156282B2 (ja) | 1991-08-06 | 2001-04-16 | 松下電器産業株式会社 | 固体撮像装置 |
| BE1007354A3 (nl) * | 1993-07-23 | 1995-05-23 | Philips Electronics Nv | Signaalcorrectieschakeling. |
| JP3544304B2 (ja) | 1998-08-04 | 2004-07-21 | 日本ビクター株式会社 | 画素欠陥補正装置及び画素欠陥補正方法 |
| JP3587433B2 (ja) | 1998-09-08 | 2004-11-10 | シャープ株式会社 | 固体撮像素子の画素欠陥検出装置 |
| JP2001251559A (ja) * | 2000-03-07 | 2001-09-14 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2002237997A (ja) * | 2001-02-07 | 2002-08-23 | Matsushita Electric Ind Co Ltd | 固体撮像素子の欠陥画素補正装置およびそれを備えた固体撮像装置 |
-
2001
- 2001-09-28 JP JP2001301643A patent/JP4583680B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-27 CN CNB021444145A patent/CN100431340C/zh not_active Expired - Fee Related
- 2002-09-27 US US10/256,811 patent/US7280142B2/en not_active Expired - Fee Related
- 2002-09-30 EP EP02021863A patent/EP1298921B1/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086517A (ja) * | 1999-09-13 | 2001-03-30 | Toshiba Corp | 画素欠陥検出装置 |
| JP2001111893A (ja) * | 1999-10-07 | 2001-04-20 | Sanyo Electric Co Ltd | 画素欠陥検出方法及び画像処理装置 |
| JP2002010274A (ja) * | 2000-06-20 | 2002-01-11 | Olympus Optical Co Ltd | カラー画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1298921A2 (en) | 2003-04-02 |
| US7280142B2 (en) | 2007-10-09 |
| JP2003111088A (ja) | 2003-04-11 |
| EP1298921B1 (en) | 2012-08-15 |
| CN1426238A (zh) | 2003-06-25 |
| EP1298921A3 (en) | 2008-05-21 |
| US20030063202A1 (en) | 2003-04-03 |
| CN100431340C (zh) | 2008-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4583680B2 (ja) | 固体撮像装置 | |
| JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
| JP3934597B2 (ja) | 撮像システムおよび画像処理プログラム | |
| US8170345B2 (en) | Imaging system, image processing method, and image processing program | |
| US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
| JP2002010108A (ja) | 画像信号処理装置および画像信号処理方法 | |
| JP5052189B2 (ja) | 映像処理装置及び映像処理プログラム | |
| US7034869B2 (en) | Image processing method, image pickup apparatus and program | |
| JP2008092510A (ja) | 撮像装置 | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP2005142832A (ja) | 輪郭補正回路及び撮像装置 | |
| JP4288954B2 (ja) | 欠陥検出回路及び欠陥検出方法 | |
| JPH11112837A (ja) | 電子的撮像装置 | |
| JP2007266956A (ja) | 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム | |
| JP2008219198A (ja) | 画像処理装置及び画像処理プログラム | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
| JP2013219452A (ja) | 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置 | |
| JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
| JP4245373B2 (ja) | 画素信号処理回路 | |
| JP4993275B2 (ja) | 画像処理装置 | |
| JP4321317B2 (ja) | 電子カメラ、カメラシステムおよび電子カメラの黒点補正方法 | |
| JP2000358195A (ja) | 映像信号処理装置 | |
| JP6764518B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
| JP3466672B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |