JP4279407B2 - 画素欠陥補正装置および画素欠陥検出装置ならびに方法 - Google Patents
画素欠陥補正装置および画素欠陥検出装置ならびに方法 Download PDFInfo
- Publication number
- JP4279407B2 JP4279407B2 JP18156799A JP18156799A JP4279407B2 JP 4279407 B2 JP4279407 B2 JP 4279407B2 JP 18156799 A JP18156799 A JP 18156799A JP 18156799 A JP18156799 A JP 18156799A JP 4279407 B2 JP4279407 B2 JP 4279407B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- defect
- pixel value
- signal
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を検出し、補正する画素欠陥補正装置および画素欠陥検出装置ならびに方法に係り、たとえば、原色フィルタがその撮像面に被着された固体撮像素子における画素欠陥を補正する画素欠陥補正装置および画素欠陥検出装置ならびに方法に関するものである。
【０００２】
【従来の技術】
近年、被写界を撮像して、その被写界画像および映像をディジタル化して、磁気テープや回転記録媒体、さらには半導体メモリに記録するディジタルカメラが普及してきている。このようなカメラには、ＣＣＤ固体撮像素子やＭＯＳ型撮像素子が搭載され、その高画素密度化に対する要求が高まってきている。
【０００３】
たとえば、ディジタルスチルカメラでは、百万画素以上の撮像セルを有する固体撮像素子が用いられるようになってきた。このような単板の撮像素子の各撮像セルには、カラー画像を形成するための各種色フィルタが搭載されている。
【０００４】
しかし、各撮像セルでは、種々の理由から受光量に応じた電荷が生成されない、いわゆるキズが発生する。このキズ状態のセル、つまり欠陥画素に対応する画素信号は、その画像が表示されたときに、状況に応じて目立ってしまい、せっかくの撮影画像の品質を落とす原因となっていた。
【０００５】
そこで、このようなカラー撮像素子を使用する場合、各種の欠陥画素の補正方式が開発および実用化されている。
【０００６】
たとえば、特開平6-30425 号公報には、補色市松方式の色コーティングのカラーＣＣＤ撮像素子の出力をサンプルホールドしディジタル化した後欠陥補正し、欠陥補正されたＣＣＤ出力に各種の信号処理を施してビデオ出力を得る固体撮像装置が開示されていた。
【０００７】
また、特開平9-205586号公報には、欠陥画素に関する情報を不揮発性メモリに記憶しておき、ＣＣＤ固体撮像素子の欠陥画素検出システムが開示されていた。この公報では、固体撮像素子と信号処理回路との間に、欠陥画素の検出とその補正とを行うための欠陥画素検出補正回路が設けられているものであった。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来では、欠陥画素補正を信号処理の前に行っていたため、たとえば、ソフトウェアにて補正処理を行う場合では、信号処理に応じた制限時間内に補正できる画素数に制限されるという問題があった。
【０００９】
また、単板のカラー撮像素子では、特に色フィルタ配列に応じた少ない画素のＲＧＢ画素、つまり同色色フィルタ間で隣接している画素で補間処理する必要があり、このため、周りの画素を保持するラインメモリやレジスタ等が補正回路内に多く必要となって、補正回路が複雑化するという問題があった。つまり、欠陥画素を補正する際に、その補正対象画素の前、後の画素や上下ラインの同色隣接画素の色フィルタの画素を使用すると画素間距離が大きくなって、このような画素を記憶保持するためにラインメモリやレジスタ等の記憶回路を多く補正回路内に設ける必要があった。
【００１０】
本発明はこのような従来技術の欠点を解消し、撮像素子の有する色フィルタに応じて、回路規模が増大することなく、欠陥画素を補正でき、また、欠陥画素を安定して検出することのできる画素欠陥補正装置および画素欠陥検出装置ならびに方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を補正する画素欠陥補正装置において、この装置は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力手段と、欠陥画素の位置に応じた欠陥情報を出力する欠陥情報出力手段と、入力手段に入力される画像信号における欠陥画素を補正する欠陥補正手段とを含み、欠陥補正手段は、欠陥情報に応じた画素の画素値を、この画素の隣接画素の画素値で補正して出力することを特徴とする。
【００１２】
また、本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を検出する画素欠陥検出装置において、この装置は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力手段と、画像信号の変化量を検出する検出手段とを含み、検出手段は、対象画素周辺の画素値を取得する第１の取得手段と、対象画素の画素値を取得する第２の取得手段と、第１および第２の取得手段にて取得したそれぞれの画素値に基づいて、対象画素が欠陥画素として決定するか否かを判定する判定手段とを含み、判定手段は、判定結果を出力することを特徴とする。
【００１３】
さらに、本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を補正する画素欠陥補正方法において、この方法は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力工程と、欠陥画素の位置に応じた欠陥情報を出力する欠陥情報出力工程と、入力工程にて入力される画像信号における欠陥画素を補正する欠陥補正工程とを含み、欠陥補正工程は、欠陥情報に応じた画素の画素値を、この画素の隣接画素の画素値で補正することを特徴とする。
【００１４】
また、本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を検出する画素欠陥検出方法において、この方法は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力工程と、画像信号の変化量を検出する検出工程とを含み、検出工程は、対象画素周辺の画素値を取得する第１の取得工程と、対象画素の画素値を取得する第２の取得工程と、第１および第２の取得工程にて取得したそれぞれの画素値に基づいて、対象画素が欠陥画素として決定するか否かを判定する判定工程とを含み、判定工程は、判定結果を出力することを特徴とする。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明による画素欠陥補正装置をディジタルカメラに適用した実施例を詳細に説明する。図１を参照すると、撮像レンズ12を介して結像される光学像を撮像素子14にて光電変換し、被写界像に応じたカラー画像信号を生成してメモリカード16等の情報記憶媒体に記憶させるディジタルカメラ10が示されている。このディジタルカメラ10は、ＹＣ処理部18の出力信号に対して欠陥画素の検出処理および補正処理を行うことにより、撮像素子14にて発生する欠陥画素を修正する機能を有する。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１６】
撮像素子14は、垂直および水平方向に複数の撮像セルが形成され、各セルのフォトダイオードに到達する光の量に応じた電荷を生成し、これを各セルに対応する複数の垂直電荷転送路と水平電荷転送路を介して読み出し、各セルの受光量に応じた画素値を表す画素信号として出力100 に出力する固体撮像素子である。各セルの受光面には、撮像レンズ12からの光束を集光するマイクロレンズとカラー画像を生成するための分光特性が異なる色フィルタとが形成されており、本実施例では、図２に示すフィルタ配列の原色カラーフィルタが被着されて、それぞれ分光感度特性がＲ・Ｇ・Ｂ（赤・緑・青）ごとに異なる撮像セルが形成されている。このカラーフィルタは、垂直方向にＧフィルタがストライプ状に配列され、Ｇフィルタ列の間ごとにＲＢ、ＢＲの色フィルタ列が交互に配列されているＧストライプＲＢ完全市松配列のカラーフィルタである。
【００１７】
固体撮像素子には、一般に、その製造上の問題から、受光量に応じた電気信号を生成しない撮像セルが発生し、たとえば、受光量とは無関係に明るい状態の画素を示す白キズや暗い状態を示す黒キズなどが、その出力信号に含まれる。これらを完全になくすように選別すると歩留まりの低下につながる。そこで、そのキズ発生の程度に応じて、撮像素子の出力信号に対して、そのキズ状態の撮像セルからの画素値を補正することが行われる。たとえば、特定のＲ画素が欠陥画素であるとすると、その欠陥画素に対して、同一の色成分に着目して隣接する他のＲ画素の値を用いて、欠陥画素の画素値を補正することが行われていた。しかし、本実施例では、このような方法にはよらずに、画素信号100 を変換して生成した輝度信号Ｙおよび色差信号ＣのＹＣ画像信号に対して欠陥補正を行い、また、このようなＹＣ画像信号で欠陥画素を検出するように構成されている。
【００１８】
撮像素子14の出力100 には、フィルタ配列に応じた点順次のRGB 画素信号が出力され、不図示の相関二重サンプリング回路を経てサンプル・ホールド回路20に入力される。ここで保持されたRGB 点順次の画素信号102 は、アナログ・ディジタル変換(ADC) 回路22にて、離散的なディジタル画像信号に変換される。
【００１９】
アナログ・ディジタル変換(ADC) 回路の出力104 はＹＣ処理部18に接続され、ＹＣ処理部18は、ADC 回路22より出力されるRGB 画素信号104 を輝度信号Ｙおよび色差信号ＣのＹＣ画像信号に変換する処理回路である。
【００２０】
本実施例におけるＹＣ処理部18は、処理対象の画素に対して１つ前のラインにおける前ライン画素と、１つ後のラインにおける後ライン画素との垂直（縦）方向の上下に配置された３画素、もしくはそれに水平方向に隣接する３画素を加えた６画素を用いて、画像信号の高域成分YHと低域成分YLとを生成し、図３に示すような輝度信号Ｙを生成する。また、ＹＣ処理部18は、図４および図５に示すような色差信号Cr,Cbを生成する。
【００２１】
詳しくはＹＣ処理部18は、図６に示すように、ディジタル化されたRGB 画素信号104 を一時記憶するバッファメモリ600 と、バッファメモリ600 から読み出されるRGB 画素信号602 を選択して所望の出力604a,604b,604c,604d に出力する選択回路(SEL) 606 とを有している。その出力604aに接続されるYH生成処理部608 と、出力604bに接続されるYL生成処理部610 とは、入力される縦方向に分布する３画素値を用いて所定の演算方法により輝度信号の高域成分YHと低域成分YLとを算出する。YH生成処理部608 の高域成分YH出力は、加算器612 の一方の入力とローパスフィルタ(LPF) 614 とに接続され、YL生成処理部610 の低域成分出力は加算器612 の他方の入力に接続されている。加算器612 は、高域成分YHと低域成分YLとを合成して信号(YL-YH) を生成し、ローパスフィルタ(LPF) 616 に供給する。加算器618 はそれぞれのLPF 614,616 にて処理された成分信号を(YL-YH)+YHという輝度信号の合成を行って、輝度信号Ｙを出力106 に出力する。
【００２２】
選択回路606 の出力604c,604d にそれぞれ接続されるCr生成処理部620 およびCb生成処理部622 は、色差成分Cr,Cb を生成し、ローパスフィルタ(LPF) 624,626 はそれぞれこれら色差成分をフィルタ処理して色差信号Ｃ(Cr,Cb) を出力108に出力する。
【００２３】
このようにＹＣ処理回路18は、RGB 画素データから補間処理して各画素位置におけるRGB 各画素値を算出してからＹＣ処理を行うのではなく、隣接する少なくとも縦３画素から輝度および色差成分の各信号を生成する。ＹＣ処理回路18の出力106 および108 は、欠陥画素検出部24と欠陥補正処理部26とにそれぞれ接続されている。
【００２４】
欠陥画素検出部24は、入力106,108 にそれぞれ入力される輝度信号Ｙと色差信号Ｃから、撮像素子14における欠陥画素を検出する処理部である。欠陥画素検出部24は、輝度信号Ｙおよび色差信号Ｃの変化量から、処理対象の画素が欠陥画素であるか否かを判定し、欠陥画素を検出した際に欠陥情報を出力する。
【００２５】
本実施例における欠陥画素検出部24は、処理対象画素の画素値と、処理対象画素に近接して周辺に存在する周辺画素値とにより、その処理対象画素が欠陥画素であるか否か、つまり正常な画素値であるかを判定する。詳しくは図７に示すように、欠陥画素検出部24は、現画素が欠陥画素であるか否かを判定する際に、処理対象画素の周辺の画素値を取得する周辺画素取得処理部700 と、処理対象画素の画素値を取得する対象画素取得処理部702 と、処理対象画素が欠陥画素であるか否かを判定する判定処理部704 と、判定処理部704 にて判定するための閾値を可変に設定する設定処理部706 とを含む。判定処理部704 は、さらに周辺画素の画素値を平均化する平均化処理部708 と、平均化された周辺画素値と対象画素の画素値との相関関係を算出する演算処理部710 と、演算処理部710 における演算結果と閾値とを比較して、処理対象画素が欠陥の画素値であると判定するか否かを示す比較結果を出力する比較処理部712 とを含む。
【００２６】
周辺画素所得処理部700 は、処理対象画素周辺に検出領域を設け、それらの画素値を一時記憶保持する機能を有する。本実施例における周辺画素所得処理部700 は、図８に示すように対象画素800 を中心とする縦横５×５画素領域802 の各画素値をそれぞれ記憶する。これに限らず周辺画素所得処理部700 は、図９に示すように、対象画素900 周辺の３×３画素領域902 以上の縦横がそれぞれ奇数個の画素数で構成される検出領域の画素値を取得するとよい。この検出領域の大きさは、撮像素子14の総画素数と希望する解像度とに応じてさらに大きい領域としてもよい。本実施例では、ＹＣ信号を生成する際に垂直方向の３画素を使用しているので、また、画素欠陥の検出のためには、それと等しい縦横の画素数か、もしくはそれよりも大きな画素数の検出領域を設定する。
【００２７】
図７に戻って、周辺画素取得処理部700 は、周辺画素の画素値を判定処理部704 の平均化処理部708 に供給する。また、周辺画素所得処理部700 は、処理対象画素を対象画素取得処理部702 に供給し、対象画素取得処理部702 は、その画素値の出力タイミングを採るために一時記憶して、判定処理部704 の演算処理部710 に供給する。平均化処理部708 は、入力される周辺画素値の平均を算出する処理部であり、検出領域における中央の処理対象画素を除く画素値平均を算出する。
【００２８】
演算処理部710 は、平均化処理部708 にて算出された画素値平均と、供給される対象画素の画素値との差およびその絶対値を算出し、こらら値の相関度を算出する処理部である。したがって本実施例では、算出結果が大きいほど相関度は低く、逆に小さいほど相関度が高いこととなる。相関度が高い場合には、対象画素の画素値は、周辺画素との相関が高く、対象画素が欠陥画素であってもそうではなくても、キズとしては目立たない画素値である。逆に相関度が低い場合には、対象画素の画素値が周辺画素との相関が低く、たとえば輝点や暗点として目立つキズ状態である。
【００２９】
算出された相関度は比較処理部712 に送られ、比較処理部712 は、その相関度と、設定処理部706 から供給される閾値とを比較することにより、相関度をある幅を持って、許容される範囲内であるか否かを比較判定する。比較処理部712 の比較出力714 は、欠陥画素検出部24の出力を構成し、欠陥補正処理部26に接続されている。このように本実施例では、撮像素子14における画素欠陥状態と撮像画像信号とのかねあいで欠陥判定しており、撮像画像上で目立つようなキズとして認められるような欠陥状態の画素に対してこれを補正するための欠陥情報が生成される。なお、実際の撮影に先立って、乳白色板やレンズカバー等を使用し、明状態および暗状態における黒キズおよび白キズをそれぞれ検出して、それらキズ位置を記憶し、その位置情報に基づいて、その後の欠陥補正を行う場合などでは、たとえば明状態に対して白キズが発生していてもそのレベルに応じて補正せず、逆に、暗状態に対して黒キズが発生していたとしても、そのキズレベルによっては補正しなくてもよい。
【００３０】
また、輝度信号Ｙのみを使用して画素欠陥を判定してもよく、また、輝度信号Ｙと色差信号Ｃとを別々に用いてそれぞれ欠陥判定し、両者の判定結果から、対象画素を欠陥画素であるか否かをさらに判断してもよい。欠陥判定レベルを可変に設定するこの閾値は、手動設定する場合のほか、たとえば、カメラ10にて画像データを圧縮符号化する際の圧縮モードや画像サイズに応じて変更可能としたり、欠陥画素であると判定された画素に被着されている色フィルタの種類に応じて閾値を変更してもよい。また、カメラ10における動画像撮像モード時と、静止画像をメモリカード16に記録する撮影記録モードとで閾値を異なるようにするとよい。
【００３１】
また、検出領域における周辺画素の画素値平均と対象画素とに基づいて、欠陥判定する際に、上記の演算処理部710 および比較処理部712 の構成に代えて、画素値平均に所定幅の上限値および下限値を設定し、対象画素の画素値が上限値を超えるか否かを比較判定し、さらに、下限値未満であるか否かを比較判定し、対象画素の画素値がこれら限界値の範囲内であるか否かを判定するようにしてもよい。この場合、設定処理部706 は、これら上限値および下限値を設定する。
【００３２】
このように、欠陥画素検出部24は、ＹＣ変換後の画像データに基づいて、欠陥画素を検出するように構成されているが、これにかぎらず、たとえば欠陥画素の位置が予め判明している場合では、たとえば図12に示すディジタルカメラ800 の構成例のように、その位置座標を欠陥補正部802,804 にそれぞれ供給してよい。この例では、ＹＣ処理部18の出力を各ローパスフィルタ(LPF) 806,808 に入力し、LPF 806,808 の出力に対して、欠陥画素に対する画素値補正を各欠陥補正部802,804 にて行うように構成されている。欠陥補正部802,804 は、欠陥画素補正制御部810 より供給される欠陥情報に従って、処理対象画素の画素値をその隣接画素の画素値で補間処理する。補正制御部810 では、メモリ812 に記憶されている位置情報に応じた欠陥情報を生成して各欠陥補正部802,804 に出力する。
【００３３】
また、このような位置座標記憶による欠陥補正処理と、図１に示す実施例における欠陥画素検出処理とを組み合わせて、メモリ812 に記憶された位置座標にはない画素位置の異常画素値を検出して補正するようにするとよい。また、欠陥画素検出部24は、フレームメモリなどにてＹＣ画像データを記憶している場合には、その記憶領域における記憶アドレス等を出力するようにしてもよい。
【００３４】
図１に戻って、欠陥補正処理部26は、欠陥画素と判定された画素値をその隣接画素で補間処理する画素値補正処理部である。本実施例における欠陥補正処理部26は、欠陥画素検出部24より供給される欠陥情報に応動して輝度信号Ｙおよび色差信号Ｃに対して画素値を隣接画素で補間処理し、正常な画素をそのまま出力するとともに補間された画素値を出力する。
【００３５】
本実施例における欠陥補正処理部26は、現画素に対して、図10の画素1000で示すように、水平方向に連続する１画素前および１画素後の２つの画素値を使用して、たとえばこれらの平均値を対象画素の画素値として置き換える補間処理を行う。この場合、いずれか１つの画素値で現画素の画素値を置き換える補間処理を行ってもよい。
【００３６】
また、欠陥補正処理部26は、現画素に対して、図10の画素1002で示すように、垂直方向に連続する前ライン画素および／または後ライン画素を使用して、現画素の画素値を補間するように構成されていてもよく、さらには、図10の画素1004で示すように、上下左右に隣接する４画素値を用いて現画素値を補正するようにしてもよい。また、図示はしていないが、現画素に対して斜め方向に隣接している画素値を使用して、現画素値を補正するようにしてもよい。これら補正処理に用いる画素については、カラーフィルタの配列にはよらずに、１画素分となりの隣接画素のＹＣ画素を使用することができる。図10で示した例では、もともとはＧフィルタが被着されていた画素に対する画素位置であったが、他のフィルタ色に対応する位置の画素についても、たとえば図11に示すように、対象画素に隣接する隣接画素のいずれか、もしくはいずれか複数、さらには隣接画素のすべてを使用して、欠陥情報に応じた画素の画素値を補正することができる。
【００３７】
これら補正のために使用される画素については、たとえば、各画素周辺の画素ごとに処理対象画素との相関度を別に求めて、相関度のより高い隣接画素を使用して欠陥情報に応じた対象画素を補正するとよい。また、元々の画素に使用されている色フィルタの種類に応じて、前述の閾値を異なるように設定するようにしてもよい。
【００３８】
欠陥画素補正処理部26の出力110,112 は、ローパスフィルタ(LPF) 28,30 にそれぞれ接続され、LPF 28,30 は、画像データの高域成分を濾過してその中低域成分を通過させるディジタルフィルタである。LPF 28,30 の出力からは、正常に処理された輝度信号Ｙと、色差信号Cr,Cb とが出力される。LPF 28,30 の各出力114,116 は、それぞれ圧縮処理部32に接続されており、圧縮処理部32は、たとえばレリーズ釦の押下に応動して撮像されて、欠陥補正された画像データを圧縮符号化する。
【００３９】
本実施例における圧縮処理部32は、JPEG方式に準拠する静止画圧縮方式に準拠し、輝度信号Ｙおよび色差信号Cr,Cb それぞれの各ブロックをそれぞれDCT 変換し、量子化する。圧縮処理部32は、量子化したデータの係数を設定される圧縮率に応じて切り捨てて、残る情報に対してハフマン符号化する。圧縮処理部32は、このようにして符号化した画像データを、カードインタフェース(I/F) 回路34に出力し、インタフェース回路34は、着脱自在なメモリカード16に適合する記録形式にて、符号化した画像データと各種付属情報とを、その記録領域に書き込む。本実施例におけるメモリカード16は、EEPROM、フラッシュメモリ等の半導体メモリを備え、回路34からのコマンドに応じて符号化データ等を所定の記憶領域に記憶し、また、記憶されたデータを読み出して回路34に出力する。また、メモリカード16に代えて、光および／または磁気にて情報を記録する情報記録媒体が使用されていてもよい。
【００４０】
システムコントローラ40は、カメラ10の各部を制御して、撮像および記録制御を行うマイクロコンピュータおよびその周辺回路による制御回路である。システムコントローラ40は、上述した欠陥補正処理部26における補間処理や、欠陥画素検出部24における検出処理にて行われる各種演算、比較処理をソフトウエアによる手順にて行ってもよく、その場合、たとえば欠陥を行う場合には図７に示した処理機能を実現するプログラムがコントローラ40にロードされる。
【００４１】
また、欠陥画素検出部24および欠陥補正処理部26は、上述のような情報記憶媒体に記録されたＹＣ画像データに対し、その画像データの撮像時における欠陥画素を判定して、その画素値を補正することもできる。これは、たとえば、撮像信号を無圧縮にて情報記録媒体に記録し、その再生時に各種画像信号処理を行う場合などで有効である。この場合のカメラでは、欠陥画素補正処理を行わずに処理負荷が低減されるので、たとえば高画素密度にて撮像を行う場合に他の画像信号処理に要する時間を増やしたり、撮影間隔を短縮化することができる。
【００４２】
以上説明したように、欠陥補正処理部26では、ＹＣ処理部18にて処理されたＹＣ画像信号が入力され、欠陥情報に応じた対象画素の画素値がその隣接画素で補間されるから、撮像素子14のフィルタ配列によらずに、欠陥画素を補正することができる。また、欠陥画素検出部24では、同様にＹＣ画像信号が入力されて、ＹＣ画像信号に対する検出領域における各画素値に基づいて、処理対象画素の周辺画素に対する画素値の変化量が検出されて、撮像画像にてキズとして目立って現れる画素を検出することができる。
【００４３】
また、カラー撮像素子の出力をＹＣ変換する際に、たとえば縦３画素の画素値を用いてＹＣ画像信号が生成され、それをカバーする検出領域が設けられる場合には、ＹＣ変換の際に使用される画素にて派生する欠陥画素の影響を、欠陥補正の際に受けずに、良好な補正処理が行われる。
【００４４】
このように、上記実施例では、ＹＣ画像信号に対して欠陥画素の検出および補正処理を行っているので、フィルタ配列によらずに、また、画素間距離の大きな画素で補間処理を行うことなく、キズとして決定される画素を補正することができる。この場合、撮像素子における空隙画素、つまり、所定の画素位置における色成分フィルタ以外の成分がその画素位置にないために必要となる補間処理を行わずにすむ。このため欠陥検出および補正の際に、色フィルタの配列に応じた画素を保持する必要がなく、回路規模の増大を回避することができる。また、撮像画像について、キズとして目立たないような欠陥画素に対しては、その程度に応じて補正せずにすむ場合があり、この場合も処理負荷が軽減される。
【００４５】
また、画像圧縮符号化する際には、輝度および色差信号に対して処理するのがその圧縮効果からみて適当であるが、そのように処理して情報記録媒体に記録されたＹＣ画像信号に対しても、また、非圧縮で情報記録媒体に記録されたＹＣ画像データに対しても、それらが撮像された際の画素欠陥を検出したり、補正したりすることが可能である。
【００４６】
【発明の効果】
このように本発明によれば、輝度信号および色差信号の形式の画像信号に対して欠陥画素を補正しているから、回路規模や処理負荷の増大を避けることができ、また、キズとして目立ってしまう欠陥画素を良好に検出することができる。
【００４７】
また、このような処理は、撮像素子の色フィルタ配列によらずに行うことができるから、欠陥画素の検出・補正処理を簡単、正確に行うことができ、結果、画質の向上をもたらすことができる。このように、撮像素子に被着される色フィルタに応じて、回路規模が増大することなく、欠陥画素を補正でき、また、欠陥画素を安定して検出することができる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラの構成を示すブロック図である。
【図２】撮像素子のフィルタ配列の一例を示す図である。
【図３】欠陥補正処理部および欠陥画素検出部に入力される輝度信号Ｙを示す図である。
【図４】欠陥補正処理部および欠陥画素検出部に入力される色差信号Crを示す図である。
【図５】欠陥補正処理部および欠陥画素検出部に入力される色差信号Cbを示す図である。
【図６】ＹＣ処理部の構成例を示すブロック図である。
【図７】欠陥画素検出部の構成例を示す機能ブロック図である。
【図８】処理対象画素に応じた検出領域を示す図である。
【図９】処理対象画素に応じた検出領域の他の例を示す図である。
【図１０】欠陥画素を補間処理する際の隣接画素の例を示す図である。
【図１１】他の欠陥画素を補間処理する際の隣接画素の例を示す図である。
【図１２】本発明が適用されたディジタルカメラの他の構成例を示すブロック図である。
【符号の説明】
10 ディジタルカメラ
18 ＹＣ処理部
24 欠陥画素検出部
26 欠陥補正処理部
28,30 ローパスフィルタ (LPF)
700 周辺画素取得処理部
702 対象画素取得処理部
704 判定処理部
706 設定処理部
708 平均化処理部
710 演算処理部
712 比較処理部
【発明の属する技術分野】
本発明は、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を検出し、補正する画素欠陥補正装置および画素欠陥検出装置ならびに方法に係り、たとえば、原色フィルタがその撮像面に被着された固体撮像素子における画素欠陥を補正する画素欠陥補正装置および画素欠陥検出装置ならびに方法に関するものである。
【０００２】
【従来の技術】
近年、被写界を撮像して、その被写界画像および映像をディジタル化して、磁気テープや回転記録媒体、さらには半導体メモリに記録するディジタルカメラが普及してきている。このようなカメラには、ＣＣＤ固体撮像素子やＭＯＳ型撮像素子が搭載され、その高画素密度化に対する要求が高まってきている。
【０００３】
たとえば、ディジタルスチルカメラでは、百万画素以上の撮像セルを有する固体撮像素子が用いられるようになってきた。このような単板の撮像素子の各撮像セルには、カラー画像を形成するための各種色フィルタが搭載されている。
【０００４】
しかし、各撮像セルでは、種々の理由から受光量に応じた電荷が生成されない、いわゆるキズが発生する。このキズ状態のセル、つまり欠陥画素に対応する画素信号は、その画像が表示されたときに、状況に応じて目立ってしまい、せっかくの撮影画像の品質を落とす原因となっていた。
【０００５】
そこで、このようなカラー撮像素子を使用する場合、各種の欠陥画素の補正方式が開発および実用化されている。
【０００６】
たとえば、特開平6-30425 号公報には、補色市松方式の色コーティングのカラーＣＣＤ撮像素子の出力をサンプルホールドしディジタル化した後欠陥補正し、欠陥補正されたＣＣＤ出力に各種の信号処理を施してビデオ出力を得る固体撮像装置が開示されていた。
【０００７】
また、特開平9-205586号公報には、欠陥画素に関する情報を不揮発性メモリに記憶しておき、ＣＣＤ固体撮像素子の欠陥画素検出システムが開示されていた。この公報では、固体撮像素子と信号処理回路との間に、欠陥画素の検出とその補正とを行うための欠陥画素検出補正回路が設けられているものであった。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来では、欠陥画素補正を信号処理の前に行っていたため、たとえば、ソフトウェアにて補正処理を行う場合では、信号処理に応じた制限時間内に補正できる画素数に制限されるという問題があった。
【０００９】
また、単板のカラー撮像素子では、特に色フィルタ配列に応じた少ない画素のＲＧＢ画素、つまり同色色フィルタ間で隣接している画素で補間処理する必要があり、このため、周りの画素を保持するラインメモリやレジスタ等が補正回路内に多く必要となって、補正回路が複雑化するという問題があった。つまり、欠陥画素を補正する際に、その補正対象画素の前、後の画素や上下ラインの同色隣接画素の色フィルタの画素を使用すると画素間距離が大きくなって、このような画素を記憶保持するためにラインメモリやレジスタ等の記憶回路を多く補正回路内に設ける必要があった。
【００１０】
本発明はこのような従来技術の欠点を解消し、撮像素子の有する色フィルタに応じて、回路規模が増大することなく、欠陥画素を補正でき、また、欠陥画素を安定して検出することのできる画素欠陥補正装置および画素欠陥検出装置ならびに方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を補正する画素欠陥補正装置において、この装置は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力手段と、欠陥画素の位置に応じた欠陥情報を出力する欠陥情報出力手段と、入力手段に入力される画像信号における欠陥画素を補正する欠陥補正手段とを含み、欠陥補正手段は、欠陥情報に応じた画素の画素値を、この画素の隣接画素の画素値で補正して出力することを特徴とする。
【００１２】
また、本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を検出する画素欠陥検出装置において、この装置は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力手段と、画像信号の変化量を検出する検出手段とを含み、検出手段は、対象画素周辺の画素値を取得する第１の取得手段と、対象画素の画素値を取得する第２の取得手段と、第１および第２の取得手段にて取得したそれぞれの画素値に基づいて、対象画素が欠陥画素として決定するか否かを判定する判定手段とを含み、判定手段は、判定結果を出力することを特徴とする。
【００１３】
さらに、本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を補正する画素欠陥補正方法において、この方法は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力工程と、欠陥画素の位置に応じた欠陥情報を出力する欠陥情報出力工程と、入力工程にて入力される画像信号における欠陥画素を補正する欠陥補正工程とを含み、欠陥補正工程は、欠陥情報に応じた画素の画素値を、この画素の隣接画素の画素値で補正することを特徴とする。
【００１４】
また、本発明は上述の課題を解決するために、色フィルタが被着された撮像素子から出力される画素信号を入力し、撮像素子における欠陥画素による画素信号を検出する画素欠陥検出方法において、この方法は、画素信号が輝度成分および色差成分に変換された画像信号を入力する入力工程と、画像信号の変化量を検出する検出工程とを含み、検出工程は、対象画素周辺の画素値を取得する第１の取得工程と、対象画素の画素値を取得する第２の取得工程と、第１および第２の取得工程にて取得したそれぞれの画素値に基づいて、対象画素が欠陥画素として決定するか否かを判定する判定工程とを含み、判定工程は、判定結果を出力することを特徴とする。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明による画素欠陥補正装置をディジタルカメラに適用した実施例を詳細に説明する。図１を参照すると、撮像レンズ12を介して結像される光学像を撮像素子14にて光電変換し、被写界像に応じたカラー画像信号を生成してメモリカード16等の情報記憶媒体に記憶させるディジタルカメラ10が示されている。このディジタルカメラ10は、ＹＣ処理部18の出力信号に対して欠陥画素の検出処理および補正処理を行うことにより、撮像素子14にて発生する欠陥画素を修正する機能を有する。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１６】
撮像素子14は、垂直および水平方向に複数の撮像セルが形成され、各セルのフォトダイオードに到達する光の量に応じた電荷を生成し、これを各セルに対応する複数の垂直電荷転送路と水平電荷転送路を介して読み出し、各セルの受光量に応じた画素値を表す画素信号として出力100 に出力する固体撮像素子である。各セルの受光面には、撮像レンズ12からの光束を集光するマイクロレンズとカラー画像を生成するための分光特性が異なる色フィルタとが形成されており、本実施例では、図２に示すフィルタ配列の原色カラーフィルタが被着されて、それぞれ分光感度特性がＲ・Ｇ・Ｂ（赤・緑・青）ごとに異なる撮像セルが形成されている。このカラーフィルタは、垂直方向にＧフィルタがストライプ状に配列され、Ｇフィルタ列の間ごとにＲＢ、ＢＲの色フィルタ列が交互に配列されているＧストライプＲＢ完全市松配列のカラーフィルタである。
【００１７】
固体撮像素子には、一般に、その製造上の問題から、受光量に応じた電気信号を生成しない撮像セルが発生し、たとえば、受光量とは無関係に明るい状態の画素を示す白キズや暗い状態を示す黒キズなどが、その出力信号に含まれる。これらを完全になくすように選別すると歩留まりの低下につながる。そこで、そのキズ発生の程度に応じて、撮像素子の出力信号に対して、そのキズ状態の撮像セルからの画素値を補正することが行われる。たとえば、特定のＲ画素が欠陥画素であるとすると、その欠陥画素に対して、同一の色成分に着目して隣接する他のＲ画素の値を用いて、欠陥画素の画素値を補正することが行われていた。しかし、本実施例では、このような方法にはよらずに、画素信号100 を変換して生成した輝度信号Ｙおよび色差信号ＣのＹＣ画像信号に対して欠陥補正を行い、また、このようなＹＣ画像信号で欠陥画素を検出するように構成されている。
【００１８】
撮像素子14の出力100 には、フィルタ配列に応じた点順次のRGB 画素信号が出力され、不図示の相関二重サンプリング回路を経てサンプル・ホールド回路20に入力される。ここで保持されたRGB 点順次の画素信号102 は、アナログ・ディジタル変換(ADC) 回路22にて、離散的なディジタル画像信号に変換される。
【００１９】
アナログ・ディジタル変換(ADC) 回路の出力104 はＹＣ処理部18に接続され、ＹＣ処理部18は、ADC 回路22より出力されるRGB 画素信号104 を輝度信号Ｙおよび色差信号ＣのＹＣ画像信号に変換する処理回路である。
【００２０】
本実施例におけるＹＣ処理部18は、処理対象の画素に対して１つ前のラインにおける前ライン画素と、１つ後のラインにおける後ライン画素との垂直（縦）方向の上下に配置された３画素、もしくはそれに水平方向に隣接する３画素を加えた６画素を用いて、画像信号の高域成分YHと低域成分YLとを生成し、図３に示すような輝度信号Ｙを生成する。また、ＹＣ処理部18は、図４および図５に示すような色差信号Cr,Cbを生成する。
【００２１】
詳しくはＹＣ処理部18は、図６に示すように、ディジタル化されたRGB 画素信号104 を一時記憶するバッファメモリ600 と、バッファメモリ600 から読み出されるRGB 画素信号602 を選択して所望の出力604a,604b,604c,604d に出力する選択回路(SEL) 606 とを有している。その出力604aに接続されるYH生成処理部608 と、出力604bに接続されるYL生成処理部610 とは、入力される縦方向に分布する３画素値を用いて所定の演算方法により輝度信号の高域成分YHと低域成分YLとを算出する。YH生成処理部608 の高域成分YH出力は、加算器612 の一方の入力とローパスフィルタ(LPF) 614 とに接続され、YL生成処理部610 の低域成分出力は加算器612 の他方の入力に接続されている。加算器612 は、高域成分YHと低域成分YLとを合成して信号(YL-YH) を生成し、ローパスフィルタ(LPF) 616 に供給する。加算器618 はそれぞれのLPF 614,616 にて処理された成分信号を(YL-YH)+YHという輝度信号の合成を行って、輝度信号Ｙを出力106 に出力する。
【００２２】
選択回路606 の出力604c,604d にそれぞれ接続されるCr生成処理部620 およびCb生成処理部622 は、色差成分Cr,Cb を生成し、ローパスフィルタ(LPF) 624,626 はそれぞれこれら色差成分をフィルタ処理して色差信号Ｃ(Cr,Cb) を出力108に出力する。
【００２３】
このようにＹＣ処理回路18は、RGB 画素データから補間処理して各画素位置におけるRGB 各画素値を算出してからＹＣ処理を行うのではなく、隣接する少なくとも縦３画素から輝度および色差成分の各信号を生成する。ＹＣ処理回路18の出力106 および108 は、欠陥画素検出部24と欠陥補正処理部26とにそれぞれ接続されている。
【００２４】
欠陥画素検出部24は、入力106,108 にそれぞれ入力される輝度信号Ｙと色差信号Ｃから、撮像素子14における欠陥画素を検出する処理部である。欠陥画素検出部24は、輝度信号Ｙおよび色差信号Ｃの変化量から、処理対象の画素が欠陥画素であるか否かを判定し、欠陥画素を検出した際に欠陥情報を出力する。
【００２５】
本実施例における欠陥画素検出部24は、処理対象画素の画素値と、処理対象画素に近接して周辺に存在する周辺画素値とにより、その処理対象画素が欠陥画素であるか否か、つまり正常な画素値であるかを判定する。詳しくは図７に示すように、欠陥画素検出部24は、現画素が欠陥画素であるか否かを判定する際に、処理対象画素の周辺の画素値を取得する周辺画素取得処理部700 と、処理対象画素の画素値を取得する対象画素取得処理部702 と、処理対象画素が欠陥画素であるか否かを判定する判定処理部704 と、判定処理部704 にて判定するための閾値を可変に設定する設定処理部706 とを含む。判定処理部704 は、さらに周辺画素の画素値を平均化する平均化処理部708 と、平均化された周辺画素値と対象画素の画素値との相関関係を算出する演算処理部710 と、演算処理部710 における演算結果と閾値とを比較して、処理対象画素が欠陥の画素値であると判定するか否かを示す比較結果を出力する比較処理部712 とを含む。
【００２６】
周辺画素所得処理部700 は、処理対象画素周辺に検出領域を設け、それらの画素値を一時記憶保持する機能を有する。本実施例における周辺画素所得処理部700 は、図８に示すように対象画素800 を中心とする縦横５×５画素領域802 の各画素値をそれぞれ記憶する。これに限らず周辺画素所得処理部700 は、図９に示すように、対象画素900 周辺の３×３画素領域902 以上の縦横がそれぞれ奇数個の画素数で構成される検出領域の画素値を取得するとよい。この検出領域の大きさは、撮像素子14の総画素数と希望する解像度とに応じてさらに大きい領域としてもよい。本実施例では、ＹＣ信号を生成する際に垂直方向の３画素を使用しているので、また、画素欠陥の検出のためには、それと等しい縦横の画素数か、もしくはそれよりも大きな画素数の検出領域を設定する。
【００２７】
図７に戻って、周辺画素取得処理部700 は、周辺画素の画素値を判定処理部704 の平均化処理部708 に供給する。また、周辺画素所得処理部700 は、処理対象画素を対象画素取得処理部702 に供給し、対象画素取得処理部702 は、その画素値の出力タイミングを採るために一時記憶して、判定処理部704 の演算処理部710 に供給する。平均化処理部708 は、入力される周辺画素値の平均を算出する処理部であり、検出領域における中央の処理対象画素を除く画素値平均を算出する。
【００２８】
演算処理部710 は、平均化処理部708 にて算出された画素値平均と、供給される対象画素の画素値との差およびその絶対値を算出し、こらら値の相関度を算出する処理部である。したがって本実施例では、算出結果が大きいほど相関度は低く、逆に小さいほど相関度が高いこととなる。相関度が高い場合には、対象画素の画素値は、周辺画素との相関が高く、対象画素が欠陥画素であってもそうではなくても、キズとしては目立たない画素値である。逆に相関度が低い場合には、対象画素の画素値が周辺画素との相関が低く、たとえば輝点や暗点として目立つキズ状態である。
【００２９】
算出された相関度は比較処理部712 に送られ、比較処理部712 は、その相関度と、設定処理部706 から供給される閾値とを比較することにより、相関度をある幅を持って、許容される範囲内であるか否かを比較判定する。比較処理部712 の比較出力714 は、欠陥画素検出部24の出力を構成し、欠陥補正処理部26に接続されている。このように本実施例では、撮像素子14における画素欠陥状態と撮像画像信号とのかねあいで欠陥判定しており、撮像画像上で目立つようなキズとして認められるような欠陥状態の画素に対してこれを補正するための欠陥情報が生成される。なお、実際の撮影に先立って、乳白色板やレンズカバー等を使用し、明状態および暗状態における黒キズおよび白キズをそれぞれ検出して、それらキズ位置を記憶し、その位置情報に基づいて、その後の欠陥補正を行う場合などでは、たとえば明状態に対して白キズが発生していてもそのレベルに応じて補正せず、逆に、暗状態に対して黒キズが発生していたとしても、そのキズレベルによっては補正しなくてもよい。
【００３０】
また、輝度信号Ｙのみを使用して画素欠陥を判定してもよく、また、輝度信号Ｙと色差信号Ｃとを別々に用いてそれぞれ欠陥判定し、両者の判定結果から、対象画素を欠陥画素であるか否かをさらに判断してもよい。欠陥判定レベルを可変に設定するこの閾値は、手動設定する場合のほか、たとえば、カメラ10にて画像データを圧縮符号化する際の圧縮モードや画像サイズに応じて変更可能としたり、欠陥画素であると判定された画素に被着されている色フィルタの種類に応じて閾値を変更してもよい。また、カメラ10における動画像撮像モード時と、静止画像をメモリカード16に記録する撮影記録モードとで閾値を異なるようにするとよい。
【００３１】
また、検出領域における周辺画素の画素値平均と対象画素とに基づいて、欠陥判定する際に、上記の演算処理部710 および比較処理部712 の構成に代えて、画素値平均に所定幅の上限値および下限値を設定し、対象画素の画素値が上限値を超えるか否かを比較判定し、さらに、下限値未満であるか否かを比較判定し、対象画素の画素値がこれら限界値の範囲内であるか否かを判定するようにしてもよい。この場合、設定処理部706 は、これら上限値および下限値を設定する。
【００３２】
このように、欠陥画素検出部24は、ＹＣ変換後の画像データに基づいて、欠陥画素を検出するように構成されているが、これにかぎらず、たとえば欠陥画素の位置が予め判明している場合では、たとえば図12に示すディジタルカメラ800 の構成例のように、その位置座標を欠陥補正部802,804 にそれぞれ供給してよい。この例では、ＹＣ処理部18の出力を各ローパスフィルタ(LPF) 806,808 に入力し、LPF 806,808 の出力に対して、欠陥画素に対する画素値補正を各欠陥補正部802,804 にて行うように構成されている。欠陥補正部802,804 は、欠陥画素補正制御部810 より供給される欠陥情報に従って、処理対象画素の画素値をその隣接画素の画素値で補間処理する。補正制御部810 では、メモリ812 に記憶されている位置情報に応じた欠陥情報を生成して各欠陥補正部802,804 に出力する。
【００３３】
また、このような位置座標記憶による欠陥補正処理と、図１に示す実施例における欠陥画素検出処理とを組み合わせて、メモリ812 に記憶された位置座標にはない画素位置の異常画素値を検出して補正するようにするとよい。また、欠陥画素検出部24は、フレームメモリなどにてＹＣ画像データを記憶している場合には、その記憶領域における記憶アドレス等を出力するようにしてもよい。
【００３４】
図１に戻って、欠陥補正処理部26は、欠陥画素と判定された画素値をその隣接画素で補間処理する画素値補正処理部である。本実施例における欠陥補正処理部26は、欠陥画素検出部24より供給される欠陥情報に応動して輝度信号Ｙおよび色差信号Ｃに対して画素値を隣接画素で補間処理し、正常な画素をそのまま出力するとともに補間された画素値を出力する。
【００３５】
本実施例における欠陥補正処理部26は、現画素に対して、図10の画素1000で示すように、水平方向に連続する１画素前および１画素後の２つの画素値を使用して、たとえばこれらの平均値を対象画素の画素値として置き換える補間処理を行う。この場合、いずれか１つの画素値で現画素の画素値を置き換える補間処理を行ってもよい。
【００３６】
また、欠陥補正処理部26は、現画素に対して、図10の画素1002で示すように、垂直方向に連続する前ライン画素および／または後ライン画素を使用して、現画素の画素値を補間するように構成されていてもよく、さらには、図10の画素1004で示すように、上下左右に隣接する４画素値を用いて現画素値を補正するようにしてもよい。また、図示はしていないが、現画素に対して斜め方向に隣接している画素値を使用して、現画素値を補正するようにしてもよい。これら補正処理に用いる画素については、カラーフィルタの配列にはよらずに、１画素分となりの隣接画素のＹＣ画素を使用することができる。図10で示した例では、もともとはＧフィルタが被着されていた画素に対する画素位置であったが、他のフィルタ色に対応する位置の画素についても、たとえば図11に示すように、対象画素に隣接する隣接画素のいずれか、もしくはいずれか複数、さらには隣接画素のすべてを使用して、欠陥情報に応じた画素の画素値を補正することができる。
【００３７】
これら補正のために使用される画素については、たとえば、各画素周辺の画素ごとに処理対象画素との相関度を別に求めて、相関度のより高い隣接画素を使用して欠陥情報に応じた対象画素を補正するとよい。また、元々の画素に使用されている色フィルタの種類に応じて、前述の閾値を異なるように設定するようにしてもよい。
【００３８】
欠陥画素補正処理部26の出力110,112 は、ローパスフィルタ(LPF) 28,30 にそれぞれ接続され、LPF 28,30 は、画像データの高域成分を濾過してその中低域成分を通過させるディジタルフィルタである。LPF 28,30 の出力からは、正常に処理された輝度信号Ｙと、色差信号Cr,Cb とが出力される。LPF 28,30 の各出力114,116 は、それぞれ圧縮処理部32に接続されており、圧縮処理部32は、たとえばレリーズ釦の押下に応動して撮像されて、欠陥補正された画像データを圧縮符号化する。
【００３９】
本実施例における圧縮処理部32は、JPEG方式に準拠する静止画圧縮方式に準拠し、輝度信号Ｙおよび色差信号Cr,Cb それぞれの各ブロックをそれぞれDCT 変換し、量子化する。圧縮処理部32は、量子化したデータの係数を設定される圧縮率に応じて切り捨てて、残る情報に対してハフマン符号化する。圧縮処理部32は、このようにして符号化した画像データを、カードインタフェース(I/F) 回路34に出力し、インタフェース回路34は、着脱自在なメモリカード16に適合する記録形式にて、符号化した画像データと各種付属情報とを、その記録領域に書き込む。本実施例におけるメモリカード16は、EEPROM、フラッシュメモリ等の半導体メモリを備え、回路34からのコマンドに応じて符号化データ等を所定の記憶領域に記憶し、また、記憶されたデータを読み出して回路34に出力する。また、メモリカード16に代えて、光および／または磁気にて情報を記録する情報記録媒体が使用されていてもよい。
【００４０】
システムコントローラ40は、カメラ10の各部を制御して、撮像および記録制御を行うマイクロコンピュータおよびその周辺回路による制御回路である。システムコントローラ40は、上述した欠陥補正処理部26における補間処理や、欠陥画素検出部24における検出処理にて行われる各種演算、比較処理をソフトウエアによる手順にて行ってもよく、その場合、たとえば欠陥を行う場合には図７に示した処理機能を実現するプログラムがコントローラ40にロードされる。
【００４１】
また、欠陥画素検出部24および欠陥補正処理部26は、上述のような情報記憶媒体に記録されたＹＣ画像データに対し、その画像データの撮像時における欠陥画素を判定して、その画素値を補正することもできる。これは、たとえば、撮像信号を無圧縮にて情報記録媒体に記録し、その再生時に各種画像信号処理を行う場合などで有効である。この場合のカメラでは、欠陥画素補正処理を行わずに処理負荷が低減されるので、たとえば高画素密度にて撮像を行う場合に他の画像信号処理に要する時間を増やしたり、撮影間隔を短縮化することができる。
【００４２】
以上説明したように、欠陥補正処理部26では、ＹＣ処理部18にて処理されたＹＣ画像信号が入力され、欠陥情報に応じた対象画素の画素値がその隣接画素で補間されるから、撮像素子14のフィルタ配列によらずに、欠陥画素を補正することができる。また、欠陥画素検出部24では、同様にＹＣ画像信号が入力されて、ＹＣ画像信号に対する検出領域における各画素値に基づいて、処理対象画素の周辺画素に対する画素値の変化量が検出されて、撮像画像にてキズとして目立って現れる画素を検出することができる。
【００４３】
また、カラー撮像素子の出力をＹＣ変換する際に、たとえば縦３画素の画素値を用いてＹＣ画像信号が生成され、それをカバーする検出領域が設けられる場合には、ＹＣ変換の際に使用される画素にて派生する欠陥画素の影響を、欠陥補正の際に受けずに、良好な補正処理が行われる。
【００４４】
このように、上記実施例では、ＹＣ画像信号に対して欠陥画素の検出および補正処理を行っているので、フィルタ配列によらずに、また、画素間距離の大きな画素で補間処理を行うことなく、キズとして決定される画素を補正することができる。この場合、撮像素子における空隙画素、つまり、所定の画素位置における色成分フィルタ以外の成分がその画素位置にないために必要となる補間処理を行わずにすむ。このため欠陥検出および補正の際に、色フィルタの配列に応じた画素を保持する必要がなく、回路規模の増大を回避することができる。また、撮像画像について、キズとして目立たないような欠陥画素に対しては、その程度に応じて補正せずにすむ場合があり、この場合も処理負荷が軽減される。
【００４５】
また、画像圧縮符号化する際には、輝度および色差信号に対して処理するのがその圧縮効果からみて適当であるが、そのように処理して情報記録媒体に記録されたＹＣ画像信号に対しても、また、非圧縮で情報記録媒体に記録されたＹＣ画像データに対しても、それらが撮像された際の画素欠陥を検出したり、補正したりすることが可能である。
【００４６】
【発明の効果】
このように本発明によれば、輝度信号および色差信号の形式の画像信号に対して欠陥画素を補正しているから、回路規模や処理負荷の増大を避けることができ、また、キズとして目立ってしまう欠陥画素を良好に検出することができる。
【００４７】
また、このような処理は、撮像素子の色フィルタ配列によらずに行うことができるから、欠陥画素の検出・補正処理を簡単、正確に行うことができ、結果、画質の向上をもたらすことができる。このように、撮像素子に被着される色フィルタに応じて、回路規模が増大することなく、欠陥画素を補正でき、また、欠陥画素を安定して検出することができる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラの構成を示すブロック図である。
【図２】撮像素子のフィルタ配列の一例を示す図である。
【図３】欠陥補正処理部および欠陥画素検出部に入力される輝度信号Ｙを示す図である。
【図４】欠陥補正処理部および欠陥画素検出部に入力される色差信号Crを示す図である。
【図５】欠陥補正処理部および欠陥画素検出部に入力される色差信号Cbを示す図である。
【図６】ＹＣ処理部の構成例を示すブロック図である。
【図７】欠陥画素検出部の構成例を示す機能ブロック図である。
【図８】処理対象画素に応じた検出領域を示す図である。
【図９】処理対象画素に応じた検出領域の他の例を示す図である。
【図１０】欠陥画素を補間処理する際の隣接画素の例を示す図である。
【図１１】他の欠陥画素を補間処理する際の隣接画素の例を示す図である。
【図１２】本発明が適用されたディジタルカメラの他の構成例を示すブロック図である。
【符号の説明】
10 ディジタルカメラ
18 ＹＣ処理部
24 欠陥画素検出部
26 欠陥補正処理部
28,30 ローパスフィルタ (LPF)
700 周辺画素取得処理部
702 対象画素取得処理部
704 判定処理部
706 設定処理部
708 平均化処理部
710 演算処理部
712 比較処理部
Claims (37)
- 原色色フィルタが被着された撮像素子から出力される画素信号を入力し、該撮像素子における欠陥画素による画素信号を補正する画素欠陥補正装置において、該装置は、前記画素信号を輝度成分および色差成分に変換する変換手段と、該変換手段にて変換された画像信号を入力する入力手段と、前記欠陥画素の位置に応じた欠陥情報を出力する欠陥情報出力手段と、前記入力手段に入力される画像信号における欠陥画素を補正する欠陥補正手段とを含み、
前記欠陥情報出力手段は、前記画像信号の変化量を検出する検出手段を含み、該検出手段の検出結果に応じた欠陥情報を前記欠陥補正手段に供給し、
前記検出手段は、対象画素周辺の画素値を取得する第１の取得手段と、前記対象画素の画素値を取得する第２の取得手段と、第１および第２の取得手段にて取得したそれぞれの画素値に基づいて、前記対象画素を欠陥画素として決定するか否かを判定する判定手段とを含み、
該判定手段は、前記第１の取得手段にて取得された画素値を平均化して画素値平均を算出する平均化手段と、前記対象画素の画素値と、前記画素値平均とを比較する比較手段とを含み、
前記比較手段は、前記画素値平均と前記対象画素の画素値との差分絶対値を算出する演算手段を含み、該差分絶対値が前記所定の範囲内にあるか否かを比較判定することにより、前記対象画素の画素値が、前記画素値平均の所定の範囲内にあるか否かを比較判定し、該比較判定の結果に応じた欠陥情報を前記欠陥補正手段に出力し、
前記欠陥補正手段は、前記欠陥情報に応じた画素の画素値を、該画素の隣接画素の画素値で補正して出力することを特徴とする画素欠陥補正装置。 - 請求項１に記載の補正装置において、前記欠陥補正手段は、前記欠陥情報に応じた画素の画素値を、前記輝度成分および前記色差成分の画像信号の画素値で補正することを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、前記変換手段は、前記画像信号における画素に垂直方向に隣接する画素を用いて該画像信号の高域成分および低域成分を生成し、これら高域および低域成分から前記輝度成分の輝度信号を生成し、さらに前記処理対象画素に隣接する画素を用いて該画像信号の色差成分の色差信号を生成し、前記欠陥補正手段は、前記輝度信号および色差信号を補正することを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、該装置は、前記所定の範囲を可変に設定する設定手段を含むことを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、前記平均化手段は、前記対象画素を中心とする周辺の縦横ｍ×ｎ画素（ｍ、ｎは３以上の奇数）の画素のうち、該対象画素を除く領域の画素値平均を算出することを特徴とする画素欠陥補正装置。
- 請求項５に記載の補正装置において、前記平均化手段は、前記対象画素を除く領域の縦横５×５画素の画素値平均を算出することを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、該装置は、前記欠陥補正手段の出力に低域通過型フィルタ手段が接続されることを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、前記位置情報出力手段は、前記撮像素子の欠陥画素を検査した結果、欠陥画素と判定された欠陥情報として、該欠陥画素の位置を表す位置情報を予め記憶する記憶手段を含み、前記欠陥補正手段は、前記位置情報に応じた画素の画素値を補正することを特徴とする画素欠陥補正装置。
- 請求項８に記載の補正装置において、該装置は、前記変換手段の出力に低域通過型フィルタ手段が接続され、前記欠陥補正手段は、該低域通過型フィルタ手段から出力される画像信号について前記欠陥画素の補正処理を行うことを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、前記欠陥補正手段は、欠陥補正対象画素の前および／または後の隣接画素値で、前記対象画素の画素値を補間することを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、前記欠陥補正手段は、欠陥補正対象画素の前ラインおよび／または後ラインの画素値で、前記対象画素の画素値を補間することを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、前記色フィルタは、ＲＧＢ原色カラーフィルタであり、前記変換手段は、前記撮像素子から出力されるＲＧＢ画素信号から前記画像信号を生成することを特徴とする画素欠陥補正装置。
- 請求項１に記載の補正装置において、該装置は、前記撮像素子を含むことを特徴とする欠陥画素補正装置。
- 請求項１に記載の補正装置において、該装置は、前記欠陥補正手段から出力される画像信号を処理して情報記憶媒体に記録する記録手段を含むことを特徴とする欠陥画素補正装置。
- 原色色フィルタが被着された撮像素子から出力される画素信号を入力し、該撮像素子における欠陥画素による画素信号を検出する画素欠陥検出装置において、該装置は、前記画素信号を輝度成分および色差成分に変換する変換手段と、該変換手段にて変換された画像信号を入力する入力手段と、前記画像信号の変化量を検出する検出手段とを含み、該検出手段は、前記対象画素周辺の画素値を取得する第１の取得手段と、前記対象画素の画素値を取得する第２の取得手段と、第１および第２の取得手段にて取得したそれぞれの画素値に基づいて、前記対象画素が欠陥画素として決定するか否かを判定する判定手段とを含み、
該判定手段は、前記第１の取得手段にて取得された画素値を平均化して画素値平均を算出する平均化手段と、前記対象画素の画素値と、前記画素値平均とを比較する比較手段とを含み、
該記比較手段は、前記画素値平均と前記対象画素の画素値との差分絶対値を算出する演算手段を含み、該差分絶対値が前記所定の範囲内にあるか否かを比較判定することにより前記対象画素の画素値が、前記画素値平均の所定の範囲内にあるか否かを比較判定し、該比較判定の結果に応じた判定結果を出力することを特徴とする画素欠陥検出装置。 - 請求項１５に記載の検出装置において、該装置は、前記所定の範囲を可変に設定する設定手段を含むことを特徴とする画素欠陥検出装置。
- 請求項１５に記載の検出装置において、前記平均化手段は、前記対象画素を中心とする周辺の縦横ｍ×ｎ画素（ｍ、ｎは３以上の奇数）の画素のうち、該対象画素を除く領域の画素値平均を算出することを特徴とする画素欠陥検出装置。
- 請求項１７に記載の検出装置において、前記平均化手段は、前記対象画素を除く領域の縦横５×５画素の画素値平均を算出することを特徴とする画素欠陥検出装置。
- 請求項１５に記載の検出装置において、前記変換手段は、前記画素信号における画素に垂直方向に隣接する画素を用いて該画素信号の高域成分および低域成分を生成し、これら高域および低域成分から前記輝度成分の輝度信号を生成し、さらに前記処理対象画素に隣接する画素を用いて該画素信号の色差成分の色差信号を生成することを特徴とする画素欠陥検出装置。
- 原色色フィルタが被着された撮像素子から出力される画素信号を入力し、該撮像素子における欠陥画素による画素信号を補正する画素欠陥補正方法において、該方法は、前記画素信号を輝度成分および色差成分に変換する変換工程と、該変換工程にて変換された画像信号を入力する入力工程と、前記欠陥画素の位置に応じた欠陥情報を出力する欠陥情報出力工程と、前記入力工程にて入力される画像信号における欠陥画素を補正する欠陥補正工程とを含み、
前記欠陥情報出力工程は、前記画像信号の変化量を検出する検出工程を含み、該検出工程での検出結果に応じた欠陥情報を生成し、
前記検出工程は、前記対象画素周辺の画素値を取得する第１の取得工程と、前記対象画素の画素値を取得する第２の取得工程と、第１および第２の取得工程にて取得したそれぞれの画素値に基づいて、前記対象画素を欠陥画素として決定するか否かを判定する判定工程とを含み、
前記判定工程は、前記第１の取得手段にて取得された画素値を平均化して画素値平均を算出する平均化工程と、前記対象画素の画素値と、前記画素値平均とを比較する比較工程とを含み、
前記比較工程は、前記画素値平均と前記対象画素の画素値との差分絶対値を算出する演算工程を含み、該差分絶対値が前記所定の範囲内にあるか否かを比較判定することにより、前記対象画素の画素値が、前記画素値平均の所定の範囲内にあるか否かを比較判定し、該比較結果に応じた欠陥情報を生成し、
前記欠陥補正工程は、前記欠陥情報に応じた画素の画素値を、該画素の隣接画素の画素値で補正することを特徴とする画素欠陥補正方法。 - 請求項２０に記載の補正方法において、前記欠陥補正工程は、前記欠陥情報に応じた画素の画素値を、前記輝度成分および前記色差成分の画像信号の画素値で補正することを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、前記変換工程は、前記画像信号における画素に垂直方向に隣接する画素を用いて該画像信号の高域成分および低域成分を生成し、これら高域および低域成分から前記輝度成分の輝度信号を生成し、さらに前記処理対象画素に隣接する画素を用いて該画像信号の色差成分の色差信号を生成し、前記欠陥補正工程は、前記輝度信号および色差信号を補正することを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、該方法は、前記所定の範囲を可変に設定する設定工程を含むことを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、前記平均化工程は、前記対象画素を中心とする周辺の縦横ｍ×ｎ画素（ｍ、ｎは３以上の奇数）の画素のうち、該対象画素を除く領域の画素値平均を算出することを特徴とする画素欠陥補正方法。
- 請求項２４に記載の補正方法において、前記平均化工程は、前記対象画素を除く領域の縦横５×５画素の画素値平均を算出することを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、該方法は、前記欠陥補正工程にて補正された画像信号に対して低域通過型フィルタ処理を行うことを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、前記位置情報出力工程は、前記撮像素子の欠陥画素を検査した結果、欠陥画素と判定された欠陥情報として、該欠陥画素の位置を表す位置情報を予め記憶する記憶工程を含み、前記欠陥補正工程は、前記位置情報に応じた画素の画素値を補正することを特徴とする画素欠陥補正方法。
- 請求項２７に記載の補正方法において、該方法は、前記変換工程にて補正された画像信号に対して低域通過型フィルタ処理を行い、前記欠陥補正工程は、該低域通過型フィルタ処理された画像信号について前記欠陥画素の補正処理を行うことを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、前記欠陥補正工程は、欠陥補正対象画素の前および／または後の隣接画素値で、前記対象画素の画素値を補間することを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、前記欠陥補正工程は、欠陥補正対象画素の前ラインおよび／または後ラインの画素値で、前記対象画素の画素値を補間することを特徴とする画素欠陥補正方法。
- 請求項２０記載の補正方法において、前記色フィルタは、ＲＧＢ原色カラーフィルタである場合に、前記変換工程は、前記撮像素子から出力されるＲＧＢ画素信号から前記画像信号を生成することを特徴とする画素欠陥補正方法。
- 請求項２０に記載の補正方法において、該方法は、前記欠陥補正工程にて補正された画像信号を処理して情報記憶媒体に記録する記録工程を含むことを特徴とする欠陥画素補正方法。
- 原色色フィルタが被着された撮像素子から出力される画素信号を入力し、該撮像素子における欠陥画素による画素信号を検出する画素欠陥検出方法において、該方法は、前記画素信号を輝度成分および色差成分に変換する変換工程と、該変換工程にて変換された画像信号を入力する入力工程と、前記画像信号の変化量を検出する検出工程とを含み、該検出工程は、前記対象画素周辺の画素値を取得する第１の取得工程と、前記対象画素の画素値を取得する第２の取得工程と、第１および第２の取得工程にて取得したそれぞれの画素値に基づいて、前記対象画素が欠陥画素として決定するか否かを判定する判定工程とを含み、
該判定工程は、前記第１の取得手段にて取得された画素値を平均化して画素値平均を算出する平均化工程と、前記対象画素の画素値と、前記画素値平均とを比較する比較工程とを含み、
前記比較工程は、前記画素値平均と前記対象画素の画素値との差分絶対値を算出する演算工程を含み、該差分絶対値が前記所定の範囲内にあるか否かを比較判定することにより、前記対象画素の画素値が、前記画素値平均の所定の範囲内にあるか否かを比較判定し、
前記判定工程は、前記比較判定の結果に応じた判定結果を出力することを特徴とする画素欠陥検出方法。 - 請求項３３に記載の検出方法において、該方法は、前記所定の範囲を可変に設定する設定工程を含むことを特徴とする画素欠陥検出方法。
- 請求項３３に記載の検出方法において、前記平均化工程は、前記対象画素を中心とする周辺の縦横ｍ×ｎ画素（ｍ、ｎは３以上の奇数）の画素のうち、該対象画素を除く領域の画素値平均を算出することを特徴とする画素欠陥検出方法。
- 請求項３５に記載の検出方法において、前記平均化工程は、前記対象画素を除く領域の縦横５×５画素の画素値平均を算出することを特徴とする画素欠陥検出方法。
- 請求項３３に記載の検出方法において、前記変換工程は、前記画素信号における画素に垂直方向に隣接する画素を用いて該画素信号の高域成分および低域成分を生成し、これら高域および低域成分から前記輝度成分の輝度信号を生成し、さらに前記処理対象画素に隣接する画素を用いて該画素信号の色差成分の色差信号を生成することを特徴とする画素欠陥検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18156799A JP4279407B2 (ja) | 1999-06-28 | 1999-06-28 | 画素欠陥補正装置および画素欠陥検出装置ならびに方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18156799A JP4279407B2 (ja) | 1999-06-28 | 1999-06-28 | 画素欠陥補正装置および画素欠陥検出装置ならびに方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016599A JP2001016599A (ja) | 2001-01-19 |
| JP4279407B2 true JP4279407B2 (ja) | 2009-06-17 |
Family
ID=16103070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18156799A Expired - Fee Related JP4279407B2 (ja) | 1999-06-28 | 1999-06-28 | 画素欠陥補正装置および画素欠陥検出装置ならびに方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4279407B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1732682B (zh) | 2002-12-27 | 2010-04-21 | 株式会社尼康 | 图像处理装置 |
| JP4679174B2 (ja) * | 2005-02-25 | 2011-04-27 | パナソニック株式会社 | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ |
| JP2007174015A (ja) * | 2005-12-20 | 2007-07-05 | Nikon Corp | 画像管理プログラム、および画像管理装置 |
| JP4857877B2 (ja) | 2006-04-11 | 2012-01-18 | 株式会社ニコン | 撮像装置およびカメラ |
| JP5375359B2 (ja) * | 2009-06-22 | 2013-12-25 | ソニー株式会社 | 撮像素子、電荷読み出し方法、撮像装置 |
| CN102859573A (zh) * | 2010-04-27 | 2013-01-02 | 汤姆森特许公司 | 液晶显示器中自适应主背光消隐的方法和设备 |
-
1999
- 1999-06-28 JP JP18156799A patent/JP4279407B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001016599A (ja) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4374488B2 (ja) | デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法 | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US20080278609A1 (en) | Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program | |
| US8212899B2 (en) | Imaging apparatus capable of highly accurate defective pixel correction processing | |
| JP4453332B2 (ja) | 欠陥画素検出方法、検出装置および撮像装置 | |
| US7590301B2 (en) | Method and system for correcting defective pixels of a color image | |
| US7884864B2 (en) | Noise reduction device, noise reduction method and image capturing device | |
| JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
| WO2007145373A2 (en) | Solid-state image sensor | |
| KR100986203B1 (ko) | 촬상 장치 및 이에 이용하는 결함 화소 보정 방법 | |
| JPWO2007023817A1 (ja) | 画像処理システムおよび画像処理プログラム | |
| JP4985124B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
| JP3544304B2 (ja) | 画素欠陥補正装置及び画素欠陥補正方法 | |
| JP3980781B2 (ja) | 撮像装置および撮像方法 | |
| JP4912979B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4279407B2 (ja) | 画素欠陥補正装置および画素欠陥検出装置ならびに方法 | |
| JP4817529B2 (ja) | 撮像装置及び画像処理方法 | |
| JP4057216B2 (ja) | 固体撮像装置および画素欠陥検出方法 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
| JP5245642B2 (ja) | 撮像装置及び欠陥補正装置 | |
| JP4307318B2 (ja) | 欠陥画素補正装置及び欠陥画素補正処理方法 | |
| JP2002271806A (ja) | Ｃｃｄ撮像素子の画素欠陥信号補正回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090312 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |