JP4130275B2 - 映像信号処理装置 - Google Patents
映像信号処理装置 Download PDFInfo
- Publication number
- JP4130275B2 JP4130275B2 JP16869699A JP16869699A JP4130275B2 JP 4130275 B2 JP4130275 B2 JP 4130275B2 JP 16869699 A JP16869699 A JP 16869699A JP 16869699 A JP16869699 A JP 16869699A JP 4130275 B2 JP4130275 B2 JP 4130275B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- exposure
- signal
- level
- standard exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置に関し、特に、ＣＣＤ等の固体撮像素子に存在する画素のキズを検出してキズ補正をする映像信号処理装置に関する。
【０００２】
【従来の技術】
一般的に、ＣＣＤ等の半導体により形成された固体撮像素子においては、半導体の局所的な結晶欠陥等により画質劣化することが知られている。入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されてしまう画素欠陥は、この画素欠陥がそのまま処理されると、モニター画面上に高輝度の白い点となって現れるので、白キズと呼ばれている。また、光電感度の低いものは黒キズと呼ばれている。
【０００３】
画素欠陥の検出及び画素欠陥の補正に関しては、特開平7-7675公報に開示された画素欠陥補正装置が知られている。図２７（Ａ）から図２７（Ｃ）を用いて、従来の映像信号処理装置について説明する。この映像信号処理装置は、図２７（Ａ）に示すように、撮像素子100と、撮像素子100から読み出された各画素の値をディジタルに変換するＡ／Ｄ変換器110と、Ａ／Ｄ変換器110の出力の輝度信号111より、注目画素がキズか否かを検出するためのしきい値を制御するしきい値制御回路120と、Ａ／Ｄ変換器110の出力の輝度信号111としきい値に基づいて、Ａ／Ｄ変換器110の出力が画素欠陥か否かを検出する検出回路130と、検出回路130の出力を用いて、Ａ／Ｄ変換器110の出力の輝度信号の画素欠陥を補正する補正回路とを備えている。被写体の輝度レベルによらずに信号とキズの判別ができるため、キズを見落とすことなくキズ補正を行い、良好な画像を得ることができるというものである。
【０００４】
以下に、撮像素子のキズ検出方法及びキズ補正方法について述べる。キズは、周辺画素に対して、通常１画素だけ信号レベルが突出している。このため、注目画素とその周辺の画素とを比較し、注目画素が一定レベル以上突出している場合をキズと判別することができる。図２７（Ｂ）に、従来のキズ検出回路の内部構成を示す。
【０００５】
入力されたＡ／Ｄ変換器110の出力の輝度信号111は、フリップフロップ150と160を通り、注目画素Ｙnを基準として、注目画素Ｙnと注目画素の１画素前の画素Ｙn-1との差分を加算器170で生成し、この差分としきい値Ａ131を比較器190で比較する。注目画素Ｙnと注目画素の１画素後ろの画素Ｙn+1との差分を加算器180で生成し、この差分としきい値Ｂ132を比較器200で比較する。そして、比較した結果、論理積手段210において、それぞれ差分がしきい値Ａ131、しきい値Ｂ132より大きい場合には、注目画素Ｙnをキズとして検出するものである。
【０００６】
従来の映像信号処理装置では、この際、しきい値制御回路120で輝度信号111の輝度レベルに応じて、しきい値Ａ131、しきい値Ｂ132を制御する。例えば、輝度信号111の輝度レベルが高い場合には、ガンマ補正の影響でキズである画素の突出量（注目画素と周辺画素との差分）自体がそれほど大きな値にならないが、低輝度時にはキズである画素の突出量（注目画素と周辺画素との差分）は大きくなるため、しきい値制御回路120において、輝度信号111の輝度レベルに応じて、高輝度時には、しきい値Ａ131、しきい値Ｂ132を高輝度時に比べて小さく制御し、低輝度時にはしきい値Ａ131、しきい値Ｂ132を高輝度時に比べて大きくなるように逆ガンマ特性のような特性を持たせ、Ａ／Ｄ変換器110出力の輝度信号111の画素をキズと見なす突出量（注目画素と周辺画素との差分）であるしきい値Ａ131、しきい値Ｂ132を制御していた。
【０００７】
そして、しきい値Ａ131、しきい値Ｂ132を超えるような、注目画素Ｙｎをキズと検出した場合には、図２７（Ｃ）に示すようなフリップフロップ220とフリップフロップ230と加算器240とセレクタ手段250とで構成される補正回路140でキズと検出した画素Ｙnを周辺画素の平均値で補正し、注目画素Ｙnがキズでない場合にはそのまま出力していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の方法では、周辺画素と注目画素との比較でキズを検出しているため、細かな模様の被写体では、キズを正確に区別することは困難であった。さらに、一般的な撮像装置では、被写体の暗い部分と明るい部分が両方見えるようにレンズの絞りが自動的に調節されるため、例えば、被写体の最も明るい部分において、撮像素子の出力が飽和しているような場合には、常に撮像素子の飽和レベル近傍の信号を出力するようなキズと、キズではない実際に飽和している正常な画素とを区別することは大変困難になる。
【０００９】
単板カラーカメラの場合ではＣＣＤに色フィルタが貼られている。キズを画素単位で検出するためには、同色の画素と比較する必要がある。水平方向には１画素おきの周辺画素を用い、垂直方向には１ラインおきの周辺画素を用いる必要があるため、周辺画素までの距離が遠くなり、キズ検出回路の回路規模が大きくなるという問題がある。
【００１０】
また、ＬＰＦ（ローパスフィルタ）により輝度信号を生成してからキズ検出を行う場合には、ＬＰＦの影響でキズが周辺画素に広がってしまう。輝度信号のみでキズ検出を行い、キズと判定した画素を、周辺画素の平均値で輝度信号のみキズ補正するだけでは、色差信号は補正されない。そのため、キズの影響で画面上では偽色信号が生じるという問題もあった。
【００１１】
本発明は、上記従来の問題を解決して、撮像素子のキズを精度よく検出して、キズ補正を行い、良好な広ダイナミックレンジの映像信号を得ることを目的とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するために、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを備えた映像信号処理装置に、非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１３】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１４】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１５】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて映像信号のノイズ検出を行うノイズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１６】
また、輝度信号の信号レベルに基づいて撮像素子のキズ検出を行うキズ検出手段と、輝度信号と色差信号に対してキズ補正をするキズ補正手段とを備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１７】
【発明の実施の形態】
本発明の請求項１記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段と、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出する露光比キズ検出手段と、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出する黒レベルキズ検出手段とを備えた映像信号処理装置において、前記露光比キズ検出手段のキズ検出結果と前記黒レベルキズ検出手段のキズ検出結果とに基づいて撮像素子のキズ検出を行うキズ検出手段と、撮像素子にキズが検出されたときキズ補正するキズ補正手段とを備えた映像信号処理装置であり、１画素単位で撮像素子のキズを補正して、良好な映像信号を生成するという作用を有する。
【００１８】
本発明の請求項２記載の発明は、請求項１記載の映像信号処理装置において、前記露光比キズ検出手段は、前記標準露光信号レベルと非標準露光信号レベルのレベル比と所定の第１の閾値とを比較して、撮像素子のキズ検出を行う手段であるものであり、１画素単位で撮像素子のキズを補正して、良好な映像信号を生成するという作用を有する。
【００１９】
本発明の請求項３記載の発明は、請求項１記載の映像信号処理装置において、前記黒レベルキズ検出手段は、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均および当該画素の信号レベルの差と所定の第２の閾値に基づいて撮像素子のキズ検出を行う手段であるものであり、黒レベルのキズを適切に検出するという作用を有する。
【００２０】
本発明の請求項４記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段と、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出する露光比キズ検出手段と、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出する黒レベルキズ検出手段とを備えた映像信号処理装置において、前記露光比算出手段のキズ検出結果と前記黒レベルキズ検出手段のキズ検出結果に基づいて撮像素子にキズが検出されたとき周辺画素の平均値を用いてキズ補正を行う手段を備えた映像信号処理装置であり、映像信号を精度良く改善して、良好な映像信号を生成するという作用を有する。
【００２１】
本発明の請求項５記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成して、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成して、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成し、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出し、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出し、前記露光比キズの検出結果と前記黒レベルのキズの検出結果とに基づいて撮像素子のキズ検出を行い、撮像素子にキズが検出されたときキズ補正を行う映像信号処理方法であり、撮像素子のキズを精度よく補正して、良好な映像信号を生成するという作用を有する。
本発明の請求項６記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成して、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成して、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成し、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出し、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出し、前記露光比算出ステップのキズ検出結果と前記黒レベルキズ検出ステップのキズ検出結果に基づいて撮像素子にキズが検出されたとき周辺画素の平均値を用いてキズ補正を行う映像信号処理方法であり、撮像素子のキズを精度よく補正して、良好な映像信号を生成するという作用を有する。
【００２２】
以下、本発明の実施の形態について、図１から図２６を参照しながら詳細に説明する。
【００２３】
（第１の実施の形態）
本発明の第１の実施の形態は、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行う映像信号処理装置である。
【００２４】
図１は、本発明の第１の実施の形態における信号処理装置の構成を示す機能ブロック図である。ここでは、フレーム単位の映像信号処理装置の場合を示す。図１において、撮像素子1010は、露光時間が標準露光と非標準露光の２種類の映像信号をフレーム単位で交互に出力する撮像素子である。撮像素子駆動手段1020は、撮像素子1010を駆動し、標準露光時と非標準露光時で露光時間を示す露光時間識別信号1021を出力する手段である。前処理手段1030は、撮像素子1010の出力のアナログ信号のリセットノイズを除去するＣＤＳ回路と、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、振幅調整を行うＡＧＣ回路と、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプするクランプ回路で構成される手段である。Ａ／Ｄ変換器1040は、前処理手段1030の出力をディジタル信号に変換する装置である。
【００２５】
同時化手段1050は、Ａ／Ｄ変換器出力1041である、１フレーム毎に交互に出力される露光時間の異なる映像信号を１フレーム分遅延させた後、標準露光映像信号1060と非標準露光映像信号1070の２系統に分離して同一タイミングで出力する手段である。信号レベルキズ検出手段1080は、撮像素子1010のキズ検出を行い、信号レベルキズ検出信号1081を生成する手段である。キズ補正手段1090は、撮像素子1010のキズを補正する手段である。映像信号合成手段1100は、標準露光映像信号1060と非標準露光映像信号1070を信号レベルに応じて合成し、キズ補正されダイナミックレンジが拡大された合成映像信号1101を生成する手段である。カメラプロセス1200は、輝度信号、色差信号を生成し、ガンマ補正、輪郭補正等を行う手段である。
【００２６】
上記のように構成された本発明の第１の実施の形態における映像信号処理装置について、その動作を説明する。撮像素子1010は、撮像素子駆動手段1020によって駆動され、光量を電気信号に変換する。撮像素子駆動手段1020は、撮像素子を駆動するとともに、露光時間を示す露光時間識別信号1021を生成する。
【００２７】
前処理手段1030は、ＣＤＳ、ＡＧＣ、クランプ回路等で構成されている。ＣＤＳ回路では、撮像素子出力のアナログ映像信号のリセットノイズを、相関２重サンプリングにより除去する。ＡＧＣ回路では、ノイズ成分が除去されたアナログ映像信号に対して、Ａ／Ｄ変換するためにクランプする。Ａ／Ｄ変換器1040は、クランプされたアナログ映像信号を、ディジタル映像信号に変換する。
【００２８】
次に、同時化手段1050の動作について述べる。同時化手段1050は、図３（Ａ）に示すように、１フレーム分の映像信号を遅延するためのメモリ手段10511とセレクタ手段10513とセレクタ手段10514とで構成されている。Ａ／Ｄ変換器出力1041をメモリ手段10511とセレクタ手段10513とセレクタ手段10514へ与える。次に、図３（Ｂ）に示すように、１フレーム毎に交互に出力される露光時間の異なる映像信号を、メモリ手段10511では、図３（Ｃ）に示すように、１フレーム分遅延させ、メモリ手段10512とセレクタ手段10513とセレクタ手段10514に与える。
【００２９】
さらに、同時化手段1050では、図３（Ａ）に示すように、セレクタ手段10513とセレクタ手段10514を、露光時間識別信号1021によって切替える。例えば、図３（Ａ）のセレクタ手段10513では、露光時間識別信号1021が10のとき、Ａ／Ｄ変換器出力1041を出力し、露光時間識別信号1021が１のとき、メモリ出力10512を出力する。また、セレクタ手段10514では、露光時間識別信号1021が10のとき、メモリ出力10512を出力し、露光時間識別信号1021が１のとき、Ａ／Ｄ変換器出力1041を出力するように制御する。
【００３０】
この際、露光時間識別信号1021を、図３（Ｂ）に示すＡ／Ｄ変換器出力1041に対して、標準露光映像信号1060は10、非標準露光映像信号1070は１となるように、露光時間に応じて重み付けしておけば、図３（Ｅ）、（Ｆ）に示すように、セレクタ手段10513出力は、常に標準露光映像信号1060（ＬＯＮＧ）、セレクタ手段10514出力は常に非標準露光映像信号1070（ＳＨＯＲＴ）となるように、２系統に分離して同一タイミングで出力できるようになる。このようにして、同時化手段1050では、標準露光映像信号1060と、非標準露光の映像信号1070の同時化を行う。
【００３１】
次に、信号レベルキズ検出手段1080では、標準露光映像信号1060と非標準露光映像信号1070から、撮像素子1010のキズ検出を行う。例えば、標準露光映像信号1060と非標準露光映像信号1070は、その露光比（標準露光映像信号1060÷非標準露光映像信号1070）が10であり、撮像素子にキズがなければ、標準露光映像信号1060と非標準露光映像信号1070の信号レベルは、それぞれ図４のように示される。
【００３２】
しかし、撮像素子1010にキズがある場合、キズの信号レベルは、露光時間に依存しないため、非標準露光映像信号1070であっても、図５のように、信号レベルが突出した画素が現れることになる。このキズを補正するため、キズ検出手段1080を、図６に示すように構成する。非標準露光映像信号1070の信号レベルから、キズと判別するための信号レベルを、キズしきい値信号レベル1083に設定する。このキズしきい値信号レベル1083と非標準露光映像信号1070とを比較する。その結果が、
非標準露光映像信号1070＞キズしきい値信号レベル1083
であれば、キズ検出対象の注目画素をキズと判断する。
【００３３】
同一シーンの異なる露光時間の映像信号を合成して、１枚の画像を合成するような撮像装置では、非標準露光映像信号1070が飽和しないように、露光時間が自動的に調節されているため、キズしきい値信号レベル1083を非標準露光映像信号1070の取り得る信号レベルの最大値（飽和レベル）よりも、少し低めに設定すれば良い。例えば、図５に示すように、標準露光映像信号1060と非標準露光映像信号1070の信号レベルの最大値（飽和レベル）が10000であれば、少し低めの値9000を設定する。
【００３４】
図５に示すように、撮像素子1010のキズのある画素は、非標露光映像信号1070であっても、信号レベルが突出している。そのため、キズしきい値信号レベル1083＝9000を超えた信号レベルの画素Ｓnは、キズと判断できる。この情報を、信号レベルキズ検出信号1081として、キズ補正手段1090に出力する。この際、標準露光映像信号1060と非標準露光映像信号1070は、同時化手段1050で画素毎の位相が合うように調整されている。そのため、画素Ｓｎと同位相関係にある標準露光映像信号1060の画素Ｌnも、キズと見なすことができる。
【００３５】
キズ補正手段1090は、例えば、図７のように、フリップフロップ1093〜フリップフロップ1096と、加算器1097と加算器1098と、セレクタ手段10971とセレクタ手段10981とから構成されている。キズ補正手段1090では、信号レベルキズ検出信号1081よりキズと判別した注目画素Ｓn，Ｌnを、周辺画素の平均値を用いてキズ補正する。これにより、信号レベル10000と周辺画素に比べて突出していたキズと検出した非標準露光映像信号1070の画素Ｓn、標準露光映像信号1060の画素Ｌnは、それぞれ図８に示すように、Ｌn＝100，Ｓn＝10となるよう改善することができる。
【００３６】
このように、非標準露光映像信号1070の信号レベルを基準として、１画素単位でキズ補正ができるので、精度の良いキズ検出ができ、適切なキズ補正ができるようになる。また、非標準露光映像信号1070を基準にした信号レベルキズ検出信号1081を基準に、標準露光映像信号1060のキズも改善できるので、信号レベルキズ検出回路1080は、非標準露光映像信号1070のみ１系統あれば、標準露光映像信号1060のキズも補正できる。よって、後段の映像信号合成手段1100、カメラプロセス1200においても、撮像素子1010のキズの影響を改善した映像信号を基に信号処理できるので、良好な映像信号を得ることができる。
【００３７】
次に、キズ補正手段1090でキズ補正されたキズ補正後の標準露光映像信号1091と、キズ補正後の非標準露光映像信号1092を、映像信号の信号レベルに応じて図９のように合成する。図９において、標準露光映像信号1091は、非標準露光映像信号1092より露光時間が長いので、ＬＯＮＧと呼び、非標準露光映像信号1092は逆に露光時間が短いので、ＳＨＯＲＴと呼ぶことにする。
【００３８】
図９（Ａ）は、ＬＯＮＧの入出力特性である。ＬＯＮＧは、入射光量が飽和光量を超えると、出力は一定値で飽和しやすい。ただし、飽和光量までは通常の標準の映像信号が得られる。図９（Ｂ）は、ＳＨＯＲＴの入出力特性である。ＳＨＯＲＴは、シャッター時間を標準露光より短くしたり、感度をＬＯＮＧより下げることにより、その分だけ、撮像素子が飽和する入射光量を高めることができる。ただし、ＳＨＯＲＴの入射光量の少ない部分はＳ／Ｎが悪く、黒つぶれしやすい。そこで、この２つの特性を利用して、映像信号のダイナミックレンジを拡大する。例えば、ＬＯＮＧが飽和しない領域ではＬＯＮＧだけ出力し、ＬＯＮＧが飽和しはじめる領域（ＭＩＸ領域）では、ＬＯＮＧとＳＨＯＲＴをＫ（映像信号合成信号）で内分した値を出力とし、ＬＯＮＧが完全に飽和した領域では、ＳＨＯＲＴだけを出力するように制御する。
【００３９】
合成映像信号1101をＯＵＴとし、ＭＩＸ領域の開始レベルをＹthとし、ＬＯＮＧの飽和レベルをＳＡＴとし、ＭＩＸ領域内でＬＯＮＧとＳＨＯＲＴを交差させ、滑らかに映像信号を合成させるためのオフセット値をＯＦＳＥＴ１とし、Ｋを映像信号合成制御信号とする。Ｋは、ＭＩＸ領域の下限ではＬＯＮＧ、上限ではＳＨＯＲＴとなるように、なめらかに変化させるための制御信号である。
【００４０】
まず、図９（Ｃ）に、ＳＨＯＲＴ＋ＯＦＳＥＴ１の様子を示す。図９（Ｄ）に、前記の制御による映像信号合成の様子を示す。図９（Ｅ）に、Ｋ（映像信号合成制御信号）の特性を示す。図９（Ｆ）に、最終的に得られる合成映像信号1101を示す。
【００４１】
前記の制御を式で表すと、下記の▲１▼〜▲３▼
▲１▼ＬＯＮＧ≦Ｙｔｈの場合（ＬＯＮＧが飽和していない領域、Ｋ＝０）
ＯＵＴ＝ＬＯＮＧ
▲２▼Ｙth≦ＬＯＮＧ≦ＳＡＴの場合（ＭＩＸ領域、０≦Ｋ≦１）
ＯＵＴ＝（１−Ｋ）×ＬＯＮＧ＋Ｋ×（ＳＨＯＲＴ＋ＯＦＳＥＴ１）
ここで、Ｋ＝（ＬＯＮＧ−Ｙth）／（ＳＡＴ―Ｙth）
▲３▼ＬＯＮＧ≧ＳＡＴの場合（ＬＯＮＧが飽和した領域、Ｋ＝１）
ＯＵＴ＝ＳＨＯＲＴ＋ＯＦＳＥＴ１
のようになる。
【００４２】
このように、撮像素子1010のキズに対してキズ補正を施した後、露光時間の異なる映像信号を基に合成することにより、広ダイナミックレンジの良好な合成映像信号1101を得ることができる。よって、細かな被写体であっても、適切なキズ補正ができるため、カメラプロセス1200にて、輝度信号生成、色差信号生成等を行っても、その出力には、広ダイナミックレンジの撮像素子のキズの影響のない良好な画像を得ることができる。
【００４３】
なお、ここではフレーム単位の処理について述べたが、ライン単位やフィールド単位でも同様の処理ができる。
【００４４】
上記のように、本発明の第１の実施の形態では、映像信号処理装置を、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行う構成としたので、１画素単位でキズ検出ができ、適切なキズ補正ができる。
【００４５】
（第２の実施の形態）
本発明の第２の実施の形態は、標準露光映像信号と、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比に基づいて、撮像素子のキズ検出を行う映像信号処理装置である。
【００４６】
図１０は、本発明の第２の実施の形態における信号処理装置の構成を示す機能ブロック図である。第１の実施の形態における信号処理装置と異なる点は、信号レベルキズ検出手段1080の代わりに露光比キズ検出手段1300を設けたことである。図１０において、図１と同一の名称で同一の符号（番号）が付加されている構成手段は、図１の構成手段と同等の機能を有するものである。図１０において、露光比キズ検出手段1300は、図１１に示すように、露光比算出手段1302と比較器1303とから構成されている。図１１に、露光比演算手段の構成を示す。
【００４７】
上記のように構成された本発明の第２の実施の形態における映像信号処理装置について、その動作を説明する。撮像素子1010にキズがある場合、図５に示したように、キズの信号レベルは露光時間に依存しない。そこで、露光比キズ検出手段1300は、露光比（標準露光映像信号1060÷非標準露光映像信号1070）が１に近づくことを利用してキズ検出を行う。
【００４８】
露光比算出手段1302では、標準露光映像信号1060と非標準露光映像信号1070から、露光比（標準露光映像信号1060÷非標準露光映像信号）を示す露光比信号13021を算出する。比較器1303では、露光比信号13021と、標準露光映像信号1060と非標準露光映像信号1070との露光比13021に基づいて設定されたキズしきい値露光比レベル1304とを比較し、キズ検出対象の注目画素がキズであるか否か判断する。
【００４９】
キズしきい値露光比レベル1304は、撮像素子1010にキズがなければ、図４に示すように露光比は常に一定になる。撮像素子1010にキズがあれば、図５に示すように、標準露光映像信号1060と非標準露光映像信号1070の露光比は１に近づく。例えば、図１２の場合、その露光比信号13021は、▲４▼式
露光比信号13021
＝標準露光映像信号1060÷非標準露光映像信号1070＝10 −−−−−▲４▼
のように、10となる。
【００５０】
しかし、撮像素子1010にキズがある場合、露光比信号13021は、図１２に示すように１になる場合がある。つまり、露光比信号13021が１に近づくほどキズ検出の対象としている注目画素がキズである確率が高くなる。例えば、この露光比信号13021が２である場合をキズと見なすように、予めキズしきい値露光比レベル1304を設定しておけば、Ｃnをキズとして検出できる。そして、このＣnをキズとして検出した情報を露光比キズ検出信号1301として、図１０のキズ補正手段1090に出力する。
【００５１】
この場合、図１０のキズ補正手段1090では、図７の信号レベルキズ検出信号1081に代わって、露光比キズ検出信号1301に基づいてキズ補正を行うよう制御する。したがって、露光比キズ検出手段1300でキズと検出した注目画素は、周辺画素の平均値でキズ補正でき、キズでない場合にはそのまま出力するので、解像度の劣化を伴わずにキズ補正できる。これにより、キズと検出したＣnと同じ位相関係にあるキズのある標準露光映像信号1060の画素Ｌnと非標準露光映像信号1070の画素Ｓnを同時にキズ補正することができる。
【００５２】
よって、後段の映像信号合成手段1100、カメラプロセス1200においても、撮像素子のキズの影響を改善した映像信号を基に映像信号処理できるので、良好な画素を得ることができ、第１の実施の形態の映像信号処理装置と同様に、１画素単位で精度よく撮像素子のキズの影響が改善された広ダイナミックレンジの良好な映像信号を得ることができる。
【００５３】
なお、ここではフレーム単位の処理について述べたが、第１の実施の形態と同様に、ライン単位やフィールド単位でも同様の処理ができる。
【００５４】
上記のように、本発明の第２の実施の形態では、映像信号処理装置を、標準露光映像信号と、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比に基づいて、撮像素子のキズ検出を行う構成としたので、１画素単位でキズ検出ができ、適切なキズ補正ができる。
【００５５】
(第３の実施の形態)
本発明の第３の実施の形態は、標準露光映像信号と標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて、撮像素子のキズ検出を行う映像信号処理装置である。
【００５６】
図１３は、本発明の第３の実施の形態における映像信号処理装置の構成を示す機能ブロック図である。第２の実施の形態における映像信号処理装置と異なる点は、黒レベルキズ検出手段1400と論理積手段1500を設けたことである。図１３において、図１と同一の名称で同一の符号（番号）が付加されている構成手段は、図１の構成手段と同等の機能を有するものである。図１３において、露光比キズ検出手段1300は、標準露光映像信号1060と非標準露光映像信号1070の露光比から、露光比キズ検出信号1301を生成する。
【００５７】
上記のように構成された本発明の第３の実施の形態における映像信号処理装置について、その動作を説明する。図１４に、本来、標準露光映像信号1060と非標準露光映像信号1070の露光比が３である映像信号が、ノイズの影響を受けている様子を示す。アナログ信号処理部分のＳ／Ｎが悪い場合や、Ａ／Ｄ変換器の量子化精度が粗い場合には、黒レベル付近の露光比が正確に得られない。
【００５８】
このような場合に、露光比キズ検出手段1300のみでキズ検出を行う場合には、露光比信号13021が、Ｃn+1のように、本来の露光比である３からずれてしまう。したがって、本来キズでない標準露光映像信号1060の画素Ｌn+1、非標準露光映像信号1070の画素Ｓn+1を、キズと誤検出する可能性がある。そこで、図１５に示すように、フリップフロップ1403〜1404と、加算器1450と、差分生成手段1406と、比較器1407とから構成される黒レベルキズ検出手段1400を、露光比キズ検出手段1300に追加して設け、キズ検出対象の注目画素を中心に、その周辺画素の平均値と信号レベルの差分に基づいて、キズ検出を行うようにする。
【００５９】
図１５の黒レベルキズ検出手段では、キズ検出対象の注目画素と周辺画素の差分に対して、キズと判断する差分を設定する。例えば、図１４に示す標準露光映像信号1060の画素Ｌnをキズ検出対象の注目画素とすると、その周辺画素は、画素Ｌn-1、画素Ｌn+1になる。この注目画素Ｌnがキズである場合には、その周辺画素Ｌn-1、Ｌn+1の信号レベルが画素Ｌnに比べて大きく突出するため、画素Ｌn-1と画素Ｌn+1の平均値と注目画素Ｌnとの差を比較し、この差が極端に突出して大きい場合には、注目画素Ｌnをキズと見なすようにキズ検出を行う。
【００６０】
図１４に示すように、信号レベルが低い領域に存在するキズのある画素Ｌn、Ｓnを正確に検出するには、例えば、キズしきい値黒レベル＝５に設定することによりキズ検出する。この場合、周辺画素とＬnの信号レベル差が５より大きい場合には、キズと判別するものとする。図１４の場合には、キズしきい値黒レベル1402＝５と、Ｌn＝１の周辺画素であるＬn-1＝10とＬn+1＝６の平均値は８あるので、この平均値である８とＬnの信号レベル差を差分生成手段1406で算出する。図１４の場合、差分生成手段出力14061は、Ａnのように８−１＝７となる。よって、
差分生成手段出力14061（＝７）＞キズしきい値黒レベル1402（＝５）
となるので、画素Ｌnは、キズと正しく検出することができる。
【００６１】
Ｌnをキズと判別した情報を、図１５の黒レベルキズ検出手段では、黒レベルキズ検出信号1401として生成する。黒レベルキズ検出信号1401と、露光比キズ検出手段1300で検出した露光比キズ検出信号1301との論理積を、図１３に示す論理積手段1500により演算し、キズ検出信号1501を生成する。図１３のキズ補正手段1090では、図７に示す第１の実施の形態のキズ補正手段1090の信号レベルキズ検出信号1081に代わって、論理積手段1500出力のキズ検出信号1501を基にキズ補正手段1090を制御する。これによって、標準露光映像信号1060のＬnと同じ位相関係にある非標準露光映像信号1070のＳnについても、同時に周辺画素の平均値でキズ補正する。
【００６２】
したがって、標準露光映像信号1060と非標準露光映像信号1070の露光比と、標準露光映像信号の周辺画素の信号レベルを基にキズ検出を行うことになるため、映像信号がノイズ成分の影響を受けていてもキズ検出の精度向上ができる。これにより、図１４において露光比キズ検出手段で誤ってキズと検出した標準露光映像信号1060の画素Ｌn+1、非標準露光映像信号1070のＳnについてはキズと検出することがなくなる。よって、後段の映像信号合成手段1100、カメラプロセス1200ではより精度よく撮像素子のキズの影響が改善された映像信号を基に信号処理が行えるので、最終的に得られる映像信号も撮像素子1010のキズの影響が適切に改善された広ダイナミックレンジの良好な映像信号を得ることができる。
【００６３】
なお、ここではフレーム単位の処理について述べたが、第１、第２の実施の形態と同様に、ライン単位やフィールド単位でも同様の処理ができる。
【００６４】
上記のように、本発明の第３の実施の形態では、映像信号処理装置を、標準露光映像信号と標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて、撮像素子のキズ検出を行う構成としたので、ノイズがある場合でも、１画素単位でキズ検出ができ、適切なキズ補正ができる。
【００６５】
（第４の実施の形態）
本発明の第４の実施の形態は、標準露光映像信号と、標準より短い露光時間で撮影された非標準露光映像信号との信号レベルの比に基づいて、映像信号のノイズ検出を行う映像信号処理装置である。
【００６６】
図１６は、本発明の第４の実施の形態における映像信号処理装置の構成を示す機能ブロック図である。第２の実施の形態における映像信号処理装置と異なる点は、露光比キズ検出手段1300とキズ補正手段1090の代わりに露光比ノイズ検出手段1600と、ノイズ除去手段1700を設けたことである。図１６において、図１０と同一の名称で同一の符号（番号）が付加されている構成手段は、図１０の構成手段と同等の機能を有するものである。第４の実施の形態における映像信号処理装置では、第２の実施の形態の映像信号処理装置を基に、映像信号のノイズ成分を改善できるよう構成したものである。
【００６７】
図１６において、露光比ノイズ検出手段1600は、図１７に示すように、露光比算出手段1602と比較器1603と比較器1604と論理否定手段1607と論理積手段1608とから構成されており、標準露光映像信号1060と非標準露光映像信号1070の露光比を基に映像信号のノイズ検出を行う。なお、図１７に示す露光比算出手段1602及び露光比信号16021は、第２の実施の形態で述べた図１１に示す露光比算出手段1302及び露光比信号13021と同等の機能を有するものである。
【００６８】
上記のように構成された本発明の第４の実施の形態における映像信号処理装置について、その動作を説明する。図１７の露光比算出手段1602では、標準露光映像信号1060と非標準露光映像信号1070の露光比を露光比信号16021として算出した後、この露光比信号16021をノイズしきい値露光比レベルＡ1605と、ノイズしきい値露光比レベルＢ1606とをそれぞれ比較する。この際、ノイズしきい値露光比レベルＡ1605とノイズしきい値露光比レベルＢ1606は、図１８に示すように、標準露光映像信号1060と非標準露光映像信号1070との露光比を基準として、注目画素をノノイズと判別する領域を設定する。
【００６９】
例えば、本来、標準露光映像信号1060と非標準露光映像信号1070との露光比が10であれば、露光比信号16021は10となるべきである。よって、この露光比10を基準として、露光比信号16021が本来の露光比10と異なる場合は、標準露光映像信号1060と非標準露光映像信号1070は、ノイズの影響を受けていることになる。
【００７０】
図１８に、露光比信号16021＝10を基準に、ノイズしきい値露光比レベルＡ1605を９と設定し、ノイズしきい値露光比レベルＢ1606を11と設定した場合を示す。ここでは、図１８に示すように、露光比算出手段1602で算出した露光比信号16021を基準にして、
露光比16021＜ノイズしきい値露光比レベルＡ1605
露光比16021＞ノイズしきい値露光比レベルＢ1606
となる場合にノイズと判別する。そして、このノイズ判定結果の情報を露光比ノイズ検出信号11601として出力する。図１８の場合には、Ｃn-1、Ｃn+1をノイズと判別することになる。
【００７１】
ノイズ除去手段1700では、露光比ノイズ検出信号1601を基にノイズ除去を行う。ノイズ除去手段1700は、図１９に示すようにディジタルフィルタ1703とディジタルフィルタ1704とセレクタ1705とセレクタ1706とで構成する。ノイズ除去手段1700は、露光比ノイズ検出信号1601を基にノイズの影響を受けていると判別された画素については、ディジタルフィルタによりノイズを改善し、ノイズの影響がないと判別された画素については、そのまま出力するようにセレクタ手段1705とセレクタ手段1706とを切換える。
【００７２】
これによって、図１６の標準露光映像信号1060と非標準露光映像信号1070に含まれるノイズ成分が適切に改善できる。よって、図１６に示す後段の映像信号合成手段1100と、カメラプロセス1200ではノイズ改善後の標準露光映像信号1701とノイズ改善後の非標準露光映像信号1702を基に信号処理できるので、最終的に選られる映像信号もノイズの影響が適切に改善された広ダイナミックレンジの良好な映像信号を得ることができる。
【００７３】
なお、ここではフレーム単位の処理述べたが、ライン単位やフィールド単位でも同様の処理ができる。
【００７４】
上記のように、本発明の第４の実施の形態では、映像信号処理装置を、標準露光映像信号と標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比に基づいて映像信号のノイズ検出を行う構成としたので、ノイズ成分を含んだ映像信号を１画素単位で改善して、良好な映像信号を生成できる。
【００７５】
（第５の実施の形態）
本発明の第５の実施の形態は、輝度信号の信号レベルに基づいて撮像素子のキズ検出を行い、輝度信号と色差信号に対してキズ補正をする映像信号処理装置である。
【００７６】
図２０は、本発明の第５の実施の形態における映像信号処理装置の構成を示す機能ブロック図である。図２０において、撮像素子1010は、通常の撮像装置のように１フィールド毎に１枚の映像を撮像し、１ライン毎に映像信号を出力する。前処理手段1030は、撮像素子1010出力のアナログ映像信号のリセットノイズを除去するＣＤＳ回路と、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように振幅調整を行うＡＧＣ回路と、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路で構成されている。Ａ／Ｄ変換器1040は、前処理手段出力1030の出力をディジタル信号に変換する手段である。カメラプロセス1200は、輝度信号と色差信号を生成し、撮像素子1010出力のキズ補正を行い、輪郭補正等を行う手段である。図２１は、カメラプロセス1200の構成図である。カメラプロセス1200は、ＬＰＦ1201と、ＢＰＦ2102と、輝度キズ検出手段1203と、輝度キズ補正手段1204と、色差キズ補正手段1206と、カメラ信号処理手段1205とから構成されている。
【００７７】
上記のように構成された本発明の第５の実施の形態における映像信号処理装置について、その動作を説明する。図２２は、撮像素子に補色の色フィルターが貼られている場合の輝度信号と色差信号の状態を示す図である。図２２（Ａ）に、色フィルターが補色の場合の撮像素子1010について示す。撮像素子に補色の色フィルターが貼られている場合、図２２（Ａ）のように、Ｃy、Ｙe、Ｍg、Ｇの色フィルターが貼られている。撮像素子1010は、撮像素子駆動手段1020により駆動され、図２２（Ｂ）に示すように、図２２（Ａ）の上下のラインを加算して出力する。
【００７８】
ＬＰＦ1201は、図２２（Ｂ）のような撮像素子1010出力に対して、ローパスフィルタにより、例えば▲５▼式
輝度信号12011＝（Ｙe＋Ｍg）＋（Ｃy＋Ｇ） −−−−−▲５▼
に示すような信号処理を行い、輝度信号12011を生成する。なお、▲６▼〜▲８▼式
Ｙe＝Ｇ＋Ｒ −−−−−▲６▼
Ｍg＝Ｒ＋Ｂ −−−−−▲７▼
Ｃy＝Ｇ＋Ｂ −−−−−▲８▼
より、輝度信号12011は、▲９▼式
輝度信号12011＝２Ｒ＋３Ｇ＋２Ｂ −−−−−▲９▼
のように表すこともできる。
【００７９】
また、ＢＰＦ1202は、図２２（Ｂ）のような撮像素子1010出力に対して、バンドパスフィルタにより、10式、11式
色差信号12021＝（Ｙe＋Ｍg）−(Ｃy＋Ｇ)＝２Ｒ−Ｇ −−−−−10
色差信号12021＝（Ｙｅ＋Ｇ）−（Ｃy＋Ｍg）＝−（２Ｂ−Ｇ） −−−11
に示すような信号処理を行い、色差信号12021を生成する。10式により、２Ｒ−Ｇを、11式により、−（２Ｂ−Ｇ）を、１ラインおきに生成する。
【００８０】
次に、図２３（Ａ）、（Ｂ）、（Ｃ）に、撮像素子1010出力にキズがある場合を示す。図２３（Ａ）に、撮像素子1010の出力Ｘ11〜Ｘ56の場合を示し、図２３（Ｂ）に、図２３（Ａ）のＸ11〜Ｘ33部分から輝度信号を生成した場合を示し、図２３（Ｃ）に、図２３（Ａ）のＸ11〜Ｘ33部分から色差信号を生成した場合を示す。
【００８１】
撮像素子1010出力のＸ13がキズである場合には、撮像素子1010の出力は、カメラプロセス1200のＬＰＦ1201により輝度信号21011を生成すると、図２３（Ｂ）に示すように、キズの画素は、Ｘ13を含む（Ｘ12＋Ｘ13）と（Ｘ13＋Ｘ14）の２画素に広がってしまう。また、カメラプロセス1200のＢＰＦ1202により色差信号を生成した場合にも、そのキズは、（Ｘ13−Ｘ12）と（Ｘ13−Ｘ14）となって、色差信号にもキズの影響が残ってしまうことになる。
【００８２】
そこで、図２０のカメラプロセス1200では、輝度信号12011を基にキズを検出し、輝度信号12011と色差信号12021の両方に対するキズ補正を行えるようにする。輝度キズ検出手段1203は、図２４（Ａ）のように、メディアン生成手段12032と差分生成手段12033と比較器12034とから構成されている。輝度信号12011を基に、メディアン生成手段12032では、任意の領域のメディアン（中央値）を生成し、このメディアン（中央値）とキズ検出対象の画素の差を差分生成手段12033で求め、この差がキズしきい値メディアンレベル12035より大きい場合をキズと判別する。
【００８３】
図２５（Ａ）のような、水平３画素×垂直３ラインの領域の中央の画素（画素位置Ｙn、ライン数Ｎ、輝度レベル＝220)を基準に、メディアン生成手段12032でメディアン（中央値）を生成する場合、図２５（Ｂ）に示すように、メディアン（中央値）は104となる。この際、図２５（Ａ）のように、キズしきい値メディアンレベル12035を200に設定しておけば、キズの画素は周辺の画素より輝度レベルが突出しているので、キズとして判別できる。そして、このキズと検出した情報を輝度キズ検出信号12031として、輝度キズ補正手段1206に出力するとともに、メディアン生成手段12032で生成したメディアン（中央値）を、メディアン信号120321として、輝度キズ補正手段1204に出力する。
【００８４】
図２４（Ｂ）に示す輝度キズ補正手段1204では、輝度キズ検出信号12031を基にセレクタ手段12042を切換え、キズと判別した画素は、メディアン信号120321でキズ補正し、キズでない場合には、輝度信号12011をそのままカメラ信号処理手段1205へ出力する。これにより、図２５（Ｂ）に示すように、輝度信号12011に含まれる図２５（Ａ）のようなキズを補正することができる。なお、同様にして、画素位置Ｙn-1、ライン数Ｎ、輝度レベル＝210にある画素も、キズ補正することができる。
【００８５】
しかしながら、色差信号出力12021の場合のキズ補正は、図２５（Ｃ）のように、２ラインに１度しか同じ色が表れないので、輝度信号12011のキズ検出と同様に、メディアン（中央値）を用いてキズ補正するには、輝度信号12011の場合のキズ検出に比べて、ラインメモリをさらに２本多く必要とし、回路規模の増加につながる。そこで、輝度キズ検出手段1203で検出した輝度キズ検出信号12031を基に、色差キズ補正手段1206で色差信号12021に含まれるキズも補正する。
【００８６】
色差キズ補正手段1206の構成を図２６（Ａ）に示す。色差キズ補正手段1206は、フリップフロップ12062〜フリップフロップ12065と、加算器12066と、セレクタ手段12067により構成されている。輝度信号12011が、図２３（Ｂ）のようにキズである場合、同じ位相関係にある色差信号12021も、図２３（Ｃ）に示すようにキズになる。よって、輝度キズ検出信号12031によってキズと判断された図２６（Ｂ）に示すようなキズのある画素を含む色差信号12021を、色差キズ補正手段1206では、図２６（Ｃ）に示すようにキズ補正対象の画素の前後２画素の平均値を用いてキズ補正することができる。このように、輝度信号12011にのみ輝度キズ検出手段1203を設ければ、色差信号12021に含まれるキズの補正もできる。よって、カメラプロセス1200出力には、撮像素子のキズの影響のない良好な映像信号を得ることができる。また、色差信号12021に対しては、キズ検出手段を設ける必要がないため、回路のＬＳＩ化を図る場合に、回路規模の増加につながらないので有利である。
【００８７】
なお、ここでは補色の撮像素子について述べたが、原色の撮像素子の場合についても、同様に撮像素子のキズ検出及びキズ補正が行うことができる。
【００８８】
上記のように、本発明の第５の実施の形態では、映像信号処理装置を、輝度信号の信号レベルに基づいて撮像素子のキズ検出を行い、輝度信号と色差信号に対してキズ補正をする構成としたので、輝度信号から１画素単位でキズ検出ができ、色差信号にも適切なキズ補正ができる。
【００８９】
【発明の効果】
以上の説明から明らかなように、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを備えた映像信号処理装置に、非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成としたので、細かな模様の被写体であっても１画素単位で撮像素子のキズを検出することができ、キズを検出した画素のみ、適切なキズ補正を行うことができる。このため、キズの改善された標準露光映像信号とキズの改善された非標準露光映像信号を輝度レベルに応じて合成すれば、合成映像信号はキズの影響が改善された広ダイナミックレンジの合成映像信号として生成でき、カメラプロセス出力についてもキズの影響が改善された良好な広ダイナミックレンジの映像信号とすることができるという効果が得られる。
【００９０】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて撮像素子のキズ検出を行うキズ検出手段を備えたので、１画素単位で撮像素子のキズ検出ができるという効果が得られる。
【００９１】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて撮像素子のキズ検出を行うキズ検出手段を備えたので、ノイズがある場合でも１画素単位で撮像素子のキズ検出ができるという効果が得られる。
【００９２】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて映像信号のノイズ検出を行うノイズ検出手段を備えたので、１画素単位でノイズ検出ができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図２】本発明の第１の実施の形態における映像信号処理装置の露光時間識別信号を示す図、
【図３】本発明の第１の実施の形態における映像信号処理装置の同時化手段の構成と動作を示す図、
（Ａ）同時化手段
（Ｂ）Ａ／Ｄ変換器出力
（Ｃ）メモリー手段出力
（Ｄ）露光時間識別信号
（Ｅ）非標準露光映像信号
（Ｆ）標準露光映像信号
【図４】本発明の第１の実施の形態における映像信号処理装置の撮像素子出力にキズのない場合の標準露光映像信号と非標準露光映像信号の状態を示す図、
【図５】本発明の第１の実施の形態における映像信号処理装置の撮像素子出力にキズがある場合の標準露光映像信号と非標準露光映像信号とキズしきい値信号レベルの関係を示す図、
【図６】本発明の第１の実施の形態における映像信号処理装置の信号レベルキズ検出手段の構成を示す図、
【図７】本発明の第１の実施の形態における映像信号処理装置のキズ補正手段の構成を示す図、
【図８】本発明の第１の実施の形態における映像信号処理装置の撮像素子のキズが改善された場合の標準露光映像信号と非標準露光映像信号の様子を示す図、
【図９】本発明の第１の実施の形態における映像信号処理装置の標準露光映像信号と非標準露光映像信号の合成を説明する図、
（Ａ）標準露光映像信号：ＬＯＮＧの特性
（Ｂ）非標準露光映像信号：ＳＨＯＲＴの特性
（Ｃ）非標準露光映像信号にオフセットを加算した場合の特性
（Ｄ）標準露光映像信号と非標準露光映像信号の合成
（Ｅ）映像信号合成制御信号の特性
（Ｆ）合成映像信号の特性
【図１０】本発明の第２の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図１１】本発明の第２の実施の形態における映像信号処理装置の露光比キズ検出手段の構成を示す図、
【図１２】本発明の第２の実施の形態における映像信号処理装置の撮像素子出力にキズがある場合の標準露光映像信号と非標準露光映像信号とキズしきい値露光比レベルの関係を示す図、
【図１３】本発明の第３の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図１４】本発明の第３の実施の形態における映像信号処理装置の撮像素子にキズがあり、キズしきい値露光比レベルで誤検出する場合の標準露光映像信号と非標準露光映像信号とキズしきい値露光比レベルの関係及び差分生成手段出力とキズしきい値黒レベルの関係を示す図、
【図１５】本発明の第３の実施の形態における映像信号処理装置の黒レベルキズ検出手段の構成を示す図、
【図１６】本発明の第４の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図１７】本発明の第４の実施の形態における映像信号処理装置の露光比ノイズ検出手段の構成を示す図、
【図１８】本発明の第４の実施の形態における映像信号処理装置のノイズ成分の影響がある場合の標準露光映像信号と非標準露光映像信号と、ノイズしきい値露光比レベルＡ、ノイズしきい値露光比レベルＢの関係を示す図、
【図１９】本発明の第４の実施の形態における映像信号処理装置のノイズ除去手段の構成を示す図、
【図２０】本発明の第５の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図２１】本発明の第５の実施の形態における映像信号処理装置のカメラプロセスの構成を示す図、
【図２２】本発明の第５の実施の形態における映像信号処理装置の撮像素子が補色の場合の色フィルタによる撮像素子出力を示す図、
（Ａ）撮像素子が補色の場合の色フィルタ配列
（Ｂ）撮像素子が補色の場合の撮像素子出力
【図２３】本発明の第５の実施の形態における映像信号処理装置の撮像素子にキズがある場合の状態を示す図、
（Ａ）撮像素子にキズが含まれる様子
（Ｂ）撮像素子のキズによる輝度信号への影響
（Ｃ）撮像素子のキズによる色差信号への影響
【図２４】本発明の第５の実施の形態における映像信号処理装置の輝度キズ検出手段と輝度キズ補正手段の構成を示す図、
（Ａ）輝度キズ検出手段
（Ｂ）輝度キズ補正手段
【図２５】本発明の第５の実施の形態における映像信号処理装置の輝度信号のキズ補正を説明する図、
（Ａ）水平３画素×垂直３ラインの輝度信号にキズがある様子
（Ｂ）水平３画素×垂直３ラインの輝度信号のキズ補正の様子
（Ｃ）水平５画素×垂直５ラインの色差信号にキズがある様子
【図２６】本発明の第５の実施の形態における映像信号処理装置の色差信号のキズ補正を説明する図、
（Ａ）色差キズ補正手段
（Ｂ）色差信号にキズがある様子
（Ｃ）水平５画素×垂直１ラインの色差信号のキズ補正
【図２７】従来の映像信号処理装置の全体と各部の構成を示す図である。
（Ａ）従来の映像信号処理装置
（Ｂ）従来の映像信号処理装置の検出回路
（Ｃ）補正回路
【符号の説明】
100 撮像素子
101 Ａ／Ｄ変換器
120 しきい値制御回路
130 検出回路
131 しきい値Ａ
132 しきい値Ｂ
133 補正回路
150 フリップフロップ
160 フリップフロップ
170 加算器
180 加算器
190 比較器
200 比較器
210 論理積手段
220 フリップフロップ
230 フリップフロップ
240 加算器
250 セレクタ手段
1010 撮像素子
1020 撮像素子駆動手段
1021 露光時間識別信号
1030 前処理手段
1040 Ａ／Ｄ変換器
1041 Ａ／Ｄ変換器出力
1050 同時化手段
10511 メモリ手段
10512 メモリ手段出力
10513 セレクタ手段
10514 セレクタ手段
1060 標準露光映像信号
1070 非標準露光映像信号
1080 信号レベルキズ検出手段
1081 信号レベルキズ検出信号
1082 比較器
1083 キズしきい値信号レベル
1090 キズ補正手段
1091 キズ補正後の標準露光映像信号
1092 キズ補正後の非標準露光映像信号
1093 フリップフロップ
1094 フリップフロップ
1095 フリップフロップ
1096 フリップフロップ
1097 加算器
10971 セレクタ手段
1098 加算器
10981 セレクタ手段
1100 映像信号合成手段
1101 合成映像信号
1102 Ｋ（映像信号合成制御信号）
1200 カメラプロセス
1201 ＬＰＦ（ローパスフィルタ）
12011 輝度信号
1202 ＢＰＦ（バンドパスフィルタ）
12021 色差信号
1203 輝度キズ検出手段
12031 輝度キズ検出信号
12032 メディアン生成手段
120321 メディアン信号
12033 差分生成手段
12034 比較器
12035 キズしきい値メディアンレベル
1204 輝度キズ補正手段
12041 キズ補正後の輝度信号
12042 セレクタ手段
1205 カメラ信号処理手段
1206 色差キズ補正手段
12061 キズ補正後の色差信号
12062 フリップフロップ
12063 フリップフロップ
12064 フリップフロップ
12065 フリップフロップ
12066 加算器
12067 セレクタ手段
1300 露光比キズ検出手段
1301 露光比キズ検出信号
1302 露光比算出手段
13021 露光比信号
1303 比較器
1304 キズしきい値露光比レベル
1400 黒レベルキズ検出手段
1401 黒レベルキズ検出信号
1402 キズしきい値黒レベル
1403 フリップフロップ
1404 フリップフロップ
1405 加算器
1406 差分生成手段
14061 差分生成手段出力
1407 比較器
1500 論理積手段
1501 キズ検出信号
1600 露光比ノイズ検出手段
1601 露光比ノイズ検出信号
1602 露光算出手段
16021 露光比信号
1603 比較器
1604 比較器
1605 ノイズしきい値露光比レベルＡ
1606 ノイズしきい値露光比レベルＢ
1607 論理否定手段
1608 論理積手段
1700 ノイズ除去手段
1701 ノイズ改善後の標準露光映像信号
1702 ノイズ改善後の非標準露光映像信号
1703 ディジタルフィルタ
1704 ディジタルフィルタ
1705 セレクタ手段
1706 セレクタ手段
【発明の属する技術分野】
本発明は、映像信号処理装置に関し、特に、ＣＣＤ等の固体撮像素子に存在する画素のキズを検出してキズ補正をする映像信号処理装置に関する。
【０００２】
【従来の技術】
一般的に、ＣＣＤ等の半導体により形成された固体撮像素子においては、半導体の局所的な結晶欠陥等により画質劣化することが知られている。入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されてしまう画素欠陥は、この画素欠陥がそのまま処理されると、モニター画面上に高輝度の白い点となって現れるので、白キズと呼ばれている。また、光電感度の低いものは黒キズと呼ばれている。
【０００３】
画素欠陥の検出及び画素欠陥の補正に関しては、特開平7-7675公報に開示された画素欠陥補正装置が知られている。図２７（Ａ）から図２７（Ｃ）を用いて、従来の映像信号処理装置について説明する。この映像信号処理装置は、図２７（Ａ）に示すように、撮像素子100と、撮像素子100から読み出された各画素の値をディジタルに変換するＡ／Ｄ変換器110と、Ａ／Ｄ変換器110の出力の輝度信号111より、注目画素がキズか否かを検出するためのしきい値を制御するしきい値制御回路120と、Ａ／Ｄ変換器110の出力の輝度信号111としきい値に基づいて、Ａ／Ｄ変換器110の出力が画素欠陥か否かを検出する検出回路130と、検出回路130の出力を用いて、Ａ／Ｄ変換器110の出力の輝度信号の画素欠陥を補正する補正回路とを備えている。被写体の輝度レベルによらずに信号とキズの判別ができるため、キズを見落とすことなくキズ補正を行い、良好な画像を得ることができるというものである。
【０００４】
以下に、撮像素子のキズ検出方法及びキズ補正方法について述べる。キズは、周辺画素に対して、通常１画素だけ信号レベルが突出している。このため、注目画素とその周辺の画素とを比較し、注目画素が一定レベル以上突出している場合をキズと判別することができる。図２７（Ｂ）に、従来のキズ検出回路の内部構成を示す。
【０００５】
入力されたＡ／Ｄ変換器110の出力の輝度信号111は、フリップフロップ150と160を通り、注目画素Ｙnを基準として、注目画素Ｙnと注目画素の１画素前の画素Ｙn-1との差分を加算器170で生成し、この差分としきい値Ａ131を比較器190で比較する。注目画素Ｙnと注目画素の１画素後ろの画素Ｙn+1との差分を加算器180で生成し、この差分としきい値Ｂ132を比較器200で比較する。そして、比較した結果、論理積手段210において、それぞれ差分がしきい値Ａ131、しきい値Ｂ132より大きい場合には、注目画素Ｙnをキズとして検出するものである。
【０００６】
従来の映像信号処理装置では、この際、しきい値制御回路120で輝度信号111の輝度レベルに応じて、しきい値Ａ131、しきい値Ｂ132を制御する。例えば、輝度信号111の輝度レベルが高い場合には、ガンマ補正の影響でキズである画素の突出量（注目画素と周辺画素との差分）自体がそれほど大きな値にならないが、低輝度時にはキズである画素の突出量（注目画素と周辺画素との差分）は大きくなるため、しきい値制御回路120において、輝度信号111の輝度レベルに応じて、高輝度時には、しきい値Ａ131、しきい値Ｂ132を高輝度時に比べて小さく制御し、低輝度時にはしきい値Ａ131、しきい値Ｂ132を高輝度時に比べて大きくなるように逆ガンマ特性のような特性を持たせ、Ａ／Ｄ変換器110出力の輝度信号111の画素をキズと見なす突出量（注目画素と周辺画素との差分）であるしきい値Ａ131、しきい値Ｂ132を制御していた。
【０００７】
そして、しきい値Ａ131、しきい値Ｂ132を超えるような、注目画素Ｙｎをキズと検出した場合には、図２７（Ｃ）に示すようなフリップフロップ220とフリップフロップ230と加算器240とセレクタ手段250とで構成される補正回路140でキズと検出した画素Ｙnを周辺画素の平均値で補正し、注目画素Ｙnがキズでない場合にはそのまま出力していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の方法では、周辺画素と注目画素との比較でキズを検出しているため、細かな模様の被写体では、キズを正確に区別することは困難であった。さらに、一般的な撮像装置では、被写体の暗い部分と明るい部分が両方見えるようにレンズの絞りが自動的に調節されるため、例えば、被写体の最も明るい部分において、撮像素子の出力が飽和しているような場合には、常に撮像素子の飽和レベル近傍の信号を出力するようなキズと、キズではない実際に飽和している正常な画素とを区別することは大変困難になる。
【０００９】
単板カラーカメラの場合ではＣＣＤに色フィルタが貼られている。キズを画素単位で検出するためには、同色の画素と比較する必要がある。水平方向には１画素おきの周辺画素を用い、垂直方向には１ラインおきの周辺画素を用いる必要があるため、周辺画素までの距離が遠くなり、キズ検出回路の回路規模が大きくなるという問題がある。
【００１０】
また、ＬＰＦ（ローパスフィルタ）により輝度信号を生成してからキズ検出を行う場合には、ＬＰＦの影響でキズが周辺画素に広がってしまう。輝度信号のみでキズ検出を行い、キズと判定した画素を、周辺画素の平均値で輝度信号のみキズ補正するだけでは、色差信号は補正されない。そのため、キズの影響で画面上では偽色信号が生じるという問題もあった。
【００１１】
本発明は、上記従来の問題を解決して、撮像素子のキズを精度よく検出して、キズ補正を行い、良好な広ダイナミックレンジの映像信号を得ることを目的とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するために、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを備えた映像信号処理装置に、非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１３】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１４】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１５】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて映像信号のノイズ検出を行うノイズ検出手段を備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１６】
また、輝度信号の信号レベルに基づいて撮像素子のキズ検出を行うキズ検出手段と、輝度信号と色差信号に対してキズ補正をするキズ補正手段とを備えた構成とした。このように構成したことにより、撮像素子のキズ検出の精度を１画素単位まで向上でき、撮像素子のキズを精度よく補正することができ、良好な広ダイナミックレンジの映像信号が得られる。
【００１７】
【発明の実施の形態】
本発明の請求項１記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段と、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出する露光比キズ検出手段と、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出する黒レベルキズ検出手段とを備えた映像信号処理装置において、前記露光比キズ検出手段のキズ検出結果と前記黒レベルキズ検出手段のキズ検出結果とに基づいて撮像素子のキズ検出を行うキズ検出手段と、撮像素子にキズが検出されたときキズ補正するキズ補正手段とを備えた映像信号処理装置であり、１画素単位で撮像素子のキズを補正して、良好な映像信号を生成するという作用を有する。
【００１８】
本発明の請求項２記載の発明は、請求項１記載の映像信号処理装置において、前記露光比キズ検出手段は、前記標準露光信号レベルと非標準露光信号レベルのレベル比と所定の第１の閾値とを比較して、撮像素子のキズ検出を行う手段であるものであり、１画素単位で撮像素子のキズを補正して、良好な映像信号を生成するという作用を有する。
【００１９】
本発明の請求項３記載の発明は、請求項１記載の映像信号処理装置において、前記黒レベルキズ検出手段は、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均および当該画素の信号レベルの差と所定の第２の閾値に基づいて撮像素子のキズ検出を行う手段であるものであり、黒レベルのキズを適切に検出するという作用を有する。
【００２０】
本発明の請求項４記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段と、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出する露光比キズ検出手段と、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出する黒レベルキズ検出手段とを備えた映像信号処理装置において、前記露光比算出手段のキズ検出結果と前記黒レベルキズ検出手段のキズ検出結果に基づいて撮像素子にキズが検出されたとき周辺画素の平均値を用いてキズ補正を行う手段を備えた映像信号処理装置であり、映像信号を精度良く改善して、良好な映像信号を生成するという作用を有する。
【００２１】
本発明の請求項５記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成して、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成して、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成し、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出し、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出し、前記露光比キズの検出結果と前記黒レベルのキズの検出結果とに基づいて撮像素子のキズ検出を行い、撮像素子にキズが検出されたときキズ補正を行う映像信号処理方法であり、撮像素子のキズを精度よく補正して、良好な映像信号を生成するという作用を有する。
本発明の請求項６記載の発明は、標準の露光時間で撮影された標準露光映像信号を生成して、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成して、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成し、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出し、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出し、前記露光比算出ステップのキズ検出結果と前記黒レベルキズ検出ステップのキズ検出結果に基づいて撮像素子にキズが検出されたとき周辺画素の平均値を用いてキズ補正を行う映像信号処理方法であり、撮像素子のキズを精度よく補正して、良好な映像信号を生成するという作用を有する。
【００２２】
以下、本発明の実施の形態について、図１から図２６を参照しながら詳細に説明する。
【００２３】
（第１の実施の形態）
本発明の第１の実施の形態は、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行う映像信号処理装置である。
【００２４】
図１は、本発明の第１の実施の形態における信号処理装置の構成を示す機能ブロック図である。ここでは、フレーム単位の映像信号処理装置の場合を示す。図１において、撮像素子1010は、露光時間が標準露光と非標準露光の２種類の映像信号をフレーム単位で交互に出力する撮像素子である。撮像素子駆動手段1020は、撮像素子1010を駆動し、標準露光時と非標準露光時で露光時間を示す露光時間識別信号1021を出力する手段である。前処理手段1030は、撮像素子1010の出力のアナログ信号のリセットノイズを除去するＣＤＳ回路と、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、振幅調整を行うＡＧＣ回路と、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプするクランプ回路で構成される手段である。Ａ／Ｄ変換器1040は、前処理手段1030の出力をディジタル信号に変換する装置である。
【００２５】
同時化手段1050は、Ａ／Ｄ変換器出力1041である、１フレーム毎に交互に出力される露光時間の異なる映像信号を１フレーム分遅延させた後、標準露光映像信号1060と非標準露光映像信号1070の２系統に分離して同一タイミングで出力する手段である。信号レベルキズ検出手段1080は、撮像素子1010のキズ検出を行い、信号レベルキズ検出信号1081を生成する手段である。キズ補正手段1090は、撮像素子1010のキズを補正する手段である。映像信号合成手段1100は、標準露光映像信号1060と非標準露光映像信号1070を信号レベルに応じて合成し、キズ補正されダイナミックレンジが拡大された合成映像信号1101を生成する手段である。カメラプロセス1200は、輝度信号、色差信号を生成し、ガンマ補正、輪郭補正等を行う手段である。
【００２６】
上記のように構成された本発明の第１の実施の形態における映像信号処理装置について、その動作を説明する。撮像素子1010は、撮像素子駆動手段1020によって駆動され、光量を電気信号に変換する。撮像素子駆動手段1020は、撮像素子を駆動するとともに、露光時間を示す露光時間識別信号1021を生成する。
【００２７】
前処理手段1030は、ＣＤＳ、ＡＧＣ、クランプ回路等で構成されている。ＣＤＳ回路では、撮像素子出力のアナログ映像信号のリセットノイズを、相関２重サンプリングにより除去する。ＡＧＣ回路では、ノイズ成分が除去されたアナログ映像信号に対して、Ａ／Ｄ変換するためにクランプする。Ａ／Ｄ変換器1040は、クランプされたアナログ映像信号を、ディジタル映像信号に変換する。
【００２８】
次に、同時化手段1050の動作について述べる。同時化手段1050は、図３（Ａ）に示すように、１フレーム分の映像信号を遅延するためのメモリ手段10511とセレクタ手段10513とセレクタ手段10514とで構成されている。Ａ／Ｄ変換器出力1041をメモリ手段10511とセレクタ手段10513とセレクタ手段10514へ与える。次に、図３（Ｂ）に示すように、１フレーム毎に交互に出力される露光時間の異なる映像信号を、メモリ手段10511では、図３（Ｃ）に示すように、１フレーム分遅延させ、メモリ手段10512とセレクタ手段10513とセレクタ手段10514に与える。
【００２９】
さらに、同時化手段1050では、図３（Ａ）に示すように、セレクタ手段10513とセレクタ手段10514を、露光時間識別信号1021によって切替える。例えば、図３（Ａ）のセレクタ手段10513では、露光時間識別信号1021が10のとき、Ａ／Ｄ変換器出力1041を出力し、露光時間識別信号1021が１のとき、メモリ出力10512を出力する。また、セレクタ手段10514では、露光時間識別信号1021が10のとき、メモリ出力10512を出力し、露光時間識別信号1021が１のとき、Ａ／Ｄ変換器出力1041を出力するように制御する。
【００３０】
この際、露光時間識別信号1021を、図３（Ｂ）に示すＡ／Ｄ変換器出力1041に対して、標準露光映像信号1060は10、非標準露光映像信号1070は１となるように、露光時間に応じて重み付けしておけば、図３（Ｅ）、（Ｆ）に示すように、セレクタ手段10513出力は、常に標準露光映像信号1060（ＬＯＮＧ）、セレクタ手段10514出力は常に非標準露光映像信号1070（ＳＨＯＲＴ）となるように、２系統に分離して同一タイミングで出力できるようになる。このようにして、同時化手段1050では、標準露光映像信号1060と、非標準露光の映像信号1070の同時化を行う。
【００３１】
次に、信号レベルキズ検出手段1080では、標準露光映像信号1060と非標準露光映像信号1070から、撮像素子1010のキズ検出を行う。例えば、標準露光映像信号1060と非標準露光映像信号1070は、その露光比（標準露光映像信号1060÷非標準露光映像信号1070）が10であり、撮像素子にキズがなければ、標準露光映像信号1060と非標準露光映像信号1070の信号レベルは、それぞれ図４のように示される。
【００３２】
しかし、撮像素子1010にキズがある場合、キズの信号レベルは、露光時間に依存しないため、非標準露光映像信号1070であっても、図５のように、信号レベルが突出した画素が現れることになる。このキズを補正するため、キズ検出手段1080を、図６に示すように構成する。非標準露光映像信号1070の信号レベルから、キズと判別するための信号レベルを、キズしきい値信号レベル1083に設定する。このキズしきい値信号レベル1083と非標準露光映像信号1070とを比較する。その結果が、
非標準露光映像信号1070＞キズしきい値信号レベル1083
であれば、キズ検出対象の注目画素をキズと判断する。
【００３３】
同一シーンの異なる露光時間の映像信号を合成して、１枚の画像を合成するような撮像装置では、非標準露光映像信号1070が飽和しないように、露光時間が自動的に調節されているため、キズしきい値信号レベル1083を非標準露光映像信号1070の取り得る信号レベルの最大値（飽和レベル）よりも、少し低めに設定すれば良い。例えば、図５に示すように、標準露光映像信号1060と非標準露光映像信号1070の信号レベルの最大値（飽和レベル）が10000であれば、少し低めの値9000を設定する。
【００３４】
図５に示すように、撮像素子1010のキズのある画素は、非標露光映像信号1070であっても、信号レベルが突出している。そのため、キズしきい値信号レベル1083＝9000を超えた信号レベルの画素Ｓnは、キズと判断できる。この情報を、信号レベルキズ検出信号1081として、キズ補正手段1090に出力する。この際、標準露光映像信号1060と非標準露光映像信号1070は、同時化手段1050で画素毎の位相が合うように調整されている。そのため、画素Ｓｎと同位相関係にある標準露光映像信号1060の画素Ｌnも、キズと見なすことができる。
【００３５】
キズ補正手段1090は、例えば、図７のように、フリップフロップ1093〜フリップフロップ1096と、加算器1097と加算器1098と、セレクタ手段10971とセレクタ手段10981とから構成されている。キズ補正手段1090では、信号レベルキズ検出信号1081よりキズと判別した注目画素Ｓn，Ｌnを、周辺画素の平均値を用いてキズ補正する。これにより、信号レベル10000と周辺画素に比べて突出していたキズと検出した非標準露光映像信号1070の画素Ｓn、標準露光映像信号1060の画素Ｌnは、それぞれ図８に示すように、Ｌn＝100，Ｓn＝10となるよう改善することができる。
【００３６】
このように、非標準露光映像信号1070の信号レベルを基準として、１画素単位でキズ補正ができるので、精度の良いキズ検出ができ、適切なキズ補正ができるようになる。また、非標準露光映像信号1070を基準にした信号レベルキズ検出信号1081を基準に、標準露光映像信号1060のキズも改善できるので、信号レベルキズ検出回路1080は、非標準露光映像信号1070のみ１系統あれば、標準露光映像信号1060のキズも補正できる。よって、後段の映像信号合成手段1100、カメラプロセス1200においても、撮像素子1010のキズの影響を改善した映像信号を基に信号処理できるので、良好な映像信号を得ることができる。
【００３７】
次に、キズ補正手段1090でキズ補正されたキズ補正後の標準露光映像信号1091と、キズ補正後の非標準露光映像信号1092を、映像信号の信号レベルに応じて図９のように合成する。図９において、標準露光映像信号1091は、非標準露光映像信号1092より露光時間が長いので、ＬＯＮＧと呼び、非標準露光映像信号1092は逆に露光時間が短いので、ＳＨＯＲＴと呼ぶことにする。
【００３８】
図９（Ａ）は、ＬＯＮＧの入出力特性である。ＬＯＮＧは、入射光量が飽和光量を超えると、出力は一定値で飽和しやすい。ただし、飽和光量までは通常の標準の映像信号が得られる。図９（Ｂ）は、ＳＨＯＲＴの入出力特性である。ＳＨＯＲＴは、シャッター時間を標準露光より短くしたり、感度をＬＯＮＧより下げることにより、その分だけ、撮像素子が飽和する入射光量を高めることができる。ただし、ＳＨＯＲＴの入射光量の少ない部分はＳ／Ｎが悪く、黒つぶれしやすい。そこで、この２つの特性を利用して、映像信号のダイナミックレンジを拡大する。例えば、ＬＯＮＧが飽和しない領域ではＬＯＮＧだけ出力し、ＬＯＮＧが飽和しはじめる領域（ＭＩＸ領域）では、ＬＯＮＧとＳＨＯＲＴをＫ（映像信号合成信号）で内分した値を出力とし、ＬＯＮＧが完全に飽和した領域では、ＳＨＯＲＴだけを出力するように制御する。
【００３９】
合成映像信号1101をＯＵＴとし、ＭＩＸ領域の開始レベルをＹthとし、ＬＯＮＧの飽和レベルをＳＡＴとし、ＭＩＸ領域内でＬＯＮＧとＳＨＯＲＴを交差させ、滑らかに映像信号を合成させるためのオフセット値をＯＦＳＥＴ１とし、Ｋを映像信号合成制御信号とする。Ｋは、ＭＩＸ領域の下限ではＬＯＮＧ、上限ではＳＨＯＲＴとなるように、なめらかに変化させるための制御信号である。
【００４０】
まず、図９（Ｃ）に、ＳＨＯＲＴ＋ＯＦＳＥＴ１の様子を示す。図９（Ｄ）に、前記の制御による映像信号合成の様子を示す。図９（Ｅ）に、Ｋ（映像信号合成制御信号）の特性を示す。図９（Ｆ）に、最終的に得られる合成映像信号1101を示す。
【００４１】
前記の制御を式で表すと、下記の▲１▼〜▲３▼
▲１▼ＬＯＮＧ≦Ｙｔｈの場合（ＬＯＮＧが飽和していない領域、Ｋ＝０）
ＯＵＴ＝ＬＯＮＧ
▲２▼Ｙth≦ＬＯＮＧ≦ＳＡＴの場合（ＭＩＸ領域、０≦Ｋ≦１）
ＯＵＴ＝（１−Ｋ）×ＬＯＮＧ＋Ｋ×（ＳＨＯＲＴ＋ＯＦＳＥＴ１）
ここで、Ｋ＝（ＬＯＮＧ−Ｙth）／（ＳＡＴ―Ｙth）
▲３▼ＬＯＮＧ≧ＳＡＴの場合（ＬＯＮＧが飽和した領域、Ｋ＝１）
ＯＵＴ＝ＳＨＯＲＴ＋ＯＦＳＥＴ１
のようになる。
【００４２】
このように、撮像素子1010のキズに対してキズ補正を施した後、露光時間の異なる映像信号を基に合成することにより、広ダイナミックレンジの良好な合成映像信号1101を得ることができる。よって、細かな被写体であっても、適切なキズ補正ができるため、カメラプロセス1200にて、輝度信号生成、色差信号生成等を行っても、その出力には、広ダイナミックレンジの撮像素子のキズの影響のない良好な画像を得ることができる。
【００４３】
なお、ここではフレーム単位の処理について述べたが、ライン単位やフィールド単位でも同様の処理ができる。
【００４４】
上記のように、本発明の第１の実施の形態では、映像信号処理装置を、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行う構成としたので、１画素単位でキズ検出ができ、適切なキズ補正ができる。
【００４５】
（第２の実施の形態）
本発明の第２の実施の形態は、標準露光映像信号と、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比に基づいて、撮像素子のキズ検出を行う映像信号処理装置である。
【００４６】
図１０は、本発明の第２の実施の形態における信号処理装置の構成を示す機能ブロック図である。第１の実施の形態における信号処理装置と異なる点は、信号レベルキズ検出手段1080の代わりに露光比キズ検出手段1300を設けたことである。図１０において、図１と同一の名称で同一の符号（番号）が付加されている構成手段は、図１の構成手段と同等の機能を有するものである。図１０において、露光比キズ検出手段1300は、図１１に示すように、露光比算出手段1302と比較器1303とから構成されている。図１１に、露光比演算手段の構成を示す。
【００４７】
上記のように構成された本発明の第２の実施の形態における映像信号処理装置について、その動作を説明する。撮像素子1010にキズがある場合、図５に示したように、キズの信号レベルは露光時間に依存しない。そこで、露光比キズ検出手段1300は、露光比（標準露光映像信号1060÷非標準露光映像信号1070）が１に近づくことを利用してキズ検出を行う。
【００４８】
露光比算出手段1302では、標準露光映像信号1060と非標準露光映像信号1070から、露光比（標準露光映像信号1060÷非標準露光映像信号）を示す露光比信号13021を算出する。比較器1303では、露光比信号13021と、標準露光映像信号1060と非標準露光映像信号1070との露光比13021に基づいて設定されたキズしきい値露光比レベル1304とを比較し、キズ検出対象の注目画素がキズであるか否か判断する。
【００４９】
キズしきい値露光比レベル1304は、撮像素子1010にキズがなければ、図４に示すように露光比は常に一定になる。撮像素子1010にキズがあれば、図５に示すように、標準露光映像信号1060と非標準露光映像信号1070の露光比は１に近づく。例えば、図１２の場合、その露光比信号13021は、▲４▼式
露光比信号13021
＝標準露光映像信号1060÷非標準露光映像信号1070＝10 −−−−−▲４▼
のように、10となる。
【００５０】
しかし、撮像素子1010にキズがある場合、露光比信号13021は、図１２に示すように１になる場合がある。つまり、露光比信号13021が１に近づくほどキズ検出の対象としている注目画素がキズである確率が高くなる。例えば、この露光比信号13021が２である場合をキズと見なすように、予めキズしきい値露光比レベル1304を設定しておけば、Ｃnをキズとして検出できる。そして、このＣnをキズとして検出した情報を露光比キズ検出信号1301として、図１０のキズ補正手段1090に出力する。
【００５１】
この場合、図１０のキズ補正手段1090では、図７の信号レベルキズ検出信号1081に代わって、露光比キズ検出信号1301に基づいてキズ補正を行うよう制御する。したがって、露光比キズ検出手段1300でキズと検出した注目画素は、周辺画素の平均値でキズ補正でき、キズでない場合にはそのまま出力するので、解像度の劣化を伴わずにキズ補正できる。これにより、キズと検出したＣnと同じ位相関係にあるキズのある標準露光映像信号1060の画素Ｌnと非標準露光映像信号1070の画素Ｓnを同時にキズ補正することができる。
【００５２】
よって、後段の映像信号合成手段1100、カメラプロセス1200においても、撮像素子のキズの影響を改善した映像信号を基に映像信号処理できるので、良好な画素を得ることができ、第１の実施の形態の映像信号処理装置と同様に、１画素単位で精度よく撮像素子のキズの影響が改善された広ダイナミックレンジの良好な映像信号を得ることができる。
【００５３】
なお、ここではフレーム単位の処理について述べたが、第１の実施の形態と同様に、ライン単位やフィールド単位でも同様の処理ができる。
【００５４】
上記のように、本発明の第２の実施の形態では、映像信号処理装置を、標準露光映像信号と、標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比に基づいて、撮像素子のキズ検出を行う構成としたので、１画素単位でキズ検出ができ、適切なキズ補正ができる。
【００５５】
(第３の実施の形態)
本発明の第３の実施の形態は、標準露光映像信号と標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて、撮像素子のキズ検出を行う映像信号処理装置である。
【００５６】
図１３は、本発明の第３の実施の形態における映像信号処理装置の構成を示す機能ブロック図である。第２の実施の形態における映像信号処理装置と異なる点は、黒レベルキズ検出手段1400と論理積手段1500を設けたことである。図１３において、図１と同一の名称で同一の符号（番号）が付加されている構成手段は、図１の構成手段と同等の機能を有するものである。図１３において、露光比キズ検出手段1300は、標準露光映像信号1060と非標準露光映像信号1070の露光比から、露光比キズ検出信号1301を生成する。
【００５７】
上記のように構成された本発明の第３の実施の形態における映像信号処理装置について、その動作を説明する。図１４に、本来、標準露光映像信号1060と非標準露光映像信号1070の露光比が３である映像信号が、ノイズの影響を受けている様子を示す。アナログ信号処理部分のＳ／Ｎが悪い場合や、Ａ／Ｄ変換器の量子化精度が粗い場合には、黒レベル付近の露光比が正確に得られない。
【００５８】
このような場合に、露光比キズ検出手段1300のみでキズ検出を行う場合には、露光比信号13021が、Ｃn+1のように、本来の露光比である３からずれてしまう。したがって、本来キズでない標準露光映像信号1060の画素Ｌn+1、非標準露光映像信号1070の画素Ｓn+1を、キズと誤検出する可能性がある。そこで、図１５に示すように、フリップフロップ1403〜1404と、加算器1450と、差分生成手段1406と、比較器1407とから構成される黒レベルキズ検出手段1400を、露光比キズ検出手段1300に追加して設け、キズ検出対象の注目画素を中心に、その周辺画素の平均値と信号レベルの差分に基づいて、キズ検出を行うようにする。
【００５９】
図１５の黒レベルキズ検出手段では、キズ検出対象の注目画素と周辺画素の差分に対して、キズと判断する差分を設定する。例えば、図１４に示す標準露光映像信号1060の画素Ｌnをキズ検出対象の注目画素とすると、その周辺画素は、画素Ｌn-1、画素Ｌn+1になる。この注目画素Ｌnがキズである場合には、その周辺画素Ｌn-1、Ｌn+1の信号レベルが画素Ｌnに比べて大きく突出するため、画素Ｌn-1と画素Ｌn+1の平均値と注目画素Ｌnとの差を比較し、この差が極端に突出して大きい場合には、注目画素Ｌnをキズと見なすようにキズ検出を行う。
【００６０】
図１４に示すように、信号レベルが低い領域に存在するキズのある画素Ｌn、Ｓnを正確に検出するには、例えば、キズしきい値黒レベル＝５に設定することによりキズ検出する。この場合、周辺画素とＬnの信号レベル差が５より大きい場合には、キズと判別するものとする。図１４の場合には、キズしきい値黒レベル1402＝５と、Ｌn＝１の周辺画素であるＬn-1＝10とＬn+1＝６の平均値は８あるので、この平均値である８とＬnの信号レベル差を差分生成手段1406で算出する。図１４の場合、差分生成手段出力14061は、Ａnのように８−１＝７となる。よって、
差分生成手段出力14061（＝７）＞キズしきい値黒レベル1402（＝５）
となるので、画素Ｌnは、キズと正しく検出することができる。
【００６１】
Ｌnをキズと判別した情報を、図１５の黒レベルキズ検出手段では、黒レベルキズ検出信号1401として生成する。黒レベルキズ検出信号1401と、露光比キズ検出手段1300で検出した露光比キズ検出信号1301との論理積を、図１３に示す論理積手段1500により演算し、キズ検出信号1501を生成する。図１３のキズ補正手段1090では、図７に示す第１の実施の形態のキズ補正手段1090の信号レベルキズ検出信号1081に代わって、論理積手段1500出力のキズ検出信号1501を基にキズ補正手段1090を制御する。これによって、標準露光映像信号1060のＬnと同じ位相関係にある非標準露光映像信号1070のＳnについても、同時に周辺画素の平均値でキズ補正する。
【００６２】
したがって、標準露光映像信号1060と非標準露光映像信号1070の露光比と、標準露光映像信号の周辺画素の信号レベルを基にキズ検出を行うことになるため、映像信号がノイズ成分の影響を受けていてもキズ検出の精度向上ができる。これにより、図１４において露光比キズ検出手段で誤ってキズと検出した標準露光映像信号1060の画素Ｌn+1、非標準露光映像信号1070のＳnについてはキズと検出することがなくなる。よって、後段の映像信号合成手段1100、カメラプロセス1200ではより精度よく撮像素子のキズの影響が改善された映像信号を基に信号処理が行えるので、最終的に得られる映像信号も撮像素子1010のキズの影響が適切に改善された広ダイナミックレンジの良好な映像信号を得ることができる。
【００６３】
なお、ここではフレーム単位の処理について述べたが、第１、第２の実施の形態と同様に、ライン単位やフィールド単位でも同様の処理ができる。
【００６４】
上記のように、本発明の第３の実施の形態では、映像信号処理装置を、標準露光映像信号と標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて、撮像素子のキズ検出を行う構成としたので、ノイズがある場合でも、１画素単位でキズ検出ができ、適切なキズ補正ができる。
【００６５】
（第４の実施の形態）
本発明の第４の実施の形態は、標準露光映像信号と、標準より短い露光時間で撮影された非標準露光映像信号との信号レベルの比に基づいて、映像信号のノイズ検出を行う映像信号処理装置である。
【００６６】
図１６は、本発明の第４の実施の形態における映像信号処理装置の構成を示す機能ブロック図である。第２の実施の形態における映像信号処理装置と異なる点は、露光比キズ検出手段1300とキズ補正手段1090の代わりに露光比ノイズ検出手段1600と、ノイズ除去手段1700を設けたことである。図１６において、図１０と同一の名称で同一の符号（番号）が付加されている構成手段は、図１０の構成手段と同等の機能を有するものである。第４の実施の形態における映像信号処理装置では、第２の実施の形態の映像信号処理装置を基に、映像信号のノイズ成分を改善できるよう構成したものである。
【００６７】
図１６において、露光比ノイズ検出手段1600は、図１７に示すように、露光比算出手段1602と比較器1603と比較器1604と論理否定手段1607と論理積手段1608とから構成されており、標準露光映像信号1060と非標準露光映像信号1070の露光比を基に映像信号のノイズ検出を行う。なお、図１７に示す露光比算出手段1602及び露光比信号16021は、第２の実施の形態で述べた図１１に示す露光比算出手段1302及び露光比信号13021と同等の機能を有するものである。
【００６８】
上記のように構成された本発明の第４の実施の形態における映像信号処理装置について、その動作を説明する。図１７の露光比算出手段1602では、標準露光映像信号1060と非標準露光映像信号1070の露光比を露光比信号16021として算出した後、この露光比信号16021をノイズしきい値露光比レベルＡ1605と、ノイズしきい値露光比レベルＢ1606とをそれぞれ比較する。この際、ノイズしきい値露光比レベルＡ1605とノイズしきい値露光比レベルＢ1606は、図１８に示すように、標準露光映像信号1060と非標準露光映像信号1070との露光比を基準として、注目画素をノノイズと判別する領域を設定する。
【００６９】
例えば、本来、標準露光映像信号1060と非標準露光映像信号1070との露光比が10であれば、露光比信号16021は10となるべきである。よって、この露光比10を基準として、露光比信号16021が本来の露光比10と異なる場合は、標準露光映像信号1060と非標準露光映像信号1070は、ノイズの影響を受けていることになる。
【００７０】
図１８に、露光比信号16021＝10を基準に、ノイズしきい値露光比レベルＡ1605を９と設定し、ノイズしきい値露光比レベルＢ1606を11と設定した場合を示す。ここでは、図１８に示すように、露光比算出手段1602で算出した露光比信号16021を基準にして、
露光比16021＜ノイズしきい値露光比レベルＡ1605
露光比16021＞ノイズしきい値露光比レベルＢ1606
となる場合にノイズと判別する。そして、このノイズ判定結果の情報を露光比ノイズ検出信号11601として出力する。図１８の場合には、Ｃn-1、Ｃn+1をノイズと判別することになる。
【００７１】
ノイズ除去手段1700では、露光比ノイズ検出信号1601を基にノイズ除去を行う。ノイズ除去手段1700は、図１９に示すようにディジタルフィルタ1703とディジタルフィルタ1704とセレクタ1705とセレクタ1706とで構成する。ノイズ除去手段1700は、露光比ノイズ検出信号1601を基にノイズの影響を受けていると判別された画素については、ディジタルフィルタによりノイズを改善し、ノイズの影響がないと判別された画素については、そのまま出力するようにセレクタ手段1705とセレクタ手段1706とを切換える。
【００７２】
これによって、図１６の標準露光映像信号1060と非標準露光映像信号1070に含まれるノイズ成分が適切に改善できる。よって、図１６に示す後段の映像信号合成手段1100と、カメラプロセス1200ではノイズ改善後の標準露光映像信号1701とノイズ改善後の非標準露光映像信号1702を基に信号処理できるので、最終的に選られる映像信号もノイズの影響が適切に改善された広ダイナミックレンジの良好な映像信号を得ることができる。
【００７３】
なお、ここではフレーム単位の処理述べたが、ライン単位やフィールド単位でも同様の処理ができる。
【００７４】
上記のように、本発明の第４の実施の形態では、映像信号処理装置を、標準露光映像信号と標準より短い露光時間で撮影された非標準露光映像信号の信号レベルの比に基づいて映像信号のノイズ検出を行う構成としたので、ノイズ成分を含んだ映像信号を１画素単位で改善して、良好な映像信号を生成できる。
【００７５】
（第５の実施の形態）
本発明の第５の実施の形態は、輝度信号の信号レベルに基づいて撮像素子のキズ検出を行い、輝度信号と色差信号に対してキズ補正をする映像信号処理装置である。
【００７６】
図２０は、本発明の第５の実施の形態における映像信号処理装置の構成を示す機能ブロック図である。図２０において、撮像素子1010は、通常の撮像装置のように１フィールド毎に１枚の映像を撮像し、１ライン毎に映像信号を出力する。前処理手段1030は、撮像素子1010出力のアナログ映像信号のリセットノイズを除去するＣＤＳ回路と、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように振幅調整を行うＡＧＣ回路と、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路で構成されている。Ａ／Ｄ変換器1040は、前処理手段出力1030の出力をディジタル信号に変換する手段である。カメラプロセス1200は、輝度信号と色差信号を生成し、撮像素子1010出力のキズ補正を行い、輪郭補正等を行う手段である。図２１は、カメラプロセス1200の構成図である。カメラプロセス1200は、ＬＰＦ1201と、ＢＰＦ2102と、輝度キズ検出手段1203と、輝度キズ補正手段1204と、色差キズ補正手段1206と、カメラ信号処理手段1205とから構成されている。
【００７７】
上記のように構成された本発明の第５の実施の形態における映像信号処理装置について、その動作を説明する。図２２は、撮像素子に補色の色フィルターが貼られている場合の輝度信号と色差信号の状態を示す図である。図２２（Ａ）に、色フィルターが補色の場合の撮像素子1010について示す。撮像素子に補色の色フィルターが貼られている場合、図２２（Ａ）のように、Ｃy、Ｙe、Ｍg、Ｇの色フィルターが貼られている。撮像素子1010は、撮像素子駆動手段1020により駆動され、図２２（Ｂ）に示すように、図２２（Ａ）の上下のラインを加算して出力する。
【００７８】
ＬＰＦ1201は、図２２（Ｂ）のような撮像素子1010出力に対して、ローパスフィルタにより、例えば▲５▼式
輝度信号12011＝（Ｙe＋Ｍg）＋（Ｃy＋Ｇ） −−−−−▲５▼
に示すような信号処理を行い、輝度信号12011を生成する。なお、▲６▼〜▲８▼式
Ｙe＝Ｇ＋Ｒ −−−−−▲６▼
Ｍg＝Ｒ＋Ｂ −−−−−▲７▼
Ｃy＝Ｇ＋Ｂ −−−−−▲８▼
より、輝度信号12011は、▲９▼式
輝度信号12011＝２Ｒ＋３Ｇ＋２Ｂ −−−−−▲９▼
のように表すこともできる。
【００７９】
また、ＢＰＦ1202は、図２２（Ｂ）のような撮像素子1010出力に対して、バンドパスフィルタにより、10式、11式
色差信号12021＝（Ｙe＋Ｍg）−(Ｃy＋Ｇ)＝２Ｒ−Ｇ −−−−−10
色差信号12021＝（Ｙｅ＋Ｇ）−（Ｃy＋Ｍg）＝−（２Ｂ−Ｇ） −−−11
に示すような信号処理を行い、色差信号12021を生成する。10式により、２Ｒ−Ｇを、11式により、−（２Ｂ−Ｇ）を、１ラインおきに生成する。
【００８０】
次に、図２３（Ａ）、（Ｂ）、（Ｃ）に、撮像素子1010出力にキズがある場合を示す。図２３（Ａ）に、撮像素子1010の出力Ｘ11〜Ｘ56の場合を示し、図２３（Ｂ）に、図２３（Ａ）のＸ11〜Ｘ33部分から輝度信号を生成した場合を示し、図２３（Ｃ）に、図２３（Ａ）のＸ11〜Ｘ33部分から色差信号を生成した場合を示す。
【００８１】
撮像素子1010出力のＸ13がキズである場合には、撮像素子1010の出力は、カメラプロセス1200のＬＰＦ1201により輝度信号21011を生成すると、図２３（Ｂ）に示すように、キズの画素は、Ｘ13を含む（Ｘ12＋Ｘ13）と（Ｘ13＋Ｘ14）の２画素に広がってしまう。また、カメラプロセス1200のＢＰＦ1202により色差信号を生成した場合にも、そのキズは、（Ｘ13−Ｘ12）と（Ｘ13−Ｘ14）となって、色差信号にもキズの影響が残ってしまうことになる。
【００８２】
そこで、図２０のカメラプロセス1200では、輝度信号12011を基にキズを検出し、輝度信号12011と色差信号12021の両方に対するキズ補正を行えるようにする。輝度キズ検出手段1203は、図２４（Ａ）のように、メディアン生成手段12032と差分生成手段12033と比較器12034とから構成されている。輝度信号12011を基に、メディアン生成手段12032では、任意の領域のメディアン（中央値）を生成し、このメディアン（中央値）とキズ検出対象の画素の差を差分生成手段12033で求め、この差がキズしきい値メディアンレベル12035より大きい場合をキズと判別する。
【００８３】
図２５（Ａ）のような、水平３画素×垂直３ラインの領域の中央の画素（画素位置Ｙn、ライン数Ｎ、輝度レベル＝220)を基準に、メディアン生成手段12032でメディアン（中央値）を生成する場合、図２５（Ｂ）に示すように、メディアン（中央値）は104となる。この際、図２５（Ａ）のように、キズしきい値メディアンレベル12035を200に設定しておけば、キズの画素は周辺の画素より輝度レベルが突出しているので、キズとして判別できる。そして、このキズと検出した情報を輝度キズ検出信号12031として、輝度キズ補正手段1206に出力するとともに、メディアン生成手段12032で生成したメディアン（中央値）を、メディアン信号120321として、輝度キズ補正手段1204に出力する。
【００８４】
図２４（Ｂ）に示す輝度キズ補正手段1204では、輝度キズ検出信号12031を基にセレクタ手段12042を切換え、キズと判別した画素は、メディアン信号120321でキズ補正し、キズでない場合には、輝度信号12011をそのままカメラ信号処理手段1205へ出力する。これにより、図２５（Ｂ）に示すように、輝度信号12011に含まれる図２５（Ａ）のようなキズを補正することができる。なお、同様にして、画素位置Ｙn-1、ライン数Ｎ、輝度レベル＝210にある画素も、キズ補正することができる。
【００８５】
しかしながら、色差信号出力12021の場合のキズ補正は、図２５（Ｃ）のように、２ラインに１度しか同じ色が表れないので、輝度信号12011のキズ検出と同様に、メディアン（中央値）を用いてキズ補正するには、輝度信号12011の場合のキズ検出に比べて、ラインメモリをさらに２本多く必要とし、回路規模の増加につながる。そこで、輝度キズ検出手段1203で検出した輝度キズ検出信号12031を基に、色差キズ補正手段1206で色差信号12021に含まれるキズも補正する。
【００８６】
色差キズ補正手段1206の構成を図２６（Ａ）に示す。色差キズ補正手段1206は、フリップフロップ12062〜フリップフロップ12065と、加算器12066と、セレクタ手段12067により構成されている。輝度信号12011が、図２３（Ｂ）のようにキズである場合、同じ位相関係にある色差信号12021も、図２３（Ｃ）に示すようにキズになる。よって、輝度キズ検出信号12031によってキズと判断された図２６（Ｂ）に示すようなキズのある画素を含む色差信号12021を、色差キズ補正手段1206では、図２６（Ｃ）に示すようにキズ補正対象の画素の前後２画素の平均値を用いてキズ補正することができる。このように、輝度信号12011にのみ輝度キズ検出手段1203を設ければ、色差信号12021に含まれるキズの補正もできる。よって、カメラプロセス1200出力には、撮像素子のキズの影響のない良好な映像信号を得ることができる。また、色差信号12021に対しては、キズ検出手段を設ける必要がないため、回路のＬＳＩ化を図る場合に、回路規模の増加につながらないので有利である。
【００８７】
なお、ここでは補色の撮像素子について述べたが、原色の撮像素子の場合についても、同様に撮像素子のキズ検出及びキズ補正が行うことができる。
【００８８】
上記のように、本発明の第５の実施の形態では、映像信号処理装置を、輝度信号の信号レベルに基づいて撮像素子のキズ検出を行い、輝度信号と色差信号に対してキズ補正をする構成としたので、輝度信号から１画素単位でキズ検出ができ、色差信号にも適切なキズ補正ができる。
【００８９】
【発明の効果】
以上の説明から明らかなように、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを備えた映像信号処理装置に、非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行うキズ検出手段を備えた構成としたので、細かな模様の被写体であっても１画素単位で撮像素子のキズを検出することができ、キズを検出した画素のみ、適切なキズ補正を行うことができる。このため、キズの改善された標準露光映像信号とキズの改善された非標準露光映像信号を輝度レベルに応じて合成すれば、合成映像信号はキズの影響が改善された広ダイナミックレンジの合成映像信号として生成でき、カメラプロセス出力についてもキズの影響が改善された良好な広ダイナミックレンジの映像信号とすることができるという効果が得られる。
【００９０】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて撮像素子のキズ検出を行うキズ検出手段を備えたので、１画素単位で撮像素子のキズ検出ができるという効果が得られる。
【００９１】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比と、標準露光映像信号の信号レベルとに基づいて撮像素子のキズ検出を行うキズ検出手段を備えたので、ノイズがある場合でも１画素単位で撮像素子のキズ検出ができるという効果が得られる。
【００９２】
また、標準露光映像信号と非標準露光映像信号の信号レベルの比に基づいて映像信号のノイズ検出を行うノイズ検出手段を備えたので、１画素単位でノイズ検出ができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図２】本発明の第１の実施の形態における映像信号処理装置の露光時間識別信号を示す図、
【図３】本発明の第１の実施の形態における映像信号処理装置の同時化手段の構成と動作を示す図、
（Ａ）同時化手段
（Ｂ）Ａ／Ｄ変換器出力
（Ｃ）メモリー手段出力
（Ｄ）露光時間識別信号
（Ｅ）非標準露光映像信号
（Ｆ）標準露光映像信号
【図４】本発明の第１の実施の形態における映像信号処理装置の撮像素子出力にキズのない場合の標準露光映像信号と非標準露光映像信号の状態を示す図、
【図５】本発明の第１の実施の形態における映像信号処理装置の撮像素子出力にキズがある場合の標準露光映像信号と非標準露光映像信号とキズしきい値信号レベルの関係を示す図、
【図６】本発明の第１の実施の形態における映像信号処理装置の信号レベルキズ検出手段の構成を示す図、
【図７】本発明の第１の実施の形態における映像信号処理装置のキズ補正手段の構成を示す図、
【図８】本発明の第１の実施の形態における映像信号処理装置の撮像素子のキズが改善された場合の標準露光映像信号と非標準露光映像信号の様子を示す図、
【図９】本発明の第１の実施の形態における映像信号処理装置の標準露光映像信号と非標準露光映像信号の合成を説明する図、
（Ａ）標準露光映像信号：ＬＯＮＧの特性
（Ｂ）非標準露光映像信号：ＳＨＯＲＴの特性
（Ｃ）非標準露光映像信号にオフセットを加算した場合の特性
（Ｄ）標準露光映像信号と非標準露光映像信号の合成
（Ｅ）映像信号合成制御信号の特性
（Ｆ）合成映像信号の特性
【図１０】本発明の第２の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図１１】本発明の第２の実施の形態における映像信号処理装置の露光比キズ検出手段の構成を示す図、
【図１２】本発明の第２の実施の形態における映像信号処理装置の撮像素子出力にキズがある場合の標準露光映像信号と非標準露光映像信号とキズしきい値露光比レベルの関係を示す図、
【図１３】本発明の第３の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図１４】本発明の第３の実施の形態における映像信号処理装置の撮像素子にキズがあり、キズしきい値露光比レベルで誤検出する場合の標準露光映像信号と非標準露光映像信号とキズしきい値露光比レベルの関係及び差分生成手段出力とキズしきい値黒レベルの関係を示す図、
【図１５】本発明の第３の実施の形態における映像信号処理装置の黒レベルキズ検出手段の構成を示す図、
【図１６】本発明の第４の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図１７】本発明の第４の実施の形態における映像信号処理装置の露光比ノイズ検出手段の構成を示す図、
【図１８】本発明の第４の実施の形態における映像信号処理装置のノイズ成分の影響がある場合の標準露光映像信号と非標準露光映像信号と、ノイズしきい値露光比レベルＡ、ノイズしきい値露光比レベルＢの関係を示す図、
【図１９】本発明の第４の実施の形態における映像信号処理装置のノイズ除去手段の構成を示す図、
【図２０】本発明の第５の実施の形態における映像信号処理装置の構成を示す機能ブロック図、
【図２１】本発明の第５の実施の形態における映像信号処理装置のカメラプロセスの構成を示す図、
【図２２】本発明の第５の実施の形態における映像信号処理装置の撮像素子が補色の場合の色フィルタによる撮像素子出力を示す図、
（Ａ）撮像素子が補色の場合の色フィルタ配列
（Ｂ）撮像素子が補色の場合の撮像素子出力
【図２３】本発明の第５の実施の形態における映像信号処理装置の撮像素子にキズがある場合の状態を示す図、
（Ａ）撮像素子にキズが含まれる様子
（Ｂ）撮像素子のキズによる輝度信号への影響
（Ｃ）撮像素子のキズによる色差信号への影響
【図２４】本発明の第５の実施の形態における映像信号処理装置の輝度キズ検出手段と輝度キズ補正手段の構成を示す図、
（Ａ）輝度キズ検出手段
（Ｂ）輝度キズ補正手段
【図２５】本発明の第５の実施の形態における映像信号処理装置の輝度信号のキズ補正を説明する図、
（Ａ）水平３画素×垂直３ラインの輝度信号にキズがある様子
（Ｂ）水平３画素×垂直３ラインの輝度信号のキズ補正の様子
（Ｃ）水平５画素×垂直５ラインの色差信号にキズがある様子
【図２６】本発明の第５の実施の形態における映像信号処理装置の色差信号のキズ補正を説明する図、
（Ａ）色差キズ補正手段
（Ｂ）色差信号にキズがある様子
（Ｃ）水平５画素×垂直１ラインの色差信号のキズ補正
【図２７】従来の映像信号処理装置の全体と各部の構成を示す図である。
（Ａ）従来の映像信号処理装置
（Ｂ）従来の映像信号処理装置の検出回路
（Ｃ）補正回路
【符号の説明】
100 撮像素子
101 Ａ／Ｄ変換器
120 しきい値制御回路
130 検出回路
131 しきい値Ａ
132 しきい値Ｂ
133 補正回路
150 フリップフロップ
160 フリップフロップ
170 加算器
180 加算器
190 比較器
200 比較器
210 論理積手段
220 フリップフロップ
230 フリップフロップ
240 加算器
250 セレクタ手段
1010 撮像素子
1020 撮像素子駆動手段
1021 露光時間識別信号
1030 前処理手段
1040 Ａ／Ｄ変換器
1041 Ａ／Ｄ変換器出力
1050 同時化手段
10511 メモリ手段
10512 メモリ手段出力
10513 セレクタ手段
10514 セレクタ手段
1060 標準露光映像信号
1070 非標準露光映像信号
1080 信号レベルキズ検出手段
1081 信号レベルキズ検出信号
1082 比較器
1083 キズしきい値信号レベル
1090 キズ補正手段
1091 キズ補正後の標準露光映像信号
1092 キズ補正後の非標準露光映像信号
1093 フリップフロップ
1094 フリップフロップ
1095 フリップフロップ
1096 フリップフロップ
1097 加算器
10971 セレクタ手段
1098 加算器
10981 セレクタ手段
1100 映像信号合成手段
1101 合成映像信号
1102 Ｋ（映像信号合成制御信号）
1200 カメラプロセス
1201 ＬＰＦ（ローパスフィルタ）
12011 輝度信号
1202 ＢＰＦ（バンドパスフィルタ）
12021 色差信号
1203 輝度キズ検出手段
12031 輝度キズ検出信号
12032 メディアン生成手段
120321 メディアン信号
12033 差分生成手段
12034 比較器
12035 キズしきい値メディアンレベル
1204 輝度キズ補正手段
12041 キズ補正後の輝度信号
12042 セレクタ手段
1205 カメラ信号処理手段
1206 色差キズ補正手段
12061 キズ補正後の色差信号
12062 フリップフロップ
12063 フリップフロップ
12064 フリップフロップ
12065 フリップフロップ
12066 加算器
12067 セレクタ手段
1300 露光比キズ検出手段
1301 露光比キズ検出信号
1302 露光比算出手段
13021 露光比信号
1303 比較器
1304 キズしきい値露光比レベル
1400 黒レベルキズ検出手段
1401 黒レベルキズ検出信号
1402 キズしきい値黒レベル
1403 フリップフロップ
1404 フリップフロップ
1405 加算器
1406 差分生成手段
14061 差分生成手段出力
1407 比較器
1500 論理積手段
1501 キズ検出信号
1600 露光比ノイズ検出手段
1601 露光比ノイズ検出信号
1602 露光算出手段
16021 露光比信号
1603 比較器
1604 比較器
1605 ノイズしきい値露光比レベルＡ
1606 ノイズしきい値露光比レベルＢ
1607 論理否定手段
1608 論理積手段
1700 ノイズ除去手段
1701 ノイズ改善後の標準露光映像信号
1702 ノイズ改善後の非標準露光映像信号
1703 ディジタルフィルタ
1704 ディジタルフィルタ
1705 セレクタ手段
1706 セレクタ手段
Claims (6)
- 標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段と、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出する露光比キズ検出手段と、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出する黒レベルキズ検出手段とを備えた映像信号処理装置において、前記露光比キズ検出手段のキズ検出結果と前記黒レベルキズ検出手段のキズ検出結果とに基づいて撮像素子のキズ検出を行うキズ検出手段と、撮像素子にキズが検出されたときキズ補正するキズ補正手段とを備えたことを特徴とする映像信号処理装置。
- 前記露光比キズ検出手段は、前記標準露光信号レベルと非標準露光信号レベルのレベル比と所定の第１の閾値とを比較して、撮像素子のキズ検出を行う手段であることを特徴とする請求項１記載の映像信号処理装置。
- 前記黒レベルキズ検出手段は、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均および当該画素の信号レベルの差と所定の第２の閾値に基づいて撮像素子のキズ検出を行う手段であることを特徴とする請求項１記載の映像信号処理装置。
- 標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成する手段と、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出する露光比キズ検出手段と、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出する黒レベルキズ検出手段とを備えた映像信号処理装置において、前記露光比算出手段のキズ検出結果と前記黒レベルキズ検出手段のキズ検出結果に基づいて撮像素子にキズが検出されたとき周辺画素の平均値を用いてキズ補正を行う手段を備えたことを特徴とする映像信号処理装置。
- 標準の露光時間で撮影された標準露光映像信号を生成して、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成して、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成し、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出し、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出し、前記露光比キズの検出結果と前記黒レベルのキズの検出結果とに基づいて撮像素子のキズ検出を行い、撮像素子にキズが検出されたときキズ補正を行うことを特徴とする映像信号処理方法。
- 標準の露光時間で撮影された標準露光映像信号を生成して、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成して、前記標準露光映像信号と前記非標準露光映像信号を用いてダイナミックレンジが拡大された合成映像信号を生成し、前記標準露光信号レベルと非標準露光信号レベルのレベル比から露光比キズを検出し、前記標準露光信号の当該画素に隣接する画素の信号レベルの平均と当該画素の信号レベルの差から黒レベルのキズを検出し、前記露光比算出ステップのキズ検出結果と前記黒レベルキズ検出ステップのキズ検出結果に基づいて撮像素子にキズが検出されたとき周辺画素の平均値を用いてキズ補正を行うことを特徴とする映像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16869699A JP4130275B2 (ja) | 1999-06-15 | 1999-06-15 | 映像信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16869699A JP4130275B2 (ja) | 1999-06-15 | 1999-06-15 | 映像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000358195A JP2000358195A (ja) | 2000-12-26 |
| JP4130275B2 true JP4130275B2 (ja) | 2008-08-06 |
Family
ID=15872779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16869699A Expired - Fee Related JP4130275B2 (ja) | 1999-06-15 | 1999-06-15 | 映像信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4130275B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1732682B (zh) | 2002-12-27 | 2010-04-21 | 株式会社尼康 | 图像处理装置 |
| JP4442272B2 (ja) | 2004-03-22 | 2010-03-31 | 富士ゼロックス株式会社 | 画像読み取り装置、基準部材の異物検知方法 |
| JP6674182B2 (ja) * | 2012-12-04 | 2020-04-01 | ハンファテクウィン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP6730436B2 (ja) * | 2016-08-25 | 2020-07-29 | 株式会社日立国際電気 | 撮像装置及び撮像装置の調整方法 |
| WO2023223983A1 (ja) * | 2022-05-20 | 2023-11-23 | ヌヴォトンテクノロジージャパン株式会社 | 画像処理装置および画像処理方法 |
-
1999
- 1999-06-15 JP JP16869699A patent/JP4130275B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000358195A (ja) | 2000-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20080112644A1 (en) | Imaging device | |
| WO2011042948A1 (ja) | 撮像装置の欠陥検出方法及び撮像装置 | |
| US7206020B2 (en) | Adaptive white defect signal correction method and image-pickup apparatus using the method | |
| CN100431340C (zh) | 固态成像设备 | |
| JP2008085753A (ja) | 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置 | |
| JP2004207896A (ja) | 画素欠陥検出補正装置及び画素欠陥検出補正方法 | |
| WO2003105467A1 (ja) | デジタルスチルカメラ装置、ビデオカメラ装置及び情報端末装置 | |
| US6950133B2 (en) | Method of detecting defective pixels of a solid-state image-pickup device and image-pickup apparatus using the same | |
| JP2005123946A (ja) | 欠陥画素検出方法、検出装置および撮像装置 | |
| JP4679174B2 (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
| JP4130275B2 (ja) | 映像信号処理装置 | |
| JP2007267072A (ja) | 電子カメラ | |
| JP4288954B2 (ja) | 欠陥検出回路及び欠陥検出方法 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP2007158579A (ja) | 撮像装置 | |
| JP2006121165A (ja) | 撮像装置、画像形成方法 | |
| JP2002271806A (ja) | Ｃｃｄ撮像素子の画素欠陥信号補正回路 | |
| JP2011114473A (ja) | 画素欠陥補正装置 | |
| JP4498086B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2010273147A (ja) | 撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路 | |
| JP2002247445A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2010056817A (ja) | 撮像装置 | |
| JP2004015236A (ja) | 撮像装置 | |
| JP2004201207A (ja) | ノイズ低減装置、撮像装置、およびノイズ低減プログラム | |
| JPH0646447A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080521 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |