JP5455798B2

JP5455798B2 - 画像処理装置

Info

Publication number: JP5455798B2
Application number: JP2010131510A
Authority: JP
Inventors: 誠伊勢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-07-16
Filing date: 2010-06-08
Publication date: 2014-03-26
Anticipated expiration: 2030-06-08
Also published as: JP2011041255A; CN101959009B; US20110013855A1; CN101959009A; US8422819B2

Description

本発明は、固体撮像素子を用いて被写体像を撮像する撮像装置におけるノイズ低減技術に関するものである。

近年、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した画像を記録および再生するデジタルカメラ等の撮像装置が盛んに開発され、広く普及してきている。また、そのような撮像装置において静止画や動画の撮影に係る解像度や動作スピードの向上が求められている。そのため、デジタルカメラ等を構成する固体撮像素子を駆動するための駆動信号の周波数や、アナログ信号処理回路、Ａ／Ｄ変換器、後段のデジタル信号処理回路に対する駆動周波数の高速化が急速に進んでいる。

また、様々な撮影シーンにおいて、失敗の少ない撮影が可能な手軽さがより一層求められるようになってきた。そのために、たとえばスポーツシーンなど動きの速い被写体に追従するため、あるいは、低照明下の室内撮影における手ぶれ防止を目的として、シャッター秒時の高速化が進んでいる。そして、美術館や水族館といったストロボ撮影の禁止された場所での撮影などを可能とするために、撮像装置の更なる高感度化が求められている。

ところで、撮像素子の出力には、その構造に起因する縦縞状のノイズとなる列オフセット成分のノイズが存在する。以下、列オフセットと呼ぶ。たとえば、ＣＣＤセンサにおいては垂直転送レジスタの欠陥による縦縞ノイズや、強烈な光が入射した際に発生するスミア現象などが周知である。また、ＣＭＯＳセンサに代表されるＸ−Ｙアドレス型センサは、一般に、行列状に配置された光電変換素子から、選択された各行ごとの信号を、行ごとに共通で列ごとに異なる垂直出力線を介して読み出す構造となっている。そのために、列ごとに異なる素子特性のばらつきによって列オフセットが発生しやすい。
一般的な撮像素子（ＣＭＯＳセンサ）の１画素の読み出し部分に係る基本の回路構成を図１３に示す。図１３において、フォトダイオード９０１は光信号電荷を蓄積し、転送トランジスタ９０２はフォトダイオードに蓄積された光信号電荷をフローティングディフュージョンに転送する。また、リセットトランジスタ９０３はフォトダイオードに蓄積された光信号電荷をリセットし、フローティングディフュージョン９０４は光信号電荷をＦＤ電位に転換する。画素ソースフォロア９０５は列アンプへと繋がる垂直出力線にＦＤ電位を読み出す。この列ごとに設けられた垂直出力線と列アンプとが、列ごとに異なる特性ばらつきをもつことで列オフセットが発生する。

また、その他にも撮像素子の出力にはさまざまなノイズの発生要因がある。フォトダイオードに起因して発生する画素欠陥ノイズやリセットトランジスタに起因して発生するリセットノイズ、画素ソースフォロアに起因して発生する１／ｆノイズおよびＲＴＳノイズなどである。リセットノイズは、リセットトランジスタをオンして所定の基準電圧を与えてオフする際に生じるノイズであり、相関２重サンプリング（ＣＤＳ回路）などの周知の技術により除去できる。１／ｆノイズとＲＴＳノイズは、ともに画素ソースフォロアの界面準位で電子が捕獲、放出される過程で発生するランダムノイズである。１／ｆノイズはパワースペクトル密度が周波数に反比例し、低い周波数でより大きなパワーを持つため、ＣＤＳ回路により大きく低減できるが、ＲＴＳノイズは不特定の時間間隔をもって発生するためにＣＤＳ回路では除去できずに残る。画素欠陥ノイズはフォトダイオードに混入した不純物による暗電流ノイズであり、温度や光信号電荷の蓄積時間に依存して非常に大きなレベルの白点ノイズになりうる。画素欠陥ノイズもＣＤＳ回路では除去できずに残る。

従来では、撮像信号に重畳した上記の列オフセットを検出してキャンセルするために、１水平期間分の画像データを記憶する記憶部を備え、固体撮像素子の垂直方向の光学的黒画素を水平期間積分して記憶する。そして、有効画素データから１水平期間の記憶画像データを減算することで重畳された列オフセットを除去することが、特許文献１で提案されている。

さらに他の従来技術として、固体撮像素子の垂直方向の光学的黒画素から所定の閾値を超える欠陥画素の影響を除去した後に列オフセットを検出することで列オフセットの検出精度を高める方法が、特許文献２で提案されている。

さらには、撮像信号に重畳した列オフセットを検出する方法として、複数水平期間分の画像データを記憶する画像記憶部を備え、固体撮像素子の垂直方向の光学的黒画素を丸々記憶しておいて、ノイズ除去のために２次元フィルタなどの画像処理を施す。これにより、列オフセットの検出精度を高める方法も従来より検討されている。

特開平７−６７０３８号公報特開２００６−２５１４８号公報

以上述べたように、撮像装置の更なる高感度化にともない、より高精度に列オフセットを検出してこれを撮像信号から除去する技術が必須である。しかしながら、上記特許文献１の例では、列オフセットの検出領域に含まれる列オフセット以外のノイズの影響について何ら考慮されていない。また、特許文献の例では、列オフセットの検出領域に含まれる欠陥画素の影響を排除することを提案しているものの、その実現にあたって列オフセットの検出領域に含まれる列オフセット成分とそれ以外のノイズ成分とを高精度に分離するための具体的な回路構成や制御方法が示されていない。信号処理のアルゴリズムも具体化されていない。

また、列オフセットを検出するために、複数水平期間分の画像データを記憶する画像記憶部（ＲＡＭ）をもち、これらの比較的容量の大きなＲＡＭにより２次元ノイズ処理を行う方法は、列オフセットの検出精度を上げる手段としては極めて有効である。しかし、一方でその方法は回路規模を増大させる結果となり、それによるコスト高、消費電力の増大、装置の大型化を招くという欠点がある。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、少ない回路規模で、列オフセットを高精度に除去できるようにすることである。

本発明に係わる画像処理装置は、画素が行列状に配置された撮像素子から読み出された画素信号から、同じ行上の信号に対して、該信号のレベルが第１および第２の閾値により示される範囲を外れた場合に、ノイズを除去するノイズ除去手段と、前記ノイズ除去手段によりノイズが除去された後の信号に対して、同じ列上の信号間で巡回演算を行う巡回演算手段と、前記巡回演算手段による演算結果に基づいて列ごとの列オフセット成分を検出する列オフセット検出手段とを有し、前記列オフセット検出手段は、前記巡回演算手段により巡回演算を行う際に、過去に求めた巡回演算値と現在の画素信号値との差分が第３および第４の閾値により示される範囲を外れた場合に、当該画素信号値による巡回演算を行わずに、過去に求めた巡回演算の結果を用いることにより、列オフセット成分を検出することを特徴とする。

本発明によれば、少ない回路規模で、列オフセットを高精度に除去することが可能となる。

撮像装置の全体構成を示すブロック図である。センサの画素配列の領域説明図である。センサの内部構成図である。センサの読み出しタイミングを示す図である。主要な信号のタイミングチャートである。第１の実施形態における列オフセット検出回路を示す図である。水平ノイズ処理回路の動作説明図である。列オフセットの検出・補正動作の説明図である。第１の実施形態における垂直ノイズ処理の動作説明図である。垂直ノイズ処理の信号のタイミングチャートである。第２の実施形態における列オフセット検出回路を示す図である。第２の実施形態における垂直ノイズ処理の動作説明図である。撮像素子のノイズ説明図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置（画像処理装置）の全体構成を示すブロック図である。また、図２は、撮像素子であるＣＭＯＳセンサの内部の画素が行列状に配置された画素配列を模式的に示した構成図である。

図１に示すように本撮像装置（画像処理装置）は、レンズ１０１、絞り１０２、光を電気信号に変換するＣＭＯＳセンサ１０３を備える。ＣＭＯＳセンサ１０３は、図２に示すように光電変換素子であるフォトダイオードに光が照射される有効画素領域２０３と、アルミ薄膜等により光の照射が数列から数十列に渡って遮られる水平オプティカルブラック（以下ＨＯＢと呼ぶ）領域２０１とを備える。さらに、アルミ薄膜等により光の照射が数ラインから数十ラインに渡って遮られる垂直オプティカルブラック（以下ＶＯＢと呼ぶ）領域２０２も備える。

同期信号発生器（以下ＳＳＧと呼ぶ）１０４は、水平同期信号（以下ＨＤ信号と呼ぶ）及び垂直同期信号（以下ＶＤ信号と呼ぶ）を生成するまた、タイミングジェネレータ（以下ＴＧと呼ぶ）１０５は、ＣＭＯＳセンサ１０３を駆動させる各種制御信号をＨＤ信号及びＶＤ信号に同期して発生させる。Ａ／Ｄ変換器１０６は、アナログの画像信号をデジタル画像信号に変換する。ＯＢクランプ回路１０７は、Ａ／Ｄ変換器１０６のＯＢ期間の出力値を所定の値に固定する。列オフセット検出回路１０８は、ＯＢクランプ回路１０７から出力された画像データ中に含まれる列オフセット成分を垂直ＯＢ画素領域（以下ＶＯＢと呼ぶ）の画像データから抽出する。列オフセット除去回路１１１は、列オフセット検出回路１０８において検出された列オフセットを有効画素領域の画像データから減算する。ウィンドウ回路１０９は、列オフセット検出回路１０８及び列オフセット除去回路１１１を駆動する制御信号を生成する。システムコントローラで１１０は、各回路を制御して動作モードやパラメータを決定する。信号処理回路１１２は、画像データに対して補間処理や色変換処理を行ったり、縮小や拡大などの変倍処理を行い表示デバイスに表示可能な画像データに変換を行ったり、記録デバイスにあわせてＪＰＥＧ画像などに変換を行ったりする。

また、図３は、より詳細にＣＭＯＳセンサ１０３の内部の構成を示した回路図の一例である。図３において、垂直走査回路３００は画素配列から特定の読み出し行を選択し、リセットトランジスタ（以下リセットＴｒと呼ぶ）３０１ａ〜３０１ｃはフォトダイオードに蓄積された光信号電荷をリセットする。転送トランジスタ（以下転送Ｔｒと呼ぶ）３０２ａ〜３０２ｃはフォトダイオードに蓄積された光信号電荷をフローティングディフフュージョンに転送し、フォトダオード（以下、ＰＤ）３０３ａ〜３０３ｃは光電変換素子である。フローティングディフュージョン（以下ＦＤと呼ぶ）３０４ａ〜３０４ｃは、光信号電荷をＦＤ電位に転換する。選択トランジスタ（以下選択Ｔｒと呼ぶ）３０５ａ〜３０５ｃは、特定行を選択して画素ソースフォロアを作動させてＦＤ電位を垂直出力線に読み出す。そして、画素ソースフォロア（以下画素ＳＦと呼ぶ）３０６ａ〜３０６ｃは、ＦＤ電位を垂直出力線２０４ａ〜２０４ｃに読み出すバッファアンプである。

破線枠３０８は、読み出し回路の１画素分の構成単位である。基準電圧Ｖｒｅｆ３０７は列アンプ２０５ａ〜２０５ｃでの信号増幅用の基準として用いられ、サンプルホールド回路（以下Ｓ／Ｈ（Ｎ）と呼ぶ）３０９ａ〜３０９ｃはＮ信号（ノイズ信号）を記憶する。サンプルホールド回路（以下、Ｓ／Ｈ（Ｓ））３１０ａ〜３１０ｃはＳ信号（光信号成分）を記憶する。また、固体撮像素子を制御する信号線として、ｍ行目の行選択線（以下、ＰＳＥＬ＿ｍ）３１１、ｍ行目のリセット信号線（以下、ＰＲＥＳ＿ｍ）３１２、ｍ行目の信号転送線（以下ＰＴＸ＿ｍと呼ぶ）３１３を備える。また、ＰＴＮ３１４はＳ／Ｈ（Ｎ）３０９への読み出し期間を決定する信号、ＰＴＳ３１５はＳ／Ｈ（Ｓ）３１０への読み出し期間を決定する信号である。

トランジスタ３１６ａ〜３１６ｃは、各列のＳ／Ｈ（Ｎ）３０９の出力を水平出力線３２０に選択して読み出すためのものである。同じくトランジスタ３１７ａ〜３１７ｃは、各列のＳ／Ｈ（Ｓ）３１０の出力を水平出力線３２１に選択して読み出すためのものである。水平走査回路３１９は各列のＳ／Ｈ（Ｎ）３０９の出力およびＳ／Ｈ（Ｓ）３１０の出力から特定の読み出し列を選択し、水平走査回路３１９からはｎ〜ｎ＋２列目の選択信号Ｈｎ〜Ｈｎ＋２（３１８ａ〜３１８ｃ）が出力される。差動回路３２３は、水平出力線３２０、３２１からの信号を受けてＣＭＯＳセンサ１０３の出力ＶＯＵＴとして差動出力を行う。

なお、１画素分の構成単位に４つのトランジスタを持つ構成に関して例示したが、２種類以上のリセット電圧を用い、画素ＳＦを不活性化・活性化させる方式を用いることで、選択Ｔｒ３０５を削除することもできる。また、ＦＤおよびＳＦを複数のＰＤで共有する構造であっても良い。

次に図３に記載した主な制御信号線のタイミング動作について図４を用いて説明する。撮影動作が開始されてＰＤ３０３に光が入射されると、光信号電荷が発生し蓄積を開始する。垂直走査回路３００により順次に各行の走査が行われていき、ｍ行目の走査に至るとＰＲＥＳ＿ｍ（３１２）がハイレベルになり、ＦＤ３０４の信号がリセットされる。次にＰＳＥＬ＿ｍ（３１１）がハイレベルになり、リセットノイズを含むリセットレベルが画素ＳＦ３０６を通して垂直出力線２０４へ読み出される。そして、垂直出力線２０４に読み出されたリセットレベルと基準電圧Ｖｒｅｆ３０７との差分が列アンプ２０５にて増幅されて出力される。そして、この出力されたＮ信号を、ＰＴＮ３１４がハイレベルの期間（以下、Ｎ読み期間）でＳ／Ｈ（Ｎ）３０９に記憶される。その後、ＰＴＸ＿ｍ３１３をハイレベルにして、ＰＤ３０３において発生した電荷を、ＦＤ３０４に読み出す。Ｎ信号と同様にして、画素ＳＦ３０６、垂直出力線２０４、列アンプ２０５を通過した後に出力されるＳ信号は、ＰＴＳ３１５がハイレベルの期間（以下、Ｓ読み期間）にＳ／Ｈ（Ｓ）３１０に記憶される。

このようにして読み出されＳ／Ｈ（Ｎ）３０９に記憶された各列のｍ行目のＮ信号は、水平走査回路３１９の出力信号３１８により制御される選択トランジスタ３１６を介して、水平出力線３２０に列ごとに順次読み出される。全く同様にして、読み出されＳ／Ｈ（Ｓ）３１０に記憶された各列のｍ行目のＳ信号は、水平走査回路３１９の出力信号３１８により制御される選択トランジスタ３１７を介して、水平出力線３２１に列ごとに順次読み出される。列ごとに並列に読み出されたｍ行目のＮ信号とＳ信号とは、差動信号としてそれぞれ差動回路３２３に入力されて、その差動出力がＣＭＯＳセンサ１０３のセンサ出力ＶＯＵＴとなる。

Ｓ信号は、Ｎ信号にＰＤで発生した光信号電荷による信号が加わったものである。これによりＳ信号とＮ信号との差動動作を行うことでＣＤＳ動作が行われる。そして、ＣＭＯＳセンサ１０３のセンサ出力ＶＯＵＴからは、撮像素子に起因するリセットノイズや１／ｆノイズが除去されて、撮像信号は、列オフセットに加えて画素欠陥ノイズとＲＴＳノイズとが重畳された態様で出力される。

次に、図１に示した全体構成を備える、本実施形態の撮像装置の動作について説明する。図５は、撮像装置の動作における主要な各部のタイミング信号およびこれらのタイミング信号に同期して出力されたセンサ出力の態様を示した説明図である。

ＴＧ１０５は、ＳＳＧ１０４において生成されるＨＤ信号及びＶＤ信号からＣＭＯＳセンサ１０３を駆動する各種制御信号を生成する。ＣＭＯＳセンサ１０３は、ＴＧ１０５による制御信号のタイミングで、レンズ１０１及び絞り１０２を通過した光信号を電気信号へと変換する。ＣＭＯＳセンサ１０３から読み出されたアナログ画像信号は、Ａ／Ｄ変換器１０６においてアナログ信号からデジタルの画像データに変換されて、ＯＢクランプ回路１０７を介してＯＢ期間を所定のレベルに固定される。その後に、列オフセット検出回路１０８及び列オフセット除去回路１１１へ出力される。

ウィンドウ回路１０９は、ＨＤ信号及びＶＤ信号を参照して、列オフセット検出回路１０８にＶＯＢ領域における列オフセットの垂直検出期間（垂直検出領域）を指示する垂直検出ウィンドウ信号（ＶＷＤＥＴ）と水平検出期間（水平検出領域）を指示する水平検出ウィンドウ信号（ＨＷＩＮ）を供給する。また、巡回演算の回数をカウントするためのカウンタパルス信号（ＣＣＬＫ）を供給する。
また、ウィンドウ回路１０９は、列オフセット除去回路１１１に有効画素領域における垂直の列オフセット補正期間を指示する垂直補正期間信号（ＶＷＣＯＬ）と水平の列オフセット補正期間を指示する水平補正期間信号（ＨＷＩＮ）を供給する。なお、水平補正期間信号として供給される信号ＨＷＩＮは、水平検出ウィンドウ信号と同一の信号である。列オフセット検出回路１０８は、ウィンドウ回路１０９から供給された垂直／水平検出ウィンドウ信号（ＶＷＤＥＴ／ＨＷＩＮ）に従って列オフセットデータを算出する。また、列オフセット除去回路１１１は、ウィンドウ回路１０９から供給された垂直／水平補正期間信号（ＶＷＣＯＬ／ＨＷＩＮ）に従って、有効画素信号から列オフセットデータを減算することにより列オフセットを除去する。列オフセット除去回路１１１から出力された画像データは、信号処理回路１１２において信号処理されて、表示デバイスや記録デバイスに適合する画像データへと変換される。

ＴＧ１０５は、同期信号であるＨＤ信号、ＶＤ信号の他に、ＣＭＯＳセンサ１０３から１画素ごとに信号を読み出すクロック信号（ＨＣＬＫ信号）をＣＭＯＳセンサ１０３に供給している。ＨＣＬＫ信号は、ＣＭＯＳセンサ１０３内部の構成要素であるＨＯＢ、ＶＯＢ、有効画素の各領域の画素信号を読み出すためにセンサ出力を１画素サイクル単位で制御し、読み出し禁止期間にセンサ出力を停止する読み出し制御信号である。さらに、ＴＧ１０５は、センサ出力の黒の基準となる画素信号をＶＯＢ、ＨＯＢの各領域から抽出するための制御信号（ＣＬＰＯＢ信号）をＯＢクランプ回路１０７に供給している。そして、ＯＢクランプ回路１０７において有効画素領域の信号からＨＯＢおよびＶＯＢの画素信号が減算されることで、黒レベル変動のない安定したセンサ出力を得ることができる。ＰＢＬＫ信号のタイミングは、１水平期間中のセンサ出力が読み出しを停止しているブランキング期間（Ｔｂｌｋ）を示している。

また、ＣＭＯＳセンサ１０３は、Ｘ−Ｙアドレス型の読み出し構造に起因して、読み出し時の列ごとに異なる素子特性のばらつきによる画素信号値の列オフセットが発生しやすい。そのため、列オフセットは、ＶＯＢ、ＨＯＢ、有効画素部の各領域の読み出し経路を共通にもつ同じ列上に等しく発生する性質がある。また、ＣＭＯＳセンサの出力には、列オフセットの他にも、画素欠陥ノイズやＲＴＳノイズが重畳しており、さらにはセンサ後段のアナログ回路やＡＤ変換時の量子化ノイズ等のランダムノイズが重畳される。図５におけるセンサ出力（ＶＯＢ）とセンサ出力（有効画素部）の波形は、これらに重畳する列オフセットとその他のノイズの態様を模式的に示したものである。

本実施形態の要旨は、列オフセットとその他のノイズが重畳した上記態様にあるＶＯＢ領域のセンサ出力から不要なノイズ成分を排除して、列オフセットのみを高精度に検出する点にある。図６は、それを実現するための列オフセット検出回路１０８の詳細な回路構成図である。

まず、図６の構成について説明する。列オフセット検出回路１０８には、撮像入力信号５００が入力される。Ｄフリップフロップ（以下ＤＦＦ）５０１，５０２，５０３，５０４の各出力は直列に接続されており、画素クロックで駆動される４段のシフトレジスタを構成している。ＤＦＦ５０１がシフトレジスタの１段目、ＤＦＦ５０２が２段目、ＤＦＦ５０３が３段目、ＤＦＦ５０４が４段目である。メディアンフィルタ５０５は５入力のメディアンフィルタであり、撮像入力信号５００とＤＦＦ５０１〜５０４の各出力がそれぞれ入力される。２入力信号の差分レベル判定回路５０６の正入力ａにはＤＦＦ５０２の出力が接続されており、差分レベル判定回路５０６の負入力ｂにはメディアンフィルタ５０５のメディアン出力が接続される。

レジスタ５０７には、所定レベル範囲を決めるための閾値Ｔｈ１，Ｔｈ２（第１および第２の閾値）が設定されている。閾値Ｔｈ１，Ｔｈ２は、差分レベル判定回路５０６の判定基準値として使用される。差分レベル判定回路５０６の判定出力（Ｈ／Ｌ）は、セレクタ５０８の切り換え制御端子に接続されている。セレクタ５０８の入力にはＤＦＦ５０２の出力とメディアンフィルタ５０５の出力が接続される。破線枠内のＤＦＦ５０１〜５０４，メディアンフィルタ５０５，差分レベル判定回路５０６，レジスタ５０７，セレクタ５０８により水平ノイズ処理回路５１３（ノイズ除去部）が構成される。

セレクタ５０８の出力５１４は、水平ノイズ処理回路５１３の出力信号として、乗算器（係数Ｋ）５１５に入力されるとともに、差分レベル判定回路５２１の負入力ｂに入力される。乗算器（係数Ｋ）５１５の出力と乗算器５１７（係数１−Ｋ）の出力は、それぞれ加算器５１６に入力され、お互いに加算される。加算器５１６の出力はセレクタ５２０の一方に入力され、セレクタ５２０の出力はラインメモリ５１８に入力される。

ラインメモリ５１８の出力は乗算器５１７に入力されるとともに、セレクタ５２０の他方と、差分レベル判定回路５２１の正入力ａに入力される。さらに、ラインメモリ５１８の出力は列オフセット検出回路１０８の検出出力５２６となる。

レジスタ５２３には、所定レベル範囲を決めるための閾値Ｔｈ３，Ｔｈ４（第３および第４の閾値）が設定されている。閾値Ｔｈ３，Ｔｈ４は、差分レベル判定回路５２１の判定基準値として使用される。差分レベル判定回路５２１の判定出力（Ｈ／Ｌ）は、ＡＮＤゲート回路５２２の一方に入力される。ＡＮＤゲート回路５２２の他方には、カウンタ５１９のキャリー出力ＣＯＵＴが接続されて、両者のＡＮＤゲート出力がセレクタ５２０の切り換え制御端子に接続される。破線枠内のセレクタ５２０，差分レベル判定回路５２１，ＡＮＤゲート５２２，レジスタ５２３により垂直ノイズ処理回路５２４が構成される。

レジスタ５２５にはカウンタ設定値（目標値）が設定され、カウンタ５１９のキャリー出力（ＣＯＵＴ）の基準値として使用される。カウンタ５１９には、カウンタをゼロリセットするカウンタリセット信号（ＣＲＥＳ）およびカウンタ計数用のカウンタパルス（ＣＣＬＫ）が、ＴＧ１０５から供給される。

次に、図６の動作の詳細について説明する。列オフセット検出回路１０８に入力された撮像信号５００は、まず、水平ノイズ処理回路５１３に入力されて、水平データ間でのレベル判定によるノイズ除去の処理が行われる。

図７は水平ノイズ処理のアルゴリズムを説明した図である。ＤＦＦ５０１〜５０４により構成されたシフトレジスタで、水平方向の同じ行上の５画素分のデータ（Ｐ_n-2, Ｐ_n-1, Ｐ_n, Ｐ_n+1, Ｐ_n+2）を並列に抽出してメディアンフィルタ５０５にかける。メディアンフィルタ５０５では、入力された５つのデータの順位付けが行なわれて中央値Ｍｄを差分レベル判定回路５０６に出力する。差分レベル判定回路５０６は、画素データＰ_nと、この画素データＰ_nを含む左右２画素の計５画素データの中央値Ｍｄとの差分データ（Ｐ_n−Ｍｄ）を算出し、算出した差分データ（Ｐ_n−Ｍｄ）のレベルを閾値Ｔｈ１〜Ｔｈ２で決まる範囲と比較する。差分データのレベルが閾値Ｔｈ１〜Ｔｈ２の範囲を超えている場合には差分レベル判定回路５０６の出力がＨｉｇｈレベルになり、セレクタ５０８は中央値Ｍｄを選択する。すなわち、画素データＰ_nはノイズとして排除される。差分データのレベルが閾値Ｔｈ１〜Ｔｈ２の範囲内にある場合には差分レベル判定回路５０６の出力がＬｏｗレベルになり、セレクタ５０８は画素データＰ_nを選択する。水平ノイズ処理回路５１３では、垂直検出ウィンドウ信号（ＶＷＤＥＴ）と水平検出ウィンドウ信号（ＨＷＩＮ）で定められた列オフセット検出期間（検出領域）内で、これらの動作が水平画素毎に順次行われる。

ここで、閾値Ｔｈ１〜Ｔｈ２で示される設定範囲を狭めればその分だけ小さいレベルのノイズまで除去できる。しかし、水平データ間には列オフセットによる変動分も含まれており、列オフセットをノイズとして排除しないために、想定される列オフセットの最大値を閾値Ｔｈ１〜Ｔｈ２で示される設定範囲の下限とするのが望ましい。

水平ノイズ処理を経た後の出力５１４（Ｘ_n）は、乗算器５１５、加算器５１６、乗算器５１７、ラインメモリ５１８とで構成される巡回積分回路に入力されて、垂直データ間（信号間）の巡回演算（式（１））が行われる。ラインメモリ５１８には巡回演算値（Ｙ_n）が逐次、更新される。

Ｋ：巡回係数
Ｙ_n←Ｋ・Ｘ_n＋（１−Ｋ）・Ｙ_n−１（１）
ラインメモリ５１８は、水平検出ウィンドウ信号（ＨＷＩＮ）で示される１水平データ分の画素データを保持できる。巡回積分回路では、垂直検出ウィンドウ信号（ＶＷＤＥＴ）と水平検出ウィンドウ信号（ＨＷＩＮ）で定められた列オフセット検出期間（検出領域）内で、これらの動作が水平画素毎に順次行われる。垂直検出ウィンドウ信号（ＶＷＤＥＴ）内に複数回数の巡回演算を経た後にラインメモリ５１８に保持された巡回演算値が、検出された列オフセットデータとなる。そして、垂直補正期間信号（ＶＷＣＯＬ）内に列オフセット除去回路１１１に読み出されて列オフセットの除去が行われる。

図８は、動画時に、連続して読み出された各画像から列オフセットを検出して補正していく流れを説明した図である。最初に、巡回演算の初期値０で第１フィールドのＶＯＢ領域から列オフセットが検出されて、その結果が有効画素領域の画素データから減算されることで有効画素領域の画像から列オフセットが除去される。

次の第２フィールドでは、第１フィールドの列オフセットデータを過去の巡回演算値（巡回演算の演算結果）として引き継いで、第２フィールドのＶＯＢ領域から列オフセットが検出される。そして、検出された列オフセットが有効画素領域の画素データから減算される。これにより、有効画素領域の画像から列オフセットが除去される。

次の第３フィールドでは、第２フィールドの列オフセットデータを巡回演算値としてさらに引き継いで、第３フィールドのＶＯＢ領域から列オフセットが検出される。そして、検出された列オフセットが有効画素領域の画素データから減算される。これにより、有効画素領域の画像から列オフセットが除去される。そして、この処理が後続のフィールドで逐次繰り返される。上記の処理過程で、巡回演算値は、初期値０から次第に本来の列オフセットに収束していく。

図９は、巡回演算値の収束の様子を示した図である。式（１）に示した巡回演算式の場合、たとえば、巡回係数Ｋが（１／６４）であれば、１回の巡回演算で入力データＸ_nの（１／６４）が巡回演算値として加重平均される。そのため、これを１２８回繰り返せば、ほぼ収束させることができる。図８の例では１フィールドのＶＯＢの検出ライン数が１６ラインの設定であり、１フィールドあたり１６回の巡回演算ができるので、最初の８フィールドで巡回演算を収束させて正しい列オフセットを検出することが可能である。しかし実際には、列オフセットの検出領域であるＶＯＢの出力信号には画素欠陥ノイズやＲＴＳノイズが重畳しており、これらのノイズの影響によって巡回演算値に誤差が発生する。

想定される列オフセットの最大値よりレベルの大きな画素欠陥ノイズやＲＴＳノイズは、巡回演算回路の前段に設けられた水平ノイズ処理によって除去することができる。したがって、想定される列オフセットの最大値により巡回演算値の誤差幅が決定される。しかしながら、通常、想定される列オフセットの最大値は撮像素子の出力で数ｍＶ〜数１０ｍＶ程度が見込まれており、これらに巡回係数Ｋを乗じたものが巡回演算値のおおよその誤差幅となる。ノイズの影響による誤差幅を小さくするためには巡回係数Ｋを小さくすれば良いが、巡回係数Ｋを小さくすると巡回演算値の収束時間もそれに比例して長くなる。許容できる収束時間を満足する巡回係数Ｋは、現状１／６４程度であり、このときの巡回演算値の誤差幅は、特に高ゲイン時には縦筋ノイズの発生要因になりうる。

そこで、垂直ノイズ処理回路５２４において、カウンタ５１９のキャリー出力（ＣＯＵＴ）がＨｉｇｈレベルにある場合に、差分レベル判定回路５２１は、巡回積分回路への現在の入力データ（Ｘ_n）と１回前の巡回演算値であるラインメモリ５１８の出力データ（Ｙ_n-1）との差分データ（（Ｙ_n-1）−Ｘ_n）を算出し、算出した差分データ（（Ｙ_n-1）−Ｘ_n）のレベルを閾値Ｔｈ３〜Ｔｈ４で決まる範囲と比較する。差分データのレベルが閾値Ｔｈ３〜Ｔｈ４の範囲を超えている場合には差分レベル判定回路５２１の出力がＨｉｇｈレベルになり、セレクタ５２０は通常の巡回演算値でなく、１回前の巡回演算値（Ｙ_n-1）を選択する。

垂直ノイズ判定時：Ｙ_n ← Ｙ_n−１ …（２）
すなわち、入力データＸｎはノイズとして排除される。差分データのレベルが閾値Ｔｈ３〜Ｔｈ４の範囲内にある場合には差分レベル判定回路５２１の出力がＬｏｗレベルになり、セレクタ５２０は入力データＸ_nを使用した巡回演算値（式（１）の演算値）を選択する。同じ列上の差分データ（（Ｙ_n-1）−Ｘ_n）には基本的に列オフセットは含まれない。したがって、垂直ノイズ処理回路５２４においては水平ノイズ処理回路５１３の場合と異なり、想定される列オフセットの最大値に制約されずに、閾値Ｔｈ３〜Ｔｈ４で設定されるノイズ除去範囲をより小さな値にできる。

次に、カウンタ５１９の働きについて説明する。垂直ノイズ処理回路５２４のノイズ除去動作は、通常の巡回演算値を１回前の巡回演算値（Ｙ_n-1）で置換することであり、巡回演算の休止動作と等価である。したがって、巡回演算の収束時の変動が大きな領域において垂直ノイズ処理を動作させた場合には、収束時の変動をノイズと判定して巡回動作が収束しない可能性がある。そのために、カウンタ５１９は巡回演算（検出動作）の開始後の収束時の変動が小さい領域に限定して（収束時の変動が大きい領域を垂直ノイズ処理の停止期間として）垂直ノイズ処理をおこなうためのタイミング調整を行う。

図９に例示したように、巡回係数が（１／６４）の場合には、巡回演算の回数が１２８回を経過した後に垂直ノイズ処理動作の実行が許可されるように、レベル判定回路５２１の出力をカウンタ５１９のキャリー出力（ＣＯＵＴ）でゲートする。

図１０に、カウンタ５１９に供給されるカウンタリセット信号（ＣＲＥＳ）とカウンタ計数用のカウンタパルス（ＣＣＬＫ）とキャリー出力（ＣＯＵＴ）のタイミングを示す。カウンタ５１９にはレジスタ５２５のカウンタ設定値（目標値）として１２８が設定されており、カウンタリセット（ＣＲＥＳ）の立下りでカウンタ値はゼロにリセットされて、キャリー出力（ＣＯＵＴ）はＬｏｗレベルにクリアされる。

垂直検出ウィンドウ信号（ＶＷＤＥＴ）がＨｉｇｈになっている期間内に、水平同期信号ＨＤに連動するパルスが供給されており、パルスの立下りでカウンタの計数が行われる。カウンタの計数値がカウンタ基準値（１２８）に到達した時点で、キャリー出力（ＣＯＵＴ）はＨｉｇｈレベルに切り替わる。

（第２の実施形態）
第１の実施形態で示した垂直ノイズ処理は、巡回演算時の変化量に着目して、ノイズ検出を行うものである。したがって、巡回演算の収束時の変動が大きい領域では使用できない。これを回避するために、第１の実施形態では巡回演算の開始時点から所定の演算回数だけ、垂直ノイズ処理を禁止した。

これに対して、列オフセットのとり得るレベル、すなわち収束後の巡回演算値は、撮像素子の特性から想定される所定の範囲内に限定される。そこで、第２の実施形態では、巡回演算値の絶対レベルに着目して垂直ノイズ処理を禁止する期間を設けるようにしたものである。

図１１は、そのための列オフセット検出回路１０８の詳細な回路構成図である。第１の実施形態で示した図６の回路構成図との違いは、カウンタ５１９周辺の僅かな部分であるので、ここではその異なる部分の構成および動作についてのみ説明する。

まず、構成としては新たに、レベル判定回路５５０が追加されており、レベル判定回路５５０の出力がカウンタ５１９のカウンタリセット信号（ＣＲＥＳ）として接続される点が第１の実施形態と異なる。また、レベル判定回路５５０にはラインメモリ５１８の出力データ（Ｙ_n-1）が入力される。レジスタ５５１には、所定レベル範囲を決めるための閾値Ｔｈ５，Ｔｈ６が設定されている。閾値Ｔｈ５，Ｔｈ６（第５および第６の閾値）は、レベル判定回路５５０の判定基準値として使用される。

図１２は、巡回演算値の収束の様子とカウンタ５１９の状態を示した図である。図１１および図１２をもとに、カウンタ５１９の動作について説明する。巡回係数Ｋが１／６４であれば、巡回演算値は初期値０から巡回演算を開始して１２８回の巡回演算までの間で第１の実施形態と同様の収束特性を示す。レジスタ５５１には想定される列オフセット（検出値）の最大値がとり得る範囲が閾値Ｔｈ５，Ｔｈ６で設定されており、巡回演算が開始されてラインメモリ５１８の出力データ（Ｙ_n-1）がこの範囲に入ったところで、レベル判定回路５５０の出力はＨｉｇｈレベルからＬｏｗレベルに切り替わる。

レベル判定回路５５０の出力がカウンタリセット信号（ＣＲＥＳ）としてカウンタ５１９に接続されているため、ＨｉｇｈレベルからＬｏｗレベルに切り替わる立下りでカウンタ５１９のカウンタ値はゼロにリセットされて、キャリー出力（ＣＯＵＴ）はＬｏｗレベルにクリアされる。垂直検出ウィンドウ信号（ＶＷＤＥＴ）がＨｉｇｈになっている期間内に、水平同期信号ＨＤに連動するパルスが供給されており、パルスの立下りでカウンタの計数が行われる。カウンタの計数値がカウンタ基準値（１２８）に到達した時点で、キャリー出力（ＣＯＵＴ）がＨｉｇｈレベルに切り替わるとともに、垂直ノイズ処理の禁止が解除される。言い換えれば、巡回演算値が所定の範囲に入るまでの行数の間は、垂直ノイズ処理を禁止する。

このように、第２の実施形態では、巡回演算値の絶対レベルに着目して垂直ノイズ処理を禁止する期間を設けるようにした。そのため、巡回係数の変更やノイズの影響により巡回演算値が変化した場合でも、これらの変化に垂直ノイズ処理の禁止期間を柔軟に対応させて誤動作を防止できる。

Claims

画素が行列状に配置された撮像素子から読み出された画素信号から、同じ行上の信号に対して、該信号のレベルが第１および第２の閾値により示される範囲を外れた場合に、ノイズを除去するノイズ除去手段と、
前記ノイズ除去手段によりノイズが除去された後の信号に対して、同じ列上の信号間で巡回演算を行う巡回演算手段と、
前記巡回演算手段による演算結果に基づいて列ごとの列オフセット成分を検出する列オフセット検出手段とを有し、
前記列オフセット検出手段は、前記巡回演算手段により巡回演算を行う際に、過去に求めた巡回演算値と現在の画素信号値との差分が第３および第４の閾値により示される範囲を外れた場合に、当該画素信号値による巡回演算を行わずに、過去に求めた巡回演算の結果を用いることにより、列オフセット成分を検出することを特徴とする画像処理装置。
前記第３および第４の閾値により示される範囲は、前記第１および第２の閾値により示される範囲よりも狭い範囲であることを特徴とする請求項１に記載の画像処理装置。
前記列オフセット検出手段は、前記列オフセット検出手段の検出動作の開始後に、過去に求めた巡回演算値と現在の画素信号値との差分と前記第３および第４の閾値により示される範囲とを比較する動作を所定の期間だけ行わないことを特徴とする請求項１に記載の画像処理装置。