JP4883772B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、静止画像や動画像を撮像する撮像装置等に適用される画像処理装置に関し、特に撮像した映像信号に重畳するビートノイズの除去を可能とした画像処理装置に関する。

近年、デジタルカメラ、携帯電話等に用いられるＣＣＤなどの固体撮像素子は、小型化及び高画素化が進み、固体撮像素子を駆動させる撮像回路の駆動周波数が高くなってきている。また、撮像装置には固体撮像素子の駆動回路以外に、ＣＰＵなどの制御システム回路、ＤＲＡＭなどのメモリ回路及びＬＣＤ等の表示回路を有する。これらの回路のそれぞれが異なる高い周波数のクロック信号で動作している。このような複数の異なる周波数のクロック信号が存在する撮像装置において、装置の小型化により基板面積が小さくなり、各回路間のクロック干渉が無視できない問題となっている。例えば、クロック信号水平期間間の干渉、クロック信号水平期間と電源配線パターンの干渉、クロック信号水平期間とアナログ信号の干渉等が挙げられる。これらのクロック干渉が起こると、干渉したクロック周波数のノイズが撮像した映像信号に重畳してしまい、得られる画像データの品位が劣化する問題がある。

従来技術においては、映像信号に重畳したノイズを抽出してキャンセルするために、１水平期間分の画像データを記憶する記憶部を備え、固体撮像素子の垂直方向の光学的黒画素を水平期間積分して記憶部に記憶する。そして、有効画素データから１水平期間の記憶画像データを減算することで重畳されたノイズを除去することが、例えば特許文献１で提案されている。

他の従来技術においては、例えば特許文献２において、ビートノイズ信号をキャンセルする技術が提案されている。ここでは、２種類のクロックにより形成されるビートノイズ信号の１周期に相当する画素数分の複数チャンネルを有し、キャプチャ中の光学的黒領域における各画素の信号を順次複数チャンネルごとに積分するマルチチャンネルクランプ回路を設けている。そしてこの積分値を入力画像データから減算することでビートノイズ信号を取り除く方法が用いられている。
特開平７−６７０３８号公報 特開２００２−１５２６００号公報

しかしながら、上記特許文献１の従来例では、複数水平期間の画像データを１水平期間分の信号として積分するため、垂直方向に発生したノイズしか抽出できず、斜め方向に発生したノイズには対応できない。

また、特許文献２において、ビートノイズ信号の周期が画素データの整数倍でない場合についての処理方法については考慮されておらず、特許文献２で提案された内容で対応するには不十分である。実際には、ビートノイズ信号の周期や初期位相の値は、画素データの有理数倍の値である場合もある。さらに、特許文献２で提案された発明では、ビートノイズ信号の周期が予め判明していないとビートノイズ信号を取り除くことができない。さらに、この従来技術の提案では、固体撮像素子からの画像データに対して１画素ずつノイズを除去する構成である。しかしながら、多フィールド読み出しの固体撮像素子で撮影されメモリ上でフレーム化された画像データに対してはビートノイズ信号の除去を行うことが出来ない。

本発明は、ビートノイズの周期や初期位相の値が画素の整数倍以外である場合において、画像信号に含まれるビートノイズ成分を精度良く抽出し、画像信号からビートノイズ成分を除去することを目的とする。本発明の他の目的は、ビートノイズの周期が不明な場合においても補正を可能にすることを目的とする。

上記の目的を達成するため、撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する本発明の画像処理装置は、
前記ビートノイズ成分の周期を取得する取得手段と、
前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け手段と、
前記複数の積分手段における積分結果を１画素当たりの信号レベルにそれぞれ正規化する第１の演算手段と、
前記第１の演算手段にて正規化された前記複数の積分手段における積分結果から、前記第１の演算手段にて正規化された前記複数の積分手段における積分結果のうちの最小値を減算することで、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める第２の演算手段と、
前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記第２の演算手段にて求めた前記複数のノイズデータを順次繰り返し選択する選択手段と、
前記撮像素子の有効画素領域から得られる各画素データから、前記選択手段にて選択された前記ノイズデータを減算する補正手段と、を備える。

上記の目的を達成するため、更に別の構成によれば、撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する本発明の画像処理装置は、
前記ビートノイズ成分の周期を取得する取得手段と、
前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け手段と、
前記複数の積分手段における積分結果から、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める演算手段と、
前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記演算手段にて求めた前記複数のノイズデータを順次繰り返し選択する選択手段と、
前記撮像素子の有効画素領域から得られる各画素データから、前記選択手段にて選択された前記ノイズデータを減算する補正手段と、を備え、
前記演算手段は、前記画素データの位相と前記複数のノイズデータにより示されるビートノイズ成分の位相のずれに応じて、前記複数の積分手段における積分結果のうち、連続して振り分けられた積分手段の積分結果を重み付けして混合することで、前記複数のノイズデータを求める。

また、撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する本発明の画像処理方法は、
前記ビートノイズ成分の周期を取得する取得工程と、
前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け工程と、
前記複数の積分手段における積分結果を１画素当たりの信号レベルにそれぞれ正規化する第１の演算工程と、
前記第１の演算工程において正規化された前記複数の積分手段における積分結果から、前記第１の演算工程において正規化された前記複数の積分手段における積分結果のうちの最小値を減算することで、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める第２の演算工程と、
前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記第２の演算工程において求めた前記複数のノイズデータを順次繰り返し選択する選択工程と、
前記撮像素子の有効画素領域から得られる各画素データから、前記選択工程において選択された前記ノイズデータを減算する補正工程と、を備える。

更に、撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する本発明の画像処理方法は、
前記ビートノイズ成分の周期を取得する取得工程と、
前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け工程と、
前記複数の積分手段における積分結果から、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める演算工程と、
前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記演算工程において求めた前記複数のノイズデータを順次繰り返し選択する選択工程と、
前記撮像素子の有効画素領域から得られる各画素データから、前記選択工程において選択された前記ノイズデータを減算する補正工程と、を備え、
前記演算工程において、前記画素データの位相と前記複数のノイズデータにより示されるビートノイズ成分の位相のずれに応じて、前記複数の積分手段における積分結果のうち連続して振り分けられた積分手段の積分結果を重み付けして混合することで、前記複数のノイズデータを求める。

本発明によれば、垂直方向以外に斜め方向に発生するビートノイズも除去することが可能となる。また、画素クロックの整数倍以外の周期であるビートノイズも補正することが可能である。

＜実施形態１＞
図１は、本発明の実施形態１に係る撮像装置の機能を示す機能ブロック図である。実施形態１に係る撮像装置は、ビートノイズ信号の周期が画素データの周期の整数倍であり、撮像しながらビートノイズ信号の除去を行うことが可能に構成されている。

図１において、１０１は撮像レンズ、１０２は絞り機構、１０３は光信号を光電変換する半導体の撮像素子である。撮像素子１０３は、ＣＣＤ撮像素子やＭＯＳ撮像素子等、半導体技術による固体撮像素子が使用可能である。また、１０４は、固定値の周期である水平同期信号ＨＤ（以下ＨＤ信号）及び垂直同期信号ＶＤ（以下ＶＤ信号）を生成する同期信号発生器（以下ＳＳＧという）である。又１０５は、ＨＤ信号及びＶＤ信号に同期した信号であって、撮像素子１０３を駆動させる各種の制御信号を生成するタイミングジェネレータ（以下ＴＧという）である。

さらに、１０６は、アナログの画像信号をデジタルの画像データに変換するＡ／Ｄ変換回路である。さらに１０７はＡ／Ｄ変換回路１０６から出力された画像データに含まれるビートノイズ成分の１周期分のノイズデータを光学的黒画素データより算出するビートノイズ検出回路である。また、１０８は、ビートノイズ検出回路１０７において算出されたビートノイズ１周期分のノイズデータを有効画像データから減算するビートノイズ除去回路である。

さらに、１０９は、ビートノイズ検出回路１０７及びビートノイズ除去回路１０８を駆動する制御信号を生成するウィンドウ回路である。また１１０は、各回路のモードやパラメータを決定するシステムコントローラ、１１１は、画像データに対し、補間処理や色変換処理などの画像処理を行う信号処理回路である。

さらに、１１３は、信号処理された画像データを一時記憶するＤＲＡＭ、１１２は、ＤＲＡＭ１１３と各回路のバスアービトレーションを行うメモリ制御回路、１１４は、画像データの縮小や拡大を行う変倍回路である。また、１１６は、画像データを表示する表示デバイスであるＬＣＤ、１１５は、ＬＣＤ１１６で画像データを表示するための表示制御回路である。

さらに、１１７は、画像データをＪＰＥＧ圧縮方式などの圧縮方式で圧縮及び／又は伸長するための圧縮伸長回路である。また、１１９は、圧縮伸長回路１１７で圧縮された画像データを記録する脱着可能なメモリカード、１１８は、メモリカード１１９とのインターフェースを行うＩ／Ｆ回路である。

次に、図１に示した構成を備える、本発明の実施形態１に係る撮像装置の撮像動作について説明する。ＴＧ１０５は、ＳＳＧ１０４において生成されるＨＤ信号及びＶＤ信号から撮像素子１０３を駆動する制御信号を生成する。撮像素子１０３は、ＴＧ１０５による制御信号のタイミングで、レンズ１０１及び絞り１０２を通過した光信号を電気信号へと変換する。撮像素子１０３において読み込まれたアナログの画像信号は、Ａ／Ｄ変換回路１０６においてアナログの画像信号からデジタルの画像データに変換されてビートノイズ検出回路１０７及びビートノイズ除去回路１０８へ出力される。

ウィンドウ回路１０９は、ＨＤ信号およびＶＤ信号を参照し、ビートノイズ検出回路１０７へイネーブル信号ＩＮＴＧ＿ＯＮ、セレクト信号ＩＮＴＧ＿ＳＥＬ、リセット信号ＩＮＴＧ＿ＣＬＲを供給する。さらに、ビートノイズ除去回路１０８へイネーブル信号ＲＥＭＶ＿ＯＮ及びリセット信号ＩＮＴＧ＿ＯＮを供給する。

また、ビートノイズ検出回路１０７は、ウィンドウ回路１０９から供給された制御信号に従ってビートノイズの１周期当たりの画素数のノイズデータを求める。そしてビートノイズ除去回路１０８において、画像データからビートノイズ検出回路１０７により求められたノイズデータを減算してビートノイズ成分を除去する。

ビートノイズ除去回路１０８から出力される、ビートノイズ成分が除去された画像データは、信号処理回路１１１において信号処理され、メモリ制御回路１１２を介してＤＲＡＭ１１３へ格納される。

また変倍回路１１４は、ＤＲＡＭ１１３に格納されている画像データを読み出し、ＬＣＤ１１６に表示させるため７２０×４８０画素程度のサイズに変倍処理をして、表示制御回路１１５を介して画像データをＬＣＤ１１６に表示する。また、圧縮伸長回路１１７においては、ＤＲＡＭ１１３から読み出した画像データを圧縮処理し、圧縮処理された圧縮画像データをＤＲＡＭ１１３に書き込む。さらにＩ／Ｆ回路１１８においては、ＤＲＡＭ１１３から読み出した圧縮画像データをメモリカード１１９へ書き込む。

図２は、例えばビートノイズの周期が４画素周期である場合のビートノイズ検出回路１０７の構成を示す。ビートノイズ検出回路１０７は、積分器２０２乃至２０５を備え、ウィンドウ回路１０９からの信号ＩＮＴＧ＿ＣＬＲがハイレベルになると、これら積分器２０２乃至２０５の積分値がリセットされる。

この信号ＩＮＴＧ＿ＣＬＲは、図３に示すように、３０４に示す位置においてハイレベルになり、積分器２０２乃至２０５のリセット動作が行われる。図３におけるリセット位置３０４の次の画素データからは、ウィンドウ回路１０９からの信号ＩＮＴＧ＿ＯＮがハイレベルになる。したがって、図２に示すＡＮＤ回路２００で、Ａ／Ｄ変換回路１０６より出力される画像データが信号ＩＮＴＧ＿ＯＮでゲートされて振り分け回路２０１へ送られる。

この信号ＩＮＴＧ＿ＯＮは、図３に示すように、光学的黒領域３０３に含まれる１水平期間に含まれる光学的黒画素データが、ビートノイズ検出回路１０７の積分器２０２乃至２０５のいずれかにおいて積分される期間、ハイレベルになる信号である。

振り分け回路２０１は、ウィンドウ回路１０９より出力される信号ＩＮＴＧ＿ＳＥＬの値に従い、信号ＩＮＴＧ＿ＯＮでゲートされた画像データを、積分器２０２、積分器２０３、積分器２０４及び積分器２０５のいずれかへ振り分ける。

この信号ＩＮＴＧ＿ＳＥＬは、図３に示すように、信号ＩＮＴＧ＿ＯＮがハイレベル、すなわち”１”の期間において、ビートノイズの周期の画素数の範囲で、供給される画像データを１画素ずつ順番に選択を周期的に繰り返す信号である。

本実施形態１では、ビートノイズ周期が４画素周期であると仮定したので、信号ＩＮＴＧ＿ＳＥＬが０、１、２、３、０・・・と繰り返す。この場合、振り分け回路２０１は光学的黒画素データの振り分け出力先を、それぞれ積分器２０２、積分器２０３、積分器２０４、積分器２０５、積分器２０２・・・と繰り返して切り替える。このような動作によって、積分器２０２乃至積分器２０５は、このように供給された１水平期間分の光学的黒画素データを積分する。

ビートノイズ検出回路１０７に設けられる積分器の数はビートノイズの周期の画素数によって決まる。本実施形態１においてはビートノイズの周期が４画素周期であるため、４個の積分器２０２乃至２０５が設けられている。当然にして、ビートノイズの周期が４画素周期以下の場合においても、ビートノイズの周期に応じて信号ＩＮＴＧ＿ＳＥＬの周期を変化させることにより対応できる。例えばビートノイズの周期が３画素周期であれば、信号ＩＮＴＧ＿ＳＥＬを０、１、２、０、１、２、・・・と変化させればよい。また、ビートノイズの周期が４画素周期以上であれば、積分器の数をビートノイズの周期に応じて増やせば対処可能である。

また、信号ＩＮＴＧ＿ＯＮ、信号ＩＮＴＧ＿ＳＥＬ及び信号ＩＮＴＧ＿ＣＬＲは、図４に示すように、ウィンドウ回路１０９に設けたそれぞれ水平カウンタ４０５及び垂直カウンタ４０６の出力をデコーダ４０７乃至４１０でデコードすることで生成される。

また、積分器２０２の積分結果は、除算器２０６においてＮで除算される。Ｎの値は積分器に積分された値を正規化するように決定され、図１のシステムコントローラ１１０が指定する。同様に、除算器２０７は積分器２０３の積分結果を、除算器２０８は積分器２０４の積分結果を、除算器２０９は積分器２０５の積分結果をそれぞれＮで除算し、１画素当たりの信号レベルに正規化する。

次に、最小値検出回路２１０において、除算器２０６乃至２０９で正規化されたデータの中から最小値ＭＩＮを検出する。減算器２１１乃至２１４において、除算器２０６乃至２０９からの正規化されたデータからそれぞれ最小値ＭＩＮを減算することで、ビートノイズの直流（ＤＣ）成分が除去される。以上の方法にてビートノイズの１周期分の画素値であるノイズデータＮＺ１、ＮＺ２、ＮＺ３及びＮＺ４が生成される。

次に、図５を使用して、ビートノイズ除去回路１０８における補正方法について説明する。セレクタ５０１は、ビートノイズ検出回路１０７において生成されたノイズデータＮＺ１、ＮＺ２、ＮＺ３及びＮＺ４を後述する選択制御信号である出力Ｄに従って選択する。そして、減算器５０７で、Ａ／Ｄ変換回路１０６から供給される有効画素データから、セレクタ５０１で選択されたノイズデータを減算する。さらにセレクタ５１３は、ウィンドウ回路１０９から出力される信号ＲＥＭＶ＿ＯＮがハイレベルの時は減算器５０７の出力を選択し、補正後画像データとして出力する。しかし、信号ＲＥＭＶ＿ＯＮがロウレベルの時は、Ａ／Ｄ変換回路１０６から供給された画素データを選択しそのまま出力する。

信号ＲＥＭＶ＿ＯＮは、有効画素領域３０２の有効画素信号がＡ／Ｄ変換回路１０６からビートノイズ除去回路１０８へ送られてくる期間にハイレベルになる信号である。信号ＲＥＭＶ＿ＯＮは、図４に示すように、ウィンドウ回路１０９に設けられた、水平カウンタ３０５及び垂直カウンタ３０６の出力をデコーダ４１０でデコードすることで生成される。

次に、セレクタ５０１の選択制御信号の生成方法について、図５のブロック図及び図６のタイムチャート図を使用して説明する。信号ＲＥＭＶ＿ＯＮがハイレベルになると、図６に示すように画素カウンタ５０２のリセットが解除され、クロックに従いカウントアップして１水平期間分のカウントを実行する。画素カウンタ５０２のカウント値は加算器５１２へ送られる。加算器５１２は、画素カウンタ５０２のカウント値と信号ｉｎｉｔｉａｌ＿ｐｈａｓｅを加算する。信号ｉｎｉｔｉａｌ＿ｐｈａｓｅは、図６に示すようにＨＤ信号の開始から信号ＲＥＭＶ＿ＯＮの開始までの画素数、もしくはこの画素数をビートノイズの周期で割った余りであり、システムコントローラ１１０により設定される。加算器５１２の加算結果を出力Ｂとして図６に図示する。この図では、信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値を２としている。

水平期間カウンタ５０３は、ウィンドウ回路１０９から送られる信号ＩＮＴＧ＿ＯＮがハイレベルの時にカウント値がリセットされ、図６に示すように、信号ＩＮＴＧ＿ＯＮがロウレベルの時はＨＤ信号に従いカウント動作が実行される。つまり水平期間カウンタ５０３は、ビートノイズ検出回路１０７において光学的黒画素データの１水平期間分からノイズデータＮＺ１乃至ＮＺ４が算出される水平期間を基準としてカウント動作が行われる。

信号ｐｈａｓｅは、図６に示すように、１水平期間ごとのビートノイズ位相差の信号であり、システムコントローラ１１０から送られる。信号ｐｈａｓｅと水平期間カウンタ５０３の出力値を乗算器５０４で乗算する。乗算器５０４の乗算結果を出力Ａとして図６に図示し、この図では、信号ｐｈａｓｅの値を１としている。さらに、乗算器５０４の乗算結果と加算器５１２の加算結果とを加算器５０５で加算する。加算器５０５の加算結果を出力Ｃとして図６に示している。

剰余演算器５０６は、加算器５０５における加算結果をビートノイズ１周期分の画素数４で割った余りの値をセレクタ５０１に選択制御信号として送る。剰余演算器５０６における剰余演算結果を出力Ｄとして図６に示している。選択制御信号である出力Ｄは、信号ＲＥＭＶ＿ＯＮがハイレベルの期間において、図６に示したビートノイズ位相の値と等しくなっており、セレクタ５０１においてビートノイズの位相に合わせてノイズデータが選択される。なお、剰余演算器５０６におけるビートノイズ１周期分の画素数の値は、システムコントローラ１１０が指定する。

システムコントローラ１１０は、図７のフローチャート図のように動作する。図７において、ステップＳ７０１では、モードに応じてクロック周波数を設定する。すなわち、高解像動画を撮影するモードや電子ビューファインダーなどの省電モードなど、撮像装置の動作モードに従ってシステムコントローラ１１０からＴＧ１０５へ信号を送り撮像素子のクロック周波数を変更する。この場合、図８に示すように、周囲のクロックは一定であるためビートノイズの周期は不変であるが、１周期当たりの画素数が変化する。次に、ステップＳ７０２では、撮像素子１０３のクロック周波数をビートノイズの周波数で除算して、ビートノイズ１周期当たりの画素数を計算し、ビートノイズ除去回路１０８における剰余演算器５０６に設定する。その後、ステップＳ７０３に進み、光学的黒領域の１水平期間分の画素数をビートノイズ周期の画素数で除算し、積分器２０２乃至積分器２０５における各積分値を正規化する値Ｎを求め、ビートノイズ検出回路１０７に設定する。

次にステップＳ７０４では、信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値を求める。この場合、図６に示すようにＨＤ信号の開始から信号ＲＥＭＶ＿ＯＮの開始までの画素数または画素数をビートノイズ周期で除算した余りの値を信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値とし、ビートノイズ除去回路１０８へ設定する。さらにステップＳ７０５では信号ｐｈａｓｅの値を求めるが、図６に示すようにＨＤ信号の周期のクロック数をビートノイズ周期の画素数で除算した余りの値を信号ｐｈａｓｅの値とし、ビートノイズ除去回路１０８へ設定する。

＜実施形態２＞
図９は、本発明の実施形態２に係る撮像装置の機能を示す機能ブロック図であり、ビートノイズ信号の周期が画素データの周期の整数倍であり、ＤＲＡＭ１１３から画像データを読み出してビートノイズ信号の除去を行うことが可能に構成されている。

本実施形態２では、システムコントローラ１１０から出力する信号によって、画像データの取り込み時にビートノイズ除去を行うか、またはＤＲＡＭ１１３から読み出した画像データに対してビートノイズ除去を行うか、の切り替えが可能に構成されている。さらに、ビートノイズの周期が不明であっても、一旦メモリに取り込んだ画像データの光学的黒領域をＦＦＴ変換などにより解析することで、ビートノイズ周期を求めた後にビートノイズ補正が行うことができる。

図９においては、図１と同じ回路要素には同じ参照符号を示している。したがって、特段の説明がない場合には、図１と同じ動作を行うものとする。図９において、撮像素子１０３からＨＤ信号及びＶＤ信号に同期したクロックで信号を読み出された画像データは、Ａ／Ｄ変換回路１０６を経てメモリ制御回路１１２によってＤＲＡＭ１１３へ記憶される。

システムコントローラ１１０から出力される信号ｍｅｍＯＮは、ＤＲＡＭ１１３から読み出した画像データに対してビートノイズ除去を行う場合においてはハイレベルとなり、キャプチャ時にビートノイズ除去を行う場合においてはロウレベルとなる。本実施形態２においては、信号ｍｅｍＯＮはハイレベルとなり、セレクタ１２１においてメモリ制御回路１１２を介してＤＲＡＭ１１３から読み出した画像データをメモリ画像同期回路１２０へ出力する。メモリ画像同期回路１２０は、メモリ制御回路１１２によってＤＲＡＭ１１３から読み出された画像データの１水平期間ごとに１パルス出力する信号ｍｅｍＨＤ信号を生成し出力する。

ＤＲＡＭ１１３から読み出した画像データは、図３の３０７に示す領域でありＨＤ信号とは非同期であるため、ＤＲＡＭ１１３から読み出した画像データに対応した信号ｍｅｍＨＤ信号を新たに生成する必要がある。また、ＤＲＡＭ１１３から読み出す画像データは１枚単位であるため、ＶＤ信号については新たに信号を生成する必要は無い。また、同時に、メモリ画像同期回路１２０は、ＤＲＡＭ１１３から読み出された画像データをビートノイズ検出回路１０７及びビートノイズ除去回路１０８へ出力する。

セレクタ１２２では、信号ｍｅｍＯＮがハイレベルであれば信号ｍｅｍＨＤを選択し、信号ｍｅｍＯＮがロウレベルであればＨＤ信号を選択する。本実施形態２では、信号ｍｅｍＯＮはハイレベルであるため、信号ｍｅｍＨＤをウィンドウ回路１０９へ出力する。ウィンドウ回路１０９は、信号ｍｅｍＨＤ信号をデコードして信号ＩＮＴＧ＿ＯＮ、信号ＩＮＴＧ＿ＳＥＬ、信号ＩＮＴＧ＿ＣＬＲ、信号ＲＥＭＶ＿ＯＮを生成し、ビートノイズ検出回路１０７及びビートノイズ除去回路１０８へ出力する。

ビートノイズ検出回路１０７及びビートノイズ除去回路１０８で、信号ＩＮＴＧ＿ＯＮ、信号ＩＮＴＧ＿ＳＥＬ、信号ＩＮＴＧ＿ＣＬＲ、信号ＲＥＭＶ＿ＯＮに従ってビートノイズの除去が行われ、メモリ制御回路１１２によってＤＲＡＭ１１３に記憶される。ＤＲＡＭ１１３に記憶されたビートノイズ成分が除去された画像データは、信号処理回路１１１で信号処理され、メモリ制御回路１１２を介してＤＲＡＭ１１３へ格納される。

変倍回路１１４においてＤＲＡＭ１１３に格納されている画像データを読み出し、ＬＣＤ１１６に表示させるサイズに変倍し、表示制御回路１１５において画像データをＬＣＤ１１６に表示する。また、圧縮伸長回路１１７においてＤＲＡＭ１１３から読み出した画像データを圧縮し、Ｉ／Ｆ回路１１８においてメモリカード１１９へ圧縮された圧縮画像データを書き込む。

次に、実施形態２におけるビートノイズの補正方法について説明する。実施形態２におけるビートノイズ検出回路１０７の構成及び動作は、実施形態１と同様であり、図２と同じ構成である。しかしビートノイズ除去回路１０８においては、ＤＲＡＭ１１３から読み出した画像データに対するノイズデータＮＺ１乃至ＮＺ４を選択する方法について、使用する撮像素子１０３の走査方式に応じた選択をする必要がある。

撮像素子１０３の走査方式がプログレッシブ走査型ＣＣＤなどの１水平期間ずつ順次に読み取るセンサを用いて撮像しＤＲＡＭ１１３に記憶されている画像データについて説明する。すなわちこの場合、１水平期間ごとのビートノイズの位相変化は、図６におけるＨＤ信号期間の１画素目のビートノイズ位相に示すように、１水平期間進むごとに信号ｐｈａｓｅの値が３ずつ進んでいる。このように各水平期間のビートノイズの位相は、ＨＤ信号の一定周期に依存するため一定に変化しており、実施形態１の画像データを取得しながらノイズ除去する場合と同様に、図５に示したビートノイズ除去回路１０８の構成にてノイズデータを選択すればよい。

しかしながら、撮像素子１０３の走査方式がインターレース走査ＣＣＤなど２フィールド読み出しのセンサを用いて撮像しＤＲＡＭ１１３に記憶されている画像データについて説明する。この場合には、１つのフィールドの中で水平期間ごとの位相変化は、図６に示したようにそれぞれ一定である。しかしながら、図１１におけるＶＤ信号期間の１画素目のビートノイズ位相に示すようにフィールドごとにビートノイズの位相差があるため、ビートノイズ成分を含む画像データに対するノイズデータの選択を次のような方法で行う必要がある。

図１０に、実施形態２におけるビートノイズ除去回路１０８の回路図を示す。図１０において、図５と同じ回路要素には同じ参照符号を示している。したがって、特段の説明がない場合には、図５と同じ動作を行うものとする。インターレース走査型ＣＣＤを使用して１水平期間おきに走査された画像をＤＲＡＭ１１３から読み出した場合について説明する。

図１０における信号ｅｖｅｎ＿ｉｎｃｒは、奇数番目の水平期間に対する偶数番目の水平期間の位相差の信号であり、信号ｏｄｄ＿ｉｎｃｒは偶数番目の水平期間に対する奇数番目の水平期間の位相差の信号である。信号ｅｖｅｎ＿ｉｎｃｒおよび信号ｏｄｄ＿ｉｎｃｒはシステムコントローラ１１０が設定する。

セレクタ５０８で、水平期間カウンタ５０３のＬＳＢが０のとき、画像データの偶数水平期間を処理していることになるため、信号ｅｖｅｎ＿ｉｎｃｒを選択する。一方、水平期間カウンタ５０３のＬＳＢが１のとき、画像データの奇数水平期間を処理していることになるため、信号ｏｄｄ＿ｉｎｃｒを選択する。

加算器５０９で、１水平期間前の位相にセレクタ５０８の出力を加算する。加算器５０９の加算結果は、システムコントローラ１１０によって指定された１水平期間分の画素数に画素カウンタ５０２のカウンタ値が一致したタイミングで、フリップフロップ５１０にロードされる。そのために、ＡＮＤ回路５１４、５１５及びＯＲ回路５１６が設けられる。一方、１水平期間分の画素数に画素カウンタ５０２のカウンタ値が一致しない期間においては、フリップフロップ５１０の値はそのまま保持される。

加算器５１２で、画素カウンタ５０２のカウンタ値と信号ｉｎｉｔｉａｌ＿ｐｈａｓｅとを加算する。信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値は、信号ｍｅｍＨＤから信号ＲＥＭＶ＿ＯＮのハイレベルになるまでの画素数である。

加算器５０５で、フリップフロップ５１０にホールドされているビートノイズの位相の値と加算器５１２の出力を加算する。剰余演算器５０６において、加算器５０５における加算結果をビートノイズ１周期分の画素数４で割った余りをセレクタ５０１に選択制御信号として出力する。なお、剰余演算器５０６におけるビートノイズ１周期分の画素数の値は、システムコントローラ１１０が指定する。

セレクタ５０１では、選択制御信号に従ってノイズデータを選択し、加算器５０７で画像データからノイズデータを減算する。セレクタ５１３で、信号ＲＥＭＶ＿ＯＮがハイレベルの時は減算器５０７の出力を選択し、補正後画像データとして出力する。信号ＲＥＭＶ＿ＯＮがロウレベルの時は、Ａ／Ｄ変換回路１０６から入力された画素データを選択しそのまま出力する。

図１０においては、２フィールド読み出しの撮像素子を用いた場合について述べたが、３フィールド以上の読み出しの撮像素子を用いた場合においても対処可能であり、フィールド数をＸとした場合について示す。

図１２に示すように、セレクタ５０８におけるフィールドの位相差データをフィールド数Ｘだけ用意する。また、剰余演算器５１１において水平期間カウンタ５０３のカウンタ値をフィールド数Ｘで剰余演算した結果をセレクタ５０８の選択制御信号として入力すればよい。

図５、図１０及び図１２に示したようなノイズデータを選択するセレクタ５０１の選択信号を生成する際に、画素カウンタ５０２にｉｎｉｔｉａｌ＿ｐｈａｓｅを加算する加算器５１２と、水平期間カウンタ５０３にｐｈａｓｅを乗算する乗算器５０４を設ける。これにより、１水平期間ごとにビートノイズが何画素ずれるかを認識できるため、メモリから読み出したデータについてもビートノイズ除去を行うことができる。

さらに、本実施形態では、メモリから読み出したデータに対してビートノイズ除去を可能にした。したがって、前述したように、ビートノイズの周期が不明であっても、メモリから読み出した画像データの光学的黒領域をＦＦＴ変換などにより解析することで、ビートノイズ周期を求めた後にビートノイズ補正を行うことができる。

＜実施形態３＞
本発明の実施形態３においては、ビートノイズの周期が画素の整数倍以外であり、画像データを取得しながらビートノイズの除去を行う。実施形態３が実施形態１と異なる点は、ビートノイズの周期が画素データの整数倍以外という点である。以下、実施形態１とは異なる部分について説明する。

実施形態３におけるビートノイズ検出回路１０７及びビートノイズ除去回路１０８の回路構成及び動作を、図１３、１４及び１５を用いて説明する。

図１３は、ビートノイズの周期が４．５画素周期であるとき、光学的黒画素データ４．５画素をノイズデータ５画素に換算し、さらに５画素のノイズデータを用いて補正後の画像データを求める方法を説明する図である。図１４は、実施形態３におけるビートノイズ検出回路１０７の回路図であり、図１５は、実施形態３におけるビートノイズ除去回路１０８の回路図である。

なお、ビートノイズ周期が４．５画素周期以外である場合においても、画素単位で表したビートノイズ周期の小数点以下を切り上げた整数以上の整数個のデータに換算することにより、ビートノイズ１周期分のデータを求めればよい。

まず、ビートノイズ１周期を含む光学的黒画素データ４．５画素からノイズデータ５画素に換算する。図１３の（ａ）に示すように、光学的黒画素データとノイズデータの位相が同じになるのはビートノイズの２周期毎である。

図１３の（ｂ）はノイズデータの画素の大きさを概念的に示し、ノイズデータ、補正値及び補正後画像データを算出する方法を説明する図である。図１３の（ｂ）に示すように、ノイズデータ１画素の概念的な大きさを光学的黒画素データの０．９画素の大きさとすると、ビートノイズ周期４．５画素をノイズデータ５画素で表すことができる。下記の式のように光学的黒画素データに重み付けをして混合した後、混合後データＭＤの値をそれぞれ１０通り求める。

混合後データＭＤ１＝９／９×光学的黒データａ
混合後データＭＤ２＝１／９×光学的黒データａ＋８／９×光学的黒データｂ
混合後データＭＤ３＝２／９×光学的黒データｂ＋７／９×光学的黒データｃ
混合後データＭＤ４＝３／９×光学的黒データｃ＋６／９×光学的黒データｄ
混合後データＭＤ５＝４／９×光学的黒データｄ＋５／９×光学的黒データｅ
混合後データＭＤ６＝５／９×光学的黒データｅ＋４／９×光学的黒データｆ
混合後データＭＤ７＝６／９×光学的黒データｆ＋３／９×光学的黒データｇ
混合後データＭＤ８＝７／９×光学的黒データｇ＋２／９×光学的黒データｈ
混合後データＭＤ９＝８／９×光学的黒データｈ＋１／９×光学的黒データｉ
混合後データＭＤ１０＝９／９×光学的黒データｉ
上記のように、混合後データＭＤ１乃至ＭＤ１０を算出するビートノイズ検出回路１０７の動作について図１４及び図１６を用いて説明する。図１４において、混合器１４０１、混合比カウンタ１４２４、振り分け回路１４０２、積分器１４０３乃至積分器１４０７、カウンタ１４０８乃至カウンタ１４１２は、ＣＬＫを２逓倍回路１４２６において倍速にした信号ＩＮＴＧ＿ＣＬＫで動作する。

ビートノイズ周期当たりの光学的黒画素データの画素数よりもビートノイズ周期当たりのノイズデータの画素数の方が多くなるため、上記の回路においては入力される光学的黒画素データよりも早く動作しなければならないためである。

図１６に示すように、信号ＩＮＴＧ＿ＣＬＲのハイレベルの時に積分器１４０３乃至積分器１４０７の積分値及びカウンタ１４０８乃至カウンタ１４１２のカウンタ値が０にリセットされる。信号ＩＮＴＧ＿ＯＮのロウレベルの時に混合比カウンタ１４２４のカウンタ値がリセットされ、信号ＩＮＴＧ＿ＯＮがハイレベルになると、信号ＩＮＴＧ＿ＣＬＫに従い、０から１８の間で１ずつカウントアップする。混合比カウンタ１４２４のカウンタ値のビット幅は５ｂｉｔで出力するが、上位４ｂｉｔを係数ｍとして使用し、下位１ｂｉｔの反転を信号ＩＮＴＧ＿ＥＮとして使用する。混合比カウンタ１４２４が１８までカウントし、次の信号ＩＮＴＧ＿ＣＬＫで０になると、連続して信号ＩＮＴＧ＿ＥＮが１となるため、クロック１回の間に２回積分されることになる。

混合比カウンタ１４２４の出力値を除算器１４２５において係数の分母ｄ＝９で除算する。除算器１４２５の除算結果を係数ｍとして混合器１４１０１へ出力する。画素データは信号ＩＮＴＧ＿ＯＮでマスクされ、信号ＩＮＴＧ＿ＯＮがハイレベルの時のみ光学的黒画素データＯＢ１として混合器１４０１へ入力される。また同時に、光学的黒画素データＯＢ１及び信号ＩＮＴＧ＿ＯＮを１画素分遅らせ、光学的黒画素データＯＢ２として混合器１４０１へ入力する。混合器回路１４０１において、光学的黒画素データＯＢ１に係数（１−ｍ）を乗算した結果と光学的黒画素データＯＢ２に係数ｍを乗算した結果を加算することにより、混合後データＭＤの値が求められる。従って、混合後データＭＤを算出する式は下記のようになる。

混合後データＭＤ＝光学的黒画素データＯＢ１×（１−ｍ）＋光学的黒画素データＯＢ２×ｍ
混合比カウンタ１４２４の最大値及び係数の分母ｄの値は、ビートノイズ周期の画素数をノイズデータの画素数で除算することにより求められ、システムコントローラ１１０によって設定される。

積分器１４０３及び積分器１４０７において、図１６に示すように、信号ＩＮＴＧ＿ＥＮがハイレベルであり、且つ信号ＩＮＴＧ＿ＳＥＬにより指定された積分器が振り分け回路１４０２より出力された混合後データを積分する。混合後データＭＤ１と混合後データＭＤ６はビートノイズの同じ位相にあるため、図１４の振り分け回路１４０２により積分器１４０３に積分され、積分結果を図１３の（ｂ）に示す積分データＩＤ１とする。同様に、混合後データＭＤ２と混合後データＭＤ７は積分器１４０４に積分され積分データＩＤ２となり、混合後データＭＤ３と混合後データＭＤ８は積分器１４０５に積分され積分データＩＤ３となる。また、混合後データＭＤ４と混合後データＭＤ９は積分器１４０６に積分され積分データＩＤ４となり、混合後データＭＤ５と混合後データＭＤ１０は積分器１４０７に積分され積分データＩＤ５となる。

カウンタ１４０８乃至カウンタ１４１２において、図１６に示すように、信号ＩＮＴＧ＿ＥＮがハイレベルであり、且つ信号ＩＮＴＧ＿ＳＥＬにより指定されたカウンタが１ずつカウントアップする。カウンタ１４０８は積分器１４０３に積分された回数をカウントしており、積分データＩＤ１をカウンタ１４０８のカウント値で除算し、図１３の（ｂ）に示す正規化データＮＤ１を求める。同様に、積分データＩＤ２をカウンタ１４０９のカウント値で除算し正規化データＮＤ２を、積分データＩＤ３をカウンタ１４１０のカウント値で除算し正規化データＮＤ３を求める。同様に、積分データＩＤ４をカウンタ１４１１のカウント値で除算し正規化データＮＤ４を、積分データＩＤ５をカウンタ１４１２のカウント値で除算し正規化データＮＤ５を求める。

図１４の最小値検出回路１４１８において、正規化データ５個の中から最小値ＭＩＮを検出し、５個の正規化データからそれぞれ最小値ＭＩＮを減算することで、ビートノイズのオフセットが除去される。これにてノイズデータＮＺ１乃至ＮＺ５の５個が求まる。

次に、図１３の（ｂ）に示す補正値Ａ、Ｂ、Ｃ、Ｄ及びＥを求める。補正値Ａ乃至Ｅは、下記の式のようにノイズデータＮＺ１乃至ＮＺ５に重み付けをして求める。なお、補正値Ｆ、Ｇ、Ｈ及びＩについては図示していない。

補正値Ａ＝ノイズデータＮＺ１×（９／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ２×（１／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｂ＝ノイズデータＮＺ２×（８／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ３×（２／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｃ＝ノイズデータＮＺ３×（７／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ４×（３／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｄ＝ノイズデータＮＺ４×（６／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ５×（４／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｅ＝ノイズデータＮＺ５×（５／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ６×（５／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｆ＝ノイズデータＮＺ６×（４／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ７×（６／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｇ＝ノイズデータＮＺ７×（３／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ８×（７／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｈ＝ノイズデータＮＺ８×（２／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ９×（８／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｉ＝ノイズデータＮＺ９×（１／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ１０×（９／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
上記の演算は、図１５における混合器１５１１において行われ、各ノイズデータＮＺに掛けられる係数は混合比回路１５１０において下記のように生成される。剰余演算器１５０９において、水平期間カウンタ１５０４のカウンタ値を係数の分母である１０で除算した余りである水平期間剰余数ｋ（０≦ｋ≦９）を出力し、混合比回路１５１０へ送る。

混合比回路１５１０において、水平期間剰余数ｋと信号ｐｈａｓｅの乗算が行われる。信号ｐｈａｓｅは、ビートノイズが画像データ１水平期間ごとにずれる位相の値であり、ビートノイズ周期が画素の整数倍以外の場合においては、信号ｐｈａｓｅの値も整数倍以外になることがある。水平期間剰余数ｋと信号ｐｈａｓｅの値の乗算は固定小数点数で行われ、乗算結果が１以上になる場合は整数部を切り捨て、乗算結果は常に１未満の小数とする。

乗算結果を常に１未満の小数とする理由として、図１３の（ｃ）を用いて説明する。図１３の（ｃ）は、信号ｐｈａｓｅの値が３／１０である時の基準ノイズデータ（ｋ＝０）に対するノイズデータ（ｋ＝１、２、３）の位相差の様子を示したものである。ｋの値が進むにつれノイズデータは３／１０画素ずつ左にシフトしており、基準ノイズデータ（ｋ＝０）に比べてｋ＝１、２、３のノイズデータは水平期間剰余数ｋと信号ｐｈａｓｅの値を乗算した値だけ位相がシフトしている。ｋ＝３になるとｋ＝０の時に比べて、ちょうどノイズデータ１画素分だけ左にシフトした状態になり、ｋが４以上の整数である時もノイズデータ１画素以上の位相差があることになる。

従って、基準のノイズデータと１水平期間目以降のノイズデータの位相差が１画素以上となる場合は、前述したように混合比回路１５１０において整数部を切り捨て１未満の小数とする。これにより、補正値を求める際の水平期間ごとの位相変化に対応したノイズデータの重み付けを行うことができる。

以上、信号ｐｈａｓｅの値が３／１０である場合について説明した。しかしながら、信号ｐｈａｓｅの値が１以上の数値である場合においては、信号ｐｈａｓｅの値の整数部を切り捨て、信号ｐｈａｓｅの値の小数部の値についてのみ混合比回路１５１０において演算すればよい。

セレクタ１５０１及びセレクタ１５０２において選択されるノイズデータについては、混合比回路１５１０において切り捨てられる１画素以上の整数の位相差だけシフトさせる必要がある。セレクタ１５０１及びセレクタ１５０２の選択制御信号として、補正値Ａ、Ｂ、Ｃ、Ｄ及びＥを求めるために必要な隣り合う２個のノイズデータを選択する方法について図１５を用いて説明する。

加算器１５１４において、画素カウンタのカウンタ値と信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値とを加算し、加算結果を加算器１５０６へ送る。乗算器１５０５において、水平期間カウンタ１５０４のカウンタ値に１水平期間ごとの位相差信号ｐｈａｓｅの値を乗算する。信号ｐｈａｓｅの値が３／１０のとき、乗算器１５０５では固定小数点数の乗算が行われ、乗算結果の整数部のみを出力する。この値は混合比回路１５１０において切り捨てた整数部の値と等しい。

加算器１５０６において、乗算器１５０５の出力と加算器１５１４の出力とを加算する。剰余演算器１５０７において、加算器１５０６の加算結果をノイズデータの画素数５で除算した余りを選択制御信号である信号ｓｅｌとして出力する。セレクタ１５０１及びセレクタ１５０２は、図１７に示す選択制御信号である信号ｓｅｌに従いノイズデータを選択し、混合器１５１１において補正値Ａ、Ｂ、Ｃ、Ｄ及びＥが求められ、加算器１５１２において有効画素データから補正値を減算する。

セレクタ１５１３は、信号ＲＥＭＶ＿ＯＮがハイレベルの時は減算器１５１２の出力を選択し、補正後画像データとして出力する。一方、信号ＲＥＭＶ＿ＯＮがロウレベルの時はＡ／Ｄ変換回路１０６からの入力された画素データを選択しそのまま出力する。

また、実施形態２において述べた、多フィールド読み出しの撮像素子から読み出した各フィールド画像がメモリ上でフレーム化された画像データに対するビートノイズ除去にも対応可能である。この場合には、図１５における乗算器１５０５を図１２で示された構成に置き換えればよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。

しかし、さらにそのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合もあり得る。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施形態に係る画像処理装置の機能ブロック図である。 本発明の実施形態１に係るビートノイズ検出回路の機能ブロック図である。 本発明の実施形態に係る画像処理装置における光学的黒領域、有効画素領域等を説明する図である。 本発明の実施形態に係る画像処理装置で使用されるウィンドウ回路の機能ブロック図である。 本発明の実施形態１に係るビートノイズ除去回路の機能ブロック図である。 本発明の実施形態１に係る画像処理装置の動作の説明に供するタイムチャート図である。 本発明の実施形態に係る画像処理装置におけるシステムコントローラの動作を説明するフローチャート図である。 本発明の実施形態に係る画像処理装置のモードに対するビートノイズ周波数の変化を説明する図である。 本発明の実施形態２に係る画像処理装置の機能ブロック図である。 本発明の実施形態２に係るビートノイズ除去回路の機能ブロック図である。 本発明の実施形態２にフィールドごとの位相差を説明する図である。 本発明の実施形態２に係るビートノイズ除去回路の機能ブロック図である。 本発明の実施形態２に係る画像処理装置のモードに対するビートノイズ周波数の変化を説明する図である。 本発明の実施形態３に係るビートノイズ検出回路の機能ブロック図である。 本発明の実施形態３に係るビートノイズ除去回路の機能ブロック図である。 本発明の実施形態３に係る画像処理装置の動作の説明に供するタイムチャート図である。 本発明の実施形態３の動作の説明に供する、セレクタ１２０１及びセレクタ１２０２で選択されるノイズデータと選択制御信号の関係を表す図である。

Claims (8)

1. 撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する画像処理装置であって、
   前記ビートノイズ成分の周期を取得する取得手段と、
   前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け手段と、
   前記複数の積分手段における積分結果を１画素当たりの信号レベルにそれぞれ正規化する第１の演算手段と、
   前記第１の演算手段にて正規化された前記複数の積分手段における積分結果から、前記第１の演算手段にて正規化された前記複数の積分手段における積分結果のうちの最小値を減算することで、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める第２の演算手段と、
   前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記第２の演算手段にて求めた前記複数のノイズデータを順次繰り返し選択する選択手段と、
   前記撮像素子の有効画素領域から得られる各画素データから、前記選択手段にて選択された前記ノイズデータを減算する補正手段と、を備えることを特徴とする画像処理装置。
2. 撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する画像処理装置であって、
   前記ビートノイズ成分の周期を取得する取得手段と、
   前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け手段と、
   前記複数の積分手段における積分結果から、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める演算手段と、
   前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記演算手段にて求めた前記複数のノイズデータを順次繰り返し選択する選択手段と、
   前記撮像素子の有効画素領域から得られる各画素データから、前記選択手段にて選択された前記ノイズデータを減算する補正手段と、を備え、
   前記演算手段は、前記画素データの位相と前記複数のノイズデータにより示されるビートノイズ成分の位相のずれに応じて、前記複数の積分手段における積分結果のうち、連続して振り分けられた積分手段の積分結果を重み付けして混合することで、前記複数のノイズデータを求めることを特徴とする画像処理装置。
3. 前記振り分け手段は前記ビートノイズ成分の周期に応じた数の積分手段に撮像素子の光学的黒領域から得られる画素データを振り分けることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記取得手段は、前記撮像素子の光学的黒領域から得られる画素データを解析し、前記ビートノイズ成分の周期を求めることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画素データは、前記撮像素子から得られた画素データを記憶したメモリ手段から読み出したものであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する画像処理方法において、
   前記ビートノイズ成分の周期を取得する取得工程と、
   前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け工程と、
   前記複数の積分手段における積分結果を１画素当たりの信号レベルにそれぞれ正規化する第１の演算工程と、
   前記第１の演算工程において正規化された前記複数の積分手段における積分結果から、前記第１の演算工程において正規化された前記複数の積分手段における積分結果のうちの最小値を減算することで、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める第２の演算工程と、
   前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記第２の演算工程において求めた前記複数のノイズデータを順次繰り返し選択する選択工程と、
   前記撮像素子の有効画素領域から得られる各画素データから、前記選択工程において選択された前記ノイズデータを減算する補正工程と、を備えることを特徴とする画像処理方法。
7. 撮像素子から得られる画素データから、前記画素データに含まれる周期的なビートノイズ成分を除去する画像処理方法において、
   前記ビートノイズ成分の周期を取得する取得工程と、
   前記取得した周期で、前記撮像素子の光学的黒領域から得られる複数の画素データを複数の積分手段に振り分ける振り分け工程と、
   前記複数の積分手段における積分結果から、前記撮像素子から得られる画素データに含まれる周期的なビートノイズ成分を示す複数のノイズデータを求める演算工程と、
   前記撮像素子の有効画素領域から得られる複数の画素データに含まれるビートノイズ成分の位相と、前記複数のノイズデータにより示されるビートノイズ成分の位相とが一致するように、前記演算工程において求めた前記複数のノイズデータを順次繰り返し選択する選択工程と、
   前記撮像素子の有効画素領域から得られる各画素データから、前記選択工程において選択された前記ノイズデータを減算する補正工程と、を備え、
   前記演算工程において、前記画素データの位相と前記複数のノイズデータにより示されるビートノイズ成分の位相のずれに応じて、前記複数の積分手段における積分結果のうち連続して振り分けられた積分手段の積分結果を重み付けして混合することで、前記複数のノイズデータを求めることを特徴とする画像処理方法。
8. 請求項６または７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

Images