JP4857933B2

JP4857933B2 - ノイズリダクション方法、プログラム、装置及び撮像装置

Info

Publication number: JP4857933B2
Application number: JP2006165222A
Authority: JP
Inventors: 敦能勢
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-06-14
Filing date: 2006-06-14
Publication date: 2012-01-18
Anticipated expiration: 2026-06-14
Also published as: JP2007336222A

Description

本願発明は、ノイズリダクション（雑音低減処理）方法、プログラム、装置及び撮像装置に関し、特に、画像のパターンに応じて適応的にノイズリダクションを実現できるようにしたノイズリダクション方法、プログラム、装置及び撮像装置に関する。

特許文献１には、映像信号や画像信号に含まれるノイズ（雑音）を効率的に除去するノイズリダクション装置に関する技術が開示されている。この技術は、ノイズリダクションをしようとする注目画素とその周辺の画素との差分値を局所情報として用い、その差分値が小さい場合、注目画素と周辺画素との相関が強いと考え、積極的に周辺の画素をノイズリダクションに用いようとするεフィルタリングを利用したものである。

図１７を用いて、従来のεフィルタリングを利用したノイズリダクション方法について説明する。図１７は、画像の平坦部における隣接する複数の画素の値を示している。例えば、ノイズリダクションを施す対象である注目画素１０１に対して検波領域を左右３つずつの画素に設定し、平滑化を行うこととする。検波領域の画素（画素１０２〜画素１０７）はそれぞれノイズがない場合の画素レベルとの差（レベル差）を有する。このレベル差がノイズとなって表示される。ここで注目画素と検波領域内にある各画素とのレベル差分の絶対値が注目画素の画素値を中心として設定された閾値以下であれば、注目画素１０１および検波領域内の画素（画素１０２〜画素１０７）の画素レベルの加算平均を算出してフィルタ処理を行う。なお、ここでは左右方向を例にしているが、上下左右斜めの１、２次元空間の全ての画素を対象とする。

εフィルタリングを利用したノイズリダクションでは、注目画素と検波領域内の画素とのレベル差分の絶対値が一定の閾値以下にある画素を信号成分に関して相関があるものと判別し、注目画素及び注目画素と相関があると判別された画素の画素レベルの加算平均を算出する。また、εフィルタリングを利用したノイズリダクションでは、例えば、エッジ（輪郭部）などのように注目画素とのレベル差が大きい画素は用いられない。したがって、図１７に示すような画像の平坦部では、周波数特性の劣化を極力抑えつつノイズリダクションが実現できる。

次に、図１８により従来のεフィルタリングを利用した撮像装置について説明する。レンズ３０１は、被写体３００からの光をフォーカスし、撮像素子３０２に供給する。撮像素子３０２は、レンズ３０１から供給された光を光電変換し、得られた画像信号をＤＬブロック３０３に供給する。ＤＬブロック３０３は、撮像素子３０２から供給された画像信号を画像データとして保持し、ノイズリダクション処理ブロック３０４に供給する。

ノイズリダクション処理ブロック３０４は、画素判別ブロック３０５と、補間画素加算・除算ブロック３０６とからなる。画素判別ブロック３０５は、注目画素と検波領域内の画素とのレベル差分の絶対値が一定の閾値以下であればノイズリダクションに使用可能な画素と判別し、補間画素加算・除算ブロック３０６に上記レベル差分の絶対値が一定の閾値以下である画像信号を供給する。補間画素加算・除算ブロック３０６は、上記レベル差分の絶対値が一定の閾値以下である画素を用いて画素レベルの加算平均を算出し、注目画素の画素値を算出された平均値で置き換え、画像信号として信号処理ブロック３０７に供給する。

信号処理ブロック３０７は、ノイズリダクション処理ブロック３０４でノイズリダクションが施された画像信号を輝度信号と色差信号とに変換し出力する。

特開平６−８６１０４号公報

しかしながら、従来のεフィルタリングを利用したノイズリダクションでは、エッジなどのように注目画素とのレベル差が大きい画素は用いられないため、注目画素の周辺にエッジなどが存在する場合には、検波領域の重心（注目画素の位置）とノイズリダクションに使用可能な画素領域の重心とが一致せず、注目画素の値を最適値で補間することは困難であった。図１９は、検波領域にエッジが存在する場合の直線方向の各画素の値の例を示したものである。図１９に示すように検波領域内の複数の画素の中で、注目画素とのレベル差分の絶対値が閾値以下の画素は、画素２０４，２０５，２０６，２０７である。そうすると、ノイズリダクションに使用できる画素範囲の重心は画素２０５となり、検波領域の重心である注目画素２０１との位置のズレが生じてしまう。

また、従来のεフィルタリングを利用したノイズリダクションでは、より適した値で注目画素の画素値を補間するために加重平均の重み付けを行うと、各画素毎に乗算器を用いた乗算処理が必要となり、回路規模が大幅に増大するという問題があった。

本願発明はこのような事情に鑑みてなされたもので、注目画素の周辺にエッジなどが存在する場合であっても、ノイズリダクションに使用可能な画素領域の重心を注目画素と一致させ、注目画素の値を最適値で補間することができ、乗算器が必要な加重平均の重み付けを行っても、回路規模が増大しないノイズリダクション方法、プログラム、装置及び撮像装置を提供することを目的とする。

上記の課題を解決するために、本願発明に係るノイズリダクション方法は、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップとを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間ステップでは、制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出することを特徴とする。

また、上記の課題を解決するために、本願発明に係るノイズリダクション方法は、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、上記画素マップ選択ステップにより取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別ステップと、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップとを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間ステップでは、上記制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別ステップにより取り出された画素からなる画像データに基づいて補間処理を行うことを特徴とする。

また、上記の課題を解決するために、本願発明に係るプログラムは、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップとを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間ステップでは、制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出するノイズリダクション処理をコンピュータに実行させることを特徴とする。

また、上記の課題を解決するために、本願発明に係るプログラムは、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、上記画素マップ選択ステップにより取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別ステップと、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップとを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間ステップでは、上記制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別ステップにより取り出された画素からなる画像データに基づいて補間処理を行うノイズリダクション処理をコンピュータに実行させることを特徴とする。

また、上記の課題を解決するために、本願発明に係るノイズリダクション装置は、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択手段により取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段とを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間手段では、制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出することを特徴とする。

また、上記の課題を解決するために、本願発明に係るノイズリダクション装置は、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、上記画素マップ選択手段により取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別手段と、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段とを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間手段では、上記制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別手段により取り出された画素からなる画像データに基づいて補間処理を行うことを特徴とする。

また、上記の課題を解決するために、本願発明に係る撮像装置は、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択手段により取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段とを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間手段では、制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出することを特徴とする。

さらに、上記の課題を解決するために、本願発明に係る撮像装置は、制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、上記画素マップ選択手段により取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別手段と、制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段とを備え、上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、上記補間手段では、上記制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別手段により取り出された画素からなる画像データに基づいて補間処理を行うことを特徴とする。

本願発明によれば、演算対象マップの画素パターンに最も近似する画素パターンを、エッジなどを処理対象から外しつつ注目画素を中心とする対称性を考慮した画素パターン群から選択し、その画素パターンに対応する画素をノイズリダクションに使用するため、注目画素の周辺にエッジなどが存在する場合であっても、ノイズリダクションに使用可能な画素領域の重心を注目画素からシフトさせることなく、注目画素の値を最適値で補間することができる。

また、本願発明によれば、画素値を加算平均する際に同一の係数を乗算した上で加算することとなる画素を同一のグループに属するものとして判別し、同一グループ内の画素値を加算した後グループ毎に対応する係数を乗算するため、乗算処理が少なくて済み、乗算器が必要な加重平均の重み付けを行っても、回路規模を大幅に増大させる必要がなく、小さな回路で適応的に広範囲に渡るノイズリダクションを実現することができる。

以下、本願発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。この実施例では、撮像装置をデジタルビデオカメラとして説明するが、デジタルビデオカメラに限定されず他の撮像装置（例えば、デジタルスチルカメラやカムコーダ等）にも適用することができる。

図１は、この発明の実施例におけるデジタルビデオカメラの信号処理系１０を示している。信号処理系１０は、撮像素子１１、ＤＬ（Delay Line）ブロック１２、ノイズリダクション処理ブロック１３、信号処理ブロック１４及び制御マイコン（マイクロコンピュータ）１５より構成される。

撮像素子１１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャなどであり、被写体の画像を光電変換し画像信号を出力する。出力された画像信号はＤＬブロック１２に供給され、ＤＬブロック１２の出力画像信号がノイズリダクション処理ブロック１３及び制御マイコン１５に供給される。

ノイズリダクション処理ブロック１３でノイズリダクションが施された画像信号は信号処理ブロック１４に供給される。信号処理ブロック１４は、画像出力信号を輝度信号と色差信号に変換し、入力画像がビデオサイズ（例えば、水平方向７２０画素×垂直方向４８０ライン）の画素数を超える場合に解像度変換を行い、ビデオサイズの画素情報量を出力する信号処理ブロックである。なお、信号処理ブロック１４は、デジタルビデオカメラの出力が静止画像であり、その出力先がパーソナルコンピュータ等である場合に対応できるように、解像度変換後の画像サイズを任意のサイズに適応的に変換できる機能を有する。信号処理ブロック１４からはカメラ信号処理が施された画像信号の輝度信号および色差信号が出力される。

なお、信号処理ブロック１４は、図２に示すようにノイズリダクション処理ブロック１３及び制御マイコン１５の前段に位置するような構成としてもよい。この場合、撮像素子１１により出力される画像信号はＤＬブロック１２を経由して信号処理ブロック１４に供給される。信号処理ブロック１４では、ノイズリダクションされていない画像信号に信号処理を施し、輝度信号および色差信号に変換した画像信号をノイズリダクション処理ブロック１３及び制御マイコン１５に供給する。ノイズリダクション処理ブロック１３では、供給された輝度信号および色差信号のそれぞれに対してノイズリダクションの処理が行われる。制御マイコン１５では、供給された輝度信号および色差信号のそれぞれに基づいて解析処理が行われ、各ブロックに解析結果を供給する。

ノイズリダクション処理ブロック１３に供給される信号の色情報がｎ種類（ｎ：正の整数）存在し、ｎ種類のうち、ｍ種類（ｍ：正の整数、ｎ≧ｍ）の色に対してノイズリダクションを行う場合、ｍ個のノイズ検出処理が並列に行われる。ここで、ｍ種類の色情報のうち、ｋ種類（ｋ：正の整数、ｍ≧ｋ）の色に関してその空間位相が同じ場所になることが分かっている場合は、空間位相が等しければ画素レベル（色レベル）は類似した変化を示すであろうことによりｍ−ｋ＋１個のノイズ検出処理を並列に行い、処理数を減らして対応することもできる。ここで、ノイズリダクション処理ブロック１３では垂直方向に遅延された任意のライン数の入力を必要とし、この垂直方向の遅延はＤＬブロック１２で処理される。

上記の並列処理は、例えば、第１の色信号、第２の色信号、第３の色信号の３種類の入力があり３種類独立にノイズリダクション処理をする場合、ノイズリダクション処理を並列に３つ独立させて行う。また、第１の色信号、第２の色信号、第３の色信号の３種類の入力があり、第１の色信号と第２の色信号の空間位相が重複する場合、ノイズ検出処理を第１の色信号と第３の色信号に行い、第１の色信号の検出結果をもとに第１の色信号と第２の色信号に対してノイズ補正を行い、第３の色信号の検出結果をもとに第３の色信号に対してノイズ補正を行うようにしてもよい。

次に、ノイズリダクション処理ブロック１３及び制御マイコン１５の処理ついて説明する。図１の枠内に示すように、ノイズリダクション処理ブロック１３は、画素マップ選択ブロック１６と、閾値マップ選択ブロック１７と、画素判別ブロック１８と、グルーピングブロック１９と、係数マップ選択ブロック２０と、補間画素加算・除算ブロック２１と、から構成される。また、図１に示すように、制御マイコンブロック１５には、ＤＬブロック１２と、画素マップ選択ブロック１６と、閾値マップ選択ブロック１７と、グルーピングブロック１９と、係数マップ選択ブロック２０と、が接続されている。制御マイコン１５は、ＤＬブロック１２（図２の構成の場合は信号処理ブロック１４）から供給された画像信号に基づき解析処理を行い、画素マップ選択ブロック１６と、閾値マップ選択ブロック１７と、グルーピングブロック１９と、係数マップ選択ブロック２０と、にそれぞれ対応する解析結果を供給する。なお、図２に示すように、制御マイコン１５による処理は、画像マッチングブロック２２によるハードウェア処理によって置き換えることもできる。

図３は、撮像素子１１に設けられたベイヤ方式による色フィルタ配列（ベイヤ配列）のＲＧＢ成分のうち、Ｇ成分を取り出して示したものである。制御マイコン１５は、例えば、図３に示すように、注目画素２４を中心画素として、９×１１の画素範囲を演算対象マップ２３として設定する。演算対象マップ２３は、画像の特性や、ハードウェアの規模に応じて変更可能である。

次に、制御マイコン１５はマッチング処理を行う。例えば、演算対象マップ２３に対して２値化処理をし、処理後の演算対象マップ２３と、予めメモリなどに記憶されている画素マップ群（データベース）とのマッチングにより、演算対象マップ２３のマップ情報を把握することができる。例えば、図３において、Ｇ_１１とＧ_２１とＧ_１２の位置にエッジがある画素マップと画像が最も近似すれば、演算対象マップ２３のＧ_１１とＧ_２１とＧ_１２の位置にエッジが存在することが分かる。

次に、制御マイコン１５は、マッチングにより得られたマップ情報に基づいて、図４に示すような画素マップ群からマップ情報に対応する画素マップを検索する。例えば、図３において、Ｇ_１１とＧ_２１とＧ_１２の位置にエッジがある場合、図４のｍａｐ＿Ｇを検索する。ここで、ｍａｐ＿Ｇを検索する理由は、左上領域にはエッジが存在するため、左上領域を演算対象から外すが、この場合にεフィルタをかけると右下に処理の重心が移動するため、右下を演算対象から外すことで中心に重心を合わせ、さらに、左上から右下は狭範囲となるのに対して、右上から左下には広範囲となるため、全体のバランスを考慮して、右上と左下の領域も演算対象から外す必要があるためである。制御マイコン１５は、画素マップを検索した後、検索された画素マップに基づいて所定の処理を行うための信号を画素マップ選択ブロック１６に供給する。

次に、画素マップ選択ブロック１６は、制御マイコン１５から供給された信号に基づいて、画素マップを選択し、ＤＬブロック１２から供給された画像データに対して、画素マップに対応する画素毎に処理対象フラグを付し、この画像データを画素判別ブロック１８に供給する。

また、制御マイコン１５は、マッチングにより把握されたマップ情報に基づく信号を閾値マップ選択ブロック１７に供給する。例えば、マップ情報が、図４のｍａｐ＿Ｇが検索されるようなものである場合には、閾値をより大きくとることによって、ノイズリダクションに使用できる演算対象画素を確保する。

次に、閾値マップ選択ブロック１７は、制御マイコン１５から供給された信号に基づいて、画素毎に閾値が設定された閾値マップを選択し、選択された閾値マップに基づいて所定の処理を行うための信号を画素判別ブロック１８に供給する。

次に、画素判別ブロック１８は、画素マップ選択ブロック１６から供給された画像データから処理対象フラグが付された画素群を選択する。そして、画素判別ブロック１８は、画素群に含まれるそれぞれの画素について、画素群に含まれる注目画素と周辺画素との差分の絶対値を、閾値マップ選択ブロック１７から供給された、その画素に対応する閾値と比較する。画素判別ブロック１８は、上記絶対値が上記閾値より大きい画素については、ノイズリダクションに使用できないと判別し、上記絶対値が上記閾値以下である画素については、ノイズリダクションに使用できると判別する。さらに、画素判別ブロック１８は、画素マップ選択ブロック１６から供給された画像データにおいて、ノイズリダクションに使用できると判別された画素毎に画素判別フラグを付した上で、この画像データをグルーピングブロック１９に供給する。

また、制御マイコン１５は、マッチングにより把握されたマップ情報に基づく信号をグルーピングブロック１９に供給する。この信号は、従来のεフィルタリングにおける加算平均の重み付けで、同一の係数を乗算した上で加算していた画素を同一のグループに属するものと判別するためのものである。図５は、同一のグループに属する画素を示すグルーピングの一例である。通常のグルーピングは、図５に示すように、注目画素を中心とした点対称の位置のみをグループとして判断する。これは点対称に位置する画素を同一の重み付けにすることでノイズリダクションに使用可能な画素領域の重心と注目画素の位置を一致させるためである。

次に、グルーピングブロック１９は、画素判別ブロック１８により供給された画像データから画素判別フラグが付された画素群を選択し、制御マイコン１５から供給された信号に基づいて、上記画像データにおいて同一のグループに属するものと判別された画素毎に、他のグループとは識別でき同一のグループに属することを示すグルーピングフラグを付して、画像データを補間画素加算・除算ブロック２１に供給する。

また、制御マイコン１５は、マッチングにより把握されたマップ情報に基づく信号を係数マップ選択ブロック２０に供給する。この信号は、重み付けとして、グルーピングされた画素群に対して、同一の係数を乗算する際の係数を選択するためのものである。εフィルタリングによる平均化を行う場合には、乗算する係数を各グループに対して１と設定する。一方、演算対象マップ２３のマップ情報によっては、画素値に重み付けを行った上で平均化した方がより適切にノイズリダクションを行うことができる場合もある。例えば、注目画素からの距離のみで重み付けを行う場合には、図６に示すように、ＡからＨの距離に応じたグルーピングを行う。図６において、Ｂの注目画素からの距離を４／４とした場合、Ａ〜Ｈの注目画素からの距離は以下のようになる。各グループに対する重み付けとして、例えば、以下の値の逆数を用いることができる。
Ａ＝２／４＝０．５０００
Ｂ＝４／４＝１．００００
Ｃ＝√２／４＝０．３５３６
Ｄ＝２√２／４＝０．７０７１
Ｅ＝√（１^２＋３^２）／４＝０．７９０６
Ｆ＝３√２／４＝１．０６０７
Ｇ＝√（４^２＋２^２）／４＝１．１１８０
Ｈ＝√（４^２＋４^２）／４＝１．４１４２
次に、係数マップ選択ブロック２０は、制御マイコン１５から供給された信号に基づいて、グループ毎に係数が設定された係数マップを選択し、選択された係数マップに基づいて所定の処理を行うための信号を補間画素加算・除算ブロック２１に供給する。

最後に、補間画素加算・除算ブロック２１は、グルーピングブロック１９から供給された画像データからグルーピングフラグが付された画素群を選択し、制御マイコン１５から供給された信号に基づいて、係数マップを選択し、上記画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定する。そして、グループ毎に含まれる画素の画素値を全て加算し、その加算結果と、対応するグループ毎の係数とを乗算し、全てのグループの乗算結果を加算する。さらに、その加算結果を上記係数を考慮した加算数で除算する。このように算出した画素値を注目画素の画素値として、信号処理ブロック１４に供給する。

図７は、本願発明を実施するための最良の形態におけるノイズリダクションの処理の流れを示すフローチャートである。

ステップＳ１では、制御マイコン１５が、撮像素子１１及びＤＬブロック１２を経て供給された画像データから注目画素２４と周辺画素とを演算対象マップ２３として取得する。制御マイコン１５は、演算対象マップのサイズを、画像の特性や、ハードウェアの規模に応じて設定する。

ステップＳ２では、制御マイコン１５が、演算対象マップに対して、例えば、２値化処理をし、処理後の演算対象マップと、予めメモリなどに記憶されている画素マップ群（データベース）とのマッチングにより、演算対象マップのマップ情報を把握する。制御マイコン１５は、このステップＳ２の処理をマッチングが取れるまで繰り返す。

ステップＳ３では、制御マイコン１５が、マッチングにより得られたマップ情報に基づいて、図４に示すような画素マップ群からマップ情報に対応する画素マップを検索する。制御マイコン１５は、画素マップを選択した後、選択された画素マップに基づいて所定の処理を行うための信号を画素マップ選択ブロック１６に供給する。

また、制御マイコン１５は、マッチングにより把握されたマップ情報に基づく信号を閾値マップ選択ブロック１７に供給する。この信号は、閾値を画素毎に特定するためのものである。

また、制御マイコン１５は、マッチングにより把握されたマップ情報に基づいて、従来のεフィルタリングにおける加算平均の重み付けで、同一の係数を乗算した上で加算していた画素を同一のグループに属するものと判別するための信号をグルーピングブロック１９に供給する。

さらに、制御マイコン１５は、マッチングにより把握されたマップ情報に基づく信号を係数マップ選択ブロック２０に供給する。この信号は、重み付けとして、グルーピングされた画素群に対して、同一の係数を乗算する際の係数を特定するためのものである。このステップＳ３におけるマップ情報に基づく各種パラメータの選択については後述する。

ステップＳ４では、画素マップ選択ブロック１６が、制御マイコン１５から供給された信号に基づいて、画素マップを選択し、ＤＬブロック１２から供給された画像データにおいて、画素マップに対応する画素毎に処理対象フラグを付した上で、この画像データを画素判別ブロック１８に供給する。

また、閾値マップ選択ブロック１７は、制御マイコン１５から供給された信号に基づいて、画素毎に閾値が設定された閾値マップを選択し、選択された閾値マップに基づいて所定の処理を行うための信号を画素判別ブロック１８に供給する。

さらに、画素判別ブロック１８は、画素マップ選択ブロック１６から供給された画像データから処理対象フラグが付された画素群を選択する。そして、画素判別ブロック１８は、画素群に含まれるそれぞれの画素について、画素群に含まれる注目画素と周辺画素との差分の絶対値を、閾値マップ選択ブロック１７から供給された閾値とを比較する。画素判別ブロック１８は、上記絶対値が上記閾値より大きい画素については、ノイズリダクションに使用できないと判別し、上記絶対値が上記閾値以下である画素については、ノイズリダクションに使用できると判別する。さらに、画素判別ブロック１８は、画素マップ選択ブロック１６から供給された画像データにおいて、ノイズリダクションに使用できると判別された画素毎に画素判別フラグを付した上で、この画像データをグルーピングブロック１９に供給する。

ステップＳ５では、グルーピングブロック１９が、画素判別ブロック１８により供給された画像データから画素判別フラグが付された画素群を選択し、制御マイコン１５から供給された信号に基づいて、上記画像データにおいて同一のグループに属するものと判別された画素毎に、他のグループとは識別でき同一のグループに属することを示すグルーピングフラグを付して、画像データを補間画素加算・除算ブロック２１に供給する。

ステップＳ６では、係数マップ選択ブロック１７が、制御マイコン１５から供給された信号に基づいて、グループ毎に係数が設定された係数マップを選択し、選択された係数マップに基づいて所定の処理を行うための信号を補間画素加算・除算ブロック２１に供給する。

また、補間画素加算・除算ブロック２１は、グルーピングブロック１９から供給された画像データからグルーピングフラグが付された画素群を選択し、制御マイコン１５から供給された信号に基づいて、係数マップを選択し、上記画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定する。

さらに、補間画素加算・除算ブロック２１は、グループ毎に含まれる画素の画素値を全て加算し、その加算結果と、対応するグループ毎の係数とを乗算し、全てのグループのその乗算結果を加算し、その加算結果を上記係数を考慮した加算数で除算する。このように算出した画素値を注目画素の画素値として、信号処理ブロック１４に供給する。

ステップＳ７では、制御マイコン１５が、全画素に対して補間処理が終了したかを判断し、終了していなければ注目画素を変更してステップＳ１からステップの順に実行する。

ここで、ステップＳ３におけるマップ情報に基づく各種パラメータの選択について、（１）レベル差がない一律画像の場合、（２）エッジがある場合、（３）注目画素がノイズの場合、を実施例として図面を参照して説明する。この一実施形態では、演算対象マップを９×５のサイズとしている。ベイヤー配列の画像を想定すると、Ｇ画素と、Ｒ画素、Ｂ画素とでは画素の配置位置が異なる。演算対象マップを９×５としたため、初期設定として、Ｇ画素にはｍａｐ＿Ｅ、Ｒ画素とＢ画素とにはｍａｐ＿Ｆを選択する。

（１）レベル差がない一律画像の場合
図８は、レベル差がない一律画像の例を示している。図９は、図８で示される各画素と閾値との関係を示す図である。

制御マイコン１５の解析処理により、図９に示すように、初期閾値Ｌｖの範囲内に全ての画素が入ると判定した場合、演算対象マップはレベル差がない一律画像と把握できる。

画素のレベル差が一律である場合は、画素の選択範囲を広くとることが好ましいため、画素マップは、初期設定のまま、すなわち、Ｇ画素にはｍａｐ＿Ｅ（図１０）、Ｒ画素とＢ画素とにはｍａｐ＿Ｆを選択する。また、閾値マップを用いて生成する閾値（生成Ｌｖ）は、初期設定Ｌｖよりも低い値に設定する。さらに、各画素に対して一律の処理をするため、図１０に示すように、全ての画素を同一のグループとし、乗算する係数を１と設定した上で加重平均をとる（重み付けをしない。）。

（２）エッジがある場合
図１１は、演算対象マップの左上にエッジがある画像の例を示している。図１２は、図１１で示される各画素と閾値との関係を示す図である。初期閾値Ｌｖの範囲内にない黒く塗り潰した丸印が、エッジを示す画素である。

制御マイコン１５の解析処理により、図１２に示すように、所定の画素が初期閾値Ｌｖの範囲内にないと判定した場合は、演算対象マップは左上にエッジがある画像と把握できる。

図１１に示すようなエッジが確認できた場合、Ｇ画素にはｍａｐ＿Ｇ（図１３）、Ｒ画素とＢ画素とにはｍａｐ＿Ｈを選択する。広範囲に一律なフィルタをかけることによって、ノイズリダクションに使用可能な画素領域の重心が注目画素の位置からシフトすることを回避するためである。また、エッジがある場合の画素のレベル差は、平坦な場合に比べてある程度の大きさを持つため、閾値マップを用いて生成する閾値（生成Ｌｖ）は、初期設定Ｌｖよりも高い値に設定する。さらに、注目画素から等距離にある周辺画素は同程度の相関関係があり、その相関関係は注目画素と周辺画素との距離が遠ざかるにつれて小さくなるため、図１３に示すように、注目画素からの等距離の位置にある画素を同一のグループとし、注目画素からの距離が遠ざかるにつれて乗算する係数の値を小さくする（重みを下げる。）。

（３）注目画素がノイズの場合
図１４は、注目画素がノイズである画像の例を示している。図１５は、図１４で示される各画素と閾値との関係を示す図である。図において、初期閾値Ｌｖの範囲内にない黒く塗り潰した丸印が、ノイズを示す画素である。

制御マイコン１５の解析処理により、図１５に示すように、注目画素が初期閾値Ｌｖの範囲内にないと判定した場合は、演算対象マップは注目画素にノイズがある画像と把握できる。

図１５に示すように、注目画素がノイズである場合、注目画素に近い画素のみを用いて注目画素を補間するように、画素マップにはｍａｐ＿Ｃ（図１６）を選択する。また、閾値マップを用いて生成する閾値（生成Ｌｖ）は設けず、注目画素に近い画素の全てを演算対象画素として使用する。さらに、注目画素から等距離にある周辺画素は同程度の相関関係があり、その相関関係は注目画素と周辺画素との距離が遠ざかるにつれて小さくなるため、図１６に示すように、注目画素からの等距離の位置にある画素を同一のグループとし、注目画素からの距離が遠ざかるにつれて乗算する係数の値を小さくする（重みを下げる。）。

以上のように、本願発明によれば、演算対象マップの画素パターンに最も近似する画素パターンを、エッジなどを処理対象から外しつつ注目画素を中心とする対称性を考慮した画素パターン群から選択し、その画素パターンに対応する画素をノイズリダクションに使用するため、注目画素の周辺にエッジなどが存在する場合であっても、ノイズリダクションに使用可能な画素領域の重心を注目画素からシフトさせることなく、注目画素の値を最適値で補間することができる。

本願発明の一実施形態における撮像装置のブロック図である。本願発明の一実施形態における撮像装置の他の例のブロック図である。本願発明の一実施形態における画像データのＧ成分の配列を示す図である。本願発明の一実施形態における画素マップ選択処理の説明に供する図である。本願発明の一実施形態におけるグルーピング処理の説明に供する図である。本願発明の一実施形態における重み付け処理の説明に供する図である。本願発明の一実施形態におけるノイズリダクションのフローチャートである。レベル差がない一律画像の例を示す図である。レベル差がない一律画像の場合の各画素と閾値との関係を示す図である。レベル差がない一律画像の場合のグルーピングの例を示す図である。演算対象マップの左上にエッジがある画像の例を示す図である。エッジがある場合の各画素と閾値との関係を示す図である。エッジがある場合のグルーピングの例を示す図である。注目画素がノイズの画像の例を示す図である。注目画素がノイズの場合の各画素と閾値との関係を示す図である。注目画素がノイズの場合のグルーピングの例を示す図である。従来のεフィルタリングを利用したノイズリダクション方法の説明に供する図であって、画像の平坦部における隣接する複数の画素の値を示す図である。従来のεフィルタリングを利用した撮像装置の説明に供する図である。従来のεフィルタリングを利用したノイズリダクション方法の説明に供する図であって、画像のエッジを含む画素領域における隣接する複数の画素の値を示す図である。

符号の説明

１０撮像装置、１１撮像素子、１２ＤＬ（ディレイライン）、１３ノイズリダクション処理ブロック、１４信号処理ブロック、１５制御マイコン、１６画素マップ選択ブロック、１７閾値マップ選択ブロック、１８画素判別ブロック、１９グルーピングブロック、２０係数マップ選択ブロック、２１補間画素加算・除算ブロック、２２画像マッチングブロック、２３演算対象マップ、２４注目画素、２５ｍａｐ＿Ａ、２６ｍａｐ＿Ｂ、２７ｍａｐ＿Ｃ、２８ｍａｐ＿Ｄ、２９ｍａｐ＿Ｅ、３０ｍａｐ＿Ｆ、３１ｍａｐ＿Ｇ、３２ｍａｐ＿Ｈ、１０１注目画素、１０２画素、１０３画素、１０４画素、１０５画素、１０６画素、１０７画素、２０１注目画素、２０２画素、２０３画素、２０４画素、２０５画素、２０６画素、２０７画素、３００被写体、３０１レンズ、３０２撮像素子、３０３ＤＬ（ディレイライン）、３０４ノイズリダクション処理ブロック、３０５画素判別ブロック、３０６補間画素加算・除算ブロック、３０７信号処理ブロック

Claims

制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、
上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップと
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間ステップでは、制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出するノイズリダクション方法。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、
上記画素マップ選択ステップにより取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別ステップと、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、
上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップと
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間ステップでは、上記制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別ステップにより取り出された画素からなる画像データに基づいて補間処理を行うノイズリダクション方法。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、
上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップと
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間ステップでは、制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出するノイズリダクション処理をコンピュータに実行させるプログラム。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択ステップと、
上記画素マップ選択ステップにより取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別ステップと、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピングステップと、
上記画素マップ選択ステップにより取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間ステップと
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間ステップでは、上記制御信号に基づいて、係数マップを選択し、上記グルーピングステップにより取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別ステップにより取り出された画素からなる画像データに基づいて補間処理を行うノイズリダクション処理をコンピュータに実行させるプログラム。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択手段により取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、
上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段と
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間手段では、制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出するノイズリダクション装置。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、
上記画素マップ選択手段により取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別手段と、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、
上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段と
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間手段では、上記制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別手段により取り出された画素からなる画像データに基づいて補間処理を行うノイズリダクション装置。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素マップ選択手段により取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、
上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段と
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間手段では、上記制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出する撮像装置。
制御信号に基づいて、画素マップを選択し、入力された画像データから上記画素マップに対応する画素を取り出す画素マップ選択手段と、
上記画素マップ選択手段により取り出された画素からなる画像データから、制御信号に基づいて、閾値マップを選択し、上記画像データと上記閾値マップとの対応により画素の閾値を特定し、該画素と上記注目画素との差分の絶対値が上記閾値以下である画素を取り出す画素判別手段と、
制御信号に基づいて、同一の係数を乗算した上で加算することとなる画素を同一のグループとし、上記画素判別ステップにより取り出された画素からなる画像データからグループ毎に区別できるように画素を取り出すグルーピング手段と、
上記画素マップ選択手段により取り出された画素からなる画像データの注目画素と該注目画素の周辺画素との演算値によって上記注目画素の画素値を置き換える補間手段と
を備え、
上記制御信号は、画像データから上記注目画素と上記周辺画素とを演算対象マップとして取り出し、上記演算対象マップと記憶された画素マップ群とのマッチングにより、上記演算対象マップのマップ情報を把握し、該マップ情報に基づいて供給され、
上記補間手段では、上記制御信号に基づいて、係数マップを選択し、上記グルーピング手段により取り出された画素からなる画像データと上記係数マップとの対応により上記グループ毎に乗算する係数を特定し、グループ毎の全画素値の加算結果と、対応するグループ毎の係数とを乗算した上で全てのグループについて加算し、上記係数を考慮した、画素の加算数で除算することにより上記演算値を算出し、上記画素判別手段により取り出された画素からなる画像データに基づいて補間処理を行う撮像装置。