JP4887546B2

JP4887546B2 - 輝度変化に適応してノイズをフィルタリングする方法及びシステム

Info

Publication number: JP4887546B2
Application number: JP2010216117A
Authority: JP
Inventors: 亨根李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-06-10
Filing date: 2010-09-27
Publication date: 2012-02-29
Anticipated expiration: 2024-06-10
Also published as: US20040252208A1; KR100510532B1; US20090086060A1; JP2011040088A; KR20040106076A; US7538808B2

Description

本発明はイメージピックアップ装置に係り、特にラインメモリ容量が最小化されるように、イメージセンサーから直接受けたピクセルデータの所定領域を利用してピクセルに対する輝度ノイズをフィルタリングする方法及びシステムに関する。

図１は、イメージセンサー１０４を含む従来のカメラシステムのようなイメージピックアップ装置１０２を説明するための図面である。前記イメージセンサー１０４は対物レンズ１０８を通じて投影された物体１０６のイメージに対するピクセルデータを生成する。例えば、前記イメージセンサー１０４は携帯電話及びＰＤＡのような移動通信端末機に主に使われているＣＩＳ（ＣＭＯＳＩｍａｇｅＳｅｎｓｏｒ）でありうる。

信号プロセッサ１１０は前記イメージセンサー１０４からピクセルデータを受け、ディスプレイ１１２に物体１０６のイメージを表示するか、イメージ認識システム１１４によってさらに処理されるようにするか、またはイメージがリモートディスプレイ１１８に表示されるように伝送システム１１６を通じてイメージを送られるように、データを処理する。図１及び図２を参照すれば、前記イメージセンサー１０４は前記イメージセンサー１０４上に置かれるバイヤーフィルタアレイ（ＢａｙｅｒＦｉｌｔｅｒＡｒｒａｙ）形態のピクセルデータ１２０を生成する。

前記イメージセンサー１０４は各ピクセル位置で該当カラーの感度信号（ｉｎｔｅｎｓｉｔｙｓｉｇｎａｌ）をバイヤーフィルタアレイ形態に生成する。”Ｒ”は赤色カラー成分の感度信号を生成する前記イメージセンサー１０４でのピクセル位置に該当する。”Ｇ”は緑色カラー成分の感度信号を生成する前記イメージセンサー１０４でのピクセル位置に該当する。”Ｂ”は青色カラー成分の感度信号を生成する前記イメージセンサー１０４でのピクセル位置に該当する。

各ピクセル位置に対する補間されたＲＧＢカラー成分の感度信号を決定するために、補間アルゴリズムが前記信号プロセッサ１１０で使われる。前記補間アルゴリズムは前記バイヤーフィルタアレイ１２０形態のピクセルデータを使用する。

前記補間アルゴリズムに対しては特許文献１、特許文献２、または特許文献３に開示されたように、この分野の当業者によく知られている。図３に示されたように、前記補間アルゴリズムでは、特定ピクセル位置１２４で補間されたカラー成分、Ｒ’、Ｇ’、Ｂ’を決定するために、ピクセル位置１２４周辺のピクセルデータ１２６の領域が使われる。

瞬間ノイズは前記イメージピックアップ装置１０２によって検出され、生成された物体イメージに対する品質に影響を及ぼす。前記イメージセンサー１０４に一定の光照射が行われるとしても、前記イメージセンサー１０４からの出力信号に現れる変化が瞬間ノイズである。前記瞬間ノイズは前記イメージセンサー１０４に具備される光素子での”ｓｈｏｔ”ノイズと１／ｆノイズによって生じうる。また、前記瞬間ノイズは前記イメージセンサー１０４内で使われるトランジスタ及び他の回路素子での”熱”ノイズによって生じるか、前記イメージセンサー１０４内で使われるアナログ−デジタル変換器の量子化エラーによって生じうる。

前記瞬間ノイズはイメージの明度によって増加する。しかし、イメージに現れる瞬間ノイズの影響は低い照度でさらに致命的であり、これはＳＮＲ（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ：信号対雑音比）が照度減少によって減少するためである。実際に瞬間ノイズは暗い条件下で前記イメージセンサー１０４のダイナミックレンジの限界として作用する。

図４は、前記瞬間ノイズ除去を行う従来技術を説明するための図面である。前記ピクセルデータ１２０は前記イメージセンサー１０４でバイヤーフィルタアレイ形態に生成される。前記信号プロセッサ１１０は前記ピクセルデータ１２０を補間して、従来のフレームメモリ１２２に記憶される、それぞれ補間されたＲＧＢカラー成分１２２Ａ、１２２Ｂ、１２２Ｃを生成する。

従来技術では、ｎ＊ｎピクセルアレイに対する前記補間されたＲＧＢカラー成分１２２Ａ、１２２Ｂ、１２２Ｃが生成されて前記フレームメモリ装置１２２に記憶された後、ノイズ除去部１３２は瞬間ノイズの悪い影響を除去するために前記補間されたＲＧＢカラー成分を利用する。前記補間されたＲＧＢカラー成分１２２Ａ、１２２Ｂ、１２２Ｃの３＊３ピクセルアレイを使用する前記ノイズ除去部１３２が図４に示されている。しかし、瞬間ノイズを除去するために前記補間されたＲＧＢカラー成分１２２Ａ、１２２Ｂ、１２２Ｃの５＊５、７＊７、または他のｎ＊ｎピクセルアレイを使用することもできる。
前記のような従来のノイズ除去技術では、前記ノイズ除去部１３２で使われるｎ＊ｎアレイの前記補間されたＲＧＢカラー成分を記憶するのに十分なフレームメモリ１２２が要求される。しかし、カメラシステム１０２が携帯電話またはＰＤＡのような移動通信端末機に内蔵される時、前記のように相対的に大容量のメモリ１２２は不利である。したがって、カメラシステム１０２が移動通信端末機に内蔵される時、端末機サイズの縮少、消費電力の縮小、特にコスト減少のために、フレームメモリ１２２の除去が要求される。

米国特許第５，３８２，９７６号公報米国特許第５，５０６，６１９号公報米国特許第６，０９１，８６２号公報

本発明が解決しようとする技術的課題は、フレームメモリが除去されるように、イメージセンサーから直接受けたピクセルデータの相対的に小さな領域を利用してピクセルに対する輝度ノイズをフィルタリングする方法及びシステムを提供するところにある。

前記の技術的課題を達成するための本発明による、輝度ノイズフィルタリング方法またはシステムでは、イメージセンサーから受けたピクセルの、Ｒ、Ｇ、Ｂいずれか１つの値をもつピクセルデータ（以下、単にピクセルデータという）の所定領域が使われて、前記所定領域内のあるピクセルに対する仮想的にフィルタリングされた輝度を決定する。仮想的にフィルタリングされた輝度は前記領域の各ピクセルに対する重み付け係数を各ピクセルデータに乗算した値を平均することによって計算される。

本発明による、輝度ノイズフィルタリング方法は、
信号プロセッサ［１１０］を用いて輝度ノイズフィルタリングを実行する方法であって、

イメージセンサー［１０４］から、所定領域［２０６］内の複数個のピクセルデータ［Ｒ、Ｇ、Ｂ］を入力［３０２］し、前記所定領域内の各ピクセルに対する重み付け係数により前記所定領域内の複数個のピクセルデータを加重平均して、前記所定領域内のあるピクセルに対して、当該ピクセルを含む複数個のピクセルを２行×２列の互いに隣接する４個のピクセルごとにグループ化し、各グループの前記ピクセルデータの平均値を求め、前記各グループの平均値を加重平均し、前記加重平均値に輝度補償係数を乗じて、仮想フィルタリングされた輝度［ＧＯＵＴ］を決定［３０６］し、前記所定領域内の複数個のピクセルデータから前記ピクセルに対する補間されたカラー成分［Ｒ’、Ｇ’、Ｂ’］を決定［３０４］し、前記補間されたカラー成分を加重平均して前記ピクセルに対する基準輝度［Ｙ１Ｈ］を決定し［３０４］、前記ピクセルの最終輝度を、前記仮想フィルタリングされた輝度［ＧＯＵＴ］と前記基準輝度［Ｙ１Ｈ］のいずれか一つをある閾値［ＴＨＶ］に基づいて選択して決定［３１０］し、ここで前記最終輝度の決定に際して、適応輝度［ＡＹ］は、従前のイメージの全体明るさ、前記所定領域内の複数個のピクセルに対する平均基準輝度、前記基準輝度、のいずれか一つであり、前記イメージセンサーに対する自動輝度ゲインが大きいほど前記閾値が大きい関係に基づいて、前記閾値を決定［３０６］し、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値［３０８］が前記閾値より小さいか同じであれば、前記仮想フィルタリングされた輝度を選択［３１２］し、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値［３０８］が前記閾値より大きければ、前記基準輝度を選択［３１４］する、ことを特徴とする。

このように、イメージセンサーから受けた所定領域のピクセルデータを使用して決定された仮想輝度を利用して各ピクセルに対するノイズフィルタリングが行われる。したがって、補間されたピクセルデータを記憶するフレームメモリが除去される。フレームメモリの除去は特に移動通信端末機に内蔵されるカメラシステムのサイズ縮少、消費電力の縮小、コスト減少に有利である。

本発明によるノイズ除去フィルタは、ラインメモリの追加なしに輝度の変化に対応してノイズを効果的に除去できる。したがって、このようなノイズ除去フィルタによるディスプレイの場合、ＤＳＣや携帯電話などの低コスト及び小型化の実現に適しており、ノイズがないように表示画面の画質を向上させうる。

従来のカメラシステムのようなイメージピックアップ装置を説明するための図面である。バイヤーカラーフィルタアレイ形態に生成されたピクセルデータをカラー成分で補間する従来技術を説明するための図面である。バイヤーカラーフィルタアレイ形態に生成されたピクセルデータの所定領域内のピクセルのカラー成分を決定する従来技術を説明するための図面である。ｎ＊ｎアレイのカラー成分が決定された後でノイズ除去を行う従来技術を説明するための図面である。あるピクセルでの輝度とカラー成分とを決定するために、ピクセルデータの所定領域を使用してノイズフィルタリングを行う本発明の一実施形態を表す図面である。フレームメモリが除去されるように、図５のようにノイズフィルタリングを行う本発明の一実施形態によるシステムのブロック図である。図６のシステムの動作説明のためのフローチャートである。図７でバイヤーカラーフィルタアレイ形態に生成されたピクセルデータの所定領域内のピクセルのカラー成分を決定する本発明の一実施形態を説明するための図面である。多数の仮想輝度アレイを決定するための図８のピクセルデータの領域を表す図面である。多数の仮想輝度アレイを決定するための図８のピクセルデータの領域を表す図面である。多数の仮想輝度アレイを決定するための図８のピクセルデータの領域を表す図面である。図６のシステムのノイズフィルタを表すブロック図である。輝度によって閾値を決定するための図６のシステムのデータプロセッサで使われたグラフの一例を表す図面である。カメラシステムの自動輝度ゲインによって閾値を決定するための図６のシステムのデータプロセッサで使われたグラフの他の例を表す図面である。

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには本発明の望ましい実施形態を例示する図面及び図面に記載された内容を参照せねばならない。
以下、図面を参照して本発明の望ましい実施形態をより詳細に説明する。各図面に提示された同じ参照符号は同じ部材を示す。

図５及び図６を参照すれば、本発明の一面によるシステム２００はイメージセンサー１０４から直接受けるピクセルデータの所定領域を利用してノイズフィルタリングを行う。その他にも、ノイズフィルタリングは前記領域内のあるピクセル位置に対する前記のような所定ピクセルデータ領域を使用して輝度を決定する間に使われる。図７は、図６のシステムの動作説明のためのフローチャートである。

前記システム２００は前記イメージセンサー１０４から受けるピクセルデータを処理するために、通常は、信号プロセッサ１１０内で実現される。図６ないし図８を参照すれば、ＲＧＢマトリックス２０２はラインメモリ装置２０４を含む。前記メモリ装置２０４は前記イメージセンサー１０４からバイヤーカラーフィルタアレイ形態に生成される所定ピクセルデータ領域２０６を入力して記憶する（図７の３０２段階）。

前記ラインメモリ装置２０４はデータ記憶装置の如何なる形態でも実現されうる。例えば、前記イメージセンサー１０４が一列（ｒｏｗｂｙｒｏｗ）ずつ順にピクセルデータを出力する時、前記ラインメモリ装置２０４は４＊Ｈピクセル位置に対するピクセルデータを記憶する。ここで、Ｈは前記イメージセンサー１０４でのピクセルカラム数（例えば、６８４カラム）である。

前記ＲＧＢマトリックス２０２はまた、前記領域２０６内のあるピクセル位置２１０の補間されたカラー成分Ｒ’、Ｂ’、Ｇ’を決定する補間プロセッサ２０８を含む（図７の３０４段階）。図８を参照すれば、前記補間プロセッサ２０８は前記補間されたカラー成分Ｒ’、Ｂ’、Ｇ’を生成するために、前記ピクセルデータ領域２０６を補間する。前記補間されたカラー成分Ｒ’、Ｂ’、Ｇ’を生成するためのこのような補間アルゴリズムはこの分野の当業者によく知られている。

その他にも、前記ＲＧＢマトリックス２０２は前記補間されたカラー成分Ｒ’、Ｂ’、Ｇ’から数式１のように基準輝度Ｙ１Ｈを決定する（図７の３０４段階）。

Ｙ１Ｈ＝（１９Ｒ’＋３８Ｇ’＋７Ｂ’）／６４（１）

このような基準輝度Ｙ１Ｈは、この分野の当業者によく知られているように、輝度を計算する一般的な標準によって計算される。

また、前記ＲＧＢマトリックス２０２は仮想輝度アレイＹ０Ｖ、Ｙ１Ｖ、Ｙ２Ｖを決定する仮想輝度プロセッサ２１２を含む（図７の３０４段階）。図９Ａを参照すれば、第１仮想輝度アレイＹ０Ｖ＝［Ａ、Ｂ、Ｃ］を構成するＡ、Ｂ、及びＣそれぞれは前記ピクセルデータ領域２０６内のＡ、Ｂ、及びＣで表示されたボックス中の４ピクセルの感度値の平均である。

同様に、図９Ｂを参照すれば、第２仮想輝度アレイＹ１Ｖ＝［Ｄ、Ｅ、Ｆ］を構成するＤ、Ｅ、及びＦそれぞれは前記ピクセルデータ領域２０６内のＤ、Ｅ、及びＦで表示されたボックス中の４ピクセルの感度値の平均である。また、図９Ｃを参照すれば、第３仮想輝度アレイＹ２Ｖ＝［Ｇ、Ｈ、Ｉ］を構成するＧ、Ｈ、及びＩそれぞれは前記ピクセルデータ領域２０６内のＧ、Ｈ、及びＩで表示されたボックス中の４ピクセルの感度値の平均である。このような仮想輝度アレイＹ０Ｖ、Ｙ１Ｖ、Ｙ２Ｖは、前記ピクセル位置２１０に対する前記補間されたカラー成分Ｒ’、Ｂ’、Ｇ’を決定するピクセルデータ領域２０６を使用して、前記ピクセル位置２１０に対して決定される。

図６で、前記ＲＧＢマトリックス２０２は、前記基準輝度Ｙ１Ｈと前記仮想輝度アレイＹ０Ｖ、Ｙ１Ｖ、Ｙ２Ｖとをノイズフィルタ２１４に伝送する。その他にも、前記ＲＧＢマトリックス２０２は前記補間されたカラー成分Ｒ’、Ｂ’、Ｇ’をＹ／Ｃ（輝度／色差）プロセッサ２１６内の色差信号プロセッサ２１５に伝送する。また、前記ＲＧＢマトリックス２０２は、前記基準輝度Ｙ１Ｈと前記補間されたカラー成分Ｒ’、Ｂ’、Ｇ’とをデータプロセッサ２１８に伝送する。

図１０は、前記仮想輝度アレイＹ０Ｖ、Ｙ１Ｖ、Ｙ２Ｖから仮想フィルタリングされた輝度ＧＯＵＴを決定する（図７の３０６段階）前記ノイズフィルタ２１４を表すブロック図である。前記ノイズフィルタ２１４は乗算及び加算部２３０内に乗算器２２２、２２４、２２６及び加算器２２８を含む。

前記第１乗算器２２２は数式２のように、前記第１輝度アレイＹ０Ｖと第１重み付け（ｗｅｉｇｈｔｅｄ）係数アレイＧＡＤ０［３９６３３９］とを乗算する。

３９＊Ａ＋６３＊Ｂ＋３９＊Ｃ（２）

同じく、前記第２乗算器２２４は数式３のように、前記第２輝度アレイＹ１Ｈと第２重み付け係数アレイＧＡＤ１［６３１０４６３］とを乗算する。

６３＊Ｄ＋１０４＊Ｅ＋６３＊Ｆ（３）

また、前記第３乗算器２２６は数式４のように、前記第３輝度アレイＹ２Ｖと第３重み付け係数アレイＧＡＤ２［３９６３３９］とを乗算する。

３９＊Ｇ＋６３＊Ｈ＋３９＊Ｉ（４）

前記加算器２２８は前記乗算器２２２、２２４、２２６で計算された結果値を全て加算する。明るさ制御部２３４内のシフター２３２は前記加算器２２８の計算結果を前記重み付け係数ＧＡＤ０、ＧＡＤ１及びＧＡＤ２のすべての加算値、すなわち、５１２で割る。前記明るさ制御部２３４内の第４乗算器２３６は、前記仮想フィルタリングされた輝度ＧＯＵＴを生成するために、前記シフター２３２の計算結果と輝度補償係数αとを乗算する。

本発明で、前記輝度補償係数αと前記重み付け係数アレイＧＡＤ０、ＧＡＤ１、ＧＡＤ２とはガウス分布方程式の利用で最適のイメージ品質が出るように決定され、図６のデータレジスタ２２０に記憶される。このように、前記仮想フィルタリングされた輝度ＧＯＵＴは前記領域２０６の各ピクセル位置に対する各重み付け係数を乗算したピクセルデータを平均して決定される。

その他にも、図６を参照すれば、前記データプロセッサ２１８は閾値ＴＨＶを決定する（図７の３０６段階）。
図１１を参照すれば、前記データプロセッサ２１８は図１１のグラフ２２３に示されたように、適応輝度ＡＹによって異なる閾値ＴＨＶを決定し、閾値ＴＨＶは、適応輝度ＡＹが小さいほど大きい。
前記適応輝度ＡＹは、本発明の第１の実施形態では、従前のイメージの全体明るさを表す。

例えば、第２の実施形態では、図１２で、前記閾値ＴＨＶは前記カメラシステム１０２で使われた自動輝度ゲインによって変わる他のグラフ２２５によって決定されうる。この分野の当業者によく知られているように、前記自動輝度ゲインは前記カメラシステム１０２内の前記イメージセンサー１０２によって検出されるイメージの明るさ（平均輝度）を表す。高い自動輝度ゲインは図１２のグラフ２２５によって高い閾値ＴＨＶのための暗いイメージを表す。

本発明の他の一面で、第３の実施形態では、前記基準輝度Ｙ１Ｈは図１１で前記適応輝度ＡＹを表すものと使われる。この時、前記閾値ＴＨＶは各ピクセル位置に対する明るさレベル（輝度）によって決定される。
第４の実施形態では、前記適応輝度ＡＹは所定ピクセルデータ領域に対する各基準輝度Ｙ１Ｈの平均である。

図１０で、比較部２３８は減算器２４及び絶対値生成器２４２を含む。前記比較部２３８は前記仮想フィルタリングされた輝度ＧＯＵＴと基準輝度Ｙ１Ｈ間の差の絶対値ＤＥＬＴＡを決定する（図７の３０８段階）。前記比較部２３８内の比較器２２４は前記絶対値ＤＥＬＴＡと前記閾値ＴＨＶとを比較する（図７の３１０段階）。

図１０で、ＭＵＸ（ｍｕｌｔｉｐｌｅｘｅｒ）２４６は、前記基準輝度Ｙ１Ｈ及び前記仮想フィルタリングされた輝度ＧＯＵＴが入力される。前記絶対値ＤＥＬＴＡが前記閾値ＴＨＶより小さいか同じ場合に、該当ピクセル位置２１０に対する最終輝度として前記仮想フィルタリングされた輝度ＧＯＵＴを選択して出力するように、前記比較器２２４は前記ＭＵＸ２４６をコントロールする（図７の３１２段階）。言い換えれば、前記絶対値ＤＥＬＴＡが前記閾値ＴＨＶより大きい場合には、該当ピクセル位置に対する最終輝度として前記基準輝度Ｙ１Ｈを選択して出力するように、前記比較器２２４は前記ＭＵＸ２４６をコントロールする（図７の３１４段階）。

もし前記ピクセル位置２１０がイメージの最後のピクセル位置であれば（図７の３１６段階）、図７のフローチャートの動作は終了される。そうでなければ、段階３０２、３０４、３０６、３０８、３１０、３１２、３１４、及び３１６の動作は前記イメージセンサー１０４からの他のピクセルデータ領域に対して繰り返される。このような繰り返される段階は、前記イメージの各ピクセルデータ領域で各ピクセル位置に対する、輝度と補間されたカラー成分とを決定するために繰り返される。

一般的に、この分野の当業者によく知られているように、小さな処理イメージのデータアレイを提供するために、それよりは大きいピクセルデータアレイが前記イメージセンサー１０４から生成される。前記イメージセンサー１０４の外側周辺方向に位置したピクセルデータは前記処理されたイメージの中心方向に位置した隣接ピクセルのイメージ信号処理のために使われる。しかし、この分野の当業者によく知られているように、あるピクセル位置周囲の余分のピクセルデータ領域は不要であるので、そのような外側周辺方向に位置したピクセルデータは前記処理されたイメージから除去される。図７の段階３０４、３０６、３０８、３１０、３１２、３１４、及び３１６の動作は前記処理されたイメージに対する各ピクセル位置に対して繰り返される。

このように、ノイズフィルタリングは、前記ピクセル位置２１０に対する最終輝度Ｙ１Ｈ／ＧＯＵＴを決定する間に、イメージセンサー１０４からのピクセルデータ領域２０６を使用してあるピクセル位置に対して行われる。前記ピクセルデータ領域２０６はまた、前記ピクセル位置２１０の補間されたカラー成分Ｒ’、Ｇ’、Ｂ’を決定するために使われる。ノイズフィルタリングはイメージセンサー１０４からのピクセルデータ領域２０６を使用して行われるので、補間されたピクセルデータを記憶するフレームメモリは本発明によって除去されうる。

したがって、前記輝度ノイズフィルタが前記ピクセル位置２１０の最終輝度Ｙ１Ｈ／ＧＯＵＴと補間されたカラー成分Ｒ’、Ｇ’、及びＢ’とを決定するために、前記イメージセンサーからのイメージデータを使用するので、前記イメージピックアップ装置に含まれたメモリ装置の容量は、最小化されうる。前記カメラシステムが移動通信端末機に内蔵される時、前記のように小さくなったメモリ容量は端末機サイズの縮少、消費電力の縮小、特にコスト減少に有利である。

その他にも、本発明はイメージ明るさによって閾値ＴＨＶを可変させて適応ノイズフィルタリングを提供する。より明るいイメージに対しては、仮想フィルタリングされた輝度ＧＯＵＴの代りに前記基準輝度Ｙ１Ｈが最終輝度として選択される。ノイズフィルタリングはイメージに歪曲を起こし、これにより瞬間ノイズの効果がさらに明るいイメージに対しては小さく現れる。したがって、仮想ノイズフィルタリングによって歪曲のない基準輝度Ｙ１Ｈがさらに明るいイメージに対して最終輝度として選択される。逆に、瞬間ノイズの否定的効果はさらに暗いイメージに対してさらに大きく現れる。したがって、さらに暗いイメージに対してはノイズフィルタリングを経た前記仮想フィルタリングされた輝度ＧＯＵＴが最終輝度として選択される。

図６で、Ｙ／Ｃプロセッサ２１６内の輝度信号プロセッサ２１７はＹ／Ｃ（輝度／色差）フォーマッタ２１９に出力する輝度信号Ｙを生成するために、最終輝度Ｙ１Ｈ／ＧＯＵＴに対する輪郭補償処理を行う。前記Ｙ／Ｃプロセッサ２１６内の色差信号プロセッサ２１５は補間されたカラー成分Ｒ’、Ｇ’、Ｂ’と前記データプロセッサ２１８からの自動ホワイトバランスデータ（ＡＷＢＤ：ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅＤａｔａ）とを受信して、前記Ｙ／Ｃフォーマッタ２１９に出力する色差信号Ｒ”−Ｙ、Ｂ”−Ｙを生成する。ここで、Ｒ”は前記補間されたカラー成分Ｒ’が自動ホワイトバランスデータによって調節された感度を表し、Ｂ”は前記補間されたカラー成分Ｂ’が自動ホワイトバランスデータによって調節された感度を表す。

前記Ｙ／Ｃフォーマッタ２１９は前記ディスプレイ１１２、前記イメージ認識システム１１６、または前記伝送システム１１６で要求される標準データ形式によって、輝度及び色差データＹ、Ｃｂ、Ｃｒ及びカラーデータＲ”’、Ｇ”’、及びＢ”’を生成する。前記Ｙ／Ｃプロセッサ２１６及び前記Ｙ／Ｃフォーマッタ２１９が出力する前記のような成分は、この分野の当業者によく知られている。前記データプロセッサ２１８は、また、よく知られているように、Ｙ１Ｈ、Ｒ’、及びＢ’から自動輝度ゲインデータＡＥＤを決定して、前記イメージピックアップ装置に出力する。

以上、図面と明細書で最適の実施形態が開示された。ここで特定な用語が使われたが、これはただ本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、本技術分野の当業者であれば、これより多様な変形及び均等な他の実施形態が可能である点が理解できるであろう。例えば、本発明は移動通信端末機の一部でありうるカメラシステム１０２について記載された。しかし、本発明はイメージ信号処理を行う如何なる形態のイメージ化装置に対しても使われうる。その他にも、本発明の一実施形態による前記構成要素はハードウェア、ソフトウェア、または個別素子か集積回路装置などの多様な組合せによって実現されることもできる。また、ここで記載されたある数、すなわち、ピクセル個数などはただ例を挙げて表したものであって、特定数に限定されるものではない。したがって、本発明の技術的範囲は特許請求の範囲に記載に基づいて定められねばならない。

本発明によるノイズフィルタリング方法及びシステムは、携帯電話またはＰＤＡのような移動通信端末機のカメラシステムに利用されうる。

２００システム
２０２ＲＧＢマトリックス
２０４ラインメモリ装置
２０８補間プロセッサ
２１２仮想輝度プロセッサ
２１４ノイズフィルタ
２１５色差信号プロセッサ
２１６Ｙ／Ｃ（輝度／色差）プロセッサ
２１７輝度信号プロセッサ
２１８データプロセッサ
２１９Ｙ／Ｃ（輝度／色差）フォーマッタ
２２０データレジスタ
Ｙ１Ｈ基準輝度
Ｙ０Ｖ、Ｙ１Ｖ、Ｙ２Ｖ仮想輝度アレイ
ＧＡＤ０第１重み付け係数アレイ
ＧＡＤ１第２重み付け係数アレイ
ＧＡＤ２第３重み付け係数アレイ
Ｙ１Ｈ／ＧＯＵＴ最終輝度
ＴＨＶ閾値
ＡＥＤ自動輝度ゲインデータ
ＡＷＢＤ自動ホワイトバランスデータ
Ｙ、Ｃｂ、Ｃｒ輝度及び色差
Ｒ’、Ｂ’、Ｇ’ カラー成分

Claims

信号プロセッサを用いて輝度ノイズフィルタリングを実行する方法であって、
イメージセンサーから、所定領域内の複数個のピクセルの、Ｒ、Ｇ、Ｂいずれか１つの値をもつピクセルデータ（以下、単にピクセルデータという）を入力する段階と、
前記所定領域内のあるピクセルに対して、当該ピクセルを含む複数個のピクセルを２行×２列の互いに隣接する４個のピクセルごとにグループ化し、各グループの前記ピクセルデータの平均値を求め、前記各グループの平均値を加重平均し、前記加重平均値に輝度補償係数を乗じて、仮想フィルタリングされた輝度を決定する段階と、
前記所定領域内の複数個のピクセルデータから前記ピクセルに対する補間されたカラー成分を決定する段階と、
前記補間されたカラー成分を加重平均して前記ピクセルに対する基準輝度を決定する段階と、
前記ピクセルの最終輝度を、前記仮想フィルタリングされた輝度と前記基準輝度のいずれか一つをある閾値に基づいて選択して決定する段階と、を具備し、
ここで前記最終輝度の決定に際して、
適応輝度は、従前のイメージの全体明るさ、前記所定領域内の複数個のピクセルに対する平均基準輝度、前記基準輝度、のいずれか一つであり、
前記イメージセンサーに対する自動輝度ゲインが大きいほど前記閾値が大きい関係に基づいて前記閾値を決定し、
前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値が前記閾値より小さいか同じであれば、前記仮想フィルタリングされた輝度を選択し、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値が前記閾値より大きければ、前記基準輝度を選択する、
ことを特徴とする輝度ノイズフィルタリング方法。
前記イメージセンサーは、最小化されたラインメモリ容量を有する移動通信用イメージピックアップ装置に内蔵されることを特徴とする請求項１に記載の輝度ノイズフィルタリング方法。
信号プロセッサを用いた輝度ノイズフィルタリングシステムであって、
イメージセンサーからの、所定領域内の複数個のピクセルの、Ｒ、Ｇ、Ｂいずれか１つの値をもつピクセルデータ（以下、単にピクセルデータという）を記憶するメモリと、
前記所定領域内のあるピクセルに対して、当該ピクセルを含む複数個のピクセルを２行×２列の互いに隣接する４個のピクセルごとにグループ化し、各グループの前記ピクセルデータの平均値を求め、前記各グループの平均値を加重平均し、前記加重平均値に輝度補償係数を乗じて、仮想フィルタリングされた輝度を決定するノイズフィルタと、
前記所定領域内の複数個のピクセルデータから前記ピクセルに対する補間されたカラー成分［Ｒ’、Ｇ’、Ｂ’］を決定するマトリックス［２０２］と、
前記マトリックスは、さらに、前記補間されたカラー成分を加重平均して前記ピクセルに対する基準輝度［Ｙ１Ｈ］を決定し、
前記ノイズフィルタは、前記ピクセルの最終輝度を、前記仮想フィルタリングされた輝度［ＧＯＵＴ］と前記基準輝度［Ｙ１Ｈ］のいずれか一つをある閾値［ＴＨＶ］に基づいて選択して決定し、
ここで前記最終輝度の決定に際して、
適応輝度［ＡＹ］は、従前のイメージの全体明るさ、前記所定領域内の複数個のピクセルに対する平均基準輝度、前記基準輝度、のいずれか一つであり、
前記イメージセンサーに対する自動輝度ゲインが大きいほど前記閾値が大きい関係に基づいて前記閾値を決定［３０６］する、データプロセッサ［２１８］と、を備え、
前記ノイズフィルタは、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値が前記閾値より小さいか同じであれば、前記仮想フィルタリングされた輝度を選択し、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値が前記閾値より大きければ、前記基準輝度を選択する、
ことを特徴とする輝度ノイズフィルタリングシステム。
前記イメージセンサーは、最小化されたラインメモリ容量を有する移動通信用イメージピックアップ装置に内蔵されることを特徴とする請求項３に記載の輝度ノイズフィルタリングシステム。
信号プロセッサを用いた輝度ノイズフィルタリングシステムであって、
イメージセンサーからの、所定領域内の複数個のピクセルの、Ｒ、Ｇ、Ｂいずれか１つの値をもつピクセルデータ（以下、単にピクセルデータという）を入力する手段と、
前記所定領域内のあるピクセルに対して、当該ピクセルを含む複数個のピクセルを２行×２列の互いに隣接する４個のピクセルごとにグループ化し、各グループの前記ピクセルデータの平均値を求め、前記各グループの平均値を加重平均し、前記加重平均値に輝度補償係数を乗じて、仮想フィルタリングされた輝度を決定する手段と、
前記所定領域内の複数個のピクセルデータから前記ピクセルに対する補間されたカラー成分を決定する手段と、
前記補間されたカラー成分を加重平均して前記ピクセルに対する基準輝度を決定する手段と、
前記ピクセルの最終輝度を、前記仮想フィルタリングされた輝度と前記基準輝度のいずれか一つをある閾値に基づいて選択して決定する手段と、
ここで前記最終輝度の決定に際して、
適応輝度は、従前のイメージの全体明るさ、前記所定領域内の複数個のピクセルに対する平均基準輝度、前記基準輝度、のいずれか一つであり、
前記イメージセンサーに対する自動輝度ゲインが大きいほど前記閾値が大きい関係に基づいて前記閾値を決定する手段と、
さらに、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値が前記閾値より小さいか同じであれば、前記仮想フィルタリングされた輝度を選択し、前記仮想フィルタリングされた輝度と前記基準輝度間の差の絶対値が前記閾値より大きければ、前記基準輝度を選択する手段と、
を具備することを特徴とする輝度ノイズフィルタリングシステム。