JP5156022B2 - パンクロマチックおよびカラーの画像のノイズ低減 - Google Patents

パンクロマチックおよびカラーの画像のノイズ低減 Download PDF

Info

Publication number
JP5156022B2
JP5156022B2 JP2009536240A JP2009536240A JP5156022B2 JP 5156022 B2 JP5156022 B2 JP 5156022B2 JP 2009536240 A JP2009536240 A JP 2009536240A JP 2009536240 A JP2009536240 A JP 2009536240A JP 5156022 B2 JP5156022 B2 JP 5156022B2
Authority
JP
Japan
Prior art keywords
image
panchromatic
noise
color
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009536240A
Other languages
English (en)
Other versions
JP2010509841A5 (ja
JP2010509841A (ja
Inventor
イー.,ジュニア アダムス,ジェイムズ
オブライエン,ミシェル
ハロルド ピルマン,ブルース
Original Assignee
オムニビジョン テクノロジーズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムニビジョン テクノロジーズ, インコーポレイテッド filed Critical オムニビジョン テクノロジーズ, インコーポレイテッド
Publication of JP2010509841A publication Critical patent/JP2010509841A/ja
Publication of JP2010509841A5 publication Critical patent/JP2010509841A5/ja
Application granted granted Critical
Publication of JP5156022B2 publication Critical patent/JP5156022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、概して、パンクロマチック画素およびカラー画素を有する画像からフルカラーのノイズが低減されたフル解像度画像を生成するディジタル画像処理操作の分野に関する。
最も一般的でしばしば必須とされる画像処理操作の1つはノイズの低減である。ノイズの低減は、特に、不十分な照明条件下で捕捉されたであろうディジタルスチルカメラ画像およびディジタルビデオカメラ画像に当てはまる。最適な照明条件に満たない条件下でのディジタル画像キャプチャに対処する1つの方法は、低いまたは不十分なシーン照明に対して特に感受性の高い1または2以上のカラーチャネルを得るか合成することである。高い感光性を有するチャネルから得られたデータは、付随する標準カラーチャネルに由来するデータのその後の画像処理を支援するために一般的に使用される。ノイズの低減は、この付加的な画像データから利点を得るための主要な候補である。多数の例が文献にある。米国特許第6,646,246号(Gindeleら)には、低速および高速画素を有する拡張ダイナミックレンジカラーフィルターアレイ(CFA)パターンを使用すること、低速画素データのみを使用して低速画素データをノイズ除去すること、および高速画素データのみを使用して高速画素データをノイズ除去することが教示されている。この方法では、各カラーチャネルが高速チャネルおよび低速チャネルに細分されるために画像解像度を犠牲にしてノイズの低減が達成され、その後の合併により、対処しようとしている原ノイズよりも問題のある画像処理アーチファクトを生じうる。米国特許第7,065,246号(Xiaomangら)は、直接検出したカラーチャネルデータ、この場合にはシアン、マゼンタ、イエローおよびグリーンから輝度信号を構築するという点で、多くの類似の開示された発明の代表的なものである。構築された輝度の高周波数成分は、原カラーチャネル信号の高周波数成分を置き換えて画像データの全体的なノイズ低減をもたらすために使用される。幾分効果的であるが、この方法の主な不都合な点は、合成される輝度チャネルがノイズの多いカラーチャネルから構築され、本質的に等しいノイズの多い合成チャネルをもたらすことである。
より好ましい方法が米国特許第5,264,024号(Cok)に提案されている。Cokは、各画素位置でのレッド、グリーン、ブルーおよび輝度の値を直接測定することを提案している。対応するレッド、グリーンおよびブルーのデータよりも本質的にノイズが少ないようにされた高周波数輝度データを使用して上記の高周波数レッド、グリーンおよびブルーデータを置き換え、ノイズが除去されたレッド、グリーンおよびブルーの信号を生成させる。ディジタルスチルカメラおよびディジタルビデオカメラの大多数は1画素あたり1つのカラーチャネルを検出するだけのCFAを備えた1つのセンサーを使用するために、かかる系ではCokの方法を直接実施することはできない。
XiaomangおよびCokは輝度信号について記載しているが、人間の視覚系の輝度チャネルに対応する測光感度を有するチャネルは不必要に限定的である。より有用な信号は、人間の視覚系の輝度チャネルにわたる全波長で高い感度を有するより一般的なパンクロマチックチャネルにより捕捉できるものである。
米国特許第6,646,246号明細書 米国特許第7,065,246号明細書 米国特許第5,264,924号明細書
本発明の目的は、パンクロマチック画素およびカラー画素を有するディジタル画像からノイズが低減されたフル解像度のフルカラー画像を生成することである。
この目的は、ノイズが低減されたディジタルカラー画像を生成する方法であって、
(a)パンクロマチック画素および少なくとも2つのカラー光応答に対応するカラー画素を有する画像を提供するステップ;
(b)前記画像からパンクロマチック画像および少なくとも1つのカラー画像を提供するステップ;および
(c)前記パンクロマチック画像およびカラー画像を使用して、ノイズが低減されたディジタルカラー画像を生成するステップ;
を含む方法により達成される。
本発明の1つの特徴は、パンクロマチック画素およびカラー画素を有するセンサーにより低照明条件下で画像を捕捉でき、処理によってパンクロマチック画素およびカラー画素から生じたフルカラー画像におけるノイズを低減することである。
図1は、本発明を実施するための、ディジタルカメラを含むコンピュータシステムの概略図である。 図2は、本発明の好ましい一実施態様のブロック図である。 図3は、本発明の別の一実施態様のブロック図である。 図4は、本発明の別の一実施態様のブロック図である。 図5は、本発明の別の一実施態様のブロック図である。 図6は、図2のブロック202において使用される画素の領域である。 図7は、図2のブロック206において使用される画素の領域である。 図8は、図3のブロック210において使用される画素の領域である。 図6は、図4のブロック204において使用される画素の領域である。
以下の説明では、通常はソフトウェアプログラムとして実現であろうものによって、本発明の好ましい一実施態様を説明する。当業者は、かかるソフトウェアの等価物もハードウェア中に構成できることを容易に理解するであろう。画像操作のアルゴリズムおよびシステムは公知であるため、ここでの説明は、特に、本発明に係るシステムおよび方法の部分を構成する、あるいは、本発明に係るシステムおよび方法とより直接的に協働するアルゴリズムおよびシステムに対して行うことにする。かかるアルゴリズムおよびシステムの別の側面、並びにそれに関連する画像信号を生成させるためやその他の処理のためのハードウェアおよびソフトウェアは、本明細書に具体的に提示または記載していないが、当該技術分野で知られているかかるシステム、アルゴリズム、成分および要素から選択することができる。以下の材料で本発明に係るシステムを仮定した場合に、本明細書に具体的に提示、提案または記載していないが、本発明の実施に有用なソフトウェアは、従来からある一般的なものであり、当業者の知識の範囲内である。
さらに、本明細書では、コンピュータプログラムは、コンピュータの読み取り可能な記憶媒体に記憶させることができる。コンピュータの読み取り可能な記憶媒体としては、例えば、磁気記憶媒体、例えば磁気ディスク(ハードドライブやフロッピー(登録商標)ディスクなど)や磁気テープなど;光学的記憶媒体、例えば光ディスク、光テープ、機械で読み取り可能なバーコード)など;固体電子記憶装置、例えばランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)など;またはコンピュータプログラムの記憶に用いられる他の任意の物理的な装置または媒体などがある。
本発明を説明する前に、よく知られた任意のコンピュータシステム(例えばパーソナルコンピュータ)で本発明が利用できることに留意すると、本発明の理解が容易になる。従って、本明細書では、コンピュータシステムについては詳細に説明しない。画像は、コンピュータシステムに直接入力(例えばディジタルカメラによって)されるか、あるいは、コンピュータシステムに入力される前にディジタル化(例えばハロゲン化銀フィルムなどのオリジナルを走査することによって)されることに留意することも有益である。
図1を参照すると、本発明を実施するためのコンピュータシステム110が示されている。コンピュータシステム110は好ましい一実施態様を説明するために示しているが、本発明は、図示したコンピュータシステム110に限定されることはなく、家庭用コンピュータ、キオスク、リテールまたは大規模な写真仕上げなどで見られる電子処理システムや、ディジタル画像を処理するための他の任意のシステムで使用できる。コンピュータシステム110は、ソフトウェアプログラムを格納してそのソフトウェアプログラムによる処理を行なうため、および、他の処理機能を実行するためのマイクロプロセッサをベースとしたユニット112を備える。ディスプレイ114は、例えばグラフィカルユーザーインターフェイスによって、そのソフトウェアに関係するユーザー関連情報を表示するために、マイクロプロセッサをベースとしたユニット112に電気的に接続されている。ユーザーがソフトウェアに情報を入力することができるように、キーボード116もマイクロプロセッサをベースとしたユニット112に接続されている。当該技術分野でよく知られているように、入力にキーボード116を使用する代わりにマウス118を用いてディスプレイ114上のセレクタ120を移動させ、そのセレクタ120を重ね合わせたアイテムを選択することもできる。
ソフトウェアプログラムおよび他の情報を入力する手段をマイクロプロセッサをベースとしたユニット112に備えるために、コンパクトディスク−読み出し専用メモリ(CD−ROM)124(典型的にはその中にソフトウェアプログラムが格納されている)をマイクロプロセッサをベースとしたユニット112に挿入する。さらに、フロッピー(登録商標)ディスク126がソフトウェアプログラムを格納することもでき、その場合にはソフトウェアプログラムを入力するためのマイクロプロセッサをベースとしたユニット112にフロッピー(登録商標)ディスクを挿入する。代わりに、コンパクトディスク−読み出し専用メモリー(CD−ROM)124またはフロッピー(登録商標)ディスク126は、マイクロプロセッサをベースとしたユニット112に接続された外付けディスクドライブユニット122に挿入することもできる。さらに、当該技術分野でよく知られているようにマイクロプロセッサをベースとしたユニット112にプログラムしてソフトウェアプログラムを内部的に記憶させることもできる。マイクロプロセッサをベースとしたユニット112は、外部ネットワーク(例えばローカルエリアネットワークやインターネット)へのネットワーク接続127(例えば電話線)も備えることができる。コンピュータシステム110からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとしたユニット112にプリンタ128を接続することもできる。
画像は、電子的な形態のディジタル化画像を収容しているパーソナルコンピュータカード(PCカード)130(例えば以前から知られているPCMCIAカード(パーソナルコンピュータメモリカード国際協会の仕様に基づく))を通じてディスプレイ114に表示することもできる。ディスプレイ114上に画像を視覚的に表示することができるように、PCカード130は最終的にマイクロプロセッサをベースとしたユニット112に挿入される。あるいは、PCカード130は、マイクロプロセッサをベースとしたユニット112に接続された外付けPCカード読取機132に挿入することもできる。画像は、コンパクトディスク124、フロッピー(登録商標)ディスク126、またはネットワーク接続127を通じて入力することもできる。PCカード130、フロッピー(登録商標)ディスク126もしくはコンパクトディスク124のいずれかに記憶されたいかなる画像、またはネットワーク接続127を通じて入力されるいかなる画像も、さまざまな供給源(例えばディジタルカメラ(図示せず)またはスキャナー(図示せず))から得られたものであることができる。画像は、マイクロプロセッサをベースとしたユニット112に接続されたカメラドッキングポート136を通じてディジタルカメラ134から直接入力でき、またはケーブル接続138を通じてディジタルカメラ134からマイクロプロセッサをベースとしたユニット112に直接入力でき、あるいは無線接続140を通じてマイクロプロセッサをベースとしたユニット112に入力できる。
本発明によれば、希薄な画像(sparsely populated images)を補間するために、アルゴリズムをこれまでに述べた記憶装置のいずれかに記憶させ、画像に適用することができる。
図2は、好ましい一実施態様の高レベル図である。ディジタルカメラ134は、ディジタルのレッド−グリーン−ブルー−パンクロマチック(RGBP)カラーフィルタアレイ(CFA)原画像200(ディジタルRGBP CFA画像またはRGBP CFA画像ともいう)の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像(sparsely sampled image)と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックのデータのうちの1つの画素値のみを含むからである。パンクロマチック画像補間ブロック202は、フル解像度パンクロマチック画像204を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。フル解像度パンクロマチック画像の助けによって、レッド、グリーンおよびブルーの画素値と関連付けられたノイズをRGB CFA画像ノイズ低減ブロック210において低減して、ノイズ低減RGB CFA画像212を生成させる。その後、RGB CFA画像補間ブロック214は、ノイズ低減フル解像度フルカラー画像226を生成する。
図3は、第2の好ましい実施態様の高レベル図である。ディジタルカメラ134は、ディジタルのレッド−グリーン−ブルー−パンクロマチック(RGBP)カラーフィルタアレイ(CFA)原画像200(ディジタルRGBP CFA画像またはRGBP CFA画像ともいう)の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックデータのうちの1つの画素値のみを含むからである。パンクロマチック画像補間ブロック202は、フル解像度パンクロマチック画像204を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。フル解像度パンクロマチック画像の助けによって、レッド、グリーンまたはブルーの画素値と関連付けられたノイズをRGB CFA画像ノイズ低減ブロック210において低減して、ノイズ低減RGB CFA画像212を生成させる。その後、RGB CFA画像補間ブロック214は、ノイズ低減フル解像度フルカラー画像216を生成する。最後に、フル解像度フルカラーノイズ低減ブロック218は、最終的なノイズ低減フル解像度フルカラー画像ブロック224を生成する。
図4は、好ましい一実施態様の高レベル図である。ディジタルカメラ134は、ディジタルのレッド−グリーン−ブルー−パンクロマチック(RGBP)カラーフィルタアレイ(CFA)原画像200(ディジタルRGBP CFA画像またはRGBP CFA画像ともいう)の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックデータのうちの1つの画素値のみを含むからである。パンクロマチック画像補間ブロック202は、フル解像度パンクロマチック画像204を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。次に、フル解像度パンクロマチック画像ノイズ低減ブロック206は、ノイズ低減フル解像度パンクロマチック画像208を生成する。ノイズ低減フル解像度パンクロマチック画像の助けによって、レッド、グリーンまたはブルーの画素値と関連付けられたノイズをRGB CFA画像ノイズ低減ブロック210において低減して、ノイズ低減RGB CFA画像212を生成させる。その後、RGB CFA画像補間ブロック214は、ノイズ低減フル解像度フルカラー画像222を生成する。
図5は、好ましい一実施態様の高レベル図である。ディジタルカメラ134は、ディジタルのレッド−グリーン−ブルー−パンクロマチック(RGBP)カラーフィルタアレイ(CFA)原画像200(ディジタルRGBP CFA画像またはRGBP CFA画像ともいう)の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックのデータのうちの1つの画素値のみを含むからである。パンクロマチック画像補間ブロック202は、フル解像度パンクロマチック画像204を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。次に、フル解像度パンクロマチック画像ノイズ低減ブロック206は、ノイズ低減フル解像度パンクロマチック画像208を生成する。ノイズ低減フル解像度パンクロマチック画像の助けによって、レッド、グリーンまたはブルーの画素値と関連付けられたノイズをRGB CFA画像ノイズ低減ブロック210において低減して、ノイズ低減RGB CFA画像212を生成させる。その後、RGB CFA画像補間ブロック214は、ノイズ低減フル解像度フルカラー画像216を生成する。最後に、フル解像度フルカラーノイズ低減ブロック218は、最終的なノイズ低減フル解像度フルカラー画像ブロック220を生成する。
図2に戻ると、パンクロマチック画像補間ブロック202は、当業者に知られている任意の適切な方法で実施することができる。2つの例を以下に示す。図6を参照すると、画素X5 のパンクロマチック値を推定する1つの方法は、単純に、周囲の6つのパンクロマチック値の平均値、すなわち、
Figure 0005156022
を求めることである。あるいは、この方法において、画素値に重み付けをすることも当業者によく知られている。一例として、
Figure 0005156022
がある。代わりに、まず、方向性勾配の絶対値(絶対方向性勾配(absolute directional gradients))を計算することによって、適応できる方法を使用できる。
Figure 0005156022
3つの2点平均値のうちの1つによりX5 の値が求められる。
Figure 0005156022
5 を計算するために、絶対方向性勾配の組のうちの最小値と関連する2点平均値を使用する。例えば、V5≦B5およびV5≦S5である場合には、X5=VX5である。
図2に戻ると、RGB CFA画像ノイズ低減ブロック210は、ブロック202により生成したフル解像度のパンクロマチック画像の利点を得るのに適応できる様式で好ましくは実施される。かなり多くのかかる方法が当業者に知られているであろう。2つの例を以下に示す。図7を参照すると、各画素位置は、関連するパンクロマチック値を有する。間に存在する非レッド画素(すなわち、図7における空白の画素)の数および位置は無関係であることも注記しておく。必要なのは、同じ色の少なくとも1または2以上の近隣画素値を有する中央画素値である。また、以下の議論では、グリーンまたはブルーのカラーチャネルをクリーニングする場合には、レッドをグリーンまたはブルーに置き換える。レッド画素R5 のノイズ低減を達成するために、シグマフィルタを使用できる。これは、以下の加重平均を計算することにより達成される。
Figure 0005156022
重み係数c1 からc9 は、パンクロマチック値の差から計算される。
Figure 0005156022
これらの表現において、tは、図7に示す画素近隣の任意のエッジによって中央の画素(R5 )から分離された画素値を除くために選択される予め決定される閾値である。これらの定義では、c5 は常に1であり、この値は、総和の中に少なくとも1つの画素を常に含むようにするためのものであることを注記しておく。シグマフィルタ重み係数をポピュレートするための別のスキームは当該技術分野でよく知られており、フル解像度パンクロマチックデータを使用して同様に適応させることができる。別の方法は、適応メディアンフィルタを使用することである。再び図7を参照すると、4つのパンクロマチックメディアン値および4つのレッド3点メディアン値が計算される。
Figure 0005156022
5 についてのノイズ低減値は、R5 に関連するパンクロマチック値に最も近いパンクロマチックメディアン値に対応するレッドメディアン値、すなわち、P5 に対応する。
Figure 0005156022
近傍内に4つよりも少ないメディアン値を使用するものを含む適応メディアンフィルタを使用するための別のスキームは当該技術分野でよく知られており、フル解像度のパンクロマチックデータを使用して同様に適応させることができる。
上記の方法に加えて、例えば無限インパルス応答(infinite impulse response)(IIR)、フィルタリング、および特異値分解(singular value decomposition)(SVD)など(これらに限定されない)の他の周知のノイズ低減方法を使用できる。
図7に示したような近隣画素は、画像データのラプラシアンまたはガウシアンのピラミッド分解またはウェーブレット分解に起因することがあることも当業者によく知られている。フル解像度パンクロマチックデータに同じ分解方法を同時に適用することによって、各RGB画像分解成分内の得られる各画素は関連するパンクロマチック値を依然として有するであろう。従って、上記の議論および例は依然として関連性があり、変更はない。
図2に戻ると、RGB CFA画像補間ブロック214は、先行技術文献に記載されている周知のCFA補間またはモザイク除去技術のいずれかを使用して実施できる。米国特許第5,852,468号(Okada)には、典型的な非適応方法が記載されており、一方、米国特許第5,506,619号(Adamsら)には、代表的な適応方法が教示されている。
図3において、RGB CFA画像ノイズ低減ブロック210に類似の方法でフル解像度フルカラーノイズ低減ブロック216を実施でき、ブロック216においてのみ、各画素位置でのレッド、グリーン、ブルーおよびパンクロマチック値がある。従って、ノイズ低減は、例えば図8に示されているように隣接する近隣画素を使用して実施できる。図8を参照すると、シグマフィルタおよび適応メディアンフィルタの先に示した例は、直接適用できる。
図4において、フル解像度のパンクロマチック画像ノイズ低減ブロック206は、グレースケールまたはシングルチャネル画像ノイズ低減のための当該技術分野で周知の方法のいずれかを使用して実施できる。これらの方法には、シグマフィルタリングおよび適応メディアンフィルタリングの上記の例が含まれる。図9を参照すると、パンクロマチック画素P5 のノイズ低減を達成するためにシグマフィルタを使用することができる。これは、以下の加重平均を計算することにより達成される。
Figure 0005156022
重み計数c1 からc9 は、パンクロマチック値の差から計算される。
Figure 0005156022
これらの表現において、tは、図9に示す画素近隣の任意のエッジによって中央の画素(P5 )から分離された画素値を除くために選択される予め決定される閾値である。これらの定義では、c5 は常に1であり。この値は、総和の中に少なくとも1つの画素を常に含むようにするためのものであることを注記しておく。シグマフィルタ重み係数をポピュレートするための別のスキームは当該技術分野でよく知られている。別の方法は、適応メディアンフィルタを使用することである。再び図9を参照すると、4つのパンクロマチックが計算される。
Figure 0005156022
5 についてのノイズ低減値は、P5 に関連する原パンクロマチック値に最も近いパンクロマチックメディアン値に対応する。
Figure 0005156022
適応メディアンフィルタを使用するための別のスキームは当該技術分野でよく知られており、使用できる。
上記の方法に加えて、例えば無限インパルス応答(IIR)、フィルタリング、および特異値分解(SVD)など(これらに限定されない)の他の周知のノイズ低減方法を使用できる。
図9に示したような近隣画素は、画像データのラプラシアンまたはガウシアンのピラミッド分解またはウェーブレット分解をもたらしうることも当業者によく知られている。従って、上記の議論および例は依然として関連性があり、変更はない。
本発明の好ましい実施態様に開示したノイズ低減アルゴリズムは、ユーザーのさまざまな状況および環境で利用することができる。状況および環境の例としては、大規模ディジタル写真仕上げ(フィルム導入、ディジタル処理、プリント出力といった処理ステップまたは処理段階を伴う)、リテールディジタル写真仕上げ(フィルム導入、ディジタル処理、プリント出力)、家庭でのプリント(家庭でフィルムまたはディジタル画像を走査、ディジタル処理、プリント出力)、デスクトップソフトウェア(アルゴリズムをディジタル印刷に適用してそのディジタル印刷をより改善したりまたは変更することもあるソフトウェア)、ディジタル処理(媒体からのまたはウェブ上でのディジタル画像の取り込み、ディジタル処理、媒体へのまたはウェブ上でのディジタル形態での画像出力、またはハードコピー印刷物上への印刷)、キオスク(ディジタル入力または走査入力、ディジタル処理、ディジタル出力または走査出力)、携帯装置(例えば、処理ユニット、ディスプレイユニット、処理の指示を与えるユニットとして使用できるPDAや携帯電話)、ワールドワイドウェブを通じて提供されるサービスなどがある。
それぞれの場合に、ノイズ低減アルゴリズムは、独立して使用することも、あるいは、より大きなシステムソリューションの要素であることができる。さらに、アルゴリズムとのいろいろなインターフェイス、例えば、走査または入力、ディジタル処理、ユーザーに対する表示(必要な場合)、ユーザーの要求または処理命令の入力(必要な場合)、出力は、それぞれ、同じまたは異なる装置および物理的位置にあってもよく、装置間および位置間の通信は、公的または私的なネットワーク接続を通じて、またはメディアをベースとした通信を通じて行なうことができる。本発明についての上記開示内容と整合する場合に、アルゴリズム自体を完全に自動化すること、またはアルゴリズム自体にユーザーが(完全にまたは部分的に手作業で)入力すること、またはユーザーまたはオペレータが見て結果を受け入れる/拒絶すること、またはアルゴリズム自体がメタデータにより支援されうること(メタデータは、ユーザーが供給すること、または測定装置(例えばカメラ中の)が供給すること、または別のアルゴリズムによって決定することができる)ができる。さらに、アルゴリズムは、様々なワークフローユーザーインターフェーススキームと相互作用することができる。
本明細書に開示した本発明に係るノイズ低減アルゴリズムは、さまざまなデータ検出法とデータ低減技術(例えば顔検出、目検出、皮膚検出、フラッシュ検出)を利用した内部コンポーネントを備えることができる。
110 コンピュータシステム
112 マイクロプロセッサをベースとしたユニット
114 ディスプレイ
116 キーボード
118 マウス
120 ディスプレイ上のセレクタ
122 ディスクドライブユニット
124 コンパクトディスク−読み出し専用メモリ(CD−ROM)
126 フロッピー(登録商標)ディスク
127 ネットワーク接続
128 プリンタ
130 パーソナルコンピュータカード(PCカード)
132 PCカード読取機
134 ディジタルカメラ
136 カメラドッキングポート
138 ケーブル接続
140 無線接続
200 RGBP CFA画像
202 パンクロマチック画像補間
204 フル解像度パンクロマチック画像
206 フル解像度パンクロマチック画像ノイズ低減
208 ノイズ低減フル解像度パンクロマッチク画像
210 RGB CFA画像ノイズ低減
212 ノイズ低減RGB CFA画像
214 RGB CFA画像補間
216 ノイズ低減フル解像度フルカラー画像
218 フル解像度フルカラーノイズ低減
220 最終的なノイズ低減フル解像度フルカラー画像
222 ノイズ低減フル解像度フルカラー画像
224 最終的なノイズ低減フル解像度フルカラー画像
226 ノイズ低減フル解像度フルカラー画像

Claims (4)

  1. ノイズが低減されたディジタルカラー画像を生成する方法であって、
    (a)パンクロマチック画素および少なくとも2つのカラー光応答に対応するカラー画素を有する画像を提供するステップ;
    (b)前記画像からパンクロマチック画像を提供し、当該パンクロマチック画像を補間してフル解像度パンクロマチック画像をもたらすステップ;および
    (c)前記フル解像度パンクロマチック画像および近隣の同じカラー画素の値を使用して、ノイズが低減されたカラー画素を生成させ、このステップを各カラー画素に対して繰り返して、ノイズが低減されたディジタルカラー画像を生成するステップ;
    を含み、ステップ(c)がi)前記ノイズが低減されたカラー画素を補間して補間カラー画素を生成することによりノイズが低減されたディジタルカラー画像をもたらすことをさらに含み、ステップi)の前に、フル解像度パンクロマチック画像における全てのパンクロマチック値のノイズを低減させて、ノイズが低減されたフル解像度パンクロマチック画像を生成することをさらに含む、方法。
  2. ノイズが低減されたディジタルカラー画像に対してさらにノイズ低減をもたらして、ノイズが低減された最終的なディジタルカラー画像を生成することをさらに含む、請求項1に記載の方法。
  3. ステップ(a)が、レッド、グリーンおよびブルーの感光性を有するカラー画素を含む、請求項1に記載の方法。
  4. ステップ(a)が、シアン、マゼンタおよびイエローの感光性を有するカラー画素を含む、請求項1に記載の方法。
JP2009536240A 2006-11-10 2007-10-29 パンクロマチックおよびカラーの画像のノイズ低減 Active JP5156022B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/558,571 US7876956B2 (en) 2006-11-10 2006-11-10 Noise reduction of panchromatic and color image
US11/558,571 2006-11-10
PCT/US2007/022780 WO2008063351A1 (en) 2006-11-10 2007-10-29 Noise reduction of panchromatic and color image

Publications (3)

Publication Number Publication Date
JP2010509841A JP2010509841A (ja) 2010-03-25
JP2010509841A5 JP2010509841A5 (ja) 2010-11-18
JP5156022B2 true JP5156022B2 (ja) 2013-03-06

Family

ID=39111589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009536240A Active JP5156022B2 (ja) 2006-11-10 2007-10-29 パンクロマチックおよびカラーの画像のノイズ低減

Country Status (5)

Country Link
US (1) US7876956B2 (ja)
EP (1) EP2089848B1 (ja)
JP (1) JP5156022B2 (ja)
AT (1) ATE551673T1 (ja)
WO (1) WO2008063351A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
KR101114586B1 (ko) * 2010-02-08 2012-03-02 삼성전자주식회사 불량 화소 제거 장치 및 방법
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9191635B2 (en) 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
JP6258842B2 (ja) * 2014-12-10 2018-01-10 株式会社Soken 画像処理装置、及び車線境界線認識システム
JP6628497B2 (ja) * 2015-05-19 2020-01-08 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
US10789684B2 (en) * 2018-06-12 2020-09-29 Carl Zeiss Ag Method, apparatus, and system for multilevel bilateral noise filtering
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备
WO2021046691A1 (zh) * 2019-09-09 2021-03-18 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN112822475B (zh) * 2020-12-28 2023-03-14 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端及可读存储介质
KR20220165407A (ko) 2021-06-08 2022-12-15 삼성전자주식회사 이미지 장치, 이미지 센서, 및 이미지 센서의 동작 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5264924A (en) 1989-12-18 1993-11-23 Eastman Kodak Company Mechanism for deriving noise-reduced estimates of color signal parameters from multiple color/luminance image sensor outputs
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP3392564B2 (ja) 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6366319B1 (en) * 1997-07-03 2002-04-02 Photronics Corp. Subtractive color processing system for digital imaging
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP3745948B2 (ja) 2000-08-25 2006-02-15 シャープ株式会社 画像処理装置およびデジタルカメラ
US6646246B1 (en) 2000-11-21 2003-11-11 Eastman Kodak Company Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
EP2089848A1 (en) 2009-08-19
US7876956B2 (en) 2011-01-25
US20080112612A1 (en) 2008-05-15
JP2010509841A (ja) 2010-03-25
WO2008063351A1 (en) 2008-05-29
EP2089848B1 (en) 2012-03-28
ATE551673T1 (de) 2012-04-15

Similar Documents

Publication Publication Date Title
JP5156022B2 (ja) パンクロマチックおよびカラーの画像のノイズ低減
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
JP5395053B2 (ja) パンクロマティック画素を使用するエッジマッピング
JP5291084B2 (ja) パンクロマティック画素を組み込むエッジマッピング
TWI430202B (zh) 使用全色像素之銳化方法
JP5123212B2 (ja) パンクロマチック画素及びカラー画素の補間
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
US20080123997A1 (en) Providing a desired resolution color image
JP2008527861A (ja) 散在カラー・ディジタル画像のノイズ除去
JP2010537228A (ja) パンクロ画素を使用する画素アスペクト比の補正
US20050281458A1 (en) Noise-reducing a color filter array image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100929

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5156022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250