JP5291084B2

JP5291084B2 - パンクロマティック画素を組み込むエッジマッピング

Info

Publication number: JP5291084B2
Application number: JP2010500958A
Authority: JP
Inventors: イー．，ジュニアアダムス，ジェイムズ; フランクリン，ジュニアハミルトン，ジョン; オブライエン，ミシェル
Original assignee: オムニビジョンテクノロジーズ，インコーポレイテッド
Priority date: 2007-03-30
Filing date: 2008-03-25
Publication date: 2013-09-18
Anticipated expiration: 2028-03-25
Also published as: WO2008121272A3; US8594451B2; US20080240602A1; TW200903348A; JP2010524297A; CN101675454A; EP2130175B1; CN101675454B; EP2130175A2; WO2008121272A2; TWI430184B

Description

本発明は、パンクロマティック画像及びカラー画像から増強されたカラー画像を形成するためにエッジマップを使用することに関する。

ビデオカメラ及びデジタル・スチルカメラは一般に、シーンを記録するために、カラーフィルタ・アレイを有する単独の画像センサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる疎い密度の単一チャネル画像で始まる。これに続く、近傍画素値の補間が、完全な３チャネル・フルカラー画像の再構成を可能にする。このフルカラー画像は、画像の外観を改善又は増強するために、ノイズ除去、鮮鋭化、又は色補正することができる。この画像増強は、画像をエッジ領域とフラット領域とに分類するために画像のエッジマップを計算することにより、大幅に容易にすることができる。このことは、エッジ領域とフラット領域とに対して異なる計算を実施するアルゴリズムを使用するのを可能にする。１つの一般的なアプローチは、輝度色チャネル、例えば「グリーン」を直接的に検出するか又は合成し、次いで、輝度画像からエッジマップを生成することである。米国特許第６，６１４，４７４号明細書（Malkin他）には、輝度チャネルを計算し、次いで方向性エッジ検出カーネル集合からエッジ情報を生成することが記載されている。このアプローチの問題点は、クロミナンスだけが変化して輝度は変化しないエッジが、検出されないリスクを負うことである。この問題に対処するために、米国特許第５，４２０，９７１号明細書（Westerink他）において、ＹＵＶ輝度−クロミナンス画像を計算し、３つ全てのチャネル（Ｙ、Ｕ、及びＶ）からエッジ情報を計算し、次いで、これらを輝度エッジ及びクロミナンス・エッジの両方を検出するためのＬ²−ノルムとして組み合わせることが教示されている。このアプローチの問題点は、計算された輝度−クロミナンス画像のノイズが、元の色データ、例えばＲＧＢのノイズによって定義されることである。元の色データのこのようなノイズレベルは、とりわけ、個々の色チャネルのスペクトル周波数応答の相対的な狭さによって決定される。捕捉されるシーンがよく照らされている場合、例えば太陽が照っている景色の場合、スペクトル周波数応答の狭さは通常、問題ではない。シーンがよく照らされていない場合、例えば屋内の場合、又はスポーツ・イベントのときに動作のぶれを低減するために必然的に露光時間が短い場合、個々の色チャネルのスペクトル周波数応答の相対的な狭さは、ノイズの多い画像を生成するおそれがある。

低光量イメージング状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマティックである状態で有することが有利である。これらのパンクロマティック画素は、キャプチャ・システムの最大感光性能力を有する。パンクロマティック画素を採用することは、キャプチャ・システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、イメージング装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、キャプチャ装置の低光量性能全体を制限することである。

より多くの画素がカラーフィルタ・アレイにおいて最大感光性を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。そのシーンからのカラー情報を捕捉するのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに対して応答しない、又はこれを保護しない、単純な線形補間技術を用いることも教示している。

本発明の目的は、パンクロマティック画素及びカラー画素を有するデジタル画像から、増強されたデジタルカラー画像を生成することである。

この目的は、
ａ．カラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイによって捕捉されたシーンの捕捉された画像を使用すること；
ｂ．該パンクロマティック画素に応答してエッジマップを形成すること；
ｃ．該捕捉されたカラー画素に応答して該フルカラー画像を形成すること；そして
ｄ．該フルカラー画像を増強するために該エッジマップを使用すること
を含んで成る、シーンの増強されたフルカラー画像を提供する方法によって達成される。

本発明の特徴は、パンクロマティック画素及びカラー画素を有するセンサを用いて低光量条件下で画像を捕捉することができ、処理を施すことにより、パンクロマティック画素及びカラー画素から生成された増強されたデジタルカラー画像がもたらされることである。

本発明は、上記方法が改善された低光量感受性及び改善された色空間分解忠実度の両方を提供するのを可能にするように、パンクロマティック画素とカラー画素とが好適に複合されたカラーフィルタ・アレイを利用する。上記方法は、パンクロマティック空間ディテール及びカラー空間ディテールを維持・増強し、そして増強されたフルカラー画像を生成する。

図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す斜視図である。図２は、本発明の好ましい態様のブロック・ダイヤグラムである。図３は、図２のブロック２０２をより詳細に示すブロック・ダイヤグラムである。図４は、図３のブロック２４２における低周波数フィルタリングの実行中に使用される画素近傍を示す図である。図５は、図２のブロック２０２の別の態様をより詳細に示すブロック・ダイヤグラムである。図６は、図５のブロック２５６における非最大値抑制の実行中に使用される画素近傍を示す図である。図７は、本発明の好ましい態様のブロック・ダイヤグラムである。図８は、本発明の別の態様のブロック・ダイヤグラムである。図９は、本発明の別の態様のブロック・ダイヤグラムである。図１０は、本発明の別の態様のブロック・ダイヤグラムである。図１１は、本発明の別の態様のブロック・ダイヤグラムである。

以下に、通常はソフトウェアプログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の形態、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。

さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリ（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。

本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナルのフィルム、例えばハロゲン化銀塩フィルムを走査することによって）デジタル化されることに留意するのも有益である。

図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。

マイクロプロセッサをベースとするユニット１１２にソフトウェアプログラム及びその他の情報を入力する手段を提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェアプログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを含んでもよく、これはソフトウェアプログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入することもできる。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェアプログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。

ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られている、ＰＣカード１３０内に電子的に具体化されたデジタル化画像を含有するＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ（図示せず）又はスキャナ（図示せず）から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することもできる。

本発明によれば、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像を鮮鋭化するために画像に適用することができる。

図２は、本発明の好ましい態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、デジタルＲＧＢＰＣＦＡ画像又はＲＧＢＰＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。エッジマップ生成ブロック２０２が、ＲＧＢＰＣＦＡ画像２００からエッジマップ２０４を生成する。ＲＧＢＣＦＡ画像補間ブロック２０６が、ＲＧＢＰＣＦＡ画像２００からフルカラー画像２０８を生成する。フルカラー画像増強ブロック２１２が、フルカラー画像２０８及びエッジマップ２０４から、増強されたフルカラー画像２１０を生成する。

図２において、ＲＧＢＣＦＡ画像補間ブロック２０６は、当業者に知られたいかなる好適な方法でも実施することができる。米国特許出願第２００７／００２４９３４号明細書（Adams他）に例を見いだすことができる。この参考文献には、フルカラー画像を生成するために捕捉されたカラー画素だけを使用する例、及び、フルカラー画像を生成するために捕捉されたカラー画素及び捕捉されたパンクロマティック画素を使用する例が含まれている。

図３は、好ましい態様のためのエッジマップ生成ブロック２０２（図２）の詳細なブロック・ダイヤグラムである。低周波数フィルタリング・ブロック２４２が、ＲＧＢＰＣＦＡ画像２００（図２）から低周波数フィルタリングされた画像２４４を生成する。高周波数フィルタリング・ブロック２４６が、低周波数フィルタリングされた画像２４４から高周波数画像２４８を生成する。最後に、閾値による数値化(thresholding)ブロック２５０が、高周波数画像２４８からエッジマップ２０４（図２）を生成する。

図３において、ブロック２４２の低周波数フィルタリングは、画素位置毎に各カラーチャネルに対する画素値を生成するために、ＲＧＢＰＣＦＡ画像２００（図２）とともに低周波数コンボリューション・カーネルを畳み込むことにより達成される。例として、図４に示されている典型的なＲＧＢＰＣＦＡ画像の一部について考察する。最大解像度パンクロマティック・チャネルを生成するために、下記低周波数コンボリューション・カーネルを使用することができる：

他の好適な低周波数コンボリューション・カーネルをどのように作成するかは当業者によく知られている。このコンボリューションを実施するときには、既存のパンクロマティック画素値だけが使用されると想定する。明示するならば、画素Ｂ₅₀（図４）のパンクロマティック画素を計算する場合、計算は加重平均である：

既存のパンクロマティック画素値、例えばＰ₄₉の場合、低周波数フィルタリング・バージョンが計算される：

図４のカラー画素はパンクロマティック画素よりも密度が疎らなので、最大解像度カラーチャネルを生成するために、より大きい低周波数コンボリューション・カーネルが使用される：

他の好適な低周波数コンボリューション・カーネルをどのように作成するかは当業者によく知られている。このコンボリューションを実施するときには、既存のカラー画素値だけが使用されると想定する。明示するならば、画素Ｂ₅₀（図４）のレッド画素を計算する場合、計算は：

である。

Ｂ₅₀の低周波数フィルタリング・バージョンを計算すると、この計算は

である。

ＲＧＢＰＣＦＡ画像２００（図２）における各画素に対する残りの低周波数フィルタリングされたカラー画素値も同様に計算される。

図３に戻ると、高周波数フィルタリング・ブロック２４８は一般に、２つの方法のうちの一方によって、すなわち直接コンボリューション法によって又はアンシャープ・マスキングの一部として実施される。直接コンボリューションの場合、低周波数フィルタリングされた画像２４４のパンクロマティック・チャネルは、高周波数カーネルと一緒に畳み込まれ、結果の絶対値は高周波数画像２４８である。好適な高周波数カーネルの例は、

である。

他の好適な高周波数コンボリューション・カーネルをどのように作成するかは当業者によく知られている。アンシャープ・マスキングの場合、低周波数フィルタリングされた画像２４４のパンクロマティック・チャネルは、低周波数カーネルと一緒に畳み込まれ、結果としての低周波数画像は、低周波数フィルタリングされた画像２４４のパンクロマティック・チャネルから差し引かれる。この減算の絶対値は、高周波数画像２４８である。好適な高周波数カーネルの例は、

となる。

他の好適な低周波数カーネルをどのように作成するかは当業者によく知られている。今挙げた例は、パンクロマティック・チャネル上でだけでなく、全てのカラーチャネル上でも動作し、次いで結果を合計することにより増強することができる：

この場合、高周波数画像２４８は、それぞれ高周波数フィルタリング・ブロック２４６によって生成されたパンクロマティック（Ｈ_P）、レッド（Ｈ_R）、グリーン（Ｈ_G）、及びブルー（Ｈ_B）チャネルの高周波数画像の和（Ｈ_ALL）を含む。

図３において、閾値による数値化ブロック２５０は、高周波数画像２４８からエッジマップ２０４（図２）を生成した。ブロック２５０の閾値による数値化は一般に、高周波数画像２４８の各画素値を所与の閾値に対してテストすることにより実施される。高周波数画像２４８の画素値が所与の閾値以上である場合、エッジマップにおける対応画素値は、エッジ画素としてマーキングされ、そしてエッジの存在を示す値、例えば１に設定される。高周波数画像２４８の画素値が所与の閾値未満である場合、エッジマップにおける対応画素値は、フラット画素としてマーキングされ、そしてエッジの不在を示す値、例えば０に設定される。複数の閾値を使用することもできる。一例としては、比較的大きい第１閾値を使用して第１エッジマップを生成した後、より小さい第２閾値を使用して、第１エッジマップ及び高周波数画像２４８から第２エッジマップを生成する。この事例では、エッジ画素としてマーキングされた第１エッジマップにおける各画素位置は、対応位置の第２エッジマップにおけるエッジ画素として自動的にマーキングされる。第１エッジマップにおける或る画素位置がフラット画素としてマーキングされ、そして隣接画素位置のうちの少なくとも１つがエッジ画素としてマーキングされた場合、対応高周波数画像２４８の画素値は、第２閾値と比較される。高周波数画像２４８の画素値が第２閾値以上である場合、第２エッジマップにおける対応画素値は、エッジ画素としてマーキングされる。高周波数画像２４８の画素値が第２閾値未満である場合、第２エッジマップにおける対応画素値は、フラット画素としてマーキングされる。追加の閾値を使用してこの過程を続行できることは当業者には明らかである。

図５は、別の態様に対応するエッジマップ生成ブロック２０２（図２）の詳細なブロック・ダイヤグラムである。低周波数フィルタリング・ブロック２４２が、ＲＧＢＰＣＦＡ画像２００（図２）から低周波数フィルタリングされた画像２４４を生成する。高周波数フィルタリング・ブロック２５２が、低周波数フィルタリングされた画像２４４から高周波数画像２５４を生成する。非最大値抑制ブロック２５６が、高周波数画像２５４からエッジ薄化された高周波数画像２５８を生成する。最後に、閾値による数値化ブロック２５０は、エッジ薄化された高周波数画像２５８からエッジマップ２０４（図２）を生成する。

図５において、低周波数フィルタリング・ブロック２４２は、図３に記載されている通りである。高周波数フィルタリング・ブロック２５２は、低周波数フィルタリングされた画像２４４のパンクロマティック・チャネルから高周波数画像２５４を生成する。高周波数画像２５４は３つのチャネルを有している。第１チャネルはエッジ規模値を含み、このエッジ規模値は、高周波数フィルタリング・ブロック２４６（図３）によって実施されるのと同じ計算によって生成された結果である。第２チャネルは、水平勾配カーネルとのコンボリューションの絶対値を求めることにより生成された水平勾配値を含む。このようなカーネルの例は

である。

第３チャネルは、垂直勾配カーネルとのコンボリューションの絶対値を求めることにより生成された垂直勾配値を含む。このようなカーネルの例は

である。

ブロック２５６における非最大値抑制は一般に、各エッジ規模画素位置に対して水平勾配値を垂直勾配値と比較することにより実施される。水平勾配値が垂直勾配値以上である場合には、非最大値抑制方向は水平方向である。垂直勾配値が水平勾配値を上回る場合には、非最大値抑制方向は垂直方向である。図６は、エッジ規模値の画素近傍の一例であり、この場合エッジ規模値Ｅ₃が操作される。非最大値抑制方向が水平方向である場合、Ｅ₃はＥ₂及びＥ₄双方以上であれば、変わらないままにされる。そうでなければ、Ｅ₃はゼロに設定される。非最大値抑制方向が垂直方向である場合、Ｅ₃はＥ₁及びＥ₅双方以上であれば、変わらないままにされる。そうでなければ、Ｅ₃はゼロに設定される。図５において、閾値による数値化ブロック２５０は、図３に基づいて前述したのと同じ操作である。

あらゆる方法で、例えば形態学的処理によって、エッジマップ２０４（図２）を増強することにより、ノイズの影響を軽減し、又はエッジマップ２０４（図２）内部の特徴の厚さを、このエッジマップを続いて用いるのに伴って変化させ得ることは当業者に明らかである。

図２に戻って、フルカラー画像増強ブロック２１２のためにいくつかの例をここで示す。１つのこのようなフルカラー画像増強は、ノイズ低減である。以後中心画素と呼ぶフルカラー画像２０８内の各画素に対して、エッジマップ２０４内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、その画素値のノイズ低減は、エッジ・ディテールを維持するために省くことができる。中心画素がフラット画素である場合、中心画素から所与の半径（距離）以内の他のフラット画素の全てを、ノイズ低減された中心画素値を生成するために、一緒に平均する。

フルカラー画像増強の別の例は、鮮鋭化（エッジ増強）である。2007年1月9日付けで出願された米国特許出願第１１／６２１，１３９号明細書に教示されているように、フルカラー画像２０８から、又はＲＧＢＰＣＦＡ画像２００から生成された基準パンクロマティック・チャネルから、鮮鋭化チャネルを生成することができる。次に、以後中心画素と呼ぶフルカラー画像２０８内の各画素に対して、エッジマップ２０４内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、エッジ・ディテールを鮮鋭化するために、完全対応鮮鋭化チャネル値を中心画素値に加える。中心画素がフラット画素である場合、フルカラー画像内の望ましくないノイズ増幅を低減するために、中心画素値に対応鮮鋭化チャネル値を一部加えるか、又は全く加えない。

フルカラー画像増強の別の例は、色補正である。色補正は通常、増強されたフルカラー画像２１０を生成するために、フルカラー画像２０８のカラーチャネル値を３×３行列で掛け算することにより行われる。この計算は下記形態：

を成す。

上記式中（Ｒ，Ｇ，Ｂ）は、フルカラー画像２０８のカラーチャネル値を意味し、そして（Ｒ’，Ｇ’，Ｂ’）は、増強されたフルカラー画像２１０を意味する。フルカラー画像２０８内の各画素に対して、エッジマップ２０４内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。画素がエッジ画素である場合、完全対応色補正をフルカラー画像２０８の画素値に施す。画素がフラット画素である場合、ノイズ及び画像処理アーチファクトの可視性を低減するために、フルカラー画像２０８の画素値に色補正を一部施すか、又は全く施さない。

図７は、本発明の別の態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、デジタルＲＧＢＰＣＦＡ画像又はＲＧＢＰＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。エッジマップ生成ブロック２０２が、ＲＧＢＰＣＦＡ画像２００からエッジマップ２０４を生成する。ＲＧＢＣＦＡ画像補間ブロック２０６が、ＲＧＢＰＣＦＡ画像２００及びエッジマップ２０４からフルカラー画像２０８を生成する。フルカラー画像増強ブロック２１２が、フルカラー画像２０８及びエッジマップ２０４から、増強されたフルカラー画像２１０を生成する。

図７において、ＲＧＢＣＦＡ画像補間ブロック２６０は、当業者に知られているいかなる好適な方法でも実施することができる。一例として、2007年1月9日付けで出願された米国特許出願第１１／６２１，１３９号明細書に教示されているように、先ずＲＧＢＰＣＦＡ画像２００から、基準パンクロマティック・チャネルを形成することができる。この基準パンクロマティック・チャネルは、ＲＧＢＰＣＦＡ画像２００における画素毎にパンクロマティック値を提供する。ここで図４を参照して、各画素位置が関連パンクロマティック値Ｐ_N及びエッジマップ値Ｅ_Nを有すると想定する。ここでＮは画素のインデックスである。Ｂ₆₁の見積もりを計算するために、エッジマップ値Ｅ₆₁に注目することから始める。次いで、画素Ｐ₆₁から８つのコンパス方位（Ｎ，ＮＥ，Ｅ，ＳＥ，Ｓ，ＳＷ，Ｗ及びＮＷ）のそれぞれの方向に外側に、所与の最大半径まで連続して進め、途中の対応エッジマップ値をチェックする。Ｅ₆₁とは異なるエッジマップ値に遭遇するか、又は最大半径に達したら、その所与のコンパス方位において処理を停止する。ストップ状態前に遭遇した全てのＢ_N値をＢ₆₁の計算の際に使用する。最大半径５及び下記ガウス重み付けの事例において、遭遇した全てのエッジマップ値がＥ₆₁と同じであるならば、Ｂ₆₁は下記のように計算される：

対応コンパス方位のうちの１つ又は２つ以上が早くに終了されれば、この計算は短縮されることになる。全てのコンパス方位がＢ画素に達する前に終了される場合、早期Ｅ_N終了戦略は手元の画素に対して放棄され、遭遇したＢ画素の全てが計算に含まれる。このアプローチは、ＲＧＢＰＣＦＡ画像２００内の全ての画素のＲ、Ｇ及びＢ画素値を計算するために用いられる。この例の必然的な結果として、パンクロマティック画素値の使用を省き、またＢ画素値だけを、

を生成するために使用することもできる。

図７の他のブロックの詳細は、好ましい態様、すなわち図２その他と同じである。

図８は、本発明の別の態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、デジタルＲＧＢＰＣＦＡ画像又はＲＧＢＰＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。エッジマップ生成ブロック２０２が、ＲＧＢＰＣＦＡ画像２００からエッジマップ２０４を生成する。ＲＧＢＣＦＡ画像増強ブロック２６６が、ＲＧＢＰＣＦＡ画像２００及びエッジマップ２０４から増強されたＲＧＢＣＦＡ画像２６８を生成する。ＲＧＢＣＦＡ画像補間ブロック２０６が、増強されたＲＧＢＣＦＡ画像２６８から増強されたフルカラー画像２７０を生成する。

図８において、ＲＧＢＣＦＡ画像増強ブロック２６６は、当業者に知られているいかなる好適な方法でも実施することができる。一例として、ＲＧＢＣＦＡ画像増強ブロック２６６は、増強されたＲＧＢＣＦＡ画像２６８としてノイズ低減されたＲＧＢＣＦＡ画像を生成するためにノイズを低減することができる。以後中心画素と呼ぶＲＧＢＰＣＦＡ画像２００内の各画素に対して、エッジマップ２０４内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、その画素値のノイズ低減は、エッジ・ディテールを維持するために省くことができる。中心画素がフラット画素である場合、中心画素から所与の半径（距離）以内の他のフラット画素の全てを、ノイズ低減された中心画素値を生成するために、一緒に平均する。

図８の他のブロックの詳細は、好ましい態様、すなわち図２その他と同じである。

図９は、本発明の別の態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、デジタルＲＧＢＰＣＦＡ画像又はＲＧＢＰＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。エッジマップ生成ブロック２０２が、ＲＧＢＰＣＦＡ画像２００からエッジマップ２０４を生成する。ＲＧＢＣＦＡ画像増強ブロック２６６が、ＲＧＢＰＣＦＡ画像２００及びエッジマップ２０４から増強されたＲＧＢＣＦＡ画像２６８を生成する。ＲＧＢＣＦＡ画像補間ブロック２７２が、増強されたＲＧＢＣＦＡ画像２６８及びエッジマップ２０４から増強されたフルカラー画像２７４を生成する。

図９において、エッジマップ生成ブロック２０２は、図２に記載されたものと同じである。ＲＧＢＣＦＡ画像増強ブロック２６６は、図８に記載されたものと同じである。ＲＧＢＣＦＡ画像補間ブロック２７２は、図７に記載されたＲＧＢＣＦＡ画像補間ブロック２６０と同じである。

図１０は、本発明の別の態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、デジタルＲＧＢＰＣＦＡ画像又はＲＧＢＰＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。エッジマップ生成ブロック２０２が、ＲＧＢＰＣＦＡ画像２００からエッジマップ２０４を生成する。ＲＧＢＣＦＡ画像増強ブロック２６６が、ＲＧＢＰＣＦＡ画像２００及びエッジマップ２０４から増強されたＲＧＢＣＦＡ画像２６８を生成する。ＲＧＢＣＦＡ画像補間ブロック２０６が、増強されたＲＧＢＣＦＡ画像２６８から第１の増強されたフルカラー画像２７６を生成する。フルカラー画像増強ブロック２１２は、第１の増強されたフルカラー画像２７６及びエッジマップ２０４から第２の増強されたフルカラー画像２７８を生成する。

図１０において、エッジマップ生成ブロック２０２は、図２に記載されたものと同じである。ＲＧＢＣＦＡ画像増強ブロック２６６は、図８に記載されたものと同じである。ＲＧＢＣＦＡ画像補間ブロック２０６は、図２に記載されたものと同じである。フルカラー画像増強ブロック２１２は、図２に記載されたものと同じである。

図１１は、本発明の別の態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、デジタルＲＧＢＰＣＦＡ画像又はＲＧＢＰＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。エッジマップ生成ブロック２０２が、ＲＧＢＰＣＦＡ画像２００からエッジマップ２０４を生成する。ＲＧＢＣＦＡ画像増強ブロック２６６が、ＲＧＢＰＣＦＡ画像２００及びエッジマップ２０４から増強されたＲＧＢＣＦＡ画像２６８を生成する。ＲＧＢＣＦＡ画像補間ブロック２７２が、増強されたＲＧＢＣＦＡ画像２６８及びエッジマップ２０４から第１の増強されたフルカラー画像２８０を生成する。フルカラー画像増強ブロック２１２は、第１の増強されたフルカラー画像２８０及びエッジマップ２０４から第２の増強されたフルカラー画像２８２を生成する。

図１１において、エッジマップ生成ブロック２０２は、図２に記載されたものと同じである。ＲＧＢＣＦＡ画像増強ブロック２６６は、図８に記載されたものと同じである。ＲＧＢＣＦＡ画像補間ブロック２７２は、図９に記載されたものと同じである。フルカラー画像増強ブロック２１２は、図２に記載されたものと同じである。

本発明の好ましい態様に開示されたエッジマップに基づくアルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。

それぞれの事例において、エッジマップに基づくアルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザー入力を有することができ（完全又は部分手動)、結果を受諾／拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ（ユーザーによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。

本発明による本明細書中に開示されたエッジマップに基づくアルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。

１１０コンピュータシステム
１１２マイクロプロセッサをベースとするユニット
１１４ディスプレイ
１１６キーボード
１１８マウス
１２０ディスプレイ上のセレクタ
１２２ディスク・ドライブ・ユニット
１２４コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６フロッピー（登録商標）ディスク
１２７ネットワーク接続
１２８プリンタ
１３０パーソナルコンピュータ・カード（ＰＣカード）
１３２ＰＣカードリーダ
１３４デジタルカメラ
１３６カメラ・ドッキング・ポート
１３８ケーブル接続
１４０ワイヤレス接続
２００ＲＧＢＰＣＦＡ画像
２０２エッジマップ生成
２０４エッジマップ
２０６ＲＧＢＣＦＡ画像補間
２０８フルカラー画像
２１０増強されたフルカラー画像
２１２フルカラー画像増強
２４２低周波数フィルタリング
２４４低周波数フィルタリングされた画像
２４６高周波数フィルタリング
２４８高周波数画像
２５０閾値による数値化
２５２高周波数フィルタリング
２５４高周波数画像
２５６非最大値抑制
２５８エッジ薄化された高周波数画像
２６０ＲＧＢＣＦＡ画像補間
２６６ＲＧＢＣＦＡ画像増強
２６８増強されたＲＧＢＣＦＡ画像
２７０増強されたフルカラー画像
２７２ＲＧＢＣＦＡ画像補間
２７４増強されたフルカラー画像
２７６第１の増強されたフルカラー画像
２７８第２の増強されたフルカラー画像
２８０第１の増強されたフルカラー画像
２８２第２の増強されたフルカラー画像

Claims

コンピュータを使用して実行される、シーンの増強されたフルカラー画像を提供する方法であって、
ａ．少なくとも３つの光応答に対応するカラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイによって捕捉されたシーンの捕捉された画像を使用する工程と、
ｂ．該捕捉された画像から高周波数画像を形成し、そして該高周波数画像中の高周波数画素値を閾値により数値化する工程と、
ｃ．閾値により数値化された該高周波数画像中の該パンクロマティック画素に応答してエッジマップを形成する工程と、
ｄ．該捕捉されたカラー画素に応答して該フルカラー画像を形成する工程と、
ｅ．該フルカラー画像の各画素を、該画素がエッジ画素であるかどうかに応じて増強する工程と
を含む方法。
工程ｃが、該エッジマップを形成するために、該捕捉されたカラー画素及び該捕捉されたパンクロマティック画素の両方を使用することを含む請求項１に記載の方法。
該フルカラー画像を形成するために該エッジマップを使用することをさらに含む請求項２に記載の方法。