JP5260552B2 - パンクロマティック画素を使用した鮮鋭化方法 - Google Patents

Description

本発明は、所望の鮮鋭度よりも低い鮮鋭度を有するパンクロマティック画像及びカラー画像から、所望の鮮鋭度を有するカラー画像を形成することに関する。

ビデオカメラ及びデジタル・スチルカメラは一般に、シーンを記録するために、カラーフィルタ・アレイを有する単独の画像センサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる疎密度の単一チャネル画像で始まる。これに続く、近傍画素値の補間が、完全な３チャネル・フルカラー画像の再構成を可能にする。次に、このフルカラー画像を、鮮鋭なエッジ及び微細なディテールの外観を改善するために鮮鋭化することができる。１つの一般的なアプローチは、ルミナンス色チャネル、例えば「グリーン」を直接的に検出するか又は合成し、次いで、初期ステップとして最大解像度ルミナンス画像を生成することである。この高周波数ルミナンスチャネルは次いで種々の方法で変更され、次いで、鮮鋭化されたフルカラー画像を生成するために、フルカラー画像に加えられる。米国特許第５，２３７，４０２号明細書（Deshon他）に教示されている１つの典型的な例では、フルカラー画像をルミナンス−クロミナンス空間に変換し、そしてルミナンスチャネルから高周波数ルミナンス画像を生成し、次いで、色補正及び元の色空間への戻し変換後に、高周波数ルミナンス画像をフルカラー画像に加え戻す。高周波数ルミナンス値の適応増幅に基づく高周波数ルミナンス画像変更方法が、米国特許第５，０３８，３８８号明細書（Song)に開示されている。

遠隔検知（衛星画像）の事例において、走査光学システムを使用して、パンクロマティック・チャネルを直接的に検知することが、信号対雑音の観点から有利である。このパンクロマティック・チャネルは次いで、鮮鋭化プロセスにおいて、ルミナンスチャネルの代わりに使用することができる。米国特許第５，９４９，９１４号明細書（Yuen)には、高解像度パンクロマティック画像及びいくつかのいくつかの低解像度狭帯域カラー画像を直接的に検知し、そして、狭帯域カラー画像を鮮鋭化するために、パンクロマティック画像に応答する反復デコンボルーション・プロセスを実施することが記載されている。米国特許第６，０９７，８３５号明細書（Lindgren）は、好適な鮮鋭化用画像成分を抽出するために、直接検知された高解像度パンクロマティック画像を狭帯域カラー画像上へ投影する方法を教示しており、これらの鮮鋭化用画像成分は続いて、狭帯域カラー画像を鮮鋭化するために使用される。ビデオ及びデジタル・スチルカメラにおいてこれらの方法を直接的に実施することは、前記カメラ内部に同様の走査光学システムを内蔵できないことにより阻まれる。

低光量撮像状況下では、１つ又は２つ以上の画素を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマティックである状態で有することが有利である。これらのパンクロマティック画素は、捕捉システムの最大感光度能力を有する。パンクロマティック画素を採用することは、捕捉システムにおいて、感光度と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、撮像装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光度を有さず、従って、捕捉装置の低光量性能全体を制限することである。

より多くの画素がカラーフィルタ・アレイにおいて最大感光度を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。そのシーンからのカラー情報を捕捉するのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高周波数色空間ディテールに対して応答しない、又はこれを保護しない、単純な線形補間技術を用いることを教示する。

本発明の目的は、パンクロマティック画素及びカラー画素を有するデジタル画像から、所望の鮮鋭度を有するデジタルカラー画像を生成することである。

本発明は、
（ａ） カラー画素とパンクロマティック画素との両方を有する二次元センサ・アレイを使用してシーンの画像を捕捉するステップ；
（ｂ） 捕捉されたカラー画素に応答してフルカラー画像を形成し、該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成するステップ；
（ｃ） 該基準パンクロマティック画像から高周波数パンクロマティック画像を形成するステップ；そして
（ｄ） 該高周波数パンクロマティック画像及び該フルカラー画像に応答して、鮮鋭化されたフルカラー画像を提供するステップ
を含んで成るシーンのフルカラー画像を鮮鋭化する方法によって達成される。

本発明の特徴は、パンクロマティック画素及びカラー画素を有するセンサを用いて低光量条件下で画像を捕捉することができ、また、処理を施すことにより、パンクロマティック画素及びカラー画素から形成されるデジタル・カラー画像内に所望の鮮鋭度を生成することである。

本発明は、上記方法が、改善された低感光度及び改善された色空間分解忠実度の両方を提供するのを可能にするために、パンクロマティック画素とカラー画素とを好適に合成することによって、カラーフィルタ・アレイを利用する。上記方法は、パンクロマティック空間ディテール及びカラー空間ディテールを保存し、増幅し、そして鮮鋭化されたフルカラー画像を生成する。

図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムの全体である。 図２は、本発明の好ましい態様の一部を示すブロック・ダイヤグラムである。 図３は、本発明の好ましい態様の別の部分を示すブロック・ダイヤグラムである。 図４は、本発明の別の態様を示すブロック・ダイヤグラムである。 図５は、本発明の別の態様を示すブロック・ダイヤグラムである。 図６は、本発明の別の態様としての図５のブロック２３４を、より詳細に示すブロック・ダイヤグラムである。 図７は、本発明の別の態様としての図５のブロック２３４を、より詳細に示すブロック・ダイヤグラムである。 図８は、本発明の別の態様としての図５のブロック２３４を、より詳細に示すブロック・ダイヤグラムである。 図９は、本発明の別の態様としての図５のブロック２３４を、より詳細に示すブロック・ダイヤグラムである。 図１０Ａは、本発明の別の態様を示すブロック・ダイヤグラムである。 図１０Ｂは、本発明の別の態様としての図１０Ａのブロック２７８を、より詳細に示すブロック・ダイヤグラムである。 図１１Ａは、本発明の別の態様を示すブロック・ダイヤグラムである。 図１１Ｂは、本発明の別の態様としての図１１Ａのブロック２９６を、より詳細に示すブロック・ダイヤグラムである。 図１２Ａは、本発明の別の態様を示すブロック・ダイヤグラムである。 図１２Ｂは、本発明の別の態様としての図１２Ａのブロック３１８を、より詳細に示すブロック・ダイヤグラムである。 図１３は、本発明の別の態様を示すブロック・ダイヤグラムである。

以下に、通常はソフトウェア・プログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の観点、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。

さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリ（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。

本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナルのフィルム、例えばハロゲン化銀塩フィルムを走査することによって）デジタル化されることに留意するのも有益である。

図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。

マイクロプロセッサをベースとするユニット１１２にソフトウェアプログラム及びその他の情報を入力する手段を提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェアプログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを含んでもよく、これはソフトウェアプログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入することもできる。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェアプログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカルエリアネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。

ディスプレイ１１４上には、ＰＣカード１３０内に電子的に具体化されたデジタル化画像を含有するパーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られている、ＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ（図示せず）又はスキャナ(図示せず)から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することもできる。

本発明によれば、画像を鮮鋭化するために、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像に適用することができる。

図２は、本発明の好ましい態様の第１部分の高レベル・ダイヤグラムである。デジタルカメラ１３４は、元のデジタルレッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像（デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれる）２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢ ＣＦＡ画像２００から基準パンクロマティック画像２０４を生成する。画像処理鎖内のこの時点では、各カラー画素位置は、関連付けられたパンクロマティック値と、レッド、グリーン、又はブルー値とを有している。ＲＧＢ ＣＦＡ画像２００及び基準パンクロマティック画像２０４から、ＲＧＢ ＣＦＡ画像補間ブロック２０６が続いて、フルカラー画像２０８を生成する。図２において、パンクロマティック画像補間ブロック２０２及びＲＧＢ ＣＦＡ画像補間ブロック２０６は、当業者に知られている適切な方法で実施することができる。

図３は、本発明の好ましい態様の第２部分の高レベル・ダイヤグラムである。高周波数パンクロマティック画像生成ブロック２１０が、基準パンクロマティック画像２０４（図２）から高周波数パンクロマティック画像２１２を生成する。鮮鋭化されたフルカラー画像生成ブロック２１４は、高周波数パンクロマティック画像２１２及びフルカラー画像２０８（図２）から鮮鋭化されたフルカラー画像２１６を生成する。

図３において、高周波数パンクロマティック画像生成ブロック２１０は、当業者に知られている任意の適切な方法で実施することができる。２つの例を挙げる。第１の例は、下記ハイパス・コンボリューション・カーネルを用いて基準パンクロマティック画像２０４（図２）のコンボリューションを実施することにより、高周波数パンクロマティック画像２１２を生成することである：

第２の例は、下記ローパス・コンボリューション・カーネルを用いて基準パンクロマティック画像２０４（図２）のコンボリューションを実施することにより、低周波数パンクロマティック画像を生成することである：

ここで低周波数パンクロマティック画像を基準パンクロマティック画像２０４（図２）から差し引くことにより、高周波数パンクロマティック画像２１２を生成する。

図３において、鮮鋭化されたフルカラー画像生成ブロック２１４は、当業者に知られている任意の適切な方法で実施することができる。一例としては、高周波数パンクロマティック画像２１２をフルカラー画像２０８（図２）に加えることにより、鮮鋭化されたフルカラー画像２１６を生成する。

図４は、本発明の別の態様の高レベル・ダイヤグラムである。高周波数パンクロマティック画像生成ブロック２１８が、基準パンクロマティック画像２０４（図２）から高周波数パンクロマティック画像２２０を生成する。高周波数パンクロマティック画像変更ブロック２２２が、高周波数パンクロマティック画像２２０から変更された高周波数パンクロマティック画像２２４を生成する。鮮鋭化されたフルカラー画像生成ブロック２２６が、変更された高周波数パンクロマティック画像２２４及びフルカラー画像２０８（図２）から鮮鋭化されたフルカラー画像２２８を生成する。

図４において、高周波数パンクロマティック画像生成ブロック２１８は、高周波数パンクロマティック画像生成ブロック２１０（図３）と同様に実施することができる。高周波数パンクロマティック画像変更ブロック２２２は、当業者に知られている任意の適切な方法で実施することができる。一例として、米国特許第６，１７３，０８５号明細書（Hamilton, Jr.他）には、高周波数画像を変更するためにコアリング関数を使用することが教示されている。鮮鋭化されたフルカラー画像生成ブロック２２６は、鮮鋭化されたフルカラー画像生成ブロック２１４（図３）と同様に実施することができる。

図５は、本発明の別の態様の高レベル・ダイヤグラムである。高周波数パンクロマティック画像生成ブロック２３０が、基準パンクロマティック画像２０４（図２）から高周波数パンクロマティック画像２３２を生成する。高周波数パンクロマティック画像変更ブロック２３４が、高周波数パンクロマティック画像２３２及び基準パンクロマティック画像２０４（図２）から変更された高周波数パンクロマティック画像２３６を生成する。鮮鋭化されたフルカラー画像生成ブロック２３８が、変更された高周波数パンクロマティック画像２３６及びフルカラー画像２０８（図２）から鮮鋭化されたフルカラー画像２４０を生成する。

図５において、高周波数パンクロマティック画像生成ブロック２３０は、高周波数パンクロマティック画像生成ブロック２１０（図３）と同様に実施することができる。高周波数パンクロマティック画像変更ブロック２３４は、当業者に知られている任意の適切な方法で実施することができる。例を続く段落に示す。鮮鋭化されたフルカラー画像生成ブロック２３８は、鮮鋭化されたフルカラー画像生成ブロック２１４（図３）と同様に実施することができる。

図６は、高周波数パンクロマティック画像変更ブロック２３４（図５）の詳細なダイヤグラムである。エッジ・マスク生成ブロック２４２が、基準パンクロマティック画像２０４（図２）からエッジ・マスク２４４を生成する。高周波数パンクロマティック画像スケーリング・ブロック２４６が、エッジ・マスク２４４及び高周波数パンクロマティック画像２１２（図５）から、変更された高周波数パンクロマティック画像２３６（図５）を生成する。

図６において、エッジ・マスク生成ブロック２４２は、当業者に知られている任意の適切な方法で実施することができる。一例としては、基準パンクロマティック画像２０４（図２）を、１つ又は２つ以上のエッジ検出コンボリューション・カーネルを用いてコンボリューションし、そしてこれらの結果をベクトル・ノルムとして組み合わせることができる。最後に、結果として生じたベクトル・ノルムから小さなバイアス値を差し引くことにより、雑音除去能力を提供することができる。明白な例として：

が挙げられる。

この等式において、Ｍはエッジ・マスク２４４であり、Ｐは基準パンクロマティック画像２０４（図２）であり、ｋはスケーリング定数であり、そしてｂは所定のバイアス定数である。ｋは典型的には８分の１の値に設定され、エッジ・マスクの効果を増減するために、その点から調節することができる。適切なｂの値を決定するために、典型的には、ゼロに設定されたｂでエッジ・マスクを計算し、次いで、シーンのディテールがないことが知られているＰの領域、例えば澄んだ空又は平らな壁におけるエッジ・マスク値の標準偏差を計算する。次いでｂを標準偏差の１倍又は２倍に設定する。高周波数パンクロマティック画像スケーリング・ブロック２４６は、当業者に知られている任意の適切な方法で実施することができる。一例としては、エッジ・マスク２４４を高周波数パンクロマティック画像２１２（図５）で掛け算することにより、変更された高周波数パンクロマティック画像２３６（図５）を生成することができる。

図７は、高周波数パンクロマティック画像変更ブロック２３４（図５）の別の態様を示す詳細なダイヤグラムである。エッジ・マスク生成ブロック２４８が、基準パンクロマティック画像２０４（図２）からエッジ・マスク２５０を生成する。高周波数パンクロマティック画像スケーリング・ブロック２５２が、エッジ・マスク２５０及び高周波数パンクロマティック画像２１２（図５）から、スケーリングされた高周波数パンクロマティック画像２５４を生成する。コアリング・ブロック２５６が、スケーリングされた高周波数パンクロマティック画像２５４から、変更された高周波数パンクロマティック画像２３６（図５）を生成する。

図７において、エッジ・マスク生成ブロック２４８は、エッジ・マスク生成ブロック２４２（図６）と同様に実施することができる。高周波数パンクロマティック画像スケーリング・ブロック２５２は、高周波数パンクロマティック画像スケーリング・ブロック２４６（図６）と同様に実施することができる。コアリング・ブロック２５６は、上記引用文献米国特許第６，１７３，０８５号明細書（Hamilton, Jr.他）におけるように実施することができる。

図８は、高周波数パンクロマティック画像変更ブロック２３４（図５）の別の態様を示す詳細なダイヤグラムである。エッジ・マスク生成ブロック２５８が、基準パンクロマティック画像２０４（図２）からエッジ・マスク２６０を生成する。コアリング・ブロック２６２が、エッジ・マスク２６０からコアリングされたエッジ・マスク２６４を生成する。高周波数パンクロマティック画像スケーリング・ブロック２６６が、コアリングされたエッジ・マスク２６４及び高周波数パンクロマティック画像２１２（図５）から、変更された高周波数パンクロマティック画像２３６（図５）を生成する。

図８において、エッジ・マスク生成ブロック２５８は、エッジ・マスク生成ブロック２４２（図６）と同様に実施することができる。コアリング・ブロック２６２は、コアリング・ブロック２５６（図７）と同様に実施することができる。高周波数パンクロマティック画像スケーリング・ブロック２６６は、高周波数パンクロマティック画像スケーリング・ブロック２４６（図６）と同様に実施することができる。

図９は、高周波数パンクロマティック画像変更ブロック２３４（図５）の別の態様を示す詳細なダイヤグラムである。エッジ・マスク生成ブロック２６８が、基準パンクロマティック画像２０４（図２）からエッジ・マスク２７０を生成する。コアリング・ブロック２７４が、高周波数パンクロマティック画像２１２（図５）から、コアリングされた高周波数パンクロマティック画像２７６を生成する。高周波数パンクロマティック画像スケーリング・ブロック２７２が、エッジ・マスク２７０及びコアリングされた高周波数パンクロマティック画像２７６から、変更された高周波数パンクロマティック画像２３６（図５）を生成する。

図９において、エッジ・マスク生成ブロック２６８は、エッジ・マスク生成ブロック２４２（図６）と同様に実施することができる。コアリング・ブロック２７４は、コアリング・ブロック２５６（図７）と同様に実施することができる。高周波数パンクロマティック画像スケーリング・ブロック２７２は、高周波数パンクロマティック画像スケーリング・ブロック２４６（図６）と同様に実施することができる。

図１０Ａは、本発明の別の態様の高レベル・ダイヤグラムである。基準パンクロマティック画像変更ブロック２７８が、基準パンクロマティック画像２０４（図２）から変更された基準パンクロマティック画像２８０を生成する。本発明の前述又は後述の態様のいずれかにおいて、基準パンクロマティック画像２０４（図２）の代わりに、変更された基準パンクロマティック画像２８０を使用できることは当業者に明らかである。

図１０Ｂは、基準パンクロマティック画像変更ブロック２７８（図１０Ａ）を示す詳細なダイヤグラムである。高周波数パンクロマティック画像計算ブロック２８２が、基準パンクロマティック画像２０４（図２）から高周波数パンクロマティック画像２８４を生成する。コアリング・ブロック２８６が、高周波数パンクロマティック画像２８４からコアリングされた高周波数パンクロマティック画像２９２を生成する。低周波数パンクロマティック画像計算ブロック２８８が、基準パンクロマティック画像２０４（図２）から低周波数パンクロマティック画像２９０を生成する。変更された基準パンクロマティック画像生成ブロック２９４が、コアリングされた高周波数パンクロマティック画像２９２及び低周波数パンクロマティック画像２９０から、変更された基準パンクロマティック画像２８０（図１０Ａ）を生成する。

図１０Ｂにおいて、高周波数パンクロマティック画像計算ブロック２８２は、高周波数パンクロマティック画像生成ブロック２１０（図３）と同様に実施することができる。コアリング・ブロック２８６は、コアリング・ブロック２５６（図７）と同様に実施することができる。低周波数パンクロマティック画像計算ブロック２８８は、当業者に知られている任意の適切な方法で実施することができる。一例としては、高周波数パンクロマティック画像２８４を基準パンクロマティック画像２０４（図２）から差し引くことにより、低周波数パンクロマティック画像２９０を生成することができる。変更された基準パンクロマティック画像生成ブロック２９４は、当業者に知られている任意の適切な方法で実施することができる。一例としては、コアリングされた高周波数パンクロマティック画像２９２を低周波数パンクロマティック画像２９０に加えることにより、変更された基準パンクロマティック画像２８０（図１０Ａ）を生成することができる。

図１１Ａは、本発明の別の態様の高レベル・ダイヤグラムである。基準パンクロマティック画像変更ブロック２９６が、基準パンクロマティック画像２０４（図２）から変更された基準パンクロマティック画像２９８を生成する。本発明の前述又は後述の態様のいずれかにおいて、基準パンクロマティック画像２０４（図２）の代わりに、変更された基準パンクロマティック画像２９８を使用できることは当業者に明らかである。

図１１Ｂは、基準パンクロマティック画像変更ブロック２９６（図１１Ａ）を示す詳細なダイヤグラムである。低周波数パンクロマティック画像計算ブロック３００が、基準パンクロマティック画像２０４（図２）及び高周波数パンクロマティック画像３０８から低周波数パンクロマティック画像３０２を生成する。高周波数パンクロマティック画像計算ブロック３０６が、基準パンクロマティック画像２０４（図２）から高周波数パンクロマティック画像３０８を生成する。エッジ・マスク生成ブロック３１２は、基準パンクロマティック画像２０４（図２）からエッジ・マスク３１４を生成する。高周波数パンクロマティック画像マスキング・ブロック３１０が、高周波数パンクロマティック画像３０８及びエッジ・マスク３１４からマスキングされた高周波数パンクロマティック画像３１６を生成する。変更された基準パンクロマティック画像生成ブロック３０４が、マスキングされた高周波数パンクロマティック画像３１６及び低周波数パンクロマティック画像３０２から、変更された基準パンクロマティック画像２９８（図１１Ａ）を生成する。

図１１Ｂにおいて、低周波数パンクロマティック画像計算ブロック３００は、低周波数パンクロマティック画像計算ブロック２８８（図１０Ｂ）と同様に実施することができる。高周波数パンクロマティック画像計算ブロック３０６は、高周波数パンクロマティック画像生成ブロック２１０（図３）と同様に実施することができる。エッジ・マスク生成ブロック３１２は、エッジ・マスク生成ブロック２４２（図６）と同様に実施することができる。高周波数パンクロマティック画像マスキング・ブロック３１０は、高周波数パンクロマティック画像スケーリング・ブロック２４６（図６）と同様に実施することができる。変更された基準パンクロマティック画像生成ブロック３０４は、変更された基準パンクロマティック画像生成ブロック２９４（図１０Ｂ）と同様に実施することができる。

図１２Ａは、本発明の別の態様の高レベル・ダイヤグラムである。基準パンクロマティック画像変更ブロック３１８が、基準パンクロマティック画像２０４（図２）から変更された基準パンクロマティック画像３２０を生成する。本発明の前述又は後述の態様のいずれかにおいて、基準パンクロマティック画像２０４（図２）の代わりに、変更された基準パンクロマティック画像３２０を使用できることは当業者に明らかである。

図１２Ｂは、基準パンクロマティック画像変更ブロック３１８（図１２Ａ）を示す詳細なダイヤグラムである。フォトメトリック空間変換ブロック３２２が、基準パンクロマティック画像２０４（図２）から変更された基準パンクロマティック画像３２０（図１２Ａ）を生成する。フォトメトリック空間変換ブロック３２２は、当業者に知られている任意の適切な方法で実施することができる。一例として、米国特許第５，７０８，７２９号明細書（Adams他）には、画像をフォトメトリック変換するために対数・多項式関数を使用することが教示されている。

図１３は、本発明の別の態様の高レベル・ダイヤグラムである。基準パンクロマティック画像変更ブロック２７８（図１０Ａ）は、基準パンクロマティック画像２０４（図２）から変更された基準パンクロマティック画像３２４を生成する。基準パンクロマティック画像変更ブロック２９６（図１１Ａ）は、変更された基準パンクロマティック画像３２４から変更された基準パンクロマティック画像３２６を生成する。基準パンクロマティック画像変更ブロック３１８（図１２Ａ）は、変更された基準パンクロマティック画像３２６から変更された基準パンクロマティック画像３２８を生成する。図１３に示す動作鎖を任意の形式で延長、短縮、及び再編成し、これらを本発明の思想及び範囲内にとどめ得ることは当業者に明らかである。

本発明の好ましい態様に開示された鮮鋭化アルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。

それぞれの事例において、鮮鋭化アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザー入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ（ユーザーによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。

本発明による本明細書中に開示された鮮鋭化アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。

１１０ コンピュータシステム
１１２ マイクロプロセッサをベースとするユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フロッピー（登録商標）ディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータ・カード（ＰＣカード）
１３２ ＰＣカードリーダ
１３４ デジタルカメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ ワイヤレス接続
２００ ＲＧＢＰ ＣＦＡ画像
２０２ パンクロマティック画像補間
２０４ 基準パンクロマティック画像
２０６ ＲＧＢ ＣＦＡ画像補間
２０８ フルカラー画像
２１０ 高周波数パンクロマティック画像生成
２１２ 高周波数パンクロマティック画像
２１４ 鮮鋭化されたフルカラー画像生成
２１６ 鮮鋭化されたフルカラー画像
２１８ 高周波数パンクロマティック画像生成
２２０ 高周波数パンクロマティック画像
２２２ 高周波数パンクロマティック画像変更
２２４ 変更された高周波数パンクロマティック画像
２２６ 鮮鋭化されたフルカラー画像生成
２２８ 鮮鋭化されたフルカラー画像
２３０ 高周波数パンクロマティック画像生成
２３２ 高周波数パンクロマティック画像
２３４ 高周波数パンクロマティック画像変更
２３６ 変更された高周波数パンクロマティック画像
２３８ 鮮鋭化されたフルカラー画像生成
２４０ 鮮鋭化されたフルカラー画像
２４２ エッジ・マスク生成
２４４ エッジ・マスク
２４６ 高周波数パンクロマティック画像スケーリング
２４８ エッジ・マスク生成
２５０ エッジ・マスク
２５２ 高周波数パンクロマティック画像スケーリング
２５４ スケーリングされた高周波数パンクロマティック画像
２５６ コアリング
２５８ エッジ・マスク生成
２６０ エッジ・マスク
２６２ コアリング
２６４ コアリングされたエッジ・マスク
２６６ 高周波数パンクロマティック画像スケーリング
２６８ エッジ・マスク生成
２７０ エッジ・マスク
２７２ 高周波数パンクロマティック画像スケーリング
２７４ コアリング
２７６ コアリングされた高周波数パンクロマティック画像
２７８ 基準パンクロマティック画像を変更
２８０ 変更された基準パンクロマティック画像
２８２ 高周波数パンクロマティック画像を計算
２８４ 高周波数パンクロマティック画像
２８６ コアリング
２８８ 低周波数パンクロマティック画像を計算
２９０ 低周波数パンクロマティック画像
２９２ コアリングされた高周波数パンクロマティック画像
２９４ 変更された基準パンクロマティック画像を生成
２９６ 基準パンクロマティック画像を変更
２９８ 変更された基準パンクロマティック画像
３００ 低周波数パンクロマティック画像を計算
３０２ 低周波数パンクロマティック画像
３０４ 変更された基準パンクロマティック画像を生成
３０６ 高周波数パンクロマティック画像を計算
３０８ 高周波数パンクロマティック画像
３１０ 高周波数パンクロマティック画像をマスキング
３１２ エッジ・マスクを生成
３１４ エッジ・マスク
３１６ マスキングされた高周波数パンクロマティック画像
３１８ 基準パンクロマティック画像を変更
３２０ 変更された基準パンクロマティック画像
３２２ フォトメトリック空間変換
３２４ 変更された基準パンクロマティック画像
３２６ 変更された基準パンクロマティック画像
３２８ 変更された基準パンクロマティック画像

Claims (3)

1. （ａ） カラー画素とパンクロマティック画素との両方を有する二次元センサ・アレイを使用してシーンの画像を捕捉するステップと、
   （ｂ） 捕捉されたカラー画素に応答してフルカラー画像を形成し、該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成するステップと、
   （ｃ） 該基準パンクロマティック画像から高周波数パンクロマティック画像を形成するステップと、
   （ｄ） 該基準パンクロマティック画像から生成されたエッジ・マスクを使用することにより該高周波数パンクロマティック画像を変更するステップと、
   （ｅ） 該高周波数パンクロマティック画像及び該フルカラー画像に応答して、鮮鋭化されたフルカラー画像を提供するステップと
   を含む、シーンのフルカラー画像を鮮鋭化する方法。
2. 該エッジ・マスクを使用して該高周波数パンクロマティック画像をスケーリングして、変更された高周波数パンクロマティック画像を生成することをさらに含む、請求項１に記載の方法。
3. 該変更が、該高周波数パンクロマティック画像をコアリングすることをさらに含む、請求項１に記載の方法。

Images