JP5123212B2 - パンクロマチック画素及びカラー画素の補間 - Google Patents

Description

本発明は、あらゆる種類の画像形成デバイスにおける使用に特に適したデジタルイメージプロセッシングオペレーションの分野に一般的に関する。

ビデオカメラ及びデジタル・スチルカメラは一般に、場面を記録するために、カラーフィルタ・アレイを有する単独のイメージセンサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる、まばらに在る単一チャネル画像で始まる。これに続く、近傍画素値の補間は、完全な３チャネル・フルカラー画像の再構成を可能にする。このプロセスの一例を米国特許第５，５０６，６１９号明細書（Hamilton他）に見いだすことができる。

低光量画像形成状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマチックである状態で有することが有利である。これらのパンクロマチック画素は、捕捉システムの最大感光性能力を有する。パンクロマチック画素を採用することは、捕捉システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、画像形成装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、捕捉デバイスの低光量性能全体を制限することである。

カラーフィルタ・アレイにおいて最大感光性を備えたより多くの画素を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。場面からのカラー情報を捕捉するのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに応答しない、又はこれを保護しない、単純な線形補間技術を用いることを教示する。

必要となるものは、改善された低光量感光性、及び改善された色空間分解忠実度の両方を提供するための、パンクロマチック画素とカラー画素との好適な構成を有するカラーフィルタ・アレイである。加えて、パンクロマチック・ディテール及び色空間ディテールを維持して増強し、そして最終的にフルカラー、フル解像度の画像を生成するために、このようなカラーフィルタ・アレイによって生成された画像データを処理する方法が必要となる。

本発明は、
（ａ） パンクロマチック画素と少なくとも２つのカラーフォトレスポンスに対応するカラー画素とを有するイメージセンサを使用して、画像を捕捉すること；
（ｂ） 該捕捉画像から、デジタル高解像度パンクロマチック画像とデジタル高解像度色差画像とを提供すること；そして
（ｃ） 最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
を含んで成る最終デジタルカラー画像を形成する方法を提供する。

本発明の特徴は、改善された画像忠実度で、低光量捕捉下で画像を捕捉することができることである。

本発明の別の特徴は、適応的画像処理戦略を用いることによって、画像忠実度が改善されることである。

以下に、通常はソフトウェアプログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の形態、並びにこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアは、コンベンショナルなものであり、慣用技術の範囲に含まれる。

さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリ（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。

本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナル、例えばハロゲン化銀フィルムの走査によって）デジタル化されることに留意するのも有益である。

例えば、図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。

ソフトウェアプログラム及びその他の情報を入力する手段を、マイクロプロセッサをベースとするユニット１１２に提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェアプログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを含んでもよく、これはソフトウェアプログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入される。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェアプログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。

ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られているＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカードは、カード１３０内に電子的に具体化されたデジタル化画像を含有する。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ１３４又はスキャナ(図示せず)から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することができる。

本発明によれば、まばらに在る画像を補間するために、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像に適用することができる。

図２は、好ましい態様の高レベルのダイヤグラムである。デジタルカメラ１３４は、デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマチック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。この画像は、まばらにサンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマチック・データの画素値を１つしか含有していないからである。ブロック２００のコピーが、低解像度ＲＧＢ ＣＦＡ画像形成ブロック２０２に渡される。ブロック２０２は、ＲＧＢＰ ＣＦＡ画像から、低解像度ＲＧＢ ＣＦＡ画像とも呼ばれるデジタル低解像度ＲＧＢ ＣＦＡ画像を形成する。ブロック２００の別のコピーは、高解像度パンクロマチック画像形成ブロック２０４に渡される。ブロック２０４は、ＲＧＢＰ ＣＦＡ画像から、高解像度パンクロマチック画像とも呼ばれるデジタル高解像度パンクロマチック画像を形成する。ブロック２０４の出力は、低解像度パンクロマチック画像形成ブロック２０６に渡される。ブロック２０６は、高解像度パンクロマチック画像から、低解像度パンクロマチック画像とも呼ばれるデジタル低解像度パンクロマチック画像を形成する。ブロック２０６の出力及びブロック２０２の出力は、低解像度色差形成ブロック２０８に渡される。ブロック２０８は、低解像度パンクロマチック画像を低解像度ＲＧＢ ＣＦＡ画像から差し引くことにより、低解像度色差画像を形成する。ブロック２０８の出力は、低解像度色差画像補間ブロック２１６に渡される。ブロック２１６は、低解像度色差に対してバイエル(Bayer)ＣＦＡ補間演算を実施する。このようなバイエルＣＦＡ補間の一例は、米国特許第５，５０６，６１９号明細書（Hamilton他）に見いだすことができるが、他のバイエルＣＦＡ補間法を用い得ることは当業者には明らかである。ブロック２１６の結果は、各画素に対して３つの色差値を有する、補間された低解像度色差画像とも呼ばれるデジタル補間された低解像度色差画像である。ブロック２１６の出力は、高解像度色差形成ブロック２１０に渡される。ブロック２１０は、低解像度色差画像を双２次線形補間（アップサイジング）することにより、高解像度色差画像とも呼ばれるデジタル高解像度色差画像を形成する。ブロック２１０の出力及びブロック２０４の出力は、高解像度フルカラー画像形成ブロック２１２に渡される。ブロック２１２は、高解像度パンクロマチック画像を高解像度色差画像に加えることにより、高解像度フルカラー画像２１４とも呼ばれるデジタル高解像度フルカラー画像を形成する。

図３は、図２における高解像度パンクロマチック画像形成ブロック２０４のより詳細なダイヤグラムである。ＲＧＢＰ ＣＦＡ画像２００（図２）は、画素近傍予測子(pixel neighborhood predictor)計算ブロック３００に渡される。ブロック３００は、画素近傍予測子値集合を計算する。ブロック３００の結果は、画素近傍分類子(pixel neighborhood classifier)計算ブロック３０２に渡される。ブロック３０２は、画素近傍分類子値集合を計算し、各分類子値は、ブロック３００内で計算された予測子値のうちの１つに対応する。ブロック３０２の結果は、計算方向決定ブロック３０４に渡される。ブロック３０４は、ブロック３０２内で生成された分類子値集合に基づいて、好ましい計算方向を決定する。ブロック３０４の結果及びブロック３００の結果は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６は、ブロック３０４によって決定された方向に応じて、ブロック３００の結果から好適な予測子値を選択する。選択されたこの予測子値は次いで、補間された高解像度パンクロマチック画素値になる。ブロック３０６の結果は、ブロック２０４の出力になる（図２）。

図４は、ＲＧＢＰ ＣＦＡ画像ブロック２００全体にわたって反復された画素領域である。図４の顕著な特徴は、パンクロマチック画素の２つの行が、レッド及びグリーンの画素と、グリーン及びブルーの画素との交互の行によって分離されていることである。

図５は、図６に示された画素領域を生成するために、低解像度ＲＧＢ ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この好ましい態様において、下記式が用いられる。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには３分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、３つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。本発明の別の態様の場合、ブロック２０２のための異なる式集合が下記のように用いられる。

図７は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される画素領域である。ブロック３００（図３）によって計算される２つの予測子値集合がある。画素近傍の中心画素がグリーン画素、例えば図７におけるＧ₁₅である場合、下記予測子値が計算される。

画素近傍の中心画素がグリーン画素ではなく、例えば図７におけるＢ₁₆である場合、下記予測子値が計算される。

ブロック３０２（図３）によって計算される１つの分類子値集合がある。所与の近傍における中心画素の色は種々異なっていてよいが、分類子を計算するためには同じ式が用いられる。２つの例をここで挙げる。画素近傍の中心画素がグリーン画素、例えば図７におけるＧ₁₅である場合、下記分類子値が計算される。

値ｔ₁及びｔ₂は、ｃ_horizontal、ｃ_left、及びｃ_rightがｃ_slash、ｃ_vertical、又はｃ_backslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔ₁及びｔ₂の典型的な値は、８ビット画素値データ範囲に関して２０及び４０である。画素近傍の中心画素がグリーン画素ではなく、例えば図７におけるＢ₁₆である場合、下記分類子値が計算される。

なお、これらの式は両方の例において実質的に同じである。レッド画素を中心とする近傍の場合、第２の例から分類子を求めることができ、ブルー画素値をレッド画素値と交換することになる。

図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔ_activityと比較される。ｔ_activityの典型的な値は、８ビット画素値データ範囲に関して２００である。全ての分類子値が活性閾値以上である場合、計算方向は、予測子値ｐ_cubicと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図８に示されている。図８において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図８は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには３分の１である。本発明の別の態様の場合、ブロック２０６（図２）のための異なる式集合が下記のように用いられる。

図１０は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１０において、Ｘ₁及びＸ₄は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ₂及びＸ₃が計算される。

双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。

本発明の別の態様をここで説明する。図２及び図３は、好ましい態様におけるものと同様である。図１１は、ＲＧＢＰ ＣＦＡ画像ブロック２００（図２）全体にわたって反復された別の画素領域である。図１１の顕著な特徴は、パンクロマチック画素の２つの行が、３つの隣接するレッド、続いて３つの隣接するグリーンの画素と、３つの隣接するグリーン、続いて３つの隣接するブルーの画素との交互の行によって分離されていることである。

図１２は、図６に示された画素領域を生成するために、低解像度ＲＧＢ ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この好ましい態様において、下記式が用いられる。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには３分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、３つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。

図１３は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される画素領域である。画素近傍の中心画素がブルー又はレッド画素、例えば図１３におけるＢ₃₃である場合、下記予測子値が計算される。

画素近傍の中心画素がグリーン画素である場合、ｐ_horizontalは単にグリーン中心画素値になる。ブロック３０２（図３）によって計算される１つの分類子値集合がある。所与の近傍における中心画素の色は種々異なっていてよいが、分類子を計算するためには同じ式が用いられる。図１３に戻ると、画素近傍の中心画素は、Ｂ₃₃であり、この値に関して、下記分類子値が計算される。

値ｔ₁及びｔ₂は、ｃ_horizontal、ｃ_left、及びｃ_rightがｃ_slash、ｃ_vertical、又はｃ_backslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔ₁及びｔ₂の典型的な値は、８ビット画素値データ範囲に関して５０及び５０である。

図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔ_activityと比較される。ｔ_activityの典型的な値は、８ビット画素値データ範囲に関して２００である。全ての分類子値が活性閾値以上である場合、計算方向は、予測子値ｐ_cubicと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図８に示されている。図８において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図８は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには３分の１である。本発明の別の態様の場合、ブロック２０６（図２）のための異なる式集合が下記のように用いられる。

図１０は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１０において、Ｘ₁及びＸ₄は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ₂及びＸ₃が計算される。

双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。

本発明の第２の別の態様をここで説明する。図２及び図３は、好ましい態様におけるものと同様である。図１４は、ＲＧＢＰ ＣＦＡ画像ブロック２００（図２）全体にわたって反復された別の画素領域である。図１４の顕著な特徴は、パンクロマチック画素の単一の行が、４つの隣接するレッド、続いて４つの隣接するグリーンの画素と、４つの隣接するグリーン、続いて４つの隣接するブルーの画素との交互の行によって分離されていることである。

図１５は、図６に示された画素領域を生成するために、低解像度ＲＧＢ ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この好ましい態様において、下記式が用いられる。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには８分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、８つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。

図１６は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される別の画素領域を示す。画素近傍の中心画素の１つがブルー画素、例えば図１６ＡにおけるＢ₂₄である場合、下記予測子値が計算される。

画素近傍の中心画素の１つがレッド画素、例えば図１６ＢにおけるＲ₂₄である場合、下記予測子値が計算される。

画素近傍の中心画素の１つがグリーン画素、例えば図１６ＣにおけるＧ₂₄である場合、下記予測子値が計算される。

画素近傍の中心画素の１つがグリーン画素、例えば図１６ＤにおけるＧ₂₄である場合、下記予測子値が計算される。

ブロック３０２（図３）によって計算される１つの分類子値集合がある。所与の近傍における中心画素の色は種々異なっていてよいが、分類子を計算するためには同じ式が用いられる。図１６Ａを参照すると、画素近傍の中心画素は、Ｂ₂₄であり、そして下記分類子値が計算される。

値ｔは、ｃ_horizontalがｃ_slash、ｃ_vertical、又はｃ_backslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔの典型的な値は、８ビット画素値データ範囲に関して２０である。図１６Ｂを参照すると、画素近傍の中心画素は、Ｒ₂₄であり、そして下記分類子値が計算される。

値ｔは、ｃ_horizontalがｃ_slash、ｃ_vertical、又はｃ_backslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔの典型的な値は、８ビット画素値データ範囲に関して２０である。図１６Ｃを参照すると、画素近傍の中心画素は、Ｇ₂₄であり、そして下記分類子値が計算される。

値ｔは、ｃ_horizontalがｃ_slash、ｃ_vertical、又はｃ_backslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔの典型的な値は、８ビット画素値データ範囲に関して２０である。

図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔ_activityと比較される。ｔ_activityの典型的な値は、８ビット画素値データ範囲に関して２００である。全ての分類子値が活性閾値以上である場合、計算方向は、予測子値ｐ_cubicと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図１７に示されている。図１７において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図１７は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには８分の１である。

図１８は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１８において、Ｘ₁及びＸ₅は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ₂、Ｘ₃及びＸ₄が計算される。

双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。

本発明の第３の別の態様をここで説明する。図２及び図３は、好ましい態様におけるものと同様である。図１９は、ＲＧＢＰ ＣＦＡ画像ブロック２００（図２）全体にわたって反復された別の画素領域である。図１９の顕著な特徴は、パンクロマチック画素の交互の単一の行及び単一の列が、隔離されたレッド、グリーン、及びブルー画素によって分離されていることである。

図２０は、図６に示された画素領域を生成するために、低解像度ＲＧＢ ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この別の態様において、下記式が用いられる。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには４分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、４つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。

図２１は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される別の画素領域を示す。中心画素Ｘ₂₂はレッド、グリーン、又はブルー画素である。別の画素領域に関しては、下記予測子値が計算される。

同じ別の画素領域に関して、下記分類子が計算される。

図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔ_activityと比較される。ｔ_activityの典型的な値は、８ビット画素値データ範囲に関して１６０である。全ての分類子値が活性閾値以下である場合、計算方向は、予測子値ｐ_flatと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図２２に示されている。図２２において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図２２は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６（図２）によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。

これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには４分の１である。

図１８は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１８において、Ｘ₁及びＸ₅は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ₂、Ｘ₃、及びＸ₄が計算される。

双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。

本発明の好ましい態様に開示された補間アルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。

それぞれの事例において、補間アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザー入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ（ユーザーによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。

本発明による本明細書中に開示された補間アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。

図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す全体図である。 図２は、好ましい態様を示すブロック・ダイヤグラムである。 図３は、図２のブロック２０４をより詳細に示すブロック・ダイヤグラムである。 図４は、図２のブロック２０２における画素領域を示す図である。 図５は、図２のブロック２０２において使用される画素領域を示す図である。 図６は、図２のブロック２０２において生成される画素領域を示す図である。 図７は、図２のブロック２０４において使用される画素領域を示す図である。 図８は、図２のブロック２０４において生成される画素領域を示す図である。 図９は、図２のブロック２０６において生成される画素領域を示す図である。 図１０は、図２のブロック２１０において生成される画素領域を示す図である。 図１１は、別の態様の、図２のブロック２００において生成される画素領域を示す図である。 図１２は、別の態様の、図２のブロック２０２において使用される画素領域を示す図である。 図１３は、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。 図１４は、別の態様の、図２のブロック２００において生成される画素領域を示す図である。 図１５は、別の態様の、図２のブロック２０２において使用される画素領域を示す図である。 図１６Ａは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。 図１６Ｂは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。 図１６Ｃは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。 図１６Ｄは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。 図１７は、別の態様の、図２のブロック２０４において生成される画素領域を示す図である。 図１８は、別の態様の、図２のブロック２１０における画素領域を示す図である。 図１９は、別の態様の、図２のブロック２００において生成される画素領域を示す図である。 図２０は、別の態様の、図２のブロック２０２において使用される画素領域を示す図である。 図２１は、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。 図２２は、別の態様の、図２のブロック２０４において生成される画素領域を示す図である。

符号の説明

１１０ コンピュータシステム
１１２ マイクロプロセッサをベースとするユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フロッピー（登録商標）ディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータ・カード（ＰＣカード）
１３２ ＰＣカードリーダ
１３４ デジタルカメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ ワイヤレス接続
２００ ＲＧＢＰ ＣＦＡ画像
２０２ 低解像度ＲＧＢ ＣＦＡ画像形成
２０４ 高解像度パンクロマチック画像形成
２０６ 低解像度パンクロマチック画像形成
２０８ 低解像度色差形成
２１０ 高解像度色差形成
２１２ 高解像度フルカラー画像形成
２１４ 高解像度フルカラー画像
２１６ 低解像度色差画像補間
３００ 画素近傍予測子計算
３０２ 画素近傍分類子計算
３０４ 計算方向決定
３０６ 高解像度パンクロマチック画素値計算

Claims (16)

1. （ａ） 下記配列：
   

   

   を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有するイメージセンサを使用して、画像を捕捉すること；
   （ｂ） 該捕捉画像から、デジタル高解像度パンクロマチック画像、低解像度パンクロマチック画像、及び低解像度ＲＧＢ ＣＦＡ画像を提供すること；
   （ｃ） 低解像度色差画像を生成するために、該低解像度パンクロマチック画像及び該低解像度ＲＧＢ ＣＦＡ画像を使用すること；
   （ｄ） デジタル補間された低解像度色差画像を生成するために、該低解像度色差画像を使用すること；
   （ｅ） デジタル高解像度色差画像を生成するために、デジタル補間された低解像度色差画像を使用すること；そして
   （ｆ） 最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
   を含んで成る最終デジタルカラー画像を形成する方法。
2. ステップ（ｂ）が、該デジタル高解像度パンクロマチック画像を生成するために、画素近傍分類子値に応答する画素近傍予測子値を使用することを含む請求項１に記載の方法。
3. ステップ（ｂ）が、該低解像度パンクロマチック画像を生成するために、該デジタル高解像度パンクロマチック画像を、平均化しそしてサブサンプリングすることをさらに含む請求項１に記載の方法。
4. ステップ（ｂ）が、該デジタル低解像度ＲＧＢ ＣＦＡ画像を生成するために、デジタルＲＧＢＰ ＣＦＡ画像を、加算又は平均化しそしてサブサンプリングすることをさらに含む請求項１に記載の方法。
5. （ａ） 下記配列：
   

   

   を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有するイメージセンサを使用して、画像を捕捉すること；
   （ｂ） 該捕捉画像から、デジタル高解像度パンクロマチック画像、低解像度パンクロマチック画像、及び低解像度ＲＧＢ ＣＦＡ画像を提供すること；
   （ｃ） 低解像度色差画像を生成するために、該低解像度パンクロマチック画像及び該低解像度ＲＧＢ ＣＦＡ画像を使用すること；
   （ｄ） デジタル補間された低解像度色差画像を生成するために、該低解像度色差画像を使用すること；
   （ｅ） デジタル高解像度色差画像を生成するために、デジタル補間された低解像度色差画像を使用すること；そして
   （ｆ） 最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
   を含んで成る最終デジタルカラー画像を形成する方法。
6. ステップ（ｂ）が、該デジタル高解像度パンクロマチック画像を生成するために、画素近傍分類子値に応答する画素近傍予測子値を使用することを含む請求項５に記載の方法。
7. ステップ（ｂ）が、該低解像度パンクロマチック画像を生成するために、該デジタル高解像度パンクロマチック画像を、平均化しそしてサブサンプリングすることをさらに含む請求項５に記載の方法。
8. ステップ（ｂ）が、該デジタル低解像度ＲＧＢ ＣＦＡ画像を生成するために、デジタルＲＧＢＰ ＣＦＡ画像を、加算又は平均化しそしてサブサンプリングすることをさらに含む請求項５に記載の方法。
9. （ａ） 下記配列：
   

   

   を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有するイメージセンサを使用して、画像を捕捉すること；
   （ｂ） 該捕捉画像から、デジタル高解像度パンクロマチック画像、低解像度パンクロマチック画像、及び低解像度ＲＧＢ ＣＦＡ画像を提供すること；
   （ｃ） 低解像度色差画像を生成するために、該低解像度パンクロマチック画像及び該低解像度ＲＧＢ ＣＦＡ画像を使用すること；
   （ｄ） デジタル補間された低解像度色差画像を生成するために、該低解像度色差画像を使用すること；
   （ｅ） デジタル高解像度色差画像を生成するために、デジタル補間された低解像度色差画像を使用すること；そして
   （ｆ） 最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
   を含んで成る最終デジタルカラー画像を形成する方法。
10. ステップ（ｂ）が、該デジタル高解像度パンクロマチック画像を生成するために、画素近傍分類子値に応答する画素近傍予測子値を使用することを含む請求項９に記載の方法。
11. ステップ（ｂ）が、該低解像度パンクロマチック画像を生成するために、該デジタル高解像度パンクロマチック画像を、平均化しそしてサブサンプリングすることをさらに含む請求項９に記載の方法。
12. ステップ（ｂ）が、該デジタル低解像度ＲＧＢ ＣＦＡ画像を生成するために、デジタルＲＧＢＰ ＣＦＡ画像を、加算又は平均化しそしてサブサンプリングすることをさらに含む請求項９に記載の方法。
13. （ａ） 下記配列：
    

    

    を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有するイメージセンサを使用して、画像を捕捉すること；
    （ｂ） 該捕捉画像から、デジタル高解像度パンクロマチック画像、低解像度パンクロマチック画像、及び低解像度ＲＧＢ ＣＦＡ画像を提供すること；
    （ｃ） 低解像度色差画像を生成するために、該低解像度パンクロマチック画像及び該低解像度ＲＧＢ ＣＦＡ画像を使用すること；
    （ｄ） デジタル補間された低解像度色差画像を生成するために、該低解像度色差画像を使用すること；
    （ｅ） デジタル高解像度色差画像を生成するために、デジタル補間された低解像度色差画像を使用すること；そして
    （ｆ） 最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
    を含んで成る最終デジタルカラー画像を形成する方法。
14. ステップ（ｂ）が、該デジタル高解像度パンクロマチック画像を生成するために、画素近傍分類子値に応答する画素近傍予測子値を使用することを含む請求項１３に記載の方法。
15. ステップ（ｂ）が、該低解像度パンクロマチック画像を生成するために、該デジタル高解像度パンクロマチック画像を、平均化しそしてサブサンプリングすることをさらに含む請求項１３に記載の方法。
16. ステップ（ｂ）が、該デジタル低解像度ＲＧＢ ＣＦＡ画像を生成するために、デジタルＲＧＢＰ ＣＦＡ画像を、加算又は平均化しそしてサブサンプリングすることをさらに含む請求項１３に記載の方法。

Images