JPWO2004068862A1 - 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム - Google Patents

Abstract

イメージセンサの物理的な解像度においての制限は、画像の解像度を高める動機を提供する。超解像が主にグレー・スケール画像に適用されており、色フィルタ配列を有するイメージセンサから高解像度カラー画像を生成することはまだ徹底的な検討がなされていない。本発明は色フィルタ配列を有するイメージセンサによって得られた色モザイクから直接に高解像度カラー画像を生成することを目的とする。本発明の高解像度カラー画像生成方法は、解像度の増大とデモザイキングを同時に行う、カラー画像生成の斬新な技術思想に基づくものである。本発明の検証及び有効な実装も示されている。

Description

本発明は、画像の生成方法、生成装置及び生成プログラムに関し、特に、単板ＣＣＤ配列から高解像度カラー画像を生成するための高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラムに関する。

単板カラーカメラにおいて、ＣＣＤの各画素にはカラーフィルタ（色フィルタとも称する）がかけられている。赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）は、カラーフィルタに使用される典型的な色である。カラーフィルタは、モザイク・パターンになるように配置され、画素毎に１つの原色のみが撮像される。モザイク・パターンは、ＣＦＡ（ＣＦＡはカラーフィルタ配列を意味する）パターンと呼ばれる。よって、ＣＦＡを通して得られるデータは、色モザイク状の画像であり、フル・カラー画像の表現としては不完全なものとなる。
完全なカラー画像を生成するために、欠けている色チャネルは色モザイク状の生データ（ＲＡＷ Ｄａｔａ）から推定する必要がある。一般に、この色復元処理をデモザイキング（Ｄｅｍｏｓａｉｃｋｉｎｇ）と呼ぶ。最も簡単なデモザイキング方法としては、各色チャネル毎に線形補間を行うことである。より複雑なデモザイキング方法（参考文献［１］〜［２］参照）も報告されており、線形補間と比較して画像復元の精度が高い。
一般に、デモザイキングにおいて、処理結果のカラー画像に偽色が発生することが主な問題となる。画像を光学ローパスフィルタに通すことにより偽色を低減させることはできるが、その結果帯域の制限を受けることになるといった問題点がある。特に、画像を高解像度の画面に拡大表示する場合、帯域制限による画質の低下が顕著となるといった問題が生じてしまう。
デモザイキング方法によって生成されたカラー画像の解像度はＣＣＤの物理的解像度に等しい。例えば、表示、印刷や後処理等の場合には、より高い解像度が必要になってくる。このような要望に対する従来の解決方法としては補間である。
しかしながら、より高い解像度を有するＣＣＤによって得られた画像と比較すると、補間は結果的に品質の低い画像をもたらす。それは補間処理によって実質的に情報が付加されるわけではないことに起因する。補間は画像の詳細を復元できないといった問題を有する。換言すれば、補間は高周波数信号を復元できない。
超解像（Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）（参考文献［３］〜［５］参照）は補間とは異なる方法であり、超解像は撮影されたシーンに含まれる高周波を詳細に復元することができる。超解像は、複数の低解像度画像から高解像度画像を合成する画像処理技術である。文献における超解像の各種方法の中で、ＴｓａｙとＨｕａｎｇが提案した周波数ドメインの手法（参考文献［３］参照）は、初めて超解像の理論を提案した。Ｐｅｌｅｇら（参考文献［４］参照）は、繰返し逆投影法に基づいた空間ドメインの手法を提案した。まず第一に、高解像度画像の撮像過程をシミュレートすることで測定値を生成し、また、シミュレーション誤差は一時的な画像推測誤差を更新するために使用される。
これまでに、超解像はグレー・スケール画像或いはフル・カラー画像に適用されてきたが、単板ＣＣＤから得られた生データにまだ適用されていない。デモザイキングと超解像を順次実行することで高解像度カラー画像が得られるが、このような方法ではデモザイキングされた画像で見られる偽色及びぼやけ効果で損害を受ける。ユーザが利用できるデータはデモザイキングされた（その上圧縮された）画像であるために、このようなことは民生カメラを使用した場合によく見られることである。
本発明は上述のような事情よりなされたものであり、本発明の目的は、上述制限を克服することができ、且つ、ＣＦＡで覆われたＣＣＤによって撮像された生の色モザイク画像を直接利用し、単板ＣＣＤ配列から高解像度カラー画像を生成できるようにした、高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラムを提供するものである。
本発明は、ＣＣＤの物理的解像度より高い空間解像度を提供する単一ステップの処理を特徴とする。従って、本発明はデモザイキングと解像度増大との効果的な統合を可能にする。

本発明に係る高解像度カラー画像生成方法は、イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された１枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成する高解像度カラー画像生成方法であって、前記高解像度カラー画像生成方法は、前記画像撮像装置の物理的な解像度に等しい解像度、或いは、前記画像撮像装置の物理的な解像度より大きい所定の解像度を有する前記高解像度カラー画像を生成し、前記一連の複数枚の入力画像間に既知または未知の幾何学的変換を行うステップと、評価関数に最適化処理を行うことにより、被写体に含まれる高い空間周波数成分まで忠実に再現し且つ偽色の発生を抑制した前記高解像度カラー画像を生成するステップとを有する。
また、本発明は、前記評価関数は、前記入力画像から前記高解像度カラー画像の生成を表す画像形成モデルを用いて、前記入力画像に対する推定画像である前記高解像度カラー画像の忠実度を評価する第１項と、前記入力画像内の隣接する画素値が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像における滑らかさを評価する第２項と、前記入力画像内が色差成分が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像の色差の滑らかさを評価する第３項とより構成され、前記第２項は保存されたエッジを有する滑らかな推定画像を得る役割を果たし、前記第３項は局所的色差連続性と保存されたエッジを有する滑らかな推定画像を得る役割を果たすようにすることにより、或いは、前記入力画像間の幾何学的変換を前記高解像度カラー画像と同時に推定するステップを更に有するようにすることによってより効果的に達成される。
さらに、本発明に係る高解像度カラー画像生成装置は、本発明の高解像度カラー画像生成方法を用いた、単板撮像素子を利用した単板式画像撮像装置であることによって達成される。

第１図は本発明に用いられる信号処理の流れの一例を説明するための図である。
第２図は本発明の全体的な処理の流れ図である。
第３図は、第２図における目的関数の繰り返し最小化処理に用いられる最急降下法を説明するための流れ図である。
第４図はエッジモデルのＲ成分（実線）、Ｇ成分（破線）、Ｂ成分（点線）を説明するための図である。
第５図は色差に関するエネルギー関数の性質を示す図である。
第６図は本発明の画像処理方法を利用した画像撮影装置の構成図である。
第７図は第６図の信号処理部の詳細図である。
第８図は本発明において実験に使用された画像を示す図である。
第９図は本発明を用いて生成された画像を示す図である。
第１０図は従来の方法を用いて生成された画像を示す図である。
第１１図はＲＭＳ誤差と入力画像の枚数との関係を示す図である。
第１２図は実験に使用される参照画像を示す図である。
第１３図は模擬された、実験に使用される入力画像を示す図である。
第１４図は線形補間を用いて生成された画像を示す図である。
第１５図は従来のデモザイキング方法を用いて生成された画像を示す図である。
第１６図は本発明を用いて生成された画像を示す図である。
第１７図は模擬された、実験に使用される入力画像を示す図である。
第１８図は線形補間を用いて生成された画像を示す図である。
第１９図は従来のデモザイキング方法を用いて生成された画像を示す図である。
第２０図は本発明を用いて生成された画像を示す図である。
第２１図は、文書画像による実験結果を示す図である。
第２２図は、自然画像による実験結果を示す図である。

以下に、本発明の好適な実施例を図面及び数式を参照しながら説明する。
＜１＞観測モデル
＜１−１＞はじめに
例えばデジタル・カメラのような画像撮像装置に撮像された１枚または複数枚の生の画像を考える。１枚の撮像された画像は、絶対座標系に対する幾何学的変換、光学系とＣＣＤの開口によるぼやけ効果、ダウン・サンプリング、及びＣＦＡマスキングが真の画像（つまり撮影されたシーン）に対し施された結果である。
＜１−２＞画像形成モデル
ここでＣＦＡの効果を考慮せずにモデリングを開始する。この節においてグレー・スケール画像を考慮する。
画像撮像系における画像形成モデルは、入力画像は連続的で、一方出力データ（ここで言う“出力データ”はＣＦＡマスクされた生の画像を意味する）は離散的であるということで、連続−離散モデルによって表すことができる。
画像撮像系用の画像形成モデルは下記数１によって表される。

ここで、ｕ（ｉ_１，ｉ_２）はＣＣＤで撮像されたデジタル画像を表し、また、Ｉ（ｘ，ｙ）は真の画像（シーン）を表す。（ｉ_１，ｉ_２）は離散的な座標系であり、一方、（ｘ，ｙ）は連続的な座標系である。ｐ（ｘ，ｙ）は点広がり関数である。ＰＳＦ（“ＰＳＦ”は点広がり関数を意味する）は、画像撮像系における光学系とＣＣＤ開口からなる光学的伝達特性から導出されるが、実用上は下記数２によって表されるガウス関数によって近似的にモデル化されることができる。

ここで、σ^２は分散である。
数１における積分は（ｘ，ｙ）に関して行われる。
（ｘ，ｙ）から（ξ，η）への座標変換を考える。ここで、（ξ，η）は高解像度画像が定義される座標である。
例えば、パラメーター

を有する３パラメーター・モデルによって、画像全体の並進運動及び回転運動を表すことが考えられる。次のモデルにおいて座標変換が表される：

ここで、θは回転角であり、また、δ_ｘ，δ_ｙはそれぞれ並進運動の水平成分と垂直成分である。ｆは任意に指定できる解像度拡大率である。
座標変換（ｘ，ｙ）＝ｓ（ξ，η）を使うと、前記数１は下記数５になる。

数５に表されるモデルの離散的な近似を得るために、高解像度の格子点（ｊ_１，ｊ_２）に位置する高解像度画素を覆う領域全体で真の画像Ｉ（ｘ，ｙ）が一定であることを仮定する。よって、数５の積分は数６の形で書くことができる。

ここで、ｚ（ｊ_１，ｊ_２）は仮定された真の画像Ｉ（ｘ，ｙ）の一定値である。また、数７は次のようになる。

数７の積分は（ｊ_１，ｊ_２）に位置する高解像度画素を覆う領域全体に対して行われる。数６に表されるモデルは、“ゼロ次ホールド”と呼ばれている。ゼロ次ホールド以外の異なったモデル化も可能で、例えば線形近似や高次近似等が考えられる。
数６は行列ベクトル記法によって表すことができる。画像ｕ（ｉ_１，ｉ_２）とｚ（ｊ_１，ｊ_２）に対して辞書式記法を使うと、数６は下記数８になる。

ここで、ｕとｚはそれぞれｕ（ｉ_１，ｉ_２）とｚ（ｊ_１，ｊ_２）における画素の数と等しいサイズを有する列ベクトルである。
Ｈ（ｓ）はｕとｚを関連付けるｈ（ｉ_１，ｉ_２，ｊ_１，ｊ_２；ｓ）の行列表現である。
＜１−３＞色フィルタ配列（ＣＦＡ）
カラー画像は複数の２次元信号の色チャネルによって表すことができる。赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）は、例えば３ＣＣＤデジタルスチルカメラのような民生カメラによく用いられる。
上述した画像撮像系用の画像形成モデル（本発明において、撮像モデルとも称する）をカラー画像に拡張する。数８に表されるモデルは１つの色チャネル用のモデルであることが考えられる。従って、各色チャネル用の画像形成モデルは同様に表される：

ここで、行列Ｈ_ｃ（ｓ）は色チャネルｃ∈｛Ｒ，Ｇ，Ｂ｝の画像形成モデルを表す。実用上、行列Ｈ_Ｒ（ｓ），Ｈ_Ｇ（ｓ），Ｈ_Ｂ（ｓ）は同一の行列Ｈ（ｓ）で近似できることが多い。
単板ＣＣＤカメラにおいて、カラー画像はＣＦＡによってマスクされて色モザイクを生成する。第１図（ａ）において、その中の１枚の画像はベイヤー・パターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）としてよく知られているＣＦＡを示す。この処理はＣＦＡによってカラー画像ｕに適用されるサンプリングとしてモデル化される。
要素毎に１或いは０を含む１つの２次元配列を考える。１という値を有する要素は色ｃ∈｛Ｒ，Ｇ，Ｂ｝に対して感度を有する。次の配列はベイヤー・パターン用のサンプリング配列を示す。つまり、この感度配列は画像サイズが５×５のベイヤー・パターンを表している。

他のＣＦＡパターンを用いるイメージセンサ（本実施例ではＣＣＤ撮像素子）用のサンプリング配列も同様に構成することができる。
ｍ_Ｒ（ｉ，ｊ），ｍ_Ｇ（ｉ，ｊ），ｍ_Ｂ（ｉ，ｊ）のベクトル表現を考えると、下記数１３になる。

このＣＦＡによるサンプリングは次の対角行列の形で表すことができる。

ここでｃ∈｛Ｒ，Ｇ，Ｂ｝
以上より、ＣＦＡによるサンプリング・モデルは、フル・カラー画像ｕ_ｃに行列を作用させることによって与えられる。

ここで、ｙ_ｃはＣＦＡマスクされたＣＣＤで撮像された生データ（ＲＡＷ Ｄａｔａ）における画素値を含む。上記数９及び数１５を用いて、単板ＣＣＤ用の全体的な順方向モデルは次の形で書かれる。

＜１−４＞マルチ・フレーム観察モデル
単板ＣＣＤで撮像された、一連の生の色モザイク画像を考える。数１６に対し幾何的変換を考慮した表現を使用することができる：

ここで、画像列における各フレームに対して、ｓ_ｋ，ｋ＝１，．．．Ｍは数５にあるような座標変換を表す。
数１７において、ベクトルのスタック表現を考えると、下記数１８になる。

ここで、Ａ_ｋは高解像度画像と観測されたフレームとの関係を表す、数１７の右辺におけるブロック対角行列である。
ベクトルｙ_ｋはｚから観察されない画素値を含む。ここで留意すべきはＡ_ｋの有効な行とはｚの運動を補償した要素から観測されるｙ_ｋの要素に対応する行であることである。残りの無効な行は取り除かれ、縮小された方程式の系が生成される。従って、この処理は入力データとして意味をなさない要素を取り除く。
いま、Ｍ枚の入力画像を有する複数の画像の撮像モデルを表す一連の式があるとする：

スタックされた式を用いると、下記数２０になる。

上記数２０の右辺において、ノイズを表す追加項を考慮している。Ａは画像列の撮像過程全体の順方向観測モデルであり、本発明ではシステム行列と呼ぶ。
＜２＞問題の定式化
＜２−１＞はじめに
本発明は、イメージセンサ（本例では単板ＣＣＤ）と色フィルタ配列とを用いる画像撮像装置で撮像された生の色モザイク画像を入力とし、そして、出力としてフル・カラー高解像度画像を直接に生成することを可能にした斬新な高解像度カラー画像生成方法、生成装置及び生成プログラムを提供することを最大な目的としている。このような直接的方法を採用する本発明における重要な技術思想とは、色チャネル間の相関関係についての先験的知識を画像復元問題に組み入れるところである。
本発明において、マルチ・チャネル拘束は、色チャネル内の区分的に滑らかなデータをモデル化するために演算子を使用し、また、クロス・チャネルの相関関係を明らかにするためにスペクトル・エネルギー関数を包含する。
＜２−２＞逆問題としての画像復元
本発明の画像生成方法（画像復元方法とも称する）は、低解像度画像或いは一連の数枚の低解像度画像から高解像度画像を得ることを目指す。ところが、このようなことはよく不良設定逆問題になる。従って、このアプリケーションには先験的拘束を包含することが欠かせない。これは限られたデータ或いは質の悪いデータを条件としての容認できる画像推定を確実なものにする。
前節で検討された順方向観測モデルを用いて、ｚ_ｔに対しての推定画像は逆問題を解くことによって得られる。逆問題を解くことに適切化された最適化アプローチを適用すると、下記数２１が得られる。

ここで、

パラメーターλは先験的拘束と観察されたデータへの適合性との間の重みを制御する。
空間とスペクトルの相関関係を表す、２つの項から成るエネルギー関数は次のようになる。

ここで、ｆ_２（ｚ）は空間エネルギーを表し、また、ｆ_３（ｚ）はスペクトル・エネルギーを表す。パラメーターμは２つの項の間の相対的重要度を調整する。
＜２−３＞空間エネルギー関数
一般に、色チャネル毎に区分的に滑らかさを仮定することができる。この仮定を空間エネルギー関数に組み入れると、滑らかな信号ほど、一層高い優先が得られる。
次のモデルは空間の相関関係を表す：

ここで、Ｐは、色チャネル毎に適用されたラプラシアン演算子に対しての差分近似である線形演算子である。
数２４に表される関数は空間アクティビティを表す。滑らかな画像において、ｆ_２（ｚ）は小さな値であり、一方、エッジを有する画像に対して、ｆ_２（ｚ）は大きい。ｆ_２（ｚ）は画像内の不連続性に対してペナルティーを与える。このモデルで、滑らかな信号は空間仮定と合致して高いパフォーマンスを有する。
＜２−３−１＞エッジ保存演算子
上述した適切化モデルは滑らかさの拘束としての機能を果たす。この拘束は不必要に平滑化された推定画像をもたらす。この問題に対処するために、画像推定において、エッジ保存拘束を使用することができる。
画像内のエッジ方向を提供するエッジ検出関数を考える。異なった方向に二次微分を適用し、画素毎に検出関数を最小化する方向を選ぶことによって、エッジ方向マップを生成する。
よって、画素毎にエッジ方向に二次微分を評価する適応的演算子は、エッジ保存拘束としての機能を果たし、数２４を置き換えることができる。
＜２−４＞スペクトル・エネルギー関数
各色平面は高い関連があって相互に位置が合ったオブジェクトのエッジを包含する。この相関関係は別の色空間によって解釈されることができる。輝度と色差に分解された色空間を考える：

ここで、Ｉは単位行列で、ｚ_Ｌはｚの輝度信号成分で、また、［ｚ_ｐ，ｚ_ｑ，ｚ_ｒ］^Ｔはｚの色差信号成分である。輝度信号は光の強度を表すように定義される。ＲＧＢ信号の線形結合は輝度を提供する：

係数は次のように設定される。
α＝１／３，β＝１／３，γ＝１／３
ベイヤーＣＦＡパターンが使用された具体的な例において、ＣＦＡにおける最も多くの情報を包含する緑のチャネルに重みを置くことができる。例えば、ベイヤーパターンにとって、係数はα＝０，β＝１，γ＝０或いはα＝１／４，β＝１／２，γ＝１／４になるように設定することができる。
数２５と数２６はＲＧＢ信号及び色差信号に関する次の変換を決定する。

ここで、数２８はＲＧＢ−色差変換行列である。

関数ｆ_３（ｚ）は色差信号における急激な変化に対してペナルティーを与える。

ここで、Ｑは、色差信号毎に適用されたラプラシアン演算子に対しての差分近似である線形演算子である。
これは結果的に色差信号が局所的連続性を持つような推定画像は一層高い優先が得られることをもたらす。望ましい推定画像を導き出すために、色空間変換における係数を修正することができる。
色差は輝度とＲＧＢ信号の差であるため（数２５参照）、スペクトル・エネルギー関数はこれら信号間の相関関係を検出する。従って、スペクトル・エネルギー関数は、輝度と色差の間の相関特徴を考慮に入れ、また、色チャネル間信号処理に対して基盤を提供する。
ベイヤーＣＦＡにとって、フィルタＱのカーネルのウィンドウの大きさが３ｆ×３ｆに設定された時に色相関関係拘束は適切に機能する。ここで、ｆは解像度拡大率である。使用できる入力画像の数が少ない際に、この処理は特に必要である。ウィンドウの大きさが適切に調整されない場合、偽色が現れる傾向がある。
空間エネルギー関数に利用されたエッジ保存演算子に類似したエッジ保存演算子も、スペクトル・エネルギー関数に使用されることができる。
＜３＞パラメーター推定及び最適化技術
＜３−１＞ＰＳＦ推定
観測モデルを構築するために、上述した点広がり関数を求める必要がある。
画像撮像装置における光学系及びＣＣＤ開口の知識で、ＰＳＦが理論的に導き出されることができる。
エッジ画像或いはエッジ広がり関数を用いて実験的にＰＳＦを推定することもできる。
ＰＳＦに対しての大まかな推定も可能で、結果としての推定画像を検査することでＰＳＦに対しての一層良い推定をもたらす。
＜３−２＞動き推定
観察モデルにおける幾何学的変換ｓ_ｋは、画像生成処理に先立って同定されなければならない。解像度拡大はサブピクセル精度を有する動き推定を必要とする。所望の解像度拡大率が大きいほど、このような要件は画像生成に制限を与える。
また、動き推定方法の計算効率及び信頼性は実装上重要な課題である。パラメーターの数の少ない簡単な動きモデルはこのような要件に適している。
補間に基づいたブロック・マッチング技術はサブピクセルの動き推定を提供する。よく知られた１つのアプローチは、画像データ自身を補間してからブロック・マッチング技術を適用する。もう１つのアプローチは、例えば誤差二乗和（ＳＳＤ）、誤差絶対値和（ＳＡＤ）や相互相関関数（ＣＣ）のようなマッチング基準を補間する。
清水らは斬新なサブピクセル・マッチング技術（ＥＥＣ方法）（参考文献［６］参照）を提案した。該方法は本発明で使用されることができる。マッチング基準の補間に基づいた従来技術と比較して、ＥＥＣ方法は推定誤差を低減することができる。推定誤差をキャンセルするために、該方法において逆位相推定が使用される。該方法のもう１つの長所とは、画像データ自身を補間するような方法と比較して、一層高い計算効率を有することである。
＜３−３＞最急降下最適化
数２１より、高解像度推定画像は、次の目的関数（本発明では、この目的関数を評価関数とも称する）を最小化することによって得られる。

ここで、ａ＝λまた、ｂ＝λμが成立する。
これは、大規模最適化問題として表され、システム行列の大きい寸法が原因で実装段階で問題が生じる。
繰り返し法はこの最適化によく適している。最急降下技術を使用することによって、高解像度画像に対して次の繰り返し更新が与えられる。

ここで、ｎはｎ番目の繰り返しを意味する。ｄ^（ｎ）は目的関数の勾配である。ステップ・サイズα^（ｎ）は計算安定性のために調整される。最初の画像推定ｚ^（０）はｙ_１を補間することによって得られる。
ここで、本実施例では、最適化技術として、最急降下法を用いたが、本発明で使用された最適化技術は、それに限ることなく、他の最適化技術を用いることも可能である。
＜３−４＞本発明の信号処理の流れ
第１図は本発明に用いられる信号処理の流れの一例を示している。第１図（ａ）は、ベイヤー色フィルタ配列を通して撮像された生の色モザイク画像の入力画像列を示す。第１図（ａ）に示されたこれらの入力画像列のデータから、本発明に係る高解像度カラー画像生成方法を用いて、第１図（ｂ）に示された高解像度フル・カラー画像を生成する。
第２図において、本発明に係る高解像度カラー画像生成方法の全体的な処理の流れが詳細に示されている。まず、生の色モザイク画像列は単板ＣＣＤから得られる。次に、色チャネル毎に線形補間を適用する簡単なデモザイキングが行われる。そして、所定の色チャネル（本実施例では、緑チャネル）に対して動き推定が適用される。本実施例では、ベイヤー色フィルタ配列が用いられているので、所定の色チャネルは緑チャネルになるが、他のＣＦＡを使用した場合、そのＣＦＡに基づいて決められる他の色チャネルを用いることになる。
色空間変換後に、動き推定の代わりに輝度信号を使うことができる。推定された動きパラメータと指定された解像度拡大率ｆは、ＰＳＦ及びＣＦＡパターンと共に、システム行列Ｗを構築するのに使用されることができる。目的関数の繰り返し最小化処理は、高解像度推定画像の初期値ｚ^（０）を必要とするので、線形デモザイキング処理された１枚の入力画像が補間の準備的な処理を経て、アップサンプリングされて生成された高解像度画像をこの初期値ｚ^（０）とする。
最後に、推定画像の初期値は、目的関数の繰り返し最小化処理（本例では、第３図に詳細に述べられている最急降下法）を介して更新される。目的関数は２次式であるため、勾配の算出は簡単である。もし、推定

化処理によって得られる。

ここで、εは閾値である。
＜４＞高解像度カラー画像の合成
本発明のもう１つの実施例を以下のように開示する。
まず、上述した順方向観測モデルを元に、逆問題解析を行うことにより高解像度画像を推定する。正則化の項を付加した目的関数（本発明では評価関数とも称する）の最適化手法を用いると、推定すべき高解像度

ここで、目的関数の第一項

は測定データへの適合度を表す項である。
目的関数の第二項は正則化項である。正則化項は、グレースケール画像の超解像で用いられてきた、信号の局所的な平滑性を評価する項をカラー信号に拡張した評価式と考えることができる。
一般に、自然画像ではＲＧＢ信号の各成分は強い正の相関を持ち、エッジ位置も一致していることが知られている。そのため、各色チャネルに対し独立な評価式を用いることは望ましくない。例えばＲＧＢ信号のそれぞれに対して（独立に）平滑化の効果を持つ評価式を用いると、色ずれが生じる。
この現象は、線形デモザイキングを施した画像に見られる偽色と同様な原因で生じる。すなわち、異なるサンプリング位置を持つ各色チャネルを独立に補間することで、ＲＧＢ信号間の相関関係を大きく変化させることが原因となる。このことは、ＲＡＷデータの各色チャネルが３ＣＣＤのように密なサンプリングではないことに起因している。したがって、数３５において複数の位置がずれた入力画像ｙ_１，…，ｙ_Ｍ、（Ｍ＞２）が得られれば、密なサンプリングをすることと同等の効果が得られ、色ずれの発生は低減される。これは、事実上３ＣＣＤの画像を得ていることとほぼ同等であることからも明らかである。複数の位置がずれた入力画像が十分に得られ、数３５がオーバー・デターミンド（ｏｖｅｒ−ｄｅｔｅｒｍｉｎｅｄ）に近づくほど色ずれが低減されることになる。
しかし実際には、数３５がオーバー・デターミンドであっても偽色が発生することが確認されている。その原因となるのは、各色チャネルに独立のノイズが入ることや、入力画像間の位置ずれの推定が不正確であることである。なお、本発明では色収差の影響による色ずれは考慮していない。
このような偽色の発生を抑えるには、ＲＧＢより相関の小さい色成分をもつような色空間を利用することが適切である。そこで、次のようなＲＧＢ空間からＹＣｂＣｒ空間への変換を考える。

上記変換を用い、正則化項は輝度成分と色差成分に対する項で定義される。

自然画像では、輝度成分と比較して色差成分の変化が小さく、輝度成分に最も多くの情報が含まれる。また、多くのアプリケーションでは、色彩の情報より輝度情報で表される被写体の構造が高精細に表現されることが要求される。さらに、人間の視覚系が色彩の変化に対して比較的感度が低いといった理由から、次のような条件を正則化の項に取り込む。
まず、輝度に対してはエッジ保存型の非等方的平滑性条件を正則化の項に組み込むことで、被写体の構造が過度な平滑化により劣化することを防ぐ。このような要求を満たす平滑性条件として、エッジに沿う方向に平滑化する正則化演算子（参考文献［７］参照）を利用する。すなわち、各画素における方向Ｄ：｛水平、垂直、対角方向（２通り）、方向なし（全方向均等）｝への平滑性を評価するハイパス演算子Ｐ_ｄ，ｄ∈Ｄを用いて下記数３８で表される。

対角行列Λ_ｄの各成分はｚ_Ｙの各画素におけるエッジ方向ｄのハイパス演算に対する重みを表す。この重みは、各画素におけるエッジの方向と強度を検出することによって定めることができる。
一方、色差に対する正則化項は、等方的平滑性を考慮する。入力画像の枚数が少なく、数３５が未知数に対してアンダー・デターミンド（ｕｎｄｅｒ ｄｅｔｅｒｍｉｎｅｄ）になる場合、色差に対して異方的平滑性条件を与えると、真のエッジ方向の推定が困難となるためである。等方的ハイパスフィルタＨを用いた次の正則化項を定義する。

ここで、λ_ｃは重みパラメータである。
数３５がオーバー・デターミンドの場合でも、モーション推定の誤差や色チャネル独立のノイズに起因する偽色が発生するため、数３９で表された上記の正則化項は、カラー画像の復元において重要な役割を果たす。
ハイパスフィルタのカットオフ周波数は、カラーフィルタのサンプリング間隔が最も粗い色チャネルの帯域に設定することで偽色を抑制することができる。複数の入力画像が与えられ、数３５がオーバー・デターミンドに近づく場合にはより大きなカットオフ周波数を設定することで、色差の過剰な平滑化を抑制できる。なお、後述する実験では、ガウシアンハイパスフィルタ（つまり、周波数特性がＨ（ｕ，ｖ）＝１−ｅｘｐ（−（ｕ^２＋ｖ^２）／２σ^２ _ｃ）で与えられるフィルタ）を用い、その標準偏差をカットオフ周波数とする正則化演算子を用いている。
上述の色差に対する正則化項が色チャネル間のエッジのずれを抑制する性質を持つことは、後述する実験により確かめられる。まず、画像中で２つの色の領域が接しているエッジ部分のモデルとして、次のような１次元のＲＧＢ信号を考える。

ｅｒｆ（・）は誤差関数

を表す。ａ_１，ａ_２，ｂ_１，ｂ_２は定数である。Ｄｇ，ＤｂはそれぞれＲ成分に対するＧ成分、Ｂ成分のエッジ位置のずれ量を表す（第４図）。ＲＧＢ間のエッジ位置が揃っている場合（Ｄｇ＝Ｄｂ＝０）は２つの色の領域が接しているモデルとなるが、エッジ位置が微小にずれている場合（Ｄｇ≠０，Ｄｂ≠０）は境界部に色ずれを生じることになる。
数４０に表されるモデルのＤｇ，Ｄｂを変化させたときのｆ_３（ｚ_Ｃｂ，ｚ_Ｃｒ）の評価値の変化を第５図に示す。定数は、（ａ_１，ａ_２，ｂ_１，ｂ_２）＝（１．２，０．８，０．１，０．１）とした。第５図から、エッジの位置が完全に一致したときに正則化項の評価値が最小値をとることがわかる。このような正則化項の性質は、ａ_１，ａ_２＞０（ＲＧＢ信号が正の相関を持つとき成り立つ）なる任意のａ_１，ａ_２，ｂ_１，ｂ_２に対して成り立つことが容易に確認することができる。
本発明の高解像度カラー画像生成方法を適用した画像撮像装置の構成例を第６図に示す。第６図に示されるように、本発明を適用した画像撮像装置は、レンズや光学ローパスフィルタからなる光学系と、色フィルタと、イメージセンサ（本例ではＣＣＤ撮像素子）と、撮像装置全体を駆動する駆動回路と、ＡＤ変換部と、信号処理部と、メモリとから構成される。
図６に示された画像撮像装置の動作はこのようになっている。先ず、光学系及び色フィルタによって色モザイク状の受光信号がＣＣＤに入力される。次に、一定の時間連続的に撮影することにより、ＣＣＤにおいて受光信号の時系列が生成される。そして、これら色モザイク状の受光信号の時系列は、ＡＤ変換部において量子化された後に、メモリに記憶される。信号処理部において、複数の色モザイク信号ｙ_１，ｙ_２，…，ｙ_Ｍは、マッチング処理及び超解像処理によって合成され、高解像度の結果

次に、第６図の信号処理部での信号処理の詳細を第７図に示す。ここでは、第７図を参照しながら、高解像度カラー画像を合成するための画像復元方法を以下のように説明する。
ステップ１：
入力となるＲＡＷ画像列ｙ_１，…，ｙ_Ｍを取得する。
ステップ２：
ＣＦＡパターンの配置が未知の場合は、感度配列ｍ_ｃ（ｉ_１，ｉ_２）のキャリブレーションを行う。
ステップ３：
入力ＲＡＷ画像列を線形補間による単純なデモザイキングによりカラー化する。得られたカラー画像の輝度成分に対して、画像の位置ずれｄ_ｋ＝［ｄ_ｘｋ，ｄ_ｙｋ］を推定する。
ステップ４：
所望の解像度倍率ｆを設定する。次に、数３４の最適化を行う。本発明では、色々な最適化手法を用いる事が可能であるが、例えば、最適化手法として最急降下法を用いると、次のステップ５となる。
ステップ５：
ｎ＝０とする。基準となる入力画像一枚から線形補間により高解像度カラー画像を生成する。この画像を復元画像の初期値ｚ^（０）とする。
ステップ６：
画像ｚ^（ｎ）の輝度成分のエッジ方向解析（参考文献［７］参照）より、正則化項ｆ_２（ｚ_Ｙ）の重みΛ_ｄを計算する。
ステップ７：
下記数４１〜数４４により画像ｚ^（ｎ）を更新する。

ここで、Ｔ_Ｔ，Ｔ_Ｃｂ，Ｔ_ＣｒはそれぞれＲＧＢ信号からＹ，Ｃｂ，Ｃｒ成分を求める演算を表す行列である。数４１から数４４までの計算は、線形フィルタリング、サンプリング、座標変換、色空間変換等の画像処理の組み合わせにより実現できるため、実際に行列演算を行う必要はない。
ステップ８：
ｎ＝ｎ＋１と置き、ステップ６に戻る。
ステップ９：
ステップ６からステップ８までの繰り返し計算の終了条件としては、繰り返し計算の収束を判定するか、または予め定めた繰り返し回数で打ち切る。
また、上述したような本発明の高解像度カラー画像復元方法（画像生成方法）を更に拡張して、高解像度画像と画像間変位とを同時に推定することも可能になる。この同時最適化手法（つまり、同時推定法）は、入力画像間の変位の推定精度が充分でないときに有効な手法となる。この高解像度画像と画像間変位の同時推定法について以下のように説明する。
まず、評価関数ｆ（ｚ）は実際は高解像度画像と画像間変位の関数ｆ（ｚ，ｓ）であるから、これらの未知数を同時に推定する最適化手法を用いることで、高解像度画像と画像間変位を高精度に推定することができる。
次に、高解像度画像と画像間変位とを同時に推定するために、つまり、同時最適化を実現するには、上述した繰り返し計算において、ステップ８の後に、下記ステップＡ、ステップＢを加えればよい。
ステップＡ：
画像ｚ^{（ｎ＋１）}を固定し、下記数４５により画像間変位ｓを推定する。

ステップＢ：
撮像モデルＡ（ｓ^（ｎ））を更新し、Ａ（ｓ^{（ｎ＋１）}）とする。
＜５＞本発明の有効性を検証するための実験及び実験結果
＜５−１＞画像取得
本発明に係る高解像度カラー画像生成方法は、各画像間に僅かな異なった動きを有するエイリアシングを受けた複数の画像を必要とする。また、各画像は、画像生成が適用される重なり領域を有するべきである。このような入力画像を生成するために、例えば、わずかな震動でデジタル・スチル・カメラ（或いはデジタル・ビデオ・カメラ）を握ってシーンを連続的に撮影するのは好ましい。
また、文書のスチル画像を１枚撮影することも、本発明に係る高解像度カラー画像生成方法に対して有用な情報を提供する。文書画像が異なった位置に位置する同一の文字或いは単語を包含するので、これは異なった動きを有する複数の画像を撮影することに等しいと考えられる。
＜５−２＞シミュレーションによる評価
第８図（ａ）は、シミュレーションで用いた基準画像（参照画像とも称する）である。第８図（ｂ）は、第８図（ａ）に示された基準画像からシミュレーションにより生成した生の色モザイク画像を示す。
第９図は、種々の条件での本発明に係る高解像度カラー画像生成方法による画像復元結果を示す。第９図（ａ）、（ｂ）、（ｃ）及び（ｄ）は、入力画像の数Ｍと解像度拡大率ｆがそれぞれ異なった４枚の復元された画像を示す。第９図（ａ）、（ｃ）の入力画像の数は１枚で、第９図（ｂ）、（ｄ）の入力画像の数は８枚である。また、第９図（ａ）、（ｂ）の解像度拡大率は１で、第９図（ｃ）、（ｄ）の解像度拡大率は２である。本発明に係る高解像度カラー画像生成方法によって復元された画像において、高い空間周波数成分が忠実に復元されており、更に偽色の発生も抑制されていることが確認される。
本発明では、解像度拡大が必要とされず、また複数の画像が利用できるといった特別な場合は、マルチ・フレーム・デモザイキングと呼ばれる画像復元を行うことができる（第９図（ｂ）参照）。また、本発明の実際の適用場合では、必ずしも複数の入力画像が得られるとは限らない。この場合も本発明に係る高解像度カラー画像生成方法の特殊なケースとして、１枚の入力画像から画像復元を行うことができる（第９図（ａ）、（ｃ）参照）。
第１０図は従来の画像生成方法によって復元された画像を示す。第１０図（ａ）、（ｂ）は、従来の代表的なデモザイキング技術によって復元された画像を示す。第１０図（ｃ）、（ｄ）は、第１０図（ａ）、（ｂ）をそれぞれ線形補間及びバイキュービック補間により拡大した結果である。拡大倍率は水平、垂直方向共に２倍である。第１０図に示された結果は、単純な処理によりＲＡＷデータから高解像度を生成したものであり、典型的なアーチファクト（ボケ、偽色）が発生していることが良く分かる。
本シミュレーション実験では、本発明に係る高解像度カラー画像生成方法の定量的評価として、基準画像と復元画像の誤差をＲＭＳ値により算出した。第１１図は本発明の高解像度カラー画像生成方法において、入力画像の枚数とＲＭＳ値の関係を示す。第１１図において、従来の手法（つまり、１枚の入力画像にデモザイキングを施し、拡大したもの）のＲＭＳ値も示されている。第１１図から分かるように、特に複数枚の入力画像が得られる場合、本発明の高解像度カラー画像生成方法による画像復元の効果が顕著に表れることが明らかである。
また、第１２図〜第２０図を通して、上述した本発明の顕著な画像復元効果を更に確認することができる。第１２図は実験に使用される参照画像を示す。第１３図、第１４図、第１５図及び第１６図は、解像度が２倍に拡大された実験結果である。第１３図は、シミュレーションにより生成した、実験に使用される入力画像を示す。第１４図は線形補間を用いて生成された画像を示す。第１５図は従来のデモザイキング方法を用いて生成された画像を示す。第１６図は本発明を用いて生成された画像を示す。第１６図の入力画像の数は１６枚である。第１７図、第１８図、第１９図及び第２０図は、解像度が４倍に拡大された実験結果である。第１７図は、シミュレーションにより生成した、実験に使用される入力画像を示す。第１８図は線形補間を用いて生成された画像を示す。第１９図は従来のデモザイキング方法を用いて生成された画像を示す。第２０図は本発明を用いて生成された画像を示す。第２０図の入力画像の数は６４枚である。
＜５−３＞文書画像による実験
ここでは、実際に単板ＣＣＤカメラを用いて、動画像から高解像度画像を復元する実験を行った。第２１図（ａ）は入力画像の１枚目である。復元する高解像度画像はＣＣＤの物理的解像度に対し、水平方向、垂直方向それぞれ４倍の解像度を持つ。第２１図（ｂ）及び第２１図（ｃ）は従来の手法を用いて復元された結果画像を示す。そのうち、第２１図（ｂ）は線形デモザイキング及び線形補間を、第２１図（ｃ）はコダックデモザイキング及びバイキュービック補間を用いて復元された結果画像である。
一方、第２１図（ｄ）は本発明の高解像度カラー画像生成方法を用いて復元された結果画像を示す。第２１図（ｄ）の入力画像の数は６４枚である。第２１図（ｂ）、（ｃ）、（ｄ）を比較することにより、本発明の高解像度カラー画像生成方法が従来の手法より格段に優れた復元画像をもたらすことが明らかである。
＜５−４＞自然画像による実験
ここでは、種々の自然画像を対象とした実験結果を示す。撮影には３ＣＣＤカメラを使用し、計算機上でベイヤー・フィルタをかけたＲＡＷデータを模擬的に生成した。第２２図（ａ１）、（ａ２）、（ａ３）は入力画像としての色モザイク状の画像である。そのうち、第２２図（ａ１）、（ａ２）はカメラの手ぶれを利用して静止した対象を撮影した結果であり、第２２図（ａ３）はカメラを固定し、風で揺れている対象を撮影した結果である。第２２図（ａ３）の場合は、画像全体が一様な運動で表せないため、画像内の局所的なブロックに対してモーションパラメータを推定している。
実画像を用いた実験では、より多くの入力画像を用いるほど画像の復元精度が高くなるとは限らない。その原因としては、入力画像間の位置ずれに推定誤差があること、位置ずれが２パラメータの並進運動では正確に表現できないこと、時間の経過とともに明るさが変化することなどが考えられる。そのため、本発明では、利用可能な入力画像列の中から、次の基準で入力画像を選択するのが好ましい。
（１）入力の基準画像から時間的に近い画像を優先的に選択する。
（２）ｄ_１ｍｏｄ２，ｄ_２ｍｏｄ２，．．．，ｄ_Ｍｍｏｄ２が領域［０，２）×［０，２）内で均一に分布するような入力画像を優先的に選択する。
（３）入力画像間の位置ずれの推定における画像の一致度評価値（ＳＳＤ、ＳＡＤ等）が低い画像は選択しない。
第２２図（ｂ１）、（ｂ２）、（ｂ３）及び（ｃ１）、（ｃ２）、（ｃ３）は、従来の手法を用いて復元された結果画像を示す。そのうち、第２２図（ｂ１）、（ｂ２）、（ｂ３）は線形デモザイキング及び線形補間を、第２２図（ｃ１）、（ｃ２）、（ｃ３）はコダックデモザイキング及びバイキュービック補間を用いて復元された結果画像である。一方、第２２図（ｄ１）、（ｄ２）、（ｄ３）は、本発明の高解像度カラー画像生成方法を用いて復元された結果画像を示す。第２２図（ｄ１）及び（ｄ２）の入力画像の数は６４枚で、第２２図（ｄ３）の入力画像の数は１６枚である。
また、復元された高解像度画像はＣＣＤの物理的解像度に対し、第２２図（ｂ１）、（ｂ２）、（ｃ１）、（ｃ２）、（ｄ１）、（ｄ２）では水平、垂直方向共に４倍、第２２図（ｂ３）、（ｃ３）、（ｄ３）では水平、垂直方向共に２倍の解像度を持つようになっている。第２２図からも、本発明の高解像度カラー画像生成方法が、自然画像による実験でも顕著な効果を奏することが確認された。
＜６＞まとめ
本発明は、イメージセンサ（例えば単板ＣＣＤ）から得られたＲＡＷデータと所望の解像度のカラー画像との関係を直接的なモデルで定式化し、高解像度カラー画像を生成するようにしたものである。本発明は、撮像系の製造段階で決められた物理的分解能を超えた高い解像度を有する高解像度カラー画像を事後的に生成することができることを最大な特徴とする。また、本発明では、入力画像の枚数や解像度拡大率を任意に設定することができる。
本発明において、ＣＦＡパターンはベイヤー・パターンに制限されることはない。ＲＧＢの任意の配列或いは補色系のようなほかの色システムを観測モデルに組み込むことができる。即ち、本発明で適用可能なＣＦＡパターンがベイヤー・パターン等に特化したものではない点でも、汎用性のある一般性的方法であるため、本発明の適用範囲は極めて広い。
なお、本発明の高解像度カラー画像生成方法は、ＣＰＵにより実行されるコンピュータ・プログラムで実現されることもできる。また、本発明の高解像度カラー画像生成方法をハードウェアで実現する形態も本発明に含まれることは言うまでもない。
なお、上述した実施形態において、本発明では、その画像撮像系（つまり、画像撮像装置）に使用されたイメージセンサはＣＣＤ撮像素子を例として説明しましたが、本発明はそれに限定されることなく、例えばＭＯＳ型撮像素子や撮像管のようなその他の単板撮像素子を利用した画像撮像系に本発明を適用することもできることは言うまでもない。

以上のように、本発明によれば、次のようなことができる。
まず、本発明に係る高解像度カラー画像生成方法は、入力画像データの有効利用に基づく画像信号処理の改善を提供し、画像撮像装置に用いられるイメージセンサの物理的解像度の制限を克服することができる。本発明の画像生成方法は、画像撮像装置のハードフェアを変更せずに画像解像度を所望の任意の解像度まで拡大できるので、画像撮像装置の製造コストの低減に大きく貢献することが期待される。
また、本発明に係る高解像度カラー画像生成方法は、デモザイキングとグレー・スケール超解像とから成る従来技術の単なる組合せではない。この２種類の従来技術を順次実行するだけでは、品質の低下した画像が復元されたという結果になるだけである。本発明の高解像度カラー画像生成方法は、単一の画像処理によって、高い空間周波数成分を忠実に復元でき且つ偽色の発生も有効に抑制される、高解像度カラー画像を生成する、効果的な画像復元方法である。
さらに、本発明に係る高解像度カラー画像生成方法は、入力画像の枚数及び解像度拡大率を所望の任意の数字に設定できるといった汎用性を有する。解像度拡大が必要とされないといった特別な場合は、マルチ・フレーム・デモザイキングと呼ばれる画像復元を行うこともできる。
また、本発明をイメージセンサとＣＦＡ配列を用いる一般的な画像撮像装置或いは画像撮像機能を備えた情報機器（例えば、デジタルスチルカメラ、デジタルビデオカメラ、カメラ付携帯電話、監視カメラ、天体観測用カメラ、内視鏡、顕微鏡、工業用カメラ等）に適用することができる。さらに、イメージセンサ（例えば単板ＣＣＤ）から得られたＲＡＷデータさえ有れば、本発明の高解像度カラー画像生成方法をソフトウェア（アプリケーション）の実施形態にしたコンピュータ・プログラムが実行されれば、任意の所望の解像度を有する高解像度カラー画像を得ることができる。
本発明では、複数枚の入力画像を利用する場合、入力画像間に変位或いは変形が生じるように撮影することが効果的である。入力画像間に変位或いは変形が生じる状況としては、例えば撮像素子を機械的に制御して既知の移動量だけ変位させた入力画像を得るという場合に限らず、未知の変位或いは変形が被写体とカメラの間に生じている場合でもよい。手ぶれによってカメラが動く場合や、固定されたカメラから移動物体を撮影する場合などがその典型的な例である。入力画像間の変位或いは変形が未知の場合は、事前にそれを推定するか、前述の同時最適化法によって算出することができる。
参考文献：
［１］コーク・Ｄ．・Ｒ．（Ｃｏｋ，Ｄ．Ｒ．），「シグナル プロセシング メソッド アンド アパラタス フォー プロデューシング インターポレイテッド クロミナンス バリュース イン ア サンプレッド カラー イメージ シグナル（Ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｐｒｏｄｕｃｉｎｇ ｉｎｔｅｒｐｏｌａｔｅｄ ｃｈｒｏｍｉｎａｎｃｅ ｖａｌｕｅｓ ｉｎ ａ ｓａｍｐｌｅｄ ｃｏｌｏｒ ｉｍａｇｅ ｓｉｇｎａｌ）」，米国特許４６４２６７８，１９８７年
［２］ラロシュ・Ｃ．・Ａ．、Ｍ．・Ａ．・プレスコット（Ｌａｒｏｃｈｅ，Ｃ．Ａ，Ｍ．Ａ．，Ｐｒｅｓｃｏｔｔ），「アパラタス アンド メソッド フォー アダプティブリ インターポレイティング ア フル カラー イメージ ユーティライジング クロミナンス グラディエント（Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｄａｐｔｉｖｅｌｙ ｉｎｔｅｒｐｏｌａｔｉｎｇ ａ ｆｕｌｌ ｃｏｌｏｒ ｉｍａｇｅ ｕｔｉｌｉｚｉｎｇ ｃｈｒｏｍｉｎａｎｃｅ ｇｒａｄｉｅｎｔｓ）」，米国特許５３７３３２２，１９９４年
［３］Ｔ．・Ｓ．・ファン、Ｒ．・Ｙ．・トセイ（Ｔ．Ｓ．Ｈｕａｎｇ ａｎｄ Ｒ．Ｙ．Ｔｓａｙ），「マルチプル フレーム イメージ レストレイション アンド レジストレイション Ｍｕｌｔｉｐｌｅ ｆｒａｍｅ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ ａｎｄ ｒｅｇｉｓｔｒａｔｉｏｎ」，イン アドバンス イン コンピュータ ビジョン アンド イメージ プロセシング（ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ），第１巻，Ｔ．Ｓ．Ｈｕａｎｇ，Ｅｄ．Ｇｒｅｅｎｗｉｃｈ，ＣＴ：ＪＡＩ，ｐ．３１７−３３９，１９８４年
［４］Ｍ．・イラニ、Ｓ．・プレグラン（Ｍ．Ｉｒａｎｉ ａｎｄ Ｓ．Ｐｅｌｅｇ），「インプルービング レゾリューション バイ イメージ レジストレイション（Ｉｍｐｒｏｖｉｎｇ ｒｅｓｏｌｕｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ）」，ＣＶＧＩＰ：グラフ．モデルズ イメージ プロセス．（ＣＶＧＩＰ：Ｇｒａｐｈ．Ｍｏｄｅｌｓ Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．），第５３巻，ｐ．２３１−２３９，１９９１年３月
［５］Ｒ．・Ｃ．・ハーディ、Ｋ．・Ｊ．・バーナード、Ｅ．・Ｅ．・アムストロング（Ｒ．Ｃ．Ｈａｒｄｉｅ，Ｋ．Ｊ．Ｂａｒｎａｒｄ ａｎｄ Ｅ．Ｅ．Ａｍｓｔｒｏｎｇ），「ジョイント ＭＡＰ レジストレイション アンド ハイレゾリューション イメージ エスティメイション ユージング ア シーケンス オフ アンダーサンプレッド イメージズ（Ｊｏｉｎｔ ＭＡＰ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ａ Ｓｅｑｕｅｎｃｅ ｏｆ Ｕｎｄｅｒｓａｍｐｌｅｄ Ｉｍａｇｅｓ）」，ＩＥＥＥ トランザクション オン イメージ プロセシング（ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ），第６巻，ｐ．１６２１−１６３３，１９９７年
［６］マサオ・シミズ、マサトシ・オクトミ（Ｍａｓａｏ Ｓｈｉｍｉｚｕ ａｎｄ Ｍａｓａｔｏｓｈｉ Ｏｋｕｔｏｍｉ），「プリサイス サブピクセル エスティメイション オン エリアベイセド マッチング（Ｐｒｅｃｉｓｅ ｓｕｂ−ｐｉｘｅｌ ｅｓｔｉｍａｔｉｏｎ ｏｎ ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇ）」，プロク．８^ｔｈ ＩＥＥＥ インターナショナル コンファレンス オン コンピュータ ビジョン（ＩＣＣＶ２００１）（Ｐｒｏｃ．８^ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ２００１）），（カナダ，バンクーバー），２００１年７月，ｐ．９０−９７
［７］Ｊ．・シン、Ｊ．・パイク、Ｊ．・Ｒ．・プライス、Ｍ．・Ａ．・アビディ（Ｊ．Ｓｈｉｎ，Ｊ．Ｐａｉｋ，Ｊ．Ｒ．Ｐｒｉｃｅ ａｎｄ Ｍ．Ａ．Ａｂｉｄｉ），「アダプティブ レギュライゼド イメージ インターポレーション ユージング データ フュージョン アンド スチライブル コンストラインズ（Ａｄａｐｔｉｖｅ ｒｅｇｕｌａｒｉｚｅｄ ｉｍａｇｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｓｉｎｇ ｄａｔａ ｆｕｓｉｏｎ ａｎｄ ｓｔｅｅｒａｂｌｅ ｃｏｎｓｔｒａｉｎｔｓ）」，イン ＳＰＩＥ ビジュアル コミュニケーションズ アンド イメージ プロセシング（Ｉｎ ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ），第４３１０巻，２００１年１月

Claims (18)

1. イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された１枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成する高解像度カラー画像生成方法であって、
   前記高解像度カラー画像生成方法は、前記画像撮像装置の物理的な解像度に等しい解像度、或いは、前記画像撮像装置の物理的な解像度より大きい所定の解像度を有する前記高解像度カラー画像を生成し、
   前記一連の複数枚の入力画像間に生じる既知または未知の変位或いは変形を含む撮像系のモデル或いは被写体に関する事前知識に基づいた画像復元処理を行うことにより、被写体に含まれる高い空間周波数成分まで忠実に再現し且つ偽色の発生を抑制した前記高解像度カラー画像を生成するステップを有することを特徴とする高解像度カラー画像生成方法。
2. 前記画像復元処理において、前記画像撮像装置から得られた、色補間していない生の前記入力画像を直接処理するようになっている請求の範囲第１項に記載の高解像度カラー画像生成方法。
3. 前記画像復元処理において、前記撮像系のモデル或いは色成分に関する評価関数に最適化処理を行うようになっている請求の範囲第１項に記載の高解像度カラー画像生成方法。
4. 前記評価関数は、
   前記入力画像から前記高解像度カラー画像の生成を表す画像形成モデルを用いて、前記入力画像に対する推定画像である前記高解像度カラー画像の忠実度を評価する第１項と、
   前記入力画像内の隣接する画素値が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像における滑らかさを評価する第２項と、
   前記入力画像内が色差成分が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像の色差の滑らかさを評価する第３項と、
   より構成される請求の範囲第３項に記載の高解像度カラー画像生成方法。
5. 前記第２項は保存されたエッジを有する滑らかな推定画像を得る役割を果たし、前記第３項は局所的色差連続性と保存されたエッジを有する滑らかな推定画像を得る役割を果たす請求の範囲第４項に記載の高解像度カラー画像生成方法。
6. 前記評価関数は次の数式によって決定され、
   

   

   前記第１項は次の数式によって決定され、
   

   

   前記第２項は次の数式によって決定され、
   

   

   前記第３項は次の数式によって決定され、
   

   

   ここで、ｙ_ｋは前記イメージセンサと前記色フィルタ配列から得られた入力画像列におけるｋ番目の画像の画素値を包含するベクトルであり、
   ｚは推定される前記高解像度カラー画像における画素値を包含し、それぞれｚの赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）チャネルにおける画素値を包含するｚ_Ｒ，ｚ_Ｇ，ｚ_Ｂといった複数のベクトルを包含するベクトルであり、
   

   

   度カラー画像の画素値を包含するベクトルであり、
   Ａ_ｋはｙ_ｋとｚを関連付け、また、前記画像撮像装置の特性によって決定される行列であり、前記特性は異なる前記入力画像ｙ_１，ｙ_２，．．．ｙ_Ｍ間の動きと、前記画像撮像装置の点広がり関数と、前記イメージセンサによるダウンサンプリングの比率と前記色フィルタ配列とから構成され、
   ＰとＱは適応的或いは非適応的高域通過フィルタとしての役割を果たす行列であり、
   ＴはＲＧＢ信号を色差信号に変換する行列であり、
   ａ，ｂはそれぞれｆ_２（ｚ）とｆ_３（ｚ）の影響を制御する重み係数であるようにした請求の範囲第５項に記載の高解像度カラー画像生成方法。
7. 前記評価関数は次の数式によって決定され、
   

   

   そのうち、
   

   

   

   が成立するようにした請求の範囲第３項に記載の高解像度カラー画像生成方法。
8. 前記入力画像間の前記変位或いは変形を前記高解像度カラー画像と同時に推定するステップを更に有する請求の範囲第１項乃至第７項のいずれかに記載の高解像度カラー画像生成方法。
9. 前記請求の範囲第１項乃至第８項のいずれかに記載の高解像度カラー画像生成方法を用いた、単板撮像素子を利用した単板式画像撮像装置であることを特徴とする高解像度カラー画像生成装置。
10. 前記単板撮像素子はＣＣＤである請求の範囲第９項に記載の高解像度カラー画像生成装置。
11. イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された１枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成する高解像度カラー画像生成プログラムであって、
    前記高解像度カラー画像生成プログラムは、コンピュータに前記画像撮像装置の物理的な解像度に等しい解像度、或いは、前記画像撮像装置の物理的な解像度より大きい所定の解像度を有する前記高解像度カラー画像を生成する機能を実現させ、
    更にコンピュータに、
    前記一連の複数枚の入力画像間に生じる既知または未知の変位或いは変形を含む撮像系のモデル或いは被写体に関する事前知識に基づいた画像復元処理を行うことにより、被写体に含まれる高い空間周波数成分まで忠実に再現し且つ偽色の発生を抑制した前記高解像度カラー画像を生成する機能と、
    を実現させるための高解像度カラー画像生成プログラム。
12. 前記画像復元処理において、前記画像撮像装置から得られた、色補間していない生の前記入力画像を直接処理するようになっている請求の範囲第１１項に記載の高解像度カラー画像生成プログラム。
13. 前記画像復元処理において、前記撮像系のモデル或いは色成分に関する評価関数に最適化処理を行うようになっている請求の範囲第１１項に記載の高解像度カラー画像生成プログラム。
14. 前記評価関数は、
    前記入力画像から前記高解像度カラー画像の生成を表す画像形成モデルを用いて、前記入力画像に対する推定画像である前記高解像度カラー画像の忠実度を評価する第１項と、
    前記入力画像内の隣接する画素値が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像における滑らかさを評価する第２項と、
    前記入力画像内が色差成分が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像の色差の滑らかさを評価する第３項と、
    より構成される請求の範囲第１３項に記載の高解像度カラー画像生成プログラム。
15. 前記第２項は保存されたエッジを有する滑らかな推定画像を得る役割を果たし、前記第３項は局所的色差連続性と保存されたエッジを有する滑らかな推定画像を得る役割を果たす請求の範囲第１４項に記載の高解像度カラー画像生成プログラム。
16. 前記評価関数は次の数式によって決定され、
    

    

    前記第１項は次の数式によって決定され、
    

    

    前記第２項は次の数式によって決定され、
    

    

    前記第３項は次の数式によって決定され、
    

    

    ここで、ｙ_ｋは前記イメージセンサと前記色フィルタ配列から得られた入力画像列におけるｋ番目の画像の画素値を包含するベクトルであり、
    ｚは推定される前記高解像度カラー画像における画素値を包含し、それぞれｚの赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）チャネルにおける画素値を包含するｚ_Ｒ，ｚ_Ｇ，ｚ_Ｂといった複数のベクトルを包含するベクトルであり、
    

    

    度カラー画像の画素値を包含するベクトルであり、
    Ａ_ｋはｙ_ｋとｚを関連付け、また、前記画像撮像装置の特性によって決定される行列であり、前記特性は異なる前記入力画像ｙ_１，ｙ_２，．．．ｙ_Ｍ間の動きと、前記画像撮像装置の点広がり関数と、前記イメージセンサによるダウンサンプリングの比率と前記色フィルタ配列とから構成され、
    ＰとＱは適応的或いは非適応的高域通過フィルタとしての役割を果たす行列であり、
    ＴはＲＧＢ信号を色差信号に変換する行列であり、
    ａ，ｂはそれぞれｆ_２（ｚ）とｆ_３（ｚ）の影響を制御する重み係数であるようにした請求の範囲第１５項に記載の高解像度カラー画像生成プログラム。
17. 前記評価関数は次の数式によって決定され、
    

    

    そのうち、
    

    

    が成立するようにした請求の範囲第１３項に記載の高解像度カラー画像生成プログラム。
18. 更に、コンピュータに前記入力画像間の前記変位或いは変形を前記高解像度カラー画像と同時に推定する機能を実現させる請求の範囲第１１項乃至第１７項のいずれかに記載の高解像度カラー画像生成プログラム。

Images