JP4158280B2 - 画像処理装置およびその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、予め決められたサンプリング位相差を持つ複数の画像を単板式撮像素子にて撮像して得られた画像信号を処理する画像処理装置およびその方法に関する。
【０００２】
【従来の技術】
従来から、一枚の撮像素子、例えばＣＣＤ(Charge Coupled Device) において、サンプリング間隔の半分のピッチだけずらした２枚の画像を入力し、これらをアップサンプルおよび加算することによって、画素数が２倍に増えた広帯域画像を得る信号処理方法がある。この信号処理方法は、白黒ＣＣＤや、ＲＧＢ３板式ＣＣＤなどに適用が可能である。
また、これを現在のビデオカメラや静止画像撮像装置（以下、電子スチルカメラとも記す）などで主流である、色フィルタを持つ単板式ＣＣＤによって得た画像上でも行う試みがなされている。単板式ＣＣＤは、色フィルタの周期がたとえば２画素毎などであるため、この半分、すなわち１画素ずらすことが考えられている。単板式ＣＣＤにて撮像されてＡＤ変換された信号は、後段のカメラ信号処理部において処理され、各色ごとの補間あるいは色相互の関係を用いて、ＲＧＢ信号、あるいは、輝度信号および色差信号が生成される。
【０００３】
【発明が解決しようとする課題】
しかしながら、単板式ＣＣＤにおいて、上述した画素ずらしを行うと、画素数が増えた各色の信号の配列は従来の配列と異なり、後段のカメラ信号処理部は、信号処理の対象となる画素数が増加するだけでなく、アルゴリズム自体を変更しなくてはならない。
また、ＣＣＤの画素ピッチ以下の画素ずらしを行った場合には、カメラ信号処理部は、サンプリングが不均一な信号を処理しなければならず、処理が複雑になるという問題がある。
【０００４】
例えば、図１２（Ａ）に示すＲ(Red) ，Ｇ(Green) ，Ｂ(Blue)の画素配列パターンを得るベイヤー配列単板式ＣＣＤを用いて、縦横斜めに１画素ずつずらした画像を合計４枚得た場合、得られるＲ，Ｇ，Ｂデータの画素配列は、図１２（Ｅ），（Ｆ），（Ｇ）に示すようになり、通常の図１２（Ｂ），（Ｃ），（Ｄ）に示す画素配列とは異なる。
すなわち、図１２（Ｃ），（Ｄ）と図１２（Ｆ），（Ｇ）とを対比して分かるように、ＲデータおよびＢデータのサンプル数が４倍に増えているのに対し、図１２（Ｂ）と図１２（Ｅ）とを対比して分かるように、Ｇデータのサンプル数は２倍にしか増えていない。
このため、カメラ信号処理部において、図１２（Ｅ），（Ｆ），（Ｇ）に示す画素配列のＲ，Ｇ，Ｂデータを処理しなければならず、処理が複雑になるという問題がある。
【０００５】
また、画素ピッチ以下の画素ずらしを行うと、今度はサンプリング間隔が均等でなくなってしまい、そのままでは処理が困難となるという問題がある。
【０００６】
本発明は上述した従来技術の問題点に鑑みてなされ、カメラ信号処理部の処理を複雑化させることなく低解像度の画像から高解像度の画像を得ることができる画像処理装置およびその方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明の信号処理装置は下記の構造を有する。
【００１１】
本発明の画像処理装置は、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成する画像入力手段と、第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成する変換手段と、前記サンプリング位相に応じた複数の複素数を記憶する記憶手段と、前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する演算手段とを有する。
【００１２】
好ましくは、前記撮像手段は、単板式の色フィルタを透過した複数の色の光を、２次元上にマトリクス状に配列された複数の画素のうち対応する画素に結像させて前記複数の色の色データからなる前記第１の画像信号を生成し、前記演算手段は、前記複数の色の色データ毎に前記乗算および前記加算を行って、前記複数の色にそれぞれ対応した複数の第４の画像信号を生成し、当該複数の第４の画像信号を用いて前記第３の画像信号を生成する。
【００１３】
また、好ましくは、前記複数の色のうち所定の一の色について、前記複数の第１の画像信号に含まれる当該色の色データのサンプリングパターンと、当該色の前記第４の画像信号に含まれる色データのサンプリングパターンとが相似形になるように、前記サンプリング位相を決定する。
【００１４】
また、好ましくは、前記演算手段は、前記第２の画像信号を、前記サンプリング位相に応じて空間シフトする空間シフト手段と、前記空間シフトされた前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された基本スペクトルを算出する基本スペクトル算出手段と、前記基本スペクトルを周波数領域から時間領域に変換して前記第３の画像信号を生成する逆変換手段とを有する。
【００１５】
また、好ましくは、前記サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて前記撮像手段が生成できるように、前記撮像手段を物理的、光学的または電気的に移動させる駆動手段をさらに有する。
【００１６】
また、好ましくは、前記撮像手段は、単板式のＣＣＤであり、前記色フィルタは、原色フィルタまたは補色フィルタである。
【００１７】
本発明の画像処理装置は、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて入力する画像入力手段と、前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成する移相手段と、前記サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す複数の実数を記憶する記憶手段と、前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を得て、前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を得て、前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する演算手段とを有する。
【００２０】
また、本発明の画像処理方法は、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成し、前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する。
【００２３】
また、本発明の画像処理方法は、サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す予め用意された複数の実数を用いて画像処理を行う画像処理方法であって、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成し、前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を生成し、前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を生成し、前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態に係わる電子スチルカメラについて説明する。
第１実施形態
本実施形態の電子スチルカメラは、ＲＧＢベイヤー配列単板式のＣＣＤ(Charge Coupled Device) を備え、ＣＣＤにより撮像されたサンプリング位相の異なる４枚のＲＧＢデータから、後述する所定の広帯域化手法を用いて高解像度化を行い、縦横とも２倍の画素数に対応する２倍の帯域を持つＲＧＢデータを得る。
具体的には、当該電子スチルカメラは、図１（Ａ）に示す画素配列のＲＧＢデータを含む相互にサンプリング位相が異なる４枚のＲＧＢデータから、図１（Ｂ），（Ｃ），（Ｄ）に示す画素配列のＧデータ、ＲデータおよびＢデータを得て、これらを足し合わせて図１（Ｅ）に示す画素配列のＲＧＢデータを得る。
【００２５】
図２は、本実施形態の電子スチルカメラの部分構成図である。
図２に示すように電子スチルカメラ１は、レンズ２、光学ＬＰＦ３、ＣＣＤ４、ＡＤ変換部５、ＣＣＤ駆動部６、メモリ７、信号処理部８およびカメラ信号処理部９を有する。
〔光学ＬＰＦ３〕
光学ＬＰＦ３は、レンズ２を透過した撮像対象からの光のうち、余分な高域成分を除去する光学ＬＰＦ(Low Pass Filter) である。
【００２６】
〔ＣＣＤ４〕
ＣＣＤ４は、マトリクス状に配列された複数のフォトダイオードと、ベイヤー配列色フィルタとを有している。ベイヤー配列色フィルタは、Ｇ(Green: 緑) 色のフィルタを市松状に配列し、残りの部分にＲ(Red: 赤) 色のフィルタとＢ(Blue:青) 色のフィルタとを市松状に配列したものである。フォトダイオードは、ベイヤー配列色フィルタを透過した光を受光し、受光結果を光電変換して受光量に応じた受光信号Ｓ４₀ 〜Ｓ４₃ を生成し、受光信号Ｓ４₀ 〜Ｓ４₃ をＡＤ変換部５に出力する。
ＣＣＤ４は、後述するように、ＣＣＤ駆動部６によって移動が駆動され、１枚の高解像度化された画像を得るために、サンプリング位相が相互に異なる４枚の画像を撮像する。
【００２７】
〔ＡＤ変換部５〕
ＡＤ変換部５は、受光信号Ｓ４₀ 〜Ｓ４₃ をデジタル形式の画像信号Ｓ５₀ 〜Ｓ５₃ に変換し、画像信号Ｓ５を信号処理部８に出力する。
【００２８】
〔ＣＣＤ駆動部６〕
ＣＣＤ駆動部６は、ＣＣＤ４のサンプリング間隔を２πとし、図３に示すように１枚の画像の位相を原点（０，０）としたときに、それぞれ（π／２，−π／２），（０，π），（π／２，π／２）の位相を持つ合計４枚の画像をＣＣＤ４が撮像するように、信号処理部８からの制御信号Ｓ８ａに基づいて、ＣＣＤ４を所定の方向に所定の距離だけ物理的に移動する。
【００２９】
信号処理部８は、ＡＤ変換部５から入力した、図３に示す相互に異なるサンプリング位相を持つ４枚の撮像画像の画像信号Ｓ５を用いて、縦横の画素数が２倍の画像の画像信号Ｓ８ｂを生成する。
【００３０】
ここで、画像信号Ｓ５は、ＣＣＤ４を構成するマトリクス状に配置された各画素の画素データからなり、図４（Ａ）において「Ｇ」で示された位置の画素の画素データがＧ（緑色）データを示し、図４（Ｂ）において「Ｒ」で示された位置の画素の画素データがＲ（赤色）データを示し、図４（Ｃ）において「Ｂ」で示された位置の画素の画素データがＢ（青色）データを示す。
信号処理部８は、ＡＤ変換部５から入力した４枚の撮像画像の画像信号Ｓ５をメモリ７に書き込んだ後に読み出して、図４（Ｂ），（Ｃ）に示す画素配列パターンのＲデータおよびＢデータから、図１（Ｃ），（Ｄ）に示す画素配列パターンのＲデータおよびＢデータを生成するように画像信号Ｓ５を後述する広域化手法で処理して画像信号Ｓ８ｂを生成する。
なお、図４（Ａ）に示すＧデータの画素配列パターンと、図１（Ｂ）に示すＧデータの画素配列パターンとは同じであるため、Ｇデータについての処理は不要である。すなわち、信号処理部８は、画像信号Ｓ５に含まれるＧデータを、そのまま画像信号Ｓ８ｂのＧデータとして用いる。
【００３１】
また、信号処理部８は、図３に示す相互に異なるサンプリング位相の４枚の撮像画像を得られるように、メモリ７に予め記憶されたＣＣＤ４の移動方向および距離に関する情報に基づいて制御信号Ｓ８ａを生成し、制御信号Ｓ８ａをＣＣＤ駆動部６に出力する。
【００３２】
以下、信号処理部８における、画像信号Ｓ８ｂのＲデータおよびＢデータの生成処理について説明する。
なお、ＲデータおよびＢデータの生成処理は、サンプリング位相の値を除いて同じである。
ここで、サンプリング位相は、画像信号Ｓ８ｂに含まれる対象となる色の画素データに対応する画素の位置を原点とした場合に、４枚の撮像画像の画像信号Ｓ５に含まれる対象となる色の画素データに対応する画素の座標を示す。
【００３３】
具体的には、Ｒデータについては、４枚の撮像画像のサンプリング位相は、図５（Ａ）に示すように、それぞれ（α_x0，α_y0）＝（π／２，０），（α_x1，α_y1）＝（π，−π／２），（α_x2，α_y2）＝（π／２，π），（α_x3，α_y3）＝（π，π／２）となる。
また、Ｂデータについては、４枚の撮像画像のサンプリング位相は、図５（Ｂ）に示すように、それぞれ（α_x0，α_y0）＝（０，π／２），（α_x1，α_y1）＝（π／２，０），（α_x2，α_y2）＝（０，３π／２），（α_x3，α_y3）＝（π／２，π）となる。
これらのサンプリング位相の値は、後述する空間シフト時の（α_x0，α_y0）〜（α_x3，α_y3）として使用され、図２に示すメモリ７に予め記憶されている。
【００３４】
図６は、信号処理部８の構成図である。
図６に示すように、信号処理部８は、補間回路５０、フーリエ変換回路５１、空間シフト回路５２、基本スペクトル算出回路５３およびフーリエ逆変換回路５４を有する。
【００３５】
補間回路５０は、１枚の高解像度化された画像を得るために、前述した４枚の撮像画像の画像信号Ｓ５₀ 〜Ｓ５₃ を入力し、これを補間して２倍にアップサンプリングした画像信号Ｓ５０₀ 〜Ｓ５０₃ を生成し、画像信号Ｓ５０₀ 〜Ｓ５０₃ をフーリエ変換回路５１に出力する。
具体的には、補間回路５０は、画像信号Ｓ５₀ 〜Ｓ５₃ のそれぞれについて、ｘ方向の各サンプリング位置の間に（Ｍ_X −１）個の０を挿入し、ｙ方向の各サンプリング位置の間に（Ｍ_y −１）個の０を挿入して画像信号Ｓ５０₀ 〜Ｓ５０₃ を生成する。
なお、Ｍ_X ，Ｍ_y は、ナイキスト周波数に対してそれぞれｘ方向およびｙ方向において何倍の周波数成分まで復元するかを示す倍数であり、本実施形態では、共に「２」である。
【００３６】
フーリエ変換回路５１は、補間回路５０から入力した画像信号Ｓ５０₀ 〜Ｓ５０₃ を２次元フーリエ変換して周波数領域表現の画像信号Ｓ５１₀ 〜Ｓ５１₃ を生成し、画像信号Ｓ５１₀ 〜Ｓ５１₃ を空間シフト回路５２に出力する。
【００３７】
空間シフト回路５２は、図４（Ｂ），（Ｃ）の位置でサンプリングされた事を示す表現にするために、撮像によって得た画像信号Ｓ５１₀ 〜Ｓ５１₃ に含まれるＲデータおよびＢデータを２次元空間シフトして画像信号Ｙ₀ 〜Ｙ₃ を生成する。
すなわち、空間シフト回路５２は、画像信号Ｓ５１₀ 〜Ｓ５１₃ のＲデータおよびＢデータに対してそれぞｅｘｐ（−ｊ（ω_x α_x0＋ω_y α_y0）／（２π））〜ｅｘｐ（−ｊ（ω_x α_x3＋ω_y α_y3）／（２π））を乗じて、画像信号Ｙ₀ 〜Ｙ₃ を生成する。
但し、この場合に、ｘ方向およびｙ方向共にナイキスト周波数以上の部分は負の周波数を示しており、この部分に関しては、ω_x もしくはω_y は、（ω_x −ω_sx) もしくは（ω_y −ω_sy）とする必要がある。ここで、ω_sx、ω_syは、アップサンプリング前のそれぞれｘ方向およびｙ方向のサンプリング周波数である。
【００３８】
基本スペクトル算出回路５３は、空間シフト回路５２から入力した画像信号Ｙ₀ 〜Ｙ₃ と、図２に示すメモリ７に記憶された複素数ｗ₀ 〜ｗ₃ ，ｗ₀ ’〜ｗ₃ ’とを用いて、ＲデータおよびＢデータの２次元の画像信号Ｘ_0,0 をそれぞれ個別に生成し、当該生成されたＲデータおよびＢデータの画像信号Ｘ_0,0 と図４（Ａ）に示す位置の画素のＧデータとからなる画像信号Ｓ５３をフーリエ逆変換回路５４に出力する。
なお、メモリ７には、後述するようにして生成されたＲデータおよびＢデータのそれぞれについて、第１および第３象限の基本スペクトル成分Ｘ１３_0,0 を求めるために画像信号Ｙ₀ 〜Ｙ₃ にそれぞれ乗ずる複素数ｗ₀ 〜ｗ₃ と、第２および第４象限の基本スペクトル成分Ｘ２４_0,0 を求めるために画像信号Ｙ₀ 〜Ｙ₃ にそれぞれ乗ずる複素数ｗ₀ ’〜ｗ₃ ’とが記憶されている。
基本スペクトル算出回路５３は、下記式（１）に基づいてエイリアシング成分を含まない基本スペクトル成分Ｘ１３_0,0 を求め、下記式（２）に基づいてエイリアシング成分を含まない基本スペクトル成分Ｘ２４_0,0 を求める。
【００３９】
【数１】

【００４０】
【数２】

【００４１】
そして、下記式（３）に示すように、基本スペクトル成分Ｘ１３_0,0 とＸ２４_0,0 とを加算して基本スペクトル成分Ｘ_0,0 を生成する。
【００４２】
【数３】

【００４３】
以下、上記式（１），（２）の根拠を説明する。
先ず、上記式（１），（２）の根拠となる、２次元方向にサンプリング位相差を持つ複数の離散信号を用いた広帯域化手法の理論について説明する。
以下、変数を下記表に示すように定義する。
【００４４】
【表１】

【００４５】
基準となる離散信号に対してサンプリング位相がｘ方向にα_x 、ｙ方向にα_y だけずれている信号は、基準となる離散信号を下記式（４）で示した場合には、下記式（５）で示される。
【００４６】
【数４】

【００４７】
【数５】

【００４８】
ここで、２次元空間シフト処理は、空間領域であれば補間の後のしかるべき位置にシフトすることによって実現できる。
また、周波数領域であれば、「ｅｘｐ（−ｊ（ω_x ・α_x ＋ω_y ・α_y ）／（２π））」を乗ずれば良い。
空間シフト回路５２は、空間領域および周波数領域の何れでも実現できる。
例えば、２次元空間シフト処理を空間領域で行う場合には、図６において、フーリエ変換回路５１と空間シフト回路５２とを入れ替えて配置する。すなわち、空間シフト処理を行った後に、フーリエ変換処理を行う。
【００４９】
次に、基本スペクトル成分を再現するための、Ｓ個の離散信号に乗ずる複素数ｗ_L を得る複素連立方程式について考える。
１次元の場合には、フーリエ変換の性質から、周波数が正と負とでスペクトルが対象になることを利用し、正の周波数のみを考え、正の帯域に入り込むイメージング成分の数を考えればよい。
【００５０】
これに対して、本実施形態のように、２次元の場合には、フーリエ変換の性質から、共役であるのは原点を中心とした場合であって、ω_x 軸あるいはω_y 軸を中心とした場合ではない。つまり、ω_x −ω_y 平面において、第１象限と第３象限とが共役、第２象限と第４象限とが共役である。すなわち、隣り合う２つの象限、例えば第１象限と第２象限とは独立である。従って、２つの象限について、例えば第１象限と第２象限とについて各々入り込むイメージング成分を考える必要がある。なお、残りの２つの象限は、共役の関係を使って求めることができる。
【００５１】
そのため、第１象限および第２象限について考えることにし、先ず、第１象限について考える。この第１象限についての複素連立方程式の解を得るのに必要な離散信号の数であるＳは、ｘ方向に必要な離散信号の数と、ｙ方向に必要な離散信号の数との積となり、Ｓ＝（Ｐ_x ＋Ｑ_x ＋１）・（Ｐ_y ＋Ｑ_y ＋１）となる。
ここで、Ｐ_x ＝ＦＬｏｏｒ（（Ｎ_x −１）／２）、
Ｑ_x ＝ＦＬｏｏｒ（（Ｎ_x ＋Ｍ_x −１）／２）、
Ｐ_y ＝ＦＬｏｏｒ（（Ｎ_y −１）／２）、
Ｑ_y ＝ＦＬｏｏｒ（（Ｎ_y ＋Ｍ_y −１）／２）
である。
なお、本実施形態では、Ｎ_x ，Ｎ_y ，Ｍ_x ，Ｍ_y が共に２の場合にＳは４となり、４系統の連続信号を得れば、イメージング成分を除去してナイキスト周波数の２倍までの信号を得ることができる。
【００５２】
従って、複素連立方程式は、式の数および未知数である基本スペクトル成分Ｘ_0,0 およびイメージング成分Ｘ_i,k の数をＳとして、空間シフト後の第１および第３象限の離散信号をＹ１３_L とした場合に、下記式（６）のように示され、下記式（６）を解いて複素数ｗ_L を求めることで、下記式（７）に示すように第１および第３象限の基本スペクトル成分Ｘ１３_0,0 が求められる。なお、下記式（７）のｗ_L は複素数を示している。
【００５３】
【数６】

【００５４】
【数７】

【００５５】
次に、第２象限について考えると、第２象限では、ω_x は負であり、ｘ方向のイメージング成分も負の次数となる。従って、複素連立方程式は、式の数および未知数である基本スペクトル成分Ｘ_0,0 およびイメージング成分Ｘ_i,k の数をＳとして、空間シフト後の第２および第４象限の離散信号をＹ２４_L とした場合に、下記式（８）のように示され、下記式（８）を解いて複素数ｗ_L ’を求めることで、下記式（９）に示すように基本スペクトル成分Ｘ２４_0,0 が求められる。なお、下記式（９）のｗ_L ’はｗ_L とは異なる複素数を示している。
【００５６】
【数８】

【００５７】
【数９】

【００５８】
以上により得られた複素数ｗ_L は、第１象限および第３象限のイメージング成分を除去するために用いられ、複素数ｗ_L ’は第２象限および第４象限のイメージング成分を除去するために用いられる。
ここで、第１象限および第３象限におけるイメージング成分の除去の処理と、第２象限および第４象限におけるイメージング成分の除去の処理とは独立であるため、信号を２系統に分ける。
当該２系統に分ける処理は、周波数領域であれば、第２象限および第４象限の値を０で置き換えた信号と、第１象限および第３象限の値を０で置き換えた信号とを生成する。一方、空間領域であれば、第２象限および第４象限の周波数成分を抽出するフィルタ処理を行った信号と、第１象限および第３象限の周波数成分を抽出するフィルタ処理を行った信号とを生成する。
【００５９】
そして、これらの２系統の信号に対して、複素数ｗ_L およびｗ_L ’をそれぞれ乗ずれば、イメージング成分が除去された第１および第３象限の基本スペクトルＸ１３_L と、イメージング成分が除去された第２および第４象限の基本スペクトルＸ２４_L とが得られる。
そして、最後に、イメージング成分が除去された基本スペクトルＸ１３_L と基本スペクトルＸ２４_L とを加算すれば、目的である広帯域化された信号が得られる。
以上が広帯域化手法の理論である。
【００６０】
以下、上述した広帯域化手法の理論に基づいて、上記式（１），（２）の根拠を説明する。
すなわち、４枚の撮像画像の画像信号Ｓ５から得られる図４（Ｂ）に示す位置の画素のＲデータから、イメージング成分が除去され、広帯域化された図１（Ｃ）に示す位置の画素のＲデータを生成する場合を説明する。
なお、４枚の撮像画像の画像信号Ｓ５から得られる図４（Ｃ）に示す位置の画素のＢデータから、イメージング成分が除去され、広帯域化された図１（Ｄ）に示す位置の画素のＢデータを生成する場合は、サンプリング位相差α_xL，α_yLの値を除いて、Ｒデータの場合と同じである。
【００６１】
第１および第３象限については、上記式（６）から下記式（１０ａ）〜（１０ｄ）が得られる。
【００６２】
【数１０】

【００６３】
そして、上記式（１０ａ）〜（１０ｄ）を解くと、上記式（７）に対応する上記式（１）が導かれ、第１および第３象限の基本スペクトルＸ１３_0,0 が得られる。
【００６４】
第２および第４象限については、上記式（８）から下記式（１１ａ）〜（１１ｄ）が得られる。
【００６５】
【数１１】

【００６６】
そして、上記式（１１ａ）〜（１１ｄ）を解くと、上記式（９）に対応する上記式（２）が導かれ、第２および第４象限の基本スペクトルＸ２４_0,0 が得られる。
【００６７】
フーリエ逆変換回路５４は、基本スペクトル算出回路５３から入力した画像信号Ｓ５３をフーリエ逆変換し、広帯域化されたデジタル信号Ｓ８を得る。
【００６８】
カメラ信号処理部９は、信号処理部８からの画像信号Ｓ８に含まれるＲ，Ｇ，Ｂデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成する。
【００６９】
以下、図２に示す本実施形態の電子スチルカメラの動作について説明する。
ＣＣＤ駆動部６による駆動によって、ＣＣＤ４が所定の方向に所定の距離だけ移動し、図３に示すように、サンプリング位相が相互に異なる４枚の画像が撮像され、当該撮像された４枚の画像に応じた受光信号Ｓ４₀ 〜Ｓ４₃ がＡＤ変換部５に出力される。
次に、ＡＤ変換部５において、受光信号Ｓ４₀ 〜Ｓ４₃ が、デジタル形式の画像信号Ｓ５₀ 〜Ｓ５₃ に変換され、画像信号Ｓ５₀ 〜Ｓ５₃ が信号処理部８に出力される。画像信号Ｓ５₀ 〜Ｓ５₃ は、メモリ７に記憶された後に読み出されて、信号処理部８において処理される。
【００７０】
信号処理部８では、先ず、補間回路５０において、入力した画像信号Ｓ５₀ 〜Ｓ５₃ が補間されて２倍にアップサンプリングされた画像信号Ｓ５０₀ 〜Ｓ５０₃ が生成される。
そして、フーリエ変換回路５１において、画像信号Ｓ５０₀ 〜Ｓ５０₃ が２次元フーリエ変換され、周波数領域表現の画像信号Ｓ５１₀ 〜Ｓ５１₃ が生成される。
【００７１】
そして、空間シフト回路５２において、画像信号Ｓ５１₀ 〜Ｓ５１₃ のＲデータおよびＢデータに対してそれぞれｅｘｐ（−ｊ（ω_x α_x0＋ω_y α_y0）／（２π））〜ｅｘｐ（−ｊ（ω_x α_x3＋ω_y α_y3）／（２π））が乗じられ、画像信号Ｙ₀ 〜Ｙ₃ が生成される。
【００７２】
そして、基本スペクトル算出回路５３において、入力した画像信号Ｙ₀ 〜Ｙ₃ と、図２に示すメモリ７に記憶された複素数とを用いて、ＲデータおよびＢデータの２次元の画像信号Ｘ_0,0 がそれぞれ個別に生成され、当該生成されたＲデータおよびＢデータの画像信号Ｘ_0,0 と図４（Ａ）に示す位置の画素のＧデータとからなる画像信号Ｓ５３がフーリエ逆変換回路５４に出力される。
【００７３】
そして、フーリエ逆変換回路５４において、入力した画像信号Ｓ５３がフーリエ逆変換され、広帯域化されたデジタル信号Ｓ８ｂが生成される。
【００７４】
そして、カメラ信号処理部９において、画像信号Ｓ８ｂに含まれるＲ，Ｇ，Ｂデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成される。
そして、当該生成されたＲＧＢ信号、あるいは、輝度信号および色信号に応じた画像出力が行われる。
【００７５】
以上説明したように、本実施形態の電子スチルカメラによれば、カメラ信号処理部９において複雑な処理を行うことなく、ＣＣＤ４の画素数の縦横共に２倍の画素数に対応した高精度化された画像信号を得ることができる。
また、本実施形態の電子スチルカメラによれば、信号処理部８の処理は従来に比べて複雑になるが、前述したように、信号処理部８では、Ｇデータの処理を行う必要がないため、Ｒ，Ｇ，Ｂデータの全てのデータの処理を行う必要がある場合に比べて信号処理部８のデータ処理量を削減できる。
【００７６】
第２実施形態
図７は、本実施形態の電子スチルカメラの部分構成図である。
図７に示すように、本実施形態の電子スチルカメラは、信号処理部６８における処理を除いて、前述した第１実施形態の電子スチルカメラと同じである。
【００７７】
図８は、図７に示す信号処理部６８の構成図である。
図８に示すように、信号処理部６８は、補間回路７０、空間シフト回路７１および広帯域信号生成回路７２を有する。
補間回路２０は、図７に示すＡＤ変換部５から入力した図３に示す相互に異なるサンプリング位相を持つ４枚の撮像画像の画像信号Ｓ５₀ 〜Ｓ５₃ を、ｘ方向およびｙ方向のサンプリング位置間を補間して画像信号Ｓ７０₀ 〜Ｓ７０₃ を生成する。
【００７８】
空間シフト回路７１は、補間回路７０から入力した画像信号Ｓ７０₀ 〜Ｓ７０₃ を、図４（Ｂ），（Ｃ）の位置でサンプリングされたことを示す表現にするために、位相差分だけｘ方向およびｙ方向にずらして画像信号ｙ₀ 〜ｙ₃ を生成する。
具体的にはサンプル数の増えた画像信号Ｓ７０₀ 〜Ｓ７０₃ の先頭の数サンプルを除去したり、あるいは先頭に適当な値を数サンプル加えて信号ｙ₀ 〜ｙ₃ を生成する。
空間シフト回路７１は、信号ｙ₀ 〜ｙ₃ を広帯域信号生成回路７２に出力する。
【００７９】
広帯域信号生成回路７２は、画像信号ｙ₀ 〜ｙ₃ を、ｘ，ｙとも正の周波数を持つ成分と、ｘ，ｙが互いに正負となる周波数を持つ成分に分ける。すなわち、ｘ，ｙとも正の周波数を取り出す２次元フィルタと、ｘ，ｙが互いに正負となる周波数を取り出す２次元フィルタをかける。これらにより得られた信号をそれぞれｙ１３_L 、ｙ２４_L とする。
【００８０】
そして、広帯域信号生成回路７２は、画像信号ｙ１３_L 、ｙ２４_L に２次元ヒルベルト変換を施す。すなわち、図示しない移相手段によって、π／２（ｒａｄ）移相し、これらにより得られた信号をそれぞれｙ１３_L ’、ｙ２４_L ’とする。
そして、広帯域信号生成回路７２は、ｙ１３_L について、メモリ７から読み出した複素数ｗ_L の実部および虚部をそれぞれ示す実数を用いて、「Ｒｅ（ｗ_L ）・ｙ１３_L ＋Ｉｍ（ｗ_L ）・ｙ１３_L ’」を演算する。また同様に、ｙ２４_L について、メモリ７から読み出した複素数ｗ_L ’の実部および虚部をそれぞれ示す実数を用いて、「Ｒｅ（ｗ_L ’）・ｙ２４_L ＋Ｉｍ（ｗ_L ’）・ｙ２４_L ’」を演算する。
ここで、Ｒｅ（ｘ）はｘの実部(real part) を示し、Ｉｍ（ｘ）はｘの虚部(imaginary part)を示す。
そして、広帯域信号生成回路７２は、「Ｒｅ（ｗ_L ）・ｙ１３_L ＋Ｉｍ（ｗ_L ）・ｙ１３_L ’」の演算結果と、「Ｒｅ（ｗ_L ’）・ｙ２４_L ＋Ｉｍ（ｗ_L ’）・ｙ２４_L ’」の演算結果とを加算することにより、エイリアシングがキャンセル（除去）され、広帯域化された画像信号Ｓ６８を得る。
なお、本実施形態では、複素数ｗ_L ，ｗ_L ’の実部および虚部を示す実数が、メモリ７に予め記憶されている。
【００８１】
本実施形態の電子スチルカメラによっても、前述した第１実施形態の電子スチルカメラと同様の効果が得られる。
【００８２】
第３実施形態
本実施形態の電子スチルカメラは、ベイヤー配列の原色フィルタではなく、補色フィルタを持つＣＣＤを用いた場合を説明する。
図９は、本実施形態の電子スチルカメラの部分構成図である。
図９に示すように電子スチルカメラ１は、レンズ２、光学ＬＰＦ３、ＣＣＤ８４、ＡＤ変換部５、ＣＣＤ駆動部８６、メモリ８７、信号処理部８８およびカメラ信号処理部９を有する。
【００８３】
〔ＣＣＤ８４〕
ＣＣＤ８４は、マトリクス状に配列された複数のフォトダイオードと、補色フィルタとを有している。補色フィルタは、図１０（Ａ）に示すパターンで、Ｃｙ（シアン）色、Ｍ（マゼンダ）色、Ｙ（イエロー）およびＷ（ホワイト）色を透過するフィルタを配列したものである。フォトダイオードは、補色フィルタを透過した光を受光し、受光結果を光電変換して受光量に応じた受光信号Ｓ８４₀ 〜Ｓ８４₃ を生成し、受光信号Ｓ８４をＡＤ変換部５に出力する。
ＣＣＤ８４は、後述するように、ＣＣＤ駆動部８６によって移動が駆動され、図１０（Ｂ）に示す１枚の高解像度化された画像を得るために、サンプリング位相が相互に異なる４枚の画像を撮像し、受光信号Ｓ８４₀ 〜Ｓ８４₃ を生成する。このとき、４枚の画像のサンプリング位相は、任意であり、本実施形態では、例えば図１０（Ｃ）に示すように、（０，０）、（π／２，０）、（０，π／２）および（π／２，π／２）である。
【００８４】
〔ＡＤ変換部８５〕
ＡＤ変換部８５は、受光信号Ｓ８４₀ 〜Ｓ８４₃ をデジタル形式の画像信号Ｓ８５₀ 〜Ｓ８５₃ に変換し、画像信号Ｓ８５₀ 〜Ｓ８５₃ を信号処理部８８に出力する。
【００８５】
〔ＣＣＤ駆動部８６〕
ＣＣＤ駆動部８６は、ＣＣＤ８４のサンプリング間隔を２πとし、図１０（Ｃ）に示す異なる４つのサンプリング位相を持つ合計４枚の画像をＣＣＤ８４が撮像するように、信号処理部８８からの制御信号Ｓ８８ａに基づいて、ＣＣＤ８４を所定の方向に所定の距離だけ物理的に移動する。
【００８６】
〔信号処理部８８〕
信号処理部８８は、ＡＤ変換部８５から入力した、図１０（Ｃ）に示す相互に異なるサンプリング位相を持つ４枚の撮像画像の画像信号Ｓ８５₀ 〜Ｓ８５₃ を用いて、縦横の画素数が２倍の画像の画像信号Ｓ８８ｂを生成する。
また、信号処理部８８は、図１０（Ｃ）に示す相互に異なるサンプリング位相の４枚の撮像画像を得られるように、メモリ８７に予め記憶されたＣＣＤ８４の移動方向および距離に関する情報に基づいて制御信号Ｓ８８ａを生成し、制御信号Ｓ８８ａをＣＣＤ駆動部８６に出力する。
【００８７】
信号処理部８８は、ＡＤ変換部８５から入力した図１０（Ａ）に示す画素配列パターンの４枚の撮像画像の画像信号Ｓ８５₀ 〜Ｓ８５₃ をメモリ８７に書き込んだ後に読み出して、後述する広帯域化処理を行い、図１０（Ｂ）に示す画素配列パターンの画像信号Ｓ８８ｂを生成する。
【００８８】
以下、信号処理部８８における、画像信号Ｓ８８ｂのＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータの生成処理について説明する。
なお、Ｃｙデータ、Ｙｅデータ、ＷデータおよびＧデータの生成処理は、サンプリング位相の値を除いて同じである。
ここで、サンプリング位相は、図１０（Ｃ）に示すように、Ｃｙデータに応じた色を出力する画素の位置を原点として考える。
【００８９】
具体的には、Ｃｙデータについては、４枚の撮像画像のサンプリング位相は、図１０（Ｃ）に示すように、それぞれ（α_x0，α_y0）＝（０，０），（α_x1，α_y1）＝（π／２，０），（α_x2，α_y2）＝（π／２，π／２），（α_x3，α_y3）＝（０，π／２）となる。
また、Ｙｅデータについては、４枚の撮像画像のサンプリング位相は、それぞれ（α_x0，α_y0）＝（π／２，０），（α_x1，α_y1）＝（π，０），（α_x2，α_y2）＝（π／２，０），（α_x3，α_y3）＝（π，π／２）となる。
また、Ｗデータについては、４枚の撮像画像のサンプリング位相は、それぞれ（α_x0，α_y0）＝（０，π／２），（α_x1，α_y1）＝（π／２，π／２），（α_x2，α_y2）＝（０，π／２），（α_x3，α_y3）＝（π／２，π）となる。
また、Ｇデータについては、４枚の撮像画像のサンプリング位相は、それぞれ（α_x0，α_y0）＝（π／２，π／２），（α_x1，α_y1）＝（π，π／２），（α_x2，α_y2）＝（π／２，π），（α_x3，α_y3）＝（π，π）となる。
【００９０】
これらのサンプリング位相の値は、後述する空間シフト時の（α_x0，α_y0）〜（α_x3，α_y3）として使用され、図９に示すメモリ８７に予め記憶されている。
【００９１】
図１１は、信号処理部８８の構成図である。
図１１に示すように、信号処理部８８は、補間回路９０、フーリエ変換回路９１、空間シフト回路９２、基本スペクトル算出回路９３およびフーリエ逆変換回路９４を有する。
【００９２】
補間回路９０は、画像信号Ｓ８５₀ 〜Ｓ８５₃ を入力し、これを補間して２倍にアップサンプリングした画像信号Ｓ９０₀ 〜Ｓ９０₃ を生成し、画像信号Ｓ９０₀ 〜Ｓ９０₃ をフーリエ変換回路９１に出力する。
フーリエ変換回路９１は、補間回路９０から入力した画像信号Ｓ９０₀ 〜Ｓ９０₃ を２次元フーリエ変換して周波数領域表現の画像信号Ｓ９１₀ 〜Ｓ９１₃ を生成し、画像信号Ｓ９１₀ 〜Ｓ９１₃ を空間シフト回路９２に出力する。
【００９３】
空間シフト回路９２は、上述した（α_x0，α_y0）〜（α_x3，α_y3）の位置でサンプリングされた事を示す表現にするために、撮像によって得た画像信号Ｓ９１₀ 〜Ｓ９１₃ に含まれるＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータをそれぞれ個別に２次元空間シフトして画像信号Ｙ₀ 〜Ｙ₃ を生成する。
すなわち、空間シフト回路９２は、画像信号Ｓ９１₀ 〜Ｓ９１₃ のＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータに対してそれぞれｅｘｐ（−ｊ（ω_x α_x0＋ω_y α_y0）／（２π））〜ｅｘｐ（−ｊ（ω_x α_x3＋ω_y α_y3）／（２π））を乗じて、画像信号Ｙ₀ 〜Ｙ₃ を生成する。
但し、この場合に、ｘ方向およびｙ方向共にナイキスト周波数以上の部分は負の周波数を示しており、この部分に関しては、ω_x もしくはω_y は、（ω_x −ω_sx) もしくは（ω_y −ω_sy）とする必要がある。ここで、ω_sx、ω_syは、アップサンプリング前のそれぞれｘ方向およびｙ方向のサンプリング周波数である。
【００９４】
基本スペクトル算出回路９３は、空間シフト回路９２から入力した画像信号Ｙ₀ 〜Ｙ₃ と、図９に示すメモリ８７に記憶された複素数とを用いて、Ｃｙデータ、Ｙｅデータ、ＷデータおよびＧデータの２次元の画像信号Ｘ_0,0 をそれぞれ個別に生成し、当該生成されたＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータの画像信号Ｘ_0,0 からなる画像信号Ｓ９３をフーリエ逆変換回路９４に出力する。
なお、メモリ８７には、後述するようにして生成されたＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータのそれぞれについて、第１および第３象限の基本スペクトル成分Ｘ１３_0,0 を求めるために画像信号Ｙ₀ 〜Ｙ₃ にそれぞれ乗ずる複素数ｗ₀ 〜ｗ₃ と、第２および第４象限の基本スペクトル成分Ｘ２４_0,0 を求めるために画像信号Ｙ₀ 〜Ｙ₃ にそれぞれ乗ずる複素数ｗ₀ ’〜ｗ₃ ’とが記憶されている。
基本スペクトル算出回路９３は、Ｃｙデータについて、下記式（１２ａ）〜（１２ｄ）から得られた下記式（１３）に基づいて基本スペクトル成分Ｘ１３_0,0 を求め、下記式（１４ａ）〜（１４ｄ）から得られた下記式（１５）に基づいて基本スペクトル成分Ｘ２４_0,0 を求める。
【００９５】
【数１２】

【００９６】
【数１３】

【００９７】
【数１４】

【００９８】
【数１５】

【００９９】
そして、下記式（１６）に示すように、基本スペクトル成分Ｘ１３_0,0 とＸ２４_0,0 とを加算して、基本スペクトル成分Ｘ_0,0 を生成する。
【０１００】
【数１６】

【０１０１】
また、基本スペクトル算出回路９３は、Ｃｙデータと同様に、Ｙｅデータ、ＷデータおよびＧデータについて、基本スペクトル成分Ｘ１３_0,0 および基本スペクトル成分Ｘ２４_0,0 を求め、これらを加算して、基本スペクトル成分Ｘ_0,0 を生成する。
【０１０２】
フーリエ逆変換回路９４は、基本スペクトル算出回路９３から入力した画像信号Ｓ９３をフーリエ逆変換し、広帯域化されたデジタル信号Ｓ８８ｂを得る。
【０１０３】
カメラ信号処理部８９は、信号処理部８８からの画像信号Ｓ８８ｂに含まれるＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成する。
【０１０４】
以下、図９に示す本実施形態の電子スチルカメラの動作について説明する。
ＣＣＤ駆動部８６による駆動によって、ＣＣＤ８４が所定の方向に所定の距離だけ移動し、図１０（Ｃ）に示すように、サンプリング位相が相互に異なる４枚の画像が撮像され、当該撮像された４枚の画像に応じた受光信号Ｓ８４₀ 〜Ｓ８４₃ がＡＤ変換部８５に出力される。
次に、ＡＤ変換部８５において、受光信号Ｓ８４₀ 〜Ｓ８４₃ が、デジタル形式の画像信号Ｓ８５₀ 〜Ｓ８５₃ に変換され、画像信号Ｓ８５₀ 〜Ｓ８５₃ が信号処理部８８に出力される。画像信号Ｓ８５₀ 〜Ｓ８５₃ は、メモリ８７に記憶された後に読み出されて、信号処理部８８において処理される。
【０１０５】
信号処理部８８では、先ず、補間回路９０において、入力した画像信号Ｓ８５₀ 〜Ｓ８５₃ が補間されて２倍にアップサンプリングされた画像信号Ｓ９０₀ 〜Ｓ９０₃ が生成される。
そして、フーリエ変換回路９１において、画像信号Ｓ９０₀ 〜Ｓ９０₃ が２次元フーリエ変換され、周波数領域表現の画像信号Ｓ９１₀ 〜Ｓ９１₃ が生成される。
【０１０６】
そして、空間シフト回路９２において、画像信号Ｓ９１₀ 〜Ｓ９１₃ のＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータに対してそれぞれｅｘｐ（−ｊ（ω_x α_x0＋ω_y α_y0）／（２π））〜ｅｘｐ（−ｊ（ω_x α_x3＋ω_y α_y3）／（２π））が乗じられ、画像信号Ｙ₀ 〜Ｙ₃ が生成される。
【０１０７】
そして、基本スペクトル算出回路９３において、入力した画像信号Ｙ₀ 〜Ｙ₃ と、図９に示すメモリ８７に記憶された複素数とを用いて、Ｃｙデータ、Ｙｅデータ、ＷデータおよびＧデータの２次元の画像信号Ｘ_0,0 がそれぞれ個別に生成され、当該生成されたＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータの画像信号Ｘ_0,0 からなる画像信号Ｓ９３がフーリエ逆変換回路９４に出力される。
【０１０８】
そして、フーリエ逆変換回路９４において、入力した画像信号Ｓ９３がフーリエ逆変換され、広帯域化されたデジタル信号Ｓ８８ｂが生成される。
【０１０９】
そして、カメラ信号処理部８９において、画像信号Ｓ８８ｂに含まれるＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成される。
そして、当該生成されたＲＧＢ信号、あるいは、輝度信号および色信号に応じた画像出力が行われる。
【０１１０】
以上説明したように、本実施形態の電子スチルカメラによれば、前述した補色フィルタを持つＣＣＤ８４を用いた場合でも、カメラ信号処理部８９において複雑な処理を行うことなく、ＣＣＤ８４の画素数の縦横とも２倍の画素数に対応した高精度化された画像信号を得ることができる。
【０１１１】
本発明は上述した実施形態には限定されない。
例えば、図２に示す信号処理部８、図７に示す信号処理部６８および図９に示す信号処理部８８における処理の順序は、上述したものには特に限定されない。
また、ハードウェア構成も、図２，図７および図９には限定されない。
また、本発明では、空間領域での処理と、周波数領域での処理とを混在させてもよい。
【０１１２】
また、上述した実施形態では、ＣＣＤ４および８４を物理的に移動させて、サンプリング位相の異なる４枚の撮像画像を得たが、ＣＣＤを物理的に移動させずに、例えば、複屈折板などを用いて光学的あるいは電気的に光路を変えてサンプリング位相の異なる複数の撮像画像を得るようにしてもよい。
また、サンプリング位相の値は、本実施形態で示したものには限定されない。
【０１１３】
また、上述した実施形態では、撮像手段としてＣＣＤを例示したが、その他ＣＭＯＳセンサなどを用いてもよい。
【０１１４】
また、上述した実施形態では、４枚の撮像画像を用いて、縦横方向に２倍に高解像度化（広帯域化）した画像を得る場合を例示したが、高解像度化の倍率は２倍には特に限定されない。また、高解像度化の倍率は、縦方向と横方向とで異なる倍率を用いてもよい。また、広帯域化は、２次元でなく１次元でも良い。
また、上述した実施形態では、１枚の高解像度化された画像を得るために、４枚の撮像された画像を用いたが、使用する撮像画像の数は各方向の倍率に依存するので４枚には限定されない。
【０１１５】
また、図１（Ａ）や図１０（Ａ）に示す色フィルタの各色の配列は任意である。
また、空間領域で用いれる移相手段はヒルベルト変換に限らず、移相量もπ／２には限定されない。
【０１１６】
【発明の効果】
以上説明したように、本発明の画像処理装置およびその方法によれば、簡単な処理で、低解像度の画像から高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態の電子スチルカメラに用いられるＲＧＢベイヤー配列単板方式のＣＣＤを説明するための図である。
【図２】図２は、本発明の第１実施形態の電子スチルカメラの部分構成図である。
【図３】図３は、１枚の高解像度化された画像を得るために図２に示すＣＣＤで撮像される４枚の画像のサンプリング位相を説明するための図である。
【図４】図４は、図２に示す信号処理部における処理を説明するための図である。
【図５】図５（Ａ）は図２に示す信号処理部において処理されるＲデータのサンプリング位相を説明するための図、図５（Ｂ）は図２に示す信号処理部において処理されるＢデータのサンプリング位相を説明するための図である。
【図６】図６は、図２に示す信号処理部の構成図である。
【図７】図７は、本発明の第２実施形態の電子スチルカメラの部分構成図である。
【図８】図８は、図７に示す信号処理部の構成図である。
【図９】図９は、本発明の第３実施形態の電子スチルカメラの部分構成図である。
【図１０】図１０は、図９に示すＣＣＤに用いられる補色フィルタを説明するための図である。
【図１１】図１１は、図９に示す信号処理部の構成図である。
【図１２】図１２は、従来技術の問題点を説明するための図である。
【符号の説明】
２…レンズ、３…光学ＬＰＦ、４，８４…ＣＣＤ、５，８５…ＡＤ変換部、６，８６…ＣＣＤ駆動部、７，８７…メモリ、８，８８…信号処理部、９，８９…カメラ信号処理部、５０，７０，９０…補間回路、５１，９１…フーリエ変換回路、５２，７１，９２…空間シフト回路、５３，９３…基本スペクトル算出回路、５４，９４…フーリエ逆変換回路、７２…広帯域信号生成回路

Claims (9)

1. サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成する画像入力手段と、
   第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成する変換手段と、
   前記サンプリング位相に応じた複数の複素数を記憶する記憶手段と、
   前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する演算手段と
   を有する画像処理装置。
2. 前記撮像手段は、単板式の色フィルタを透過した複数の色の光を、２次元上にマトリクス状に配列された複数の画素のうち対応する画素に結像させて前記複数の色の色データからなる前記第１の画像信号を生成し、
   前記演算手段は、前記複数の色の色データ毎に前記乗算および前記加算を行って、前記複数の色にそれぞれ対応した複数の第４の画像信号を生成し、当該複数の第４の画像信号を用いて前記第３の画像信号を生成する
   請求項１に記載の画像処理装置。
3. 前記複数の色のうち所定の一の色について、前記複数の第１の画像信号に含まれる当該色の色データのサンプリングパターンと、当該色の前記第４の画像信号に含まれる色データのサンプリングパターンとが相似形になるように、前記サンプリング位相を決定する
   請求項２に記載の画像処理装置。
4. 前記演算手段は、
   前記第２の画像信号を、前記サンプリング位相に応じて空間シフトする空間シフト手段と、
   前記空間シフトされた前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された基本スペクトルを算出する基本スペクトル算出手段と、
   前記基本スペクトルを周波数領域から時間領域に変換して前記第３の画像信号を生成する逆変換手段と
   を有する請求項１に記載の画像処理装置。
5. 前記サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて前記撮像手段が生成できるように、前記撮像手段を物理的、光学的または電気的に移動させる駆動手段
   をさらに有する請求項１に記載の画像処理装置。
6. 前記撮像手段は、単板式のＣＣＤであり、
   前記色フィルタは、原色フィルタまたは補色フィルタである
   請求項２に記載の画像処理装置。
7. サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて入力する画像入力手段と、
   前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成する移相手段と、
   前記サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す複数の実数を記憶する記憶手段と、
   前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を得て、前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を得て、前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する演算手段と
   を有する画像処理装置。
8. サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、
   第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成し、
   前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する
   画像処理方法。
9. サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す予め用意された複数の実数を用いて画像処理を行う画像処理方法であって、
   サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、
   前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成し、
   前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を生成し、
   前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を生成し、
   前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する
   画像処理方法。

Images