JP3839180B2 - 撮像装置及び撮像方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、二次元撮像素子と撮影光学系との間に、入射光の角度変位が可能な機構を設け、高精細の画像を生成する撮像装置及び撮像方法に関するものである。
【０００２】
【従来の技術】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）等の二次元撮像素子を用いた撮像装置では、画像と撮像素子との相対位置を微小に変位させ、変位させた毎に画像を入力して各画像を合成し、見かけ上の画素数を増加させて解像度を上昇させるものが知られている。このような方法により解像度を向上させる従来の撮像装置として、例えば、特開平７−２３６０８６号公報に示されるものがある。これは、撮影光学系と二次元撮像素子との間に平板透明部材を配置し、この透明部材を角度変位させることにより、撮影光学系からの入射光を変位させて、撮像素子上の画像を微小変位させるものである。
【０００３】
図４１は上記特開平７−２３６０８６号公報に示された従来の撮像装置の構成を示すブロック図であり、図４２は上記撮像装置の機構を示す図である。図４１及び図４２において、１０１は画像を結像させるための撮像レンズ、１０２は画像を光電変換するための二次元に配列されたＣＣＤ等の撮像素子、１０３は撮像レンズ１０１と撮像素子１０２の間にほぼ平行に配置され、撮像レンズ１０１から撮像素子１０２への入射光の入射角度に微小変位をもたらす透明平板部材、１０４は透明平板部材１０３を支持するベースユニットである。
【０００４】
また、図４２において、１０５ａ，１０５ｂは、ベースユニット１０４を支持部１０９に固定すると共に、２点を選択的に作動させてベースユニット１０４を傾斜させる圧縮ばね、１０５ｃはベースユニット１０４を支持部１０９に固定する圧縮ばね、１０６ａ，１０６ｂ，１０６ｃは、対応する圧縮ばね１０５ａ，１０５ｂ，１０５ｃを各々押さえる押さえ板、１０７ａは、圧縮ばね１０５ａを貫通するねじに係合し、ベースユニット１０４を駆動することにより、透明平板部材１０３の近傍部位を光軸方向に変位させるモータである。また、図示されていないが、圧縮ばね１０５ｂに対しても同様にモータ１０７ｂが備えられている。１０８ａ，１０８ｂは、圧縮ばね１０５ａ，１０５ｂ、押さえ板１０６ａ，１０６ｂ，モータ１０７ａ，１０７ｂによる第１及び第２作動部である。また、支持部１０９は図示していない匡体に固定されている。
【０００５】
また、図４１において、１１０はモータ１０７ａ，１０７ｂを駆動する変位装置、１１１は３原色に分離する色分離回路、１１２は種々の補正を行うプロセス回路、１１３はモニタ、１１４はアナログ信号をデジタル信号に変換するＡ／Ｄ（Ａ／Ｄコンバータ）、１１５はデジタル信号に変換されたカラー画像を記憶する画像バッファメモリ、１１６は３色分のカラー画像を記憶する画像合成メモリ、１１７はデジタル信号をアナログ信号に変換するＤ／Ａ（Ｄ／Ａコンバータ）、１１８は高精細モニタ、１１９は各部を制御する制御回路、１２０は撮像素子１０２を駆動する駆動回路である。
【０００６】
次に動作について説明する。
まず、第１及び第２作動部１０８ａ、１０８ｂのいずれも作動させない状態で、撮像レンズ１０１からの画像を、駆動回路１２０により駆動される撮像素子１０２で結像し、色分離回路１１１，プロセス回路１１２，Ａ／Ｄ１１４を経て、画像バッファメモリ１１５に画像データを記憶する。
【０００７】
次に、変位装置１１０により第１作動部１０８ａを作動させると、第２作動部１０８ｂと支持部１０９を結ぶ線を回転軸として、透明平板部材１０３が回転する。したがって、透明平板部材１０３を透過した画像は、透明平板部材１０３の傾斜によって移動されて撮像素子１０２上に結像し、画像バッファメモリ１１５にわずかにずれた画像を記憶する。さらに、第１作動部１０８ａを作動させると、同一方向に順次移動した画像が撮像素子１０２に結像され、画像バッファメモリ１１５に記憶される。
【０００８】
また逆に、第１作動部１０８ａを駆動させずに、第２作動部１０８ｂを駆動させると、第１作動部１０８ａと支持部１０９を結ぶ線を回転軸として、透明平板部材１０３が傾斜し、上記とは異なる方向に画像の移動が行われる。
【０００９】
これら２方向の移動を適宜組み合わせることにより、任意の位置への２次元の画素ずらしを実施の後、画像バッファメモリ１１５に蓄積された複数の撮影画像を、画素ずらしの実施方向を考慮して、各対応画素毎に内挿することで、光学的に画素数を増加させた画像が画像合成メモリ１１６に記憶され、Ｄ／Ａ１１７でアナログ信号に変換されて、高精細モニタ１１８で表示される。
【００１０】
次に、画素ずらしによって得られた画像から、高精細画像を生成する従来の信号処理方式について説明する。図４３は、撮像素子１０２として、単板カラーの撮像素子を使用した場合、最もよく使われている画素のＢａｙｅｒ配列を示す図である。図におけるＲ（赤）、Ｇ（緑）、Ｂ（青）は、撮像素子１０２の各画素位置に結像される色信号である。
【００１１】
図４４は、図４３に示す１枚目の撮影画像の色信号と、図４３に示す色信号を斜め１／２画素右下にずらして撮像した２枚目の撮影画像の色信号とを重ねて表示した図である。図において、Ｒ１，Ｇ１，Ｂ１が１枚目の撮影画像の色信号であり、Ｒ２，Ｇ２，Ｂ２は、第１作動部１０８ａ又は第２作動部１０８ｂにより、画素ずらしを行い２枚目の撮影画像から得られた色信号である。
【００１２】
図４４に示した画像を高解像度画像として生成する場合、図４３と比較して水平垂直とも２倍の画素数になっているため、４倍の画素数のフルカラー信号を生成する必要があり、図４４における撮像画素における非撮影色信号を、周辺画素信号から生成して補間すると共に、空白画素の全色信号を同様に内挿する必要がある。ここで、撮像画素は、Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２であり、空白画素は、それ以外の空白部分の画素であり、撮像画素における非撮影色信号とは、例えば、撮像画素がＧ１の場合、非撮影色信号はＲ成分、Ｂ成分を示す。
【００１３】
図４５はＧ信号の補間処理を説明する図であり、Ｇ信号のみを表示している。ここでは、撮像画素Ｂ１におけるＧ成分（Ｇ１’）を、周囲のＧ１より平均値を求めて補間し、撮像画素Ｒ２におけるＧ成分（Ｇ２’）を、周囲のＧ２より平均値を求めて補間している。
【００１４】
図４６はＧ信号の内挿処理を説明する図であり、Ｇ信号のみを表示している。ここでは、空白画素におけるＧ成分を、周囲のＧ１，Ｇ１’，Ｇ２，Ｇ２’より平均値を求めて内挿している。このように、補間処理と内挿処理により全画素分のＧ信号を求める。
【００１５】
図４７はＢ信号の補間処理を説明する図であり、Ｂ信号のみを表示している。ここでは、各撮像画素Ｇ１におけるＢ成分（Ｂ１’）を、周囲のＢ１より平均値を求めて補間し、撮像画素Ｒ１におけるＢ成分（Ｂ１”）を、周囲のＢ１’より平均値を求めて補間している。
【００１６】
図４８はＢ信号の内挿処理を説明する図であり、Ｂ信号のみを表示している。ここでは、空白画素におけるＢ成分を、周囲のＢ１’，Ｂ１”，Ｂ２，Ｂ２’より平均値を求めて内挿している。このように、補間処理と内挿処理により全画素分のＢ信号を求める。Ｒ信号についても、Ｂ信号と同様に補間処理と内挿処理により求める。以上のようにして、全画素におけるＲ，Ｇ，Ｂ信号を求めることができる。
【００１７】
【発明が解決しようとする課題】
しかしながら、上記特開平７−２３６０８６号公報に示される撮像装置は、光路を二次元的に変更するのに、透明平板部材１０３を２つのモータ１０７ａ，１０７ｂにより機械的に駆動制御しているため、精度の高い画素ずらし量を実現することが困難という課題があった。特に、近年の固体撮像素子の画素ピッチは、数ミクロンものが主流となっており、機械的にその数分の一の精度を得るためには、複雑な制御系が必要となり、また、機械的な振動を用いて制御するため、振動や繰り返し寿命等を十分に考慮した設計を必要とするという課題があった。
【００１８】
さらに、上記方法により撮像した画像から、高解像度画像を生成する従来の信号処理では、単なる近傍画素の平均値を求めて補間や内挿を行う線形処理であるため、画素ずらしを行うことによって得られる画素数分だけの解像度を得ることができないという課題があった。すなわち、撮像素子１０２として、単板カラーの撮像素子を使用した場合、図４３に示す各画素上に１色の色フィルタを配置していることにより、各画素について、Ｒ，Ｇ，Ｂの全ての成分が得られないため、画素数分だけの解像度を実現できず、２回の撮像画素から高解像度画像を得ようとしても、単なる近傍画素の平均値を求めて補間や内挿を行う線形処理では、解像度の向上が見込めないという課題があった。
【００１９】
上記課題のうち、撮像光学系の機械的精度の課題を解決するために、本出願人は、特開昭６１−２６７４６２号公報等において、撮像光学系を機械的に振動させることなく、微小画素ずらしを行う方法を出願している。そこで、この発明は、画素数の増加量に対して、十分に画素数分だけの解像度が向上した高精細の画像を生成する撮像装置及び撮像方法を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る撮像装置は、撮像光学系への入射光を二次元的に配置された複数の画素で構成された単板カラーの撮像素子に導き、上記撮像素子により光電変換してカラー画像信号を生成するものにおいて、上記撮像光学系からの入射光の上記撮像素子への結像位置を、水平及び垂直方向に１／２画素分変位させうる画素変位条件を制御する撮像部制御手段と、上記撮像部制御手段により制御された第一の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させると共に、上記撮像部制御手段により制御された上記第一の画素変位条件に対して水平及び垂直方向に１／２画素分変位させた第二の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させる画素ずらし光学手段と、上記第一の画素変位条件に基づき結像され上記撮像素子より光電変換された第一の撮影画像と、上記第二の画素変位条件に基づき結像され上記撮像素子より光電変換された第二の撮影画像を、上記第一の撮影画像の撮像画素に対して上記第二の撮影画像の撮像画素を水平及び垂直方向に１／２画素ずらした２×２画素からなるマトリクスに対応する位置に記憶する画像メモリと、上記画像メモリに記憶されている上記撮像画素に対しては、画素変位方向に対して垂直方向の複数の色信号の相関を考慮して非撮影色信号を補間し、上記画像メモリ内の上記撮像画素以外の空白画素に対しては、周辺画素を参照して画像中のエッジ線分方向を検出し、上記エッジ線分方向の複数の色信号に基づき、内挿処理を行う画素補間・合成手段とを備えたものである。
【００２１】
この発明に係る撮像装置は、第一及び第二の撮影画像を固定長符号に圧縮する固定長圧縮手段と、上記固定長圧縮手段により圧縮された第一及び第二の撮影画像を記憶する圧縮画像メモリと、上記圧縮画像メモリに記憶されている圧縮された第一及び第二の撮影画像を復号化する固定長伸長手段とを備え、上記復号化された第一及び第二の撮影画像を画像メモリに記憶するものである。
【００２２】
この発明に係る撮像装置は、画像メモリに記憶されている第一及び第二の撮影画像について、各画像の最大信号レベル値及び最小信号レベル値を検出することにより各信号特性レベルを求め、一方の信号特性レベルを、他方の信号特性レベルに合わせる信号レベル補正手段を備えたものである。
【００２３】
この発明に係る撮像装置は、画像メモリに記憶されている第一及び第二の撮影画像について、所定領域における平均信号レベルを求め、一方の平均信号レベルを、他方の平均信号レベルに合わせる信号レベル補正手段を備えたものである。
【００２４】
この発明に係る撮像装置は、画素ずらし光学手段が、入射光から直線偏光を生成する偏光板と、磁場の強さに応じて上記偏光板からの直線偏光の振動方向を変化させる磁気光学素子と、上記磁気光学素子からの直線偏光の振動方向により屈折率の異なる複屈折板とを備えたものである。
【００２５】
この発明に係る撮像装置は、画素ずらし光学手段が、電界の強さに応じて透過光の屈折率を変化させる電気光学素子と、上記電気光学素子からの透過光から直線偏光を生成する偏光板とを備えたものである。
【００２６】
この発明に係る撮像装置は、画素ずらし光学手段が、入射光から直線偏光を生成する偏光板と、与えられる電圧の有無により上記偏光板からの直線偏光の振動方向を変化させる液晶板と、上記液晶板からの直線偏光の振動方向により屈折率の異なる複屈折板とを備えたものである。
【００２７】
この発明に係る撮像方法は、撮像光学系への入射光を二次元的に配置された複数の画素で構成された単板カラーの撮像素子に導き、上記撮像素子により光電変換してカラー画像信号を生成するものにおいて、撮像部制御手段により制御された第一の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させると共に、上記撮像部制御手段により制御された上記第一の画素変位条件に対して水平及び垂直方向に１／２画素分変位させた第二の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させ、上記第一の画素変位条件に基づき結像され上記撮像素子より光電変換された第一の撮影画像と、上記第二の画素変位条件に基づき結像され上記撮像素子より光電変換された第二の撮影画像を、上記第一の撮影画像の撮像画素に対して上記第二の撮影画像の撮像画素を水平及び垂直方向に１／２画素ずらした２×２画素からなるマトリクスに対応する位置になるよう画像メモリ記憶し、上記画像メモリに記憶されている上記撮像画素に対しては、画素変位方向に対して垂直方向の複数の色信号の相関を考慮して非撮影色信号を補間し、上記画像メモリ内の上記撮像画素以外の空白画素に対しては、周辺画素を参照して画像中のエッジ線分方向を検出し、上記エッジ線分方向の複数の色信号に基づき、内挿処理を行うものである。
【００２８】
この発明に係る撮像方法は、第一及び第二の撮影画像を固定長符号に圧縮し、上記圧縮された第一及び第二の撮影画像を圧縮画像メモリに記憶し、上記圧縮画像メモリに記憶されている圧縮された第一及び第二の撮影画像を復号化し、上記復号化された第一及び第二の撮影画像を画像メモリに記憶するものである。
【００２９】
この発明に係る撮像方法は、画像メモリに記憶されている第一及び第二の撮影画像について、各画像の最大信号レベル値及び最小信号レベル値を検出することにより各信号特性レベルを求め、一方の信号特性レベルを、他方の信号特性レベルに合わせるものである。
【００３０】
この発明に係る撮像方法は、画像メモリに記憶されている第一及び第二の撮影画像について、所定領域における平均信号レベルを求め、一方の平均信号レベルを、他方の平均信号レベルに合わせるものである。
【００３１】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は実施の形態１による撮像装置の構成を示すブロック図であり、ここでは、静止画像を撮影可能なディジタルスチルカメラとして実現した場合を想定している。図において、１は入射する被写体像の光路を変位させる画素ずらし光学手段であり、例えば、本出願人により出願済みの特開昭６１−２６７４６２号公報に示されるように、磁場により異方性を示す磁気光学素子を用いた場合を例にとって説明する。２は、図４３のＢａｙｅｒ配列がなされた正方形の電荷結合素子（以下、ＣＣＤと称す）を面状に備え、光学像を光電変換する撮像素子である。
【００３２】
また、図１において、３は撮像素子２からのアナログ信号をデジタル変換するアナログ／デジタル変換手段（以下、Ａ／Ｄ変換手段）、４は画素ずらし光学手段１、撮像素子２及びＡ／Ｄ変換手段３を制御する撮像部制御手段、５は画素ずらし光学手段１，撮像素子２，Ａ／Ｄ変換手段３，撮像部制御手段４を含む撮像部である。
【００３３】
さらに、図１において、６は、撮像部制御手段４と通信しながら、撮像装置全体の制御を行うＣＰＵ等のカメラ制御手段、７はデジタルの画像データを一時記憶する画像メモリ、８はＡ／Ｄ変換手段３からのデジタルの画像データを画像メモリ７に書込むダイレクトメモリアクセスコントローラ（以下、ＤＭＡコントローラ）等のメモリ制御手段、９は、画像メモリ７に蓄積された画像データに対して、画像処理を施すソフトウェア又は電子回路により構成される画像処理部である。
【００３４】
さらに、図１において、１０は、画像メモリ７に蓄積された画像データに対して、白バランス補正や黒レベル補正、又はガンマ補正等を施す信号レベル補正手段、１１は画像データをデジタル画像処理で高解像度に補間・合成する画素補間・合成手段、１２は、画素補間・合成手段１１で得られる１枚の高解像度化された画像に対し、光学系あるいは回路系で発生するノイズ除去を行うノイズ除去フィルタ等を含む画像補正手段、１３は最終的に得られるフルカラー画像を国際標準化方式であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等の画像圧縮方式で符号化する画像圧縮手段である。
【００３５】
さらに、図１において、１４は、撮像部５及び画像処理部９を経て、最終的に得られる画像を液晶画面表示したり、又はフラッシュメモリ等の２次記憶手段に蓄積するインタフェース部であり、そのほか、ＲＳ２３２Ｃ等のシリアルインタフェースや、赤外線通信等の伝送路とのデータインタフェース、シャッタスイッチ等のマンマシンインタフェースの機能も備えている。
【００３６】
図２は撮像部５の構成を示す図であり、図において、３１は画像の入射光を結合するレンズ、３２は結合された入射光に対して振動面が一平面に制限された直線偏光を生成する偏光板、３３はコイル３４と共に磁界を発生させる磁界発生手段、３５は、コイル３４内に発生した磁場により光学的性質が変化する磁気光学効果を生じ、直線偏光の振動方向を変化させる鉛ガラス等のファラデー素子（磁気光学素子）、３６は、振動方向により屈折率が変化し、光を独立した偏光成分に分割する水晶板等の複屈折板である。
【００３７】
次に動作について説明する。
初めに撮像装置全体の概略動作を説明し、各部の詳細な動作は後述する。ここでは、画素ずらし光学手段１を用いて、４５度方向に半画素ずらした画像を２枚撮影し、ＣＣＤに結像された実際の画素数に対して、２×２倍の画素密度を有する高精細画像を得る手順について説明する。
【００３８】
撮影者により高精細モードでの撮影がインタフェース部１４から設定され、図示しないレリーズスイッチの押し下げが、マンマシンインタフェースからカメラ制御手段６に伝達されると、撮像部５では、撮像部制御手段４からの指示に基づき、磁界発生手段３３における第一の磁界印加条件（例えば、印加磁界なし）での撮像を行い、撮像素子２で光電変換される。撮像素子２からの画像信号は、Ａ／Ｄ変換手段３によりデジタル化され、メモリ制御手段８へ伝送される。メモリ制御手段８は、入力された画像データを画像メモリ７に後述する規則に従って記憶させる。
【００３９】
次に、撮像部制御手段４からの指示に基づき、磁界発生手段３３における第二の磁界印加条件により、１枚目の撮影画像に比べて−４５度方向に１／２画素ずらして撮影された画像は、メモリ制御手段８により画像メモリ７に記憶される。次に、画像処理部９では、第二の撮影画像の入力終了に伴い、画像メモリ７上に記憶されている第一及び第二の撮影画像の読出しを行い、信号レベル補正手段１０にて、両画像のＲＧＢ各色の信号レベル値に、強度補正係数を乗じて白バランス補正処理を施す。
【００４０】
次に、画素補間・合成手段１１では、第一及び第二の撮影画像に対し後述する高解像度化処理を施し、２枚の撮影画像を１枚の高解像度画像に合成する。さらに、後段の画像補正手段１２，画像圧縮手段１３を経て、図示しない液晶ディスプレイへの表示、又はコンパクトフラッシュメモリカード等の二次記憶媒体への記憶を行うために、インタフェース部１４へ転送される。
【００４１】
以下に、撮像部５における画素ずらし光学手段１，メモリ制御手段８による画像メモリ７への画像記憶方法、及び画素補間・合成手段１１の動作について詳細な説明を行う。
【００４２】
図３は図２に示す撮像部５の光学系を示す図である。図において、ｌはファラデー素子３５の厚さ、Ｈａはファラデー素子３５に印加されている磁界の方向、Ｌｏは第一の磁界印加条件による常光線、Ｌｅは第二の磁界印加条件による異常光線で、Ｐは常光線Ｌｏと異常光線Ｌｅの撮像素子２上の距離を示す。なお、常光線Ｌｏは複屈折板３６を真っ直ぐに通過する光線であり、異常光線Ｌｅは複屈折板３６を屈折して通過する光線である。
【００４３】
図４，図５，図６は、偏光板３２，ファラデー素子３５，複屈折板３６を、それぞれ図３のＡ−Ａ方向、Ｂ−Ｂ方向、Ｃ−Ｃ方向から見た図である。図３において、画像を結像させるためのレンズ３１からの光が偏光板３２に入射すると、図４に示す振動方向Ｗａの直線偏光が得られる。振動方向Ｗａの直線偏光が、ファラデー素子３５に入射すると、上記磁界の方向Ｈａの印加磁界により、上記直線偏光の偏光面が回転する。なお、ファラデー素子３５に、磁界の方向Ｈａに進む直線偏光を入射させると、その透過光の偏光面が回転するが、その回転角θは次の（１）式により得られる。
θ＝Ｒ×ｌ×Ｈ （１）
【００４４】
ここで、ｌはファラデー素子の厚さ、Ｈは磁界の強さ、Ｒはベルデ（Ｖｅｒｄｅｔ）定数である。なお、上記（１）式に関しては、例えば、株式会社朝倉書店発行の「光学的測定ハンドブック」等に記載されている。図５において、回転角θが０度となる磁界の強さをＨθ０とすると、Ｈ＝Ｈθの時には振動方向Ｗａの直線偏光が得られ、Ｈ＝Ｈθ０の時には、振動方向Ｗθ０の直線偏光が得られる。
【００４５】
振動方向Ｗａの直線偏光が複屈折板３６に入射すると、図６に示す常光線Ｌｏが得られる。また、振動方向Ｗθ０の直線偏光が複屈折板３６に入射すると、図６に示す異常光線Ｌｅが得られる。常光線Ｌｏと異常光線Ｌｅの距離をＰとすると、Ｐ＝ＰＨ／２（ＰＨは撮像素子２の水平画素ピッチを示す）に選ぶ。
【００４６】
図７は実施の形態１による撮像装置の動作タイミングを示す図である。図において、図７（１）は撮影するフレームの同期をとるためのフィールドシフトパルス、図７（２）はファラデー素子３５に印加される磁界の強さＨ、図７（３）は信号読み出しパルス、図７（４）は撮像素子２の出力信号、図７（５）はＡ、Ｂフィールドを１フレームとして見た場合の信号読み出しパルスを示す。ここでは図７（２）に示すように、ファラデー素子３５に印加される磁界の強さＨの変化の位相を、図７（１）のフィールドシフトパルスに一致させている。
【００４７】
上記処理により、この撮像装置では、各Ａ，Ｂフィールドでの信号電荷蓄積を、入射画像と撮像素子２の画素との相対的な位置に関して、ＰＨ／２だけ離れた位置で行うことができる。すなわち、ファラデー素子３５に印加される磁界の強さＨを時間的に変化させ、入射光学像と撮像素子２との相対的な位置関係を時間的に変化させることにより、撮影画像の空間サンプリング領域を増加できる。これに対応して、図７（３）に示す信号読み出しパルスのタイミングも、上記ＰＨ／２に相当する時間Ｔだけずらしている。その結果、図７（５）に示すように、各Ａ，Ｂフィールドを１フレームとした１周期で高画素密度化画像を得ることが可能になる。
【００４８】
この実施の形態では、説明の簡易化のために、画素ずらし方向として水平方向、すなわち一次元空間に対する座標について説明したが、同様な原理で画素ずらし位置を二次元的に行える。その際には、偏光板３２，磁気光学効果を有するファラデー素子３５，複屈折板３６からなるｎ組の光学素子群を撮像系に配置し、それぞれの光学素子群の間に、例えば、直線偏光を円偏光に変換する１／４波長板をｎ−１個挿入すればよい。上記ｎ組の光学素子群におけるｎ個の磁気光学効果を有する光学素子に印加する２値的な電圧を、それぞれ設定することにより、２のｎ乗枚の画素ずらしを行った画像を得ることができる。
【００４９】
図８は画素ずらしを説明する図である。図において、上記撮像原理により、図４３のＢａｙｅｒ型単板カラーの撮像素子２を用いて、図８に示す●印で表される第一の印加磁界条件による重心（画素の中心）を持つ画素位置に対して、−４５度方向に１／２画素ずらした○印で表される第二の印加磁界条件による重心を持つ画素位置に撮像することができる。この場合の画像メモリ７への記憶方法、及び画素補間・合成手段１１における高解像度化処理について、図を用いて詳細に説明する。
【００５０】
図９は画素ずらしをした場合の各画素の位置関係を示す図であり、図において、●印（Ｒ１，Ｇ１，Ｂ１）は第一の印加磁界条件で撮像した場合の撮像画素、○印（Ｒ２，Ｇ２，Ｂ２）は第二の印加磁界条件で撮像した場合の撮像画素、斜線がある画素は空白画素である。この空白画素に色信号を内挿することにより、図に示すように、撮像素子２に対して主走査方向及び副走査方向に、各々２倍の都合４倍の画素数を持つ画像を生成することになる。各撮影画像は、メモリ制御手段８により、画像メモリ７において、２×２画素からなるマトリクスの対応する位置、例えば１枚目の撮像画素は、各マトリクスの左上の画素位置に、２枚目の撮像画素は、各マトリクスの右下の画素位置（即ち１枚目の対応する画素に比べて−４５度方向にずらした位置）に、一時記憶される。
【００５１】
実際には、メモリ制御手段８として構成されるＤＭＡコントローラは、メモリの連続領域に対して、高速にデータ転送を行うことが可能であるため、実際のメモリの物理アドレスとして、図９に示すように配列することが必ずしも得策ではない。例えば、各撮影した画像データを画像メモリ７の連続する領域に各々格納しておき、以下の画素補間・合成手段１１において、図９の相対位置関係を保持するようにアドレッシングすることで、同等の意味を持たせて処理を行うこともできる。
【００５２】
画像メモリ７に記憶された各画像データは、信号レベル補正手段１０によって補正処理が施される。補正処理は、例えば、撮像素子２におけるＲＧＢ各色に対応した色フィルタの感度特性を補正し、白色を正しい信号レベルに補正する白バランス補正処理や、低感度域あるいは高感度域の信号のダイナミックレンジを補正するガンマ補正処理等が必要に応じて選択される。
【００５３】
図１０は画素補間・合成手段１１の処理手順を示すフローチャートである。画素補間・合成手段１１が、撮像画素において非撮影色信号を生成して補間すると共に、空白画素における全色成分の内挿を行うことで、色補間と高解像度化を実現する。初めに、図４３のＢａｙｅｒ配列をしたＲ色フィルタ又はＢ色フィルタを透過したＲ成分又はＢ成分である撮像画素（以下、Ｒ／Ｂ画素位置と称し、図９のＲ１，Ｒ２，Ｂ１，Ｂ２）におけるＧ成分生成処理（補間処理）を行い（ＳＴ１０１）、次に、図９の空白画素位置におけるＧ成分生成処理（内挿処理）を行う（ＳＴ１０２）ことにより、図９の全画素におけるＧ成分を生成する。
【００５４】
次に、Ｒ／Ｂ画素位置におけるＢ成分又はＲ成分の生成処理（補間処理）を行い（ＳＴ１０３）、Ｇ画素位置におけるＲ色成分及びＢ色成分の生成処理（補間処理）を行い（ＳＴ１０４）、そして、図９の空白画素位置におけるＲ色成分及びＢ色成分の生成処理（内挿処理）を行う（ＳＴ１０５）ことにより、図９の全画素におけるＲ成分及びＢ成分を生成する。
【００５５】
各処理は、色成分生成を行う対象画素（以下、注目画素と称す）を画像メモリ７に蓄積される画素位置に対して、順次ｘ方向（主走査）にラスタスキャンを行い、１ラインの処理が終了した場合に、ｙ方向に１画素進んだラスタスキャンを繰り返し行う。
【００５６】
次に、各ステップにおける具体的な動作について説明する。上記図４４には、画素補間・合成手段１１の処理前の既存の色信号成分とその位置関係が示されている。図４４において、１の添え字がついた色信号は１枚目の撮影画像から得られ、２の添え字がついた色信号は２枚目の撮影画像から得られる。画素補間・合成手段１１は、１枚目及び２枚目の撮影色信号を用いて他の色信号を生成する。
【００５７】
初めに、Ｒ／Ｂ画素位置におけるＧ成分生成処理（ＳＴ１０１）では、画素ずらし光学手段１における画素ずらし方向（右下がりの方向）に対して垂直方向（右上がりの方向）に存在するＧ成分及びＲ成分（又はＢ成分）を用いることで、相似的に注目画素におけるＧ成分を算出する。例えば、Ｒ画素位置のＧ成分は、次の（２）式に従って演算する。図１１は、（２）式における各参照画素位置、すなわち、注目画素がＲ画素である場合に、注目画素のＧ成分を求める際の参照画素位置を示す図である。
ｇＲ＝Ｒ×（Ｇ１＞＞２＋Ｇ２＞＞２＋Ｇ３＞＞２＋Ｇ４＞＞２）／（Ｒ１＞＞２＋Ｒ＞＞１＋Ｒ２＞＞２） （２）
【００５８】
上記（２）式において、ｇＲは注目画素がＲ画素位置である場合のＧ成分値、Ｒは注目画素におけるＲ成分値を示している。また、演算記号＞＞はビットシフト演算を示し、例えば、Ｇ１＞＞２は、２進数で示されたＧ１の成分値を２ビット右にシフトすることにより、Ｇ１の成分値を４で割ることを意味し、Ｒ＞＞１は、２進数で示されたＲの成分値を１ビット右にシフトすることにより、Ｒの成分値を２で割ることを意味する。
【００５９】
上記（２）式は、Ｒ成分の変化に対して、近似的にＧ成分を相似演算するものである。図１２は、このＲ成分の変化に対する近似的なＧ成分の相似演算を説明する図である。図において、●は撮像画素における撮影値であり、○が左右のＧ２，Ｇ３成分の中間値（平均値）、◎が（２）式により算出された注目画素におけるＧ成分（ｇＲ）である。一般的に、撮影画像における局所領域では、各色信号の変化に相関があり、例えばＲ２，Ｇ３成分値でピークがある場合、Ｇ成分値もピーク値になることが多い。しかし、従来の線形処理では、例えば、左右のＧ成分の中間値○が注目画素におけるＧ成分値となるため、Ｒ画素位置におけるＧ成分をピークとして再現できず、再生する画像の解像度が、撮像素子２の持つ解像度の１／２以下に抑制されるばかりか、色間の相関が崩れて、本来存在しない偽色が発生する原因になる。
【００６０】
この実施の形態においては、画素ずらし光学手段１により、−４５度方向（２枚目の撮影画像を基準に考えれば１３５度方向）に、１／２画素ずらして撮影しているため、ずらし方向に対しては、撮像素子２の持つナイキスト周波数を超える解像度の画像が撮像されている。従って、上記（２）式を、画素ずらし方向（右下がりの方向）に対して垂直方向（右上がりの方向）に適用することにより、画素ずらし方向に対して法線方向の解像度も上昇させることが可能となり、これにより得られるＧ成分の画像は、全方位に対して解像度の高いものとなる。
【００６１】
次に、空白画素位置におけるＧ成分生成（ＳＴ１０２）について詳細に説明する。図１３は７×７画素からなる参照画素ウィンドウを示す図である。図において、網掛け部分は、ステップＳＴ１０１の処理により、この段階で画像中に存在するＧ成分の位置を示し、空白部分はこの段階で色成分が存在しない空白画素である。また、矢印は注目画素を中心とする７×７画素からなる参照画素ウィンドウで検出可能な線分方向を示している。
【００６２】
空白画素位置のＧ成分を内挿する場合、周辺画素を参照して、画像中のエッジにあたる部分が注目画素を通過するか否かを判定し、画像中のエッジにあたる部分が注目画素を通過する場合には、エッジ線分の稜線方向に画素内挿を実行することで、シャープなエッジ再現が可能である。
【００６３】
線分方向の検出は、以下の手順に従って実行する。注目画素及び８近傍画素に存在するＧ成分に対して、信号レベル平均値Ｄａｖを算出する。次に、算出した信号レベル平均値Ｄａｖをしきい値として、７×７画素ウィンドウ内の各Ｇ画素の信号値を、信号レベル平均値Ｄａｖより大きい場合は１、又は信号レベル平均値Ｄａｖより小さい場合は０に２値化する。２値化されたウィンドウ内のＧ画素は、予め定められている複数のパターンと比較され、パターンの一致により、中心画素を通る線分方向、及び線分のどちら側に明あるいは暗があるかという線分方向情報が認識される。これらの線分方向情報に基づいて、線分の稜線方向に存在する複数の画素値を、例えば線形内挿して注目画素のＧ成分が算出される。
【００６４】
図１４は２値化されたウィンドウ内のパターンと線分方向を示す図である。例えば、７×７画素ウィンドウ内の画素が、図１４の斜線部（０）及びたすき線部（１）に２値化された場合、パターンマッチングにより、図の矢印の線分方向に画像のエッジが通っていることが検出され、図における注目画素に近い４つの画素Ａ１，Ａ２，Ａ３，Ａ４の画素値を単純平均、又は注目画素からの距離に対する重み付け平均等により、注目画素のＧ成分を内挿する。
【００６５】
線分方向を検出し、その稜線方向に内挿することで、一般的な８近傍画素の単純平均値により成分内挿する場合に比べ、エッジをシャープに、かつ線分を滑らかに内挿することが可能となる。これにより、画像の観察者に対して高い解像感を与えることが可能となる。
【００６６】
以上の方法で、全画素のＧ成分が高い解像度で生成され、この結果を参照することで、Ｒ／Ｂ成分に関しても高解像度に補間生成することができる。図１５は注目画素がＢ画素である場合に、注目画素のＲ成分を求める際の参照画素位置を示す図である。即ち、Ｒ／Ｂ画素位置におけるＢ／Ｒ成分を生成する処理（ステップＳＴ１０３）において、例えばＢ画素位置におけるＲ成分を生成する場合には、図１５の位置関係にあるＲ１，Ｒ２画素及びＲ１，Ｒ２画素におけるＧ成分から、次の（３）式を用いて相似演算を行う。
【００６７】

上記（３）式において、ｇＢ，ｇ１，ｇ２は、上記ステップＳＴ１０１の処理で求めた注目画素（Ｂ画素），Ｒ１画素，Ｒ２画素におけるＧ成分である。
【００６８】
図１６はＧ成分の変化に対する近似的なＲ成分の相似演算を説明する図である。図において、●はステップＳＴ１０１までの処理で求められている画素値であり、○が左右のＲ１，Ｒ２成分の中間値（平均値）、◎が（３）式により算出された注目画素におけるＲ成分である。このようにして、Ｂ画素位置におけるＲ成分を高解像度に再現する。同様にして、Ｒ画素位置におけるＢ成分も高解像度に再現することができる。
【００６９】
次に、Ｇ画素位置におけるＲ／Ｂ成分生成の処理（ステップＳＴ１０４）について説明する。図１７は注目画素がＧ画素である場合に、注目画素のＲ成分を求める際の参照画素位置を示す図である。図において、Ｒは撮像時のＲ画素位置を示し、ｒは前段階で補間生成されたＢ画素位置におけるＲ成分を示す。また、Ｘは注目画素（Ｇ画素）における生成対象のＲ成分を示し、この時点で全画素のＧ成分は算出済みである。図１７の位置関係に存在するＲ成分とＧ成分を、上記（３）式に相当する式に当てはめて、相似演算を行うことにより、Ｇ画素位置におけるＲ成分を高解像度に再現する。Ｇ画素位置におけるＢ成分も、同様にして高解像度に再現することができる。
【００７０】
また、空白画素位置におけるＲ／Ｂ成分生成（ＳＴ１０５）に関しては、上記空白画素位置におけるＧ成分生成と同様のパターンマッチングを用いた線分に対する稜線方向検出により内挿を行う。この時、Ｒ／Ｇ／Ｂ成分のパターンマッチング結果の相違から生じる誤生成を防止するために、Ｇ成分生成時に検出した線分方向に基づき、Ｒ／Ｂ成分生成を行うように構成してもよい。
【００７１】
以上のように、撮像素子の２×２倍の画素数を持つ４画素分の高解像度画像が、画素補間・合成手段１１により生成され、生成されたフルカラー画像は、画像補正手段１２において、光学系及び撮像系の画像歪を補正するノイズ除去フィルタ等の処理が施され、画像圧縮手段１３により、ＪＰＥＧ方式の画像符号化の後、インタフェース部１４に送られる。このようにして、２枚の画素ずらし画像から撮像素子２のナイキスト周波数を超える高解像度の画像が形成される。
【００７２】
この実施の形態１では、画素ずらし光学手段１により、−４５度方向に１／２画素ずらして撮影した２枚の画像を用いて高解像度化処理する例を示したが、この限りでない。すなわち、撮像素子２の各受光素子は、有限数が面状に配置されており、受光素子面における入射光を積分値として信号出力するため、これにより、撮影画像の空間周波数は、ナイキスト周波数により制約を受けていることが標本化定理より説明できる。
【００７３】
これに対し、「２台のカメラを用いる超高精細画像取得法」（小松、相澤、斎藤：テレビジョン学会誌Ｖｏｌ．４５，Ｎ０．１０，ｐｐ．１２５６〜１２６２）によると、開口率１００％の撮像素子を用いて画素ずらし画像を統合した場合、２倍以内の解像度まで改善可能であることが明示されている。本方式を用いて、実際の撮像素子の開口率や受光素子の形状等を考慮して、ずらし方向、ずらし量及び撮影枚数を最適化することで、合成画像における解像度を最適化することができる。
【００７４】
また、この実施の形態１では、（２）式及び（３）式により、２色成分の相似比を用いて色成分を相似演算する方法を示したが、式の形態はこの限りでない。即ち、撮像素子２の解像度に比較して、レンズ等の光学系の解像度が十分に高く、かつ構成する撮像装置が自動合焦手段を備え、被写体に高精度に合焦している場合、（２）式に用いた各色成分値の画素の相対位置関係では、急峻なエッジを十分に再現できない場合がある。
【００７５】
その場合、（２）式の演算により、偽色抑制効果が十分に発揮されないことになり、画質劣化に繋がるため、例えば、注目画素の周辺画素値を参照してエッジ量を求めておき、エッジ量に応じて相似強度を適応的に調節することで、安定した画質を確保することができる。これは、例えば、上記（２）式を次の（４）式のように変形させることで容易に達成可能である。
【００７６】
【数１】

【００７７】
ここで、ｎはエッジ強度に応じて変化させる相似強度のレンジを表し、ｋ（０≦ｋ≦ｎ）は、エッジ強度を調節する係数であり、エッジ強度でエッジ成分が小さいほど値は大きくなる。従って、ｋ＝ｎの場合に、（４）式は次の（５）式に示すように、周辺Ｇ成分からの線形補間値となり、本手法を安定化させることが可能になる。
ｇＲ＝Ｇ１＞＞２＋Ｇ２＞＞２＋Ｇ３＞＞２＋Ｇ４＞＞２ （５）
【００７８】
また、この実施の形態１では、パターンマッチングの際に、７×７画素からなるウィンドウを用いて、８方向の線分検出を行っているが、この限りでなく、実行するソフトウェアの高速化や回路規模の低減を図る場合は、ウィンドウサイズを小型化し、４５度刻みの４方向や、水平及び垂直のみの２方向の画素間におけるエッジ線分の相関を用いるように構成してもよい。
【００７９】
また、この実施の形態１では、画素ずらし光学手段１の撮像条件を変化させた２枚の画像を撮影し、画像メモリ７に記憶し終えた後に、後段の画像処理部９における処理を開始する構成としたが、この限りでない。即ち、画像処理部９における信号レベル補正手段１０は、２枚の撮影画像に対して、同じ白補正係数又はガンマ補正テーブルを用いて、一括して実施することも可能であるが、各画像に対して個別に実行してもよく、この場合、２枚目の撮影動作を行っている間に、１枚目の信号レベル補正手段１０による処理を行うように構成することで、全工程の高速化に繋がる。
【００８０】
また、この実施の形態１では、１枚目の撮影画像に対して、２枚目の撮影画像を−４５度方向に画素ずらしする例を示したが、この限りでなく、４５度方向、１３５度方向あるいは−１３５度方向にずらしても、同一の処理が適用可能であることは言うまでもない。
【００８１】
以上のように、この実施の形態１によれば、偏光板３２，ファラデー素子３５，複屈折板３６により、精度の高い画素ずらし量を実現することができると共に、画素補間・合成手段１１が、撮像画素において、各色信号の相関を考慮して非撮影色信号を補間し、空白画素において、画像中のエッジにあたる部分のエッジ線分方向を考慮して、全色成分の内挿を行うことで、単なる近隣画素の平均値を求めて補間や内挿を行う線形処理の画像に比べ、高解像度の画像を実現できるという効果が得られる。
【００８２】
実施の形態２．
図１８は実施の形態２による撮像装置の構成を示すブロック図である。図において、２１は、撮像部５から出力される画像データのうち、ライン数分を遅延蓄積するラインバッファ、２２はラインバッファ２１に蓄積された画像データを固定長圧縮方式にて符号化する固定長圧縮手段、２３は固定長圧縮手段２２で圧縮された画像データを蓄積する圧縮画像メモリ、２４は、画像処理部９の中に構成され、圧縮画像メモリ２３に蓄積されている画像データを復号化する固定長伸長手段である。その他の構成は、実施の形態１における図１と同等である。
【００８３】
次に動作について説明する。
画素ずらし光学手段１を含む撮像部５の動作については、実施の形態１と同等である。撮像部５から入力された画像データは、固定長圧縮手段２２で画像圧縮するために、ラインバッファ２１に一時記憶される。以下に、固定長圧縮手段２２における圧縮動作について詳細に説明する。
【００８４】
固定長圧縮手段２２における固定長符号化アルゴリズムとしては、例えば４×４画素を１単位とするブロック毎に、隣接画素情報の冗長性を排除する符号化法を行うものを用いる。この場合、図４３に示す画素配列では、隣接する画素位置には、同じ色の画素が存在しないため、固定長圧縮手段２２は、同色画素をブロック化する。
【００８５】
図１９は、固定長圧縮手段２２により、図４３の画素配列が並べ替えられる様子を示した図である。図１９（１）が並べ替え前の画素配列を示し、図１９（２）が並べ替え後の画素配列を示す。撮影された画像データは、撮像部５から順次ラインバッファ２１に蓄積され、未処理の画像データが８ライン分揃った段階で、固定長圧縮手段２２は画素配列の並べ替えを行い、符号化を実施する。画素並べ替えは、８×８画素単位に行い、各色４×４画素を単位ブロックとしてブロック化する。並べ替え後の画像データは、ブロックの左上方向のアドレスと右下方向のアドレスにＧ成分が集められて配列され、左下方向のアドレスにＢ成分、右上方向のアドレスにＲ成分が集められて配列される。
【００８６】
次に固定長圧縮手段２２における画像符号化方法について説明する。図２０は上記並べ替えられた単位ブロック内のカラー画像データを、固定長圧縮手段２２で符号化する場合のアドレスを示す図である。すなわち、縦横４画素分ずつの同一カラーの画像データの塊である単位ブロックのうち、縦方向ｍ行、横方向ｎ列（ｍ，ｎは自然数で、０＜ｍ，ｎ≦４）のアドレスの画像データに、後述する量子化レベルを付す処理を行う。
【００８７】
図２１は各画素の画像データの強度を階層化（量子化）する量子化レベルを示す図である。図において、Ｌｍｉｎは、図２０に示した４×４画素の画像信号強度中の最小値、Ｌｍａｘは同じ４×４画素の画像信号強度中の最大値、Ｐ１は最大値Ｌｍａｘと最小値Ｌｍｉｎとの間を８等分した下から８分の１の値、Ｐ２は上から８分の１の値、Ｑ１はＬｍｉｎ以上でＰ１以下の信号強度を有する画素の平均値、Ｑ８はＬｍａｘ以下でＰ２より大きい信号強度の画素の平均値である。
【００８８】
また、ＬＤは単位ブロック内の階調幅指標で、Ｑ８−Ｑ１に等しい。Ｌ１〜Ｌ７は階調幅指標ＬＤを８等分した値を小さいほうから並べたものである。ＬＡは単位ブロック内の画像データ平均値レベルで、（Ｑ１＋Ｑ８）／２に等しい。φｉｊｋは画素毎の量子化レベルを表す。
【００８９】
図２２及び図２３は固定長圧縮手段２２による符号化手順を示すフローチャートである。以下、このフローチャートを参照しながら符号化手順を説明する。まず、固定長圧縮手段２２は、図１９（２）のように並べ替えられた単位ブロック内の画像データを読み込む（ステップＳＴ１）。
【００９０】
次に、読み込んだ４×４画素分の画像データの信号強度を演算し、以下の各式に従って順次Ｐ１，Ｐ２，Ｑ１，Ｑ８，ＬＡ，ＬＤ，Ｌ１〜Ｌ７の値を求める（ステップＳＴ２〜ステップＳＴ１３）。
Ｐ１＝（Ｌｍａｘ＋７Ｌｍｉｎ）／８
Ｐ２＝（７Ｌｍａｘ＋Ｌｍｉｎ）／８
Ｑ１＝Ａｖｅ（Ｘｍｎ≦Ｐ１）
Ｑ８＝Ａｖｅ（Ｘｍｎ＞Ｐ２）
ＬＡ＝（Ｑ１＋Ｑ８）／２
ＬＤ＝Ｑ８−Ｑ１
Ｌ１＝ＬＡ−３ＬＤ／８
Ｌ２＝ＬＡ−ＬＤ／４
Ｌ３＝ＬＡ−ＬＤ／８
Ｌ５＝ＬＡ＋ＬＤ／８
Ｌ６＝ＬＡ＋ＬＤ／４
Ｌ７＝ＬＡ＋３ＬＤ／８
【００９１】
なお、ステップＳＴ４のＱ１の式は、Ｌｍｉｎ以上でＰ１以下の信号強度を持つ画素の平均値を求めることを意味し、ステップＳＴ５のＱ８の式は、Ｌｍａｘ以下でＰ２より大きい信号強度を持つ画素の平均値を求めることを意味する。
【００９２】
このようにして、順次Ｐ１，Ｐ２，Ｑ１，Ｑ８，ＬＡ，ＬＤ，Ｌ１〜Ｌ７の値を求めた後、固定長圧縮手段２２は、ｎ＝１、ｍ＝１とおいて（図２３のステップＳＴ１４、１５）、この時のアドレス（ｍ，ｎ）の画素の信号強度（以後、画素値と称する）Ｘｍｎ（すなわち画素値Ｘ１１）が、Ｌ１以下であるか否かを判断する（ステップＳＴ１６）。
【００９３】
画素値Ｘ１１がＬ１以下である場合には、この画素値の量子化レベルφｉｊｋを２進数の０００と設定する（ステップＳＴ１７）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００９４】
ステップＳＴ３２で、ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合は、ステップＳＴ１５に戻り、ｍ＝１にして、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００９５】
画素値ＸｍｎがＬ１より大きい場合には、Ｌ２以下であるか否かを判別し（ステップＳＴ１８）、画素値ＸｍｎがＬ２以下である場合は、この画素の量子化レベルφｉｊｋを２進数の００１と設定する（ステップＳＴ１９）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値Ｘｍｎを再びＬ１と比較する（ステップＳＴ１６）。ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合には、ステップＳＴ１５に戻り、ｍ＝１にして、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００９６】
以下、同様に、画素値がＬ１〜Ｌ２間、Ｌ２〜Ｌ３間、Ｌ３〜ＬＡ間、ＬＡ〜Ｌ５間、Ｌ５〜Ｌ６間、Ｌ６〜Ｌ７間のいずれの値を有するかを判別し（ステップＳＴ１６，ＳＴ１８，ＳＴ２０，ＳＴ２２，ＳＴ２４，ＳＴ２６，ＳＴ２８）、その値に応じて、それぞれ量子化レベルφｉｊｋ＝０００，００１，０１０，０１１，１００，１０１，１１０，１１１を当該画素に割り振る（ステップＳＴ１７，ＳＴ１９，ＳＴ２１，ＳＴ２３，ＳＴ２５，ＳＴ２７，ＳＴ２９）。
【００９７】
このようにして、同一単位ブロック内の全画素に量子化レベルを割り振って符号化を終了する。単位ブロックの符号化データはＬＡ，ＬＤ，各画素毎のφｉｊｋである。
【００９８】
これらの処理は、画面全体に対して単位ブロック数分繰り返す。Ａ／Ｄ変換手段３からの画像データが、１画素あたり１０ビットである場合、すなわち、ビット詰めしない場合、２バイト（１６ビット）に相当し、４×４画素の単位ブロックでは、固定長符号化を行わない場合には、２５６ビット必要であるが、固定長符号化を行う場合には、画像データ平均値レベルＬＡ，階調幅指標ＬＤが各１６ビット、量子化レベルφｉｊｋが４８ビットで、合計８０ビットで済み、固定長符号化による画像圧縮率は１０／３２となる。
【００９９】
このように、撮影された各画像データは、逐次同色画素の画素のみで構成されたブロック毎に、固定長圧縮手段２２において固定長符号化が行われ、画像データ量の低減が施された上で、メモリ制御手段８を介して圧縮画像メモリ２３に蓄積される。
【０１００】
以上のようにして、２枚の撮影された画像データが圧縮画像メモリ２３に蓄積された後に、画像処理部９における画像処理が施される。初めに、固定長伸長手段２４が圧縮画像メモリ２３に蓄積されている画像データの復号化処理を行う。図２４は固定長伸長手段２４の処理を示すフローチャートである。
【０１０１】
固定長復号化動作が開始されると、まず、縦方向座標値ｎを１に設定し（ステップＳＴ４０）、横方向座標値ｍを１に設定する（ステップＳＴ４１）。すなわち、ステップＳＴ４０及びステップＳＴ４１の処理により、ある単位ブロック中の座標値（１，１）のアドレスが指定される。
【０１０２】
次に、指定したアドレスの量子化レベルΦｉｊｋがいくつであるか判定し（ステップＳＴ４２，ＳＴ４４，ＳＴ４６，ＳＴ４８，ＳＴ５０，ＳＴ５２，ＳＴ５４）、判定した各量子化レベルΦｉｊｋに応じて、平均値レベルＬＡと階調幅指標ＬＤとに基づいて、その画素の信号強度Ｙｍｎ（座標値（１，１）の画素であるならばＹ１１）を求める（ステップＳＴ４３，ＳＴ４５，ＳＴ４７，ＳＴ４９，ＳＴ５１，ＳＴ５３，ＳＴ５５，ＳＴ５６）。
【０１０３】
各ステップにおいて、平均値レベルＬＡと階調幅指標値ＬＤとから信号強度Ｙｍｎを求めるには、それぞれ次の演算式に従う。
Ｙｍｎ＝ＬＡ−ＬＤ／２ （ステップＳＴ４３）
Ｙｍｎ＝ＬＡ−５ＬＤ／１４ （ステップＳＴ４５）
Ｙｍｎ＝ＬＡ−３ＬＤ／１４ （ステップＳＴ４７）
Ｙｍｎ＝ＬＡ−ＬＤ／１４ （ステップＳＴ４９）
Ｙｍｎ＝ＬＡ＋ＬＤ／１４ （ステップＳＴ５１）
Ｙｍｎ＝ＬＡ＋３ＬＤ／１４ （ステップＳＴ５３）
Ｙｍｎ＝ＬＡ＋５ＬＤ／１４ （ステップＳＴ５５）
Ｙｍｎ＝ＬＡ＋ＬＤ／２ （ステップＳＴ５６）
【０１０４】
画素（１，１）の信号強度を求めたら、次に横方向に画素を１つ移動し（ステップＳＴ５７，ＳＴ５８）、同一の手順で画素（２，１）の信号強度を復号化する（ステップＳＴ４２〜ＳＴ５６）。
【０１０５】
このようにして、単位ブロック内の最上段の画素について信号強度を復号化した後（ステップＳＴ５８）、縦方向の座標値を１だけインクリメントし（ステップＳＴ５９）、次の段の画素について同様にして信号強度を復号化する（ステップＳＴ４２〜ＳＴ５８）。
【０１０６】
このようにして、単位ブロック内の全画素について信号強度を復号化して（ステップＳＴ４１〜ＳＴ６０）、復号化動作を終了する。
【０１０７】
図２５は逆の並べ替え処理を説明する図である。図２５（１）が逆の並べ替え前の画素配列を示し、図２５（２）が逆の並べ替え後の画素配列を示す。次に、図２５に示すように、固定長伸長手段２４は、復号化されたデータに対して、固定長圧縮手段２２で並べ替えた逆の並べ替え処理を施して、画素データを走査線方向に読み出したときと同一の順序で並べ替えて、画像メモリ７に記憶する。
【０１０８】
以上のように、画像メモリ７には、固定長圧縮前の画像データと等価な画像データが蓄積されていることになり、実施の形態１と同様の画像処理が、画像処理部９の他のブロックにおいて施され、インタフェース部１４に出力される。
【０１０９】
以上のように、この実施の形態２によれば、複数枚の画像を撮影する際に、固定長圧縮手段２２が、各々の画像データを圧縮することにより、撮像部５のＡ／Ｄ変換手段３から出力される画像データを圧縮画像メモリ２３に蓄積する際、より少ないデータ量を蓄積することになり、連写間隔を短縮するための高速なメモリ制御回路、あるいは最低２フレーム分の高速書込みが可能な半導体メモリを使用する必要がなくなり、撮像装置を低価格に構成することが可能となるという効果が得られる。
【０１１０】
これは言い換えれば、少量の高速な圧縮画像メモリ２３を使用することで、圧縮画像メモリ２３への撮影したデータ蓄積速度を、見かけ上高速化することが可能であり、１枚目の撮影シーケンスが短時間に終了することで、２枚目の撮影動作を短時間の間合いで開始することができることになる。そのために、２枚の撮影画像間に生じる被写体の時間的な変化、あるいは撮影者の手ぶれ等を最小限に抑えることが可能となり、同一被写体を高精度に１／２画素ずらした撮影が実現できるという効果が得られる。
【０１１１】
この実施の形態２では、画像メモリ７と圧縮画像メモリ２３を別個に設ける構成としたが、この限りでなく、同一の記憶領域を有する半導体メモリ上に併設する構成としてもよい。
【０１１２】
また、実施の形態２では、ラインバッファ２１，固定長圧縮手段２２，圧縮画像メモリ２３を別個に設ける構成としたが、この限りでなく、これらの構成要素の２つ以上を、ＬＳＩ等の集積回路１石に包含する構成としてもよい。
【０１１３】
さらに、実施の形態２では、画像メモリ７として、固定長伸長手段２４で伸長した２画面分の記憶容量を持つもの示しているが、この限りではない。すなわち、固定長伸長手段２４における復号化時に、図２５（２）に示すｘ方向に処理を継続した場合、８ライン単位の復号画像が得られ、後段の信号レベル補正手段１０は１画素単位に、画素補間・合成手段１１は、最大でも図１１に示す９ライン単位に、画像補正手段１２は、３×３又は５×５画素のフィルタを想定した場合、高々３ライン又は５ライン単位に、画像圧縮手段１３は、ＪＰＥＧ方式を用いた場合、８ライン単位に処理が可能である。
【０１１４】
そのため、画像メモリ７として、数十ライン分のラインバッファで構成し、固定長伸長手段２４から画像圧縮手段１３、又はインタフェース部１４における出力までを、必要最小限のライン単位に実行することで、画像メモリ７は大幅に削減可能である。
【０１１５】
実施の形態３．
この実施の形態３による撮像装置の構成は、実施の形態１の図１、又は実施の形態２の図１８と同等である。この実施の形態３では、画像処理部９における信号レベル補正手段１０の処理が、上記実施の形態と異なる。
【０１１６】
撮像部５で撮影された２枚の画像データは、Ａ／Ｄ変換手段３を経て、画像メモリ７に蓄積される。蓄積された画像データは、各々、信号レベル補正手段１０で、白バランス補正処理やガンマ補正処理等の個別に適用可能な信号補正処理が施される。この時、１枚目の画像と２枚目の画像は、時系列的に撮影されているため、例えば５０〜６０ＭＨｚの比較的低周波で、発光を繰り返す蛍光灯を光源として撮影した場合、光源の発光タイミングとシャッタ時間の関係で、２枚の画像の入射光量に差異が生じる場合がある。即ち、撮影した２枚の画像の平均明度に差が生じ、後段の画素補間・合成手段１１で画像合成を行う際に、画質劣化の原因となりうる。
【０１１７】
図２６は信号レベル補正手段１０の処理を説明する図である。図２６（ａ）は、１枚目の撮像条件に比して、２枚目の撮像条件における照明光量が、３０％程度低下した場合の同一被写体を撮影した際の明度特性を示している。定照明下で撮影した際の各信号レベルは、照明条件が変化した場合に、平均明度の低下とダイナミックレンジの縮小が発生する。図において、Ｍａｘ及びＭｉｎ値は、各画像における最大信号レベル及び最小信号レベルである。実施の形態３における信号レベル補正手段１０では、各画像内の信号レベル補正処理の他、２枚の画像の信号レベル補正処理を行う。
【０１１８】
即ち、各画像における最大信号レベル値及び最小信号レベル値を検出し、いずれか一方の信号レベル特性に、他方を合せ込む処理を行う。通常は、１枚目の画像撮影時に、自動露出補正あるいはシャッタ速度補正を行い、最適条件下で撮影を行うため、２枚目の画像を１枚目の明度分布特性に合わせるようにする。補正前後の２枚目の画像における各信号レベルを、それぞれＤ（ｊ）（ｊは定照明下での各明度レベル値）及びＤ’（ｊ）とすると、図２６（ｂ）に示すように、次の（６）式に従って補正を行う。
Ｄ’（ｊ）＝Ｄ（ｊ）＋（Ｍｉｎ１−Ｍｉｎ２） （６）
【０１１９】
続いて、図２６（ｃ）に示すように、次の（７）式に従って、１枚目の画像及び（６）式にて補正した２枚目の画像のダイナミックレンジを補正し、最終的な２枚目の補正信号レベルＤ”（ｊ）を算出する。
Ｄ”（ｊ）＝Ｄ’（ｊ）×（Ｍａｘ１−Ｍｉｎ１）
／（Ｍａｘ２’−Ｍｉｎ２’） （７）
【０１２０】
以上のように、この実施の形態３によれば、信号レベル補正手段１０が、上記の処理を行うことにより、撮影した２枚の画像の照明条件が異なる場合においても、明度特性を良好に一致させることが可能であり、画素補間・合成手段１１により、高精細画像を生成できるという効果が得られる。
【０１２１】
また、撮像装置の構成を、実施の形態２の図１８に示す構成にし、撮影した画像データを、固定長圧縮手段２２により符号化する場合、各符号における画像データ平均値ＬＡは、１６画素からなるブロック内の平均信号レベルを代表する値であることから、上記手順を全てＬＡを対象に実施しても、等価的に同等の効果を実現可能であることは容易に説明できる。このように構成した場合、上記全画素を対象に行っていた最大・最小信号レベル検出、及び信号レベル補正に関する演算規模を、１／１６に抑制することが可能であり、処理の高速化を実現できるという格別の効果も得られる。
【０１２２】
実施の形態３では、２枚目の撮影画像に対して、（６）式及び（７）式を順次適用するように構成したが、この限りでなく、これらを１回の画像データ走査で行えることは言うまでもない。
【０１２３】
実施の形態４．
この実施の形態４による撮像装置の構成は、実施の形態１の図１、又は実施の形態２の図１８と同等である。この実施の形態４では、画素ずらし光学手段１として、電界の強さに応じて透過光の屈折現象が変化する電気光学素子を用いる点が、実施の形態１及び実施の形態２と異なる。図２７は実施の形態４による撮像部５の構成を示す図である。図において、４１は電圧印加により電界を発生する電界発生手段、４２は電界の強さに応じて透過光の屈折率が変化する電気光学素子であり、その他の構成は、実施の形態１の図２と同等である。
【０１２４】
次に動作について説明する。
図２８は図２７に示す撮像部５の光学系を示す図であり、図において、Ｅａは電気光学素子４２に印加される電界の方向を示す。図２９、図３０、図３１は、図２８における電気光学素子４２及び偏光板３２を、Ａ−Ａ，Ｂ−Ｂ，Ｃ−Ｃの方向から見た図である。図２８において、画像を結像するためのレンズ３１から電気光学素子４２に入射する自然光は、図２９に示すように、互いに直交する２つの偏光成分ＬＸ、ＬＹであらわすことができる。電気光学素子４２に電界が印加されていない場合は、図３０のＬＸ０，ＬＹ０に示す偏光成分が、上記ＬＸ，ＬＹが直進した位置に観測される。
【０１２５】
電気光学素子４２に所定の電界の強さＥが印加されると、電気光学素子４２は複屈折現象を呈し、図３０のＬＸ１，ＬＹ１に示す偏光成分が観測される。ここで、ＬＸ１は複屈折現象における常光線として、ＬＸが直進した位置に観測され、ＬＹ１は複屈折現象の異常光線として、ＬＹが直進した位置より距離Ｐだけずれた位置に観測される。ただし、この場合、図３１に示すようなＰ＝ＰＨ／２（ＰＨは撮像素子２の水平画素ピッチを示す）となるような電界の強さＥを、電界発生手段４１により電気光学素子４２に印加する。
【０１２６】
電気光学素子４２を通過した、電界が印加されていない場合のＬＸ０，ＬＹ０、電界が印加された場合のＬＸ１，ＬＹ１は、偏光板３２で直線偏光となり、ＬＹ０，ＬＹ１が距離Ｐだけずれて透過し、図２８に示すように、撮像素子２で距離Ｐだけずれた位置に結像される。
【０１２７】
この実施の形態による撮像装置の動作タイミングは、実施の形態１の図７と同等である。ただし、図７（２）は電気光学素子４２に印加される電界Ｅの強さを示す図であり、電界Ｅの強さの変化の位相を、図７（１）のフィールドシフトパルスに一致させる。
【０１２８】
上述の動作により、この実施の形態４による撮像装置は、Ａ、Ｂフィールドでの信号電荷蓄積を、入射画像と撮像素子２の画素との相対的な位置に関して、ＰＨ／２だけ離れた位置で行うことができる。これに対応して、図７（３）に示す信号読み出しパルスのタイミングも、ＰＨ／２に相当する時間Ｔだけずらしてある。その結果、図７（５）に示すように、この撮像装置はＡ、Ｂフィールドを１フレームとした１周期で高画素密度化した画像を得ることができる。
【０１２９】
以上のように、この実施の形態４によれば、電気光学素子４２，偏光板３２により、精度の高い画素ずらし量を実現することができるという効果が得られる。
【０１３０】
実施の形態５．
この実施の形態５による撮像装置の構成は、実施の形態１の図１、又は実施の形態２の図１８と同様である。この実施の形態５では、画素ずらし光学手段１として、入射光の振動方向を変更する液晶板を用いている。図３２は実施の形態５による撮像部５の構成を示す図である。図において、５１は印加電圧を発生する駆動電圧発生手段、５２は、偏光板３２により生成された直線偏光を、駆動電圧発生手段５１から発生された印加電圧により振動方向を変化させる液晶板である。その他の構成は、実施の形態１の図２と同等である。
【０１３１】
次に動作について説明する。
図３３は図３２の撮像部５の光学系を示す図であり、図において、Ａ−Ａは偏光板３２の入射側、Ｂ−Ｂは偏光板３２の出射側、Ｃ−Ｃは液晶板５２の出射側、Ｄ−Ｄは複屈折板３６の出射側を示している。図３４、図３５、図３６、図３７は、図３３に示した上記Ａ−Ａ，Ｂ−Ｂ，Ｃ−Ｃ，Ｄ−Ｄから見た光の振動方向を示す。
【０１３２】
被写体を撮像する場合、光学系に入射される光は無偏光であるため、図３４に示すように、垂直方向の偏光成分と水平方向の偏光成分とで示すことができる。偏光板３２は入射された光から直線偏光した光を出射する。また、その振動方向は、図３５に示すように、撮像素子２の水平方向の画素配列を基準角度とすると、基準角度に対して４５°の角度となるように、偏光板３２における振動方向の偏光軸を傾けて配置する。
【０１３３】
液晶板５２は内部に液晶相を有し、２枚の電極基板で液晶を挟んだ板であり、外部から電圧すなわち電界が加わることにより、内部の液晶の分子配列変化に伴う電気光学効果を引き起こす。ここで用いる液晶板５２は、入射される直線偏光の光の振動方向を、印加電圧の有無により変化させるものである。上記液晶板５２を実現させるための一例として、上記電気光学効果の内で代表的な電界効果型である、ねじれネマチック（ＴＮ）型液晶による旋光効果などが挙げられる。
【０１３４】
図３８、図３９はねじれネマチック（ＴＮ）型液晶の動作を説明する図であり、ＴＮモードを示すネマチック液晶は、正の誘電異方性をもっている。図３８、図３９において、６１が液晶分子である。液晶板５２に電圧が印加されたときは、図３８に示すように、液晶分子６１の分子長軸方向が両基板面で直行しているように配列するため、偏光板３２を介して入射された直線偏光は、そのまま出射される。電圧が印加されていない時は、図３９に示すように、液晶分子６１の配列は連続的に９０°ねじれており、光学的には９０°旋光効果を起こすため、偏光板３２から入射された直線偏光は９０°ねじれて、出射光は入射光に対して９０°振動方向が異なるようになる。
【０１３５】
液晶板５２から出射された光の振動方向を図３６に示す。図３６において、ｃ１は液晶板５２において電圧が印加された状態であり、電圧が印加されない時にはｃ２のように、基準角度に対して１３５°の振動方向を有した直線偏光となる。ここで、ｃ１の直線偏光を第１の振動方向、ｃ２の直線偏光を第２の振動方向とする。液晶板５２から出射された光は、次に複屈折板３６に入射される。
【０１３６】
複屈折板３６は屈折率が振動方向によって均一でない、いわゆる複屈折を有する材質であり、撮像装置では、被写体の空間周波数が撮像素子２の画素ピッチから求められるサンプリング周波数を超えている場合、偽の画像となる追い返しノイズ（エイリアジングノイズ）が現れるため、光学的ローパスフィルタとして、水晶板等が良く用いられている。
【０１３７】
図３７において、ｄ１は液晶板５２のｃ１を入射して得られる常光線による第１の振動方向、ｄ２は液晶板５２のｃ２を入射して得られる異常光線による第２の振動方向を示し、ｗｘは水平方向の撮像素子の画素ピッチ、ｗｙは垂直方向の撮像素子の画素ピッチを示している。水晶板等の複屈折板３６は、図３７に示すように、入射する光を第１の振動方向ｄ１と第２の振動方向ｄ２とに分離し、その分離の距離間隔は、複屈折板３６の厚みによって調整することが可能である。第１の振動方向ｄ１と第２の振動方向ｄ２を、水平方向にｗｘ／２，垂直方向にｗｙ／２だけ異なるように、複屈折板３６の厚みを設定する。
【０１３８】
図３２において、撮像部制御手段４からの制御により撮像素子２を駆動させる際に、駆動電圧発生手段５１から液晶板５２へ駆動電圧を出力する。液晶板５２は、電圧が加わることにより、図３８に示す液晶分子配列となり、第１の振動方向の入射光は、撮像素子２上に結像される。撮像素子２は、撮像部制御手段４の制御により、撮像を行い第１の画像を得る。
【０１３９】
次に、第１の画像を撮像した後、駆動電圧発生手段５１は、液晶板５２への印加電圧を０とする。液晶板５２の液晶分子配列は、図３９に示したようになり、第２の振動方向の入射光は、撮像素子２上に結像される。撮像素子２は、撮像部制御手段４からの駆動信号により撮像を行い、第２の画像を得る。
【０１４０】
図４０は液晶板５２への印加電圧パルスを示す図である。撮像部制御手段４は、図４０における状態１の間に、第１の画像の撮像を終了させ、状態２の間に、第２の画像の撮像を終了させる。
【０１４１】
上記のように動作させることにより、図３３において、異常光線は点線で示されるように、常光線とは異なった撮像素子２上の位置、すなわち、互いに水平垂直とも１／２画素分だけ相対的にずれた位置に結像し、水平垂直とも１／２画素ずれた第１の画像及び第２の画像を得ることができる。
【０１４２】
以上のように得られた１枚目の撮影画像と、１／２画素ずらして撮影された２枚目の画像は、逐次Ａ／Ｄ変換手段３において、デジタル信号に変換された後、画像処理部９に送信される。
【０１４３】
実施の形態５では、１枚目の画像に対して２枚目の撮影画像を、１／２画素ずらす方向として、４５度方向にずらすものを例に説明したが、この限りでなく、液晶板５２及び複屈折板３６の配置あるいは液晶板５２への印加電圧を、適宜組み合わせることにより、１３５度方向、−４５度方向、−１３５度方向等を実現可能である。
【０１４４】
また、実施の形態５では、入射する直線偏光の振動方向を変化させる液晶板５２として、一例としてＴＮ型液晶を挙げたが、光電効果により旋光効果を有する液晶板５２であれば、同様の効果を有することができる。
【０１４５】
また、実施の形態５では、図３２に示した画素ずらし光学手段１において、レンズ３１を液晶板５２と複屈折板３６との間に配置しているが、レンズ３１は画素ずらし光学手段１内のいずれの位置に配置してもよい。
【０１４６】
以上のように、この実施の形態５によれば、偏光板３２，液晶板５２，複屈折板３６により、精度の高い画素ずらし量を実現することができるという効果が得られる。
【０１４７】
また、以上の全ての実施の形態においては、静止画像を連続的に取り込み可能なディジタルスチルカメラでの構成例を示したが、動画像を取り込み可能なディジタルカムコーダにおける高精細静止画撮影モードとしても構成可能である。
【０１４８】
また、以上の全ての実施の形態においては、撮像装置の内部で、画素補間・合成手段１１による処理を実行可能な構成例を示したが、この限りでなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能な機器上で構成してもよい。
【０１４９】
【発明の効果】
以上のように、この発明によれば、撮像画素に対しては、画素変位方向に対して垂直方向の複数の色信号に基づき、相似演算による補間処理を行い、空白画素に対しては、周辺画素を参照して画像中のエッジ線分方向を検出し、上記エッジ線分方向複数の色信号に基づき内挿処理を行うことで、高解像度の画像を実現できるという効果がある。
【０１５０】
この発明によれば、連続して撮影した２枚の画像を固定長符号に圧縮することにより、少量の圧縮画像メモリに高速に蓄積することができ、２枚の撮影画像間に生じる被写体の時間的な変化、あるいは撮影者の手ぶれ等を最小限に抑えることができるという効果がある。
【０１５１】
この発明によれば、画像メモリに記憶されている連続して撮影した２枚の画像について、各画像の最大信号レベル値及び最小信号レベル値を検出することにより各信号特性レベルを求め、一方の信号特性レベルを、他方の信号特性レベルに合わせることにより、撮影した２枚の画像の照明条件が異なる場合においても、明度特性を良好に一致させることが可能であり、高精細画像を生成できるという効果がある。
【０１５２】
この発明によれば、画像メモリに記憶されている連続して撮影した２枚の画像について、所定領域における平均信号レベルを求め、一方の平均信号レベルを、他方の平均信号レベルに合わせることにより、撮影した２枚の画像の照明条件が異なる場合においても、明度特性を良好に一致させることが可能であり、高精細画像を生成できるという効果がある。
【０１５３】
この発明によれば、画素ずらし光学手段が、偏光板、磁気光学素子、複屈折板により構成されることにより、精度の高い画素ずらし量を実現することができるという効果がある。
【０１５４】
この発明によれば、画素ずらし光学手段が、電気光学素子、偏光板により構成されることにより、精度の高い画素ずらし量を実現することができるという効果がある。
【０１５５】
この発明によれば、画素ずらし光学手段が、偏光板、液晶板、複屈折板により構成されることにより、精度の高い画素ずらし量を実現することができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による撮像装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１による撮像部の構成を示す図である。
【図３】 この発明の実施の形態１による撮像部の光学系を示す図である。
【図４】 この発明の実施の形態１による偏光板を図３のＡ−Ａ方向から見た図である。
【図５】 この発明の実施の形態１によるファラデー素子を図３のＢ−Ｂ方向から見た図である。
【図６】 この発明の実施の形態１による複屈折板を図３のＣ−Ｃ方向から見た図である。
【図７】 この発明の実施の形態１による撮像装置の動作タイミングを示す図である。
【図８】 この発明の実施の形態１による画素ずらしを説明する図である。
【図９】 この発明の実施の形態１による画素ずらしをした場合の各画素の位置関係を示す図である。
【図１０】 この発明の実施の形態１による画素補間・合成手段の処理を示すフローチャートである。
【図１１】 この発明の実施の形態１において、注目画素がＲ画素である場合に、注目画素のＧ成分を求める際の参照画素位置を示す図である。
【図１２】 この発明の実施の形態１において、Ｒ成分の変化に対する近似的なＧ成分の相似演算を説明する図である。
【図１３】 この発明の実施の形態１による７×７画素からなる参照画素ウィンドウを示す図である。
【図１４】 この発明の実施の形態１による２値化されたウィンドウ内のパターンと線分方向を示す図である。
【図１５】 この発明の実施の形態１において、注目画素がＢ画素である場合に、注目画素のＲ成分を求める際の参照画素位置を示す図である。
【図１６】 この発明の実施の形態１において、Ｇ成分の変化に対する近似的なＲ成分の相似演算を説明する図である。
【図１７】 この発明の実施の形態１において、注目画素がＧ画素である場合に、注目画素のＲ成分を求める際の参照画素位置を示す図である。
【図１８】 この発明の実施の形態２による撮像装置の構成を示すブロック図である。
【図１９】 この発明の実施の形態２による固定長圧縮手段の画素配列の並び替えを説明する図である。
【図２０】 この発明の実施の形態２による固定長圧縮手段が符号化するアドレスを示す図である。
【図２１】 この発明の実施の形態２による固定長圧縮手段が量子化する量子化レベルを示す図である。
【図２２】 この発明の実施の形態２による固定長圧縮手段の符号化処理を示すフローチャートである。
【図２３】 この発明の実施の形態２による固定長圧縮手段の符号化処理を示すフローチャートである。
【図２４】 この発明の実施の形態２による固定長圧縮手段の復号化処理を示すフローチャートである。
【図２５】 この発明の実施の形態２による固定長圧縮手段の画素配列の逆並び替えを説明する図である。
【図２６】 この発明の実施の形態３による信号レベル補正手段の処理を説明する図である。
【図２７】 この発明の実施の形態４による撮像部の構成を示す図である。
【図２８】 この発明の実施の形態４による撮像部の光学系を示す図である。
【図２９】 この発明の実施の形態４による電気光学素子を図２８のＡ−Ａ方向から見た図である。
【図３０】 この発明の実施の形態４による電気光学素子を図２８のＢ−Ｂ方向から見た図である。
【図３１】 この発明の実施の形態４による偏光板を図２８のＣ−Ｃ方向から見た図である。
【図３２】 この発明の実施の形態５による撮像部の構成を示す図である。
【図３３】 この発明の実施の形態５による撮像部の光学系を示す図である。
【図３４】 この発明の実施の形態５による偏光板を図３３のＡ−Ａ方向から見た図である。
【図３５】 この発明の実施の形態５による偏光板を図３３のＢ−Ｂ方向から見た図である。
【図３６】 この発明の実施の形態５による液晶板を図３３のＣ−Ｃ方向から見た図である。
【図３７】 この発明の実施の形態５による複屈折板を図３３のＤ−Ｄ方向から見た図である。
【図３８】 この発明の実施の形態５によるねじれネマチック（ＴＮ）型液晶の動作を説明する図である。
【図３９】 この発明の実施の形態５によるねじれネマチック（ＴＮ）型液晶の動作を説明する図である。
【図４０】 この発明の実施の形態５による液晶板への印加電圧パルスを示す図である。
【図４１】 従来の撮像装置の構成を示す図である。
【図４２】 従来の撮像部の構成を示す図である。
【図４３】 画素のＢａｙｅｒ配列を示す図である。
【図４４】 １枚目の撮影画像の色信号と、斜め１／２画素右下にずらして撮像した２枚目の撮影画像の色信号とを重ねて表示した図である。
【図４５】 従来のＧ信号の補間処理を説明する図である。
【図４６】 従来のＧ信号の内挿処理を説明する図である。
【図４７】 従来のＢ信号の補間処理を説明する図である。
【図４８】 従来のＢ信号の内挿処理を説明する図である。
【符号の説明】
１ 画素ずらし光学手段、２ 撮像素子、４ 撮像部制御手段、７ 画像メモリ、１０ 信号レベル補正手段、１１ 画素補間・合成手段、２２ 固定長圧縮手段、２３ 圧縮画像メモリ、２４ 固定長伸長手段、３２ 偏光板、３５ ファラデー素子（磁気光学素子）、３６ 複屈折板、４２ 電気光学素子、５２ 液晶板。

Claims (11)

1. 撮像光学系への入射光を二次元的に配置された複数の画素で構成された単板カラーの撮像素子に導き、上記撮像素子により光電変換してカラー画像信号を生成する撮像装置において、
   上記撮像光学系からの入射光の上記撮像素子への結像位置を、水平及び垂直方向に１／２画素分変位させうる画素変位条件を制御する撮像部制御手段と、
   上記撮像部制御手段により制御された第一の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させると共に、上記撮像部制御手段により制御された上記第一の画素変位条件に対して水平及び垂直方向に１／２画素分変位させた第二の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させる画素ずらし光学手段と、
   上記第一の画素変位条件に基づき結像され上記撮像素子より光電変換された第一の撮影画像と、上記第二の画素変位条件に基づき結像され上記撮像素子より光電変換された第二の撮影画像を、上記第一の撮影画像の撮像画素に対して上記第二の撮影画像の撮像画素を水平及び垂直方向に１／２画素ずらした２×２画素からなるマトリクスに対応する位置に記憶する画像メモリと、
   上記画像メモリに記憶されている上記撮像画素に対しては、画素変位方向に対して垂直方向の複数の色信号の相関を考慮して非撮影色信号を補間し、上記画像メモリ内の上記撮像画素以外の空白画素に対しては、周辺画素を参照して画像中のエッジ線分方向を検出し、上記エッジ線分方向の複数の色信号に基づき、内挿処理を行う画素補間・合成手段と
   を備えたことを特徴とする撮像装置。
2. 第一及び第二の撮影画像を固定長符号に圧縮する固定長圧縮手段と、
   上記固定長圧縮手段により圧縮された第一及び第二の撮影画像を記憶する圧縮画像メモリと、
   上記圧縮画像メモリに記憶されている圧縮された第一及び第二の撮影画像を復号化する固定長伸長手段とを備え、
   上記復号化された第一及び第二の撮影画像を画像メモリに記憶することを特徴とする請求項１記載の撮像装置。
3. 画像メモリに記憶されている第一及び第二の撮影画像について、各画像の最大信号レベル値及び最小信号レベル値を検出することにより各信号特性レベルを求め、一方の信号特性レベルを、他方の信号特性レベルに合わせる信号レベル補正手段を備えたことを特徴とする請求項１記載の撮像装置。
4. 画像メモリに記憶されている第一及び第二の撮影画像について、所定領域における平均信号レベルを求め、一方の平均信号レベルを、他方の平均信号レベルに合わせる信号レベル補正手段を備えたことを特徴とする請求項２記載の撮像装置。
5. 画素ずらし光学手段が、
   入射光から直線偏光を生成する偏光板と、
   磁場の強さに応じて上記偏光板からの直線偏光の振動方向を変化させる磁気光学素子と、
   上記磁気光学素子からの直線偏光の振動方向により屈折率の異なる複屈折板と
   を備えたことを特徴とする請求項１記載の撮像装置。
6. 画素ずらし光学手段が、
   電界の強さに応じて透過光の屈折率を変化させる電気光学素子と、
   上記電気光学素子からの透過光から直線偏光を生成する偏光板と
   を備えたことを特徴とする請求項１記載の撮像装置。
7. 画素ずらし光学手段が、
   入射光から直線偏光を生成する偏光板と、
   与えられる電圧の有無により上記偏光板からの直線偏光の振動方向を変化させる液晶板と、
   上記液晶板からの直線偏光の振動方向により屈折率の異なる複屈折板と
   を備えたことを特徴とする請求項１記載の撮像装置。
8. 撮像光学系への入射光を二次元的に配置された複数の画素で構成された単板カラーの撮像素子に導き、上記撮像素子により光電変換してカラー画像信号を生成する撮像方法において、
   撮像部制御手段により制御された第一の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させると共に、上記撮像部制御手段により制御された上記第一の画素変位条件に対して水平及び垂直方向に１／２画素分変位させた第二の画素変位条件に基づき、上記撮像光学系からの入射光を上記撮像素子に結像させ、
   上記第一の画素変位条件に基づき結像され上記撮像素子より光電変換された第一の撮影画像と、上記第二の画素変位条件に基づき結像され上記撮像素子より光電変換された第二の撮影画像を、上記第一の撮影画像の撮像画素に対して上記第二の撮影画像の撮像画素を水平及び垂直方向に１／２画素ずらした２×２画素からなるマトリクスに対応する位置になるよう画像メモリ記憶し、
   上記画像メモリに記憶されている上記撮像画素に対しては、画素変位方向に対して垂直方向の複数の色信号の相関を考慮して非撮影色信号を補間し、上記画像メモリ内の上記撮像画素以外の空白画素に対しては、周辺画素を参照して画像中のエッジ線分方向を検出し、上記エッジ線分方向の複数の色信号に基づき、内挿処理を行う
   ことを特徴とする撮像方法。
9. 第一及び第二の撮影画像を固定長符号に圧縮し、
   上記圧縮された第一及び第二の撮影画像を圧縮画像メモリに記憶し、
   上記圧縮画像メモリに記憶されている圧縮された第一及び第二の撮影画像を復号化し、
   上記復号化された第一及び第二の撮影画像を画像メモリに記憶することを特徴とする請求項８記載の撮像方法。
10. 画像メモリに記憶されている第一及び第二の撮影画像について、各画像の最大信号レベル値及び最小信号レベル値を検出することにより各信号特性レベルを求め、一方の信号特性レベルを、他方の信号特性レベルに合わせることを特徴とする請求項８記載の撮像方法。
11. 画像メモリに記憶されている第一及び第二の撮影画像について、所定領域における平均信号レベルを求め、一方の平均信号レベルを、他方の平均信号レベルに合わせることを特徴とする請求項９記載の撮像方法。

Images