JP3907729B2

JP3907729B2 - 静止画像撮像装置

Info

Publication number: JP3907729B2
Application number: JP01889196A
Authority: JP
Inventors: 健人月岡
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1996-02-05
Filing date: 1996-02-05
Publication date: 2007-04-18
Anticipated expiration: 2016-02-05
Also published as: JPH09214988A

Description

【０００１】
【発明の属する技術分野】
本発明は静止画像撮像装置に関し、特に、光学結像された被写体の像をデジタル画像情報に変換するにあたって、撮像素子の解像度を越える高品質及び高色再現性が要求される静止画像撮像装置に関する。
【０００２】
【従来の技術】
撮像素子の解像度を越える高品質の静止画像を得るために各種の方法が従来より開発されており、例えば、（１）撮像素子を圧電素子を用いて上下に半画素（あるいは１／Ｎ画素）振動させるもの（特開昭５８−１１１５８０号公報）、（２）光学的に結像位置を半画素ずつずらすもの（特開昭６１−２７０９７３号公報）、（３）複数の撮像素子を半画素位置がずれるように配置したもの、（４）二個の撮像素子をずれた位置に配置し、各々によって撮像された画像のズレを相関で求め、互いにずれたサンプリングを合成して高解像の画像を得るもの（「異なる画素開口を有する複数のカメラを用いた高精細画像入力法」、テレビジョン学会技術報告Vol.17, No.29,PP13-18,1993）等が知られている。
【０００３】
また、モザイクフィルタを有する撮像素子を用いて撮像した場合において、欠落色情報を復元して色再現性を向上させる方法として、（５）欠落色成分を周囲の同一成分の画素の値から補間したり、（６）色成分間の相関を調べ、欠落色成分を他の色成分から推定するものなどが知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記した（１）及び（２）に記載の方法では、均一なサンプリング間隔のずれを作り出しているので合成処理は容易になるが、サンプリング間隔のずれを作り出すために複雑な構成の専用の装置が新たに必要となる。また、（３）に記載の方法は（１）及び（２）に記載の方法と同様に合成処理は容易であるが、撮像素子間に半画素の位置ずれができるように正確に撮像素子を配置することが非常に難しい。
【０００５】
また、（４）に記載の方法はサンプリング間隔のズレ量をあらかじめ設定しないので装置構成が簡単で配置精度の問題もないが、逆に対応点を求める計算が複雑になり、合成処理時間が大幅に増大してしまう。
【０００６】
また、（５）及び（６）に記載の方法は、一枚の画像から欠落色成分値を求めているために補間処理により解像度が低下したり、補間や相関の仮定が成り立たない場合には不都合な色づきが生じてしまう。
【０００７】
本発明の静止画像撮像装置はこのような課題に着目してなされたものであり、その第１の目的は、複雑な装置構成を新たに必要とせずに低コストで撮像素子の解像度を越える高品質の静止画像が得られる静止画像撮像装置を提供することにある。
【０００８】
また、本発明の第２の目的は、さらに、簡単な合成処理で撮像素子の解像度を越える高品質の静止画像が得られる静止画像撮像装置を提供することにある。
【０００９】
また、本発明の第３の目的は、さらに、複雑な装置構成を新たに用いることなしに欠落色を復元することができる静止画像撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様は、同一被写体を複数の異なる変倍率で結像する結像変倍手段と、この結像変倍手段によって得られた複数の異なる倍率の被写体像を各々電気信号に変換して、複数の変倍画像を得る撮像手段と、前記複数の変倍画像を記憶する画像記憶手段と、前記複数の変倍画像に基づいて、前記複数の変倍画像のうち最も倍率の高い変倍画像よりも高解像度の画像を生成する画像合成手段と、を有することを特徴とする撮像装置であって、前記画像合成手段は、前記撮像手段の画素間隔より高精細な仮想画素格子を設定し、前記複数の異なる倍率のうち最も高い倍率における被写体像を前記仮想画素格子で仮想的に撮像した場合に各仮想画素により撮像される被写体像の部分と、前記複数の変倍画像の各画素で撮像される被写体像の部分との位置関係から、前記変倍画像それぞれの画素値を前記仮想画素の画素値の線形和で表した場合の係数を算出する係数算出手段と、前記係数算出手段により算出された係数に基づいて、前記仮想画素の画素値を前記各変倍画像の画素値から逆推定する推定手段と、を備える。
【００１１】
また、本発明の第２の態様は、第１の態様において、前記画像合成手段は、前記複数の変倍画像のうち最も高い倍率で得られた変倍画像と、他の変倍画像の間の相対倍率が、両変倍画像のサンプリング点が完全には一致しないような所定の有理数になるように変倍率を決定する変倍率決定手段を備える。
【００１２】
また、本発明の第３の態様は、第２の態様において、前記撮像手段はカラーモザイクフィルタを有し、前記所定の有理数は整数分の１である。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１６】
まず、本実施形態の概略を説明する。第１の概略として、図１、２を用いて、変倍率の異なる画像の合成による高解像度化の原理を説明する。簡単のため、撮像素子は一次元のラインセンサを考えるが、同様の原理は二次元のエリアセンサにも容易に拡張できる。
【００１７】
撮像素子も撮影対象も固定した状態で同一の被写体を種々の変倍率（×１．０、×０．７５、×０．６）で撮影して、図１（ａ）に示すような複数の変倍画像Ｅ，Ｆ，Ｇを得たとする。ここで、すべての変倍画像に共通に写っている範囲を標準画角と呼ぶ。各々の変倍画像上では、標準画角は図１（ａ）の点線枠のように変倍率に応じて異なった大きさになっているが、これら各変倍画像の標準画角に対応する範囲を部分標準画像、最も大きな部分標準画像を標準画像と呼ぶ。また、標準画像を与える倍率に対する各変倍画像の倍率を変倍率（相対倍率）と呼ぶ。図１（ａ）は、標準画像Ｅと、変倍率３／４（０．７５）の変倍画像Ｆと、変倍率３／５（０．６）の変倍画像Ｇを示している。
【００１８】
これらの画像は、例えば図１（ｂ）に示すように、光センサが規則的に線状に配列された撮像素子が撮影対象を垂直方向にスキャンすることで得られる。このとき光センサに対応する部分を開口ｐと呼ぶ。また、この開口ｐは一定の間隔をおいて並んでいるものとし、この間隔を開口間隔（繰り返し単位）ｑとする。このとき、ｐ／（ｐ＋ｑ）を開口率と呼ぶ。さらに、開口内では素子の感度は一定（矩形開口）であると仮定している。
【００１９】
ここで、図１（ａ）に示す標準画像Ｅ上にある水平線Ｚを考え、この水平線Ｚに対応する線状領域を上記した各変倍率で図１（ｂ）に示す線状光センサで撮影すると、図１（ｃ）に示すような撮像出力Ｅ′，Ｆ′，Ｇ′が得られる。図中横軸は水平方向の空間座標（素子上の座標ではない）であり、曲線は線状領域の実際の輝度分布を表し、点線は撮像素子の感度を示している。感度が０でない部分が開口に対応する。この説明では、線状光センサの配列と撮影倍率により決まる、空間座標に対する感度パターンをサンプリングパターンと呼ぶ。したがって、撮影対象の輝度分布とサンプリングパターンとの積分を行えばパターン中の各開口に対応した画素値が得られる。
【００２０】
図１（ｃ）中の矢印は各サンプリングパターン中の開口の中心位置を表し、大きさはサンプリングで得られた画素値を表している。変倍画像Ｆ，Ｇのサンプリングパターンは、標準画像Ｅのサンプリングパターンに対し、変倍率の逆数のスケール倍となっている。標準画像Ｅのサンプリングパターンを標準サンプリングパターン、変倍画像Ｆ，Ｇの変倍率に対応してスケール倍されたサンプリングパターンを変倍サンプリングパターンと呼ぶ。
【００２１】
ここで、仮に開口がδ関数によって表されると仮定した場合、これらの異なるサンプリングパターンを合成すると図１（ｄ）に示すような合成結果が得られる。同図より、斜線部に限ってみれば、上記した複数の変倍率のうち最も高倍率で撮影して得られる標準画像Ｅのサンプリングパターンよりも密なサンプリングパターンが得られ、これによって、複数の異なる変倍率（×１．０、×０．７５、×０．６）のうち最も高い倍率（標準画像の倍率×１．０）で得られた変倍画像よりも高解像度の画像が生成され、撮像素子の解像度を越える高品質の静止画像が得られる。
【００２２】
一般に、開口間隔が１／ｎになれば、サンプリング定理により得られる帯域はｎ倍になる。従来の高解像度化技術のほとんどはこの定理に基づき、均一なサンプリングずれを作り出すために専用の装置を新たに用い、生成撮像面を平行に移動させることで一様にサンプリング間隔を小さくし、均一に帯域を増加させていた。しかし、高解像度化は、あるサンプリングパターンで得られた画素値から、より細かいサンプリングパターンで得られた画素値を推定、復元することによっても可能であり、この場合はサンプリング間隔が不均一でもかまわない。従来の技術として（４）に記載した方法は、複数のカメラを用いてこのような不均一なサンプリング間隔を作り出しているが、画像間でのサンプリングの対応関係を相関により求めるといった複雑な処理を必要とする。
【００２３】
それに対し、第１の概略では変倍という単純な機構を用いることによって、複雑な装置構成を新たに必要とせずまたサンプリング間隔のずれが均一でなくとも画像の高解像度化を実現している。
【００２４】
なお、この場合の撮像装置の動作は以下のようになる。すなわち，被写体と画角を選択すると、結像変倍手段は標準画角が指定された画角以上になるように複数の倍率で被写体像を変倍する。撮影手段は結像変倍手段が変倍率を設定するごとに撮影を行ない、得られた同一被写体の複数の変倍画像は画像記憶手段に記憶される。合成手段はこの画像記憶手段に記憶された前記複数の変倍画像を合成して、前記複数の異なる変倍率のうち最も高い倍率で得られた変倍画像よりも高解像度の画像を生成する。
【００２５】
以下に本実施形態の第２の概略を説明する。
【００２６】
上記した変倍による高解像度化は、変倍の結果サンプリング点がどこに来るのかが倍率から計算できることにより可能となるが、このような変倍によるサンプリング点の変化の規則性を利用すると、以下に述べるようにさらに優れた高解像度化が実現できる。
【００２７】
変倍によってサンプリング点がどのように変化するかは撮影倍率の選び方で異なり、ここではまず、相対倍率として有理数を選んだ場合について図２（ａ）乃至図２（ｄ）を用いて説明する。図２（ａ）は撮影対象の輝度分布を示しており、図２（ｂ），（ｃ）は、開口率２／３の撮像素子で得られた、各々標準画像と変倍率２／３（＝０．６６６）の変倍画像のサンプリングパターンである。
【００２８】
図２（ｄ）は開口率１、開口間隔が図２（ｂ）の開口間隔の１／６のサンプリングパターンを示している。図１と同様、縦軸は画素値である。ここでは、光軸に対応する位置にちょうど撮像素子の開口の端が来ていると仮定している。以下、図２（ｂ）、（ｃ）、（ｄ）に示す各サンプリングパターンを順にＡ、Ｂ、Ｓと呼ぶことにする。また、図２（ｂ）のａ１，ａ２，ａ３、図２（ｃ）のｂ１，ｂ２、図２（ｄ）のｓ１〜ｓ１８は、図２（ａ）に示す輝度分布を持つ撮影対象を各々のサンプリング間隔でサンプリングして得られる画素値を表し、輝度方向の矢印はその大きさと各画素の中心位置を表している。
【００２９】
ここで、各サンプリングパターンの開口の端に注目すると、
( １）サンプリングパターンＡの４画素目の開口の左端Ｔ１と、サンプリングパターンＢの３画素目の開口の左端Ｔ２とが完全に一致し、この位置から右側では、光軸からＴ１あるいはＴ２までのＡ、Ｂのサンプリング間隔のずれのパターンが繰り返されている。
【００３０】
( ２）サンプリングパターンＡ、Ｂの開口の端は常にサンプリングパターンＳの開口の端に一致している。
【００３１】
そこで、（１）及び（２）の性質を利用すると、サンプリングパターンＡ、Ｂの各画素の値はサンプリングパターンＳの画素の値の和で表現することができ、例えば図２（ｂ）のａ１は、図２（ｄ）のｓ１〜ｓ４を用いて（ｓ１＋ｓ２＋ｓ３＋ｓ４）／４の式で表すことができる。このことを一般化すると、（１）の周期性により、この周期内におけるサンプリングパターンＡ、Ｂの画素値はともに、当該周期に含まれるサンプリングパターンＳの画素値で表すことができる。このことを行列の形で表現したのが図２（ｅ）である。図２（ｅ）の＊印は乗算を表す。
【００３２】
一般に、標準画像のサンプリングパターンＡと変倍画像のサンプリングパターンＢの倍率比を１：ｎ／ｍ（ｎ、ｍは正整数でｎ＜ｍ）とするとサンプリング間隔のスケール関係は１：ｍ／ｎとなる。すなわち、Ａでｍ画素、Ｂでｎ画素のサンプリングの後に両画像のサンプリング位置が重なり、それまでの区間が周期の単位となる。さらに、サンプリングパターンＡ、Ｂがｐ／（ｐ＋ｑ）（ｐ、ｑは正整数）の開口率の素子で得られた場合は、「Ｗ＝ｎ（ｐ＋ｑ）／｛ｎｐ、ｎｑ、ｍｐ、ｍｑの最大公約数｝」と定義すれば、（１）、（２）と同様の性質が成り立ち、サンプリングパターンＡを得るのと同じ倍率での開口率１、開口間隔「１／Ｗ」の撮像素子によるサンプリングパターンをＳとして選べば、Ｓによって得られる画素値とＡ、Ｂの画素値とを結びつけることができ、両者の関係は、
【数１】

【００３３】
によって表される。ここで、Δａ＝Ｗ×ｐ／（ｐ＋ｑ）、Δｂ＝Δａ×ｍ／ｎ、ｓ₁ _〜 _mWは一周期分のＳの画素値であり、ａ_i、ｂ_jはそれぞれＡ、Ｂのｉ、ｊ番目の画素値である。図２の例ではＷ＝６、Δａ＝４、Δｂ＝６である。
【００３４】
このように定められるＳを共通サンプリングパターンと呼び、共通サンプリングパターンＳの開口間隔を共通サンプリング間隔、共通サンプリングパターンＳから得られる画素値を共通サンプリング値と呼ぶ。また、図２（ｅ）の形で行列表現された共通サンプリング値と変倍画像の画素値の関係式を共通サンプリング表現、この共通サンプリング表現に現れる共通サンプリング値の個数を共通サンプリング周期、対応する行列を共通サンプリング行列と呼ぶ。共通サンプリング行列は、標準画像及び変倍画像の各々の画素値がどの共通サンプリング値を使って表されるかを示しており、要素は０か１のみである。
【００３５】
このようにして、変倍率が有理数の場合は、変倍画像の画素値と、より密なサンプリングにより得られる画素値との関係が（１ａ）、（１ｂ）式で表されるような簡単な形で導けるため、この関係式を逆に解いてａやｂからｓを求めれば高解像度化ができることになる。共通サンプリングによれば、複数の変倍画像から異なるサンプリングによって得られた画素値を、同一の共通サンプリング値に連立させることができるので、実質的に情報量を増やすことができる。また、共通サンプリング値による表現は、サンプリング間隔のずれの周期内での関係なので、この周期単位で画像をブロックに分割し各々を独立に処理することを可能にし、処理の効率化が図れる。
【００３６】
なお、複数の変倍画像の部分領域に関する（１）式に例示される共通サンプリング関係式は以下のように一般化することができる。
【００３７】
すなわち、複数変倍画像から切り出した部分標準画像の、標準画像に対する相対倍率（変倍率）を｛１、Ｓ１、Ｓ２、…、Ｓｎ−１｝とし、それによって決まる共通サンプリング周期と共通サンプリング表現行列に基づいて、各サンプリングの共通サンプリング関係式を求めると、
ｇ_i＝Ｈ_iｆ（ｉ＝１…ｎ）（２）
が導ける。ここでｇ_iは各変倍画像の画像値、ｆは共通サンプリング値である。この関係をすべて結合することで情報量を増やした行列
【数２】

【００３８】
を作り、これを逆に解いてｆを求めることができる。
【００３９】
この場合の撮像装置の動作は以下のようになる。すなわち、変倍率決定手段が所定の有理数の変倍率を選択し、それに応じて結像変倍手段及び撮像手段を駆動して指定の変倍率の画像を画像記憶手段に記憶する。次に、画像切り出し部が画像記憶手段中の変倍画像から、標準画像の領域に対応する部分画像を読み出す。対応付け手段は切り出された複数の部分変倍画像と、変倍率決定部の変倍率によって決まるサンプリング表現行列とを対応付けて、式（３）に例示されるような共通サンプリング関係式を導きだす。画像復元手段はこの関係式を基に、共通サンプリング値を計算、推定する。これには、後述する第３〜７の概略で述べられるような推定方法を用いるのが望ましいが、特に開口補正が可能な場合は前記した（４）の従来技術で述べられている手法を用いてもよい。
【００４０】
以上のように変倍率を有理数にすることで、得られた画像のサンプリング間隔のいずれよりも小さな共通サンプリング間隔での画素値をブロック単位で効率的に精度良く得ることができる。
【００４１】
ところで、変倍率を有理数にする場合は部分標準画像（変倍画像）間で中心位置（変倍の中心、光軸に相当）が一致するか、あるいは位置ずれがあっても光軸位置が固定されている等、特定の条件を満たしていることを前提にしている。ところが、本装置を手ぶれのある電子カメラへ適用した場合はこのような条件が成立しない。そこで、まず、特定の条件を満たすか否かを判断し、満たさない場合は後述する第８の概略で述べるように変倍率を無理数にしてサンプリング処理を行なうようにする。
【００４２】
この場合の撮像装置の動作は以下のようになる。すなわち、被写体と画角を選択すると、結像変倍手段は標準画角が指定された画角以上になるように複数の倍率で被写体像を変倍する。撮影手段は結像変倍手段が変倍率を設定するごとに撮影を行ない、得られた同一被写体の複数の変倍画像は画像記憶手段に記憶される。合成手段は状況に応じて変倍画像に対する復元処理を区別する。すなわち、ある場合は変倍画像間のずれの規則性を利用して効率的なサンプリング処理を行ない、位置ずれによりそれができない場合は、例えば前記した（４）の従来技術に示されているような、公知のランダムサンプリングからの均一なサンプリング処理を適用して、標準画角以内の領域で、より密なサンプリング間隔で撮像した場合に得られる画像を推定、復元する。
【００４３】
以下に本実施形態の第３の概略を説明する。第３の概略では撮影手段にカラーモザイクフィルタを付加し、変倍率として整数分の１の変倍率（整数のズームアウト率）を採用している。特に不連続な変倍機構しかない場合には、整数分の１の変倍率は一般の有理数より実現しやすい。しかし、撮像手段のすべての画素で値が得られる場合は、変倍画像間で、ある画像のサンプリング点の間に別の画像のサンプリング点が来ないため、サンプリング位置が補いあう関係にならず、新たな情報は得られない。これに対し、カラーモザイクフィルタの付加された撮像手段のように、サンプリングが画素単位で行われず、原色成分ＲＧＢに関する値が部分的にしか得られていない場合には、整数分の１の変倍率でも変倍によりサンプリング位置が補い合うようになる。
【００４４】
図３は撮像素子（ＣＣＤ）をベイヤー配列とした場合の変倍画像間のサンプリング関係においてミッシング画素が推定されるようすを説明するための図である。ここでは、ＲＧＢベイヤー配列のＣＣＤにおいて、標準倍率で未知の値を持った画像のＧ成分についてのミッシング画素が、変倍率０．５倍の変倍画像によって推定されるようすを説明する。
【００４５】
標準倍率での画像（ａ）において画像のＧ成分に着目すると、Ｇ成分は画素Ｇ２，Ｇ４，Ｇ５，Ｇ７，Ｇ１０，Ｇ１２，Ｇ１３，Ｇ１５でしか得られず、Ｇ１，Ｇ３などではミッシング画素となっている。ここで、標準倍率での画像（ａ）のうち、例えば画素Ｇ３，Ｇ４，Ｇ７，Ｇ８に着目すると、これらを合成したものは変倍率０．５倍の変倍画像（ｂ）のｇ２成分に対応しており、Ｇ３＋Ｇ４＋Ｇ７＋Ｇ８＝ｇ２の関係が成立する。これをミッシング画素Ｇ３，Ｇ８について解くと、Ｇ３＋Ｇ８＝ｇ２−Ｇ７−Ｇ８となる。これは、標準画像におけるミッシング画素Ｇ３，Ｇ８は変倍画像を合成することによって、すなわち、制約を付加することによって、より高い精度で推定され得ることを意味し、図３の（ｃ）は変倍画像のｇ２，ｇ３成分によって標準画像（ａ）におけるＧ成分のミッシング画素に対する情報が補われる様子を示している。
【００４６】
以下に本実施形態の第４の概略を説明する。
【００４７】
第２の概略で説明したように、有理数の変倍率に対する高解像度化は式（３）を解くことを意味する。しかしながら、式（３）は一般に条件過多か条件不足であり、ｆは一意には決まらない。このような場合にｆを一意に決定する方法はいくつかあるが、ここではよく知られているように、（３）式に何らかの制約条件を付けて、
【数３】

【００４８】
を最小化するような手法を選ぶことにする。（４）式中、Ｑ、Ｒは制約条件を離散化して表現したもので、γは制約の強さを表わすパラメーターである。この手法は統計的に何らかの性質で特徴づけられる画像に対しては非常に有効であり、一般の画像に対しても、非常に特殊な画像に対しても、Ｑ、Ｒをうまく選択することで最適に対応することができる。与えられる制約は、最も汎用的なものとして被写体のもつ性質を反映した制約条件の下で最小２乗法に基づき推定する。例えば、
後述する（１８）式のような、濃淡画像の輝度成分があるレート以上には急に変動しないというものや、後述する（１４）式のような色差成分は空間的に非常にゆっくりとしか変化しない、といったものが上げられる。この問題の解は、
【数４】

【００４９】
であるが、定数γの大きさを調整することで、制約の強さを制御することができる。（５）式中、Ｇにかかる行列を復元行列と呼ぶ。
【００５０】
そこで、画像復元手段にはあらかじめ与えられた制約に対する離散化行列Ｑが与えられており、復元手段はＱを用いて（５）式を計算し、共通サンプリング値を推定する。
【００５１】
以下に本実施形態の第５の概略を説明する。
【００５２】
第４の概略における（５）式において、制約の強さを表すパラメータγの値の選び方によっては、共通サンプリング値がうまく復元されないこともある。例えば後述する（１８）式のように復元画像の滑らかさが制約条件だとすると、γが大きすぎると復元画像の画質は劣化してしまう。そこで、ここでは、制約条件を決定するパラメータγを変倍画像と画像合成後の高解像度画像によって更新するようにする。すなわち、画像復元手段によって得られた複数の変倍画像のうちの一部を使ってあるγの値を選んで回復処理を行い、得られた結果を残りの変倍画像の結果と照らし合わせることで、すべての変倍画像にうまく当てはまる復元を可能にする適切なγを選べるようにする。
【００５３】
まずｎ個の変倍率｛Ｓ₁…Ｓ_n｝で変倍画像を得、それらのうち｛Ｓ_p1、Ｓ_p2、…Ｓ_pm（ｐ１…ｐｍは重複のないｍ（＜ｎ）個の適当な自然数）の画像を使ってｆを復元する。このｆから、残りの｛Ｓ_q1，Ｓ_q2，…Ｓ_qn-m｝について
【数５】

【００５４】
を計算し、これを最小にするγを決める。
【００５５】
以下に本実施形態の第６の概略を説明する。第６の概略では、結像変倍手段は撮像手段のセンサ配列と平行な一方向のみに変倍を行ない、画像復元手段はより密なサンプリング間隔で得られる高解像度の画素値を部分的に誤差なく復元する。すなわち第４の概略では（３）式に最小２乗近似を直接当てはめたが、関係式が一次元の場合には共通サンプリング値が部分的に誤差なく求められる場合があるので第６の概略ではこれを利用している。
【００５６】
例えば、図４の（ａ）は開口率１の標準画像と３／４倍ズームアウト（変倍）画像とのサンプリングの関係を表しており、標準画像の画素値をｇ、ズームアウト画像のそれをｈ、共通サンプリング値をｆとすると、共通サンプリング表現は、
【数６】

【００５７】
となる。ここで、ｆｆ４＝ｈ１−ｇ１，ｆｆ５６＝ｇ２−ｆｆ４，ｆｆ７８＝ｈ２−ｆｆ５６，ｆｆ９＝ｇ３−ｆｆ７８という新たな変数を使うと、この関係は
【数７】

【００５８】
と書くことができ、ｆ４とｆ９は行に１がひとつしかないのでｆｆ４とｆｆ９から誤差なしに直接定まることがわかる。変倍画像の画素値間の演算は共通サンプリング行列の行間の加減算であるので、この例のように加減算を行って、最終的に行に１がひとつしかない形にすれば、どのサンプリング値が誤差なく一意に求められるかがわかる。
【００５９】
そして、このような変型は、０と１以外の値を出さないように行う加減算だけの操作（基本変形）を繰り返し、１の数が最も少なくなるようにする事で達成できる。この手続きは、例えば後述する第２の実施形態例の図９のフローで実現できるが、共通サンプリング行列に含まれる冗長性を取り除くことができる効果がある。このような方法で（３）式を簡単化すると、共通サンプリング表現関係式は、行を入れ替えて、
【数８】

【００６０】
とかける。｛ｐ１，ｐ２，…ｐｍ｝は共通サンプリング値が完全に求まる位置を示しており、ｖ₁…ｖ_m、ｕ₁…ｕ_nは変倍画像の画素値ベクトルｇ_i（ｉ＝１…ｎ）の要素の加減算で作られる値で、とくに前者はｆ_p1…ｆ_pmの値となる。ｆ_q1…ｆ_qnは、直接には求まらない共通サンプリング値で、Ｈs を通じてｕと関係づけられる。その後、この関係式に対し、適当な逆推定手法を用いればよい。例えば第４の概略で説明した手法をこの後適用するとすると、ｆ_p1…ｆ_pmが既知の時、（５）式の制約条件は
【数９】

【００６１】
と書けるので、このＱs 、Ｒs と（９）式のＨs をそれぞれＱ、Ｒ、Ｈとして（５）式にいれ、残りの未知数ｆ_q1…ｆ_qnを推定することができる。
【００６２】
このことを利用し、画像復元手段は（３）式が与えられると後述する図９に示すようなフローで前述の基本変形を行うか、あるいは事前に計算しておいた変形過程を実行して、誤差なく求められる共通サンプリング値｛ｆ_p1…ｆ_pm｝を先に求めてしまう。その後、未定の値を前記した第４の概略で述べた推定手法等を用いて復元する。
【００６３】
以下に本実施形態の第７の概略を説明する。
【００６４】
第６の概略で述べたサンプリング表現行列の冗長度を除く変形手順は、あらかじめ合成に用いる変倍率の組み合わせが決まっていれば、後述する図９のフローで事前に計算できる。変形結果の各行の１の数は、対応する各サンプリング値が最低他の何個のサンプリング値と対応付けられているかを表している。この数は、局所的な解像力の目安と考えられ、少ないほどよい（１ならば、一意に求まる）。そこで、各共通サンプリング値について、この数の逆数を対応させたものを解像度パターンと呼ぶことにする。
【００６５】
図４の（ｂ）は、それぞれ変倍率｛１、３／４｝、（１、３／５｝での解像力パターンの計算例であり、画素幅の１／３単位の共通サンプリング値に対し、白い部分８０１は１（一意に定まる）、グレーの部分８０２は１／２、黒の部分８０３は１／３（解像度が全く上がらない）を示している。このように、変倍率の組み合わせを変えると、高解像度になる位置の周期や位相が様々に異なる解像度パターンができる。
【００６６】
このことを利用し、ここでは、事前に種々の変倍率の組み合わせに対してどのような解像度パターンが生じるかを計算し、解像度パターン記憶部に保持しておく。そして、画像を撮像する際には、周波数解析手段が標準画像の周波数解析を行って局所的な高周波成分を多く含む画像中の部位を特定し、変倍率決定手段がその解像度パターンになるべく近い解像度パターンをもつ変倍率の組を解像度パターン記憶手段から選び出すようにする。
【００６７】
以下に本実施形態の第８の概略を説明する。
【００６８】
第８の概略では変倍率として無理数を選択する。変倍率として無理数を選んだ場合には、二つのサンプリング間隔はどこまでもずれたままで、有理数の場合のような周期性はみられない。また、ずれの大きさはランダムではなく、わずかずつ異なるパターンの連続となる。
【００６９】
この場合、撮像手段は、（１）結像変倍手段による適当な変倍率とタイミングで撮像を行うか、あるいは（２）画像記憶手段にあらかじめ記憶されている画像と互いに倍率が無理数の関係になるものだけを撮像する。得られた複数の画像は画像記憶手段に記憶される。（２）の場合、画像合成手段は、合成に用いる画像を画像記憶手段から読み出すときに変倍率が無理数の関係にあるものだけに制限することで、複数画像間のサンプリングのずれの周期性をなくし、サンプリング間隔の重なり合いを極力減らした上で、サンプリング挿入法などの公知の高解像度法を用いて高解像度の画像を得る。
【００７０】
以下に本実施形態の第９の概略を説明する。第９の概略では画像合成手段が複数の変倍画像間の位置ずれ量（変倍画像間の光軸に対応する中心位置）を検出する検出手段を有し、画像合成手段は標準画像の中心位置を基準にして、各変倍画像の位置ずれによるサンプリング間隔のシフト量を考慮して画像の復元を行なう。
【００７１】
以下に本発明の第１実施形態について説明する。第１実施形態は本発明を顕微鏡に適用したものであり、既存の顕微鏡に高解像度機能を付加した形になっている。図５は第１実施形態の構成図であり、図６は第１実施形態の構成において、特に画像合成部の構成図である。
【００７２】
図５において、撮像装置は顕微鏡部３１４と本体３１５とから構成され、顕微鏡部３１４には対物レンズ群３０１とそれを保持するレボルバー３０２、接眼レンズ３０３に加え、レボルバー３０２の回転とピントを制御するレボルバー・ピント駆動部３０４及び接眼レンズ３０３の焦点位置にカラーモザイクフィルタとしてのＲＧＢベイヤー配列のＣＣＤ３０５を保持するカメラボックスが設置されている。ＲＧＢベイヤー配列のＣＣＤ３０５からの信号線は本体３１５の色分離サンプルホールド回路３０７、Ａ／Ｄ変換部３０８を経てシステムバス３０９に接続されている。
【００７３】
逆にＲＧＢベイヤー配列のＣＣＤ３０５への制御信号はシステムバス３０９からＣＣＤドライバ３０６経由でＲＧＢベイヤー配列ＣＣＤ３０５に入力される。システムバス３０９には、この他、装置全体の動作を制御する制御部３１０、カラー画像記憶用の画像保持ＲＡＭ３１１、画像合成部３１２、及び外部端子３１３が接続されている。
【００７４】
図６は図５に示す画像合成部３１２の詳細な構成図である。画像合成部３１２は画像切り出し部４０１、共通サンプリング表現構成部４０２、画像復元部４０３及び画像合成用バッファ（ＲＡＭ）４０４を有する。共通サンプリング表現構成部４０２は画像ブロック分解部４０２ａと変倍パターンテーブル（ＲＯＭ）４０２ｂからなり、画像復元部４０３は部分復元演算部４０３ａと画像ブロック合成部４０３ｂとからなる。図６において実線が画像データの流れを、点線がその他の情報の流れを表している。
【００７５】
以下に上記した構成の作用を説明する。
【００７６】
まず、撮像者により標本がセットされ、さらに最終的に得たい高解像度画像の画角の設定が、レボルバー３０２を適当に回して対物レンズ３０１を選択することにより行われる。
【００７７】
標本のセット及び画角の設定の完了後、制御部３１０は始めに選択された倍率を標準倍率として記憶しレボルバー３０２に接続されている他の対物レンズを用いた場合の変倍率（対物レンズ倍率の標準倍率に対する比率）を計算し、変倍率が整数分の１になる場合にのみ対物レンズ倍率を記憶する。この実施形態ではｎ個の対物レンズ倍率が記憶されたと仮定する。画像合成部３１２の変倍パターンテーブル４０２ｂは、変倍率の各組み合わせに対して画像ブロック分解部４０２ａで用いるべきブロックサイズおよび部分復元計算部４０３ａで用いるべき復元行列を記憶している。
【００７８】
制御部３１０は記憶された対物レンズ倍率の組から変倍率の組を計算し、これを索引としてシステムバス３０９を通じて画像合成部３１２の変倍パターンテーブル４０２ｂにアクセスし、対応するブロックサイズを画像ブロック分解部４０２ａの内部バッファに、復元行列を部分復元演算部４０３ａの内部バッファにロードする。
【００７９】
その後、制御部３１０はレボルバー・ピント駆動部３０４を制御して記憶している対物レンズ倍率を持つ対物レンズ３０１だけをひとつひとつ選択し、その都度、ＲＧＢベイヤー配列のＣＣＤ３０５の撮像面にピントが合うように調整するとともに、ＲＧＢベイヤー配列のＣＣＤ３０５を駆動して変倍された被写体を撮像する。ＲＧＢベイヤー配列のＣＣＤ３０５により得られた電気信号は、色分離サンプルホールド３０７、Ａ／Ｄ変換部３０８を経て、３枚のＲＧＢ原色画像に分解されて画像保持ＲＡＭ３１１に記憶される。
【００８０】
対物レンズ３０１の選択が終了し、所定の変倍率の変倍画像がすべて画像保持ＲＡＭ３１１に蓄えられると、画像切り出し部４０１は標準画角に対応する各変倍率画像内の領域位置を計算し、その部分を画像合成用バッファ４０４に読み出す。読み出し位置の計算は、画像保持ＲＡＭ３１１中の画像がすべて中心を共通として変倍関係にあることから求める。
【００８１】
ここで次の処理に移る前に、ブロックサイズと復元行列の計算法について述べる。ブロックサイズと復元行列は事前に計算され変倍パターンテーブル４０２ｂに記憶される。図３は、ベイヤー配列のＣＣＤにおいて、切り出された標準画像と０．５倍ズームアウト画像間のサンプリング関係を例示したものである。共通サンプリング間隔は、変倍比を整数に選んでいるため標準画像の画素間隔と一致する。ベイヤー配列は図３のように２×２のパターンの繰り返しなので、変倍率の組み合わせ｛Ｓ１，Ｓ２，…Ｓｎ｝に対し、Ｒ，Ｇ，Ｂのどの成分についても、共通サンプリング間隔の単位で（｛１／Ｓi ｝（ｉ＝１…ｎ）の最小公倍数）×２画素の正方形のブロック内でのサンプリング関係が全画像にわたって繰り返される。この正方形の辺の長さがブロックサイズであり、各変倍画像では大きさがＳi 倍となる。
【００８２】
図３の例では、｛１、２｝の最小公倍数＝２、２×２＝４となり、共通サンプリング間隔の単位でブロックサイズ４、各変倍画像では、共通サンプリング間隔が標準画像の画素幅と同じになるのでそれぞれ｛４、２｝の大きさとなる。また、この実施形態の説明では、カラー画像であり、しかも二次元なので、共通サンプリング表現と復元行列に関して新たな説明が必要である。
【００８３】
二次元のサンプリングに対しては、図３に示す添字に見られるように、各ブロックの行方向のならびを縦ベクトルにし、さらに列方向に各行からの縦ベクトルを上から順につないで二次元の画素値を一次元化することにより、前記した第６の概略での説明と同じ議論ができる。図３に示した変倍率｛１、１／２｝の組み合わせでは、共通サンプリング行列は例えばＲとＧ成分について以下のようになる。
【００８４】
【数１０】

【００８５】
ここでｆＲ１…ｆＲ１６等は、各原色成分の復元値である。この実施形態では、制約付き最小２乗法に基づく処理を行うが、カラー画像を考慮しているために制約条件が少し複雑になっている。ここでは、一般の自然画像の色差成分（Ｒ−Ｙ、Ｂ−Ｙ）などは高空間周波成分を持たないことを制約として利用している。具体的には、原色値（Ｒ，Ｇ，Ｂ）から輝度・色差値（Ｙ，Ｒ−Ｙ，Ｂ−Ｙ）に
【数１１】

【００８６】
を用いて変換し、制約条件として、各成分の滑らかさをまとめて表現した
【数１２】

【００８７】
を離散化して用いる。ｘ，ｙは空間座標、ｗＹ，ｗＲＹ，ｗＢＹは制約の重みであり、ｗＹ＜＜ｗＲＹ，ｗＢＹである。この型の制約は原色成分画像各々に単独に適用されるものではないので、離散化する場合には復元すべき原色成分画像を１つのベクトルで表す必要がある。その場合、サンプリング関係式は、
【数１３】

【００８８】
の形となり、（１４）式の積分内を離散化したものは、
【数１４】

【００８９】
と書ける。そこで、（１５）、（１６）式の行列Ｈ，Ｑ，Ｒを（３）式に代入して（４）式の復元行列を事前に求めておくことができる。
【００９０】
このように事前に求められたブロックサイズと復元行列が、変倍画像の撮像前に制御部３１０により画像ブロック分解部４０２ａ、及び部分復元演算部４０３ａに蓄えられている。すべての変倍画像の切り出しが終わった後、ブロック単位で復元処理が行われる。画像ブロック分解部４０２ａは、各変倍原色成分の部分画像から、対応する変倍率で決まるブロックサイズ（標準画像のブロックサイズ×変倍率）のブロックを画像合成用バッファ４０４から読み出し、（１１）、（１２）、（１５）式に示されるような一列のベクトルとして部分復元演算部４０３ａの内部バッファに転送する。部分復元演算部４０３ａは復元行列を転送されたベクトルに乗算し、ＲＧＢの原色復元画像を一度に求める。
【００９１】
得られたベクトルのままの復元画像は３原色別に画像ブロック合成部４０３ｂに転送され、ここで、画像合成バッファ４０４の各原色成分合成画像の、処理しているブロックに対応する位置に二次元ブロックとして書き込まれる。すべてのブロックにつきこの処理が終了すると、画像合成バッファ４０４には標準画像と同じ画角の３原色復元画像が得られる。この画像はシステムバス３０９を通じて画像保持ＲＡＭ３１１か外部端子３１３に出力される。
【００９２】
以下に本発明の第２実施形態を説明する。第２実施形態は本発明をスキャナに適用したものであり、画像合成処理はホストコンピュータ６１３で行なう。図７は第２実施形態の構成図であり、図８は特に図７に示す画像合成部の構成図である。
【００９３】
図７において、スキャナー本体６１２には、シリンドリカルレンズ６０１、ズーム機構６０２、ズームドライバ６０３、ＣＣＤラインセンサ６０４、ラインセンサ移動機構６０６、ＣＣＤ・移動機構ドライバ６０５が備えられ、それらはシステムバス６０８を介して制御部６０９に接続されている。ＣＣＤラインセンサ６０４の出力はＡ／Ｄ変換部６０７を経てシステムバス６０８に接続されている。システムバス６０８にはホストコンピュータ６１３が接続され、この内部には画像保持ＲＡＭ６１０と画像合成部６１１とが設けられている。
【００９４】
画像合成部６１１は図８に示すように複数のブロックからなっている。大きく分けると画像切り出し部７０１、共通サンプリング表現構成部７０４、画像復元部７０５、ウェーブレット分解部７０２、変倍率決定部７０３、画像合成用バッファ（ＲＡＭ）７０６からなる。共通サンプリング表現構成部７０４は画像ブロック分解部７０４ａと変倍パターンテーブル７０４ｂとを有し、画像復元部７０５は部分復元演算部７０５ａと画像ブロック合成部７０５ｂとを有する。
【００９５】
この実施形態では、変倍率の組み合わせが決まれば図９のフローに従って共通サンプリング値の位置、及び計算手順が正確に計算できることを利用し、部分復元演算部７０５ａでは誤差なく直接計算できる共通サンプリング値を先に計算した後で残りの未知のサンプリング値を推定するという方法を採る。そのため、変倍パターンテーブル７０４ｂは変倍率の組み合わせを索引にして、（９）式中に示される、推定の必要なく直接求まる共通サンプリング値の位置｛ｐ１，ｐ２，…ｐｍ｝及び対応する変数ｖ1 …ｖm の計算法と、Ｈs ，Ｑs を（５）式のＨ，Ｑとした復元行列をあらかじめ記憶している。変倍パターンテーブル７０４ｂにはさらに、図１０のフローを用いて計算した前記第７の概略で定義された解像度パターンも蓄えられている。
【００９６】
以下に上記した構成の作用を説明する。図８においては、実線が画像データの流れを点線がその他の情報の流れを表している。この実施形態では、まずユーザとのインターフェースであるホストコンピュータ６１３から撮像対象の撮像範囲の指定がスキャナー本体６１２の制御部６０９に送られる。制御部６０９は、まず撮像範囲をカバーするズーム倍率にズーム機構６０２を設定し、このズーム倍率を標準倍率として記憶する。そして、ＣＣＤラインセンサ６０４を駆動して希望の画角を持った標準画像を１ラインずつ撮像する。Ａ／Ｄ変換部６０７で得られた信号は一度画像合成バッファ７０６に読み込まれた後、ウェーブレット分解部７０２に転送される。
【００９７】
ウェーブレット分解は、ウェーブレットと呼ばれる狭い広がりを持つ波形をシフト及びスケール倍したものの線形和で信号を近似するもので、スケールの程度が大きい波形に対する重みが局所的な低周波成分の大きさを表し、スケールの程度が小さいものに対する重みが局所的な高周波成分の大きさを表しているとみなせる。ウェーブレットには、Ｈａａｒ関数やスプライン関数などが用いられる。ウェーブレット分解部７０２は、１ラインごとの信号（水平方向の画像）をスプラインウェーブレットなどによりウェーブレット分解した結果、平均値がある閾値以上の値を持つ最も高周波のレベルの結果を量子化して局所的な高域成分とし、変倍率決定部７０３の内部バッファに転送する。
【００９８】
共通サンプリング表現構成部７０４の変倍パターンテーブル７０４ｂには、合成に用いる変倍率の組み合わせによって前記した第７の概略で定義した解像度パターンが事前に図１０のフローによって計算されて記憶されている。変倍率決定部７０３は変倍パターンテーブル７０４ｂにアクセスし、転送されてきた高域成分の存在位置のパターンと変倍パターンテーブル７０４に記憶されている解像度パターンの内積をとる。そして、最も大きい内積値を与える解像度パターンに対応する変倍率の組み合わせを選んで、各ラインでの最適な変倍率の組み合わせを自身の内部バッファに記憶する。
【００９９】
各ラインごとに必要な変倍率の組み合わせは異なるが、各ラインの読み取りごとに変倍率を変えるという形でスキャンをおこなうと読み取りが非常に遅くなってしまう。そこで、この実施形態では、撮像範囲中の全ラインに関して、各ラインが必要とする変倍率の組み合わせの和集合をとり、和集合の要素となった各々の変倍率で撮像領域全体をスキャンする。そのため、標準画像の全ラインのスキャンの終了後、変倍率決定部７０３は、自身の内部バッファに蓄えた変倍率の組み合わせ情報から、倍率を変えてスキャンする回数と、各変倍率を必要とするラインは何ライン目かを計算する。
【０１００】
その後、制御部６０９はズームドライバ６０３を介して変倍率決定部７０３に指定された倍率でズーム機構６０２を駆動する。ズーム機構６０２はＣＣＤラインセンサ６０４に焦点面を合わせつつ、ＣＣＤラインセンサ６０４のセンサの並びの方向のみに、指定の倍率で対象像の変倍を行う。変倍された対象像はＣＣＤラインセンサ６０４、Ａ／Ｄ変換部６０７を通して一次元画像信号となり、制御部６０９がＣＣＤ・移動機構ドライバ６０５を介してラインセンサ移動機構６０６を制御して指定領域のスキャンを行うことで、画像保持ＲＡＭ６１０に所定領域の変倍二次元画像が得られる。
【０１０１】
必要なすべての変倍率でスキャンを行った後、画像切り出し部７０１は標準倍率をもつ画像の画角に対応する他の倍率の画像の領域を計算し、その部分を画像合成用バッファ７０６に読み出す。読み出し位置の計算は、各ラインについて画像保持ＲＡＭ６１０中の画像がすべてラインの中点を共通として変倍関係にあることから求める。変倍率決定部７０３の内部バッファには、得られた変倍部分画像の各ラインごとの変倍率の組み合わせがすでに保持されている。変倍率決定部７０３は変倍パターンテーブル７０４ｂを引いて各ラインごとのブロックサイズと上記の復元行列、および誤差なく直接求まる画素位置と計算手順を求め、ブロックサイズを画像ブロック分解部７０４ａに、復元行列、直接求まる画素位置、および計算手順を部分復元演算部７０５ａに転送する。
【０１０２】
画像ブロック分解部７０４ａは、ブロックサイズを指定されると各々の変倍画像につき指定ブロックサイズ×変倍率の大きさのブロックで１ラインを複数ブロックに分割し、部分復元演算部７０５ａの内部バッファに送る。部分復元演算部７０５ａでは、変倍率決定部から転送された、直接求まる画素位置の画素値の計算手順を実行し、直接求まる共通サンプリング値を先に求め、残りの値を復元行列を使って推定する。算出された部分画像は、画像ブロック合成部７０５ｂで合成画像の対応するブロック領域に書き込まれる。すべてのブロックにつきこの処理が終了すると、画像合成バッファ７０６には標準画像と同じ画角の高解像度画像が得られる。この画像はシステムバス６０８を通じて画像保持ＲＡＭ６１０に書き出される。
【０１０３】
図９は、共通サンプリング行列の冗長性を除去する工程をフローで示したものである。アルゴリズムは、ある行ベクトルから他の行ベクトルを引いて行ベクトル中の１の数を減少させる基本変形を、それ以上変形ができなくなるまで続けるものである。変形手順は、ｉ番目の行ベクトルからｊ番目の行ベクトルを引くという操作を（ｉ、ｊ）の組で計算スタックに順に保存していくことで記憶される。
【０１０４】
ステップｓ０：共通サンプリング行列が配列Ｈに代入される。計算スタックは最初空にされる。Ｈのすべての行番号のペア（ｉ、ｊ）を組スタックに積む。
【０１０５】
ステップｓ１：組スタックＨのすべての行ベクトル番号の組（ｉ、ｊ）について、Ｈの対応する行ベクトルＬｉ、Ｌｊの内積をとった結果が０になるものを組スタックから取り除く。
【０１０６】
ステップｓ２：基本変形を行った回数を保持するカウンタを０にする。
【０１０７】
ステップｓ３：組スタックが空かどうか調べる。
【０１０８】
ステップｓ４：組スタックからペアをひとつ取り出す。
【０１０９】
ステップｓ５：取り出したペア（ｉ、ｊ）に対応するＨの行ベクトルＬｉ、Ｌｊについて、差ベクトルｄ＝Ｌｉ−Ｌｊをつくる。
【０１１０】
ステップｓ６：差ベクトルｄの要素の最小値が負かどうかを調べ、負でなければステップｓ７に分岐、負ならステップｓ８に進む。
【０１１１】
ステップｓ７：Ｈのｉ番目の行ベクトルを差ベクトルｄで置き換える。行番号の組（ｉ、ｊ）を計算スタックに積み、カウンタを１増やす。
【０１１２】
ステップｓ８：差ベクトルｄの符号を反転させる（ｄを−ｄに置き換える）。
【０１１３】
ステップｓ９：差ベクトルｄの最小値が負かどうかを調べ、負でなければステップｓ１０に分岐、負ならステップｓ３に進む。
【０１１４】
ステップｓ１０：Ｈのｊ番目の行ベクトルを差ベクトルｄで置き換える。行番号の組（ｉ、ｊ）を計算スタックに積み、カウンタを１増やす。
【０１１５】
ステップｓ１１：カウンタが正かどうかを調べ、正ならステップｓ１に、正でないならステップｓ１２に分岐する。
【０１１６】
ステップｓ１２：Ｈの各行を調べて１の数がひとつだけの行をすべて見つけ、行番号をｒ１〜ｒｍに記憶する。ｒ１〜ｒｍについて、対応する行ベクトルの１のある列番号Ｐi （ｉ＝１…ｍ）を求め、行番号とペアにして組スタックに積み、Ｈから対応する行を取り除く。計算スタックを逆転する。
【０１１７】
この過程により、共通サンプリング行列の冗長性が除去され、直接には求まらない共通サンプリング値についてのみの関係を表す行列Ｈs と、組スタックのペアの二つ目の要素に、直接求まる共通サンプリング値の位置が得られる。実際に変倍画像の画素値が列ベクトルとして与えられた場合には、計算スタックに得られた行の引き算の過程を上から順に実行し、得られたベクトルの、組スタックのペアの最初の要素で指定される位置の値をとれば、それが組スタックのペアの二つ目の要素で指定された位置の共通サンプリング値である。得られたベクトルの残りの値からなるベクトルに、Ｈs から計算された復元行列を乗算すれば残りの共通サンプリング値が推定される。
【０１１８】
図１０は、簡単化された共通サンプリング行列から解像度パターンを求めるフローである。
【０１１９】
ステップＳ１３：Ｈｓと値が直接求まる共通サンプリング位置｛ｐ1 …ｐm｝が与えられる。
【０１２０】
ステップＳ１４：第ｉ行第ｐｉ列のみ１で他は０のｍ次正方行列Ｃを作る。
【０１２１】
ステップＳ１５：Ｈs とＣを行方向に積んでできる行列について、各行の和を１に正規化してＨ′に記憶する。
【０１２２】
ステップＳ１６：Ｈ′の列ごとの和をとる。
【０１２３】
これにより、値が直接求まる共通サンプリング位置では１、その他の位置では簡単化しても独立にならず関係づけられてしまう共通サンプリング値の数に反比例した値をもったパターンが計算される。
【０１２４】
以下に本発明の第３の実施形態を説明する。第３実施形態は、通常の電子カメラにズームによる高解像化機能を搭載した例である。図１１は第３の実施形態の構成図であり、図１２は図１１に示す特に画像合成部の構成図である。
【０１２５】
図１１において、撮像装置は単体構成で、ズームレンズ１００１をもち、ズームレンズ駆動・制御部１００２、Ａ／Ｄ変換部１００５を経て単板ＣＣＤエリアセンサ１００３、ＣＣＤドライバ１００４、画像保持ＲＡＭ１００９がシステムバス１００６に接続されている。システムバス１００６には、位置ずれ検出機構１０１０、及び画像合成部１００８も接続されている。
【０１２６】
画像合成部１００８は、図１２に示すようなブロック構成になっており、画像切り出し部１１０１、共通サンプリング表現構成部１１０３、画像復元部１１０４、変倍率決定部１１０２、ランダムサンプリング合成部１１０５、及び画像合成用バッファ１１０６からなる。共通サンプリング表現構成部１１０３はブロックサイズ計算部１１０３ａ、サンプリング計算部１１０３ｂ、画像ブロック分解部１１０３ｃから構成され、画像復元部１１０４は復元パラメータ設定部１１０４ｂ、部分復元演残部１１０４ａ、画像ブロック合成部１１０４ｃとからなる。さらに、図１２においては実線が画像データの流れを、点線がその他の情報の流れを表している。
【０１２７】
以下に上記した構成の作用を説明する。本実施形態では撮像装置は本来完全に固定されていることが望ましいが、この実施形態は、装置が十分安全に固定されていない場合に対応させたものである。この場合は、変倍に時間がかかるので、変倍画像間にずれが生じる。そのため、各変倍画像につき位置ずれ量を計算し、対応するサンプリング間隔の平行移動を加味した共通サンプリング行列を作る。ただし、ずれ量によってはサンプリング行列がうまく構成できないこともある。例えば、開口率１の撮像素子で得られた変倍率｛１、ｎ／ｍ（ｎ、ｍは整数でｎ＜ｍ）｝の変倍画像の組について、後者が前者に対しｐ／ｑ（ｐ，ｑは整数）画素だけ平行移動していたとすると、平行移動の影響を扱えるかどうかは、両サンプリングの開口の端が一致する条件
ｉ＝ｍｊ／ｎ＋ｍｐ／ｎｑ（ｉ、ｊは整数）（１７）
を満たす解があるかどうかに依存している。ここで、ｉ、ｊは開口が一致する位置まで各サンプリングの何画素分あるかを示している。
【０１２８】
図１３に示すように、変倍率｛１、３／４｝の組み合わせで撮像したとすると、後者の中心位置が前者（標準画像）の中心位置に対して１／４画素だけずれている場合には、上式は
ｉ＝（４／３）ｊ＋（１／３）となり、整数解（ｉ、ｊ）＝｛（−１、−１）、（３、２）｝を得る。
【０１２９】
これは、図１３に示すように、標準画像の画素単位で（−１、３）の範囲以外では、シフトがない場合の通常のサンプリング関係が成り立つことを示している。一方、この範囲内ではずれの位置関係は特殊なものになる。以下、説明では前者を特殊なブロック１２０１、後者を通常のブロックサイズで分割したものを通常のブロック１２０２と呼ぶ。このような整数解は、ｍｐ／ｑが共通サンプリング間隔の倍数であれば常に可能である。
【０１３０】
一方、図１４に示すように、シフトが２／３画素だった場合は、（１７）式はｉ＝（４／３）ｊ＋（８／９）となり、整数解は存在しないため、上記のようなブロック分けはできない。この場合は前記した第２の概略で述べたような規則性をうまく利用した処理はできなくなる。
【０１３１】
そこで、この実施形態では、合成に用いる変倍率の各々につき、位置ずれによるサンプリングの平行移動量が、サンプリングの位置ずれがないとした場合の共通サンプリング間隔の倍数に十分近似できる場合にだけ撮像する。この場合はサンプリングのずれに周期性を必ず作ることができ、前記した第２の概略で述べたようにブロック処理が可能になる。そのかわり、各変倍率の画像の撮像時間がかかるので、前記した第５の概略で述べた方法を使って、合成に用いる変倍率の値はあらかじめ決めた少数のものにし、ずれに対する制限を必要としないチェック用の変倍画像を多く撮像し、これらを用いて復元パラメーターを調整して復元精度を上げる。
【０１３２】
合成に用いた変倍率の画像で条件を満たすものがうまく得られなかった場合は、合成手法をズーム専用の高解像度化手法から、一般的に用いられているサンプリング合成手法に切り替える。その場合は、変倍率を無理数に選んでサンプリングのずれの周期性をなくし公知の復元手法で高解像度化を図る。
【０１３３】
撮像装置の動作は、以下のようになる。まず、被写体と画角が選択されると、制御部１００７は選択された倍率で単板ＣＣＤエリアセンサ１００３を制御して標準画像を一枚撮像し、画像保持ＲＡＭ１００９に記録する。次に、変倍率決定部１１０２があらかじめいくつか決められた合成用変倍率の組み合わせのうちひとつを選んでその共通サンプリング間隔とともに制御部１００７に伝える。
【０１３４】
制御部１００７は選択した変倍率になるようズーム駆動・制御部１００２を通じてズームレンズ１００１を制御し、同時に位置ずれ検出機構１０１０により撮像装置の変位を検出する。位置ずれ検出機構１０１０は例えばジャイロを用いて実現する。制御部１００７は、検出された位置ずれが、指定された共通サンプリング間隔の倍数に十分近いかどうかを計算し、近い場合はＣＣＤドライバ１００４を通じて単板ＣＣＤエリアセンサ１００３を駆動して撮像し、Ａ／Ｄ変換部１００５を通じて画像信号として画像保持ＲＡＭ１００９に蓄える。位置ずれ量は共通サンプリング間隔を単位に変倍率決定部１１０２の内部バッファに転送される。
【０１３５】
変倍率決定部１１０２は、一定時間以内に適切な位置ずれが起こらず撮像がなされない場合には別の変倍率の組み合わせを制御部１００７に伝えるか、合成方法を切り替えて無理数の変倍率を選ぶかを決定する。一定時間内に撮像が行われた場合は、変倍率決定部１１０２は選択した変倍率の組み合わせに対して定められたチェック用の変倍率をいくつか制御部１００７に伝える。位置ずれ量は位置ずれ検出機構１０１０で検出、計算され、変倍率決定部１１０２に伝えられるが、制御部１００７ではその情報に関係なく撮像を行い、任意な位置ずれの、チェック用変倍率を持った画像が画像保持ＲＡＭ１００９に記憶される。指定したすべてのチェック用変倍率について撮像が終了すると画像切り出し部１１０１は画像保持ＲＡＭ１００９から各変倍画像を読み出し、標準画像に対応する部分画像を取り出して画像合成バッファ１１０６に蓄える。ここから、サンプリングのずれかたの周期に対応する大きさのブロックでブロック単位で処理することになるが、画像の中心部に、図１３に示したような特殊なブロック１２０１ができ、周囲には通常のブロック１２０２ができる。
【０１３６】
ブロックサイズ計算部１１０３ａは、変倍率決定部１１０２から伝えられた、画像バッファ１１０６中の合成用画像の変倍率と位置ずれに基づいて（１７）式を解き、適切なブロック分割の仕方を計算する。この分割に基づいて、サンプリング計算部１１０３ｂは、共通サンプリング行列を計算する。ここまでの計算が終了すると、画像ブロック分解部１１０３ｃは計算されたブロック分割に従って画像合成バッファ１１０６中の各変倍画像から画像をブロックごとに読み出して（５）式にあるような一次元ベクトルｇを形成し、部分復元演算部１１０４ａに転送する。サンプリング計算部１１０３ｂからは、対応するブロックのサンプリング行列Ｈが転送される。
【０１３７】
この段階が終了すると、画像切り出し部１１０１はチェック用変倍画像の標準画像に対応するチェック用変倍部分画像を画像合成バッファ１１０６に読み出しておく。
【０１３８】
この時点で必要なデータがそろうので復元演算が行われる。まず復元パラメータ決定部１１０４ｂが、（５）式で用いるパラメータγとして、あらかじめ記憶していた初期値｛γ1 、γ2 、…γn ｝を部分復元演算部１１０４ａに伝える。部分復元演算部１１０４ａは、与えられた各γｉ、Ｈ及びｇから（５）式に従い共通サンプリング値ｆi （ｉ＝１…ｎ）を計算する。ここで（５）式中Ｑは、滑らかさの条件
【数１５】

【０１３９】
を離散化したものを用いる。Ｙは復元画像の画素値を表す。得られた結果ｆは、復元パラメータ設定部１１０４ｂに送られる。
【０１４０】
復元パラメータ決定部１１０４ｂは、読み込まれた各チェック用変倍部分画像に対し、対応する倍率と位置ずれを持つサンプリングの画像を各ｆi から作成しチェック用変倍部分画像との誤差を比較する。計算された誤差量はすべてのチェック用倍率の画像について重み付きで足し合わされ、選択されたパラメータγi による復元の誤差評価値ｅi として用いられる。復元パラメータ決定部１１０４ｂは、得られたｅi のなかで最も小さい値を与えるパラメータ値γi を選び、ｅi からパラメータの振り幅ｗを計算する。そしてγi を中心に±ｗの範囲内でランダムに値を選んで、パラメータ｛γ１…、γｎ｝を新たに作り出す。
【０１４１】
このパラメータを再び復元演算部１１０４ａに伝え、上に述べた過程が繰り返される。誤差値が小さくなるにつれてあらかじめ設定された振り幅ｗは小さくなる。ｅi がある閾値を下回ると繰り返しが終了し、復元された共通サンプリング値は画像ブロック合成部１１０４ｃによって画像合成バッファ１１０６中の合成画像の対応する位置に書き込まれる。すべてのブロックにつきこの処理が終了すると、画像合成バッファ１１０６には標準画像と同じ画角の高解像度の像が得られる。この画像はシステムバス１００６を通じて画像保持ＲＡＭ１００９に書き出される。
【０１４２】
一方、変倍率決定部１１０２によって合成手法の切り替えが決定されるとブロック単位での処理は行われない。この場合、変倍率決定部１１０２はランダムに無理数の変倍率を選んで制御部１００７に伝え、変倍画像が位置ずれ検出機構１０１０による位置ずれ情報とともに画像保持ＲＡＭ１００９に記憶される。画像切り出し部１１０１は標準画像に対応する領域を各変倍画像から読み出し、画像合成バッファ１１０６に蓄える。ランダムサンプリング合成手段１１０５が変倍率と位置ずれ量をもとに公知のサンプリング再構成手法により、規則的な標準画像より細かいサンプリング間隔で得た画像を再構成し、画像保持ＲＡＭ１００９に書き込む。
【０１４３】
なお、上記した具体的実施形態には以下の構成を有する発明が含まれており、各構成の「対応する発明の実施の形態」及び「効果」は次の通りである。
【０１４４】
（構成１）
同一被写体を複数の異なる変倍率で結像する結像変倍手段と、
この結像変倍手段によって変倍して得られた同一被写体についての複数の変倍画像を各々電気信号に変換する撮像手段と、
この撮像手段によって各々電気信号に変換された前記複数の変倍画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された前記複数の変倍画像を合成して、前記複数の異なる変倍率のうち最も高い倍率で得られた変倍画像よりも高解像度の画像を生成する画像合成手段と、
を具備することを特徴とする静止画像撮像装置。
【０１４５】
（対応する発明の実施の形態）
この発明に関する実施の形態としては、上記した第１、第２、第３の実施形態が対応する。構成中の結像変倍手段には、図５の光路挿入型の対物レンズ３０１、図７のシリンドリカルレンズ６０１、図１１のズームレンズ１００１が対応する。構成中の撮像手段には図５のＲＧＢベイヤー配列のＣＣＤ３０５、図７のＣＣＤラインセンサ６０４、図１１の単板ＣＣＤエリアセンサ１００３が対応するが、他の補色系フィルタ配列や３板式撮像系を用いることも可能である。構成中の画像記憶手段には、図５の画像保持ＲＡＭ３１１、図７の画像保持ＲＡＭ６１０、図１１の画像保持ＲＡＭ１００９を用いることが望ましいが、ハードディスクやメモリカード撮像装置とは独立な記憶デバイスを用いることも可能である。構成中の画像合成手段には、図６の画像合成部３１２、図８の画像合成部６１１、図１２の画像合成部１００８が対応する。画像合成手段は撮像装置本体に内蔵してもよいが、装置とは独立なホストコンピューターを用いてもよい。
【０１４６】
（効果）
複数の異なる変倍率のうち最も高い倍率で得られた変倍画像よりも高解像度の画像、すなわち、得られたどの変倍画像より密なサンプリング間隔で得られる画像を計算することで、撮像素子を越えた解像度の画像を得ることができ、これによって解像度を向上させることができる。また、複雑な構成を新たに必要とせず必要な機構は変倍機構だけであるために安価に本装置を構成することができる。
（構成２）
前記画像合成手段は、
前記複数の変倍画像のうち最も高い倍率で得られた変倍画像と、
他の変倍画像との間の相対倍率が、これら両変倍画像のサンプリング点が完全には一致しないような所定の有理数になるように、前記結像変倍手段を制御する変倍率制御手段と、
この変倍率制御手段の制御の基に得られた複数の変倍画像の画素値と、前記最も高い倍率で得られた変倍画像よりも高解像度の画像の画素値とを対応付ける対応付け手段と、
この対応付け手段による対応付けに基づいて、前記最も高い倍率で得られた変倍画像よりも高解像度の画像を復元する画像復元手段と、
をさらに具備することを特徴とする構成（１）に記載の静止画像撮像装置。
【０１４７】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第１、第２、第３の実施形態が対応する。構成中の画像合成手段には、図６の画像合成部３１２、図８の画像合成部６１１、図１２の画像合成部１００８が対応し、変倍率制御手段は図５の制御部３１０、図６の変倍パターンテーブル４０２ｂ、図８の変倍率決定部７０３、図１２の変倍率決定部１１０２が対応する。対応付け手段には、図６の共通サンプリング表現構成部４０２、図８の共通サンプリング表現構成部７０４、図１２の共通サンプリング表現構成部１１０３が対応するが、実施の形態では別に記載されている画像切り出し部（４０１，７０１，１１０１）を含んでもよい。画像復元手段は、図６の画像復元部４０３、図８の画像復元部７０５、図１２の画像復元部１１０４が対応する。これらの実施の形態では、いずれも画像をブロック単位で処理するが、ブロック歪が気になる場合は必ずしも画像をブロックに区切って処理する必要はない。また、開口の影響はすべて画像復元部（４０３，７０５，１１０４）でまとめて扱っているが、画像切り出し部（４０１，７０１，１１０１）で事前に開口補正を行ってもよい。
【０１４８】
（効果）
変倍率を有理数とすることで、得られた画像のサンプリングのいずれよりも小さな共通サンプリング間隔での画素値を、ブロック単位で効率的に精度よく得ることができる。その結果、簡単な合成処理で撮像素子の解像度を越える高品質の静止画像が得られる。
【０１４９】
（構成３）
前記撮像手段はカラーモザイクフィルタを有し、前記所定の有理数は整数分の１であることを特徴とする構成（２）に記載の静止画像撮像装置
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第１の実施形態が対応する。構成中のカラーモザイクフィルタは、図３に示すＲＧＢベイヤー配列のＣＣＤ３０５に付加されたＲＧＢベイヤー配列が対応するが、種々の配列の原色及び補色方式のモザイクフィルタでもよく、第２の実施形態で示したＣＣＤラインセンサ６０４にストライプフィルタを付加したものに適用してもよい。
【０１５０】
（効果）
モザイクフィルターにより画素単位では情報がとれない場合には、他の場合なら利用価値の乏しい整数分の１の変倍率を用いても欠落色成分を復元できるため簡単な変倍操作で色再現性を向上させることができる。
【０１５１】
（構成４）
前記画像復元手段は、前記最も高い倍率で得られた変倍画像よりも高解像度の画像の画素値を、被写体の持つ性質を反映した制約条件の下で最小２乗法に基づき推定することを特徴とする構成（２）または（３）に記載の静止画像撮像装置。
【０１５２】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第１、第２、第３の実施形態が対応する。構成中の画像復元手段は、図６の画像復元部４０３中の部分復元演算部４０３ａ、図８の画像復元部７０５中の部分復元演算部７０５ａ、図１２の画像復元部１１０４中の部分復元演算部１１０４ａが対応する。「被写体のもつ性質」とは「被写体のもつ統計的な性質」を含み、「統計的な性質を反映した制約条件」としては、輝度の変動は空間的にある程度滑らかであるとする（１８）式や、色差成分の空間的変動は輝度成分のそれよりはるかに滑らかであるとする（１４）式が対応するが、被写体の持つ統計的性質をよく反映するものであれば他のものであってもよい。
【０１５３】
（効果）
（４）式を解くのに制約条件付き最小二乗法を使うことで、推定される共通サンプリング値の持つべき統計的な特性を明示的に指定でき、特に色成分を復元する場合に自然画像中に含まれる拘束を十分に利用できる。また、第５の概略で述べたような適応的処理を施さない場合は、（５）式の計算に必要な行列をあらかじめ計算しておけるので、高速な処理が可能となる。
【０１５４】
（構成５）
前記制約条件を決定するバラメーターは、変倍画像と合成後の高解像度画像によって更新されることを特徴とする構成（４）に記載の静止画像撮像装置。
【０１５５】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第３の実施形態が対応する。構成中の制約条件は、第３の実施形態における（１８）式が対応し、その強さは式中のスカラー値γが対応するが、第１の実施形態に適用し、制約条件（１４）式、強さに式中の重み係数の組（ｗＹ，ｗＲ−Ｙ，ｗＢ−Ｙ）のようなベクトル値を用いることもできる。
【０１５６】
（効果）
一般に、復元に使う変倍画像を増やすと共通サンプリングの関係式を導くために用いる共通サンプリング値は多くなる。つまり復元処理を行うブロックのサイズが大きくなる。逆に、変倍画像を減らすと復元の精度が落ちる。この構成によれば、制約パラメータの強さをデータにうまく合うように選べるので復元処理に少しの変倍画像を使っても復元の正確さを落とさずに済み、ブロックサイズを小さく抑えつつより正確な高解像度化や高色再現化が可能になる。
【０１５７】
（構成６）
前記結像変倍手段は前記撮像手段のセンサ配列と平行な一方向のみに変倍を行い、前記画像復元手段は、前記最も高い倍率で得られた変倍画像よりも高解像度の画像の画素値を部分的に誤差なく復元することを特徴とする構成（２）に記載の静止画像撮像装置。
【０１５８】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第２の実施形態が対応する。構成中の画像復元手段は、図８の画像復元部７０５が対応し、撮像手段には図７のＣＣＤラインセンサ６０４が対応する。
【０１５９】
（効果）
直接的に共通サンプリング値が求まる部分は単純な最小２乗法に比べて正確に求まるので、推定する場合に比べ復元誤差が少なく、より正確な高精度化及び色再現が行える。どの画素値が誤差なく直接に求まるのかはあらかじめ計算しておけるので、復元計算の規模が小さくなり効率も高くなる。
【０１６０】
（構成７）
前記合成手段は、
種々の変倍率の組み合わせについて、対応する変倍画像から前記画像復元手段により誤差なく復元される画素位置のパターンを記憶する解像度パターン記憶手段と、
被写体の周波数特性を解析する周波数解析手段と、
を有し、
前記変倍率制御手段は、解像度パターン記憶手段を参照し、周波数解析部によって得られた被写体像の高周波成分の分布に最も類似したパターンを与える変倍率の組み合わせを選択することを特徴とする構成（６）に記載の静止画像撮像装置。
【０１６１】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第２の実施形態が対応する。構成中の解像度パターン記憶手段には、図８の変倍パターンテーブル７０４ｂが対応する。周波数解析手段には図８のウェーブレット解析部７０２が対応するが、局所的な高周波成分を取り出せるものなら、フーリエ変換やエッジ検出オペレーター、ハイパスフィルター等を用いてもよい。変倍率制御手段には図８の変倍率決定部７０３が対応し、画像復元手段には図８の画像復元部７０５が対応する。
【０１６２】
（効果）
変倍率の組み合わせによっては解像度が全く上がらない部位に対象の高周波部位が来るという現象を回避し、画像間で高解像度化の程度が異なってしまうのを防ぐことができる。
【０１６３】
（構成８）
前記画像合成手段は、前記複数の変倍画像のうち最も高い倍率で得られた変倍画像と、他の変倍画像との間の相対倍率が無理数になるもののみを用いることを特徴とする構成（１）に記載の静止画像撮像装置。
【０１６４】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第３の実施形態が対応する。構成中の画像合成手段には図１２のランダムサンプリング合成部１１０５が対応する。
（効果）
撮像装置の保持の安定が悪く、第２の概略に述べられているような規則性を利用する手法が使えない場合に、サンプリング間隔の重複を防いで最も効率のよい画像の高解像度化を可能にする。
【０１６５】
（構成９）
前記画像合成手段は複数の変倍画像間の位置ずれ量を検出するずれ検出手段を有し、検出された位置ずれを補正して合成を行うことを特徴とする構成（１）〜（８）のいずれかに記載の静止画像撮像装置。
【０１６６】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第３の実施形態が対応する。構成中の画像合成手段には図１２のランダムサンプリング合成部１１０５が対応する。
（効果）
撮像装置の保持の安定が悪く、前記した第２〜７の概略に述べられているような規則性を利用する手法が使えない場合に、サンプリング間隔の重複を防いで最も効率よく高解像度化を達成できる。
【０１６７】
（構成１０）
前記結像変倍手段にズームレンズを用いることを特徴とする構成（１）〜（９）のいずれかに記載の静止画像撮像装置。
【０１６８】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第３の実施形態が対応する。構成中のズームレンズには、図１１のズームレンズ１００１が対応する。
【０１６９】
（効果）
結像変倍手段として通常のズームレンズ及びズーム制御機構を用いることで、最も安価に本装置を実現することができる。
【０１７０】
撮像装置側には合成手段及び画像記憶手段は無くてもよいため、通常の電子カメラ、ビデオカメラなどをコンピューターに接続した系で高解像度化、高色再現化が可能になる。
【０１７１】
（構成１１）
前記結像変倍手段として光路中にレンズ群を挿入できる機構を用いることを特徴とする構成（１）〜（９）のいずれかに記載の静止画像撮像装置。
【０１７２】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第１の実施形態が対応する。レンズ群には、図５に示すリボルバー３０２に保持された対物レンズ３０１が対応し、挿入機構にはリボルバー、ピント駆動部３０４が対応するが、レンズ群はひとつでもよく、挿入操作は人間が行ってもよい。
【０１７３】
（効果）
高解像度化のためには変倍率は連続的に変わる必要がないため、離散的な変倍手段しか備えていない顕微鏡のような装置でも、非常に安価に高画質化を実現できる。また、離散的な変倍機構は、連続的な変倍機構を用いた場合に比べて画像取り込みを高速、高精度化できるうえ、手動による変倍も可能となる。
【０１７４】
（構成１２）
前記結像変倍手段が、前記撮像手段に対して縦、横で異なる倍率を用いることを特徴とする構成（１）〜（９）のいずれかに記載の静止画像撮像装置。
【０１７５】
（対応する発明の実施の形態）
この発明の実施の形態としては、前記した第２の実施形態が対応する。構成中の解像度パターン記憶手段には、図８の変倍パターンテーブル７０４ｂが対応する。周波数解析手段には図８のウェーブレット解析部７０２が対応するが、局所的な高周波成分を取り出せるものであれば、フーリエ変換やエッジ検出オペレーター、ハイパスフィルター等を用いてもよい。前記変倍率制御手段には図８の変倍率決定部７０３が対応し、画像復元手段には図８の画像復元部７０５が対応する。
【０１７６】
（効果）
一方向のみの高解像度化が必要とされる場合やスキャナーのようにある方向に自由に解像度を変えられる場合、およびラインセンサが用いられる場合、縦、横の変倍率を等しくしないことで、所望の方向のみ高解像度化できる。一方向だけに変倍を限ることにより、前記した第６の概略で述べたように、復元計算の規模が小さくなって復元の正確さを向上させることができる。
【０１７７】
【発明の効果】
請求項１に記載の発明によれば、複雑な装置構成を新たに必要とせずに低コストで撮像素子の解像度を越える高品質の静止画像が得られるようになる。
【０１７８】
また、請求項２に記載の発明によれば、請求項１に記載の発明の効果に加えて、簡単な合成処理で撮像素子の解像度を越える高品質の静止画像が得られるようになる。
【０１７９】
また、請求項３に記載の発明によれば、請求項１，２に記載の発明の効果に加えて、複雑な装置構成を新たに用いることなしに欠落色を復元することができるようになる。
【図面の簡単な説明】
【図１】複数の変倍画像から撮像素子の解像度を越える高解像度の画像を生成する方法を説明するための図である。
【図２】変倍によるサンプリング点の変化の規則性を利用して高解像度化を行なう場合の方法を説明するための図である。
【図３】ベイヤー配列のＣＣＤを用いた場合の変倍画像間のサンプリング関係の説明図である。
【図４】変倍率の組み合わせによる解像度パターンの変化の説明図である。
【図５】本発明の第１実施形態の構成図である。
【図６】図５に示す画像合成部の詳細な構成図である。
【図７】本発明の第２実施形態の構成図である。
【図８】図７に示す画像合成部の構成図である。
【図９】共通サンプリング行列の冗長性を除去する工程を示すフローチャートである。
【図１０】簡単化された共通サンプリング行列から解像度パターンを求めるフローチャートである。
【図１１】本発明の第３実施形態の構成図である。
【図１２】図１１に示す画像合成部の構成図である。
【図１３】位置ずれによるサンプリング間隔のずれの影響を説明するための図である（ずれの影響を吸収できる場合）。
【図１４】位置ずれによるサンプリング間隔のずれの影響を説明するための図である（ずれの影響を吸収できない場合）。
【符号の説明】
３０１…対物レンズ、３０２…レボルバー、３０３…接眼レンズ、３０４…レボルバー・ピント駆動部、３０５…ＲＧＢベイヤー配列のＣＣＤ、３０６…ＣＣＤドライバ、３０７…色分離Ｓ／Ｈ、３０８…Ａ／Ｄ変換部、３０９…システムバス、３１０…制御部、３１１…画像保持ＲＡＭ、３１２…画像合成部、３１３…外部端子、３１４…顕微鏡部、３１５…本体。

Claims

同一被写体を複数の異なる変倍率で結像する結像変倍手段と、
この結像変倍手段によって得られた複数の異なる倍率の被写体像を各々電気信号に変換して、複数の変倍画像を得る撮像手段と、
前記複数の変倍画像を記憶する画像記憶手段と、
前記複数の変倍画像に基づいて、前記複数の変倍画像のうち最も倍率の高い変倍画像よりも高解像度の画像を生成する画像合成手段と、
を有することを特徴とする撮像装置であって、
前記画像合成手段は、
前記撮像手段の画素間隔より高精細な仮想画素格子を設定し、
前記複数の異なる倍率のうち最も高い倍率における被写体像を前記仮想画素格子で仮想的に撮像した場合に各仮想画素により撮像される被写体像の部分と、前記複数の変倍画像の各画素で撮像される被写体像の部分との位置関係から、前記変倍画像それぞれの画素値を前記仮想画素の画素値の線形和で表した場合の係数を算出する係数算出手段と、
前記係数算出手段により算出された係数に基づいて、前記仮想画素の画素値を前記各変倍画像の画素値から逆推定する推定手段と、
を備えることを特徴とする静止画像撮像装置。
前記画像合成手段は、
前記複数の変倍画像のうち最も高い倍率で得られた変倍画像と、他の変倍画像の間の相対倍率が、両変倍画像のサンプリング点が完全には一致しないような所定の有理数になるように変倍率を決定する変倍率決定手段を備えることを特徴とする請求項1記載の撮像装置。
前記撮像手段はカラーモザイクフィルタを有し、前記所定の有理数は整数分の１であることを特徴とする請求項２記載の静止画像撮像装置。