WO2006052030A1

WO2006052030A1 - 撮像装置と撮像システムおよび画像の撮影方法

Info

Publication number: WO2006052030A1
Application number: PCT/JP2005/021316
Authority: WO
Inventors: Tomoyuki Nakamura; Takahiro Yano; Masatoshi Okutomi; Masao Shimizu
Original assignee: Olympus Corporation; Tokyo Institute Of Technology
Priority date: 2004-11-15
Filing date: 2005-11-15
Publication date: 2006-05-18
Also published as: JP4311668B2; EP1816854A4; JP2006140885A; US20070296829A1; EP1816854A1

Abstract

撮影した画像よりも解像度の高い画像を合成することが可能な撮像装置と撮像システム、および画像の撮影方法を提供する。撮像装置は、光学的結像部11（被写体の像を結像させる光学的結像手段）、撮像部12（光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段）、画像処理部15（複数のフレームの画像信号から高解像度な画像を生成する手段）、移動速度検出部13（撮像装置自体の状態変化を検出する手段）、撮像タイミング決定部14（撮像のタイミングを決定する手段）で構成される。この撮像装置は、画素数の少ない撮像素子から高解像度の画像を合成するものである。

Description

明細書撮像置と撮 ί象システムおよび画像の撮影方法技術分野

本発明は、画素数の少ない撮像素子から高解像度の画像を合成するような撮像技術に関するものであり、特に、その撮像の際の手法と高解像化の処理を備えた撮像装置撮像システムおよび画像の撮影方法に関連するものである。背景技術

撮像素子をその画素間隔よりも細かい間隔で正確に変位させながら画像を複数枚撮影しこの複数枚の画像から 1枚の高精細な画像を生成する手法が知られているの場合、例えば、特許文献 1 に記載されているように、光学系もしくは撮像素子を移動させて画像を撮影するものがある。

しかしながら、特許文献 1 に開示されている手法では、画素間隔よりさらに細かい間隔で光学素子もしくは撮像素子の変位（モーション) 制御する必要がある。このため、正確な制御が可能な複雑な機構が必要とされることが多 < 、安価にこのような機構を構成することは困難であるという問題があつた。

本発明は、上記問題に鑑みてなされたものであり、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とする、撮像装置と撮像システムおよび画像の撮影方法の提供を目的とする。発明の開示

( 1 ) 上記目的を達成するために、本発明の第 1 の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置自体の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像夕イミングを決定することを特徴とする。

( ) の発明は、第 1 図に示された第 1 の実施形態例が対応する。（ 1 ) の構成の、被写体の像を結像させる光学的結像手段は光学的結像部 1 1 が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段は撮像部 1 2 が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部 1 5 が、撮像装置自体の状態変化を検出する手段は移動速度検出部 1 3 が、撮像のタイミングを決定する手段は撮像タイミング決定部 1 4が、それぞれ該当する。

( 1 ) の発明は、撮像装置自体の状態変化を検出する手段を設けているので、撮影装置自体の速度が小さくなつたタイミングでの撮影を行うことが可能となる。このため、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに、手ぶれなどのランダムな動きを利用しての画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とすることができる。ここでいう状態変化が加速度である場合は、加速度の方向、大きさの履歴からその速度を算出するものとする。

( 2 ) 本発明の第 2の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。

( 2 ) の発明は、第 1 1 図に示された第 3の実施形態例が対応する。 ( 2 ) の構成の、被写体の像を結像させる光学的結像手段は光学的結像部 1 1 が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子は撮像部 1 2 が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部 1 5 が、撮像の夕イミングを決定する手段は撮像タイミング決定部 1 4 が、前記撮像素子に空間的な変位を与える手段は撮像素子移動部 1 1 7が、前記撮像素子の状態変化を検出する手段は移動速度検出部 1 3がそれぞれ該当する。

( 2 ) の発明は、撮像装置自体ではなく、撮像素子に空間的な変位を与える手段と、撮像素子の状態変化を検出する手段とを設けている。このため、撮像装置の保持 · 固定方法によらずに位置ずれのある画像を撮影することが可能となる。 ( 3 ) また、本発明の撮像装置は、前記（ 1 ) 、 ( 2 ) の発明において、前記状態変化は、速度であることを特徴とする。（ 3 ) の発明の構成は、第 1 図、第 1 1図に記載された移動速度検出部 1 3 がそれぞれ該当する。（ 3 ) の発明は、速度変化を検出するので、撮像装置または撮像素子の状態変化を簡単に検出することができる。

( 4 ) また、本発明の撮像装置は、前記（ 1 ) または（ 2 ) の発明において、前記状態変化は、加速度であることを特徴とする。 ( 4 ) の発明の構成は、第 1 図、第 1 1 図に記載された移動速度検出部 1 3 に代えて加速度検出部を設ける構成がそれぞれ該当する。 ( 4 ) の発明は、加速度変化を検出するので、加速度の方向、大きさの履歴からその時点での速度を算出することがでさる。

( 5 ) ま、本発明の撮像装置は、前記（ 1 ) または（ 2 ) の発明において、前

速度が 0のときに撮像を行うことを特徴とする。（ 5 ) の発明は、撮像装置または撮像素子における、速度が 0のときに撮像を行うので、画像ぶれのない高精彩な画像を撮影することができる。

( 6 ) また、本発明の撮像装置は、前記（ 2 ) ないし（ 5 ) のいずれかに記載の発明において、前記撮像素子が、光軸にほぼ垂直なつの直線方向に変位を与えられることを特徴とする。（ 6 ) の発明は第 1 2 図に示された第 3 の実施形態例が対応する。（ 6 ) の発明は、像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられるので効率良く撮影位置にばらつきのある複数のフレームの画像が取得でき高解像度化を容易に行うことがでさる。

( 7 ) 本発明の第 3の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。

( 7 ) の発明は、第 1 3図に示された第 4の実施形態例にかかる撮像装置が相当する。（ 7 ) の発明の、被写体の像を結像させる光学的結像手段は光学的結像部 1 1 が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子は撮像部 1 2 が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部 1 5 が、撮像のタイミングを決定する手段は撮像タイミング決定部 1 4 が、撮像に関する一連の処理を開始する信号を発生させる手段は撮影準備開始信号発生部 1 1 6が、前記撮像素子に空間的に変位を与える手段は撮像素子移動部 1 1 7が、前記光学的結像手段に前記撮像素子とは.同じ方向に異なる状態で空間的に変位を与える手段は光学素子移動部 1 38が、前記撮像素子と前記光学的結像手段との相対変化を検出する手段は相対速度検出部 1 33が、それぞれ該当する。

( 7 ) の発明は、撮像装置自体ではなく、撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段を設け、相対変化検出手段により前記撮像素子と前記光学的結像手段との相対変化を検出している。このため、撮像装置の保持 · 固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。

( 8 ) また、本発明の撮像装置は、前記（ 7 ) の発明において、前記相対変化は相対速度であり、該相対速度が 0のときに撮像を行うことを特徴とする。（ 8 ) の発明は、第 1 3図に記載の第 4の実施形態例、第 1 6図に示された第 5の実施形態例が相当する。（ 8 ) の発明の構成で、撮像素子と光学的結像手段との相対変化が相対速度であり、この相対速度が 0であることの検出は、第 1 3図の相対速度検出部 133、第 1 6 図の相対速度検出部 163の検出結果が 0の場合に該当する。このように、相対変化検出手段により検出される撮像素子と光学的結像手段との相対変化が相対速度であり、この相対速度が 0のときに撮像を行うので、画像ブレのない高精彩な画像を撮影することができる。

( 9 ) また、本発明の撮像装置は、前記（ 7 ) に記載の発明において、前記相対変化は相対加速度であることを特徴とする。（ 9 ) の発明は、第 1 3図に記載の第 4の実施形態例にかかる撮像装置において、撮像素子と光学的結像手段との相対変化を検出する手段として、相対速度検出部 133 に代えて相対加速度検出部を設けるものである。このように、撮像素子と光学的結像手段との相対変化を加速度変化により検出し、この加速度から速度を算出することが可能なので、撮像装置の保持 · 固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。

( 1 0 ) また、本発明の撮像装置は、前記（ 7 ) ないし（ 9 ) のいずれかに記載の発明において、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（ 1 0 ) の発明は、第 1 5図に記載の第 4の実施形態例にかかる撮像装置が相当する。（ 1 0 ) の発明の、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられる構成は、第 1 5図に記載の撮像素子の変位の矢視 L a方向と、光学的結像手段の変位の矢視 L b方向が光軸にほぼ垂直な一つの直線方向であることが該当する。撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられるので、高解像度処理に適した、撮影位置にばらつきのある複数のフレームの画像を効率良く取得できる。

( 1 1 ) また、本発明の撮像装置は、前記（ 2 ) ないし（-1 0 ) のいずれかに記載の発明において、撮像素子の変位量を測定する手段を備えたことを特徴とする。（ 1 1 ) の発明は、第 1 6図に記載の第 3、第 4 、第 5の実施形態例にかかる撮像装置が相当する。（ 1 1 ) の発明の撮像素子の変位量を測定する手段は、第 1 6図に記載のモーション測定部 169 が該当する。このように、撮像素子の変位量を測定する手段を備えているので、モーションを画像から演算して推定するのではなく、実際に測定するため、画像の種類によらず正確な相対位置の情報の取得が可能となる。

( 1 2 ) また、本発明の撮像装置は、前記（ 2 ) または（ 7 ) に記載の発明において、空間的に変位を与える手段は弹性部材であることを特徵とする。（ 1 2 ) の発明は、第 1 1 図、第 1 3図、第 1 6図に記載の第 3、第 4、第 5の実施形態例にかかる撮像装置が相当する。（ 1 2 ) の発明の弾性部材は、第 1 2図に記載の撮像素子駆動ばね 124が該当する。このように、撮像素子に空間的に変位を与える手段として、ばねのような弾性部材を用いている。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって効率的にばらつきのあるモーションを得ることができる。

( 1 3 ) また、本発明の撮像装置は、前記（ 1 ) ないし（ 1 2 ) のいずれかに記載の発明において、前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする。（ 1 3 ) の発明は、第 1 8図〜第 2 3図に記載の第 6の実施形態例に対応するが、その他の実施形態例にも適用される。（ 1 3 ) の発明の所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能は、第 1 8図に記載の高解像化判断部 1810、第 2 2図に記載の信号確認部 221 が該当する。このような構成とすることにより、高解像度化処理を行った場合には、高い確率で高解像度の画像を得ることができる。

( 1 4 ) 本発明の第 1 の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段と、を有する撮像装置と、前記撮像装置に変位を与える撮像装置移動手段と、前記撮像装置と撮像装置移動手段を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。

( 1 4 ) の発明は、第 7図に記載の本発明の第 2の実施形態例が対応する。（ 1 4 ) の発明の、被写体の像を結像させる光学的結像手段は光学的結像部 1 1 が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段は撮像部 1 2 が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部 1 5 が、撮像装置自体の状態変化を検出する手段は移動速度検出部 1 3 が、撮像の夕イミングを決定する手段は撮像タイミング決定部 1 4 が、撮像に関する一連の処理を開始する信号を発生させる手段は撮影開始信号発生部 7 6 が、前記撮像装置に変位を与える撮像装置移動手段は撮像装置移動部 7 7 が、前記撮像装置と撮像装置移動手段を保持または支持する固定手段は撮像装置固定部 78が、それぞれ該当する。

( 1 4 ) の発明は、撮像装置に変位を与える撮像装置移動手段と、撮像装置と撮像装置移動手段を保持または支持する固定手段を有している。このため、撮像装置に対して水平でも垂直でもない一方向に移動させながら撮影をすることによって、水平方向、垂直方向にそれぞれ別々に移動させる機構を持たずに水平、垂直方向にずれのある位置での撮像が可能となる。また、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。

( 1 5 ) 本発明の第 2の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え.、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。

( 1 5 ) の発明は、第 7図に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部 78) を、第 1 1 図に記載の撮像装置に適用した構成に相当する。したがって、（ 1 5 ) の発明は、前記（ 1 4 ) の発明のように、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。

( 1 6 ) 本発明の第 3の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間.的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。

( 1 6 ) の発明は、第 7図に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部 78) を、第 1 3図に記載の撮像装置に適用した構成に相当する。したがって、（ 1 6 ) の発明は、前記（ 1 5 ) の発明と同様に、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像けの撮像が可能となる。

( 1 7 ) 本発明の第 4の実施形態にかかる撮像システムは、被写体の像,を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像夕ィミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、撮影を行った際の前記撮像素子の空間的な位置を測定する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。

( 1 7 ) の発明は、第 7 図に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部 78) を、第 1 6図に記載の撮像装置に適用した構成に相当する。したがって、（ 1 7 ) の発明は、前記（ 1 5 ) 、

( 1 6 ) の発明と同様に、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。

( 1 8 ) また、本発明の撮像システムは、前記（ 1 4 ) または（ 1 5 ) の発明において、前記状態変化は、速度または加速度であることを特徴とする。（ 1 8 ) の発明は、撮像装置自体、または撮像素子の速度または加速度で状態変化を検出する撮像システムにおいて、画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とするものである

( 1 9 ) また、本発明の撮像システムは、前記（ 1 6 ) または ( 1 7

) の発明において、前記相対変化は相対速度または相対加速度であることを特徴とする。（ 1 9 ) の発明は、光学的結像手段に撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段を有する構成において

、撮像素子と光学的結像手段との相対変化を相対速度または相対加速度で検出する撮像システムにおいて、画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とするものである

( 2 0 ) また、本発明の撮像システムは、前記（ 1 4 ) ないし ( 1 9

) のいずれかに記載の発明において、前記撮像装置が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（ 2 0 ) の発明は、第 9図で説明した変位機構を有する。このため、撮像装置に対して水平方向、垂直方向にそれぞれ別々に移動させる機構を有することなく水平、垂直方向にずれのある位置での撮像が可能となる、撮像システムが得られる。

( 2 1 ) また、本発明の撮像システムは、前記（ 1 4 ) ないし ( 2 0

) のいずれかに記載の発明において、前記空間的に変位を与える手段は弾性部材であることを特徴とする。（ 2 1 ) の発明は、撮像装置に対して空間的に変位を与える手段として、第 9図で説明したばねのよラな弾性部材を用いている。ばねの振動は、時間の経過と共に減衰してい < 。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによつて、効率的にばらつさのあるモーションを持つ画像を得ることができる撮像システムが得られる

( 2 2 ) また、本発明の撮像システムは、前記（ 1 4 ) ないし ( 2 1 ) のいずれかに記載の発明において、前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする。（ 2 2 ) の発明は、撮像システムに、第 1 8図に記載の高解像化判断部 1 8 1 0、第 2 2図で説明した信号確認部 2 2 1 のような、高解像度化することが可能か否かを判断し、撮影者に報知する機能を具備するものである。このため、不要な高解像度化処理が省略できるので、高解像度化処理を行った場合には高い確率で高解像度の画像を得る撮像システムを構成することができる。

( 2 3 ) 本発明の第 1 の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする。

( 2 3 ) の発明は、一例として第 1 図に記載された、移動速度検出部 1 3 により撮像装置自体の状態変化を検出し、撮像タイミング決定部 1 4 により撮像の夕ィングを決定する構成を用いた画像の撮影方法である ( 2 3 ) の発明は、このように、撮像装置白体の状態変化を検出するステツプ（手順）を踏まえて、撮像の夕イミングを決定するステップ（手順）を設定しているので、撮像装置自体の速度が小さくなつた夕イミングでの撮影を行うとが可能となる。したがつて、光学素子もしくは撮像素子の精緻な位量の制御を必要とせずに、手ぶれなどのランダムな動きを利用しての画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とする画像の撮影方法が実現できるここでいう状態変化が加速度である場合は、加速度の方向、大きさの Ψ歴からその速度を算出するものとする。 4

( 2 4 ) また、本発明の画像の撮影方法は、前記（ 2 3 の発明は、 ¾、pレ

-ヽム ^--~ 撮像に関する一連の処理を開始する信号を発生させるステプと、一連の処理'を開始する信号を受けて撮像装置に変位を与えスップと、をさらに有することを特徴とする。（ 2 4 ) の発明は、一例として第 7 図に記載された、撮影準備開始信号発生部 7 6 により撮像に関する一

：連の処理を開始する信号を発生させ、撮像装置移動部 77 により記撮像装置に変位を与える構成を用いた画像の撮影方法である o ( 4 ) の発明は、このように、撮像に関する一連の処理を開始する信号生させるステッフと、 sd一連の処理を開始する信号を受けてに変位を与えるステップとを付加しているので、像素子の画素間隔 Ό も細かいモーションをもつ画像を用いて、高解化の処理を行う画の撮影方法が実現できる。

( 2 5 ) また、本発明の画像の撮影方法は記（ 2 3 ) または ( 2

4 ) に記載の発明は、前記撮像装置を光軸に対てほぼ垂直な - つの直線方向に変位を与えるステツプをさらに有するとを特徴とする。 ( 2

5 ) の発明は、例えば第 9 図に記載の撮像素子動部 8 1 のような構成を用いた画像の撮影方法である。 ( 2 5 ) の発明は、このよラに、撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与える手順を有しているので、水平、垂直方向にずれのある位での画像撮影が可能になる。

( 2 6 本発明の第 2 の実施形態にかる画像の撮影方法は、複数の画像を用て画像の高解像度化を行うことを前提とした画像の撮影方法において撮像に関する一連の処理を開始する信号を発生させるステツプと、前撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステソプと、撮像素子の状態変化を検出するステツフと 5

、撮像のタイミングを決定するステップとを有し、前記検出した撮像素子の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする。

( 2 6 ) の発明は、例えば、第 1 1 図に記載の、撮影準備開始信号発生部 116 により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部 Π7 により撮像素子に空間的な変位を与え、移動速度検出部 13により撮像素子の状態変化を検出し、撮像タイミング決定部 14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。

( 2 6 ) の発明は、このように、撮像装置自体ではなく、撮像素子の変位を検出することにより、撮像装置の保持，固定方法によらずに位置ずれのある画像を撮影することが可能となる。

( 2 7 ) また、本発明の画像の撮影方法は、前記（ 2 6 ) の発明は、撮像素子を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（ 2.7 ) の発明は'、例えば第 1 2図に記載のように、撮像素子に対して光軸にほぼ垂直な一つの直線方向に変位を与える構成を用いた画像の撮影方法である。 ( 2 7 ) の発明は、このようなステップを有する構成としているので、水平、垂直方向にずれのある位置での撮像が可能となる画像の撮影方法が得られる。

( 2 8 ) 本発明の第 3の実施形態にかかる画像の.撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステツプと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるとともに結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像の夕イミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする。

( 2 8 ) の発明は、例えば、第 1 3図に記載の、撮影準備開始信号発生部 1 1 6 により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部 1 1.7 により撮像素子に空間的に変位を与え、光学素子移動部 1 38 により結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対速度検出部 1 33 により撮像素子と前記光学的結像手段との相対変化を検出し、撮像タイミング決定部 1 4 により撮像のタイミングを決定する構成を用いた画像の撮影方法である。このように、（ 2 8 ) の発明は、光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対変化検出手段により前記撮像素子と前記光学的結像手段との相対変化を検出している。このため、撮像装置の保持，固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化される画像の撮影が可能となる。

( 2 9 ) 本発明の第 4の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステツプと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステツプと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする。

( 2 9 ) の発明は、例えば、第 1 6 図に記載の、撮影準備開始信号発 7

生部 116 により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部 117 により撮像素子に空間的に変位を与え、光学素子移動部 138により結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対速度検出部 163 により撮像素子と前記光学的結像手段と c 相対変化を検出し、撮像タイミング決定部 1 4 により撮像のタイミングを決定し、モーション測定部 169 により撮影を行った際の前記撮像素子の空間的な位置を測定する構成を用いた画像の撮影方法である。このように、（ 2 9 ) の発明は、モーション測定部 169 により撮影を行った際の前記撮像素子の空間的な位置を測定するので、画像の種類によらずに正確な相対位置の情報の取得が可能となる。

( 3 0 ) また、本発明の画像の撮影方法は、前記（ 2 8 ) または（ 2 9 ) の発明において、前記撮像素子と結像光学系の一部、または全体を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（ 3 0 ) の発明は、例えば、第 1 5図に記載の撮像素子と結像光学系に変位を与える構成を用いる画像の撮影方法である。このように、（ 3 0 ) の発明は、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられるので、これらを水平、垂直方向にそれぞれ別々に移動させる機構を有することなく、水平垂直方向にずれのある位置での撮像が可能となる。

( 3 1 ) また、本発明の画像の撮影方法は、前記（ 2 8 ) ないし（ 3 0 ) のいずれかの発明において、前記相対変化を検出するステップは相対速度または相対加速度を検出するステップであることを特徴とする。

( 3 1 ) の発明は、例えば、第 1 3図において相対速度検出部 133で速度を検出し、または相対速度検出部 133 に代えて相対加速度を検出する構成を用いる画像の撮影方法である。このように、（ 3 1 ) の発明は、撮像素子と結像光学系の相対変化として加速度を検出する場合は、加速度の方向、大きさの履歴から,その時点での速度を算出することができる

( 3 2 ) また、本発明の画像の撮影方法は、前記（ 2 3 ) ないし（ 3

1 ) のいずれかに記載の発明において、前記撮像素子の変位量を測定するステップを有することを特徴とする。（ 3 2 ) の発明は、例えば、第 1 6図に記載のモーション測定部 169 を有する構成を用いる画像の撮影方法である。このように、撮像素子の変位量を測定するステップを有するので、画像の種類によらずに正確な画像間の相対位置の情報を取得することができる。

( 3 3 ) また、本発明の画像の撮影方法は、前記（ 2 3 ) ないし（ 3

2 ) のいずれかに記載の発明において、画像の高解像度化が可能か否かを判断し、撮影者に報知するステップをさらに有する事を特徴とする。

( 3 3 ) の発明は、例えば第 1 8図に記載の高解像化判断部 1810、第 2 2図に記載の信号確認部 221 を設けた構成を用いる画像の撮影方法である。このように、画像の高解像度化が可能か否かを判断して不要な高解像度化処理を行わないので、高解像度化処理を行なった場合には高い確率で高解像度の画像を得ることができる。

図面の簡単な説明

第 1図は、第 1 の発明の実施形態例を示す構成図である。

第 2図は、第 1 の発明の実施形態例における画像処理部の構成図である。

第 3図は、モーション推定のフローチヤ一十である。

第 4図は、モーション推定の最適類似度の推定の概念図である。第 5 図は、高解像度画像推定のフローチャートである。

第 6 図は、超解像処理の構成図である。

第 7 図は、第 2 の発明の実施形態例を示す構成図である。

第 8 図は、第 2 の発明の実施形態例における撮像装置移動部の構成図である。

第 9 図は、第 2 の発明の実施形態例における撮像装置の移動の一例を示す説明図である。

第 1 0 図は、撮像装置を斜めに移動した際の 1 画素以下の撮影可能な軌跡を示す説明図である。

第 1 1 図は、第 3の発明の実施形態例を示す構成図である。

第 1 2 図は、第 3の発明の実施形態例における撮像部と撮像素子駆動部の構成例を示す説明図である。

第 1 3 図は、第 4の発明の実施形態例を示す構成図である。

第 1 4図は、第 4の発明の実施形態例における画像処理部の構成図である。

第 1 5 図は、第 4の発明の実施形態例における光学素子と撮像素子の位置関係の例を示す説明図である。

第 1 6 図は、第 5の発明の実施形態例を示す構成図である。

第 1 7 図は、第 5の発明の実施形態例における画像処理部の構成図である。

第 1 8 図は、第 6の発明の実施形態例を示す構成図である。

第 1 9 図は、画像を複数枚撮影した際のモーションの偏在の例を示す説明図である。

第 2 0 図は、モーションの所属領域の判断に対する説明図である。第 2 1 図は、第 6の発明の実施の形態における高解像化判断部の構成図である。

第 2 2図は、第 6の発明の実施の形態における画像処理部の構成図である。

第 2 3図は、第 6の発明の実施の形態の変形例の構成図である。発明を実施するための最良の形態

以下、本発明の実施形態例について図を参照して説明する。第 1 図は第 1 の実施形態例の撮像装置を示す構成図である。ここで、本発明の画像処理に関連する超解像処理について説明する。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキャンセルした上で合成する手法である。

第 1 図に示された撮像装置は、光学的結像部 1 1、撮像部 1 2、移動速度検出部 1 3、撮像タイミング決定部 1 4、画像処理部 1 5から構成されている。ここで撮像部 1 2は、例えば C CDや CMO Sなどのイメージセンサーである。本撮像装置は撮影者がこれを手にもった状態で撮影するものとする。撮影時には、被写体からの光が光学的結像部 1 1 によって撮像部 1 2上に結像される。

このとき、移動速度検出部 1 3 によって、撮影者が撮像装置を手で保持していることによって発生する撮像装置の変位の際の移動速度が検出されており、移動速度の情報は撮像タイミング決定部 1 4 に与えられる。この時の撮像装置の変位は、撮影者が意識的に作るものであっても、無意識のうちに発生してしまうものであってもよい。

撮像タイミング決定部 1 4 では、この移動速度がある一定の値よりも小さい時に撮像部 1 2 に対して撮影信号を送り、撮像部 1 2ではこの信号を受信して撮影を行う。撮影された画像情報は、画像処理部 1 5 に送信される。画像処理部 15 では、送信されてきた変位をもつ複数フレーム分の画像情報を用いて、撮影時よりも解像度の高い画像を生成する。画像処理部 15 では、撮像位置が変位を持つ複数の低解像度画像を用いて高解像度画像を合成する。ここでは、例えば超解像（Super- Resolut ion ) 技術によって高解像化の処理を佇うものとして、以下にその手法を述ベる。

なお、第 1 図においては、撮像装置が変位した際の移動速度を移動速度検出部 13 によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。撮像装置が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなつた例には、速度が 0 になった場合も含まれる。速度が 0 になった場合に撮像すれば、ブレのない高精細な画像が得られる。

第 1 図の撮像装置は、移動速度検出部 13 と撮像タイミング決定部 14 とを有しており、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像装置自体の状態変化を検出するステップと、撮像の夕イミングを決定するステップとを有し、撮像装置の状態変化を考慮して、適切なタイミングで撮像を行う。

第 2 図は、超解像技術を用いた場合の画像処理部 15 の一例を示す構成図である。ここで画像処理部 15 は、画像蓄積部 21、モーション推定部 22、超解像処理部 23 から構成される。撮像部 12 から、画像蓄積部 21 に撮影された画像情報が送られる。画像蓄積部 21 では、複数フレーム分の撮影された画像情報を蓄積する。画像蓄積部 2 1 からは、モーシヨン推定部 22 に画像情報を送り、ある 1 枚の画像を基準とした相対的な変位量（以下、モーションとする）を演算して求める。

求められたモーションは、超解像処理部 23 に送られる。また、このモーションの情報に加えて、超解像処理部 23 には画像蓄積部 21 から複数フレーム分の撮影された画像情報が与えられる。これらのモーションの情報と、各フレーム毎の撮影された画像情報を用いて超解像処理部 23 では超解像処理を行い、撮像部 1 2 で撮影された画像よりも解像度の高い画像 Pを生成する。

モ一ション推定のアルゴリズムの詳細を、第 3 図のフローチヤ一卜に示す。以下、第 3 図のフローチャートによりアルゴリズムの流れにそつて説明する。 S 1 ：モーション推定の基準となる画像を 1 枚読み込み、これを基準画像とする。 S 2 : 基準画像を複数のモーシヨンで変形させた画像列を作る。 S 3：基準画像との間のモーション推定を行う参照画像を 1 枚読み込む。 S 4 ：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。 S 5 :変形モーションのパラメ一夕と算出した類似度値との関係を用いて、離散的な類似度マップを作成する。

S 6 : S 5 で作成した離散的な類似度マップを補間することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが推定したモーションとなる。類似度マップの極値の探索法にはパラボラフィッティング、スプライン補間法等がある。 S 7：全ての参照画像においてモーション推定を行っているかどうかを判定する。 S 8 ：全ての参照画像においてモーション推定を行っていない場合、参照番号のフレーム番号を 1 つ上げて S 3 へ戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、 S 7 の判定結果が Yになれば処理を終了する。

第 4図には、モーション推定をパラボラフッティングで行った例の概念図を示している。第 4図の縦軸は類似度を表し、値が小さいほど類似度が高い。第 4図の黒丸は離散類似度値、灰色の丸が類似度の極値を示している。離散類似度値を結ぶ曲線は、補間した類似度となる。

第 5 図は、高解像度画像推定処理のアルゴリズムを示すフローチヤ一トである。次に、第 5図のフローチャートを説明する。 S11 :高解像度画像推定に用いるため撮像によって得られた複数枚の低解像度画像 η枚を読み込む（ただし、 n≥ l)。 S12:複数枚の低解像度画像の中の任意の一枚を基準フレームと仮定し、補間拡大処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。 S 13：あらかじめ何らかのモーション推定法で求められた、基準フレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。 S14:光学伝達関数（0TF)、 CCD アパーチャ等の撮像特性を考慮した点広がり関数（PSF)を求める。 PSF は例えば Gauss 関数を用いる。 S15:S13、 S14 の情報を元に、評価関数 f (z)の最小化を行う。ただし、 f (z)は下記（ 1 ) 式のような形となる。）

ここで、 y は低解像度画像、 z は高解像度画像、 A は画像間モーション、 PSF 等を含めた撮像システムをあらわす画像変換行列である。評価関数の最小化には、例えば最急降下法を用いる。 S16:S15で求めた f (z) が最小化されたかどうかを判定する。 f (z)が最小化された場合には、処理を終了し高解像度画像 z を得る。 S17 : f (z)がまだ最小化されていない場合には、高解像度画像 z をアップデートして S 13 に戻る。前記の評価関数 f (z)を最小化するために最急降下法を用いた場合、下記（ 2 ) 式となるので、 z π+1 = Z cc—d (2)

( 3 ) 式から、（ 4 ) 式となり、 n 回最小化の為の反復演算を繰り返した時の高解像度画像は、（ 5 ) 式のように表すことができる。 d = (3) dz

^ = A^(Az-y) ⁽⁴)

ここで n は反復演算回数を、ひはそれぞれ各項の寄与率（重み係数 ) を表す。

第 6図は、前記アルゴリズムを実施する際の超解像処理部 23 の構成の一例を示す構成図である。超解像処理部 23 は、補間拡大部 61、畳込み積分部 62、 PSF データ保持部 63、画像比較部 64、乗算部 65、貼り合せ加算部 66、蓄積加算部 67、更新画像生成部 68、画像蓄積部 69、反復演算判定部 610、反復判定値保持部 611 から構成される。最初に、前出の画像蓄積部 21 より、複数フレーム分の画像のうち基準となる 1枚の画像を補間拡大部 61 に与え、ここでこの画像の補間拡大を行い、初期推定画像を作成する。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。補間拡大部 61 で補間拡大された画像は、畳込み積分部 62 に与えられ、モーション推定部 22 で求められた各フレーム毎のモーションを元にして、適切な座標位置で、 P SF データ保持部 63 より与えられる P SF デ一夕と畳込み積分される。補間拡大された画像データは、同時に画像蓄積部 69 に送られ、ここに蓄積される。畳込み積分部 62で畳込み演算された画像デ一夕は、画像比較部 64に送られる。画像比較部 64では、適切な座標位置で画像蓄積部 2 1 より与えられる撮影画像と、畳込み演算された画像データとが比較される。

前記画像比較部 64で比較された、画像蓄積部 2 1 より与えられる撮影画像と、畳込み演算された画像データとの残差は、乗算部 65 に送られる。乗算部 65 では、 P SFデ一夕保持部 63 より与えられる P SFデ一夕の各画素毎の値と、前記残差とが掛け合わされる。この演算結果は貼り合せ加算部 66 に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部 65 からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。

貼り合せ加算部 66 で、撮影画像 1枚分のデータの貼り合せ加算が終ると、データは蓄積加算部 67に送られる。蓄積加算部 67では、フレーム数分の処理が終るまで順次送られてくるデ一夕を蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。蓄積加算部 67で加算された画像データは、更新画像生成部 68に送られる。

更新画像生成部 68には、蓄積加算部 67で加算された画像データと同時に、画像蓄積部 69 に蓄積されていた画像データが与えられ、この 2 つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは反復演算判定部 6 1 0 に与えられ、反復判定値保持部 6 1 1 から与えられる反復判定値を元に演算を反復するか否かを判断する。反復演算判定部 610 において、演算を反復する場合には、データを畳込み積分部 62 に送り.前記の畳込み積分部 62以降の一連の処理を繰り返す。反復しない場合には、生成された画像データを出力する。上記一連の処理を行うことにより、反復演算判定部 610から出力される画像は撮影画像よりも高解像度なものとなっている。また前記 PSFデータ保持部 63 で保持される PSF データには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部 22 より各フレーム毎のモ —ションが与えられるようになつている。

本手法のように、複数の低解像度画像を用いて画像の高解像度化を行う場合には、各フレームの画像が、第 1図で説明した撮像部 12 の空間的サンプリング間隔よりも細かい間隔でのモーションの情報を保有していることが必要である。本手法では、このモーションを得る為に撮影者が撮像装置を手で支持した場合に発生してしまう動きを利用し、モーシヨンの量を前記のように画像処理から高精度に推定する。但し、この時の撮像装置の動きの速度が露光時間に対して早い場合には、露光期間中の被写体の動きが大きくなり、画像中で動きぶれ（motion blur) が顕著になってしまうという問題がある。

通常、動きぶれの大きい画像からは画像の高解像化を図ることは難しいので、高解像化には動きぶれのない、または少ない画像が必要とされる。このために本発明では、第 1 図で説明した移動速度検出部 13 によつて撮像装置の移動速度を検出し、この検出された速度が撮像部 12 の露光時間に対して遅い場合にのみ撮影を行う。このような構成とすることによって、動きぶれのない、あるいは動きぶれの少ない画像のみを得て、高解像化を図ることが可能になる。本発明の実施形態例によって、撮影の際に精密な位置制御を行わずに、画像の高解像化に必要とされる画像群を撮影し、複数枚の画像を使った高解像化が可能となる。

第 7図は、本発明の第 2の実施形態例にかかる撮像システムを示す構成図である。本撮像システム 1 0は、光学的結像部 1 1、撮像部 1 2、移動速度検出部 1 3、撮像タイミング決定部 1 4、画像処理部 1 5、撮影開始信号発生部 76、撮像装置移動部 77、撮像装置固定部 78、から構成されている。撮像装置固定部 78 としては、例えば三脚などが利用できる。撮像装置固定部 78 により、撮像装置移動部 77 と、前記図示番号 7 1〜76 の撮像装置一式を保持もしくは支持するものである。

撮影の準備が整ったら、撮影、開始信号発生部 76 のスィッチをオンにする。この操作により撮影開始信号が発生し、この撮影開始信号が撮像装置移動部 77 と移動速度検出部 73 に与えられる。撮像装置移動部 77 は、第 8図に示すように撮像装置駆動部 8 1 を備えている。撮影開始信号発生部 7 から与えられた撮影開始信号は、撮像装置移動部 77内の撮像装置駆動部 8 1 に入力され、これ受けて撮像装置駆動部 8 1 では撮像装置の移動を始める。また、同時に移動速度検出部 1 3 では、撮影開始信号を受けて移動速度の検出を始める。

この時の撮像装置移動部 77 による撮像装置 1 の移動は、例えば第 9 図の説明図に示すようにある一つの直線方向にのみ撮像装置が移動するものとする。第 9図においては、弾性部材を用いた撮像装置駆動部 8 1 により撮像装置を矢視方向（直線方向）に往復動させる。 80 は、撮像装置駆動部 8 1 (弹性部材）の固定部である。第 9図の構成の、直線方向の移動に代えて、小さい角度であれば撮像装置の回転運動（パン）でこれを代用してもよい。

本発明の実施形態例においては、撮像素子の画素間隔よりも細かいモーシヨンをもつ画像を用いて、高解像化の処理を行う。このときに、撮像装置をその光軸と直交させて、撮像装置に対して水平でも垂直でもない一方向に移動させながら撮影をすることによって、水平方向、垂直方向にそれぞれ別々に移動させる機構を持たずに水平、垂直方向にずれのある位置での撮像が可能となる。

なお、第 7図においては、撮像装置が変位した際の移動速度を移動速度検出部 1 3 によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。第 1 図で説明したように、撮像装置が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなつたときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなつた例には、速度が 0 になった場合も含まれる。状態変化が 0 になつた場合に撮像すれば、ブレのない高精細な画像が得られる。

第 7図の撮像システム 1 0 は、移動速度検出部 1 3、撮像タイミング決定部 1 4、撮影準備開始信号発生部 7 6、撮像装置移動部 7 7 を具備している。第 7図の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。

すなわち、本構成の画像の撮影方法は、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップと、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップとを有し、撮像装置の状態変化が一定値よりも小さくなつた時に撮像を行う。

第 1 0図は、第 9図の撮像装置駆動部 8 1 を用いた例の説明図である。第 1 0図（ a ) には、撮像装置 1 を斜めのある一方向に移動した際の軌跡を示す。この軌跡の上で、第 1 0図（ b ) のように撮影をしていくことによって、水平、垂直方向が少しずつずれている画像が効率的に撮影できることが分る。したがって、撮像装置 1 に対して斜め方向に変位させながら少しずつ異なる位置で各フレームの画像を撮影し、その画像を用いて前記の画像の高解像化処理を行う。

またこの時、撮像装置の駆動にばねなどの弾性部材を使用し、その振動を用いることによってモーションを作りだす方法も有効である。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって効率的にばらつきのあるモーションを得ることができる。第 4の実施形態例における以下の動作は、第 1 の実施形態例の動作と同様である。以上説明した第 2の実施形態例の処理により、撮影者が撮像装置を手に保持することなく、第 1 の実施形態例の機能の実現が可能となる。

第 1 1 図に、本発明の第 3の実施形態例にかかる撮像装置の構成図を示す。第 1 1 図に示された撮像装置は、光学的結像部 11、撮像部 12、移動速度検出部 13、撮像タイミング決定部 14、画像処理部 15、撮影準備開始信号発生部 116、撮像素子移動部 117から構成されている。

撮影の準備が整ったら、撮影開始信号発生部 116のスィッチをオンにする。この操作により撮影開始信号が発生し、撮影開始信号が撮像素子移動部 117 と移動速度検出部 13 に与えられる。撮影信号開始信号を受けて、撮像素子移動部 117 は撮像部 12 の移動を開始し、同時に移動速度検出部 13では、撮像部 12 の移動速度の検出を始める。移動速度の情報は撮像タイミング決定部 14 に与えられ、移動速度がある一定の値より遅くなつた時に撮像を行う。撮像部 12 と撮像素子移動部 117 の構成の一例を第 1 2図の説明図に示す。ここでは、撮像素子移動部 117 は撮像素子移動レール 121、撮像素子固定部（固定爪） 122、撮像素子固定解除部 123、撮像素子移動ばね 124 から構成されているものとする。また、撮像部 12 は撮像素子 112 が該当する。撮像素子固定解除部 123 に撮影開始信号が与えられると、それまで撮像素子を固定していた撮像素子固定部 Π2 が撮像素子 112 から外れ、撮像素子移動ばね 124 の弹性力によって撮像素子 112 がレールに沿って振幅運動を始める。

本構成の場合、運動方向が変わる際に撮像素子 Π2 の移動速度が最も遅くなるので、ここで撮影が行われる。撮像素子移動ばね 124 の振動は除々に減衰していくので、撮影の行われる位置には少しずつ違いが発生する。以下の動作は第 1 の実施形態例と同様である。本実施形態例は、撮像装置自体ではなく、撮像素子の変位を検出することにより、撮像装置の保持 · 固定方法によらずに位置ずれのある画像を撮影することが可能となる。

なお、第 1 1 図においては、撮像部 12 が変位した際の移動速度を移動速度検出部 13 によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。第 1 図、第 7図で説明したと同様に、撮像装置自体または撮像部が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなつたときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなつた例には、速度が 0 になった場合も含まれる。速度が 0 になった場合に撮像すれば、ブレのない高精細な画像が得られる。第 1 1 図に記載の撮像装置を、第 7図に記載されたような撮像装置固定部 78 で固定することにより、第 7図とは異なる撮像システムを構成することができる。この場合には、第 7図の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化が可能となる。

第 1 1 図の撮像装置は、移動速度検出部 13、撮像タイミング決定部 14、画像処理部 15、撮影準備開始信号発生部 116、撮像素子移動部 117 を具備している。第 1 1 図の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子の状態変化を考慮して、適切なタイミングで撮像を行う。第 1 3図は、本発明の第 4の実施形態例にかかる撮像装置を示す構成図である。本撮像装置は、光学的結像部 11、撮像部 12、撮像タイミング決定部 14、画像処理部 15、撮影準備開始信号発生部 116、撮像素子移動部 117、相対速度検出部 133、光学素子移動部 138 から構成されている。本実施の形態では撮影開始信号発生部 116からの撮影開始信号を受けて、撮像素子移動部 117 と光学素子移動部 138がそれぞれ変位を始める。相対速度検出部 133 は、撮像素子と光学素子との相対速度の検出を始める。

ここで、撮像素子移動部 117 と光学素子移動部 138 はそれぞれ同じ方向に異なる初速度、加速度で撮像部 12 と光学的結像部 11 を変位させる。相対速度検出部 133で、撮像部と光学的結像部 11 の相対速度情報を検出し、これを撮像タイミング決定部 14 に送り、相対速度がある,一定の値より小さくなつたタイミングで撮像部 12 に撮影信号を与えて撮影を行う。この時、撮像部 12 と光学的結像部 11 は加速度が異なる為、相対速度が 0 となる瞬間が生じるので、その瞬間、もしくはその瞬間に近いタイミングを検出し、撮像タイミング決定部 14 で撮影が行われることになる。

ここで、撮像部 12 と光学的結像部 11 は同時に動きだすものとし、 V, を時刻 t の光学的結像部 11 の速度、 v₂ を時刻 t の撮像部 12 の速度、 ν_β1を光学的結像部 11 の初速度、 ν_β2を撮像部 12 の初速度、 a,を光学的結像部 11 の加速度、 a₂を撮像部 12 の加速度とし、時刻 t におけるそれぞれの速度は、（ 6 ) 式、（ 7 ) 式のように表せるので相対速度が 0 となる時刻、つまり v₁ = v₂となる時刻 t は、（ 8 ) 式である。

V, 二 ν₀₁ + α ί (6)

^V2 = ^V02 + ^{a l} _{( 7)} V0! 一 ^V02

そして、この時の両者の位置関係が撮像が可能な状態、つまり撮像素子上に被写体の光学像が結像している状態になるように前記の各パラメ一夕及びそれぞれの動きはじめの位置などが与えられているものとする

。以降の動作は、第 1 の実施形態例と同様である。第 1 4図は、本発明の第 4の実施形態例にかかる画像処理部 15 の構成図であり、第 2図と同じ構成である。超解像処理部 23からは、撮像部 12で撮影された画像よりも解像度の高い画像 Qが生成されて出力される。

第 1 5図は、本発明の第 4の実施形態例にかかる撮像装置において、光学素子と撮像素子の位置関係の例を示す説明図である。第 1 5図（ a

) は撮影開始前、第 1 5図（ b ) は撮影時の光学素子と撮像素子の位置関係を示している。撮像素子 2 は、第 1 5図（ a ) の位置から結像光学系 3 に向けて矢視 L a方向に直線移動する。また、結像光学系 3 (光学素子）は矢視 L b方向に直線移動する。 L a方向と L b方向は同方向で、しかも光軸にほぼ垂直方向である。したがって、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることになる。このように、 L a方向と L b方向は同方向で、撮像素子 2 と光学素子とは加速度が異なるので、撮像時には、第 1 5図（ b ) に示すように、撮像素子 2は、結像光学系 3の位置に重ねて配置される。

本実施形態例は、第 3の実施形態例と同様に撮像装置自体の状態変化ではなく、撮像素子と光学素子との相対変化を検出している。このため、撮像装置の保持 · 固定方法によらずに、第 1 の実施形態例で説明したように画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。なお、第 1 3図〜第 1 5図の例では、撮像素子と光学素子の初速度、および加速度から両者の相対速度を検出しているが、撮像素子と光学素子に空間変位を与えた際の、両者の加速度以外の相対変化を検出する構成とすることも可能である。

第 1 3図に記載の撮像装置を、第 7図に記載されたような撮像装置固定部 78 で固定することにより、第 7図とは異なる撮像システムを構成することができる。この場合には、第 7図の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化することが可能となる。第 1 3 図の撮像装置は、撮像タイミング決定部 14、撮影準備開始信号発生部 116、撮像素子移動部 117、相対速度検出部 133、光学素子移動部 138 を具備している。第 1 3 図の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して、最適なタイミングで撮像を行う。

第 1 6 図に、本発明の第 5 の実施形態例にかかる撮像装置の構成図を示す。本実施形態例にかかる撮像装置は、光学的結像部 11、撮像部 12 、撮像タイミング決定部 14、画像処理部 15、撮影準備開始信号発生部 116、撮像素子移動部 117、光学素子移動部 138、相対速度検出部 163、モーション測定部 169から構成されている。

第 1 6 図において、モーション測定部 169 によって、それぞれ撮影を行った際の空間的な撮像部 12 の位置が分るので、前記空間的な撮像部 12 の位置を画像処理部 15 に与え、この情報を使って画像処理部 15 で高解像化の処理を行う。画像処理部 15 の構成は、例えば第 1 7 図の構成図に示すように、画像蓄積部 171 と超解像処理部 172 から構成されている。撮像部 12 からの画像データ情報が、画像蓄積部 171 に与えられる。また、モーション測定部 169 で測定されたモーションデ一夕は、超解像処理部 172 に入力される。

超解像処理部 172では、このモーションデータと画像蓄積部 171 から与えられる画像データにより、第 1 の実施例で説明した超解像処理を行い、高解像化した画像 Rを出力する。このような構成により、本実施の形態では画像処理部 1 5 内に特に位置の情報について推定を行う手段を必要としないので、回路規模が小さくできる。また、モーションを画像から演算して推定するのではなく、実際にモーションを測定しているので、画像の種類によらずに正確な相対位置の情報の取得が可能となる。

第 1 6 図に記載の撮像装置を、第 7 図に記載されたような撮像装置固定部 78 で固定することにより、第 7 図とは異なる撮像システムを構成することができる。この場合には、第 7 図の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化が可能となる。

第 1 6図の撮像装置は、撮像ダイミング決定部 1 4、画像処理部 1 5、撮影準備開始信号発生部 1 1 6、撮像素子移動部 1 1 7、モーション測定部 1 6 9 を具備している。第 1 6 図の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化を考慮して、最適なタイミングで撮像を行う。

第 1 8図は、本発明の第 6 の実施の形態にかかる撮像装置を示す構成図である。本撮像装置は、光学的結像部 1 1、撮像部 1 2、撮像タイミング決定部 14、画像処理部 15、撮影開始信号発生部 116、撮像素子移動部 117、光学素子移動部 138、相対速度検出部 163、モーション測定部 169、高解像化判断部 1810から構成されている。

モーション測定部 169 によって、それぞれ撮影を行った際の空間的な撮像部 12 の位置が測定され、この情報を高解像化判断部 1810 に送る。高解像化判断部 1810は、送られた情報を元にして、画像処理部 15で所望の高解像化処理を行うことが可能か否かを判断する。高解像化処理を行う.ことが可能な場合には、高解像化処理開始信号が画像処理部 15 に送られ、画像処理部 15 で高解像化の処理が行われる。高解像化の可否の判断の基準は、画像のモーションの偏在具合である。

第 1 9図は、高解像化処理に適したモーションの偏在具合と適していない偏在具合の例を示す説明図である。第 1 9図（ a ) では、撮像素子の画素間隔内でほぼ均等に分散したモーションを持っているので、高解像化に適していると言える。一方、第 1 9図（ b ) はモーションが偏在しているので、高解像化処理にはあまり向いていない状態と言える。また、ここでのばらつき具合は合成後の画質に依存する。より高画質の画像合成したい場合には、偏在が少ない、つまり均等にばらついている方が適している。

第 2 0図は、モーションの所属領域の判断に対する説明図である。例えば、縦横 2倍に画像を拡大する場合には第 2 0図（ a ) に示すように、撮影画像（低解像度画像）の 1画素の間隔につき 4分割した 4つの領域 I、 II、 III、 IV にそれぞれ属するモーションを持った画像があればよいと考えられる。従って、各領域に属する画像数が均等に近いほど高解像化処理には理想的であると言える。同様に、縦横 3倍に拡大したい場合には第 2 0図（ b ) のように縦横それぞれ 3分割ずつした 9つの領域に属する画像数が均等に近い方が望ましい。

さらに、縦横 4倍に拡大したい場合には、第 2 0図（ c ) のように、それぞれ縦横 4分割ずつした 1 6の領域に属する画像数が均等に近い方が望ましい。また、それぞれの領域に属する画像数に違いがあっても、全ての画像は使わずに各領域に属するほぼ同数の画像のみを使うとしてもよい。しかしながら、領域内に一つも画像が存在しないという領域が多い場合には、高解像化処理に適していない状態ということができる。

高解像化判断部 1810 は、例えば第 2 1 図の構成図に示すように、モーシヨン情報保持部 2101、所属領域演算部 2102、所属領域別カウン夕 2103, 比較 · 判定部 2104 から構成されている。モーション測定部 169 から与えられた各フレーム画像のモ一ションの情報は、モーション情報保持部 2101 に与えられ、ここで各フレーム毎の情報を保持されるとともに、モーション情報保持部 2101 に保持された情報は、所属領域演算部 2102 に与えられる。所属領域演算部 2102では、例えば、与えられたモーション情報から、求めたい撮影画像の水平 · 垂直座標位置を求め、第 2 0図（ a ) におけるどの領域にその画像が所属するのかを判断する第 2 0図（ a ) において、 Oが所属する領域を求めたい低解像度画像 (撮影された画像）の注目画素の中心位置、 A、 B、 C、 Dが基準となる低解像度画像（撮影された画像）の画素の中心位置とした時に、仮に両画像に全く動きがない場合には、 Oと Aが完全に一致するものとする第 2 0図（ a ) では、領域 I、 II、 III、 IVはそれぞれ、

領域 I ： x_a ≤x<x_b， y_a≤ y<y_b

域 II ： x_a ≤ x<^ x_b, y_b≤ y . y_c 領域 III ： x_b≤ x<x_c, y_b≤y<y_c

領域 IV : x_b≤ x<x_c, y_a≤ y<y_b

と定義でき、〇（求めたい撮影画像）は領域 IVに入ると判断される。前記のように判断された結果は、各所属領域別カウン夕 2103 に信号として与えられる。信号を受けると、各所属領域別カウンタ 2103 は力ゥント値を 1ずつ増やす。この各所属領域別のカウンタ値を比較し、差が一定値より少ない場合に、比較 · 判定部 2104 は高解像化信号を発生し、この高解像化信号を画像処理部 15 に与える。あるいは、カウンタ値が 0の領域が全体の半分以上を占める場合には高解像化には適していないとして、比較 · 判定部 2104 は高解像化信号を発生しない。この高解像化信号は画 ¾処理部 15 に送られる。

第 2 2図の構成図に示すように、画像処理部 15 ではこの高解像化処理開始信号が信号確認部 221 に入力される。信号確認部 221 には、この高解像化処理開始信号の他に画像蓄積部 21 から撮影画像情報が、モーション測定部 169 からはモーション情報が与えられる。信号確認部 221 で、高解像処理開始信号、画像情報、モーション情報の 3つの信号が揃つたことが確認できると、モーション情報と撮影画像情報を超解像処理部 23 に送り、超解像処理部 23で超解像処理が開始される。また 3つの信号が揃わない場合には、信号確認部 221 はエラ一信号を発して撮影者に報知し、超解像処理を開始せずにモーション情報と撮影画像情報を超解像処理部 23 に送らない。

これ以降の処理は、第 1 から第 5 の実施形態例と同様である。また、本実施形態例の変形例として、第 2 3 図の構成図に示すように、モーション推定部 U が第 1 8 図におけるモーション測定部 169 の代わりの役目を果たすものとしてもよい。本実施の形態により、高解像化の為に撮影した画像のモーションの分布が高解像化に適しているか判断できるので、高解像化を行う場合には高い確率で高画質の高解像度画像が合成できることとなる。なお、前記のような信号確認部 221 がエラー信号を発して撮影者に報知し、超解像処理を開始しない構成は、第 1 8 図〜第 2 3 図の構成に限定されず、第 1 図〜第 1 7 図の構成でも適用できる。第 1 8 図〜第 2 3 図は、撮像装置の構成であるが、これらの撮像装置を第 7 図で説明した撮像装置固定部 78 に固定することにより、撮像システムを構成することもできる。

また、第 1 8 図、第 2 2 図の撮像装置は、光学的結像部 11、撮像部 12、撮像タイミング決定部 14、画像処理部 15、撮影開始信号発生部 116、撮像素子移動部 117、光学素子移動部 138、相対速度検出部 163、モーション測定部 169、高解像化判断部 1810、信号確認部 221 の構成を有している。第 1 8 図、第 2 2 図の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステツプと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステツプと、撮影を行った際の前記撮像素子の空間的な位置を推定するステツプと画像の高解像度化が可能か否かを判断し、撮影者に報知するステツプとを有し、撮像素子と光学系との相対変化が一定値よりも小さくなつた時に撮像を行う。産業上の利用可能性以上説明したように、本発明によれば、光学系あるいは撮像素子の正確な位置合わせ機構を必要とせずに画素ずれのある画像が複数枚撮像でき、これらの画像を用いて、撮影した画像よりも解像度の高い画像を合成することが可能な撮像装置と撮像システム、および画像の撮影方法を提供することができる。

また、本発明においては、光学系あるいは撮像素子の正確な位置合わせ機構を必要とせずに画素ずれのある画像が複数枚撮像でき、これらの画像を用いて、撮影した画像よりも解像度の高い画像を合成することが可能となる。

<参考文献一覧 >

特許文献 1 ：

特開平 1 1 -75099号公報

Claims

請求の範囲

1 . 被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段とを備え、前記撮像夕イミング決定手段は.、前記状態変化検出手段で検出された撮像装置自体の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。

2 . 被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。

3 . 前記状態変化は、速度であることを特徴とする、請求の範囲第 1項または請求の範囲第 2項に記載の撮像装置。

4 . 前記状態変化は、加速度であることを特徴とする、請求の範囲第 1 項または請求の範囲第 2項に記載の撮像装置。

5 . 前記速度が 0 のときに撮像を行うことを特徴とする、請求の範囲第 3項に記載の撮像装置。

6 . 前記撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求の範囲第 2項乃至請求の範囲第 5項のいずれかに記載の撮像装置。

7 . 被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。

8 . 前記相対変化は相対速度であり、該相対速度が 0のときに撮像を行つとを特徴とする、請求の範囲第 7項に記載の撮像装置。

9 記相対変化は相対加速度であることを特徴とする、請求の範囲第

7項に記載の撮像装置。

1 0 前記撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求の範囲第 7項乃至請求の範囲第 9項のいずれかに記載の撮像装置。

1 1 前記撮像素子の変位量を測定する手段を備えたことを特徴とする求の範囲第 2項乃至請求の範囲第 1 0項のいずれかに記載の撮像装置

1 2 前記空間的に変位を与える手段は弾性部材であることを特徴とする求の範囲第 2項または請求の範囲第 7項に記載の撮像装置。

1 3 前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする請求の範囲第 1項乃至請求の範囲第 1 2項のいずれかに記載の撮像

1 4 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像夕イミング決定手段と、を有する撮像装置と、前記撮像装置に変位を与える撮像装置移動手段と、前記撮像装置と撮像装置移動手段を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。

1 5 . 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。

1 6 . 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。

1 7 . 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、撮影を行った際の前記撮像素子の空間的な位置を測定する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。

1 8. 前記状態変化は、速度または加速度であることを特徴とする、請求の範囲第 1 4項または請求の範囲第 1 5項に記載の撮像システム。

, 1 9. 前記相対変化は相対速度または相対加速度であることを特徴とする、請求の範囲第 1 6項または請求の範囲第 1 7項に記載の撮像システム。

2 0. 前記撮像装置が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求の範囲第 1 4項乃至請求の範囲第 1 9項のいずれかに記載の撮像システム。

2 1. 前記空間的に変位を与える手段は弾性部材であることを特徴とする、請求の範囲第 1 4項乃至請求の範囲第 2 0項のいずれかに記載の撮像システム。

2 2. 前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする、請求の範囲第 1 4項乃至請求の範囲第 2 1項のいずれかに記載の撮像システム。

2 3. 複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。

2 4 . 撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップと、をさらに有することを特徴とする、請求の範囲第 2 3項に記載の画像の撮影方法。

2 5 . 前記撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求の範囲第 2 3項または請求の範囲第 2 4項に記載の画像の撮影方法。

2 6 . 複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、前記検出した撮像素子の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。

2 7 . 前記撮像素子を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求の範囲第 2 6項に記載の画像の撮影方法。

2 8 . 複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステツプと、 j ed 像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるととちに結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステツプと撮像素子と結像光学系との相対変化を検出するステップと、撮像の夕ィミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切な夕イミングで撮像を行うことを特徴とする、画像の撮影方法

2 9 . 複数の画像を用いて画像の高解像度化を行うとを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステツプと、撮像素子に空間的に変位を与えるステツフと、結像光学系の一部または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステツプと、撮像のタイミングを決定するステップと、撮影を行つた際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化が一定値よりも小さくなた時に撮像を行うことを特徴とする、画像の撮影方法。

3 0 . 前記撮像素子と結像光学系の部、または全体を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有するとを特徴とする、請求の範囲第 2 8項または請求の範囲第 2 9項に記載の画像の撮影方法。

3 1 . 前記相対変化を検出するステップは、加速度を検出するステップであることを特徴とする、請求の範囲第 2 8項乃至請求の範囲第 3 0項のいずれかに記載の画像の撮影方法。

3 2 . 前記撮像素子の変位量を測定するステップをさらに有することを特徴とする、請求の範囲第 2 3項乃至請求の範囲第 3 1項のいずれかに記載の画像の撮影方法。

3 3 . 画像の高解像度化が可能か否かを判断し、撮影者に報知するステップをさらに有する事を特徴とする、請求の範囲第 2 3項乃至請求の範囲第 3 2項のいずれかに記載の画像の撮影方法。