JP4311668B2 - 撮像装置と撮像システムおよび画像の撮影方法 - Google Patents

撮像装置と撮像システムおよび画像の撮影方法 Download PDF

Info

Publication number
JP4311668B2
JP4311668B2 JP2004330252A JP2004330252A JP4311668B2 JP 4311668 B2 JP4311668 B2 JP 4311668B2 JP 2004330252 A JP2004330252 A JP 2004330252A JP 2004330252 A JP2004330252 A JP 2004330252A JP 4311668 B2 JP4311668 B2 JP 4311668B2
Authority
JP
Japan
Prior art keywords
imaging
image
resolution
unit
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004330252A
Other languages
English (en)
Other versions
JP2006140885A (ja
Inventor
智幸 中村
高宏 矢野
正敏 奥富
雅夫 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Tokyo Institute of Technology NUC
Original Assignee
Olympus Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Tokyo Institute of Technology NUC filed Critical Olympus Corp
Priority to JP2004330252A priority Critical patent/JP4311668B2/ja
Priority to PCT/JP2005/021316 priority patent/WO2006052030A1/ja
Priority to US11/667,763 priority patent/US20070296829A1/en
Priority to EP05804081A priority patent/EP1816854A4/en
Publication of JP2006140885A publication Critical patent/JP2006140885A/ja
Application granted granted Critical
Publication of JP4311668B2 publication Critical patent/JP4311668B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、画素数の少ない撮像素子から高解像度の画像を合成するような撮像技術に関するものであり、特に、その撮像の際の手法と高解像化の処理を備えた撮像装置、撮像システムおよび画像の撮影方法に関連するものである。
撮像素子をその画素間隔よりも細かい間隔で正確に変位させながら画像を複数枚撮影し、この複数枚の画像から1枚の高精細な画像を生成する手法が知られている。この場合、例えば、特許文献１に記載されているように、光学系もしくは撮像素子を移動させて画像を撮影するものがある。
特開平11-75099号公報
しかしながら、特許文献１に開示されている手法では、画素間隔よりさらに細かい間隔で光学素子もしくは撮像素子の変位（モーション）を制御する必要がある。このため、正確な制御が可能な複雑な機構が必要とされることが多く、安価にこのような機構を構成することは困難であるという問題があった。
本発明は、上記問題に鑑みてなされたものであり、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とする、撮像装置と撮像システムおよび画像の撮影方法の提供を目的とする。
（１）上記目的を達成するために、本発明の第１の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像間の変位を演算し、得られた前記変位を用いて前記複数のフレームの画像から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置自体の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（１）の発明は、図１に示された第１の実施形態例が対応する。（１）の構成の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段は撮像部12が、複数のフレームの画像間の変位を演算し、得られた前記変位を用いて前記複数のフレームの画像から高解像度な画像を生成する手段は画像処理部15が、
撮像装置自体の状態変化を検出する手段は移動速度検出部13が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、それぞれ該当する。
（１）の発明は、撮像装置自体の状態変化を検出する手段を設けているので、撮影装置自体の速度が小さくなったタイミングでの撮影を行うことが可能となる。このため、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに、手ぶれなどのランダムな動きを利用しての画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とすることができる。ここでいう状態変化が加速度である場合は、加速度の方向、大きさの履歴からその速度を算出するものとする。
（２）本発明の第２の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（２）の発明は、図11に示された第３の実施形態例が対応する。（２）の構成の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、前記撮像素子に空間的な変位を与える手段は撮像素子移動部117が、前記撮像素子の状態変化を検出する手段は移動速度検出部13がそれぞれ該当する。
（２）の発明は、撮像装置自体ではなく、撮像素子に空間的な変位を与える手段と、撮像素子の状態変化を検出する手段とを設けている。このため、撮像装置の保持・固定方法によらずに位置ずれのある画像を撮影することが可能となる。
（３）また、本発明の撮像装置は、前記（１）、（２）の発明において、前記状態変化は、速度であることを特徴とする。（３）の発明の構成は、図1、図11に記載された移動速度検出部13がそれぞれ該当する。（３）の発明は、速度変化を検出するので、撮像装置または撮像素子の状態変化を簡単に検出することができる。
（４）また、本発明の撮像装置は、前記（１）または（２）の発明において、前記状態変化は、加速度であることを特徴とする。（４）の発明の構成は、図1、図11に記載された移動速度検出部13に代えて加速度検出部を設ける構成がそれぞれ該当する。（４）の発明は、加速度変化を検出するので、加速度の方向、大きさの履歴からその時点での速度を算出することができる。
（５）また、本発明の撮像装置は、前記（１）または（２）の発明において、前記速度が０のときに撮像を行うことを特徴とする。（５）の発明は、撮像装置または撮像素子における、速度が０のときに撮像を行うので、画像ぶれのない高精彩な画像を撮影することができる。
（６）また、本発明の撮像装置は、前記（２）ないし（５）のいずれかに記載の発明において、前記撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（６）の発明は、図12に示された第３の実施形態例が対応する。（６）の発明は、撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられるので、効率良く撮影位置にばらつきのある複数のフレームの画像が取得でき、高解像度化を容易に行うことができる。
（７）本発明の第３の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（７）の発明は、図13に示された第４の実施形態例にかかる撮像装置が相当する。（７）の発明の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、撮像に関する一連の処理を開始する信号を発生させる手段は撮影準備開始信号発生部116が、前記撮像素子に空間的に変位を与える手段は撮像素子移動部117が、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段は光学素子移動部138が、前記撮像素子と前記光学的結像手段との相対変化を検出する手段は相対速度検出部133が、それぞれ該当する。
（７）の発明は、撮像装置自体ではなく、撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段を設け、相対変化検出手段により前記撮像素子と前記光学的結像手段との相対変化を検出している。このため、撮像装置の保持・固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。
（８）また、本発明の撮像装置は、前記（７）の発明において、前記相対変化は相対速度であり、該相対速度が０のときに撮像を行うことを特徴とする。（８）の発明は、図13に記載の第４の実施形態例、図16に示された第５の実施形態例が相当する。（８）の発明の構成で、撮像素子と光学的結像手段との相対変化が相対速度であり、この相対速度が０であることの検出は、図13の相対速度検出部133、図16の相対速度検出部163の検出結果が０の場合に該当する。このように、相対変化検出手段により検出される撮像素子と光学的結像手段との相対変化が相対速度であり、この相対速度が０のときに撮像を行うので、画像ブレのない高精彩な画像を撮影することができる。
（９）また、本発明の撮像装置は、前記（７）に記載の発明において、前記相対変化は相対加速度であることを特徴とする。（９）の発明は、図13に記載の第４の実施形態例にかかる撮像装置において、撮像素子と光学的結像手段との相対変化を検出する手段として、相対速度検出部133に代えて相対加速度検出部を設けるものである。このように、撮像素子と光学的結像手段との相対変化を加速度変化により検出し、この加速度から速度を算出することが可能なので、撮像装置の保持・固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。
（１０）また、本発明の撮像装置は、前記（７）ないし（９）のいずれかに記載の発明において、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（１０）の発明は、図15に記載の第４の実施形態例にかかる撮像装置が相当する。（１０）の発明の、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられる構成は、図15に記載の撮像素子の変位の矢視Ｌａ方向と、光学的結像手段の変位の矢視Ｌｂ方向が光軸にほぼ垂直な一つの直線方向であることが該当する。撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられるので、高解像度処理に適した、撮影位置にばらつきのある複数のフレームの画像を効率良く取得できる。
（１１）また、本発明の撮像装置は、前記（２）ないし（１０）のいずれかに記載の発明において、撮像素子の変位量を測定する手段を備えたことを特徴とする。（１１）の発明は、図16に記載の第３、第４、第５の実施形態例にかかる撮像装置が相当する。（１１）の発明の撮像素子の変位量を測定する手段は、図16に記載のモーション測定部169が該当する。このように、撮像素子の変位量を測定する手段を備えているので、モーションを画像から演算して推定するのではなく、実際に測定するため、画像の種類によらず正確な相対位置の情報の取得が可能となる。
（１２）また、本発明の撮像装置は、前記（２）または（７）に記載の発明において、空間的に変位を与える手段は弾性部材であることを特徴とする。（１２）の発明は、図11、図13、図16に記載の第３、第４、第５の実施形態例にかかる撮像装置が相当する。（１２）の発明の弾性部材は、図12に記載の撮像素子駆動ばね124が該当する。このように、撮像素子に空間的に変位を与える手段として、ばねのような弾性部材を用いている。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって効率的にばらつきのあるモーションを得ることができる。
（１３）また、本発明の撮像装置は、前記（１）ないし（１２）のいずれかに記載の発明において、前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする。（１３）の発明は、図18〜図23に記載の第６の実施形態例に対応するが、その他の実施形態例にも適用される。（１３）の発明の所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能は、図18に記載の高解像化判断部1810、図22に記載の信号確認部221が該当する。このような構成とすることにより、高解像度化処理を行った場合には、高い確率で高解像度の画像を得ることができる。
（１４）本発明の第１の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段と、を有する撮像装置と、前記撮像装置に変位を与える撮像装置移動手段と、前記撮像装置と撮像装置移動手段を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（１４）の発明は、図7に記載の本発明の第２の実施形態例が対応する。（１４）の発明の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像装置自体の状態変化を検出する手段は移動速度検出部13が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、撮像に関する一連の処理を開始する信号を発生させる手段は撮影開始信号発生部76が、前記撮像装置に変位を与える撮像装置移動手段は撮像装置移動部77が、前記撮像装置と撮像装置移動手段を保持または支持する固定手段は撮像装置固定部78が、それぞれ該当する。
（１４）の発明は、撮像装置に変位を与える撮像装置移動手段と、撮像装置と撮像装置移動手段を保持または支持する固定手段を有している。このため、撮像装置に対して水平でも垂直でもない一方向に移動させながら撮影をすることによって、水平方向、垂直方向にそれぞれ別々に移動させる機構を持たずに水平、垂直方向にずれのある位置での撮像が可能となる。また、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
（１５）本発明の第２の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（１５）の発明は、図7に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部78）を、図11に記載の撮像装置に適用した構成に相当する。したがって、（１５）の発明は、前記（１４）の発明のように、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
（１６）本発明の第３の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（１６）の発明は、図7に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部78）を、図13に記載の撮像装置に適用した構成に相当する。したがって、（１６）の発明は、前記（１５）の発明と同様に、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
（１７）本発明の第４の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、撮影を行った際の前記撮像素子の空間的な位置を測定する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
（１７）の発明は、図7に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部78）を、図16に記載の撮像装置に適用した構成に相当する。したがって、（１７）の発明は、前記（１５）、（１６）の発明と同様に、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
（１８）また、本発明の撮像システムは、前記（１４）または（１５）の発明において、前記状態変化は、速度または加速度であることを特徴とする。（１８）の発明は、撮像装置自体、または撮像素子の速度または加速度で状態変化を検出する撮像システムにおいて、画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とするものである。
（１９）また、本発明の撮像システムは、前記（１６）または（１７）の発明において、前記相対変化は相対速度または相対加速度であることを特徴とする。（１９）の発明は、光学的結像手段に撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段を有する構成において、撮像素子と光学的結像手段との相対変化を相対速度または相対加速度で検出する撮像システムにおいて、画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とするものである。
（２０）また、本発明の撮像システムは、前記（１４）ないし（１９）のいずれかに記載の発明において、前記撮像装置が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（２０）の発明は、図9で説明した変位機構を有する。このため、撮像装置に対して水平方向、垂直方向にそれぞれ別々に移動させる機構を有することなく水平、垂直方向にずれのある位置での撮像が可能となる、撮像システムが得られる。
（２１）また、本発明の撮像システムは、前記（１４）ないし（２０）のいずれかに記載の発明において、前記空間的に変位を与える手段は弾性部材であることを特徴とする。（２１）の発明は、撮像装置に対して空間的に変位を与える手段として、図9で説明したばねのような弾性部材を用いている。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって、効率的にばらつきのあるモーションを持つ画像を得ることができる撮像システムが得られる。
（２２）また、本発明の撮像システムは、前記（１４）ないし（２１）のいずれかに記載の発明において、前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする。（２２）の発明は、撮像システムに、図18に記載の高解像化判断部1810、図22で説明した信号確認部221のような、高解像度化することが可能か否かを判断し、撮影者に報知する機能を具備するものである。このため、不要な高解像度化処理が省略できるので、高解像度化処理を行った場合には高い確率で高解像度の画像を得る撮像システムを構成することができる。
（２３）本発明の第１の実施形態にかかる画像の撮影方法は、複数の画像間の変位を演算し、得られた前記変位を用いて前記複数のフレームの画像から高解像度な画像を得ることを前提とした画像の撮影方法において、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする。

（２３）の発明は、一例として図1に記載された、移動速度検出部13により撮像装置自体の状態変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。（２３）の発明は、このように、撮像装置自体の状態変化を検出するステップ（手順）を踏まえて、撮像のタイミングを決定するステップ（手順）を設定しているので、撮像装置自体の速度が小さくなったタイミングでの撮影を行うことが可能となる。したがって、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに、手ぶれなどのランダムな動きを利用しての画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とする画像の撮影方法が実現できる。ここでいう状態変化が加速度である場合は、加速度の方向、大きさの履歴からその速度を算出するものとする。
（２４）また、本発明の画像の撮影方法は、前記（２３）の発明は、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップと、をさらに有することを特徴とする。（２４）の発明は、一例として図7に記載された、撮影準備開始信号発生部76により撮像に関する一連の処理を開始する信号を発生させ、撮像装置移動部77により前記撮像装置に変位を与える構成を用いた画像の撮影方法である。（２４）の発明は、このように、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップとを付加しているので、撮像素子の画素間隔よりも細かいモーションをもつ画像を用いて、高解像化の処理を行う画像の撮影方法が実現できる。
（２５）また、本発明の画像の撮影方法は、前記（２３）または（２４）に記載の発明は、前記撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（２５）の発明は、例えば図9に記載の撮像素子駆動部81のような構成を用いた画像の撮影方法である。（２５）の発明は、このように、撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与える手順を有しているので、水平、垂直方向にずれのある位置での画像撮影が可能になる。
（２６）本発明の第２の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、前記検出した撮像素子の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
（２６）の発明は、例えば、図11に記載の、撮影準備開始信号発生部116により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部117により撮像素子に空間的な変位を与え、移動速度検出部13により撮像素子の状態変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。（２６）の発明は、このように、撮像装置自体ではなく、撮像素子の変位を検出することにより、撮像装置の保持・固定方法によらずに位置ずれのある画像を撮影することが可能となる。
（２７）また、本発明の画像の撮影方法は、前記（２６）の発明は、撮像素子を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（２７）の発明は、例えば図12に記載のように、撮像素子に対して光軸にほぼ垂直な一つの直線方向に変位を与える構成を用いた画像の撮影方法である。（２７）の発明は、このようなステップを有する構成としているので、水平、垂直方向にずれのある位置での撮像が可能となる画像の撮影方法が得られる。
（２８）本発明の第３の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるとともに結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
（２８）の発明は、例えば、図13に記載の、撮影準備開始信号発生部116により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部117により撮像素子に空間的に変位を与え、光学素子移動部138により結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対速度検出部133により撮像素子と前記光学的結像手段との相対変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。このように、（２８）の発明は、光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対変化検出手段により前記撮像素子と前記光学的結像手段との相対変化を検出している。このため、撮像装置の保持・固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化される画像の撮影が可能となる。
（２９）本発明の第４の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
（２９）の発明は、例えば、図16に記載の、撮影準備開始信号発生部116により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部117により撮像素子に空間的に変位を与え、光学素子移動部138により結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対速度検出部163により撮像素子と前記光学的結像手段との相対変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定し、モーション測定部169により撮影を行った際の前記撮像素子の空間的な位置を測定する構成を用いた画像の撮影方法である。このように、（２９）の発明は、モーション測定部169により撮影を行った際の前記撮像素子の空間的な位置を測定するので、画像の種類によらずに正確な相対位置の情報の取得が可能となる。
（３０）また、本発明の画像の撮影方法は、前記（２８）または（２９）の発明において、前記撮像素子と結像光学系の一部、または全体を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（３０）の発明は、例えば、図15に記載の撮像素子と結像光学系に変位を与える構成を用いる画像の撮影方法である。このように、（３０）の発明は、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられるので、これらを水平、垂直方向にそれぞれ別々に移動させる機構を有することなく、水平垂直方向にずれのある位置での撮像が可能となる。
（３１）また、本発明の画像の撮影方法は、前記（２８）ないし（３０）のいずれかの発明において、前記相対変化を検出するステップは相対速度または相対加速度を検出するステップであることを特徴とする。（３１）の発明は、例えば、図13において相対速度検出部133で速度を検出し、または相対速度検出部133に代えて相対加速度を検出する構成を用いる画像の撮影方法である。このように、（３１）の発明は、撮像素子と結像光学系の相対変化として加速度を検出する場合は、加速度の方向、大きさの履歴からその時点での速度を算出することができる。
（３２）また、本発明の画像の撮影方法は、前記（２３）ないし（３１）のいずれかに記載の発明において、前記撮像素子の変位量を測定するステップを有することを特徴とする。（３２）の発明は、例えば、図16に記載のモーション測定部169を有する構成を用いる画像の撮影方法である。このように、撮像素子の変位量を測定するステップを有するので、画像の種類によらずに正確な画像間の相対位置の情報を取得することができる。
（３３）また、本発明の画像の撮影方法は、前記（２３）ないし（３２）のいずれかに記載の発明において、画像の高解像度化が可能か否かを判断し、撮影者に報知するステップをさらに有する事を特徴とする。（３３）の発明は、例えば図18に記載の高解像化判断部1810、図22に記載の信号確認部221を設けた構成を用いる画像の撮影方法である。このように、画像の高解像度化が可能か否かを判断して不要な高解像度化処理を行わないので、高解像度化処理を行なった場合には高い確率で高解像度の画像を得ることができる。
本発明においては、光学系あるいは撮像素子の正確な位置合わせ機構を必要とせずに画素ずれのある画像が複数枚撮像でき、これらの画像を用いて、撮影した画像よりも解像度の高い画像を合成することが可能となる。
以下、本発明の実施形態例について図を参照して説明する。図1は第１の実施形態例の撮像装置を示す構成図である。ここで、本発明の画像処理に関連する超解像処理について説明する。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキャンセルした上で合成する手法である。
図1に示された撮像装置は、光学的結像部11、撮像部12、移動速度検出部13、撮像タイミング決定部14、画像処理部15から構成されている。ここで撮像部12は、例えばCCDやCMOSなどのイメージセンサーである。本撮像装置は撮影者がこれを手にもった状態で撮影するものとする。撮影時には、被写体からの光が光学的結像部11によって撮像部12上に結像される。
このとき、移動速度検出部13によって、撮影者が撮像装置を手で保持していることによって発生する撮像装置の変位の際の移動速度が検出されており、移動速度の情報は撮像タイミング決定部14に与えられる。この時の撮像装置の変位は、撮影者が意識的に作るものであっても、無意識のうちに発生してしまうものであってもよい。
撮像タイミング決定部14では、この移動速度がある一定の値よりも小さい時に撮像部12に対して撮影信号を送り、撮像部12ではこの信号を受信して撮影を行う。撮影された画像情報は、画像処理部15に送信される。画像処理部15では、送信されてきた変位をもつ複数フレーム分の画像情報を用いて、撮影時よりも解像度の高い画像を生成する。画像処理部15では、撮像位置が変位を持つ複数の低解像度画像を用いて高解像度画像を合成する。ここでは、例えば超解像（Super-Resolution）技術によって高解像化の処理を行うものとして、以下にその手法を述べる。
なお、図1においては、撮像装置が変位した際の移動速度を移動速度検出部13によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。撮像装置が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなった例には、速度が０になった場合も含まれる。速度が０になった場合に撮像すれば、ブレのない高精細な画像が得られる。
図1の撮像装置は、移動速度検出部13と撮像タイミング決定部14とを有しており、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して、適切なタイミングで撮像を行う。
図2は、超解像技術を用いた場合の画像処理部15の一例を示す構成図である。ここで画像処理部15は、画像蓄積部21、モーション推定部22、超解像処理部23から構成される。撮像部12から、画像蓄積部21に撮影された画像情報が送られる。画像蓄積部21では、複数フレーム分の撮影された画像情報を蓄積する。画像蓄積部21からは、モーション推定部22に画像情報を送り、ある1枚の画像を基準とした相対的な変位量（以下、モーションとする）を演算して求める。
求められたモーションは、超解像処理部23に送られる。また、このモーションの情報に加えて、超解像処理部23には画像蓄積部21から複数フレーム分の撮影された画像情報が与えられる。これらのモーションの情報と、各フレーム毎の撮影された画像情報を用いて超解像処理部23では超解像処理を行い、撮像部12で撮影された画像よりも解像度の高い画像Ｐを生成する。
モーション推定のアルゴリズムの詳細を、図3のフローチャートに示す。以下、図3のフローチャートによりアルゴリズムの流れにそって説明する。S1：モーション推定の基準となる画像を1枚読み込み、これを基準画像とする。S2：基準画像を複数のモーションで変形させた画像列を作る。S3:基準画像との間のモーション推定を行う参照画像を1枚読み込む。S4：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。S5:変形モーションのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。
S6:S5で作成した離散的な類似度マップを補間することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが推定したモーションとなる。類似度マップの極値の探索法にはパラボラフィッティング、スプライン補間法等がある。S7: 全ての参照画像においてモーション推定を行っているかどうかを判定する。S8：全ての参照画像においてモーション推定を行っていない場合、参照番号のフレーム番号を１つ上げてS3へ戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、S7の判定結果がＹになれば処理を終了する。
図4には、モーション推定をパラボラフッティングで行った例の概念図を示している。図4の縦軸は類似度を表し、値が小さいほど類似度が高い。図4の黒丸は離散類似度値、灰色の丸が類似度の極値を示している。離散類似度値を結ぶ曲線は、補間した類似度となる。
図5は、高解像度画像推定処理のアルゴリズムを示すフローチャートである。次に、図5のフローチャートを説明する。S11:高解像度画像推定に用いるため撮像によって得られた複数枚の低解像度画像n枚を読み込む(ただし、n≧1)。S12:複数枚の低解像度画像の中の任意の一枚を基準フレームと仮定し、補間拡大処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。S13:あらかじめ何らかのモーション推定法で求められた、基準フレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。S14:光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める。PSFは例えばGauss関数を用いる。S15:S13、S14の情報を元に、評価関数f(z)の最小化を行う。ただし、f(z)は（１）式のような形となる。
Figure 0004311668
ここで、yは低解像度画像、zは高解像度画像、Aは画像間モーション、PSF等を含めた撮像システムをあらわす画像変換行列である。評価関数の最小化には、例えば最急降下法を用いる。S16:S15で求めたf(z)が最小化されたかどうかを判定する。f(z)が最小化された場合には、処理を終了し高解像度画像zを得る。S17：f(z)がまだ最小化されていない場合には、高解像度画像zをアップデートしてS13に戻る。
前記の評価関数f(z)を最小化するために最急降下法を用いた場合、（２）式
Figure 0004311668
 となるので、（３）式
Figure 0004311668
から、（４）式
Figure 0004311668
 となり、n回最小化の為の反復演算を繰り返した時の高解像度画像は、以下の（５）式のように表すことができる。
Figure 0004311668
ここでnは反復演算回数を、αはそれぞれ各項の寄与率（重み係数）を表す。
図６は、前記アルゴリズムを実施する際の超解像処理部23の構成の一例を示す構成図である。超解像処理部23は、補間拡大部61、畳込み積分部62、PSFデータ保持部63、画像比較部64、乗算部65、貼り合せ加算部66、蓄積加算部67、更新画像生成部68、画像蓄積部69、反復演算判定部610、反復判定値保持部611から構成される。最初に、前出の画像蓄積部21より、複数フレーム分の画像のうち基準となる1枚の画像を補間拡大部61に与え、ここでこの画像の補間拡大を行い、初期推定画像を作成する。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。
補間拡大部61で補間拡大された画像は、畳込み積分部62に与えられ、モーション推定部22で求められた各フレーム毎のモーションを元にして、適切な座標位置で、PSFデータ保持部63より与えられるPSFデータと畳込み積分される。補間拡大された画像データは、同時に画像蓄積部69に送られ、ここに蓄積される。畳込み積分部62で畳込み演算された画像データは、画像比較部64に送られる。画像比較部64では、適切な座標位置で画像蓄積部21より与えられる撮影画像と、畳込み演算された画像データとが比較される。
前記画像比較部64で比較された、画像蓄積部21より与えられる撮影画像と、畳込み演算された画像データとの残差は、乗算部65に送られる。乗算部65では、PSFデータ保持部63より与えられるPSFデータの各画素毎の値と、前記残差とが掛け合わされる。この演算結果は貼り合せ加算部66に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部65からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。
貼り合せ加算部66で、撮影画像1枚分のデータの貼り合せ加算が終ると、データは蓄積加算部67に送られる。蓄積加算部67では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。蓄積加算部67で加算された画像データは、更新画像生成部68に送られる。
更新画像生成部68には、蓄積加算部67で加算された画像データと同時に、画像蓄積部69に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは反復演算判定部610に与えられ、反復判定値保持部611から与えられる反復判定値を元に演算を反復するか否かを判断する。
反復演算判定部610において、演算を反復する場合には、データを畳込み積分部62に送り前記の畳込み積分部62以降の一連の処理を繰り返す。反復しない場合には、生成された画像データを出力する。上記一連の処理を行うことにより、反復演算判定部610から出力される画像は撮影画像よりも高解像度なものとなっている。また前記PSFデータ保持部63で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部22より各フレーム毎のモーションが与えられるようになっている。
本手法のように、複数の低解像度画像を用いて画像の高解像度化を行う場合には、各フレームの画像が、図1で説明した撮像部12の空間的サンプリング間隔よりも細かい間隔でのモーションの情報を保有していることが必要である。本手法では、このモーションを得る為に撮影者が撮像装置を手で支持した場合に発生してしまう動きを利用し、モーションの量を前記のように画像処理から高精度に推定する。但し、この時の撮像装置の動きの速度が露光時間に対して早い場合には、露光期間中の被写体の動きが大きくなり、画像中で動きぶれ（motion blur）が顕著になってしまうという問題がある。
通常、動きぶれの大きい画像からは画像の高解像化を図ることは難しいので、高解像化には動きぶれのない、または少ない画像が必要とされる。このために本発明では、図1で説明した移動速度検出部13によって撮像装置の移動速度を検出し、この検出された速度が撮像部12の露光時間に対して遅い場合にのみ撮影を行う。このような構成とすることによって、動きぶれのない、あるいは動きぶれの少ない画像のみを得て、高解像化を図ることが可能になる。本発明の実施形態例によって、撮影の際に精密な位置制御を行わずに、画像の高解像化に必要とされる画像群を撮影し、複数枚の画像を使った高解像化が可能となる。
図7は、本発明の第2の実施形態例にかかる撮像システムを示す構成図である。本撮像システム10は、光学的結像部11、撮像部12、移動速度検出部13、撮像タイミング決定部14、画像処理部15、撮影開始信号発生部76、撮像装置移動部77、撮像装置固定部78、から構成されている。撮像装置固定部78としては、例えば三脚などが利用できる。撮像装置固定部78により、撮像装置移動部77と、前記図示番号71〜76の撮像装置一式を保持もしくは支持するものである。
撮影の準備が整ったら、撮影開始信号発生部76のスイッチをオンにする。この操作により撮影開始信号が発生し、この撮影開始信号が撮像装置移動部77と移動速度検出部73に与えられる。撮像装置移動部77は、図8に示すように撮像装置駆動部81を備えている。撮影開始信号発生部76から与えられた撮影開始信号は、撮像装置移動部77内の撮像装置駆動部81に入力され、これ受けて撮像装置駆動部81では撮像装置の移動を始める。また、同時に移動速度検出部13では、撮影開始信号を受けて移動速度の検出を始める。
この時の撮像装置移動部77による撮像装置1の移動は、例えば図9の説明図に示すようにある一つの直線方向にのみ撮像装置が移動するものとする。図9においては、弾性部材を用いた撮像装置駆動部81により撮像装置を矢視方向（直線方向）に往復動させる。80は、撮像装置駆動部81（弾性部材）の固定部である。図9の構成の、直線方向の移動に代えて、小さい角度であれば撮像装置の回転運動（パン）でこれを代用してもよい。
本発明の実施形態例においては、撮像素子の画素間隔よりも細かいモーションをもつ画像を用いて、高解像化の処理を行う。このときに、撮像装置をその光軸と直交させて、撮像装置に対して水平でも垂直でもない一方向に移動させながら撮影をすることによって、水平方向、垂直方向にそれぞれ別々に移動させる機構を持たずに水平、垂直方向にずれのある位置での撮像が可能となる。
なお、図7においては、撮像装置が変位した際の移動速度を移動速度検出部13によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。図１で説明したように、撮像装置が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなった例には、速度が０になった場合も含まれる。状態変化が０になった場合に撮像すれば、ブレのない高精細な画像が得られる。
図7の撮像システム10は、移動速度検出部13、撮像タイミング決定部14、撮影準備開始信号発生部76、撮像装置移動部77を具備している。図7の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。
すなわち、本構成の画像の撮影方法は、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップと、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップとを有し、撮像装置の状態変化が一定値よりも小さくなった時に撮像を行う。
図10は、図9の撮像装置駆動部81を用いた例の説明図である。図10（ａ）には、撮像装置1を斜めのある一方向に移動した際の軌跡を示す。この軌跡の上で、図10（ｂ）のように撮影をしていくことによって、水平、垂直方向が少しずつずれている画像が効率的に撮影できることが分る。したがって、撮像装置1に対して斜め方向に変位させながら少しずつ異なる位置で各フレームの画像を撮影し、その画像を用いて前記の画像の高解像化処理を行う。
またこの時、撮像装置の駆動にばねなどの弾性部材を使用し、その振動を用いることによってモーションを作りだす方法も有効である。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって効率的にばらつきのあるモーションを得ることができる。第４の実施形態例における以下の動作は、第1の実施形態例の動作と同様である。以上説明した第２の実施形態例の処理により、撮影者が撮像装置を手に保持することなく、第1の実施形態例の機能の実現が可能となる。
図11に、本発明の第3の実施形態例にかかる撮像装置の構成図を示す。図11に示された撮像装置は、光学的結像部11、撮像部12、移動速度検出部13、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117から構成されている。
撮影の準備が整ったら、撮影開始信号発生部116のスイッチをオンにする。この操作により撮影開始信号が発生し、撮影開始信号が撮像素子移動部117と移動速度検出部13に与えられる。撮影信号開始信号を受けて、撮像素子移動部117は撮像部12の移動を開始し、同時に移動速度検出部13では、撮像部12の移動速度の検出を始める。移動速度の情報は撮像タイミング決定部14に与えられ、移動速度がある一定の値より遅くなった時に撮像を行う。
撮像部12と撮像素子移動部117の構成の一例を図12の説明図に示す。ここでは、撮像素子移動部117は撮像素子移動レール121、撮像素子固定部（固定爪）122、撮像素子固定解除部123、撮像素子移動ばね124から構成されているものとする。また、撮像部12は撮像素子112が該当する。撮像素子固定解除部123に撮影開始信号が与えられると、それまで撮像素子を固定していた撮像素子固定部122が撮像素子112から外れ、撮像素子移動ばね124の弾性力によって撮像素子112がレールに沿って振幅運動を始める。
本構成の場合、運動方向が変わる際に撮像素子112の移動速度が最も遅くなるので、ここで撮影が行われる。撮像素子移動ばね124の振動は除々に減衰していくので、撮影の行われる位置には少しずつ違いが発生する。以下の動作は第1の実施形態例と同様である。本実施形態例は、撮像装置自体ではなく、撮像素子の変位を検出することにより、撮像装置の保持・固定方法によらずに位置ずれのある画像を撮影することが可能となる。
なお、図11においては、撮像部12が変位した際の移動速度を移動速度検出部13によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。図１、図7で説明したと同様に、撮像装置自体または撮像部が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなった例には、速度が０になった場合も含まれる。速度が０になった場合に撮像すれば、ブレのない高精細な画像が得られる。
図11に記載の撮像装置を、図7に記載されたような撮像装置固定部78で固定することにより、図7とは異なる撮像システムを構成することができる。この場合には、図7の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化が可能となる。
図11の撮像装置は、移動速度検出部13、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117を具備している。図11の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子の状態変化を考慮して、適切なタイミングで撮像を行う。
図13は、本発明の第4の実施形態例にかかる撮像装置を示す構成図である。本撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117、相対速度検出部133、光学素子移動部138から構成されている。本実施の形態では撮影開始信号発生部116からの撮影開始信号を受けて、撮像素子移動部117と光学素子移動部138がそれぞれ変位を始める。相対速度検出部133は、撮像素子と光学素子との相対速度の検出を始める。
ここで、撮像素子移動部117と光学素子移動部138はそれぞれ同じ方向に異なる初速度、加速度で撮像部12と光学的結像部11を変位させる。相対速度検出部133で、撮像部12と光学的結像部11の相対速度情報を検出し、これを撮像タイミング決定部14に送り、相対速度がある一定の値より小さくなったタイミングで撮像部12に撮影信号を与えて撮影を行う。この時、撮像部12と光学的結像部11は加速度が異なる為、相対速度が0となる瞬間が生じるので、その瞬間、もしくはその瞬間に近いタイミングを検出し、撮像タイミング決定部14で撮影が行われることになる。
ここで撮像部12と光学的結像部11は同時に動きだすものとし、v1を時刻ｔの光学的結像部11の速度、v2を時刻ｔの撮像部12の速度、v01を光学的結像部11の初速度、v02を撮像部12の初速度、a1を光学的結像部11の加速度、a2を撮像部12の加速度、時刻tにおけるそれぞれの速度は、（６）式、（７）式、
Figure 0004311668
のように表せるので相対速度が0となる時刻、つまりv1＝v2となる時刻ｔは、（８）式
Figure 0004311668
である。そしてこの時の両者の位置関係が撮像が可能な状態、つまり撮像素子上に被写体の光学像が結像している状態になるように前記の各パラメータ及びそれぞれの動きはじめの位置などが与えられているものとする。以降の動作は、第1の実施形態例と同様である。図14は、本発明の第4の実施形態例にかかる画像処理部15の構成図であり、図2と同じ構成である。超解像処理部23からは、撮像部12で撮影された画像よりも解像度の高い画像Ｑが生成されて出力される。
図15は、本発明の第4の実施形態例にかかる撮像装置において、光学素子と撮像素子の位置関係の例を示す説明図である。図15（ａ）は撮影開始前、図15（ｂ）は撮影時の光学素子と撮像素子の位置関係を示している。撮像素子2は、図15（ａ）の位置から結像光学系3に向けて矢視Ｌａ方向に直線移動する。また、結像光学系3（光学素子）は矢視Ｌｂ方向に直線移動する。Ｌａ方向とＬｂ方向は同方向で、しかも光軸にほぼ垂直方向である。したがって、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることになる。このように、Ｌａ方向とＬｂ方向は同方向で、撮像素子2と光学素子とは加速度が異なるので、撮像時には、図15（ｂ）に示すように、撮像素子2は、結像光学系3の位置に重ねて配置される。
本実施形態例は、第3の実施形態例と同様に撮像装置自体の状態変化ではなく、撮像素子と光学素子との相対変化を検出している。このため、撮像装置の保持・固定方法によらずに、第１の実施形態例で説明したように画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。なお、図13〜図15の例では、撮像素子と光学素子の初速度、および加速度から両者の相対速度を検出しているが、撮像素子と光学素子に空間変位を与えた際の、両者の加速度以外の相対変化を検出する構成とすることも可能である。
図13に記載の撮像装置を、図7に記載されたような撮像装置固定部78で固定することにより、図7とは異なる撮像システムを構成することができる。この場合には、図7の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化することが可能となる。
図13の撮像装置は、撮像タイミング決定部14、撮影準備開始信号発生部116、撮像素子移動部117、相対速度検出部133、光学素子移動部138を具備している。図13の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して、最適なタイミングで撮像を行う。
図16に、本発明の第5の実施形態例にかかる撮像装置の構成図を示す。本実施形態例にかかる撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117、光学素子移動部138、相対速度検出部163、モーション測定部169から構成されている。
図16において、モーション測定部169によって、それぞれ撮影を行った際の空間的な撮像部12の位置が分るので、前記空間的な撮像部12の位置を画像処理部15に与え、この情報を使って画像処理部15で高解像化の処理を行う。画像処理部15の構成は、例えば図17の構成図に示すように、画像蓄積部171と超解像処理部172から構成されている。撮像部12からの画像データ情報が、画像蓄積部171に与えられる。また、モーション測定部169で測定されたモーションデータは、超解像処理部172に入力される。
超解像処理部172では、このモーションデータと画像蓄積部171から与えられる画像データにより、第1の実施例で説明した超解像処理を行い、高解像化した画像Ｒを出力する。このような構成により、本実施の形態では画像処理部15内に特に位置の情報について推定を行う手段を必要としないので、回路規模が小さくできる。また、モーションを画像から演算して推定するのではなく、実際にモーションを測定しているので、画像の種類によらずに正確な相対位置の情報の取得が可能となる。
図16に記載の撮像装置を、図7に記載されたような撮像装置固定部78で固定することにより、図7とは異なる撮像システムを構成することができる。この場合には、図7の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化が可能となる。
図16の撮像装置は、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117、モーション測定部169を具備している。図16の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化を考慮して、最適なタイミングで撮像を行う。
図18は、本発明の第6の実施の形態にかかる撮像装置を示す構成図である。本撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影開始信号発生部116、撮像素子移動部117、光学素子移動部138、相対速度検出部163、モーション測定部169、高解像化判断部1810から構成されている。
モーション測定部169によって、それぞれ撮影を行った際の空間的な撮像部12の位置が測定され、この情報を高解像化判断部1810に送る。高解像化判断部1810は、送られた情報を元にして、画像処理部15で所望の高解像化処理を行うことが可能か否かを判断する。高解像化処理を行うことが可能な場合には、高解像化処理開始信号が画像処理部15に送られ、画像処理部15で高解像化の処理が行われる。高解像化の可否の判断の基準は、画像のモーションの偏在具合である。
図19は、高解像化処理に適したモーションの偏在具合と適していない偏在具合の例を示す説明図である。図19（ａ）では、撮像素子の画素間隔内でほぼ均等に分散したモーションを持っているので、高解像化に適していると言える。一方図19（ｂ）はモーションが偏在しているので、高解像化処理にはあまり向いていない状態と言える。また、ここでのばらつき具合は合成後の画質に依存する。より高画質の画像合成したい場合には、偏在が少ない、つまり均等にばらついている方が適している。
図20は、モーションの所属領域の判断に対する説明図である。例えば、縦横2倍に画像を拡大する場合には図20（ａ）に示すように、撮影画像（低解像度画像）の1画素の間隔につき4分割した4つの領域I、II、III、IVにそれぞれ属するモーションを持った画像があればよいと考えられる。従って、各領域に属する画像数が均等に近いほど高解像化処理には理想的であると言える。同様に、縦横3倍に拡大したい場合には図20（ｂ）のように縦横それぞれ3分割ずつした9つの領域に属する画像数が均等に近い方が望ましい。
さらに、縦横4倍に拡大したい場合には、図20（ｃ）のように、それぞれ縦横4分割ずつした16の領域に属する画像数が均等に近い方が望ましい。また、それぞれの領域に属する画像数に違いがあっても、全ての画像は使わずに各領域に属するほぼ同数の画像のみを使うとしてもよい。しかしながら、領域内に一つも画像が存在しないという領域が多い場合には、高解像化処理に適していない状態ということができる。
高解像化判断部1810は、例えば図21の構成図に示すように、モーション情報保持部2101、所属領域演算部2102、所属領域別カウンタ2103、比較・判定部2104から構成されている。モーション測定部169から与えられた各フレーム画像のモーションの情報は、モーション情報保持部2101に与えられ、ここで各フレーム毎の情報を保持されるとともに、モーション情報保持部2101に保持された情報は、所属領域演算部2102に与えられる。所属領域演算部2102では、例えば、与えられたモーション情報から、求めたい撮影画像の水平・垂直座標位置を求め、図20（ａ）におけるどの領域にその画像が所属するのかを判断する。
図20（ａ）において、Ｏが所属する領域を求めたい低解像度画像（撮影された画像）の注目画素の中心位置、Ａ、Ｂ、Ｃ、Ｄが基準となる低解像度画像（撮影された画像）の画素の中心位置とした時に、仮に両画像に全く動きがない場合には、ＯとＡが完全に一致するものとする。
図20（ａ）では、領域I、II、III、IVはそれぞれ、
領域I：xa ≦x＜xb, ya≦y＜yb
領域II：xa ≦x＜xb, yb≦y＜yc
領域III：xb≦x＜xc, yb≦y＜yc
領域IV：xb≦x＜xc, ya≦y＜yb
と定義でき、Ｏ（求めたい撮影画像）は領域IVに入ると判断される。
前記のように判断された結果は、各所属領域別カウンタ2103に信号として与えられる。信号を受けると、各所属領域別カウンタ2103はカウント値を１ずつ増やす。この各所属領域別のカウンタ値を比較し、差が一定値より少ない場合に、比較・判定部2104は高解像化信号を発生し、この高解像化信号を画像処理部15に与える。あるいは、カウンタ値が0の領域が全体の半分以上を占める場合には高解像化には適していないとして、比較・判定部2104は高解像化信号を発生しない。この高解像化信号は画像処理部15に送られる。
図22の構成図に示すように、画像処理部15ではこの高解像化処理開始信号が信号確認部221に入力される。信号確認部221には、この高解像化処理開始信号の他に画像蓄積部21から撮影画像情報が、モーション測定部169からはモーション情報が与えられる。信号確認部221で、高解像処理開始信号、画像情報、モーション情報の3つの信号が揃ったことが確認できると、モーション情報と撮影画像情報を超解像処理部23に送り、超解像処理部23で超解像処理が開始される。また３つの信号が揃わない場合には、信号確認部221はエラー信号を発して撮影者に報知し、超解像処理を開始せずにモーション情報と撮影画像情報を超解像処理部23に送らない。
これ以降の処理は、第1から第5の実施形態例と同様である。また、本実施形態例の変形例として、図23の構成図に示すように、モーション推定部22が図18におけるモーション測定部169の代わりの役目を果たすものとしてもよい。本実施の形態により、高解像化の為に撮影した画像のモーションの分布が高解像化に適しているか判断できるので、高解像化を行う場合には高い確率で高画質の高解像度画像が合成できることとなる。なお、前記のような信号確認部221がエラー信号を発して撮影者に報知し、超解像処理を開始しない構成は、図18〜図23の構成に限定されず、図1〜図17の構成でも適用できる。
図18〜図23は、撮像装置の構成であるが、これらの撮像装置を図7で説明した撮像装置固定部78に固定することにより、撮像システムを構成することもできる。
また、図18、図22の撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影開始信号発生部116、撮像素子移動部117、光学素子移動部138、相対速度検出部163、モーション測定部169、高解像化判断部1810、信号確認部221の構成を有している。図18、図22の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を推定するステップと画像の高解像度化が可能か否かを判断し、撮影者に報知するステップとを有し、撮像素子と光学系との相対変化が一定値よりも小さくなった時に撮像を行う。
以上説明したように、本発明によれば、光学系あるいは撮像素子の正確な位置合わせ機構を必要とせずに画素ずれのある画像が複数枚撮像でき、これらの画像を用いて、撮影した画像よりも解像度の高い画像を合成することが可能な撮像装置と撮像システム、および画像の撮影方法を提供することができる。
第1の発明の実施形態例を示す構成図である。 第1の発明の実施形態例における画像処理部の構成図である。 モーション推定のフローチャートである。 モーション推定の最適類似度の推定の概念図である。 高解像度画像推定のフローチャートである。 超解像処理の構成図である。 第2の発明の実施形態例を示す構成図である。 第2の発明の実施形態例における撮像装置移動部の構成図である。 第2の発明の実施形態例における撮像装置の移動の一例を示す説明図である。 撮像装置を斜めに移動した際の1画素以下の撮影可能な軌跡を示す説明図である。 第3の発明の実施形態例を示す構成図である。 第3の発明の実施形態例における撮像部と撮像素子駆動部の構成例を示す説明図である。 第4の発明の実施形態例を示す構成図である。 第4の発明の実施形態例における画像処理部の構成図である。 第４の発明の実施形態例における光学素子と撮像素子の位置関係の例を示す説明図である。 第５の発明の実施形態例を示す構成図である。 第５の発明の実施形態例における画像処理部の構成図である。 第６の発明の実施形態例を示す構成図である。 画像を複数枚撮影した際のモーションの偏在の例を示す説明図である。 モーションの所属領域の判断に対する説明図である。 第６の発明の実施の形態における高解像化判断部の構成図である。 第６の発明の実施の形態における画像処理部の構成図である。 第６の発明の実施の形態の変形例の構成図である。
符号の説明
１・・・撮像装置、２・・・撮像素子、３・・・結像光学系、１０・・・撮像システム、１１・・・光学的結像部、１２・・・撮像部、１３・・・移動速度検出部、１４・・・撮像タイミング決定部、１５・・・画像処理部、２１・・・画像蓄積部、２２・・・モーション推定部、２３・・・超解像処理部、７６・・・撮影準備開始信号発生部、７７・・・撮像装置移動部、７８・・・撮像装置固定部、８１・・・撮像装置駆動部

Claims (33)

  1. 被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像間の変位を演算し、得られた前記変位を用いて前記複数のフレームの画像から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置自体の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。
  2. 被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。
  3. 前記状態変化は、速度であることを特徴とする、請求項１または請求項２に記載の撮像装置。
  4. 前記状態変化は、加速度であることを特徴とする、請求項１または請求項２に記載の撮像装置。
  5. 前記速度が０のときに撮像を行うことを特徴とする、請求項３に記載の撮像装置。
  6. 前記撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求項２ないし請求項５のいずれかに記載の撮像装置。
  7. 被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像
    信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。
  8. 前記相対変化は相対速度であり、該相対速度が０のときに撮像を行うことを特徴とする、請求項７に記載の撮像装置。
  9. 前記相対変化は相対加速度であることを特徴とする、請求項７に記載の撮像装置。
  10. 前記撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求項７ないし請求項９のいずれかに記載の撮像装置。
  11. 前記撮像素子の変位量を測定する手段を備えたことを特徴とする、請求項２ないし請求項１０のいずれかに記載の撮像装置。
  12. 前記空間的に変位を与える手段は弾性部材であることを特徴とする、請求項２または請求項７に記載の撮像装置。
  13. 前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする、請求項１ないし請求項１２のいずれかに記載の撮像装置。
  14. 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段と、を有する撮像装置と、前記撮像装置に変位を与える撮像装置移動手段と、前記撮像装置と撮像装置移動手段を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
  15. 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
  16. 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
  17. 被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、撮影を行った際の前記撮像素子の空間的な位置を測定する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
  18. 前記状態変化は、速度または加速度であることを特徴とする、請求項１４または請求項１５に記載の撮像システム。
  19. 前記相対変化は相対速度または相対加速度であることを特徴とする、請求項１６または請求項１７に記載の撮像システム。
  20. 前記撮像装置が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求項１４ないし請求項１９のいずれかに記載の撮像システム。
  21. 前記空間的に変位を与える手段は弾性部材であることを特徴とする、請求項１４ないし請求項２０のいずれかに記載の撮像システム。
  22. 前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする、請求項１４ないし請求項２１のいずれかに記載の撮像システム。
  23. 複数の画像間の変位を演算し、得られた前記変位を用いて前記複数のフレームの画像から高解像度な画像を得ることを前提とした画像の撮影方法において、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。
  24. 撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップと、をさらに有することを特徴とする、請求項２３に記載の画像の撮影方法。
  25. 前記撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求項２３または請求項２４に記載の画像の撮影方法。
  26. 複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、前記検出した撮像素子の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。
  27. 前記撮像素子を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求項２６に記載の画像の撮影方法。
  28. 複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるとともに結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。
  29. 複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、
    撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化が一定値よりも小さくなった時に撮像を行うことを特徴とする、画像の撮影方法。
  30. 前記撮像素子と結像光学系の一部、または全体を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求項２８または請求項２９に記載の画像の撮影方法。
  31. 前記相対変化を検出するステップは、加速度を検出するステップであることを特徴とする、請求項２８ないし請求項３０のいずれかに記載の画像の撮影方法。
  32. 前記撮像素子の変位量を測定するステップをさらに有することを特徴とする、請求項２３ないし請求項３１のいずれかに記載の画像の撮影方法。
  33. 画像の高解像度化が可能か否かを判断し、撮影者に報知するステップをさらに有する事を特徴とする、請求項２３ないし請求項３２のいずれかに記載の画像の撮影方法。
JP2004330252A 2004-11-15 2004-11-15 撮像装置と撮像システムおよび画像の撮影方法 Expired - Fee Related JP4311668B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004330252A JP4311668B2 (ja) 2004-11-15 2004-11-15 撮像装置と撮像システムおよび画像の撮影方法
PCT/JP2005/021316 WO2006052030A1 (ja) 2004-11-15 2005-11-15 撮像装置と撮像システムおよび画像の撮影方法
US11/667,763 US20070296829A1 (en) 2004-11-15 2005-11-15 Imaging Device, Imaging System and Photography Method of Image
EP05804081A EP1816854A4 (en) 2004-11-15 2005-11-15 PICTURE DEVICE, PICTURE SIZING SYSTEM AND PHOTOGRAPHIC PROCESSING

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004330252A JP4311668B2 (ja) 2004-11-15 2004-11-15 撮像装置と撮像システムおよび画像の撮影方法

Publications (2)

Publication Number Publication Date
JP2006140885A JP2006140885A (ja) 2006-06-01
JP4311668B2 true JP4311668B2 (ja) 2009-08-12

Family

ID=36336682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004330252A Expired - Fee Related JP4311668B2 (ja) 2004-11-15 2004-11-15 撮像装置と撮像システムおよび画像の撮影方法

Country Status (4)

Country Link
US (1) US20070296829A1 (ja)
EP (1) EP1816854A4 (ja)
JP (1) JP4311668B2 (ja)
WO (1) WO2006052030A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5157898B2 (ja) * 2006-03-30 2013-03-06 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム
JP4757185B2 (ja) * 2006-12-20 2011-08-24 キヤノン株式会社 光学機器
DE102007037726B4 (de) * 2007-08-09 2010-07-08 Lavision Gmbh Verfahren zur berührungslosen Messung von Verformungen einer Oberfläche eines Messobjektes
JP4758493B2 (ja) 2009-04-03 2011-08-31 シャープ株式会社 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体
JP4991887B2 (ja) 2010-01-13 2012-08-01 シャープ株式会社 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体
CN102948141B (zh) * 2010-05-28 2016-08-10 索尼公司 图像捕获装置和图像捕获方法
DE102010053458B4 (de) 2010-12-03 2023-06-22 Testo SE & Co. KGaA Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
JP6136085B2 (ja) * 2011-10-05 2017-05-31 ソニー株式会社 画像取得装置、画像取得方法、およびコンピュータプログラム
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
JP5941758B2 (ja) * 2012-06-06 2016-06-29 オリンパス株式会社 内視鏡装置
WO2014196202A1 (ja) 2013-06-07 2014-12-11 パナソニックＩｐマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム
JP2016052116A (ja) 2014-08-28 2016-04-11 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
JP5893712B1 (ja) * 2014-11-04 2016-03-23 オリンパス株式会社 撮像装置、撮像方法、処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3690234A (en) * 1971-01-18 1972-09-12 Us Air Force Apparatus for taking photographs at times of minimum image motion
US4652928A (en) * 1983-06-15 1987-03-24 Kabushiki Kaisha Toshiba Solid state image sensor with high resolution
JPH04262681A (ja) * 1991-02-18 1992-09-18 Aiwa Co Ltd 固体撮像装置
US5214513A (en) * 1991-07-11 1993-05-25 Eastman Kodak Company Apparatus for imparting motion to a solid-state image sensor
JP3934786B2 (ja) * 1997-05-27 2007-06-20 株式会社リコー 画像入力装置
US6639625B1 (en) * 1997-07-16 2003-10-28 Minolta Co., Ltd. Image sensing device
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
JP2001136350A (ja) * 1999-11-02 2001-05-18 Seiko Epson Corp 画像入力装置、画像入力システム、および画像入力方法、並びにそのための記録媒体
JP2002218328A (ja) * 2001-01-19 2002-08-02 Ricoh Co Ltd 画像入力装置、画像入力方法、およびその方法を実行するためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体
CA2349828A1 (en) * 2001-06-06 2002-12-06 Andrew M. Zador Method, apparatus, and system for extracting denoised, high-resolution images, texture, and velocity from a lower-resolution, noisy detector
WO2003032627A1 (en) * 2001-09-11 2003-04-17 Deltapix Aps A method and apparatus for producing a high resolution image
JP4136470B2 (ja) * 2002-06-05 2008-08-20 オリンパス株式会社 電子的撮像装置
US7212230B2 (en) * 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
US7447382B2 (en) * 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation

Also Published As

Publication number Publication date
WO2006052030A1 (ja) 2006-05-18
EP1816854A4 (en) 2010-08-04
EP1816854A1 (en) 2007-08-08
JP2006140885A (ja) 2006-06-01
US20070296829A1 (en) 2007-12-27

Similar Documents

Publication Publication Date Title
WO2006052030A1 (ja) 撮像装置と撮像システムおよび画像の撮影方法
JP4926920B2 (ja) 防振画像処理装置及び防振画像処理方法
JP5531194B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4607048B2 (ja) 光学モーションセンサをジャイロスコープとして使用する撮像装置
JP4879261B2 (ja) 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体
US8553093B2 (en) Method and apparatus for super-resolution imaging using digital imaging devices
US8760526B2 (en) Information processing apparatus and method for correcting vibration
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
US7783128B2 (en) Method and apparatus for correcting motion distortion and lens distortion of image-taking video signals
JP6209002B2 (ja) 撮像装置およびその制御方法
US8379096B2 (en) Information processing apparatus and method for synthesizing corrected image data
JP4151793B2 (ja) 撮像装置および画像の高解像化方法
US7598979B2 (en) Imaging device with blur reduction system including a primary array and at least one navigation array
JP2006203463A (ja) 画像表示方法、画像撮像方法、及び画像合成方法
JP3380402B2 (ja) 撮像装置
JP2007088828A (ja) 手ぶれ補正装置
WO2016152358A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013017155A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP7453267B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2000069353A (ja) 手ぶれ検出装置および手ぶれ補正装置
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
JP2012124939A (ja) 撮像装置及び撮像装置の制御方法
CN115396596B (zh) 一种超分辨率图像成像方法、装置及存储介质
JP2018050147A (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090508

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4311668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees