JP6685843B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6685843B2
JP6685843B2 JP2016112755A JP2016112755A JP6685843B2 JP 6685843 B2 JP6685843 B2 JP 6685843B2 JP 2016112755 A JP2016112755 A JP 2016112755A JP 2016112755 A JP2016112755 A JP 2016112755A JP 6685843 B2 JP6685843 B2 JP 6685843B2
Authority
JP
Japan
Prior art keywords
image
imaging
images
unit
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016112755A
Other languages
English (en)
Other versions
JP2017220745A (ja
Inventor
佐藤　知之
知之 佐藤
仁司 土屋
仁司 土屋
崇徳 福田
崇徳 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016112755A priority Critical patent/JP6685843B2/ja
Priority to US15/612,383 priority patent/US10477108B2/en
Priority to CN201710414017.5A priority patent/CN107465867A/zh
Publication of JP2017220745A publication Critical patent/JP2017220745A/ja
Application granted granted Critical
Publication of JP6685843B2 publication Critical patent/JP6685843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像装置に関する。
撮像装置の姿勢変化に伴って生じる撮像面上の被写体像の像ブレの量（像移動量）を検出し、検出した像移動量を打ち消す撮像装置が実用化されている。このような撮像装置は、例えば、撮像面と被写体像との位置関係をメカ機構によって補正する光学式像ブレ補正、または画像データ中の有効領域を変更する電子式像ブレ補正などによって、撮像装置の姿勢変化に伴う像ブレを補正する。
光学式像ブレ補正は、例えば、特許文献１により開示されている像ブレを打ち消す方向に移動可能に構成された補正光学系を備える撮像レンズにより像ブレを補正するレンズシフト式像ブレ補正、及び撮像レンズの光軸に対して直交する方向に移動可能に構成された撮像面を備える撮像素子により像ブレを補正するイメージセンサシフト式像ブレ補正などの方式がある。
特開２０１４−０５３７２０号公報
焦点距離の短いレンズ（所謂広角レンズ）などはパースの影響を大きく受ける為、撮像装置の姿勢変化に伴う撮像面上での像移動量は、レンズの光軸を通る光線が結像する像中心の位置で生じる移動量と、像中心の位置に対して周辺部分（像高が大きい領域）の位置で生じる移動量とで異なる。広角レンズを用いた際に、手ブレによって撮像装置の姿勢にあおりを伴う回転方向の変化が生じたときには、撮像面に結像する像に基づく画像データは、像ブレと併せて台形歪みが生じる。この台形歪みは、通常の写真用のレンズが中心射影方式により被写体像を撮像面に投影するものであるために発生する。このため、このような台形歪みを特許文献１のような歪曲収差補正によって補正することは困難である。
本発明は、広角撮影において像ブレ補正の際の画像周辺部の像ブレ残りを抑えることができる撮像装置を提供することを目的とする。
一実施形態に係る撮像装置は、撮像素子と、本体と、情報取得部と、撮像制御部と、姿勢検出部と、台形補正部と、合成部と、を具備する。撮像素子は、光を電気信号に変換する画素が配列された撮像面を備える。本体は、前記撮像素子を保持する。情報取得部は、前記撮像面に被写体像を結像させる撮像光学系の光学特性を取得する。撮像制御部は、撮像指示に応じて前記撮像素子を複数回露光させて前記撮像光学系によって前記撮像面に結像された被写体像に応じた複数の第１の画像を取得する。姿勢検出部は、前記撮像光学系の光軸と直交する方向を回転軸とする方向の予め設定された基準姿勢からの前記本体の姿勢の変化量であるあおり角を露光が行われる毎に検出する。台形補正部は、前記本体の姿勢の変化により複数の前記第１の画像のそれぞれに生じた歪みをそれぞれの前記第１の画像に対応する前記あおり角と前記光学特性とに基づく台形補正により補正して複数の第２の画像を取得する。合成部は、複数の前記第２の画像を合成して第３の画像を取得する。前記姿勢検出部は、複数の前記第１の画像毎に検出した前記あおり角の最大値と最小値とに基づいて、前記基準姿勢を更新し、更新した前記基準姿勢に基づいて複数の前記第１の画像毎の前記あおり角を再検出する。
本発明によれば、広角撮影において像ブレ補正の際の画像周辺部の像ブレ残りを抑えることができる撮像装置を提供することができる。
図１は、中心射影である光学系に入射する光の入射角と、この光により撮像素子の撮像面上に結像される被写体像の像高との関係について説明する為の図である。 図２は、撮像装置の姿勢の変化に応じて生じる像ブレを撮像面をシフトさせることによって補正した場合の像高と像ブレ残り量との関係について説明する為の図である。 図３は、中心射影の光学系により撮像面に結像された被写体像を撮像した場合の画像の例について説明する為の図である。 図４は、中心射影の光学系により撮像面に結像された被写体像を撮像した場合の画像の例について説明する為の図である。 図５は、中心射影の光学系により撮像面に結像された被写体像を撮像した場合の画像の例について説明する為の図である。 図６は、第１の実施形態に係る撮像装置の構成例について説明する為の図である。 図７は、第１の実施形態に係る撮像装置の撮影条件決定部の機能について説明する為の図である。 図８は、第１の実施形態に係る撮像装置のブレ補正マイコンの機能について説明する為の図である。 図９は、第１の実施形態に係る撮像装置の動作の例について説明する為の図である。 図１０は、第１の実施形態に係る撮像装置の動作の例について説明する為の図である。 図１１は、第１の実施形態に係る撮像装置により取得した画像の例について説明する為の説明図である。 図１２は、第１の実施形態に係る撮像装置における手ブレ補正が有効である場合の焦点距離と許容露光時間との関係について説明する為の説明図である。 図１３は、第１の実施形態に係る撮像装置における手ブレ補正が無効である場合の焦点距離と許容露光時間との関係について説明する為の説明図である。 図１４は、第２の実施形態に係る撮像装置の動作の例について説明する為の図である。 図１５は、第２の実施形態に係る撮像装置により取得した画像の例について説明する為の説明図である。 図１６は、第３の実施形態に係る撮像装置の動作の例について説明する為の図である。 図１７は、第３の実施形態に係る撮像装置の動作の例について説明する為の図である。 図１８は、第４の実施形態に係る撮像装置の構成例について説明する為の図である。 図１９は、第４の実施形態に係る撮像装置の動作の例について説明する為の図である。 図２０は、第４の実施形態に係る撮像装置の動作の例について説明する為の図である。
以下、図を参照しながら、一実施形態に係る撮像装置１について詳細に説明する。
まず、撮像装置１の姿勢の変化により生じる像ブレの発生原理について説明する。
図１は、中心射影である光学系に入射する光の入射角と、この光が撮像素子の撮像面上に結像される被写体像の像高（光学系の光軸（光学中心）を通る光線が結像する像中心位置からの距離）との関係を示す図である。図１のＡは、撮像装置１の姿勢の変化が生じていない場合の入射角と像高との関係を示す図である。図１のＢは、撮像装置１の姿勢の変化が生じた場合の入射角と像高との関係を示す図である。図１のＣは、撮像装置１の姿勢の変化により撮像面上に生じた被写体像の像ブレを、撮像面をシフトさせることにより抑制する場合の例を示す図である。
図１のＡに示すように、焦点距離をｆとし、光学系の光軸と重なる座標Ａに被写体が存在し、光学系の光軸に対して角度θを成す直線上の座標Ｂに被写体が存在し、座標Ａの被写体が結像された撮像面上の座標をａとし、座標Ｂの被写体が結像された撮像面上の座標をｂとした場合、座標ａと座標ｂとの距離ａ−ｂである像高は、ｆｔａｎθで表される。
図１のＢに示すように、撮像装置１にΔθの姿勢の変化（角度ブレ）が生じた場合、座標ａが座標ａ’に移動し、座標ｂが座標ｂ’に移動する。
図１のＣに示すように、撮像装置１にΔθの姿勢の変化（角度ブレ）に応じて撮像面をシフトさせることにより、座標Ａの被写体の被写体像は撮像面上での座標ａ’’に移動し、座標Ｂの被写体の被写体像は撮像面上での座標ｂ’’に移動する。
座標ａから座標ａ’の像移動量をａ−ａ’とし、座標ｂから座標ｂ’の像移動量をｂ−ｂ’とし、像ブレ補正後の像移動量である座標ａから座標ａ’’の像移動量をａ−ａ’’とし、像ブレ補正後の像移動量である座標ｂから座標ｂ’’の像移動量をｂ−ｂ’’とした場合、各移動量は、以下の数式１により表すことができる。
上記のように単純に角度ブレΔθに応じて撮像面をシフトさせることによって、撮像面では、光軸を通る光線が結像する像中心位置での像ブレを補正することができる。しかし、撮像面の周辺部では、撮像面のシフトによる像ブレの補正量が不足して、像ブレが残る可能性がある。即ち像移動量ａ−ａ’’がゼロになったとしても、像移動量ｂ−ｂ’’はゼロにはならない。
撮像面の周辺部での像移動量であるｂ−ｂ’’を像ブレ残り量Δλ、座標ａと座標ｂとの距離であるａ−ｂ＝ｆｔａｎθを座標ｂにおける像高λとした場合、正接の加法定理によりΔλを以下の数式２により表すことができる。
ここでΔθ≒０である場合ｔａｎΔθ＝Δθとなる為、λ＝ｆｔａｎθを変形したｔａｎθ＝λ／ｆに基づいてΔλを以下の数式３により表すことができる。
図２は、撮像装置１の姿勢の変化に応じて生じる像ブレを撮像面をシフトさせることによって補正した場合の像高と像ブレ残り量との関係を示す図である。なお、図２のグラフは、撮像面の大きさが１７．３ｍｍ×１３ｍｍである撮像素子に焦点距離fが１２ｍｍである光学系によって結像された被写体像は、撮像装置１にΔθ＝０．７°の姿勢の変化が生じた場合の像高と像ブレ残り量との関係を示す。より具体的には、図２のグラフは、像高＝０である位置の像移動量が０になるように撮像面をシフトさせた場合の像高と像ブレ残り量との関係を示す。図２に示されるように、像高に応じて像ブレ残り量が大きくなる。
図３乃至図５は、上記したような中心射影の光学系により撮像面に結像された被写体像を撮像した場合の画像の例を示す。
図３のＡは、撮像装置１の姿勢の変化が生じていない場合の画像の例を示す。図３のＢは、撮像装置１の姿勢が図３のＡの画像を撮像した時の姿勢から光学系の光軸と直交する第１の方向であるヨー軸（Ｙａｗ軸）周りの方向（ヨー方向）に変化した場合の画像の例を示す。図３のＣは、撮像装置１のヨー方向の姿勢の変化に応じてシフトされた撮像面により撮像された画像の例を示す。即ち、図３のＣは、センサシフト方式によって像ブレ補正された場合の画像の例を示す。
図４のＡは、撮像装置１の姿勢の変化が生じていない場合の画像の例を示す。図４のＢは、撮像装置１の姿勢が図４のＡの画像を撮像した時の姿勢から光学系の光軸とヨー軸とに直交する第２の方向であるピッチ軸（Ｐｉｔｃｈ軸）周りの方向（ピッチ方向）に変化した場合の画像の例を示す。図４のＣは、撮像装置１のピッチ方向の姿勢の変化に応じてシフトされた撮像面により撮像された画像の例を示す。即ち、図４のＣは、センサシフト方式によって像ブレ補正された場合の画像の例を示す。
図５のＡは、撮像装置１の姿勢の変化が生じていない場合の画像の例を示す。図５のＢは、撮像装置１の姿勢が図５のＡの画像を撮像した時の姿勢からピッチ方向及びヨー方向に変化した場合の画像の例を示す。図５のＣは、撮像装置１のピッチ方向及びヨー方向の姿勢の変化に応じてシフトされた撮像面により撮像された画像の例を示す。即ち、図５のＣは、センサシフト方式によって像ブレ補正された場合の画像の例を示す。
通常の写真用の光学系は、中心射影によって被写体像を撮像面に結像させる原理となっている為、数式３に示されるように周辺部の像ブレ残り量Δλは、光学中心を通る光線が結像する像中心位置からの像高λの二乗に比例して増加する。この為、光学系の焦点距離が短くなるほど光学中心の像移動量に対して撮像面上の光学中心から所定の像高において生じる被写体像の像移動量が大きくなる。このように画面全体で一様では無い為、例えば、撮像装置１の姿勢がヨー方向及び／またはピッチ方向に変化した場合、図３のＢ、図４のＢ、及び図５のＢに示されるように被写体像が台形状に変形する台形歪みが生じる。このような台形歪みは、図３のＣ、図４のＣ、及び図５のＣに示されるように撮像面をシフトさせても補正しきれず、周辺部における像ブレの補正残りである周辺像ブレが残る。
（第１の実施形態）
図６は、第１の実施形態に係る撮像装置１の構成例を示す。撮像装置１は、像ブレ補正装置を搭載したレンズ交換式カメラである。撮像装置１は、交換レンズ２及びカメラ本体３を備える。撮像装置１は、１回の撮像指示に応じて測光結果などに応じて決定された露光時間よりも短い露光時間で複数回露光を行うことによって取得した複数の画像をそれぞれ台形補正し、台形補正した画像を合成することによって、撮影像の台形歪みによる像の変形を補正して、かつ画像周辺部まで適切に像ブレを補正する撮影を実行する。
交換レンズ２は、カメラ本体３に対して着脱自在に構成されている。交換レンズ２は、カメラ本体３に装着された場合にカメラ本体３と互いに通信可能な状態で接続される。これにより、交換レンズ２とカメラ本体３とは協働して動作する。交換レンズ２は、光学系１１、及びレンズコントロールユニット（ＬＣＵ）１２を備える。
光学系１１は、中心射影方式の撮像レンズである。光学系１１は、図示しない被写体からの光束をカメラ本体３の撮像素子２１の撮像面上に結像させる。光学系１１は、例えば、複数のレンズと、レンズを介して撮像素子２１に入射する光束の量を調整する絞りと、光学系１１の焦点距離を変更する為のレンズ（ズームレンズ）１３と、を備える。光学系１１は、ズームレンズ１３の位置を光学系１１の光軸方向に移動させることによって光学系１１の焦点距離（画角）を変更する。さらに、光学系１１は、ピント位置を変更する為の合焦用のフォーカスレンズをさらに備える構成であってもよい。
ＬＣＵ１２は、例えば、ＣＰＵ、及びメモリなどを含むコントローラであり、交換レンズ２の動作を制御する。例えば、ＬＣＵ１２は、カメラ本体３のシステムコントローラ２３からの指示に応じて、光学系１１のレンズ、及び絞りの駆動を制御する。また、ＬＣＵ１２は、システムコントローラ２３からの指示に応じて、ズームレンズ１３の位置を変更することにより、光学系１１の画角を変更してもよい。
ＬＣＵ１２は、交換レンズ２に関する種々の情報（光学特性情報）をメモリに保持する。ＬＣＵ１２は、例えば、光学特性情報として、交換レンズ２の機種名、焦点距離、射影方式、歪曲収差の補正情報、及び光学系１１の現在の設定を示す情報等をメモリに保持する。ＬＣＵ１２は、システムコントローラ２３からの指示に応じて、メモリに記憶されている光学特性情報をカメラ本体３に供給する。
カメラ本体３は、撮像素子２１、ブレ補正部２２、システムコントローラ２３、ブレ補正マイクロコンピュータ（マイコン）２４、ジャイロセンサ２５、電子ビューファインダ（ＥＶＦ）２６、記録媒体２７、及び操作部２８を備える。
撮像素子２１は、光を光電変換し電荷を蓄える画素が複数配列されて構成された撮像面を備える。撮像素子２１は、カメラ本体３内に保持される。撮像素子２１は、例えば、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成される。撮像素子２１は、光学系１１によって撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子２１は、アナログ電気信号である画像信号をディジタル信号である画像データに変換して出力する。
ブレ補正部２２は、ブレ補正マイコン２４で生成される駆動信号に応じて撮像素子２１の撮像面を光学系１１の光軸と直交する面内で移動させることにより、撮像装置１の姿勢変化に伴って生じる撮像面上の被写体像の像ブレを補正する。
システムコントローラ２３は、例えばＣＰＵ、及びメモリなどを含み、カメラ本体３の動作を制御するコントローラである。例えば、システムコントローラ２３は、撮像素子２１で得られた画像データを読み出し、読み出した画像データに対して表示や記録に必要な各種の画像処理を施す。また、システムコントローラ２３は、交換レンズ２のＬＣＵ１２に対し、露出調整のための絞りの駆動やピント調整のためのレンズの駆動を指示する。また、システムコントローラ２３は、ＥＶＦ２６における画像表示の制御、記録媒体２７への画像ファイルの記録の制御、操作部２８の操作に従って動作モードを切り替える制御、及び撮影動作の開始又は終了の制御などを行う。
また、システムコントローラ２３は、交換レンズ２から光学特性情報を取得する情報取得部として機能する。例えば、システムコントローラ２３は、起動時、及び／または定期的に交換レンズ２から光学特性情報を取得することにより、交換レンズ２の光学特性を逐次認識する。システムコントローラ２３は、取得した光学特性情報をブレ補正マイコン２４に入力する。
また、システムコントローラ２３は、撮像制御部３１、露出制御部３２、撮影条件決定部３３、台形補正部３４、合成部３５、及びトリミング部３６を備える。撮像制御部３１、露出制御部３２、撮影条件決定部３３、台形補正部３４、合成部３５、及びトリミング部３６は、システムコントローラ２３内に回路等のハードウエアとして設けられていてもよいし、システムコントローラ２３のＣＰＵがメモリから読み出したプログラムによって構成されるものであってもよい。
撮像制御部３１は、撮像指示に応じて撮像素子２１を露光させて光学系１１によって撮像素子２１の撮像面に結像された被写体像に応じた複数の画像（第１の画像）を取得する。例えば、撮像制御部３１は、１回の撮像指示に応じて撮像素子２１を複数回露光させて光学系１１によって撮像素子２１の撮像面に結像された被写体像に応じた複数の第１の画像を取得する。また、撮像制御部３１は、撮像指示としての撮像開始指示が入力されてから撮像指示としての撮像終了指示が入力されるまでの間に所定の露光時間で撮像素子２１を複数回露光させて複数の第１の画像を取得する構成であってもよい。
露出制御部３２は、撮像面に結像した被写体像に基づいて被写体像の明るさを示す輝度情報を測定し、輝度情報に基づいて被写体の明るさを適正にするために必要な露光時間（合計露光時間）を決定する。さらに、露出制御部３２は、輝度情報に基づいて絞り値及び／または撮像素子２１の感度を設定する構成であってもよい。なお、絞り値、撮像素子２１の感度、及び露光時間は、マニュアルで設定されたものであってもよい。
撮影条件決定部３３は、システムコントローラ２３がＬＣＵ１２から取得した光学特性に含まれる光学系１１の焦点距離に基づいて、撮像素子２１の露光時間と撮像枚数とを含む撮影条件を決定する。例えば、撮影条件決定部３３は、システムコントローラ２３がＬＣＵ１２から取得した光学特性に含まれる光学系１１の焦点距離に基づいて、１回の露光時間である分割露光時間を決定し、露出制御部３２により決定された合計露光時間と分割露光時間とに基づいて撮像枚数を決定する。
図７は、撮影条件決定部３３の機能をブロックとして示すブロック図である。撮影条件決定部３３は、許容露光時間算出部５１及び撮像枚数決定部５２を備える。許容露光時間算出部５１は、焦点距離から像ブレを許容範囲に収める為の露光時間である許容露光時間を算出する。許容露光時間算出部５１は、許容露光時間を分割露光時間として設定する。なお、許容露光時間算出部５１は、許容露光時間より短い露光時間を分割露光時間として設定する構成であれば、如何なる時間を分割露光時間として設定する構成であってもよい。撮像枚数決定部５２は、分割露光時間で露光を行う場合に何枚の第１の画像を取得すれば合計露光時間に相当するか判断して撮像枚数を決定する。例えば撮影条件決定部３３は、合計露光時間を分割露光時間で除算して撮像枚数を決定する。
台形補正部３４は、カメラ本体３の姿勢の変化により複数の第１の画像のそれぞれに生じた歪みを複数の第１の画像毎のカメラ本体３の姿勢に基づいて台形補正して第２の画像を取得する。台形補正部３４の詳しい動作については後述する。
合成部３５は、複数の第２の画像の中心を合わせて合成し、第３の画像を取得する。このとき、第１の画像の撮影中にブレ補正部２２を常に動作させた場合、撮像面の中心の像は一定の被写体に保持される。この為、合成部３５は、特に位置合わせを行わず、単に画像の中心（画角中心）を合わせて合成する構成であればよい。
なお、合成部３５は、パターンマッチングなどの手法により、画像の位置ずれを検出し、検出したずれを位置合わせして合成する構成であってもよい。このような構成によると、例えば一連の撮影中にブレ補正部２２によって像中心位置の像ブレを補正しきれない大きな像ブレが生じた場合であっても、複数の画像間の位置ずれを位置合わせによって補正して合成処理をして第３の画像を取得することによって、より高精度な、像ブレ補正効果を得ることができる。
合成部３５は、既知である種々の画像の合成方法を用いて複数の第２の画像を合成して、第３の画像を取得することができる。例えば、合成部３５は、複数の第２の画像の画素の出力値を各座標毎に平均化する平均化合成により合成して第３の画像を取得する。
また、例えば、合成部３５は、複数の第２の画像の画素の出力値を各座標毎に加算する加算合成により合成して第３の画像を取得する構成であってもよい。
また、他の処理の例として例えば、合成部３５は、複数の第２の画像の画素の出力値を各座標毎に比較してより明るい値を採用する比較明合成により合成して第３の画像を取得する構成であってもよい。
トリミング部３６は、第３の画像から矩形状の画像を切り出す。第２の画像には、第１の画像から台形補正を行った際に画像情報が存在しない領域が含まれる。トリミング部３６は、複数の第２の画像において画像情報が存在しない領域を含まない矩形状の領域を切り出し範囲として設定し、設定した切り出し範囲で第３の画像から画像を切り出す。システムコントローラ２３は、切り出した画像を記録媒体２７に記録する。
ブレ補正マイコン２４は、像ブレ補正に関する制御を行うマイクロコンピュータである。ブレ補正マイコン２４は、ジャイロセンサ２５から角速度信号を取得し、システムコントローラ２３から交換レンズ２の光学特性情報を取得する。ブレ補正マイコン２４は、取得した角速度信号及び光学特性情報に基づいてブレ補正部２２を制御することにより、像ブレを補正する。例えば、ブレ補正マイコン２４は、取得した角速度信号及び光学特性情報に基づいて撮像面上での被写体像の像ブレの方向と像移動量とを算出する。ブレ補正マイコン２４は、算出した像ブレの方向と像移動量とに応じて像ブレを打ち消す方向に撮像面を移動させるようにブレ補正部２２を制御することにより、像ブレを補正する。即ち、ブレ補正マイコン２４は、光学系１１により撮像面上に結像された被写体像と撮像面との位置関係を調整することにより、像ブレを補正する。
ジャイロセンサ２５は、カメラ本体３の姿勢の変化に伴って生じるカメラ本体３の回転運動を角速度信号として検出する。より具体的には、ジャイロセンサ２５は、光学系１１の光軸と直交する第１の方向であるヨー軸（Ｙａｗ軸）周りの方向（ヨー方向）のカメラ本体３の姿勢の変化、及び光学系１１の光軸とヨー軸とに直交する第２の方向であるピッチ軸（Ｐｉｔｃｈ軸）周りの方向（ピッチ方向）のカメラ本体３の姿勢の変化を角速度信号として検出する。
ブレ補正マイコン２４は、ジャイロセンサ２５により検出された角速度信号に応じて、予め設定された基準姿勢からのカメラ本体３の姿勢の変化量であるあおり角を検出する姿勢検出部として機能する。例えば、ブレ補正マイコン２４は、撮像指示が入力されてから最初に露光を行った時のカメラ本体３の姿勢を基準姿勢として、複数回の露光時毎にカメラ本体３の基準姿勢からの変化量としてあおり角を検出する。
ＥＶＦ２６は、種々の画面を表示する表示部である。ＥＶＦ２６は、例えば液晶ディスプレイ、または有機ＥＬディスプレイなどの表示装置を備える。ＥＶＦ２６は、システムコントローラ２３によって生成された画面を表示装置に表示する。これにより、ＥＶＦ２６は、撮像素子２１により撮像された画像、及び設定の為のメニュー画面などを表示装置に表示することができる。なお、ＥＶＦ２６は、ファインダ接眼部内に設けられた接眼光学系をさらに備え、接眼光学系を介して表示装置をユーザに視認させる構成であってもよい。
記録媒体２７は、画像ファイルを記録する記録媒体である。記録媒体２７は、例えばメモリカードである。
操作部２８は、ユーザによって操作される操作部材を備える。例えば、操作部２８は、操作部材としてレリーズボタンなどを備える。レリーズボタンは、操作に応じて上記の撮像指示をシステムコントローラ２３に与えるものであり、カメラ本体３による静止画撮影処理を実行させる為のボタンである。またさらに、操作部２８は、カメラ本体３の動作モード、または露出制御などの種々の設定を変更する為のボタンを操作部材として備えていてもよい。例えば、操作部２８は、台形補正の実施／非実施の設定、周辺像ブレ補正撮影の実施／非実施の設定、合成方法の設定、及び切り出し領域のサイズの設定などを変更する為のボタンを操作部材として備えていてもよい。
次に、ブレ補正マイコン２４の詳細について説明する。図８は、ブレ補正マイコン２４の構成の例を示す図である。図８に示すように、ブレ補正マイコン２４は、アナログデジタル変換器（ＡＤＣ）４１、基準値減算部４２、乗算部４３、積分部４４、及び補正量出力部４５を備える。図８に示した構成により、撮像面における１方向の像ブレ補正の制御を行うことができる。即ち、ブレ補正マイコン２４は、像ブレ補正を行う方向毎に図８に示す構成を備えることにより、複数の方向の像ブレ補正の制御を行うことができる。ここでは、説明を簡単にするためにブレ補正マイコン２４の１方向の像ブレ補正の制御について説明する。
ＡＤＣ４１は、ジャイロセンサ２５から出力されたアナログの角速度信号をディジタル信号に変換し、ディジタルの角速度を出力する。
基準値減算部４２は、ＡＤＣ４１から出力された角速度信号の値から角速度基準値を減算する。角速度基準値は、カメラ本体３が静止しているときの角速度信号の値である。ＡＤＣ４１の出力から角速度基準値を減算することにより、基準値減算部４２は、符号を持った角速度の値を出力する。このとき、角速度の値の符号は、回転方向を示すことになる。
乗算部４３は、基準値減算部４２の出力（符号を持った角速度の値）に対して光学特性を乗算する。具体的には、乗算部４３は、基準値減算部４２の出力に対して光学系１１の焦点距離に応じた係数を乗算することにより、撮像面における像移動量及び像の移動の方向を算出する。
積分部４４は、乗算部４３の出力を積分することにより、単位時間当たりの像移動量を算出する。例えば、積分部４４は、露光時間の間の検出結果に基づいて積分を行うことにより、露光時間の間に生じた像移動量を算出する。
補正量出力部４５は、被写体像の像ブレを打ち消すようにブレ補正部２２動作させる為の駆動信号を生成する。即ち、補正量出力部４５は、積分部４４で算出した像移動量に基づいて、像移動を打ち消すための撮像素子２１の撮像面の駆動量を算出し、この駆動量に基づいてブレ補正部２２を駆動する為の駆動信号を生成し、出力する。駆動信号は、ブレ補正部２２に設けられたモータを駆動するための駆動パルス又はブレ補正部２２による像ブレ補正の目標駆動位置といった情報を含む信号である。
図９は、周辺像ブレ補正撮影を行う際の撮像装置１の動作を示すフローチャートである。なお、図９では、周辺像ブレ補正撮影に関する動作について示しているが、手ブレ補正に関わる制御、及び測光などの処理が並行して実行されている。システムコントローラ２３は、撮像指示が入力された場合、図９の処理を実行する。
システムコントローラ２３は、周辺像ブレ補正を実施するかを判定する（ステップＳ１１）。即ち、システムコントローラ２３は、台形補正を行うことによって周辺像ブレの抑制を行うか否かを判定する台形補正実施判定部として機能する。例えば、システムコントローラ２３は、予めＬＣＵ１２から取得した光学特性が示す情報に基づいて周辺像ブレ補正を実施するかを判定する。具体的には、システムコントローラ２３は、予めＬＣＵ１２から取得した光学特性が予め設定された焦点距離よりも短い焦点距離を示し、且つ射影方式が中心射影である場合に周辺像ブレ補正を実施すると判定する。なお、システムコントローラ２３は、露出制御部３２により測光を行うことによって合計露光時間を逐次算出し、算出した合計露光時間が予め設定された許容露光時間よりも長い場合に周辺像ブレ補正を実施すると判定してもよい。許容露光時間は、露光時の像ブレを抑制することが可能な露光時間を示す。許容露光時間は、固定であってもよいし、光学系１１の焦点距離に基づいてシステムコントローラ２３が算出したものであってもよい。
なお、システムコントローラ２３は、光学特性が示す焦点距離と射影方式との少なくとも一方に基づいて周辺像ブレ補正を実施するか否かを判定する構成であってもよい。
周辺像ブレ補正を実施すると判定した場合（ステップＳ１１、ＹＥＳ）、システムコントローラ２３は、露出制御部３２及び撮影条件決定部３３により露出条件として分割露光時間と撮像枚数とを決定する（ステップＳ１２）。
図１０は、露出条件決定処理を行う際の撮像装置１の動作を示すフローチャートである。例えば、システムコントローラ２３は、露出制御部３２により自動露出処理（ＡＥ処理）を行うことにより合計露光時間、撮像素子２１の感度、及び絞り値などを算出する（ステップＳ２１）。
撮影条件決定部３３は、ブレ補正部２２による手ブレ補正が有効であるか（手ブレ補正を動作させるか）否か判断する（ステップＳ２２）。ブレ補正部２２による手ブレ補正が有効であると判断した場合（ステップＳ２２、ＹＥＳ）、撮影条件決定部３３は、測光結果である輝度情報と、手ブレ補正による撮像面の移動量と、光学系１１の焦点距離とに基づいて手ブレ補正有効時の許容露光時間を算出し、この許容露光時間よりも短い分割露光時間を決定する（ステップＳ２３）。さらに、撮影条件決定部３３は、合計露光時間と分割露光時間とに基づいて撮像枚数を決定する（ステップＳ２４）。
ブレ補正部２２による手ブレ補正が有効ではないと判断した場合（ステップＳ２２、ＮＯ）、撮影条件決定部３３は、測光結果である輝度情報と、光学系１１の焦点距離とに基づいて手ブレ補正無効時の許容露光時間を算出し、この許容露光時間よりも短い分割露光時間を決定する（ステップＳ２５）。さらに、撮影条件決定部３３は、合計露光時間と分割露光時間とに基づいて撮像枚数を決定する（ステップＳ２４）。
上記のように、撮影条件決定部３３は、手ブレ補正を有効にすることによって許容露光時間を長くすることができ、撮像枚数を少なくすることができる為、台形補正及び合成の処理負荷を軽減することができる。
次にシステムコントローラ２３は、図９に示すように、ステップＳ１２の処理結果に従って撮像制御部３１により撮像素子２１に露光を実行させ、映像読み出しを行う（ステップＳ１３）。即ち、撮像制御部３１は、撮影条件決定部３３により決定された分割露光時間に応じて撮像素子２１に露光を実行して第１の画像を取得する。また、この際、システムコントローラ２３は、ブレ補正マイコン２４により算出されたあおり角を取得する。
システムコントローラ２３は、第１の画像とこの第１の画像の露光時のカメラ本体３のあおり角とを台形補正部３４に入力し、台形補正部３４により第１の画像に対して台形補正を行い、第２の画像を取得する（ステップＳ１４）。
システムコントローラ２３は、ステップＳ１２で決定した撮像枚数の撮像が終了したか否か判定する（ステップＳ１５）。
システムコントローラ２３は、ステップＳ１２で決定した撮像枚数の撮像が終了していないと判定した場合（ステップＳ１５、ＮＯ）、ステップＳ１３の処理に移行する。これにより、システムコントローラ２３は、決定した撮像枚数に応じた数の第１の画像を取得し、取得した第１の画像を台形補正して第２の画像を取得する。
図１１は、図９及び図１０のフローによって取得した画像の例を示す。図１１のＡは、複数回の露光により取得した複数の第１の画像の例を示す。図１１のＢは、第１の画像を台形補正した複数の第２の画像の例を示す。
システムコントローラ２３は、ステップＳ１２で決定した撮像枚数の撮像が終了したと判定した場合（ステップＳ１５、ＹＥＳ）、取得した複数の第２の画像を合成部３５により合成して第３の画像を取得する（ステップＳ１６）。例えば、合成部３５は、複数の第２の画像における像中心位置を合わせて、複数の第２の画像の画素の値を各座標毎に平均化合成、加算合成、または比較明合成により合成して第３の画像を取得する。図１１のＣは、複数の第２の画像を合成して得られた第３の画像の例を示す。システムコントローラ２３は、第１の画像を取得する毎に第１の画像を第２の画像に補正し、補正した第２の画像を取得する毎にそれまでに取得した複数の第２の画像を用いて第３の画像を生成する構成であってもよいし、決定した撮像枚数の撮像が完了してから第３の画像を生成する構成であってもよい。
システムコントローラ２３は、図１１のＣに示すようにトリミング部３６により複数の第２の画像に基づいて第３の画像上に矩形状の切り出し範囲を設定し、設定した切り出し範囲で第３の画像から画像を切り出し（ステップＳ１７）、周辺像ブレ補正処理を終了する。システムコントローラ２３は、トリミング部３６により切り出された画像データを記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成し、画像ファイルを記録媒体２７に記録する。
また、ステップＳ１１において周辺像ブレ補正を実施しないと判定した場合（ステップＳ１１、ＮＯ）、システムコントローラ２３は、通常の撮像処理を行う（ステップＳ１８）。
上記の処理により、撮像装置１は、図１１に示すように画像周辺の像ブレも適正に抑制された画像を取得することができる。
次に許容露光時間の算出方法について詳細に説明する。
手ブレが生じやすくなる露光時間を手ブレ限界秒時ｔとし、光学系１１の実焦点距離をｆとし、３５ｍｍ判換算の焦点距離をｆ３５とし、撮像素子２１の撮像面のサイズの３５ｍｍ判に対する倍率をαとした場合、手ブレ限界秒時ｔは、一般的に次の数式４によって表される。
角度ブレをΔθとし、手ブレ限界秒時ｔの像ブレ量をΔλとし、撮像面上の光学系１１の光学中心からの距離をλとし、手ブレ限界秒時ｔの撮像面の画面中心の像ブレ量をＤとした場合、像ブレ量Δλと角度ブレΔθとの関係を以下の数式５のように表すことができる。
画面中心の像ブレ量Ｄは、手振れが許容できる限界の像ブレ量と考えることができる為、数式４と数式５より角度ブレΔθ、像ブレ量Ｄ、手ブレ限界秒時ｔ、及び倍率αの関係を以下の数式６のように表すことができる。
さらに数式６を数式３に代入することにより、以下の数式７が得られる。
数式７を手ブレ限界秒時ｔについて解くことにより、光学中心からの距離がλである位置における手ブレ限界秒時ｔを示す数式８が得られる。
この数式８に基づいて、光学中心からの距離がλであり、焦点距離がｆである場合の手ブレ限界秒時ｔを算出することができる。
例えばサイズが１７．３ｍｍ×１３ｍｍである撮像面の中心から撮像面の対角長の０．４倍の距離λの位置における像ブレ残り量が、手振れ補正がＯＦＦで手ブレ限界秒時ｔと同程度に収まるシャッター速度である許容露光時間ｔ０は、以下の数式９により算出することができる。
また、上記の数式８に基づいて、手ブレ補正が有効である場合の焦点距離と許容露光時間との関係を図１２のように示すことができる。上記の数式８によると、例えば、焦点距離ｆを７ｍｍとし、距離λをサイズが１７．３ｍｍ×１３ｍｍである撮像面の中心から撮像面の対角長の０．４倍とし、露光時間（合計露光時間）を１秒とした場合の許容露光時間（像ブレ補正有効時）は、０．０４６７２９[sec]となり、撮像枚数（像ブレ補正有効時）は、２１．４枚となる。
また、手ブレ補正が無効である場合の周辺部における最大の像ブレ量をΔλ’とした場合、以下の数式１１のように表すことができる。
ここで、Δλ’とＤとが等しくなる場合、手ブレ補正が無効である場合の許容露光時間ｔ０’になったと考えることができる為、数式１０を以下の数式１１のように表すことができる。
さらに、数式１１に数式６を代入することにより、数式１１を以下の数式１２のように表すことができる。
さらに、数式１２を変形することにより、手ブレ補正が無効である場合の許容露光時間ｔ０’を示す以下の数式１３が得られる。
例えばサイズが１７．３ｍｍ×１３ｍｍである撮像面の中心から撮像面の対角長の０．４倍の距離λの位置における像ブレ量を許容範囲に収める為の許容露光時間ｔ０’は、以下の数式１４により算出することができる。
また、上記の数式１４に基づいて、手ブレ補正が無効である場合の焦点距離と許容露光時間との関係を図１３のように示すことができる。
また、上記の数式１４によると、例えば、焦点距離ｆを７ｍｍとし、距離λをサイズが１７．３ｍｍ×１３ｍｍである撮像面の中心から撮像面の対角長の０．４倍とし、露光時間（合計露光時間）を１秒とした場合の許容露光時間（像ブレ補正無効時）は、０．０２８２４９[sec]となり、撮像枚数（像ブレ補正無効時）は、３５．４枚となる。
上記したように撮影条件決定部３３は、焦点距離に基づいて合計露光時間の露光を行う場合に撮像面上の光学系１１の光学中心から所定の距離の位置において生じる被写体像の移動量である像移動量を予測する。撮影条件決定部３３は、像移動量が予め設定された許容範囲内に収める為の許容露光時間を算出する。撮影条件決定部３３は、連続露光における１回の露光時間である分割露光時間として許容露光時間より短い露光時間を設定する。なお、上記の許容露光時間の算出方法はあくまで一例であり、如何なる方法で算出されたものであってもよい。
次に、台形補正部３４による台形補正について詳細に説明する。
台形補正部３４は、第１の画像に対してディジタル的にシフトレンズの画像を再現する技術に従って台形補正（座標変換）を行う。台形補正部３４は、複数の第１の画像のそれぞれの取得時のあおり角θと光学系１１の焦点距離ｆとに基づいて台形補正を行い、複数の第２の画像を取得する。これにより、台形補正部３４は、カメラ本体３の姿勢の変化により複数の第１の画像のそれぞれに生じた台形歪み補正する。
なお、台形補正部３４は、ブレ補正部２２が撮像面をシフトさせない場合には、画角中心が像中心位置（光軸）と重なっている為、画角中心を像中心位置として台形補正を行う。一方、台形補正部３４は、ブレ補正部２２が撮像面をシフトさせる場合には、シフトによって移動した像中心位置に基づいて台形補正を行う。
とした場合、射影変換前後の座標の関係は、
となる。
Ｒは、ヨー方向及びピッチ方向への回転行列である為、ヨー方向のあおり角をθyaw、ピッチ方向のあおり角をθpitchとした場合、
となる。
また、画面上における基準点を
とした場合、
となる。
この座標を中心射影方式で撮像面に投影すると以下のようになる。
この座標（ｘ’’，ｙ’’）が、座標（ｘ，ｙ）を台形補正した座標である。
例えば、焦点距離ｆ＝７ｍｍであり、ヨー方向のあおり角θyaw＝3.0degであり、ピッチ方向のあおり角θpitch＝1.0degであり、基準点（ｘ，ｙ）＝（０，０）であるとした場合、撮像面上における座標Ｐ０（０，０）、座標Ｐ１（３，４）、座標Ｐ２（−４，−３）の台形補正後の座標Ｐ０’’、座標Ｐ１’’、座標Ｐ２’’、は、座標Ｐ０’’（０，０）、座標Ｐ１’’（３．０３７，４．０５０）、座標Ｐ２’’（−３．９１０，−２．９３４）となる。
上記したように、第１の実施形態に係る撮像装置１は、１回の撮像指示に応じて撮像素子２１を複数回露光させて光学系１１によって撮像面に結像された被写体像に応じた複数の第１の画像を取得する。撮像装置１は、光学系１１の光軸と直交する方向を回転軸とする方向の予め設定された基準姿勢からのカメラ本体３の姿勢の変化量であるあおり角を第１の画像を取得する毎に検出する。撮像装置１は、カメラ本体３の姿勢の変化により複数の第１の画像間に生じた台形歪みを複数の第１の画像毎のあおり角と光学系１１の焦点距離などの光学特性とに基づいて台形補正して複数の第２の画像を取得する。撮像装置１は、複数の第２の画像間の位置ずれ量を検出し、検出した位置ずれ量に基づいて複数の第２の画像を位置合わせし、複数の第２の画像を合成して第３の画像を取得する。このような構成によると、撮像装置１は、台形歪を補正してから画像を合成する為、あおり角度が異なる画像を合成することができる。この結果、撮像装置１は、周辺部における像ブレを残すことなく画像を合成することができる。
（第２の実施形態）
次に第２の実施形態に係る撮像装置１について説明する。なお、第２の実施形態に係る撮像装置１は、図６に示された撮像装置１とカメラ本体３の基準姿勢の決定方法が異なる。
第２の実施形態に係る撮像装置１のブレ補正マイコン２４は、撮像指示が入力されてから最初に露光を行った時のカメラ本体３の姿勢を基準姿勢として、複数回の露光時毎にカメラ本体３の基準姿勢からの変化量としてあおり角を検出する。さらに、ブレ補正マイコン２４は、複数の第１の画像毎に検出したあおり角の最大値と最小値とに基づいて、基準姿勢を更新し、更新した基準姿勢に基づいて複数の第１の画像毎のあおり角を再検出する。ブレ補正マイコン２４は、再検出したあおり角をシステムコントローラ２３に入力する。この場合、台形補正部３４は、複数の第１の画像毎に再検出したあおり角θと光学系１１の焦点距離ｆとに基づいて台形補正を行い、複数の第２の画像を取得する。
図１４は、第２の実施形態に係る周辺像ブレ補正撮影を行う際の撮像装置１の動作を示すフローチャートである。なお、図１４では、周辺像ブレ補正撮影に関する動作について示しているが、手ブレ補正に関わる制御、及び測光などの処理が並行して実行されている。システムコントローラ２３は、撮像指示が入力された場合、図１４の処理を実行する。
システムコントローラ２３は、周辺像ブレ補正を実施するかを判定する。（ステップＳ３１）。
周辺像ブレ補正を実施すると判定した場合、システムコントローラ２３は、露出制御部３２及び撮影条件決定部３３により露出条件として分割露光時間と撮像枚数とを決定する（ステップＳ３２）。
次にシステムコントローラ２３は、ステップＳ１２の処理結果に従って撮像制御部３１により撮像素子２１に露光を実行させ、映像読み出しを行う（ステップＳ３３）。
システムコントローラ２３は、第１の画像とこの第１の画像の露光時のカメラ本体３のあおり角とを対応付けて記録する（ステップＳ３４）。
システムコントローラ２３は、ステップＳ３２で決定した撮像枚数の撮像が終了したか否か判定する（ステップＳ３５）。
システムコントローラ２３は、ステップＳ３２で決定した撮像枚数の撮像が終了していないと判定した場合（ステップＳ３５、ＮＯ）、ステップＳ３３の処理に移行する。これにより、システムコントローラ２３は、決定した撮像枚数に応じた数の第１の画像を取得する。
システムコントローラ２３は、ステップＳ３２で決定した撮像枚数の撮像が終了したと判定した場合（ステップＳ３５、ＹＥＳ）、複数の第１の画像毎のあおり角に基づいて、基準姿勢を更新し、更新した基準姿勢に基づいて複数の第１の画像毎のあおり角を更新する（ステップＳ３６）。例えば、撮影条件決定部３３は、複数の第１の画像毎のあおり角の平均値または中央値などの中心傾向に基づいてカメラ本体３の基準姿勢を更新する。撮影条件決定部３３は、更新したカメラ本体３の基準姿勢に基づいて、複数の第１の画像毎のあおり角を更新する。
システムコントローラ２３は、複数の第１の画像と撮影条件決定部３３により更新された複数の第１の画像毎のあおり角とを台形補正部３４に入力し、台形補正部３４により第１の画像に対して台形補正を行い、複数の第２の画像を取得する（ステップＳ３７）。
システムコントローラ２３は、取得した複数の第２の画像を合成して第３の画像を取得する（ステップＳ３８）。例えば、合成部３５は、複数の第２の画像における像中心位置を合わせ、複数の第２の画像の画素の値を各座標毎に平均化合成、加算合成、または比較明合成により合成して第３の画像を取得する。
システムコントローラ２３は、トリミング部３６により複数の第２の画像に基づいて第３の画像上に矩形状の切り出し範囲を設定し、設定した切り出し範囲で第３の画像から画像を切り出し（ステップＳ３９）、周辺像ブレ補正処理を終了する。システムコントローラ２３は、トリミング部３６により切り出された画像データを記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成し、画像ファイルを記録媒体２７に記録する。
また、ステップＳ３１において周辺像ブレ補正を実施しないと判定した場合（ステップＳ３１、ＮＯ）、システムコントローラ２３は、通常の撮像処理を行う（ステップＳ４０）。
図１５は、図１４のフローによって取得した画像の例を示す。図１５のＡは、複数回の露光により取得した複数の第１の画像の例を示す。図１５のＢは、上記の手順によって更新した基準姿勢を基準として複数の第１の画像を台形補正した場合の複数の第２の画像の例を示す。図１５のＣは、複数の第２の画像を合成して得られた第３の画像の例を示す。
上記した実施形態によると、システムコントローラ２３は、第１の画像を台形補正して第２の画像を取得する前に、複数の第１の画像の取得時のカメラ本体３の姿勢の中心傾向に基づいて基準姿勢を決定し、決定した基準姿勢に基づいて複数の第１の画像をそれぞれ台形補正して第２の画像を取得する。これにより、最初の露光時の撮像装置１の姿勢を基準姿勢として台形補正を行う第１の実施形態に比べて台形補正による個々の画像の変形を小さくすることが可能になる。この結果、第２の画像に含まれる画像が存在しない領域をより小さくすることができる。この為、第２の実施形態に係る撮像装置１は、図１５のＣに示すように第１の実施形態に比べてより大きな切り出し範囲を設定することができる。
（第３の実施形態）
次に第３の実施形態に係る撮像装置１について説明する。なお、第２の実施形態に係る撮像装置１は、図６に示された撮像装置１と露出条件の決定方法と、画像処理の手順とが異なる。
第３の実施形態に係る撮像装置１は、撮像指示としての撮像開始指示が入力されてから撮像指示としての撮像終了指示が入力されるまでの間に所定の露光時間で撮像素子２１を複数回露光させて複数の第１の画像を取得し、複数の第１の画像を台形補正して複数の第２の画像を取得し、第２の画像を取得する毎にそれまでに取得した複数の第２の画像を合成して合成画像を取得する所謂ライブビューバルブ撮影を行う。
図１６及び図１７は、第３の実施形態に係る周辺像ブレ補正を行いつつライブビューバルブ撮影を行う際の撮像装置１の動作を示すフローチャートである。図１６及び図１７では、ライブビューバルブ撮影に関する動作について示しているが、手ブレ補正に関わる制御、及び測光などの処理が並行して実行されている。システムコントローラ２３は、撮像開始指示が入力された場合、図１６の処理を実行する。
システムコントローラ２３は、露出制御部３２及び撮影条件決定部３３により露出条件として分割露光時間を決定する（ステップＳ５１）。
撮影条件決定部３３は、図１７に示すように、ブレ補正部２２による手ブレ補正が有効であるか否か判断する（ステップＳ６１）。ブレ補正部２２による手ブレ補正が有効であると判断した場合（ステップＳ６１、ＹＥＳ）、撮影条件決定部３３は、手ブレ補正による撮像面の移動量と、光学系１１の焦点距離とに基づいて手ブレ補正有効時の許容露光時間を算出し、この許容露光時間よりも短い分割露光時間を決定する（ステップＳ６２）。
また、ブレ補正部２２による手ブレ補正が無効であると判断した場合（ステップＳ６１、ＮＯ）、撮影条件決定部３３は、光学系１１の焦点距離に基づいて手ブレ補正無効時の許容露光時間を算出し、この許容露光時間よりも短い分割露光時間を決定する（ステップＳ６３）。
次にシステムコントローラ２３は、ステップＳ５１の処理結果に従って撮像制御部３１により撮像素子２１に露光を実行させ、映像読み出しを行う（ステップＳ５２）。
システムコントローラ２３は、第１の画像とこの第１の画像の露光時のカメラ本体３のあおり角とを対応付けて記録する（ステップＳ５３）。
システムコントローラ２３は、取得した第１の画像に対して台形補正を行う必要があるか否か判定する（ステップＳ５４）例えば、システムコントローラ２３は、予めＬＣＵ１２から取得した光学特性が示す情報に基づいて台形補正を行う必要があるか否かを判定する。具体的には、システムコントローラ２３は、予めＬＣＵ１２から取得した光学特性が予め設定された焦点距離よりも短い焦点距離を示し、且つ射影方式が中心射影である場合に台形補正を行う必要があると判定する。
システムコントローラ２３は、取得した第１の画像に対して台形補正を行う必要があると判定した場合（ステップＳ５４、ＹＥＳ）、第１の画像と第１の画像毎のあおり角とを台形補正部３４に入力し、台形補正部３４により第１の画像に対して台形補正を行い、第２の画像を取得する（ステップＳ５５）。また、システムコントローラ２３は、取得した第１の画像に対して台形補正を行う必要がないと判定した場合（ステップＳ５４、ＮＯ）、ステップＳ５６の処理に移行する。
撮像開始指示が入力されてから取得した複数の第２の画像を位置合わせして合成して第３の画像を取得する（ステップＳ５６）。即ち、システムコントローラ２３は、第２の画像を取得する毎に、複数回露光を開始してから取得した複数の第１の画像が台形補正されて得られた複数の第２の画像を合成部３５により合成して第３の画像を取得する。合成部３５は、この場合加算合成または比較明合成により複数の第２の画像を合成して第３の画像を取得する。なお、システムコントローラ２３は、第３の画像をＥＶＦ２６に表示する為の表示用の画像フォーマットに変換し、ＥＶＦ２６に表示してもよい。
なお、合成部３５は、ステップＳ５４において第１の画像に対する台形補正が不要であると判定した場合、複数の第１の画像間の位置ずれ量を検出し、検出した位置ずれ量に基づいて複数の第１の画像を位置合わせし、複数の第１の画像を合成して第３の画像を取得する。さらに、合成部３５は、第１の画像と第２の画像とが混合された状態で合成を行い第３の画像を取得する構成であってもよい。
システムコントローラ２３は、撮像終了指示が入力されたか否か判断する（ステップＳ５７）。例えば、システムコントローラ２３は、撮像終了指示が入力された場合に撮像を終了すると判断する。
撮像終了指示が入力されていない場合（ステップＳ５７、ＮＯ）、システムコントローラ２３は、ブレ補正部２２によるブレ補正に用いられる像移動量が予め設定された閾値以上になったか否か判断する（ステップＳ５８）。即ち、システムコントローラ２３は像移動量がブレ補正部２２により補正可能な補正限界に達しているか否か判断する補正限界判定部として機能する。像移動量が予め設定された閾値以上ではないと判断した場合（ステップＳ５８、ＮＯ）、システムコントローラ２３は、ステップＳ５２に移行しライブビューバルブ撮影を継続する。
撮像終了指示が入力された場合（ステップＳ５７、ＹＥＳ）、または像移動量が予め設定された閾値以上であると判断した場合（ステップＳ５８、ＹＥＳ）、システムコントローラ２３は、ライブビューバルブ撮影を終了すると判断し、ステップＳ５９の処理に移行する。
システムコントローラ２３は、最後に取得した第３の画像上に矩形状の切り出し範囲を設定し、設定した切り出し範囲で第３の画像から画像を切り出し（ステップＳ５９）、ライブビューバルブ撮影を終了する。システムコントローラ２３は、トリミング部３６により切り出された画像データを記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成し、画像ファイルを記録媒体２７に記録する。
上記の実施形態によると、システムコントローラ２３は、第１の画像を取得する毎に台形補正して第２の画像を取得し、第２の画像を取得する毎に撮像開始指示が入力されてから取得した複数の第２の画像を合成して第３の画像を取得する。これにより、台形歪みが適切に補正された状態でライブビューバルブ撮影を実行することができる。この結果、よりユーザの利便性をさらに向上させることができる。
なお、システムコントローラ２３は、複数の第２の画像を合成する際に加算合成を行い、加算合成によって合成された第３の画像が適正な露出になった場合にライブビューバルブ撮影を終了すると判断する構成であってもよい。またさらに、システムコントローラ２３は、複数の第２の画像を合成する際に平均化合成または比較明合成を行う前提で複数回露光の一枚一枚が適正な露出になるように露光を行うことによって、スローシャッターの効果を得る構成であってもよい。
（第４の実施形態）
図１８は、第４の実施形態に係る撮像装置１Ａの構成例を示す。なお、第１の実施形態と同様の構成には同じ参照符号を付し、詳細な説明を省略する。
撮像装置１Ａは、像ブレ補正装置を搭載しておらず、撮像面上の画像を記録する領域である有効領域をシフトさせることにより、複数の画像間における被写体像の像ブレを抑制する。撮像装置１Ａは、交換レンズ２及びカメラ本体３Ａを備える。撮像装置１Ａは、１回の撮像指示に応じて測光結果などに応じて決定された露光時間よりも短い露光時間で複数回露光を行うことによって取得した複数の画像をそれぞれ台形補正し、台形補正した画像を合成することによって、像ブレ補正及び歪曲収差を適正に抑制する周辺像ブレ補正撮影を実行する。
カメラ本体３Ａは、撮像素子２１、システムコントローラ２３Ａ、電子ビューファインダ（ＥＶＦ）２６、記録媒体２７、及び操作部２８を備える。
システムコントローラ２３Ａは、システムコントローラ２３と同様に、ＣＰＵ、及びメモリなどを含み、カメラ本体３Ａの動作を制御するコントローラである。例えば、システムコントローラ２３Ａは、撮像素子２１で得られた画像データを読み出し、読み出した画像データに対して表示や記録に必要な各種の画像処理を施す。また、システムコントローラ２３Ａは、交換レンズ２のＬＣＵ１２に対し、露出調整のための絞りの駆動やピント調整のためのレンズの駆動を指示する。また、システムコントローラ２３Ａは、ＥＶＦ２６における画像表示の制御、記録媒体２７への画像ファイルの記録の制御、操作部２８の操作に従って動作モードを切り替える制御、及び撮影動作の開始又は終了の制御などを行う。
また、システムコントローラ２３Ａは、交換レンズ２から光学特性情報を取得する。例えば、システムコントローラ２３Ａは、起動時、及び／または定期的に交換レンズ２から光学特性情報を取得することにより、交換レンズ２の光学特性を逐次認識する。
システムコントローラ２３Ａは、撮像制御部３１、露出制御部３２、撮影条件決定部３３、台形補正部３４、合成部３５、トリミング部３６、及びブレ検出部３７Ａを備える。
ブレ検出部３７Ａは、１回の撮像指示に応じて行われた複数回露光によって取得した複数の第１の画像に基づいて、複数の第１の画像間における像移動量を算出する。ブレ検出部３７Ａは、例えば、複数の第１の画像間でパターンマッチングを行うことにより複数の第１の画像間の像移動量を検出する。ブレ検出部３７Ａは、検出した像移動量と、光学特性が示す光学系１１の焦点距離とに基づいて、複数の第１の画像のうちの１つを撮像した時のカメラ本体３Ａの姿勢を基準姿勢とした場合の各第１の画像の撮像時のあおり角を算出する。即ち、ブレ検出部３７Ａは、カメラ本体３Ａの姿勢が基準姿勢である場合の第１の画像に対する像移動量を算出し、算出した像移動量と光学系１１の焦点距離とに基づいて基準姿勢に対するカメラ本体３Ａの姿勢の変化量であるあおり角を算出する。
台形補正部３４は、ブレ検出部３７Ａにより算出された第１の画像の撮像時のあおり角に基づいて第１の画像を台形補正し、第２の画像を取得する。
図１９及び図２０は、周辺ブレ補正撮影を行う際の撮像装置１Aの動作を示すフローチャートである。なお、図１９及び図２０では、周辺ブレ補正撮影に関する動作について示しているが、手ブレ補正に関わる制御、及び測光などの処理が並行して実行されている。システムコントローラ２３Ａは、撮像指示が入力された場合、図１９及び図２０の処理を実行する。
システムコントローラ２３Ａは、周辺ブレ補正を実施するかを判定する（ステップＳ７１）。
周辺ブレ補正を実施すると判定した場合（ステップＳ７１、ＹＥＳ）、システムコントローラ２３Ａは、露出制御部３２及び撮影条件決定部３３により露出条件として分割露光時間と撮像枚数とを決定する（ステップＳ７２）。
図２０は、露出条件決定処理を行う際の撮像装置１Ａの動作を示すフローチャートである。例えば、システムコントローラ２３Ａは、露出制御部３２により自動露出処理（ＡＥ処理）を行うことにより合計露光時間、撮像素子２１の感度、及び絞り値などを算出する（ステップＳ８１）。
撮影条件決定部３３は、測光結果である輝度情報と、光学系１１の焦点距離とに基づいて手ブレ補正有効時の許容露光時間を算出し、この許容露光時間よりも短い分割露光時間を決定する（ステップＳ８２）。
さらに、撮影条件決定部３３は、合計露光時間と分割露光時間とに基づいて撮像枚数を決定する（ステップＳ８３）。
次にシステムコントローラ２３Ａは、図１９に示すように、ステップＳ７２の処理結果に従って撮像制御部３１により撮像素子２１に露光を実行させ、映像読み出しを行う（ステップＳ７３）。
システムコントローラ２３Ａは、ブレ検出部３７Ａにより第１の画像における像移動量と、第１の画像の取得時のカメラ本体３Ａのあおり角とを算出する（ステップＳ７４）。例えば、ブレ検出部３７Ａは、複数回露光のうちの最初の露光により取得した第１の画像を基準として像移動量を算出する。さらに、ブレ検出部３７Ａは、複数回露光のうちの最初の露光により取得した第１の画像を取得した時のカメラ本体３Ａの姿勢に対するあおり角を第１の画像毎に算出する。
システムコントローラ２３Ａは、第１の画像と、複数の第１の画像に基づいて算出したあおり角とを台形補正部３４に入力し、台形補正部３４により第１の画像に対して台形補正を行い、第２の画像を取得する（ステップＳ７５）。
システムコントローラ２３Ａは、ステップＳ７２で決定した撮像枚数の撮像が終了したか否か判定する（ステップＳ７６）。
システムコントローラ２３Ａは、ステップＳ７２で決定した撮像枚数の撮像が終了していないと判定した場合（ステップＳ７６、ＮＯ）、ステップＳ７３の処理に移行する。
システムコントローラ２３は、ステップＳ７２で決定した撮像枚数の撮像が終了したと判定した場合（ステップＳ７６、ＹＥＳ）、取得した複数の第２の画像を合成部３５により合成して第３の画像を取得する（ステップＳ７７）。
システムコントローラ２３Ａは、トリミング部３６により複数の第２の画像に基づいて第３の画像上に矩形状の切り出し範囲を設定し、設定した切り出し範囲で第３の画像から画像を切り出し（ステップＳ７８）、周辺像ブレ補正処理を終了する。システムコントローラ２３Ａは、トリミング部３６により切り出された画像データを記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成し、画像ファイルを記録媒体２７に記録する。
上記したように、第４の実施形態に係る撮像装置１Ａは、複数の第１の画像に基づいて各第１の画像の撮像時のカメラ本体３Ａのあおり角を算出する。撮像装置１Ａは、第１の画像をあおり角に基づいて台形補正して第２の画像を取得し、複数の第２の画像を合成して第３の画像を取得する。このようにジャイロセンサ等を備えていない場合であっても、撮像装置１Ａは、連続的に取得した複数の第１の画像に基づいて各第１の画像の取得時のカメラ本体３Ａのあおり角を算出することができる為、適切に台形歪みを補正することができる。この結果、撮像装置１Ａは、周辺部における像ブレを残すことなく画像を合成することができる。
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
１…撮像装置、２…交換レンズ、３…カメラ本体、１１…光学系、１２…レンズコントロールユニット（ＬＣＵ）、１３…ズームレンズ、２１…撮像素子、２２…ブレ補正部、２３…システムコントローラ、２４…ブレ補正マイコン、２５…ジャイロセンサ、２６…電子ビューファインダ（ＥＶＦ）、２７…記録媒体、２８…操作部、３１…撮像制御部、３２…露出制御部、３３…撮影条件決定部、３３…撮像条件決定部、３４…台形補正部、３５…合成部、３６…トリミング部、３７Ａ…ブレ検出部、４１…アナログデジタル変換器（ＡＤＣ）、４２…基準値減算部、４３…乗算部、４４…積分部、４５…補正量出力部、５１…許容露光時間算出部、５２…撮像枚数決定部。

Claims (13)

  1. 光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
    前記撮像素子を保持する本体と、
    前記撮像面に被写体像を結像させる撮像光学系の光学特性を取得する情報取得部と、
    撮像指示に応じて前記撮像素子を複数回露光させて前記撮像光学系によって前記撮像面に結像された被写体像に応じた複数の第１の画像を取得する撮像制御部と、
    前記撮像光学系の光軸と直交する方向を回転軸とする方向の予め設定された基準姿勢からの前記本体の姿勢の変化量であるあおり角を露光が行われる毎に検出する姿勢検出部と、
    前記本体の姿勢の変化により複数の前記第１の画像のそれぞれに生じた台形歪みをそれぞれの前記第１の画像に対応する前記あおり角と前記光学特性とに基づく台形補正により補正して複数の第２の画像を取得する台形補正部と、
    複数の前記第２の画像を合成して第３の画像を取得する合成部と、
    を具備し、
    前記姿勢検出部は、複数の前記第１の画像毎に検出した前記あおり角の最大値と最小値とに基づいて、前記基準姿勢を更新し、更新した前記基準姿勢に基づいて複数の前記第１の画像毎の前記あおり角を再検出する撮像装置。
  2. 前記姿勢検出部は、前記撮像指示が入力されてから最初に露光を行った時の前記本体の姿勢を前記基準姿勢として前記あおり角を検出する請求項１に記載の撮像装置。
  3. 前記光学特性は、少なくとも前記撮像光学系の焦点距離を含み、
    前記撮像面に結像した被写体像に基づいて前記被写体像の明るさを示す輝度情報を測定し、前記輝度情報に基づいて合計露光時間を決定する露出制御部と、
    前記焦点距離に基づいて１回の露光時間である分割露光時間を決定する撮影条件決定部と、
    をさらに具備し、
    前記撮像制御部は、前記分割露光時間に応じた時間の露光を複数回行い複数の前記第１の画像を取得する請求項１に記載の撮像装置。
  4. 前記撮影条件決定部は、前記合計露光時間と前記分割露光時間とに基づいて撮像枚数を決定し、
    前記撮像制御部は、前記分割露光時間に応じた時間の露光を前記撮像枚数に応じた回数行い複数の前記第１の画像を取得する請求項３に記載の撮像装置。
  5. 前記撮影条件決定部は、前記合計露光時間を前記分割露光時間で除算して前記撮像枚数を決定する請求項４に記載の撮像装置。
  6. 光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
    前記撮像素子を保持する本体と、
    前記撮像面に被写体像を結像させる撮像光学系の光学特性であって、少なくとも前記撮像光学系の焦点距離を含む前記光学特性を取得する情報取得部と、
    撮像指示に応じて前記撮像素子を複数回露光させて前記撮像光学系によって前記撮像面に結像された被写体像に応じた複数の第１の画像を取得する撮像制御部と、
    前記撮像光学系の光軸と直交する方向を回転軸とする方向の予め設定された基準姿勢からの前記本体の姿勢の変化量であるあおり角を露光が行われる毎に検出する姿勢検出部と、
    前記本体の姿勢の変化により複数の前記第１の画像のそれぞれに生じた台形歪みをそれぞれの前記第１の画像に対応する前記あおり角と前記光学特性とに基づく台形補正により補正して複数の第２の画像を取得する台形補正部と、
    複数の前記第２の画像を合成して第３の画像を取得する合成部と、
    前記撮像面に結像した被写体像に基づいて前記被写体像の明るさを示す輝度情報を測定し、前記輝度情報に基づいて合計露光時間を決定する露出制御部と、
    前記焦点距離に基づいて１回の露光時間である分割露光時間を決定する撮影条件決定部と、
    を具備し、
    前記撮像制御部は、前記分割露光時間に応じた時間の露光を複数回行い複数の前記第１の画像を取得し、
    前記撮影条件決定部は、前記焦点距離に基づいて前記合計露光時間の露光を行う場合に前記撮像面上で、前記撮像光学系の光軸に対応する画像上の位置である像中心位置から所定の距離の位置において生じる被写体像の移動量である像移動量を予測し、前記像移動量を予め設定された許容範囲内に収める為の露光時間を前記分割露光時間として算出する撮像装置。
  7. 光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
    前記撮像素子を保持する本体と、
    前記撮像面に被写体像を結像させる撮像光学系の光学特性を取得する情報取得部と、
    撮像指示に応じて前記撮像素子を複数回露光させて前記撮像光学系によって前記撮像面に結像された被写体像に応じた複数の第１の画像を取得する撮像制御部と、
    前記撮像光学系の光軸と直交する方向を回転軸とする方向の予め設定された基準姿勢からの前記本体の姿勢の変化量であるあおり角を露光が行われる毎に検出する姿勢検出部と、
    前記本体の姿勢の変化により複数の前記第１の画像のそれぞれに生じた台形歪みをそれぞれの前記第１の画像に対応する前記あおり角と前記光学特性とに基づく台形補正により補正して複数の第２の画像を取得する台形補正部と、
    複数の前記第２の画像を合成して第３の画像を取得する合成部と、
    を具備し、
    前記撮像制御部は、前記撮像指示としての撮像開始指示が入力されてから前記撮像指示としての撮像終了指示が入力されるまでの間に所定の露光時間で前記撮像素子を複数回露光させて複数の前記第１の画像を取得し、
    前記台形補正部は、前記第１の画像が取得される毎に前記第１の画像に対して台形補正を行って前記第２の画像を取得し、
    前記合成部は、前記第２の画像が取得される毎に前記撮像開始指示が入力されてから取得した複数の前記第２の画像を加算合成または比較明合成により合成して前記第３の画像を取得する撮像装置。
  8. 前記光学特性は、少なくとも前記撮像光学系の焦点距離を含み、
    前記焦点距離と前記あおり角とに基づいて前記撮像面上での前記被写体像の露光中の像移動量を検出する像ブレ検出部と、
    前記像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整する像ブレ補正部と、
    前記像移動量が予め設定された閾値以上であるか否か判定し、前記像移動量が予め設定された閾値以上であると判定した場合に前記撮像制御部に前記撮像終了指示を入力する補正限界判定部と、
    をさらに具備する請求項７に記載の撮像装置。
  9. 光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
    前記撮像素子を保持する本体と、
    前記撮像面に被写体像を結像させる撮像光学系の光学特性を取得する情報取得部と、
    撮像指示に応じて前記撮像素子を複数回露光させて前記撮像光学系によって前記撮像面に結像された被写体像に応じた複数の第１の画像を取得する撮像制御部と、
    前記撮像光学系の光軸と直交する方向を回転軸とする方向の予め設定された基準姿勢からの前記本体の姿勢の変化量であるあおり角を露光が行われる毎に検出する姿勢検出部と、
    前記本体の姿勢の変化により複数の前記第１の画像のそれぞれに生じた台形歪みをそれぞれの前記第１の画像に対応する前記あおり角と前記光学特性とに基づく台形補正により補正して複数の第２の画像を取得する台形補正部と、
    複数の前記第２の画像を合成して第３の画像を取得する合成部と、
    を具備し、
    前記光学特性は、前記撮像光学系の焦点距離と射影方式とを含み、
    前記焦点距離と射影方式との少なくとも一方に基づいて前記台形補正を行うか否かを判定する台形補正実施判定部をさらに具備し、
    前記合成部は、前記台形補正実施判定部が前記台形補正を行わないと判定した場合、複数の前記第１の画像を合成して前記第３の画像を取得する撮像装置。
  10. 前記姿勢検出部は、複数の前記第１の画像間でパターンマッチングを行い、パターンマッチングの結果に基づいて複数の前記第１の画像間における前記あおり角の変化を検出する請求項９に記載の撮像装置。
  11. 前記合成部は、複数の前記第２の画像を、前記撮像光学系の光軸に対応する画像上の位置である像中心位置を一致させる処理をして位置合わせし、複数の前記第２の画像の画素の出力値を各座標毎に平均化する平均化合成により合成して前記第３の画像を取得する請求項９に記載の撮像装置。
  12. 前記合成部は、複数の前記第２の画像を前記撮像光学系の光軸に対応する画像上の位置である像中心位置を一致させる処理をして位置合わせし、複数の前記第２の画像の画素の出力値を各座標毎に加算する加算合成により合成して前記第３の画像を取得する請求項９に記載の撮像装置。
  13. 前記合成部は、複数の前記第２の画像を前記撮像光学系の光軸に対応する画像上の位置である像中心位置を一致させる処理をして位置合わせし、複数の前記第２の画像の画素の出力値を各座標毎に比較してより明るい値を採用する比較明合成により合成して前記第３の画像を取得する請求項９に記載の撮像装置。
JP2016112755A 2016-06-06 2016-06-06 撮像装置 Active JP6685843B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016112755A JP6685843B2 (ja) 2016-06-06 2016-06-06 撮像装置
US15/612,383 US10477108B2 (en) 2016-06-06 2017-06-02 Image pickup apparatus and image pickup method
CN201710414017.5A CN107465867A (zh) 2016-06-06 2017-06-05 摄像装置和摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016112755A JP6685843B2 (ja) 2016-06-06 2016-06-06 撮像装置

Publications (2)

Publication Number Publication Date
JP2017220745A JP2017220745A (ja) 2017-12-14
JP6685843B2 true JP6685843B2 (ja) 2020-04-22

Family

ID=60483641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016112755A Active JP6685843B2 (ja) 2016-06-06 2016-06-06 撮像装置

Country Status (3)

Country Link
US (1) US10477108B2 (ja)
JP (1) JP6685843B2 (ja)
CN (1) CN107465867A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034705B2 (ja) * 2017-12-22 2022-03-14 キヤノン株式会社 レンズ装置、撮像装置及びカメラシステム
JP2019128362A (ja) * 2018-01-19 2019-08-01 パナソニックＩｐマネジメント株式会社 撮像装置
WO2020085028A1 (ja) * 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法
JP7184654B2 (ja) * 2019-01-10 2022-12-06 ｉ－ＰＲＯ株式会社 撮影装置、画像補正方法、および画像補正プログラム
US20220159163A1 (en) * 2019-03-15 2022-05-19 Sony Semiconductor Solutions Corporation Image pickup device, solid-state image pickup element, camera module, drive control unit, and image pickup method
CN114556903B (zh) * 2019-10-24 2024-07-26 三菱电机株式会社 图像生成系统和图像处理装置、以及程序和记录介质
JP2021077935A (ja) * 2019-11-05 2021-05-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、制御方法、及びプログラム
CN112585938B (zh) * 2019-11-05 2022-11-22 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
CN111193865B (zh) * 2019-12-31 2021-08-03 维沃移动通信有限公司 图像处理方法和装置
JP7358653B2 (ja) 2020-08-28 2023-10-10 富士フイルム株式会社 撮像装置、駆動方法、及び撮像プログラム
JP2022045787A (ja) * 2020-09-09 2022-03-22 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理装置の制御方法並びにプログラム
EP3968624B1 (en) * 2020-09-14 2023-11-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
CN112702519B (zh) * 2020-12-24 2022-04-22 联想(北京)有限公司 一种图像处理方法和电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
US6470147B2 (en) * 2000-04-06 2002-10-22 Canon Kabushiki Kaisha Image blur correction apparatus and image pickup apparatus with the image blur correction apparatus
US6975352B2 (en) * 2000-12-18 2005-12-13 Xerox Corporation Apparatus and method for capturing a composite digital image with regions of varied focus and magnification
US7352913B2 (en) * 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
JP4471364B2 (ja) * 2004-09-15 2010-06-02 キヤノン株式会社 画像処理装置及び画像処理方法
WO2006064751A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 複眼撮像装置
JP4530961B2 (ja) * 2005-06-30 2010-08-25 オリンパスイメージング株式会社 電子的ぶれ補正装置
JP4837406B2 (ja) 2006-03-10 2011-12-14 オリンパスイメージング株式会社 電子的ぶれ補正装置および電子的ぶれ補正方法
JP4178481B2 (ja) * 2006-06-21 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2009296561A (ja) * 2008-05-02 2009-12-17 Olympus Imaging Corp 撮像装置及び撮像方法
US8599238B2 (en) * 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
JP2012019343A (ja) * 2010-07-07 2012-01-26 Canon Inc 撮像装置、その制御方法及びプログラム
CN104380709B (zh) * 2012-06-22 2018-05-29 富士胶片株式会社 摄像装置及其动作控制方法
JP5959976B2 (ja) * 2012-07-27 2016-08-02 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5968169B2 (ja) 2012-09-06 2016-08-10 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2014072797A (ja) * 2012-09-28 2014-04-21 Canon Inc 撮像装置およびその制御方法
JP5762587B2 (ja) * 2013-04-15 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法
JP5840189B2 (ja) 2013-10-02 2016-01-06 オリンパス株式会社 撮像装置、画像処理装置、および画像処理方法
US9183620B2 (en) * 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
JP2015231052A (ja) * 2014-06-03 2015-12-21 ソニー株式会社 撮像装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US10477108B2 (en) 2019-11-12
US20170353665A1 (en) 2017-12-07
CN107465867A (zh) 2017-12-12
JP2017220745A (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6685843B2 (ja) 撮像装置
JP6506517B2 (ja) 画像処理装置及びその制御方法、及び撮像装置
JP6529879B2 (ja) 撮像装置、及び撮像装置の制御方法
JP6418879B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US10110819B2 (en) Imaging apparatus, and image blur correcting method of imaging apparatus
JP7484866B2 (ja) ブレ補正装置、交換レンズ、撮像装置及び像ブレ補正方法
JP2020095069A (ja) 撮像装置
JP6500238B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP7080118B2 (ja) 撮像装置及びその制御方法、撮影レンズ、プログラム、記憶媒体
JP2007293144A (ja) 光学機器
JP6917536B2 (ja) 撮像装置
JP2017044876A (ja) 撮像装置及び像ブレ補正方法
JP2017161891A5 (ja)
JP4016972B2 (ja) プロジェクタ、および、プロジェクタの制御方法
JP6395401B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2012095206A (ja) 撮像装置およびその制御方法
JP2015215553A (ja) 撮像装置
JP2018197825A (ja) 制御装置及び方法、及び撮像装置
JP2020036091A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7118585B2 (ja) 画像処理装置、撮像装置および制御方法
JP2017011657A (ja) 撮像装置
JP2014158162A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014092756A (ja) 像振れ補正装置およびそれを備えた光学機器、撮像装置および像振れ補正装置の制御方法
JP6618575B2 (ja) 画像処理装置、撮像装置、レンズ装置、および、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200401

R151 Written notification of patent or utility model registration

Ref document number: 6685843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250