JP6500618B2

JP6500618B2 - Imaging apparatus and imaging method

Info

Publication number: JP6500618B2
Application number: JP2015118807A
Authority: JP
Inventors: 鉄兵岡本; 直樹越川; 広靖上原
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2015-06-12
Filing date: 2015-06-12
Publication date: 2019-04-17
Anticipated expiration: 2035-06-12
Also published as: JP2017005553A

Description

本発明は、撮影装置及び撮影方法に関する。 The present invention relates to an imaging apparatus and an imaging method .

近年、通常の１ショット画像よりも高精細（高画質、高精度）な画像を得るために、時系列に撮像した複数の画像を合成して合成画像を得る、所謂マルチショット合成と呼ばれる撮影技術が知られている。例えば、出願人は、撮像素子に対する光軸を水平および垂直方向に小数画素単位（例えば１画素ピッチ単位）でずらして取り込んだ複数の画像信号を合成して合成画像を得る「超解像撮影（ＲＲＳ撮影）」の開発を進めている。 In recent years, a so-called multi-shot composite imaging technology that combines multiple images captured in time series to obtain a composite image in order to obtain a high-resolution (high image quality, high accuracy) image than normal one-shot images. It has been known. For example, the applicant synthesizes a plurality of image signals captured by shifting the optical axis with respect to the imaging element in horizontal and vertical directions in units of fractional pixels (for example, 1 pixel pitch unit) to obtain a composite image. We are developing "RRS photography".

マルチショット合成は、その性質上、複数の画像を時系列に撮像する際の撮像条件に殆ど変化がない（被写体が動かない、カメラに振動が加わらない、障害物が発生しない、照度変化がない等）ことを前提としている。 Multi-shot composition has almost no change in imaging conditions when imaging a plurality of images in time series due to its nature (no movement of subject, no vibration on camera, no obstacle, no change in illuminance) Etc.) is assumed.

しかし、マルチショット合成の前提に反して、複数の画像を時系列に撮像する際の撮像条件に大きな変化が生じる（被写体が大きく動く、カメラに大きな振動が加わる、障害物が発生する、大きな照度変化がある等）ことがある。この場合、変化が生じた箇所において、その後の合成処理の結果、通常の撮影では起こり得ない特異なパターンが発生し、通常の１ショット画像よりも品質が劣化してしまう。 However, contrary to the premise of multi-shot composition, a large change occurs in imaging conditions when imaging a plurality of images in time series (a large movement of an object, a large vibration is added to a camera, an obstacle occurs, a large illuminance There is a change etc.). In this case, as a result of the subsequent combining processing, in the place where the change has occurred, a unique pattern that can not occur in normal shooting occurs, and the quality is degraded compared to a normal one-shot image.

そこで、マルチショット合成では、複数の画像のいずれかの画像を基準画像に設定し、合成画像の品質劣化部分を基準画像の対応部分で置換する置換処理が施されることがある。置換処理を施した領域は、マルチショット合成の所望の効果（高い解像感）を得ることは出来ないが、合成画像の品質劣化部分をそのまま残すよりは遥かに好ましい。 Therefore, in multi-shot composition, a replacement process may be performed in which one of a plurality of images is set as a reference image, and the quality deterioration part of the composite image is replaced with the corresponding part of the reference image. Although the region subjected to the replacement process can not obtain the desired effect (high resolution) of multi-shot synthesis, it is much more preferable than leaving the degraded portion of the synthesized image as it is.

特許第３１９３２５８号公報Patent No. 3193258 gazette

ところが、ユーザ（撮影者）の側からすれば、置換処理が施されたのか否か、置換処理が施されたのであればその置換領域はどの辺りなのかといったことを知ることはできず、単に出来上がった合成画像が供給されるだけなので、利便性に富んだものとは言えなかった。 However, from the side of the user (photographer), it can not be known whether or not the replacement processing has been performed, and if the replacement processing has been performed, it can not be known which replacement region is located, and is simply used. It was not possible to say that it was convenient because it only provided the resulting composite image.

本発明は、以上の問題意識に基づいてなされたものであり、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法を得ることを目的とする。 The present invention has been made based on the above-mentioned problem awareness, and is an imaging apparatus capable of suitably executing multi-shot synthesis for synthesizing a plurality of images to obtain a synthesized image in a form rich in user convenience. And it aims at obtaining the photographing method .

本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像を合成して合成画像を生成する画像合成部と、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換部と、前記画像置換部が前記置換処理を施して合成置換画像を生成した旨を報知する置換報知部と、前記画像置換部が前記置換処理を施して合成置換画像を生成したときに、前記合成置換画像が使用適格要件を満足するか否かを判定するとともに、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知部に置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得部に複数の画像の取得を再実行させる判定制御部と、を有することを特徴としている。 The imaging apparatus according to the present invention performs a replacement process on at least a part of the images to be combined, an image acquisition unit for acquiring a plurality of images, an image combining unit for combining the plurality of images to generate a combined image, and Thus, an image replacing unit for generating a combined replacement image, a replacement notifying unit for notifying that the image replacing unit has performed the replacement processing to generate a combined replacement image, and the image replacing unit performs the replacement processing When a combined replacement image is generated, it is determined whether the combined replacement image satisfies the use eligibility requirement, and when it is determined that the combined replacement image satisfies the use eligibility requirement, the replacement notification unit is notified of the replacement. And a determination control unit that causes the image acquisition unit to re-execute acquisition of a plurality of images when it is determined that the processing is performed and the combined replacement image does not satisfy the usage eligibility requirement .

前記置換報知部は、表示部に、合成置換画像とともにそれが置換処理を施したものである旨を表示させることができる。 The replacement notification unit can cause the display unit to display, together with the combined replacement image, a message indicating that the replacement processing has been performed.

前記置換報知部は、表示部に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させることができる。 The replacement notification unit can cause the display unit to display an area of the combined replacement image subjected to the replacement process and an area not subjected to the replacement process in different display modes.

前記置換報知部は、表示部に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に表示させることができる。 The replacement notification unit can cause the display unit to display the combined image before the replacement process and the combined replacement image after the replacement process in a comparable manner.

本発明の撮影装置は、前記置換報知部による報知結果を受けて前記合成置換画像を記録画像として取り込むか否かを決定する取込決定部をさらに有することができる。 The imaging apparatus of the present invention may further include a capture determining unit that receives the notification result from the replacement notification unit and determines whether to capture the combined replacement image as a recording image.

前記判定制御部は、前記合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、前記合成置換画像が使用適格要件を満足するか否かを判定することができる。 The determination control unit can determine whether or not the combined replacement image satisfies the usage eligibility requirement based on whether the ratio of the replacement region to the combined replacement image exceeds a predetermined threshold. .

前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものとすることができる。 The plurality of images are photographed by an image sensor that converts an object image formed by a photographing optical system into an electrical pixel signal, and an optical element forming at least a part of the photographing optical system and the image By using at least one of the sensors as a moving member and moving the moving member in a direction different from the optical axis of the photographing optical system, the subject light flux after each movement is made incident on a plurality of pixels of different detection colors of the image sensor It can be taken.

本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像を合成して合成画像を生成する画像合成ステップと、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成した旨を報知する置換報知ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成したときに、前記合成置換画像が使用適格要件を満足するか否かを判定するとともに、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知ステップで置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得ステップで複数の画像の取得を再実行させる判定制御ステップと、を有することを特徴としている。 The imaging method of the present invention performs a replacement process on at least a part of the images to be combined, an image acquisition step of acquiring a plurality of images, an image combination step of combining the plurality of images to generate a combined image, and The image replacement step of generating a combined replacement image, the replacement notification step of notifying that a combined replacement image has been generated by performing the replacement processing in the image replacement step, and the replacement processing in the image replacement step When a combined replacement image is generated, it is determined whether the combined replacement image satisfies the use eligibility requirement, and when it is determined that the combined replacement image satisfies the use eligibility requirement, the replacement notification step is performed in the replacement notification step. Processing is executed, and when it is determined that the composite replacement image does not satisfy the use eligibility requirement, acquisition of a plurality of images is re-executed in the image acquisition step. Is characterized by having a determining control step that, a.

本発明によれば、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法が得られる。 According to the present invention, it is possible to obtain an imaging apparatus and an imaging method capable of suitably executing multi-shot synthesis for synthesizing a plurality of images to obtain a synthesized image in a form that is rich in user convenience.

第１実施形態のデジタルカメラ（撮影装置）の要部構成を示すブロック図である。FIG. 2 is a block diagram showing the main configuration of a digital camera (shooting device) of the first embodiment. 像振れ補正装置の要部構成を示すブロック図である。FIG. 2 is a block diagram showing the main configuration of an image shake correction apparatus. 像振れ補正装置の構成を示す側面図である。FIG. 2 is a side view showing the configuration of the image shake correction apparatus. 図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード」の一例を示す概念図である。FIG. 4A to FIG. 4D are conceptual diagrams showing an example of the “RRS imaging mode” in the present embodiment. ＤＳＰ（制御装置）の内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of DSP (control apparatus). 置換領域算出部が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。It is a figure which shows an example of the reference | standard image substituted area | region of the synthetic | combination image which the substituted area | region calculation part calculated, and a non-replacement area | region. 置換報知部による置換報知処理の第１の態様を示す図である。It is a figure which shows the 1st aspect of the substituted alerting | reporting process by a substituted alerting | reporting part. 置換報知部による置換報知処理の第２の態様を示す図である。It is a figure which shows the 2nd aspect of the substituted alerting | reporting process by a substituted alerting | reporting part. 置換報知部による置換報知処理の第３の態様を示す図である。It is a figure which shows the 3rd aspect of the substituted alerting | reporting process by a substituted alerting | reporting part. 第１実施形態のデジタルカメラによる撮影処理を示すフローチャートである。It is a flowchart which shows the imaging | photography process by the digital camera of 1st Embodiment. 第２実施形態のデジタルカメラを示す図５に対応する機能ブロック図である。It is a functional block diagram corresponding to FIG. 5 which shows the digital camera of 2nd Embodiment. 第２実施形態のデジタルカメラを示す図１０に対応するフローチャートである。It is a flowchart corresponding to FIG. 10 which shows the digital camera of 2nd Embodiment.

≪第１実施形態≫
図１〜図１０を参照して、第１実施形態のデジタルカメラ（撮影装置）１０について説明する。 First Embodiment
A digital camera (shooting apparatus) 10 of the first embodiment will be described with reference to FIGS. 1 to 10.

図１に示すように、デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（画像取得部、撮像部、移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ（時系列に撮像（取得）した複数の画像データ）としてＤＳＰ（制御装置）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ（表示部）２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。 As shown in FIG. 1, the digital camera 10 includes a body main body 20 and a photographing lens 30 which is detachable (lens exchangeable) on the body main body 20. The photographing lens 30 includes, in order from the subject side (left side in FIG. 1) to the image plane side (right side in FIG. 1), a photographing lens group (photographing optical system, moving member, shake correction member) 31 and The photographing optical system) 32 is provided. The body body 20 includes, in order from the subject side (left side in FIG. 1) to the image plane side (right side in FIG. 1), a shutter (shooting optical system) 21, an image sensor (image acquisition unit, imaging unit, movement) A member and a shake correction member) 22. Further, the body main body 20 is provided with an aperture / shutter drive circuit 23 for driving and controlling the aperture 32 and the shutter 21 in a state of being attached to the photographing lens 30. A subject image formed by subject light flux incident from the taking lens group 31 and passing through the diaphragm 32 and the shutter 21 is formed on the light receiving surface of the image sensor 22. A subject image formed on the light receiving surface of the image sensor 22 is converted into an electrical pixel signal by a large number of pixels of different detected colors arranged in a matrix, and image data (captured in time series (acquired) The plurality of image data are output to the DSP (control device) 40. The DSP 40 performs predetermined image processing on the image data input from the image sensor 22, displays the image data on the LCD (display unit) 24, and stores the image data in the image memory 25. In FIG. 1, although the imaging lens group 31 is drawn to be a single lens, the actual imaging lens group 31 may be, for example, a fixed lens, a variable magnification lens which moves at the time of zooming, and a focusing lens which moves at the time of focusing. Etc. have a plurality of lenses.

図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ２２を駆動する」とは、「イメージセンサ２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。 Although not shown, the image sensor 22 includes a plurality of packages, a solid-state imaging device chip housed in the package, and a plurality of lid members fixed to the package so as to seal and protect the solid-state imaging device chip. It consists of the components of In the present specification, “driving the image sensor 22” means “driving at least a part of the plurality of components of the image sensor 22 through which the subject luminous flux passes”.

撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。 The photographing lens 30 has a communication memory 33 storing various information such as resolution (MTF) information of the photographing lens group 31 and aperture diameter (aperture value) information of the diaphragm 32. In a state where the taking lens 30 is attached to the main body 20, various information stored in the communication memory 33 is read into the DSP 40.

ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。 The body main body 20 is connected to the DSP 40 and provided with a photographing operation switch 26. The photographing operation switch 26 includes various switches such as a power switch and a release switch.

ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２７を備えている。ジャイロセンサ２７は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。 The body body 20 is connected to the DSP 40 and includes a gyro sensor (shake detection unit) 27. The gyro sensor 27 detects a moving angular velocity (around the X axis and the Y axis) applied to the body body 20 to detect a shake detection signal indicating a shake of the body body 20 in the plane orthogonal to the optical axis.

図１〜図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有している。駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０によって生成される。 As shown in FIGS. 1 to 3, the image sensor 22 is mounted on the image blur correction device 50 so as to be movable in the X-axis direction and the Y-axis direction (two orthogonal directions) orthogonal to the optical axis Z of the photographing optical system. There is. The image shake correction apparatus 50 includes a fixed support substrate 51 fixed to a structure such as a chassis of the body 20, a movable stage 52 fixed to the image sensor 22, fixed with respect to the fixed support substrate 51, and a fixed support. The magnets M1, M2 and M3 fixed to the surface of the substrate 51 facing the movable stage 52, and the magnets M1 and M2 fixed to the fixed support substrate 51 so as to face the magnets M1, M2 and M3 with the movable stage 52 interposed therebetween. A drive for generating a driving force by receiving an electric current in the magnetic field of the magnetic circuit fixed to the movable stage 52 and the yokes Y1, Y2 and Y3 consisting of magnetic bodies constituting a magnetic circuit between M2 and M3 It has coils C1, C2 and C3. The movable stage 52 (image sensor 22) is driven in the optical axis orthogonal plane with respect to the fixed support substrate 51 by flowing (applying) an AC drive signal (AC voltage) to the drive coils C1, C2, C3. It has become. The AC drive signals to be supplied to the drive coils C1, C2, C3 are generated by the image sensor drive circuit 60 under the control of the DSP 40.

本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。 In the present embodiment, the magnetic drive means comprising the magnet M1, the yoke Y1 and the drive coil C1, and the magnetic drive means (two sets of magnetic drive means) comprising the magnet M2, the yoke Y2 and the drive coil C2 The magnetic drive means (one set of magnetic drive means), which is disposed at a predetermined interval in the longitudinal direction (horizontal direction, X axis direction) of the sensor, and which comprises the magnet M3, yoke Y3 and drive coil C3, is orthogonal to the longitudinal direction of the image sensor 22 It is disposed in the short side direction (vertical (vertical) direction, Y axis direction).

さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示すホール出力信号（位置検出信号）を出力（検出）するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２７が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が出力したイメージセンサ２２の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。 Further, the magnetic force of the magnets M1, M2 and M3 is detected in the vicinity of the drive coils C1, C2 and C3 (central space portion) on the fixed support substrate 51 to make the optical axis orthogonal to the movable stage 52 (image sensor 22). Hall sensors (position detection units) H1, H2, and H3 that output (detect) a Hall output signal (position detection signal) indicating a position in a plane are disposed. The position and inclination (rotation) of the movable stage 52 (image sensor 22) in the Y-axis direction are detected by the Hall sensors H1 and H2, and the position of the movable stage 52 (image sensor 22) in the X-axis direction is detected by the Hall sensor H3. The DSP 40 outputs a shake detection signal indicating a shake in the optical axis orthogonal plane of the body main body 20 detected by the gyro sensor 27 through the image sensor driving circuit 60 and the image sensor 22 output from the Hall sensors H1, H2, and H3. The image sensor 22 is driven in the optical axis orthogonal plane by the image blur correction device 50 based on the Hall output signal indicating the position in the optical axis orthogonal plane. As a result, the imaging position of the subject image on the image sensor 22 can be displaced to correct the image blur caused by the camera shake.

本実施形態のデジタルカメラ１０は、像振れ補正装置５０を利用して、イメージセンサ２２（イメージセンサユニット）を撮影光学系の光軸Ｚと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード）を搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶ。「ＲＲＳ撮影モード（マルチショット合成モード）」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。 The digital camera 10 according to the present embodiment uses the image blur correction device 50 to move a plurality of image sensors 22 (image sensor units) in a plane orthogonal to the optical axis Z of the photographing optical system in a time series Super high definition (high image quality, high accuracy) by shooting the image and combining the images into one sheet (combining by performing special operations by image processing on the data instead of simple addition of the images) It has a shooting mode (multi-shot composition mode) for generating an image. Hereinafter, this shooting mode is called “RRS (Real Resolution System) shooting mode”. In the “RRS shooting mode (multi-shot composition mode)”, unlike the conventional Bayer method in which only one color information is acquired per pixel, details and colors to details are obtained by acquiring information of each color of RGB for each pixel It is possible to draw an extremely high definition image excellent in reproduction. In addition, moiré and false color are not generated, and an effect of reducing high sensitivity noise can be obtained.

図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード（マルチショット合成モード）」の一例を示す概念図である。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図４（Ａ）の基準位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ下方に移動させた図４（Ｂ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ右方に移動させた図４（Ｃ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ上方に移動させた図４（Ｄ）の位置で１枚の画像を撮影し、最後に図４（Ａ）の基準位置に戻る。このように、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、ＤＳＰ（制御装置）４０に入力される。 FIG. 4A to FIG. 4D are conceptual diagrams showing an example of the “RRS imaging mode (multi-shot combination mode)” in the present embodiment. In the figure, the image sensor 22 includes a large number of pixels arranged in a matrix at a predetermined pixel pitch on the light receiving surface, and the color filters R, G (Gr, Gb), and B of the Bayer array are arranged in front of each pixel. One is arranged. Each pixel detects the color of the subject light beam that has been transmitted through the front color filters R, G (Gr, Gb), and B, that is, it photoelectrically converts light of a color component (color band) and Charge according to the luminance). More specifically, one image is taken at the reference position shown in FIG. 4A, and the image sensor 22 is moved downward by one pixel pitch from there to obtain one image at the position shown in FIG. 4B. One image was taken at the position of FIG. 4C where the image sensor 22 was moved rightward by one pixel pitch from there, and the image sensor 22 was moved upward by one pixel pitch from there One image is taken at the position of FIG. 4 (D), and finally it returns to the reference position of FIG. 4 (A). As described above, four images captured in time series while driving the image sensor 22 so as to draw a square with one pixel pitch in the optical axis orthogonal plane are input to the DSP (control device) 40 as RAW image data. Be done.

図１に示すように、ボディ本体２０は、ＤＳＰ４０に接続させて、「ＲＲＳ撮影」を行うか否か、更にはその詳細を設定するためのＲＲＳ撮影モード設定部２８を備えている。 As shown in FIG. 1, the main body 20 is connected to the DSP 40, and is provided with an RRS imaging mode setting unit 28 for setting whether or not to perform “RRS imaging” and its details.

図５は、ＤＳＰ（制御装置）４０の内部構成を示す機能ブロック図である。このＤＳＰ４０は、イメージセンサ２２が「ＲＲＳ撮影モード（マルチショット合成モード）」で時系列に撮像した４枚の画像（ＲＡＷ画像）に対して各種の処理を施すものである。 FIG. 5 is a functional block diagram showing an internal configuration of the DSP (control device) 40. As shown in FIG. The DSP 40 performs various processes on four images (RAW images) captured by the image sensor 22 in time series in the “RRS imaging mode (multi-shot composition mode)”.

ＤＳＰ４０は、画像入力部４１と、画像合成部４２と、基準画像決定部４３と、置換領域算出部４４と、画像置換部４５と、置換判定部４６と、置換報知部４７と、取込決定部４８とを有している。 The DSP 40 includes an image input unit 41, an image combining unit 42, a reference image determination unit 43, a replacement area calculation unit 44, an image replacement unit 45, a replacement determination unit 46, a replacement notification unit 47, and capture determination. And a portion 48.

画像入力部４１は、イメージセンサ２２が時系列に撮像した４枚の画像が入力するものである。 The image input unit 41 receives four images captured by the image sensor 22 in time series.

画像合成部４２は、画像入力部４１に入力した４枚の画像を合成して合成画像を生成するものである。 The image combining unit 42 combines the four images input to the image input unit 41 to generate a combined image.

基準画像決定部４３は、画像入力部４１に入力した４枚の画像の中から１枚を選択してこれを基準画像に決定する。例えば、基準画像決定部４３は、イメージセンサ２２が最初（１枚目）または最後（４枚目）に撮影した画像を基準画像に決定する。 The reference image determination unit 43 selects one of the four images input to the image input unit 41 and determines this as a reference image. For example, the reference image determination unit 43 determines an image captured by the image sensor 22 first (first sheet) or last (fourth sheet) as a reference image.

置換領域算出部４４は、画像合成部４２による合成画像の少なくとも一部を基準画像決定部４３が決定した基準画像で置換するための置換領域を算出する。置換領域算出部４４は、画像合成部４２による合成画像の品質が所定の水準を満足しているか否か、すなわち手振れや被写体の動き、蛍光灯のちらつき（フリッカー）の悪影響を受けているか否か等に基づいて、置換領域を算出する。 The replacement area calculation unit 44 calculates a replacement area for replacing at least a part of the combined image by the image combining unit 42 with the reference image determined by the reference image determination unit 43. The replacement area calculation unit 44 determines whether the quality of the combined image by the image combining unit 42 satisfies a predetermined level, that is, whether it is adversely affected by camera shake, movement of an object, or flicker of a fluorescent light. The replacement area is calculated based on

より具体的に、置換領域算出部４４は、基準画像と他の合成前フレーム画像とを画素ごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４４は、各合成前フレーム画像をブロック化し、基準画像と他の合成前フレーム画像とをブロックごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４４は、輝度データや色差データにより差分情報を得て、この差分情報に基づいて、置換領域を算出する。あるいは、置換領域算出部４４は、高周波成分の検出を行ってその高周波成分が閾値を超えているか否かを判定することにより、置換領域を算出する。このように、置換領域算出部４４が置換領域を算出する態様には自由度があり、種々の設計変更が可能である。 More specifically, the replacement area calculation unit 44 calculates a replacement area by comparing the reference image with another pre-combination frame image for each pixel. Alternatively, the replacement area calculation unit 44 calculates a replacement area by blocking each pre-combination frame image and comparing the reference image with another pre-combination frame image for each block. Alternatively, the replacement area calculation unit 44 obtains difference information from luminance data or color difference data, and calculates a replacement area based on the difference information. Alternatively, the replacement area calculation unit 44 calculates a replacement area by detecting a high frequency component and determining whether the high frequency component exceeds a threshold. Thus, the manner in which the replacement area calculation unit 44 calculates the replacement area has a degree of freedom, and various design changes are possible.

図６は、置換領域算出部４４が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。合成画像の基準画像置換領域は、合成画像の品質が所定の水準を満足しないために基準画像での置換が指定される領域であり、非置換領域は、合成画像の該当部分をそのまま適用（使用）する領域である。 FIG. 6 is a diagram showing an example of a reference image replacement area and a non-replacement area of the composite image calculated by the replacement area calculation unit 44. The reference image replacement region of the composite image is a region where replacement in the reference image is specified because the quality of the composite image does not meet a predetermined level, and the non-replacement region directly applies the corresponding portion of the composite image ) Area.

画像置換部４５は、置換領域算出部４４が算出した置換領域（図６）に従って、画像合成部４２による合成画像の少なくとも一部を基準画像決定部４３が決定した基準画像で置き換える置換処理を施すことにより、合成置換画像を生成することが可能である。 The image replacing unit 45 performs a replacement process of replacing at least a part of the composite image by the image combining unit 42 with the reference image determined by the reference image determining unit 43 according to the replacement area (FIG. 6) calculated by the replacement area calculating unit 44. It is possible to generate a synthetic replacement image.

画像置換部４５は、置換領域算出部４４が算出した置換領域がゼロでなければ当該置換領域に従った置換処理を実行し、置換領域算出部４４が算出した置換領域がゼロであれば置換処理を実行しない。 The image replacement unit 45 executes replacement processing according to the replacement region if the replacement region calculated by the replacement region calculation unit 44 is not zero, and performs replacement processing if the replacement region calculated by the replacement region calculation unit 44 is zero. Do not run

置換判定部４６は、画像置換部４５が置換処理を施して合成置換画像を生成したか否かを判定する。置換判定部４６は、画像置換部４５が全く置換処理を施していない場合（置換領域ゼロ）は勿論のこと、合成置換画像に占める置換領域の割合（面積比）が極めて小さい場合や合成置換画像中の置換領域の分布度合い（例えば合成置換画像中のメイン被写体に置換処理が施されていない場合）により、画像置換部４５が置換処理を施していないと判定する（置換領域ゼロとみなす）ことができる。すなわち、画像置換部４５が置換処理を施して合成置換画像を生成したか否かを判定するための手法や基準には自由度があり、種々の設計変更が可能である。 The replacement determination unit 46 determines whether the image replacement unit 45 performs the replacement process to generate a combined replacement image. The replacement determination unit 46 not to mention the case where the image replacement unit 45 does not perform replacement processing at all (zero replacement region), but also the case where the ratio (area ratio) of replacement regions occupied in the combined replacement image is extremely small or a combined replacement image Determine that the image replacement unit 45 does not perform replacement processing (considered as replacement region zero) according to the distribution degree of the replacement region in (for example, when the main subject in the combined replacement image is not subjected to replacement processing) Can. That is, there is a degree of freedom in the method and criteria for determining whether the image replacement unit 45 has performed replacement processing to generate a combined replacement image, and various design changes are possible.

置換報知部４７は、画像置換部４５が置換処理を施して合成置換画像を生成したと置換判定部４６が判定したときに、ユーザ（撮影者）にその旨を報知するためのユーザインタフェースとして機能する。 The replacement notification unit 47 functions as a user interface for notifying the user (photographer) of that effect when the replacement determination unit 46 determines that the image replacement unit 45 performs replacement processing and generates a combined replacement image. Do.

図７、図８、図９は、それぞれ、置換報知部４７による置換報知処理の第１、第２、第３の態様を示している。同図の例は、被写体である花が風で揺れ動いていたために花の全体に置換処理を施した場合を想定している。 FIGS. 7, 8 and 9 respectively show first, second and third modes of the substitution notifying process by the substitution notifying unit 47. FIG. In the example of the figure, it is assumed that the replacement process is applied to the entire flower because the flower as the subject is swaying in the wind.

図７の第１の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、合成置換画像とともにそれが置換処理を施したものである旨のメッセージを表示させている。 In the first mode of FIG. 7, the replacement notification unit 47 causes the LCD (display unit) 24 to display a message indicating that the combination replacement image has been subjected to the replacement process.

図８の第２の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させている。ここでは置換報知部４７は、置換処理を施した花の全体を特殊表示（点滅表示）させている。 In the second mode of FIG. 8, the replacement notification unit 47 causes the LCD (display unit) 24 to display the region on the combined replacement image subjected to the replacement process and the region not subjected to the replacement process in different display modes. There is. Here, the replacement notification unit 47 performs special display (flashing display) on the entire flower subjected to the replacement process.

図９の第３の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に交互（あるいは並列して）に表示させている。 In the third mode of FIG. 9, the replacement notification unit 47 alternately (or parallelly) allows the synthesized image before the replacement processing to be performed on the LCD (display unit) 24 and the combined replacement image after the replacement processing. Is displayed on the

置換報知部４７は、図７の第１の態様、図８の第２の態様、図９の第３の態様の置換報知処理に加えて、図示しないスピーカーからＬＣＤ（表示部）２４に表示された合成画像が置換処理を施したものであることを知らせるメッセージを音声発信させてもよい。 In addition to the replacement notification process of the first aspect of FIG. 7, the second aspect of FIG. 8, and the third aspect of FIG. A voice may be issued to notify that the synthesized image has been subjected to replacement processing.

取込決定部４８は、ユーザ（撮影者）が置換報知部４７による報知結果を受けて合成置換画像を記録画像として取り込むか否かを決定するためのユーザインタフェースとして機能する。例えば、取込決定部４８は、ＬＣＤ（表示部）２４に「この合成画像には置換処理が施されていますがこれを保存しますか？」といったメッセージを表示させて、保存するか否かの決定処理をユーザ（撮影者）に促す。取込決定部４８は、合成置換画像を保存する旨の決定処理がなされた場合には、当該合成置換画像を画像メモリ２５に保存し、合成置換画像を保存しない旨の決定処理がなされた場合には、当該合成置換画像を破棄する。 The capture determination unit 48 functions as a user interface for determining whether the user (photographer) receives the notification result from the replacement notification unit 47 and captures the combined replacement image as a recording image. For example, whether or not the capture determination unit 48 displays a message such as “Do you want to save this composite image but do you want to save this composite image” on the LCD (display unit) 24? Prompt the user (photographer) to determine the If the capture determining unit 48 determines that the combined replacement image is stored, the capture determining unit 48 stores the combined replacement image in the image memory 25 and does not save the combined replacement image. Discard the composite replacement image.

図１０のフローチャートを参照して、第１実施形態のデジタルカメラ１０によるＲＲＳ撮影処理を説明する。このＲＲＳ撮影処理は、ＤＳＰ（制御装置）４０のコンピュータに所定のプログラムを実行させることにより実現される。 The RRS imaging process by the digital camera 10 of the first embodiment will be described with reference to the flowchart of FIG. The RRS imaging process is realized by causing a computer of the DSP (control device) 40 to execute a predetermined program.

ステップＳ１では、イメージセンサ（撮像部）２２によって４枚の画像を時系列に撮像する。 In step S1, four images are captured in time series by the image sensor (imaging unit) 22.

ステップＳ２では、画像合成部４２が、イメージセンサ２２が撮像した４枚の画像を合成して合成画像を生成する。 In step S2, the image combining unit 42 combines four images captured by the image sensor 22 to generate a combined image.

ステップＳ３では、置換判定部４６が、画像置換部４５が合成画像に置換処理を施して合成置換画像を生成したか否かを判定する。 In step S3, the replacement determination unit 46 determines whether the image replacement unit 45 performs a replacement process on the composite image to generate a composite replacement image.

画像置換部４５が置換処理を施していないと置換判定部４６が判定した場合（ステップＳ３：Ｎｏ）、ステップＳ４において、置換処理が施されていない合成画像が「合成成功画像」として画像メモリ２５に保存される。 If the replacement determination unit 46 determines that the image replacement unit 45 has not performed replacement processing (step S3: No), the combined image not subjected to replacement processing in step S4 is used as the “combination successful image” as the image memory 25. Stored in

画像置換部４５が置換処理を施したと置換判定部４６が判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ５において、置換報知部４７が、その合成置換画像をＬＣＤ（表示部）２４に表示させて、置換報知処理（警告表示）を実行する（例えば図７〜図９）。 If the replacement determination unit 46 determines that the image replacement unit 45 has performed the replacement process (step S3: Yes), the replacement notification unit 47 causes the LCD (display unit) 24 to display the combined replacement image in step S5. Then, a replacement notification process (alert display) is executed (for example, FIGS. 7 to 9).

ステップＳ６では、取込決定部４８が、置換報知部４７による報知結果を受けたユーザ（撮影者）による決定処理に従って、合成置換画像を記録画像として取り込むか否かを決定する。すなわち、ユーザ（撮影者）は、置換報知部４７による報知結果を参考にしながら合成置換画像を検証することで、当該合成置換画像の品質が許容できるレベルであるか否か（記録する価値があるか否か）を判断する。 In step S6, the capture determining unit 48 determines whether to capture a combined replacement image as a recording image according to determination processing by the user (photographer) who has received the notification result by the replacement notification unit 47. That is, the user (photographer) verifies whether or not the quality of the combined replacement image is at an acceptable level by verifying the combined replacement image while referring to the notification result by the replacement notification unit 47 (it is worth recording To determine whether or not.

合成置換画像を記録画像として取り込むことを決定した場合（合成置換画像の品質が許容できるレベルであると判断した場合）（ステップＳ６：Ｙｅｓ）、ステップＳ７において、合成置換画像が「準合成成功画像」として画像メモリ２５に保存される。 If it is determined that the combined replacement image is to be taken as a recorded image (if it is determined that the quality of the combined replacement image is at an acceptable level) (step S6: Yes), the combined replacement image in step S7 As “image memory 25”.

合成置換画像を記録画像として取り込まないことを決定した場合（合成置換画像の品質が許容できないレベルであると判断した場合）（ステップＳ６：Ｎｏ）、ステップＳ８において、合成置換画像が失敗画像として破棄される。 When it is determined not to capture the combined replacement image as the recording image (when it is determined that the quality of the combined replacement image is at an unacceptable level) (step S6: No), the combined replacement image is discarded as a failure image in step S8. Be done.

≪第２実施形態≫
図１１、図１２を参照して、第２実施形態のデジタルカメラ（撮影装置）１０について説明する。 Second Embodiment
A digital camera (shooting apparatus) 10 of the second embodiment will be described with reference to FIGS. 11 and 12.

図１１に示すように、第２実施形態のＤＳＰ（制御装置）４０’は、第１実施形態のＤＳＰ（制御装置）４０の構成において、判定制御部４９をさらに追加したものである。第２実施形態のその他の構成は、第１実施形態の構成と同一なので、同一の符号を付して重複する説明を省略する。 As shown in FIG. 11, a DSP (control device) 40 'according to the second embodiment further includes a determination control unit 49 in the configuration of the DSP (control device) 40 according to the first embodiment. The other configuration of the second embodiment is the same as the configuration of the first embodiment, so the same reference numerals are given and duplicate explanations are omitted.

判定制御部４９は、画像置換部４５が置換処理を施して合成置換画像を生成したと置換判定部４６が判定したときに、当該合成置換画像が使用適格要件を満足するか否かを判定する。この「使用適格要件」は、置換報知処理を行った上で合成置換画像を記録画像として取り込むか否かをユーザ（撮影者）に問い合わせるまでもなく、合成置換画像を明らかな失敗画像として破棄すべきものであるか否か、を判断するための基準である。 When the replacement determination unit 46 determines that the image replacement unit 45 performs the replacement process and generates a combined replacement image, the determination control unit 49 determines whether the combined replacement image satisfies the eligibility criteria for use. . This “eligibility criteria for use” is to discard the composite replacement image as an apparent failure image without asking the user (photographer) whether to capture the composite replacement image as a recording image after performing the replacement notification processing. It is a standard for judging whether or not it is a cake.

より具体的に、判定制御部４９は、合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、合成置換画像が使用適格要件を満足するか否かを判定する。すなわち、判定制御部４９は、合成置換画像に占める置換領域の割合が所定の閾値を超えていれば、合成置換画像が使用適格要件を満足していないと判定し、合成置換画像に占める置換領域の割合が所定の閾値を超えていなければ、合成置換画像が使用適格要件を満足していると判定する。 More specifically, the determination control unit 49 determines whether the combined replacement image satisfies the usage eligibility requirement based on whether the ratio of the replacement area occupied in the combined replacement image exceeds a predetermined threshold. . That is, if the ratio of the replacement area to the combined replacement image exceeds the predetermined threshold, the determination control unit 49 determines that the combined replacement image does not satisfy the usage eligibility requirement, and the replacement area occupies the combined replacement image. If the ratio of s does not exceed the predetermined threshold, it is determined that the composite replacement image satisfies the usage eligibility requirement.

そして、判定制御部４９は、合成置換画像が使用適格要件を満足すると判定したとき、置換報知部４７に置換報知処理を実行させる（例えば図７〜図９）。一方、判定制御部４９は、合成置換画像が使用適格要件を満足しないと判定したとき、当該合成置換画像を破棄した上で、イメージセンサ（撮像部）２２に４枚の画像の撮像を再実行させる。 When the determination control unit 49 determines that the combined replacement image satisfies the usage eligibility requirement, the determination control unit 49 causes the replacement notification unit 47 to execute a replacement notification process (for example, FIGS. 7 to 9). On the other hand, when determining that the combined replacement image does not satisfy the usage eligibility requirement, the determination control unit 49 discards the combined replacement image and then re-executes imaging of four images on the image sensor (imaging unit) 22. Let

図１２のフローチャートに示すように、画像置換部４５が置換処理を施したと置換判定部４６が判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ３５において、判定制御部４９が、合成置換画像が使用適格要件を満足するか否かを判定する。判定制御部４９は、合成置換画像が使用適格要件を満足すると判定したとき（ステップＳ３５：Ｙｅｓ）、ステップＳ５に進んで、置換報知部４７に置換報知処理を実行させる（例えば図７〜図９）。判定制御部４９は、合成置換画像が使用適格要件を満足しないと判定したとき（ステップＳ３５：Ｎｏ）、合成置換画像を破棄した上で、ステップＳ１に戻って、イメージセンサ２２に４枚の画像の撮像を再実行させる。 As shown in the flowchart of FIG. 12, when the replacement determination unit 46 determines that the image replacement unit 45 has performed the replacement process (step S3: Yes), the determination control unit 49 uses the combined replacement image in step S35. Determine whether you meet the eligibility requirements. If the determination control unit 49 determines that the combined replacement image satisfies the usage eligibility requirement (step S35: Yes), the process proceeds to step S5 to cause the replacement notification unit 47 to execute the replacement notification process (for example, FIGS. 7 to 9). ). When the determination control unit 49 determines that the combined replacement image does not satisfy the usage eligibility requirement (step S35: No), the combined replacement image is discarded, and then the process returns to step S1 and four images are sent to the image sensor 22. Re-execute the imaging of.

このように本実施形態によれば、置換報知部４７が、画像置換部４５が置換処理を施して合成置換画像を生成したときにその旨を報知するので、複数の画像を合成して合成画像を得るマルチショット合成（例えばＲＲＳ撮影）をユーザの利便性に富んだ形で好適に実行することができる。すなわち、置換処理が行われた場合、その旨をユーザ（撮影者）に報知することで、再撮影を促したり合成結果の成否を確認したりするなどの撮影結果に対するフォローが可能になる。特に、超解像撮影の成否をユーザ（撮影者）が判断できるようにするとともに、失敗していた場合のフォローについてもユーザ（撮影者）の意図に従った動作を実現することができる。 As described above, according to the present embodiment, the replacement notification unit 47 notifies that effect when the image replacement unit 45 performs replacement processing and generates a combined replacement image, so that a plurality of images are combined and a combined image is generated. Multi-shot synthesis (for example, RRS imaging) to obtain R.sub.x can be suitably performed in a form that is rich in user convenience. That is, when the replacement process is performed, by notifying the user (photographer) to that effect, it is possible to follow the photographing result such as prompting re-photographing or confirming the success or failure of the combination result. In particular, it is possible to allow the user (photographer) to determine the success or failure of super-resolution imaging, and to realize an operation according to the user's (photographer's) intention even in the case of a failure.

以上の実施形態では、ＲＲＳ撮影モードにおいて、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像を「複数の画像」とした場合を例示して説明した。しかし、イメージセンサ２２の駆動軌跡及び駆動ピッチ並びに「複数の画像」の枚数には自由度があり、種々の設計変更が可能である。またイメージセンサ２２を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の画像」は、ＲＲＳ撮影モードで撮影（取得）したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。 In the above embodiments, in the RRS imaging mode, four images captured in time series are considered as “plural images” while driving the image sensor 22 so as to draw a square of one pixel pitch in the optical axis orthogonal plane. The case has been illustrated. However, the drive trajectory and drive pitch of the image sensor 22 and the number of "plural images" have freedom, and various design changes are possible. The direction in which the image sensor 22 is driven is not limited to a plane orthogonal to the optical axis of the imaging optical system, and may be a direction different from the optical axis of the imaging optical system. Furthermore, the “plurality of images” is not limited to those captured (acquired) in the RRS shooting mode, and may be continuously captured while changing the shooting conditions for the same subject.

以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ３０内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。 Although the above embodiment illustrated and demonstrated the aspect which drives this image sensor 22 in an optical-axis orthogonal plane by making the image sensor 22 into a "moving member", this invention is not limited to this. For example, a mode in which an optical element forming at least a part of the imaging lens group (imaging optical system) 31 is a "moving member", and this optical element is driven in an optical axis orthogonal plane by a voice coil motor provided in the imaging lens 30 Is also possible. Alternatively, an aspect is also possible in which both of the image sensor 22 and the optical elements forming at least a part of the imaging lens group (imaging optical system) 31 are driven as “moving members” in an optical axis orthogonal plane.

以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。 In the above embodiment, the DSP 40 and the image sensor drive circuit 60 are illustrated as separate components (blocks), but an aspect in which these are realized as a single component (block) is also possible.

以上の実施形態では、像振れ補正装置５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。 In the above embodiment, the magnets M1, M2, M3 and the yokes Y1, Y2, Y3 are fixed to the fixed support substrate 51 as the configuration of the image blur correction device 50, and the drive coils C1, C2, C3 are fixed to the movable stage 52. Although the case of fixing is described as an example, it is also possible to reverse the positional relationship and fix the magnet and the yoke to the movable stage and fix the driving coil to the fixed support substrate.

以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。 In the above embodiment, the aspect in which the body body 20 and the photographing lens 30 are detachable (lens exchangeable) is described as an example, but the aspect in which the body body 20 and the photographing lens 30 are not detachable (lens exchange impossible) Is also possible.

１０デジタルカメラ（撮影装置）
２０ボディ本体
２１シャッタ（撮影光学系）
２２イメージセンサ（画像取得部、撮像部、移動部材、振れ補正部材）
ＲＧ（Ｇｒ、Ｇｂ）Ｂカラーフィルタ
２３絞り／シャッタ駆動回路
２４ＬＣＤ（表示部）
２５画像メモリ
２６撮影操作スイッチ
２７ジャイロセンサ（振れ検出部）
２８ＲＲＳ撮影モード設定部
３０撮影レンズ
３１撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２絞り（撮影光学系）
３３通信用メモリ
４０４０’ ＤＳＰ（制御装置）
４１画像入力部
４２画像合成部
４３基準画像決定部
４４置換領域算出部
４５画像置換部
４６置換判定部
４７置換報知部
４８取込決定部
４９判定制御部
５０像振れ補正装置
５１固定支持基板
５２可動ステージ
Ｍ１Ｍ２Ｍ３磁石
Ｙ１Ｙ２Ｙ３ヨーク
Ｃ１Ｃ２Ｃ３駆動用コイル
Ｈ１Ｈ２Ｈ３ホールセンサ（位置検出部）
６０イメージセンサ駆動回路 10 Digital camera (shooting device)
20 Body 21 shutter (photographing optical system)
22 Image sensor (image acquisition unit, imaging unit, moving member, shake correction member)
R G (Gr, Gb) B Color filter 23 Aperture / shutter drive circuit 24 LCD (display section)
25 image memory 26 shooting operation switch 27 gyro sensor (shake detection unit)
28 RRS shooting mode setting unit 30 shooting lens 31 shooting lens group (shooting optical system, moving member, shake correction member)
32 Aperture (shooting optical system)
33 Communication Memory 40 40 'DSP (Control Device)
41 image input unit 42 image combining unit 43 reference image determination unit 44 replacement area calculation unit 45 image replacement unit 46 replacement determination unit 47 replacement notification unit 48 capture determination unit 49 determination control unit 50 image blur correction device 51 fixed support substrate 52 movable Stage M1 M2 M3 Magnet Y1 Y2 Y3 Yoke C1 C2 C3 Driving coil H1 H2 H3 Hall sensor (position detector)
60 Image sensor drive circuit

Claims

An image acquisition unit that acquires a plurality of images;
An image combining unit that combines the plurality of images to generate a combined image;
An image replacing unit that generates a combined replacement image by performing replacement processing on at least a part of the combined image;
A replacement notification unit that notifies that the image replacement unit has performed the replacement process to generate a combined replacement image;
When the image replacement unit performs the replacement process to generate a combined replacement image, it is determined whether the combined replacement image satisfies the use eligibility requirement and the combined replacement image satisfies the use eligibility requirement A determination control unit that causes the replacement notification unit to execute replacement notification processing when it is determined, and causes the image acquisition unit to re-execute acquisition of a plurality of images when it is determined that the combined replacement image does not satisfy use eligibility requirements; ,
An imaging apparatus characterized by having:

In the photographing apparatus according to claim 1,
The replacement notification unit is an imaging device that causes the display unit to display a combined replacement image and a message indicating that the replacement processing has been performed.

In the photographing apparatus according to claim 1,
The imaging device for causing the display unit to display an area of the combined replacement image subjected to the replacement process and an area not subjected to the replacement process in a different display mode on the display unit.

In the photographing apparatus according to claim 1,
The replacement notification unit is an imaging device that causes the display unit to display the composite image before the replacement processing and the composite replacement image after the replacement processing in a comparable manner.

The imaging apparatus according to any one of claims 1 to 4.
An imaging apparatus further comprising a capture determining unit that determines whether or not to capture the combined replacement image as a recording image based on a notification result from the replacement notification unit.

The imaging apparatus according to any one of claims 1 to 5 .
The imaging apparatus according to claim 1, wherein the determination control unit determines whether the combined replacement image satisfies the use eligibility requirement based on whether a ratio of a replacement area occupied in the combined replacement image exceeds a predetermined threshold.

The imaging apparatus according to any one of claims 1 to 6 .
The plurality of images are photographed by an image sensor that converts an object image formed by a photographing optical system into an electrical pixel signal, and an optical element forming at least a part of the photographing optical system and the image By using at least one of the sensors as a moving member and moving the moving member in a direction different from the optical axis of the photographing optical system, the subject light flux after each movement is made incident on a plurality of pixels of different detection colors of the image sensor An imaging device that is taken.

An image acquisition step of acquiring a plurality of images;
An image combining step of combining the plurality of images to generate a combined image;
An image replacement step of generating a combined replacement image by performing replacement processing on at least a part of the combined image;
A replacement notification step of notifying that a combined replacement image has been generated by performing the replacement process in the image replacement step;
When the combined replacement image is generated by performing the replacement process in the image replacement step, it is determined whether the combined replacement image satisfies the use eligibility requirement and the combined replacement image satisfies the use eligibility requirement A determination control step of causing a replacement notification process to be performed in the replacement notification step, and determining that the image obtaining step re-executes acquisition of a plurality of images when it is determined that the combined replacement image does not satisfy use eligibility requirements; ,
A photographing method characterized by having: