JP7451152B2 - Imaging device, control method and computer program - Google Patents
Imaging device, control method and computer program Download PDFInfo
- Publication number
- JP7451152B2 JP7451152B2 JP2019213131A JP2019213131A JP7451152B2 JP 7451152 B2 JP7451152 B2 JP 7451152B2 JP 2019213131 A JP2019213131 A JP 2019213131A JP 2019213131 A JP2019213131 A JP 2019213131A JP 7451152 B2 JP7451152 B2 JP 7451152B2
- Authority
- JP
- Japan
- Prior art keywords
- angular velocity
- subject
- still image
- photographing
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 66
- 238000000034 method Methods 0.000 title claims description 31
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims description 71
- 239000013598 vector Substances 0.000 claims description 68
- 238000004091 panning Methods 0.000 claims description 48
- 230000001133 acceleration Effects 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000006641 stabilisation Effects 0.000 description 11
- 238000011105 stabilization Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000011514 reflex Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は撮像装置及び制御方法等に関する。 The present invention relates to an imaging device, a control method, and the like.
カメラ（撮像装置）の撮影方法の一つに、移動している被写体に対してカメラの向きを追従させつつ、スローシャッタで撮影することで、主被写体を静止させながら背景を流すことで躍動感のある写真を撮影する流し撮りがある。しかし、被写体の動きに合わせてカメラの向きを正しく追従させながら撮影することは困難で、正しく追従できなかった場合には、主被写体が静止せずに被写体振れが生じる可能性が高い。 One method of shooting with a camera (imaging device) is to follow the direction of the camera to a moving subject and shoot with a slow shutter, which creates a sense of dynamism by keeping the main subject still while the background flows. There is a panning shot where you take a certain photo. However, it is difficult to accurately follow the direction of the camera in accordance with the movement of the subject while taking pictures, and if the camera cannot properly follow the movement of the subject, there is a high possibility that the main subject will not remain still and subject shake will occur.
そこで、流し撮りを簡単に撮影できるようにするため、様々な撮影アシスト機能が考えられる。第１のアシスト機能は、被写体振れを検出し光学補正系等で補正する機能である。第２のアシスト機能は、シャッタ速度を撮影シーンに応じてカメラが自動で設定する機能である。第３のアシスト機能は、カメラの撮影画角内の被写体の大きさをフレーム間で一定に保つためのズーム操作をカメラが自動で設定する機能である。 Therefore, various shooting assist functions can be considered to make it easier to take panning shots. The first assist function is a function that detects subject shake and corrects it using an optical correction system or the like. The second assist function is a function in which the camera automatically sets the shutter speed according to the shooting scene. The third assist function is a function in which the camera automatically sets a zoom operation to keep the size of the subject within the camera's shooting angle of view constant from frame to frame.
特許文献１は、等速直線運動をしている被写体を流し撮りするにあたり、被写体は等速であっても撮像装置から見ると角加速度変化を伴うため、被写体の角加速度を算出している。そして、静止画撮影用の露光前までの各動画フレームで算出した被写体角速度の履歴に基づいて静止画撮影用の露光中の被写体角速度を算出し、光学補正系を駆動させて被写体に係る像振れ（被写体振れ）を補正する撮像装置を開示している。
In
即ち、特許文献１が開示する撮像装置は、被写体角速度の履歴を保持し、過去数フレームの動画フレームの被写体角速度の差分から被写体角加速度を算出し、被写体角加速度の符号変化に基づいて静止画撮影用の露光中の被写体角速度の算出方法を制御している。
しかしながら、静止画撮影用の露光期間中は動きベクトルが検出できないため、露光時間が長い場合には、被写体振れを正しく補正することができないという課題があった。
That is, the imaging device disclosed in
However, since motion vectors cannot be detected during the exposure period for still image photography, there is a problem in that subject shake cannot be corrected correctly when the exposure time is long.
そこで本発明の目的は、流し撮り撮影において良好に被写体に係る像振れを補正することが可能な撮像装置等を提供することにある。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an imaging apparatus and the like that can satisfactorily correct image blur related to a subject during panning photography.
本発明の撮像装置は、
撮像装置の振れを検出する第１の検出部と、
所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部と、
第１の検出部と前記第２の検出部の検出結果から静止画露光期間前の被写体角速度を検出する被写体角速度検出部と、
前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測部と、
前記被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部と、を有し、
前記撮像装置の加速度が所定値以上の場合に、前記被写体角速度予測部による被写体角速度の予測をおこなわないことを特徴とする。
The imaging device of the present invention includes:
a first detection unit that detects shake of the imaging device;
a second detection unit that detects image movement between different frames before shooting a predetermined still image;
a subject angular velocity detection unit that detects the subject angular velocity before the still image exposure period from the detection results of the first detection unit and the second detection unit;
The inflection point of the object angular acceleration before the still image exposure period is determined based on the object angular velocity before the still image exposure period, and the inflection point of the object angular acceleration before the still image exposure period is determined. a subject angular velocity prediction unit that predicts a subject angular velocity during a still image exposure period;
a shake correction unit that corrects shake of the subject based on the subject angular velocity predicted by the subject angular velocity prediction unit;
The present invention is characterized in that the subject angular velocity prediction unit does not predict the subject angular velocity when the acceleration of the imaging device is equal to or greater than a predetermined value.
本発明によれば、流し撮り撮影において良好に被写体に係る像振れを補正することが可能な撮像装置を実現することができる。 According to the present invention, it is possible to realize an imaging device that can satisfactorily correct image blur related to a subject during panning photography.
以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
図１を参照して、本実施例におけるカメラシステム（撮像装置）の構成について説明する。
図１は、実施例のカメラシステムのブロック図である。図１において、１００は交換レンズ、１３０はカメラ本体である。交換レンズ１００は、撮影レンズユニット１０１、位置検出部１０５、ズームエンコーダ１０６、角速度検出部１１１、レンズマイコン１１２、ドライバ１１３、アンプ回路（ＡＭＰ）１１４、マウント接点部１１５を有する。
Hereinafter, preferred embodiments of the present invention will be described using examples with reference to the accompanying drawings. In addition, in each figure, the same reference numerals are attached to the same members or elements, and overlapping explanations are omitted or simplified.
Referring to FIG. 1, the configuration of a camera system (imaging device) in this embodiment will be described.
FIG. 1 is a block diagram of a camera system according to an embodiment. In FIG. 1, 100 is an interchangeable lens, and 130 is a camera body. The
撮影レンズユニット１０１は、撮像光学系１０２、ズームレンズ群（以下、ズームレンズと記述）１０３、シフトレンズ１０４を有する。撮像光学系１０２は、被写体光をズームレンズ１０３とシフトレンズ１０４を介して撮像素子１３２に導く。ズームレンズ１０３は、焦点距離を変更可能なレンズ群である。シフトレンズ１０４は、撮像装置に加わる振れにより生じる撮像画像の振れ（像振れ）を光学的に補正するために用いられる補正手段である。具体的には、レンズマイコン１１２が、ドライバ１１３を制御することでシフトレンズ１０４を光軸に垂直な方向に駆動することによって、像振れが補正される。
The photographing
ドライバ１１３はレンズを光軸に垂直な方向に移動させるレンズ駆動部として機能し、ドライバ１１３はレンズマイコン１１２、カメラマイコン１４１と共に振れ補正部として機能する。
位置検出部１０５は、シフトレンズ１０４の位置を検出する。位置検出部１０５は、例えばホール素子を含む。ズームエンコーダ１０６は、ズームレンズ１０３の位置を検出する。また、角速度検出部１１１は、撮像装置に加わる振れを検出し、角速度信号を振れ検出信号として出力する。角速度検出部１１１は、例えばジャイロセンサを含む。
The
The
また、ドライバ１１３は、シフトレンズ１０４を駆動する。アンプ回路１１４は、位置検出部１０５が検出したシフトレンズの位置を示す信号（位置検出信号）を増幅してレンズマイコン１１２に出力する。マウント接点部１１５は、交換レンズ１００とカメラ本体１３０との通信を中継する。
Further, the
また、レンズマイコン１１２は、交換レンズ１００全体を制御する。レンズマイコン１１２は、手振れ補正制御部１２１と、流し撮り制御部１２２とを有する。手振れ補正制御部１２１は、手振れにより生じる像振れを補正する制御である手振れ補正制御を実行する。流し撮り制御部１２２は、流し撮りアシストの制御を実行する。流し撮りアシストの制御は、流し撮り時において、被写体の動きに対する撮像装置の撮影方向のズレに応じた被写体に係る像振れ（被写体振れ）を補正光学系で補正する制御である。
Further, the
本実施例では、補正光学系としてシフトレンズ１０４を用いるが、補正光学系として撮像素子を光軸に垂直な面内でシフトさせるようにしてもよい。流し撮り制御部１２２は、被写体振れの補正に用いるシフトレンズ１０４の駆動量の算出に、カメラマイコン１４１が算出する被写体角速度を用いる。
In this embodiment, the
レンズマイコン１１２は、手振れ補正制御と流し撮りアシストの制御の他に、フォーカスレンズ制御、絞り制御等も行うが、図の簡略化のために説明を省略する。また、手振れ補正制御の実行のためには、例えば縦方向と横方向といった、直交する２軸に関する振れの検出および補正が必要であるが、一方の軸に関する処理に必要な構成は、他方の軸に関する処理に必要な構成と同様である。したがって、以下では１軸に関する構成に関して説明する。
In addition to camera shake correction control and panning assist control, the
カメラ本体１３０は、シャッタ１３１、撮像素子１３２、アナログ信号処理回路（ＡＦＥ）１３３、カメラ信号処理回路１３４を備える。シャッタ１３１は、撮像素子１３２が受光する光量を調節する。撮像素子１３２は、例えば、ＣＭＯＳセンサ等であり、被写体光を光電変換して撮像画像に係る信号を出力する。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ＡＦＥ１３３は、撮像素子１３２が出力したアナログ信号をデジタル信号に変換してカメラ信号処理回路１３４に出力する。カメラ信号処理回路１３４は、ＡＦＥ１３３が出力した信号に対して所定の処理を実行する。
The
カメラ信号処理回路１３４は、撮像された動画フレームから動きベクトルを検出する動きベクトル検出部１４５を備える。ここで、動きベクトル検出部１４５は、後述するように、所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部として機能している。
また、カメラ本体１３０は、タイミングジェネレータ（ＴＧ）１３５、操作部１３６、メモリカード１３９、表示パネル（以下、ＬＣＤと記述）１４０を備える。ＬＣＤ１４０は、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略称である。
The camera
The
ＴＧ１３５は、撮像素子１３２やアナログ信号処理回路１３３の動作タイミングを設定する。操作部１３６は、ユーザーの操作入力を受け付ける。
操作部１３６は、電源スイッチ、レリーズスイッチ等を有する。メモリカード１３９には、撮影された映像（撮像画像）が記録される。ＬＣＤ１４０は、撮像画像を表示する。
また、カメラ本体１３０は、ドライバ１３７、シャッタ駆動用モータ１３８、角速度検出部１７１、距離検出部１８１、マウント接点部１４４、カメラマイコン１４１を備える。ドライバ１３７は、シャッタ駆動用モータ１３８を駆動する。
The
The
The
シャッタ駆動用モータ１３８は、シャッタ１３１を駆動する。角速度検出部１７１は角速度情報を取得するためのジャイロセンサ等を含み、角速度検出部１１１と共に、撮像装置の振れを検出する第１の検出部を構成している。撮像装置に加わる振れを検出して、角速度信号（振れ検出信号）をカメラマイコン１４１に出力する。距離検出部１８１は、被写体までの距離を検出する。マウント接点部１４４は、カメラ本体１３０と交換レンズ１００との通信を中継する。
A shutter drive motor 138 drives the
カメラマイコン１４１は、カメラ本体１３０全体を制御する。例えば、カメラマイコン１４１は、カメラ信号処理回路１３４を制御することで撮像画像から取得される動きベクトルに基づいて、像振れ補正に用いられる被写体の角速度（被写体角速度）を算出する。また、カメラマイコン１４１は、交換レンズ１００のレンズマイコン１１２との間で、各種の情報（例えば流し撮りアシストの制御に必要な被写体角速度の情報など）を通信する。
The
カメラマイコン１４１は、シャッタ制御部１５１、被写体角速度算出部１５２、シャッタ速度算出部１５３、ズーム流し撮り制御部１５４を備える。なお、カメラマイコン１４１は、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。
シャッタ制御部１５１は、ドライバ１３７に指示して、シャッタ動作を制御する。被写体角速度算出部１５２は、上述した被写体角速度を算出する。被写体角速度算出部１５２は、算出した被写体角速度をレンズマイコン１１２に対して送信する。
The
The
具体的には、動きベクトル検出部１４５によって、画像の動き量が動きベクトルとして検出されるので、被写体角速度算出部１５２は、検出された動きベクトルから被写体に対応するベクトル（被写体ベクトル）を検出する。そして、被写体角速度算出部１５２は、検出された被写体ベクトルに基づいて、被写体角速度を算出する。カメラマイコン１４１は、算出された被写体角速度をレンズマイコン１１２に対して送信する。シャッタ速度算出部１５３は、流し撮りに適したシャッタ速度を算出する。ズーム流し撮り制御部１５４は、フレーム毎に撮影画角に写る被写体を一定の大きさで写すようにズーム位置を制御する。
Specifically, since the amount of motion of the image is detected as a motion vector by the motion
以上の説明のように、本実施例の撮像装置は、補正手段を光軸と直交する方向に駆動して像振れ補正を行う像振れ補正装置を備えている。そして、カメラマイコン１４１とレンズマイコン１１２とが、撮像画像から得られる被写体角速度に基づいて、シフトレンズ１０４を駆動することにより、流し撮り時の被写体に係る像振れを補正する制御部として機能する。制御部は、撮影シーンを含む被写体情報に基づいて、撮影シーンに応じた被写体振れの補正位置を決定し、被写体振れの補正位置に基づき算出される被写体角速度に基づいて、シフトレンズ１０４を駆動する。
As described above, the imaging apparatus of this embodiment includes an image blur correction device that corrects image blur by driving the correction means in a direction perpendicular to the optical axis. The
図１において、操作部１３６によりカメラ本体１３０の電源がＯＮされると、電源がＯＮとなったことをカメラマイコン１４１が検出し、カメラマイコン１４１の制御によりカメラ本体１３０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１２の制御により、交換レンズ１００内の初期設定が行われる。そして、レンズマイコン１１２とカメラマイコン１４１との間で所定のタイミングで通信が開始される。この通信で、カメラ本体１３０から交換レンズ１００へ送られる通信データは、例えば、カメラの状態、撮影設定等である。また、交換レンズ１００からカメラ本体１３０へ送られる通信データは、例えば、レンズの焦点距離情報、角速度情報等である。
In FIG. 1, when the power of the
次に手振れ補正動作に関して説明する。
図２は手振れ補正動作等に関する機能ブロック図を示しており、交換レンズ１００内では、角速度検出部１１１が手振れ等によって撮像装置に加わる振れを検出し、手振れ補正制御部１２１によって、手振れ補正制御が行われる。図２の説明において、図１と共通の構成については、同じ符号を付し説明を省略する。
Next, the camera shake correction operation will be explained.
FIG. 2 shows a functional block diagram related to image stabilization operations, etc. In the
図２において手振れ補正制御部１２１は、オフセット除去部２０１～パルス幅変調部２０８を備える。オフセット除去部２０１は、例えばハイパスフィルタ（以下、ＨＰＦ）等を有するフィルタ演算部であり、角速度検出部１１１の出力に含まれている直流成分の除去を行う。利得位相算出部２０２は、オフセット除去部２０１によってオフセット成分が除去された角速度信号に対して増幅および位相補償を行う。また、利得位相算出部２０２は、角速度信号を所定のゲインで増幅する増幅器と、角速度信号に対して位相補償を行う位相補償フィルタを備える。
In FIG. 2, the camera shake
積分器２０３は、任意の周波数帯域でその特性を変更し得る機能を有しており、利得位相算出部２０２の出力を積分し、シフトレンズ１０４の駆動量を算出する。積分器２０３は、角速度検出部１１１の角速度が一定値以上の大きさで所定時間経過した場合は、パンニング中と判定し、オフセット除去部２０１のＨＰＦのカットオフ周波数を高周波側に徐々に変更する。積分器２０３が、カットオフ周波数を高周波側へ徐々に変更することで、手振れ補正制御の目標信号が徐々に小さくなり、補正光学系（シフトレンズ）を光学中心位置に戻す。
The
パンニング中と判定されるほどの大きな角速度を、カットオフ周波数を高周波側へ変更せずに補正光学系で補正してしまうと、補正光学系は補正限界点に達してしまい、撮影者に不自然な画角変化が見えてしまうからである。
防振制御判定部２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズ１０４を駆動させるための信号を、以下のように切り替える。
If the correction optical system corrects an angular velocity so large that it is determined to be panning, without changing the cutoff frequency to a higher frequency side, the correction optical system will reach its correction limit, causing an unnatural image to the photographer. This is because you can see a change in the angle of view.
The anti-shake
（１）撮影モードが流し撮りモードに設定されている場合
防振制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択し、後述のように被写体角速度予測部により被写体角速度を予測して流し撮り用の防振制御を行う。
（２）撮影モードが流し撮りモードに設定されていない場合
防振制御判定部２０４は、手振れ補正制御部１２１で算出された積分器２０３の出力を選択し、被写体角速度予測部による被写体角速度の予測をおこなわずに防振制御を行う。
(1) When the shooting mode is set to panning mode The anti-shake
(2) When the shooting mode is not set to panning mode The anti-shake
位置検出部１０５は、シフトレンズ１０４の位置を検出し位置検出信号を出力し、アンプ回路１１４は位置検出信号を増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ回路１１４が増幅した位置検出信号をデジタル化して減算器２０５に出力する。減算器２０５は、防振制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。
The
パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。
シフトレンズ１０４の駆動にはボイスコイル型モータが使用され、ドライバ１１３は、パルス幅変調部２０８の出力にしたがって、シフトレンズ１０４を撮像光学系の光軸と垂直な方向に移動させる。これによって、前記偏差データがゼロ（手振れゼロ）になるように手振れ補正制御が行われる。
The pulse
A voice coil motor is used to drive the
次に、流し撮りモードにおける制御について説明する。
図１および図２を参照して、流し撮り制御部１２２について説明する。ユーザーが操作部１３６により、流し撮りモードに設定する操作を行うと、カメラマイコン１４１は流し撮りモードの制御に切り替える。
また、その切り替えを示す情報がカメラマイコン１４１からレンズマイコン１１２へと送信され、レンズマイコン１１２が、流し撮りモード用の制御に切り替わる。カメラ情報取得部２２６（図２）は、マウント接点部１１５、通信制御部２１１を介してカメラマイコン１４１から送信されてくる各種のカメラ情報を取得する。
Next, control in panning mode will be explained.
The panning
Further, information indicating the switching is transmitted from the
カメラ情報は、流し撮りモードの設定情報やレリーズ情報等を含む。
カメラ情報取得部２２６は、防振制御判定部２０４に対し、判定処理に必要な情報を選択するための制御信号を出力する。即ち、流し撮りモードに設定されている場合には、防振制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。また、流し撮りモード以外に設定されている場合には、防振制御判定部２０４は、手振れ補正制御部１２１で算出された積分器２０３の出力を選択する。
The camera information includes panning mode setting information, release information, and the like.
The camera
角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５を介して、カメラマイコン１４１へ角速度信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１５２で算出される被写体角速度を、マウント接点部１４４、１１５、通信制御部２１１を介して取得する。そして、被写体角速度取得部２２３は、取得した被写体角速度に基づいて、被写体振れを補正する際の、シフトレンズ１０４の駆動量の算出に用いられる被写体角速度を出力する。
The angular
減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３が出力する被写体角速度を、オフセット成分が除去された角速度信号が示す角速度から減算することで、偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を防振制御判定部２０４に出力する。
次に、被写体振れ補正の制御方法について図３の流し撮りモードにおけるカメラマイコン１４１による制御の全体フローチャートを用いて説明する。
The
Next, a control method for subject shake correction will be described using the overall flowchart of control by the
図３中のＳは、流し撮りモードにおけるフローチャートでの各処理工程を示すステップ番号である。なお、流し撮りモードにおいては、静止画撮影のための露光を複数回行うとともに、各静止画撮影のための露光前に少なくとも３フレーム以上の動画を取得するように撮像素子を動作させる。
Ｓ３０１において、カメラマイコン１４１が、交換レンズ１００内のシフトレンズ１０４の位置情報を取得する。
S in FIG. 3 is a step number indicating each processing step in the flowchart in panning mode. In the panning mode, exposure for still image shooting is performed a plurality of times, and the image sensor is operated to acquire at least three or more frames of moving images before each exposure for still image shooting.
In S301, the
これは式１で示すように、動きベクトル検出部１４５が検出する動きベクトル値δｖが、撮像装置の角速度を撮像面上の変位量δｇへ換算した値とシフトレンズ１０４の駆動量を撮像面上の変位量δｏに換算した値を加算したものであるからである。
δｖ＝δｇ＋δｏ・・・（式１）
This means that, as shown in
δv=δg+δo...(Formula 1)
次に、Ｓ３０２において、カメラマイコン１４１が、交換レンズ１００内の角速度検出部１１１とカメラ本体１３０内の角速度検出部１７１が出力する角速度信号を取得し例えば両者の平均値を撮像装置の角速度として扱う。カメラマイコン１４１は、焦点距離［ｍｍ］、フレームレート［ｆｒａｍｅ／ｓｅｃ］、画素ピッチ［ｕｍ／ｐｉｘｅｌ］を用いて、撮像装置の角速度信号が示す角速度［ｄｅｇ／ｓｅｃ］を撮像面上の動画フレーム間の変位量δｇ［ｐｉｘｅｌ／ｆｒａｍｅ］に換算する。
Next, in S302, the
次に、Ｓ３０３において、動きベクトル検出部１４５が、複数の動画フレーム間における画像の動き量を示す動きベクトルδｖを検出する。この場合、動きベクトル検出部１４５は、静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部として機能している。このようにδｇとδｖを求めることによって式１に基づきシフトレンズ１０４の駆動量を撮像面上の変位量δｏが算出でき、シフトレンズ１０４の駆動量を決定できる。
続いて、Ｓ３０４において、カメラマイコン１４１が、Ｓ３０１～Ｓ３０３までに取得した情報に基づいて、動きベクトルに関して図４のようなヒストグラムを算出する。ヒストグラムの詳細は後述する。
Next, in S303, the motion
Next, in S304, the
Ｓ３０５において、Ｓ３０４で算出したヒストグラムに基づいて被写体ベクトル群が検出可能か判定を行う。被写体ベクトル群の検出が可能である場合はＳ３０６に進む。被写体ベクトル群が検出できなかった場合はＳ３０１に戻り、次のフレームについてＳ３０１～Ｓ３０４の制御を行う。
図４は、被写体ベクトル群の検出を説明するためのヒストグラムを示す図である。
In S305, it is determined whether the subject vector group can be detected based on the histogram calculated in S304. If the object vector group can be detected, the process advances to S306. If the subject vector group cannot be detected, the process returns to S301, and the controls in S301 to S304 are performed for the next frame.
FIG. 4 is a diagram showing a histogram for explaining detection of a group of subject vectors.
図４に示すヒストグラムは、図３のＳ３０４で算出されるヒストグラムの一例である。横軸は、ベクトル値を示す。縦軸は、度数を示す。
動きベクトル検出部１４５は撮像画面内の所定の複数の位置に配置した各ブロックにおいて動画の１フレーム前との動き量をベクトル値として検出する。しかし動きベクトル検出部１４５の出力だけは、各ブロックのベクトル値が被写体ベクトルなのか背景ベクトルなのかは判断できない。
The histogram shown in FIG. 4 is an example of the histogram calculated in S304 of FIG. 3. The horizontal axis shows vector values. The vertical axis shows the frequency.
The motion
そこで、撮像面上の変位量δｇに換算した、撮像装置の角速度情報のベクトル値４０１を起点に、その起点の周囲の所定のベクトル値範囲（背景範囲）４０２内に存在する動きベクトルは背景ベクトル群４０３であると判定する。ここで、背景ベクトル群４０３はカメラシステムの手振れによる動きベクトルに相当するものとみなすことができる。そして、背景範囲４０２外に存在する動きベクトルであって、度数が所定の閾値４０４を超えているベクトルを被写体ベクトル群４０５であると判定する。
Therefore, starting from the
ここで被写体ベクトル群４０５は被写体自身の動きベクトルに対応するものと考えられる。
尚、背景範囲４０２の幅はレンズの焦点距離や動きベクトル検出部１４５の検出精度に応じて可変しても良い。更に、被写体ベクトル群の検出判定方法を行うにあたり、上記のように角速度情報を用いなくても良い。そして代わりに、オートフォーカスのデフォーカス量（やコントラスト値）に基づいて、主合焦枠のデフォーカス量（やコントラスト値）を起点に所定の焦点深度範囲内に存在するベクトルを被写体ベクトル群と判定してもよい。また、所定の焦点深度範囲外に存在するベクトルを背景ベクトル群と判定してもよい。また、デフォーカス量（やコントラスト値）と角速度情報を併用して被写体ベクトル群と背景ベクトル群の判定を行っても良い。
Here, the
Note that the width of the
図３の説明に戻る。Ｓ３０６において、Ｓ３０５で検出した被写体ベクトル群４０５の中から最終的に制御で使う被写体ベクトルを選択する。その理由は、被写体の位置によってベクトル値は変わる場合があるからである。例えば、直線運動をしている電車を流し撮りする場合、電車の車輛前方と車輛後方でベクトル値は異なる。カメラの向ける方向を全く変えず（つまりカメラを回さず）に、カメラと被写体を同じ速度で一緒に平行に動かせば、被写体の前方も後方も同等のベクトル値になる。
Returning to the explanation of FIG. 3. In S306, a subject vector to be used for final control is selected from the
しかし、実際のカメラの動かし方は、カメラを被写体に対して平行に移動させるのではなく、角度変化を伴ってカメラを振るので、カメラから被写体を見たときに被写体の前方と後方のベクトルが異なるためである。
これは、焦点距離が広角になる程、また、撮影距離が近くなる程、その影響が顕著に現れる。逆に、撮影距離が無限遠に近い場合は、被写体と並走しながら撮影するのと同様になるので、防振制御によって被写体全体を止めやすくなる。
However, the way the camera is actually moved is not to move the camera parallel to the subject, but to shake the camera while changing the angle, so when looking at the subject from the camera, the vectors in front and behind the subject are This is because they are different.
This effect becomes more pronounced as the focal length becomes wider and as the shooting distance becomes shorter. On the other hand, if the photographing distance is close to infinity, it will be the same as photographing while running parallel to the subject, so it will be easier to stop the entire subject using image stabilization control.
以上のように、Ｓ３０６では焦点距離が広角の場合、また、撮影距離が近い場合には、被写体ベクトル群４０５の中から最終的に制御で使う被写体ベクトルを選択する。撮影距離が無限遠に近い場合は例えば被写体ベクトルの平均値を選択する。
被写体ベクトルの選択方法としては、フォーカスの設定が１点ＡＦ（オートフォーカス）で、撮影者は被写体の狙いたい位置へフォーカス枠を合わせ続けていれば、１点ＡＦの枠近傍に存在する被写体ベクトルを選択すればよい。
As described above, in S306, when the focal length is wide-angle or when the photographing distance is short, the subject vector to be finally used for control is selected from the
To select a subject vector, if the focus setting is 1-point AF (autofocus) and the photographer continues to adjust the focus frame to the desired position of the subject, the subject vector existing near the 1-point AF frame will be selected. All you have to do is select.
また、フォーカスの設定が顔認識追従ＡＦであれば、被写体の顔などの、被写体検出位置近傍の被写体ベクトルを選択すればよい。
そして、最終的に選択した被写体ベクトルを、角速度を撮像面上の移動量に換算した逆手法で逆算し被写体角速度を算出する。
Furthermore, if the focus setting is face recognition tracking AF, a subject vector near the subject detection position, such as the subject's face, may be selected.
Then, the finally selected subject vector is back-calculated using an inverse method in which the angular velocity is converted into the amount of movement on the imaging plane to calculate the subject angular velocity.
このＳ３０６において、カメラマイコン１４１は、第１の検出部と第２の検出部の検出結果から静止画露光期間前の被写体角速度を検出する被写体角速度検出部として機能している。
次にＳ３０７において、Ｓ３０６で算出した被写体角速度の、隣接する動画フレーム間の差分を演算することによって被写体角加速度を算出する。
Ｓ３０８において、Ｓ３０７で算出した被写体角加速度のデータ履歴を所定フレーム数メモリに保持する。このとき被写体角加速度の代わりに被写体角速度のデータ履歴を保存しても良い。
In S306, the
Next, in S307, the subject angular acceleration is calculated by calculating the difference between the subject angular velocities calculated in S306 between adjacent video frames.
In S308, the data history of the subject angular acceleration calculated in S307 is held in the memory for a predetermined number of frames. At this time, a data history of the subject angular velocity may be saved instead of the subject angular acceleration.
そして保存された被写体角速度のデータ履歴に基づき被写体角加速度を算出するようにしても良い。このように、Ｓ３０８において、カメラマイコン１４１は、静止画露光期間前の被写体角速度に関する情報（被写体角速度または被写体角加速度）の履歴を保存する保存部として機能する。
次にＳ３０９において、撮影者によってシャッタレリーズ釦が押下されたか否か、即ち静止画撮影用の露光開始指示が出されたか否かについて判定を行う。以降、露光とは静止画撮影用の露光を指すものとする。露光開始の指示が出されればＳ３１０に進む。露光開始の指示が出されなければ、Ｓ３０１に進み次のフレームの制御についてＳ３０１～Ｓ３０９を繰り返す。
Then, the subject angular acceleration may be calculated based on the stored data history of the subject angular velocity. Thus, in S308, the
Next, in S309, it is determined whether the shutter release button has been pressed by the photographer, that is, whether an instruction to start exposure for photographing a still image has been issued. Hereinafter, exposure refers to exposure for still image photography. If an instruction to start exposure is issued, the process advances to S310. If no instruction to start exposure is issued, the process advances to S301 and repeats S301 to S309 for controlling the next frame.
Ｓ３１０において、Ｓ３０６とＳ３０７で算出した露光前の被写体角速度と被写体角加速度及びＳ３０８で保持された情報に基づいて、露光期間中における被写体角速度の推定を行う。この推定を行うのは、図１に示すカメラシステムでは露光期間中には、動きベクトル検出部１４５に撮像素子１３２からの映像信号が入力できないためである。従って、露光前の各動画フレームにおいて算出した被写体角速度と被写体角加速度から露光期間中の被写体角速度を推定する。
In S310, the subject angular velocity during the exposure period is estimated based on the subject angular velocity and subject angular acceleration before exposure calculated in S306 and S307 and the information held in S308. This estimation is performed because, in the camera system shown in FIG. 1, a video signal from the
ここで、露光期間中の被写体角速度を推定する方法について図５と図６を用いて説明する。図５（Ａ）は直線運動している被写体を流し撮りしているシーンの例を表している。図５（Ｂ）は、被写体が撮影者の真正面を原点とした場合の、被写体と撮影者の成す角度θに基づく被写体角速度ωと被写体角加速度αを示したグラフである。図５（Ｂ）に示されるように、被写体が等速で移動していたとしても、カメラは角度を伴って回転させつつ振っている（被写体に対して平行移動しているわけではない）。従って、カメラから見ると被写体の角速度は加速または減速しており、それに合わせて流し撮りすることになる。 Here, a method for estimating the subject angular velocity during the exposure period will be explained using FIGS. 5 and 6. FIG. 5A shows an example of a scene in which a panning shot of an object moving in a straight line is taken. FIG. 5B is a graph showing the subject angular velocity ω and the subject angular acceleration α based on the angle θ formed between the subject and the photographer when the subject is set directly in front of the photographer. As shown in FIG. 5B, even if the subject is moving at a constant speed, the camera is swinging while rotating at an angle (it is not moving parallel to the subject). Therefore, when viewed from the camera, the angular velocity of the subject is accelerating or decelerating, and panning shots are taken accordingly.
図５（Ｂ）の縦破線は各動画フレームの境界を示しており、縦破線の間隔５０１は動画フレーム間隔（例えば６０［ｆｒａｍｅ／ｓｅｃ］）を表す。前述のように、流し撮りモードにおいては、静止画撮影のための露光を複数回行う（連写する）とともに、各静止画撮影のための露光前に少なくとも３フレーム以上の動画フレームを取得するように撮像素子を動作させる。１回目の露光５０２が、被写体との成す角度θ＝―４０［ｄｅｇ］で行われ、露光、現像、その後、動画撮影への復帰、と順次カメラ処理が行われる。なお、本実施例では、静止画用の露光の合間の動画フレームはライブビュー表示にも用いる。
The vertical broken lines in FIG. 5(B) indicate the boundaries of each video frame, and the
１回目の露光（斜線部の期間）５０２の直前の、動画フレーム５０３の次の動画フレームは例えば５０４となる。図５（Ａ）で示すようなシーンの流し撮りでは、背景が流れるように、そして撮像面上で一定の動き量となるようにするため、露光時間を比較的長くする。従って撮影タイミングと露光時間によっては例えば図５（Ｂ）の２回目の露光期間５０５が、被写体角加速度が最初に変曲点（ゼロを通過する点）を迎える期間と重なる。そして、被写体角加速度が変曲点を迎えてこれから加速または減速していくかについての判定が困難となる。
The next moving image frame after the moving
そこで、本実施例では、図６のフローチャートに示すような方法で露光期間中の被写体角速度の推定を行う。図６は、図３のＳ３１０における、露光中の被写体角速度の推定処理のためのフローチャートでありカメラマイコン１４１により実行される。
Ｓ６０１において、流し撮りモードにおいては、静止画撮影のための露光を複数回行う（連写する）ので、現在の静止画撮影用の露光フレームが直前の静止画撮影用の露光フレームと同じ撮影シーンであるかの判定を行う。同一撮影シーンであると判定されるとＳ６０２に進む。同一撮影シーンでないと判定されるとＳ６０３に進む。
Therefore, in this embodiment, the angular velocity of the subject during the exposure period is estimated using the method shown in the flowchart of FIG. FIG. 6 is a flowchart for estimating the subject angular velocity during exposure in S310 of FIG. 3, and is executed by the
In step S601, in panning mode, exposure for still image shooting is performed multiple times (sequential shooting), so the current exposure frame for still image shooting is the same as the previous exposure frame for still image shooting in the shooting scene. Determine whether the If it is determined that the scenes are the same, the process advances to S602. If it is determined that the shooting scenes are not the same, the process advances to S603.
Ｓ６０１において、この時点では現在の静止画撮影用の露光フレームの画像はまだ得られていないので、例えばシャッタレリーズ釦が押下された直前または直後の動画フレームの画像と、直前の静止画撮影用の露光フレームの画像とを比較する。即ち、静止画撮影を開始するためのレリーズ操作の際の動画像と、直前の静止画撮影の画像を比較することによって、静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する。 In S601, since the image of the current exposure frame for still image shooting has not yet been obtained at this point, for example, the image of the video frame immediately before or after the shutter release button was pressed, and the image of the current exposure frame for still image shooting immediately before the shutter release button is pressed. Compare the exposure frame image. In other words, by comparing the video image from the release operation to start still image shooting with the image from the previous still image shooting, the shooting scene of the still image shooting and the shooting scene of another still image shooting immediately before can be determined. Determine whether they are the same.
具体的には、例えば画像認識によって、両者の画像の間で、画面中央部の主要被写体画像が同じであれば同一撮影シーンであると判定する。あるいは画像認識によって、両者の画像の間で、主要被写体画像の画面に占める割合の変化が所定の範囲内であれば同一撮影シーンであると判定する。あるいは両者の画像の間で、被写体ベクトル群の変化や動きベクトルのヒストグラムの変化が所定範囲内であれば同一シーンであると判定する。あるいは両者の画像の間で、主要被写体画像の色の変化が所定範囲内であれば同一シーンであると判定する。更には、上記の複数の判定基準の一部または全部を組み合わせて判断しても良い。 Specifically, for example, by image recognition, if the main subject image in the center of the screen is the same between the two images, it is determined that the two images are the same photographed scene. Alternatively, by image recognition, if the change in the ratio of the main subject image to the screen between the two images is within a predetermined range, it is determined that the two images are the same photographed scene. Alternatively, if the change in the subject vector group or the change in the histogram of motion vectors between the two images is within a predetermined range, it is determined that the two images are the same scene. Alternatively, if the change in color of the main subject image is within a predetermined range between the two images, it is determined that the two images are the same scene. Furthermore, the judgment may be made by combining some or all of the plurality of judgment criteria described above.
Ｓ６０１で、Ｎｏの場合、Ｓ６０３において、前回静止画用撮影の露光終了から次の静止画用撮影の露光開始までの経過時間が所定時間経過したかの判定を行う。所定時間経過していない場合は、直前の静止画撮影と同一のシーンと判断される。即ち、静止画撮影の露光タイミングと、直前の別の静止画撮影の露光タイミングの時間差が所定値より小さいか否かを判定する。それによって、前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する。 If No in S601, it is determined in S603 whether a predetermined amount of time has elapsed from the end of exposure in the previous still image shooting to the start of exposure in the next still image shooting. If the predetermined time has not elapsed, it is determined that the scene is the same as the previous still image shooting. That is, it is determined whether the time difference between the exposure timing of still image shooting and the exposure timing of another immediately preceding still image shooting is smaller than a predetermined value. Thereby, it is determined whether the photographing scene of the still image photographing is the same as the photographing scene of another still image photographing immediately before.
このＳ６０１とＳ６０３において、カメラマイコン１４１は、静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する撮影シーン判定部として機能している。なお、ステップＳ６０３では、流し撮りモードにおける最初の静止画撮影の場合にもＮｏの判断をするものとする。
次にＳ６０３における判定について更に図７を用いて説明する。図７はＳ６０３における同一撮影シーンの判定方法を説明するための図である。図７（Ａ）は、レリーズ釦を押下されてから離すまでの期間７０１に露光が複数回行われた場合を表している。
In S601 and S603, the
Next, the determination in S603 will be further explained using FIG. 7. FIG. 7 is a diagram for explaining the method for determining whether the same photographed scene is present in S603. FIG. 7A shows a case where exposure is performed multiple times during a
この場合は所謂連写撮影であるが、稀に実際は異なる撮影シーンでもレリーズ釦を押下し続けて連写を行う場合もある。その場合、１回目の露光終了時点７０２でカメラ内のシステム時間（システムクロック）を取得し、２回目の露光開始７０３時点で再度カメラ内のシステム時間を取得する。Ｓ６０３ではこの２点間のシステム時間差を算出した結果が、閾値（例えば１［ｓｅｃ］）未満であれば同一シーンであると判定を行う。
In this case, so-called continuous shooting is performed, but in rare cases, continuous shooting may be performed by continuously pressing the release button even in different shooting scenes. In that case, the system time (system clock) in the camera is acquired at the end of the
一方、図７（Ｂ）はレリーズ釦を離してから再度レリーズ釦を押下し静止画撮影用の露光を複数回行った場合を表している。
この場合は、単写撮影でありながら連写のように小刻みに静止画撮影を行っている。そして、上述した露光間隔の経過時間の判定用の閾値（例えば１［ｓｅｃ］）とほぼ合わせるために、レリーズ釦を離した時点から次にレリーズ釦を押下時点までの経過時間７０４を見る。そして経過時間７０４が、閾値（例えば０．３［ｓｅｃ］）未満であれば同一シーンであると判定を行う。
Ｓ６０３でＮｏの場合はＳ６０２に進む。Ｙｅｓの場合はＳ６０９に進む。
On the other hand, FIG. 7B shows a case where the release button is released and then pressed again to perform exposure for still image photography multiple times.
In this case, even though single-shot photography is being performed, still images are being taken in small increments like continuous shooting. Then, in order to approximately match the above-mentioned threshold value for determining the elapsed time of the exposure interval (for example, 1 [sec]), the elapsed
If No in S603, the process advances to S602. If Yes, the process advances to S609.
次に、Ｓ６０２において、急峻なカメラ動作があるかについてカメラの角速度、加速度変化に基づき判定を行う。急峻なカメラ動作がない（Ｎｏ）と判定されるとＳ６０４に進む。
急峻なカメラ動作がある（Ｙｅｓ）と判定されるとＳ６０９に進む。即ち、撮像装置の加速度が所定値以上の場合には、Ｓ６０９に進み、被写体角速度予測部による被写体角速度の予測を行わない。ここで、急峻なカメラ動作とは、例えばユーザーが被写体を追従できずＬＣＤ画面（ライブビュー画面）に被写体を捉えられていない場合を指す。この場合は、カメラの角速度変化が著しいため急峻なカメラ動作をしているといえる。また、撮影者は被写体を追従できていても急峻なカメラ動作をしているといえる場合がある。
Next, in S602, it is determined whether there is a steep camera movement based on changes in the angular velocity and acceleration of the camera. If it is determined that there is no steep camera movement (No), the process advances to S604.
If it is determined that there is a steep camera movement (Yes), the process advances to S609. That is, if the acceleration of the imaging device is equal to or greater than the predetermined value, the process advances to S609, and the subject angular velocity prediction unit does not predict the subject angular velocity. Here, the steep camera movement refers to, for example, a case where the user is unable to follow the subject and the subject is not captured on the LCD screen (live view screen). In this case, the angular velocity of the camera changes significantly, so it can be said that the camera is moving rapidly. Further, even if the photographer is able to follow the subject, it may be said that the camera is moving suddenly.
それは、例えばモーターバイクの流し撮りで、勾配が急なコーナー（ヘアピンコーナー）では被写体の動きはコーナーに入る前に減速、旋回を行い、旋回を終えると同時に加速して走り抜けるような場合である。このとき、３つの運動を行うため、撮影者が被写体を追従できていたとしても、カメラ内の角速度、加速度変化を見れば急峻なカメラ動作をしているといえる。
このように、急峻なカメラ動作をしている場合は、被写体角速度と被写体角加速度の履歴だけに基づいて制御を行うと被写体角速度の誤算出が生じ、却って像振れ補正を助長してしまうおそれがある。
For example, when taking a panning shot of a motorbike, the subject decelerates and turns before entering the corner (hairpin corner), and accelerates as soon as the corner is completed. At this time, three movements are performed, so even if the photographer is able to follow the subject, looking at changes in the angular velocity and acceleration within the camera, it can be said that the camera is making steep movements.
In this way, when the camera is making steep movements, if control is performed only based on the history of the subject angular velocity and subject angular acceleration, the subject angular velocity may be miscalculated, which may actually encourage image blur correction. be.
そのため、同一撮影シーンではなかったり、カメラが急峻な動きをしたりしている場合は、正確な動きベクトルが検出できていない場合があるため、Ｓ６０９において、保持していた被写体角加速度の履歴を初期化する。そして、被写体角速度予測部により被写体角速度を予測せず、被写体振れ補正は行わずに図３のＳ３１１に進み、通常の手振れ補正に基づく像振れ補正制御を行う。
一方、Ｓ６０２において急峻なカメラ動作がない（Ｎｏ）と判定されるとＳ６０４に進み、露光前のライブビュー中の複数動画フレームの被写体角加速度の履歴を読出す。
Therefore, if the shooting scenes are not the same or if the camera moves suddenly, an accurate motion vector may not be detected. initialize. Then, the subject angular velocity prediction unit does not predict the subject angular velocity, and the process proceeds to S311 in FIG. 3 without performing subject shake correction, and performs image shake correction control based on normal camera shake correction.
On the other hand, if it is determined in S602 that there is no steep camera movement (No), the process advances to S604, and the history of subject angular acceleration of multiple video frames in live view before exposure is read.
このとき代わりに被写体角速度の履歴が保存されていたらそれを読み出すようにしても良い。そして保存された被写体角速度のデータ履歴に基づき被写体角加速度を算出するようにしても良い。
次にＳ６０５において、Ｓ６０４で読み出したライブビュー中の各動画フレームの被写体角加速度（または被写体角速度）の履歴を用いて、露光直前の動画フレームに被写体角加速度の変曲点があるか判定を行う。
At this time, if the history of the subject angular velocity is saved, it may be read out instead. Then, the subject angular acceleration may be calculated based on the stored data history of the subject angular velocity.
Next, in S605, it is determined whether there is an inflection point of the subject angular acceleration in the video frame immediately before exposure, using the history of the subject angular acceleration (or subject angular velocity) of each video frame in live view read out in S604. .
変曲点は、露光直前の動画フレームをＮ番目のフレームとしたとき、例えば以下のように求める。即ち、Ｎ－２フレームの被写体角加速度αＮ－２がー２［ｄｅｇ／ｓｅｃ２］、Ｎ－１フレームの被写体角加速度αＮ－１がー３［ｄｅｇ／ｓｅｃ２］、Ｎフレームの被写体角加速度αＮが１［ｄｅｇ／ｓｅｃ２］とする。その場合、Ｎ－１フレーム時点の被写体角加速度差分ΔαＮ－１はー１［ｄｅｇ／ｓｅｃ２］で、Ｎフレーム時点の被写体角加速度差分ΔαＮは＋２［ｄｅｇ／ｓｅｃ２］となる。即ち、角加速度の差分の極性が変わるので露光直前の動画フレームであるＮフレームで被写体角加速度の変曲点があると判定する。 The inflection point is determined, for example, as follows, assuming that the video frame immediately before exposure is the Nth frame. That is, the subject angular acceleration αN-2 of the N-2 frame is -2 [deg/sec 2 ], the subject angular acceleration αN-1 of the N-1 frame is -3 [deg/sec 2 ], and the subject angular acceleration of the N frame is -2 [deg/sec 2 ]. αN is assumed to be 1 [deg/sec 2 ]. In this case, the subject angular acceleration difference ΔαN-1 at the N-1 frame is -1 [deg/sec 2 ], and the subject angular acceleration difference ΔαN at the N frame is +2 [deg/sec 2 ]. That is, since the polarity of the difference in angular acceleration changes, it is determined that there is an inflection point in the subject angular acceleration at frame N, which is the video frame immediately before exposure.
変曲点があると判定された場合はＳ６０６に進む。変曲点がないと判定された場合はＳ６０７に進む。
Ｓ６０６において、Ｓ６０５で被写体角加速度の変曲点を見つけているため、露光前の被写体角速度と被写体角加速度と、レリーズ釦押下から露光開始までのレリーズタイムラグ分を考慮して露光期間中の被写体角速度の算出を行う。
If it is determined that there is an inflection point, the process advances to S606. If it is determined that there is no inflection point, the process advances to S607.
In S606, since the inflection point of the subject angular acceleration was found in S605, the subject angular velocity during the exposure period is calculated taking into account the subject angular velocity and subject angular acceleration before exposure, and the release time lag from pressing the release button to the start of exposure. Calculate.
例えば、露光開始時点の被写体角速度を、直前の露光時の被写体角速度及び複数の動画フレームの被写体角速度の線形補間により求めるとともに、露光直前の動画フレームに存在する変曲点から露光開始時点までの時間に被写体角加速度を乗じる。それによって得た角速度を、前記の線形補間により求めた被写体角速度に加減算することで補正し、露光開始時点の補正後の被写体角速度を算出する。露光終了時点の補正された被写体角速度も同様にして求めることができるので、露光開始時点の補正後の被写体角速度と露光終了時点の補正後の被写体角速度の平均値を露光期間中の被写体角速度とすることができる。 For example, the subject angular velocity at the time of exposure start is determined by linear interpolation of the subject angular velocity during the previous exposure and the subject angular velocity of multiple video frames, and the time from the inflection point existing in the video frame immediately before exposure to the exposure start time is calculated. is multiplied by the subject angular acceleration. The angular velocity thus obtained is corrected by adding to or subtracting from the subject angular velocity determined by the linear interpolation, and the corrected subject angular velocity at the time of starting exposure is calculated. The corrected subject angular velocity at the end of exposure can be found in the same way, so the average value of the corrected subject angular velocity at the start of exposure and the corrected subject angular velocity at the end of exposure is taken as the subject angular velocity during the exposure period. be able to.
このように、静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じと判定された場合には、Ｓ６０６で静止画撮影の直前の別の静止画撮影により得られた画像の被写体角速度も用いて静止画露光期間における被写体角速度を予測する。
なお、流し撮りモードの最初の静止画撮影の場合には、上記において露光開始時点や露光終了時点の被写体角速度を線形補間で算出する際には、複数の動画フレームの被写体角速度だけを用いて線形補間により求める。
In this way, if it is determined that the shooting scene of the still image shooting and the shooting scene of another still image shooting immediately before are the same, in S606, the image obtained by another still image shooting immediately before the still image shooting is The subject angular velocity during the still image exposure period is also predicted using the subject angular velocity.
Note that when shooting the first still image in panning mode, when calculating the subject angular velocity at the start and end of exposure using linear interpolation, only the subject angular velocity of multiple video frames is used to calculate the linear interpolation. Obtained by interpolation.
このように、Ｓ６０６においてカメラマイコン１４１は、静止画露光期間前の被写体角速度に基づいて静止画露光期間前の被写体角加速度の変曲点を判別する。また、変曲点と静止画露光期間前の被写体角速度に基づいて静止画露光期間における被写体角速度を予測する被写体角速度予測部として機能している。
Ｓ６０７において、直近の動画の２フレームにおいて各々のフレーム時点におけるカメラのシステム時間を取得し、その差分値が閾値（例えば１［ｓｅｃ］）を超えているか判定を行う。
Thus, in S606, the
In S607, the system time of the camera at each frame time point in the two most recent video frames is acquired, and it is determined whether the difference value exceeds a threshold value (for example, 1 [sec]).
システム時間の差分値が閾値未満の場合はＳ６０８に進む。システム時間の差分値が閾値以上の場合は、線形補間の誤差が大きくなるのでＳ６０９に進む。
Ｓ６０８において、露光中（例えば露光期間の中央時点）の被写体角速度を、直前の露光時の被写体角速度及び複数の動画フレームの被写体角速度の線形補間により求める。なお、Ｓ３０６で最終的に選択した被写体ベクトルが図４の閾値４０４以上であっても例えば所定の閾値（例えば６［ｐｉｘｅｌ］）未満の場合には、角速度センサのフレーム毎の角速度情報に基づき露光期間中の疑似的な被写体角速度を算出しても良い。
If the system time difference value is less than the threshold, the process advances to S608. If the difference value of the system time is equal to or greater than the threshold value, the error in linear interpolation becomes large, so the process advances to S609.
In S608, the subject angular velocity during exposure (for example, at the center of the exposure period) is determined by linear interpolation of the subject angular velocity during the previous exposure and the subject angular velocity of a plurality of video frames. Note that even if the subject vector finally selected in S306 is greater than or equal to the
本システムで算出すべき被写体角速度は上述した式１で示す通り、撮像装置の角速度と、撮像装置と被写体との相対的な動き量に依存する。撮影者が被写体を精度よく追従出来ているほど、撮像装置と被写体との相対的な動き量は小さくなる。そのため、撮像面上の移動量において許容できる誤差範囲（例えば２０［ｕｍ］）に収まるのであれば、角速度センサの角速度情報で補間して、露光中における被写体角速度を算出しても良い。
図７に示すように、露光期間中７０５においてもカメラ内の角速度検出部１７１またはレンズ内の角速度検出部１１１は常にデータ取得を行っているのでそれを使う。Ｓ６０８、Ｓ６０６、Ｓ６０９のステップの次にＳ３１１に進む。
As shown in
As shown in FIG. 7, even during the
図３のＳ３１１において、Ｓ３１０で算出した被写体角速度を用いて式１に基づき振れ補正系であるシフトレンズ１０４を駆動させる。即ち、Ｓ３１１において、カメラマイコン１４１、レンズマイコン１１２及びドライバ１１３は、被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部として機能している。
Ｓ３１２において、静止画撮影のための所定の露光時間が経過したかの判定を行う。所定の露光時間が経過した場合は処理を終了する。所定の露光時間が経過していない場合は、Ｓ３１１に進み、所定の露光時間が経過するまで、振れ補正系であるシフトレンズ１０４を駆動し続ける。
In S311 of FIG. 3, the
In S312, it is determined whether a predetermined exposure time for still image photography has elapsed. If the predetermined exposure time has elapsed, the process ends. If the predetermined exposure time has not elapsed, the process advances to S311, and the
以上、本発明の好ましい実施形態について図１で示すデジタルカメラシステムを用いて説明したが、本発明は撮像装置本体とレンズ装置とが一体的に構成された撮像システムにも適用可能である。また、デジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ネットワークカメラなど撮像機能を有する電子機器等にも適用可能である。なお、図１で示すデジタルカメラシステムはペンタプリズムやレフレックスミラーが存在しない所謂、ミラーレスカメラを想定しているが、一眼レフカメラにも適用可能である。一眼レフカメラの場合には、レフレックスミラーで反射された像の測光を行うための測光用の撮像素子を設け、測光用の撮像素子からの映像信号を動きベクトル検出部１４５に入力すれば良い。
Although the preferred embodiment of the present invention has been described above using the digital camera system shown in FIG. 1, the present invention is also applicable to an imaging system in which an imaging device main body and a lens device are integrally configured. It is also applicable to electronic devices with imaging functions, such as digital movie cameras, smartphones with cameras, tablet computers with cameras, in-vehicle cameras, and network cameras. Although the digital camera system shown in FIG. 1 is assumed to be a so-called mirrorless camera that does not include a pentaprism or a reflex mirror, it is also applicable to a single-lens reflex camera. In the case of a single-lens reflex camera, a photometric image sensor may be provided to perform photometry of the image reflected by the reflex mirror, and a video signal from the photometric image sensor may be input to the motion
なお、以上の説明では、振れ補正手段として、レンズを光軸に垂直な面内でシフトすることによって光学的に像振れを補正する例を説明したが、撮像素子を光軸に垂直な面内でシフトすることによって像振れを補正するものであっても良い。或いは像振れ補正手段は、画像信号を画面内でシフトすることによって像振れを補正するものであってもよい。更には上記の複数タイプの一部または全部の像振れ補正手段を組み合わせたものであっても良い。 In the above explanation, an example was explained in which image shake is optically corrected by shifting the lens in a plane perpendicular to the optical axis as a shake correction means. It may also be possible to correct image blur by shifting the image. Alternatively, the image blur correction means may correct image blur by shifting the image signal within the screen. Furthermore, a combination of some or all of the plurality of types of image blur correction means described above may be used.
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置等に供給するようにしてもよい。そしてその撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
Although the present invention has been described above in detail based on its preferred embodiments, the present invention is not limited to the above-mentioned embodiments, and various modifications can be made based on the gist of the present invention. It is not excluded from the scope of the invention.
Note that a computer program that implements part or all of the control in this embodiment and the functions of the above-described embodiments may be supplied to the imaging device or the like via a network or various storage media. Then, a computer (or CPU, MPU, etc.) in the imaging device or the like may read and execute the program. In that case, the program and the storage medium storing the program constitute the present invention.
１００ 交換レンズ
１０４ シフトレンズ
１１１ レンズ内の角速度検出部
１１２ レンズマイコン
１３０ カメラ本体
１４１ カメラマイコン
１４５ 動きベクトル検出部
１５２ 被写体角速度算出部
１５３ シャッタ速度算出部
１５４ ズーム流し撮り制御部
１７１ カメラ内の角速度検出部
100
Claims (13)
所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部と、
第１の検出部と前記第２の検出部の検出結果から静止画露光期間前の被写体角速度を検出する被写体角速度検出部と、
前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測部と、
前記被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部と、を有し、
前記撮像装置の加速度が所定値以上の場合に、前記被写体角速度予測部による被写体角速度の予測をおこなわないことを特徴とする撮像装置。 a first detection unit that detects shake of the imaging device;
a second detection unit that detects image movement between different frames before shooting a predetermined still image;
a subject angular velocity detection unit that detects the subject angular velocity before the still image exposure period from the detection results of the first detection unit and the second detection unit;
The inflection point of the object angular acceleration before the still image exposure period is determined based on the object angular velocity before the still image exposure period, and the inflection point of the object angular acceleration before the still image exposure period is determined. a subject angular velocity prediction unit that predicts a subject angular velocity during a still image exposure period;
a shake correction unit that corrects shake of the subject based on the subject angular velocity predicted by the subject angular velocity prediction unit;
An imaging device characterized in that the object angular velocity prediction unit does not predict the subject angular velocity when the acceleration of the imaging device is equal to or greater than a predetermined value.
所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出ステップと、
第１の検出ステップと前記第２の検出ステップの検出結果から静止画露光期間前の被写体角速度を検出する被写体角速度検出ステップと、
前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測ステップと、
前記被写体角速度予測ステップにより予測された被写体角速度に基づき被写体の振れ補正をする振れ補正ステップと、を有し、
前記撮像装置の加速度が所定値以上の場合に、前記被写体角速度予測ステップによる被写体角速度の予測をおこなわないことを特徴とする制御方法。 a first detection step of detecting shake of the imaging device;
a second detection step of detecting image movement between different frames before shooting a predetermined still image;
a subject angular velocity detection step of detecting the subject angular velocity before the still image exposure period from the detection results of the first detection step and the second detection step;
The inflection point of the object angular acceleration before the still image exposure period is determined based on the object angular velocity before the still image exposure period, and the inflection point of the object angular acceleration before the still image exposure period is determined. a subject angular velocity prediction step of predicting a subject angular velocity during a still image exposure period;
a shake correction step of correcting the shake of the subject based on the subject angular velocity predicted by the subject angular velocity prediction step;
A control method characterized in that the subject angular velocity prediction step does not predict the subject angular velocity when the acceleration of the imaging device is equal to or greater than a predetermined value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019213131A JP7451152B2 (en) | 2019-11-26 | 2019-11-26 | Imaging device, control method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019213131A JP7451152B2 (en) | 2019-11-26 | 2019-11-26 | Imaging device, control method and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021085925A JP2021085925A (en) | 2021-06-03 |
| JP7451152B2 true JP7451152B2 (en) | 2024-03-18 |
Family
ID=76087481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019213131A Active JP7451152B2 (en) | 2019-11-26 | 2019-11-26 | Imaging device, control method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7451152B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078196A (en) | 1999-09-03 | 2001-03-23 | Nec Corp | Moving picture coding method and moving picture coder |
| JP2009010453A (en) | 2007-06-26 | 2009-01-15 | Sony Corp | Image processing apparatus and method, and program |
| JP2010050934A (en) | 2008-08-25 | 2010-03-04 | Canon Inc | Image processing device, imaging apparatus, control method of the image processing device and program |
| JP2012119875A (en) | 2010-11-30 | 2012-06-21 | Canon Inc | Imaging apparatus and control method of the same |
| US20160261784A1 (en) | 2015-03-03 | 2016-09-08 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof and storage medium storing control program therefor |
| JP2016167798A (en) | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | Imaging device and control program for the same |
| JP2018013602A (en) | 2016-07-21 | 2018-01-25 | キヤノン株式会社 | Image shake correction device, lens device, imaging device, and imaging system |
| JP2018054698A (en) | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | Optical device, imaging apparatus and control method |
| US20180176470A1 (en) | 2016-12-16 | 2018-06-21 | Samsung Electronics Co., Ltd. | Method for obtaining panning shot image and electronic device supporting the same |
-
2019
- 2019-11-26 JP JP2019213131A patent/JP7451152B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078196A (en) | 1999-09-03 | 2001-03-23 | Nec Corp | Moving picture coding method and moving picture coder |
| JP2009010453A (en) | 2007-06-26 | 2009-01-15 | Sony Corp | Image processing apparatus and method, and program |
| JP2010050934A (en) | 2008-08-25 | 2010-03-04 | Canon Inc | Image processing device, imaging apparatus, control method of the image processing device and program |
| JP2012119875A (en) | 2010-11-30 | 2012-06-21 | Canon Inc | Imaging apparatus and control method of the same |
| US20160261784A1 (en) | 2015-03-03 | 2016-09-08 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof and storage medium storing control program therefor |
| JP2016167798A (en) | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | Imaging device and control program for the same |
| JP2018013602A (en) | 2016-07-21 | 2018-01-25 | キヤノン株式会社 | Image shake correction device, lens device, imaging device, and imaging system |
| JP2018054698A (en) | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | Optical device, imaging apparatus and control method |
| US20180176470A1 (en) | 2016-12-16 | 2018-06-21 | Samsung Electronics Co., Ltd. | Method for obtaining panning shot image and electronic device supporting the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021085925A (en) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10362236B2 (en) | Image capturing apparatus, control method thereof and storage medium storing control program therefor | |
| JP6700826B2 (en) | Image blur correction apparatus, control method thereof, program, and storage medium | |
| KR101951076B1 (en) | Image capturing apparatus, control method thereof and computer program therefor | |
| JP6776062B2 (en) | Imaging device and its control method | |
| JP6995561B2 (en) | Image stabilization device and its control method, image pickup device | |
| CN107786809B (en) | Image pickup and accessory apparatus, communication control method thereof, image pickup system, and storage medium | |
| US10708503B2 (en) | Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium | |
| JP2007288726A (en) | Imaging apparatus | |
| JP2005215388A (en) | Interchangeable lens and camera system using the same | |
| CN106470317B (en) | Image pickup apparatus and control method thereof | |
| CN108668074B (en) | Image blur correction device, control method thereof, image pickup apparatus, and storage medium | |
| JP2016170285A (en) | Image blur correction device, optical equipment, imaging apparatus, and control method | |
| JP4876550B2 (en) | Imaging apparatus, control method, and control program | |
| JP7451152B2 (en) | Imaging device, control method and computer program | |
| JP2018082232A (en) | Imaging device and control method | |
| JP6858065B2 (en) | Imaging device and its control method | |
| JP2012042589A (en) | Image shake correction mechanism, lens barrel, and image sensor | |
| JP2020148999A (en) | Control device, imaging device, lens device, control method, and program | |
| JP7414484B2 (en) | Optical equipment, imaging device and control method | |
| JP6278798B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP7254555B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE | |
| JP7073078B2 (en) | Image pickup device and its control method | |
| JP2018054698A (en) | Optical device, imaging apparatus and control method | |
| WO2019203147A1 (en) | Imaging device | |
| JP2007248672A (en) | Photographic device, control method and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7451152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |