JP7175702B2 - 像ブレ補正装置およびその制御方法、撮像装置 - Google Patents
像ブレ補正装置およびその制御方法、撮像装置 Download PDFInfo
- Publication number
- JP7175702B2 JP7175702B2 JP2018194948A JP2018194948A JP7175702B2 JP 7175702 B2 JP7175702 B2 JP 7175702B2 JP 2018194948 A JP2018194948 A JP 2018194948A JP 2018194948 A JP2018194948 A JP 2018194948A JP 7175702 B2 JP7175702 B2 JP 7175702B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- swing
- image
- output
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 125
- 238000000034 method Methods 0.000 title claims description 70
- 238000003384 imaging method Methods 0.000 title claims description 62
- 238000001514 detection method Methods 0.000 claims description 96
- 238000004091 panning Methods 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
本発明の目的は、信号処理に基づいて発生する揺れ戻りの動きを抑制し、より良好な像ブレ補正を実現することである。
図1は、本発明の第1実施形態に係る撮像装置の構成を示す。以下では撮像装置に搭載される像ブレ補正装置に関連する構成要素を説明する。動き検出部101は撮像装置に生じている動きを検出する。この動きは、例えば手ぶれやパンニング等の動きである。動き検出部101は撮像装置の動き情報の信号(以下、動き信号という)を取得する。撮像装置の動き情報とは、撮像装置の位置および姿勢の時間的な変化を表しており、手ぶれのような撮影者が意図していない動きの他に、パンニング等の撮影者による意図的な動きを含む情報である。動き検出部101は検出した動き信号を動き判定部102およびハイパスフィルタ(HPF)103に出力する。動き判定部102は、動き検出部101から取得した動き信号を用いて撮像装置にどのような動きが生じているかを判定する。動き判定部102は判定信号をHPF103および揺れ戻り検出部105に出力する。
図6を参照して、本発明の第2実施形態に係る撮像装置の構成を説明する。本実施形態では、まず撮像装置の動き情報から揺れ戻り成分の信号を検出してHPFの出力する信号から減算することで、揺れ戻りが生じないように像ブレ補正部材の制御を行う。それでも補正することができなかった揺れ戻り成分については動きベクトルを用いた画像切り出しにより補正される。図6において、図1に示す各構成要素と共通するものについては図1で使用した符号と同じ符号を付すことにより、それらの詳細な説明を省略する。
105 揺れ戻り検出部
109 画像切り出し部
Claims (11)
- 入力画像の像ブレを補正する像ブレ補正装置であって、
前記像ブレ補正装置を備える装置の動きを検出する第1の検出手段と、
前記第1の検出手段の出力をフィルタリングするフィルタ手段と、
前記フィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第2の検出手段と、
複数の前記入力画像の間で動きベクトルを検出する第3の検出手段と、
前記第2の検出手段によって検出される前記期間にて、前記第3の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、を備え、
前記フィルタ手段は、前記第1の検出手段の出力の低周波成分を低減させる第1のフィルタ手段と、前記第1のフィルタ手段の出力の高周波成分を低減させる第2のフィルタ手段と、を含み、
前記第2の検出手段は、前記第2のフィルタ手段の出力を用いて、前記揺れ戻りの動きが発生する期間を検出する
ことを特徴とする像ブレ補正装置。 - 前記処理手段は、前記第3の検出手段により検出された動きベクトルを用いて前記入力画像から部分画像を切り出す処理を行うことで前記揺れ戻りの動きを補正し、前記第2の検出手段によって検出される前記期間にて、前記動きベクトルに対応する揺れ戻りの動きを低減する位置で前記部分画像を切り出す処理を行う
ことを特徴とする請求項1に記載の像ブレ補正装置。 - 前記第1の検出手段の出力から前記像ブレ補正装置を備える装置の動きを判定し、判定信号を前記第1のフィルタ手段または前記第2の検出手段に出力する動き判定手段をさらに備え、
前記第1の検出手段は、パンニングまたはチルティングの検出信号を前記動き判定手段に出力する
ことを特徴とする請求項1に記載の像ブレ補正装置。 - 前記第2のフィルタ手段の出力にゲインを乗算して出力するゲイン制御手段と、
前記第1のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する減算処理手段と、を備え、
前記ゲイン制御手段は、前記第2のフィルタ手段の出力に対し、前記第2の検出手段によって検出される前記期間に第1のゲインを乗算し、前記期間でないときに前記第1のゲインよりも小さい第2のゲインを乗算する
ことを特徴とする請求項2に記載の像ブレ補正装置。 - 装置の動きを検出する第1の検出手段と、
前記第1の検出手段の出力の低周波成分を低減させる第1のフィルタ手段と、
前記第1のフィルタ手段の出力の高周波成分を低減させる第2のフィルタ手段と、
前記第2のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第2の検出手段と、
複数の入力画像の間で動きベクトルを検出する第3の検出手段と、
前記第2の検出手段によって検出される前記期間にて、前記第3の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、
像ブレを補正する補正手段と、
前記第1のフィルタ手段の出力を用いて前記補正手段を制御する補正制御手段と、を備える
ことを特徴とする撮像装置。 - 装置の動きを検出する第1の検出手段と、
前記第1の検出手段の出力の低周波成分を低減させる第1のフィルタ手段と、
前記第1のフィルタ手段の出力の高周波成分を低減させる第2のフィルタ手段と、
前記第2のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第2の検出手段と、
複数の入力画像の間で動きベクトルを検出する第3の検出手段と、
前記第2の検出手段によって検出される前記期間にて、前記第3の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、
前記第2のフィルタ手段の出力にゲインを乗算して出力するゲイン制御手段と、
前記第1のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する減算処理手段と、
像ブレを補正する補正手段と、
前記減算処理手段の出力を用いて前記補正手段を制御する補正制御手段と、を備え、
前記処理手段は、前記第3の検出手段により検出された動きベクトルを用いて前記入力画像から部分画像を切り出す処理を行うことで前記揺れ戻りの動きを補正し、前記第2の検出手段によって検出される前記期間にて、前記動きベクトルに対応する揺れ戻りの動きを低減する位置で前記部分画像を切り出す処理を行い、
前記ゲイン制御手段は、前記第2のフィルタ手段の出力に対し、前記第2の検出手段によって検出される前記期間に第1のゲインを乗算し、前記期間でないときに前記第1のゲインよりも小さい第2のゲインを乗算する
ことを特徴とする撮像装置。 - 前記ゲイン制御手段はゲイン値を下げて、前記補正手段が行う第1の補正よりも前記部分画像を切り出す処理による第2の補正の割合を大きくし、または、前記ゲイン値を上げて、前記第1の補正よりも前記第2の補正の割合を小さくする制御を行う
ことを特徴とする請求項6に記載の撮像装置。 - 前記ゲイン制御手段は、前記第2のフィルタ手段の出力に対し、前記補正手段が限界位置である補正端に近い第1の位置にあるときに乗算するゲイン値を、前記補正手段が前記補正端から離れた第2の位置にあるときに乗算するゲイン値よりも小さく設定する
ことを特徴とする請求項6に記載の撮像装置。 - 前記ゲイン制御手段は、前記第2のフィルタ手段の出力に対し、前記部分画像を切り出す処理における画像の切り出し領域が撮像素子による撮像範囲の端に近い第1の位置にあるときに乗算するゲイン値を、前記切り出し領域が撮像素子による撮像範囲の端から離れた第2の位置にあるときに乗算するゲイン値よりも大きく設定する
ことを特徴とする請求項6に記載の撮像装置。 - 前記第3の検出手段の出力信号から撮像装置の動きを判定する動き判定手段を備え、
前記第2の検出手段は、前記動き判定手段によってパンニングまたはチルティングの開始が判定された後に、前記動きベクトルの向きが反転した時刻を前記揺れ戻りの動きが発生した時刻として検出する
ことを特徴とする請求項5から9のいずれか1項に記載の撮像装置。 - 入力画像の像ブレを補正する像ブレ補正装置にて実行される制御方法であって、
前記像ブレ補正装置を備える装置の動きの検出信号を取得する工程と、
複数の前記入力画像の間で動きベクトルを検出する工程と、
前記検出信号をフィルタリングする工程と、
前記フィルタリングの結果を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する工程と、
検出された前記期間にて、前記動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理工程と、を備え、
前記フィルタリングする工程は、前記検出信号の低周波成分を低減させる第1の工程と、前記第1の工程の出力の高周波成分を低減させる第2の工程と、を含み、
前記揺れ戻りの動きが発生する期間を検出する工程は、前記第2の工程の出力を用いて、前記揺れ戻りの動きが発生する期間を検出する
ことを特徴とする像ブレ補正装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018194948A JP7175702B2 (ja) | 2018-10-16 | 2018-10-16 | 像ブレ補正装置およびその制御方法、撮像装置 |
US16/600,765 US11159724B2 (en) | 2018-10-16 | 2019-10-14 | Image blur correction device, control method thereof, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018194948A JP7175702B2 (ja) | 2018-10-16 | 2018-10-16 | 像ブレ補正装置およびその制御方法、撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020065133A JP2020065133A (ja) | 2020-04-23 |
JP2020065133A5 JP2020065133A5 (ja) | 2021-11-25 |
JP7175702B2 true JP7175702B2 (ja) | 2022-11-21 |
Family
ID=70160638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018194948A Active JP7175702B2 (ja) | 2018-10-16 | 2018-10-16 | 像ブレ補正装置およびその制御方法、撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11159724B2 (ja) |
JP (1) | JP7175702B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7516103B2 (ja) | 2020-05-15 | 2024-07-16 | キヤノン株式会社 | 撮像装置の制御装置、方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009168939A (ja) | 2008-01-11 | 2009-07-30 | Fujifilm Corp | 振れ検出装置及び振れ検出方法 |
JP2012058545A (ja) | 2010-09-09 | 2012-03-22 | Canon Inc | 撮像装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5513029B2 (ja) * | 2009-07-15 | 2014-06-04 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6351247B2 (ja) * | 2013-12-12 | 2018-07-04 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、光学機器、撮像装置 |
-
2018
- 2018-10-16 JP JP2018194948A patent/JP7175702B2/ja active Active
-
2019
- 2019-10-14 US US16/600,765 patent/US11159724B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009168939A (ja) | 2008-01-11 | 2009-07-30 | Fujifilm Corp | 振れ検出装置及び振れ検出方法 |
JP2012058545A (ja) | 2010-09-09 | 2012-03-22 | Canon Inc | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US11159724B2 (en) | 2021-10-26 |
US20200120280A1 (en) | 2020-04-16 |
JP2020065133A (ja) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9883104B2 (en) | Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium which are capable of performing tilt correction | |
US9264616B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for correcting image blurring of a captured image | |
US9986164B2 (en) | Camera shaking correction device and imaging apparatus with offset correction | |
JP4817849B2 (ja) | 振れ補正装置および光学機器 | |
KR101528860B1 (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
US20100201827A1 (en) | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts | |
US20170134649A1 (en) | Imaging device and imaging method | |
JP2011139167A (ja) | 撮像装置及び振れ補正方法 | |
US11290650B2 (en) | Image blur information acquisition apparatus and method, and storage medium | |
JP2012058545A (ja) | 撮像装置 | |
KR20170033127A (ko) | 영상 안정화 방법, 장치 및 컴퓨터 기록매체 | |
US10212364B2 (en) | Zoom control apparatus, image capturing apparatus and zoom control method | |
JP7175702B2 (ja) | 像ブレ補正装置およびその制御方法、撮像装置 | |
US10200612B2 (en) | Image stabilization apparatus and control method thereof, and storage medium | |
JP2006332809A (ja) | 撮像装置 | |
JP6245968B2 (ja) | 画像処理装置、撮像装置および制御方法 | |
JP2012018328A (ja) | 光学機器、撮像装置、及び光学機器の制御方法 | |
EP3739868B1 (en) | Control apparatus, lens apparatus, imaging apparatus, control method, and program | |
JP7258518B2 (ja) | 像ブレ補正装置およびその制御方法、撮像装置 | |
US11190688B2 (en) | Image blur correction device, method for controlling same, and imaging apparatus | |
JP5699806B2 (ja) | 撮像装置 | |
JP2006003645A (ja) | 像振れ補正装置 | |
JP2015195453A (ja) | 画像処理装置および画像処理方法 | |
JP2007096828A (ja) | 撮像装置 | |
JP7204855B2 (ja) | 像振れ補正装置およびその制御方法、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211013 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221109 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7175702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |