JP6209002B2 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP6209002B2 JP6209002B2 JP2013147920A JP2013147920A JP6209002B2 JP 6209002 B2 JP6209002 B2 JP 6209002B2 JP 2013147920 A JP2013147920 A JP 2013147920A JP 2013147920 A JP2013147920 A JP 2013147920A JP 6209002 B2 JP6209002 B2 JP 6209002B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- geometric deformation
- shake
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 77
- 238000003384 imaging method Methods 0.000 title claims description 42
- 238000012937 correction Methods 0.000 claims description 178
- 230000003287 optical effect Effects 0.000 claims description 115
- 230000006641 stabilisation Effects 0.000 claims description 80
- 238000011105 stabilization Methods 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 48
- 238000005096 rolling process Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 31
- 238000002955 isolation Methods 0.000 claims description 6
- 239000003381 stabilizer Substances 0.000 claims 1
- 230000008859 change Effects 0.000 description 44
- 238000005070 sampling Methods 0.000 description 27
- 238000012544 monitoring process Methods 0.000 description 23
- 238000013519 translation Methods 0.000 description 21
- 230000009466 transformation Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000000087 stabilizing effect Effects 0.000 description 11
- 230000004075 alteration Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001687 destabilization Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。図1は、本発明の第1の実施形態に係る撮像装置の一例としてのデジタルカメラ100における、防振制御に関する機能構成例を示す図である。図1では、一般的なデジタルカメラが有する構成のうち、本発明と直接関連のない構成については図示を省略している。
まず、振れ情報取得部4では、姿勢センサを構成するジャイロセンサ等からサンプリング周波数fs_gに応じた頻度で得られる電圧値や電流値、もしくはデジタル値で得られるセンサ出力情報を、角度の変化量に変換して出力する。例えば、振れ情報取得部4がデジタル出力のジャイロセンサを用いた姿勢センサであるとする。この場合、振れ情報取得部4は、式(2)に示すように、座標軸方向ごとのセンサ出力値valx_gに、事前のキャリブレーションで取得した補正ゲインgainxを乗じて角速度ratx_g(i)を得る。なお、軸ごとに1つのセンサを用いる必要は無く、多軸の姿勢変化を一度に計測可能なセンサを用いてもよい。
なお、shx(i), Δshx(i)のサンプリングレートはそれぞれ上述したfs_fr, fs_rsc以上であることが好ましい。
説明した幾何変形は正規化画像座標を用いたものである。そのため、実際の変形処理においては正規化を行うための、以下の式(7’)で示すカメラパラメータ行列Cとその逆行列C−でホモグラフィー行列Hを挟んだ行列式CHC−で幾何変形を実施する
さらに演算部8は、姿勢変化の状態から算出した振れ補正量H(j)から、光学防振機能によって補正済みの量を減算し、光学防振を考慮した補正量H’(i)を算出する。
・基準座標決定部7で得られた幾何変形基準座標(shY(j), shP(j))
・演算部8で算出した以下の幾何変形量(補正量):
歪曲補正パラメータf(r)、
振れ補正パラメータY(j), P(j), R(j), shY(j), shP(j)、
ローリングシャッタ補正パラメータΔX, ΔP, ΔΘ
を用いて、光学防振補正後の各フレームに幾何変形処理を適用し、得られた防振補正後の各フレームから映像を生成する。
図11は、本発明の第2の実施形態に係る撮像装置の一例としてのデジタルカメラ200における、防振制御に関する機能構成例を示す図である。図11において、第1の実施形態に係るデジタルカメラ100と同様の構成には同じ参照数字を付して説明を省略する。
動きベクトル推定部13は、画像メモリ12に一時記憶された撮像画像と、前処理部6から直接入力される撮像画像の間で動きベクトルまたは対応点を検出する。
上述の実施形態では、本発明の撮像装置に適用した実施形態について説明した。しかし、本発明は撮像装置を内蔵したあらゆる機器や、撮像装置を接続可能なあらゆる機器に適用可能である。例えば、携帯電話機、ゲーム端末、パーソナルコンピュータ、タブレット端末、ドライブレコーダ、ナビゲーションシステム、ロボットなど、カメラを利用可能な様々な機器において本発明を実施可能である。
Claims (7)
- 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、
撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定手段と、
前記決定手段が決定した前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有し、
前記複数の幾何変形補正処理が、ローリングシャッタ歪補正、面内回転の補正、あおりの補正、歪曲補正の少なくとも2つを含むことを特徴とする撮像装置。 - 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、
撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定手段と、
前記決定手段が決定した前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有し、
前記変形処理手段は、前記光学防振によって抑制された振れの量と、前記検出された振れの量との差に相当する補正量を用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用することを特徴とする撮像装置。 - 前記決定手段は前記防振部材の移動量および移動方向を測定することにより前記光軸と前記撮像素子との前記交点の前記座標を取得することを特徴とする請求項1または請求項2に記載の撮像装置。
- 前記決定手段は前記防振部材の制御情報を前記防振部材の移動量および移動方向に変換することにより前記光軸と前記撮像素子との前記交点の前記座標を取得することを特徴とする請求項1または請求項2に記載の撮像装置。
- 異なる時刻に撮影された撮像画像の間で動きベクトルまたは対応点を検出する推定手段をさらに有し、
前記変形処理手段は、前記推定手段が検出する動きベクトルまたは対応点の信頼性が低いと判定されない場合は、前記動きベクトルまたは対応点の情報に基づく幾何変形量を用いて前記複数の幾何変形補正処理のそれぞれを適用し、前記推定手段が検出する動きベクトルまたは対応点の信頼性が低いと判定される場合は、前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記複数の幾何変形補正処理のそれぞれを適用する、ことを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。 - 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像の振れを抑制する光学防振を実行する撮像装置の制御方法であって、
決定手段が、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定工程と、
変形処理手段が、前記決定工程で決定された前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理工程と、を有し、
前記複数の幾何変形補正処理が、ローリングシャッタ歪補正、面内回転の補正、あおりの補正、歪曲補正の少なくとも2つを含むことを特徴とする撮像装置の制御方法。 - 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像の振れを抑制する光学防振を実行する撮像装置の制御方法であって、
決定手段が、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定工程と、
変形処理手段が、前記決定工程で決定された前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理工程と、を有し、
前記変形処理工程において前記変形処理手段は、前記光学防振によって抑制された振れの量と、前記検出された振れの量との差に相当する補正量を用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用することを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013147920A JP6209002B2 (ja) | 2013-07-16 | 2013-07-16 | 撮像装置およびその制御方法 |
US14/329,354 US9392176B2 (en) | 2013-07-16 | 2014-07-11 | Image capture apparatus and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013147920A JP6209002B2 (ja) | 2013-07-16 | 2013-07-16 | 撮像装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015022027A JP2015022027A (ja) | 2015-02-02 |
JP2015022027A5 JP2015022027A5 (ja) | 2016-08-04 |
JP6209002B2 true JP6209002B2 (ja) | 2017-10-04 |
Family
ID=52343292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013147920A Active JP6209002B2 (ja) | 2013-07-16 | 2013-07-16 | 撮像装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9392176B2 (ja) |
JP (1) | JP6209002B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6047008B2 (ja) * | 2012-12-25 | 2016-12-21 | キヤノン株式会社 | 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法 |
US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
KR102388888B1 (ko) * | 2015-08-12 | 2022-04-22 | 엘지전자 주식회사 | 카메라 및 그의 영상 왜곡 보정 방법 |
JP6529879B2 (ja) * | 2015-09-29 | 2019-06-12 | オリンパス株式会社 | 撮像装置、及び撮像装置の制御方法 |
WO2017136014A2 (en) * | 2015-11-13 | 2017-08-10 | Flir Systems, Inc. | Video sensor fusion and model based virtual and augmented reality systems and methods |
US11328155B2 (en) * | 2015-11-13 | 2022-05-10 | FLIR Belgium BVBA | Augmented reality labels systems and methods |
JP6746364B2 (ja) * | 2016-04-20 | 2020-08-26 | オリンパス株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
US10868961B2 (en) * | 2016-08-05 | 2020-12-15 | Sony Corporation | Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method |
JP6747176B2 (ja) * | 2016-08-25 | 2020-08-26 | 株式会社リコー | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 |
WO2018053786A1 (en) * | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Adaptive motion filtering in an unmanned autonomous vehicle |
WO2018101077A1 (ja) * | 2016-12-02 | 2018-06-07 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および撮像方法、並びに電子機器 |
JP6917799B2 (ja) * | 2017-05-29 | 2021-08-11 | ローム株式会社 | 撮像装置 |
CN109367483A (zh) * | 2017-08-09 | 2019-02-22 | 安波福电子(苏州)有限公司 | 一种角度自适应的车载鸟瞰系统及其实现方法 |
CN108234873A (zh) * | 2018-01-10 | 2018-06-29 | 北京小米移动软件有限公司 | 一种获取图像的方法和装置 |
EP3564917B1 (en) * | 2018-05-04 | 2020-07-01 | Axis AB | A method for detecting motion in a video sequence |
CN109040525B (zh) * | 2018-08-31 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
JP7301542B2 (ja) * | 2019-01-21 | 2023-07-03 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7237701B2 (ja) * | 2019-04-02 | 2023-03-13 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
CN115136582A (zh) | 2020-02-27 | 2022-09-30 | 索尼集团公司 | 图像处理装置、图像处理方法和程序 |
US20220408019A1 (en) * | 2021-06-17 | 2022-12-22 | Fyusion, Inc. | Viewpoint path modeling |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
US7436435B2 (en) * | 2001-10-01 | 2008-10-14 | Minolta Co., Ltd. | Image taking device having image-blur compensator |
JP4566591B2 (ja) * | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | 画像変形推定方法および画像変形推定装置 |
JP2006129175A (ja) * | 2004-10-29 | 2006-05-18 | Fuji Photo Film Co Ltd | 撮像装置 |
JP4389779B2 (ja) * | 2004-12-27 | 2009-12-24 | ソニー株式会社 | 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置 |
JP2006301098A (ja) * | 2005-04-18 | 2006-11-02 | Sony Corp | 光学装置、レンズユニット及び撮像装置 |
US7777782B2 (en) * | 2005-11-04 | 2010-08-17 | Nokia Corporation | Stabilization of an image produced by optics |
JP4178481B2 (ja) | 2006-06-21 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
JP4926920B2 (ja) * | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
JP4518197B2 (ja) * | 2008-06-20 | 2010-08-04 | ソニー株式会社 | 撮像装置、及び像振れ補正方法並びにプログラム |
JP2010072155A (ja) * | 2008-09-17 | 2010-04-02 | Sanyo Electric Co Ltd | 振動補償制御回路 |
JP5487722B2 (ja) * | 2009-05-25 | 2014-05-07 | ソニー株式会社 | 撮像装置と振れ補正方法 |
JP5003769B2 (ja) | 2010-01-18 | 2012-08-15 | 株式会社Jvcケンウッド | 撮像装置および画像振れ補正方法 |
JP2011217311A (ja) * | 2010-04-02 | 2011-10-27 | Canon Inc | 撮像装置および撮像装置の制御方法 |
JP5997557B2 (ja) * | 2012-09-20 | 2016-09-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6103877B2 (ja) * | 2012-10-22 | 2017-03-29 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP6097521B2 (ja) * | 2012-10-22 | 2017-03-15 | キヤノン株式会社 | 像ブレ補正装置及び像ブレ補正方法、撮像装置 |
JP6097522B2 (ja) * | 2012-10-22 | 2017-03-15 | キヤノン株式会社 | 像ブレ補正装置及び像ブレ補正方法、撮像装置 |
-
2013
- 2013-07-16 JP JP2013147920A patent/JP6209002B2/ja active Active
-
2014
- 2014-07-11 US US14/329,354 patent/US9392176B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015022027A (ja) | 2015-02-02 |
US20150022678A1 (en) | 2015-01-22 |
US9392176B2 (en) | 2016-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6209002B2 (ja) | 撮像装置およびその制御方法 | |
JP6170395B2 (ja) | 撮像装置およびその制御方法 | |
CN111147741B (zh) | 基于对焦处理的防抖方法和装置、电子设备、存储介质 | |
JP5906493B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
KR102526794B1 (ko) | 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US10848676B2 (en) | Semiconductor device and electronic device | |
JP4926920B2 (ja) | 防振画像処理装置及び防振画像処理方法 | |
US9258484B2 (en) | Image pickup apparatus and control method for same | |
JP2018189730A (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP2009037069A (ja) | 像ぶれ補正装置及び撮像装置 | |
CN107306337B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
JP7009107B2 (ja) | 撮像装置およびその制御方法 | |
KR20160140193A (ko) | 영상 보정 회로 및 그 보정 방법 | |
JP2019036780A (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
JP6526273B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP2015114438A (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP6271969B2 (ja) | 撮像装置および画像補正方法 | |
JP5279453B2 (ja) | 画像振れ補正装置、撮像装置及び画像振れ補正方法 | |
JP6257289B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP7137433B2 (ja) | ブレ補正装置、撮像装置、ブレ補正方法、及びプログラム | |
JP2012124939A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP7237701B2 (ja) | 撮像装置、制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160615 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170908 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6209002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |