JP6188533B2 - 像振れ補正装置およびその制御方法、光学機器、撮像装置 - Google Patents
像振れ補正装置およびその制御方法、光学機器、撮像装置 Download PDFInfo
- Publication number
- JP6188533B2 JP6188533B2 JP2013220764A JP2013220764A JP6188533B2 JP 6188533 B2 JP6188533 B2 JP 6188533B2 JP 2013220764 A JP2013220764 A JP 2013220764A JP 2013220764 A JP2013220764 A JP 2013220764A JP 6188533 B2 JP6188533 B2 JP 6188533B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- amount
- template
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、像振れ補正光学系の駆動に起因する図形歪みへの影響を抑制しつつ、動きベクトルを精度良く算出することを目的とする。
図1は本発明の一実施形態に係るシステム構成図を示す。
撮像光学系101はズームレンズ、絞り、フォーカスレンズの1つ以上から構成され、像振れ補正機構部を備える。像振れ補正機構部は、補正レンズ(以下、シフトレンズともいう)等の補正部材により画像振れを補正する。光学系駆動部103は、後述するシステム制御部107からの駆動制御情報に応じて撮像光学系101を駆動する。
撮像素子102は、撮像光学系101により結像される被写体像を光電変換により電気信号に変換し、画像信号を出力する。撮像素子駆動部104は、システム制御部107からの撮像素子駆動情報に応じて撮像素子102を駆動する。メモリ105は少なくとも1フレーム分の画像信号を記憶保持する記憶デバイスを備え、保持された画像信号は読み出されてベクトル検出部106に出力される。ベクトル検出部106は、撮像素子102から入力される現時点での画像信号と、メモリ105より入力される過去の画像信号に基づいて、動きベクトル情報を算出してシステム制御部107に出力する。撮像素子102の出力信号には本線系信号処理部で画像処理、表示処理、記録処理等が施される。
ベクトル検出部106は、システム制御部107が決定したテンプレートのサイズおよび配置に基づいて、入力された2枚のフレーム画像の間での動きベクトルを検出する。動きベクトル検出に関しては各種方法があり、本実施形態では、テンプレートマッチング方式を用いる。撮像素子102より入力される画像信号の示す画像を原画像とし、メモリ105より入力される画像信号の示す画像を参照画像として両者の相関値を求める処理が行われる。
ベクトル検出部106は、テンプレート302の水平サイズTXと垂直サイズTYを変更可能である。1画素単位でのサイズ変更は勿論可能であるが、本実施形態では、複数の画素をまとめてテンプレートサイズの変更が可能である。図4にテンプレート群のサイズ変更例を示す。例えば、水平96画素×垂直96画素を最大テンプレートサイズとし、水平方向および垂直方向に12画素ずつをまとめて、テンプレートサイズを小さくすることができる。探索範囲303については、検出したい動きベクトルの大きさに応じてSLX、SRX、SUY、SDYで示す各々の値を1画素単位で変更可能である。
S201でシステム制御部107はレンズ駆動情報を取得する。この情報は、1フレーム前の時点にてS207で求めた撮像光学系101の光学系駆動情報である。図11を参照して光学系駆動情報の詳細を説明する。実線1301と点線1302は、撮像光学系101の像振れ補正用光学部材(例えば、シフトレンズ)の位置をそれぞれ示している。尚、光学部材としてチルト動作するレンズでもよい。
実線1301は、像振れ補正を行わないときのシフトレンズの状態を示しており、点線1302は、図11の上方向にシフトレンズを駆動した時の状態を示している。つまり、線種の違いは、光軸に直交する方向におけるシフトレンズの位置の相違を表す。実線1301の状態から、像振れ補正制御によるシフトレンズの駆動が行われ、点線1302の状態になる。駆動前のシフトレンズの光軸1304を実線で示し、駆動後のシフトレンズの光軸1305を点線で示す。このときのシフトレンズの移動量(絶対値)1303を、レンズ駆動量と定義する。光学系駆動情報はレンズ駆動量を含む。
1) 所定のレンズ駆動量における最大図形歪み量を算出するステップ。
2) 1)で用いた最大図形歪み量を用いて、図12(C)で示すように、直線エッジ1401を入力として、テンプレート1405内における、直線エッジ1401の図形歪み量1406を算出するステップ。
3) 2)の図形歪み量1406が、所定の閾値(直線と近似可能な図形歪み量)よりも小さくなる、最大のテンプレートサイズを算出するステップ。
4) レンズ駆動量毎に、1)〜3)のステップを実行してテンプレートサイズを算出し、制御線501を生成するステップ。
以上の処理により、制御線501が決定されてテンプレートサイズの制御が行われる。尚、本実施形態では、レンズ駆動量に応じたテンプレートサイズ制御を説明したが、像振れ補正時に駆動する補正部材の補正角に応じた制御でもよい。その場合、図5の横軸は補正角を表し、像振れ補正時の補正角が大きい程、テンプレートサイズを小さくする制御が行われる。
S207でシステム制御部107は、ベクトル検出部106が算出した、テンプレート毎の動きベクトル情報を取得する。システム制御部107は手振れの情報を取得し、該情報に基づいて次フレームに対する撮像光学系101の像振れ補正のため、シフトレンズの駆動量を決定する。尚、手振れの情報については角速度センサや加速度センサ等を使用した各種の振れ検出方法が知られているので、その詳細な説明は省略する。
本実施形態によれば、撮像光学系の像振れ補正部材の駆動に起因した図形歪みへの影響を抑制しつつ、動きベクトルを精度良く算出できる。
次に、本発明の第2実施形態を説明する。本実施形態にて第1実施形態の場合と同様の構成要素については既に使用した符号を用いることによってそれらの詳細な説明を省略し、相違点を説明する。
図1に示す本実施形態に係る撮像装置は、以下の点で第1実施形態と相違する。
・第1実施形態のベクトル検出部106は、レンズ駆動量または補正角に応じてテンプレートサイズの変更を一律に制御したが、ベクトル検出部606は、図7と図9(B)に示すように小領域801毎にテンプレートサイズを変更可能であること。
・システム制御部607は、像振れ補正光学系の駆動情報に基づいて、光学データベース(以下、DBと略記する)608から光学情報を取得して該情報に応じてテンプレートサイズを制御すること。
S701でシステム制御部607は、1フレーム前のS708で求めた撮像光学系101の光学系駆動情報を取得する。S702でシステム制御部607は、S701で取得した撮像光学系101の光学駆動情報と、光学DB608を用いて光学情報を取得する。
図8(B)は、歪曲収差特性が像振れ補正時のシフトレンズの駆動によって変化する様子を示す。横軸は像高Hを示し、縦軸は歪み量D(H)を示す。グラフ1001は、撮像光学系101のシフトレンズが像振れ補正制御によって駆動されていない状態での歪曲収差特性を示す。このデータは、光学DB608に保持されているデータである。例えば、シフトレンズが上方向に画素換算でK画素だけの移動した場合を想定する。図13は、画像の中心を原点として、第1象限(I)、第2象限(II)、第3象限(III)、第4象限(IV)を示し、画像枠に対応する矩形枠1501は第1ないし第4象限に亘って位置している。横軸は水平方向の軸であり、図13の右方向を+(正)方向とする。縦軸は垂直方向の軸であり、図13の上方向を+方向とする。垂直方向の歪曲収差特性は、第1象限(I)および第2象限(II)については、グラフ1001をH軸の+方向にK画素分シフトしたグラフ1002が算出される。また第3象限(III)、第4象限(IV)については、グラフ1001を、H軸の−方向にK画素分シフトしたグラフ1003が算出される。こうして光学DB608のデータから、像振れ補正時(シフトレンズ駆動時)の歪曲収差特性を算出することができる。
1) 図形歪み量を用いて、図12(C)で示すように、直線エッジ1401を入力として、テンプレート1405内における、直線エッジ1401の図形歪み量1406を算出するステップ。
2) 1)の図形歪み量1406が、所定の閾値(直線と近似可能な図形歪み量)よりも小さくなる、最も大きいテンプレートサイズを算出するステップ。
3) シフトレンズを駆動する毎に、1)および2)のステップを実行してテンプレートサイズを算出し、制御線1201を生成するステップ。
尚、テンプレートの配置によっては、テンプレートが複数の領域に跨ることがある。その際には、テンプレートの中心がある小領域で判定を行う方法、あるいは、Db(m,n)の値 が最大となる小領域で判定を行う方法等がある。
102 撮像素子
103 光学系駆動部
106,606 ベクトル検出部
107,607 システム制御部
608 光学DB(データベース)
Claims (10)
- 補正部材により像振れ補正を行う像振れ補正装置であって、
撮像された複数の画像を比較することで画像の動きベクトルを算出する検出手段と、
前記検出手段が動きベクトルの検出に用いるテンプレートを制御し、前記検出手段から動きベクトルの情報を取得して前記補正部材の駆動量を決定する制御手段と、
前記制御手段により決定された駆動量に従って前記補正部材の駆動を行う駆動手段と、を備え、
前記制御手段は、前記駆動量または該駆動量に相当する前記補正部材の補正角に対応するテンプレートサイズを決定して前記検出手段に指示することを特徴とする像振れ補正装置。 - 前記制御手段は、前記補正部材の駆動量または補正角が大きい程、前記テンプレートサイズを小さく設定する処理を行うことを特徴とする請求項1に記載の像振れ補正装置。
- 前記制御手段は、画像を複数の領域に分割し、分割された領域毎にテンプレートサイズを制御することを特徴とする請求項1または2に記載の像振れ補正装置。
- 前記制御手段は、前記補正部材の駆動量または補正角から前記領域毎に光学系の収差情報を取得し、前記領域毎に前記テンプレートサイズを制御することを特徴とする請求項3に記載の像振れ補正装置。
- 前記制御手段は、収差量が大きい程、前記テンプレートサイズを小さく設定する処理を行うことを特徴とする請求項4に記載の像振れ補正装置。
- 前記制御手段は、前記テンプレートサイズを小さく設定する場合、前記テンプレートの配置数を増加させる制御を行うことを特徴とする請求項2または5に記載の像振れ補正装置。
- 請求項1ないし6のいずれか1項に記載の像振れ補正装置を備えることを特徴とする光学機器。
- 撮像光学系を構成する補正部材により像振れ補正を行う撮像装置であって、
撮像素子によって撮像された複数の画像を比較することで画像の動きベクトルを算出する検出手段と、
前記検出手段が動きベクトルの検出に用いるテンプレートを制御し、前記検出手段から動きベクトルの情報を取得して前記補正部材の駆動量を決定する制御手段と、
前記制御手段により決定された駆動量に従って前記補正部材の駆動を行う駆動手段と、を備え、
前記制御手段は、前記駆動量または該駆動量に相当する前記補正部材の補正角に対応するテンプレートサイズを決定して前記検出手段に指示することを特徴とする撮像装置。 - 前記補正部材が駆動されない状態での、像高に応じた前記撮像光学系の収差特性を示す画像の歪み量のデータを保持する記憶手段を備え、
前記制御手段は、前記記憶手段から取得した前記歪み量のデータおよび前記補正部材の移動量から、像振れ補正に用いる画像の歪み量を算出して前記テンプレートサイズを決定する処理を行うことを特徴とする請求項8に記載の撮像装置。 - 補正部材により像振れ補正を行う像振れ補正装置にて実行される制御方法であって、
撮像された複数の画像を比較することで画像の動きベクトルを検出手段が算出する検出ステップと、
制御手段により、前記検出手段が動きベクトルの検出に用いるテンプレートを制御し、前記検出手段から動きベクトルの情報を取得して、前記補正部材の駆動量を決定する制御ステップと、
前記制御手段により決定された駆動量に従って駆動手段が前記補正部材の駆動を行う駆動ステップと、を有し、
前記制御ステップでは、前記駆動量または該駆動量に相当する前記補正部材の補正角に対応するテンプレートサイズを前記制御手段が決定して前記検出手段に指示することを特徴とする像振れ補正装置の制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013220764A JP6188533B2 (ja) | 2013-10-24 | 2013-10-24 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013220764A JP6188533B2 (ja) | 2013-10-24 | 2013-10-24 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015082060A JP2015082060A (ja) | 2015-04-27 |
| JP6188533B2 true JP6188533B2 (ja) | 2017-08-30 |
Family
ID=53012666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013220764A Expired - Fee Related JP6188533B2 (ja) | 2013-10-24 | 2013-10-24 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6188533B2 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1010595A (ja) * | 1996-06-20 | 1998-01-16 | Canon Inc | 防振機能付き光学装置及び防振機能付きカメラ |
| JP2006317848A (ja) * | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
| JP4658711B2 (ja) * | 2005-06-29 | 2011-03-23 | オリンパス株式会社 | 動きベクトル検出装置及び方法 |
| CN101390381B (zh) * | 2005-12-26 | 2012-01-25 | 京瓷株式会社 | 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 |
| JP5079284B2 (ja) * | 2005-12-26 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP2013009039A (ja) * | 2011-06-22 | 2013-01-10 | Canon Inc | 撮像装置及びその制御方法 |
-
2013
- 2013-10-24 JP JP2013220764A patent/JP6188533B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015082060A (ja) | 2015-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5284048B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
| JP6362068B2 (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
| JP2016046666A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
| KR20090019197A (ko) | 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 | |
| US10116865B2 (en) | Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions | |
| JP2015111811A (ja) | 画像処理装置およびその制御方法 | |
| JP6336341B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| US10565712B2 (en) | Image processing apparatus and method for controlling the same | |
| JP6231816B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
| US11206344B2 (en) | Image pickup apparatus and storage medium | |
| JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| CN107018315A (zh) | 摄像设备、运动矢量检测装置及其控制方法 | |
| JP2017098900A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6188533B2 (ja) | 像振れ補正装置およびその制御方法、光学機器、撮像装置 | |
| JP5278483B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| US10863092B2 (en) | Imaging device and method for correcting shake of captured image | |
| US20130222677A1 (en) | Image processing apparatus and image processing method | |
| US12008773B2 (en) | Object tracking apparatus and control method thereof using weight map based on motion vectors | |
| US11928798B2 (en) | Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium | |
| JP4807623B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| JP2022095312A (ja) | 撮像装置 | |
| JP2021032984A (ja) | 撮像装置およびその制御方法 | |
| JP6381212B2 (ja) | 撮像装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6188533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |
