JP5079253B2 - 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 - Google Patents
手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 Download PDFInfo
- Publication number
- JP5079253B2 JP5079253B2 JP2006104721A JP2006104721A JP5079253B2 JP 5079253 B2 JP5079253 B2 JP 5079253B2 JP 2006104721 A JP2006104721 A JP 2006104721A JP 2006104721 A JP2006104721 A JP 2006104721A JP 5079253 B2 JP5079253 B2 JP 5079253B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- camera shake
- reference image
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
カメラの小型化により、写真撮影においてホールド製の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態と比べ自由度が広がっている。
例えば、露出時間の長い安条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。
例えば、ブレに合わせてレンズを傾斜させ補正する、光学式手ぶれ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的に非常に困難である。
本発明は、上述した不利益を解消するために、処理量が少なく高精度な手ぶれ量検出を実施できる手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法を提供することを目的とする。
図1は、本実施形態の撮像装置1の構成を示すブロック図である。
図1に示すように、本実施形態の撮像装置1は、カメラ2、手ぶれ量検出部3、画像合成部4、バッファメモリ5を有する。
手ぶれ量検出部3は、手ぶれ量検出のための構成として、データ間引き部31、マクロブロック分割部32、ブロック抽出部33、輝度差比較部34、残差取得部35、ブロック選出部36、手ぶれ量算出部37を更に有する。
RAWデータは、カメラ2の撮像素子から得られた信号そのままのデータであり、例えば、原色カラーフィルタを有するカメラにより撮影したRAWデータは、図2に示すように、Gr(緑)、R(赤)、B(青)、Gb(緑)の4種類の色データによって構成されている。
データ間引き部31は、カメラ2が撮影した基準画像及び参照画像それぞれのRAWデータを1/2或いは1/8に間引いた間引き画像を作成する。1/2間引き画像は、縦横それぞれの画素のうち2つに1つの画素のみを抽出して作成された間引き画像であり、1/8間引き画像は縦横それぞれの画素のうち8つに1つの画素のみを抽出して作成された間引き画像である。
テンプレートマッチングとは、探索対象パターン(探索ブロックI)と事前に用意したテンプレート(テンプレートブロックT)との類似度や相違度を求める手法であり、残差逐次検定法はその手法の1つである。
残差逐次検定法とは、図3に示すように、基準画像からM×N個の画素で構成される探索ブロックIを、参照画像からm×n個の画素で構成されるテンプレートブロックTを抽出し、探索ブロックI上でテンプレートブロックTを動かして比較を行い、テンプレートブロックTと一致する探索ブロックI上の位置を探し出す方法である。なお、M>m、N>nであり、テンプレートブロックTの左上の座標を(x,y)としたとき、残差、すなわち探索ブロックIとテンプレートブロックTとの画素値の差の累積残差E(x,y)、すなわち、残差を基にマクロブロック毎にマクロブロック内の全画素を足し合わせた残差積分値E(x,y)は、(x,y)の関数であり、数式(1)で与えられる。
次に、残差取得部35が、まず1/8間引き画像の探索ブロックI及びテンプレートブロックTを使用し、上述した残差逐次検定法により残差を取得する(粗サーチ)。残差取得時の探索ブロックIとテンプレートブロックTを図5に示す。
図5は、探索ブロックIがテンプレートブロックTに探索される様子を示した図である。図5に示すように、テンプレートブロックTは1画素ずつ移動しながら探索ブロック内をサーチしていく。
すなわち、輝度値の最大値と最小値との差が小さいブロックは、例えば真っ白な部分等、コントラストが低いブロックであり、こうしたブロックでは手ぶれ量が検出しにくいため、動き量検出処理から除外してしまうのである。
なお、所定のしきい値Bの大きさについては、本発明では限定しない。
本実施形態では、例えば、9個のブロックを抽出する。
1/2間引き画像の残差積分値を求める際には、上述したブロック抽出部33、残差取得部35及びブロック選出部36が1/8間引き画像に対して求めた残差積分値が小さい画素の近傍の画素のみに対して残差積分値の算出を行えばよいので、手ぶれ量算出部の計算量は従来に比べ格段に少なくなる。
図6に示す○印は、1/8間引き画像において残差積分値算出が行われる画素を表しており、図6に示す×印は、1/2間引き画像において残差積分値算出が行われる画素を示している。1/2間引き画像における残差積分値算出が行われる画素の内縦横それぞれ4個毎に1/8間引き画像において残差積分値算出が行われる画素があることがわかる。
すなわち、1/8間引き画像において、図6のaの画素がそのブロックにおける残差積分値最小となる画素であったとすると、1/2間引き画像においては、図6の点線で囲まれた範囲内に残差積分値が最小となる画素が存在していることがわかる。
手ぶれ量検出部3は、上述した方法で手ぶれ量を検出する。
バッファメモリ5は、手ぶれ補正処理に使用される補正前の画像データを一時的に記憶しておくRAM(Random Access Memory)である。
図7は、撮像装置1の動作例を示すフローチャートである。
カメラ2は、露出条件を変えて1枚の基準画像と、1または複数枚の参照画像とを撮影する。
ステップST2:
データ間引き部31は、ステップST1においてカメラ2が撮影した基準画像及び参照画像の生データから1/8間引き画像および1/2間引き画像を作成する。
ステップST3:
マクロブロック分割部32は、ステップST2においてデータ間引き部31が作成した1/8間引き画像の基準画像及び参照画像を、10×10個のマクロブロックに分割する。
ブロック抽出部33が、ステップST3においてマクロブロック分割部32が10×10個のマクロブロックに分割した1/8間引き画像の基準画像及び参照画像から、図4(a)に示すように、基準画像の10×10のマクロブロックからは2×2=4ブロックの探索ブロックIを抽出し、図4(b)に示すように、参照画像からは、対応する2×2ブロックの中心部に位置するマクロブロックの縦横2辺のそれぞれ1/4の長さを有する2辺により構成されたブロックが4つ集まって構成されるテンプレートブロックTを抽出する。
輝度差比較部34は、各画素の輝度値の最大値と最小値との差をとり、所定のしきい値Bよりこの差が小さい場合には、そのマクロブロックを残差取得部35が残差を取得する対象から除外する。
ステップST6:
残差取得部35は、ステップST5において輝度差比較部34が除外しなかった探索ブロックI及びテンプレートブロックTを使用し、上述した残差逐次検定法により残差を取得する。
ブロック選出部36は、残差取得部35が取得した、全ての探索ブロックIにおける残差積分値E(x,y)が小さいマクロブロックを9個選出する。
ステップST8:
残差取得部35は、1/2間引き画像の基準画像及び参照画像を、ステップST7においてブロック選出部が選出したマクロブロックに対して、再度残差積分値を算出する。
このステップにおける残差取得部35の処理は、手ぶれ量検出部3の手ぶれ量検出処理全体の精度を上げるためになされる。
手ぶれ量算出部37は、探索ブロックI内で残差が最小値をとるテンプレートブロックTの位置を、ステップST8において残差取得部35が取得した、1/2間引き画像に対する残差積分値を基に求め、ブロック選出部36が選出したマクロブロックにおいて1/2間引き画像の残差積分値E(x,y)を求めて小さいものから順に並べたときの中央値を抽出する。
画像合成部4は、ステップST9において手ぶれ量算出部37が算出した手ぶれ量を基に、カメラ2が撮影した(間引いていない)基準画像と参照画像を合成し、手ぶれ補正を行った補正画像を作成する。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
以下、残差算出部35が粗サーチ時に所定の範囲のみの画素に対して残差の検出を行う場合について図8に関連付けて説明する。
図8に示すように、残差算出部35は、1/8に間引いた画像の、例えば画像全体に対して5%の画素が存在する範囲のみに対して残差算出を行う。すなわち、当該画像が3メガピクセル(2048画素×1536画素)であったならば、水平方向には2048/5/20=約13(画素)のみ残差算出を行い、垂直方向には1535/8/20=約10(画素)に対してのみ残差算出を行う。従って、所定の範囲のみの画素に対して残差を検出する場合は、上述した実施形態よりも更に残差算出に要する時間が短縮される。
なお、5%という値は一例であり、本発明はこれには限定されない。5%という値は、手ぶれを検出するために最低限必要であるという、経験から導かれた値である。
Claims (9)
- 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を算出する残差取得手段と、
前記基準画像及び参照画像を間引いて間引き画像を生成するデータ間引き部と、
前記データ間引き部が生成した前記間引き画像を用いた粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
該選出したブロックの最小となった画素の近傍の所定の範囲のみで前記粗サーチより間引き量の少ない間引き画像もしくは間引きを行わない画像を用いた精サーチを行い、該結果から手ぶれ量を算出する算出手段と、
を有することを特徴とする手ぶれ量検出装置。 - 前記ブロック抽出手段は、前記参照画像を基に、隣接する複数のマクロブロックの中央に位置する所定の大きさのブロックを抽出して前記第2のブロックとし、前記基準画像を基に、前記参照画像の隣接する複数のマクロブロックに対応する隣接する複数のマクロブロック分のブロックを抽出して前記第1のブロックとする
ことを特徴とする請求項1に記載の手ぶれ量検出装置。 - 前記残差取得手段が前記残差を算出するより前に、前記各マクロブロックに対して輝度値の最大値と最小値との差を算出し、当該差が所定のしきい値よりも小さいと判定した場合に、当該差を有するマクロブロックを前記残差取得手段が残差を取得する対象から除外する輝度差比較手段
を更に有することを特徴とする請求項2に記載の手ぶれ量検出装置。 - 前記ブロック選出手段が前記所定数の前記マクロブロックを選出した後に、輝度値の最大値と最小値との差を算出し、当該差が所定のしきい値よりも小さいと判定した場合に、当該差を有するマクロブロックを前記残差取得手段が残差を取得する対象から除外する輝度差比較手段
を更に有することを特徴とする請求項2に記載の手ぶれ量検出装置。 - 前記データ間引き部は、前記基準画像及び参照画像のRAWデータの所定の成分のみを抽出し、間引いて前記間引き画像を生成し、
前記マクロブロック分割手段及び前記ブロック抽出手段は、前記基準画像及び前記参照画像の代わりに、前記データ間引き部が生成した前記間引き画像を使用する
ことを特徴とする請求項1から4のいずれか一項に記載の手ぶれ量検出装置。 - 前記残差取得手段は、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を算出する際に、全ての範囲の残差を算出せず、所定の範囲のみの残差を算出する
ことを特徴とする請求項1から5のいずれか一項に記載の手ぶれ量検出装置。 - 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出し当該手ぶれ量を基に手ぶれ補正を行う手ぶれ補正装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を算出する残差取得手段と、
前記基準画像及び参照画像を間引いて間引き画像を生成するデータ間引き部と、
前記データ間引き部が生成した前記間引き画像を用いた粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
該選出したブロックの最小となった画素の近傍の所定の範囲のみで前記粗サーチより間引き量の少ない間引き画像もしくは間引きを行わない画像を用いた精サーチを行い、該結果から手ぶれ量を算出する算出手段と、
前記手ぶれ量算出手段の求めた前記手ぶれ量を基に、前記複数枚の画像を合成する画像合成手段と
を有することを特徴とする手ぶれ補正装置。 - 光学系を通して被写体像を撮影する撮像装置であって、
露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置を有し、
当該手ぶれ量検出装置は、
露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を算出する残差取得手段と、
前記基準画像及び参照画像を間引いて間引き画像を生成するデータ間引き部と、
前記データ間引き部が生成した前記間引き画像を用いた粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
該選出したブロックの最小となった画素の近傍の所定の範囲のみで前記粗サーチより間引き量の少ない間引き画像もしくは間引きを行わない画像を用いた精サーチを行い、該結果から手ぶれ量を算出する算出手段と、
を有することを特徴とする撮像装置。 - 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出方法であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第1の工程と、
前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記第1の工程において分割された参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出する第2の工程と、
前記第2の工程において抽出された前記第1のブロック及び第2のブロックの残差を算出する第3の工程と、
前記基準画像及び参照画像を間引いて生成した間引き画像を用いた粗サーチにて残差積分値が小さいマクロブロックを所定数選出する第4の工程と、
前記第4の工程において選出されたブロックの最小となった画素の近傍の所定の範囲のみで前記粗サーチより間引き量の少ない間引き画像もしくは間引きを行わない画像を用いた精サーチを行い、該結果から手ぶれ量を算出する第5の工程と、
を有することを特徴とする手ぶれ量検出方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006104721A JP5079253B2 (ja) | 2006-04-05 | 2006-04-05 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
PCT/JP2006/325782 WO2007074774A1 (ja) | 2005-12-26 | 2006-12-25 | ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 |
US12/159,366 US8542278B2 (en) | 2005-12-26 | 2006-12-25 | Shaking detection device, shaking correction device, imaging device, and shaking detection method |
CN2006800534445A CN101390381B (zh) | 2005-12-26 | 2006-12-25 | 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006104721A JP5079253B2 (ja) | 2006-04-05 | 2006-04-05 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007281831A JP2007281831A (ja) | 2007-10-25 |
JP5079253B2 true JP5079253B2 (ja) | 2012-11-21 |
Family
ID=38682834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006104721A Expired - Fee Related JP5079253B2 (ja) | 2005-12-26 | 2006-04-05 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5079253B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5444786B2 (ja) | 2009-03-30 | 2014-03-19 | ソニー株式会社 | 受信装置 |
JP5480798B2 (ja) | 2010-01-05 | 2014-04-23 | パナソニック株式会社 | 撮像装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3110797B2 (ja) * | 1991-06-21 | 2000-11-20 | キヤノン株式会社 | 撮像方法及び撮像画面合成装置 |
JP3252418B2 (ja) * | 1991-11-22 | 2002-02-04 | ソニー株式会社 | 画像の手振れ判定装置 |
JP4075238B2 (ja) * | 1999-08-19 | 2008-04-16 | 株式会社デンソー | 動きベクトル検出方法及び記録媒体 |
JP3866957B2 (ja) * | 2001-10-23 | 2007-01-10 | オリンパス株式会社 | 画像合成装置 |
JP4050498B2 (ja) * | 2001-11-07 | 2008-02-20 | オリンパス株式会社 | 画像合成装置 |
DE60234649D1 (de) * | 2002-12-26 | 2010-01-14 | Mitsubishi Electric Corp | Bildprozessor |
-
2006
- 2006-04-05 JP JP2006104721A patent/JP5079253B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007281831A (ja) | 2007-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8542278B2 (en) | Shaking detection device, shaking correction device, imaging device, and shaking detection method | |
JP4987355B2 (ja) | 撮像装置および撮像方法 | |
JP3974633B1 (ja) | 撮像装置および撮像方法 | |
JP3974634B2 (ja) | 撮像装置および撮像方法 | |
JP5484631B2 (ja) | 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体 | |
US9489747B2 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
JP4896852B2 (ja) | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 | |
US8310553B2 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
JP5569357B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN109417592B (zh) | 拍摄装置、拍摄方法及拍摄程序 | |
JPWO2013021767A1 (ja) | 動体検出装置及び方法 | |
JPWO2004062270A1 (ja) | 画像処理装置 | |
JP5453573B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP6495122B2 (ja) | 撮像装置、画像処理方法 | |
JP5079271B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP4947576B2 (ja) | 撮像装置、ぶれ補正方法及び撮像方法 | |
KR20170067634A (ko) | 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법 | |
US11593958B2 (en) | Imaging device, distance measurement method, distance measurement program, and recording medium | |
JP5079284B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP5079253B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
US10491840B2 (en) | Image pickup apparatus, signal processing method, and signal processing program | |
JP2008236739A (ja) | 撮像装置および撮像方法 | |
JP2008053787A (ja) | 多眼電子カメラ及び多眼電子カメラの視差補正方法 | |
JP5597942B2 (ja) | 電子カメラ | |
JP4666265B2 (ja) | 像振れ補正装置及びその補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |