JP5477897B2 - 画像動き補正装置およびその方法、並びに撮像装置 - Google Patents
画像動き補正装置およびその方法、並びに撮像装置 Download PDFInfo
- Publication number
- JP5477897B2 JP5477897B2 JP2009221784A JP2009221784A JP5477897B2 JP 5477897 B2 JP5477897 B2 JP 5477897B2 JP 2009221784 A JP2009221784 A JP 2009221784A JP 2009221784 A JP2009221784 A JP 2009221784A JP 5477897 B2 JP5477897 B2 JP 5477897B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- correction
- centering
- rotation direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
これらの中には、カメラの動きをジャイロセンサなどのセンサで検出し、それに応じて撮影レンズをシフトする光学式補正をするものが主流である。
このため、携帯電話のカメラなど携帯性を重視する機器においては、撮影画像の一連の動画像データからフレーム間の動き量を検出し、画像処理により補正を行う電子式補正を採用するものが多い。
また、画像検査装置などにおいても、その使用環境において耐熱性や耐振動性が必要なため、駆動部を伴わない電子式補正が望まれる。
近年の信号処理の高速化に伴い、水平・垂直の2方向の動きの補正に加え、カメラから被写体への方向を軸とした回転方向、カメラから被写体への方向の平行移動によるブレの補正までをリアルタイムに行うことができるようになってきた。
さらには、水平・垂直の軸まわりの回転方向のブレによる画像の歪みまでも補正することが可能になっている(たとえば、特許文献1,2参照)。
カメラ10の動きは、その成分に分解すると、図1に示すように、水平(X軸)、垂直(Y軸)、カメラから被写体方向(Z軸)の平行移動11、12、13とそれぞれを軸とした回転方向14、15、16から成り立っている。
補正の際には、それぞれの動きの補正位置が補正範囲の中で端に寄らないよう、時間経過とともに切り出し位置を本来の位置に戻すセンタリングを行っている。
しかしながら、水平、垂直方向を軸とした回転方向14、15を行う際には、他の軸で施したセンタリング処理によるフレーム間の動きをブレによる動きと誤判定し、補正を行ってしまうという不都合が生じてしまう。
撮像装置100は、時間的に連続する画像(動画像のフレーム)間の水平軸方向、当該水平軸について回転方向、垂直軸方向、この垂直軸について回転方向、画像が撮像された光軸方向、この光軸について回転方向の6軸方向のうちの任意の方向の動きを検出する機能を有する。
撮像装置100は、検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を有する。
撮像装置100は、この動き補正機能において、動きの補正が範囲の限界を超える可能性がある場合に範囲の中心へ向かって戻していくようにセンタリング補正するセンタリング機能と、動きの検出および補正の基準となる画像にセンタリング補正分を加味した修正基準画像を作成する修正基準画像作成機能と、を含んで構成される。
撮像装置100は、修正基準画像とセンタリング補正を行った画像との間で任意の方向とは異なる方向についての動きの検出および補正を行う機能を有している。
また、撮像装置100は、センタリング補正を数フレームに亘って段階的に行う機能を有している。
また、任意の方向と異なる方向は、水平軸について回転方向およびもしくは垂直軸について回転方向を含む。
動き量検出部150は、時間的に連続する画像(動画像のフレーム)間の水平軸方向、この水平軸について回転方向、垂直軸方向、この垂直軸について回転方向、画像が撮像された光軸方向、この光軸について回転方向の6軸方向のうちの任意の方向の動きを検出する。
撮像装置(カメラ)100の動きは、その成分に分解すると、水平(X軸)、垂直(Y軸)、カメラから被写体方向(Z軸)の平行移動101、102、103とそれぞれを軸とした回転方向104、105、106から成り立っている。
基本的に、撮像装置100は、それぞれの動き量をフレーム間で検出し、その動き量を打ち消すように画像の切り出しを行い、また回転、歪みの補正は補間によって、動きのない画像を生成している。
補正の際には、それぞれの動きの補正位置が補正範囲の中で端に寄らないよう、時間経過とともに切り出し位置を本来の位置に戻すセンタリングを行っている。
このブロックでの動き量検出は、画像の中の1箇所でもよいが、画像をブロックに分割した複数の箇所でおこなってもよい。
動き補正部160は、動き量検出部150が検出した動きを相殺するように画像の位置およびもしくは大きさを補正する。
動き補正部160は、この動き補正機能において、動きの補正が範囲の限界を超える可能性がある場合に範囲の中心へ向かって戻していくようにセンタリング補正を行う。
そして、動き量検出部150および動き補正部160は、動きの検出および補正の基準となる画像にセンタリング補正分を加味した修正基準画像を作成し、作成した修正基準画像とセンタリング補正を行った画像との間で任意の方向とは異なる方向についての動きの検出および補正を行う。
なお、動き補正部160は、センタリング補正を数フレームに亘って段階的に行う機能を有している。
図6〜図9は、本実施形態に係る動き補正における画像切り出しや画像生成処理を説明するための図である。
ステップST1において、動き量検出部150は、画像nを取得する。
ステップST2において、動き量検出部150は、画像n+1を取得する。
ステップST3において、動き量検出部150は、それぞれの画像から動き量を検出する検出対象ブロックを切り出す。
このときの切り出し位置は任意に設定するエリアであり、1つ、もしくは複数のブロックでもかまわない。この切り出した画像をそれぞれA、B1とする。
ステップST4において、動き量検出部150および動き補正部160は、切り出したブロックで、カメラから被写体の方向を軸とした回転方向106とカメラから被写体方向の平行移動103、すなわち画像の回転[°]と拡大縮小率[%]を検出する。
このとき拡大縮小率は、2枚の画像の被写体の大きさが同じであれば100[%]であり、B1がAより小さければ100より小さい値、大きければ100より大きい値となる。
またこれを補正する場合には、検出した値の逆数をズーム倍率として拡大もしくは縮小した画像を生成する。
回転の補正は、検出した値を打ち消す方向に回転させた画像を生成する。ここで生成した画像をB2とする。
ステップST5において、動き量検出部150および動き補正部160は、画像AとB2から、画像の水平方向と垂直方向の動き量を検出する。
これを補正するときは、検出した値を打ち消す方向に画像をシフトすることで生成する。ここで生成した画像をB3とする。
ステップST6において、動き量検出部150および動き補正部160は、画像AとB3から、画像4隅の動き量(4隅の頂点付近の座標の動き量)を求める。
これを投影変換により補正する。ここで生成した画像をB4とする。
ステップST7において、動き補正部160は、画像B4から、画像周辺の移動しろを除いた出力エリアを切り出し、出力画像とする。
ステップST8において、動き量検出部150および動き補正部160は、これら一連の処理を、画像の撮影終了まで毎フレーム間で行う。
ブレの補正範囲限界いっぱいまでくると、それ以上ブレたときに補正できなくなるため、補正範囲の画像中心CTRまで時間経過とともに戻す動作が必要になる。
図6では、画像nをとった直後に、撮像装置(カメラ)100から被写体方向の平行移動が生じたために、画像n+1の画像の被写体が小さくなってしまった場合の画像を示している。
画像nと画像n+1の拡大縮小率を検出した結果、90[%]であったとする。この画像の動きを補正するために、画像n+1を(1/0.9)=ズーム倍率111[%]とすることで画像の大きさの変化を補正することができ、これに残りの軸の動きを補正したものを出力画像とすれば、ブレの除去された動画像を生成することができる。
これを解消するために、本実施形態においては、時間経過とともに数フレームにわたってズーム倍率を100[%]まで引き下げて、徐々に(段階的に)本来の撮影画像まで戻していく。
ここでは仮に1フレームにつき1[%]ずつ引き下げていくと仮定する。
すると、画像nに対し、本来画像n+1に対し111[%]のズーム倍率をかけて補正するものが、センタリングを入れることにより110[%]しかズーム倍率をかけないため、図7に示すように、大きさを完全に補正しない画像を生成することになる。
この図7の画像nと画像n+1を重ね合わせると、図8のように大きさの異なる画像を重ね合わせることになる。
ここでは画像nの切り出しブロックの4隅の座標が、画像n+1でどれだけ移動しているかをブロックマッチングなどの方法で検出し、投影変換で補正を行う。
そのため、図9に示すように、切り出しブロックの4隅の座標位置は水平、垂直方向に引き伸ばすように投影変換による補正が行われてしまう。
その結果、センタリング動作が補正により打ち消されてしまう。
この画像A2と画像B3に対して、水平、垂直方向を軸とする回転方向(図3の方向104、105)のブレ検出、補正処理を行うことで、センタリング動作を打ち消すことなく、ブレの歪みだけを補正することができる。
上記例では、撮像装置(カメラ)100から被写体方向の平行移動(図3の方向103)での例を説明したが、その他の軸、水平、垂直の平行移動101、102、カメラから被写体方向を軸とする回転移動106のブレにおいても同様の効果をもたらす。
図10は、本実施形態に係る撮像装置100における動き量検出部および動き補正部の処理をより具体的に説明するためのフローチャートである。
図5と重複する処理もあるがその処理概要を以下に示す。
ステップST11において、動き量検出部150は、画像nを取得する。
ステップST12において、動き量検出部150は、画像n+1を取得する。
ステップST13において、動き量検出部150は、それぞれの画像から動き量を検出する検出対象ブロックを切り出す。
ステップST14において、動き補正部160は、切り出したブロックで画像の回転と大きさの変化量の検出演算を行う。
ステップST15において、動き補正部160は、回転と大きさの変化について、センタリング動作を加味し、画像n+1を補間によって補正した補正画像を生成する。
ステップST16において、動き補正部160は、センタリング動作により補正しきらなかった回転と大きさの変化量を基準画像に対して補正し、修正基準画像を生成する。
ステップST17において、動き量検出部150は、修正基準画像と補正画像の水平、垂直方向の動き量を検出する。
ステップST18において、動き補正部160は、水平、垂直方向の動き量について、センタリングを加味して補正を行った補正画像を生成する。
ステップST19において、動き補正部160は、センタリング動作により補正しきらなかった水平と垂直方向の動き量を修正基準画像に対して補正し、修正基準画像を更新する。
ステップST20において、動き量検出部150および動き補正部160は、画像4隅の動き量をそれぞれ検出し、投影変換により補正することで、歪みの補正を行う。
ステップST21において、動き補正部160は、補正した画像から、出力エリアを切り出し、出力画像とする。
ステップST22において、動き量検出部150および動き補正部160は、これら一連の処理を、画像の撮影終了まで毎フレーム間で行う。
撮像装置100は、前フレームと後フレーム間での水平軸平行移動、垂直軸平行移動、カメラから被写体の軸での平行移動、撮像装置(カメラ)から被写体の軸の回転方向の4方向での動き量を後フレームに対して補正した画像に、さらに水平軸の回転方向、垂直軸の回転方向の振動による歪みを比較して補正する際に、次のような処理を行う。
撮像装置100は、補正動作にセンタリングを行い、前フレームと4方向での動き量をセンタリングを含めて補正した後フレームを比較するのではない。
すなわち、撮像装置100は、4方向での補正でセンタリングを行ったために補正しきれなかった動き量を前フレームに対して補正したものと4方向での動き量をセンタリングを含めて補正した後フレームを比較して、水平軸の回転方向、垂直軸の回転方向の振動による歪みを検出、補正を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。
Claims (7)
- 時間的に連続する画像間の水平軸方向、当該水平軸について回転方向、垂直軸方向、当該垂直軸について回転方向、画像が撮像された光軸方向、当該光軸について回転方向の6軸方向のうちの任意の方向の動きを検出する動き検出部と、
前記動き検出部で検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を含む動き補正部と、を有し、
前記動き補正部は、
前記動きの補正が範囲の限界を超える可能性がある場合に範囲の中心へ向かって戻していくようにセンタリング補正するセンタリング機能と、
動きの検出および補正の基準となる画像に前記センタリング補正分を加味した修正基準画像を作成する修正基準画像作成機能と、を含み、
前記動き検出部および前記動き補正部は、
前記修正基準画像と前記センタリング補正を行った画像との間で前記任意の方向とは異なる方向についての動きの検出および補正を行う
画像動き補正装置。 - 前記任意の方向は、
前記水平軸方向、前記垂直軸方向、前記画像が撮像された前記光軸方向、当該光軸について回転方向のいずれかまたは複数の方向を含み、
前記任意の方向と異なる方向は、
前記水平軸について回転方向およびもしくは前記垂直軸について回転方向を含む
請求項1に記載の画像動き補正装置。 - 前記動き補正部は、
前記センタリング補正を数フレームに亘って段階的に行う
請求項1または2に記載の画像動き補正装置。 - 時間的に連続する画像間の水平軸方向、水平軸について回転方向、垂直軸方向、垂直軸について回転方向、画像が撮像された光軸方向、該光軸について回転方向の6軸方向のうちの任意の方向の動きを検出するステップと、
前記検出した動きを相殺するように画像の位置およびもしくは大きさを補正するステップと、
前記動きの補正が範囲の限界を超える恐れがある場合に範囲の中心へ向かって戻していくようにセンタリング補正するステップと、
動きの検出・補正の基準となる画像に前記センタリング補正分を加味した修正基準画像を作成するステップと、
前記修正基準画像と前記センタリング補正を行った画像との間で前記任意の方向とは異なる方向についての動きの検出および補正を行うステップと、
を有する画像動き補正方法。 - 前記任意の方向は、
前記水平軸方向、前記垂直軸方向、前記画像が撮像された前記光軸方向、当該光軸について回転方向のいずれかまたは複数の方向を含み、
前記任意の方向と異なる方向は、
前記水平軸について回転方向およびもしくは前記垂直軸について回転方向を含む
請求項4に記載の画像動き補正方法。 - 前記センタリング補正は数フレームに亘って段階的に行われる
請求項4または5に記載の画像動き補正方法。 - 光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記撮像素子から得られる時間的に連続する画像間の動きを検出し、検出結果に応じて動き補正を行う画像動き補正装置と、を有し、
前記動き補正装置は、
時間的に連続する画像間の水平軸方向、当該水平軸について回転方向、垂直軸方向、当該垂直軸について回転方向、画像が撮像された光軸方向、当該光軸について回転方向の6軸方向のうちの任意の方向の動きを検出する動き検出部と、
前記動き検出部で検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を含む動き補正部と、を有し、
前記動き補正部は、
前記動きの補正が範囲の限界を超える可能性がある場合に範囲の中心へ向かって戻していくようにセンタリング補正するセンタリング機能と、
動きの検出および補正の基準となる画像に前記センタリング補正分を加味した修正基準画像を作成する修正基準画像作成機能と、を含み、
前記動き検出部および前記動き補正部は、
前記修正基準画像と前記センタリング補正を行った画像との間で前記任意の方向とは異なる方向についての動きの検出および補正を行う
撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009221784A JP5477897B2 (ja) | 2009-09-28 | 2009-09-28 | 画像動き補正装置およびその方法、並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009221784A JP5477897B2 (ja) | 2009-09-28 | 2009-09-28 | 画像動き補正装置およびその方法、並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011071786A JP2011071786A (ja) | 2011-04-07 |
JP5477897B2 true JP5477897B2 (ja) | 2014-04-23 |
Family
ID=44016615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009221784A Active JP5477897B2 (ja) | 2009-09-28 | 2009-09-28 | 画像動き補正装置およびその方法、並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5477897B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6990985B2 (ja) | 2017-04-25 | 2022-01-12 | キヤノン株式会社 | 像振れ補正装置及び方法、撮像装置及び撮像システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2563567B2 (ja) * | 1989-03-20 | 1996-12-11 | 松下電器産業株式会社 | 揺れ補正装置 |
JPH09139881A (ja) * | 1995-11-16 | 1997-05-27 | Sony Corp | 手振れ補正装置 |
-
2009
- 2009-09-28 JP JP2009221784A patent/JP5477897B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011071786A (ja) | 2011-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6960238B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP5917054B2 (ja) | 撮像装置、画像データ処理方法、およびプログラム | |
JP4500875B2 (ja) | モーションブラー効果を除去する方法および装置 | |
KR101528860B1 (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
WO2011145296A1 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
JP2006180429A (ja) | 画像処理装置および画像処理プログラム | |
JP6071545B2 (ja) | 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP4345940B2 (ja) | 手ぶれ画像補正方法、記録媒体及び撮像装置 | |
JP2009124597A (ja) | 防振画像処理装置及び防振画像処理方法 | |
JP2014168251A (ja) | 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム | |
JP2007286846A (ja) | 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム | |
JP2017175364A (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2010273183A (ja) | 撮像装置 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP5477897B2 (ja) | 画像動き補正装置およびその方法、並びに撮像装置 | |
JP6351335B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6455354B2 (ja) | 動画撮影装置、動画撮影方法及びプログラム | |
JP2015095670A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2005295302A (ja) | カメラ画像処理装置 | |
JP2017063340A (ja) | 像ブレ補正装置、撮像装置および制御方法 | |
JP5511403B2 (ja) | 画像処理装置およびその制御方法 | |
JP2011151744A (ja) | 画像動き補正装置およびその方法、並びに撮像装置 | |
JP2006254198A (ja) | 画像合成装置,カメラの手ぶれ補正装置およびカメラ | |
JP6687210B1 (ja) | 撮像装置 | |
JP2018207254A (ja) | 撮像装置、制御方法、プログラム及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5477897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |