JP5699432B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5699432B2
JP5699432B2 JP2010015720A JP2010015720A JP5699432B2 JP 5699432 B2 JP5699432 B2 JP 5699432B2 JP 2010015720 A JP2010015720 A JP 2010015720A JP 2010015720 A JP2010015720 A JP 2010015720A JP 5699432 B2 JP5699432 B2 JP 5699432B2
Authority
JP
Japan
Prior art keywords
image
input
image processing
template
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010015720A
Other languages
English (en)
Other versions
JP2011155492A (ja
Inventor
啓之 阿部
啓之 阿部
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2010015720A priority Critical patent/JP5699432B2/ja
Publication of JP2011155492A publication Critical patent/JP2011155492A/ja
Application granted granted Critical
Publication of JP5699432B2 publication Critical patent/JP5699432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置に関する。

次のような手振れ補正装置が知られている。この手振れ補正装置は、テンプレートマッチングの手法を用いて手振れを検出するものであり、テンプレートの輝度の最大値と最小値の差をとり、この差の値が小さい場合は信頼性がないとしてこのテンプレートを演算対象から除外する方式をとっている(例えば、特許文献1)。

特開2008−11119号公報

しかしながら、従来の手振れ補正装置では、輝度の最大値と最小値の差が大きいテンプレートを用いて手振れを検出すると、全体にグラデーションがかかった画像のような、手振れの検出には向かないテンプレートを用いてしまう可能性があり、手振れの検出精度が低下する可能性があった。

本発明による画像処理装置は、時系列で入力される入力画像内の動きのある被写体を避けた背景位置を特定し、背景位置を特定した後に、基準画像と、連続して入力される入力画像とを比較することにより、背景位置の入力画像間での移動方向及び移動量を特定する特定手段と、特定手段によって特定された背景位置の入力画像間での移動方向及び移動量に基づいて、入力画像間での手振れを低減する手振れ補正手段と、を備えることを特徴とする。
本発明では、特定手段は、前入力画像における背景位置と現入力画像における背景位置とに基づいて、入力画像間での背景位置の移動方向及び移動量を特定するための動ベクトルを算出するようにしてもよい。
特定手段は、複数のテンプレート画像を用いて、入力画像内における複数の背景位置を特定し、各背景位置を対象として入力画像間での背景位置の移動方向及び移動量を特定するためのベクトルを算出し、各背景位置を対象として算出した複数のベクトルの平均を動ベクトルとするようにしてもよい。
特定手段は、算出した複数のベクトルの平均と標準偏差とに基づいて、複数のベクトルの中から異常値を検出し、異常値を示すベクトルを除いて、動ベクトルを算出するようにしてもよい。
手振れ補正手段は、入力画像内から特定手段によって特定された入力画像間での背景位置の移動方向及び移動量に応じた所定の切り出し範囲内の画像を切り出して出力することによって手振れを低減するようにしてもよい。
手振れ補正手段は、入力画像の中心と切り出し範囲の中心が一致する位置を切り出し範囲の初期位置とし、最初に処理を行う入力画像は、初期位置から切り出し範囲を移動させるようにしてもよい。
手振れ補正手段は、切り出し範囲が画像の端点に達した場合には、切り出し範囲を移動させる基準位置を初期位置に戻すようにしてもよい。
テンプレート画像は、入力画像内から抽出された部分画像であって、特定手段は、最初に処理を行う入力画像では、入力画像内の前記部分画像の取得位置を含む所定範囲を探索対象領域として設定し、それ以外の入力画像では、前入力画像における背景位置を含む所定範囲を探索対象領域として設定し、探索対象領域を対象としてテンプレート画像を用いたテンプレートマッチング処理を行なうようにしてもよい。
入力画像を複数の分割領域に分割し、各分割領域を対象としてエッジ加算量を評価値として算出し、算出した評価値に基づいて入力画像内から所定数の分割領域を選択し、選択した分割領域内の画像をテンプレート画像として抽出するテンプレート画像抽出手段をさらに備えるようにしてもよい。
テンプレート画像抽出手段は、探索対象領域が画像の端点に達した場合には、その探索対象領域に対応するテンプレート画像に代えて、新たなテンプレート画像を入力画像内から取り直すようにしてもよい。
テンプレート画像抽出手段は、入力画像の中心とその近傍を除外した分割領域からテンプレート画像を抽出するようにしてもよい。
時系列で入力される入力画像間で被写体を追尾する被写体追尾手段をさらに備え、テンプレート画像抽出手段は、入力画像内における追尾中の被写体位置とその近傍を除外した分割領域から前記テンプレート画像を抽出するようにしてもよい。
手振れ補正手段によって切り出された出力画像を表示装置に表示する表示制御手段をさらに備えるようにしてもよい。

本発明によれば、高精度に手振れを検出して補正することができる。

カメラ100の一実施の形態の構成を示すブロック図である。 テンプレート画像A、画像I、およびターゲット画像Bの具体例を示す図である。 画像を複数のブロックに分割する場合の具体例を示す図である。 画像内からの複数のテンプレート画像の抽出例を示す図である。 画像内に複数の探索対象領域を設定した場合の具体例を示す図である。 各ブロックごとのベクトル算出例を示す図である。 動ベクトルの算出例を示す第1の図である。 動ベクトルの算出例を示す第2の図である。 入力画像に対する出力画像の具体例を示す第1の図である。 入力画像に対する出力画像の具体例を示す第2の図である。 手振れ補正処理の流れを示すフローチャート図である。 探索対象領域が画像の端点に到達した場合の具体例を示す図である。 テンプレート画像の取り直し例を示す図である。 切り出し範囲が画像の端点に到達した場合の具体例を示す図である。 テンプレート抽出時に画像にかけるマスクの具体例を示す第1の図である。 テンプレート抽出時に画像にかけるマスクの具体例を示す第2の図である。

図1は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ100は、操作部材101と、レンズ102と、撮像素子103と、制御装置104と、メモリカードスロット105と、モニタ106とを備えている。操作部材101は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ102は、複数の光学レンズから構成されるが、図1では代表して1枚のレンズで表している。レンズ102を構成するレンズには、ズーム倍率を変更するためのズームレンズや、焦点調節を行うための焦点調節用レンズ(AFレンズ)等が含まれる。撮像素子103は、例えばCCDやCMOSなどのイメージセンサーであり、レンズ102により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置104へ出力する。

制御装置104は、撮像素子103から入力された画像信号に基づいて所定の画像形式、例えばJPEG形式の画像データ(以下、「本画像データ」と呼ぶ)を生成する。また、制御装置104は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置104は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット105へ出力する。

メモリカードスロット105は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置104から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット105は、制御装置104からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ106は、カメラ100の背面に搭載された液晶モニタ(背面モニタ)であり、当該モニタ106には、メモリカードに記憶されている画像やカメラ100を設定するための設定メニューなどが表示される。また、制御装置104は、使用者によってカメラ100のモードが撮影モードに設定されると、撮像素子103から時系列で取得した画像の表示用画像データをモニタ106に出力する。これによってモニタ106にはスルー画が表示される。

制御装置104は、CPU、メモリ、およびその他の周辺回路により構成され、カメラ100を制御する。なお、制御装置104を構成するメモリには、SDRAMやフラッシュメモリが含まれる。SDRAMは、揮発性のメモリであって、CPUがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置104が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置104は、撮像素子103から入力されるスルー画の各フレーム(入力画像)に対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、入力画像内からテンプレート画像と類似するマッチング領域を特定する。そして、制御装置104は、特定したマッチング領域の入力画像間での位置変化に基づいて手振れを検出し、スルー画の入力画像間で手振れを防止するための処理を行う。

まず、一般的なテンプレートマッチング処理について説明する。制御装置104は、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子103から時系列で入力される各入力画像とのマッチング演算を行う。例えば、制御装置104は、図2に示すように、テンプレート画像Aを用いて画像I内におけるマッチング領域を特定する。なお、本実施の形態では、複数のテンプレート画像を用いてテンプレートマッチングを行うこととし、テンプレートマッチング処理に用いる複数のテンプレート画像の取得方法については後述する。

制御装置104は、撮像素子103からのスルー画の入力が開始されると、各入力画像を対象として、この画像I内の所定の位置にテンプレート画像と同じ大きさのターゲット枠を設定し、設定したターゲット枠内のターゲット画像Bをテンプレートマッチングの対象とする。すなわち、制御装置104は、ターゲット枠を画像I内で移動させながら、各ターゲット枠位置におけるターゲット画像Bと、テンプレート画像Aとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Aとターゲット画像Bとの類似度が最も高い領域を画像I内におけるマッチング領域として特定する。

上述したように、画像Iの全体を探索対象領域とすることによって画像Iの全体を対象としてテンプレートマッチングを行ってもよいが、画像内からテンプレート画像Aを抽出した位置を含む所定範囲を探索対象領域としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を画像I内の類似度が高い可能性が高い範囲に限定することができ、処理を高速化することができる。

なお、テンプレートマッチングの手法としては、一般的に、公知の残差逐次検定法などが用いられる。この残差逐次検定法では、次式(1)に示す差分和により類似度を算出し、算出した類似度に基づいてテンプレートマッチングを行う。

式(1)により類似度を算出した場合は、算出されるrが小さいほどテンプレート画像Aとターゲット画像Bとの類似度が高くなり、算出されるrが大きいほどテンプレート画像Aとターゲット画像Bとの類似度は低くなる。ここで、式(1)において、mは探索対象領域内における横方向の位置を示し、nは縦方向の位置を示している。

ここで本実施の形態におけるテンプレート画像の取得方法について説明する。まず、制御装置104は、図3に示すように、画像I1の全体を複数の分割領域(ブロック)に分割する。そして、制御装置104は、各ブロック内の各画素を対象として、次式(2)に示す3×3の行列で表されるX方向のSobelフィルタ、及び次式(3)に示す3×3の行列で表されるY方向のSobelフィルタを係数として用いて、コンボリューション(畳み込み)を行なう。そして、制御装置104は、次式(2)及び(3)による算出結果に基づいて、次式(4)によりエッジ加算値を算出する。

制御装置104は、画像I1全体の中から、式(3)によって算出されたエッジ加算値が大きい順に複数のブロックを抽出し、抽出したブロック内の画像をテンプレートマッチング処理で用いる複数のテンプレート画像として取得する。本実施の形態では、この方法により5個のテンプレート画像が取得されるものとし、例えば、図4に示すブロック1〜5が抽出され、これらのブロック内の画像がテンプレート画像として取得される。なお、テンプレートマッチング処理によって特定したマッチング領域の入力画像間での位置変化に基づいて手振れを検出するためには、マッチングの対象が動きのある被写体であると、マッチング領域の位置変化が被写体の動きによるものか、手振れによるものかの判定が困難であるため望ましくない。よって、本実施の形態では、マッチングの対象を動きの少ない背景とするために、テンプレート画像として背景の画像を取得することとする。

このために、制御装置104は、画像I1に対して、動きが大きい被写体が含まれる可能性が高いブロックに「0」を、それ以外のブロックに「1」をかけるマスクをかけた後、上述したエッジ加算値を算出する。例えば、一般的に人物は動きが大きい可能性があり、起立している人物は画像中央下部から上部にかけて存在している可能性が高いため、画像I1に図15に示すような画像の中心とその近傍を除くようなマスクをかけてからエッジ加算値を算出する。

あるいは、カメラ100が画像内の移動中の被写体を追尾中である場合には、その追尾中の移動被写体が存在している高いブロックに「0」を、それ以外のブロックに「1」をかけるマスクをかけた後、上述したエッジ加算値を算出するようにしてもよい。例えば、画像の中央部分に移動中の追尾対象被写体が存在している場合には、画像I1に図16に示すような被写体位置とその近傍を除くようなマスクをかけてからエッジ加算値を算出するようにしてもよい。これによって、動きのある被写体を避けた背景の画像がテンプレート画像として取得されることとなり、テンプレートマッチング処理によって動きが少なく手振れを高精度に検出できる背景位置を特定することが可能となる。

制御装置104は、このように取得した5つのテンプレート画像を用いて、以降に入力される入力画像を対象としたテンプレートマッチング処理を行なう。例えば、制御装置104は、図5に示すように、画像I2において、それぞれのテンプレート画像の取得元であるブロック位置の周囲に探索対象領域5a〜5eを設定し、それぞれの探索対象領域内で、各探索対象領域に対応するテンプレート画像を用いたテンプレートマッチング処理を行う。

例えば、図4に示したブロック1の周囲に設定した探索対象領域5aに対しては、ブロック1から取得したテンプレート画像1を用いてテンプレートマッチング処理を行い、ブロック2の周囲に設定した探索対象領域5bに対しては、ブロック2から取得したテンプレート画像2を用いてテンプレートマッチング処理を行う。また、ブロック3の周囲に設定した探索対象領域5cに対しては、ブロック3から取得したテンプレート画像3を用いてテンプレートマッチング処理を行い、ブロック4の周囲に設定した探索対象領域5dに対しては、ブロック4から取得したテンプレート画像4を用いてテンプレートマッチング処理を行い、ブロック5の周囲に設定した探索対象領域5eに対しては、ブロック5から取得したテンプレート画像5を用いてテンプレートマッチング処理を行う。

なお、次入力画像以降は、前入力画像におけるテンプレートマッチング処理によって特定したマッチング位置の周囲に探索対象領域を設定してテンプレートマッチングを継続する。これによって、常に最新のマッチング位置の周囲に探索対象領域を設定することができ、テンプレートマッチングの精度を向上することができる。

制御装置104は、この画像I2に対するテンプレートマッチング処理の結果に基づいて、画像I1にから抽出したブロック内のマッチング位置、すなわち背景位置が入力画像間でどこに移動したかを特定し、図6に示すように、各ブロックの入力画像間での移動量を示すベクトル6a〜6eを算出する。そして、図7に示すように、これらのベクトル6a〜6eの平均を算出することにより、前入力画像における背景位置と現入力画像における背景位置とに基づいて、入力画像間での背景位置の移動方向及び移動量を特定するための動ベクトル7aを算出する。この動ベクトル7aは、画像I1と画像I2の入力画像のズレ量を示している。

なお、制御装置104は、各ブロックの入力画像間での移動量を示すベクトル6a〜6eのうち、いずれかのベクトルの向きが他のベクトルの向きや大きさとは大きく異なる場合には、そのベクトルの算出結果は手振れ検出用として用いるには信頼性が低い、すなわち異常値を示すと判断して、動ベクトル7aの算出には用いないようにする。例えば、図8に示すように、ベクトル6a〜6eのうち、ベクトル6bの向きが他のベクトルの向きと異なる場合には、制御装置104は、ベクトル6bを除いた4つのベクトルの平均を動ベクトル7aとして算出する。ここで、いずれかのベクトルの向きや大きさが他のベクトルの向きとは大きく異なるか否かを判断するためには、例えば、ベクトル6a〜6eの平均±標準偏差を閾値とし、この閾値の範囲から外れるベクトルを他のベクトルとは向きや大きさが大きく異なると判定すればよい。

制御装置104は、上記の方法により算出した動ベクトル7aに基づいて手振れの発生した方向と手振れ量を検出し、手振れを防止するための手振れ補正を行い、手振れ補正後の画像をモニタ106に表示する。本実施の形態では、図9に示すように、撮像素子103からの入力画像9a内の所定範囲9b内の画像を表示用画像(出力画像)として切り出してモニタ106に表示することとし、入力画像9a内における切り出し範囲9bを動ベクトル7aに基づいて変化させることによって、手振れの補正を行う。

なお、切り出し範囲9bの大きさは、手振れ補正量に基づいて算出することとし、例えば入力画像9aの0.8倍〜0.9倍程度となる。また、図9に示すように、入力画像の中心と切り出し範囲9bの中心とが一致する位置を切り出し範囲9bの初期位置とし、制御装置104は、処理の開始時には切り出し範囲9bを該初期位置に設定する。すなわち、最初に処理を行う入力画像では、切り出し範囲9bを該初期位置に設定する。

本実施の形態における手振れ補正の方法について図10を用いて説明する。例えば、手振れが発生していない場合の入力画像9aに対する切り出し範囲として基準範囲9bが設定されている場合に、手振れによって動ベクトル7aが算出されたものとする。この場合には、制御装置104は、基準範囲9bを、動ベクトル7aによって表される手振れ量を相殺する方向に移動させて切り出し範囲10aを得る。すなわち、基準範囲9bを入力画像間での背景位置の移動方向に、背景位置の移動量だけ移動させた位置に現入力画像における切り出し範囲10aを設定する。そして、制御装置104は、切り出し範囲10a内の画像を表示用画像として抽出してモニタ106に表示する。

そして、制御装置104は、次入力画像以降は、手振れが発生していない場合の入力画像9aに対する基準範囲を範囲10aに設定し、その基準範囲10aを、動ベクトル7aによって表される手振れ量を相殺する方向に移動させることによって切り出し範囲を得る。これによって、スルー画の各入力画像について手振れ補正を行うことができる。

図11は、本実施の形態における手振れ補正処理の流れを示すフローチャートである。図11に示す処理は、撮像素子103からのスルー画の入力が開始されると起動するプログラムとして、制御装置104によって実行される。なお、図11に示す処理では、テンプレートマッチング処理に用いる複数のテンプレート画像は、上述した方法によりあらかじめ取得されてSDRAMに記録されているものとする。

ステップS10において、制御装置104は、図5に示したように、画像I2において、それぞれのテンプレート画像の取得元であるブロック位置の周囲に探索対象領域5a〜5eを設定し、それぞれの探索対象領域内で、各探索対象領域に対応するテンプレート画像を用いたテンプレートマッチング処理を行う。その後、ステップS20へ進む。

ステップS20では、制御装置104は、上述したように、各ブロックの入力画像間での移動量を示すベクトル6a〜6eを算出し、これらのベクトル6a〜6eの平均を算出することにより動ベクトル7aを算出する。その後、ステップS30へ進み、制御装置104は、上述したように、算出した動ベクトル7aに基づいて、撮像素子103からの入力画像9a内から切り出す切り出し範囲9bを決定して、ステップS40へ進む。

ステップS40では、ステップS30で決定した切り出し範囲9b内の画像を切り出してモニタ106に表示することにより、モニタ106に手振れ補正後の入力画像を表示する。その後、ステップS50へ進み、制御装置104は、スルー画の入力が終了したか否かを判断する。ステップS50で否定判断した場合には、ステップS10へ戻り、次入力画像を対象として上述したステップS10からステップS40の処理を繰り返す。一方、ステップS50で否定判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)制御装置104は、テンプレート画像を用いたテンプレートマッチング処理により、スルー画の入力画像における背景位置を特定して、背景位置の入力画像間での移動方向及び移動量を特定するベクトルを算出し、前入力画像における切り出し範囲を入力画像間での背景位置の移動方向に、背景位置の移動量だけ移動させた位置に現入力画像における切り出し範囲を設定し、切り出し範囲内の画像を抽出してモニタ106に表示するようにした。これによって、スルー画の入力画像間で手振れ補正を行うことができる。さらに、動きが少ない背景を対象としてテンプレートマッチング処理を行なうため、手振れを高精度に検出することができる。

(2)制御装置104は、前入力画像における背景位置と現入力画像における背景位置とに基づいて、入力画像間での背景位置の移動方向及び移動量を特定するための動ベクトルを算出するようにした。これによって、前入力画像と現入力画像における入力画像のズレ量を算出できる。

(3)制御装置104は、複数のテンプレート画像を用いて、入力画像内における複数の背景位置を特定し、各背景を対象としてベクトルを算出し、算出した複数のベクトルの平均を動ベクトルとして算出するようにした。これによって、動ベクトルの精度を上げることができる。

(4)制御装置104は、算出した複数のベクトルの平均と標準偏差とに基づいて、複数のベクトルの中から異常値を検出し、異常値を示すベクトルを除いて動ベクトルを算出するようにした。これによって、動ベクトルの精度をさらに上げることができる。

(5)制御装置104は、入力画像の中心と切り出し範囲の中心が一致する位置を切り出し範囲の初期位置とし、最初に処理を行う入力画像は、初期位置から切り出し範囲を移動させるようにした。これによって、初期位置を基準として入力画像間での手振れを補正することができる。

(6)制御装置104は、最初に処理を行う入力画像では、入力画像内のテンプレート画像の取得位置を含む所定範囲を探索対象領域として設定し、それ以外の入力画像では、前入力画像におけるマッチング位置を含む所定範囲を探索対象領域として設定するようにした。これによって、入力画像間でマッチング位置が移動した場合でも手振れ補正を継続することができる。

(7)制御装置104は、入力画像を複数のブロックに分割し、各ブロックを対象としてエッジ加算量を算出し、算出したエッジ加算値に基づいて入力画像内から複数、例えば6つのブロックを選択し、選択したブロック内の画像をテンプレート画像として抽出するようにした。これによって、入力画像内から絵柄のあるメリハリのある部分をテンプレート画像として抽出することができ、テンプレートマッチング処理の精度を向上することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
(1)上述した実施の形態では、図5に示したように、画像I2において、それぞれのテンプレート画像の取得元であるブロック位置の周囲に探索対象領域5a〜5eを設定し、それぞれの探索対象領域内で、各探索対象領域に対応するテンプレート画像を用いたテンプレートマッチング処理を行うようにした。そして、次入力画像以降は、前入力画像におけるテンプレートマッチング処理によって特定したマッチング位置の周囲に探索対象領域を設定してテンプレートマッチングを継続するようにした。しかしながら、この処理を複数入力画像継続した場合には、例えば図12に示す探索対象領域12bのように、いずれかの探索対象領域が画像の端点に達してしまう可能性がある。

この場合には、制御装置104は、探索対象領域12bを用いて追尾している背景は画像の外に出てしまっている可能性が高いことから、この探索対象領域12bを対象としたテンプレートマッチング処理に用いるテンプレート画像を、画像内の他の位置から取り直すようにする。例えば、制御装置104は、現入力画像を対象として、上述した式(4)により改めてブロックごとのエッジ加算値を算出し、エッジ加算値が大きい順に複数のブロックを抽出する。そして、抽出した複数のブロックの中から、画像の端点に達してしまった探索対象領域以外の各探索対象領域と最も離れた位置にあるブロック内の画像を新たなテンプレート画像として取り直す。例えば、図13に示す例では、探索対象領域12bを対象としたテンプレートマッチング処理に用いるテンプレート画像に代えて、ブロック13a内の画像が新たなテンプレート画像として取得される。

その後は、取り直しを行なっていない4つのテンプレート画像と取り直したテンプレート画像との5つのテンプレート画像を用いて、上述したテンプレートマッチング処理を行なうようにすればよい。これによって、追尾対象の背景が画像外へ移動してしまった場合でも、新たにテンプレート画像を取り直すことにより、複数のテンプレート画像を用いたテンプレートマッチング処理を継続することができ、スルー画の各入力画像に対する手振れ補正を継続することが可能となる。

(2)上述した実施の形態では、図10に示したように、制御装置104は、基準範囲9bを、動ベクトル7aによって表される手振れ量を相殺する方向に移動させて切り出し範囲10aを得る例について説明した。そして、次入力画像以降は、手振れが発生していない場合の入力画像9aに対する基準範囲を範囲10aに設定し、その基準範囲10aを、動ベクトル7aによって表される手振れ量を相殺する方向に移動させることによって切り出し範囲を得るようにした。しかしながら、この処理を複数の入力画像間に対して継続した場合には、例えば図14に示すように、切り出し範囲14aが画像の端点に達してしまい、次入力画像においてこれを基準範囲14aとして設定した場合には、それ以上基準範囲14aを移動させて切り出し範囲を得られなくなる可能性がある。

このように切り出し範囲14aが画像の端点に達した場合には、制御装置104は、次の入力画像における基準範囲を画像の中心方向に移動させるようにし、その後の複数入力画像、例えば2つの入力画像の間に基準範囲を図9に示した初期位置または初期位置の近傍に戻すようにしてもよい。これによって、切り出し範囲が画像の端点に達した場合でも次入力画像以降も手振れ補正を継続することが可能となる。

(3)上述した実施の形態では、制御装置104は、複数のテンプレート画像を用いて複数のブロックを対象としたテンプレートマッチング処理を行い、それぞれのブロックについて算出したベクトルの平均を動ベクトル7aとして算出する例について説明した。しかしながら、制御装置104は、少なくとも1つのテンプレート画像を用いて、少なくとも1つのブロックを対象としたテンプレートマッチング処理を行なえばよく、例えば1つのテンプレートを用いて1つのブロックを対象としたテンプレートマッチング処理を行なった場合には、そのブロックについて算出したベクトルを動ベクトルとすればよい。

(4)上述した実施の形態では、制御装置104は、スルー画の各入力画像を対象として手振れ補正を行う例について説明した。しかしながら、カメラ100が動画撮影機能を備えている場合には、制御装置104は、スルー画ではなく、動画を構成する各入力画像を対象として手振れ補正を行うようにしてもよい。

(5)上述した実施の形態では、本発明をカメラ100に適用する場合について説明した。しかしながら、撮影機能を備えた他の機器、例えばカメラ付き携帯電話機やビデオカメラ等にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

100 カメラ、101 操作部材、102 レンズ、103 撮像素子、104 制御装置、105 メモリカードスロット、106 モニタ

Claims (13)

  1. 時系列で入力される入力画像内の動きのある被写体を避けた背景位置を特定し、前記背景位置を特定した後に、基準画像と、連続して入力される入力画像とを比較することにより、前記背景位置の入力画像間での移動方向及び移動量を特定する特定手段と、
    前記特定手段によって特定された前記背景位置の入力画像間での移動方向及び移動量に基づいて、入力画像間での手振れを低減する手振れ補正手段とを備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記特定手段は、前入力画像における背景位置と現入力画像における背景位置とに基づいて、入力画像間での背景位置の移動方向及び移動量を特定するための動ベクトルを算出することを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記特定手段は、複数のテンプレート画像を用いて、前記入力画像内における複数の背景位置を特定し、各背景位置を対象として入力画像間での背景位置の移動方向及び移動量を特定するためのベクトルを算出し、各背景位置を対象として算出した複数のベクトルの平均を前記動ベクトルとすることを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記特定手段は、算出した複数のベクトルの平均と標準偏差とに基づいて、前記複数のベクトルの中から異常値を検出し、前記異常値を示すベクトルを除いて、前記動ベクトルを算出することを特徴とする画像処理装置。
  5. 請求項1〜4のいずれか一項に記載の画像処理装置において、
    前記手振れ補正手段は、入力画像内から前記特定手段によって特定された入力画像間での前記背景位置の移動方向及び移動量に応じた所定の切り出し範囲内の画像を切り出して出力することによって手振れを低減することを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    前記手振れ補正手段は、前記入力画像の中心と前記切り出し範囲の中心が一致する位置を前記切り出し範囲の初期位置とし、最初に処理を行う入力画像は、前記初期位置から前記切り出し範囲を移動させることを特徴とする画像処理装置。
  7. 請求項6に記載の画像処理装置において、
    前記手振れ補正手段は、前記切り出し範囲が画像の端点に達した場合には、切り出し範囲を移動させる基準位置を前記初期位置に戻すことを特徴とする画像処理装置。
  8. 請求項3または4に記載の画像処理装置において、
    前記テンプレート画像は、入力画像内から抽出された部分画像であって、
    前記特定手段は、最初に処理を行う入力画像では、入力画像内の前記部分画像の取得位置を含む所定範囲を探索対象領域として設定し、それ以外の入力画像では、前入力画像における背景位置を含む所定範囲を探索対象領域として設定し、前記探索対象領域を対象として前記テンプレート画像を用いたテンプレートマッチング処理を行なうことを特徴とする画像処理装置。
  9. 請求項8に記載の画像処理装置において、
    入力画像を複数の分割領域に分割し、各分割領域を対象としてエッジ加算量を評価値として算出し、算出した前記評価値に基づいて入力画像内から所定数の前記分割領域を選択し、選択した前記分割領域内の画像を前記テンプレート画像として抽出するテンプレート画像抽出手段をさらに備えることを特徴とする画像処理装置。
  10. 請求項9に記載の画像処理装置において、
    前記テンプレート画像抽出手段は、前記探索対象領域が画像の端点に達した場合には、その探索対象領域に対応するテンプレート画像に代えて、新たなテンプレート画像を入力画像内から取り直すことを特徴とする画像処理装置。
  11. 請求項9〜10のいずれか一項に記載の画像処理装置において、
    前記テンプレート画像抽出手段は、入力画像の中心とその近傍を除外した前記分割領域から前記テンプレート画像を抽出することを特徴とする画像処理装置。
  12. 請求項9〜10のいずれか一項に記載の画像処理装置において、
    時系列で入力される入力画像間で被写体を追尾する被写体追尾手段をさらに備え、
    前記テンプレート画像抽出手段は、入力画像内における追尾中の被写体位置とその近傍を除外した前記分割領域から前記テンプレート画像を抽出することを特徴とする画像処理装置。
  13. 請求項1〜12のいずれか一項に記載の画像処理装置において、
    前記手振れ補正手段によって切り出された出力画像を表示装置に表示する表示制御手段をさらに備えることを特徴とする画像処理装置。
JP2010015720A 2010-01-27 2010-01-27 画像処理装置 Active JP5699432B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010015720A JP5699432B2 (ja) 2010-01-27 2010-01-27 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010015720A JP5699432B2 (ja) 2010-01-27 2010-01-27 画像処理装置

Publications (2)

Publication Number Publication Date
JP2011155492A JP2011155492A (ja) 2011-08-11
JP5699432B2 true JP5699432B2 (ja) 2015-04-08

Family

ID=44541128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010015720A Active JP5699432B2 (ja) 2010-01-27 2010-01-27 画像処理装置

Country Status (1)

Country Link
JP (1) JP5699432B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8124814B2 (en) 2006-06-14 2012-02-28 Solvay (Societe Anonyme) Crude glycerol-based product, process for its purification and its use in the manufacture of dichloropropanol
US8197665B2 (en) 2007-06-12 2012-06-12 Solvay (Societe Anonyme) Aqueous composition containing a salt, manufacturing process and use
US8258350B2 (en) 2007-03-07 2012-09-04 Solvay (Societe Anonyme) Process for the manufacture of dichloropropanol
US8273923B2 (en) 2007-06-01 2012-09-25 Solvay (Societe Anonyme) Process for manufacturing a chlorohydrin
US8314205B2 (en) 2007-12-17 2012-11-20 Solvay (Societe Anonyme) Glycerol-based product, process for obtaining same and use thereof in the manufacturing of dichloropropanol
US8378130B2 (en) 2007-06-12 2013-02-19 Solvay (Societe Anonyme) Product containing epichlorohydrin, its preparation and its use in various applications
US8471074B2 (en) 2007-03-14 2013-06-25 Solvay (Societe Anonyme) Process for the manufacture of dichloropropanol
US8507643B2 (en) 2008-04-03 2013-08-13 Solvay S.A. Composition comprising glycerol, process for obtaining same and use thereof in the manufacture of dichloropropanol
US8536381B2 (en) 2008-09-12 2013-09-17 Solvay Sa Process for purifying hydrogen chloride
US8715568B2 (en) 2007-10-02 2014-05-06 Solvay Sa Use of compositions containing silicon for improving the corrosion resistance of vessels
US8795536B2 (en) 2008-01-31 2014-08-05 Solvay (Societe Anonyme) Process for degrading organic substances in an aqueous composition
US9309209B2 (en) 2010-09-30 2016-04-12 Solvay Sa Derivative of epichlorohydrin of natural origin

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161690B2 (en) * 2011-03-10 2015-10-20 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
WO2013051645A1 (ja) * 2011-10-05 2013-04-11 株式会社ニコン 電子機器及び移動速度算出システム
JP5541426B1 (ja) * 2012-08-10 2014-07-09 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6561428B2 (ja) * 2013-08-05 2019-08-21 株式会社ニコン 電子機器、制御方法、及び制御プログラム
WO2018181612A1 (ja) * 2017-03-31 2018-10-04 株式会社ニコン 電子機器
WO2018181611A1 (ja) * 2017-03-31 2018-10-04 株式会社ニコン 電子機器
WO2018181613A1 (ja) * 2017-03-31 2018-10-04 株式会社ニコン 電子機器
WO2018181610A1 (ja) * 2017-03-31 2018-10-04 株式会社ニコン 電子機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153059A (ja) * 1992-11-06 1994-05-31 Sony Corp 映像記録再生装置
JP3929819B2 (ja) * 2002-04-25 2007-06-13 三菱電機株式会社 監視装置及び方法並びにプログラム
JP4379918B2 (ja) * 2004-11-29 2009-12-09 富士フイルム株式会社 撮影装置及び撮影方法
JP2007134755A (ja) * 2005-11-08 2007-05-31 Hitachi Ltd 動画像符号化装置及び画像記録再生装置
JP2007201570A (ja) * 2006-01-24 2007-08-09 Seiko Epson Corp 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2007259197A (ja) * 2006-03-24 2007-10-04 Matsushita Electric Ind Co Ltd 手ぶれ補正付き動画復号再生装置および方法
JP4793120B2 (ja) * 2006-06-21 2011-10-12 ソニー株式会社 手振れ補正方法、手振れ補正方法のプログラム、手振れ補正方法のプログラムを記録した記録媒体及び手振れ補正装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8124814B2 (en) 2006-06-14 2012-02-28 Solvay (Societe Anonyme) Crude glycerol-based product, process for its purification and its use in the manufacture of dichloropropanol
US8258350B2 (en) 2007-03-07 2012-09-04 Solvay (Societe Anonyme) Process for the manufacture of dichloropropanol
US8471074B2 (en) 2007-03-14 2013-06-25 Solvay (Societe Anonyme) Process for the manufacture of dichloropropanol
US8273923B2 (en) 2007-06-01 2012-09-25 Solvay (Societe Anonyme) Process for manufacturing a chlorohydrin
US8197665B2 (en) 2007-06-12 2012-06-12 Solvay (Societe Anonyme) Aqueous composition containing a salt, manufacturing process and use
US8378130B2 (en) 2007-06-12 2013-02-19 Solvay (Societe Anonyme) Product containing epichlorohydrin, its preparation and its use in various applications
US8399692B2 (en) 2007-06-12 2013-03-19 Solvay (Societe Anonyme) Epichlorohydrin, manufacturing process and use
US8715568B2 (en) 2007-10-02 2014-05-06 Solvay Sa Use of compositions containing silicon for improving the corrosion resistance of vessels
US8314205B2 (en) 2007-12-17 2012-11-20 Solvay (Societe Anonyme) Glycerol-based product, process for obtaining same and use thereof in the manufacturing of dichloropropanol
US8795536B2 (en) 2008-01-31 2014-08-05 Solvay (Societe Anonyme) Process for degrading organic substances in an aqueous composition
US8507643B2 (en) 2008-04-03 2013-08-13 Solvay S.A. Composition comprising glycerol, process for obtaining same and use thereof in the manufacture of dichloropropanol
US8536381B2 (en) 2008-09-12 2013-09-17 Solvay Sa Process for purifying hydrogen chloride
US9309209B2 (en) 2010-09-30 2016-04-12 Solvay Sa Derivative of epichlorohydrin of natural origin

Also Published As

Publication number Publication date
JP2011155492A (ja) 2011-08-11

Similar Documents

Publication Publication Date Title
US9398209B2 (en) Face tracking for controlling imaging parameters
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
US8861806B2 (en) Real-time face tracking with reference images
US7929042B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
JP4735742B2 (ja) 撮像装置、ストロボ画像生成方法、および、プログラム
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4678603B2 (ja) 撮像装置及び撮像方法
US7460695B2 (en) Real-time face tracking in a digital image acquisition device
US8581996B2 (en) Imaging device
KR101324268B1 (ko) 화상 식별 방법 및 촬상장치
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5159515B2 (ja) 画像処理装置およびその制御方法
KR100890949B1 (ko) 이미지 데이터 처리를 위한 전자 장치 및 전자 장치에서의방법
JP4429241B2 (ja) 画像処理装置及び方法
DK1984892T3 (en) Foreground / Background SEGMENTATION IN DIGITAL IMAGES
US8068639B2 (en) Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area
US8144207B2 (en) Computer program product for photographic subject tracking, photographic subject tracking device, and camera
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
US9542754B2 (en) Device and method for detecting moving objects
JP5397481B2 (ja) 画像選別装置及び画像選別方法
EP2273450A2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
JP2008271241A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP6140935B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US8131014B2 (en) Object-tracking computer program product, object-tracking device, and camera
US20160295111A1 (en) Image processing apparatus that combines images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150202

R150 Certificate of patent or registration of utility model

Ref document number: 5699432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250