JP4771896B2 - 動き検出装置及び方法並びに撮像装置 - Google Patents
動き検出装置及び方法並びに撮像装置 Download PDFInfo
- Publication number
- JP4771896B2 JP4771896B2 JP2006235168A JP2006235168A JP4771896B2 JP 4771896 B2 JP4771896 B2 JP 4771896B2 JP 2006235168 A JP2006235168 A JP 2006235168A JP 2006235168 A JP2006235168 A JP 2006235168A JP 4771896 B2 JP4771896 B2 JP 4771896B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- correlation value
- cumulative
- candidate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
次に、図1の動き検出回路32について詳細に説明する。図2は、動き検出回路32の内部ブロック図である。動き検出回路32は、代表点マッチング回路41と、領域動きベクトル算出回路42と、検出領域有効性判定回路43と、全体動きベクトル算出回路44と、を有して構成される。符号42〜44で表される部位の機能については後に示す図9及び図10のフローチャートの説明の中で行うとして、まず、代表点マッチング回路41について詳細に説明する。図3は、代表点マッチング回路41の内部ブロック図である。代表点マッチング回路41は、フィルタ51と、代表点メモリ52と、減算回路53と、累積加算回路54と、演算回路55と、を有して構成される。
「演算対象累積相関値群を形成する全ての累積相関値の平均値Vaveと、
演算対象累積相関値群を形成する全ての累積相関値の内の最小値(最小の累積相関値)と、
その最小値を示す画素の位置PAと、
位置PAの画素の近傍画素に対応する累積相関値(以下、近傍累積相関値と呼ぶことがある)」を算出する。
「候補最小相関値VBを示す画素の位置PBと位置PBの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)、
候補最小相関値VCを示す画素の位置PCと位置PCの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)、及び
候補最小相関値VDを示す画素の位置PDと位置PDの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)」を検出する(図8参照)。
位置PAと同様、位置PBの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iB+p,jB+q)にて表す。
位置PAと同様、位置PCの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iC+p,jC+q)にて表す。
位置PAと同様、位置PDの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iD+p,jD+q)にて表す。
ここで、位置PAと同様、p及びqは整数であり、−2≦p≦2且つ−2≦q≦2、が成立する。pが−2から2に増加するにつれて画素位置は位置PB(又はPC又はPD)を中心として上から下へと向かい、qが−2から2に増加するにつれて画素位置は位置PB(又はPC又はPD)を中心として左から右へと向かう。そして、画素位置(iB+p,jB+q)、(iC+p,jC+q)及び(iD+p,jD+q)に対応する累積相関値を、夫々、V(iB+p,jB+q)、V(iC+p,jC+q)及びV(iD+p,jD+q)にて表す。
「候補最小相関値VA、位置PA及び近傍累積相関値V(iA+p,jA+q)」を特定するデータを総称して「第1の候補データ」と呼び、
「候補最小相関値VB、位置PB及び近傍累積相関値V(iB+p,jB+q)」を特定するデータを総称して「第2の候補データ」と呼び、
「候補最小相関値VC、位置PC及び近傍累積相関値V(iC+p,jC+q)」を特定するデータを総称して「第3の候補データ」と呼び、
「候補最小相関値VD、位置PD及び近傍累積相関値V(iD+p,jD+q)」を特定するデータを総称して「第4の候補データ」と呼ぶ。
次に、図9及び図10のフローチャートを参照して、動き検出回路32の処理手順を説明する。また、図13に、動き検出回路32内部の各データの流れをも表した、動き検出回路32の詳細内部ブロック図を示す。図13に示す如く、検出領域有効性判定回路43は、コントラスト判定部61と、複数動き有無判定部62と、類似模様有無判定部63を含み、全体動きベクトル算出回路44は、全体動きベクトル有効性判定部70を含む。全体動きベクトル有効性判定部70は、更に、パン・チルト判定部71、領域動きベクトル類似性判定部72及び検出領域有効数算出部73を含む。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
・・・(1)
第1条件は、「全体動きベクトルMが垂直方向(上下方向)又は水平方向(左右方向)の同一方向に連続している回数が所定回数以上である」という条件である。
第2条件は、「上記同一方向に連続している全体動きベクトルMの大きさの積分値が撮像装置の画角の一定割合以上である」という条件である。
第3条件は、「全体動きベクトルの大きさが0.5画素以下である状態が連続して所定回数(例えば10回)以上継続した」という条件である
第4条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルMに対して方向が反対の全体動きベクトルMが所定回数(例えば10回)以上連続して得られた」という条件である。
本実施例では、累積相関値の最小値が複数存在する場合、或いは、累積相関値の最小値に近い累積相関値がある場合は、それらを複数の候補最小相関値として特定し、その複数の候補最小相関値の中から真のマッチング位置に対応する採用最小相関値Vminを近傍累積相関値に基づいて選択する。図19及び図20を用いて従来技術の問題を説明したが、この図19及び図20を用いて示した状況を例にとり、近傍累積相関値に基づいて選択を行うことの意義について考察する。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
真のマッチング位置を定めきれない場合、参照する近傍累積相関値のパターンを、図11(a)から同図(b)、(c)、(d)、(e)に示すパターンへと順次変更していく実施例を上述したが、何れかのパターンを用いた処理を省略するようにしても構わない。
真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにする実施例を上述したが(図11及び図12参照)、そのような場合における個数の増加は必須ではない。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
候補最小相関値(VA等)を示す位置(PA等)を中心とした、最大(5×5)画素の領域内の近傍累積相関値を参照する例を示したが(図11及び図12参照)、これは単なる一例であり、これを様々に変形することが可能である。例えば、採用最小相関値Vminを選択するために、候補最小相関値(VA等)を示す位置(PA等)を中心とした、最大(7×7)画素の領域内の近傍累積相関値を参照するようにしてもよい。
また、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、「候補最小相関値と近傍累積相関値」の平均値を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Vminを選択する例を図12を示して上述したが、選択用評価値として算出される平均値を、総和(合算値)又は加重平均値に変更しても良い。
VA_ave=k1・V(iA,jA−1)+k2・V(iA−1,jA)+
k3・V(iA,jA+1)+k4・V(iA+1,jA)+
k0・V(iA,jA)
、を算出すればよい。ここで、k0〜k4は、加重平均値を算出するための係数であり、例えば、k1=k2=k3=k4<k0、が成立する。
また、第1〜第4の候補データの夫々について、「候補最小相関値と近傍累積相関値」の平均値(又は総和又は加重平均値)を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Vminを選択する例を示したが、各選択用評価値を、候補最小相関値を除外して算出するようにしても構わない。
各画像(各分割露光画像など)に検出領域(E1〜E9)が9つある場合を例示したが、各画像に設けられる検出領域の個数は任意である。各画像に設ける検出領域の個数は、1つであってもよい。
加算式手ぶれ補正を行う場合に特に着目して上述の実施例を説明したが、動き検出回路32は、動画像撮影時にも有効に機能する。動画像撮影時には、図1の輝度調節回路31を介することなく、画像メモリ5からの画像データを動き検出回路32に直接入力するようにしてもよい。手ぶれ補正撮影モードにて動画像を撮影する場合、動き検出回路32は、所定のフレーム周期(例えば1/60秒)で順次入力される画像データに基づき、図9及び図10を参照して説明した動作に従って、隣接するフレーム画像(前回に得られた画像と今回に得られた画像)間の全体動きベクトルを検出する。そして、検出された全体動きベクトルに基づき、図1の手ぶれ補正回路30は、隣接するフレーム画像間の動きがキャンセルされるように、各フレーム画像に必要な画像処理を施す。
また、図1の撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図1の手ぶれ補正回路30の機能、それに含まれる動き検出回路32、座標変換回路33、画像加算回路34の各機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
尚、図3において、代表点マッチング回路41は、累積加算回路54によって算出された複数の累積相関値の中から候補最小相関値(候補相関値)を特定する候補相関値特定手段としての機能と、候補最小相関値が複数個ある場合、複数の候補最小相関値の内の1つを採用最小相関値(採用相関値)として選択する選択手段としての機能と、を実現する。上述の実施例では、候補相関値特定手段の機能は、図3の演算回路55によって実現される。
32 動き検出回路
41 代表点マッチング回路
42 領域動きベクトル算出回路
43 検出領域有効性判定回路
44 全体動きベクトル算出回路
Claims (6)
- 代表点マッチング法により互いに異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する動き検出装置において、
前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する候補相関値特定手段と、
前記候補相関値が複数ある場合、前記候補相関値ごとに、
前記候補相関値に対応する画素を基準とし、その基準の画素の近傍画素に対応する累積相関値を近傍累積相関値として特定して前記近傍累積相関値に応じた評価値を算出し、
前記候補相関値ごとに算出された前記評価値に基づいて複数の候補相関値の内の1つを採用相関値として選択する選択手段と、を備え、
前記採用相関値に対応する画素の画像上の位置情報に基づいて、前記異なる評価画像間の動きを検出する
ことを特徴とする動き検出装置。 - 各評価値は、
その評価値に対応する前記候補相関値と前記近傍累積相関値の、総和、平均値若しくは加重平均値、または、
その評価値に対応する前記近傍累積相関値の、総和、平均値若しくは加重平均値
に応じた値であり、
前記選択手段は、前記複数の候補相関値について算出された複数の評価値の内、最小の評価値に対応する候補相関値を前記採用相関値として選択する
ことを特徴とする請求項1に記載の動き検出装置。 - 前記選択手段は、
前記最小の評価値と他の評価値との差が全て所定の差分閾値以下の場合は、
前記近傍画素の位置及び個数の少なくとも一方を変化させてから改めて各評価値を算出し、改めて算出した各評価値に基づいて前記採用相関値を選択する
ことを特徴とする請求項2に記載の動き検出装置。 - 前記選択手段は、
前記最小の評価値と他の評価値との差が全て所定の差分閾値以下の場合は、
前記近傍画素の個数を増加させることにより各評価値の算出に参照する前記近傍累積相関値の個数を増加させてから改めて各評価値を算出し、改めて算出した各評価値に基づいて前記採用相関値を選択する
ことを特徴とする請求項2に記載の動き検出装置。 - 撮影によって得られた画像データを順次出力する撮像手段と、
互いに異なる前記画像データによって表される、互いに異なる評価画像間の動きを検出する請求項1〜請求項4の何れかに記載の動き検出装置と、備えた
ことを特徴とする撮像装置。 - 代表点マッチング法により互いに異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する撮像装置によって実行される動き検出方法において、
前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する候補相関値特定ステップと、
前記候補相関値が複数ある場合、前記候補相関値ごとに、
前記候補相関値を基準とし、その基準の画素の近傍画素に対応する累積相関値を近傍累積相関値として特定して前記近傍累積相関値に応じた評価値を算出し、
前記候補相関値ごとに算出された前記評価値に基づいて複数の候補相関値の内の1つを採用相関値として選択する選択ステップと、を有し、
前記採用相関値に対応する画素の画像上の位置情報に基づいて、前記異なる評価画像間の動きを検出する
ことを特徴とする動き検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006235168A JP4771896B2 (ja) | 2006-08-31 | 2006-08-31 | 動き検出装置及び方法並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006235168A JP4771896B2 (ja) | 2006-08-31 | 2006-08-31 | 動き検出装置及び方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008060892A JP2008060892A (ja) | 2008-03-13 |
JP4771896B2 true JP4771896B2 (ja) | 2011-09-14 |
Family
ID=39243140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006235168A Expired - Fee Related JP4771896B2 (ja) | 2006-08-31 | 2006-08-31 | 動き検出装置及び方法並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4771896B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5230398B2 (ja) * | 2008-12-19 | 2013-07-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6420888B2 (ja) * | 2017-11-30 | 2018-11-07 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1079943A (ja) * | 1996-09-04 | 1998-03-24 | Sharp Corp | 動きベクトル検出装置 |
JP4418632B2 (ja) * | 2003-01-15 | 2010-02-17 | キヤノン株式会社 | 撮影装置、合成画像生成方法およびプログラム |
JP4525064B2 (ja) * | 2003-12-11 | 2010-08-18 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
JP4622264B2 (ja) * | 2004-03-01 | 2011-02-02 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
-
2006
- 2006-08-31 JP JP2006235168A patent/JP4771896B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008060892A (ja) | 2008-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4762089B2 (ja) | 画像合成装置及び方法並びに撮像装置 | |
JP4806329B2 (ja) | 撮像装置及び撮像方法 | |
US8593533B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
JP4730412B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
US7970239B2 (en) | Hand jitter reduction compensating for rotational motion | |
JP5341010B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP4896852B2 (ja) | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 | |
JP4420906B2 (ja) | 撮像装置 | |
JP2004343483A (ja) | 手振れ補正装置および方法、手振れ検出装置 | |
JP2009194700A (ja) | 画像処理装置及び画像処理プログラム | |
JP2008236289A (ja) | 撮像装置 | |
JP5499853B2 (ja) | 電子カメラ | |
JP2008271529A (ja) | 撮像装置 | |
JP2006319831A (ja) | 画像処理装置および撮像装置 | |
WO2012147337A1 (ja) | フリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラム | |
JP4771896B2 (ja) | 動き検出装置及び方法並びに撮像装置 | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2010134309A (ja) | オートフォーカス装置、オートフォーカス方法及び撮像装置 | |
JP2011205719A (ja) | 撮像装置 | |
JP2005244440A (ja) | 撮像装置、撮像方法 | |
JP5353499B2 (ja) | 撮像装置 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2006060318A (ja) | 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体 | |
JP5307572B2 (ja) | 撮像システム、映像信号処理プログラム、および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |