JP3534551B2 - 動き検出装置 - Google Patents
動き検出装置Info
- Publication number
- JP3534551B2 JP3534551B2 JP24964096A JP24964096A JP3534551B2 JP 3534551 B2 JP3534551 B2 JP 3534551B2 JP 24964096 A JP24964096 A JP 24964096A JP 24964096 A JP24964096 A JP 24964096A JP 3534551 B2 JP3534551 B2 JP 3534551B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- feature point
- search range
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラなど
の撮像装置を用いて連続的に画像を取り込んで結像面上
の被写体画像の動き量を検出する動き検出装置に関す
る。検出した動き量は、ビデオカメラの手ぶれ補正や取
り込んだ画像の合成に用いられる。
の撮像装置を用いて連続的に画像を取り込んで結像面上
の被写体画像の動き量を検出する動き検出装置に関す
る。検出した動き量は、ビデオカメラの手ぶれ補正や取
り込んだ画像の合成に用いられる。
【０００２】
【従来の技術】従来、連続して取り込んだ画像より動き
量を観測する手段として代表点方式が用いられている。
この方式は主にビデオカメラの手ぶれなどの動きの補償
に用いられているものである。図１０に代表点方式の概
念図を示す。これは、連続して取り込んだ画像に対して
前フレームの画像の固定された位置に代表点を設定し、
さらに現フレームの画像に対し、２次元方向にずらしな
がら対応する画素で相関演算及び累積加算演算を行い、
演算値が最も高くなる量を動き量として検出するもので
ある。
量を観測する手段として代表点方式が用いられている。
この方式は主にビデオカメラの手ぶれなどの動きの補償
に用いられているものである。図１０に代表点方式の概
念図を示す。これは、連続して取り込んだ画像に対して
前フレームの画像の固定された位置に代表点を設定し、
さらに現フレームの画像に対し、２次元方向にずらしな
がら対応する画素で相関演算及び累積加算演算を行い、
演算値が最も高くなる量を動き量として検出するもので
ある。
【０００３】更に、特開平６−８６１４９号公報に示さ
れるように、設定した代表点でラプラシアンフイルタな
どを施し、輝度勾配を求め、その値を使って演算するこ
とにより精度が高くなるよう工夫したものもある。
れるように、設定した代表点でラプラシアンフイルタな
どを施し、輝度勾配を求め、その値を使って演算するこ
とにより精度が高くなるよう工夫したものもある。
【０００４】また、画像の重複部分に対して相関演算を
施して、合成する位置をきめるブロックマッチング方式
を用いても動き量を検出することは可能である。図１１
にブロックマッチング方式の概念図を示す。これは、前
フレームの画像の参照すべき特定領域を設定し、現フレ
ームの画像に対し、２次元方向にずらしながら相関演算
を行い、代表点方式と同様にして求めるものである。し
かしながら、代表点方式が数個の点で相関を求め累積加
算するのでよいのに対し、ブロックマッチング方式で
は、特定領域すべての累積加算が必要となり、より高速
な処理が必要となる。
施して、合成する位置をきめるブロックマッチング方式
を用いても動き量を検出することは可能である。図１１
にブロックマッチング方式の概念図を示す。これは、前
フレームの画像の参照すべき特定領域を設定し、現フレ
ームの画像に対し、２次元方向にずらしながら相関演算
を行い、代表点方式と同様にして求めるものである。し
かしながら、代表点方式が数個の点で相関を求め累積加
算するのでよいのに対し、ブロックマッチング方式で
は、特定領域すべての累積加算が必要となり、より高速
な処理が必要となる。
【０００５】
【発明が解決しようとする課題】しかし、上記の代表点
方式では、ある代表点に対しては必ずある一定の輝度勾
配を有する必要がある。例えば文書画像の様に、白黒の
データを対象とする場合では、すべての代表点で輝度勾
配が低くなり、動き量がうまく検出されないという問題
がある。
方式では、ある代表点に対しては必ずある一定の輝度勾
配を有する必要がある。例えば文書画像の様に、白黒の
データを対象とする場合では、すべての代表点で輝度勾
配が低くなり、動き量がうまく検出されないという問題
がある。
【０００６】すなわち、対象の画像において、輝度勾配
が一様に分布している場合には有効であるが、そうでな
い場合、例えば背景の多い文書などは、輝度勾配の少な
い箇所が背景になってしまい、動き量の検出が難しくな
る。
が一様に分布している場合には有効であるが、そうでな
い場合、例えば背景の多い文書などは、輝度勾配の少な
い箇所が背景になってしまい、動き量の検出が難しくな
る。
【０００７】一方、ブロックマッチング方式では、計算
量が多いため、実時間で動き量を検出するのが難しいと
いう問題がある。
量が多いため、実時間で動き量を検出するのが難しいと
いう問題がある。
【０００８】本発明の目的は、対象の画像において、輝
度勾配が一様でないような、例えば文書画像に対して、
精度良く、高速に動き量を求めることのできる動き検出
装置を提供するものである。
度勾配が一様でないような、例えば文書画像に対して、
精度良く、高速に動き量を求めることのできる動き検出
装置を提供するものである。
【０００９】
【課題を解決するための手段】請求項１に記載の動き検
出装置は、時系列に画像が入力されて各画像を記憶して
動き量を検出する動き検出装置であって、現フレームの
画像から同一の座標上にある複数の領域ごとに輝度変化
の高い箇所の特徴点を１つずつ抽出する特徴点抽出手段
と、次フレームの画像の上記各領域を相関演算のための
探索範囲として決定する探索範囲決定手段と、上記各探
索範囲ごとに、上記特徴点と上記探索範囲内の各画素と
の相関演算を行う相関演算手段と、を備えたことを特徴
とする。
出装置は、時系列に画像が入力されて各画像を記憶して
動き量を検出する動き検出装置であって、現フレームの
画像から同一の座標上にある複数の領域ごとに輝度変化
の高い箇所の特徴点を１つずつ抽出する特徴点抽出手段
と、次フレームの画像の上記各領域を相関演算のための
探索範囲として決定する探索範囲決定手段と、上記各探
索範囲ごとに、上記特徴点と上記探索範囲内の各画素と
の相関演算を行う相関演算手段と、を備えたことを特徴
とする。
【００１０】請求項２に記載の動き検出装置は、請求項
１に記載の動き検出装置において、時系列に画像を入力
するための撮像手段をさらに備えたことを特徴とする。
１に記載の動き検出装置において、時系列に画像を入力
するための撮像手段をさらに備えたことを特徴とする。
【００１１】請求項３に記載の動き検出装置は、時系列
に画像が入力されて各画像を記憶して動き量を検出する
動き検出装置であって、現フレームの画像から同一の座
標上にある複数の領域ごとに輝度変化の高い箇所の特徴
点を１つずつ抽出する特徴点抽出手段と、前フレームの
画像と現フレームの画像から求めた動き量に基づいて相
関演算のための探索範囲を決定する探索範囲決定手段
と、上記各探索範囲ごとに、上記特徴点と上記探索範囲
内の各画素との相関演算を行う相関演算手段と、を備え
たことを特徴とする。
に画像が入力されて各画像を記憶して動き量を検出する
動き検出装置であって、現フレームの画像から同一の座
標上にある複数の領域ごとに輝度変化の高い箇所の特徴
点を１つずつ抽出する特徴点抽出手段と、前フレームの
画像と現フレームの画像から求めた動き量に基づいて相
関演算のための探索範囲を決定する探索範囲決定手段
と、上記各探索範囲ごとに、上記特徴点と上記探索範囲
内の各画素との相関演算を行う相関演算手段と、を備え
たことを特徴とする。
【００１２】請求項４に記載の動き検出装置は、請求項
３に記載の動き検出装置において、時系列に画像を入力
するための撮像手段をさらに備えたことを特徴とする。
３に記載の動き検出装置において、時系列に画像を入力
するための撮像手段をさらに備えたことを特徴とする。
【００１３】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１は本実施の形態を示す
ブロック図で、１は画像を撮像する光学系やＣＣＤなど
で構成される撮像部、２は撮像部１から転送された画像
データを格納するメモリ、３は画素演算に用いる点を抽
出する特徴点抽出部、４は相関演算の探索範囲を決定す
る探索範囲決定部、５は画素間の相関をとり、動き量を
出力する相関演算部、６は上記各部を制御する制御部で
ある。
て図面を参照して説明する。図１は本実施の形態を示す
ブロック図で、１は画像を撮像する光学系やＣＣＤなど
で構成される撮像部、２は撮像部１から転送された画像
データを格納するメモリ、３は画素演算に用いる点を抽
出する特徴点抽出部、４は相関演算の探索範囲を決定す
る探索範囲決定部、５は画素間の相関をとり、動き量を
出力する相関演算部、６は上記各部を制御する制御部で
ある。
【００１４】ここで、撮像部１を、実際に、手で動かし
て白地に黒の文字が書かれた文書画像を撮像する場合の
途中を示す図２を用いて説明する。図２は一定の時間間
隔で連続撮像された画像の途中を示している。
て白地に黒の文字が書かれた文書画像を撮像する場合の
途中を示す図２を用いて説明する。図２は一定の時間間
隔で連続撮像された画像の途中を示している。
【００１５】ここでＴ１，Ｔ２，Ｔ３，．．．は画像の
取り込み開始時間で、取り込まれた画像をＦ１，Ｆ２，
Ｆ３，．．．とする。Ｔ１Ｔ２間で、撮像部１から画像
Ｆ１が取り込まれ、メモリ２に格納され、同時に特徴点
抽出部３にも送られ、画像Ｆ１の特徴点が抽出される。
取り込み開始時間で、取り込まれた画像をＦ１，Ｆ２，
Ｆ３，．．．とする。Ｔ１Ｔ２間で、撮像部１から画像
Ｆ１が取り込まれ、メモリ２に格納され、同時に特徴点
抽出部３にも送られ、画像Ｆ１の特徴点が抽出される。
【００１６】次に、Ｔ２Ｔ３間で、画像Ｆ２が取り込ま
れ、メモリ２に格納され、同時に特徴点抽出部３に送ら
れ、画像Ｆ２のすべての特徴点が抽出される。また、Ｔ
２Ｔ３間では前フレームのＴ１Ｔ２間で抽出された画像
Ｆ１のすべての特徴点と、それらの特徴点ごとに対応す
る画像Ｆ２内の特定位置の近傍すべての画素と相関演算
部５で相関演算を行う。なお、画像Ｆ２内の特定位置
は、Ｔ１Ｔ２間の前フレームで求めた動き量で補正され
ている。以下、同様にして、現フレームの特徴点を参照
画像とし、次フレームの特定位置近傍の領域を探索画像
としてＴ３以降もＴ２Ｔ３間と同様な処理が繰り返され
る。
れ、メモリ２に格納され、同時に特徴点抽出部３に送ら
れ、画像Ｆ２のすべての特徴点が抽出される。また、Ｔ
２Ｔ３間では前フレームのＴ１Ｔ２間で抽出された画像
Ｆ１のすべての特徴点と、それらの特徴点ごとに対応す
る画像Ｆ２内の特定位置の近傍すべての画素と相関演算
部５で相関演算を行う。なお、画像Ｆ２内の特定位置
は、Ｔ１Ｔ２間の前フレームで求めた動き量で補正され
ている。以下、同様にして、現フレームの特徴点を参照
画像とし、次フレームの特定位置近傍の領域を探索画像
としてＴ３以降もＴ２Ｔ３間と同様な処理が繰り返され
る。
【００１７】次に、特徴点抽出動作について説明する。
図３に、特徴点抽出部３の構成を示す。７は隣接画素を
同時に読み出すためのラインメモリ、８は輝度勾配を求
めるための加減算器、９は輝度の絶対値を得るための絶
対値演算器、１０は輝度勾配が閾値を超えるかどうかを
調べる比較器、１１は求めた特徴点の輝度値とその座標
値を格納する特徴点情報格納レジスタ、１２は探索範囲
を制御するための探索範囲制御部である。
図３に、特徴点抽出部３の構成を示す。７は隣接画素を
同時に読み出すためのラインメモリ、８は輝度勾配を求
めるための加減算器、９は輝度の絶対値を得るための絶
対値演算器、１０は輝度勾配が閾値を超えるかどうかを
調べる比較器、１１は求めた特徴点の輝度値とその座標
値を格納する特徴点情報格納レジスタ、１２は探索範囲
を制御するための探索範囲制御部である。
【００１８】次に、輝度勾配の高い特徴点を選択する利
点について図４を用いて説明する。輝度勾配が高いと
は、隣接する画素の差が高いという意味で、文書画像に
おいては文字のエッジ部分が対応する。また相関演算と
して差の絶対値を用いるものとする。
点について図４を用いて説明する。輝度勾配が高いと
は、隣接する画素の差が高いという意味で、文書画像に
おいては文字のエッジ部分が対応する。また相関演算と
して差の絶対値を用いるものとする。
【００１９】仮に、輝度勾配の少ない箇所、例えば背景
部分を特徴点とすると、隣接する画素の輝度値がほぼ等
しいため、ある範囲での減算結果に対し、差が生じな
い。一方、輝度勾配の高い箇所を特徴点とすると、隣接
する画素の値が異なるため、ある範囲での減算結果に対
し、差が生ずるのである。具体的には、輝度変化の少な
い図４の特徴点１を採用し、探索範囲１の間で減算を行
うとすると、得られる結果は左下のグラフの様になり、
ほとんどの箇所で最小の値をとってしまうため、動き量
の決定は困難である。一方、図４の特徴点２を採用し、
探索範囲２の間で減算を行うとすると、得られる結果は
右下のグラフの様になり、ほぼ２点程度にしぼられる。
これは、さらに、他の特徴点をとり、その探索範囲との
減算結果を探索範囲の各画素ごとに累積加算することに
よって、動き量をしぼり込むことができることを示して
いる。
部分を特徴点とすると、隣接する画素の輝度値がほぼ等
しいため、ある範囲での減算結果に対し、差が生じな
い。一方、輝度勾配の高い箇所を特徴点とすると、隣接
する画素の値が異なるため、ある範囲での減算結果に対
し、差が生ずるのである。具体的には、輝度変化の少な
い図４の特徴点１を採用し、探索範囲１の間で減算を行
うとすると、得られる結果は左下のグラフの様になり、
ほとんどの箇所で最小の値をとってしまうため、動き量
の決定は困難である。一方、図４の特徴点２を採用し、
探索範囲２の間で減算を行うとすると、得られる結果は
右下のグラフの様になり、ほぼ２点程度にしぼられる。
これは、さらに、他の特徴点をとり、その探索範囲との
減算結果を探索範囲の各画素ごとに累積加算することに
よって、動き量をしぼり込むことができることを示して
いる。
【００２０】再び、図３に戻って特徴点抽出動作につい
て説明する。本発明の特徴点抽出は、輝度勾配がある閾
値を越えるかどうかを、つまり、隣接する画素の絶対値
差が、ある閾値を越えるかどうかで判断する。そこであ
る閾値を越える場合、その特徴点の輝度値と座標値を探
索範囲決定部４に転送する。特徴点を検出する際に、ま
ず撮像部１からメモリ２にデータが転送されるのと同期
してラインメモリ７に一画素毎のデータが取り込まれ
る。ラインメモリ７は１ライン分のバッファを有してお
り、ある画素とその上下左右の画素が同時に加減算器８
から参照すべく構成する。そして、加減算器８では隣接
する画素値の差を求め、さらに絶対値演算器９で絶対値
を求め比較器１０に転送する。比較器１０では閾値より
高いかどうかの判断を行い、該当する画素の輝度値、座
標値、及びその特徴点を抽出した順序を示す特徴点番号
を特徴点情報格納レジスタ１１に蓄える。
て説明する。本発明の特徴点抽出は、輝度勾配がある閾
値を越えるかどうかを、つまり、隣接する画素の絶対値
差が、ある閾値を越えるかどうかで判断する。そこであ
る閾値を越える場合、その特徴点の輝度値と座標値を探
索範囲決定部４に転送する。特徴点を検出する際に、ま
ず撮像部１からメモリ２にデータが転送されるのと同期
してラインメモリ７に一画素毎のデータが取り込まれ
る。ラインメモリ７は１ライン分のバッファを有してお
り、ある画素とその上下左右の画素が同時に加減算器８
から参照すべく構成する。そして、加減算器８では隣接
する画素値の差を求め、さらに絶対値演算器９で絶対値
を求め比較器１０に転送する。比較器１０では閾値より
高いかどうかの判断を行い、該当する画素の輝度値、座
標値、及びその特徴点を抽出した順序を示す特徴点番号
を特徴点情報格納レジスタ１１に蓄える。
【００２１】また、探索範囲制御部１２は、特徴点情報
格納レジスタ１１に格納されている座標より探索領域内
では新たな特徴点を格納しないことを実現するためのも
のである。これは、探索側の画像に対して参照側の特徴
点が唯一に決定されるように制御することにより実現さ
れ、具体的な制御は、特徴点情報格納レジスタ１１に格
納された特徴点の座標値と求めようとしている特徴点の
座標値とのｘ，ｙ方向の距離を求め、その距離が一定値
以下の場合には特徴点にしないようにすることにより実
現できる。この様に構成すると、特徴点の抽出は画像取
り込みと並行して実行することが可能となる。
格納レジスタ１１に格納されている座標より探索領域内
では新たな特徴点を格納しないことを実現するためのも
のである。これは、探索側の画像に対して参照側の特徴
点が唯一に決定されるように制御することにより実現さ
れ、具体的な制御は、特徴点情報格納レジスタ１１に格
納された特徴点の座標値と求めようとしている特徴点の
座標値とのｘ，ｙ方向の距離を求め、その距離が一定値
以下の場合には特徴点にしないようにすることにより実
現できる。この様に構成すると、特徴点の抽出は画像取
り込みと並行して実行することが可能となる。
【００２２】次に、相関演算のための探索範囲を決定し
て相関演算を行う動作について、図５，図６を用いて説
明する。図５は特徴点抽出部３によって求めた特徴点お
よび相関演算の概念を示したものである。左上の画像は
時刻Ｔ１に撮像された画像Ｆ１、右上の画像は時刻Ｔ２
に撮像された画像Ｆ２である。
て相関演算を行う動作について、図５，図６を用いて説
明する。図５は特徴点抽出部３によって求めた特徴点お
よび相関演算の概念を示したものである。左上の画像は
時刻Ｔ１に撮像された画像Ｆ１、右上の画像は時刻Ｔ２
に撮像された画像Ｆ２である。
【００２３】図６は探索範囲決定部４を示すブロック図
である。１３は特徴点抽出部３より転送された特徴点の
座標を蓄える座標値用レジスタ、１４は相関演算部５で
求められた動き量を格納する前フレーム動き量格納部、
１５は前フレームの動き量から補正した座標値を生成す
るアドレス生成器、１６はアドレス生成器１５と座標値
用レジスタ１３の値から探索範囲の右上を原点とするア
ドレスおよび特徴点番号に変換するアドレス変換器であ
る。
である。１３は特徴点抽出部３より転送された特徴点の
座標を蓄える座標値用レジスタ、１４は相関演算部５で
求められた動き量を格納する前フレーム動き量格納部、
１５は前フレームの動き量から補正した座標値を生成す
るアドレス生成器、１６はアドレス生成器１５と座標値
用レジスタ１３の値から探索範囲の右上を原点とするア
ドレスおよび特徴点番号に変換するアドレス変換器であ
る。
【００２４】まず、Ｔ１Ｔ２間で、画像Ｆ１のすべての
特徴点を求め、Ｔ２で座標値用レジスタ１３に格納され
る。次に、Ｔ２Ｔ３間で画像Ｆ２が撮像部１からメモリ
２に送られ画像Ｆ２の特徴点を求めるのと同時に、アド
レス生成器１５で前フレームで求めた動き量を補正した
値がアドレス変換器１６に送られる。なお、撮影の開始
時点では、動き量の初期値は０が設定される。アドレス
変換器１６は、例えば特徴点の個数分の差分回路および
比較回路を有することで、どの特徴点か、および探索範
囲の中で相対位置はどこかを求め、相関演算部５に該当
するアドレスの輝度値と同期して送りだす。再び、図５
を用いて説明すると、特徴点抽出部３で「像」のにんべ
んの中程を特徴点であると決定し、座標値用レジスタ１
３に与えられる。アドレス生成器１５は動き量分を補正
したアドレスに変換する。これは図５の画像Ｆ２′を生
成することである。
特徴点を求め、Ｔ２で座標値用レジスタ１３に格納され
る。次に、Ｔ２Ｔ３間で画像Ｆ２が撮像部１からメモリ
２に送られ画像Ｆ２の特徴点を求めるのと同時に、アド
レス生成器１５で前フレームで求めた動き量を補正した
値がアドレス変換器１６に送られる。なお、撮影の開始
時点では、動き量の初期値は０が設定される。アドレス
変換器１６は、例えば特徴点の個数分の差分回路および
比較回路を有することで、どの特徴点か、および探索範
囲の中で相対位置はどこかを求め、相関演算部５に該当
するアドレスの輝度値と同期して送りだす。再び、図５
を用いて説明すると、特徴点抽出部３で「像」のにんべ
んの中程を特徴点であると決定し、座標値用レジスタ１
３に与えられる。アドレス生成器１５は動き量分を補正
したアドレスに変換する。これは図５の画像Ｆ２′を生
成することである。
【００２５】このようにすると、現フレームの動き量が
前フレームの動き量と等しいならば、特徴点と同じアド
レスが対応する点となるはずであり、前フレームの動き
量で補正した領域近傍を探索して相関演算を行うのがよ
い。そこでアドレス変換器１６では、特徴点の座標値と
同じ座標値を中心とした、Ｍ×Ｎ画素の画像を生成す
る。これは、図５右下の画像に対応し、画像Ｆ１の特徴
点の輝度値と、撮像部より取り込まれた画像Ｆ２′のＭ
×Ｎ画素の輝度値とを相関演算した結果が出力される。
同一フレームでの他の特徴点についても、同様にＭ×Ｎ
画素の画像を生成して相関演算を行う。
前フレームの動き量と等しいならば、特徴点と同じアド
レスが対応する点となるはずであり、前フレームの動き
量で補正した領域近傍を探索して相関演算を行うのがよ
い。そこでアドレス変換器１６では、特徴点の座標値と
同じ座標値を中心とした、Ｍ×Ｎ画素の画像を生成す
る。これは、図５右下の画像に対応し、画像Ｆ１の特徴
点の輝度値と、撮像部より取り込まれた画像Ｆ２′のＭ
×Ｎ画素の輝度値とを相関演算した結果が出力される。
同一フレームでの他の特徴点についても、同様にＭ×Ｎ
画素の画像を生成して相関演算を行う。
【００２６】さらに、相関演算部５について以下に説明
を行う。例として相関演算部５は、下式
を行う。例として相関演算部５は、下式
【００２７】
【数１】
【００２８】
【数２】
【００２９】を満たす（ｘ，ｙ）を求めるものとする。
ここで、ｋは特徴点の個数、Ｍは横方向の動き量の探索
幅、Ｎは縦方向の動き量の探索幅、Ｓ（ｘ，ｙ）（ｉ）
は動き量が（ｘ，ｙ）であるとした時のｉ番目の特徴点
に対応する探索側の画素の輝度値、Ｒ（ｉ）は特徴点ｉ
の輝度値である。
ここで、ｋは特徴点の個数、Ｍは横方向の動き量の探索
幅、Ｎは縦方向の動き量の探索幅、Ｓ（ｘ，ｙ）（ｉ）
は動き量が（ｘ，ｙ）であるとした時のｉ番目の特徴点
に対応する探索側の画素の輝度値、Ｒ（ｉ）は特徴点ｉ
の輝度値である。
【００３０】また、動き量が（ｘ，ｙ）である場合に、
画像Ｆ１の特徴点座標（ｘR，ｙR）と画像Ｆ２′の特徴
点に対応する画素の座標（ｘT，ｙT）は ｘT＝ｘR＋ｘ ｙT＝ｙR＋ｙ なる関係がある。
画像Ｆ１の特徴点座標（ｘR，ｙR）と画像Ｆ２′の特徴
点に対応する画素の座標（ｘT，ｙT）は ｘT＝ｘR＋ｘ ｙT＝ｙR＋ｙ なる関係がある。
【００３１】次に、動き検出の動作について説明する。
図７は相関演算部５のブロック図である。１７は特徴点
抽出部３で求められた特徴点の輝度値を格納する特徴点
用レジスタ、１８は画素の相関を求める画素演算部、１
９は累積値を格納する累積メモリ、２０は最小値を求め
る最小値検出部である。
図７は相関演算部５のブロック図である。１７は特徴点
抽出部３で求められた特徴点の輝度値を格納する特徴点
用レジスタ、１８は画素の相関を求める画素演算部、１
９は累積値を格納する累積メモリ、２０は最小値を求め
る最小値検出部である。
【００３２】探索範囲決定部４で生成された特徴点番号
によって、特徴点用レジスタ１７の対応する特徴点が選
択され画素演算部１８に送られる。同時に範囲内座標は
累積メモリ１９の該当箇所を選択する。さらに輝度値が
与えられ、差和演算により相関値が求められ累積メモリ
１９に返す。１フレームの処理が終了したら最小値検出
部２０が累積メモリ１９の探索側の画素Ｍ×Ｎの中から
相関値の最も少ない部分を選択し動き量として出力す
る。以上の様な構成により、実時間での高精度な動き検
出が可能となる。
によって、特徴点用レジスタ１７の対応する特徴点が選
択され画素演算部１８に送られる。同時に範囲内座標は
累積メモリ１９の該当箇所を選択する。さらに輝度値が
与えられ、差和演算により相関値が求められ累積メモリ
１９に返す。１フレームの処理が終了したら最小値検出
部２０が累積メモリ１９の探索側の画素Ｍ×Ｎの中から
相関値の最も少ない部分を選択し動き量として出力す
る。以上の様な構成により、実時間での高精度な動き検
出が可能となる。
【００３３】本発明では任意の探索範囲を設定すること
が可能であるため、例えば探索範囲決定部４で出力され
る範囲内座標値の生成箇所を少し変更して、図８に示す
ように、参照側の矩形領域Ｌ１，Ｌ２をＸ座標が一致す
るように設定し、矩形領域Ｌ１，Ｌ２それぞれの特徴点
の抽出及び探索範囲を決定し、各領域ごとに相関演算を
行い、２つの動き量を検出することで角度を求めること
ができる。具体的には、図８に示すように、矩形領域Ｌ
１，Ｌ２から特徴量を求め、さらに探索側の画像と相関
演算を行い、矩形領域Ｌ１，Ｌ２に一致する矩形領域Ｒ
１，Ｒ２を求める次に、矩形領域Ｒ１，Ｒ２の相対位置
Ｄ１を求め、矩形領域Ｌ１，Ｌ２の中心座標間の距離Ｄ
２を求める。Ｄ１とＤ２から補正すべき角度は三角関数
を用いて検出される。
が可能であるため、例えば探索範囲決定部４で出力され
る範囲内座標値の生成箇所を少し変更して、図８に示す
ように、参照側の矩形領域Ｌ１，Ｌ２をＸ座標が一致す
るように設定し、矩形領域Ｌ１，Ｌ２それぞれの特徴点
の抽出及び探索範囲を決定し、各領域ごとに相関演算を
行い、２つの動き量を検出することで角度を求めること
ができる。具体的には、図８に示すように、矩形領域Ｌ
１，Ｌ２から特徴量を求め、さらに探索側の画像と相関
演算を行い、矩形領域Ｌ１，Ｌ２に一致する矩形領域Ｒ
１，Ｒ２を求める次に、矩形領域Ｒ１，Ｒ２の相対位置
Ｄ１を求め、矩形領域Ｌ１，Ｌ２の中心座標間の距離Ｄ
２を求める。Ｄ１とＤ２から補正すべき角度は三角関数
を用いて検出される。
【００３４】次に、本発明を用いた場合の演算時間を、
従来のブロックマッチング方式と比較して説明を行う。
従来のブロックマッチング方式と比較して説明を行う。
【００３５】特徴点方式では、特徴点の検出に必要な時
間は、参照する画像の面積に比例する。また、相関演算
に必要な時間は、探索範囲の面積と特徴点の個数に比例
する。ここで参照する画像の面積を３２０×２４０画
素、抽出する特徴点の個数を２５箇所、探索範囲を２０
画素×２０画素とすると、演算に要する時間は７８，０
００×α＋１０，０００×βとなる。ここで、αは輝度
勾配を求める際の一画素単位の演算量、βは画素の相関
を求める一画素単位の演算量である。
間は、参照する画像の面積に比例する。また、相関演算
に必要な時間は、探索範囲の面積と特徴点の個数に比例
する。ここで参照する画像の面積を３２０×２４０画
素、抽出する特徴点の個数を２５箇所、探索範囲を２０
画素×２０画素とすると、演算に要する時間は７８，０
００×α＋１０，０００×βとなる。ここで、αは輝度
勾配を求める際の一画素単位の演算量、βは画素の相関
を求める一画素単位の演算量である。
【００３６】一方、ブロックマッチング方式を用いた場
合は、２０×２０×３２０×２４０β＝３，０７２０，
０００βとなる。仮にαとβがほぼ同じ程度の演算量で
あると仮定すると、特徴点方式の演算に要する時間は８
８，０００βとなりブロックマッチング方式は特徴点方
式の３００倍以上の演算量が必要となる。
合は、２０×２０×３２０×２４０β＝３，０７２０，
０００βとなる。仮にαとβがほぼ同じ程度の演算量で
あると仮定すると、特徴点方式の演算に要する時間は８
８，０００βとなりブロックマッチング方式は特徴点方
式の３００倍以上の演算量が必要となる。
【００３７】また、ブロックマッチング方式でも輝度変
化を観測して参照面積を２５程度に抑えれば演算量は同
等となるが、図９に示すように、探索側に同じ文字がほ
ぼ隣接している場合などではマッチングが困難になり、
動き量が決定できない場合があり、結果が著しく劣って
しまう。
化を観測して参照面積を２５程度に抑えれば演算量は同
等となるが、図９に示すように、探索側に同じ文字がほ
ぼ隣接している場合などではマッチングが困難になり、
動き量が決定できない場合があり、結果が著しく劣って
しまう。
【００３８】
【発明の効果】以上の説明により、本発明によれば、輝
度勾配が画像面に一様に存在していない場合でも、任意
の箇所を特徴点として相関演算することができるため、
文書などの背景が真っ白なものでも精度良く動き量の検
出が可能であり、代表点方式より精度的に優れている。
度勾配が画像面に一様に存在していない場合でも、任意
の箇所を特徴点として相関演算することができるため、
文書などの背景が真っ白なものでも精度良く動き量の検
出が可能であり、代表点方式より精度的に優れている。
【００３９】また、ブロックマッチング方式に比べると
演算量が２桁程度少なくなり、フレームレートでのリア
ルタイム処理も可能である。
演算量が２桁程度少なくなり、フレームレートでのリア
ルタイム処理も可能である。
【図１】本発明の動き検出装置のブロック図である。
【図２】連続撮像した画像を示す図である。
【図３】特徴点抽出部のブロック図である。
【図４】輝度勾配の高い箇所を選択する利点を説明する
ための図である。
ための図である。
【図５】相関演算のための探索範囲を決定する様子を説
明するための図である。
明するための図である。
【図６】探索範囲決定部のブロック図である。
【図７】相関演算部のブロック図である。
【図８】角度変化を検出する様子を説明するための図で
ある。
ある。
【図９】ブロックマッチング方式の問題点を説明するた
めの図である。
めの図である。
【図１０】従来の代表点マッチング方式の概念図であ
る。
る。
【図１１】従来のブロックマッチング方式の概念図であ
る。
る。
１ 撮像部
２ メモリ
３ 特徴点抽出部
４ 探索範囲決定部
５ 相関演算部
６ 制御部
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平５−252501（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/232
Claims (4)
- 【請求項１】時系列に画像が入力されて各画像を記憶し
て動き量を検出する動き検出装置であって、 現フレームの画像から同一の座標上にある複数の領域ご
とに輝度変化の高い箇所の特徴点を１つずつ抽出する特
徴点抽出手段と、 次フレームの画像の上記各領域を相関演算のための探索
範囲として決定する探索範囲決定手段と、 上記各探索範囲ごとに、上記特徴点と上記探索範囲内の
各画素との相関演算を行う相関演算手段と、を備えたこ
とを特徴とする動き検出装置。 - 【請求項２】時系列に画像を入力するための撮像手段を
さらに備えたことを特徴とする請求項１記載の動き検出
装置。 - 【請求項３】時系列に画像が入力されて各画像を記憶し
て動き量を検出する動き検出装置であって、現フレーム
の画像から同一の座標上にある複数の領域ごとに輝度変
化の高い箇所の特徴点を１つずつ抽出する特徴点抽出手
段と、 前フレームの画像と現フレームの画像から求めた動き量
に基づいて相関演算のための探索範囲を決定する探索範
囲決定手段と、 上記各探索範囲ごとに、上記特徴点と上記探索範囲内の
各画素との相関演算を行う相関演算手段と、を備えたこ
とを特徴とする動き検出装置。 - 【請求項４】時系列に画像を入力するための撮像手段を
さらに備えたことを特徴とする請求項３記載の動き検出
装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24964096A JP3534551B2 (ja) | 1996-09-20 | 1996-09-20 | 動き検出装置 |
| PCT/JP1997/001029 WO1998012869A1 (fr) | 1996-09-20 | 1997-03-27 | Appareil de mesure de mouvement |
| US09/269,033 US6650362B1 (en) | 1996-09-20 | 1997-03-27 | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24964096A JP3534551B2 (ja) | 1996-09-20 | 1996-09-20 | 動き検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1098644A JPH1098644A (ja) | 1998-04-14 |
| JP3534551B2 true JP3534551B2 (ja) | 2004-06-07 |
Family
ID=17196035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24964096A Expired - Lifetime JP3534551B2 (ja) | 1996-09-20 | 1996-09-20 | 動き検出装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6650362B1 (ja) |
| JP (1) | JP3534551B2 (ja) |
| WO (1) | WO1998012869A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010023982A1 (ja) * | 2008-08-27 | 2010-03-04 | 三菱電機株式会社 | 動きベクトル検出装置および画像処理装置 |
| EP2506217A2 (en) | 2005-03-24 | 2012-10-03 | Mitsubishi Electric Corporation | Image motion vector detection device |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3241028B2 (ja) * | 1999-12-22 | 2001-12-25 | 日本電気株式会社 | 画像撮像装置及びその画像撮像方法 |
| US7554535B2 (en) * | 2001-10-05 | 2009-06-30 | Nec Corporation | Display apparatus, image display system, and terminal using the same |
| US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
| JP4804238B2 (ja) * | 2006-06-20 | 2011-11-02 | 三菱電機株式会社 | 動きベクトル検出装置 |
| JP2011128990A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 画像処理装置とその方法 |
| US9070042B2 (en) * | 2011-01-13 | 2015-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image processing method, and program thereof |
| JP2015176252A (ja) * | 2014-03-13 | 2015-10-05 | オムロン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| JP3200089B2 (ja) | 1991-06-21 | 2001-08-20 | キヤノン株式会社 | 動きベクトル検出装置及び振れ補正装置 |
| JPH05219420A (ja) | 1992-01-31 | 1993-08-27 | Hitachi Ltd | 撮像装置 |
| JPH0686149A (ja) | 1992-08-31 | 1994-03-25 | Sony Corp | 動きベクトル検出装置及びビデオカメラ |
| US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
| FR2700037B1 (fr) * | 1992-12-24 | 1995-01-27 | Thomson Csf | Dispositif d'estimation hiérarchique du mouvement de séquence d'images. |
| KR970011540B1 (ko) | 1993-03-03 | 1997-07-11 | 엘지전자 주식회사 | 캠코더의 영상보정장치 |
| JPH0730796A (ja) * | 1993-07-14 | 1995-01-31 | Sony Corp | ビデオ信号追従処理システム |
| US6266085B1 (en) * | 1994-11-17 | 2001-07-24 | Canon Kabushiki Kaisha | Camera imaging and magnification device |
| JP2902966B2 (ja) * | 1994-12-16 | 1999-06-07 | 三洋電機株式会社 | 手振れ補正装置およびそれを用いたビデオカメラ |
-
1996
- 1996-09-20 JP JP24964096A patent/JP3534551B2/ja not_active Expired - Lifetime
-
1997
- 1997-03-27 US US09/269,033 patent/US6650362B1/en not_active Expired - Fee Related
- 1997-03-27 WO PCT/JP1997/001029 patent/WO1998012869A1/ja active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2506217A2 (en) | 2005-03-24 | 2012-10-03 | Mitsubishi Electric Corporation | Image motion vector detection device |
| WO2010023982A1 (ja) * | 2008-08-27 | 2010-03-04 | 三菱電機株式会社 | 動きベクトル検出装置および画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6650362B1 (en) | 2003-11-18 |
| JPH1098644A (ja) | 1998-04-14 |
| WO1998012869A1 (fr) | 1998-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8509481B2 (en) | Image processing apparatus, image processing method, imaging apparatus | |
| US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
| JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP4781233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| JP5569357B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR0163922B1 (ko) | 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 | |
| KR20180102639A (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
| JP3534551B2 (ja) | 動き検出装置 | |
| EP0586708B1 (en) | Image processor and method therefor | |
| JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
| JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
| US10977803B2 (en) | Correlation value calculation device | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7039215B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2021047710A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
| JP3721681B2 (ja) | テンプレートマッチング方法及び装置 | |
| JP3639640B2 (ja) | 動きベクトル検出装置 | |
| JP3271273B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| US20230276127A1 (en) | Image processing apparatus and image processing method | |
| WO2023190686A1 (ja) | 画像処理装置および画像処理方法 | |
| EP1686531B1 (en) | A method, a software product and an electronic device for generating an image composition | |
| JP2022099120A (ja) | 被写体追尾装置およびその制御方法 | |
| JP4306333B2 (ja) | 物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040309 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080319 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 9 |