JPH05233814A - 移動ベクトル抽出方法 - Google Patents

Abstract

(57)【要約】 【目的】 勾配法で抽出された誤りを含む移動ベクトル
を修正して抽出する。 【構成】 運動している物体を撮影し、その２次元画像
を内部のメモリに取り込み、取り込んだ濃淡画像の濃度
の平滑化を行い、画像中の濃度の勾配を抽出する微分処
理とその勾配値をもとに方程式を構成し最小二乗演算に
より解を求めて移動ベクトルを抽出し、画像中の着目点
についてその小近傍の移動ベクトルの荷重平均を求め、
それを新たに移動ベクトルとし、その着目点を節点とし
てつないだ２次元物理的近似モデルを作成し、各節点の
移動ベクトルからモデルを変形させる力を生成し、モデ
ルの各節点における運動方程式を離散化した近似式を構
成し移動ベクトルを修正する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像処理における画
像中の着目点の動き検出に関し、勾配法による移動ベク
トル抽出において誤りを修正して抽出する方法に関する
ものである。

【０００２】

【従来の技術】動画像から抽出される移動ベクトルと
は、対象物体の３次元運動が画像に投影された時に生じ
る、画像上の見かけの速度ベクトルのことである。

【０００３】従来の移動ベクトル抽出技術の主なものの
一つに勾配法がある。勾配法は画像の濃淡分布が十分滑
らかであり、その時間変化は、物体の運動によってのみ
生じると仮定し、濃度の空間的な変化量と時間的な変化
量を用いて、直接演算により移動ベクトルを抽出する手
法である。一般的には、画像濃度の空間的な変化量は濃
度関数の微分により算出し、時間的な変化量は、画像間
の濃度の差分により算出する。

【０００４】勾配法は、さらに、演算を行う際に用いる
拘束条件により、大局的最適化法（Global Optimizatio
n）と局所的最適化法（Local Optimization）に分けら
れる。これらの手法について述べた技術論文としては、
B.K.P.Horn and B.Schunck著の「Determining optical
flow」および J.K.Kearney, W.B.Thompson and D.L.Bol
ey著の「Optical Flow Estimation: An Error Analysis
of Gradient-Based Methods with Local Optimizatio
n」がある。上述の勾配法の手法は、共に画像濃度の時
空間変化を用いる点は同じであるが、加えて大局的最適
化法は、移動ベクトルが画像全体にわたって滑らかに変
化する仮定により演算を行い、また、局所的最適化法
は、画像の小近傍における移動ベクトルは一定である仮
定により演算を行う。

【０００５】以上のような勾配法によって移動ベクトル
を抽出する処理の構成を図６を用いて説明する。入力さ
れた濃淡画像が画像取り込み部１０２で計算機内部のメ
モリに取り込まれ、さらに、画像平滑化処理部１０３で
小近傍の矩形領域で平滑化処理が施されて、空間的に滑
らかな濃淡画像に変換される。次に、移動ベクトル抽出
部において、変換された濃淡画像に対して微分処理が行
われ、画像の各画素における水平方向と垂直方向の空間
的な濃度勾配、および連続する画像間の差分により時間
的な濃度勾配が算出される。この勾配値を用いて移動ベ
クトルを求める方程式が構成され、大局的最適化法、ま
たは局所的最適化法のそれぞれの仮定に基づいて最小二
乗演算を行うことによって方程式を解き、着目点におけ
る移動ベクトルが抽出される。

【０００６】

【発明が解決しようとする課題】しかしながら、前記勾
配法では、画像の濃淡分布が十分滑らかであり、その時
間的な変化も線形であると仮定しているため、処理対象
となる画像がこの条件を十分満足していない場合は、抽
出される移動ベクトルの誤差が大きくなる可能性があっ
た。また、この誤りを軽減するために用いられる最適化
法においても、大局的最適化法では、着目点の移動ベク
トルを周囲のベクトルから平滑化して抽出するために、
移動ベクトルは広範囲で一様なり、局所的なベクトル変
化に対して誤りが生じ、この誤りを含むベクトルが存在
すると誤差が周囲に伝搬してしまうという問題点があっ
た。また、局所的最適化法では着目点の小近傍のみで平
滑化を行うため、局所的なベクトル変化には対応できる
が、各移動ベクトルの誤差に大きく影響されてしまうと
いう問題点があった。

【０００７】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、勾配法で抽出され
た誤りを含む移動ベクトルを修正して抽出することが可
能な技術を提供することにある。

【０００８】本発明の前記ならびにその他の目的および
新規な特徴は、本明細書の記述および添付図面によって
明らかにする。

【０００９】

【課題を解決するための手段】前記目的を達成するため
に、本発明の移動ベクトル抽出方法においては、運動し
ている物体をビデオカメラなどで撮影し、その２次元画
像を画像取り込み装置によって計算機内部のメモリに取
り込む過程と、取り込んだ濃淡画像の濃度の平滑化を行
う過程と、画像中の濃度の勾配を抽出する微分処理とそ
の勾配値をもとに方程式を構成し、最小二乗演算により
解を求めて移動ベクトルを抽出する過程と、画像中の着
目点についてその小近傍の移動ベクトルの荷重平均を求
め、それを新たに移動ベクトルとする過程と、その着目
点を節点としてつないだ２次元物理的近似モデルを作成
する過程と、その節点の移動ベクトルからモデルを変形
させる力を生成する過程と、モデルの変形式と移動ベク
トルによる節点の移動の式をもとに連立方程式を構成
し、移動ベクトルを修正する過程とを有することを特徴
とする。

【００１０】そして、本発明の移動ベクトル抽出方法の
実施装置においては、運動している物体をビデオカメラ
などで撮影し、その２次元画像を画像取り込み装置によ
って計算機内部のメモリに取り込む画像取り込み手段
と、取り込んだ濃淡画像の濃度の平滑化を行う画像平滑
化手段と、画像中の濃度の勾配を抽出する微分処理とそ
の勾配値をもとに方程式を構成し最小二乗演算により解
を求めて移動ベクトルを抽出する移動ベクトル抽出手段
と、画像中の着目点についてその小近傍の移動ベクトル
の荷重平均を求め、それを新たに移動ベクトルとする移
動ベクトル平滑化手段と、その着目点を節点としてつな
いだ２次元物理的近似モデルを作成する物理的近似モデ
ル作成手段と、その節点の移動ベクトルからモデルを変
形させる力を生成する画像力生成手段と、モデルの各節
点における運動方程式を離散化した近似式を構成し、移
動ベクトルを修正する移動ベクトル修正手段を具備して
いることを特徴とする。

【００１１】

【作用】前述の手段によれば、運動している物体をビデ
オカメラなどで撮影し、その２次元画像を画像取り込み
装置によって計算機内部のメモリに画像取り込み手段で
取り込み、画像平滑化手段により取り込んだ濃淡画像の
濃度の平滑化を行い、移動ベクトル抽出手段で画像中の
濃度の勾配を抽出する微分処理とその勾配値をもとに方
程式を構成し最小二乗演算により解を求めて移動ベクト
ルを抽出し、移動ベクトル平滑化手段で画像中の着目点
についてその小近傍の移動ベクトルの荷重平均を求め、
それを新たに移動ベクトルとし、物理的近似モデル作成
手段でその着目点を節点としてつないだ２次元物理的近
似モデルを作成し、画像力生成手段で各節点の移動ベク
トルからモデルを変形させる力を生成し、移動ベクトル
修正手段でモデルの各節点における運動方程式を離散化
した近似式を構成し、移動ベクトルを修正するので、勾
配法で求められた移動ベクトルの誤りを修正してベクト
ルを抽出することができる。

【００１２】

【実施例】以下、本発明の一実施例を図面を参照して詳
細に説明する。

【００１３】図１は、本発明の一実施例における移動ベ
クトル抽出装置の概略構成を示すブロック図、図２乃至
図５は、本実施例の作用効果を説明するための説明図で
ある。

【００１４】本実施例の移動ベクトル抽出装置は、電子
計算機（コンピュータ）を使用したものであり、図１に
示すように、電子計算機１、運動物体を撮影するビデオ
カメラ２、該ビデオカメラ２から２次元画像を電子計算
機内部のメモリに取り込む画像取り込み装置３、ならび
に入力画像および移動ベクトルの抽出結果を表示する表
示装置４を備えている。

【００１５】前記電子計算機１の機能構成は、図１に示
すように演算処理部（ＣＰＵ）１０１、画像取り込み部
１０２、画像平滑化処理部１０３、移動ベクトル抽出部
１０４、移動ベクトル平滑化処理部１０５、物理的近似
モデル作成部１０６、画像力生成部１０７、移動ベクト
ル修正部１０８およびデータバス１０９を備えている。

【００１６】図２は、本実施例の勾配法により得られた
移動ベクトルの一例を示す図、図３は、本実施例の着目
する点、および着目点を節点として結んだ物理的近似モ
デルの一例を示す図、図４は、本実施例の外力によるモ
デルの変形を表す図、図５は、本実施例のモデルの変形
から修正された移動ベクトルを求める様子を示す図であ
る。

【００１７】なお、図２において、矢印は勾配法により
算出された移動ベクトル２０１である。図３乃至図５に
おいて、白丸（○）は移動ベクトルを修正する着目点２
０２（モデルの節点となる）であり、実線は物理的近似
モデル２０３を示す。図４において、矢印はモデルの節
点２０２に加えられる外力２０４である。図４乃至図５
において、破線は外力２０４による変形後の物理的近似
モデル２０５である。図５において、矢印は修正された
着目点２０２の移動ベクトル２０６である。

【００１８】次に、本実施例の移動ベクトル抽出装置の
動作を、図１乃至図５を用いて説明する。

【００１９】図１において、運動物体をビデオカメラ２
で撮影する。この画像は、画像取り込み装置３によりデ
ジタル画像に変換され、画像取り込み部１０２に入力さ
れる。この入力された濃淡画像は、画像平滑化処理部１
０３で小領域の矩形領域により処理され、濃淡値が滑ら
かに変化する画像に変換される。

【００２０】移動ベクトル抽出部１０４では、平滑化処
理された濃淡画像に対して微分処理を行い、各画素にお
ける水平・垂直方向の濃度の微分値（Ｉ_x，Ｉ_y）を求め
る。また、連続する二枚の画像から濃度の差分値
（Ｉ_t）を求める。これらの値を用いて構成される方程
式（式１）、

【００２１】

【数１】 Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t＝０ ………（１） ｕ：移動ベクトルの水平方向成分 ｖ：移動ベクトルの垂直方向成分 から最小二乗演算により、各画素における移動ベクトル
２０１（ｕ，ｖ）を求める（図２参照）。この算出され
た移動ベクトル２０１は、移動ベクトル平滑化処理部１
０５で近傍領域で平滑化され、移動ベクトル２０１が滑
らかに変化するように変換される。

【００２２】物理的近似モデル作成部１０６では、図３
に示すように、画像中の着目点２０２を複数指定し、そ
の着目点２０２を節点として結んだ２次元モデル２０３
を作成する。各節点２０２において、変位ベクトルをＸ
として運動方程式（式２）をたてる。ここでは、物理的
な運動解析を行わないので質量係数ｍ、減衰係数ｃには
適当な値を重み係数として用いる。また、内部エネルギ
ーＥには適当な重みαをかけた曲線エネルギー（式３）
を用いる。

【００２３】運動方程式（式２）における外力２０４ｆ
は、画像力生成部１０７で移動ベクトル平滑化処理部１
０５から得られた移動ベクトル２０１に変換係数ｋをか
けて算出される（式４）。

【００２４】

【数２】

【００２５】

【数３】

【００２６】

【数４】

【００２７】ｘ：変位ベクトル（ｘ，ｙ） ｍ：質量係数 ｃ：減衰係数 Ｅ：内部エルネギー ｆ：外力 α,β:重み係数 ｋ：変換係数 ｓ：節点番号 移動ベクトル修正部１０８では、各節点２０２における
前述の運動方程式（式２）を空間的および時間的に離散
化し、ある時刻に着目した線形方程式で近似して解を求
める。得られた解、すなわち節点２０２の変位ベクトル
について時刻間の差分をとることにより、その着目点に
おける修正された移動ベクトル２０６を抽出する。

【００２８】以上の説明からわかるように、本実施例に
よれば、移動ベクトル抽出部１０４の処理により得られ
た画像面全体に分布する移動ベクトルを用いて、移動ベ
クトル平滑化処理部１０５により局所的な荷重平均をと
り、局所的に滑らかな移動ベクトルを得る。このベクト
ルを用いて画像力作成部１０７で外力を生成し、物理的
近似モデル作成部１０６で作成された物理的近似モデル
を用いて運動方程式の近似式を解くことにより、時間的
に連続した移動ベクトルに修正される。また、同時に、
物理的近似モデルでは、曲線エネルギーが含まれている
ので、大局的にも空間的な連続性が保たれた移動ベクト
ルに修正される。この曲線エネルギーは節点同士が滑ら
かにつながっている状態でエネルギーが小さく、従っ
て、運動方程式においては、節点が周囲の節点に対して
飛び出している場合に、そのつながりが滑らかになるよ
うに引き戻す効果を奏する。

【００２９】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更し得
ることはいうまでもない。

【００３０】

【発明の効果】以上、説明したように、本発明によれ
ば、勾配法により局所的に大きく誤った移動ベクトルが
抽出されても、曲線エネルギーを持った物理的近似モデ
ルによる運動方程式を用いているので、空間的にも時間
的にも連続性のある移動ベクトルに修正し抽出すること
ができる。

【図面の簡単な説明】

【図１】 本発明の一実施例における移動ベクトル抽出
装置の概略構成を示すブロック図、

【図２】 本実施例の勾配法により得られた移動ベクト
ルの一例を示した図、

【図３】 本実施例の着目点および着目点を節点として
結んだ物理的近似モデルの一例を示した図、

【図４】 本実施例の外力によるモデルの変形を表した
図、

【図５】 本実施例のモデルの変形から修正された移動
ベクトルを求める様子を示した図、

【図６】 本実施例の勾配法を用いた従来の移動ベクト
ル抽出装置の概略構成を示すブロック図。

【符号の説明】

１…電子計算機、２…ビデオカメラ、３…画像取り込み
装置、４…表示装置、１０１…演算処理部（ＣＰＵ）、
１０２…画像取り込み部、１０３…画像平滑化処理部、
１０４…移動ベクトル抽出部、１０５…移動ベクトル平
滑化処理部、１０６…物理的近似モデル作成部、１０７
…画像力生成部、１０８…移動ベクトル修正部、１０９
…データバス、２０１…勾配法による移動ベクトル、２
０２…着目点（モデルの節点）、２０３…物理的近似モ
デル、２０４…外力、２０５…変形後の物理的近似モデ
ル、２０６…修正された移動ベクトル。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 運動している物体をビデオカメラなどで
   撮影し、その２次元画像を画像取り込み装置によって電
   子計算機内部のメモリに取り込む過程と、取り込んだ濃
   淡画像の濃度の平滑化を行う過程と、画像中の濃度の勾
   配を抽出する微分処理とその勾配値をもとに方程式を構
   成し、最小二乗演算により解を求めて移動ベクトルを抽
   出する過程と、画像中の着目点についてその小近傍の移
   動ベクトルの荷重平均を求め、それを新たに移動ベクト
   ルとする過程と、その着目点を節点としてつないだ２次
   元物理的近似モデルを作成する過程と、その節点の移動
   ベクトルからモデルを変形させる力を生成する過程と、
   モデルの変形式と移動ベクトルによる節点の移動の式を
   もとに連立方程式を構成し、移動ベクトルを修正する過
   程とを有することを特徴とする移動ベクトル抽出方法。