JPH08147473A - 画像動き検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 相関評価関数を用いた近傍の探索を行うこと
で特徴点の抽出・追跡における計算コストの低減を行う
画像動き検出方法を提供し、最も小さい代表誤差を求め
る多項式関数を用いることでノイズに左右されにくい画
像動き検出方法を提供する。 【構成】 画像中の部分領域内とその近傍領域間の輝度
分布の類似度を表す相関値を求め、多項式関数として近
似し、尖鋭度を計算し、特徴点の抽出・追跡を行う。ま
た、動画像中の前後する画像において、複数の特徴点対
応の中から任意個の特徴点対応点を選び、多項式係数を
求め多項式関数を仮定し、予測との誤差を評価し代表誤
差を求め、最も小さな代表誤差を求める多項式関数を求
め、この多項式関数を用いて画像の動き検出を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理における特徴
点の抽出・追跡、画像の符号化に使用する画像動き検出
方法に関するものである。

【０００２】

【従来の技術】特徴点の抽出・追跡における動き検出方
法においては、特徴点対応に先立って対応が容易そうな
特徴点を予め抽出し、それらの点についてのみ特徴点対
応を行うことが多い。この目的に用いられる演算子の代
表的なものがアイ・ジェイ・シー・エイ・アイ（１９７
９）第５９８頁から第６００頁（Proc. 6th IJCAI, pp.
598-600（1979））に発表されているモラベック（Morav
ec）の演算子であるが、これによって求めた特徴点対応
においては信頼性がそれほど良くない為、追跡時の不安
定さが問題となっている。そこで、特徴点対応をとる時
に弛緩法（例えば昭晃堂出版の画像処理ハンドブック
（１９８７），第２４９頁から第２５０頁）を用いるこ
とによって比較的信頼性良く特徴点対応をとることが出
来る。

【０００３】また、連続するフレームから構成される動
画像中の前後する画像において、画面上の輝度分布の対
応における画面上の位置を変数とする多項式関数で表現
する従来の動き検出方法においては、特徴点対応から多
項式係数を求め多項式関数を仮定し予測との誤差を求
め、これに最小二乗法を用いて多項式関数を決定する方
法（例えば、コンピュ−タ・ビジョン−イー・シー・シ
ー・ブイ’９２，第２３７頁から第２５２頁（Computer
Vision-ECCV'92，pp.237-252)）がある。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の特徴点の抽出・追跡における動き検出方法
では、弛緩法を用いることで信頼性の高い特徴点対応を
得ることが可能となったが、局所的な曖昧性を取り除き
つつ全体として整合の取れた結果を得る為に繰り返し処
理を行っていくので計算コストがかかるという課題を有
していた。また、多項式関数で表現する従来の動き検出
方法では、仮定した多項式関数によって求められた予測
との誤差をそのまま最小二乗法に用いていたので，ノイ
ズに弱いという課題を有していた。

【０００５】本発明はかかる点に鑑み、通常、特徴点の
追跡に利用する相関評価関数を用い近傍の探索を行うこ
とによって特徴点を抽出し、特徴点対応を行うことで特
徴点の抽出・追跡における計算コストの低減を行う画像
動き検出方法を提供することを第１の目的とし、また、
仮定した多項式関数によって求められた予測との誤差か
ら代表誤差を求め、その最も小さな代表誤差を求めるよ
うな多項式関数で表現するノイズに左右されにくい動き
検出方法を提供することを第２の目的とする。

【０００６】

【課題を解決するための手段】第１の発明は、画像中の
部分領域間での各領域内の輝度分布の類似度を相関値と
して演算する相関演算を用いて、画像中に予め定められ
た任意点を中心とした部分領域とその近傍位置を中心と
した部分領域間の相関値を求めて、近傍位置への偏位を
変数とした多項式関数として相関を近似し、その多項式
関数値が偏位において極大もしくは極小をとるときの尖
鋭度を計算し、尖鋭度の大きな位置を特徴点とすること
によって特徴点の抽出・追跡を行う。

【０００７】第２の発明は、連続するフレームから構成
される動画像中の前後する画像において、複数の特徴点
対応を求め、その特徴点対応の中から、未定である多項
式係数を定めるに必要な最低個の特徴点対応点を選び、
選ばれた最低個の特徴点対応から、多項式係数を求め多
項式関数を仮定し、全ての特徴点対応について、仮定さ
れた多項式関数による予測との誤差を評価し、昇順に並
べて、所定の順位にある誤差を代表誤差とし、この一連
の処理を未定である多項式係数を定めるに必要な最低個
の特徴点対応の組み合わせの全てについて繰り返し実行
することで最も小さい代表誤差を生成する多項式関数を
決定し画像動き検出を行う。

【０００８】

【作用】第１の発明では、画像中の部分領域間で、各領
域内の輝度分布の類似度を相関値として演算する相関演
算を用いて、画像中に予め定められた任意点を中心とし
た部分領域とその近傍位置を中心とした部分領域間の相
関値を求めて、近傍位置への偏位を変数とした少なくと
も２次以上の多項式関数として相関を近似し、その多項
式関数値が偏位において極大もしくは極小をとるときの
尖鋭度を計算し、尖鋭度の大きな位置を特徴点とし、特
徴点対応を行っている。このようにすることで、信頼性
のある特徴点の抽出を行うことが出来、特徴点対応も近
傍の探索のみで行えるので計算コストがかからずに出来
る。

【０００９】第２の発明では、連続するフレームから構
成される動画像中の前後する画像において、複数の特徴
点対応を求め、その特徴点対応の中から、未定である多
項式係数を定めるに必要な最低個の特徴点対応点を選
び、選ばれた最低個の特徴点対応から、多項式係数を求
め多項式関数を仮定し、全ての特徴点対応について、仮
定された多項式関数による予測との誤差を評価し、昇順
に並べて、所定の順位にある誤差を代表誤差とし、この
一連の処理を未定である多項式係数を定めるに必要な最
低個の特徴点対応を変更し、最低個の特徴点対応の組み
合わせ全てについて繰り返し実行することで各々の代表
誤差を求め、その最も小さな代表誤差を求める多項式関
数を求めている。この最も小さな代表誤差を求める多項
式関数を用いることでノイズに左右されにくい画像動き
検出を行うことができる。

【００１０】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１(ａ)は本発明の第１の実施例に
おける処理のフローチャートである。実施例を容易に理
解するために、図２に示すように画像中の部分領域を任
意点（ｘ，ｙ）を中心としたブロックＲ、その８近傍位
置（ｘ＋ｕ，ｙ＋ｖ）を中心とする部分領域をブロック
Ｒ’とし説明を行う。

【００１１】図１（ａ）に示すように画像中の部分領域
間で、（数１）に示すような各領域内輝度ｇの分布の類
似度を相関値として演算する相関演算を用いて、画像中
に予め定められた任意点（ｘ，ｙ）を中心とした部分領
域とその近傍位置（ｘ＋ｕ，ｙ＋ｖ）を中心とした部分
領域間の相関値Ｅ（ｕ，ｖ）を求めて、２次以上の多項
式関数として相関を近似する。

【００１２】

【数１】

【００１３】次に、多項式関数値が偏位（ｕ，ｖ）につ
いて極小をとるときの尖鋭度Ｃを（数２）、（数３）に
示す尖鋭度演算を用いて求める。

【００１４】

【数２】

【００１５】

【数３】

【００１６】さらに、尖鋭度Ｃが所定の数値より大き
く、（数４）、（数５）を満たす任意点を特徴点とし、
画像間の特徴点の追跡を行う。

【００１７】

【数４】

【００１８】

【数５】

【００１９】以上のように本実施例によれば、尖鋭度の
大きな位置を特徴点とし、特徴点対応を行っているの
で、信頼性のある特徴点の抽出を行うことが出来、特徴
点対応も近傍の探索のみで行えるので計算コストがかか
らずに出来る。

【００２０】なお、本実施例では、相関演算として（数
１）を用いて行っているが、これは（数６）、（数７）
を用いて行ってもよい。（数７）を用いる場合は、多項
式関数値が偏位について極大をとる時の尖鋭度を求め
る。また、ブロックＲ’の中心を任意点（ｘ，ｙ）の８
近傍位置としているが８近傍以上であれば任意でよい。

【００２１】

【数６】

【００２２】

【数７】

【００２３】次に、本発明の第２の実施例について、以
下図面を参照しながら説明する。図１(ｂ)は本発明の第
２の実施例における処理のフローチャートである。連続
するフレームから構成される動画像中の前後する画像に
おいて、図１(ｂ)のステップ１では、第１の実施例にお
いて対応づけられた特徴点から、（数８）に示す多項式
関数において（数９）に示す画像のアフィンモーション
を定めるに必要な最低３個の特徴点対応を選ぶ。

【００２４】

【数８】

【００２５】

【数９】

【００２６】なお、（数８）に示す多項式関数における
（数１０）に示す特徴点の動きベクトル、（数１１）に
示す位置ベクトルは、第１の実施例より得られるもので
あるので、図１(ｂ)のステップ２においてアフィンモー
ションを求め、多項式関数を仮定し、図１(ｂ)のステッ
プ３においては、（数１２）に示す第１の実施例で特徴
点対応によって得られたすべての特徴点の動きベクトル
と仮定された多項式関数による予測との誤差を昇順に並
べて、代表誤差とする中間の順位にある誤差を求める。

【００２７】

【数１０】

【００２８】

【数１１】

【００２９】

【数１２】

【００３０】このステップ１からステップ３までを、ス
テップ１において選ぶ最低３個の特徴点対応の組み合わ
せ全てについて繰り返し行い、全ての組み合わせの代表
誤差を求める。図１(ｂ)のステップ４においては、ステ
ップ３で求まった代表誤差の昇順から上位５０％を使っ
て、最小二乗法でアフィンモーションの推定を行う。な
お、ここでは５０％としたが任意でよく、最小二乗法以
外の最適化手法を用いてもよい。

【００３１】以上のように本実施例によれば、最も小さ
な代表誤差を求める多項式関数を用いることでノイズに
左右されにくい画像動き検出を行うことができる。

【００３２】

【発明の効果】以上のように、第１の発明によれば、画
像中の部分領域内とその近傍領域間の輝度分布の類似度
を表す相関値を求め、多項式関数として近似し、尖鋭度
を計算し、特徴点の抽出・追跡を行うことによって、信
頼性のある特徴点の抽出を行うことが出来、特徴点対応
も近傍の探索のみで行えるので計算コストがかからずに
出来る。

【００３３】また、第２の発明によれば、連続するフレ
ームから構成される動画像中の前後する画像での画面上
の輝度分布の対応における画面上の位置を変数とする多
項式関数を仮定し、その仮定した多項式関数によって求
められた予測との誤差から代表誤差を求め、その最も小
さな代表誤差を求める多項式関数を用いることでノイズ
に左右されにくい画像動き検出を行うことができ、その
実用的効果は大きい。

【図面の簡単な説明】

【図１】(a)は本発明の第１の実施例における処理のフ
ローチャート (b)は本発明の第２の実施例における処理のフローチャ
ート

【図２】(a),(b)は本発明の第１の実施例における部分
領域とその近傍を示す図

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像中の部分領域間で、各領域内の輝度分
   布の類似度を相関値として演算する相関演算を用いて、
   画像中に予め定められた任意点を中心とした部分領域と
   その近傍位置を中心とした部分領域間の相関値を求め
   て、近傍位置への偏位を変数とした少なくとも２次以上
   の多項式関数として相関を近似し、前記多項式関数値が
   偏位において極大もしくは極小をとるときの尖鋭度を計
   算し、前記尖鋭度の大きな位置を特徴点として、優先的
   に追跡に用いることを特徴とした画像動き検出方法。
2. 【請求項２】連続するフレームから構成される動画像中
   の前後する画像において、画面上の輝度分布の対応にお
   ける画面上の位置を変数とする多項式関数で表現する動
   き検出方法において、（a）前後する画像から複数の特
   徴点対応を求め、（b） 前記特徴点対応の中から、未定
   である多項式係数を定めるに必要な最低個の特徴点対応
   点を選び、（c）前記選ばれた最低個の特徴点対応か
   ら、多項式係数を求め多項式関数を仮定し、（d） 処理
   （a）で得られた特徴点対応について、仮定された多項
   式関数による予測との誤差を評価し、（f） 全ての特徴
   点対応の誤差を昇順に並べて、所定の順位にある誤差を
   代表誤差とするとき、（g） 処理（b）において選ぶ最
   低個の特徴点対応を変更して、処理（b）、（c）、
   （d)、（f）を繰り返し実行することによって最も小さ
   な代表誤差を生成するような多項式関数を用いることを
   特徴とする画像動き検出方法。