JP5700968B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、複数のフレーム画像間の動きベクトルを演算する技術に関し、特に、動きベクトルの算出において、処理負荷を増大させることなく精度を向上させる画像処理装置に関する。

動画像中の複数枚（ｎ＋１枚）のフレーム画像から１枚の画像を基準画像として選択し、この基準画像に対する他のｎ枚のフレーム画像（比較画像）の動きベクトルをそれぞれ算出する技術が知られている。

動きベクトル算出において、基準画像中よりコーナーなどの特徴点を抽出し、抽出した特徴点に対応する点を他のｎ枚の対象画像から求めることが一般的である。この動きベクトルを高速に算出するための技術として、基準画像ではなく、基準画像をぼかした画像からｘピクセルおきに特徴量を算出して（解像度を変更して）特徴点を抽出することが知られている（例えば、特許文献１参照。）。これと同様に、基準画像のサイズを縮小した縮小画像から特徴点を抽出することで特徴点の高速化を実現できることが知られている。

特許第３９３５５００号公報

撮像システムを用いて撮影した動画像を構成する画像には、レンズの特性やセンサの特性によりコーナーなどの特徴点の周囲にはボケが含まれることがある。画像中に含まれるボケの影響により、基準画像以外の例えば縮小画像から特徴点を抽出する精度に関して、縮小の方法によって抽出結果が異なることがある。さらに、基準画像以外の画像から特徴点を抽出すると、基準画像から特徴点を抽出する場合に比べて特徴点の位置が異なることがある。

このような特徴点の位置のずれに伴い、動きベクトルの算出精度も低下するという課題がある。しかしながら、上記特許文献１に記載の技術は、オリジナルサイズの画像以外から特徴点を抽出する際の、撮像システムによるボケの影響による抽出精度及び特徴点の位置ずれに伴うその後の動きベクトル算出時の精度に関して言及していない。

従って、本発明は、複数の画像から特徴点を適切に抽出して、動きベクトルの精度を向上させる画像処理装置を提供する。

上記の課題を解決するために本発明は、動画像に含まれる複数のフレーム画像を入力する入力手段と、
前記入力手段により入力された複数のフレーム画像のうちの第１のフレーム画像と第２のフレーム画像のそれぞれが所定の比率で縮小された第１の縮小画像と第２の縮小画像を生成する縮小手段と、
前記縮小手段により生成された前記第１の縮小画像における特徴点を含み且つ所定サイズのフィルタに含まれている画素群と、前記第２の縮小画像において当該所定サイズのフィルタに含まれている画素群とを比較する第１のパターンマッチングを行うことにより、当該第１の縮小画像における当該特徴点に類似する対応点を当該第２の縮小画像において抽出する抽出手段と、前記第１の縮小画像の前記特徴点に対応する前記第１のフレーム画像における特徴点を含み且つ前記所定サイズよりも大きなサイズのフィルタに含まれている画素群と、前記第２のフレーム画像において当該大きなサイズのフィルタに含まれている画素群とを比較する第２のパターンマッチングを、前記抽出手段により抽出された対応点の前記第２の縮小画像における位置に基づき行うことにより、当該第１のフレーム画像における当該特徴点と類似する当該第２のフレーム画像における対応点を算出する算出手段と、前記第１のフレーム画像における前記特徴点と、前記算出手段により算出された前記第２のフレーム画像における対応点とに基づいて、当該第１のフレーム画像と当該第２のフレーム画像における動きベクトルを決定する決定手段とを備えることを特徴とする。

本発明によれば、複数の画像から特徴点を適切に抽出して、動きベクトルの精度を向上させることができる。

本発明の画像処理装置におけるブロック図である。 本発明の実施例１における画像処理手順を示すフローチャートである。 本発明に係る縮小画像を説明するための図である。 本発明に係る特徴点を説明するための図である。 従来のパターンマッチングを説明するための図である。 本発明に係るパターンマッチングのイメージ図である。 本発明の実施例２における特徴点の再抽出を説明するための図である。 本発明の実施例２の画像処理における画像処理手順を示すフローチャートである。 １画素ボケの場合の画像サイズとエッジの鮮明度の関係図である。 ２画素ボケの場合の画像サイズとエッジの鮮明度の関係図である。 ３画素ボケの場合の画像サイズとエッジの鮮明度の関係図である。 画像サイズとエッジの鮮明度の関係図である。

（実施例１）
以下、図面を参照しつつ、本発明の実施形態を詳細に説明する。

図１は、本発明に係る画像処理装置１００のブロック図を示す。

ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、から構成され、画像処理装置１００の動作全体を制御する。

ブリッジ部１０２は、ＣＰＵ１０１と他の構成要素との間におけるデータの送受信を制御する。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は、読み込み専用の不揮発メモリであり、一般にはＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは、画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器を制御するためのプログラム群である。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を有し、各種の情報を記憶する。

２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種の情報を記憶する。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。

アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。ＯＳや、他のアプリケーションの実行プログラム、および作業用に使用しているデータは、必要に応じてＲＡＭ１０４または２次記憶装置１０５に格納される。

表示制御部１０６は、ＯＳやアプリケーションを介して行われるユーザ指示による処理の結果を画像データにして、当該画像データを表示装置１０７に表示させるための制御を行う。

表示装置１０７は、液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等の各種の画像を表示することが可能な装置である。

Ｉ／Ｏ制御部１０８は、入力装置１０９、出力装置１１０における情報の入出力を制御するためのインターフェースである。例えば、Ｉ／Ｏ制御部１０８は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）等である。

入力装置１０９は、キーボード、マウスなどから構成され、ユーザから各種の指示および情報を受け付ける。また、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置なども入力装置１０９に該当する。そして、入力装置１０９が保持する画像データをＣＰＵ１０１等の構成要素に転送することも可能である。

出力装置１１０は、例えばプリンタ装置であり、印刷処理物を出力することが可能である。

図２は、本発明の第１実施例に係る画像処理装置の画像処理手順を示すフロー図である。以下、画像処理装置の各フローに関して詳細に説明を行う。なお、図２で示すフローは、ＣＰＵ１０１がＲＯＭ１０３に格納されているプログラムを読み出して実行することにより実現できる。

画像処理が開始すると、まず、Ｓ２０１において、画像処理装置１００に動画像が入力される。例えば、入力装置１０９や、２次記憶装置１０５からＣＰＵ１０１に動画像が入力される。なお、動画像は複数の画像群から構成されるものであり、複数枚からなる静止画群であっても良い。

次に、Ｓ２０２において、ＣＰＵ１０１は、入力した動画像における画像群から基準となるフレーム画像（基準画像）を選択する。当該選択は、所定の基準に基づいて行われ、例えば、入力された動画像を構成する画像群において、時間軸を基準としたときの中央の画像などを選択するようにしてもよい。また、ユーザが好みの基準画像を選択するようにしても良い。

次に、Ｓ２０３において、ＣＰＵ１０１は、選択した基準画像１枚を含むｎ＋１枚の画像（フレーム画像）を切り出す。なお、以降において、1枚の基準画像以外のn枚の画像を比較画像と称することとする。なお、比較画像は、例えばnが偶数の場合、基準画像より前の画像をｎ／２枚とし、かつ、基準画像より後の画像をｎ／２枚としても良い。また基準画像より前の画像をn枚としても良いし、後の画像をn枚としても良い。また、ユーザが比較画像を選択しても良い。

次に、Ｓ２０４において、ＣＰＵ１０１は、基準画像を１／２に縮小した縮小画像を生成する。縮小画像は、基準画像における４つの画素を１単位として、１単位ごとに平均値を算出し、その平均値を縮小画像の１画素における信号値としたものである。このようにして、縮小画像は、基準画像を所定の比率である１／２にしたサイズを有することとなる。

次に、Ｓ２０５において、ＣＰＵ１０１は、縮小画像における特徴点を抽出する縮小画像特徴点抽出を行う。特徴点を抽出する方法は様々なものが知られているが、本発明では、コーナーを特徴点として抽出する方法を用いる。この方法では、抽出する対象となる画像における各画素のうち、コーナーらしさを示す特徴量を有する画素を特徴点とする。この特徴量は、画像の参照領域に含まれる複数の画素により求められる。

しかし、特徴点を抽出する方法はこれに限定されず、他の抽出方法を用いて特徴量を算出しても良い。例えば、隣接する画素間の信号値の差分がエッジの鮮明度を表すものと定義した場合、コーナー近傍においてエッジの鮮明度が大きいほど特徴量が大きくなることとなる。そして、所定の閾値以上の特徴量を有する画素を特徴点することができる。あるいは、閾値を用いず、特徴量の値が大きい画素から順に特徴点としていくことにより、画像から一定数以上の特徴点を抽出することもできる。また、画像を複数の領域に分割し、一つの領域に少なくとも１つ以上の特徴点が含まれるように処理して、画像中にある程度均等に特徴点を分布させるようにすることもできる。

ここで、特徴点の抽出の際におけるボケの影響、及び縮小画像を用いて特徴点の抽出を行う理由を説明する。さらに、画像の縮小率とエッジの鮮明度の関係を説明する。最後に上記を踏まえて、元の画像を１／２に縮小した縮小画像を用いることにより、特徴点の抽出する精度が向上する理由を説明する。

動画像として撮影された画像に関して、コーナーやエッジ付近の画素は、コンピュータグラフィック（ＣＧ）ではないため、撮像システムのレンズの特性やＣＣＤなどのセンサ等の特性より、ボケ（画素間に中間値を含む画素）が発生することがある。特に、オブジェクトのエッジやコーナーの周辺は、通常、ボケを含む画素が存在し、鮮明になっていることは少ない。

このような画像中には様々なコーナーが含まれるが、すべてのコーナーが特徴点としてふさわしいわけではない。すなわち、画像中にボケ量が大きいコーナーやエッジは、特徴点としてはふさわしくなく、２画素／３画素のボケ量を持つコーナーより１画素程度のボケ量を持つコーナーを抽出することが望ましい。なぜならば、特徴点を抽出後、パターンマッチングを行い動きベクトルを求め、画像合成する際に、ボケ量が大きいコーナーはそれぞれの工程において算出される誤差が工程ごとに大きくなってくるためである。

隣接する信号値の差分をエッジの鮮明度だとすると、当然ボケ量などに応じてエッジの鮮明度が異なってくる。しかし、エッジの鮮明度が大きいほど、特徴点の抽出精度は向上する。したがって、画像を縮小することで、ボケ量が軽減され、画像の参照領域に含まれる画素の信号値の差分が大きくなりエッジの鮮明度は改善されて各コーナーの特徴量も大きくなるので、画像を縮小して特徴点を抽出することが行われている。

次に、画像の縮小率とエッジの鮮明度の関係を図３、図９を用いて説明する。図３（ａ）が縮小されていない元の画像の基準画像を示す。図３（ｂ）は、基準画像を１／２のサイズに縮小した縮小画像の一例を示す。図３（ｃ）は、基準画像を１／４のサイズに縮小した画像の一例を示す。

なお、図９（ａ）は、図3（ａ）に示す線３０１上の画素の信号値を示す。図９において、横軸は線３０１上の画素の位置を示し、縦軸は信号値を示す。

図９（ａ）は縮小していない元の画像の画素値を示す。図９（ｂ）および（ｃ）は、それぞれ、元の画像を１／２のサイズに縮小した縮小画像における画素値を示す。また、図９（ｄ）（ｅ）（ｆ）（ｇ）は、それぞれ、元の画像を１／４のサイズに縮小した縮小画像における信号値を示す。なお、オブジェクトのエッジ部分を含むため、信号値０から信号値２５５へ変化する。また、最も差がわかりやすくなるように信号値を用いて説明している。

図９に示すように、1画素分のボケが発生しているので、エッジ部分で信号値１２８の中間値が出現している。また、信号値の差が大きいほどエッジの鮮明度が大きくなるとする。この場合画素間の信号値の差は最大１２８である。なお、図９において、信号値の差が最大となる部分を矢印で記述している（以下この矢印の部分を信号値の差として説明する）。

次に、元の画像を１／２のサイズに縮小した縮小画像について説明する。１／２に縮小すると、実際は４画素の平均となるが、図９では1次元データのため２画素の平均とする。ここで、平均する画素の組み合わせには２種類有るため、図９（ｂ）または図９（ｃ）に示す信号値となる。１／２のサイズに縮小しているため、トータルの画素数は減っている。ここで、図９(ｂ)に示す信号値の差は１９１、図９（ｃ）に示す信号値の差は１９１．５となっている。したがって、図９（ａ）に示す場合よりエッジの鮮明度は向上していることになる。したがって、エッジが鮮明であれば特徴量が大きいため、特徴点の抽出の精度を向上することができる。すなわち、元の画像で特徴点を求めるよりも、元の画像を１／２のサイズに縮小した画像から特徴点を求めた方が、特徴点の抽出精度が向上すると言える。

次に、元の画像を１／４のサイズに縮小した縮小画像について説明する。図９（ｂ）または図９（ｃ）を１／２のサイズに縮小することで、１／４に縮小した縮小画像を得ることができる。

なお図９（ｂ）をさらに１／２のサイズに縮小した場合は、上記と同様に平均する画素の組み合わせには２種類あり、図９（ｄ）または（ｅ）に示す信号値となる。また、図９（ｃ）をさらに１／２のサイズに縮小した場合は、図９（ｆ）または（ｇ）に示す信号値となる。図９（ｄ）に関しては、信号値の差が１５９．５となり、図９（ａ）に示す場合に比べればエッジの鮮明度は大きい。しかし、図９（ｂ）に示す場合と比べれば、信号値の差は小さくなる。また、図９（ｅ）に関しては信号値の差が２２３となり、図９（ａ）または（ｂ）と比べて鮮明度は大きい。また、図９（ｆ）に関しては、信号値の差が２２３．２５となり、図９（ａ）（ｃ）と比べて鮮明度は大きい。また、図９（ｇ）に関しては、信号値の差が１５９．２５なり、図９（ａ）に比べればエッジの鮮明度は大きいが、図９（ｃ）に比べれば小さくなる。

このように、元の画像を１／４のサイズの縮小画像にすると、１／２の縮小画像よりエッジが不鮮明になることがある（例えば、図９（ｄ）と（ｇ）の場合）。したがって、総合的に判断すると、元の画像を１／２のサイズに縮小した縮小画像では、図９（ｂ）または（ｃ）のように、１９１の信号値の差を持つため、１／４の縮小画像を使用するよりエッジが鮮明であり、特徴点抽出の精度が向上するといえる。

つまり、元の画像において１画素程度のボケ量を含むコーナーを抽出するには、元の画像を１／２のサイズに縮小した縮小画像を用いるのが最適である。

さらに、元の画像において、２画素程度のボケ量をもつ場合と３画素程度のボケ量を持つ場合について説明する。

図１０は、元の画像に２画素程度のボケ量が含まれる場合における各信号値を説明するための図である。図１０（ａ）は、元の画像の信号値を例示しており、信号値の差は８５になっている。図１０（ｂ）は、元の画像を１／２のサイズに縮小した縮小画像における信号値であり、信号値の差は、１７０である。図１０（ｃ）または（ｄ）は、元の画像を１／４のサイズに縮小した縮小画像の信号値を例示しており、信号値の差は１２７．５または２１２．５になっている。

次に、図１１は、元の画像に３画素程度のボケ量が含まれる場合における各信号値を説明するための図である。図１１（a）は、元の画像の信号値を例示しており、信号値の差は６４になっている。図１１（ｂ）は、元の画像を１／２のサイズに縮小した縮小画像における信号値であり、信号値の差は、１２８である。図１１（ｃ）または（ｄ）は、元の画像を１／４のサイズに縮小した縮小画像の信号値を例示しており、信号値の差は１５９または１９１．５になっている。

図９、図１０、図１１より、１／２のサイズに縮小した場合は、１画素のボケ量を持つコーナーの信号値の差が最も大きいため、２画素／３画素のボケ量を持つコーナーより１画素のボケ量をもつコーナーの方が抽出しやすい。一方、１／４のサイズに縮小した場合は、１画素／２画素／３画素のボケ量を持つコーナーに対して、信号値の差がボケ量に相関がないため、１画素／２画素／３画素のボケ量の区別なく抽出されてしまう。上記結果から判断して、２画素／３画素のボケ量を持つコーナーより１画素程度のボケ量を持つコーナーを抽出するには、１／２のサイズに縮小した縮小画像から特徴点を抽出するのが良いことになる。

図１２は、元の画像におけるボケ量を持つ画素の数と、コーナーにおいて抽出される特徴量との関係を、縮小画像サイズごとに図示化したものである（図９、１０、１１の結果に基づく）。１２０１は、元の画像を用いた場合の特徴量である。１２０２は、１／２のサイズに縮小した縮小画像を用いた場合の特徴量である。１２０３は、１／４のサイズに縮小した縮小画像を用いた場合の特徴量である。オリジナルサイズの画像を用いて特徴点を抽出する場合、コーナーの特徴量の大きさはボケ量に応じて減少していく。１／２に縮小した縮小画像を用いて特徴点を抽出する場合、コーナーの特徴点の大きさは、１画素程度のボケ量の場合最も大きくなる。さらに２画素／３画素のボケ量の場合、特徴量は減少していく。１／２に縮小した縮小画像を用いる場合、２画素／３画素のボケ量を持つコーナーより１画素のボケ量をもつコーナーの方が抽出しやすいことがわかる。

次に、１／４に縮小した縮小画像を用いて特徴点を抽出する場合、コーナーの特徴点の大きさは、１画素のボケ量と３画素のボケ量で差がない。つまり、１画素程度のボケ量を特徴量から優先して抽出することはできない。

以上の理由により、撮像システムで撮影した動画像においては、１画素程度のボケを含むコーナーを特徴点として優先して取得したいため、１／２縮小した基準画像に対して特徴点の抽出を行っている。

次に、Ｓ２０６において、ＣＰＵ１０１は、各比較画像を１／２に縮小した縮小画像を生成する。なお、縮小画像の生成方法は、Ｓ２０４における縮小画像の生成と同様である。すなわち、比較画像の縮小画像は、比較画像における４つの画素を１単位として、１単位ごとに平均値を算出し、その平均値を縮小画像の１画素における信号値としたものである。

なお、本実施例において、基準画像および比較画像に関する縮小画像の生成を、Ｓ２０４とＳ２０６のように別々に処理している。その理由は、Ｓ２１０における比較画像の加算合成後、比較画像及びその縮小画像をメモリ上から消去することによりメモリの効率的な使用ができるためである。メモリの容量に余裕がある場合、Ｓ２０４とＳ２０６を同一ステップで行い、同時に、基準画像および比較画像の縮小画像を生成しても良い。

次に、Ｓ２０７において、ＣＰＵ１０１は、基準画像の縮小画像において抽出した特徴点に対して、比較画像の縮小画像において対応する対応点を求める。

具体的には、基準画像の縮小画像における特徴点の周囲について、３×３画素分の所定サイズのフィルタを用いて、比較画像の縮小画像に対して類似する点を求めるパターンマッチングを行う。すなわち、３×３画素のフィルタ内の各画素の信号値を比較して色差を計算し、最も色差が小さくなる画素を比較画像の縮小画像における対応点とする。そして、基準画像の縮小画像における全ての特徴点に対して、比較画像の縮小画像における対応点を算出する。

なお、３×３画素分のフィルタを用いるのは、求めた特徴点がコーナーを基準としているため、３×３画素分のサイズであれば、コーナーの形状を捉えることができるためである。なお、階層型パターンマッチングを行うことで、さらに高速化することもできる。

次に、Ｓ２０８において、ＣＰＵ１０１は、基準画像の縮小画像における特徴点を示す画素を基準として、元の画像である基準画像における特徴点を示す画素を求める。なお、以下の記載において、ステップＳ２０８における処理を、特徴点の再定義と称することとする。即ち、特徴点は１／２縮小画像で算出しているため、縮小されていない元の画像における特徴点は未算出／未定義であるため、再定義の必要がある。このとき、縮小画像において特徴点を抽出する際に参照した参照領域に対応する、基準画像の参照領域内で特徴点が定義される。

ここで、特徴点を再定義する処理の詳細について図４を用いて説明する。図４（ａ）は、縮小処理されていない元の画像である基準画像を示す。図４（ａ）において、画素群４１０の各画素の信号値は０（黒色）であり、画素群４１１の各画素の信号値は２５５（白色）であり、画素群４１２の各画素の信号値は中間値１２８である。記号４０１が付された画素は、コーナーに位置しており、特徴点を示す画素である。

図４（b）は、図４（ａ）に示す元画像を１／２のサイズに縮小処理した画像を示す。ここで、記号４０２が付された画素が特徴点を示す画素である。

図４（ｃ）は、図４（ａ）および（ｂ）を重ね合わせた図である。なお、図４（ｃ）に示すように、図４（ｂ）の１画素は、図４（a）の４画素に相当する。

４画素の平均値をもとに１／２縮小画像を作成しているため、４画素のどれかを対応付ける必要がある。ここでは、４画素のうち左上の画素を縮小していない元の画像での特徴点とする。Ｓ２０８における特徴点の再定義について、本実施例では、図４（ｄ）に示すように三角形の記号４０３における位置に対応する画素のみを対象とする。すなわち、縮小画像における４つの画素のうち、左上隅の画素が再定義の対象となる画素である。図４に示す例の場合、再定義の対象となる画素のうち、記号４０４が付された画素が、縮小画像における特徴点を示す記号４０２が付された画素に対応する再定義の対象となる画素である。

このように縮小処理する際の4画素の設定によっては、再定義による特徴点を示す画素は、縮小前の元の画像の特徴点を示す画素から1画素程度ずれてしまう場合がある。これが、縮小した画像において特徴点を示す画素を求め、元の画像でパターンマッチングを行う際に影響を与えうる。

次に、Ｓ２０９において、ＣＰＵ１０１は、Ｓ２０８において再定義された基準画像における特徴点を有する画素を基準として、比較画像において対応する対応点を示す画素を求める対応点算出を行う。なお、特徴点を示す画素により定まる位置座標と、対応点を示す画素により定まる位置座標との差分が動きベクトルとなる。

Ｓ２０９の対応点を示す画素を求める処理において、特徴点の周囲５×５画素分のフィルタを用いて、基準画像と比較画像との間でパターンマッチングを行う。すなわち、５×５画素のフィルタ内の各画素の信号値を比較して色差を計算し、最も色差が小さくなる画素を比較画像における対応点とする。なお、ステップＳ２０７において、比較画像の縮小画像における対応点を既に求めているので、当該対応点の近傍領域だけを探索範囲としてパターンマッチングを行うことにより、効率よく処理することができる。そして、特徴点と対応点とのそれぞれの座標値の差分を用いて、動きベクトルを算出する。そして、すべての対応点に対して、同様の計算を行う。

ここで、５×５のフィルタサイズのフィルタを用いて、元の画像である基準画像と比較画像との間でパターンマッチングを行う具体例について説明する。

ここでは、図４（ｄ）における記号４０４が付された画素が、再定義による特徴点であるとして、パターンマッチングを行う例である。

ここで、パターンマッチングを行う際に、３×３画素分のフィルタを用いると、次のような問題が生じることがある。例えば、図５（ａ）に示す記号５０１が付された画素が、比較画像における対応点とすべき画素であるものとする。このとき、パターンマッチングを行うと、フィルタの位置が位置５０２にある場合に、特徴点と対応点との間で最も高い一致度を示すのが望ましい。しかし、フィルタが位置５０３にある場合にも、位置５０２にある場合と同じ一致度を示してしまうことになる。この場合には、記号５０４が付された画素が、対応点を示す画素として処理されるおそれがある。したがって、望ましい対応点からずれてしまい、さらに動きベクトルの値もずれてしまうことが生じる。

特徴点がコーナーであるため、通常は３×３画素のフィルタサイズのフィルタでコーナーの形状を捉えることができるため、３×３画素のフィルタのパターンマッチングで基準画像と比較画像の対応点の比較は可能である。しかしこのように、縮小した画像で特徴点を算出し縮小していない元の画像でパターンマッチングを行う場合、本来の特徴点から１画素程度ずれてしまうことが起こる。この場合、通常の３×３のフィルタでは、正しくパターンマッチングを行うことができないことがある。

この問題を解決するためには、例えば、３×３より大きい５×５のサイズのフィルタを用いることにより、求める対応点の精度を向上することができる。基準画像を１／２に縮小して特徴点を抽出した場合には、基準画像の本来の特徴点から１画素ずれてしまう可能性があるため、３×３画素サイズのフィルタから上下左右に１画素分大きい５×５画素サイズのフィルタを用いる。

具体例について、図６に示す５×５のフィルタを使った場合について説明する。ここでは、図６に示す記号６０１が付された画素が対応点として求めたい画素であるものとする。

パターンマッチングにおいて、フィルタが位置６０２にある場合、特徴点と望ましい対応点（記号６０１が付された画素）との一致度が高くなる。一方、フィルタが位置６０３にある場合、特徴点と望ましい対応点との一致度が低くなる。

このように、パターンマッチングにおいて、５×５のフィルタを使用すると、最も一致度が高くなるはフィルタが位置６０２にある場合である。そして、当該位置において求まる対応点を示す画素は記号６０４が付された画素となり、望ましい対応点と一致することとなる。本来の特徴点から１画素程度ずれてしまった場合、特徴点のズレを吸収するため、パターンマッチングにおいては、５×５のフィルタ以上を用いることが望ましく、よって動きベクトルの算出精度をも維持することが可能となる。

次に、Ｓ２１０において、ＣＰＵ１０１は、動きベクトルを用いて比較画像の変形を行い、基準画像と変形した比較画像の加算合成を行う。被写体が動いていたり、被写体を追跡することや手ブレで構図が変わっていたりするため、基準画像と比較画像をそのまま合成すると、合成画像にはブレが発生してしまう。

そこで、合成ブレを回避するために、算出した動きベクトルを用いて、比較画像の変形を行い、基準画像と比較画像との被写体等の位置を合わせる必要がある。その後、基準画像と比較画像を合成することで、ノイズを軽減したりすることができる。また、特徴点の動きベクトルしか算出していないため、補間演算により特徴点以外の動きベクトルを算出する必要がある。特徴点（対応点）を頂点とするドローネ三角形を作成し、その三角形を使って補間演算を行う方法などが考えられる。また２枚目以降の比較画像の場合、前回までの加算合成画像と変形した比較画像の加算合成を行い新たな加算合成画像を作成する。特徴点以外の動きベクトルは、補間演算で算出するため、Ｓ２０９でのオリジナルサイズでの対応点の算出が精度よくできていないと、他の動きベクトルにも影響を与えてしまい、全体の精度にも影響を与えてしまう。

Ｓ２１１までの処理で、基準画像と１枚の比較画像１枚の加算合成が終了する。

次に、Ｓ２１１において、ＣＰＵ１０１は、ｎ枚の比較画像にして処理が終わったかを判定する。Ｎｏの場合、未処理の比較画像に対してＳ２０６から再び処理を行い、加算合成画像を作成していく。Ｙｅｓの場合、Ｓ２１２に進む。

そして、Ｓ２１２において、ＣＰＵ１０１は、作成した加算合成画像に対して、ｎ＋１枚からの合成画像であるため、ｎ＋１で割って合成画像を作成する。

以上のように本願発明は、縮小した画像に対して特徴点を抽出し動きベクトルを算出する際に、特徴点の抽出精度を上げつつ、動きベクトルのベクトル算出の精度を維持し、複数枚の画像の合成画像を作成することができる。

（実施例２）
以下では本発明の実施例２について、図８を用いて詳細に説明する。尚、実施例１と同様の処理を行う場合はその詳細な説明を省略する。

なお、実施例２では、実施例１と異なり、別の方法で動きベクトルの精度を維持する。すなわち、Ｓ８０１において、元の画像の基準画像から特徴点の再抽出を行う。また、Ｓ８０２において、再抽出した特徴点を用いて、元の画像に対して対応点を求める。

まず、Ｓ８０１において、元の画像の基準画像から特徴点を再抽出する基準画像特徴点抽出について説明する。図７は、元の画像の基準画像を示す。ここで、基準画像の縮小画像から特徴点を示す記号４０４が付された画素を抽出している。そして、当該画素を含む近傍の領域に近傍領域７０１を設定する。縮小画像から得られた特徴点を示す画素の近傍に、元の画像における真の特徴量が存在するため、近傍領域７０１に含まれる画素を再検索することにより、最も特徴量が大きい点を特徴点として再抽出する。そして、再検索して得られる記号７０２が付された画素が、特徴点を示す画素となる。この特徴点を示す画素は、コーナーにある画素であり、最適な特徴点を示す画素である。

このように、縮小画像における特徴点を示す画素の近傍領域に限定しその領域内で特徴量が最も大きくなる画素を選ぶため、元の画像における特徴点を示す画素も再抽出することができる。

そして、再検索により得られた特徴点を使用すれば、特徴点のずれがないため、パターンマッチングにおいて実施例１において説明したような問題点は発生しない。そのため、Ｓ８０２で再抽出した特徴点を用いてオリジナルサイズの画像を用いて対応点を求める際に、フィルタサイズを制限することなくパターンマッチングを行うことができる。

なお、実施例における各ステップの処理が一台の画像処理装置において行われるものとして説明したが、各ステップの処理が、夫々、別の装置で行われるようにしてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又はコンピュータ読み取り可能な各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (10)

1. 動画像に含まれる複数のフレーム画像を入力する入力手段と、
   前記入力手段により入力された複数のフレーム画像のうちの第１のフレーム画像と第２のフレーム画像のそれぞれが所定の比率で縮小された第１の縮小画像と第２の縮小画像を生成する縮小手段と、
   前記縮小手段により生成された前記第１の縮小画像における特徴点を含み且つ所定サイズのフィルタに含まれている画素群と、前記第２の縮小画像において当該所定サイズのフィルタに含まれている画素群とを比較する第１のパターンマッチングを行うことにより、当該第１の縮小画像における当該特徴点に類似する対応点を当該第２の縮小画像において抽出する抽出手段と、
   前記第１の縮小画像の前記特徴点に対応する前記第１のフレーム画像における特徴点を含み且つ前記所定サイズよりも大きなサイズのフィルタに含まれている画素群と、前記第２のフレーム画像において当該大きなサイズのフィルタに含まれている画素群とを比較する第２のパターンマッチングを、前記抽出手段により抽出された対応点の前記第２の縮小画像における位置に基づき行うことにより、当該第１のフレーム画像における当該特徴点と類似する当該第２のフレーム画像における対応点を算出する算出手段と、
   前記第１のフレーム画像における前記特徴点と、前記算出手段により算出された前記第２のフレーム画像における対応点とに基づいて、当該第１のフレーム画像と当該第２のフレーム画像における動きベクトルを決定する決定手段と
   を備えることを特徴とする画像処理装置。
2. 前記算出手段は、前記所定サイズより大きなサイズのフィルタ内の画素群の各画素の信号値に基づいて、前記第２のフレーム画像における対応点を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記縮小手段は、１／２の比率で前記第１のフレーム画像と前記第２のフレーム画像がそれぞれ縮小された第１の縮小画像と第２の縮小画像を生成し、
   前記所定サイズは、３×３画素のサイズであり、
   前記所定サイズよりも大きなサイズは、５×５画素以上のサイズであることを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出手段により抽出された前記第１の縮小画像の特徴点の当該第１の縮小画像における位置に基づき、前記第１のフレーム画像から特徴点を抽出する第２の抽出手段を備え、
   前記算出手段は、前記第２の抽出手段により抽出された特徴点と類似する対応点を前記第２のフレーム画像から算出する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記縮小手段により生成された前記第１の縮小画像と前記第２の縮小画像における各画素の信号値は、前記第１のフレーム画像と前記第２のフレーム画像それぞれにおける４つの画素を１単位として、１単位ごとに算出した信号値の平均値であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記決定手段により決定された前記第１のフレーム画像と前記第２のフレーム画像における動きベクトルに基づき、当該第１のフレーム画像と当該第２のフレーム画像の位置合わせを実行する実行手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記実行手段による前記第１のフレーム画像と前記第２のフレーム画像の位置合わせの結果に従って、当該第１のフレーム画像と当該第２のフレーム画像とを合成する合成手段を備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記抽出手段はさらに、前記縮小手段により生成された前記第１の縮小画像におけるエッジの鮮明度に基づき、当該第１の縮小画像における前記特徴点を抽出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 動画像に含まれる複数のフレーム画像を入力する入力ステップと、
   前記入力ステップにより入力された複数のフレーム画像のうちの第１のフレーム画像と第２のフレーム画像のそれぞれが所定の比率で縮小された第１の縮小画像と第２の縮小画像を生成する縮小ステップと、
   前記縮小ステップにより生成された前記第１の縮小画像における特徴点を含み且つ所定サイズのフィルタに含まれている画素群と、前記第２の縮小画像において当該所定サイズのフィルタに含まれている画素群とを比較する第１のパターンマッチングを行うことにより、当該第１の縮小画像における当該特徴点に類似する対応点を当該第２の縮小画像において抽出する抽出ステップと、
   前記第１の縮小画像の前記特徴点に対応する前記第１のフレーム画像における特徴点を含み且つ前記所定サイズよりも大きなサイズのフィルタに含まれている画素群と、前記第２のフレーム画像において当該大きなサイズのフィルタに含まれている画素群とを比較する第２のパターンマッチングを、前記抽出手段により抽出された対応点の前記第２の縮小画像における位置に基づき行うことにより、当該第１のフレーム画像における当該特徴点と類似する当該第２のフレーム画像における対応点を算出する算出ステップと、
   前記第１のフレーム画像における前記特徴点と、前記算出ステップにより算出された前記第２のフレーム画像における対応点とに基づいて、当該第１のフレーム画像と当該第２のフレーム画像における動きベクトルを決定する決定ステップと
   を含むことを特徴とする画像処理方法。
10. コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置が備える各手段として機能させるための、又は請求項９に記載の画像処理方法をコンピュータに実行させるための、プログラム。