JP5457606B2 - 画像処理方法及び装置 - Google Patents

Description

本発明は、複数の画像フレーム間での特徴点の位置の変化から、被写体の動きを検出する画像処理方法及び装置に関する。

基準となる画像フレーム（以下、基準フレームと称す）内で複数の特徴点を抽出するとともに、この基準フレームと時系列的に連続した画像フレーム（以下、追跡フレームと称す）から各特徴点に対応した対応点を抽出し、これらを結ぶ動きベクトルによって、特徴点を有する画像に対応する被写体の動きを検出することが行われている。

例えば、複数の動きベクトルが、ほぼ同じ移動量で同じ方向を向いている場合、各特徴点を有する画像に対応した被写体は、静止物体であると推定することができる。そして、この静止した物体に対応する動きベクトルに対し、移動量又は方向が異なる動きベクトルがある場合に、それに対応する被写体は、移動物体であると推定することができる。

対応点の抽出は、輝度値などを利用したパターンマッチングによって行われている。このため、特徴点となった領域の近くに似た特徴を持つ他の領域があると、誤って他の領域を対応点として抽出してしまうことがある（いわゆる誤対応）。こうした誤対応が生じると、静止物体が移動物体として検出されるから、被写体の動きの検出精度が低下することになる。

特許文献１に記載された運動推定装置は、特徴点の周辺のエッジ分布などのパターン情報を特徴量として用い、特徴点とこの周辺にある他の特徴点に対して各特徴量を求め、得られた特徴量から誤対応しやすい特徴点かどうかを判定する。そして、誤対応しやすい特徴点を除くことで、誤対応の発生、及びそれに起因する動きの検出精度の低下を防止している。

特開２０１０−１５７０９３号公報

一般的に、似た特徴を持つ領域が繰り返し表れる撮影シーン（以下、繰り返しパターンの撮影シーンと称す）の画像では、誤対応が生じやすい。例えば、同じ形状の窓が規則正しく並んだビルなどでは、特徴点とその周辺のパターンも似ていることが多いため、特許文献１のように周辺のパターン情報を用いても誤対応を防ぐことができないという問題がある。

また、実際に誤対応が生じてしまった場合に、その対応点は、移動物体に付与されたものとして扱われてしまうが、対応点の動きが、被写体の動きに起因するものであるのか、誤対応に起因するものであるのかを判別する方法も、従来何ら考慮されていない。

本発明は、繰り返しパターンの撮影シーンの場合でも、誤対応の発生を防止するとともに、対応点の動きが、被写体の動きに起因するものであるのか、誤対応に起因するものであるのかを適切に判別する画像処理方法及び装置を提供することを目的とするものである。

上記目的を達成するために、本発明の画像処理装置は、特徴点抽出部と、対応点抽出部と、動き算出部と、移動点算出部と、分類判定部とを備えている。特徴点抽出部は、基準フレーム内で複数の特徴点を抽出する。対応点抽出部は、基準フレームと時系列的に連続した追跡フレーム内で特徴点に対応する対応点を抽出する。動き算出部は、特徴点から対応点に向かう動きベクトルを基に、基準フレームに対する追跡フレームの画面全体の動きを算出する。移動点算出部は、対応点を始点とする画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出する。分類判定部は、移動点の位置が特徴点の位置に対して所定の範囲内にあるか否かを判定する。所定の範囲内にある場合は、対応点が静止点と分類される。所定の範囲内にない場合は、特徴点と移動点との相関性又は対応点と移動点との相関性が判定される。相関性が高い場合は、対応点が誤対応に分類され、相関性が低い場合は対応点を動体点に分類される。

対応点が誤対応に分類された場合に、その対応点の動きベクトルの始点を特徴点から移動点に変更する始点変更部を設けることが好ましい。

対応点が誤対応に分類された場合に、その対応点の特徴点から画面全体の動きに沿った動きベクトルに基づく対応点を追加する対応点追加部を設けることが好ましい。

対応点セット生成部と、正規化部と、誤対応判定部とを設けることが好ましい。対応点セット生成部は、複数の追跡フレームのそれぞれから対応点を抽出し、それらの各対応点が動体点に分類された場合に、それらの各対応点を対応点セットとしてまとめる。正規化部は、対応点セットに含まれる各対応点の動きベクトルを単位時間当たりの大きさに正規化する。誤対応判定部は、正規化後の各対応点の距離が所定値以下か否かを確認し、所定値以下である場合に、対応点セットに含まれる各対応点の対応関係が正しいと判定する。他方、所定値より大きい場合には、対応点セットに含まれる対応点に誤対応があると判定する。

対応点セットに１つの対応点しか含まれていない場合に、その対応点が妥当であるか否かを再評価する再評価部を設けることが好ましい。

動きベクトルと逆変換ベクトルとの長さから、フレーム内の画像に対応した被写体の速度を算出する速度算出部を備えることが好ましい。

被写体の速度から、被写体ブレが発生しない露出条件を設定する露出制御部を備えることが好ましい。

動きベクトルの方向から被写体の動き方向を判断して、被写体のブレを補正する被写体ブレ補正部を備えることが好ましい。

動きベクトルの方向から被写体の動き方向を判断して、被写体を追跡する被写体追跡部を備えることが好ましい。

動きベクトルの大きさから、フレーム内を動き領域と静止領域とに分割し、領域の種類に応じた画像処理をする領域分割部を備えることが好ましい。

本発明の画像処理方法は、特徴点抽出テップと、対応点抽出テップと、動き算出ステップと、移動点算出ステップと、分類ステップとを備えている。特徴点抽出テップは、基準フレーム内から複数の特徴点を抽出する。対応点抽出テップは、基準フレームと時系列的に連続した追跡フレーム内から特徴点に対応する対応点を抽出する。動き算出ステップは、特徴点から対応点に向かう動きベクトルを基に、基準フレームに対する追跡フレームの画面全体の動きを算出する。移動点算出ステップは、対応点を始点とする画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出する。分類ステップは、移動点の位置が特徴点の位置に対して所定の範囲内にあるか否かを判定する。所定の範囲内にある場合は、対応点を静止点に分類する。所定の範囲内にない場合は、特徴点と移動点との相関性又は対応点と移動点との相関性を判定する。相関性が高い場合には対応点を誤対応に分類し、相関性が低い場合には対応点を動体点に分類する。

本発明によれば、移動点の位置が特徴点の位置に対して所定の範囲内にあるか否かを判定し、所定の範囲内にある場合、対応点を静止点に分類する。そして、所定の範囲内にない場合は、特徴点と移動点との相関性又は対応点と移動点との相関性を判定する。この相関性が高い場合は対応点を誤対応に分類し、相関性が低い場合は対応点を動体点に分類する。これにより、繰り返しパターンの撮影シーンの場合でも、誤対応の発生を防止することができるとともに、対応点の動きが、被写体の動きに起因するものであるのか、誤対応に起因するものであるのかを適切に判別することができる。

画像処理装置の構成を示すブロック図である。 基準フレームの一例を示す説明図である。 追跡フレームの一例を示す説明図である。 移動点の算出例を示す説明図である。 画像処理装置の処理手順を概略的に示すフローチャートである。 対応点の分類の判定順序を変えた例を示すフローチャートである。 移動点と対応点との相関によって誤対応か動体点かを判別する例を示すフローチャートである。 動きベクトルの始点を変更する例を示すブロック図である。 始点を変更した動きベクトルを示す説明図である。 動きベクトルの始点を変更する場合の処理手順を示すフローチャートである。 対応点を追加する例を示すブロック図である。 追加した対応点を示す説明図である。 対応点を追加する場合の処理手順を示すフローチャートである。 動体点の誤対応を判定する例を示すブロック図である。 対応点セットの生成の一例を示す説明図である。 動きベクトルの正規化の一例を示す説明図である。 動体点の誤対応を判定する場合の処理手順を示すフローチャートである。 対応点セットに含まれる対応点の数が１つのときに再評価を行う例を示すブロック図である。 対応点セットに含まれる対応点の数が１つのときに再評価を行う場合の処理手順を示すフローチャートである。 図１に示す画像処理装置を内蔵したデジタルカメラを示すブロック図である。

［第１実施形態］
図１に示すように、画像処理装置２は、制御部１０と、記憶部１１と、画像入力部１２と、特徴点抽出部１３と、対応点抽出部１４と、動き算出部１５と、移動点算出部１６と、分類判定部１７と、出力部１８とを備えている。これらの各部は、バス２０を介して相互に接続されている。

記憶部１１は、画像処理装置２の制御に必要な各種のプログラムやデータを記憶するとともに、制御の過程で生じたデータなどを一時的に記憶する。制御部１０は、記憶部１１から各種のプログラムを読み出し、これを逐次処理することによって、画像処理装置２の各部を統括的に制御する。

画像入力部１２は、ネットワークや記録メディアなどを介して、基準となるフレーム（基準フレーム）４と、この基準フレーム４と時系列的に連続したフレーム（追跡フレーム）６とを外部から入力するためのインタフェースである。これらの連続したフレームは、画像入力部１２を介して記憶部１１に記憶される。

基準フレーム４と追跡フレーム６とは、例えば、連続的に撮影された２枚の静止画、あるいは動画内の連続した２つのフィールド画である。そして、画像処理装置２は、このように時系列的に連続した各フレーム４、６に共通に写った被写体の動きを検出するための画像処理を行う。なお、２つのフレームは、主要被写体が共通した撮影シーンであれば、フレーム番号が連続していなくてもよい。特に、複数の追跡フレームを用いる場合は、例えばＮフレーム置きに取り出したフレームでもよい。

特徴点抽出部１３は、図２に示すように、基準フレーム４から複数の特徴点２２を抽出する。特徴点とは、基準フレーム４内の画像上の小領域であって、他の小領域との識別がし易いものであり、例えば、輝度勾配を持ったコーナーなどである。特徴点抽出部１３は、各特徴点２２を抽出したときに、これらの位置を示す座標情報などを抽出結果として記憶部１１に記憶させる。

図２では、５個の特徴点２２ａ〜２２ｅを抽出した例を示している。なお、本明細書では、説明の便宜上、全ての特徴点（例えば２２ａ〜２２ｅ）を指す場合に、アルファベットを除いた数字を用いて、例えば「特徴点２２」と称する。そして、個別の特徴点を指す場合に、これにアルファベットを付して、例えば「特徴点２２ａ」と称す。また、図２では、５つの特徴点を抽出した例を示しているが、実際にはより多数の特徴点が抽出される。

対応点抽出部１４は、図３に示すように、パターンマッチング処理などの周知の手法を用いることにより、各特徴点２２のそれぞれに対応した対応点２４を追跡フレーム６から抽出する。対応点抽出部１４は、各対応点２４を抽出したときに、それらの位置を示す座標情報などを抽出結果として記憶部１１に記憶させる。また、この際に、対応点抽出部１４は、各特徴点２２の情報と各対応点２４の情報とのそれぞれに共通する識別番号などを付与することにより、どの特徴点２２の対応点２４であるかを識別できるようにする。なお、パターンマッチング処理によって特徴点の抽出を行う場合、特徴点２２は、処理に用いる画素データ（輝度値など）を基準フレーム４から取得し、対応点２４は、画素データを追跡フレーム６から取得する。

図３では、図２の各特徴点２２ａ〜２２ｅのそれぞれに対応した５つの対応点２４ａ〜２４ｅを抽出した例を示している。このように、対応点についても特徴点と同様に、全ての対応点を指す場合にはアルファベットを付けず、個別の対応点を指す場合にはアルファベットを付している。また、アルファベットは、特徴点２２との対応関係も示しており、例えば、対応点２４ａは、特徴点２２ａに対応している。

動き算出部１５は、図４に示すように、特徴点２２から対応点２４に向かう動きベクトル２６（図中の実線の矢線、オプティカルフローとも呼ばれる）を各特徴点２２及び各対応点２４のそれぞれについて求める。そして、動き算出部１５は、それらの各動きベクトル２６に対して既存の方法を施すことにより、基準フレーム４に対する追跡フレーム６の視点の移動に起因する画面全体の動き（グローバルモーションとも呼ばれる）を算出する。なお、図４では、便宜的に基準フレーム４と追跡フレーム６とを僅かにずらしているが、実際には、各フレーム４、６が重なった状態で、動きベクトル２６が求められる。

移動点算出部１６は、対応点２４を始点とする画面全体（シーン全体）の動きの逆変換ベクトル２８（図中の二点鎖線の矢線）を求め、その逆変換ベクトル２８の終点の位置を移動点３０として算出する。移動点算出部１６は、各移動点３０を算出したときに、これらの位置を示す座標情報などを算出結果として記憶部１１に記憶させる。

なお、図２〜図４では、特徴点２２を円形のマーク、対応点２４を四角形のマーク、移動点３０を三角形のマークでそれぞれ示しているが、これらの各マークは、説明の便宜上、各点２２、２４、３０の位置を分り易くするためのものであり、実際に各画像４、６に付与されるものでも、各点２２、２４、３０の形状を示すものでもない。

分類判定部１７は、移動点算出部１６による移動点３０の算出結果を基に、対応点２４が、背景などの静止画像に付与された静止点であるか、人や乗り物などの移動物体の画像に付与された動体点であるか、あるいは、繰り返しパターンの撮影シーンなどによって生じた誤対応であるかの分類を行う。

分類判定部１７は、対応点２４の分類を行う場合、まず、移動点算出部１６によって算出された移動点３０の位置が、それに対応する特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。動き算出部１５が算出した画面全体の動きは、静止している点の動きを表すものであるから、図４の対応点２４ａ、２４ｂ、２４ｃのように、静止物体の画像に付与され、かつ特徴点２２と正しい対応関係にある対応点２４では、移動点３０の位置が元の特徴点２２の位置とほぼ一致する。したがって、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。

一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合に、続いて、輝度値などに基づく周知のパターンマッチング処理を行うことなどにより、その移動点３０と対応する特徴点２２との相関性が高いか否かを判定する。なお、パターンマッチング処理によって相関性の判定を行う場合に、移動点３０の画素データは、基準フレーム４から取得する。

図４に示す対応点２４ｄのように、移動物体の画像に付与され、かつ特徴点２２と正しい対応関係に有る対応点２４である場合に、それを始点とする逆変換ベクトル２８の終点の位置に、特徴点２２と相関性の高い物体の画像がある可能性は極めて低い。これに対し、図４の対応点２４ｅのように、静止物体の画像に付与され、かつ誤対応が生じている対応点２４では、それを始点とする逆変換ベクトル２８の終点の位置に、誤対応の要因となった特徴点２２と相関性の高い画像が必ず存在している。

したがって、分類判定部１７は、移動点３０と対応する特徴点２２との相関性が高いと判定した場合に、その対応点２４を誤対応に分類する。相関性が低いと判定した場合に、その対応点２４を動体点に分類する。また、分類判定部１７は、対応点２４の分類を行ったときに、その分類の結果を記憶部１１に記憶させる。

出力部１８は、ネットワークや記録メディアなどを介して、画像処理装置２による画像処理の結果を外部に出力するためのインタフェースである。出力部１８は、例えば、特徴点抽出部１３が抽出した各特徴点２２の座標情報、対応点抽出部１４が抽出した各対応点２４の座標情報、及び分類判定部１７が分類した各対応点２４の分類結果などを記憶部１１から読み出し、処理結果として外部に出力する。

次に、図５に示すフローチャートを参照しながら、上記構成による画像処理装置２の作用について説明する。画像処理装置２に画像処理を実行させる場合には、まず、処理対象となる基準フレーム４と追跡フレーム６とを画像入力部１２に入力する。画像入力部１２は、各フレーム４、６が入力されると、それらを記憶部１１に記憶させる。

制御部１０は、特徴点抽出部１３に特徴点２２の抽出を指示する。特徴点抽出部１３は、制御部１０から特徴点２２の抽出が指示されると、記憶部１１から基準フレーム４を読み出し、その基準フレーム４から複数の特徴点２２を抽出する。そして、その抽出結果を記憶部１１に記憶させる。

次に、制御部１０は、対応点抽出部１４に対応点２４の抽出を指示する。対応点抽出部１４は、制御部１０から対応点２４の抽出が指示されると、追跡フレーム６及び各特徴点２２の抽出結果を記憶部１１から読み出す。そして、各特徴点２２に応じた対応点２４を追跡フレーム６から抽出し、その抽出結果を記憶部１１に記憶させる。

制御部１０は、対応点抽出部１４に各対応点２４を抽出させた後に、動き算出部１５に画面全体（撮影シーン）の動きを算出させるとともに、判定対象とする所定の対応点２４を選択し、その対応点２４に応じた移動点３０を移動点算出部１６に算出させる。この後、制御部１０は、その判定対象の対応点２４の分類を分類判定部１７に指示する。

分類判定部１７は、対応点２４の分類を指示されると、その対応点２４に対応する特徴点２２及び移動点３０の座標情報を記憶部１１から読み出し、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。

分類判定部１７は、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合には、その移動点３０と特徴点２２との相関性が高いか否かを判定する。そして、相関性が高いと判定した場合には、その対応点２４を誤対応に分類し、相関性が低いと判定した場合には、その対応点２４を動体点に分類する。

制御部１０は、分類判定部１７に対応点２４を分類させた後に、次の対応点２４を選択し、同様の処理を繰り返すことにより、特徴点抽出部１３が抽出した全ての各対応点２４の分類を完了させる。

各対応点２４の分類が完了すると、制御部１０は、各特徴点２２の座標情報、各対応点２４の座標情報、及び各対応点２４の分類結果などを、処理結果として出力部１８から外部に出力する。

このように、本実施形態によれば、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かの判定によって、対応点２４が静止点であるか否かを適切に判別することができる。また、移動点３０と特徴点２２との相関性が高いか否かの判定によって、対応点２４が、動体点であるか、誤対応であるかを適切に判別することができる。すなわち、静止点ではないと判別された対応点２４の動きが、被写体の動きに起因するものであるか、誤対応に起因するものであるかを適切に判別することができる。

また、前述のように、本実施形態では、動体の像上の対応点２４が、特徴点２２と正しい対応関係にある場合に、それを始点とする逆変換ベクトル２８の終点の位置に、特徴点２２と相関性の高い物体の画像がある可能性は極めて低いという特性がある。この特性を利用して、対応点２４が動体点であるか、又は誤対応であるかを判別している。こうした特性は、繰り返しパターンの撮影シーンの場合でも変わることがない。したがって、本実施形態によれば、繰り返しパターンの撮影シーンの場合であっても、対応点２４が静止点、動体点、誤対応のいずれであるかを適切に判別することができる。これは、誤対応の発生を適切に防止することを意味している。

上記実施形態では、分類判定部１７で対応点２４の分類を行う際に、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定した後、所定の範囲内にないと判定した場合に、移動点３０と特徴点２２との相関性が高いか否かを判定している。しかし、図６に示すフローチャートのように、これらの判定の順序は逆でもよい。

図６のフローチャートでは、制御部１０から判定対象の対応点２４の分類が指示されたことに応答して、移動点３０と特徴点２２との相関性が高いか否かの判定を行っている。相関性が低いと判定した場合には、その対応点２４を動体点に分類し、相関性が高いと判定した場合には、続いて、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かの判定を行う。そして、所定の範囲内にあると判定した場合には、その対応点２４を静止点に分類し、所定の範囲内にないと判定した場合には、その対応点２４を誤対応に分類する。

このように、移動点３０と特徴点２２との相関性が高いか否かの判定を先に行うようにしても、上記実施形態と同様に、対応点２４が静止点、動体点、誤対応のいずれであるかを適切に判別することができる。

また、上記実施形態では、移動点３０と特徴点２２との相関性が高いか否かの判定を行っているが、図７に示すフローチャートのように、移動点３０と対応点２４との相関性が高いか否かを判定するようにしてもよい。

対応点２４が、移動物体の画像に付与され、かつ特徴点２２と正しい対応関係に有る場合に、対応点２４と特徴点２２とは同一のものであるから、特徴点２２の場合と同様に、対応点２４と移動点３０との相関性も低くなる。一方、対応点２４が、静止物体の画像に付与され、かつ繰り返しパターンに起因する誤対応が生じている場合、特徴点２２と対応点２４との相関性も高いはずであるから、特徴点２２の場合と同様に、対応点２４と移動点３０との相関性も高くなる。

したがって、移動点３０と対応点２４との相関性が高いか否かを判定しても、特徴点２２の場合と同様に、相関性が高い場合には誤対応であり、相関性が低い場合には動体点であると分類することができる。このように、移動点３０と対応点２４との相関性が高いか否かを判定した場合でも、上記実施形態と同様の効果を得ることができる。

［第２実施形態］
次に、本発明の第２の実施形態について説明する。なお、上記第１の実施形態と機能・構成上同一のものについては、同符号を付して詳細な説明を省略する。図８に示すように、本実施形態の画像処理装置４０は、上記第１の実施形態の画像処理装置２の各部に加え、始点変更部４２を備えている。

始点変更部４２は、分類判定部１７が誤対応であると分類した場合に、その対応点２４の動きベクトル２６の始点を特徴点２２から移動点３０に変更することにより、誤対応の動きベクトル２６を正しい向き及び移動量に修正する処理を行う。

誤対応に分類された対応点２４は、静止物体の画像に付与されたものであるから、画面全体の動きの逆変換ベクトル２８の終点である移動点３０の基準フレーム４上の位置には、その対応点２４に対応する画像が存在している。したがって、上記のように、移動点３０の位置を新たな特徴点２２とすることで、誤対応によって誤った方向を向いた動きベクトル２６を、対応点２４に対応した正しい向き及び移動量の動きベクトル２６に修正することができる。

例えば、図４の動きベクトル２６ｅは、対応点２４ｅの誤対応に起因して、他の正常な静止点の動きベクトル２６ａ〜２６ｃと異なる方向を向いている。この動きベクトル２６ｅの始点を、図９に示すように、特徴点２２ｅから移動点３０ｅに変更する。すると、修正後の動きベクトル２６ｅは、他の正常な静止点の動きベクトル２６ａ〜２６ｃと同じ向き及び移動量となる。

次に、図１０に示すフローチャートを参照しながら、上記構成による画像処理装置４０の作用について説明する。なお、判定対象の対応点２４の分類を分類判定部１７に指示するところまでは、上記第１の実施形態の処理と同様であるから、その説明は省略する。

分類判定部１７は、対応点２４の分類が指示されると、その対応点２４に対応する特徴点２２及び移動点３０の座標情報を記憶部１１から読み出し、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。

分類判定部１７は、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合は、続いて、その移動点３０と特徴点２２との相関性が高いか否かを判定する。そして、相関性が高いと判定した場合は、その対応点２４を誤対応に分類し、相関性が低いと判定した場合は、その対応点２４を動体点に分類する。

制御部１０は、分類判定部１７が対応点２４を誤対応に分類した場合に、その対応点２４の動きベクトル２６の始点の変更を始点変更部４２に指示する。始点変更部４２は、始点の変更が指示されると、その対応点２４、及びそれに対応する特徴点２２、移動点３０の各座標情報を記憶部１１から読み出す。そして、動きベクトル２６の始点を特徴点２２から移動点３０に変更することにより、誤対応の動きベクトル２６を正しい向き及び移動量に修正する。このように、動きベクトル２６を修正すれば、正しい動きベクトル２６の数を増やすことができる。

なお、上記のように動きベクトル２６を修正することにより、誤対応に分類された対応点２４は、移動点３０の位置を始点として、これと適切な対応関係にある対応点２４となる。そこで、動きベクトル２６を修正した場合には、その対応点２４の分類を誤対応から静止点に分類し直すようにしてもよい。あるいは、誤対応に分類したまま、動きベクトル２６を修正した情報を残すようにしてもよい。

［第３実施形態］
次に、本発明の第３の実施形態について説明する。図１１に示すように、本実施形態の画像処理装置５０は、上記第１の実施形態の画像処理装置２の各部に加え、対応点追加部５２を備えている。対応点追加部５２は、分類判定部１７が誤対応であると分類した場合に、その対応点２４に対応する特徴点２２から画面全体の動きに沿った動きベクトル２６に基づく対応点２４を追加する処理を行う。

誤対応に分類された対応点２４は、静止物体の画像に付与されたものであるから、その対応点２４に対応する特徴点２２は、追跡フレーム６上において画面全体の動きに応じた方向、及び移動量で移動していると考えられる。したがって、上記のように、画面全体の動きに沿った動きベクトル２６に基づく対応点２４を追加することで、誤対応に分類された対応点２４に対応する特徴点２２の本来の動きを再現することができる。

例えば、図４の対応点２４ｅには、誤対応が生じている。これに対し、図１２に示すように、その対応点２４ｅに対応する特徴点２２ｅから画面全体の動きに沿った動きベクトル２６ｆに基づく対応点２４ｆを追加する。すると、この新たな対応点２４ｆの追跡フレーム６上の位置には、特徴点２２ｅに対応する被写体が存在しており、対応点２４ｆによって、特徴点２２ｅの本来の動きが再現されたことが確認できる。

次に、図１３に示すフローチャートを参照しながら、上記構成による画像処理装置５０の作用について説明する。なお、判定対象の対応点２４の分類を分類判定部１７に指示するところまでは、上記第１の実施形態の処理と同様であるから、その説明は省略する。

分類判定部１７は、対応点２４の分類が指示されると、その対応点２４に対応する特徴点２２及び移動点３０の座標情報を記憶部１１から読み出し、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。

分類判定部１７は、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合、続いて、その移動点３０と特徴点２２との相関性が高いか否かを判定する。そして、相関性が高いと判定した場合には、その対応点２４を誤対応に分類し、相関性が低いと判定した場合には、その対応点２４を動体点に分類する。

制御部１０は、分類判定部１７が対応点２４を誤対応に分類した場合に、その対応点２４に対応する特徴点２２への対応点２４の追加を対応点追加部５２に指示する。対応点追加部５２は、対応点２４の追加を指示されると、その特徴点２２の座標情報を記憶部１１から読み出すとともに、動き算出部１５が算出した画面全体の動きの算出結果を取得する。

そして、その特徴点２２から画面全体の動きに沿った動きベクトル２６に基づく対応点２４を追加することにより、その特徴点２２の本来の動きを再現する。このように、対応点２４を追加すれば、正しい対応点２４及び動きベクトル２６の数を増やすことができる。

なお、対応点追加部５２で新たな対応点２４を追加した後、その追跡フレーム６上の対応点２４と、基準フレーム４上の特徴点２２との相関度を計算することにより、追加した対応点２４の妥当性を評価するようにしてもよい。こうすれば、追加した対応点２４によって特徴点２２の本来の動きが本当に再現できたか否かを確認することができる。

また、特徴点２２から画面全体の動きに沿った動きベクトル２６の終点の位置を算出し、追跡フレーム６上のその位置の周辺から特徴点２２と最も相関の高い点を抽出し、その点を新たな対応点２４として追加するようにしてもよい。こうすれば、誤対応に分類された対応点２４に対応する特徴点２２の本来の動きを、より正確に再現することができる。

さらには、本実施形態の構成と、上記第２の実施形態の構成とを組み合わせて、特徴点２２側と対応点２４側とで２本の正しい動きベクトル２６を増やせるようにしてもよい。

［第４実施形態］
次に、本発明の第４の実施形態について説明する。図１４に示すように、本実施形態の画像処理装置６０は、上記第１の実施形態の画像処理装置２の各部に加え、対応点セット生成部６１と、正規化部６２と、誤対応判定部６３とを備えている。この画像処理装置６０には、基準フレーム４に対して時系列的に連続した複数の追跡フレーム６ａ〜６ｎが入力される。

画像処理装置６０は、上記第１の実施形態と同様の手順で各追跡フレーム６ａ〜６ｎのそれぞれから対応点２４の抽出を行う。そして、画像処理装置６０は、各追跡フレーム６ａ〜６ｎから抽出された複数の対応点２４を基に、動体点の誤対応の判別を行う。

対応点セット生成部６１は、各フレーム６ａ〜６ｎのそれぞれから対応点２４が抽出され、それらの各対応点２４が動体点に分類された場合に、予め各対応点２４に付与された識別情報などを基に、図１５に示すように、同じ特徴点２２に対応する各対応点２４を対応点セット６５としてまとめる。

例えば、図１５では、基準フレーム４から３つの特徴点２２ａ、２２ｂ、２２ｃが抽出され、これに時系列的に連続した１番目の追跡フレーム６ａから各特徴点２２に対応する３つの対応点２４ａ−１、２４ｂ−１、２４ｃ−１が動体点として抽出される。また、１番目の追跡フレーム６ａに時系列的に連続した２番目の追跡フレーム６ｂから各特徴点２２に対応する３つの対応点２４ａ−２、２４ｂ−２、２４ｃ−２が動体点として抽出された例を示している。なお、追跡フレーム６ａ〜６ｎは、Ｎフレームごとに取り出してもよい。

この場合、対応点セット生成部６１は、特徴点２２ａに対応する対応点２４ａ−１、２４ａ−２を対応点セット６５ａとしてまとめ、特徴点２２ｂに対応する対応点２４ｂ−１、２４ｂ−２を対応点セット６５ｂとしてまとめ、特徴点２２ｃに対応する対応点２４ｃ−１、２４ｃ−２を対応点セット６５ｃとしてまとめる。

正規化部６２は、各追跡フレーム６ａ〜６ｎの撮影間隔を単位時間とし、対応点セット６５に含まれる各対応点２４の動きベクトル２６を単位時間当たりの大きさに正規化することにより、図１６に示すように、正規化した動きベクトル６６（以下、正規化ベクトル６６と称す）を生成し、図中逆三角形のマークで示すように、正規化した対応点６７（以下、正規化対応点６７と称す）を得る。なお、各追跡フレーム６ａ〜６ｎの撮影間隔は、例えば、各追跡フレーム６ａ〜６ｎのヘッダ情報などによって予め与えられているものとする。

例えば、図１５の例において、各追跡フレーム６ａ、６ｂが、基準フレーム４からそれぞれ同じ撮影間隔で取り出されている場合は、正規化部６２は、図１６に示すように、２番目の追跡フレーム６ｂに対する各動きベクトル２６ａ−２、２６ｂ−２、２６ｃ−２の移動量を１／２として正規化することにより、それぞれに対応した正規化ベクトル６６ａ、６６ｂ、６６ｃを生成する。なお、３番目の追跡フレーム６ｃに対しては、動きベクトルの移動量を１／３として正規化する。

誤対応判定部６３は、正規化後の各対応点２４、６７を基に、対応点セット６５に含まれる各対応点２４、６７の対応関係が正しいか否かの判定を行う。誤対応判定部６３は、例えば、対応点セット６５を構成する各対応点２４、６７の重心位置を基準とし、その基準位置からの距離が所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定し、所定値より大きい場合に、その対応点２４、６７を誤対応と判定する。

あるいは、対応点セット６５の中のいずれかの対応点２４、６７を基準とし、その基準とした対応点２４、６７からの距離が所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定し、所定値より大きい場合に、その対応点２４、６７を誤対応と判定してもよい。また、図１６のように、対応点２４、６７が２つしかない場合には、それぞれの距離を求め、互いの距離が所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定してもよい。そして、所定値より大きい場合に、その対応点２４、６７の双方を誤対応と判定してもよい。さらに、３つ以上の対応点２４、６７があるが、それぞれの距離が離れている場合には、それらの全てを誤対応と判定してもよい。

例えば、図１６では、対応点２４ａ−１と正規化対応点６７ａ、及び対応点２４ｃ−１と正規化対応点６７ｃは、距離が近いため、誤対応判定部６３は、いずれも正しい対応点２４、６７であると判定する。一方、対応点２４ｂ−１と正規化対応点６７ｂとについては、例えば、正規化対応点６７ｂを基準とした場合に、対応点２４ｂ−１の距離が離れているため、誤対応判定部６３は、対応点２４ｂ−１を誤対応であると判定する。

次に、図１７に示すフローチャートを参照しながら、上記構成による画像処理装置６０の作用について説明する。画像処理装置６０に画像処理を実行させる場合には、まず、処理対象となる基準フレーム４と複数の追跡フレーム６ａ〜６ｎとを画像入力部１２に入力し、上記第１の実施形態と同様の手順で、各特徴点２２の抽出、各対応点２４の抽出、及び各対応点２４の分類を実施する。なお、これらの処理は、上記第２又は第３の実施形態の手順で行っても勿論よい。

制御部１０は、分類判定部１７に各対応点２４の分類を行わせた後、対応点セット生成部６１に対応点セット６５の生成を指示する。対応点セット生成部６１は、対応点セット６５の生成が指示されると、分類判定部１７の分類の結果を基に、動体点に分類された各対応点２４の情報を記憶部１１から読み出し、これらの各対応点２４を同じ特徴点２２に対応するもの毎に対応点セット６５としてまとめる。

制御部１０は、対応点セット６５を生成させた後に、正規化部６２に正規化の実行を指示し、対応点セット６５に含まれる各対応点２４の動きベクトル２６を単位時間当たりの大きさに正規化させることにより、正規化対応点６７を取得する。

制御部１０は、対応点２４の正規化を行った後、判定対象とする所定の対応点セット６５を選択するとともに、その対応点セット６５に含まれるものの中から判定対象とする所定の対応点２４、６７を選択し、その対応点２４、６７の対応関係が正しいか否かの判定の実行を誤対応判定部６３に指示する。

誤対応判定部６３は、判定の実行が指示されると、対応点セット６５を構成する各対応点２４、６７の重心位置、あるいは、対応点セット６５の中のいずれかの対応点２４、６７を基準として決定する。そして、その基準から判定対象の対応点２４、６７までの距離が所定値以下か否かを判定する。所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定し、所定値より大きい場合に、その対応点２４、６７を誤対応と判定する。

制御部１０は、誤対応判定部６３に判定を行わせた後に、これを判定対象の対応点セット６５に含まれる全ての各対応点２４、６７について行わせるとともに、対応点セット生成部６１が生成した全ての対応点セット６５について同様の処理を行わせることにより、処理を完了させる。このように、本実施形態によれば、動体点に分類された対応点２４についても適切に誤対応を除去することができる。

［第５実施形態］
次に、本発明の第５の実施形態について説明する。図１８に示すように、本実施形態の画像処理装置７０は、上記第４の実施形態の画像処理装置６０の各部に加え、再評価部７２を備えている。

再評価部７２は、対応点抽出部１４が対応点２４の抽出に失敗したり、上記第４の実施形態の判定によって誤対応と判定されたりするなどして、対応点セット６５に含まれる正しい対応点２４又は正規化対応点６７の数が１つとなった場合に、その対応点２４又は正規化対応点６７が妥当であるか否かの再評価を行う。そして、再評価部７２は、妥当であると評価した場合に、その対応点２４又は正規化対応点６７の対応関係が正しいと判定する。また、妥当ではないと評価した場合に、その対応点２４又は正規化対応点６７を誤対応と判定する。

再評価部７２での再評価は、例えば、対応点抽出部１４で抽出を行う場合よりも高い閾値を用いた厳しい条件で特徴点２２と対応点２４又は正規化対応点６７との相関性を評価することによって行われる。また、この際、被写体の平坦部やエッジではなく頂点となっているかなど、特徴点２２が特徴点として相応しいか否かを評価の対象に含めるようにしてもよい。

次に、図１９に示すフローチャートを参照しながら、上記構成による画像処理装置７０の作用について説明する。なお、判定対象の対応点セット６５に含まれる全ての各対応点２４、６７について誤対応の判定を行うところまでは、上記第４の実施形態と同様であるからその説明は省略する。

制御部１０は、判定対象の対応点セット６５に含まれる全ての各対応点２４、６７について誤対応の判定を行わせた後、その対応点セット６５に含まれる対応点２４、６７の数が１つか否かを判定する。そして、対応点２４又は正規化対応点６７の１つしか含まれていないと判定した場合に、再評価部７２に再評価の実行を指示する。

再評価部７２は、再評価の実行が指示されると、対応点抽出部１４よりも厳しい条件で、その対応点２４又は正規化対応点６７と特徴点２２との相関性を評価することにより、その対応点２４又は正規化対応点６７が妥当であるか否かを再評価する。そして、再評価部７２は、妥当であると評価した場合に、その対応点２４又は正規化対応点６７の対応関係が正しいと判定し、妥当ではないと評価した場合に、その対応点２４又は正規化対応点６７を誤対応と判定する。

制御部１０は、再評価部７２に再評価を行わせた後、対応点セット生成部６１が生成した全ての対応点セット６５について同様の処理を行わせることにより、処理を完了させる。このように、本実施形態によれば、動体点に分類された対応点２４の誤対応の除去を、より高精度に行うことができる。また、分類判定部１７などでの各種の判定を経た後で誤対応の可能性の高い対応点２４、６７のみを対象に、再評価部７２で再評価を行うため、効率よく誤対応の判定、除去を行うことができる。

記憶部１１には、各特徴点２２の位置座標、各対応点２４の位置座標、対応点が静止点か動体点かの分類結果の他に、動き算出部１５で算出された各特徴点の動きベクトル２６と、動き算出部１５で求めた画面全体の動きに基づき、移動点算出部１６で求めた逆変換ベクトル２８等が記憶されている。これらの動き情報は、出力部１８を介して外部機器に送られる。

動き情報の利用例としては、例えば動きベクトルの大きさからフレーム内を複数の領域に分割したり、動きベクトルの長さから被写体のフレーム上での動き量を求めたり、動きベクトルの方向から被写体の動き方向を求め、これらに基づいて画像処理をすることが挙げられる。

上記各実施形態では、単体の画像処理装置であるが、本発明の画像処理装置は、デジタルカメラ、放送用テレビカメラ等に組み込んでもよい。図２０は、図１に示す画像処理装置をデジタルカメラに組み込んだ実施形態を示すものである。デジタルカメラ８０は、画像処理装置２と、カメラ部８１を備える。カメラ部８１は、撮像部８２、メモリ８３、モニタ８４、制御部８５等を備えている。

撮像部８２は、周知のように、撮影光学系とイメージセンサを有し、撮影シーンの静止画又は動画を撮影して、メモリ８３に記憶する。このメモリ８３は、撮影済みの静止画又は動画を記憶する第１の記憶部と、静止画撮影前のフレーミング中の動画（以下、スルー画という）を一時的に記憶する第２の記憶部を有する。モニタ８４は、静止画のフレーミング時にはスルー画を表示し、再生時には撮影済み静止画又は動画を表示する。フレーミング中には、第２記憶部に一時的に記憶された動画がメモリ８３から画像処理装置２に送られる。画像再生時には、記録済み動画又は静止画がメモリ８３から画像処理装置２の画像入力部１２に送られる。制御部８５は、カメラ部８１内の各回路を制御する他に、画像処理装置２の制御部１０に、被写体の動き検出の実行を指示する。

カメラ部８１には、露出制御部８７、速度算出部８８、被写体ブレ補正部８９、被写体追跡部９０、領域分割部９１が設けられている。露出制御部８７は、速度算出部８８で算出した動体の移動速度から露出条件（絞り値、シャッタ速度（電荷蓄勢時間））を設定する。被写体ぶれ補正部８９は、動体の動き方向に応じて、撮影光学系内の補正レンズを移動して被写体のブレを補正する。被写体追跡部９０は、指定された被写体の移動を追跡する。この被写体にはマークが付された状態でモニタ上に表示される。領域分割部９１は、動き量に応じてフレーム内を分割する。なお、符号９２は、バスである。

静止画撮影のフレーミング中には、メモリ８３の第２記憶部に一時的に記憶された動画が画像処理装置２の画像入力部１２に送られる。前述したように、画像処理装置２では、複数のフレーム間で画像の比較を行って、スルー画の動き情報を取得する。この動き情報は、出力部１８を介してカメラ部８１に送られる。

速度算出部８８は、スルー画の動き情報の中から、動きベクトル２６と逆変換ベクトル２８を用い、動きベクトルの長さから逆変換ベクトルの長さを減算することで、動いている被写体（動体）のフレーム上での動き量を算出する。この動き量と、被写体距離、撮影レンズ系の焦点距離等から、動体の速度を求める。露出制御部８７は、動体速度に基づいて、被写体ブレが発生しないシャッタ速度を算出する。そして、被写体輝度とシャッタ速度とから絞り値を算出する。露出制御部８７で求めたシャッタ速度と絞り値とで、静止画撮影時の露出が制御される。また、動体の速度をモニタ８４に表示してもよい。

被写体ブレ補正部８９は、動きベクトルの方向及びフレーム上での動き量から、被写体ブレを補正するための補正レンズの移動方向と移動量を求める。静止画の撮影時に、補正レンズを移動して被写体ブレを補正し、鮮明な静止画を記録する。

被写体追跡部９０は、指定された被写体の移動を追跡し、マークを付した状態でモニタ８４上に表示する。注目した動体のフレーム内での動きを知ることができる。

領域分割部９１は、動きベクトルの大きさから、動き領域と静止領域とに分割する。これらの静止領域及び動き領域に対して、ノイズ低減処理、色調・彩度調整を行う。動き領域は動体であるから、この動き領域を切り出して、別のフレームに貼り合わせて、画像合成をすることができる。また、静止領域に対しても、領域切り出しと、別のフレームへの貼り付けをしてもよい。なお、この領域分割及びこれに基づいた画像処理は、記録済みの静止画又は動画に対して行ってもよい。

露出制御部８７、速度算出部８８、被写体ブレ補正部８９、被写体追跡部９０、領域分割部９１は、画像処理装置２に設けてもよい。

なお、上記各実施形態では、被写体が平行移動した場合について説明を行ったが、画面全体の動きは、被写体の回転や拡大縮小、及びこれらが組み合わされた場合の静止点の動きも表すことができる。したがって、本発明によれば、被写体が平行移動、回転、拡大縮小、及びこれらが組み合わされた場合でも、上記各実施形態で示したように、適切に対応点２４の判別を行うことができる。

２、４０、５０、６０、７０ 画像処理装置
４ 基準フレーム
６ 追跡フレーム
１３ 特徴点抽出部
１４ 対応点抽出部
１５ 動き算出部
１６ 移動点算出部
１７ 分類判定部
２２ 特徴点
２４ 対応点
２６ 動きベクトル
２８ 逆変換ベクトル
３０ 移動点
４２ 始点変更部
５２ 対応点追加部
６１ 対応点セット生成部
６２ 正規化部
６３ 誤対応判定部
７２ 再評価部
８０ デジタルカメラ
８１ カメラ部

Claims (11)

1. 基準フレーム内で複数の特徴点を抽出する特徴点抽出部と、
   前記基準フレームと時系列的に連続した追跡フレーム内で前記特徴点に対応する対応点を抽出する対応点抽出部と、
   前記特徴点から前記対応点に向かう動きベクトルを基に、前記基準フレームに対する前記追跡フレームの画面全体の動きを算出する動き算出部と、
   前記対応点を始点とする前記画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出する移動点算出部と、
   前記移動点の位置が前記特徴点の位置に対して所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記対応点を静止点に分類するとともに、所定の範囲内にない場合に、前記特徴点と前記移動点との相関性又は前記対応点と前記移動点との相関性を判定し、相関性が高い場合には前記対応点を誤対応に分類し、相関性が低い場合には前記対応点を動体点に分類する分類判定部と、
   を備える画像処理装置。
2. 前記対応点が誤対応に分類された場合に、その対応点の前記動きベクトルの始点を前記特徴点から前記移動点に変更する始点変更部を備える請求の範囲第１項記載の画像処理装置。
3. 前記対応点が誤対応に分類された場合に、その対応点の前記特徴点から前記画面全体の動きに沿った前記動きベクトルに基づく対応点を追加する対応点追加部を備える請求の範囲第１項記載の画像処理装置。
4. 前記基準フレームと時系列的に連続した複数の前記追跡フレームのそれぞれから前記対応点が抽出され、それらの各対応点が動体点に分類された場合に、それらの各対応点を対応点セットとしてまとめる対応点セット生成部と、
   前記対応点セットに含まれる前記各対応点の前記動きベクトルを単位時間当たりの大きさに正規化する正規化部と、
   正規化後の前記各対応点の距離が所定値以下か否かを確認し、所定値以下である場合に、前記対応点セットに含まれる前記各対応点の対応関係が正しいと判定し、そして所定値より大きい場合に、前記対応点セットに含まれる前記対応点に誤対応があると判定する誤対応判定部と、
   を備える請求の範囲第１項記載の画像処理装置。
5. 前記対応点セットに１つしか前記対応点が含まれていない場合に、その対応点が妥当であるか否かを再評価する再評価部を備える請求の範囲第４項記載の画像処理装置。
6. 前記動きベクトルと前記逆変換ベクトルとの長さとから、前記フレーム内の画像に対応した被写体の速度を算出する速度算出部を備える請求の範囲第１項記載の画像処理装置。
7. 前記被写体の速度から、被写体ブレが発生しない露出条件を設定する露出制御部を備える請求の範囲第６項記載の画像処理装置。
8. 前記動きベクトルの方向から被写体の動き方向を判断して、被写体のブレを補正する被写体ブレ補正部を備える請求の範囲第１項記載の画像処理装置。
9. 前記動きベクトルの方向から被写体の動き方向を判断して、被写体を追跡する被写体追跡部を備える請求の範囲第１項記載の画像処理装置。
10. 前記動きベクトルの大きさから、前記フレーム内を動き領域と静止領域とに分割し、領域の種類に応じた画像処理をする領域分割部を備える請求の範囲第１項記載の画像処理装置。
11. 基準フレーム内から複数の特徴点を抽出するステップと、
    基準フレームと時系列的に連続した追跡フレーム内から前記特徴点に対応する対応点を抽出するステップと、
    前記特徴点から前記対応点に向かう動きベクトルを基に、前記基準フレームに対する前記追跡フレームの画面全体の動きを算出するステップと、
    前記対応点を始点とする前記画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出するステップと、
    前記移動点の位置が前記特徴点の位置に対して所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記対応点を静止点に分類するとともに、所定の範囲内にない場合に、前記特徴点と前記移動点との相関性又は前記対応点と前記移動点との相関性を判定し、相関性が高い場合には前記対応点を誤対応に分類し、相関性が低い場合には前記対応点を動体点に分類するステップと、
    を有する画像処理方法。

Images