JP6657622B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

画像認識の技術として、入力された画像を解析し、画像中に含まれる物体等を特定する画像解析技術が用いられている。このような技術においては、所定のフレームレートに従って連続して入力される画像から特徴点を抽出し、異なるフレームの画像において対応する特徴点に同一のＩＤを割り当てることにより、特徴点を追跡する。

このような技術として、可用性の高い特徴点を画像から抽出するため、新たに特定された候補点を特徴点として設定するか否かを既に設定されている特徴点との対比に基づいて判定する方法が提案されている（例えば、特許文献１参照）。特許文献１に開示された技術によれば、既に設定されている特徴点と新たに特定された候補点とが画像内で予め定められた範囲内に存在する場合に、両者のスコアを比較した結果に基づいて新たに特定された候補点を特徴点として設定する。

特許文献１に開示された技術においては、既に設定されている特徴点と、新たに特定された候補点との位置関係の計算及びスコアの比較が必要である。この処理は、フレーム毎に実行されることとなるが、例えば入力される映像が３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の場合、１フレームの間隔は３３ｍｓであり、その間に上記処理を完了する必要がある。

しかしながら、上述した画像認識の技術においては、前提となる処理として特徴点をフレーム毎に追跡する処理も必要であり、その処理に加えて新たに特定された候補点の判断処理を行うこととなると、その処理期間は非常にシビアなものとなる。また、画像サイズが大きくなればそれだけ処理対象となる候補点、特徴点の数も多くなる。そのため、甲フレームレートに対応するためにはフレーム毎に必要な処理の簡略化が求められる。

本発明は、上記実情を考慮してなされたものであり、動画として連続して入力される各画像から抽出された特徴点を追跡することによって動画における物体の動きを解析する場合に、フレーム毎に必要となる処理を簡略化することを目的とする。

上記課題を解決するために、本発明の一態様は、所定間隔で連続して入力される複数の画像において表示されている対象物について、前記複数の画像における動きを解析する画像処理装置であって、前記画像が入力される都度、入力された画像における特徴的な点である特徴点を抽出し、前記連続して入力される複数の画像において動きを追跡する対象の候補点として記憶媒体に記憶させる候補点抽出部と、抽出された前記候補点を追跡対象の特徴点として記憶媒体に記憶させる特徴点追加部と、前記画像が新たに入力された際に、前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出することにより、前記特徴点を追跡する追跡処理部と、前記新たに入力された画像から抽出されることによって追跡された前記特徴点の前記画像における位置に基づき、前記画像の全範囲について、新たな特徴点の追加の可否が指定された情報である重複除去マップを生成する重複除去マップ生成部と、を含み、前記重複除去マップ生成部は、前記新たに入力された画像から抽出されることによって追跡された前記特徴点の前記画像における位置に対応する所定の範囲について、新たな特徴点の追加が不可能であることを指定し、前記特徴点追加部は、抽出された前記候補点の位置が、前記重複除去マップにおいて新たな特徴点の追加が可能であることが指定されている場合に、抽出された前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、前記特徴点追加部は、前記画像を構成する全主走査ラインを所定のライン毎に分割した夫々の分割ラインについて設定された特徴点の上限数を参照し、抽出された前記候補点が含まれる前記分割ラインについて、既に記憶されている前記特徴点の数が前記上限数未満である場合に、前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、前記追跡処理部は、前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出した場合に、前記特徴点が新たに入力された前記画像から抽出された位置を示す情報を記憶媒体に記憶させることによって前記特徴点を追跡し、前記記憶媒体に追跡対象として記憶されている特徴点が含まれる前記分割ラインと、前記特徴点が新たに入力された前記画像から抽出された位置が含まれる前記分割ラインとが異なる場合、前記特徴点が新たに入力された前記画像から抽出された位置を一時的に記憶する一時記憶部に記憶させ、前記特徴点追加部は、前記一時記憶部に記憶された前記特徴点が含まれる前記分割ラインについて、既に記憶されている前記特徴点の数が前記上限数未満である場合に、前記一時記憶部に記憶された特徴点を追跡対象の特徴点として記憶媒体に記憶させる、ことを特徴とする。

本発明によれば、動画として連続して入力される各画像から抽出された特徴点を追跡することによって動画における物体の動きを解析する場合に、フレーム毎に必要となる処理を簡略化することが可能となる。

本発明の実施形態に係る画像処理装置の全体構成を示す図である。 本発明の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像処理装置による候補点の抽出動作を示すフローチャートである。 本発明の実施形態に係るラインバッファに格納された画像データの例を示す図である。 本発明の実施形態に係るフィルタ計算結果に含まれる情報の例を示す図である。 本発明の実施形態に係る抽出結果情報の例を示す図である。 本発明の実施形態に係る画像領域に応じた閾値設定の例を示す図である。 本発明の実施形態に係る特徴店の追跡動作を示すフローチャートである。 本発明の実施形態に係る追跡結果記憶部に記憶される情報の例を示す図である。 本発明の実施形態に係る画像パッチによるマッチング処理の態様を示す図である。 本発明の実施形態に係る特徴店の追跡処理とバンドとの関係を示す図である。 本発明の実施形態に係る重複除去マップの例を示す図である。 本発明の実施形態に係る重複除去マップの例を示す図である。 本発明の実施形態に係る重複除去マップによって識別される重複エリアの例を示す図である。 本発明の実施形態に係る重複除去動作を示すフローチャートである。 本発明の実施形態に係る重複除去動作におけるバンド毎の上限値の判断例を示す図である。 本発明の実施形態に係る追跡範囲指定情報の例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、カメラによって撮像されてリアルタイムに入力される映像をフレーム毎に解析し、映像に含まれる物体の動きを解析する画像処理装置を例として説明する。そのような画像処理装置において、各フレームの画像から新たに抽出される特徴点の候補点を採用するか否かの判断を簡略化することが本実施形態に係る要旨の１つである。

図１は、本実施形態に係る画像処理装置の全体構成を示す図である。図１に示すように、本実施形態に係る画像処理装置は、画像解析装置１及びカメラ２を含む。画像解析装置１は、カメラ２から所定のフレームレートで、即ち所定間隔で連続して入力される画像を解析し、画像を構成する画素のうち特徴的な点を特徴点として抽出し、フレームの異なる画像において特徴点がどのように移動しているかを解析する画像処理装置である。これにより、画像に表示されている対象物の動きを解析することができる。

カメラ２は、光学的に撮影した画像を電気信号に変換して画像情報として出力する一般的な撮像装置である。本実施形態に係るカメラ２は、撮像により生成した画像の情報を、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートで出力する。尚、本実施形態においてはカメラ２がリアルタイムの映像情報を出力し、画像解析装置１がその情報を解析する場合を例として説明するが、既に撮像されて録画された動画情報を画像解析装置１が解析する場合にも適用可能である。

また、本実施形態においては、図１に示すように画像解析装置１とカメラ２とが夫々異なる装置である場合を例として説明する。この他、スマートフォンやタブレット端末、ノートＰＣ等で、情報処理装置と撮像デバイスとが一体に構成された装置であっても同様に実現可能である。

図２は、本実施形態に係る画像解析装置１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る画像解析装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を含む。即ち、本実施形態に係る画像解析装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３及びＩ／Ｆ１４がバス１７を介して接続されている。また、Ｉ／Ｆ１４には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１５及び操作部１６が接続されている。また、図１において説明したカメラ２もＩ／Ｆ１４を介して接続される。

ＣＰＵ１０は演算手段であり、画像解析装置１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ１３は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。Ｉ／Ｆ１４は、バス１７と各種のハードウェアやネットワーク等を接続し制御する。

ＬＣＤ１５は、装置のオペレータが画像解析装置１の状態を確認するための視覚的ユーザインタフェースである。操作部１６は、オペレータが画像解析装置１に情報を入力するためのユーザインタフェースである。尚、画像解析装置１がスタンドアロンのサーバとして動作する場合には、ＬＣＤ１５及び操作部１６は省略可能である。

このようなハードウェア構成において、ＲＯＭ１２に格納されたプログラムや、ＨＤＤ１３若しくは図示しない光学ディスク等の記録媒体からＲＡＭ１１に読み出されたプログラムに従ってＣＰＵ１０が演算を行う事により、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像解析装置１の機能を実現する機能ブロックが構成される。

次に、図３を参照して、本実施形態に係る画像解析装置１の機能構成について説明する。図３に示すように、本実施形態に係る画像解析装置１は、画像取得部１１０、候補点抽出部１２０、特徴点追跡処理部１３０、フレームバッファ１４０、重複除去処理部１５０、抽出結果記憶部１６０及び追跡結果出力部１７０を含む。以下、夫々の機能モジュールについて説明する。

画像取得部１１０は、カメラ２からフレーム毎に出力される画像情報を取得する。画像取得部１１０はカメラ２から出力される画像情報の形式によって異なる。例えば、カメラ２がデジタル化された画像情報をフレーム毎に出力する場合、画像取得部１１０はその画像情報を取得して後段のモジュールに転送する機能を担う。

他方、カメラ２が光電変換された電気信号を出力する場合、画像取得部１１０はその電気信号を取得して画像情報に変換する機能や、レンズによる画像の歪みを補正する機能を担う。画像取得部１１０は、このようにしてフレーム毎に取得した画像情報を候補点抽出部１２０、特徴点追跡処理部１３０及びフレームバッファ１４０に夫々転送する。

候補点抽出部１２０は、カメラ２から入力された画像を解析して追跡対象の特徴点の候補となる候補点を抽出するモジュールであり、ラインバッファ１２１及び抽出処理部１２２を含む。ラインバッファ１２１は、候補点抽出部１２０において候補点の抽出対象となる画像を構成する画素データを一時的に記憶する記憶媒体であり、予め定められた所定のライン数分の画像データを記憶可能な記憶媒体である。本実施形態に係る候補点抽出部１２０においては、４５ライン毎に解析処理が行われるため、ラインバッファ１２１は４５ライン分の画素データを保持可能な記憶容量を有する。

解析対象の画像情報を、１フレーム分の画像を記憶するフレームバッファではなく所定のライン数分の画像を記憶するラインバッファに格納して解析処理を行うことにより、１フレーム分の画像が転送されるのを待たずに解析処理を介することが可能となる。これにより、フレーム毎に入力される画像のタイミングに対する追跡処理の遅延を短縮することが可能である。

また、本実施形態においては、図３に示すように２つのラインバッファによるダブルバッファリング方式が用いられる。そのため、ラインバッファ１２１としては、合計で９０ライン分の画素データを保持可能な記憶容量が設けられる。これにより、一方のラインバッファに格納された画像データに対して解析処理が行われている間に他方のラインバッファに対して新たな画像データの格納を行うことが可能となり、高速な処理が実現される。

抽出処理部１２２は、ラインバッファ１２１に格納された画像データを解析することにより、新たに追跡対象となる特徴点の候補となる候補点を抽出して抽出結果記憶部１６０に記憶させる。抽出処理部１２２による候補点の抽出処理については後に詳述する。

特徴点追跡処理部１３０は、カメラ２から入力された画像を解析し、既に特徴点として解析対象となっている特徴点がフレーム毎にどのように移動しているかを追跡するモジュールであり、ラインバッファ１３１及び追跡処理部１３２を含む。ラインバッファ１３１は、特徴点追跡処理部１３０において候補点の抽出対象となる画像を構成する画素データを一時的に記憶する記憶媒体であり、その意義やダブルバッファリング機能などは候補点抽出部１２０と同様である。

追跡処理部１３２は、１つ前のフレームの画像までにおいて既に特定されて追跡対象となっている特徴点が、新たに入力された画像であるラインバッファ１３１に記憶された画像のどこに存在するかを解析し、その解析結果を重複除去処理部１５０に受け渡す。その際、追跡処理部１３２は、既に特定されている特徴点の周囲の画像をリファレンス画像としてフレームバッファ１４０から取得し、新たに入力された画像とのマッチング処理を行う。追跡処理部１３２による特徴点の追跡処理については後に詳述する。

フレームバッファ１４０は、フレーム毎に連続して画像解析装置１に入力される画像において、特徴点追跡処理部１３０による解析対象のフレームの１つ前のフレームの画像を記憶している記憶媒体である。フレームバッファ１４０に記憶されている画像は、上述したように特徴点追跡処理部１３０によるリファレンス画像として用いられる。

重複除去処理部１５０は、抽出処理部１２２によって抽出された特徴点の候補点を、追跡処理部１３２による追跡対象の特徴点として加えるか否か判断するモジュールである。図３に示すように、重複除去処理部１５０は、追跡結果記憶部１５１、追跡結果一時記憶部１５２、ＩＤ ＦＩＦＯ１５３、重複除去マップ生成部１５４及び新規特徴点追加判断部１５５を含む。

追跡結果記憶部１５１は、追跡対象の特徴点の情報を記憶している記憶部である。追跡結果一時記憶部１５２は、追跡対象の特徴点の情報のうち、追跡処理部１３２によって追跡処理された結果、バンドをまたいで移動した特徴点を一時的に記憶する一時記憶部である。バンドとは、複数のラインをまとめた解析単位であり、例えば１５ライン程度のラインのまとまりによって構成される。換言すると、バンドとは、フレームの画像を構成する全主走査ラインを所定のライン毎に分割した夫々の分割ラインである。バンドによる解析単位及び追跡結果一時記憶部１５２の趣旨については後述する。

ＩＤ ＦＩＦＯ１５３は、抽出結果記憶部１６０に記憶された候補点を新たに追跡対象の特徴点とする場合に、若い番号から順番にＩＤを割り当てる。また、ＩＤ ＦＩＦＯ１５３は、特徴点が追跡対象から除外された場合に、その特徴点に割り振られていたＩＤを回収して新たに割り当て可能なＩＤとして管理する。

重複除去マップ生成部１５４は、追跡結果記憶部１５１及び追跡結果一時記憶部１５２に記憶された追跡対象の特徴点に基づき、新たな特徴点の追加を排除する画像領域を示す情報である重複除去マップを生成する。この重複除去マップは、解析対象の画像の全範囲について、新たな特徴点の追加の可否が指定された情報である。このような情報に基づいて判断することにより、新たな特徴点の追加可否を迅速に判断することが本実施形態に係る要旨の１つである。

新規特徴点追加判断部１５５は、重複除去マップ生成部１５４によって生成された重複除去マップに基づき、抽出結果記憶部１６０に記憶された候補点の追加可否を判断して、新たな特徴点を追跡結果記憶部１５１に登録する。即ち、新規特徴点追加判断部１５５が、特徴点追加部として機能する。追跡結果出力部１７０は、上述したような機能により追跡結果記憶部１５１に記憶されたフレーム毎の特徴点の情報を、フレーム毎に出力する。

このような画像解析装置１の機能について、まず候補点抽出部１２０による候補点の抽出動作について図４を参照して説明する。図４に示すように、まずはラインバッファ１２１が画像取得部１１０から解析対象のライン分の画素データを取得する（Ｓ４０１）。尚、上述したように、ラインバッファ１２１への画素データの格納と、抽出処理部１２２による画像解析処理とは、ダブルバッファリングにより２つのラインバッファ１２１が交互に用いられることによって並列して実行される。

図５は、ラインバッファ１２１に格納された画素データの状態を模式的に示す図である。図５の例においては、主走査ライン毎の画素データがＶ_１１、Ｖ_１２、Ｖ_１３・・・、Ｖ_２１、Ｖ_２２、Ｖ_２３・・・、Ｖ_３１、Ｖ_３２、Ｖ_３３・・・、として示されており、ラインバッファ１２１に対しては、その順番で画素データが格納される。

抽出処理部１２２は、ラインバッファ１２１に格納された画素データに対してフィルタ処理を行う（Ｓ４０２）。本実施形態において抽出処理部１２２は、３×３のＳｏｂｅｌフィルタをｘ方向、ｙ方向に対して適用することにより、夫々の処理結果であるｄｘ、ｄｙを取得する。図５においてはフィルタが適用される画素の範囲の例が太い破線で示されている。そのようにして得られたｄｘ、ｄｙをパラメータとして、ｄｘｄｘ、ｄｘｄｙ、ｄｙｄｙを夫々計算する。

そのようにしてラインバッファ１２１に格納された夫々の画素についてｄｘｄｘ、ｄｘｄｙ、ｄｙｄｙが得られると、抽出処理部１２２は、更に夫々の値に対してＧａｕｓｓｉａｎフィルタを適用する。これにより、ラインバッファ１２１に格納された夫々の画素（ｘ，ｙ）毎に、図６に示すようにａ、ｂ、ｃの値が得られる。

そのようにしてラインバッファに格納された画素データについてフィルタ処理が完了すると、次に抽出処理部１２２は、特徴点を抽出するために解析対象とするブロックを選択する（Ｓ４０３）。ブロックとは、各フレームを構成する画像の全領域を特定の領域毎に分割した単位であり、本実施形態においては３２×３２の画素の範囲を１ブロックとする。このようにブロック単位で特徴点の候補点を１つずつ抽出することにより、狭い領域から集中して候補点が抽出されるようなことを防ぐことが出来る。

ブロックを選択すると、抽出処理部１２２は、ブロックに含まれる各画素について、Ｈａｒｒｉｓオペレータ値を計算してスコア値を算出する（Ｓ４０４）。Ｓ４０４において抽出処理部１２２は、以下の式（１）の計算を行う。尚、式（１）におけるａ、ｂ、ｃは、夫々図６に示す値であり、ｋは所定の定数である。

Ｓ４０４の処理により選択中のブロックに含まれる画素についてスコア値が算出されると、抽出処理部１２２は、算出されたスコア値もうち最も高いスコア値を抽出し（Ｓ４０５）、抽出したスコア値が所定の閾値を超えているか否か判断する（Ｓ４０６）。その結果、抽出したスコア値が所定の閾値を超えていた場合（Ｓ４０６／ＹＥＳ）、抽出処理部１２２は、選択中のブロックについて、そのスコア値の計算の元となった画素の座標を候補点として抽出結果記憶部１６０に記憶させる。これにより、図７に示すように抽出結果情報が記憶される。

他方、抽出したスコア値が所定の閾値以下であった場合（Ｓ４０６／ＮＯ）、抽出処理部１２２は、選択中のブロックについては候補点の登録を行わない。そして、抽出処理部１２２は、画像を構成するすべてのブロックについて処理が完了するまでＳ４０３からの処理を繰り返し（Ｓ４０８／ＮＯ）、全ブロックについて処理が完了したら（Ｓ４０８／ＹＥＳ）、処理を終了する。候補点抽出部１２０は、図４に示す動作をフレーム毎、即ち新たなフレームの画像が入力される都度実行する。

尚、Ｓ４０８において判断される全ブロックとは、１フレームを構成する画像に含まれる全ブロックである。上述したように、本実施形態に係る候補点抽出部１２０はダブルバッファリングによりラインバッファ１２１への画素データの格納を待つことなく連続して処理が可能である。従って、抽出処理部１２２は、Ｓ４０２においてフィルタ処理を行う対象のラインバッファ１２１を切り替えながら、１フレーム分の画像について処理が完了するまで連続して処理を行う。

Ｓ４０６において比較判断される閾値とは、抽出された画素の特徴が、追跡対象とするのにふさわしい程に顕著なものであるか否かを判断するための閾値である。この閾値としてはパラメータとして固定値を用いることが可能である。閾値としてふさわしい値は、経験的に決定可能である。

他方、既に解析処理された過去のフレームに対する抽出処理で算出されたスコア値に基づいて動的に決定された値を用いても良い。これにより、暗いシーンから明るいシーンに変化し、更に暗いシーンに変化するようなシーンの変化に対応することが可能である。同様に、各フレームの画像を構成する画素値に基づいて算出される画像の明るさの指標値に基づいて閾値を補正しても良い。

また、カメラ２によって生成される画像データは、カメラ２に含まれるレンズの影響を受ける。そして、レンズの中心は光が集まりやすいので明るく、レンズの外側になるほど暗くなる傾向がある。図８は、そのような画像の明るさと画像のブロック分けを概念的に示す図である。そのため、例えばブロックごとに閾値を変更し、画像の中心から外側に向かって閾値を変化させるようにしても良い。これにより、画像の中心、外側によらずに均等に候補点を抽出することが可能である。各ブロック単位での閾値の設定については、上述したようにパラメータによる固定値としても良いし、過去の画像フレームにおいて算出されたスコア値に基づいて決定しても良い。

次に、本実施形態に係る特徴点追跡処理部１３０による特徴点の追跡動作について図９を参照して説明する。図９のフローチャートは、図４と同様に１フレーム分の画像に対する解析動作を示す。図９に示すように、まずはラインバッファ１３１が画像取得部１１０から解析対象のライン分の画素データを取得する（Ｓ９０１）。ラインバッファ１３１による画素データの取得は、図５において説明したラインバッファ１２１の態様と同様である。

続いて、重複除去マップ生成部１５４が、重複除去マップを初期化する。重複除去マップが初期化されると、追跡処理部１３２は、追跡結果記憶部１５１から、前フレームにおいて追跡若しくは特定された特徴点を１つ選択し（Ｓ９０３）、その特徴点を中心とした所定範囲の画像である画像パッチをフレームバッファ１４０から取得する（Ｓ９０４）。

図１０は、追跡結果記憶部１５１に記憶される情報の例を示す図である。図１０に示すように、追跡結果記憶部１５１においては、特定されている特徴点について、識別子である“特徴点ＩＤ”、その特徴点の位置を示す“座標”及び“追跡回数”が関連付けられて記憶されている。“追跡回数”は、その特徴点が何フレーム連続して追跡されているかを示す情報であり、値が大きい程、連続して追跡されている点であるため、信頼性が高いと判断される。追跡処理部１３２はＳ９０４において、選択した特徴点の“座標”を中心とした所定範囲の画素データをフレームバッファ１４０から取得する。

このようにして取得された画像パッチは、ラインバッファ１３１に格納された画像との間で照合処理される際のリファレンス画像として用いられる。画像パッチとして抽出される範囲は、例えば特徴点の“座標”を中心とした１５×１５の範囲である。追跡処理部１３２は、取得した画像パッチをリファレンス画像として、上述した“座標”を中心とした所定範囲の画像との間でブロックマッチング処理を行う（Ｓ９０５）。これにより、前フレームにおける特徴点に対応する点が、解析中のフレームにおいて画像のどこに存在しているかが解析される。

図１１は、Ｓ９０５におけるブロックマッチング処理の態様を示す図である。図１１において上段に表示されている画像がフレームバッファ１４０に格納された前フレームの画像である。そして、下段に表示されている画像が解析中である現フレームの画像である。尚、解析対象の情報はラインバッファ１３１に格納された情報であり、実際には図１１下段に示すようにフレームを構成する全範囲の画像が解析対象となるわけではない。

図１１に示すように、追跡処理部１３２は、前フレームから抽出された画像パッチと現フレームを構成する画像との類似度を計算する。この際、追跡処理部１３２は、図１１の下段において太い破線で示すように、所定の範囲Ｑの画像について、画像パッチを重ね合わせる位置を変えながら夫々類似度を算出し、算出される類似度が最も高い位置を求める。

所定の範囲Ｑは、画像パッチが抽出された“座標”に基づいて決定される。例えば、図１１に示すように解析対象の物体が車であり、入力されるフレーム画像において移動する方向が「右上から左下」のように定まっているのであれば、上記“座標”を基点として左下の範囲が範囲Ｑとして設定される。即ち、範囲Ｑは、元の座標をｔとすると、ｔ＋Δｔのように決定される。

類似度の評価方法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＺＳＡＤ（Ｚｅｒｏ ｍｅａｎ ＳＡＤ）、ＺＳＳＤ（Ｚｅｒｏ ｍｅａｎ ＳＳＤ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）等を用いることが可能である。

Ｓ９０５の処理により類似度を算出すると、追跡処理部１３２は、算出した類似度が所定の閾値以上であるか否かを判断する（Ｓ９０６）。この閾値は、現フレームから真に対応する特徴点が抽出されているか否かを判断するための閾値であり、固定値としても良いし各フレームにおける類似度の算出結果に基づいて動的に変更される値としても良い。

また、Ｓ９０６の処理においては、最も高く算出された類似度と、２番目に高く算出された類似度との差分値について閾値判断を行っても良い。真に対応する特徴点が抽出されている場合、その特徴点において算出される類似度は、他の点において算出される類似度よりも秀でて良いはずであるため、このような処理を行うことにより、より高精度な処理を行うことが出来る。２番目の類似度との差分値について閾値判断を行う場合にも、閾値としては固定値であるパラメータを用いても良いし、前フレームまでの追跡結果における値に基づいて決定された値を用いても良い。

また、Ｓ９０６の処理においてサブピクセル推定を行っても良い。サブピクセル推定とは、画素と画素の間を補完し、そのようにして補完された位置においてより良い類似度が算出されるか否かを計算する処理である。そのような手法としては、例えばダイヤモンド探索法、２次局面近似法等の一般的に知られた方法を用いることが可能である。サブピクセル推定により得られる座標値には小数値が含まれる。小数部分のビットの扱いについては、固定少数、浮動小数等を用いることが可能である。

Ｓ９０６の判断の結果、算出した類似度が閾値に達していない場合（Ｓ９０６／ＮＯ）、追跡処理部１３２は、選択中の特徴点の追跡に失敗したと判断し、ＩＤ ＦＩＦＯ１５３に対してＩＤの返却処理を行う（Ｓ９１０）。Ｓ９１０の処理は、ＩＤ ＦＩＦＯ１５３に対して、追跡に失敗した特徴点のＩＤを通知し、ＩＤを再利用可能とする処理である。

他方、類似度が閾値以上である場合（Ｓ９０６／ＹＥＳ）、現フレームから真に対応する特徴点が抽出されたと判断される。従って、追跡処理部１３２は、最も高い類似度が算出された際の画像パッチの重ね合わせ位置を特徴点の追跡結果、即ち前フレームから現フレームにかけて特徴点が移動した移動後の位置であると認識する。

この場合、追跡処理部１３２は、特徴点の移動がバンドを跨いでいるか否か判断する（Ｓ９０７）。図１２は、特徴点がバンドを跨ぐ態様を模式的に示す図である。バンドを跨いでいる場合とは、追跡結果記憶部１５１において参照した“座標”が含まれるバンドと、画像パッチのブロックマッチングにおいて最も高い類似度が算出された座標が含まれるバンドとが異なる場合である。上述したようにバンドとは、複数のラインをまとめた特徴点追跡の解析単位である。また、本実施形態に係る追跡処理部１３２は、ラインバッファ１３１に所定ライン数の画素データが格納される度に、そのラインが対応する画像の領域に含まれる特徴点を、Ｓ９０３において追跡結果記憶部１５１から取得する。

ここで、本実施形態においては上述したようにダブルバッファリング方式が用いられる。そのため、一方のラインバッファ１３１に対する画素データの格納処理の間に、他方のラインバッファ１３１に格納された画素データに対する特徴点の追跡処理が完了していることが好ましい。従って、１つのラインバッファ１３１に対する特徴点追跡処理において処理可能な特徴点の数には限りがある。

そのため本実施形態に係る画像解析装置１においては、追跡対象とする特徴点の上限値がバンド毎に定められている。そして、追跡の途中でバンドを跨いだ特徴点については、一時的に追跡結果一時記憶部１５２に記憶された上で上限値に基づいて取捨選択される。そのため、追跡処理部１３２は、各バンドの境界を示す情報を保持しており、その情報と前フレーム及び現フレームの特徴点の座標に基づいてＳ９０７の判断を行う。

Ｓ９０７の判断の結果、バンド跨ぎが発生している場合（Ｓ９０７／ＹＥＳ）、追跡処理部１３２は、選択中の特徴点の情報を追跡結果一時記憶部１５２に記憶させる（Ｓ９０８）。ここで記憶される情報は、図１０において説明した情報と同様に、“特徴点ＩＤ”、“座標”、“追跡回数”の情報である。また、Ｓ９０８において追跡処理部１３２は、選択中の特徴点の情報を追跡結果記憶部１５１から消去する。

他方、バンド跨ぎが発生していない場合（Ｓ９０７／ＮＯ）、追跡処理部１３２は、選択中の特徴点について、Ｓ９０５の処理により最も高い類似度が算出された際の画像パッチの重ね合わせ位置を追跡結果記憶部１５１に書き戻す（Ｓ９０９）。Ｓ９０９の処理は、図１０に示す“座標”の情報を、Ｓ９０５の処理により最も高い類似度が算出された際の画像パッチの重ね合わせ位置で更新すると共に、“追跡回数”をインクリメントする処理である。

Ｓ９０８又はＳ９０９の処理により、追跡結果記憶部１５１及び追跡結果一時記憶部１５２のいずれかが更新されると、重複除去マップ生成部１５４が、その更新結果に基づいて重複除去マップを更新する（Ｓ９１１）。ここで、本実施形態に係る重複除去マップについて説明する。

本実施形態に係る重複除去マップは、上述したように、解析対象の画像の全範囲について、新たな特徴点の追加の可否が指定された情報であり、各画素について、重複除去対象の画素であるか否かが「０」、「１」の１ビットの情報によって表現されている。図１３は、Ｓ９０２の処理により初期化された状態の重複除去マップの状態を示す図である。図１３に示すように、本実施形態においては、ビットが「０」の場合、重複除去対象ではないことが示され、「１」の場合、重複除去対象であることが示される。

これに対して、Ｓ９１１において重複除去マップ生成部１５４は、追跡結果記憶部１５１及び追跡結果一時記憶部１５２のいずれかに登録された“座標”を中心とした所定の範囲の画素のビットを「１」に更新する。図１４は、中心Ｐの画素について、その周囲の所定の画素範囲Ｓのビットが「１」に更新された状態を示す図である。また、本実施形態においては、Ｐを中心とした縦横１５画素分の範囲が重複除去対象のエリアとして、ビットが更新される。

追跡処理部１３２は、追跡結果一時記憶部１５２に記憶されている全ての特徴点について処理が完了するまでＳ９０３の処理を繰り返し（Ｓ９１２／ＮＯ）、全特徴点について処理が完了したら、処理を終了する。このような処理により、追跡処理部１３２は、フレーム間での特徴点の移動を追跡する。また、そのような追跡処理部１３２の処理に応じて、重複除去マップ生成部１５４が、フレーム毎に重複除去マップを生成する。

図１５は、そのようにして生成される重複除去マップの画像全体を示す図である。図１５に示すように、フレームの画像中において追跡が成功した特徴点の位置を中心Ｐとして、その周囲の範囲Ｓが重複除去対象のエリアとして設定される。

このように生成された重複除去マップは、抽出結果記憶部１６０に情報が記憶された候補点を追跡結果記憶部１５１に新たに登録するか否かの判断において用いられる。以下、本実施形態に係る重複除去処理部１５０の動作について図１６を参照して説明する。図１６に示すように、まずは新規特徴点追加判断部１５５が、追跡結果一時記憶部１５２に記憶された特徴点を追跡結果記憶部１５１にマージする（Ｓ１６０１）。この際、“追跡回数”がインクリメントされる。

Ｓ１６０１において、新規特徴点追加判断部１５５は、バンド毎に特徴点の数をカウントする。そして、追跡結果一時記憶部１５２に記憶された特徴点を追跡結果記憶部１５１に追加することによって、そのバンドの特徴点の数が上限数を超える場合、新規特徴点追加判断部１５５は、その特徴点を破棄する。

この際、新規特徴点追加判断部１５５は、追跡結果一時記憶部１５２に記憶された特徴点について、“追跡回数”が大きい順に選択し、バンド毎の上限数の判断を行う。これにより、“追跡回数”が大きい程、優先的に追跡結果記憶部１５１への追加処理が行われるため、長く追跡されている特徴点を優先的に残すことが出来る。

そのようにして追跡結果一時記憶部１５２に記憶された全ての特徴点について処理が完了すると、次に新規特徴点追加判断部１５５は、抽出結果記憶部１６０に記憶された候補点を順に選択する（Ｓ１６０２）。そして、新規特徴点追加判断部１５５は、選択した候補点の座標に対応する重複除去マップ上の画素のビットを参照し、ビットが「０」か「１」か、即ち、重複除去対象のエリアであるか否かを判断する（Ｓ１６０３）。

ビットが「０」であり、重複除去対象のエリアではない場合（Ｓ１６０３／ＮＯ）、新規特徴点追加判断部１５５は、ＩＤ ＦＩＦＯ１５３から新規登録のためのＩＤを取得する（Ｓ１６０４）。換言すると、新規特徴点追加判断部１５５は、候補点の座標について、新たな特徴点の追加が可能であることが指定されている場合に、その候補点を特徴点として追加する。そして、取得したＩＤと選択中の候補点の座標とを関連付けて、図１０に示すように追跡結果記憶部１５１に登録する（Ｓ１６０５）。この際、“追跡回数”としては「１」が設定される。

但し、Ｓ１６０４、Ｓ１６０５において、新規特徴点追加判断部１５５は、選択中の候補点が属するバンドに含まれる特徴点として追跡結果記憶部１５１に登録されている特徴点の数を確認する。そして、確認された数が上限値に達している場合、Ｓ１６０４、Ｓ１６０５の処理を省略する。

他方、ビットが「１」であり、重複除去対象のエリアである場合（Ｓ１６０３／ＮＯ）、新規特徴点追加判断部１５５は、選択中の候補点を破棄する。尚、選択中の候補点の座標が重複除去対象のエリアであった場合もそうでなかった場合も新規特徴点追加判断部１５５は、選択中の候補点の情報を抽出結果記憶部１６０から消去する。

新規特徴点追加判断部１５５は、抽出結果記憶部１６０に記憶された全ての候補点について完了するまでＳ１６０２からの処理を繰り返す（Ｓ１６０６／ＮＯ）。そして、全候補点について処理が完了したら（Ｓ１６０６／ＹＥＳ）、処理を終了する。

Ｓ１６０３の処理は、選択中の候補点の座標について、重複除去マップにおいて対応する座標のビットを参照するのみの処理であり、非常に負荷の低い処理である。また、１つの候補点の登録の是非の判断のために、既に登録されている複数の特徴点との位置関係やスコアの比較等を行う必要もないため、１つの候補点の登録の是非を非常に負荷の低い処理で判断することが可能である。

図１７（ａ）〜（ｃ）は、各バンドについての特徴点の数と上限値との関係の例を示す図である。図１７（ａ）は、バンド内で追跡が成功した特徴点、バンドを跨いで追跡が成功した特徴点、候補点の全てが上限数内に収まる場合の例を示す図である。

図１７（ａ）の場合、Ｓ１６０１においても、Ｓ１６０４、Ｓ１６０５においても、追跡結果記憶部１５１に記憶されている特徴点のうち、対象のバンドに含まれる数が上限値に達している状態とはならない。従って、Ｓ１６０１においても、Ｓ１６０４、Ｓ１６０５においても、問題なく追跡結果記憶部１５１に特徴点が登録される。

図１７（ｂ）は、バンド内で追跡が成功した特徴点、バンドを跨いで追跡が成功した特徴点は上限数内に収まるが、候補点の一部が上限数内に収まらない場合の例を示す図である。図１７（ｂ）の場合、Ｓ１６０１においては、追跡結果記憶部１５１に記憶されている特徴点のうち、対象のバンドに含まれる数が上限値に達している状態とはならない。他方、Ｓ１６０４、Ｓ１６０５において、対象のバンドに含まれる数が上限値に達している状態となり、追跡結果記憶部１５１への特徴点の登録が行われずに破棄される。

図１７（ｃ）は、バンド内で追跡が成功した特徴点は上限数内に収まるが、バンドを跨いで追跡が成功した特徴点の一部が上限数内に収まらない場合の例を示す図である。図１７（ｂ）の場合、Ｓ１６０１において、対象のバンドに含まれる数が上限値に達している状態となり、追跡結果記憶部１５１への特徴点の登録が行われずに破棄される。また、Ｓ１６０４、Ｓ１６０５においては、全ての候補点が破棄されることとなる。

図１７（ａ）〜（ｃ）に示すように、本実施形態に係る画像解析装置１においては、バンド毎に追跡対象の特徴点数に上限が設けられる。その優先度は、バンド内で追跡が成功した特徴点、バンドを跨いで追跡が成功した特徴点、新規に追加される特徴点の順番である。これにより、継続して追跡されている特徴点を優先的に残し、より有意義な追跡結果の情報を出力することが出来る。

尚、Ｓ１６０２における候補点の選択については、例えば図４０４において算出されたスコアの大きい順に選択することが出来る。そのため、図７の抽出結果情報としては、夫々の候補点の座標に加えて算出されたスコアの情報を関連付けて保存する必要がある。このような処理により、Ｓ１６０４、Ｓ１６０５の処理においてバンド毎の上限数に達したために破棄される際、スコアの小さい候補点から破棄されるように処理される。そのため、より有意義な特徴点を優先的に抽出することが出来る。

以上説明したように、本実施形態に係る画像解析装置１によれば、フレーム間で追跡の成功した特徴点の位置に基づいて重複除去マップが生成される。そして、新規に追跡対象となる候補点の登録の判断に際し、重複除去マップによって識別される重複除去エリアに該当しない位置の候補点のみが登録される。従って、新規に追跡対象となる候補点の登録の判断に際し、既に登録されている特徴点の数に応じた繰り返し処理が不要であり、動画として連続して入力される各画像から抽出された特徴点を追跡することによって動画における物体の動きを解析する場合に、フレーム毎に必要となる処理を簡略化することが可能となる。

尚、上記実施形態においては、Ｓ１６０１やＳ１６０４、Ｓ１６０５において、対象のバンドにおいて既に登録されている特徴点の数が上限値に達しているか否かを判断し、上限値に達している場合には登録を不可とする場合を例として説明した。これに対して、数を確認して登録可否の判断を行うのではなく、予め定められた数の記憶領域のみを確保し、記憶領域に空きが無い場合に登録が不可能となるような仕様でも良い。これにより、確認に要する処理時間が短縮される。

また、上記実施形態においては、フレームの画像を構成する全画素の範囲に対して特徴点の追跡を行う場合を例として説明した。この他、有用な特徴点のみを追跡して処理を効率化するため、特徴点を追跡する範囲を制限しても良い。図１８は、特徴点の追跡を行う範囲を限定する態様を示す図であり、破線の斜線が付された領域は特徴点の追跡が行われない領域であることを示す。

図１８に示すような領域の識別は、図１３、図１４において説明した重複除去マップと同様に、フレームの画像を構成する全画素について、特徴点の追跡対象とするか否かを示す識別子が指定された情報によって可能となる。そのような情報が、追跡範囲指定情報として用いられ、追跡処理部１３２によって参照される。そのような態様により、上述した重複除去マップと同様に簡易な処理で判断可能である。

このように特徴点の追跡の要否を領域に基づいて判断する場合、追跡処理部１３２は、Ｓ９０５において特徴点の破棄処理を行う。即ち、Ｓ９０５におけるブロックマッチングの結果、最も高い類似度が算出された際の画像パッチの重ね合わせ位置が、図１８に示す斜線の領域、即ち、追跡対象の範囲外であれば、その特徴点は追跡不要と判断して破棄する。このような処理により、優先度の低い範囲の特徴点の追跡を省略し、フレーム間で必要となる処理を簡略化することが出来る。

また、上記実施形態においては、図１４及び図１５において説明したように、追跡に成功した特徴点を中心とした所定の範囲について、新たな特徴点の追加が不可能であることを指定するように、ビットを「１」とする場合を例として説明した。しかしながらこれは一例であり、追跡が成功した特徴点の画像における位置に対応する所定の範囲について、新たな特徴点の追加が不可能であることを指定する態様であれば、上記と同様の効果を得ることが可能である。

例えば、上述したようにフレームの画像を所定の範囲毎に分割した夫々の分割範囲であるブロックを用いても良い。この場合、重複除去マップ生成部１５４は、追跡が成功した特徴点を含むブロックについて、新たな特徴点の追加が不可能であることを指定するように、ビットを「１」とする。

このような態様によれば、新たな特徴点の追加の可否を示すビットは夫々のブロック毎に保持すれば良く、上述したように全画素について保持する必要がないため、データサイズを小さくし、メモリ容量を削減することが出来る。

１ 画像解析装置
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ ＨＤＤ
１４ Ｉ／Ｆ
１５ ＬＣＤ
１６ 操作部
１７ バス
１１０ 画像取得部
１２０ 候補点抽出部
１２１ ラインバッファ
１２２ 抽出処理部
１３０ 特徴点追跡処理部
１３１ ラインバッファ
１３２ 追跡処理部
１４０ フレームバッファ
１５０ 重複除去処理部
１５１ 追跡結果記憶部
１５２ 追跡結果一時記憶部
１５３ ＩＤ ＦＩＦＯ
１５４ 重複除去マップ生成部
１５５ 新規特徴点追加判断部
１６０ 抽出結果記憶部
１７０ 追跡結果出力部

特開２０１２−７９００４号公報

Claims (7)

1. 所定間隔で連続して入力される複数の画像において表示されている対象物について、前記複数の画像における動きを解析する画像処理装置であって、
   前記画像が入力される都度、入力された画像における特徴的な点である特徴点を抽出し、前記連続して入力される複数の画像において動きを追跡する対象の候補点として記憶媒体に記憶させる候補点抽出部と、
   抽出された前記候補点を追跡対象の特徴点として記憶媒体に記憶させる特徴点追加部と、
   前記画像が新たに入力された際に、前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出することにより、前記特徴点を追跡する追跡処理部と、
   前記新たに入力された画像から抽出されることによって追跡された前記特徴点の前記画像における位置に基づき、前記画像の全範囲について、新たな特徴点の追加の可否が指定された情報である重複除去マップを生成する重複除去マップ生成部と、を含み、
   前記重複除去マップ生成部は、前記新たに入力された画像から抽出されることによって追跡された前記特徴点の前記画像における位置に対応する所定の範囲について、新たな特徴点の追加が不可能であることを指定し、
   前記特徴点追加部は、
   抽出された前記候補点の位置が、前記重複除去マップにおいて新たな特徴点の追加が可能であることが指定されている場合に、抽出された前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、
   前記特徴点追加部は、前記画像を構成する全主走査ラインを所定のライン毎に分割した夫々の分割ラインについて設定された特徴点の上限数を参照し、抽出された前記候補点が含まれる前記分割ラインについて、既に記憶されている前記特徴点の数が前記上限数未満である場合に、前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、
   前記追跡処理部は、前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出した場合に、前記特徴点が新たに入力された前記画像から抽出された位置を示す情報を記憶媒体に記憶させることによって前記特徴点を追跡し、前記記憶媒体に追跡対象として記憶されている特徴点が含まれる前記分割ラインと、前記特徴点が新たに入力された前記画像から抽出された位置が含まれる前記分割ラインとが異なる場合、前記特徴点が新たに入力された前記画像から抽出された位置を一時的に記憶する一時記憶部に記憶させ、
   前記特徴点追加部は、前記一時記憶部に記憶された前記特徴点が含まれる前記分割ラインについて、既に記憶されている前記特徴点の数が前記上限数未満である場合に、前記一時記憶部に記憶された特徴点を追跡対象の特徴点として記憶媒体に記憶させる、
   ことを特徴とする画像処理装置。
2. 前記重複除去マップ生成部は、前記新たに入力された画像から抽出されることによって追跡された前記特徴点の前記画像における位置を中心とした所定の範囲について、新たな特徴点の追加が不可能であることを指定することを特徴とする請求項１に記載の画像処理装置。
3. 前記重複除去マップ生成部は、前記画像の全範囲を所定の範囲毎に分割した夫々の分割範囲のうち、前記新たに入力された画像から抽出されることによって追跡された前記特徴点が含まれる分割範囲について、新たな特徴点の追加が不可能であることを指定することを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴点追加部は、前記一時記憶部に記憶された特徴点を追跡対象の特徴点として記憶媒体に記憶させた後に、前記候補点を追跡対象の特徴点として記憶媒体に記憶させることを特徴とする請求項１に記載の画像処理装置。
5. 前記追跡処理部は、追跡された前記特徴点の情報として、連続して入力される前記複数の画像のうち夫々の特徴点の追跡に連続して成功した画像の数を示す情報を記憶媒体に記憶させ、
   前記特徴点追加部は、前記一時記憶部に記憶された特徴点を追跡対象の特徴点として記憶媒体に記憶させる際、前記追跡に連続して成功した画像の数の大きい特徴点から順番に選択することを特徴とする請求項１または４に記載の画像処理装置。
6. 前記追跡処理部は、前記画像のうち前記特徴点の追跡を行う範囲が指定された追跡範囲指定情報を参照し、前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出した場合に、前記特徴点が新たに入力された前記画像から抽出された位置が前記特徴点の追跡を行う範囲外であれば、その特徴点を追跡対象から除外することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 所定間隔で連続して入力される複数の画像において表示されている対象物について、前記複数の画像における動きを解析する画像処理方法であって、
   前記画像が入力される都度、入力された画像における特徴的な点である特徴点を抽出し、前記連続して入力される複数の画像において動きを追跡する対象の候補点として記憶媒体に記憶させ、
   抽出された前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、
   前記画像が新たに入力された際に、前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出することにより、前記特徴点を追跡し、
   前記新たに入力された画像から抽出されることによって追跡された前記特徴点の前記画像における位置に対応する所定の範囲について、新たな特徴点の追加が不可能であることを指定することにより、前記画像の全範囲について、新たな特徴点の追加の可否が指定された情報である重複除去マップを生成し、
   抽出された前記候補点の位置が、前記重複除去マップにおいて新たな特徴点の追加が可能であることが指定されている場合に、抽出された前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、
   前記画像を構成する全主走査ラインを所定のライン毎に分割した夫々の分割ラインについて設定された特徴点の上限数を参照し、抽出された前記候補点が含まれる前記分割ラインについて、既に記憶されている前記特徴点の数が前記上限数未満である場合に、前記候補点を追跡対象の特徴点として記憶媒体に記憶させ、
   前記記憶媒体に追跡対象として記憶されている特徴点を新たに入力された前記画像から抽出した場合に、前記特徴点が新たに入力された前記画像から抽出された位置を示す情報を記憶媒体に記憶させることによって前記特徴点を追跡し、前記記憶媒体に追跡対象として記憶されている特徴点が含まれる前記分割ラインと、前記特徴点が新たに入力された前記画像から抽出された位置が含まれる前記分割ラインとが異なる場合、前記特徴点が新たに入力された前記画像から抽出された位置を一時的に記憶する一時記憶部に記憶させ、前記一時記憶部に記憶された前記特徴点が含まれる前記分割ラインについて、既に記憶されている前記特徴点の数が前記上限数未満である場合に、前記一時記憶部に記憶された特徴点を追跡対象の特徴点として記憶媒体に記憶させる、
   ことを特徴とする画像処理方法。