JP4283532B2 - 画像認識装置および方法 - Google Patents
画像認識装置および方法 Download PDFInfo
- Publication number
- JP4283532B2 JP4283532B2 JP2002373460A JP2002373460A JP4283532B2 JP 4283532 B2 JP4283532 B2 JP 4283532B2 JP 2002373460 A JP2002373460 A JP 2002373460A JP 2002373460 A JP2002373460 A JP 2002373460A JP 4283532 B2 JP4283532 B2 JP 4283532B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- object region
- mask
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置から得られた画像を処理し、画像に含まれる移動物体を検出し追跡する画像認識装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、画像認識装置としては、例えば図２２及び図２３（Ａ）、（Ｂ）に示すようなものが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平２０００−３２２５８２号公報（９頁〜１０頁、段落番号０１０１〜０１０５、図１、図１３）。
【０００４】
図２２において、従来の画像認識装置２２００は、物体を撮影するカメラ２２１０と、カメラ２２１０からの画像を入力して記憶する第１の画像メモリ２２０２及び第２の画像メモリ２２０３と、デマルチプレクサ２２０１と、相関演算器２２０４と、移動物体追跡プログラム２２０５とを備える。カメラ２２１０は、固定されていても風などの影響により振動することがあるし、また、旋回台によりパンチルト動作をすることがある。そしてカメラ２が動くと、画像認識結果に誤りが生じる場合がある。
【０００５】
そこで、図２２のブロック図、及び図２３（Ａ）の処理フローに示すように、移動物体追跡プログラム２２０５は、相関演算器２２０４に対しカメラ２２１０の動きの演算を指示して相関値配列を求める（ステップＳ２３０１）。移動物体追跡プログラム２２０５は、受け取った相関値配列から、画像全体の動きベクトルを求める（ステップＳ２３０１）。すなわち、図２３（Ｂ）に示すような外枠部分を取り除いた画像全体の相関演算を行うことで、画像全体の動きベクトルを求めて、それをカメラ２２１０の動きとして特定する。
この構成により、カメラの振動やパンチルト移動による画像全体の動きを検出して、それによる画像全体の動きを考慮しつつ、移動物体の追跡を実現している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の画像認識装置においては、単純に外枠部分を取り除いた画像全体の相関演算を用いて画像全体の動きを求めているため、カメラの振動やパンチルト移動により精度良く画像全体の動きを検出できない場合があり、精度良く画像全体の動きを検出できない場合は、画像中に存在する検出対象の移動物体ではなく、本来検出対象では無い画像中の特徴が強い領域（例えば、建造物と背景との境界部分、道路の白線など）を検出対象の移動物体と誤って追跡してしまうという問題があった。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、精度良く画像全体の動きを検出することにより、検出対象の移動物体のみを追跡可能な画像認識装置及び方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明における画像認識装置は、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出手段と、前記物体領域と背景領域とを分離するマスクを生成するマスク生成手段と、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出手段と、検出した前記物体領域をテンプレートとして管理するテンプレート管理手段と、前記テンプレートを登録するテンプレート記憶メモリと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡する物体追跡手段と、を有し、前記テンプレート管理手段は、前記テンプレートが所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除するテンプレート削除手段と、前記画像動き検出手段で検出された画像全体の動きにより画像全体が揺れているか否かを判定する画像揺れ検出手段と、を有し、前記テンプレート削除手段は、前記画像揺れ検出手段において画像全体が揺れていると判定された場合に前記所定期間を短く変更するという構成を有している。この構成により、物体領域を検出しつつ、精度良く画像全体の動きを検出することができる。
【００１２】
本発明における画像認識方法は、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出ステップと、前記物体領域と背景領域とを分離するマスクを生成するマスク生成ステップと、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出ステップと、検出した前記物体領域をテンプレートとして管理するテンプレート管理ステップと、前記テンプレートをテンプレート記憶メモリに登録するステップと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡するステップと、を有し、前記テンプレート管理ステップは、前記テンプレートが、所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除し、前記画像動き検出ステップで検出された画像全体の動きにより画像全体が揺れていると判定した場合に前記所定期間を短く変更するという構成を有している。この構成により、物体領域を検出しつつ、精度良く画像全体の動きを検出することができる。
【００１６】
本発明におけるプログラムは、請求項２に記載の画像認識方法における各ステップをコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化することによって、本発明をコンピュータで容易に実施することができる。
【００１７】
本発明におけるコンピュータ読み取り可能な記録媒体は、請求項２に記載の画像認識方法における各ステップをコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化して、コンピュータが読み取り可能な記録媒体に記憶することにより、本発明をコンピュータで容易に実施することができる。
【００１８】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１ないし第４の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１を参照して、本発明の第１の実施の形態における画像認識装置の構成を説明する。図１において、画像認識装置１００は、撮像装置１１０などの外部装置から入力された画像を記憶する現フレームメモリ１０１と、現フレームメモリ１０１に入力された画像の直前の画像を記憶する前フレームメモリ１０２と、動いている物体が存在する画像領域である物体領域を検出する物体領域検出部１０３と、物体領域を記憶する物体領域記憶メモリ１０４と、現フレームメモリ１０１と前フレームメモリ１０２に記憶されている画像の物体領域と物体の存在しない背景領域を分離するマスクを生成するマスク生成部１０５と、画像とマスクを用いて画像全体の動きを検出する画像動き検出部１０６とにより構成される。
画像認識装置１００の処理結果は、描画装置１２０などの外部装置によって現フレームメモリ１０１に保持されている画像上に描画され、ディスプレイ１３０などの表示装置に表示される。
【００１９】
さらに、図１を参照して、本実施の形態における画像認識装置１００の構成要素について詳細に説明する。画像認識装置１００において、撮像装置１１０から得られた画像は現フレームメモリ１０１へと入力され保持される。前フレームメモリ１０２は、現フレームメモリ１０１より少なくとも１フレーム前の画像が記憶される。現フレームメモリ１０１が撮像装置１１０から入力された画像に更新するときに、現フレームメモリ１０１に現在記憶されている画像を前フレームメモリ１０２に記憶する。したがって、現フレームメモリ１０１と前フレームメモリ１０２とにより撮像時刻の異なる画像が保持されることとなる。
なお、以下の説明で、現フレームメモリ１０１に記憶されている画像を現フレーム画像、前フレームメモリ１０２に記憶されている画像を前フレーム画像という。
【００２０】
次に、図２を参照して、本実施の形態における物体領域検出部１０３（図１）の構成を詳細に説明する。
まず、複数の画像から物体領域を検出する方法としては、例えば背景差分法、フレーム間差分法、オプティカルフローなどが広く知られている。本発明の実施の形態では、オプティカルフローを用いた物体領域の検出を行う例について説明する。
また、オプティカルフローを用いた物体領域の検出方法には、ブロックマッチング法、勾配法などが知られている。本実施の形態では、ブロックマッチング法を用いる例について説明する。
【００２１】
図２において、物体領域検出部１０３は、例えば、オプティカルフロー演算器２０１と物体領域抽出器２０２とから構成される。しかし、他の構成要素により実現しても良い。
オプティカルフロー演算器２０１は、現フレームメモリ１０１に保持されている現フレーム画像と前フレームメモリ１０２に保持されている前フレーム画像とを入力し、現フレーム画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割して、図３に示すように、現フレーム内から１つ選択したブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算して、オプティカルフローを求めるものである。
【００２２】
そこで、図３を参照して、ブロックマッチング法によりオプティカルフローを求める方法を説明する。オプティカルフローは、ブロックマッチング法によって現フレーム内の（Ｍ×Ｎ）個の画素から構成されるブロック３０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲３０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関の高いブロック３０３を探索して求める。そして、ブロック３０３からブロック３０１への変移量を変移量３０４としてオプティカルフローが求められる。相関値は例えば、現フレーム画像と前フレーム画像の各ブロック内の同じ位置の画素の差分絶対値和ＳＡＤ（下記の数１）によって求められる。（数１）を用いた場合、最も相関の高いブロックは差分絶対値和ＳＡＤが最小となる変位量のブロックであることを意味する。
【００２３】
これら一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する。
なお、現フレーム画像または前フレーム画像にノイズ成分が含まれた場合には、誤ったオプティカルフローを推定してしまうため、現フレーム画像のブロックと前フレーム画像のブロックとの変位（０，０）の差分絶対値和ＳＡＤ（０，０）を演算し、ＳＡＤ（０，０）が閾値以上であるブロックについてのみ、最も相関の高いブロックを探索することが望ましい。
【００２４】
【数１】
【００２５】
ここで、図２及び図４を参照して、物体領域抽出器２０２の動作について説明する。図２に示す物体領域抽出器２０２は、塊状に発生したオプティカルフローについてラベル付けを行い、物体領域を検出して物体領域記憶メモリ１０４（図１及び図２）に記憶する。例えば、図４に示すように、前フレーム画像４０１の人物４０２が水平右方向に移動して現フレーム画像４０４の人物４０５の位置へ移動し、前フレーム画像４０１の人物４０３が水平左方向に移動して現フレーム画像４０４の人物４０６の位置へ移動しているシーンのオプティカルフローを求めると、図４のオプティカルフロー推定結果４０７が得られる。
【００２６】
次に、図４の４０８、４０９に示すようにラベリング処理を行う。ラベリング処理は、隣接した同一の特徴を持つ点もしくは領域（本実施の形態ではブロック）に同じラベルを付けてグループ化する処理であり、一般的に広く知られている手法である。
そして、図４の現フレーム画像４０４とオプティカルフロー推定結果４０７のラベリング処理結果４０８，４０９とを用いて、ブロックの塊（４０８，４０９）の中で隣接し合ったオプティカルフローが発生したブロックのブロック数がしきい値以上である場合に、上記隣接し合ったブロックの塊を移動した物体領域として抽出する。例えば、図４の物体抽出結果４１０のように物体領域４１１、４１２をそれぞれ検出することができる。
【００２７】
次に、図５を参照して、図１に示すマスク生成部１０５の動作を説明する。ここで、マスク生成部１０５は、画像の物体領域を背景領域から分離するマスクを生成する。例えば、現フレーム画像４０４（図４）の画像全体が撮像装置１１０（図１）の揺れなどの原因で、現フレーム画像４０４（図５に点線で示す）が移動して、現フレーム画像５０１（図５）のように得られた場合について説明する。
図５に示すように、前フレーム画像４０１と移動した現フレーム画像５０１のオプティカルフローを推定するとオプティカルフロー推定結果５０２に示すように、移動物体のオプティカルフロー５０３だけでなく、構造物と背景との輝度差が大きいエッジ部分に生じるオプティカルフロー５０４が検出される。このとき、マスク生成部１０５は、物体領域と背景領域を分離するマスク５０５を生成する。
【００２８】
次に、図６を参照して、本実施の形態における、図１に示す画像動き検出部１０６について詳細に説明する。図６に示す画像動き検出部１０６は、例えば、相関演算器６０１と画像動き演算器６０２とにより構成される。しかし、他の構成で実現しても良い。相関演算器６０１は、現フレームメモリ１０１に記憶されている現フレーム画像と、前フレームメモリ１０２に記憶されている前フレーム画像と、マスク生成部１０５で生成されたマスクとを用いて、相関演算を実行する。
相関演算は、例えば（下記数２）によって行われる。数２において、マスク係数ｍ（ｉ，ｊ）は、例えば０または１の値を持ち、マスク係数が０に対応する画素は物体領域の画素であり、１に対応する画素は背景領域の画素である。
【００２９】
【数２】
【００３０】
画像動き演算器６０２は、相関演算器６０１で演算した画像全体の相関値から最小となる変位量（ｖ，ｗ）を求める。
本実施の形態では、ｘ成分の変位量ｃ、ｙ成分の変位量ｄの相関値を求める間隔はそれぞれＣ、Ｄとする。このとき、（数３（ａ））は、図７に示すように座標（ｖ−Ｃ，Ｖ（ｖ−Ｃ，ｗ））と座標（ｖ，Ｖ（ｖ，ｗ））とを結ぶ傾きＡの線分と、座標（ｖ，Ｖ（ｖ＋Ｃ，ｗ））を通る傾き−Ａの線分との交点のｘ成分ｆｖを示し、三角形７０１、７０２、７０３、７０４は全て相似の関係であり、三角形７０３と７０４は合同の関係であることから導出することができる。また、（数３（ｂ））についても同様に導出することができる。
【００３１】
変位量（ｖ，ｗ）を求めたら、次に、（数３（ａ））によって、相関値を求める間隔Ｃより細かい精度で画像全体のｘ成分の変位量ｆｖを演算する。なお、同様に、（数３（ｂ））によって、相関値を求める間隔Ｄより細かい精度で画像全体のｙ成分の変位量ｆｗを演算する。そして、変位量（ｆｖ，ｆｗ）を画像全体の動き量として出力する。
【００３２】
【数３】
【００３３】
以上説明したように、本発明の第１の実施の形態の画像認識装置によれば、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出部１０３と、画像内の物体領域と背景領域とを分離するマスクを生成するマスク生成部１０５と、マスクを用いて画像全体の動きを検出する画像動き検出部１０６とを設けることにより、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域とを分離するマスクを生成し、マスクを用いて画像全体の動きを検出することにより、精度良く画像全体の動きを検出することができる。
【００３４】
（第２の実施の形態）
次に、図８を参照して、本発明の第２の実施の形態における画像認識装置の構成を説明する。図８に示す、本実施の形態における画像認識装置８００は、撮像装置８１０などの外部装置から入力された画像を記憶する現フレームメモリ８０１と、現フレームメモリ８０１に入力された画像の直前の画像を記憶する前フレームメモリ８０２と、動いている物体の存在する画像領域である物体領域を検出する物体領域検出部８０３と、物体領域を記憶する物体領域記憶メモリ８０４と、現フレームメモリ８０１と前フレームメモリ８０２に記憶されている画像の物体領域と背景領域を分離するマスクを生成するマスク生成部８０５と、画像とマスクを用いて画像全体の動きを検出する画像動き検出部８０６と、物体領域をテンプレートとして登録したり、テンプレートの更新、削除をを行うテンプレート管理部８０７と、テンプレートを記憶するテンプレート記憶メモリ８０８と、テンプレート記憶メモリ８０８に記憶されているテンプレートを用いて現フレーム内の物体の追跡を行う物体追跡部８０９とにより構成される。
画像認識装置８００の処理結果は、描画装置８２０などの外部装置により現フレームメモリ８０１に保持されている画像に描画され、ディスプレイ８３０などの外部装置に表示される。
【００３５】
さらに、図８を参照して、本実施の形態における画像認識装置８００の構成要素について詳細に説明する。画像認識装置８００において、現フレームメモリ８０１と、前フレームメモリ８０２と、物体領域検出部８０３と、物体領域記憶メモリ８０４と、マスク生成部８０５と、画像動き検出部８０６とは、図１の現フレームメモリ１０１と、前フレームメモリ１０２と、物体領域検出部１０３と、物体領域記憶メモリ１０４と、マスク生成部１０５と、画像動き検出部１０６とそれぞれ同一であるため、詳細な説明は省略する。
しかし、テンプレート管理部８０７と、テンプレート記憶メモリ８０８と、物体追跡部８０９との各構成要素については、本実施の形態で新たに導入した構成要素であるため、以下で詳細に説明する。
【００３６】
まず、図９を参照して、本実施の形態におけるテンプレート管理部８０７の構成を詳細に説明する。
テンプレート管理部８０７は、例えばテンプレート登録器９０１と画像揺れ検出器９０２とテンプレート削除器９０３とにより構成される。しかし、他の構成で実現しても良い。
図９において、テンプレート登録器９０１は、物体領域記憶メモリ８０４に記憶されている各物体領域がテンプレート記憶メモリ８０８に既にテンプレートとして登録されているかどうか判定し、選択した物体領域が追跡対象物体の特徴を持つかどうか判定する。例えば、追跡対象物体の特徴としては、大きさ、縦横比などがある。物体領域が追跡対象物体の特徴を持ち、テンプレートに登録されていない場合は、新規のテンプレートをテンプレート記憶メモリ８０８に記憶する。
【００３７】
次に、図１０を参照して、本実施の形態における、図９に示すテンプレート登録器９０１の動作を詳細に説明する。ここの説明では、テンプレート登録器９０１の動作を、例えば図１０に示すように、人物１００１が人物１００２の位置へ移動している場合について説明する。物体領域検出部８０３（図８）によって、図１０の各ブロックで得られたフロー１００３から物体領域１００４を求める。この時、物体領域が追跡対象物体の特徴を持ち、テンプレートとして未登録である場合は、テンプレート登録器９０１により、テンプレートの画像パターン１００５を新規のテンプレートとしてテンプレート記憶メモリ８０８に登録する。
【００３８】
画像揺れ検出器９０２は、画像動き検出部８０６からの現フレームの画像全体の動きを入力して、過去ｋフレーム分の画像全体の動きの変位量の総和α、βを（下記数４）によって演算する。そして、数４のαまたはβのいずれかがしきい値を超えている場合は画像全体が揺れている旨をテンプレート削除器９０３へ通知する。なお、画像全体が揺れているかどうかを判定するしきい値は、αとβで共通のしきい値を用いても良いし、個々にしきい値を設定しても良い。
【００３９】
【数４】
【００４０】
テンプレート削除器９０３は、テンプレート記憶メモリ８０８に登録されているテンプレートから不要なテンプレートを削除する。テンプレートを削除する条件としては、例えば、テンプレートが画像内の同じ位置にフレームが一定数（ＴＨ１フレーム）以上存在する場合は削除する（ＴＨ１はテンプレートの削除をきめるしきい値）。画像揺れ検出器９０２から画像全体が揺れている旨が通知された場合は、構造物と背景との輝度差が大きいエッジ部分に生じるオプティカルフロー５０４（図５）によって誤登録されるテンプレートを削除しやすくするため、テンプレートが画像内の同位置に一定フレーム数（ＴＨ２フレーム）以上存在する場合に削除する。上記、ＴＨ１とＴＨ２は、ＴＨ１＞ＴＨ２の関係を満たす。
【００４１】
次に、図１１を参照して、本実施の形態における、図８に示す物体追跡部８０９の構成を詳細に説明する。物体追跡部８０９は、例えばマッチング位置探索器１１０１とテンプレート更新器１１０２とから構成されるが、他の構成で実現しても良い。
マッチング位置探索器１１０１は、図１２に示すように、現フレーム画像内に設定した探索範囲１２０３内でテンプレート１２０１との最適マッチング位置１２０４（例えば、相関値が最も大きい位置）を探索する。そして、テンプレート１２０１の現フレーム画像内の位置１２０２から最適マッチング位置１２０４までの変移１２０５が物体の移動量となる。相関値は例えば、（数５）に示すような正規化相関値を用いる。（数５）で示す正規化相関値Ｒ（ａ，ｂ）は、０〜１の実数値を取り、１に近づくほど相関が高いことを意味する。正規化相関値は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【００４２】
【数５】
【００４３】
ｆ：現フレーム画像
Ｔ：テンプレート
Ｈ：テンプレートのサイズ（横）
Ｖ：テンプレートのサイズ（縦）
ａ：テンプレートとマッチング位置の変移のｘ成分
ｂ：テンプレートとマッチング位置の変移のｙ成分
【００４４】
テンプレート更新器１１０２は、テンプレートと現フレーム画像内の最適マッチング位置との相関値がしきい値を超えているかどかを判定し、しきい値を超えている場合は、テンプレートを現フレーム画像内の最適マッチング位置の領域により、テンプレート記憶メモリ８０８に登録されているテンプレートを更新する。テンプレートを更新することにより、追跡対象物体の形状ないしは大きさの変化に追従することができることから好ましい。
【００４５】
以上説明したように、本発明の第２の実施の形態の画像認識装置によれば、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出部８０３と、画像内の物体領域と背景領域とを分離するマスクを生成するマスク生成部８０５と、画像全体の動きを検出する画像動き検出部８０６と、物体領域をテンプレートとして登録し、画面の揺れを検出して不要なテンプレートを削除しやすくするテンプレート管理部８０７とを設け、さらに物体領域をテンプレートとして登録し、テンプレートを用いて物体領域を追跡する物体追跡部８０９を設けることにより、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、マスクを用いて画像画像全体の動きを検出することにより、精度良く画像全体の動きを検出し、それにより検出対象となる移動物体のみを追跡することができる。
【００４６】
（第３の実施の形態）
次に、図１３を参照して、本発明の第３の実施の形態における画像認識方法の構成を説明する。図１３に示すように、本実施の形態における画像認識方法は、撮像時刻の異なる複数の画像を入力してオプティカルフローを推定して、物体領域を検出する物体領域検出ステップ（Ｓ１３０１）と、複数の画像から検出した物体領域部分を取り除くマスク生成ステップ（Ｓ１３０２）と、画像全体の動きを検出するステップ（Ｓ１３０３）とを設け、これらステップＳ１３０１〜Ｓ１３０３の一連の処理を繰り返し行うことにより、画像全体の動きを検出しつつ、物体領域を検出する。
【００４７】
さらに、図１４〜図１６を参照して、図１３に示す本実施の形態における画像認識方法の各ステップについて詳細に説明する。
まず、図１４のフローチャートを参照して、図１３に示す物体領域検出ステップＳ１３０１の詳細な処理の流れを説明する。オプティカルフローを求める方法としては、例えばブロックマッチング法や勾配法が知られている。本実施の形態ではブロックマッチング法を用いた方法を説明する。
【００４８】
まず、現フレーム画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割する（ステップＳ１４０１）。次に、現フレーム画像のブロックを１つ選択し（ステップＳ１４０２）、現フレーム内のブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算してオプティカルフローを求める（ステップＳ１４０３）。オプティカルフローは図３に示すようにブロックマッチング法によって現フレーム内の（Ｍ×Ｎ）個の画素から構成されるブロック３０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成されている探索範囲３０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関値の高いブロック３０３を探索して求める。そして、ブロック３０３からブロック３０１への変移３０４としてオプティカルフローが求められる。相関値は、例えば現フレーム内のブロックと前フレーム画像のブロックにおいて、同位置の画素の差分絶対値和（数１）によって求められる。これらステップＳ１４０２、１４０３の一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する（ステップＳ１４０４）。
【００４９】
次に、図４に示すラベリンク処理結果４０８、４０９となるように、ラベリング処理を実行する（ステップＳ１４０５）。ラベリング処理は、隣接した同一の特徴を持つ点もしくは領域（本実施例ではブロック）に同じラベルを付けてグループ化する処理であり、一般的に広く知られている手法である。
そして、図４に示す現フレーム画像４０４とオプティカルフロー推定結果４０７のラベリング処理結果を用いて、隣接し合ったブロックの塊のブロック数がしきい値以上である場合に、上記隣接し合ったブロックの塊を移動した物体領域として抽出する。例えば、図４の物体抽出結果４１０に示すような物体領域４１１、４１２をそれぞれ検出することができる。
【００５０】
次に、図１５のフローチャートを参照して、図１３に示すマスク生成ステップＳ１３０２の詳細な処理の流れを説明する。
まず始めに、画像の座標に対応するマスク係数を１つ選択する（ステップＳ１５０１）。
次に、マスク係数と同じ位置の画素が物体領域に含まれるかどうか判定する（ステップＳ１５０１）。その画素が物体領域に含まれる場合は、マスク係数を０とし（ステップＳ１５０３）、物体領域でない場合はマスク係数を１とする（ステップＳ１５０４）。これらステップＳ１５０１〜１５０４の処理を全てのマスク係数について行いマスクを生成する（ステップＳ１５０５）。
【００５１】
次に、図１６のフローチャートを参照して、図１３に示す画像動き検出ステップＳ１３０３の詳細な処理の流れを説明する。
まず始めに、現フレーム画像と、前フレーム画像と、マスク生成ステップＳ１３０２で生成されたマスクとを用いて、相関演算を行う（ステップＳ１６０１）。相関演算は例えば（数２）によって行われる。
次に、ステップＳ１６０１で演算した画像全体の相関値から最高となる変位量（ｖ，ｗ）を求める（ステップＳ１６０２）。
そして、（数３（ａ））によって、相関値を求める間隔より細かい精度で画像全体のｘ成分の変位量を演算する。同様に、（数３（ｂ））によって、相関値を求める間隔より細かい精度で画像全体のｙ成分の変位量を演算する（ステップＳ１６０３）。
以上説明したように、本発明の第３の実施の形態の画像認識方法によれば、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、マスクを用いて画像画像全体の動きを検出することにより、精度良く画像全体の動きを検出することができる。
【００５２】
（第４の実施の形態）
次に、図１７を参照して、本発明の第４の実施の形態における画像認識方法の構成を説明する。図１７に示す本実施の形態における画像認識方法は、撮像時刻の異なる複数の画像を入力してオプティカルフローを推定し、物体領域を検出する物体領域検出ステップ（Ｓ１７０１）と、複数の画像から検出した物体領域部分を背景領域から分離するマスク生成ステップ（Ｓ１７０２）と、画像全体の動きを検出する画像動き検出ステップ（Ｓ１７０３）と、物体領域をテンプレートとして登録し、不要なテンプレートを削除するテンプレート管理ステップ（Ｓ１７０４）と、テンプレートを用いて物体を追跡するステップ（Ｓ１７０５）とを備えたものである。以上のステップＳ１７０１〜１７０５における一連の処理を繰り返し行い、画像全体の動きを検出しつつ、不要なテンプレートを削除することにより移動する物体領域のみをを追跡することになる。
【００５３】
さらに、図１８〜図２１を参照して、図１７に示す本実施の形態における画像認識方法の各ステップについて詳細に説明する。なお、図１７に示す物体領域検出ステップＳ１７０１と、マスク生成ステップＳ１７０２と、画像動き検出ステップＳ１７０３とは、図１３に示す物体領域検出ステップＳ１３０１と、マスク生成ステップＳ１３０２と、画像動き検出ステップＳ１３０３とそれぞれ同一であるために詳細な説明を省略する。そして、図１８から図２０のフローチャートを用いてテンプレート管理ステップＳ１７０４を詳細に説明し、図２１のフローチャートを用いて物体追跡ステップＳ１７０５を詳細に説明して、本実施の形態における詳細な説明とする。
【００５４】
まず、図１８から図２０のフローチャートを参照して、テンプレート管理ステップＳ１７０４の詳細な処理の流れを説明する。テンプレート管理ステップＳ１７０４は、例えば図１８に示すようにテンプレート削除手順１８０１とテンプレート登録手順１８０２とで構成されるが、他の構成で実現しても良い。
まず、図１９のフローチャートを参照して、テンプレート削除手順１８０１（図１８）の詳細な処理の流れを説明する。
過去ｐフレーム分の画像動き検出ステップＳ１７０３で得られた画像全体の動きを（数３）を用いて、ｘ成分、ｙ成分それぞれの絶対値和を求める（Ｓ１９０１）。
次に、ｘ成分、ｙ成分の絶対値和のいずれかがしきい値（回数）を超えているかどうか判定する（Ｓ１９０２）。
その判定において、しきい値を超えていないと判定された場合は、テンプレートを削除するしきい値ＴＨをＴＨ１とする（ステップＳ１９０３）。しきい値を超えていると判定された場合は、画像全体が揺れているとみなしてテンプレートを削除するしきい値ＴＨをＴＨ２とする（ステップＳ１９０４）。ただし、ＴＨ１とＴＨ２はＴＨ１＞ＴＨ２の関係を満たすものとする。
【００５５】
次に、テンプレートが１つ以上登録されているかどうか判定する（ステップＳ１９０５）。テンプレートが登録されていない場合は、図１９の一連の処理は終了する。テンプレートが１つ以上登録されている場合は、テンプレートを１つ選択する（ステップＳ１９０６）。
次に、テンプレートが同じ位置にしきい値ＴＨ回以上存在するかどうか判定する（ステップＳ１９０７）。テンプレートが同じ位置にしきい値ＴＨ回以上存在する場合は、画像全体が揺れているということであるから、移動する物体のテンプレートではないためそのテンプレートを削除する（ステップＳ１９０８）。その場合は、しきい値ＴＨを小さくすることによって不要なテンプレートを削除しやすくする。
以上、ステップＳ１９０６からステップＳ１９０８までの一連の処理を登録している全てのテンプレートに対して実行する（ステップＳ１９０９）。
【００５６】
次に、図２０のフローチャートを参照して、テンプレート登録手順１８０２（図１８）の詳細な処理の流れを説明する。
まず、物体領域が１つ以上存在するかどうか判定する（ステップＳ２００１）。物体領域が全く存在しない場合は、図２０の一連の処理を終了する。
物体領域が１つ以上存在する場合は、物体領域を１つ選択する（ステップＳ２００２）。
ステップＳ２００２で選択した物体領域が追跡対象物体の特徴を持つかどうか判定する（ステップＳ２００３）。例えば、追跡対象物体の特徴としては、大きさ、縦横比などがある。物体領域が追跡対象物体の特徴を持つ場合は、選択した物体領域が既にテンプレートとして登録されているか判定する（ステップＳ２００４）。選択した物体領域がテンプレートに登録されていない場合は、新規のテンプレートとして登録する（ステップＳ２００５）。
以上、ステップＳ２００２からステップＳ２００５までの一連の処理を存在する全ての物体領域に対して実行する（ステップＳ２００６）。
【００５７】
次に、図２１のフローチャートと図１２とを参照して、図１７に示す物体追跡ステップＳ１７０５の詳細な処理の流れを説明する。
まず、テンプレートが１つ以上登録されているかどうか判定する（ステップＳ２１０１）。テンプレートが全く登録されていない場合は、ステップＳ２１０２〜２１０６の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、テンプレートを１つ選択する（ステップＳ２１０２）。
【００５８】
次に、図１２に示すように、ステップＳ２１０２で選択したテンプレート１２０１について現フレーム画像内に設定した探索範囲１２０３内の最適マッチング位置１２０４（例えば、相関値が最も大きい位置）を探索する（ステップＳ２１０３）。そして、テンプレート１２０１の現フレーム画像内の位置１２０２から最適マッチング位置１２０４の変移１２０５が物体の移動量となる。相関値は例えば、（数５）で示すように正規化相関値を用いる。（数５）で示す正規化相関値Ｒ（ａ，ｂ）は、０〜１の実数値を取り、１に近づくほど相関が高いことを意味する。正規化相関値は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【００５９】
次に、テンプレートと現フレーム画像内の最適マッチング位置との相関値がしきい値を超えているかどうか判定する（ステップＳ２１０４）。イエスの場合、相関値がしきい値を超えたテンプレートを現フレーム画像内の最適マッチング位置の領域を用いて更新する（ステップＳ２１０５）。テンプレートは、更新することによって、追跡対象物体の形状ないし大きさの変化に追従することができることから好ましい。以上、ステップＳ２１０２〜２１０５の一連の処理を、登録されている全てのテンプレートに対して行い、テンプレートの更新を行う（ステップＳ２１０６）。
【００６０】
以上説明したように、本発明の第４の実施の形態の画像認識方法によれば、撮像時刻の異なる複数の画像から物体領域を検出し、画像内の物体領域と背景領域とを分離するマスクを生成し、マスクを用いて精度良く画像全体の動きを検出し、物体領域をテンプレートとして登録し、画面の揺れを検出して不要なテンプレートを削除し、テンプレートを用いて物体領域を追跡して、移動した物体領域を検出することにより、検出対象となる移動物体のみを追跡することができる。
なお、本発明は以上説明した実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能であることは言うまでも無い。
また、以上説明した本発明の実施の形態における物体追跡方法を、コンピュータが実行可能なソフトウェアプログラムによって実施することができる。
また、本発明を構成したソフトウェアプログラムをコンピュータが読み取り可能な記録媒体に記録して、他のコンピュータで実施することができる。
【００６１】
【発明の効果】
本発明における画像認識装置及び方法は、上記のように構成され、特に、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、生成したマスクを使用して精度良く画像全体の動きを検出することができ、その上、画面上の物体領域をテンプレートとして登録し、不要なテンプレートを削除することにより、検出対象となる移動物体のみを容易に追跡することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像認識装置の全体のブロック構成を示す図、
【図２】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の物体検出部のブロック構成を示す図、
【図３】本発明の第１ないし第４の実施の形態における画像認識装置及び方法のオプティカルフローを求める概要を示す図、
【図４】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の物体領域を検出する概要を示す図、
【図５】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の撮像装置が揺れた場合に物体領域を検出する概要を示す図、
【図６】本発明の第１及び第２の実施の形態における画像認識装置の画像動き検出部のブロック構成を示す図、
【図７】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の相関値を求める間隔より細かい精度で画像全体の動きを求める概要を示す図、
【図８】本発明の第２の実施の形態における画像認識装置の全体のブロック構成を示す図、
【図９】本発明の第２の実施の形態における画像認識装置のテンプレート管理部のブロック構成を示す図、
【図１０】本発明の第２及び第４の実施の形態における画像認識装置及び方法の物体領域を検出する概要を示す図、
【図１１】本発明の第２の実施の形態における画像認識装置の物体追跡部のブロック構成を示す図、
【図１２】本発明の第２及び第４の実施の形態における画像認識装置及び方法のテンプレートを用いて物体を追跡する概要を示す図、
【図１３】本発明の第３の実施の形態における画像認識方法の全体の流れを示すフローチャート、
【図１４】本発明の第３及び第４の実施の形態における画像認識方法の物体領域検出ステップの詳細な処理の流れを示すフローチャート、
【図１５】本発明の第３及び第４の実施の形態における画像認識方法のマスク生成ステップの詳細な処理の流れを示すフローチャート、
【図１６】本発明の第３及び第４の実施の形態における画像認識方法の画像動き検出ステップの詳細な処理の流れを示すフローチャート、
【図１７】本発明の第４の実施の形態における画像認識方法の全体の処理の流れを示すフローチャート、
【図１８】本発明の第４の実施の形態における画像認識方法のテンプレート管理ステップの処理の流れを示すフローチャート、
【図１９】本発明の第４の実施の形態における画像認識方法のテンプレート削除手順の詳細な処理の流れを示すフローチャート、
【図２０】本発明の第４の実施の形態における画像認識方法のテンプレート登録手順の詳細な処理の流れを示すフローチャート、
【図２１】本発明の第４の実施の形態における画像認識方法の物体追跡ステップの詳細な処理の流れを示すフローチャート、
【図２２】従来の画像認識装置の全体のブロック構成を示す図、
【図２３】従来の画像認識装置の画像全体の動きを求める概要を示す図。
【符号の説明】
１００、８００、２２００ 画像認識装置
１０１、８０１ 現フレームメモリ
１０２、８０２ 前フレームメモリ
１０３、８０３ 物体領域検出部
１０４、８０４ 物体領域記憶メモリ
１０５、８０５ マスク生成部
１０６、８０６ 画像動き検出部
１１０、８１０ 撮像装置
１２０、８２０ 描画装置
１３０、８３０ ディスプレイ
２０１ オプティカルフロー演算器
２０２ 物体領域抽出器
３０１ ブロック
３０２、１２０３ 探索範囲
３０３ ブロック
３０４ 変位量
４０１ 前フレーム画像
４０２、４０３、４０５、４０６、１００１ 人物
４０４ 現フレーム画像
４０７ オプティカルフロー抽出結果
４０８、４０９ ラベリング処理結果
４１０ 物体抽出結果
４１１、４１２ 物体領域
５０１ 移動した現フレーム画像
５０２ オプティカルフロー推定結果
５０３、５０４ オプティカルフロー
５０５ マスク
６０１、２２０４ 相関演算器
６０２ 画像動き演算器
７０１、７０２、７０３、７０４ 三角形
８０７ テンプレート管理部
８０９ 物体追跡部
８０７ テンプレート管理部
８０８ テンプレート記憶メモリ
８０９ 物体追跡部
９０１ テンプレート登録器
９０２ 画像揺れ検出器
９０３ テンプレート削除器
１００２ 移動した人物
１００３ フロー
１００４ 物体領域
１００５ 画像パターン
１１０１ マッチング位置探索器
１１０２ テンプレート更新器
１２０１ テンプレート
１２０２ 現フレーム画像内の位置
１２０４ 最適マッチング位置
１２０５ 変位
２２０１ マルチプレクサ
２２０２ 第１のメモリ
２２０３ 第２のメモリ
２２０５ 移動物体追跡プログラム
２２１０ カメラ
Ｓ１３０１ 物体領域検出ステップ
Ｓ１３０２ マスク生成ステップ
Ｓ１３０３ 画像動き検出ステップ
Ｓ１７０１ 物体領域検出ステップ
Ｓ１７０２ マスク生成ステップ
Ｓ１７０３ 画像動き検出ステップ
Ｓ１７０４ テンプレート管理ステップ
Ｓ１７０５ 物体追跡ステップ
【発明の属する技術分野】
本発明は、撮像装置から得られた画像を処理し、画像に含まれる移動物体を検出し追跡する画像認識装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、画像認識装置としては、例えば図２２及び図２３（Ａ）、（Ｂ）に示すようなものが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平２０００−３２２５８２号公報（９頁〜１０頁、段落番号０１０１〜０１０５、図１、図１３）。
【０００４】
図２２において、従来の画像認識装置２２００は、物体を撮影するカメラ２２１０と、カメラ２２１０からの画像を入力して記憶する第１の画像メモリ２２０２及び第２の画像メモリ２２０３と、デマルチプレクサ２２０１と、相関演算器２２０４と、移動物体追跡プログラム２２０５とを備える。カメラ２２１０は、固定されていても風などの影響により振動することがあるし、また、旋回台によりパンチルト動作をすることがある。そしてカメラ２が動くと、画像認識結果に誤りが生じる場合がある。
【０００５】
そこで、図２２のブロック図、及び図２３（Ａ）の処理フローに示すように、移動物体追跡プログラム２２０５は、相関演算器２２０４に対しカメラ２２１０の動きの演算を指示して相関値配列を求める（ステップＳ２３０１）。移動物体追跡プログラム２２０５は、受け取った相関値配列から、画像全体の動きベクトルを求める（ステップＳ２３０１）。すなわち、図２３（Ｂ）に示すような外枠部分を取り除いた画像全体の相関演算を行うことで、画像全体の動きベクトルを求めて、それをカメラ２２１０の動きとして特定する。
この構成により、カメラの振動やパンチルト移動による画像全体の動きを検出して、それによる画像全体の動きを考慮しつつ、移動物体の追跡を実現している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の画像認識装置においては、単純に外枠部分を取り除いた画像全体の相関演算を用いて画像全体の動きを求めているため、カメラの振動やパンチルト移動により精度良く画像全体の動きを検出できない場合があり、精度良く画像全体の動きを検出できない場合は、画像中に存在する検出対象の移動物体ではなく、本来検出対象では無い画像中の特徴が強い領域（例えば、建造物と背景との境界部分、道路の白線など）を検出対象の移動物体と誤って追跡してしまうという問題があった。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、精度良く画像全体の動きを検出することにより、検出対象の移動物体のみを追跡可能な画像認識装置及び方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明における画像認識装置は、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出手段と、前記物体領域と背景領域とを分離するマスクを生成するマスク生成手段と、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出手段と、検出した前記物体領域をテンプレートとして管理するテンプレート管理手段と、前記テンプレートを登録するテンプレート記憶メモリと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡する物体追跡手段と、を有し、前記テンプレート管理手段は、前記テンプレートが所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除するテンプレート削除手段と、前記画像動き検出手段で検出された画像全体の動きにより画像全体が揺れているか否かを判定する画像揺れ検出手段と、を有し、前記テンプレート削除手段は、前記画像揺れ検出手段において画像全体が揺れていると判定された場合に前記所定期間を短く変更するという構成を有している。この構成により、物体領域を検出しつつ、精度良く画像全体の動きを検出することができる。
【００１２】
本発明における画像認識方法は、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出ステップと、前記物体領域と背景領域とを分離するマスクを生成するマスク生成ステップと、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出ステップと、検出した前記物体領域をテンプレートとして管理するテンプレート管理ステップと、前記テンプレートをテンプレート記憶メモリに登録するステップと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡するステップと、を有し、前記テンプレート管理ステップは、前記テンプレートが、所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除し、前記画像動き検出ステップで検出された画像全体の動きにより画像全体が揺れていると判定した場合に前記所定期間を短く変更するという構成を有している。この構成により、物体領域を検出しつつ、精度良く画像全体の動きを検出することができる。
【００１６】
本発明におけるプログラムは、請求項２に記載の画像認識方法における各ステップをコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化することによって、本発明をコンピュータで容易に実施することができる。
【００１７】
本発明におけるコンピュータ読み取り可能な記録媒体は、請求項２に記載の画像認識方法における各ステップをコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化して、コンピュータが読み取り可能な記録媒体に記憶することにより、本発明をコンピュータで容易に実施することができる。
【００１８】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１ないし第４の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１を参照して、本発明の第１の実施の形態における画像認識装置の構成を説明する。図１において、画像認識装置１００は、撮像装置１１０などの外部装置から入力された画像を記憶する現フレームメモリ１０１と、現フレームメモリ１０１に入力された画像の直前の画像を記憶する前フレームメモリ１０２と、動いている物体が存在する画像領域である物体領域を検出する物体領域検出部１０３と、物体領域を記憶する物体領域記憶メモリ１０４と、現フレームメモリ１０１と前フレームメモリ１０２に記憶されている画像の物体領域と物体の存在しない背景領域を分離するマスクを生成するマスク生成部１０５と、画像とマスクを用いて画像全体の動きを検出する画像動き検出部１０６とにより構成される。
画像認識装置１００の処理結果は、描画装置１２０などの外部装置によって現フレームメモリ１０１に保持されている画像上に描画され、ディスプレイ１３０などの表示装置に表示される。
【００１９】
さらに、図１を参照して、本実施の形態における画像認識装置１００の構成要素について詳細に説明する。画像認識装置１００において、撮像装置１１０から得られた画像は現フレームメモリ１０１へと入力され保持される。前フレームメモリ１０２は、現フレームメモリ１０１より少なくとも１フレーム前の画像が記憶される。現フレームメモリ１０１が撮像装置１１０から入力された画像に更新するときに、現フレームメモリ１０１に現在記憶されている画像を前フレームメモリ１０２に記憶する。したがって、現フレームメモリ１０１と前フレームメモリ１０２とにより撮像時刻の異なる画像が保持されることとなる。
なお、以下の説明で、現フレームメモリ１０１に記憶されている画像を現フレーム画像、前フレームメモリ１０２に記憶されている画像を前フレーム画像という。
【００２０】
次に、図２を参照して、本実施の形態における物体領域検出部１０３（図１）の構成を詳細に説明する。
まず、複数の画像から物体領域を検出する方法としては、例えば背景差分法、フレーム間差分法、オプティカルフローなどが広く知られている。本発明の実施の形態では、オプティカルフローを用いた物体領域の検出を行う例について説明する。
また、オプティカルフローを用いた物体領域の検出方法には、ブロックマッチング法、勾配法などが知られている。本実施の形態では、ブロックマッチング法を用いる例について説明する。
【００２１】
図２において、物体領域検出部１０３は、例えば、オプティカルフロー演算器２０１と物体領域抽出器２０２とから構成される。しかし、他の構成要素により実現しても良い。
オプティカルフロー演算器２０１は、現フレームメモリ１０１に保持されている現フレーム画像と前フレームメモリ１０２に保持されている前フレーム画像とを入力し、現フレーム画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割して、図３に示すように、現フレーム内から１つ選択したブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算して、オプティカルフローを求めるものである。
【００２２】
そこで、図３を参照して、ブロックマッチング法によりオプティカルフローを求める方法を説明する。オプティカルフローは、ブロックマッチング法によって現フレーム内の（Ｍ×Ｎ）個の画素から構成されるブロック３０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲３０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関の高いブロック３０３を探索して求める。そして、ブロック３０３からブロック３０１への変移量を変移量３０４としてオプティカルフローが求められる。相関値は例えば、現フレーム画像と前フレーム画像の各ブロック内の同じ位置の画素の差分絶対値和ＳＡＤ（下記の数１）によって求められる。（数１）を用いた場合、最も相関の高いブロックは差分絶対値和ＳＡＤが最小となる変位量のブロックであることを意味する。
【００２３】
これら一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する。
なお、現フレーム画像または前フレーム画像にノイズ成分が含まれた場合には、誤ったオプティカルフローを推定してしまうため、現フレーム画像のブロックと前フレーム画像のブロックとの変位（０，０）の差分絶対値和ＳＡＤ（０，０）を演算し、ＳＡＤ（０，０）が閾値以上であるブロックについてのみ、最も相関の高いブロックを探索することが望ましい。
【００２４】
【数１】
ここで、図２及び図４を参照して、物体領域抽出器２０２の動作について説明する。図２に示す物体領域抽出器２０２は、塊状に発生したオプティカルフローについてラベル付けを行い、物体領域を検出して物体領域記憶メモリ１０４（図１及び図２）に記憶する。例えば、図４に示すように、前フレーム画像４０１の人物４０２が水平右方向に移動して現フレーム画像４０４の人物４０５の位置へ移動し、前フレーム画像４０１の人物４０３が水平左方向に移動して現フレーム画像４０４の人物４０６の位置へ移動しているシーンのオプティカルフローを求めると、図４のオプティカルフロー推定結果４０７が得られる。
【００２６】
次に、図４の４０８、４０９に示すようにラベリング処理を行う。ラベリング処理は、隣接した同一の特徴を持つ点もしくは領域（本実施の形態ではブロック）に同じラベルを付けてグループ化する処理であり、一般的に広く知られている手法である。
そして、図４の現フレーム画像４０４とオプティカルフロー推定結果４０７のラベリング処理結果４０８，４０９とを用いて、ブロックの塊（４０８，４０９）の中で隣接し合ったオプティカルフローが発生したブロックのブロック数がしきい値以上である場合に、上記隣接し合ったブロックの塊を移動した物体領域として抽出する。例えば、図４の物体抽出結果４１０のように物体領域４１１、４１２をそれぞれ検出することができる。
【００２７】
次に、図５を参照して、図１に示すマスク生成部１０５の動作を説明する。ここで、マスク生成部１０５は、画像の物体領域を背景領域から分離するマスクを生成する。例えば、現フレーム画像４０４（図４）の画像全体が撮像装置１１０（図１）の揺れなどの原因で、現フレーム画像４０４（図５に点線で示す）が移動して、現フレーム画像５０１（図５）のように得られた場合について説明する。
図５に示すように、前フレーム画像４０１と移動した現フレーム画像５０１のオプティカルフローを推定するとオプティカルフロー推定結果５０２に示すように、移動物体のオプティカルフロー５０３だけでなく、構造物と背景との輝度差が大きいエッジ部分に生じるオプティカルフロー５０４が検出される。このとき、マスク生成部１０５は、物体領域と背景領域を分離するマスク５０５を生成する。
【００２８】
次に、図６を参照して、本実施の形態における、図１に示す画像動き検出部１０６について詳細に説明する。図６に示す画像動き検出部１０６は、例えば、相関演算器６０１と画像動き演算器６０２とにより構成される。しかし、他の構成で実現しても良い。相関演算器６０１は、現フレームメモリ１０１に記憶されている現フレーム画像と、前フレームメモリ１０２に記憶されている前フレーム画像と、マスク生成部１０５で生成されたマスクとを用いて、相関演算を実行する。
相関演算は、例えば（下記数２）によって行われる。数２において、マスク係数ｍ（ｉ，ｊ）は、例えば０または１の値を持ち、マスク係数が０に対応する画素は物体領域の画素であり、１に対応する画素は背景領域の画素である。
【００２９】
【数２】
画像動き演算器６０２は、相関演算器６０１で演算した画像全体の相関値から最小となる変位量（ｖ，ｗ）を求める。
本実施の形態では、ｘ成分の変位量ｃ、ｙ成分の変位量ｄの相関値を求める間隔はそれぞれＣ、Ｄとする。このとき、（数３（ａ））は、図７に示すように座標（ｖ−Ｃ，Ｖ（ｖ−Ｃ，ｗ））と座標（ｖ，Ｖ（ｖ，ｗ））とを結ぶ傾きＡの線分と、座標（ｖ，Ｖ（ｖ＋Ｃ，ｗ））を通る傾き−Ａの線分との交点のｘ成分ｆｖを示し、三角形７０１、７０２、７０３、７０４は全て相似の関係であり、三角形７０３と７０４は合同の関係であることから導出することができる。また、（数３（ｂ））についても同様に導出することができる。
【００３１】
変位量（ｖ，ｗ）を求めたら、次に、（数３（ａ））によって、相関値を求める間隔Ｃより細かい精度で画像全体のｘ成分の変位量ｆｖを演算する。なお、同様に、（数３（ｂ））によって、相関値を求める間隔Ｄより細かい精度で画像全体のｙ成分の変位量ｆｗを演算する。そして、変位量（ｆｖ，ｆｗ）を画像全体の動き量として出力する。
【００３２】
【数３】
以上説明したように、本発明の第１の実施の形態の画像認識装置によれば、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出部１０３と、画像内の物体領域と背景領域とを分離するマスクを生成するマスク生成部１０５と、マスクを用いて画像全体の動きを検出する画像動き検出部１０６とを設けることにより、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域とを分離するマスクを生成し、マスクを用いて画像全体の動きを検出することにより、精度良く画像全体の動きを検出することができる。
【００３４】
（第２の実施の形態）
次に、図８を参照して、本発明の第２の実施の形態における画像認識装置の構成を説明する。図８に示す、本実施の形態における画像認識装置８００は、撮像装置８１０などの外部装置から入力された画像を記憶する現フレームメモリ８０１と、現フレームメモリ８０１に入力された画像の直前の画像を記憶する前フレームメモリ８０２と、動いている物体の存在する画像領域である物体領域を検出する物体領域検出部８０３と、物体領域を記憶する物体領域記憶メモリ８０４と、現フレームメモリ８０１と前フレームメモリ８０２に記憶されている画像の物体領域と背景領域を分離するマスクを生成するマスク生成部８０５と、画像とマスクを用いて画像全体の動きを検出する画像動き検出部８０６と、物体領域をテンプレートとして登録したり、テンプレートの更新、削除をを行うテンプレート管理部８０７と、テンプレートを記憶するテンプレート記憶メモリ８０８と、テンプレート記憶メモリ８０８に記憶されているテンプレートを用いて現フレーム内の物体の追跡を行う物体追跡部８０９とにより構成される。
画像認識装置８００の処理結果は、描画装置８２０などの外部装置により現フレームメモリ８０１に保持されている画像に描画され、ディスプレイ８３０などの外部装置に表示される。
【００３５】
さらに、図８を参照して、本実施の形態における画像認識装置８００の構成要素について詳細に説明する。画像認識装置８００において、現フレームメモリ８０１と、前フレームメモリ８０２と、物体領域検出部８０３と、物体領域記憶メモリ８０４と、マスク生成部８０５と、画像動き検出部８０６とは、図１の現フレームメモリ１０１と、前フレームメモリ１０２と、物体領域検出部１０３と、物体領域記憶メモリ１０４と、マスク生成部１０５と、画像動き検出部１０６とそれぞれ同一であるため、詳細な説明は省略する。
しかし、テンプレート管理部８０７と、テンプレート記憶メモリ８０８と、物体追跡部８０９との各構成要素については、本実施の形態で新たに導入した構成要素であるため、以下で詳細に説明する。
【００３６】
まず、図９を参照して、本実施の形態におけるテンプレート管理部８０７の構成を詳細に説明する。
テンプレート管理部８０７は、例えばテンプレート登録器９０１と画像揺れ検出器９０２とテンプレート削除器９０３とにより構成される。しかし、他の構成で実現しても良い。
図９において、テンプレート登録器９０１は、物体領域記憶メモリ８０４に記憶されている各物体領域がテンプレート記憶メモリ８０８に既にテンプレートとして登録されているかどうか判定し、選択した物体領域が追跡対象物体の特徴を持つかどうか判定する。例えば、追跡対象物体の特徴としては、大きさ、縦横比などがある。物体領域が追跡対象物体の特徴を持ち、テンプレートに登録されていない場合は、新規のテンプレートをテンプレート記憶メモリ８０８に記憶する。
【００３７】
次に、図１０を参照して、本実施の形態における、図９に示すテンプレート登録器９０１の動作を詳細に説明する。ここの説明では、テンプレート登録器９０１の動作を、例えば図１０に示すように、人物１００１が人物１００２の位置へ移動している場合について説明する。物体領域検出部８０３（図８）によって、図１０の各ブロックで得られたフロー１００３から物体領域１００４を求める。この時、物体領域が追跡対象物体の特徴を持ち、テンプレートとして未登録である場合は、テンプレート登録器９０１により、テンプレートの画像パターン１００５を新規のテンプレートとしてテンプレート記憶メモリ８０８に登録する。
【００３８】
画像揺れ検出器９０２は、画像動き検出部８０６からの現フレームの画像全体の動きを入力して、過去ｋフレーム分の画像全体の動きの変位量の総和α、βを（下記数４）によって演算する。そして、数４のαまたはβのいずれかがしきい値を超えている場合は画像全体が揺れている旨をテンプレート削除器９０３へ通知する。なお、画像全体が揺れているかどうかを判定するしきい値は、αとβで共通のしきい値を用いても良いし、個々にしきい値を設定しても良い。
【００３９】
【数４】
テンプレート削除器９０３は、テンプレート記憶メモリ８０８に登録されているテンプレートから不要なテンプレートを削除する。テンプレートを削除する条件としては、例えば、テンプレートが画像内の同じ位置にフレームが一定数（ＴＨ１フレーム）以上存在する場合は削除する（ＴＨ１はテンプレートの削除をきめるしきい値）。画像揺れ検出器９０２から画像全体が揺れている旨が通知された場合は、構造物と背景との輝度差が大きいエッジ部分に生じるオプティカルフロー５０４（図５）によって誤登録されるテンプレートを削除しやすくするため、テンプレートが画像内の同位置に一定フレーム数（ＴＨ２フレーム）以上存在する場合に削除する。上記、ＴＨ１とＴＨ２は、ＴＨ１＞ＴＨ２の関係を満たす。
【００４１】
次に、図１１を参照して、本実施の形態における、図８に示す物体追跡部８０９の構成を詳細に説明する。物体追跡部８０９は、例えばマッチング位置探索器１１０１とテンプレート更新器１１０２とから構成されるが、他の構成で実現しても良い。
マッチング位置探索器１１０１は、図１２に示すように、現フレーム画像内に設定した探索範囲１２０３内でテンプレート１２０１との最適マッチング位置１２０４（例えば、相関値が最も大きい位置）を探索する。そして、テンプレート１２０１の現フレーム画像内の位置１２０２から最適マッチング位置１２０４までの変移１２０５が物体の移動量となる。相関値は例えば、（数５）に示すような正規化相関値を用いる。（数５）で示す正規化相関値Ｒ（ａ，ｂ）は、０〜１の実数値を取り、１に近づくほど相関が高いことを意味する。正規化相関値は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【００４２】
【数５】
ｆ：現フレーム画像
Ｔ：テンプレート
Ｈ：テンプレートのサイズ（横）
Ｖ：テンプレートのサイズ（縦）
ａ：テンプレートとマッチング位置の変移のｘ成分
ｂ：テンプレートとマッチング位置の変移のｙ成分
【００４４】
テンプレート更新器１１０２は、テンプレートと現フレーム画像内の最適マッチング位置との相関値がしきい値を超えているかどかを判定し、しきい値を超えている場合は、テンプレートを現フレーム画像内の最適マッチング位置の領域により、テンプレート記憶メモリ８０８に登録されているテンプレートを更新する。テンプレートを更新することにより、追跡対象物体の形状ないしは大きさの変化に追従することができることから好ましい。
【００４５】
以上説明したように、本発明の第２の実施の形態の画像認識装置によれば、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出部８０３と、画像内の物体領域と背景領域とを分離するマスクを生成するマスク生成部８０５と、画像全体の動きを検出する画像動き検出部８０６と、物体領域をテンプレートとして登録し、画面の揺れを検出して不要なテンプレートを削除しやすくするテンプレート管理部８０７とを設け、さらに物体領域をテンプレートとして登録し、テンプレートを用いて物体領域を追跡する物体追跡部８０９を設けることにより、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、マスクを用いて画像画像全体の動きを検出することにより、精度良く画像全体の動きを検出し、それにより検出対象となる移動物体のみを追跡することができる。
【００４６】
（第３の実施の形態）
次に、図１３を参照して、本発明の第３の実施の形態における画像認識方法の構成を説明する。図１３に示すように、本実施の形態における画像認識方法は、撮像時刻の異なる複数の画像を入力してオプティカルフローを推定して、物体領域を検出する物体領域検出ステップ（Ｓ１３０１）と、複数の画像から検出した物体領域部分を取り除くマスク生成ステップ（Ｓ１３０２）と、画像全体の動きを検出するステップ（Ｓ１３０３）とを設け、これらステップＳ１３０１〜Ｓ１３０３の一連の処理を繰り返し行うことにより、画像全体の動きを検出しつつ、物体領域を検出する。
【００４７】
さらに、図１４〜図１６を参照して、図１３に示す本実施の形態における画像認識方法の各ステップについて詳細に説明する。
まず、図１４のフローチャートを参照して、図１３に示す物体領域検出ステップＳ１３０１の詳細な処理の流れを説明する。オプティカルフローを求める方法としては、例えばブロックマッチング法や勾配法が知られている。本実施の形態ではブロックマッチング法を用いた方法を説明する。
【００４８】
まず、現フレーム画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割する（ステップＳ１４０１）。次に、現フレーム画像のブロックを１つ選択し（ステップＳ１４０２）、現フレーム内のブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算してオプティカルフローを求める（ステップＳ１４０３）。オプティカルフローは図３に示すようにブロックマッチング法によって現フレーム内の（Ｍ×Ｎ）個の画素から構成されるブロック３０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成されている探索範囲３０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関値の高いブロック３０３を探索して求める。そして、ブロック３０３からブロック３０１への変移３０４としてオプティカルフローが求められる。相関値は、例えば現フレーム内のブロックと前フレーム画像のブロックにおいて、同位置の画素の差分絶対値和（数１）によって求められる。これらステップＳ１４０２、１４０３の一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する（ステップＳ１４０４）。
【００４９】
次に、図４に示すラベリンク処理結果４０８、４０９となるように、ラベリング処理を実行する（ステップＳ１４０５）。ラベリング処理は、隣接した同一の特徴を持つ点もしくは領域（本実施例ではブロック）に同じラベルを付けてグループ化する処理であり、一般的に広く知られている手法である。
そして、図４に示す現フレーム画像４０４とオプティカルフロー推定結果４０７のラベリング処理結果を用いて、隣接し合ったブロックの塊のブロック数がしきい値以上である場合に、上記隣接し合ったブロックの塊を移動した物体領域として抽出する。例えば、図４の物体抽出結果４１０に示すような物体領域４１１、４１２をそれぞれ検出することができる。
【００５０】
次に、図１５のフローチャートを参照して、図１３に示すマスク生成ステップＳ１３０２の詳細な処理の流れを説明する。
まず始めに、画像の座標に対応するマスク係数を１つ選択する（ステップＳ１５０１）。
次に、マスク係数と同じ位置の画素が物体領域に含まれるかどうか判定する（ステップＳ１５０１）。その画素が物体領域に含まれる場合は、マスク係数を０とし（ステップＳ１５０３）、物体領域でない場合はマスク係数を１とする（ステップＳ１５０４）。これらステップＳ１５０１〜１５０４の処理を全てのマスク係数について行いマスクを生成する（ステップＳ１５０５）。
【００５１】
次に、図１６のフローチャートを参照して、図１３に示す画像動き検出ステップＳ１３０３の詳細な処理の流れを説明する。
まず始めに、現フレーム画像と、前フレーム画像と、マスク生成ステップＳ１３０２で生成されたマスクとを用いて、相関演算を行う（ステップＳ１６０１）。相関演算は例えば（数２）によって行われる。
次に、ステップＳ１６０１で演算した画像全体の相関値から最高となる変位量（ｖ，ｗ）を求める（ステップＳ１６０２）。
そして、（数３（ａ））によって、相関値を求める間隔より細かい精度で画像全体のｘ成分の変位量を演算する。同様に、（数３（ｂ））によって、相関値を求める間隔より細かい精度で画像全体のｙ成分の変位量を演算する（ステップＳ１６０３）。
以上説明したように、本発明の第３の実施の形態の画像認識方法によれば、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、マスクを用いて画像画像全体の動きを検出することにより、精度良く画像全体の動きを検出することができる。
【００５２】
（第４の実施の形態）
次に、図１７を参照して、本発明の第４の実施の形態における画像認識方法の構成を説明する。図１７に示す本実施の形態における画像認識方法は、撮像時刻の異なる複数の画像を入力してオプティカルフローを推定し、物体領域を検出する物体領域検出ステップ（Ｓ１７０１）と、複数の画像から検出した物体領域部分を背景領域から分離するマスク生成ステップ（Ｓ１７０２）と、画像全体の動きを検出する画像動き検出ステップ（Ｓ１７０３）と、物体領域をテンプレートとして登録し、不要なテンプレートを削除するテンプレート管理ステップ（Ｓ１７０４）と、テンプレートを用いて物体を追跡するステップ（Ｓ１７０５）とを備えたものである。以上のステップＳ１７０１〜１７０５における一連の処理を繰り返し行い、画像全体の動きを検出しつつ、不要なテンプレートを削除することにより移動する物体領域のみをを追跡することになる。
【００５３】
さらに、図１８〜図２１を参照して、図１７に示す本実施の形態における画像認識方法の各ステップについて詳細に説明する。なお、図１７に示す物体領域検出ステップＳ１７０１と、マスク生成ステップＳ１７０２と、画像動き検出ステップＳ１７０３とは、図１３に示す物体領域検出ステップＳ１３０１と、マスク生成ステップＳ１３０２と、画像動き検出ステップＳ１３０３とそれぞれ同一であるために詳細な説明を省略する。そして、図１８から図２０のフローチャートを用いてテンプレート管理ステップＳ１７０４を詳細に説明し、図２１のフローチャートを用いて物体追跡ステップＳ１７０５を詳細に説明して、本実施の形態における詳細な説明とする。
【００５４】
まず、図１８から図２０のフローチャートを参照して、テンプレート管理ステップＳ１７０４の詳細な処理の流れを説明する。テンプレート管理ステップＳ１７０４は、例えば図１８に示すようにテンプレート削除手順１８０１とテンプレート登録手順１８０２とで構成されるが、他の構成で実現しても良い。
まず、図１９のフローチャートを参照して、テンプレート削除手順１８０１（図１８）の詳細な処理の流れを説明する。
過去ｐフレーム分の画像動き検出ステップＳ１７０３で得られた画像全体の動きを（数３）を用いて、ｘ成分、ｙ成分それぞれの絶対値和を求める（Ｓ１９０１）。
次に、ｘ成分、ｙ成分の絶対値和のいずれかがしきい値（回数）を超えているかどうか判定する（Ｓ１９０２）。
その判定において、しきい値を超えていないと判定された場合は、テンプレートを削除するしきい値ＴＨをＴＨ１とする（ステップＳ１９０３）。しきい値を超えていると判定された場合は、画像全体が揺れているとみなしてテンプレートを削除するしきい値ＴＨをＴＨ２とする（ステップＳ１９０４）。ただし、ＴＨ１とＴＨ２はＴＨ１＞ＴＨ２の関係を満たすものとする。
【００５５】
次に、テンプレートが１つ以上登録されているかどうか判定する（ステップＳ１９０５）。テンプレートが登録されていない場合は、図１９の一連の処理は終了する。テンプレートが１つ以上登録されている場合は、テンプレートを１つ選択する（ステップＳ１９０６）。
次に、テンプレートが同じ位置にしきい値ＴＨ回以上存在するかどうか判定する（ステップＳ１９０７）。テンプレートが同じ位置にしきい値ＴＨ回以上存在する場合は、画像全体が揺れているということであるから、移動する物体のテンプレートではないためそのテンプレートを削除する（ステップＳ１９０８）。その場合は、しきい値ＴＨを小さくすることによって不要なテンプレートを削除しやすくする。
以上、ステップＳ１９０６からステップＳ１９０８までの一連の処理を登録している全てのテンプレートに対して実行する（ステップＳ１９０９）。
【００５６】
次に、図２０のフローチャートを参照して、テンプレート登録手順１８０２（図１８）の詳細な処理の流れを説明する。
まず、物体領域が１つ以上存在するかどうか判定する（ステップＳ２００１）。物体領域が全く存在しない場合は、図２０の一連の処理を終了する。
物体領域が１つ以上存在する場合は、物体領域を１つ選択する（ステップＳ２００２）。
ステップＳ２００２で選択した物体領域が追跡対象物体の特徴を持つかどうか判定する（ステップＳ２００３）。例えば、追跡対象物体の特徴としては、大きさ、縦横比などがある。物体領域が追跡対象物体の特徴を持つ場合は、選択した物体領域が既にテンプレートとして登録されているか判定する（ステップＳ２００４）。選択した物体領域がテンプレートに登録されていない場合は、新規のテンプレートとして登録する（ステップＳ２００５）。
以上、ステップＳ２００２からステップＳ２００５までの一連の処理を存在する全ての物体領域に対して実行する（ステップＳ２００６）。
【００５７】
次に、図２１のフローチャートと図１２とを参照して、図１７に示す物体追跡ステップＳ１７０５の詳細な処理の流れを説明する。
まず、テンプレートが１つ以上登録されているかどうか判定する（ステップＳ２１０１）。テンプレートが全く登録されていない場合は、ステップＳ２１０２〜２１０６の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、テンプレートを１つ選択する（ステップＳ２１０２）。
【００５８】
次に、図１２に示すように、ステップＳ２１０２で選択したテンプレート１２０１について現フレーム画像内に設定した探索範囲１２０３内の最適マッチング位置１２０４（例えば、相関値が最も大きい位置）を探索する（ステップＳ２１０３）。そして、テンプレート１２０１の現フレーム画像内の位置１２０２から最適マッチング位置１２０４の変移１２０５が物体の移動量となる。相関値は例えば、（数５）で示すように正規化相関値を用いる。（数５）で示す正規化相関値Ｒ（ａ，ｂ）は、０〜１の実数値を取り、１に近づくほど相関が高いことを意味する。正規化相関値は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【００５９】
次に、テンプレートと現フレーム画像内の最適マッチング位置との相関値がしきい値を超えているかどうか判定する（ステップＳ２１０４）。イエスの場合、相関値がしきい値を超えたテンプレートを現フレーム画像内の最適マッチング位置の領域を用いて更新する（ステップＳ２１０５）。テンプレートは、更新することによって、追跡対象物体の形状ないし大きさの変化に追従することができることから好ましい。以上、ステップＳ２１０２〜２１０５の一連の処理を、登録されている全てのテンプレートに対して行い、テンプレートの更新を行う（ステップＳ２１０６）。
【００６０】
以上説明したように、本発明の第４の実施の形態の画像認識方法によれば、撮像時刻の異なる複数の画像から物体領域を検出し、画像内の物体領域と背景領域とを分離するマスクを生成し、マスクを用いて精度良く画像全体の動きを検出し、物体領域をテンプレートとして登録し、画面の揺れを検出して不要なテンプレートを削除し、テンプレートを用いて物体領域を追跡して、移動した物体領域を検出することにより、検出対象となる移動物体のみを追跡することができる。
なお、本発明は以上説明した実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能であることは言うまでも無い。
また、以上説明した本発明の実施の形態における物体追跡方法を、コンピュータが実行可能なソフトウェアプログラムによって実施することができる。
また、本発明を構成したソフトウェアプログラムをコンピュータが読み取り可能な記録媒体に記録して、他のコンピュータで実施することができる。
【００６１】
【発明の効果】
本発明における画像認識装置及び方法は、上記のように構成され、特に、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、生成したマスクを使用して精度良く画像全体の動きを検出することができ、その上、画面上の物体領域をテンプレートとして登録し、不要なテンプレートを削除することにより、検出対象となる移動物体のみを容易に追跡することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像認識装置の全体のブロック構成を示す図、
【図２】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の物体検出部のブロック構成を示す図、
【図３】本発明の第１ないし第４の実施の形態における画像認識装置及び方法のオプティカルフローを求める概要を示す図、
【図４】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の物体領域を検出する概要を示す図、
【図５】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の撮像装置が揺れた場合に物体領域を検出する概要を示す図、
【図６】本発明の第１及び第２の実施の形態における画像認識装置の画像動き検出部のブロック構成を示す図、
【図７】本発明の第１ないし第４の実施の形態における画像認識装置及び方法の相関値を求める間隔より細かい精度で画像全体の動きを求める概要を示す図、
【図８】本発明の第２の実施の形態における画像認識装置の全体のブロック構成を示す図、
【図９】本発明の第２の実施の形態における画像認識装置のテンプレート管理部のブロック構成を示す図、
【図１０】本発明の第２及び第４の実施の形態における画像認識装置及び方法の物体領域を検出する概要を示す図、
【図１１】本発明の第２の実施の形態における画像認識装置の物体追跡部のブロック構成を示す図、
【図１２】本発明の第２及び第４の実施の形態における画像認識装置及び方法のテンプレートを用いて物体を追跡する概要を示す図、
【図１３】本発明の第３の実施の形態における画像認識方法の全体の流れを示すフローチャート、
【図１４】本発明の第３及び第４の実施の形態における画像認識方法の物体領域検出ステップの詳細な処理の流れを示すフローチャート、
【図１５】本発明の第３及び第４の実施の形態における画像認識方法のマスク生成ステップの詳細な処理の流れを示すフローチャート、
【図１６】本発明の第３及び第４の実施の形態における画像認識方法の画像動き検出ステップの詳細な処理の流れを示すフローチャート、
【図１７】本発明の第４の実施の形態における画像認識方法の全体の処理の流れを示すフローチャート、
【図１８】本発明の第４の実施の形態における画像認識方法のテンプレート管理ステップの処理の流れを示すフローチャート、
【図１９】本発明の第４の実施の形態における画像認識方法のテンプレート削除手順の詳細な処理の流れを示すフローチャート、
【図２０】本発明の第４の実施の形態における画像認識方法のテンプレート登録手順の詳細な処理の流れを示すフローチャート、
【図２１】本発明の第４の実施の形態における画像認識方法の物体追跡ステップの詳細な処理の流れを示すフローチャート、
【図２２】従来の画像認識装置の全体のブロック構成を示す図、
【図２３】従来の画像認識装置の画像全体の動きを求める概要を示す図。
【符号の説明】
１００、８００、２２００ 画像認識装置
１０１、８０１ 現フレームメモリ
１０２、８０２ 前フレームメモリ
１０３、８０３ 物体領域検出部
１０４、８０４ 物体領域記憶メモリ
１０５、８０５ マスク生成部
１０６、８０６ 画像動き検出部
１１０、８１０ 撮像装置
１２０、８２０ 描画装置
１３０、８３０ ディスプレイ
２０１ オプティカルフロー演算器
２０２ 物体領域抽出器
３０１ ブロック
３０２、１２０３ 探索範囲
３０３ ブロック
３０４ 変位量
４０１ 前フレーム画像
４０２、４０３、４０５、４０６、１００１ 人物
４０４ 現フレーム画像
４０７ オプティカルフロー抽出結果
４０８、４０９ ラベリング処理結果
４１０ 物体抽出結果
４１１、４１２ 物体領域
５０１ 移動した現フレーム画像
５０２ オプティカルフロー推定結果
５０３、５０４ オプティカルフロー
５０５ マスク
６０１、２２０４ 相関演算器
６０２ 画像動き演算器
７０１、７０２、７０３、７０４ 三角形
８０７ テンプレート管理部
８０９ 物体追跡部
８０７ テンプレート管理部
８０８ テンプレート記憶メモリ
８０９ 物体追跡部
９０１ テンプレート登録器
９０２ 画像揺れ検出器
９０３ テンプレート削除器
１００２ 移動した人物
１００３ フロー
１００４ 物体領域
１００５ 画像パターン
１１０１ マッチング位置探索器
１１０２ テンプレート更新器
１２０１ テンプレート
１２０２ 現フレーム画像内の位置
１２０４ 最適マッチング位置
１２０５ 変位
２２０１ マルチプレクサ
２２０２ 第１のメモリ
２２０３ 第２のメモリ
２２０５ 移動物体追跡プログラム
２２１０ カメラ
Ｓ１３０１ 物体領域検出ステップ
Ｓ１３０２ マスク生成ステップ
Ｓ１３０３ 画像動き検出ステップ
Ｓ１７０１ 物体領域検出ステップ
Ｓ１７０２ マスク生成ステップ
Ｓ１７０３ 画像動き検出ステップ
Ｓ１７０４ テンプレート管理ステップ
Ｓ１７０５ 物体追跡ステップ
Claims (4)
- 撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出手段と、前記物体領域と背景領域とを分離するマスクを生成するマスク生成手段と、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出手段と、検出した前記物体領域をテンプレートとして管理するテンプレート管理手段と、前記テンプレートを登録するテンプレート記憶メモリと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡する物体追跡手段と、を有し、
前記テンプレート管理手段は、前記テンプレートが所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除するテンプレート削除手段と、前記画像動き検出手段で検出された画像全体の動きにより画像全体が揺れているか否かを判定する画像揺れ検出手段と、を有し、前記テンプレート削除手段は、前記画像揺れ検出手段において画像全体が揺れていると判定された場合に前記所定期間を短く変更することを特徴とする画像認識装置。 - 撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出ステップと、前記物体領域と背景領域とを分離するマスクを生成するマスク生成ステップと、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出ステップと、検出した前記物体領域をテンプレートとして管理するテンプレート管理ステップと、前記テンプレートをテンプレート記憶メモリに登録するステップと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡するステップと、を有し、
前記テンプレート管理ステップは、前記テンプレートが、所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除し、前記画像動き検出ステップで検出された画像全体の動きにより画像全体が揺れていると判定した場合に前記所定期間を短く変更することを特徴とする画像認識方法。 - 請求項２に記載の画像認識方法における各ステップをコンピュータに実行させるためのプログラム。
- 請求項２に記載の画像認識方法における各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002373460A JP4283532B2 (ja) | 2002-12-25 | 2002-12-25 | 画像認識装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002373460A JP4283532B2 (ja) | 2002-12-25 | 2002-12-25 | 画像認識装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004206320A JP2004206320A (ja) | 2004-07-22 |
| JP4283532B2 true JP4283532B2 (ja) | 2009-06-24 |
Family
ID=32811733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002373460A Expired - Fee Related JP4283532B2 (ja) | 2002-12-25 | 2002-12-25 | 画像認識装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4283532B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006058431A (ja) * | 2004-08-18 | 2006-03-02 | Fujinon Corp | オートフォーカスシステム |
| US7602946B2 (en) * | 2004-09-24 | 2009-10-13 | Nissan Motor Co., Ltd. | Motion detection apparatus and motion detection method |
| JP4670303B2 (ja) | 2004-10-06 | 2011-04-13 | ソニー株式会社 | 画像処理方法及び画像処理装置 |
| JP5426874B2 (ja) * | 2008-12-22 | 2014-02-26 | 富士フイルム株式会社 | オートフォーカスシステム |
| JP5347834B2 (ja) | 2009-08-25 | 2013-11-20 | 株式会社ニコン | 画像追尾装置 |
| JP2012199601A (ja) * | 2011-03-18 | 2012-10-18 | Nikon Corp | 画像追尾装置 |
| EP2739044B1 (en) | 2012-11-29 | 2015-08-12 | Alcatel Lucent | A video conferencing server with camera shake detection |
| JP7278737B2 (ja) * | 2018-10-04 | 2023-05-22 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
-
2002
- 2002-12-25 JP JP2002373460A patent/JP4283532B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004206320A (ja) | 2004-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Combining detection and tracking for human pose estimation in videos | |
| US11302315B2 (en) | Digital video fingerprinting using motion segmentation | |
| JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
| US7783118B2 (en) | Method and apparatus for determining motion in images | |
| TWI359387B (en) | Robust camera pan vector estimation using iterativ | |
| WO2020017190A1 (ja) | 映像解析装置、人物検索システムおよび人物検索方法 | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
| JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
| CN109271848B (zh) | 一种人脸检测方法及人脸检测装置、存储介质 | |
| JP2017522647A (ja) | 背景追跡を介する物体追跡及びセグメント化の方法及び装置 | |
| KR20110128529A (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
| JP4283532B2 (ja) | 画像認識装置および方法 | |
| JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| Janardhana Rao et al. | Hybridized cuckoo search with multi-verse optimization-based patch matching and deep learning concept for enhancing video inpainting | |
| CN109785357A (zh) | 一种适用于战场环境的机器人智能化全景光电侦察的方法 | |
| JP2020088647A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6028972B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| JP4328259B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
| JP2022131642A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
| JP2004295416A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050623 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090319 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |