JP5253102B2 - 物体判別方法および物体判別装置 - Google Patents

Description

本発明は、カメラから入力された画像内の移動物体の種類を判別する物体判別方法および物体判別装置に関する。

監視カメラシステムなどでは、カメラで撮影した画像内から移動する物体を抽出し、その物体が人か否かを、形、大きさなどから判定することが行われる（たとえば、特許文献１参照。）。

また、駐車場などの監視対象領域における移動物体の移動パターンからその移動物体が不審人物か否かを判定する技術（特許文献２、３、４）がある。たとえば、監視対象領域をカメラで撮影し、その画像を複数のブロックに分割し、ブロック内での物体の動き量（動きベクトル）が最大のブロックを求め、この最大ブロックの位置が隣接ブロックへと連続して移動するパターンを検出し、このパターンがルール違反の異常行動パターンか否かを判定する映像監視方法がある（特許文献４参照。）。

特開２００３−２５９３３７号公報 特開２００４−３２８６２２号公報 特開２００５−３５４５９４号公報 特開２００５−２８４６５２号公報

人は、車両などに比べて動作の自由度が高く、人の形や大きさなど、カメラからの「見え方」が様々に変化するので、物体を検出した直後の画像における形や大きさなどの特徴情報のみに基づいてその物体が人か否かの判別を行う方法では判別を誤る可能性があった。

また、行動パターンに基づいて不審人物か否かを判定する方法では、監視領域内に不審人物が侵入していることを、その人が不審な行動パターンをとる前に検出して監視員に通知し注意を喚起することはできない。また、追尾している物体同士が交差したり障害物の背後に一時的に隠れたりすると、その物体のカメラからの「見え方」が変動するので、交差や隠れの前後で同一物体を同一物体として追尾することが難しく、行動パターンや移動パターンに基づく判定に支障が生じるという問題があった。なお、人に限らず、形の変化の自由度が高いなど「見え方」の変化し易い物体を対象とする場合には同様の問題を生じる。

本発明は、上記の問題を解決しようとするものであり、カメラ画像から検出される物体の種類を的確に判別することのできる物体判別方法および物体判別装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］カメラから入力される画像内の物体を追尾すると共に、その物体の特徴情報を抽出して該特徴情報を示す特徴量データを記憶部に記憶することを追尾中に複数回行い、
前記記憶部に記憶されている複数回分の前記特徴量データに基づいて前記物体の種類を判別すると共に、
前記判別において、前記記憶部に記憶されている複数回分の物体の特徴量データを一部回数ずつのＮ（Ｎは２以上の整数）区間に区分し、区間毎にその区間に属する特徴量データを使用して物体の種類を判別する一次判別を行い、前記物体が特定種類である信頼度を前記Ｎに対する前記一次判別で前記特定種類と判別された回数の比として求め、前記信頼度が閾値以上であって前記記憶部に記憶されている前記物体の特徴量データが所定回数以上の場合に前記物体を前記特定種類の物体であると判別する
ことを特徴とする物体判別方法。

［４］カメラから入力される画像内の物体を追尾する追尾部と、
記憶部と、
前記追尾部による前記物体の追尾中に、その物体の特徴情報を抽出し該特徴情報を示す特徴量データを前記記憶部に記憶することを複数回行う蓄積制御部と、
前記記憶部に記憶されている複数回分の前記特徴量データに基づいて前記物体の種類を判別する判別部と、
を有し、
前記判別部は、前記記憶部に記憶されている複数回分の物体の特徴量データを一部回数ずつのＮ（Ｎは２以上の整数）区間に区分し、区間毎にその区間に属する特徴量データを使用して物体の種類を判別する一次判別を行い、前記物体が特定種類である信頼度を前記Ｎに対する前記一次判別で前記特定種類と判別された回数の比として求め、前記信頼度が閾値以上であって前記記憶部に記憶されている前記物体の特徴量データが所定回数以上の場合に前記物体を前記特定種類の物体であると判別する
ことを特徴とする物体判別装置。

上記［１］、［４］に係る発明によれば、画像内の物体を追尾し、追尾中にその物体の特徴情報を示す特徴量データを時系列に複数回サンプリングして記憶し、この複数回分の特徴量データに基づいてその物体の種類（たとえば人であるか車両であるか）を判別するので、物体を検出した直後にその物体の種類を判別する場合に比べて、高い信頼性で判別することができる。

また、記憶部に記憶されている複数回分の物体の特徴量データをＮ区間に区分し、区間毎にその区間の特徴量データを使用して物体の種類を一次判別し、その物体が特定種類である信頼度を、一次判別で特定種類と判別された回数／Ｎ、として求めるので、記憶部に記憶されている物体の特徴量データの回数が変動しても、同じ尺度で信頼度を求めることができる。また、Ｎ区間に分割することで、各回の特徴量データを単位に一次判別を行う場合に比べて、演算が簡略化される。また信頼度が閾値以上であってこの信頼度の導出に使用された特徴量データが所定回数以上の場合にその物体を特定種類の物体であると判別するので、サンプリング回数の少ない特徴量データ（所定回数未満の特徴量データ）によって誤判別されることが防止され、判別の信頼性が確保される。なお、記憶部に記憶されている物体の特徴量データの回数はＮ以上である必要がある。

［２］前記判別において、前記物体が第１種類の物体か否かを判別する第１判別と、前記物体が第２種類の物体か否かを判別する第２判別とを行い、前記第１判別が真で前記第２判別が真でない場合に前記物体は第１種類の物体であると判別する
ことを特徴とする［１］に記載の物体判別方法。

［５］前記判別部は、前記物体が第１種類の物体か否かを判別する第１判別部と、前記物体が第２種類の物体か否かを判別する第２判別部とを有し、前記第１判別部の判別結果が真で前記第２判別部の判別結果が真でない場合に前記物体は第１種類の物体であると判別する
ことを特徴とする［４］に記載の物体判別装置。

上記［２］、［５］に係る発明によれば、正しく判別が行われれば、物体が第１種類の物体か否かを判別する第１判別の判別結果と第２種類の物体か否かを判別する第２判別の判別結果とが排他的関係になることを利用して、判別の信頼性を高めている。すなわち、第１判別で第１種類と判別された物体が第２判別でも第２種類と判別されているような場合に、第１判別で第１種類と判別されていてもその物体が第１種類であると最終判別されることが防止される。

［３］前記物体の追尾は、
前記画像内で新規に追尾対象の物体を検出した場合は、その物体を追尾対象とする所定サイズの探索ブロックを複数発生させると共に各探索ブロックに前記物体の特徴情報を対応付けて記憶し、
前記各探索ブロックをその追尾対象の物体を追尾するように移動させ、
物体の追尾に失敗した場合は、その物体を追尾対象とする探索ブロックを所定の移動ルールに従って移動させると共に前記探索ブロックの存在領域に存在する物体の特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記物体が当該探索ブロックの追尾対象の物体であるか否かを判断し、前記物体が当該探索ブロックの追尾対象の物体であると判断した場合は該物体を当該探索ブロックの追尾対象の物体であると認定して追尾する
方法により行う
ことを特徴とする［１］または［２］に記載の物体判別方法。

［６］前記追尾部は、
前記画像内で新規に追尾対象の物体を検出した場合は、その物体を追尾対象とする所定サイズの探索ブロックを複数発生させると共に各探索ブロックに前記物体の特徴情報を対応付けて記憶し、
前記各探索ブロックをその追尾対象の物体を追尾するように移動させ、
物体の追尾に失敗した場合は、その物体を追尾対象とする探索ブロックを所定の移動ルールに従って移動させると共に前記探索ブロックの存在領域に存在する物体の特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記物体が当該探索ブロックの追尾対象の物体であるか否かを判断し、前記物体が当該探索ブロックの追尾対象の物体であると判断した場合は該物体を当該探索ブロックの追尾対象の物体であると認定して追尾する
ことを特徴とする［４］または［５］に記載の物体判別装置。

上記［３］、［６］に係る発明によれば、物体同士の交差や物体の障害物の背後への隠れにより物体の追尾に失敗した場合でも、交差や隠れの前後で同一物体を同一物体として認識して追尾することができる。

本発明に係わる物体判別方法および物体判別装置によれば、カメラから入力される画像内の物体を追尾すると共に、その物体の特徴情報を抽出しその特徴量データを記憶部に記憶することを追尾中に複数回行い、これら追尾中に蓄積した複数回分の特徴量データに基づいてその物体の種類を判別するので、人や車両などの物体の種類を的確に判別することができる。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る物体判別方法を適用した物体判別装置１０の概略構成を示している。本実施の形態では、物体判別装置１０は、複数種類の物体が存在する広いエリア内を移動する物体の種類の判別を行うカメラシステムである。たとえば、広い駐車場内で不審人物の監視を行う監視カメラシステムとして使用される場合は、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合に監視員に対して注意喚起する等の機能を果たす。カメラは広い範囲を撮影しており、その撮影領域内を通過する人の「見え方」は様々に変化し得る。

物体判別装置１０は、処理対象の画像を取り込むためのカメラ部１１と、カメラ部１１によって取り込まれた画像を解析して物体を検出し、その物体の追尾・探索および物体の種類の判別などの処理を行う処理部１２と、処理部１２の処理結果を出力する出力部１３と、当該物体判別装置１０に対する各種の設定や動作に関する指示を入力するための入力部１４を備えて構成される。以後、画像データにおいて認識された物体はオブジェクトと呼ぶ。

カメラ部１１は動画を撮影する。カメラ部１１は、フレーム毎の画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで動画を撮影する機能を果たす。処理部１２は、ＣＰＵ（Central Processing Unit）と、このＣＰＵが実行するプログラムや固定データが記憶されたＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）などを主要部として構成される。

処理部１２は、カメラ部１１から入力される画像内のオブジェクトを追尾・探索する追尾部２１と、記憶部２２と、追尾部２１によるオブジェクトの追尾中に、そのオブジェクトの特徴情報を抽出し、該特徴情報を示す特徴量データを記憶部２２に記憶することを複数回行う蓄積制御部２３と、記憶部２２に記憶されている複数回分のオブジェクトの特徴量データに基づいてオブジェクトの種類を判別する判別部２４の機能を備えている。特徴量データは、たとえば、オブジェクトの形状、動き、テクスチャ等である。特徴量データは時系列に記憶部２２に記憶される。蓄積制御部２３は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶する。ここでは、フレーム毎に行う。

判別部２４は、追尾対象のオブジェクトが人（第１種類の物体）か否かを判別する人判別部２５と、追尾対象のオブジェクトが車両（第２種類の物体）か否かを判別する車両判別部２６と、人判別部２５と車両判別部２６の判別結果に基づいてそのオブジェクトが人であるか車両であるかを判別する総合判別部２７の機能を果たす。総合判別部２７は、人判別部２５の判別結果が真（人と判別）かつ車両判別部２６の判別結果が真でない（車両ではないと判別）場合にそのオブジェクトを人と判別し、人判別部２５の判別結果が真でない（人ではないと判別）かつ車両判別部２６の判別結果が真（車両と判別）の場合はそのオブジェクトを車両と判別する。

出力部１３は、処理結果のデータ信号を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部１４は、各種の設定や動作に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。

物体判別装置１０は、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾する機能を備えている。

図２は、物体判別装置１０の処理部１２の追尾部２１が追尾するオブジェクトの状態遷移を表している。オブジェクトの状態は、未検出であるUNDETECTEDと、UNDETECTEDの状態で検出されたオブジェクトが追尾対象たり得るオブジェクトか否かを判定中のPENDING、追尾対象のオブジェクトと認定されかつ追尾成功中のACTIVE、追尾対象のオブジェクトであるが追尾失敗中（消失中あるいは探索中）のLOST、の４状態で管理される。

オブジェクト未検出の間はUNDETECTED状態が継続する（図中のＥ１）。UNDETECTED状態でオブジェクトが検出されるとPENDING状態に移行する（Ｅ２）。PENDING状態ではその継続時間を計時しており（Ｅ４）、PENDING状態で所定時間（PENDING_TIME）が経過するとそのオブジェクトはACTIVE状態に遷移する（Ｅ５）。PENDING状態からACTIVE状態に遷移する前に画像から消滅したオブジェクトはUNDETECTED状態に遷移し（Ｅ３）、追尾対象から外される。

ACTIVE状態ではその継続時間を計時している（Ｅ６）。ACTIVE状態のオブジェクトの追尾に失敗（当該オブジェクトが消失）するとそのオブジェクトはLOST状態に遷移し、ACTIVE状態の継続時間はリセットされる（Ｅ７）。LOST状態でもその継続時間を計時しており（Ｅ９）、継続時間が所定時間（LOST_TIME）経過すると、該オブジェクトは追尾対象から外されUNDETECTED状態になる（Ｅ１０）。LOST状態になってから所定時間（LOST_TIME）内に探索ブロックによる探索によって見出（検出）されたオブジェクトはACTIVE状態に戻る（Ｅ８）。

図３は、物体判別装置１０の処理部１２が行う物体判別処理における各処理フェーズを示している。また、図４は物体判別処理の流れを示している。図３に示すように、物体判別処理は、オブジェクト検出フェーズＰ１と、追尾・探索フェーズＰ２と、人・車両判別フェーズＰ３と、注意喚起フェーズＰ４で構成される。オブジェクト検出フェーズＰ１は図４の流れ図のステップＳ１〜Ｓ４が対応し、追尾・探索フェーズＰ２はステップＳ５〜Ｓ１０が対応し、人・車両判別フェーズＰ３はステップＳ１１、Ｓ１２が対応し、注意喚起フェーズＰ４はステップＳ１３が対応する。

＜オブジェクト検出フェーズＰ１＞
まず、フレーム時刻ｔを０に初期化し（図４；ステップＳ１）、続いて、カメラ部１１によって取り込まれた処理対象の画像内からオブジェクト候補領域を検出する（ステップＳ２）。オブジェクト候補領域の検出は、フレーム間の差分処理、二値化処理など公知の手法により行う。

次に、処理対象の画像内においてオブジェクト候補領域が１つ以上検出されたかどうかを確認する（ステップＳ３）。１つ以上のオブジェクト候補領域が検出された場合は（ステップＳ３；Ｙｅｓ）、ステップＳ５へ移行する。オブジェクト候補領域が１つも検出されなかった場合は（ステップＳ３；Ｎｏ）、状態がLOSTのオブジェクト（以後、これをLOSTオブジェクトと呼ぶ。）が存在するか否かを確認する（ステップＳ４）。LOSTオブジェクトは、過去に追尾対象として検出されたオブジェクトが消失（追尾失敗）し、消失状態の継続時間が所定時間（LOST_TIME）未満のオブジェクトであり、後述する探索ブロックによって探索中のオブジェクトである。

LOSTオブジェクトが存在しない場合は（ステップＳ４；Ｎｏ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１４）、ステップＳ２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。このように、オブジェクト検出フェーズＰ１は、オブジェクト候補領域が１つ以上存在するか否かを確認し、存在しない場合はオブジェクト候補領域が検出されるのを待つ状態である。

＜追尾・探索フェーズＰ２＞
ステップＳ５では、オブジェクト検出フェーズＰ１にて検出されたオブジェクト候補領域に対する追尾・探索処理を行う。オブジェクト追尾・探索処理では、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付けを行う追尾処理と、隠れや交差により消失したオブジェクトを探索する探索処理とが行われる。追尾処理は動きベクトルなど公知の手法により、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付けにより行う。

消失したオブジェクトを探索するための探索処理は、新規に検出した追尾対象のオブジェクトに対して、その重心周辺に複数の探索ブロックを発生させ、その後は各探索ブロックを追尾対象のオブジェクトに追従させて移動させ、オブジェクト領域内の局所領域（ここでは、探索ブロック単位の領域）に着目して追尾を行う。探索ブロックは、オブジェクトを追尾・探索する際の単位領域である。消失したオブジェクトの探索が所定時間（LOST_TIME）内に成功しなかった場合は、探索しているオブジェクトは消滅したものとみなしてUNDETECTEDの状態にし、追尾対象から外す。オブジェクト追尾・探索処理の詳細は後述する。

オブジェクト追尾・探索処理にて追尾・探索に成功したオブジェクト（ACTIVE状態のオブジェクト）については、形状、動き、テクスチャ等の特徴情報を抽出（算出）する（ステップＳ６）。形状や動きなどオブジェクトの特徴情報の抽出は公知の任意の手法で行えばよい。抽出したオブジェクトの特徴情報を示す特徴量データは順次、記憶部２２に蓄積し、時系列データとして更新あるいは新規に生成する（ステップＳ７）。オブジェクト毎の時系列に蓄積された特徴量データは、そのオブジェクトが人か車両かの判別に利用される。

その後、追尾対象のオブジェクトが既に車両と判別済みのオブジェクトであれば（ステップＳ８；Ｙｅｓ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１４）、ステップＳ２に戻り、カメラ部１１によって取り込まれる次のフレームの画像について同様の処理を行う。追尾対象のオブジェクトが既に人と判別されており、かつそのオブジェクトが画像内に存在している（追尾・探索に成功している）場合は（ステップＳ９；Ｙｅｓ）、ステップＳ１３の注意喚起処理へ移行する。

追尾しているオブジェクトが車両、人のいずれにも判別されていない場合は（ステップＳ９；Ｎｏ）、追尾オブジェクトに関して、オブジェクト継続時間obj_timeをインクリメントすると共に、図２の状態遷移に従って各オブジェクトの状態（ステータス）を更新し（ステップＳ１０）、人・車両判別処理（ステップＳ１１）に移行する。

＜人・車両判別フェーズＰ３＞
人・車両判別処理では、オブジェクト追尾・探索フェーズＰ２により蓄積記憶された追尾対象のオブジェクトの時系列の特徴量データ（特徴量時系列データとも呼ぶ）をもとに、人・車両に対する信頼度(人らしさ、車両らしさの度合い)を導出し、追尾対象オブジェクトが人であるか、車両であるか、あるいはそれ以外（人とも車両とも判別できない）かの判別を行う（ステップＳ１１）。人・車両判別処理の詳細は後述する。

追尾対象のオブジェクトが人であると判別した場合は（ステップＳ１２；Ｙｅｓ）、注意喚起フェーズＰ４（ステップＳ１３）に移行し、人と判別できなかった場合は（ステップＳ１２；Ｎｏ）、フレーム時刻ｔをインクリメント更新し（ステップＳ１４）、ステップＳ２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。

＜注意喚起フェーズＰ４＞
注意喚起処理では、監視員にその人物の所在位置を分かりやすい形式で伝え、監視注意を促す（ステップＳ１３）。たとえば、カメラ部１１からの画像を出力部１３のディスプレイ装置に表示する際に、検出した人物の箇所を赤枠で囲って表示する等を行う。また、該表示に合わせて警告音を発するようにしてもよい。その後、フレーム時刻ｔをインクリメント更新し（ステップＳ１４）、ステップＳ２に戻って処理を継続する。

次に、図４のステップＳ５のオブジェクト追尾・探索処理の詳細を説明する。

オブジェクト追尾・探索処理では、公知の手法によりオブジェクトの追尾と、追尾に失敗（消失）したオブジェクト（LOSTオブジェクト）の探索が行われる。探索は、消失した追尾対象のオブジェクトを追尾するように移動する複数の探索ブロックによって行われる。

図５は、探索ブロックによる探索の概略を示している。新規に検出された追尾対象のオブジェクトＡ（図５の例では人物Ａ）に対して、そのオブジェクトＡを追尾対象とする所定サイズの探索ブロックＤを複数発生させると共にこれらの各探索ブロックＤにその追尾対象のオブジェクトＡの特徴情報を対応付けて記憶する（ｔ１）。図５では、斜線を施した各矩形領域が探索ブロックＤである。なお、追尾対象の各オブジェクトにはそのオブジェクトを一意に特定する識別情報として固有のオブジェクトＩＤを割り当ててあり、各探索ブロックにその追尾対象のオブジェクトのオブジェクトＩＤを登録することで、追尾対象のオブジェクトと探索ブロックとを関連付けする。

その後は、前時刻のフレームの画像と現在時刻のフレームの画像とのマッチング等の既存の手法によりオブジェクトの追尾を行うと共に、各探索ブロックＤをその追尾対象のオブジェクトを追尾するように（オブジェクトの動きベクトルに追従するように）移動させる（図５；ｔ２）。

交差や隠れによってオブジェクトの追尾に失敗した場合（消失した場合）は（図５；ｔ３）、そのオブジェクトを追尾対象とする探索ブロックＤの移動を所定の移動ルールに従って継続させる。たとえば、ランダムに移動させる、あるいは消失前のオブジェクトの動きにランダムな動きを合成した動きで移動を継続させる。図５では、時刻ｔ３においてオブジェクトＡが障害物６１の背後に隠れており、各探索ブロックＤは、現在時刻までのオブジェクトＡの動きとランダムな動きとを合成した動きで移動している。オブジェクトＡの消失前の動きの影響は次第に少なくなりランダムな動きが支配的になり、探索ブロックは次第に広い範囲に分散するように移動する（ｔ４）。なお、図５では、時刻ｔ３における各探索ブロックに「ｔ３」の文字を、時刻ｔ４における各探索ブロックに「ｔ４」の文字を付してある。

このように、消失したオブジェクトを探索するように継続的に移動させている探索ブロックの位置（存在領域）にオブジェクトが存在する場合は、そのオブジェクトの特徴情報と各探索ブロックに対応付けて記憶されている追尾対象のオブジェクトの特徴情報とを比較し、該比較結果に基づいて、その探索ブロックの位置に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを判断する。追尾対象のオブジェクトであればそのオブジェクトに当該探索ブロックに登録されている追尾対象のオブジェクトのオブジェクトＩＤを割り当てる。これにより、消失の前後で同一オブジェクトを同一オブジェクトとして追尾するようになる。

図５の例では時刻ｔ４に探索ブロックＤ１によってオブジェクトＡが見出（検出）される。追尾対象のオブジェクトが消失した後は、各探索ブロックはランダムな動きが支配的となって移動し拡散しているので、仮にオブジェクトＡが破線で示したＡ’の位置に現れた場合は、その位置に移動していた探索ブロックＤ２によって発見されることになる。こうして、交差や障害物の背後への一時的な隠れが発生してもその前後で同一のオブジェクトを同一オブジェクトとして（同じオブジェクトＩＤで）追尾するようになっている。

本実施の形態では、図６に示すように、処理対象の画像（１フレーム分の画像）を複数の小領域（分割ブロックＢｋ）に分割し、オブジェクトを分割ブロック単位で捉える。これにより、追尾に係る計算量が軽減される。ここでは、各分割ブロックＢｋが矩形となるように処理対象の画像を格子状の境界線で分割している。

図６の例では、オブジェクトＡは、斜線を施した３３個の矩形の分割ブロックＢｋに分けられる。オブジェクトＡの追尾・探索は分割ブロックＢｋ単位に行われる。これら３３個の分割ブロックＢｋの集合体としてオブジェクトＡは認識され、オブジェクトＡ全体としての形状や重心位置、動きなどの特徴情報が把握される。ここでは、分割ブロックＢｋの中に占めるオブジェクトの面積が所定の占有率以上（たとえば、５０パーセント以上）の場合に、その分割ブロックをオブジェクトの存在する分割ブロックとみなしている。

図７は、オブジェクト追尾・探索処理（図４；ステップＳ５）の流れを示している。オブジェクト追尾（図７；ステップＳ２１）では、新規に検出されたオブジェクトについてオブジェクトＩＤを割り当てると共に図８に示すようなオブジェクトデータテーブル３０を生成する。

過去時刻において検出済みで既にオブジェクトＩＤが割り当てられているオブジェクトについては、動きベクトルなど公知の手法により、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付け等の手法により追尾する。

次に、新たに追尾対象となったオブジェクトについて探索ブロックを発生させる探索ブロック発生処理を行う（ステップＳ２２）。探索ブロック発生処理の詳細は図９に示してある。処理対象の画像内に存在する、状態（ステータス）がACTIVEであって（ステップＳ４２；Ｙｅｓ）当該オブジェクトを追尾対象とする探索ブロックが０個のオブジェクト（ステップＳ４３；Ｙｅｓ）について、そのオブジェクト領域の重心周辺に複数の探索ブロックを発生させる（ステップＳ４４〜Ｓ５５）。

探索ブロックは、追尾対象のオブジェクトを追尾・探索する際の単位領域であり、探索ブロックを単位として、その探索ブロックの存在領域に存在するオブジェクトがその探索ブロックが追尾対象としているオブジェクトか否かが判断される。探索ブロックは、追尾対象のオブジェクトが存在する分割ブロック毎に所定（BLOCKFACTOR）個ずつ発生させる。すなわち、追尾対象のオブジェクトのサイズに応じた数の探索ブロックを発生させる。BLOCKFACTOR個は１個以上で任意に設定変更可能な数であり、分割ブロックの領域サイズと探索ブロックの領域サイズとの比率等に基づいて適宜の個数に設定すればよい。たとえば、BLOCKFACTOR個は２〜５個に設定される。図１０は、探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示している。探索ブロックはBLOCK_SIZE×BLOCK_SIZEの画素領域となっている（図１０の例では５×５画素の領域）。ここでは、探索ブロックを矩形としたが、探索ブロックの形状はこれに限定されず、円など他の形状であってもかまわない。

また、発生させた探索ブロック毎に図１１に示すような探索ブロックデータテーブル４０を生成する。探索ブロックデータテーブル４０には、対応する探索ブロックの属性を示す情報が登録される。発生時に初期値として以下の値等を探索ブロックデータテーブル４０に登録する。

・オブジェクトＩＤ：obj_id → 追尾対象のオブジェクトＩＤ
・探索ブロックの状態（ステータス）：state^obj_id _{n_block} → ON
・探索ブロック位置（ｘ座標）：bx^obj_id _{n_block} → x
・探索ブロック位置（ｙ座標）：by^obj_id _{n_block} → y
・探索ブロックの動きベクトル(水平方向)：dx^obj_id _{n_block} → dx(gx, gy)
・探索ブロックの動きベクトル(垂直方向)：dy^obj_id _{n_block} → dy(gx, gy)
・探索ブロックの適合度：cor^obj_id _{n_block} → 1.0

また、探索ブロックの存在領域内の各画素のＨＳＶ値（ＨＳＶ色空間で表現した画素値）から図１２に示すようなＨＳＶ色空間累積ヒストグラムを生成する。この累積ヒストグラムは、探索ブロック領域を画素単位で走査して導出する。画素値ｉの場合、ｊ≧ｉであれば、
hist_H,S,V(t, j)^obj_id _{n_block} = hist_H,S,V(t, j)^obj_id _{n_block} + 1
とする。すなわち、画素値の取り得る値を所定数の階級に区分し、当該画素の画素値がｉであれば、ｉが属する階級以上の各階級の累積値をそれぞれ「１」加算する。この処理を探索ブロック内の全画素に対して行う。

なお、ＨＳＶ色空間は色相(Hue)、彩度(Saturation・Chroma)、明度(Brightness・Lightness・Value)の三つの成分からなる色空間であり、ＨＳＶ色空間累積ヒストグラムは、Ｈ（色相)成分、Ｓ（彩度）成分、Ｖ（明度）成分のそれぞれについて生成される。これらのＨＳＶ色空間累積ヒストグラムに係る各値は、探索ブロックの位置（存在領域）におけるオブジェクト（画像）の特徴情報としてその探索ブロックに対応付けて記憶される。

次に、全探索ブロックに関する適合度を更新する（図７：ステップＳ２３、詳細は図１３に示す）。適合度を更新する処理では、探索ブロックの状態（ステータス）がＯＮとなっている（図１３；ステップＳ６３；Ｙｅｓ）すべての探索ブロックに関して、適合度の更新（ステップＳ６４〜Ｓ６７）を行う。適合度は、探索ブロックの位置（存在領域）に存在するオブジェクトと当該探索ブロックの追尾対象のオブジェクトとの一致度を示す指標である。適合度は、探索ブロックの存在領域に存在するオブジェクトの特徴情報（色など画像としての特徴情報と重心位置に係る特徴情報）とその探索ブロックに対応付けて記憶されているオブジェクトの特徴情報（当該探索ブロックの前時刻の位置に存在していたオブジェクトの特徴情報）との比較に基づいて算出する。本実施の形態では、ＨＳＶ色空間累積ヒストグラムを用いた場合について記述する。具体的には、探索ブロックの存在領域におけるＨＳＶ色空間累積ヒストグラムの時間差分と、当該探索ブロックが追尾対象とするオブジェクトの重心位置と該探索ブロックの中心との距離に基づく距離係数との積により導出する。適合度は１〜０の範囲をとる。具体的には以下の式の通りである。

ＨＳＶ色空間累積ヒストグラムの時間差分total_diffについては、たとえば下記の式で表わされる。

距離係数に関しては、たとえば下記の式で表わされる。

従って、探索ブロックの中心とオブジェクト領域の重心との距離が近い程、探索ブロックの適合度は高くなる。なお、消失中のオブジェクト（LOSTオブジェクト）についてはLOST状態になる直前のフレーム時刻における重心位置をオブジェクトの重心位置として距離係数を求める。

図１４は、探索ブロックの中心とその追尾対象のオブジェクトの重心との距離と適合度との関係を例示したものである。探索ブロックＤ１、Ｄ２は、追尾対象のオブジェクト上にないので、オブジェクト重心との距離が大きく（距離係数（dist_factor）→小）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も低い（total_diff→小）ので、適合度は低くなる（０に近づく）。探索ブロックＤ３、Ｄ４は追尾対象のオブジェクト上にあるので、オブジェクト重心との距離が小さく（距離係数（dist_factor）→大）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も高い（total_diff→大）ので、適合度は高くなる（１に近づく）。

次に、分割ブロック領域ＩＤ割り当て処理を行う（図７：ステップＳ２４、詳細は図１５に示す）。当該処理では、分割ブロック領域内に何らかのオブジェクトが存在しかつ１個以上の探索ブロックが存在している分割ブロックＢｋに対して、それらの探索ブロックの中で最も優位な（最高適合度を有する）探索ブロックに登録されている追尾対象のオブジェクトＩＤを割り当てることでその分割ブロックＢｋに該オブジェクトＩＤを付与し、該オブジェクトＩＤのオブジェクトをACTIVE状態にする、ことを行う。元々ACTIVE状態であったオブジェクトはACTIVE状態が継続される。

上記処理により、LOSTオブジェクトを追尾対象とする探索ブロックに登録されているオブジェクトＩＤがいずれかの分割ブロックＢｋに割り当てられた場合、LOST状態であったその追尾対象のオブジェクトが見出された（検出された）ことになる。なお、追尾対象のオブジェクトであるがいずれの分割ブロックＢｋにもオブジェクトＩＤが付与されなかったオブジェクトは、図４のオブジェクト状態更新処理（Ｓ１０）においてLOSTオブジェクトと判定されて状態が保持あるいは更新される。

次に、探索ブロック消去処理を行う（図７：ステップＳ２５、詳細は図１６に示す）。オブジェクトの状態（ステータス）がUNDETECTEDである場合、あるいは状態がLOSTでありかつオブジェクトの継続時間obj_timeがLOST_TIME以上である（LOST状態がLOST_TIME以上継続した）場合に、当該オブジェクトに属する（当該オブジェクトを追尾対象とする）すべての探索ブロックを削除する。削除は、当該オブジェクトに属するすべての探索ブロックデータテーブルをクリアすることで行う。

次に、探索ブロックリサンプリング処理を行う（図７：ステップＳ２８、詳細は図１７に示す）。探索ブロックリサンプリング処理は、ACTIVE状態のオブジェクトに属するすべての探索ブロックについて行われる（図７；ステップＳ２７；Ｙｅｓ）。探索ブロックリサンプリング処理では、追尾対象のオブジェクトが同一の複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えることが行われる。

ここでは、同一オブジェクト（たとえば、オブジェクトＡ）を追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、該オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換える。すなわち、当該オブジェクトを追尾対象とする全探索ブロックの個数と同じ回数の乱数抽選を前記ルーレットに基づいて行い、抽選毎にその当たりとなった出目に対応する探索ブロックに置き換えることによって、適合度の低い探索ブロックを適合度の高い探索ブロックに置き換わりやすいようにしている。

より詳細には、処理対象の画像内に存在するオブジェクトの中で、状態（ステータス）がACTIVEであるオブジェクト毎に以下の処理を行う。まず、注目しているオブジェクトobj_idに関して、そのオブジェクトに属する探索ブロックn_blockの適合度cor ^obj_id _{n_block}を基に、下記の通りルーレットを生成する。

探索ブロックn_blockの状態(ステータス)state^obj_id _{n_block}がONであるならば、
roulette^obj_id _{n_block} = roulette^obj_id _{n_block-1} + cor ^obj_id _{n_block}
探索ブロックn_blockの状態(ステータス)state^obj_id _{n_block}がOFFであるならば、
roulette^obj_id _{n_block} = roulette^obj_id _{n_block-1}

次に、注目しているオブジェクトobj_idに属する探索ブロック毎に乱数データを生成し、その乱数データをもとにその探索ブロックに関するルーレットの出目を決定した後、当該探索ブロックをその出目に対応する探索ブロックに置き換える。

図１８は、任意のオブジェクトについて生成したルーレットの一例を示している。このオブジェクトを追尾対象とする探索ブロックは全部でＭ個存在する。探索ブロック１からＭまでの全探索ブロックの適合度の合計を３６０度としたルーレット上に、個々の探索ブロックの出目をその適合度の比率に応じた占有角度で配置してある。たとえば、探索ブロック１の出目の占有角度は、（（探索ブロック１の適合度）／（全探索ブロックの適合度の合計））×３６０度となる。

適合度の高い探索ブロックは出目の占有角度も大きいので、その分、乱数抽選で当たりになる確率は高い。一方、適合度の低い探索ブロックは出目の占有角度は小さく、当たりになる確率も低い。したがって、適合度の低い探索ブロックが適合度の高い探索ブロックに置き換えられ易くなる。

ここで、探索ブロックを置き換えるとは、探索ブロックデータテーブル４０の内容を、探索ブロックＩＤを除く項目についてコピーすることである。

先に説明したように、探索ブロックの適合度はその探索ブロックが追尾対象のオブジェクト上に存在する場合は高く、追尾対象のオブジェクト上から外れた位置にある場合は低くなる。したがって、図１９（ａ）に示すように、ACTIVEオブジェクトについて探索ブロックの置き換え（探索ブロックリサンプリング）を行うと、追尾対象のオブジェクトＡ上にある探索ブロックＤ５〜Ｄ７とオブジェクトＡ上にない探索ブロックＤ１〜Ｄ４との間で適合度に大きな差が生じる。したがって、探索ブロックリサンプリングにより生成されるルーレットは図１９（ｂ）のように（Ｄ１〜Ｄ４については占有角度が小さく、Ｄ５〜Ｄ７は占有角度が大きく）なる。

このルーレットを使用して探索ブロック個数回分（ここでは７回）の乱数抽選を行った場合、その結果は、たとえば同図（ｃ）に示すようになり、適合度の低い探索ブロックが適合度の高い探索ブロックに確率的に置き換えられる。図１９（ｄ）に示すように、追尾対象のオブジェクト上になかった探索ブロックの多くが追尾対象のオブジェクト上の探索ブロックに置き換えられ、探索ブロックが追尾対象のオブジェクト上に集約されやすくなる。

次に、探索ブロック更新処理を行う（図７：ステップＳ２９、詳細は図２０に示す）。探索ブロック更新処理は、各探索ブロックの移動と各探索ブロックに対応付けて記憶してある追尾対象のオブジェクトに関する特徴情報の更新とを行う。画像内に存在するすべての探索ブロックについて、その位置情報、動きベクトルの情報が更新される（ステップＳ１４７、Ｓ１４８）。さらに状態（ステータス）がACTIVEであるオブジェクトに属する（当該オブジェクトを追尾対象とする）探索ブロックであって、ステータスがＯＮ状態であり、かつ追尾対象のオブジェクトのＩＤと当該探索ブロックの存在位置の分割ブロックに付与されているオブジェクトのＩＤとが一致する探索ブロックについては、ＨＳＶ色空間累積ヒストグラムについても更新する（ステップＳ１４６）。

位置情報の更新は以下の通りである。
ここで、rnd_x、rnd_yはそれぞれx、y方向に関する乱数を示す。乱数を加えることで、探索ブロックにランダムな動きを加えることになる。

動きベクトル情報の更新は以下の通りであり、前時刻の探索ブロックの動きベクトルと現在の探索ブロック存在位置の分割ブロックにおける動きベクトルの線形荷重和となっている。
ここで、ｋは更新割合（慣性定数）を表す。ｋの値は設定変更可能となっている。追尾に成功している場合はオブジェクトの動きベクトルが支配的になり、追尾に失敗している（追尾対象のオブジェクトが消失している（LOST状態））場合は、乱数による移動が支配的になる。

上記のようにしてオブジェクトの追尾・探索を行うことにより、図５に示すように追尾対象のオブジェクトが障害物６１に一時的に隠れた場合でも、障害物６１に隠れる前後で同一オブジェクトを同一オブジェクトとして、すなわち、障害物６１に隠れる前後の同一オブジェクトに対して同一のオブジェクトＩＤを割り当てて、追尾することができる。

同様に追尾対象のオブジェクト同士が交差した場合にも、交差の前後で同一のオブジェクトに対して同一のオブジェクトＩＤを付与して追尾することができる（図２１（ａ）〜（ｄ））。交差領域においては、適合度の高い探索ブロックに優位性がある。図２１（ｂ）では、オブジェクトＡがオブジェクトＢの背後を通過するので前面側のオブジェクトＢを追尾している探索ブロックが優位となる。同図（ｃ）に示すように、交差状態からオブジェクトＡとＢが互いに離れる際には、オブジェクトＡに属する探索ブロックはオブジェクトＡに追従し、オブジェクトＢに属する探索ブロックはオブジェクトＢを追従するように移動する（同図（ｄ））。

このように、本実施の形態に係るオブジェクト追尾・探索方法では、新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトの重心付近に複数の探索ブロックを生成しかつ各探索ブロックにその探索ブロックの存在領域における追尾対象オブジェクトの特徴情報を対応付けて記憶し、その後は、探索ブロックを追尾対象のオブジェクトに追従するように移動させると共に探索ブロックに記憶している追尾対象のオブジェクトの特徴情報の更新を行い、追尾に失敗した後はランダムな動きが支配的となるように探索ブロックの移動を継続させ、探索ブロックという局所領域を単位に適合度を判断して消失した追尾対象のオブジェクトを探索することで、交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾する。

なお、追尾しているオブジェクトから図４のステップＳ６で抽出した形状、動き、テクスチャ等のオブジェクトの特徴情報を示す特徴量データは、図２２に示すような、ＦＩＦＯ（First in First out）形式の記憶部２２に、時系列データとして保存される（図４、ステップＳ７）。図２２の記憶部２２は現在時刻から最大でＬmax回前まで時系列に特徴量データを保存するようになっている。図２２（ａ）は記憶部２２の途中まで特徴量データを蓄積（Ｌ回分蓄積：ＬはＬmax未満の任意の正整数）した状態で、図２２（ｂ）はＬmax回分の特徴量データで記憶部２２が埋まった状態を示している。記憶部２２に時系列に記憶された特徴量データは、図４の人・車両判別処理で各追尾対象オブジェクトが人か車両かを判別する際に使用される。

次に、人・車両判別処理（図４のＳ１１）について詳細に説明する。
図２３は、人・車両判別処理の流れを示している。人・車両判別処理は追尾対象のオブジェクト毎に行われる。まず、追尾対象のオブジェクトの状態がACTIVE（追尾成功中）であるかどうかを確認し、ACTIVEでない場合は（ステップＳ２０１；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。

ACTIVEの場合は（ステップＳ２０１；Ｙｅｓ）、その追尾対象のオブジェクトに係る特徴量データが記憶部２２に時系列に記憶されている回数（Ｌ回とする）が、所定回数（Ｔ回とする）以上か否かを確認する（ステップＳ２０２）。Ｔ回は記憶部２２に記憶可能なＬmax回以下の任意の複数回数に設定することができる。たとえば、ＴはＬmaxの２分の１に設定される。

Ｌ回がＴ回未満の場合は（ステップＳ２０２；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。

Ｌ回がＴ回以上の場合は（ステップＳ２０２；Ｙｅｓ）、記憶部２２に記憶されているＬ回分の時系列の特徴量データを判別部２４に入力し（ステップＳ２０３）、判別部２４において、人である信頼度と車両である信頼度とをそれぞれ求める人・車両信頼度導出処理が行われる（ステップＳ２０４）。人・車両信頼度導出処理の詳細は図２４に示す。

図２５は、判別部２４が有する人判別部２５の構成を示している。人判別部２５は、複数個（ここではＭ個）の判別器５１からなる判別器群５０と、これらＭ個の判別器５１の出力値にそれぞれ重み係数を乗じた値を加算（荷重和）する加算器５２を備えている。判別器５１はそれぞれ、人か否かの判別に寄与するいずれかの特徴量データセットについて人らしさを判定した結果を数値として出力する。ここでは、判別器５１は、オブジェクトの形状、大きさ、移動速度、移動パターン、テクスチャなどの特徴量データセット毎に設けられ、各判別器５１はその判別器５１が担当する特徴量データセットに関して人らしさを判定する。人判別部２５は、人に関するサンプルと人でないサンプルとによりあらかじめチューニング（重み係数α^１〜α^Ｍを調整）し、例えば、人である場合に判別器群５０（Ｍ個の判別器５１）の出力の荷重和Ｒが正の値、そうでない場合には負の値を出力するように設定される。

車両判別部２６も人判別部２５と同様の構成であり、判別器群５０と加算器５２とを備えている。車両判別部２６は、車両に関するサンプルと車両でないサンプルとによりあらかじめチューニング（重み係数α^１〜α^Ｍを調整）し、例えば、車両である場合に判別器群５０の出力の荷重和Ｒが正の値、そうでない場合には負の値を出力するように設定されている。

人・車両信頼度導出処理においてデータ長Ｌ（Ｌ回分）の時系列の特徴量データを判別器群５０に入力する際には、図２６に示すように、データ長Ｌ（Ｌ回分）の時系列の特徴量データを、所定長TSEGずつ（TSEG回ずつ）のN_DIV個の区間に区切り、時系列データ区間毎にその区間に属する特徴量データに対して、例えば平均等の処理を行って代表値in_aveを求め（図２４、ステップＳ２２５）、時系列データ区間毎にその区間の代表値in_aveを人判別部２５および車両判別部２６に入力し、区間毎に荷重和Ｒを求める。

時系列データ区間j（ｊは区間番号を示す任意の整数）の入力に対する、Ｍ個の特徴量データセットに対応する判別器群５０の荷重和Ｒ_ｊは下記の通りとなる。
α^ｍは判別器mに関する荷重（重み係数）、out_ｊ ^ｍは時系列データ区間jの入力に対する判別器mの出力を表す。

人および車両に対する信頼度はそれぞれ、N_DIV個の時系列データ区間に対して、例えば判別器群の荷重和が正の値となる回数の割合により定義する。判別器群の荷重和が正の値となる回数がN_COUNT回であるとすると、人および車両に対する信頼度SCOREは下記の通りとなる。
SCORE = N_COUNT / N_DIV

総合判別部２７は、このようにして導出された人に対する信頼度（人信頼度）と、車両に対する信頼度（車両信頼度）と、予め設定された人信頼度閾値および車両信頼度閾値との比較により、追尾対象のオブジェクトが人であるか、車両であるか、人とも車両とも判別できない不確定であるかを判別する（図２３、ステップＳ２０５〜Ｓ２０９）。

詳細には、人に対する信頼度が人信頼度閾値以上であり（ステップＳ２０５；Ｙｅｓ）かつ車両に対する信頼度が車両信頼度閾値未満の場合（ステップＳ２０６；Ｎｏ）は、その追尾対象のオブジェクトを人と判別する（ステップＳ２０７）。また、人に対する信頼度が人信頼度閾値未満であり（ステップＳ２０５；Ｎｏ）かつ車両に対する信頼度が車両信頼度閾値以上の場合（ステップＳ２０８；Ｙｅｓ）は、その追尾対象のオブジェクトを車両と判別する（ステップＳ２０９）。その他の場合はそのオブジェクトを人、車両いずれにも判別せず、不確定となって処理を終了する。

このように、オブジェクトを追尾し、追尾中にそのオブジェクトの特徴情報を示す特徴量データを時系列に複数回サンプリングして蓄積記憶し、所定期間以上に渡る（Ｔ回以上の）時系列の特徴量データに基づいてそのオブジェクトが人であるか車両であるかを判別するので、オブジェクトを検出した直後に人・車両を判別する場合に比べて、高い信頼性で人・車両を判別することができる。すなわち、人は動きの自由度が高くその「見え方」が様々となるので、ある時刻の画像のみに基づく判断では誤りが生じ易いが、本実施の形態の物体判別装置１０は所定期間のオブジェクト追尾中に時系列に収集した複数回分の特徴量データに基づいて判別するので、高い信頼性で人・車両を判別することができる。

また交差や隠れがあっても同一オブジェクトを同一オブジェクトとして追尾できるので、追尾中に交差や隠れがあってもその前後をつなげて同一オブジェクトの時系列の特徴量データを収集することができる。

また、人判別部２５や車両判別部２６では、形状、動き、テクスチャなど複数の特徴量データセットによる総合判断（Ｍ個の判別器５１の出力の荷重和）により人らしさ、車両らしさを評価するので、より高い信頼性で評価値（荷重和Ｒ）を得ることができる。

また、時系列に蓄積記憶されたＬ回分の特徴量データをN_DIV個の区間に分割し、時系列データ区間毎に人であるか車両であるかを判別（一次判別）し、一次判別で人（あるいは車両）と判別された回数N_COUNT／N_DIV、として信頼度を求めるようにしたので、記憶部２２に記憶されているＬ回の回数が変動しても、同じ尺度やアルゴリズムで信頼度を求めることができる。すなわち、蓄積回数ＬがＴを超えてからＬmaxに至る間はＬ回が次第に増大するが、この間も同じ尺度・アルゴリズムで信頼度を求めることができ、人・車両を適切に判別することができる。また、N_DIV個の区間に分割することでＬmaxを大きな値にした場合でも、各回につき一次判別を行うように構成する場合に比べて、演算が簡略化され、信頼度の導出に要する時間が長くなることが防止される。

また、信頼度の導出に使用する特徴量データが所定回数（Ｔ回）未満の場合には追尾対象オブジェクトの種類を判別しないので、サンプリング回数の少ない特徴量データによって誤判別されることが防止され、判別の信頼性が確保される。

また、人信頼度と車両信頼度とをそれぞれ求め、人信頼度に基づいて人と判別され、車両信頼度に基づいて車両ではないと判別された場合に最終的に人であると判別し、車両信頼度に基づいて車両と判別され、人信頼度に基づいて人ではないと判別された場合に最終的に車両であると判別するので、より高い信頼性で人・車両の判別が行われる。すなわち、正しく判別が行われれば、人であるか否かを判別する人判別部２５の判別結果と車両であるか否かを判別する車両判別部２６の判別結果とが排他的関係になることを利用して、判別の信頼性を高めている。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

たとえば、実施の形態では、人、車両を判別する場合を例に説明したが、判別対象の物体の種類はこれらに限定されるものではない。

判別結果の利用方法は、実施の形態で例示した「注意喚起」に限定されるものではない。

特徴量データは、形、大きさなど実施の形態で例示した項目に限定されるものではなく、判別対象の種類の物体か否かを判別するために有効となる特徴量データであれば任意に設定できる。

３種類以上の物体を判別する場合には、種類毎にその種類の物体か否かを判別し、目的の種類の物体であるとの判別結果が真であり、他の種類の物体にかかわる判別結果がすべて真でない場合に、その目的の種類の物体であると最終的に判別するように構成すればよい。

また、実施の形態ではオブジェクトの追尾方法として、消失したオブジェクトを探索ブロックによって追尾・探索する方法を例示したが、これに限定されるものではなく任意の方法で追尾すればよい。交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾可能な方法が好ましいが、このような機能のない追尾方法でもかまわない。

実施の形態に示した追尾・探索では、分割ブロック単位にオブジェクトを追尾・探索するようにしたが、オブジェクト単位に追尾を行っても構わない。また実施の形態では、追尾対象のオブジェクトの動きとランダムな動き（乱数に基づく位置変更…数４）との合成によって探索ブロックを移動させることと、ACTIVEオブジェクトに属する探索ブロックを対象にした探索ブロックリサンプリング処理（適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理）との組み合わせにより、追尾に成功している間は探索ブロックを追尾対象のオブジェクトを追尾するように移動させ、消失中はランダムな動きが支配的となるように探索ブロックを移動させたが、探索ブロックの移動方法は実施の形態に例示した方法に限定されない。すなわち、追尾成功中は追尾対象のオブジェクトを追尾し、消失中はランダムな動きが支配的となるという移動ルールで移動すればよく、たとえば、追尾成功中はランダム要素なしに追尾対象の動きベクトルに従って移動させ、消失中は慣性的な動きを排除しランダムな動きのみで移動させるように構成されてもかまわない。

消失中の移動のルールは、消失直前のオブジェクトの動きにランダムな動きを加えることが好ましく、さらには時間の経過と共にランダムな動きがより支配的になるとよい。

実施の形態では、ＨＳＶ色空間累積ヒストグラムの時間差分とオブジェクトと探索ブロックとの間の距離による距離係数とに基づいて各探索ブロックの適合度を決定するようにしたが、他の基準で適合度を定めてもよい。適合度は、画像としての一致度と、オブジェクトと探索ブロックとの位置関係とを要素として決定されることが好ましい。

本発明の実施の形態に係る物体判別装置のシステム構成を示すブロック図である。 オブジェクトの状態遷移図である。 本発明の実施の形態に係る物体判別装置が行う物体判別処理における処理フェーズを示す説明図である。 発明の実施の形態に係る物体判別装置が行う物体判別処理を示す流れ図である。 探索ブロックによる探索の概略を示す説明図である。 処理対象の画像（１フレーム分の画像）を複数の分割ブロックに分割した状態の一例を示す説明図である。 オブジェクト追尾・探索処理（図４；ステップＳ５）を示す流れ図である。 オブジェクトデータテーブルを示す説明図である。 探索ブロック発生処理（図７；ステップＳ２２）を示す流れ図である。 探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示す説明図である。 探索ブロックデータテーブルを示す説明図である。 ＨＳＶ色空間累積ヒストグラムの一例を示す説明図である。 適合度更新処理（図７：ステップＳ２３）の詳細を示す流れ図である。 探索ブロック中心・追尾対象のオブジェクト重心間の距離と適合度との関係を示す説明図である。 分割ブロック領域ＩＤ割り当て処理（図７：ステップＳ２４）の詳細を示す流れ図である。 探索ブロック消去処理（図７：ステップＳ２５）の詳細を示す流れ図である。 探索ブロックリサンプリング処理（図７：ステップＳ２８）の詳細を示す流れ図である。 探索ブロックリサンプリング処理で生成されるルーレットの一例を示す説明図である。 探索ブロックリサンプリング処理による探索ブロックの置き換え状況の一例を示す説明図である。 探索ブロック更新処理（図７：ステップＳ２９）の詳細を示す流れ図である。 交差の前後での探索ブロックによるオブジェクトの追尾・探索状況の一例を示す説明図である。 オブジェクトの特徴量データを時系列に記憶する記憶部の一例を示す説明図である。 人・車両判別処理（図４：ステップＳ１１）の詳細を示す流れ図である。 人・車両信頼度導出処理（図２３：ステップＳ２０４）を示す流れ図である。 人判別部、車両判別部の構成を示すブロック図である。 データ長Ｌ（Ｌ回分）の時系列の特徴量データをN_DIV個の区間に分割した状態を示す説明図である。

符号の説明

１０…物体判別装置
１１…カメラ部
１２…処理部
１３…出力部
１４…入力部
２１…追尾部
２２…記憶部
２３…蓄積制御部
２４…判別部
２５…人判別部
２６…車両判別部
２７…総合判別部
３０…オブジェクトデータテーブル
４０…探索ブロックデータテーブル
５０…判別器群
５１…判別器
５２…加算器
６１…障害物
Ｐ１…オブジェクト検出フェーズ
Ｐ２…追尾・探索フェーズ
Ｐ３…人・車両判別フェーズ
Ｐ４…注意喚起フェーズ

Claims (6)

1. カメラから入力される画像内の物体を追尾すると共に、その物体の特徴情報を抽出して該特徴情報を示す特徴量データを記憶部に記憶することを追尾中に複数回行い、
   前記記憶部に記憶されている複数回分の前記特徴量データに基づいて前記物体の種類を判別すると共に、
   前記判別において、前記記憶部に記憶されている複数回分の物体の特徴量データを一部回数ずつのＮ（Ｎは２以上の整数）区間に区分し、区間毎にその区間に属する特徴量データを使用して物体の種類を判別する一次判別を行い、前記物体が特定種類である信頼度を前記Ｎに対する前記一次判別で前記特定種類と判別された回数の比として求め、前記信頼度が閾値以上であって前記記憶部に記憶されている前記物体の特徴量データが所定回数以上の場合に前記物体を前記特定種類の物体であると判別する
   ことを特徴とする物体判別方法。
2. 前記判別において、前記物体が第１種類の物体か否かを判別する第１判別と、前記物体が第２種類の物体か否かを判別する第２判別とを行い、前記第１判別が真で前記第２判別が真でない場合に前記物体は第１種類の物体であると判別する
   ことを特徴とする請求項１に記載の物体判別方法。
3. 前記物体の追尾は、
   前記画像内で新規に追尾対象の物体を検出した場合は、その物体を追尾対象とする所定サイズの探索ブロックを複数発生させると共に各探索ブロックに前記物体の特徴情報を対応付けて記憶し、
   前記各探索ブロックをその追尾対象の物体を追尾するように移動させ、
   物体の追尾に失敗した場合は、その物体を追尾対象とする探索ブロックを所定の移動ルールに従って移動させると共に前記探索ブロックの存在領域に存在する物体の特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記物体が当該探索ブロックの追尾対象の物体であるか否かを判断し、前記物体が当該探索ブロックの追尾対象の物体であると判断した場合は該物体を当該探索ブロックの追尾対象の物体であると認定して追尾する、
   方法により行う
   ことを特徴とする請求項１または２に記載の物体判別方法。
4. カメラから入力される画像内の物体を追尾する追尾部と、
   記憶部と、
   前記追尾部による前記物体の追尾中に、その物体の特徴情報を抽出し該特徴情報を示す特徴量データを前記記憶部に記憶することを複数回行う蓄積制御部と、
   前記記憶部に記憶されている複数回分の前記特徴量データに基づいて前記物体の種類を判別する判別部と、
   を有し、
   前記判別部は、前記記憶部に記憶されている複数回分の物体の特徴量データを一部回数ずつのＮ（Ｎは２以上の整数）区間に区分し、区間毎にその区間に属する特徴量データを使用して物体の種類を判別する一次判別を行い、前記物体が特定種類である信頼度を前記Ｎに対する前記一次判別で前記特定種類と判別された回数の比として求め、前記信頼度が閾値以上であって前記記憶部に記憶されている前記物体の特徴量データが所定回数以上の場合に前記物体を前記特定種類の物体であると判別する
   ことを特徴とする物体判別装置。
5. 前記判別部は、前記物体が第１種類の物体か否かを判別する第１判別部と、前記物体が第２種類の物体か否かを判別する第２判別部とを有し、前記第１判別部の判別結果が真で前記第２判別部の判別結果が真でない場合に前記物体は第１種類の物体であると判別する
   ことを特徴とする請求項４に記載の物体判別装置。
6. 前記追尾部は、
   前記画像内で新規に追尾対象の物体を検出した場合は、その物体を追尾対象とする所定サイズの探索ブロックを複数発生させると共に各探索ブロックに前記物体の特徴情報を対応付けて記憶し、
   前記各探索ブロックをその追尾対象の物体を追尾するように移動させ、
   物体の追尾に失敗した場合は、その物体を追尾対象とする探索ブロックを所定の移動ルールに従って移動させると共に前記探索ブロックの存在領域に存在する物体の特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記物体が当該探索ブロックの追尾対象の物体であるか否かを判断し、前記物体が当該探索ブロックの追尾対象の物体であると判断した場合は該物体を当該探索ブロックの追尾対象の物体であると認定して追尾する
   ことを特徴とする請求項４または５に記載の物体判別装置。