JP7486685B1

JP7486685B1 - 目標追尾装置および目標追尾方法

Info

Publication number: JP7486685B1
Application number: JP2023569600A
Authority: JP
Inventors: 哲太郎山田; 泰範椿; 大輝黒瀬; 竜馬谷▲高▼; 聡宏伊藤; 龍平高橋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2023-03-03
Filing date: 2023-03-03
Publication date: 2024-05-17
Anticipated expiration: 2043-03-03
Also published as: WO2024184936A1

Abstract

センサデータから少なくとも１つの目標の位置を含む特徴量を検出する検出部（１１；２１；３１；４１）と、その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡を出力する追尾部（１２；２２；３２；４２）と、その出力された追尾航跡が、予め定められた複数の移動パターンのうちの何れに該当するかを判定する航跡分類部（１３；２３；３３；４３）と、を備える目標追尾装置。

Description

本開示は、目標追尾技術に関する。

予防保全または誘導広告等の種々の目的のために、目標を監視することが求められている。目標を継続的に監視する手段として、カメラ、レーダまたはレーザ等の非接触センサを用いて目標を検出し、検出した目標を追尾する技術がある。目標の検出および追尾技術としては、以下の特許文献に開示されているような先行技術が存在する。特許文献１には、カメラを用いた目標の検出方法と、検出した目標の追尾方法とが記載されている。

国際公開第２０２１／１７１４９８号

先行技術によれば、観測対象である目標の追尾をその目標に関する観測データのみから行うので、複数の目標が存在する多目標混雑環境下において個別の目標を精度よく追尾できないという問題がある。

本開示は、このような問題を解決するためになされたものであり、多目標混雑環境下であっても個別の目標を精度よく追尾できる目標追尾技術を提供することを目的とする。

本開示の実施形態による目標追尾装置の一側面は、センサデータから少なくとも１つの目標の位置を含む特徴量を検出する検出部と、その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡を出力する追尾部と、その出力された追尾航跡が、予め定められた複数の移動パターンのうちの何れに該当するかを判定する航跡分類部と、を備える。

本開示の実施形態による目標追尾技術によれば、多目標混雑環境下であっても個別の目標を精度よく追尾できる。

実施の形態１による目標追尾装置の構成例を示す図である。実施の形態１による追尾部の構成例を示す図である。実施の形態１による航跡分類学習処理に係るフローチャートである。実施の形態１による航跡分類推論処理に係るフローチャートである。実施の形態２による目標追尾装置の構成例を示す図である。実施の形態３による目標追尾装置の構成例を示す図である。実施の形態４による目標追尾装置の構成例を示す図である。実施の形態１から４による目標追尾装置の動作を説明するための図である。実施の形態３による目標追尾装置の動作を説明するための図である。実施の形態１から４による目標追尾装置のハードウェアの構成例を示す図である。実施の形態１から４による目標追尾装置のハードウェアの構成例を示す図である。

以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。

実施の形態１．
＜構成＞
図１および図２を参照して、本開示の実施の形態１による目標追尾装置について説明をする。図１は実施の形態１による目標追尾装置１０の構成例を示す図であり、図２は目標追尾装置１０が備える追尾部１２の構成例を示す図である。

図１に示されているように、実施の形態１による目標追尾装置１０の一側面は、センサデータから少なくとも１つの目標の位置を含む特徴量を検出する検出部１１と、その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡を出力する追尾部１２と、その出力された追尾航跡が、予め定められた複数の移動パターンのうちの何れに該当するかを判定する航跡分類部１３と、を備える。

また、目標追尾装置１０の他の一側面は、検出部１１、追尾部１２、航跡分類部１３および航跡加工部１４を備える。航跡加工部１４は任意的機能部であり、目標追尾装置１０は航跡加工部１４を備えていなくてもよい。また、図１に示されているように、目標追尾装置１０を用いた目標追尾システムは、センサ観測部１と、センサ観測部１に接続された目標追尾装置１０と、目標追尾装置１０に接続された記憶部２と、目標追尾装置１０に接続された表示部３とを備える。

（センサ観測部）
センサ観測部１は、センシングにより得られる目標に関するセンサデータを取得する機能部である。センサ観測部１がセンシングする目標の数は、本開示においては、複数である場合が想定される。但し、本開示の技術を用いた実施品が単一の目標をセンシングする場合を排除するものでない。

センサ観測部１は、例えば、カメラ、レーダ、又はレーザセンサである。例えば、センサ観測部１がカメラである場合、カメラは、目標を撮影することによりセンサデータとして、複数のフレームからなる動画像を取得する。センサ観測部１は、取得したセンサデータを検出部１１に出力する。

（検出部）
検出部１１は、センサ観測部１から出力されたフレーム毎の画像等のローデータから目標を検出し、検出した目標の特徴量を追尾部１２に出力する。例えば、カメラ画像からの目標検出の場合、検出部１１は、センサ観測部１から出力された画像データに対してＳＳＤ（Single Shot MultiBox Detector）またはＹＯＬＯ（You Look Only Once）等の目標検出アルゴリズムを用いて目標の位置と大きさを算出する。例えば、目標が人物である場合、その人物の頭部の位置と大きさを算出する。また、検出部１１は、センサ観測部１から出力された画像データに対して、ＲＧＢヒストグラム、ＨＳＶヒストグラム、またはmetrics-learningに基づく高次元特徴量等の目標の見た目特徴量を算出してもよい。検出部１１は、各フレームについて算出した位置、大きさ、見た目特徴量等の目標の特徴量を追尾部１２に出力する。

（追尾部）
追尾部１２は、第１の時刻において検出される第１の観測特徴量から、第１の時刻よりも遅い第２の時刻における予測特徴量を予測する予測部１２１と、その予測された予測特徴量と、第２の時刻において検出される第２の観測特徴量との相関を決定する相関部１２２と、その相関された第２の観測特徴量と予測された予測特徴量とを用いてフィルタリングを行い、フィルタされた特徴量の時系列データを追尾航跡として出力するフィルタ部１２３と、を備える機能部である。

追尾部１２について、より詳しく説明をする。追尾部１２は、検出部１１から出力された特徴量に基づき、前フレームの目標の現在の時刻における予測状態と現在フレームの目標の特徴量の観測値（例えば、位置、大きさ、見た目特徴量）との相関を決定し、目標の航跡を出力する。ここで、航跡とは、目標の特徴量を時系列に従って並べた時系列データを意味し、より詳しくは、特徴量に対して後述するフィルタリングがなされた後のフィルタされた特徴量を時系列に従って並べた時系列データを指す。特に、目標が人物である場合、観測値は人物の全身（第１の領域）を候補領域とするバウンディングボックス、または人物の頭部（第２の領域）を候補領域とするバンディングボックスであっても良い。

追尾部１２は、より詳細には、図２に示されているように、予測部１２１、相関部１２２、およびフィルタ部１２３を備える。

（予測部）
予測部１２１は、検出部１１から出力された特徴量に基づき、過去時刻（第１の時刻；前のフレーム）における特徴量から、現在時刻（第２の時刻；現在のフレーム）の特徴量を予測する。予測部１２１は、予測した結果を予測特徴量として相関部１２２へ出力する。

また、予測部１２１は、検出部１１から検出され、出力された現在時刻の特徴量である観測特徴量を取得し、取得した観測特徴量を相関部１２２へ出力する。

（相関部）
相関部１２２は、予測部１２１から出力された予測特徴量と観測特徴量を比較し、予測特徴量と観測特徴量の組み合わせを決定し、組合せた予測特徴量と観測特徴量の組を、フィルタ部１２３に出力する。

（フィルタ部）
フィルタ部１２３は、相関部１２２から出力された、予測特徴量と観測特徴量の組を用いてフィルタリングを行い、フィルタされた特徴量を航跡分類部１３および予測部１２１へ出力する。ここで、フィルタリングはαβフィルタのような簡素な手法でも、カルマンフィルタやパーティクルフィルタのような統計的推定に基づく時系列フィルタ手法でも良い。

（航跡分類部）
航跡分類部１３は、航跡分類パラメータと、追尾部１２から得られたフィルタされた特徴量の時系列データである航跡情報とを元に航跡を分類し、航跡分類パラメータを用いて属性毎に分類された航跡をカウントし、分類後の航跡およびカウントした航跡数等の航跡情報を航跡加工部１４または表示部３へ出力する。航跡分類パラメータは記憶部２に記憶されており、航跡分類部１３は航跡分類パラメータを記憶部２から取得する。

（航跡加工部）
航跡加工部１４は、航跡分類部１３から出力される航跡情報に基づいて、表示する航跡を加工する機能部である。すなわち、個別の航跡情報（例えば、人物の頭部等）を表示する際はプライバシーを考慮しまたは情報をコントロールするために、航跡加工部１４は航跡を加工してもよい。例えば、航跡加工部１４は、追尾された航跡に基づく領域（例えば、検出結果が存在せずに予測により代用した領域）にモザイク処理または黒塗り等の加工をしてもよい。あるいは、航跡加工部１４は、航跡分類部１３により分類された特定の属性の航跡に対してモザイク処理や黒塗り等の加工をしても良い。

（表示部）
表示部３は、航跡分類部１３または航跡加工部１４からの出力に基づいて、航跡の統計情報、個別の航跡情報、または個別の加工された若しくは加工されていない航跡を表示する。

＜動作＞
次に、図３Ａおよび図３Ｂを参照して、目標追尾装置１０の動作について説明をする。図３Ａは航跡分類学習処理に係るフローチャートであり、図３Ｂは航跡分類推論処理に係るフローチャートである。

（航跡分類学習処理）
航跡分類学習処理は、過去のデータに基づいて航跡分類パラメータを算出する処理である。このような処理を行うために、航跡分類学習処理には、物体検出処理（ステップＳＴ１１）、物体追尾処理（ステップＳＴ１２）、アノテーション処理（ステップＳＴ１３）、およびパラメータ推定処理（ステップＳＴ１４）が含まれる。

まず、ステップＳＴ１１において物体検出処理が行われる。より具体的には、ステップＳＴ１１において、検出部１１は、センサ観測部１から得られたフレーム毎の画像等のローデータから対象の特定部分の領域を検出し、検出した領域の特徴量を計算する。対象の特定部分とは、対象が人物の場合には、その人物の頭部または全身である。

次に、ステップＳＴ１１に続くステップＳＴ１２において、追尾部１２は物体追尾処理を行う。より具体的には、以下のとおりである。予測部１２１は、検出部１１から出力された過去時刻における特徴量から現在時刻の特徴量を予測する。相関部１２２は、予測部１２１から出力された予測された予測特徴量と現在時刻の特徴量とを比較し、予測特徴量と現在時刻の観測特徴量の組み合わせを決定し、フィルタ部１２３にフィルタリング対象の特徴量を出力する。フィルタ部１２３は、現在時刻の予測特徴量と現在時刻の観測特徴量を用いてフィルタリングし、フィルタされた特徴量を航跡分類部１３および予測部１２１へ出力する。相関対象となる観測特徴量が存在しない場合は予測特徴量をフィルタされた特徴量として航跡分類部１３へ出力する。フィルタされた特徴量には、対象の位置、大きさ等の特徴量が含まれる。追尾部１２は、フィルタされた特徴量の他、追尾部１２において計算された誤差共分散、相関回数、近接航跡情報、相関がない場合の航跡を示すメモリトラックの有無等の追尾品質情報も併せて航跡分類部１３に出力する。誤差共分散は、フィルタ部１２３により、例えばカルマンフィルタを用いて計算される。相関回数は、相関部１２２により相関を行った回数として計算される。近接航跡情報は、追尾航跡に近接する航跡を示す情報である。近接航跡情報は、相関部４２２が航跡間の距離を算出することにより得られる。

次に、ステップＳＴ１２に続くステップＳＴ１３において、アノテーション処理が行われる。より具体的には、ステップＳＴ１１において、航跡分類部１３は、追尾部１２から出力された航跡について、航跡の位置情報と、航跡の持つデータ情報、例えば動画像情報または強度情報とを元に、特定の属性を持つ航跡に対してラベリングを行う。

位置情報による分類としては、出現位置、目的（消失）位置、滞在時間、または航跡の隣接具合などの、センシング領域における目標の存在の仕方に関する考慮要素に基づいた分類が可能である。複数の考慮要素を考慮して航跡の分類を行っても良い。分類対象の航跡は、例えば、次の複数の移動パターンのいずれかのパターンの航跡に分類して良い：
（移動パターン１）センサから見て右から出現した航跡
（移動パターン２）センサから見て左から出現した航跡
（移動パターン３）センサから見て奥から出現し手前に消失した航跡
（移動パターン４）センサから見て手前から出現し奥に消失した航跡
（移動パターン５）出現から消失までの距離が長いにも関わらず消失が早い急いでいる航跡
（移動パターン６）センシング領域内に長時間滞在するセンシング領域内の物体に興味がある航跡
（移動パターン７）同様の変化を示す複数の目標の複数の航跡に属する一航跡（グループ航跡パターン）。例えば、並進等の他の航跡と特定の位置関係を有する近接航跡であって、かつ、他の航跡の速度に類似する速度を有する航跡

また、特定の属性に対するラベリングについては、たとえば、掲示物またはディスプレイ等の関心対象物を注視する動作の有無という属性を判別する場合、航跡データのうち、関心対象物を注視した航跡を注視航跡としてラベリングする。あるいは、航跡のうち注視した時間帯に相当する航跡を抽出して注視航跡としてラベリングする。また、注視航跡に相当しない航跡は非注視航跡としてラベリングする。ここで、ラベリングの際は、追尾品質情報を元に低品質の航跡は分類の対象から除外する、もしくは、低品質であることを示すラベルをつけて分類を実施する。

図７は、２つの目標が存在する場合の航跡と、センサと、掲示物等の関心対象物とを示す。図中のＰ_ＡまたはＰ_Ｂで示された線は航跡の位置情報であり、航跡上の小さい□枠はその地点で得られた検知領域内の航跡の持つ画像データ（頭部画像）を示す。関心対象物を注視している航跡部分を注視航跡と呼ぶことにする。図７において、注視航跡は大きい□枠により示されている。また、目標Ａと目標Ｂのフィルタされた画像または予測位置が近接している航跡を近接航跡と呼び、目標が近接している場合は航跡の品質が低くなるので、そのような近接航跡については注視判定に利用しない等の工夫をする。

次に、ステップＳＴ１３に続くステップＳＴ１４において、パラメータ推定処理が行われる。ステップＳＴ１４において、航跡分類部１３は、移動パターン毎に、航跡とラベリングされたラベルデータとに基づいて航跡分類をするためのパラメータを算出し、算出したパラメータを航跡分類パラメータとして記憶部２に保存する。

例えば、航跡分類部１３は、航跡に含まれる頭部画像データに対して、勾配ヒストグラムであるＨＯＧ（Histograms of Oriented Gradients）を計算した特徴量を並べたベクトルＸを航跡の特徴量とし、ベクトルＸとラベルデータを用いて線形判別分析等の学習手法を用いて学習パラメータを推定する。線形判別分析では、学習パラメータとして、元特徴量を射影する固有ベクトルを並べた行列Ｗ、クラス毎の射影後の特徴量の平均ベクトル、標準偏差等のパラメータを算出する。航跡分類部１３は、算出したパラメータを記憶部２に航跡分類パラメータとして保存し、保存した航跡分類パラメータを航跡分類推論処理で利用する。このようにして、航跡分類部１３は、フィルタされた画像を元に、複数の移動パターンを分類するための航跡分類パラメータを学習する。

（航跡分類推論処理）
航跡分類推論処理は、航跡分類学習処理により得られた航跡分類パラメータを用いて航跡を分類する処理である。このような処理を行うために、航跡分類推論処理には、物体検出処理（ステップＳＴ２１）、物体追尾処理（ステップＳＴ２２）、および航跡分類処理（ステップＳＴ２３）が含まれる。物体検出処理（ステップＳＴ２１）および物体追尾処理（ステップＳＴ２２）は、航跡分類学習処理における物体検出処理（ステップＳＴ１１）および物体追尾処理（ステップＳＴ１２）とそれぞれ同様であるので、重複する説明を省略する。

ステップＳＴ２３において航跡分類処理が行われる。航跡分類処理は航跡分類部１３により行われる。まず、追尾部１２から得られた航跡を航跡の位置情報を元に分類する。航跡分類処理では、追尾部１２において予測航跡と相関する検出結果が存在しない状態が続き航跡が消失したタイミング、または一定長の航跡が生成されたタイミングにおいて、追尾部１２から出力された航跡について、航跡分離学習処理において分類された移動パターンのうち航跡が最も類似する移動パターンを選択する。移動パターンの選択においては、例えば、航跡の類似度、または航跡の開始点若しくは終了点（消失点）の近さを基準としてもよい。また、選択された移動パターン毎の航跡分類パラメータを用いて、対象航跡が特定動作（注視）を行ったかどうかの判定を実施する。具体的には、まず、航跡の持つ画像データに対してＨＯＧを計算した特徴量を時系列に並べた特徴量を計算する。次に、この計算した特徴量に対して航跡分類パラメータである固有ベクトルを並べた射影行列で射影した射影済特徴量と、クラス毎の平均ベクトルと標準偏差とから統計距離を計算し、統計距離が最も小さいクラスを選択し、その選択したクラスの表す動作を表示部３に出力する。例えば、特定動作として人物の注視の有無を判定する場合、注視クラスに属する航跡をカウントしてカウントした航跡の数を注視人数として表示部３に表示しても良いし、映像データを表示すると同時に注視判定をした航跡を強調表示しても良い。なお、航跡分類処理は、安定した航跡が消失するタイミングで実施されても良い。

ステップＳＴ２３に続く不図示のステップにおいて、航跡加工部１４により、航跡の加工を行っても良い。

次に、図９および図１０を参照して、目標追尾装置１０および目標追尾装置１０を備える目標追尾システムのハードウェアの構成例について説明する。目標追尾装置１０の諸機能は、処理回路（processing circuitry）により実現される。処理回路（processing circuitry）は、図９に示されているような専用の処理回路（processing circuit）１０２ａであっても、図１０に示されているようなメモリ１０２ｃに格納されるプログラムを実行するプロセッサ１０２ｂであってもよい。また、目標追尾システムが備えるセンサ観測部１および表示部３は、例えば、カメラ１０１およびディスプレイ１０４によりそれぞれ実現される。

処理回路（processing circuitry）が専用の処理回路１０２ａである場合、専用の処理回路１０２ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、またはこれらを組み合わせたものが該当する。目標追尾装置１０の諸機能を別個の複数の処理回路（processing circuits）で実現してもよいし、諸機能をまとめて単一の処理回路（processing circuit）で実現してもよい。また、処理回路１０２ａには不図示のメモリが接続され、記憶部２が実現される。

処理回路（processing circuitry）がプロセッサ１０２ｂの場合、目標追尾装置１０の諸機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１０２ｃに格納される。プロセッサ１０２ｂは、メモリ１０２ｃに記憶されたプログラムを読み出して実行することにより、目標追尾装置１０の各機能部の機能を実現する。ここで、メモリ１０２ｃの例には、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、フラッシュメモリ、ＥＰＲＯＭ（erasable programmable read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。

なお、目標追尾装置１０の諸機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

目標追尾装置１０によれば、航跡の移動パターン毎に動画像情報を解析することで、移動パターンによって注視の目的または注視の仕方が異なる影響を緩和して高精度に航跡の詳細動作を把握することが可能となる。また、追尾部１２より出力されたフィルタされた特徴量に基づく画像情報を利用することで、また、追尾品質に基づくラベリングを実施することで、目標の判別が難しいシーンのデータを別に分類することができるため、動作推定の高精度化が期待できる。

実施の形態２．
図４を参照して、本開示の実施の形態２による目標追尾装置について説明をする。図４は、実施の形態２による目標追尾装置２０の構成例を示す図である。図４に示されているように、目標追尾装置２０は、実施の形態１による目標追尾装置１０と同様に、検出部２１および追尾部１２を備える。目標追尾装置２０は、向き推定部２４を追加的機能部として備えるとともに、向き推定部２４の追加に応じて航跡分類部１３の機能が変更された航跡分類部２３を備える。また、実施の形態１の場合と同様に、目標追尾装置２０は、不図示の航跡加工部を備えていてもよい。また、図４に示されているように、目標追尾装置２０を用いた目標追尾システムは、センサ観測部１と、センサ観測部１に接続された目標追尾装置２０と、目標追尾装置２０に接続された記憶部２と、目標追尾装置２０に接続された表示部３とを備える。

（向き推定部）
向き推定部２４は、記憶部２に保存されている過去の航跡、即ちフィルタリングされた後の画像、位置、および航跡品質の時系列データから、アジマスまたはエレベーション等の向きを推定するためのパラメータである向き推定パラメータを推定する。向き推定部２４は、現在得られた航跡に対して、推定した向き推定パラメータを用いて、物体の向きを推論する。

向き推定部２４は、物体の向きを細分化して、物体の向き毎に追尾部１２から出力された補正画像、即ちフィルタされた特徴量による画像をアノテーションする。例えば、物体のアジマスおよびエレベーションを細分化して、アジマスおよびエレベーションの具体値毎における補正画像に対してアノテーションを行う。また、向き推定部２４は、向き推定パラメータを学習し、現在得られた航跡に対して向きを推定した結果を航跡分類部２３に出力する。

航跡分類部２３は、向き推定部２４で推論された向き情報と航跡の位置とを元に、即ち関心対象物と航跡の相対位置と向き推定により推定された向きとのなす角の角度を元に、目標が関心対象物を注視したかを判定する。注視の判定は、例えばＭ中Ｎ判定法を用いて、過去Ｍ回中、Ｎ回、関心対象物を視認した角度となっているかを判定することにより行う。この注視判定の際に、航跡品質を元にして、品質の劣化した画像、例えば、近接航跡が存在する等の検知結果が劣化する可能性が高い画像については、Ｍ中Ｎ判定の対象として利用しないようにしても良い。

また、航跡の分類は、下記の式（１）に従って、尤度比Ｌを利用して行っても良い。すなわち、航跡分類部２３は、追尾航跡の位置と、目標の向きとから、追尾航跡が注視航跡である確率と、追尾航跡が注視航跡でない通常航跡である確率との比である尤度比を算出し、算出した尤度比の大きさから目標が関心対象物を注視した蓋然性を推論してもよい。式（１）において、Ｈ１は特定動作仮説、例えば、注視または不審・異常行動等を示し、Ｈ０は通常航跡を示す。ｐ（ＨＰ，Ｐ，ＲＰ｜Ｈ１）は目標が注視等の特定動作をした注視航跡である確率を表し、ｐ（ＨＰ，Ｐ｜Ｈ０）は通常航跡である確率を表す。ＨＰは１スナップショットの画像から推定した向き（アジマス）を時系列に並べたベクトルであり、Ｐは目標の中心もしくは足元位置を時系列に並べたベクトルであり、ＲＰは掲示物等の関心対象物の位置ベクトルとする。
Ｌ＝ｐ（ＨＰ，Ｐ，ＲＰ｜Ｈ１）／ｐ（ＨＰ，Ｐ｜Ｈ０）（１）

ｐ（ＨＰ，Ｐ，ＲＰ｜Ｈ１）は、画像から推定した向きＨＰと、ＰとＲＰの差分から計算される関心対象物を基準とした位置ベクトルの向きとの一致度が高く、かつ、ＰとＲＰの差分が視界内の一定の距離以内となる場合に確率が高くなる正規分布等の指数型分布族の確率分布であり、ｐ（ＨＰ，Ｐ｜Ｈ０）は、Ｐの時間差分である速度ベクトルの向きと画像から算出した向きＨＰとが一致する場合に、動きと向きが一致している平常の動作であると想定して確率が高くなる正規分布等の指数型分布族の確率分布とする。

尤度比に対して閾値Ｔｈを超えた航跡（Ｌ＞Ｔｈ）を特定航跡として出力することで、特定動作をした確率が高く、通常動作を行った確率が低い航跡を抽出することができる。ここでＴｈは尤度比検定等を用いて決定しても良いし、既存の正解データを用いて誤認識確率が一定となるように閾値Ｔｈを調整しても良い。

特定の掲示物等の関心対象物が存在せず、航跡が通常でないかどうかを判定したい場合は、尤度比ではなく、次の式（２）のとおり、通常航跡である確率ｐ（ＨＰ，Ｐ｜Ｈ０）の逆数Ｌ２を算出して、閾値判定処理（Ｌ２＞Ｔｈ２）により、異常航跡を分類しても良い。
Ｌ２＝１／ｐ（ＨＰ，Ｐ｜Ｈ０）（２）

Ｌ２を用いて閾値判定をすることで、航跡の顔向きと航跡の位置ベクトルの向きとが一致していない人物を抽出することが可能となる。

以上から明らかなように、この実施の形態２によれば、画像処理による向き情報と、航跡の位置情報と関心対象物の位置ベクトルから航跡の分類を実施することで、詳細な航跡の動作を推定することが可能となる。

実施の形態３．
図５および図８を参照して、本開示の実施の形態３による目標追尾装置について説明をする。図５は、実施の形態３による目標追尾装置３０の構成例を示す図であり、図８は目標追尾装置３０の動作を説明するための図である。図５に示されているように、目標追尾装置３０は、実施の形態１による目標追尾装置１０と同様に、検出部３１、追尾部３２、および航跡分類部１３を備える。また、目標追尾装置３０は、新たな機能部として位置推定部３４を備える。位置推定部３４が新たに備えられたことに伴って、目標追尾装置３０の検出部３１、追尾部３２および航跡分類部１３には、目標追尾装置１０の検出部１１、追尾部１２および航跡分類部１３に対してそれぞれ改良が加えられている。また、実施の形態１の場合と同様に、目標追尾装置３０は、不図示の航跡加工部を備えていてもよい。改良点について、以下にて説明をする。

実施の形態１では検出部１１が人物の頭部を検出する場合について説明をしたが、実施の形態３では、検出部３１は、人物の頭部だけでなく、人物の全身の検出も行う。より一般的に言えば、検出部３１は目標の第１の領域（全身）および第１の領域よりも狭い第２の領域（頭部）を検出する。検出部３１は、人物の頭部の特徴量に加えて、全身の特徴量も追尾部３２に出力する。

追尾部３２は、追尾航跡として、第１の領域の航跡と第２の領域の航跡とを出力する。すなわち、追尾部３２は、頭部の追尾と全身の追尾を行い、追尾航跡を位置推定部３４に出力する。

位置推定部３４は、第１の領域の航跡の位置および第２の領域の航跡の位置を推定し、第１の領域の航跡と第２の領域の航跡との対応関係を決定して、目標の第２の位置を算出する。以下、具体的に説明をする。

位置推定部３４は、頭部航跡と全身航跡を相対位置と大きさの関係から相関を行い、カメラの内部および外部パラメータと相関された全身航跡の足元位置とから、頭部の距離を算出する。これにより、頭部の距離を足元位置を基準として正確に算出する。頭部航跡と全身航跡の相関の例として、図８のように頭検出と全身検出の相対位置により、頭検出と全身検出の航跡の対応関係（相関）を決定する。ここで、混雑環境等で頭検知しか有効でないような検知不良領域を考慮して、頭検出と全身検出が同時に出現した時刻の航跡情報を元に対象の全身の大きさを推定し、距離算出に利用するという構成としても良い。位置推定部３４は、算出した頭部航跡の位置を、航跡分類部３３へ算出する。

航跡分類部１３は、上記で算出した正確な頭部の位置情報を元に、航跡の分類を行う。

以上で明らかなように、この実施の形態３よれば、頭部航跡の正確な位置情報を得ることが可能となるため、正確な位置情報に基づいて航跡を正確に分類することが可能となる。

実施の形態４．
図６を参照して、本開示の実施の形態４による目標追尾装置について説明をする。図６は、実施の形態４による目標追尾装置４０の構成例を示す図である。図６に示されているように、目標追尾装置４０は、実施の形態１による目標追尾装置１０と同様に、検出部４１、追尾部４２、および航跡分類部４３を備える。また、目標追尾装置４０は、新たな機能部として動き補正部４４を備える。また、実施の形態１の場合と同様に、目標追尾装置４０は、不図示の航跡加工部を備えていてもよい。

動き補正部４４は、第１の時刻における第１の画像と、第１の時刻の直後の第２の時刻における第２の画像について、第１の画像が取得された第１の位置と第２の画像が取得された第２の位置との相違による第１の画像と第２の画像との間のズレを補正するための動き情報を出力する機能部である。すなわち、動き補正部４４は、センサ観測部１が第１の画像と第２の画像とを異なる位置で取得する場合に、第１の画像と第２の画像との間のズレを補正する。

動き補正部４４は、画像全体の動きを推定するために、ＯＲＢ（Oriented FAST and Rotated BRIEF）やＡＫＡＺＥ（Accelerated KAZE）等の特徴点抽出手法と特徴点マッチング手法を連続する前後フレームから２枚の画像に対して適用した上で、得られた特徴点のマッチング結果からフレーム間の画像全体の移動の平均ベクトル、または画像のアフィン変換行列若しくは画像のホモグラフィ変換行列を推定する。動き補正部４４は、推定の結果を、画像の動き情報として追尾部４２と航跡分類部４３に出力する。ここで、画像全体の動き補正の際には、個別の移動体による速度成分を含まないように、検出部４１による検出候補領域外に対して特徴点抽出手法を適用しても良い。また、画像の動き情報から、カメラの内部パラメータと外部パラメータを用いて２次元俯瞰座標上の移動量を算出しても良い。

追尾部４２は、動き補正部４４から入力された画像の動き情報を用いて、個別目標の移動予測ベクトルを変換することで、予測ベクトルを補正して目標を追尾する。例えば、個別目標の移動予測ベクトルから、画像の全体移動の平均ベクトルを差し引く。このようにして補正を行うことにより、個別の目標の位置を正確に予測することが可能となる。

航跡分類部４３は、動き補正部４４から入力された画像の動き情報を用いて、航跡の位置情報を補正して判定を行う。

ここで、動き補正部４４は、ＩＮＳ（Inertial Navigation System）センサ等の内部センサによる自己位置推定情報を用いて、画像の動き情報またはセンサの移動量を推定しても良い。

以上から明らかなように、この実施の形態４よれば、センサ観測部１を搭載した不図示のプラットフォームが動くことを想定して、センサ観測部１の動きを考慮してセンシングデータを補正することで、目標の追尾および航跡の分類を正確に行うことができる。

なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

本開示の目標追尾装置は、複数の目標が存在する環境下において、予防保全または誘導広告等の種々の目的のために個別の目標を追尾する装置として用いることができる。

１センサ観測部、２記憶部、３表示部、１０目標追尾装置、１１検出部、１２追尾部、１３航跡分類部、１４航跡加工部、２０目標追尾装置、２１検出部、２３航跡分類部、２４向き推定部、３０目標追尾装置、３１検出部、３２追尾部、３３航跡分類部、３４位置推定部、４０目標追尾装置、４１検出部、４２追尾部、４３航跡分類部、４４動き補正部、１０１カメラ、１０２ａ処理回路、１０２ｂプロセッサ、１０２ｃメモリ、１０４ディスプレイ、１２１予測部、１２２相関部、１２３フィルタ部。

Claims

センサデータから少なくとも１つの目標の位置を含む特徴量を検出する検出部と、
その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡であって、前記追尾航跡の位置情報と、前記追尾航跡の持つデータ情報とを含む追尾航跡を出力する追尾部と、
過去のデータに基づいて航跡分類学習処理により得られた航跡分類パラメータを用いて、その出力された追尾航跡を、前記追尾航跡の位置情報およびデータ情報で示される、センシング領域における前記目標の存在の仕方に関する複数の考慮要素であって、位置と、速度、他の航跡との関係または前記目標の向きの少なくとも１つとを含む複数の考慮要素に基づいて、予め定められた複数の移動パターンのうちの何れか１つに分類し、分類された追尾航跡の航跡情報を出力する航跡分類部と、
を備える目標追尾装置。
前記データ情報は動画像情報または強度情報を少なくとも含む、請求項１に記載された目標追尾装置。
前記複数の考慮要素における位置は、前記センシング領域内での出現位置および消失位置を含む、請求項１に記載された目標追尾装置。
前記追尾部は、
第１の時刻において検出される第１の観測特徴量から、前記第１の時刻よりも遅い第２の時刻における予測特徴量を予測する予測部と、
その予測された予測特徴量と、前記第２の時刻において検出される第２の観測特徴量との相関を決定する相関部と、
その相関された第２の観測特徴量と前記予測された予測特徴量とを用いてフィルタリングを行い、フィルタされた特徴量の時系列データを前記追尾航跡として出力するフィルタ部と、
を備える、
請求項１に記載された目標追尾装置。
前記センサデータは画像であり、
前記航跡分類部は、フィルタされた画像を元に、前記予め定められた複数の移動パターンを分類するための航跡分類パラメータを学習する、
請求項４に記載された目標追尾装置。
前記航跡分類部は、航跡の品質を表す追尾品質情報を用いて、前記出力された追尾航跡が、予め定められた複数の移動パターンのうちの何れに該当するかを判定する、
請求項１に記載された目標追尾装置。
その出力された航跡情報に基づいて、表示する内容を加工する航跡加工部を更に備える、
請求項１に記載された目標追尾装置。
前記画像から推定される前記目標の向きを推定する向き推定部、
を更に備える請求項５に記載された目標追尾装置。
前記航跡分類部は、ある関心対象物の位置を基準とした前記目標の位置と、その推定される前記目標の向きとの一致度を元に、前記目標が前記関心対象物を注視しているかを推論する、
請求項８に記載された目標追尾装置。
前記航跡分類部は、前記追尾航跡の位置と、その推定される前記目標の向きとから、前記追尾航跡が注視航跡である確率と、前記追尾航跡が前記注視航跡でない通常航跡である確率との比である尤度比を算出し、算出した尤度比の大きさから前記目標が前記関心対象物を注視した蓋然性を推論する、
請求項９に記載された目標追尾装置。
前記航跡分類部は、前記目標の位置の時間変化である速度ベクトルの向きと、その推定される前記目標の向きとの一致度から、前記目標が不審または異常な行動をしているかを推論する、
請求項８に記載された目標追尾装置。
前記航跡分類部は前記追尾航跡が消失する時に前記分類を行う、
請求項１に記載された目標追尾装置。
前記検出部は前記目標の第１の領域および前記第１の領域よりも狭い第２の領域を検出し、
前記追尾部は前記追尾航跡として前記第１の領域の航跡と前記第２の領域の航跡とを出力し、
前記第１の領域の航跡の位置および前記第２の領域の航跡の位置を推定し、前記第１の領域の航跡と前記第２の領域の航跡との対応関係を決定して、前記目標の第２の位置を算出する位置推定部を更に備える、
請求項１から１２のいずれか１項に記載された目標追尾装置。
前記少なくとも１つの目標は複数の目標であり、
前記予め定められた複数の移動パターンは、複数の航跡が同様の変化を示すグループ航跡パターンを含み、
前記航跡分類部は、前記複数の目標のいずれか１つの目標の追尾航跡が前記グループ航跡パターンに該当すると判定する、
請求項１に記載された目標追尾装置。
前記センサデータは時間的に連続する複数の画像であり、
第１の時刻における第１の画像と、前記第１の時刻の直後の第２の時刻における第２の画像について、前記第１の画像が取得された第１の位置と前記第２の画像が取得された第２の位置との相違による前記第１の画像と前記第２の画像との間のズレを補正するための動き情報を出力する動き補正部を更に備え、
前記追尾部は、その出力される動き情報を用いて、センサの移動または画像の全体移動を除いた個別の目標の位置を予測して、前記目標を追尾する、
請求項１に記載された目標追尾装置。
前記センサデータは時間的に連続する複数の画像であり、
第１の時刻における第１の画像と、前記第１の時刻の直後の第２の時刻における第２の画像について、前記第１の画像が取得された第１の位置と前記第２の画像が取得された第２の位置との相違による前記第１の画像と前記第２の画像との間のズレを補正するための動き情報を出力する動き補正部を更に備え、
前記航跡分類部は、その出力される動き情報を用いて、出力される追尾航跡に含まれる位置情報をセンサの移動または画像の全体移動を除いた個別の航跡の位置情報に補正して、前記分類を行う、
請求項１に記載された目標追尾装置。
センサデータから少なくとも１つの目標の位置を含む特徴量を検出する検出部と、
その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡を出力する追尾部と、
過去のデータに基づいて航跡分類学習処理により得られた航跡分類パラメータを用いて、その出力された追尾航跡を予め定められた複数の移動パターンのうちの何れか１つに分類し、分類された追尾航跡の航跡情報を出力する航跡分類部と、
を備え、
前記センサデータは画像であり、
前記航跡分類部は、フィルタされた画像を元に、前記予め定められた複数の移動パターンを分類するための航跡分類パラメータを学習する、
目標追尾装置。
センサデータから少なくとも１つの目標の位置を含む特徴量を検出する検出部と、
その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡を出力する追尾部と、
過去のデータに基づいて航跡分類学習処理により得られた航跡分類パラメータを用いて、その出力された追尾航跡を予め定められた複数の移動パターンのうちの何れか１つに分類し、分類された追尾航跡の航跡情報を出力する航跡分類部と、
を備え、
前記検出部は前記目標の第１の領域および前記第１の領域よりも狭い第２の領域を検出し、
前記追尾部は前記追尾航跡として前記第１の領域の航跡と前記第２の領域の航跡とを出力し、
前記第１の領域の航跡の位置および前記第２の領域の航跡の位置を推定し、前記第１の領域の航跡と前記第２の領域の航跡との対応関係を決定して、前記目標の第２の位置を算出する位置推定部を更に備える、
目標追尾装置。
検出部、追尾部および航跡分類部を備える目標追尾装置が行う目標追尾方法であって、
前記検出部が、センサデータから少なくとも１つの目標の位置を含む特徴量を検出するステップと、
前記追尾部が、その検出された特徴量に基づいて前記目標を追尾し、追尾する目標の追尾航跡であって、前記追尾航跡の位置情報と、前記追尾航跡の持つデータ情報とを含む追尾航跡を出力するステップと、
前記航跡分類部が、過去のデータに基づいて航跡分類学習処理により得られた航跡分類パラメータを用いて、その出力された追尾航跡が、前記追尾航跡の位置情報およびデータ情報で示される、センシング領域における前記目標の存在の仕方に関する複数の考慮要素であって、位置と、速度、他の航跡との関係または前記目標の向きの少なくとも１つとを含む複数の考慮要素に基づいて、予め定められた複数の移動パターンのうちの何れか１つに分類するステップと、
を備える目標追尾方法。