JP6659524B2 - 移動体追跡装置、表示装置および移動体追跡方法 - Google Patents

移動体追跡装置、表示装置および移動体追跡方法 Download PDF

Info

Publication number
JP6659524B2
JP6659524B2 JP2016225527A JP2016225527A JP6659524B2 JP 6659524 B2 JP6659524 B2 JP 6659524B2 JP 2016225527 A JP2016225527 A JP 2016225527A JP 2016225527 A JP2016225527 A JP 2016225527A JP 6659524 B2 JP6659524 B2 JP 6659524B2
Authority
JP
Japan
Prior art keywords
tracking
information
unit
moving object
tracking information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016225527A
Other languages
English (en)
Other versions
JP2018082408A (ja
Inventor
智行 柴田
智行 柴田
雄土 山地
雄土 山地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016225527A priority Critical patent/JP6659524B2/ja
Priority to US15/668,114 priority patent/US10672133B2/en
Priority to EP17187720.2A priority patent/EP3324618B1/en
Publication of JP2018082408A publication Critical patent/JP2018082408A/ja
Application granted granted Critical
Publication of JP6659524B2 publication Critical patent/JP6659524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、移動体追跡装置、表示装置および移動体追跡方法に関する。
複数のカメラ映像から検出した移動体を、カメラ間を渡って追跡する移動体追跡装置が知られている。従来の移動体追跡装置では、画像内の移動体の見え方に基づいて、各画像に映り込んだ移動体が同一であるか否かを判定し、各移動体の追跡結果を得る構成が知られている。
しかしながら、従来の移動体追跡装置は、移動体の見え方に基づき各画像に映り込んだ移動体を対応付けていた(追跡情報を生成していた)ため、例えば移動体が歩行者である場合、服装の変化に対応することができなかった。また、歩行者に限定した場合、顔認識結果を用いることで、異なる服装や環境変動によって見え方が変動しても各画像に映り込んだ移動体を対応付けることが可能になるが、顔が見えている区間でしか対応付けることができなかった。つまり、従来技術においては、長期間にわたる移動体の追跡は困難であるという問題がある。
特開2008−35301号公報
本発明が解決しようとする課題は、長期間にわたる移動体の追跡が可能な移動体追跡装置、表示装置および移動体追跡方法を提供することである。
実施形態の移動体追跡装置は、取得部と追跡部と第1の対応付け部と第2の対応付け部と出力部とを備える。取得部は、複数の画像を取得する。追跡部は、画像に含まれる動体を追跡した情報を示す複数の追跡情報を生成する。第1の対応付け部は、相互の時間差が閾値以下の複数の追跡情報を対象として、追跡情報同士を対応付けた第1の対応追跡情報を生成する。第2の対応付け部は、物体を特定可能な認証情報に基づいて、第1の対応追跡情報同士を対応付けた第2の対応追跡情報を生成する。出力部は、第2の対応追跡情報を出力する。
第1の実施形態の移動体追跡システムの構成を示す図。 第1の実施形態の移動体追跡装置のハードウェアの構成を示す図。 第1の実施形態の移動体追跡装置が有する機能を示す図。 第1の実施形態の追跡情報間の対応付けを説明するための図。 第1の実施形態のch画像のブロックを説明するための図。 第1の実施形態のLBPを説明するための図。 第1の実施形態のLBPを説明するための図。 第1の実施形態の出力の一例を示す図。 第2の実施形態の移動体追跡装置が有する機能を示す図。 第2の実施形態の表示態様の一例を示す図。 第2の実施形態の変形例の移動体追跡装置が有する機能を示す図。 第2の実施形態のカレンダー画像の例を示す図。 第2の実施形態の変形例の表示態様の一例を示す図。 第2の実施形態の変形例の表示態様の一例を示す図。
以下、添付図面を参照しながら、実施形態に係る移動体追跡装置、表示装置および移動体追跡方法の実施形態を詳細に説明する。
(第1の実施形態)
図1は、本実施形態の移動体追跡システム1の概略構成の一例を示す図である。図1に示すように、移動体追跡システム1は、2つのカメラ10Aおよび10Bと、移動体追跡装置20と、を含む。以下の説明では、カメラ10Aとカメラ10Bを互いに区別しない場合は、単に「カメラ10」と称する。図1の例では、移動体追跡システム1に含まれるカメラ10の台数は2台であるが、これに限らず、3台以上のカメラ10が含まれる形態であってもよいし、1台のカメラ10が含まれる形態であってもよい。各カメラ10と移動体追跡装置20は、無線または有線で相互に接続されている。
図2は、移動体追跡装置20のハードウェア構成の一例を示す図である。図2に示すように、移動体追跡装置20は、CPU201と、ROM202と、RAM203と、I/F部204と、操作部205と、表示部206とを備える。
CPU201は、移動体追跡装置20の動作を統括的に制御する。CPU201は、RAM203の所定の領域を作業領域として、ROM202に記録された各種制御プログラムを実行して、移動体追跡装置20が有する各種の機能を実現させる。移動体追跡装置20が有する機能の具体的な内容については後述する。
ROM202は、移動体追跡装置20に関わるプログラムや各種設定情報などを記憶する不揮発性のメモリ(書き換え不可能なメモリ)である。
RAM203は、例えばSDRAMなどの記憶手段であって、CPU201の作業エリアとして機能し、バッファなどの役割を果たす。
I/F部204は、カメラ10等の外部機器と接続するためのインタフェースである。操作部205は、ユーザーの操作を受け付けるためのデバイスであり、マウスやキーボードなどで構成される。表示部206は、移動体追跡装置20に関する各種の情報を表示するデバイスであり、例えば液晶ディスプレイなどで構成される。なお、操作部205と表示部206とが一体的に構成される(例えばタッチパネルとして構成される)形態であってもよい。
図3は、移動体追跡装置20が有する機能の一例を示す図である。図3に示すように、移動体追跡装置20は、取得部211と、追跡部212と、第1の対応付け部213と、第2の対応付け部214と、出力部215とを有する。なお、図3の例では、本実施形態に関する機能を主に例示しているが、移動体追跡装置20が有する機能はこれらに限られるものではない。本実施形態では、取得部211、追跡部212、第1の対応付け部213、第2の対応付け部214、出力部215の各々の機能は、CPU201がROM202等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えばこれらの機能のうちの少なくとも一部が専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、移動体追跡装置20の一部または全てがサーバに存在する形態であってもよい。
取得部211は、複数の画像を取得する。より具体的には、取得部211は、各カメラ10から、該カメラ10で撮像された複数の画像(時間的に連続する複数の画像)を取得する。例えば複数のカメラ10ごとに取得部211が設けられてもよい(複数のカメラ10と1対1に対応する複数の取得部211が設けられてもよい)し、各カメラ10からの画像を取得する取得部211が1つだけ設けられてもよい。
追跡部212は、取得部211により取得された画像に含まれる(映り込んだ)移動体を追跡した情報を示す複数の追跡情報を生成する。追跡部212は、取得部211により取得された画像群に関して、各画像内に映り込んだ移動体を検出および追跡し、追跡情報を生成する。ここでは、追跡部212は、各カメラ10で撮像された画像群ごとに、該画像群に対応する追跡情報を生成する。つまり、カメラ10ごとに、1以上の追跡情報が生成されると考えてもよい。また、この例では移動体は人物(歩行者)であることを想定しているが、これに限らず、例えば車両などであってもよい。画像内から移動体を検出し追跡する方法としては公知の様々な技術を利用可能であり、例えば特開2014−186547号公報に開示された技術を用いてもよい。追跡情報とは、同一の移動体が検出され、かつ、相互の時間差(撮像された時間の差)が所定値以下である複数の画像(時間的に連続する複数の画像)の各々における移動体の位置と、撮像された時間とを示す情報であると考えてもよい。例えば移動体が撮像範囲から外れると、画像から移動体は検出されなくなるので、その時点で追跡情報は途切れることになる。
第1の対応付け部213は、相互の時間差が閾値以下の複数の追跡情報を対象として対応付けた第1の対応追跡情報を生成する。つまり、第1の対応付け部213は、同一の移動体に対応する複数の追跡情報を1つにまとめ、そのまとめた結果を「第1の対応追跡情報」と称する。第1の対応付け部213は、1以上の第1の対応追跡情報を生成する。ここで、対象となる2つの追跡情報について、撮像された時間の差(撮像時刻の差)が一定以上離れている場合は、見え方が大きく変動している可能性が高いため、第1の対応付け部213による対応付けの対象から除外する。
例えば図4に示すように、カメラ10Aに対応する追跡情報として、追跡情報100A、100Bおよび100Cが生成され、カメラ10Bに対応する追跡情報として、追跡情報100D、100Eが生成されている場合を想定する。この例では、追跡情報100Aと100Bとの時間差t1は閾値以下であるので、この2つの追跡情報100は第1の対応付け部213による対応付けの対象となり、両者の類似度が基準値以上の場合は、互いに対応付けられる。ここでは、追跡情報に含まれる各時間の平均値の差を追跡情報間の時間差とする場合を例に挙げて説明するが、これに限らず、例えば一方の追跡情報の終点の時間と、他方の追跡時間の始点の時間との差であってもよい。
また、追跡情報100Aと追跡情報100Dに着目すると、この例では、追跡情報100Aと100Dとの時間差t2は閾値以下であるので、この2つの追跡情報100は第1の対応付け部213による対応付けの対象となり、両者の類似度が基準値以上の場合は、互いに対応付けられる。同様にして、この例では、追跡情報100Bと100D、追跡情報100Bと100E、追跡情報100Dと100Eも対応付けの対象となる。一方で、追跡情報100Cは、他の追跡情報100A、100B、100Dおよび100Eの各々との時間差が閾値を超えているので、追跡情報100Cと、他の100A、100B、100Dおよび100Eの何れかとの組み合わせは、第1の対応付け部213による対応付けの対象とはならない。
また、環境が異なるカメラ10の組では、上着を着脱するなど服装が変動することが考えられるので、第1の対応付け部213による対応付けの対象から予め除外しておく。要するに、第1の対応付け部213は、予め定められたカメラ10の組ごとに、第1の対応追跡情報を生成する。
第1の対応付け部213は、類似度が閾値以上の追跡情報同士を対応付ける。ここでは、第1の対応付け部213による対応付けの対象となる追跡情報間の類似性は、見た目の類似度、時間差、カメラ10間の距離などを用いて定義し、双方にて顔画像や指紋画像など生体情報が取得できた場合は、生体情報を用いた認証結果も加味する。また、IDカードなどの人物(歩行者)の個人情報を通過ゲート等でカメラ映像と連動して取得した場合は、これらの情報も用いることができる。
また、歩行者の見え方の類似度は、例えば、人物画像(画像のうち人物が写り込んだ領域)についてYCbCr色空間やHSV色空間やColorNames色空間など環境光の変動に対して耐性のある複数の色空間を用いてMulti−Channel化し、各Channel画像についてY方向に異なる分割数でBlockへ分割するMulti−Layer Block分割を行い、各Blockから値のヒストグラムや、近接画素との差分値によるバイナリ符号のヒストグラムをそれぞれ算出し、全てを正規化連結する特徴抽出を行った後、予め計量学習により学習した同一人物が近く他人が遠くなる識別空間へ写像し特徴量とし、その類似度を算出してもよい。
ここでは、RGBの3Chで取得した人物画像に関して、複数の色空間に変換してMulti−Channel化する。例えば、YCbCr色空間の3ch、HSV色空間の3ch、Color Names descriptor*の11chの計17chに拡張する。この拡張は、カメラの個体差や、環境変動による取得した画像の色情報および輝度情報の変動を吸収することを目的としており、前記変動に対して色空間上での変動が少なくなることが知られている(非特許文献「J. Van, Learning color names for real-world applications, TIP, 18(7):1512-1523, 2009.」参照)。
次に、各ch画像について、複数LayerでBlock分割を行う。これは、後段で各Blockからヒストグラム情報を取得するが、詳細に分割すると人物矩形の位置ズレによる影響が大きいものの、位置情報を利用できるためより識別性が高くなることから、詳細な分割から広域な分割を段階的に行う。分割は、y軸方向およびx軸方向で分割できるが、どちらか一方のみで分割してもよい。つまり、各人物画像について各ch画像からBlockと呼ぶ複数の領域を定義する。図5は、階層的な分割のイメージ図であり、1枚のch画像について、段階的にBlockと呼ぶ複数の領域を4段階定義している。
次に、定義した各領域(Block)から、ヒストグラム情報を抽出する。抽出するヒストグラムは、各値の出現頻度を示すヒストグラム特徴量と、周辺の値との勾配方向の出現頻度をヒストグラム化するためにLocal Binary Patternと呼ばれる注目画素と周辺画素との値により割り当てるバイナリ符号を用いてヒストグラム化する特徴量とを正規化連結する。図6に示すように、注目画素(中心点)からの方向ごとに、注目画素の輝度値と、該方向に存在する画素の平均輝度値との大小を重み付けしてコード化する。例えば図7の(A)に示す輝度パターンは、図7の(B)に示す方向のビット列に変換される。この例では、周辺画素の輝度値が中心画素の輝度値よりも低い場合は、該周辺画素の輝度値は「0」に変換され、周辺画素の輝度値が中心画素の輝度値よりも高い場合は、該周辺画素の輝度値は「1」に変換されるが、これに限られるものではない(反対でもよい)。各Block(領域)からは、値のヒストグラムのbin数と、LBPのヒストグラムのbin数とを合わせた次元数の特徴量が得られる。
次に、各Blockから抽出したch数×block数の特徴量を正規化連結し、高次の特徴ベクトルを抽出する。予め同一移動体は近く、異なる移動体は遠くなる特徴空間へ変換するために計量学習し、取得した変換行列により、高次の特徴ベクトル(D次元)を変換した特徴ベクトル(d次元)を各人物画像の特徴ベクトルとする。計量学習には、いくつかの手法が提案されているが、通常分けたいカテゴリ数次元の変換行列しか算出できない手法が多いが、例えばREMetric*を用いると任意の次元数への変換行列を算出することが可能となる(非特許文献「T. Kozakaya, Random Ensemble Metrics for Object Recognition, International Conference on Computer Vision (ICCV), 2011.」参照)。
各人物画像間の類似度は、前記した2つの特徴ベクトル間の正規化相互相関により定義できる。通常、追跡情報は、複数枚の人物画像を有するため、複数枚と複数枚の間の類似度が定義できる。全ての組み合わせの最大値を追跡情報間の類似度としてもよいし、平均値を追跡情報間の類似度としてもよい。または、各追跡情報に関して得られる複数の特徴ベクトル列について主成分分析を行い、部分空間を算出する。この部分空間は、見え方の変動を表現する各移動体を表現する空間であるため、追跡情報間のそれぞれの部分空間同士の間の類似度を相互部分空間法により算出し、類似度としてもよい。そして、第1の対応付け部213は、類似度が基準値以上の追跡情報同士を対応付けていき、1以上の第1の対応追跡情報を生成する。
第2の対応付け部214は、第1の対応追跡情報、および、第1の対応付け部213により対応付けられなかった追跡情報を対象として、移動体を特定可能な認証情報に基づいて対応付けた第2の対応追跡情報を生成する。認証情報は生体情報を含む。より具体的には、生体情報は顔画像または指紋画像を含む。また、認証情報は、IDカードなどの人物(歩行者)の個人情報を含んでもよい。
この例では、第2の対応付け部214は、対応付けの対象となる第1の対応追跡情報、および、追跡情報の各々について顔画像を抽出し、抽出した顔画像が一致する第1の対応追跡情報同士、第1の対応追跡情報と追跡情報、あるいは、追跡情報同士を対応付けて第2の対応追跡情報を生成する。これにより、例えば図4において、第1の対応付け部213により対応付けられなかった追跡情報100Cも、該追跡情報100Cから抽出された顔画像を含む第1の対応追跡情報(または第1の対応付け部213により対応付けられなかった追跡情報)と対応付けられる(1つの追跡情報としてまとめられる)。なお、これに限らず、指紋画像を用いて同様の認証を行って対応付ける形態であってもよい。また、第2の対応付け部214は、通過ゲート等で、IDカードなどの人物の個人情報をカメラ10で撮像された画像と連動して取得した場合は、これらの情報を用いて対応付ける形態であってもよい。以上より、画像に映り込んだ移動体ごとに、第2の対応追跡情報が得られる。ここで、顔認識は、同一人物から複数の角度や複数の照明環境下で取得した顔画像の集合を用いて認証することで認識性能が向上することが知られている。単一カメラ映像からの解析結果である追跡情報から得られる顔画像は変動が少ないのに対し、複数のカメラ映像からの解析結果である上述の第1の対応追跡情報から得られる顔画像は、より変動の多い顔画像となる。このため、第1の対応追跡情報を用いることで、より顔認識性能が向上する。なお、顔認識における類似度算出についても、上述の人物画像間の類似度算出と同様に、所定の特徴ベクトルを用いて2枚の顔画像間の類似度を定義し、全組み合わせの最大値を集合間の類似度としてもよいし、相互部分空間を用いて類似度を算出してもよい。
出力部215は、第2の対応追跡情報を出力する。例えば図8に示すように、出力部215は、第2の対応追跡情報に相当する移動軌跡300を表示部206に表示する制御を行うこともできる。
以上に説明したように、本実施形態では、相互の時間差が閾値以下の複数の追跡情報を対象として対応付けた1以上の第1の対応追跡情報を生成した後に、該1以上の第1の対応追跡情報、および、第1の対応追跡情報として対応付けられなかった追跡情報を対象として、移動体を特定可能な認証情報に基づいて対応付けた第2の対応追跡情報を生成して出力する。すなわち、同一の移動体に関する短期間の追跡情報同士を対応付けた1以上の第1の対応追跡情報を作成しておき、時間差があるために対応付けられなかった第1の対応追跡情報同士や、第1の対応追跡情報として対応付けられなかった追跡情報(第1の対応付け部213による対応付けから漏れた追跡情報)に関しては、認証情報を用いた対応付けを行って第2の対応追跡情報を生成することで、より長期間にわたる追跡結果を得ることができる。したがって、本実施形態によれば、長期間にわたる移動体の追跡が可能になるという有利な効果を達成できる。
(第1の実施形態の変形例)
なお、例えば追跡部212の機能はカメラ10に設けられる形態であってもよい。この場合、移動体追跡装置20は、取得部211および追跡部212の代わりに、追跡情報群を取得する機能を有する形態となる。要するに、移動体追跡システム1が、取得部211、追跡部212、第1の対応付け部213、第2の対応付け部214、出力部215を有する形態であればよい。
(第2の実施形態)
次に、第2の実施形態について説明する。上述の第1の実施形態と共通する部分については適宜に説明を省略する。本実施形態では、図9は、第2の実施形態の移動体追跡装置20が有する機能の一例を示す図である。図9に示すように、移動体追跡装置20は、選択部216をさらに有する点で上述の第1の実施形態と相違する。選択部216は、時間的に連続する複数の画像に含まれる何れかの移動体を選択する。選択の方法は任意であり、例えば選択部216は、取得部211により取得された画像に対するタッチ操作やマウス操作に応じて、画像に映り込んだ歩行者を選択することもできるし、顔画像をクエリとして画像に映り込んだ歩行者(人物)を検索した後、類似度の高い順に表示し、タッチ操作やマウス操作に応じて、何れかの歩行者を選択してもよい。また、例えば画像から切り出した人物画像を並べて表示し、タッチ操作やマウス操作に応じて、何れかの人物画像(歩行者)を選択してもよい。
本実施形態の出力部215は、選択部216により選択された歩行者(移動体の一例)の移動軌跡(該歩行者の第2の対応追跡情報に相当する移動軌跡)と、該移動軌跡上の1以上の点(固定でもよいし、ユーザーの指定に応じて任意に変更可能でもよい)に対応する1以上の画像と、を並べて表示する制御を行う。例えば図10に示すように、移動軌跡300と、移動軌跡300のうち、最新の時刻に対応する点に対応する画像401と、過去の任意の時刻に対応する点に対応する画像402とを並べて表示することができる。図10の例では、画像と併せて歩行者のアイコンも表示されている。ここでは、出力部215は、「表示制御部」として機能している。さらに、移動体追跡装置20は、「表示装置」に対応している。
なお、例えば図9に示す機能のうち、出力部215の機能と、選択部216の機能とを抜き出して他の装置に搭載してもよい。この場合、その他の装置が「表示装置」として機能することになる。
(第2の実施形態の変形例)
図11は、第2の実施形態の変形例の移動体追跡装置(表示装置)20が有する機能の一例を示す図である。図11に示すように、移動体追跡装置20は、指定部217をさらに有する。指定部217は期間を指定する。期間の指定方法は任意であり、例えば指定部217は、図12のようなカレンダー画像500を表示し、カレンダー画像500内の何れかの日付に対するタッチ操作やマウス操作を受け付けた場合、該日付に対応する期間(1日)を指定することができる。
出力部215は、選択部216により選択された歩行者の、指定部217により指定された期間に対応する移動軌跡と、該移動軌跡上の1以上の点に対応する1以上の画像とを並べて表示する制御を行う。例えば図12のカレンダー画像500内の「2016年10月5日」の日付が指定された場合、図13に示すように、出力部215は、選択部216により選択された歩行者の、該指定された日付に対応する移動軌跡300と、移動軌跡300のうち、最新の時刻に対応する点に対応する画像501と、過去の任意の時刻に対応する点に対応する画像502とを並べて表示することもできる。図13の例では、画像と併せて歩行者のアイコンも表示されている。
また、指定部217は、複数の期間を指定することもできる。この場合、出力部215は、指定部217により指定された複数の期間ごとに、選択部216により選択された歩行者の移動軌跡と、該移動軌跡上の1以上の点に対応する1以上の画像とを並べて表示する制御を行う。例えば図12のカレンダー画像500内の「2016年10月5日」の日付と、「2016年10月15日」の日付が指定された場合を想定する。この場合、図14に示すように、出力部215は、選択部216により選択された歩行者の、「2016年10月5日」に対応する移動軌跡301と、該移動軌跡301のうち、最新の時刻に対応する点に対応する画像601と、過去の任意の時刻に対応する点に対応する画像602とを並べて表示するとともに、「2016年10月15日」に対応する移動軌跡302と、該移動軌跡302のうち、最新の時刻に対応する点に対応する画像701と、過去の任意の時刻に対応する点に対応する画像702とを並べて表示することができる。
以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、上述の各実施形態および各変形例の移動体追跡装置20で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の移動体追跡装置20で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の移動体追跡装置20で実行されるプログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
1 移動体追跡システム
10 カメラ
20 移動体追跡装置
211 取得部
212 追跡部
213 第1の対応付け部
214 第2の対応付け部
215 出力部
216 選択部
217 指定部

Claims (9)

  1. 複数の画像を取得する取得部と、
    前記画像に含まれる移動体を追跡した情報を示す複数の追跡情報を生成する追跡部と、
    相互の時間差が閾値以下の複数の前記追跡情報を対象として対応付けた第1の対応追跡情報を生成する第1の対応付け部と、
    前記第1の対応追跡情報、および、前記第1の対応付け部により対応付けられなかった前記追跡情報を対象として、前記移動体を特定可能な認証情報に基づいて対応付けた第2の対応追跡情報を生成する第2の対応付け部と、
    前記第2の対応追跡情報を出力する出力部と、を備える、
    移動体追跡装置。
  2. 前記取得部は、複数のカメラごとに、前記カメラで撮像された複数の前記画像を取得し、
    前記第1の対応付け部は、予め定められた前記カメラの組ごとに、前記第1の対応追跡情報を生成する、
    請求項1に記載の移動体追跡装置。
  3. 前記移動体は人物であり、
    前記認証情報は生体情報を含む、
    請求項1または2に記載の移動体追跡装置。
  4. 前記生体情報は顔画像または指紋画像を含む、
    請求項3に記載の移動体追跡装置。
  5. 前記移動体は人物であり、
    前記認証情報は前記人物の個人情報を含む、
    請求項1乃至4のうちの何れか1項に記載の移動体追跡装置。
  6. 前記第1の対応付け部は、類似度が閾値以上の前記追跡情報同士を対応付ける、
    請求項1乃至5のうちの何れか1項に記載の移動体追跡装置。
  7. 複数の画像に含まれる何れかの移動体を選択する選択部と、
    前記選択部により選択された前記移動体の移動軌跡と、前記移動軌跡上の1以上の点に対応する1以上の前記画像と、を並べて表示する制御を行う表示制御部と、を備える、
    表示装置。
  8. 期間を指定する指定部をさらに備え、
    前記表示制御部は、前記選択部により選択された前記移動体の、前記指定部により指定された期間に対応する前記移動軌跡と、前記移動軌跡上の1以上の点に対応する1以上の前記画像とを並べて表示する制御を行う、
    請求項7に記載の表示装置。
  9. 複数の画像を取得する取得ステップと、
    前記画像に含まれる移動体を追跡した情報を示す複数の追跡情報を生成する追跡ステップと、
    相互の時間差が閾値以下の複数の前記追跡情報を対象として、前記追跡情報同士を対応付けた第1の対応追跡情報を生成する第1の対応付けステップと、
    前記物体を特定可能な認証情報に基づいて、前記第1の対応追跡情報同士を対応付けた第2の対応追跡情報を生成する第2の対応付けステップと、
    前記第2の対応追跡情報を出力する出力ステップと、を含む、
    移動体追跡方法。
JP2016225527A 2016-11-18 2016-11-18 移動体追跡装置、表示装置および移動体追跡方法 Active JP6659524B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016225527A JP6659524B2 (ja) 2016-11-18 2016-11-18 移動体追跡装置、表示装置および移動体追跡方法
US15/668,114 US10672133B2 (en) 2016-11-18 2017-08-03 Moving object tracking device, display device, and moving object tracking method
EP17187720.2A EP3324618B1 (en) 2016-11-18 2017-08-24 Moving object tracking device, display device and moving object tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016225527A JP6659524B2 (ja) 2016-11-18 2016-11-18 移動体追跡装置、表示装置および移動体追跡方法

Publications (2)

Publication Number Publication Date
JP2018082408A JP2018082408A (ja) 2018-05-24
JP6659524B2 true JP6659524B2 (ja) 2020-03-04

Family

ID=59886993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016225527A Active JP6659524B2 (ja) 2016-11-18 2016-11-18 移動体追跡装置、表示装置および移動体追跡方法

Country Status (3)

Country Link
US (1) US10672133B2 (ja)
EP (1) EP3324618B1 (ja)
JP (1) JP6659524B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190190550A1 (en) * 2016-10-14 2019-06-20 NanoThings, Inc. Item status tracking system and method
US11023739B2 (en) * 2016-11-21 2021-06-01 Nec Corporation Flow line combining device, flow line combining method, and recording medium
JP6648769B2 (ja) * 2018-01-12 2020-02-14 日本電気株式会社 顔認証装置
SG10201807675TA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd Duration and Potential Region of Interest for Suspicious Activities
CN110060276B (zh) * 2019-04-18 2023-05-16 腾讯科技(深圳)有限公司 对象追踪方法、追踪处理方法、相应的装置、电子设备
TWI719591B (zh) * 2019-08-16 2021-02-21 緯創資通股份有限公司 物件追蹤方法及其電腦系統
US10909392B1 (en) * 2019-12-27 2021-02-02 Lyft, Inc. Systems and methods for computer-based labeling of sensor data captured by a vehicle
CN111436941B (zh) * 2020-03-23 2021-12-07 未来穿戴技术有限公司 潜在疾病预防的提醒系统及方法以及服务器
CN111784730B (zh) * 2020-07-01 2024-05-03 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
US11640671B2 (en) * 2021-03-09 2023-05-02 Motorola Solutions, Inc. Monitoring system and method for identifying an object of interest after the object of interest has undergone a change in appearance
CN113377977A (zh) * 2021-06-17 2021-09-10 深圳市睿联技术股份有限公司 一种视频信息生成方法、装置、系统和存储介质
CN115019241B (zh) * 2022-08-05 2022-11-01 江西中业智能科技有限公司 一种行人识别与追踪方法、装置、可读存储介质及设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS476535Y1 (ja) 1968-03-21 1972-03-07
US4893182A (en) * 1988-03-18 1990-01-09 Micronyx, Inc. Video tracking and display system
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US20090231436A1 (en) 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
JP2006236255A (ja) * 2005-02-28 2006-09-07 Mitsubishi Electric Corp 人物追跡装置および人物追跡システム
JP4706535B2 (ja) 2006-03-30 2011-06-22 株式会社日立製作所 複数カメラを用いた移動物体監視装置
JP2008035301A (ja) 2006-07-31 2008-02-14 Hitachi Ltd 移動体追跡装置
JP2009110408A (ja) * 2007-10-31 2009-05-21 Toshiba Tec Corp 動線編集装置及び動線編集プログラム
WO2010044186A1 (ja) * 2008-10-17 2010-04-22 パナソニック株式会社 動線作成システム、動線作成装置及び3次元動線表示装置
WO2010113929A1 (ja) * 2009-03-31 2010-10-07 日本電気株式会社 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム
US9430923B2 (en) * 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8620070B2 (en) * 2011-05-31 2013-12-31 Korean Electronics Technology Institute Corresponding image processing method for compensating colour
RU2600540C2 (ru) * 2012-01-17 2016-10-20 Сони Корпорейшн Устройство и способ обработки информации, и программа
US10095954B1 (en) * 2012-01-17 2018-10-09 Verint Systems Ltd. Trajectory matching across disjointed video views
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
US8724919B2 (en) * 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
JP2014186547A (ja) 2013-03-22 2014-10-02 Toshiba Corp 移動物体追跡システム、方法及びプログラム
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックIpマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP6206804B2 (ja) * 2013-09-27 2017-10-04 パナソニックIpマネジメント株式会社 移動体追跡装置、移動体追跡システムおよび移動体追跡方法
JP6344953B2 (ja) * 2014-04-07 2018-06-20 パナソニック株式会社 軌跡解析装置および軌跡解析方法
JP6163466B2 (ja) * 2014-08-21 2017-07-12 セコム株式会社 認証装置
JP6500374B2 (ja) 2014-09-11 2019-04-17 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP6377533B2 (ja) * 2015-01-06 2018-08-22 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
JP5999394B2 (ja) * 2015-02-20 2016-09-28 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6495705B2 (ja) 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US9607509B2 (en) * 2015-04-08 2017-03-28 Sap Se Identification of vehicle parking using data from vehicle sensor network
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Qoncept 動体追跡装置、動体追跡方法、動体追跡プログラム

Also Published As

Publication number Publication date
EP3324618A1 (en) 2018-05-23
JP2018082408A (ja) 2018-05-24
US20180144481A1 (en) 2018-05-24
EP3324618B1 (en) 2024-09-11
US10672133B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
JP6659524B2 (ja) 移動体追跡装置、表示装置および移動体追跡方法
US11113587B2 (en) System and method for appearance search
US10846554B2 (en) Hash-based appearance search
EP3418944A2 (en) Information processing apparatus, information processing method, and program
Durga et al. A ResNet deep learning based facial recognition design for future multimedia applications
JP6835218B2 (ja) 群衆状態認識装置、学習方法および学習プログラム
JP6532190B2 (ja) 画像検索装置、画像検索方法
EP3244323B1 (en) Image processing apparatus, image processing method, search apparatus, and computer program
JP6833617B2 (ja) 移動体追跡装置、移動体追跡方法およびプログラム
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US20180144074A1 (en) Retrieving apparatus, display device, and retrieving method
D’Eusanio et al. Manual annotations on depth maps for human pose estimation
CA3011713A1 (en) Hash-based appearance search
AU2019303730B2 (en) Hash-based appearance search
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
KR101621157B1 (ko) Mct를 이용한 얼굴 인식 장치 및 그 방법
Kumar et al. A comparative analysis on the performance of different handcrafted descriptors over thermal and low resolution visible image dataset
JP2016207106A (ja) 物体検出における誤検出低減方法および装置
Wang et al. Dynamic human object recognition by combining color and depth information with a clothing image histogram

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200206

R151 Written notification of patent or utility model registration

Ref document number: 6659524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151