JP7253967B2 - 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム - Google Patents
物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7253967B2 JP7253967B2 JP2019082242A JP2019082242A JP7253967B2 JP 7253967 B2 JP7253967 B2 JP 7253967B2 JP 2019082242 A JP2019082242 A JP 2019082242A JP 2019082242 A JP2019082242 A JP 2019082242A JP 7253967 B2 JP7253967 B2 JP 7253967B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- feature
- frame
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、フレーム間の物体の対応付けを行う技術に関する。
複数物体追跡は、監視カメラで撮影された映像に基づく人物又は車両等の物体の追跡や、集団スポーツ（例えば、サッカー、バスケットボール、ラグビー等）の映像に基づく戦術分析を実現するための必須要素技術である。そのため、産業応用性は極めて高い。複数物体追跡技術は、映像中の各フレームから物体検出方法（例えば、非特許文献１参照）によって検出された対象物体のうち、同一の物体をフレーム間で対応付けることで実現されることが一般的である。
非特許文献２には、以下のような物体追跡技術が開示されている。まず、非特許文献２では、映像中のある時刻の画像フレームに対して、非特許文献１に記載の公知の物体検出方法を適用することで得られた各矩形領域から画像特徴を抽出する。次に、非特許文献２では、抽出した画像特徴を、それ以前の時刻までに推定された各軌跡の画像特徴との比較に基づいて対応付ける。非特許文献２では、矩形領域から画像特徴を抽出するための画像特徴抽出器を、異なるカメラに写る同一人物を同定することを目的としたラベル付きデータセットから事前に学習している。これにより、フレーム遷移に伴う物体の形状変化や空間の照明条件変化に対して頑健な追跡を実現している点が特徴である。
非特許文献３には、映像中の各フレームに物体検出を適用して得られた各矩形領域に対応するノードから構成される有向グラフを用いて、費用最小流の推定に基づいて対象物体の軌跡を推定する技術が開示されている。この有向グラフにおいて、フレーム間の各検出結果ペアを接続するエッジの重みは、矩形領域ペアを入力として、矩形領域ペアの同一性をスコアとして出力するニューラルネットワークを事前に用意しておくことで実現される。非特許文献３の方法は、入力映像の全フレームを入力として各対象物体の軌跡を推定する、いわゆるオフラインでの使用を想定した方法である。そのため、非特許文献２のように、ある時刻より以前の情報のみを用いて物体の軌跡を推定する、いわゆるオンラインの方法に比べ高い追跡性能が得られる傾向がある一方で、追跡のリアルタイム性には欠ける。
Jifeng Dai, Yi Li, Kaiming He, Jian Sun, "R-FCN: Object Detection via Region-based Fully Convolutional Networks", Advances in Neural Information Processing Systems 29 (NIPS 2016).
Long Chen, Haizhou Ai, Zijie Zhuang, Chong Shang, "Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification", in ICME, 2018.
Laura Leal-Taixe, Cristian Canton-Ferrer, Konrad Schindler, "Learning by tracking: Siamese CNN for robust target association", Computer Vision and Pattern Recognition Conference Workshops, 2016.
非特許文献２及び非特許文献３のいずれの方法においても、フレーム間の物体検出結果を対応付けるにあたり、矩形領域から抽出される画像特徴は極めて重要な役割を担う。しかしながら、非特許文献２及び非特許文献３それぞれで開示されている方法では、大規模なラベル付き学習データセットを事前に用意する必要があり、学習データセットを構築するコストが高いという問題がある。
学習データセットの構築を伴わない画像特徴の抽出方法として、矩形領域内の色ヒストグラムや勾配ヒストグラム等のヒストグラムを用いる方法が考えられる。しかしながら、このようないわゆる人手で設計された特徴抽出器は、対象物体の見えの変化やフレーム間の照明変化の影響を受けやすい。そのため、フレーム間で物体を正確に対応付ける性能が低いという問題がある。
非特許文献１のような物体検出方法で用いられるニューラルネットワークの中間層出力と矩形領域の情報を組み合わせで画像特徴を抽出する方法も考えられる。しかしながら、対象物体の形状は一般的に任意であり、矩形領域の中には、対象物体そのものを表す前景領域と、前景領域以外の背景領域が含まれる。そのため、非特許文献１の方法では、抽出された画像特徴に対象物体以外の領域の情報も含まれてしまうことが極めて多く、背景領域の類似した異なる物体をフレーム間で対応付けてしまう可能性が高い。
以上のように、複数物体追跡における公知の矩形領域の特徴抽出方法では、フレーム間で同一の物体を精度よく対応付けることが困難であるという問題があった。
上記事情に鑑み、本発明は、フレーム間で精度よく同一の物体を対応付けることができる技術の提供を目的としている。
上記事情に鑑み、本発明は、フレーム間で精度よく同一の物体を対応付けることができる技術の提供を目的としている。
本発明の一態様は、複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出部と、前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出部と、前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出部と、前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付け部と、を備える物体対応付け装置である。
本発明の一態様は、上記の物体対応付け装置であって、前記領域特徴抽出部は、前記特徴マップから前記物体候補領域に対応する物体領域特徴マップを抽出し、前記物体領域特徴マップの大きさに基づいて前記領域マスクをリサイズし、調整後の前記領域マスクで、抽出した前記物体領域特徴マップを重み付けした上で、プーリングすることによって前記領域特徴を抽出する。
本発明の一態様は、上記の物体対応付け装置であって、前記物体対応付け部は、前記特徴マップ抽出部に新たにフレームが入力される度に、前記特徴マップ抽出部に新たに入力された最新フレームから前記領域特徴抽出部が抽出した領域特徴と、前記最新フレームの直前に入力されたフレームから前記領域特徴抽出部が抽出した領域特徴とを用いて、前記最新フレームと前記最新フレームの直前に入力されたフレーム間の物体の対応付けを行う。
本発明の一態様は、上記の物体対応付け装置であって、前記物体対応付け部は、所定期間分の全てのフレームから抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う。
本発明の一態様は、複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出部と、前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出部と、前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出部と、前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付け部と、を備える物体対応付けシステムである。
本発明の一態様は、複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出ステップと、前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出ステップと、前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出ステップと、前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付けステップと、を有する物体対応付け方法である。
本発明の一態様は、複数枚のフレームそれぞれから、前記フレームに撮像されている空間のとくちょう特徴マップを抽出する特徴マップ抽出ステップと、前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出ステップと、前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出ステップと、前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付けステップと、をコンピュータに実行させるためのコンピュータプログラムである。
本発明により、フレーム間で精度よく同一の物体を対応付けることが可能となる。
以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における物体対応付け装置１０の機能構成を表す概略ブロック図である。
物体対応付け装置１０は、複数のフレームに基づいて、各フレームから対象物体の特徴を抽出し、抽出した複数の特徴を用いて、フレーム間で同一物体の対応付けを行う。ここで、フレームとは、映像を構成する１コマの画像である。例えば、物体対応付け装置１０は、撮影時刻の異なる２枚のフレームに基づいてフレーム間の物体の対応付けを行う。なお、２枚のフレームはそれぞれ異なる映像から取得されてもよい。
（第１の実施形態）
図１は、第１の実施形態における物体対応付け装置１０の機能構成を表す概略ブロック図である。
物体対応付け装置１０は、複数のフレームに基づいて、各フレームから対象物体の特徴を抽出し、抽出した複数の特徴を用いて、フレーム間で同一物体の対応付けを行う。ここで、フレームとは、映像を構成する１コマの画像である。例えば、物体対応付け装置１０は、撮影時刻の異なる２枚のフレームに基づいてフレーム間の物体の対応付けを行う。なお、２枚のフレームはそれぞれ異なる映像から取得されてもよい。
第１の実施形態における物体対応付け装置１０は、オンラインの物体追跡を想定した装置である。そのため、物体対応付け装置１０は、新たなフレームが入力される度に、新たに入力されたフレームと、直前に入力されたフレームとの間で物体の対応付けを行う。例えば、時刻ｔに撮像されたフレームが入力された場合、物体対応付け装置１０は時刻ｔに撮像されたフレームと、時刻ｔ－１までに撮像されたフレームを解析した結果として得られたトラジェクトリ集合との間で物体の対応付けを行う。
物体対応付け装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、対応付けプログラムを実行する。対応付けプログラムの実行によって、物体対応付け装置１０は、画像取得部１０１、特徴マップ抽出部１０２、領域抽出部１０３、領域特徴抽出部１０４、物体対応付け部１０５を備える装置として機能する。なお、物体対応付け装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）やＧＰＵ（Graphics Processing Unit）等のハードウェアを用いて実現されてもよい。また、対応付けプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、対応付けプログラムは、電気通信回線を介して送受信されてもよい。
画像取得部１０１は、フレームを取得する。例えば、画像取得部１０１は、映像を構成する複数枚のフレームを、撮像装置から取得してもよいし、ネットワーク上から取得してもよいし、複数枚のフレームを記録している記録媒体や記憶装置から取得してもよい。第１の実施形態における物体対応付け装置１０ではオンラインの物体追跡を想定している。そのため、画像取得部１０１は、フレームを取得する度に、取得したフレームを特徴マップ抽出部１０２に出力する。
ただし、画像取得部１０１が取得したフレームを処理する速さに比べて、撮影装置から出力されるフレームの量が多い場合もある。この場合には、処理が間に合わなくなってしまう。そこで、画像取得部１０１は、取得したフレームを取得順にバッファに蓄積してもよい。そして、画像取得部１０１は、所定のタイミングで、バッファに蓄積されているフレームのうち古いフレームから順番に読み出して、読み出したフレームを特徴マップ抽出部１０２に出力する。所定のタイミングは、例えば１つのフレームに対する領域特徴の抽出が完了したタイミングであってもよいし、１つのフレームを出力してから所定の時間が経過したタイミングであってもよい。更には、画像取得部１０１は、バッファに蓄積された所定の数のフレームを同時に複数呼び出して、読み出した所定の数のフレームを特徴マップ抽出部１０２に出力してもよい。このときに各フレームに対して得られる結果は、フレームを一つずつ入力した場合と変わらない。特にＧＰＵなどの並列性の高いプロセッサを用いる場合に、演算器を効率的に使用することができ、結果として実行速度を向上させることができる。
特徴マップ抽出部１０２は、画像取得部１０１によって取得されたフレームを入力として、入力したフレームに撮像されている空間の空間構造を保存した特徴マップを抽出する。特徴マップを抽出する方法は任意であり、例えば参考文献１や参考文献２で開示されているニューラルネットワークの中間層を出力すればよい。具体例として、特徴マップ抽出部１０２は、Ｆｕｌｌ ＨＤのフレーム（縦１０８０ｐｉｘｅｌ、横１９２０ｐｉｘｅｌ、チャンネル数３のフレーム）を、参考文献１に開示されている５０層deep residual networkに入力し、その第四residual blockの最終出力を特徴マップとして出力すればよい。この場合、次元数は６８×１２０×１０２４となる。
（参考文献１：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, “Deep Residual Learning for Image Recognition”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).）
（参考文献２：Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, “Going Deeper with Convolutions”, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).）
（参考文献１：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, “Deep Residual Learning for Image Recognition”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).）
（参考文献２：Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, “Going Deeper with Convolutions”, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).）
領域抽出部１０３は、特徴マップ抽出部１０２で得られた特徴マップを入力として、特徴マップに対応するフレームに基づいて、フレームに撮像されている対象物体を捉えた物体候補領域と、対象物体の領域を示す領域マスクとを抽出する。フレーム内に複数の対象物体が撮像されている場合、領域抽出部１０３は物体候補領域と領域マスクとを対象物体分抽出する。物体候補領域は、対象物体が存在しうる領域である。例えば、物体候補領域は、矩形の領域であってもよい。領域マスクは、前景領域に１、背景領域に０の値が画像を構成する各画素に割り当てられた画像である。
物体候補領域を抽出する方法の一例について説明する。
まず、領域抽出部１０３は、参考文献３で開示されているRegion Proposal Network、又は、参考文献４で開示されているSelective Searchを用いて、物体候補領域を推定する。次に、領域抽出部１０３は、入力した特徴マップから、物体候補領域に対応する物体候補領域の特徴（以下「領域特徴」という。）を、参考文献５で開示されているＲｏＩ Ｐｏｏｌ、又は、参考文献６で開示されているＲｏＩ Ａｌｉｇｎを用いて抽出する。そして、領域抽出部１０３は、抽出した領域特徴を用いて、物体候補領域が対象物体を捉えているか否かを多層パーセプトロンやサポートベクターマシン等で分類することによって、物体候補領域を抽出する。
まず、領域抽出部１０３は、参考文献３で開示されているRegion Proposal Network、又は、参考文献４で開示されているSelective Searchを用いて、物体候補領域を推定する。次に、領域抽出部１０３は、入力した特徴マップから、物体候補領域に対応する物体候補領域の特徴（以下「領域特徴」という。）を、参考文献５で開示されているＲｏＩ Ｐｏｏｌ、又は、参考文献６で開示されているＲｏＩ Ａｌｉｇｎを用いて抽出する。そして、領域抽出部１０３は、抽出した領域特徴を用いて、物体候補領域が対象物体を捉えているか否かを多層パーセプトロンやサポートベクターマシン等で分類することによって、物体候補領域を抽出する。
また、対象物体の領域マスクを抽出する方法の一例について説明する。
領域抽出部１０３は、抽出した物体候補領域と、参考文献７で開示されている方法とを用いて、対象物体に相当する前景領域を推定する。そして、領域抽出部１０３は、推定した前景領域に対応する画素に１の値を割り当て、その他の領域に対応する画素に０の値を割り当てることによって領域マスクを抽出する。又は、領域抽出部１０３は、参考文献６のようにＲｏＩ ＰｏｏｌやＲｏＩ Ａｌｉｇｎによって得られた物体候補領域内の領域特徴を入力として、ＦＣＮ（Fully Convolutional Network）により対象物体に相当する前景領域を推定する。ＦＣＮなどの方法を用いた場合、推定された領域マスクの要素値は実数であるが、これをそのまま出力としてもよいし、あるいは所定の閾値を用いて二値化したものを出力してもよい。
（参考文献３：Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, in NIPS, 2015.）
（参考文献４：J.R.R. Uijlings, K.E.A. van de Sande, T. Gevers, A.W.M. Smeulders, “Selective Search for Object Recognition”, in IJCV, 2013.）
（参考文献５：Ross Girshick, “Fast R-CNN”, ICCV, 2015.）
（参考文献６：Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick, “Mask R-CNN”, ICCV, 2017.）
（参考文献７：Carsten Rother, Vladimir Kolmogorov, Andrew Blake, ““GrabCut” - Interactive Foreground Extraction using Iterated Graph Cuts”, SIGGRAPH, 2004.）
領域抽出部１０３は、抽出した物体候補領域と、参考文献７で開示されている方法とを用いて、対象物体に相当する前景領域を推定する。そして、領域抽出部１０３は、推定した前景領域に対応する画素に１の値を割り当て、その他の領域に対応する画素に０の値を割り当てることによって領域マスクを抽出する。又は、領域抽出部１０３は、参考文献６のようにＲｏＩ ＰｏｏｌやＲｏＩ Ａｌｉｇｎによって得られた物体候補領域内の領域特徴を入力として、ＦＣＮ（Fully Convolutional Network）により対象物体に相当する前景領域を推定する。ＦＣＮなどの方法を用いた場合、推定された領域マスクの要素値は実数であるが、これをそのまま出力としてもよいし、あるいは所定の閾値を用いて二値化したものを出力してもよい。
（参考文献３：Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, in NIPS, 2015.）
（参考文献４：J.R.R. Uijlings, K.E.A. van de Sande, T. Gevers, A.W.M. Smeulders, “Selective Search for Object Recognition”, in IJCV, 2013.）
（参考文献５：Ross Girshick, “Fast R-CNN”, ICCV, 2015.）
（参考文献６：Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick, “Mask R-CNN”, ICCV, 2017.）
（参考文献７：Carsten Rother, Vladimir Kolmogorov, Andrew Blake, ““GrabCut” - Interactive Foreground Extraction using Iterated Graph Cuts”, SIGGRAPH, 2004.）
領域特徴抽出部１０４は、特徴マップ抽出部１０２で得られた特徴マップと、領域抽出部１０３で得られた物体候補領域と、領域マスクとを入力として、領域特徴をフレーム毎に抽出する。より具体的には、領域特徴抽出部１０４は、各対象物体の物体候補領域に対応する領域特徴をフレーム毎に抽出する。
領域特徴抽出部１０４による領域特徴の抽出手順について説明する。
まず、領域特徴抽出部１０４は、入力された特徴マップのうち、領域抽出部１０３から出力された物体候補領域に対応する領域の特徴マップ（以下「領域特徴マップ」という。）を抽出する。領域特徴マップの抽出には、例えば、参考文献５で開示されているＲｏＩ Ｐｏｏｌや参考文献６で開示されているＲｏＩ Ａｌｉｇｎが用いられてもよい。例えば、領域特徴抽出部１０４が領域特徴マップの抽出にＲｏＩ Ａｌｉｇｎを用いた場合、領域特徴マップの次元数は７×７×２０４８である。
まず、領域特徴抽出部１０４は、入力された特徴マップのうち、領域抽出部１０３から出力された物体候補領域に対応する領域の特徴マップ（以下「領域特徴マップ」という。）を抽出する。領域特徴マップの抽出には、例えば、参考文献５で開示されているＲｏＩ Ｐｏｏｌや参考文献６で開示されているＲｏＩ Ａｌｉｇｎが用いられてもよい。例えば、領域特徴抽出部１０４が領域特徴マップの抽出にＲｏＩ Ａｌｉｇｎを用いた場合、領域特徴マップの次元数は７×７×２０４８である。
次に、領域特徴抽出部１０４は、領域マスクを、領域特徴マップの次元数と合致するようにサイズを調整する。次に、領域特徴抽出部１０４は、サイズ調整後の領域マスクで、領域特徴マップを重み付けする。例えば、領域特徴抽出部１０４は、サイズ調整後の領域マスクと、領域特徴マップとの要素積を算出する。
参考文献６のようにＦＣＮを用いて領域マスクが推定された場合、得られる領域マスクの次元数は１４×１４×１となる。この領域マスクを、領域特徴マップの次元数と合致するようサイズを調整するには、まず縦及び横方向に領域マスクをダウンサンプリングして次元数を７×７×１とした上で、これをチャンネル方向に２０４８次元分並べればよい。
そして、領域特徴抽出部１０４は、領域マスクによって重み付けされた領域特徴マップを空間方向にプーリングすることによって領域特徴を算出する。なお、対象物体の候補領域が複数ある場合には、領域特徴抽出部１０４は上記の手順を対象物体の候補領域分だけ実行する。ここで、要素積の出力が７×７×２０４８であった場合、これを７×７＝４９の２０４８次元特徴であると見立て、各特徴次元について平均プーリングや最大値プーリングを行うことで２０４８次元の領域特徴が得られる。
領域特徴抽出部１０４は、得られた画像領域をそのまま出力してもよいし、あるいは訓練データから同様に抽出した領域特徴を用いて主成分分析を行い、射影行列を用意しておき、これを適用し領域特徴の次元を削減したうえで出力してもよい。また、出力される領域特徴のノルムを正規化した上で出力してもよい。
物体対応付け部１０５は、フレーム毎に抽出された複数の領域特徴を用いて、フレーム間の物体の対応付けを行う。より具体的には、物体対応付け部１０５は、新たにフレームが入力される度に、新たに入力された最新フレームから抽出された領域特徴と、最新フレームの直前に入力されたフレームから抽出された領域特徴とを用いて同一物体の識別を行い、同一物体と識別された領域特徴同士を対応付けることによって、フレーム間の物体の対応付けを行う。例えば、新たにフレームＩｔが入力された場合、フレームＩｔにおいて領域抽出部１０３で推定された物体候補領域に対応する領域特徴と、フレームＩ（ｔ－１）において領域抽出部１０３で推定された物体候補領域に対応する領域特徴とを対応付ける。
また、物体対応付け部１０５は、フレームＩ１からＩ（ｔ－１）までを入力として得られたトラジェクトリ集合を構成する各トラジェクトリの領域特徴とを対応付けることで、トラジェクトリ集合を更新する。トラジェクトリ集合を更新する方法は任意であるが、例えば以下の手順により実現することができる。まず、トラジェクトリ集合を構成する各トラジェクトリの領域特徴と、フレームItから得られた各領域特徴とを総当たりで比較し、得られたデータ行列に対しハンガリアン法を用いることでトラジェクトリと物体候補領域とを対応付ける。領域特徴を比較する方法としては、例えば領域特徴間のコサイン類似度やユークリッド距離を算出すればよい。
対応する対象物体候補が存在するトラジェクトリは、その対象物体候補をトラジェクトリに追加し、またトラジェクトリの領域特徴をその対象物体候補の領域特徴とすることで更新される。対応する対象物体候補が存在しないトラジェクトリについては、トラジェクトリそのものは更新せず、対応する対象物体候補が存在しなかった頻度を示すカウンターをインクリメントする。このカウンターが所定の閾値を上回った場合、当該トラジェクトリはトラジェクトリ集合から削除され、以下のフレーム中の対象物体候補との対応付けには用いない。また対応するトラジェクトリが存在しない対象物体候補は、新しいトラジェクトリとして初期化する。トラジェクトリの領域特徴には初期化に用いた対象物体候補の領域特徴を用いる。
図２は、第１の実施形態における領域特徴の抽出方法の説明図である。
図２において、符号２０１は特徴マップを表し、符号２０２はフレームを表し、符号２０３は対象物体の物体候補領域（矩形領域）を表し、符号２０４は領域マスクを表し、符号２０５は領域特徴マップを表し、符号２０６はサイズ調整後の領域マスクを表し、符号２０７は領域マスクによって重み付けされた領域特徴マップを表し、符号２０８は領域特徴を表す。特徴マップ２０１は、空間の空間的構造を特徴化したマップであり、例えば図２に示すように、縦ｈ´、横ｗ´、チャンネル方向の長さｃ´で構成される。チャンネル方向の長さｃ´は、次元数に応じて変化する。領域特徴抽出部１０４は、特徴マップ２０１から、対象物体の物体候補領域２０３に対応する領域を領域特徴マップ２０５として抽出する。図２では、対象物体の物体候補領域２０３が１つのため、領域特徴マップ２０５を１つ示しているが、対象物体の物体候補領域２０３が複数の場合には領域特徴マップ２０５が特徴マップ２０１から複数個抽出される。
図２において、符号２０１は特徴マップを表し、符号２０２はフレームを表し、符号２０３は対象物体の物体候補領域（矩形領域）を表し、符号２０４は領域マスクを表し、符号２０５は領域特徴マップを表し、符号２０６はサイズ調整後の領域マスクを表し、符号２０７は領域マスクによって重み付けされた領域特徴マップを表し、符号２０８は領域特徴を表す。特徴マップ２０１は、空間の空間的構造を特徴化したマップであり、例えば図２に示すように、縦ｈ´、横ｗ´、チャンネル方向の長さｃ´で構成される。チャンネル方向の長さｃ´は、次元数に応じて変化する。領域特徴抽出部１０４は、特徴マップ２０１から、対象物体の物体候補領域２０３に対応する領域を領域特徴マップ２０５として抽出する。図２では、対象物体の物体候補領域２０３が１つのため、領域特徴マップ２０５を１つ示しているが、対象物体の物体候補領域２０３が複数の場合には領域特徴マップ２０５が特徴マップ２０１から複数個抽出される。
領域特徴抽出部１０４は、領域マスク２０４を、領域特徴マップ２０５の次元数と合致するようにリサイズすることによってサイズ調整後の領域マスク２０６を生成する。この処理により、領域特徴マップ２０５と、サイズ調整後の領域マスク２０６との次元数が同じになる。そして、領域特徴抽出部１０４は、領域特徴マップ２０５と、サイズ調整後の領域マスク２０６との要素積を算出する。この処理により、重み付けされた領域特徴マップ２０７が得られる。重み付けされた領域特徴マップ２０７には、背景領域に対応する特徴も含まれている。そこで、領域特徴抽出部１０４は、重み付けされた領域特徴マップ２０７を空間方向にプーリングすることによって領域特徴２０８を抽出する。ここで、空間方向とは、縦方向及び横方向の両方の方向を表す。このように抽出された領域特徴２０８は、チャンネル方向の次元分の領域特徴を含む。
以上で、領域特徴の抽出方法についての説明を終了する。
以上で、領域特徴の抽出方法についての説明を終了する。
図３は、第１の実施形態における物体対応付け装置１０が行う物体対応付け処理の流れを示すフローチャートである。なお、図３では、物体対応付け装置１０が、一台の撮影装置によって撮影されている映像を入力する場合を例に説明する。
画像取得部１０１は、撮影装置から映像を構成する１コマ分のフレームを取得する（ステップＳ１０１）。画像取得部１０１は、取得したフレームを特徴マップ抽出部１０２に出力する。
画像取得部１０１は、撮影装置から映像を構成する１コマ分のフレームを取得する（ステップＳ１０１）。画像取得部１０１は、取得したフレームを特徴マップ抽出部１０２に出力する。
特徴マップ抽出部１０２は、画像取得部１０１から出力されたフレームに基づいて特徴マップを抽出する（ステップＳ１０２）。特徴マップ抽出部１０２は、抽出した特徴マップを領域抽出部１０３及び領域特徴抽出部１０４に出力する。
領域抽出部１０３は、特徴マップ抽出部１０２から出力された特徴マップを入力として、特徴マップに対応するフレームから対象物体の物体候補領域を抽出する（ステップＳ１０３）。また、領域抽出部１０３は、抽出した対象物体の物体候補領域から対象物体の領域マスクを生成する（ステップＳ１０４）。領域抽出部１０３は、物体候補領域及び領域マスクを領域特徴抽出部１０４に出力する。
領域抽出部１０３は、特徴マップ抽出部１０２から出力された特徴マップを入力として、特徴マップに対応するフレームから対象物体の物体候補領域を抽出する（ステップＳ１０３）。また、領域抽出部１０３は、抽出した対象物体の物体候補領域から対象物体の領域マスクを生成する（ステップＳ１０４）。領域抽出部１０３は、物体候補領域及び領域マスクを領域特徴抽出部１０４に出力する。
領域特徴抽出部１０４は、特徴マップ、物体候補領域及び領域マスクに基づいて、物体候補領域で示される領域の領域特徴を抽出する（ステップＳ１０５）。領域特徴抽出部１０４は、抽出した領域特徴を物体対応付け部１０５に出力する。物体対応付け部１０５は、領域特徴抽出部１０４から出力された領域特徴を、フレームの情報に対応付けて保持する。フレームの情報とは、フレームの詳細を示す情報であり、例えばフレームの識別番号、フレームが取得された時刻の情報、領域特徴が示す対象物体のフレーム内における位置情報等である。
物体対応付け部１０５は、所定枚数前（例えば、１つ前）のフレームの領域特徴が得られているか否かを判定する（ステップＳ１０６）。例えば、物体対応付け部１０５は、ステップＳ１０１の処理で時刻ｔのフレームが取得されている場合には、時刻ｔ－ｎ（ｎは１以上の整数）のフレームの領域特徴が得られているか否かを判定する。映像撮影の開始時には、物体対応付け装置１０に対して１枚のフレームしか入力されていない。そのため、物体対応付け部１０５は、撮影開始時においては所定枚数前のフレームの領域特徴が得られていないと判定する。
所定枚数前のフレームの領域特徴が得られていない場合（ステップＳ１０６－ＮＯ）、物体対応付け部１０５は物体の対応付けを行わない（ステップＳ１０７）。その後、物体対応付け装置１０は、物体対応付け処理を終了するか否かを判定する（ステップＳ１０８）。例えば、物体対応付け装置１０は、物体対応付け処理を終了する旨の指示が入力された場合に、物体対応付け処理を終了すると判定する。一方、物体対応付け処理を終了する旨の指示が入力されていない場合に、物体対応付け装置１０は物体対応付け処理を終了しないと判定する。
物体対応付け処理を終了する場合（ステップＳ１０８－ＹＥＳ）、物体対応付け装置１０は図３の処理を終了する。
一方、物体対応付け処理を終了しない場合（ステップＳ１０８－ＮＯ）、物体対応付け装置１０はステップＳ１０１以降の処理を実行する。この場合、画像取得部１０１は、バッファにフレームが蓄積されている場合、バッファに蓄積されているフレームのうち古いフレームから順番に読み出す。そして、画像取得部１０１は、読み出したフレームを特徴マップ抽出部１０２に出力する。また、画像取得部１０１は、バッファにフレームが蓄積されていない場合、撮影装置から新たにフレームを取得すると、取得したフレームを特徴マップ抽出部１０２に出力する。
一方、物体対応付け処理を終了しない場合（ステップＳ１０８－ＮＯ）、物体対応付け装置１０はステップＳ１０１以降の処理を実行する。この場合、画像取得部１０１は、バッファにフレームが蓄積されている場合、バッファに蓄積されているフレームのうち古いフレームから順番に読み出す。そして、画像取得部１０１は、読み出したフレームを特徴マップ抽出部１０２に出力する。また、画像取得部１０１は、バッファにフレームが蓄積されていない場合、撮影装置から新たにフレームを取得すると、取得したフレームを特徴マップ抽出部１０２に出力する。
ステップＳ１０６の処理において、所定枚数前のフレームの領域特徴が得られている場合（ステップＳ１０６－ＹＥＳ）、物体対応付け部１０５は物体の対応付けを行う（ステップＳ１０９）。具体的には、物体対応付け部１０５は、新たに取得された時刻ｔのフレームの領域特徴と、所定枚数前のフレーム（例えば、時刻ｔ－１のフレーム）の領域特徴とを対応付けることによって人物の対応付けを行う。
以上のように構成された物体対応付け装置１０では、フレーム間で精度よく物体を対応付けることが可能になる。具体的には、物体対応付け装置１０は、複数枚のフレームそれぞれから特徴マップを抽出し、特徴マップに対応するフレームに撮像されている対象物体を含む所定の大きさの物体候補領域と、領域マスクとを抽出し、特徴マップと、物体候補領域と、領域マスクとに基づいて領域特徴をフレーム毎に抽出し、フレーム毎に抽出された複数の領域特徴を用いて、フレーム間の物体の対応付けを行う。これにより、非特許文献２や非特許文献３のように、物体検出結果をフレーム間で対応付けるための学習データの構築ならびに学習を行う必要がなくなる。また、物体対応付け装置１０は、対象物体を含む物体候補領域に加え、領域マスクの情報も考慮して特徴抽出を行う。これにより、背景や物体の変化の影響を低減させ、物体そのものをより正確に捉えた領域特徴を抽出することができる。したがって、上記の処理によって得られた領域特徴を用いて、フレーム間の対応付けを行うことによって、フレーム間で同一の物体をより正確に対応付けることができる。そのため、フレーム間で精度よく物体を対応付けることが可能になる。
また、物体対応付け装置１０は、領域特徴を抽出する際に、空間方向にプーリングする。サイズ調整後の領域マスクで重み付けされた物体領域特徴マップは、背景領域に対応する画素値に０の値が含まれる。このように領域特徴は関係のない情報も多く含まれている。重み付けされた物体領域特徴マップを、空間方向にプーリングすることによって、無駄な情報を削減した領域特徴のみ抽出することができる。そのため、より精度よくフレーム間で物体を対応付けることが可能になる。
また、第１の実施形態における物体対応付け装置１０は、フレームが取得される度に、リアルタイムにフレーム間の同一物体の識別を行い、同一物体候補の対応付けを行う。そのため、オンラインの複数物体追跡方法にも組み合わせて用いることができる。
＜変形例＞
物体対応付け装置１０が備える一部の機能部は、別の筐体に実装されてもよい。例えば、画像取得部１０１、特徴マップ抽出部１０２、領域抽出部１０３及び領域特徴抽出部１０４が、別の筐体で特徴抽出装置として構成されてもよい。このように構成される場合、物体対応付け装置１０は、特徴抽出装置から領域特徴を取得して、各フレームに撮像されている物体の対応付けを行う。
物体対応付け装置１０は、同じ時刻又は異なる時刻に異なる撮影装置によって撮影された複数のフレームを入力して、フレーム間の人物の対応付けを行ってもよい。
物体対応付け装置１０が備える一部の機能部は、別の筐体に実装されてもよい。例えば、画像取得部１０１、特徴マップ抽出部１０２、領域抽出部１０３及び領域特徴抽出部１０４が、別の筐体で特徴抽出装置として構成されてもよい。このように構成される場合、物体対応付け装置１０は、特徴抽出装置から領域特徴を取得して、各フレームに撮像されている物体の対応付けを行う。
物体対応付け装置１０は、同じ時刻又は異なる時刻に異なる撮影装置によって撮影された複数のフレームを入力して、フレーム間の人物の対応付けを行ってもよい。
（第２の実施形態）
第２の実施形態では、物体対応付け装置が、有向グラフを利用して、フレーム間の物体の対応付けを行う構成について説明する。また、第２の実施形態における物体対応付け装置は、オフラインの物体追跡を想定した装置である。そのため、第２の実施形態における物体対応付け装置は、処理対象となる全てのフレームが入力された後に、フレーム間で物体の対応付けを行う。
第２の実施形態では、物体対応付け装置が、有向グラフを利用して、フレーム間の物体の対応付けを行う構成について説明する。また、第２の実施形態における物体対応付け装置は、オフラインの物体追跡を想定した装置である。そのため、第２の実施形態における物体対応付け装置は、処理対象となる全てのフレームが入力された後に、フレーム間で物体の対応付けを行う。
図４は、第２の実施形態における物体対応付け装置１０ａの機能構成を表す概略ブロック図である。
物体対応付け装置１０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、対応付けプログラムを実行する。対応付けプログラムの実行によって、物体対応付け装置１０ａは、画像取得部１０１ａ、特徴マップ抽出部１０２、領域抽出部１０３、領域特徴抽出部１０４、物体対応付け部１０５ａを備える装置として機能する。なお、物体対応付け装置１０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、対応付けプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、対応付けプログラムは、電気通信回線を介して送受信されてもよい。
物体対応付け装置１０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、対応付けプログラムを実行する。対応付けプログラムの実行によって、物体対応付け装置１０ａは、画像取得部１０１ａ、特徴マップ抽出部１０２、領域抽出部１０３、領域特徴抽出部１０４、物体対応付け部１０５ａを備える装置として機能する。なお、物体対応付け装置１０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、対応付けプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、対応付けプログラムは、電気通信回線を介して送受信されてもよい。
物体対応付け装置１０ａは、画像取得部１０１及び物体対応付け部１０５に代えて画像取得部１０１ａ及び物体対応付け部１０５ａを備える点で物体対応付け装置１０と構成が異なる。物体対応付け装置１０ａは、他の構成については物体対応付け装置１０と同様である。そのため、物体対応付け装置１０ａ全体の説明は省略し、画像取得部１０１ａ及び物体対応付け部１０５ａについて説明する。
画像取得部１０１ａは、フレームを取得する。例えば、画像取得部１０１ａは、映像を構成する複数枚のフレームを、撮像装置から取得してもよいし、ネットワーク上から取得してもよいし、複数枚のフレームを記録している記録媒体や記憶装置から取得してもよい。第２の実施形態における物体対応付け装置１０ａではオフラインの物体追跡を想定している。そのため、画像取得部１０１ａは、予め定められた枚数分のフレーム、又は、予め定められた時間分のフレームを取得した後に、取得した全フレームを特徴マップ抽出部１０２に出力する。
物体対応付け部１０５ａは、処理対象となる全フレームそれぞれで抽出された複数の領域特徴を用いて、フレーム間の物体の対応付けを行う。
物体対応付け部１０５ａは、処理対象となる全フレームそれぞれで抽出された複数の領域特徴を用いて、フレーム間の物体の対応付けを行う。
図５は、第２の実施形態における物体対応付け装置１０ａが行う物体対応付け処理の流れを示すフローチャートである。図３と同様の処理については、図５において図３と同様の符号を付して説明を省略する。なお、図５では、物体対応付け装置１０ａが、処理対象となる映像のフレームを入力した場合を例に説明する。
画像取得部１０１ａは、処理対象となる映像を構成する全てのフレームを取得する（ステップＳ２０１）。例えば、画像取得部１０１ａは、処理対象となる映像を構成する全てのフレームを、ネットワーク上、又は、記録媒体や記憶装置から取得する。画像取得部１０１ａは、取得した全てのフレームを特徴マップ抽出部１０２に出力する。ステップＳ１０２～ステップＳ１０５の処理が実行されると、処理対象となる全フレームそれぞれで抽出された複数の領域特徴が物体対応付け部１０５ａに入力される。
画像取得部１０１ａは、処理対象となる映像を構成する全てのフレームを取得する（ステップＳ２０１）。例えば、画像取得部１０１ａは、処理対象となる映像を構成する全てのフレームを、ネットワーク上、又は、記録媒体や記憶装置から取得する。画像取得部１０１ａは、取得した全てのフレームを特徴マップ抽出部１０２に出力する。ステップＳ１０２～ステップＳ１０５の処理が実行されると、処理対象となる全フレームそれぞれで抽出された複数の領域特徴が物体対応付け部１０５ａに入力される。
物体対応付け部１０５ａは、入力された処理対象となる全フレームそれぞれで抽出された複数の領域特徴を用いて、フレーム間の物体の対応付けを行う（ステップＳ２０２）。具体的には、第２の実施形態における物体対応付け部１０５ａは、各対象物体候補に対応するノードから構成される有向グラフにおける費用最小流の推定に基づく方法を用いる。図６を用いて具体例を挙げて説明する。
図６は、第２の実施形態における物体対応付け部１０５ａの対応付け処理を説明するための図である。図６に示す例では、映像は、フレーム０、フレーム１及びフレーム２の３つのフレームから構成され、２つの対象物体３１及び３２が撮像されている。フレーム２において、対象物体３１はフレームアウトしているが、各フレームでは物体検出により２つの対象物体候補の領域３３及び３４が出力されている。なお、フレーム２の物体検出結果のうち一つは誤検出である。図６では、説明の簡単化のため物体の領域として対象物体候補の領域３３及び３４として矩形のみ表示している。
有向グラフにおける費用最小流の推定に基づく方法では、まず、各対象物体候補（対象物体３１及び３２）を２つのノード３５及び３６で表し、ノード３５及び３６と開始ノード３７及び終了ノード３８とで構成されるグラフを考える。ノード３５は、対象物体３１に対応するノードである。ノード３６は、対象物体３２に対応するノードである。そして、物体対応付け部１０５ａは、以下の（１）～（４）に示すようにノード間で有向エッジを張る。各エッジには、後述する方法で重みを割り当てる。
（１）開始ノード３７から各対象物体候補の第一ノード３５－１及び３６－１の方向
（２）各対象物体候補の第二ノード３５－２及び３６－２から終了ノード３８の方向
（３）各対象物体候補の第一ノード３５－１及び３６－１から第二ノード３５－２及び３６－２の方向
（４）フレームＩ（ｔ－１）に含まれる各対象物体の第二ノード３５－２及び３６－２からフレームＩｔに含まれる各対象物体の第一ノード３５－１及び３６－１の方向
（２）各対象物体候補の第二ノード３５－２及び３６－２から終了ノード３８の方向
（３）各対象物体候補の第一ノード３５－１及び３６－１から第二ノード３５－２及び３６－２の方向
（４）フレームＩ（ｔ－１）に含まれる各対象物体の第二ノード３５－２及び３６－２からフレームＩｔに含まれる各対象物体の第一ノード３５－１及び３６－１の方向
上記の方法により、物体対応付け部１０５ａは、有向グラフ３９を構築することができる。有向グラフ３９のノード数Ｎ（すなわち対象物体候補の数）は１４であり、各ノードを接続するエッジの数Ｌは２６である。
各エッジの重みについて、まず開始ノード３７と各対象物体候補の第一ノード３５－１及び３６－１を接続するエッジの重みｃｉ
ｓと、各対象物体候補の第二ノード３５－２及び３６－２と終了ノード３８を接続するエッジの重みｃｉ
ｔには所定のパラメータを割り当てればよい。このパラメータは、トラジェクトリの長さを制御するパラメータであり、その値を小さくするほど各トラジェクトリは長くなる。次に、各対象物体候補の第一ノード３５－１及び３６－１と第二ノード３５－２及び３６－２を接続するエッジの重みｃｉ
ｄｅｔは、対象物体候補の対象候補らしさのスコアを、ｐｉ
ｄｅｔを用いて、以下の式１に基づいて算出すればよい。
フレームＩ（ｔ－１）に含まれる各対象物体候補の第二ノード３５－２及び３６－２と、フレームＩｔに含まれる各対象物体候補の第一ノード３５－１及び３６－１を接続するエッジの重みｃｉｊ
ｌｉｎｋは、領域特徴抽出部１０４で得られた領域特徴の、例えばユークリッド距離を割り当てればよい。費用最小流は、有向グラフ３９の中で開始ノード３７から終了ノード３８へ至るパスのうち、パスを構成するエッジ重みの和が最小となるものである。各パスは一つのトラジェクトリに対応する。ここで、トラジェクトリの物理的な制約から、一つのトラジェクトリに含まれる物体検出結果は各フレームで高々一つであり、またトラジェクトリを構成する全ての物体検出結果は、単一のトラジェクトリにのみ含まれることに注意すると、費用最小流は、以下の式２に示す最適化問題として定式化することができる。
ベクトルｘ∈ＲＬ（Ｒは実数の全体を表す）は、有向グラフ内の各エッジに対応する二値ラベル変数(１のとき、対応するエッジは費用最小流に含まれ、それ以外では０をとる)を表す。ベクトルｃ∈ＲＬは、各エッジの重みベクトルを表す。ベクトルＡ∈Ｒ２Ｎ×Ｌは、上述の制約条件を定式化して得られる行列を表す。上式２を満たす二値ラベル変数ベクトルｘを求める方法は任意であり、例えば線形計画法又は参考文献８に開示されているpush-relabel algorithmを用いることができる。トラジェクトリ集合は、得られたベクトルｘに基づき、例えばダイクストラ法などで開始ノード３７から終了ノード３８に至るパスを列挙することで得られる。
（参考文献８：Hamed Pirsiavash, Deva Ramanan, Charless C. Fowlkes, “Globally-Optimal Greedy Algorithms for Tracking a Variable Number of Objects”, CVPR, 2011.）
（参考文献８：Hamed Pirsiavash, Deva Ramanan, Charless C. Fowlkes, “Globally-Optimal Greedy Algorithms for Tracking a Variable Number of Objects”, CVPR, 2011.）
図７は、第２の実施形態における物体対応付け部１０５ａの対応付け処理の結果を示す図である。
図７に示すように、有向グラフにおける費用最小流の推定に基づく方法により、フレーム間の物体の対応付けがなされていることが確認できる。
図７に示すように、有向グラフにおける費用最小流の推定に基づく方法により、フレーム間の物体の対応付けがなされていることが確認できる。
以上のように構成された物体対応付け装置１０ａでは、第１の実施形態と同様の効果を得ることができる。
また、第２の実施形態における物体対応付け装置１０ａは、処理対象となる全フレームを用いて、フレーム間の同一物体の識別を行い、同一物体候補の対応付けを行う。そのため、オフラインの複数物体追跡方法にも組み合わせて用いることができる。
また、第２の実施形態における物体対応付け装置１０ａは、処理対象となる全フレームを用いて、フレーム間の同一物体の識別を行い、同一物体候補の対応付けを行う。そのため、オフラインの複数物体追跡方法にも組み合わせて用いることができる。
＜変形例＞
物体対応付け装置１０ａが備える一部の機能部は、別の筐体に実装されてもよい。例えば、画像取得部１０１ａ、特徴マップ抽出部１０２、領域抽出部１０３及び領域特徴抽出部１０４が、別の筐体で特徴抽出装置として構成されてもよい。このように構成される場合、物体対応付け装置１０ａは、特徴抽出装置から領域特徴を取得して、各フレームに撮像されている物体の対応付けを行う。
物体対応付け装置１０ａが備える一部の機能部は、別の筐体に実装されてもよい。例えば、画像取得部１０１ａ、特徴マップ抽出部１０２、領域抽出部１０３及び領域特徴抽出部１０４が、別の筐体で特徴抽出装置として構成されてもよい。このように構成される場合、物体対応付け装置１０ａは、特徴抽出装置から領域特徴を取得して、各フレームに撮像されている物体の対応付けを行う。
（第３の実施形態）
第３の実施形態では、物体対応付け装置が備える一部又は全ての機能部が、クラウド上のサーバに実装され、クラウド上のサーバでフレーム間の物体の対応付けを行う構成について説明する。
図８は、第３の実施形態における物体対応付けシステム１００のシステム構成を示す図である。物体対応付けシステム１００は、物体対応付け装置１０ｂ及び画像取得装置２０を備える。物体対応付け装置１０ｂ及び画像取得装置２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばインターネットである。
第３の実施形態では、物体対応付け装置が備える一部又は全ての機能部が、クラウド上のサーバに実装され、クラウド上のサーバでフレーム間の物体の対応付けを行う構成について説明する。
図８は、第３の実施形態における物体対応付けシステム１００のシステム構成を示す図である。物体対応付けシステム１００は、物体対応付け装置１０ｂ及び画像取得装置２０を備える。物体対応付け装置１０ｂ及び画像取得装置２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばインターネットである。
物体対応付け装置１０ｂは、画像取得装置２０から得られる複数のフレームに基づいて、各フレームから対象物体の特徴を抽出し、抽出した複数の特徴を用いて、フレーム間で同一物体の対応付けを行う。物体対応付け装置１０ｂは、クラウド上のサーバとして構成される。
画像取得装置２０は、フレームを取得し、取得したフレームを物体対応付け装置１０ｂに提供する。例えば、画像取得装置２０は、映像を構成する複数枚のフレームを、撮像装置から取得してもよいし、ネットワーク上から取得してもよいし、複数枚のフレームを記録している記録媒体や記憶装置から取得してもよい。
画像取得装置２０は、フレームを取得し、取得したフレームを物体対応付け装置１０ｂに提供する。例えば、画像取得装置２０は、映像を構成する複数枚のフレームを、撮像装置から取得してもよいし、ネットワーク上から取得してもよいし、複数枚のフレームを記録している記録媒体や記憶装置から取得してもよい。
次に、物体対応付け装置１０ｂ及び画像取得装置２０の具体的な機能構成について説明する。
まず物体対応付け装置１０ｂの機能構成について説明する。物体対応付け装置１０ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、対応付けプログラムを実行する。対応付けプログラムの実行によって、物体対応付け装置１０ｂは、特徴マップ抽出部１０２ｂ、領域抽出部１０３、領域特徴抽出部１０４、物体対応付け部１０５を備える装置として機能する。なお、物体対応付け装置１０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、対応付けプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、対応付けプログラムは、電気通信回線を介して送受信されてもよい。
まず物体対応付け装置１０ｂの機能構成について説明する。物体対応付け装置１０ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、対応付けプログラムを実行する。対応付けプログラムの実行によって、物体対応付け装置１０ｂは、特徴マップ抽出部１０２ｂ、領域抽出部１０３、領域特徴抽出部１０４、物体対応付け部１０５を備える装置として機能する。なお、物体対応付け装置１０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、対応付けプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、対応付けプログラムは、電気通信回線を介して送受信されてもよい。
物体対応付け装置１０ｂは、特徴マップ抽出部１０２に代えて特徴マップ抽出部１０２ｂを備える点、画像取得部１０１を備えず、通信部１０６を新たに備える点で物体対応付け装置１０と構成が異なる。物体対応付け装置１０ｂは、他の構成については物体対応付け装置１０と同様である。そのため、物体対応付け装置１０ｂ全体の説明は省略し、特徴マップ抽出部１０２ｂ及び通信部１０６について説明する。
通信部１０６は、画像取得装置２０から送信されたフレームを受信する。通信部１０６は、受信したフレームを特徴マップ抽出部１０２ｂに出力する。
特徴マップ抽出部１０２ｂは、通信部１０６によって受信されたフレームに撮像されている空間の空間構造を保存した特徴マップを抽出する。
特徴マップ抽出部１０２ｂは、通信部１０６によって受信されたフレームに撮像されている空間の空間構造を保存した特徴マップを抽出する。
物体対応付け装置１０ｂは、第１の実施形態における物体対応付け装置１０と同様にオンラインでフレーム間の同一物体の対応付けを行うことによって物体追跡をするように構成されてもよい。また、物体対応付け装置１０ｂは、第２の実施形態における物体対応付け装置１０ａと同様にオフラインでフレーム間の同一物体の対応付けを行うことによって物体追跡をするように構成されてもよい。この場合、物体対応付け装置１０ｂは、物体対応付け部１０５に代えて物体対応付け部１０５ａを備える。
次に、画像取得装置２０の機能構成について説明する。画像取得装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像取得プログラムを実行する。画像取得プログラムの実行によって、入出力装置２０は、画像取得部２０１、通信部２０２を備える装置として機能する。なお、画像取得装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、画像取得プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像取得プログラムは、電気通信回線を介して送受信されてもよい。
画像取得部２０１は、フレームを取得する。画像取得部２０１は、取得したフレームを通信部２０２に出力する。
通信部２０２は、画像取得部２０１から出力されたフレームを、ネットワークを介して物体対応付け装置１０ｂに送信する。
通信部２０２は、画像取得部２０１から出力されたフレームを、ネットワークを介して物体対応付け装置１０ｂに送信する。
以上のように構成された物体対応付けシステム１００では、物体対応付け装置１０ｂをクラウド上のサーバとして設けている。これにより、ネットワークを介して、外部から物体対応付け装置１０ｂに対して対象物体の対応付けを要求することによって、対応付け結果を取得することができる。
＜変形例＞
物体対応付け装置１０ｂが備える一部の機能部は、他の装置（例えば、画像取得装置２０）に実装されてもよい。例えば、画像取得装置２０が特徴マップ抽出部１０２ｂ、領域抽出部１０３及び領域特徴抽出部１０４を備え、物体対応付け装置１０ｂが物体対応付け部１０５及び通信部１０６を備えるように構成されてもよい。このように構成される場合、画像取得装置２０が領域特徴の抽出処理まで行い、物体対応付け装置１０ｂがフレーム間の対象物体の対応付けのみを行う。
物体対応付け装置１０ｂが備える一部の機能部は、他の装置（例えば、画像取得装置２０）に実装されてもよい。例えば、画像取得装置２０が特徴マップ抽出部１０２ｂ、領域抽出部１０３及び領域特徴抽出部１０４を備え、物体対応付け装置１０ｂが物体対応付け部１０５及び通信部１０６を備えるように構成されてもよい。このように構成される場合、画像取得装置２０が領域特徴の抽出処理まで行い、物体対応付け装置１０ｂがフレーム間の対象物体の対応付けのみを行う。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１０、１０ａ…物体対応付け装置， ２０…画像取得装置， １０１…画像取得部， １０２、１０２ｂ…特徴マップ抽出部， １０３…領域抽出部， １０４…領域特徴抽出部， １０５…物体対応付け部， １０６…通信部， ２０１…画像取得部， ２０２…通信部
Claims (6)
- 複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出部と、
前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出部と、
前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出部と、
前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付け部と、
を備え、
前記領域特徴抽出部は、前記特徴マップから前記物体候補領域に対応する物体領域特徴マップを抽出し、前記物体領域特徴マップの大きさに基づいて前記領域マスクをリサイズし、調整後の前記領域マスクで、抽出した前記物体領域特徴マップを重み付けした上で、プーリングすることによって前記領域特徴を抽出する物体対応付け装置。 - 前記物体対応付け部は、前記特徴マップ抽出部に新たにフレームが入力される度に、前記特徴マップ抽出部に新たに入力された最新フレームから前記領域特徴抽出部が抽出した領域特徴と、前記最新フレームの直前に入力されたフレームから前記領域特徴抽出部が抽出した領域特徴とを用いて、前記最新フレームと前記最新フレームの直前に入力されたフレーム間の物体の対応付けを行う、請求項１に記載の物体対応付け装置。
- 前記物体対応付け部は、所定期間分の全てのフレームから抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う、請求項１に記載の物体対応付け装置。
- 複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出部と、
前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を含む所定の大きさの物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出部と、
前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出部と、
前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付け部と、
を備え、
前記領域特徴抽出部は、前記特徴マップから前記物体候補領域に対応する物体領域特徴マップを抽出し、前記物体領域特徴マップの大きさに基づいて前記領域マスクをリサイズし、調整後の前記領域マスクで、抽出した前記物体領域特徴マップを重み付けした上で、プーリングすることによって前記領域特徴を抽出する物体対応付けシステム。 - コンピュータが、
複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出ステップと、
前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出ステップと、
前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出ステップと、
前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付けステップと、
を有し、
前記領域特徴抽出ステップにおいて、前記特徴マップから前記物体候補領域に対応する物体領域特徴マップを抽出し、前記物体領域特徴マップの大きさに基づいて前記領域マスクをリサイズし、調整後の前記領域マスクで、抽出した前記物体領域特徴マップを重み付けした上で、プーリングすることによって前記領域特徴を抽出する物体対応付け方法。 - 複数枚のフレームそれぞれから、前記フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出する特徴マップ抽出ステップと、
前記複数枚のフレームそれぞれに基づいて、前記フレームに撮像されている対象物体を捉えた物体候補領域と、前記対象物体の領域を示す領域マスクとを抽出する領域抽出ステップと、
前記特徴マップと、前記物体候補領域と、前記領域マスクとに基づいて、前記物体候補領域の特徴を表す領域特徴を前記フレーム毎に抽出する領域特徴抽出ステップと、
前記フレーム毎に抽出された複数の領域特徴を用いて、前記フレーム間の物体の対応付けを行う物体対応付けステップと、
をコンピュータに実行させ、
前記領域特徴抽出ステップにおいて、前記特徴マップから前記物体候補領域に対応する物体領域特徴マップを抽出し、前記物体領域特徴マップの大きさに基づいて前記領域マスクをリサイズし、調整後の前記領域マスクで、抽出した前記物体領域特徴マップを重み付けした上で、プーリングすることによって前記領域特徴を抽出させるためのコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019082242A JP7253967B2 (ja) | 2019-04-23 | 2019-04-23 | 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019082242A JP7253967B2 (ja) | 2019-04-23 | 2019-04-23 | 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020181268A JP2020181268A (ja) | 2020-11-05 |
| JP7253967B2 true JP7253967B2 (ja) | 2023-04-07 |
Family
ID=73024664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019082242A Active JP7253967B2 (ja) | 2019-04-23 | 2019-04-23 | 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7253967B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023170772A1 (ja) * | 2022-03-08 | 2023-09-14 | 日本電気株式会社 | 学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019001481A1 (zh) | 2017-06-28 | 2019-01-03 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
-
2019
- 2019-04-23 JP JP2019082242A patent/JP7253967B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019001481A1 (zh) | 2017-06-28 | 2019-01-03 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 加藤直樹，外4名，追跡軌跡の再同定を用いたオンライン複数物体追跡，The Journal of the Institute of Image Electronics Engineers of Japan，日本，2018年，Vol.47 No.4 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020181268A (ja) | 2020-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI750498B (zh) | 視訊流的處理方法和裝置 | |
| US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
| Maddalena et al. | Towards benchmarking scene background initialization | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| JP5675229B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6494253B2 (ja) | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム | |
| WO2016034059A1 (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| JP6482195B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
| JP6654789B2 (ja) | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 | |
| CN104376575B (zh) | 一种基于多摄像头监控的行人计数方法和装置 | |
| CN112514373B (zh) | 用于特征提取的图像处理装置和方法 | |
| Gálai et al. | Feature selection for Lidar-based gait recognition | |
| WO2023159898A1 (zh) | 一种动作识别系统、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质 | |
| CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
| Kim et al. | Spatio-temporal weighting in local patches for direct estimation of camera motion in video stabilization | |
| CN111738211A (zh) | 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法 | |
| Sokolova et al. | Human identification by gait from event-based camera | |
| Angelo | A novel approach on object detection and tracking using adaptive background subtraction method | |
| Xie et al. | Fast detecting moving objects in moving background using ORB feature matching | |
| JP7253967B2 (ja) | 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム | |
| KR20180092453A (ko) | Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법 | |
| Selim et al. | Image Quality-aware Deep Networks Ensemble for Efficient Gender Recognition in the Wild. | |
| Salehpour et al. | 3D face reconstruction by KLT feature extraction and model consistency match refining and growing | |
| JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
| CN114694204A (zh) | 社交距离检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230328 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7253967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |