JPWO2018181484A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

本発明の情報処理装置は、動画データ（１２）からオブジェクト列（２０）を検出する。また、本発明の情報処理装置は、オブジェクト列（２０）が検出された動画フレーム（１４）を用いて要素情報を生成する。要素情報は、オブジェクト列（２０）に含まれるオブジェクト（２２）がその動画フレーム（１４）において占めるオブジェクト領域（２４）と、そのオブジェクト（２２）の属性とを対応付けた情報である。さらに本発明の情報処理装置は、要素情報と、要素情報が生成された動画フレーム（１４）以降に生成される動画フレーム（１４）に対するオブジェクト検出の結果とに基づいて、オブジェクト列（２０）の変化を検出する。そして、本発明の情報処理装置は、変化が検出されたオブジェクト列（２０）について要素情報を生成することで、その後に利用する要素情報を更新する。

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

人などのオブジェクトの列を映像から検出して管理する技術が開発されている。例えば特許文献１から３は、映像から検出される全ての注目物体によって列が形成されているとみなし、映像に含まれる注目物体を計数することで、列の待ち時間を推測する技術を開示している。特許文献４は、直線上に並ぶオブジェクトを一つの列として検出する技術を開示している。特許文献５は、設置したマーカ内に含まれる領域を列ができる領域として扱うことで、映像から列を検出する技術を開示している。

特許文献６は、映像から列を形成する人の移動の軌跡を検出することで、列の仕切り線（列の外枠）を検出する技術を開示している。特許文献７は、映像から検出される複数の人それぞれについて移動方向を算出し、その移動方向が所定の方向と異なる人物を、列に含まれない人物として列から除外する技術を開示している。特許文献８は、列に並んでいない新たな対象が、列の末尾から所定距離内の場所において静止若しくは微動する場合、又は列の末尾以外の部分と所定の割り込み距離内の場所において静止若しくは微動する場合に、その対象が列に加わったことを検出する技術を開示している。

特許文献９は、所定の場所に形成される人の列にグループが含まれることを認識し、グループの数に基づいて列の待ち時間を算出する技術を開示している。特許文献１０は、列を構成していない人が、列の末尾の人との距離が所定距離以下の場所に接近し、なおかつその位置が列の方向と所定の角度の範囲に含まれる場合に、行列に新たな人が加わることを検出する技術を開示している。特許文献１１は、顧客が利用する買い物カゴに発光する機構を設けておき、顧客が列に並んだ時に買い物カゴが発光するようにすることで、複数の列の中から顧客が並んだ列を特定する技術を開示している。

特開平１１−１６４０４０号公報 特開平１１−１７５６９４号公報 特開２００１−２９１１４４号公報 特開２００５−２１６２１７号公報 特開２００５−２４２８９６号公報 特開２００５−３１６５８２号公報 特開２００７−３１７０５２号公報 特表２００８−５１９５６７号公報 特開２０１５−２１５７８７号公報 特開２０１３−１０９３９５号公報 特開２０１１−０９６１４０号公報

本発明者は、オブジェクトの列の変化を検出する新たな技術を見出した。本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、オブジェクトの列の変化を検出する新たな技術を提供することである。

本発明の情報処理装置は、１）動画データからオブジェクトの列を検出する列検出手段と、２）前記オブジェクトの列が検出された動画フレームを用いて、前記列に含まれるオブジェクトがその動画フレームにおいて占める領域であるオブジェクト領域と、そのオブジェクトの属性とを対応付けた情報である要素情報を生成する生成手段と、３）前記要素情報と、前記要素情報が生成された動画フレーム以降に生成される動画フレームに対するオブジェクト検出の結果とに基づいて、前記列の変化を検出する変化検出手段と、を有する。
前記生成手段は、前記変化が検出された列について前記要素情報を生成することで、前記変化検出手段が利用する要素情報を更新する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）動画データからオブジェクトの列を検出する列検出ステップと、２）前記オブジェクトの列が検出された動画フレームを用いて、前記列に含まれるオブジェクトがその動画フレームにおいて占める領域であるオブジェクト領域と、そのオブジェクトの属性とを対応付けた情報である要素情報を生成する生成ステップと、３）前記要素情報と、前記要素情報が生成された動画フレーム以降に生成される動画フレームに対するオブジェクト検出の結果とに基づいて、前記列の変化を検出する変化検出ステップと、を有する。
前記生成ステップにおいて、前記変化が検出された列について前記要素情報を生成することで、前記変化検出ステップで利用する要素情報を更新する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、オブジェクトの列の変化を検出する新たな技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１の情報処理装置の動作の概要を例示する図である。 実施形態１の情報処理装置がオブジェクト列の変化を検出する処理を時系列で例示する図である。 実施形態１の情報処理装置の構成を例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 動画データから検出されるオブジェクトがトラッキングされている様子を例示する図である。 新たなオブジェクト列を検出する方法を例示する図である。 予定領域を利用してオブジェクト列を検出する方法を例示する図である。 オブジェクト領域を特定する方法を例示する図である。 先頭のオブジェクトがオブジェクト列から離脱するケースを例示する図である。 末尾のオブジェクトがオブジェクト列から離脱するケースを例示する図である。 中間層のオブジェクト領域が離脱するケースを例示する図である。 オブジェクトがオブジェクト列に加入するケースを例示する図である。 オブジェクトグループによって構成されるオブジェクト列を例示する図である。 実施形態２の情報処理装置を例示するブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
＜概要＞
図１及び図２は、実施形態１の情報処理装置（後述する情報処理装置２０００）の動作の概要を例示する図である。以下で説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は以下の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。

情報処理装置２０００は、カメラ１０によって生成された動画データ１２からオブジェクト列２０を検出する。オブジェクト列２０は、オブジェクト２２によって構成される列である。図１では、動画フレーム１４に含まれるオブジェクト２２−１からオブジェクト２２−８のうち、オブジェクト２２−１からオブジェクト２２−４によって、オブジェクト列２０が構成されている。動画フレーム１４は、オブジェクト列２０を構成する動画フレームの内の１つである。

オブジェクト列２０としては、任意のものを扱うことができる。例えばオブジェクト列２０は、レジカウンタや券売機などの利用を待つ人の列である。この場合、オブジェクト２２は人である。その他にも例えば、オブジェクト列２０は、駐車場の利用を待つ車両の列である。この場合、オブジェクト２２は車両である。図１において、オブジェクト２２は人である。

情報処理装置２０００は、オブジェクト列２０が検出された動画フレーム１４を利用して、そのオブジェクト列２０に含まれるオブジェクト２２に関する情報である要素情報を生成する。要素情報は、オブジェクト列２０に含まれるオブジェクト２２ごとに、そのオブジェクト２２がその動画フレーム１４において占める領域（以下、オブジェクト領域２４）とそのオブジェクト２２の属性とを対応付けた情報である。

例えば図１において、オブジェクト２２−１からオブジェクト２２−４のオブジェクト領域２４はそれぞれ、オブジェクト領域２４−１からオブジェクト領域２４−４である。そして、要素情報は、オブジェクト２２−１からオブジェクト２２−４の属性それぞれを、オブジェクト領域２４−１からオブジェクト領域２４−４と対応付けている。要素情報によれば、１つの動画フレーム１４に含まれるオブジェクト列２０を、そのオブジェクト列２０を構成する各オブジェクト２２が占めるオブジェクト領域２４で区切ることで表現することができる。

さらに情報処理装置２０００は、動画フレーム１４から生成された要素情報と、その動画フレーム１４よりも後に生成された各動画フレーム１４に対するオブジェクト２２の検出の結果とに基づいて、オブジェクト列２０の変化を検出する。そして、情報処理装置２０００は、変化後のオブジェクト列２０について要素情報を生成することで、変化検出部２０６０が利用する要素情報を更新する。情報処理装置２０００がオブジェクト列２０の変化を検出する具体的な方法などについては後述する。

図２は、情報処理装置２０００がオブジェクト列２０の変化を検出する処理を時系列で例示する図である。図２の例では、時点 Tb において、「先頭のオブジェクト２２がオブジェクト列２０から離脱する」というオブジェクト列２０の変化が起きている。

情報処理装置２０００は、時点 Ta に生成された動画フレーム１４−１からオブジェクト列２０を検出する。そして情報処理装置２０００は、動画フレーム１４−１を用いて要素情報を生成する。ここで生成される要素情報は、図１に示した要素情報と同じ要素情報である。

その後の時点 Tb において、オブジェクト列２０から先頭のオブジェクト２２（p001 という識別子を持つオブジェクト２２）が離脱する。情報処理装置２０００は、この「先頭のオブジェクト２２の離脱」というオブジェクト列２０の変化を、時点 Ta に生成された要素情報と、時点 Ta 以降に生成された動画フレーム１４におけるオブジェクト２２の検出結果とに基づいて検出する。情報処理装置２０００は、変化後のオブジェクト列２０について要素情報を生成することで、オブジェクト列２０の変化の検出に利用する要素情報を更新する。

以降、情報処理装置２０００は、「直近に生成された要素情報を用いてオブジェクト列２０の変化を検出し、要素情報を更新する。」という処理を繰り返す。

本実施形態の情報処理装置２０００によれば、動画データ１２から検出されるオブジェクト列２０について、そのオブジェクト列２０を構成する各オブジェクト２２が占める領域（オブジェクト領域２４）と、そのオブジェクト２２の属性とを示す要素情報が生成される。このようにすることで、動画データ１２におけるオブジェクト列２０の構成を正確に把握できる。

さらに、情報処理装置２０００は、要素情報が生成された動画フレーム１４以降の各動画フレーム１４におけるオブジェクト２２の検出結果と要素情報とに基づいて、オブジェクト列２０の変化を検出する。こうすることで、要素情報によって示される正確なオブジェクト列２０の構成を基準としてオブジェクト列２０の変化が検出されるため、オブジェクト列２０の変化を正確に把握できる。

以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。

＜情報処理装置２０００の機能構成の例＞
図３は、実施形態１の情報処理装置２０００の構成を例示する図である。情報処理装置２０００は、列検出部２０２０、生成部２０４０、及び変化検出部２０６０を有する。列検出部２０２０は、動画データ１２からオブジェクト列２０を検出する。生成部２０４０は、オブジェクト列２０が含まれる複数の動画フレーム１４それぞれについて要素情報を生成する。変化検出部２０６０は、複数の動画フレーム１４それぞれについて生成された要素情報を比較することで、オブジェクト列２０の変化を検出する。

＜情報処理装置２０００のハードウエア構成＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算装置である。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

例えば計算機１０００は、ネットワークを介してカメラ１０と通信可能に接続されている。ただし、計算機１０００をカメラ１０と通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、計算機１０００は、カメラ１０と通信可能に接続されていなくてもよい。

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部（列検出部２０２０、生成部２０４０、及び変化検出部２０６０）を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

なお、計算機１０００は、複数の計算機を利用して実現されてもよい。例えば列検出部２０２０、生成部２０４０、及び変化検出部２０６０をそれぞれ異なる計算機で実現することができる。この場合、各計算機のストレージデバイスに記憶されるプログラムモジュールは、その計算機で実現される機能構成部に対応するプログラムモジュールだけでもよい。

＜カメラ１０について＞
カメラ１０は、繰り返し撮像を行うことで動画データを生成できる任意のカメラである。例えばカメラ１０は、特定の施設や道路などを監視するために設けられている監視カメラである。

情報処理装置２０００の機能の一部又は全部は、カメラ１０によって実現されてもよい。すなわち、情報処理装置２０００を実現するための計算機１０００として、カメラ１０を利用してもよい。この場合、カメラ１０は、自身で生成した動画データ１２を処理する。このように情報処理装置２０００を実現するために用いられるカメラ１０には、例えば、インテリジェントカメラ、ネットワークカメラ、又は IP（Internet Protocol）カメラなどと呼ばれるカメラを利用できる。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。列検出部２０２０は、動画データ１２に含まれる動画フレーム１４から、オブジェクト列２０を検出する（Ｓ１０２）。生成部２０４０は、オブジェクト列２０が検出された動画フレーム１４について要素情報を生成する（Ｓ１０４）。

Ｓ１０６から１１４は、所定の終了条件が満たされるまで繰り返し実行されるループ処理Ａである。Ｓ１０６において、所定の終了条件が満たされている場合、情報処理装置２０００は、図５の処理を終了する。一方、所定の終了条件が満たされていない場合、図５の処理はＳ１０８に進む。

変化検出部２０６０は、要素情報が生成された動画フレーム１４以降に生成された各動画フレーム１４から、オブジェクト２２を検出する（Ｓ１０８）。変化検出部２０６０は、要素情報と、Ｓ１０８におけるオブジェクト２２の検出の結果とに基づいて、オブジェクト列２０の変化を検出する（Ｓ１１０）。生成部２０４０は、変化後のオブジェクト列２０について要素情報を生成することで、変化検出部２０６０が利用する要素情報を更新する（Ｓ１１２）。Ｓ１１４はループ処理Ａの終端であるため、図５の処理はＳ１０６に進む。

以降、情報処理装置２０００は、「直近に生成された要素情報を用いてオブジェクト列２０の変化を検出し（Ｓ１０８及びＳ１１０）、要素情報を更新する（Ｓ１１２）。」という処理を繰り返す。

上記所定の終了条件は任意である。例えば所定の終了条件は、オブジェクト列２０に含まれるオブジェクト２２の数が０になること、すなわちオブジェクト列２０が無くなることである。この場合、情報処理装置２０００は、まだ処理対象となっていない動画フレーム１４で構成される動画データ１２について、再度図５の処理を最初から実行する。こうすることで、新たに形成されるオブジェクト列２０の検出及びそのオブジェクト列２０の変化の検出が行われる。

＜動画データ１２の取得方法＞
情報処理装置２０００は、処理対象とする動画データ１２を取得する。情報処理装置２０００が動画データ１２を取得する方法は様々である。例えば情報処理装置２０００は、カメラ１０から送信される動画データ１２を受信する。また例えば、情報処理装置２０００は、カメラ１０にアクセスし、カメラ１０に記憶されている動画データ１２を取得する。

なお、カメラ１０は、カメラ１０の外部に設けられている記憶装置に動画データ１２を記憶させてもよい。この場合、情報処理装置２０００は、この記憶装置にアクセスして動画データ１２を取得する。そのため、この場合、情報処理装置２０００とカメラ１０は通信可能に接続されていなくてもよい。

情報処理装置２０００の一部又は全部の機能がカメラ１０で実現される場合、情報処理装置２０００は、情報処理装置２０００自身によって生成された動画データ１２を取得する。この場合、動画データ１２は、例えば情報処理装置２０００の内部にある記憶装置（例えばストレージデバイス１０８０）に記憶されている。そこで情報処理装置２０００は、これらの記憶装置から動画データ１２を取得する。

情報処理装置２０００が動画データ１２を取得するタイミングは任意である。例えば情報処理装置２０００は、カメラ１０によって動画データ１２を構成する新たな動画フレーム１４が生成される度に、その新たに生成された動画フレーム１４を取得することで、動画データ１２を取得する。その他にも例えば、情報処理装置２０００は、定期的に未取得の動画フレーム１４を取得してもよい。例えば情報処理装置２０００が１秒間に１回動画フレーム１４を取得する場合、情報処理装置２０００は、カメラ１０によって１秒間に生成される複数の動画フレーム１４（例えば動画データ１２のフレームレートが 30fps(frames/second) であれば、３０枚の動画フレーム１４）をまとめて取得する。

情報処理装置２０００は、動画データ１２を構成する全ての動画フレーム１４を取得してもよいし、一部の動画フレーム１４のみを取得してもよい。後者の場合、例えば情報処理装置２０００は、カメラ１０によって生成される動画フレーム１４を、所定数に１つの割合で取得する。

＜オブジェクト列２０の検出：Ｓ１０２＞
列検出部２０２０は、動画データ１２からオブジェクト列２０を検出する（Ｓ１０２）。動画データ１２からオブジェクト列２０を検出する方法には、様々な方法を採用できる。以下では、その一例を説明する。

列検出部２０２０は、各動画フレーム１４からオブジェクトを検出し、各オブジェクト２２をトラッキングする。ここで、何をオブジェクト２２として検出するかは、予め定めておくとする。例えばオブジェクト列２０として人の列を扱う場合には、オブジェクト２２として人を検出するように定めておく。その他にも例えば、オブジェクト列２０として車両の列を扱う場合には、オブジェクト２２として車両を検出するように定めておく。なお、動画フレーム（すなわち画像データ）から特定の種類のオブジェクトを検出する技術には、既存の技術を利用できる。

列検出部２０２０は、例えば以下に示す方法でオブジェクト２２をトラッキングする。ただし、列検出部２０２０がオブジェクト２２をトラッキングする方法は下記の方法に限定されず、種々の既存の技術を利用してもよい。

列検出部２０２０は、動画フレーム１４から検出される各オブジェクトに識別子を割り振り、オブジェクトの識別子ごとにそのオブジェクトに関する情報（以下、トラッキング情報）を管理することで、オブジェクトをトラッキングする。或るオブジェクト２２のトラッキング情報は、例えば、動画フレーム１４においてそのオブジェクト２２の位置を表す座標、大きさ、その画像領域から算出される特徴量（オブジェクトの特徴量）などが含まれる。オブジェクト２２の位置は、動画フレーム１４においてオブジェクト２２を表す画像領域の中心位置などである。オブジェクト２２の特徴量とは、そのオブジェクトの外観の特徴を１つ以上の値で表現したものである。

列検出部２０２０は、オブジェクトをトラッキングする際、そのオブジェクトが静止状態にあるか移動状態にあるかを判別する。例えば列検出部２０２０は、或るオブジェクトの位置の変化量が所定量以下である状態が所定時間以上継続している場合に、そのオブジェクトの状態を、静止状態とする。一方、オブジェクトの位置の変化量が所定値より大きいオブジェクトの状態を、移動状態とする。また、オブジェクトの状態は、前述したトラッキング情報によって示される。なお、トラッキングしているオブジェクトが静止しているか否かを判別する技術にも既存の技術を利用することができる。

図６は、動画データ１２から検出されるオブジェクト２２がトラッキングされている様子を例示する図である。動画フレーム１４には、５つのオブジェクト２２（オブジェクト２２−１からオブジェクト２２−５）が含まれる。これら５つのオブジェクト２２にはそれぞれ、p001 から p005 という識別子が割り与えられている。そして、これら５つのオブジェクト２２についてトラッキング情報３０が生成されている。なお、図５では図示の都合上、トラッキング情報３０は、オブジェクト２２の識別子と状態のみを示している。

列検出部２０２０は、動画データ１２を構成する時系列の動画フレーム１４それぞれからオブジェクト２２を検出する。列検出部２０２０は、新たに解析した動画フレーム１４から検出されたオブジェクト２２と、既に解析した動画フレーム１４から検出されたオブジェクト２２（既にトラッキング情報が生成されている）との対応付けを行う。言い換えれば、列検出部２０２０は、新たに解析した動画フレーム１４から検出されたオブジェクト２２について、既知のオブジェクト２２と未知のオブジェクトのどちらであるかを判定する。

新たに解析した動画フレーム１４から検出されたオブジェクト２２が既知のオブジェクト２２である場合、列検出部２０２０は、新たに解析した動画フレーム１４から得られるそのオブジェクト２２の情報で、そのオブジェクト２２のトラッキング情報を更新する。例えば列検出部２０２０は、オブジェクト２２の位置、特徴量、又は状態などの情報を更新する。一方、新たに解析した動画フレーム１４から検出されたオブジェクト２２が未知のオブジェクト２２である場合、列検出部２０２０は、そのオブジェクト２２に対して他のオブジェクト２２と重複しない識別子を割り与えた上で、そのオブジェクト２２のトラッキング情報を生成する。

ここで、環境光の影響などにより、トラッキング中のオブジェクト２２が一時的に動画フレーム１４から検出されない場合がある。仮にこのような場合に、そのオブジェクト２２がカメラ１０の撮像範囲から出たものとして、そのオブジェクト２２のトラッキング情報を更新したり削除したりしてしまうと、オブジェクト２２のトラッキングを正確に行うことができなくなってしまう。

そこで列検出部２０２０は、このようにオブジェクト２２が一時的に動画フレーム１４から検出されない場合には、そのオブジェクト２２のトラッキング情報を削除しない。例えば列検出部２０２０は、オブジェクト２２が検出されない場合でも、その検出されない期間の長さが所定値以下である間は、そのオブジェクト２２のトラッキング情報を更新せずに保持し続ける。その後、オブジェクト２２が動画フレーム１４から検出されたら、その動画フレーム１４から検出された情報でオブジェクト２２のトラッキング情報を更新する。一方で、列検出部２０２０は、オブジェクト２２が検出されない期間の長さが所定値より大きい場合には、そのオブジェクト２２のトラッキング情報を削除するか、又はそのオブジェクト２２のトラッキング情報にカメラ１０の撮像範囲外に出たことを示す情報を付加するなどの更新を行う。このようにすることで、一時的に動画フレーム１４からオブジェクト２２を検出できないことがあったとしても、オブジェクト２２を高い精度でトラッキングすることができる。

さらに、オブジェクト２２が一時的に動画フレーム１４から検出されない場合に、別のオブジェクト２２が代わりに検出されてしまうことが考えられる。例として、動画フレーム１４−１において位置Ｐでオブジェクト２２−１が検出された後、次の動画フレーム１４−２ではオブジェクト２２−１が検出されず、なおかつ別のオブジェクト２２−２が位置Ｐの付近で検出されるケースがある。このような場合に、誤ってオブジェクト２２−２をオブジェクト２２−１として扱ってオブジェクト２２−１のトラッキング情報を更新してしまうと、オブジェクト２２−１やオブジェクト２２−２を正しくトラッキングできない。

そこで例えば、列検出部２０２０は、時系列で連続する２つの動画フレーム１４において特徴量の類似度が高いオブジェクト２２が検出されたとしても、それらの検出位置が所定距離以上大きければ、それらを互いに異なるオブジェクト２２として扱い、先の動画フレーム１４から検出されたオブジェクト２２のトラッキング情報を更新しない。さらに列検出部２０２０は、時系列で連続する２つの動画フレーム１４において位置が互いに近いオブジェクト２２が検出されたとしても、それらのオブジェクト２２の特徴量の類似度が低い場合には、それらを互いに異なるオブジェクト２２として扱い、先の動画フレーム１４から検出されたオブジェクト２２のトラッキング情報を更新しない。

このようにすることで、或るオブジェクト２２が一時的に動画フレーム１４から検出されず、なおかつそのオブジェクト２２の位置付近で別のオブジェクト２２が検出されてしまうケースにおいて、トラッキング情報が誤った情報に更新されてしまうことを防ぐことができる。よって、オブジェクト２２のトラッキングを高い精度で行うことができる。

列検出部２０２０は、トラッキングしているオブジェクト２２によって所定の条件が満たされたことを検出することにより、新たなオブジェクト列２０が形成されたことを検出する。例えば列検出部２０２０は、トラッキングしているオブジェクト２２の中に、１）既に検出されているオブジェクト列２０に属さない、２）隣接する他のオブジェクト２２との距離が所定距離以下の場所に位置する、及び３）静止状態であるという３つの条件を満たすオブジェクト２２が複数存在する場合に、これらの条件を満たす複数のオブジェクト２２によって新たなオブジェクト列２０が形成されたことを検出する。

ここで、或るオブジェクトが既に検出されているオブジェクト列２０に属するかどうかは、そのオブジェクトをトラッキングしてきた過程から特定できる。例えば前述したトラッキング情報３０に、オブジェクト２２がオブジェクト列２０に属するか否かを示す情報を含める。ここで、この情報の初期値には、「オブジェクト列２０に属さない（未属）」を設定する。そして、トラッキングしているオブジェクト２２が前述した条件を満たして新たなオブジェクト列２０を形成したことを検出したら、そのオブジェクト２２のトラッキング情報に、「オブジェクト列２０に属する（既属）」という値を設定する。こうすることで、各オブジェクト２２が既にオブジェクト列２０に属しているか否かを特定することができる。

なお、上記３つの条件に加え、オブジェクト２２の向きをさらに考慮してもよい。具体的には、「１）〜３）の条件を満たしている各オブジェクト２２が同じ方向を向いている」という条件をさらに加える。その他にも例えば、「１）〜３）の条件を満たしている複数のオブジェクト２２のうち、所定割合以上のオブジェクト２２が同じ方向を向いている」という条件を加えてもよい。

図７は、新たなオブジェクト列２０を検出する方法を例示する第１の図である。動画フレーム１４−１において、オブジェクト２２−１からオブジェクト２２−５はいずれも、既存のオブジェクト列２０に属していない。しかし、オブジェクト２２−１、オブジェクト２２−２、及びオブジェクト２２−５は移動している。そのため、これらのオブジェクト２２は、オブジェクト列２０を形成する条件を満たしていない。また、オブジェクト２２−３とオブジェクト２２−４は、静止してはいるものの、互いの間の距離が所定距離より大きい。そのため、オブジェクト２２−３とオブジェクト２２−４も、オブジェクト列２０を形成する条件を満たしていない。よって、動画フレーム１４−１からは、オブジェクト列２０が検出されない。

動画フレーム１４−１が生成されてからしばらく後、動画フレーム１４−２が生成されたとする。動画フレーム１４−２においても、オブジェクト２２−１からオブジェクト２２−５はいずれも、既存のオブジェクト列２０に属していない。また、オブジェクト２２−１とオブジェクト２２−５は静止している。さらに、オブジェクト２２−２とオブジェクト２２−５の間の距離は、所定距離以下となっている。よって、列検出部２０２０は、オブジェクト２２−２とオブジェクト２２−５によって新たなオブジェクト列２０が形成されたことを検出する。なお、その他のオブジェクト２２は、オブジェクト列２０を形成する条件を満たしていない。

上記３つ又は４つの条件が満たされた場合に新たなオブジェクト列２０を検出する方法によれば、オブジェクト列２０が形成される場所が予め分かっていない場合においてもオブジェクト列２０が形成されたことを検出できる。この点、オブジェクト列２０が形成される場所を予め定めておくことが可能な場合もある。例えばスーパーのレジカウンタなどでは、レジカウンタに並ぶ人の列ができる場所はおおよそ決まっている。

そこで、オブジェクト列２０が形成されうる領域（以下、予定領域）を予め定義しておき、その定義を利用してオブジェクト列２０を検出してもよい。すなわち、列検出部２０２０は、トラッキングしている１つ以上のオブジェクト２２が予定領域内で静止状態になった場合に、その１つ以上のオブジェクトによって新たなオブジェクト列２０が形成されたことを検出する。この方法によれば、オブジェクト列２０を形成しているオブジェクトが１つの場合でも、オブジェクト列２０を検出することができる。

図８は、予定領域を利用してオブジェクト列２０を検出する方法を例示する図である。図８では、オブジェクト２２−１が予定領域４０内で静止している。そのため、列検出部２０２０は、オブジェクト２２−１によって形成されているオブジェクト列２０を検出する。

なお、列検出部２０２０が動画データ１２からオブジェクト列２０を検出する方法は、上述の方法に限定されない。列検出部２０２０は、動画データからオブジェクトの列を検出する既存の技術を利用することで、オブジェクト列２０を検出してもよい。

＜要素情報の生成：Ｓ１０４＞
生成部２０４０は、列検出部２０２０によってオブジェクト列２０が検出された動画フレーム１４を用いて、オブジェクト列２０の要約情報を生成する（Ｓ１０４）。前述したように、要素情報は、オブジェクト２２が動画フレーム１４において占める領域であるオブジェクト領域２４とそのオブジェクト２２の属性とを対応付けた情報である。よって、要素情報を生成するためには、各オブジェクト２２について、属性及びオブジェクト領域２４を特定する必要がある。以下、それぞれの特定方法について説明する。

＜＜オブジェクト２２の属性の特定＞＞
オブジェクト２２の属性は、種々の情報を含みうる。例えばオブジェクト２２の属性は、オブジェクト２２の特徴量を含む。オブジェクト２２が人である場合、例えばオブジェクト２２の特徴量は、顔、身体、服装、又は持ち物などの色や形状などを表す。また、オブジェクト２２が車両である場合、オブジェクト２２の特徴量は、車両の色、形状、又はナンバープレートのナンバーなどを表す。ここで、動画フレームに含まれるオブジェクトの特徴量を算出する技術には、既存の技術を利用することができる。

その他にも例えば、オブジェクト２２の属性は、オブジェクト列２０におけるオブジェクト２２の位置を示す。ここで、情報処理装置２０００は、オブジェクト列２０におけるオブジェクト２２の位置を特定するために、オブジェクト列２０における先頭と末尾を特定する。以下、オブジェクト列２０における先頭と末尾を特定する方法について説明する。

＜＜＜オブジェクト列２０の先頭の特定＞＞＞
例えば生成部２０４０は、オブジェクト列２０の進行方向を特定し、オブジェクト列２０において進行方向の端に位置するオブジェクト２２を、先頭のオブジェクト２２として特定する。ここで、オブジェクト列２０の進行方向は、例えば、オブジェクト列２０を構成する各オブジェクト２２の正面方向として特定することができる。なお、オブジェクト２２の正面方向を特定する技術には、既存の技術を利用することができる。例えばオブジェクト２２が人である場合、オブジェクト２２の正面方向を特定する方法には、１）頭部検出を行うことで顔の正面方向を特定し、顔の正面方向をオブジェクト２２の正面方向とする方法や、２）胴体検出を行うことで胴体の正面方向を特定し、胴体の正面方向をオブジェクト２２の正面方向とする方法などを利用できる。また、オブジェクト２２が車両である場合、車両の形状に基づいて車両の進行方向を特定することができる。

なお、生成部２０４０は、要素情報を生成した後に、動画データ１２を用いてオブジェクト列２０の動きを解析することで、オブジェクト列２０の進行方向をさらに正確に特定するようにしてもよい。具体的には、生成部２０４０は、そのオブジェクト列２０が含まれる複数の動画フレーム１４を比較することにより、オブジェクト列２０を構成するオブジェクト２２が移動する方向を特定することで、オブジェクト列２０の移動方向を特定する。このようにして特定されたオブジェクト列２０の移動方向が、要素情報を生成した時に特定した移動方向と異なる場合、生成部２０４０は、新たに特定したオブジェクト列２０の移動方向に基づいて、オブジェクト２２の属性を変更する。

＜＜＜オブジェクト列２０の末尾の特定＞＞＞
例えば生成部２０４０は、オブジェクト列２０の進行方向を特定し、オブジェクト列２０において進行方向とは逆の端に位置するオブジェクト２２を、末尾のオブジェクトとして特定する。オブジェクト列２０の進行方向を特定する方法は前述した通りである。

＜＜オブジェクト領域２４の特定＞＞
生成部２０４０は、オブジェクト列２０全体を表す画像領域を、互いに隣接する２つのオブジェクト２２の間の境界で区切る。こうすることで、生成部２０４０は、オブジェクト列２０の画像領域を、各オブジェクト２２が占める複数の部分領域に分割する。オブジェクト２２のオブジェクト領域２４は、オブジェクト列２０を上述の方法で分割することで得られる部分領域のうち、そのオブジェクト２２が含まれる部分領域である。なお、オブジェクト列２０全体を表す画像領域を定める方法には、既存の技術を利用することができる。

オブジェクト領域２４を特定するために、生成部２０４０は、オブジェクト列２０において互いに隣接するオブジェクト２２の間の境界を特定する。互いに隣接する２つのオブジェクト２２の間の境界は、例えば以下に示す方法で特定できる。

図９は、オブジェクト領域２４を特定する方法を例示する図である。生成部２０４０は、互いに隣接する２つのオブジェクト２２の位置を結ぶ線分２３の中心を算出する。生成部２０４０は、算出した中心を通る、上記線分の法線を、上記２つのオブジェクト２２の境界線２５とする。そして生成部２０４０は、オブジェクト２２のオブジェクト領域２４を、そのオブジェクト２２の前後にある境界線２５の間の領域として特定する。なお、オブジェクト２２の位置は、前述した通り、オブジェクト２２を表す画像領域の中心位置などである。

ここで、境界線２５の長さを定める方法は任意である。例えば生成部２０４０は、境界線２５の長さを予め定められた所定の長さとする。

＜オブジェクト列２０の変化の検出：Ｓ１０８、１１０＞
変化検出部２０６０は、動画フレーム１４から生成された要素情報と、その動画フレーム１４以降に生成された各動画フレーム１４に対するオブジェクト２２の検出の結果とに基づいて、オブジェクト列２０の変化を検出する（Ｓ１０８、１１０）。各動画フレーム１４に対するオブジェクト２２の検出は、例えば前述した、オブジェクト２２のトラッキングである。つまり変化検出部２０６０は、要素情報が生成された動画フレーム１４以降の動画フレーム１４によって構成される動画データ１２において各オブジェクト２２をトラッキングし、そのトラッキングによって把握されるオブジェクト２２の動きや状態などと、要素情報とに基づいて、オブジェクト列２０の変化を検出する。

ここで、変化検出部２０６０が検出するオブジェクト列２０の変化は、様々である。以下、変化検出部２０６０によって検出されるオブジェクト列２０の変化について例示する。

＜＜オブジェクト２２の離脱＞＞
変化検出部２０６０は、オブジェクト列２０からオブジェクト２２が離脱したことを検出する。ここでいうオブジェクト２２の離脱は、オブジェクト２２がオブジェクト列２０に属さなくなることを意味する。オブジェクト２２が一時的にオブジェクト列２０を離れ、その後にオブジェクト列２０の同じ位置に戻るケースについては、離脱と表現しないこととする。そこで変化検出部２０６０は、オブジェクト列２０から或るオブジェクト２２が検出されない場合に、オブジェクト２２が一時的にオブジェクト列２０から離れただけなのか、それともオブジェクト列２０に戻ってこないのか（オブジェクト列２０から離脱したのか）を区別する。

オブジェクト２２の離脱は、１）先頭のオブジェクト２２が離脱するケース、２）末尾のオブジェクト２２が離脱するケース、及び３）先頭と末尾のいずれでもないオブジェクト２２が離脱するケースという３つのケースに大別できる。以下、それぞれのケースの検出方法について説明する。なお、以下では、オブジェクト列２０において、先頭と末尾のいずれでもない位置を「中間層」と表現する。

＜＜＜先頭のオブジェクト２２が離脱するケース＞＞＞
図１０は、先頭のオブジェクト２２がオブジェクト列２０から離脱するケースを例示する図である。図１０では、先頭に位置するオブジェクト２２−１がオブジェクト列２０から離脱する。

まず、先頭のオブジェクト２２が離脱すると、そのオブジェクト２２が、そのオブジェクト２２のオブジェクト領域２４から検出されなくなる。例えば図１０では、オブジェクト２２−１がオブジェクト領域２４−１から検出されない。

さらに、先頭から２番目に位置していたオブジェクト２２が、先頭のオブジェクト２２のオブジェクト領域２４へ入る。例えば図１０では、オブジェクト２２−２がオブジェクト領域２４−１に入る。

そこで変化検出部２０６０は、１）先頭のオブジェクト２２のオブジェクト領域２４から、そのオブジェクト２２が検出されないこと、及び２）先頭のオブジェクト２２のオブジェクト領域２４へ、先頭から２番目のオブジェクト２２が入ること、という２つの条件が満たされた場合に、先頭のオブジェクト２２が離脱したことを検出する。

＜＜＜末尾のオブジェクト２２が離脱するケース＞＞＞
図１１は、末尾のオブジェクト２２がオブジェクト列２０から離脱するケースを例示する図である。図１１では、末尾に位置するオブジェクト２２−４がオブジェクト列２０から離脱する。

まず、末尾のオブジェクト２２が離脱すると、そのオブジェクト２２が、そのオブジェクト２２のオブジェクト領域２４から検出されなくなる。例えば図１１では、オブジェクト２２−４がオブジェクト領域２４−４から検出されない。

さらに、末尾の一つ前に位置しているオブジェクト２２は静止状態である。例えば図１１では、オブジェクト２２−３は静止状態である。

そこで例えば、変化検出部２０６０は、１）末尾のオブジェクト２２のオブジェクト領域２４から、そのオブジェクト２２が検出されないこと、及び２）末尾の一つ前のオブジェクト２２が静止状態であること、という２つの条件が満たされた場合に、末尾のオブジェクト２２がオブジェクト列２０から離脱したことを検出する。

その他にも例えば、変化検出部２０６０は、１）末尾のオブジェクト２２と末尾の一つ前のオブジェクト２２との間の距離が所定距離以上となり、２）なおかつ末尾の一つ前のオブジェクト２２が静止状態であること、という２つの条件が満たされた場合に、末尾のオブジェクト２２がオブジェクト列２０から離脱したことを検出してもよい。

＜＜＜先頭でも末尾でもないオブジェクト２２が離脱するケース＞＞＞
オブジェクト列２０を構成するオブジェクト２２が３つ以上である場合、中間層のオブジェクト２２（先頭でも末尾でもないオブジェクト２２）が存在する。例えば図５において、中間層のオブジェクト２２は、オブジェクト２２−２とオブジェクト２２−３である。

図１２は、中間層のオブジェクト領域２４が離脱するケースを例示する図である。図１２では、中間層に位置するオブジェクト２２−３が離脱する。まず、離脱するオブジェクト２２は、そのオブジェクト２２のオブジェクト領域２４から検出されなくなる。例えば図１２では、オブジェクト２２−２がオブジェクト領域２４−３から検出されなくなる。

また、中間層のオブジェクト２２が一時的にオブジェクト列２０から離れる場合と異なり、中間層のオブジェクト２２がオブジェクト列２０から離脱する場合には、離脱するオブジェクト２２のオブジェクト領域２４へ、そのオブジェクト２２の一つ後ろに位置するオブジェクト２２が入る。例えば図１２では、オブジェクト２２−３の一つ後ろに位置するオブジェクト２２−４が、オブジェクト領域２４−２へ入る。

さらに、先頭のオブジェクト２２がオブジェクト列２０から離脱する場合とは異なり、中間層のオブジェクト２２がオブジェクト列２０から離脱する場合には、離脱するオブジェクト２２の一つ前に位置するオブジェクト２２が静止状態である。例えば図１２では、オブジェクト２２−３の一つ前に位置するオブジェクト２２−２が静止状態である。

そこで変化検出部２０６０は、１）或る中間層のオブジェクト２２が、そのオブジェクト２２に対応するオブジェクト領域２４から検出されないこと、２）そのオブジェクト２２のオブジェクト領域２４へ、そのオブジェクト２２の一つ後ろに位置するオブジェクト２２が入ること、３）そのオブジェクト２２の一つ前のオブジェクト２２が静止状態であること、という３つの条件が満たされた場合に、その中間層のオブジェクト領域２４からオブジェクト２２が離脱したと判定する。

＜＜オブジェクト２２の加入＞＞
例えば変化検出部２０６０は、オブジェクト列２０に対してオブジェクト２２が加わったことを検出する。ここで、オブジェクト列２０に属さないオブジェクト２２がオブジェクト列２０の付近に現れて静止すると、そのオブジェクト２２がオブジェクト列２０に加わったようにも見える。しかし実際には、そのオブジェクト２２は、オブジェクト列２０の付近で静止しただけであって、オブジェクト列２０に加わっていないこともある。具体的には、オブジェクト列２０に新たに加わるオブジェクト２２はオブジェクト列２０の末尾に並ぶため、オブジェクト列２０の末尾以外の場所で静止したオブジェクト２２は、たとえオブジェクト列２０の近くで静止したとしても、オブジェクト列２０に加わっていないと考えられる。

そこで変化検出部２０６０は、１）オブジェクト列２０の末尾のオブジェクト２２と、そのオブジェクト列２０に属していないトラッキング中のオブジェクト２２との距離が、所定距離以下となること、及び２）そのオブジェクト２２の状態が静止状態になること、という２つの条件が満たされた場合に、そのオブジェクト２２がオブジェクト列２０に加わったことを検出する。

図１３は、オブジェクト２２がオブジェクト列２０に加入するケースを例示する図である。図１３では、オブジェクト２２−１からオブジェクト２２−４によって構成されているオブジェクト列２０に、オブジェクト２２−５が加わる。ここで、オブジェクト２２−４は、オブジェクト列２０の末尾に位置するオブジェクト２２−４との距離が所定距離以下の場所まで移動してきた後、静止している。そこで変化検出部２０６０は、オブジェクト２２−５がオブジェクト列２０に加わったことを検出する。

＜要素情報の更新：Ｓ１１２＞
変化検出部２０６０によってオブジェクト列２０の変化が検出された場合、生成部２０４０は、変化検出部２０６０によって利用される要素情報を更新する（Ｓ１１２）。例えば生成部２０４０は、オブジェクト列２０の変化が検出された動画フレーム１４以降に生成される動画フレーム１４であって、オブジェクト列２０を構成する全てのオブジェクト２２が静止状態にある動画フレーム１４について、Ｓ１０４と同様の方法で要素情報を生成する。その後、変化検出部２０６０によるオブジェクト列２０の変化の検出には、新たに生成された要素情報が利用される。つまり、変化検出部２０６０に利用される要素情報が更新される。

ここで、全てのオブジェクト２２が静止状態にある動画フレーム１４を利用するのは、オブジェクト２２が移動状態の場合、オブジェクト列２０の状態が変化している最中（例えば先頭のオブジェクト２２が離脱した場合に、他のオブジェクト２２が１つずつ前に進んでいる）であるためである。全てのオブジェクト２２が静止状態である動画フレーム１４を利用することで、定常状態になっているオブジェクト列２０（例えば先頭のオブジェクト２２が離脱した場合に、他のオブジェクト２２が１つずつ前に進み終わっているオブジェクト列２０）について、要素情報が生成されるようになる。

ただし、生成部２０４０は、構成が変化している最中のオブジェクト列２０についても要素情報を生成してもよい。すわなち、生成部２０４０は、オブジェクト列２０の変化が検出された動画フレーム１４以降に生成される複数の動画フレーム１４それぞれについて、Ｓ１０４と同様の方法で要素情報を生成することで、要素情報の更新を繰り返し行ってもよい。例えばこの更新は、オブジェクト列２０を構成する全てのオブジェクト２２が静止状態になるまで行われる。

＜変形例＞
情報処理装置２０００は、オブジェクト列２０を構成する単位として、複数のオブジェクト２２から成るグループ（以下、オブジェクトグループ）を用いてもよい。図１４は、オブジェクトグループによって構成されるオブジェクト列２０を例示する図である。図１４において、オブジェクト列２０は、オブジェクトグループ２６−１、オブジェクトグループ２６−２、及びオブジェクトグループ２６−３という３つのオブジェクトグループによって構成されている。オブジェクトグループ２６−１は、オブジェクト２２−１及びオブジェクト２２−２によって構成されている。オブジェクトグループ２６−２は、オブジェクト２２−３によって構成されている。オブジェクトグループ２６−３は、オブジェクト２２−４及びオブジェクト２２−５によって構成されている。

要素情報が示すオブジェクト領域２４は、動画フレーム１４においてオブジェクトグループ２６が示す領域とする。そのため、生成部２０４０は、オブジェクトグループごとにオブジェクト領域２４を特定する。図１４において、オブジェクト領域２４−１はオブジェクトグループ２６−１のオブジェクト領域であり、オブジェクト領域２４−２はオブジェクトグループ２６−２のオブジェクト領域であり、オブジェクト領域２４−３はオブジェクトグループ２６−３のオブジェクト領域である。

また要素情報が示す属性は、オブジェクトグループ２６の属性とする。そのため、生成部２０４０は、オブジェクトグループ２６ごとに、そのオブジェクトグループ２６の属性を特定する。オブジェクトグループ２６の属性は、例えば、オブジェクトグループ２６に含まれる各オブジェクト２２の特徴量、及びオブジェクト列２０におけるそのオブジェクトグループ２６の位置を含む。ここで、オブジェクトグループ２６の位置を定める方法は任意である。例えばオブジェクトグループ２６の位置は、そのオブジェクトグループ２６に含まれるいずれかのオブジェクト２２の位置として定められる。その他にも例えば、オブジェクトグループ２６の位置は、そのオブジェクトグループ２６に含まれる複数のオブジェクト２２の中心位置として定められる。

変化検出部２０６０は、要素情報と、要素情報が生成された動画フレーム１４以降の動画フレーム１４におけるオブジェクトグループ２６の検出の結果に基づいて、オブジェクト列２０の変化を検出する。オブジェクトグループ２６の検出の結果に基づいてオブジェクト列２０の変化を検出する方法は、オブジェクト２２の検出の結果に基づいてオブジェクト列２０の変化を検出する方法と同様である。例えば変化検出部２０６０は、１）先頭のオブジェクトグループ２６のオブジェクト領域２４から、そのオブジェクトグループ２６が検出されないこと、及び２）先頭のオブジェクトグループ２６のオブジェクト領域２４へ、先頭から２番目のオブジェクトグループ２６が入ること、という２つの条件が満たされた場合に、先頭のオブジェクトグループ２６がオブジェクト列２０から離脱したことを検出する。

オブジェクトグループ２６をオブジェクト列２０の構成単位として扱う場合、情報処理装置２０００は、動画フレーム１４から各オブジェクトグループ２６を検出する。例えば情報処理装置２０００は、個々のオブジェクト２２をトラッキングする過程で、互いの距離が所定距離以下の状態で所定時間以上移動している複数のオブジェクト２２を検出したら、それら複数のオブジェクト２２のまとまりを１つのオブジェクトグループ２６として検出する。この場合、情報処理装置２０００は、これら複数のオブジェクト２２のトラッキング情報をまとめて、オブジェクトグループ２６としてのトラッキング情報を生成する。オブジェクトグループ２６のトラッキング情報は、例えば、オブジェクトグループ２６を構成する各オブジェクト２２のトラッキング情報に加え、オブジェクトグループ２６の位置や状態などの情報を含む。

［実施形態２］
図１５は、実施形態２の情報処理装置２０００を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様である。

実施形態２の情報処理装置２０００は、算出部２０８０をさらに有する。算出部２０８０は、オブジェクト列２０の待ち時間を算出する。オブジェクト列２０の待ち時間とは、そのオブジェクト列２０の最後尾に並んでから、そのオブジェクト列２０の先頭を離脱するまでにかかると推測される時間を表す。例えば券売機にできる人の列であれば、その列に並んでからその列を抜けて券売機を利用できるようになるまでにかかると推測される時間が、その列の待ち時間である。

算出部２０８０は、オブジェクト２２がオブジェクト列２０の先頭に滞留すると予測される時間（以下、予測滞留時間）にオブジェクト列２０の長さを掛け合わせることで、オブジェクト列２０の待ち時間を算出する。ここで、或る時点におけるオブジェクト列２０の長さは、その時点の直近に生成された要素情報が示すオブジェクト領域２４の数である。例えば、要素情報が時点 Ta、Tb、及び Tc に算出されたとする。この場合、時点 Ta と Tb の間におけるオブジェクト列２０の長さは、時点 Ta に生成された要素情報が示すオブジェクト領域２４の数である。また、時点 Tb と Tc の間におけるオブジェクト列２０の長さは、時点 Tb に生成された要素情報が示すオブジェクト領域２４の数である。

ここで、或るオブジェクト２２がオブジェクト列２０から離脱すると、オブジェクト列２０の待ち時間は短くなる。しかしながら、オブジェクト２２が一時的にオブジェクト列２０から離れただけである場合、そのオブジェクト２２は後でオブジェクト列２０に戻ってくるため、オブジェクト列２０の待ち時間は減少しない。よって、オブジェクト列２０がオブジェクト列２０から離れる場合、それが一時的なものなのかどうかを特定できることが好ましい。

この点、実施形態１で述べた通り、変化検出部２０６０は、オブジェクト２２が一時的にオブジェクト列２０から離れた場合には、そのオブジェクト２２がオブジェクト列２０から離脱したとは扱わないため、要素情報が更新されない。よって、オブジェクト２２が一時的にオブジェクト列２０から離れても、オブジェクト列２０の長さが減少しないため、オブジェクト列２０の待ち時間も減少しない。一方で、オブジェクト２２がオブジェクト列２０から離脱した場合には、その離脱が検出されて要素情報が更新される。よって、要素情報によって特定されるオブジェクト列２０の長さが短くなるため、オブジェクト列２０の待ち時間が減少する。

このように、情報処理装置２０００によれば、オブジェクト２２が一時的にオブジェクト列２０から離れても、そのことに影響されることなく、オブジェクト列２０の待ち時間を正確に算出することができる。

＜予測滞留時間の算出方法＞
予測滞留時間の算出に利用するため、オブジェクト列２０から先頭のオブジェクト２２が離脱したことを検出した変化検出部２０６０は、そのオブジェクト２２がオブジェクト列２０の先頭から離脱した時点（以下、先頭離脱時点）を記憶装置に記録させる。例えば、或るオブジェクト２２の先頭離脱時点は、そのオブジェクト２２がオブジェクト列２０の先頭から離脱したことが検出された動画フレーム１４の生成時点とする。

算出部２０８０は、先頭離脱時点を用いて、オブジェクト列２０において実際にオブジェクト２２が先頭に滞留した時間（以下、実滞留時間）を算出する。具体的には、算出部２０８０は、或るオブジェクト２２の先頭滞留時点と、その次にオブジェクト列２０の先頭から離脱したオブジェクト２２の先頭滞留時点との差分を、実滞留時間として算出する。

例えば、オブジェクト２２−１、オブジェクト２２−２、及びオブジェクト２２−３という順で並ぶ３つのオブジェクト２２によってオブジェクト列２０が構成されているとする。そして、オブジェクト２２−１からオブジェクト２２−３がそれぞれ、時点 Ta、Tb、及び Tc にオブジェクト列２０の先頭から離脱したとする。この場合、オブジェクト２２−２の実滞留時間は Tb-Ta であり、オブジェクト２２−３の実滞留時間は Tc-Tb である。

算出部２０８０は、１つ以上の実滞留時間を用いて、予測滞留時間を算出する。例えば算出部２０８０は、直近に算出された実滞留時間を予測滞留時間とする。その他にも例えば、算出部２０８０は、複数の予測滞留時間の統計値を算出し、その統計値を予測滞留時間とする。統計値は、例えば平均値、最大値、最小値などである。統計値の算出に利用される実滞留時間は、オブジェクト列２０について算出された全ての実滞留時間であってもよいし、一部の実滞留時間であってもよい。後者の場合、例えば算出部２０８０は、直近の所定個の実滞留時間の統計値を算出する。

＜算出した待ち時間の利用方法＞
算出部２０８０によって算出されたオブジェクト列２０の待ち時間を利用する方法は様々である。例えば情報処理装置２０００は、算出部２０８０によって算出された待ち時間を、記憶装置に記憶させる。こうすることで、例えば時間帯、日付、又は曜日ごとのオブジェクト列２０の待ち時間の違いを統計的に算出するなどして、カメラ１０が設置されている場所におけるオブジェクト列２０の待ち時間の傾向などを把握することができる。

その他にも例えば、情報処理装置２０００は、算出部２０８０によって算出されたオブジェクト列２０の待ち時間を、種々の方法で提示してもよい。例えば情報処理装置２０００は、所定のディスプレイ装置にオブジェクト列２０の待ち時間を表示させる。例えばこの所定のディスプレイ装置は、オブジェクト列２０の付近に予め設置されている。その他にも例えば、情報処理装置２０００は、オブジェクト列２０の待ち時間を、所定の Web ページに表示させてもよい。こうすることで、オブジェクト列２０に並ぼうとしている人が、オブジェクト列２０の正確な待ち時間を考慮した上で、オブジェクト列２０に並ぶかどうかを判断することができるようになる。

＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図４によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュール（算出部２０８０を実現するプログラムモジュールなど）がさらに記憶される。

＜変形例＞
上述の説明では、オブジェクト２２をオブジェクト列２０の構成単位としている。しかし、実施形態１の変形例として前述したように、オブジェクトグループ２６をオブジェクト列２０の構成単位としてもよい。

この場合、算出部２０８０は、オブジェクトグループ２６がオブジェクト列２０の先頭に滞留すると予測される時間を、予測滞留時間として算出する。オブジェクトグループ２６の予測滞留時間を算出する方法は、オブジェクト２２の予測滞留時間を算出する方法と同様である。

そして、算出部２０８０は、オブジェクトグループ２６の予測滞留時間にオブジェクト列２０の長さを掛け合わせることで、オブジェクト列２０の待ち時間を算出する。オブジェクト列２０の長さは、要素情報に示されるオブジェクト領域２４の数、すなわちオブジェクト列２０に含まれるオブジェクトグループ２６の数で表される。

この出願は、２０１７年３月３１日に出願された日本出願特願２０１７−０７０８２４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

この出願は、２０１７年３月３１日に出願された日本出願特願２０１７−０７０８２４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 動画データからオブジェクトの列を検出する列検出手段と、
前記オブジェクトの列が検出された動画フレームを用いて、前記列に含まれるオブジェクトがその動画フレームにおいて占める領域であるオブジェクト領域と、そのオブジェクトの属性とを対応付けた情報である要素情報を生成する生成手段と、
前記要素情報と、前記要素情報が生成された動画フレーム以降に生成される動画フレームに対するオブジェクト検出の結果とに基づいて、前記列の変化を検出する変化検出手段と、を有し、
前記生成手段は、前記変化が検出された列について前記要素情報を生成することで、前記変化検出手段が利用する要素情報を更新する、情報処理装置。
２． 前記列の端に位置するオブジェクトがその端に滞留する時間を算出し、前記算出した時間に前記列の長さを掛け合わせた時間を、前記列の待ち時間として算出する待ち時間算出手段を有する、１．に記載の情報処理装置。
３． 前記待ち時間算出手段は、前記列の端からオブジェクトが離脱してから、その次に前記列の端からオブジェクトが離脱するまでの時間を、前記オブジェクトが前記列の端に滞留する時間として算出する、２．に記載の情報処理装置。
４． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出手段は、前記列の先頭に位置する第１オブジェクトのオブジェクト領域から前記第１オブジェクトが検出されないこと、及び前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ることを検出した場合に、前記第１オブジェクトが前記列の先頭から離脱したことを検出する、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出手段は、前記列の末尾に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、及び前記第１オブジェクトの一つ前に位置する第２オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列の末尾から離脱したことを検出する、１．乃至３．いずれか一つに記載の情報処理装置。
６． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出手段は、前記列の端以外に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ること、及び前記第１オブジェクトの一つ前に位置する第３オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列から離脱したことを検出する、１．乃至３．いずれか一つに記載の情報処理装置。
７． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出手段は、前記列に含まれていない第１オブジェクトと、前記列の末尾に位置する第２オブジェクトとの距離が所定距離以下であること、及び前記第１オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列に加わったことを検出する、１．乃至３．いずれか一つに記載の情報処理装置。
８． コンピュータによって実行される制御方法であって、
動画データからオブジェクトの列を検出する列検出ステップと、
前記オブジェクトの列が検出された動画フレームを用いて、前記列に含まれるオブジェクトがその動画フレームにおいて占める領域であるオブジェクト領域と、そのオブジェクトの属性とを対応付けた情報である要素情報を生成する生成ステップと、
前記要素情報と、前記要素情報が生成された動画フレーム以降に生成される動画フレームに対するオブジェクト検出の結果とに基づいて、前記列の変化を検出する変化検出ステップと、を有し、
前記生成ステップにおいて、前記変化が検出された列について前記要素情報を生成することで、前記変化検出ステップで利用する要素情報を更新する、制御方法。
９． 前記列の端に位置するオブジェクトがその端に滞留する時間を算出し、前記算出した時間に前記列の長さを掛け合わせた時間を、前記列の待ち時間として算出する待ち時間算出ステップを有する、８．に記載の制御方法。
１０． 前記待ち時間算出ステップにおいて、前記列の端からオブジェクトが離脱してから、その次に前記列の端からオブジェクトが離脱するまでの時間を、前記オブジェクトが前記列の端に滞留する時間として算出する、９．に記載の制御方法。
１１． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出ステップにおいて、前記列の先頭に位置する第１オブジェクトのオブジェクト領域から前記第１オブジェクトが検出されないこと、及び前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ることを検出した場合に、前記第１オブジェクトが前記列の先頭から離脱したことを検出する、８．乃至１０．いずれか一つに記載の制御方法。
１２． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出ステップにおいて、前記列の末尾に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、及び前記第１オブジェクトの一つ前に位置する第２オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列の末尾から離脱したことを検出する、８．乃至１０．いずれか一つに記載の制御方法。
１３． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出ステップにおいて、前記列の端以外に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ること、及び前記第１オブジェクトの一つ前に位置する第３オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列から離脱したことを検出する、８．乃至１０．いずれか一つに記載の制御方法。
１４． 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
前記変化検出ステップにおいて、前記列に含まれていない第１オブジェクトと、前記列の末尾に位置する第２オブジェクトとの距離が所定距離以下であること、及び前記第１オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列に加わったことを検出する、８．乃至１０．いずれか一つに記載の制御方法。
１５． ８．乃至１４．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Claims (15)

1. 動画データからオブジェクトの列を検出する列検出手段と、
   前記オブジェクトの列が検出された動画フレームを用いて、前記列に含まれるオブジェクトがその動画フレームにおいて占める領域であるオブジェクト領域と、そのオブジェクトの属性とを対応付けた情報である要素情報を生成する生成手段と、
   前記要素情報と、前記要素情報が生成された動画フレーム以降に生成される動画フレームに対するオブジェクト検出の結果とに基づいて、前記列の変化を検出する変化検出手段と、を有し、
   前記生成手段は、前記変化が検出された列について前記要素情報を生成することで、前記変化検出手段が利用する要素情報を更新する、情報処理装置。
2. 前記列の端に位置するオブジェクトがその端に滞留する時間を算出し、前記算出した時間に前記列の長さを掛け合わせた時間を、前記列の待ち時間として算出する待ち時間算出手段を有する、請求項１に記載の情報処理装置。
3. 前記待ち時間算出手段は、前記列の端からオブジェクトが離脱してから、その次に前記列の端からオブジェクトが離脱するまでの時間を、前記オブジェクトが前記列の端に滞留する時間として算出する、請求項２に記載の情報処理装置。
4. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
   前記変化検出手段は、前記列の先頭に位置する第１オブジェクトのオブジェクト領域から前記第１オブジェクトが検出されないこと、及び前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ることを検出した場合に、前記第１オブジェクトが前記列の先頭から離脱したことを検出する、請求項１乃至３いずれか一項に記載の情報処理装置。
5. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
   前記変化検出手段は、前記列の末尾に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、及び前記第１オブジェクトの一つ前に位置する第２オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列の末尾から離脱したことを検出する、請求項１乃至３いずれか一項に記載の情報処理装置。
6. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
   前記変化検出手段は、前記列の端以外に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ること、及び前記第１オブジェクトの一つ前に位置する第３オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列から離脱したことを検出する、請求項１乃至３いずれか一項に記載の情報処理装置。
7. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
   前記変化検出手段は、前記列に含まれていない第１オブジェクトと、前記列の末尾に位置する第２オブジェクトとの距離が所定距離以下であること、及び前記第１オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列に加わったことを検出する、請求項１乃至３いずれか一項に記載の情報処理装置。
8. コンピュータによって実行される制御方法であって、
   動画データからオブジェクトの列を検出する列検出ステップと、
   前記オブジェクトの列が検出された動画フレームを用いて、前記列に含まれるオブジェクトがその動画フレームにおいて占める領域であるオブジェクト領域と、そのオブジェクトの属性とを対応付けた情報である要素情報を生成する生成ステップと、
   前記要素情報と、前記要素情報が生成された動画フレーム以降に生成される動画フレームに対するオブジェクト検出の結果とに基づいて、前記列の変化を検出する変化検出ステップと、を有し、
   前記生成ステップにおいて、前記変化が検出された列について前記要素情報を生成することで、前記変化検出ステップで利用する要素情報を更新する、制御方法。
9. 前記列の端に位置するオブジェクトがその端に滞留する時間を算出し、前記算出した時間に前記列の長さを掛け合わせた時間を、前記列の待ち時間として算出する待ち時間算出ステップを有する、請求項８に記載の制御方法。
10. 前記待ち時間算出ステップにおいて、前記列の端からオブジェクトが離脱してから、その次に前記列の端からオブジェクトが離脱するまでの時間を、前記オブジェクトが前記列の端に滞留する時間として算出する、請求項９に記載の制御方法。
11. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
    前記変化検出ステップにおいて、前記列の先頭に位置する第１オブジェクトのオブジェクト領域から前記第１オブジェクトが検出されないこと、及び前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ることを検出した場合に、前記第１オブジェクトが前記列の先頭から離脱したことを検出する、請求項８乃至１０いずれか一項に記載の制御方法。
12. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
    前記変化検出ステップにおいて、前記列の末尾に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、及び前記第１オブジェクトの一つ前に位置する第２オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列の末尾から離脱したことを検出する、請求項８乃至１０いずれか一項に記載の制御方法。
13. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
    前記変化検出ステップにおいて、前記列の端以外に位置する第１オブジェクトが前記第１オブジェクトのオブジェクト領域から検出されないこと、前記第１オブジェクトのオブジェクト領域へ前記第１オブジェクトの一つ後ろに位置する第２オブジェクトが入ること、及び前記第１オブジェクトの一つ前に位置する第３オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列から離脱したことを検出する、請求項８乃至１０いずれか一項に記載の制御方法。
14. 前記要素情報が示す前記オブジェクトの属性は、前記列におけるそのオブジェクトの位置を含み、
    前記変化検出ステップにおいて、前記列に含まれていない第１オブジェクトと、前記列の末尾に位置する第２オブジェクトとの距離が所定距離以下であること、及び前記第１オブジェクトが静止していることを検出した場合に、前記第１オブジェクトが前記列に加わったことを検出する、請求項８乃至１０いずれか一項に記載の制御方法。
15. 請求項８乃至１４いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images