JP7384225B2 - 行列解析装置、制御方法、及びプログラム - Google Patents

Description

本発明はオブジェクトの行列の解析に関する。

画像から人などの行列に関する情報を得る技術が開発されている。例えば特許文献１は、時系列画像から静止物体を表す画素を検出し、行列の形状に関する事前知識を利用してこれらの画素をグループ化することにより、画像から行列を検出する技術を開示している。

特開２０１６－２２４６５１号公報

特許文献１の画像処理装置は、行列の延在方向（行列がどちらの方向に向けて延びるか）などといった、行列の形状に関する事前知識を要する。そのため、特許文献１の画像処理装置の利用者には、行列の形状を事前に把握し、把握した形状に関する情報を画像処理装置に与えるための労力がかかる。

本発明は上記の課題に鑑みてなされたものであり、その目的の一つは、少ない労力で画像から行列の状態を把握できる技術を提供することである。

本発明の行列解析装置は、１）対象画像においてオブジェクトの行列を含む行列領域を特定する特定部と、２）その行列領域に含まれるオブジェクトの位置及び向きを推定する推定部と、３）その行列領域に含まれるオブジェクトについて推定された位置及び向きに基づいて、その行列領域に含まれる行列を線で表す行列ラインを生成する行列ライン生成部と、４）その行列ラインが含まれる結果画像を含む出力情報を生成する出力情報生成部と、を有する。また、前記結果画像は、前記対象画像、前記対象画像と同じ範囲が含まれる背景画像、及び前記対象画像と同じ範囲が含まれる地図画像のいずれか１つに対して前記行列ラインが重畳されたものであり、前記出力情報生成部は、前記対象画像から生成された前記行列ラインと、その行列ラインによって表される行列について過去に生成された行列ラインとに基づいて、行列ラインの時間変化を推定し、前記推定した行列ラインの時間変化に基づいて、その行列について将来の行列ラインを生成し、前記生成した将来の行列ラインを前記結果画像に含める。

本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）対象画像においてオブジェクトの行列を含む行列領域を特定する特定ステップと、２）その行列領域に含まれるオブジェクトの位置及び向きを推定する推定ステップと、３）その行列領域に含まれるオブジェクトについて推定された位置及び向きに基づいて、その行列領域に含まれる行列を線で表す行列ラインを生成する行列ライン生成ステップと、４）前記行列ラインが含まれる結果画像を含む出力情報を生成する出力情報生成ステップと、を有する。また、前記結果画像は、前記対象画像、前記対象画像と同じ範囲が含まれる背景画像、及び前記対象画像と同じ範囲が含まれる地図画像のいずれか１つに対して前記行列ラインが重畳されたものであり、前記出力情報生成ステップにおいて、前記対象画像から生成された前記行列ラインと、その行列ラインによって表される行列について過去に生成された行列ラインとに基づいて、行列ラインの時間変化を推定し、前記推定した行列ラインの時間変化に基づいて、その行列について将来の行列ラインを生成し、前記生成した将来の行列ラインを前記結果画像に含める。

本発明のプログラムは、本発明の制御方法をコンピュータに実行させる。

本発明によれば、少ない労力で画像から行列の状態を把握できる技術を提供する。

本実施形態の行列解析装置の動作の概要を例示する図である。 実施形態１の行列解析装置の構成を例示する図である。 行列解析装置を実現するための計算機を例示する図である。 実施形態１の行列解析装置によって実行される処理の流れを例示するフローチャートである。 各オブジェクトについて算出された方向ベクトルを例示する図である。 順序情報をテーブル形式で例示する図である。 方向ベクトルを連結することで生成される行列ラインを例示する図である。 方向ベクトルの中点を連結することで生成される行列ラインを例示する図である。 線形近似によって得られる行列ラインを例示する図である。 行列ラインの生成において非線形の補間処理を行うケースを例示する図である。 行列ラインとして利用しうる形状を例示する図である。 出力情報生成部を有する行列解析装置の機能構成を例示するブロック図である。 結果画像を例示する図である。 行列の先頭位置及び最後尾位置が示されている結果画像を例示する図である。 最後尾の待ち時間が示されている結果画像を例示する図である。 最後尾以外の位置についても待ち時間が示されている結果画像を例示する図である。 過去の行列ラインが含まれる結果画像を例示する図である。 将来の行列ラインを推定する方法を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

＜概要＞
図１は、本実施形態の行列解析装置２０００の動作の概要を例示する図である。図１は、行列解析装置２０００の動作についての理解を容易にするための概念的な説明を表す図であり、行列解析装置２０００の動作を具体的に限定するものではない。

行列解析装置２０００は、対象画像１０に含まれる行列を線状の形状で表現した行列ライン４０を生成する。そのために、行列解析装置２０００は、対象画像１０に含まれる各オブジェクト２０の位置及び向きを推定する。対象画像１０は、オブジェクト２０を撮像するカメラ５０によって生成されたものである。なお、図１に示される対象画像１０では真上から撮影された例が示されているが、対象画像１０の撮影画角には限定はなく、任意の画角から撮影されてよい。

オブジェクト２０としては、その位置が移動しうる任意の物体を扱うことができる。例えばオブジェクト２０としては、人その他の動物や、自動車やバイクその他の乗り物を扱うことができる。ここで、１つの物体ではなく、複数の物体の集まりをオブジェクト２０として扱ってもよい。これは例えば、数人の人の固まりを１つのオブジェクト２０として扱うケースなどである。逆に、１つの物体の一部を、オブジェクト２０として扱ってもよい。これは例えば、人の全体ではなく、人の頭部のみをオブジェクト２０として扱うケースなどである。

行列解析装置２０００は、対象画像１０において行列を表す領域である行列領域３０に含まれる各オブジェクト２０について推定された位置及び向きに基づいて、行列領域３０に含まれる行列を線状の形状で表現した行列ライン４０を生成する。ここで、対象画像１０から行列領域３０を特定する処理は、行列解析装置２０００によって行われてもよいし、行列解析装置２０００以外の装置によって行われてもよい。以下では、説明を簡略化するため、特に断らない限り、行列領域３０を特定する処理が行列解析装置２０００で行われるものとする。

＜代表的な作用効果＞
行列解析装置２０００は、対象画像１０に含まれる各オブジェクト２０の位置及び向きを推定し、推定されたオブジェクト２０の位置及び向きに基づいて、オブジェクト２０の行列の形状を表した行列ライン４０を生成する。この構成によれば、行列がどちらの方向に向かって延びているかなどといった行列の形状に関する事前知識を行列解析装置２０００に与えなくてもよい。そのため、行列解析装置２０００の利用者は、少ない労力で対象画像１０から行列の状態を把握できる。

また、行列の形状に関する事前知識を与えなくてもよいため、行列の形状が事前に分からないケースや、行列が想定外の形状をしている場合でも、対象画像１０から行列ライン４０を生成することができる。

以下、本実施形態の行列解析装置２０００についてさらに詳細に説明する。

＜行列解析装置２０００の機能構成の例＞
図２は、実施形態１の行列解析装置２０００の構成を例示する図である。行列解析装置２０００は、推定部２０２０及び行列ライン生成部２０４０を有する。推定部２０２０は、対象画像１０に含まれるオブジェクト２０の位置及び向きを推定する。行列ライン生成部２０４０は、対象画像１０内の行列領域３０について、その行列領域３０に含まれる各オブジェクト２０について推定された位置及び向きに基づいて、その行列領域３０に含まれる行列を線で表現した行列ライン４０を生成する。

＜行列解析装置２０００のハードウエア構成＞
行列解析装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、行列解析装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

例えば行列解析装置２０００は、１つの計算機で実現される。図３は、行列解析装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、行列解析装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスクドライブ、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、行列解析装置２０００の機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

行列解析装置２０００は、２つ以上の計算機で実現されてもよい。この場合における各計算機も、例えば、図３に示したハードウエア構成を持つ。

ここで、行列解析装置２０００の機能の少なくとも一部は、カメラ５０によって実現されてもよい。言い換えれば、カメラ５０が、行列解析装置２０００を実現する計算機の１つとして利用されてもよい。このように行列解析装置２０００の機能の少なくとも一部を実現するカメラ５０としては、例えば、インテリジェントカメラ、ネットワークカメラ、又は IP（Internet Protocol）カメラなどと呼ばれるカメラを利用できる。

＜処理の流れ＞
図４は、実施形態１の行列解析装置２０００によって実行される処理の流れを例示するフローチャートである。推定部２０２０は、対象画像１０を取得する（Ｓ１０２）。推定部２０２０は、対象画像１０から行列領域３０を推定する（Ｓ１０４）。推定部２０２０は、行列領域３０に含まれる各オブジェクト２０について、その位置及び向きを推定する（Ｓ１０６）。行列ライン生成部２０４０は、行列領域３０に含まれる各オブジェクト２０について推定した位置及び向きに基づいて、行列ライン４０を生成する（Ｓ１０８）。

なお、行列解析装置２０００が行う処理の流れは、図４に示す例に限定されない。例えば、位置及び向きの推定の対象とするオブジェクト２０は、行列領域３０に含まれるオブジェクト２０のみでなく、対象画像１０に含まれる全てのオブジェクト２０であってもよい。この場合、例えば行列解析装置２０００は、オブジェクト２０の位置及び向きの推定を、行列領域３０の推定と平行して行ったり、行列領域３０の推定よりも前に行ったりしてもよい。

また、前述したように、行列領域３０を特定する処理は行列解析装置２０００以外の装置で行われてもよい。この場合、行列解析装置２０００は、行列領域３０を表す情報を他の装置から取得する。

＜対象画像１０の取得：Ｓ１０２＞
推定部２０２０は、処理対象とする対象画像１０を取得する（Ｓ１０２）。対象画像１０は、カメラ５０でオブジェクト２０を撮像することで得られる任意の画像である。例えばカメラ５０は、オブジェクト２０の群衆の監視が必要な場所に設けられる監視カメラである。

カメラ５０は、動画を生成するビデオカメラであってもよいし、静止画を生成するスチルカメラであってもよい。前者の場合、対象画像１０は、カメラ５０によって生成された動画を構成するビデオフレームである。

推定部２０２０が対象画像１０を取得する方法は様々である。例えば推定部２０２０は、カメラ５０から送信される対象画像１０を受信する。その他にも例えば、推定部２０２０は、カメラ５０にアクセスし、カメラ５０に記憶されている対象画像１０を取得する。

なお、カメラ５０は、カメラ５０の外部に設けられている記憶装置に対象画像１０を記憶させてもよい。この場合、推定部２０２０は、この記憶装置にアクセスして対象画像１０を取得する。そのため、この場合、行列解析装置２０００とカメラ５０は通信可能に接続されていなくてもよい。

行列解析装置２０００の一部又は全部の機能がカメラ５０で実現される場合、行列解析装置２０００は、行列解析装置２０００自身によって生成された対象画像１０を取得する。この場合、対象画像１０は、例えば行列解析装置２０００の内部にある記憶装置（例えばストレージデバイス１０８０）に記憶されている。そこで推定部２０２０は、この記憶装置から対象画像１０を取得する。

推定部２０２０が対象画像１０を取得するタイミングは任意である。例えば推定部２０２０は、カメラ５０によって対象画像１０が生成される度に、その新たに生成された対象画像１０を取得する。その他にも例えば、推定部２０２０は、定期的に未取得の対象画像１０を取得してもよい。例えば推定部２０２０が１秒間に１回対象画像１０を取得する場合、推定部２０２０は、１秒間に生成される１つ以上の対象画像１０（例えばカメラ５０が 30fps(frames/second) のフレームレートを持つビデオカメラであれば、３０枚の対象画像１０）をまとめて取得する。

推定部２０２０は、カメラ５０によって生成された全ての対象画像１０を取得してもよいし、一部の対象画像１０を取得してもよい。後者の場合、例えば推定部２０２０は、カメラ５０によって生成される対象画像１０を、所定数に１つの割合で取得する。

＜行列領域３０の推定＞
前述したように、推定部２０２０は、対象画像１０から行列領域３０を推定する処理を行ってもよい。ここで、画像から行列を表す領域を推定する技術には、種々の既存の技術を利用することができる。

例えば推定部２０２０に、画像に含まれる行列領域を推定する推定器を設け、その推定器を予め学習させておく。なお、推定器として利用するモデルとしては、ニューラルネットワークなどといった既存の種類のモデルを利用することができる。

推定器は、対象画像１０が入力されたことに応じて、その対象画像１０に含まれる行列領域３０を表す情報を出力するように学習される。行列領域３０を表す情報は、対象画像１０に含まれる画素のうち、行列領域３０に含まれる画素を特定できる情報である。例えば行列領域３０を表す情報は、行列領域３０に含まれる各画素の座標を列挙した情報や、対象画像１０に含まれる各画素について、行列領域３０に含まれるか否かを示す情報などである。その他にも例えば、行列領域３０を多角形で表す場合、行列領域３０を表す情報は、多角形の各頂点の座標を示してもよい。

行列領域の推定を行う推定器の学習には、既存の技術を利用することができる。例えば、「学習用画像、その学習用画像内の行列領域を表す情報」というセットで構成される学習データを複数用意する。そして、学習データごとに、「その学習データに含まれる学習用画像を推定器に入力し、推定器の出力（推定器がその学習用画像から推定した行列領域）とその学習データが示す行列領域との誤差を表す損失を算出し、その損失を最小化するように推定器のパラメータを更新する」という処理を行うことで、推定器を学習することができる。

前述したように、対象画像１０から行列領域３０を推定する処理は、行列解析装置２０００以外の装置で行われてもよい。この場合、推定部２０２０は、当該他の装置から、行列領域３０を表す情報を取得する。例えばこの情報は、対象画像１０の識別情報に対し、その対象画像１０について推定された１つ以上の行列領域３０それぞれを特定する情報を対応づけた情報である。

＜オブジェクト２０の位置及び向きの推定＞
推定部２０２０は、対象画像１０に含まれるオブジェクト２０の位置及び向きを推定する。ここで、画像に含まれる人などのオブジェクトについて、その位置及び向きを推定する技術には、既存の技術を利用することができる。

例えば推定部２０２０に、対象画像１０が入力されたことに応じて、その中に含まれる１つ以上のオブジェクト２０それぞれの位置及び向きを出力するように構成された推定器を設ける。そして、学習データを利用して、この推定器を予め学習しておく。この場合、推定部２０２０は、対象画像１０をこの推定器に入力することで、対象画像１０に含まれる各オブジェクト２０の位置と向きを得ることができる。なお、推定器のモデルには、ニューラルネットワーク等の任意のモデルを利用できる。

その他にも例えば、推定部２０２０は、予め定めておいたオブジェクト２０の特徴量を対象画像１０の中から検出することにより、オブジェクト２０の位置を推定してもよい。この際、オブジェクト２０の特徴量として、その向きごとに特徴量を用意しておくことで、オブジェクト２０の位置の推定だけでなく、オブジェクト２０の向きの推定も行うことができる。

オブジェクト２０の位置や向きは、１つの対象画像１０だけでなく、複数の対象画像１０を用いた時系列分析によって推定されてもよい。例えば、オブジェクト２０の位置と向きを状態空間モデルで表し、時系列の対象画像１０を用いてそのモデルのパラメータを推定することで、所望の時点におけるオブジェクト２０の位置と向きを推定可能なモデルを得ることができる。なお、パラメータの推定には、カルマンフィルタやパーティクルフィルタなどといった種々のアルゴリズムを利用できる。

ここで前述したように、複数の物体の集まりや、１つの物体の一部を、オブジェクト２０として扱ってもよい。複数の物体の集まりを１つのオブジェクト２０として扱うケースにおいて、その位置及び向きを推定する技術には、例えば、特許文献２に開示されている群衆パッチを利用する技術を利用することができる。

＜行列ライン４０の生成＞
行列ライン生成部２０４０は、行列ライン４０を生成する。例えば行列ライン４０の生成は、以下に示す流れで実現することができる。

まず、行列ライン生成部２０４０は、行列領域３０に含まれる各オブジェクト２０について推定された位置及び向きに基づいて、各オブジェクト２０の位置及び向きを表す方向ベクトルを算出する。図５は、行列領域３０に含まれる各オブジェクト２０について算出された方向ベクトルを例示する図である。例えば、或るオブジェクト２０の方向ベクトル６０は、その始点がそのオブジェクト２０について推定された位置であり、その向きがそのオブジェクト２０について推定された向きであるベクトルとして算出される。

方向ベクトルの長さは、全ての方向ベクトルについて予め定められている固定の長さであってもよいし、方向ベクトルごとに異なる長さであってもよい。後者の場合、例えば、各方向ベクトル６０を実世界にマッピングした場合にそれらの長さが同一となるように、各方向ベクトル６０の長さを定める。カメラ５０が斜め下を向いて撮像を行っている場合、同じ長さのものを撮像したとしても、その位置や方向によって、対象画像１０上での長さが異なってくる。そこで例えば、実世界における方向ベクトル６０の基準長を定めておく。そして、行列ライン生成部２０４０は、オブジェクト２０について推定した位置及び向きに基づいて、実世界にマッピングした場合にその位置からその向きへ引いた基準長のベクトルとなる対象画像１０上のベクトルとして、そのオブジェクト２０に対応する方向ベクトル６０を算出する。

行列ライン生成部２０４０は、方向ベクトルの順序づけを行う。例えば行列領域３０の中に３つのオブジェクト２０が含まれる場合、３つの方向ベクトル６０の中から、先頭、２番目、及び３番目をそれぞれ特定することにより、方向ベクトル６０が順序付けられる。以下、方向ベクトル６０の順序づけを表す情報を、順序情報と呼ぶ。

方向ベクトル６０の順序づけは、例えば各方向ベクトル６０について、その終点を基準としてその方向ベクトル６０と隣接する他の方向ベクトル６０を特定することで実現できる。ここで、終点を基準として方向ベクトルＡ１と隣接する他の方向ベクトルＡ２は、少なくともその一部が行列領域３０に含まれる方向ベクトル６０のうち、その始点が方向ベクトルＡ１の終点に最も近い方向ベクトル６０である。方向ベクトルＡ２に対応するオブジェクト２０は、行列内において、方向ベクトルＡ１に対応するオブジェクト２０の１つ前に位置するオブジェクト２０となる。

このように、各方向ベクトル６０について、その終点を基準としてその方向ベクトル６０と隣接する他の方向ベクトル６０を特定することにより、その１つ前に位置する方向ベクトル６０（その方向ベクトル６０に対応するオブジェクト２０よりも１つ前に位置するオブジェクト２０に対応する方向ベクトル６０）を特定することができる。よって、各方向ベクトル６０を順序づけることができる。

図６は、順序情報をテーブル形式で例示する図である。図６において、方向ベクトル６０－１は、その終点を基準として方向ベクトル６０－２と隣接している。また、方向ベクトル６０－２は、その終点を基準として方向ベクトル６０－３と隣接している。そのため、行列における方向ベクトル６０の順序は、最後尾から順に、「方向ベクトル６０－１、方向ベクトル６０－２、及び方向ベクトル６０－３」となる。

行列ライン生成部２０４０は、各方向ベクトル６０及び順序情報を利用して、行列ライン４０を生成する。例えば行列ライン生成部２０４０は、順序情報に示される順序に従って方向ベクトル６０を連結することで、行列ライン４０を生成する。より具体的には、行列ライン生成部２０４０は、各方向ベクトル６０について、その方向ベクトル６０の終点を、その終点を基準としてその方向ベクトル６０と隣接する他の方向ベクトル６０の始点と連結する。

図７は、方向ベクトル６０を連結することで生成される行列ライン４０を例示する図である。なお、図７では、図を分かりやすくするため、行列ライン４０が方向ベクトル６０と重ならないように、行列ライン４０を方向ベクトル６０から少しずれた位置に図示している。実際の運用では、行列ライン４０は、方向ベクトル６０と重なってよい。

図７が示す順序情報は、図６が示す順序情報と同じである。順序情報は、方向ベクトル６０－１が、その終点を基準として、方向ベクトル６０－２と隣接していることを示している。そこで行列ライン生成部２０４０は、方向ベクトル６０－１の終点と方向ベクトル６０－２の始点を連結する。また、順序情報は、方向ベクトル６０－２が、その終点を基準として、方向ベクトル６０－３と隣接していることを示している。そこで行列ライン生成部２０４０は、方向ベクトル６０－２の終点と方向ベクトル６０－３の始点を連結する。その結果、方向ベクトル６０－１から方向ベクトル６０－３を連結した行列ライン４０が生成される。

方向ベクトル６０と順序情報を利用して行列ライン４０を生成する方法は、上述の方法に限定されない。例えば行列ライン生成部２０４０は、隣接する各方向ベクトル６０の所定位置（例えば始点、中点、又は終点など）を連結していくことで、行列ライン４０を生成してもよい。図８は、方向ベクトル６０の中点を連結することで生成される行列ライン４０を例示する図である。順序情報は、図６や図７の例と同じである。そこで行列ライン生成部２０４０は、方向ベクトル６０－１の中点と方向ベクトル６０－２の中点を連結し、かつ、方向ベクトル６０－２の中点と方向ベクトル６０－３の中点を連結することにより、行列ライン４０を生成している。

行列ライン生成部２０４０は、方向ベクトル６０の各点（始点、中点、終点など）の付近を通る１つの直線を生成する処理（いわゆる線形近似）を行い、その結果として得られる１つの直線を行列ライン４０としてもよい。図９は、線形近似によって得られる行列ライン４０を例示する図である。図９では、図を分かりやすくするため、オブジェクト２０が省略されている。

図９の上段は、図７の例において線形近似を適用したケースである。行列ライン４０は線形近似で得られた行列ラインを表し、点線の折れ線は図７における行列ライン４０を表している。

図９の下段は、図８の例において線形近似を適用したケースである。行列ライン４０は線形近似で得られた行列ラインを表し、点線の折れ線は図８における行列ライン４０を表している。

なお、線形近似によって複数の点の付近を通る１つの直線を算出する具体的な手法には、既存の手法を利用することができる。

行列ライン生成部２０４０は、方向ベクトル６０間の連結において、非線形の補間を行ってもよい。図１０は、行列ライン４０の生成において非線形の補間処理を行うケースを例示する図である。図１０の上段は、図７の例において非線形の補間処理を適用したケースである。具体的には、方向ベクトル６０－１の終点、方向ベクトル６０－２の始点、方向ベクトル６０－２の終点、及び方向ベクトル６０－３の始点という順に連結するケースにおいて、これらを単純に連結（線形補間）するのではなく、これらの点又はその近くを通る滑らかな曲線として、行列ライン４０が生成されている。

図１０の下段は、図８の例において非線形の補間処理を適用したケースである。具体的には、方向ベクトル６０－１の中点、方向ベクトル６０－２の中点、及び方向ベクトル６０－３の中点を連結するケースにおいて、これらの点又はその近くを通る滑らかな曲線として、行列ライン４０が生成されている。

ここで、非線形補間によって特定の複数の点又はその近くを通る曲線を算出する具体的な手法には、種々の既存の手法を利用することができる。

＜＜行列ライン４０として利用しうる形状＞＞
行列ライン４０としては、線状の任意の形状を採用することができる。図１１は、行列ライン４０として利用しうる形状を例示する図である。行列ライン４０には、実線（４０－１）、点線（４０－２）、又は一点鎖線（４０－３）などといった任意の線を採用できる。また、行列ライン４０には、中空の線（長方形を引き延ばしたような形状）を利用してもよい（４０－４）。また、行列ライン４０は、矢印であってもよい（４０－５）。なお、行列ライン４０の太さは任意である。

＜情報の出力＞
行列解析装置２０００は、行列ライン４０に関連する種々の情報を出力する。以下、この情報を出力情報と呼ぶ。また、出力情報を出力する機能構成部を、出力部と呼ぶ。図１２は、出力情報生成部２０６０を有する行列解析装置２０００の機能構成を例示するブロック図である。

出力情報は、様々な情報を含みうる。以下、出力情報に含まれうる様々な情報について説明する。

＜＜行列ライン４０の提示＞＞
例えば出力情報生成部２０６０は、出力情報として、対象画像１０に対して行列ライン４０が重畳された画像（以下、結果画像）を生成する。図１３は、結果画像を例示する図である。図１３の結果画像７０は、実線として実現された行列ライン４０が対象画像１０に重畳されたものである。また、この例では、行列領域も対象画像１０に重畳されている。行列領域は、領域の境界をラインで重畳する、領域内部を半透明の色で重畳する、又は領域以外の輝度値を下げて領域を強調するなどといった任意の方法で重畳することができる。

ここで、出力情報生成部２０６０は、行列ライン生成部２０４０によって生成された行列ライン４０を、その行列ライン４０を生成するために利用された対象画像１０のみに対して重畳してもよいし、その行列ライン４０を生成するために利用された対象画像１０以外の対象画像１０に対してさらに重畳してもよい。例えば行列ライン生成部２０４０が、カメラ５０から生成される３０フレーム／秒の動画から、１秒間に１枚の割合で対象画像１０を抽出し、抽出された対象画像１０から行列ライン４０を生成するとする。行列ライン４０の生成に利用された対象画像１０のみに行列ライン４０を重畳する場合、結果画像７０は、１フレーム／秒の時系列のデータとなる。すなわち、時系列の結果画像７０は、オブジェクト２０の位置と行列ライン４０の変化を１フレーム／秒で表す。

一方、行列ライン４０の生成に利用された対象画像１０以外にも行列ライン４０を重畳する場合、例えば出力情報生成部２０６０は、或る対象画像１０から生成された行列ライン４０を、その対象画像１０だけでなく、その対象画像１０よりも後に生成された２９枚の対象画像１０（次に行列ライン４０の生成に利用される対象画像１０よりも前の各対象画像１０）に対しても重畳する。すなわち、１つの行列ライン４０が１秒間の動画に重畳される。このケースにおいて、時系列の結果画像７０は、オブジェクト２０の位置の変化を３０フレーム／秒で表し、行列ライン４０の変化を１フレーム／秒で表す。

＜＜先頭と最後尾の提示＞＞
出力情報は、さらに、行列の先頭位置及び最後尾位置のいずれか一方又は双方を表す情報を含んでもよい。図１４は、行列の先頭位置及び最後尾位置が示されている結果画像７０を例示する図である。図１４の結果画像７０は、先頭位置であることを表す先頭マーカ７２と、最後尾位置であることを表す最後尾マーカ７４とがそれぞれ、対象画像１０に重畳されたものである。

行列の先頭位置と最後尾位置を特定する方法は様々である。例えば出力情報生成部２０６０は、行列ライン４０の端点のうち、方向ベクトル６０の順序づけにおいて、先頭の方向ベクトル６０に対応する方の端点を、行列の先頭位置として特定する。一方、出力情報生成部２０６０は、行列ライン４０の端点のうち、方向ベクトル６０の順序づけにおいて、最後尾の方向ベクトル６０に対応する方の端点を、行列の最後尾位置として特定する。

また、レジカウンタの前にできる行列などのように、行列の先頭位置のおおよその位置が予め分かる場合がある。この場合、行列の先頭位置となると予測される位置を予め定めておく。そして、出力情報生成部２０６０は、行列ライン４０の端点のうち、上記予測の位置に近い方を行列の先頭位置として特定し、他方の位置を行列の最後尾位置として特定する。

ここで、図１３や図１４の結果画像７０には、行列領域３０の外枠を表す点線の枠が含まれている。しかしながら、結果画像７０は、行列領域３０を表す枠が含まれなくてもよい。

＜＜待ち時間の提示＞＞
出力情報生成部２０６０は、行列ライン４０を用いて、行列の任意の位置における待ち時間を算出してもよい。この場合、オブジェクト２０は原則として、行列ライン４０の最後尾から行列に加わり、行列ライン４０の最後尾から先頭へ向けて進んでいき、最後に先頭位置から行列を離脱するものとする。そして、行列の或る位置における待ち時間とは、オブジェクト２０がその位置に到達してから、行列の先頭から離脱するまでに要する時間を意味する。

例えば出力情報生成部２０６０は、行列の最後尾における待ち時間を算出する。行列の最後尾における待ち時間は、例えば、行列ライン４０の長さ又は行列領域３０の大きさ（面積）に基づいて算出される。この場合、行列ライン４０の単位長さ又は行列領域３０の単位面積に対応する待ち時間を予め定めておく。そして、出力情報生成部２０６０は、行列ライン４０の長さに対して、行列ライン４０の単位長さに対応する待ち時間を掛けるか、又は行列領域３０の面積に対して、行列領域３０の単位面積に対応する待ち時間を掛けることにより、行列の最後尾における待ち時間を算出する。

図１５は、最後尾の待ち時間が示されている結果画像７０を例示する図である。図１５の結果画像７０は、図１４の結果画像７０に対し、行列ライン４０の最後尾における待ち時間を表す待ち時間表示９０がさらに加えられたものである。

行列解析装置２０００によれば、行列が構成される場所が予め定められておらず、どこにどのよう形状で行列が形成されるか分からないような状況でも、行列の最後尾における待ち時間を算出することができる。

待ち時間の算出対象とする位置（以下、対象位置）は、行列ライン４０の最後尾に限定されない。行列ライン４０の最後尾以外の任意の位置を対象位置として扱う場合、出力情報生成部２０６０は、行列の最後尾における待ち時間に基づいて、対象位置における待ち時間を算出する。具体的には、まず、出力情報生成部２０６０は、行列ライン４０に沿って、行列の先頭から対象位置までの長さを算出する。そして、出力情報生成部２０６０は、算出した長さと行列ライン４０の全長との比率（算出した長さ／行列ライン４０の全長）を算出する。そして、出力情報生成部２０６０は、行列の最後尾における待ち時間に対し、算出した比率を掛けることで、対象位置における待ち時間を算出する。その他にも例えば、待ち時間は、行列の先頭から対象位置までの行列ライン４０の長さや行列領域３０の大きさ（面積）に対して、行列ライン４０の単位長さに対応する待ち時間を掛けるか又は行列領域３０の単位面積に対応する待ち時間を掛けることにより、算出されてもよい。

行列解析装置２０００によれば、行列の先頭から行列上の各位置までの距離を行列ライン４０に沿って算出できる。そのため、行列ライン４０を利用しない場合と比較し、行列の任意の位置における待ち時間をより正確に把握することができる。

対象位置は、所定の基準に基づいて出力情報生成部２０６０によって自動的に決定されてもよいし、ユーザによって指定されてもよい。前者の場合、例えば、出力情報生成部２０６０は、行列ライン４０を所定数に分割した場合における各分割点及び最後尾を、対象位置として扱う。例えば、所定数が３である場合、行列ライン４０を３等分する分割点として、２つの点が定まる。そこで出力情報生成部２０６０は、これら２つの点及び最後尾それぞれを対象点として扱い、それらの対象点について待ち時間を算出する。

対象位置がユーザによって指定される場合、例えば行列解析装置２０００は、結果画像７０を含む画面をディスプレイ装置に表示し、行列ライン４０上の点を指定するユーザ入力を受け付ける。出力情報生成部２０６０は、このようにして指定された点を対象位置として扱う。

図１６は、最後尾以外の位置についても待ち時間が示されている結果画像７０を例示する図である。図１６では、分割位置１００と分割位置１１０により、行列ライン４０が３等分されている。そして、結果画像７０には、分割位置１００を表す表示１０２、分割位置１００における待ち時間を表す表示１０４、分割位置１１０を表す表示１１２、及び分割位置１１０における待ち時間を表す表示１１４が含まれている。

なお、上記では、待ち時間の算出方法として、行列ライン４０の長さ又は行列領域３０の大きさ（面積）に基づいて算出したが、同様に行列ライン４０上の人の数に基づいて算出してもよい。例えば、先頭から対象位置までの人の数に対して、一人当たりの待ち時間（行列の先頭に移動してから行列を抜けるまでに要する時間）を掛けることにより、対象位置における待ち時間を算出することができる。この場合、一人当たりの待ち時間を予め定めておく。

＜＜過去の行列ライン４０の提示＞＞
出力情報生成部２０６０は、行列ライン生成部２０４０によって生成された行列ライン４０（最新の行列ライン４０）に加え、その行列ライン４０によって表される行列と同じ行列について過去に算出された１つ以上の行列ライン４０を、結果画像７０に含めてもよい。なお、ここでいう「同じ行列」とは、同じレジカウンタの前に互いに異なる時点で存在する行列などのように、同じ場所にできる行列や、先頭から離脱したオブジェクト２０が同じ設備や場所を利用する行列などを意味する。

図１７は、過去の行列ライン４０が含まれる結果画像７０を例示する図である。図１７では、各行列ライン４０を識別できるように、各行列ライン４０に互いに異なる種類の線を用い、なおかつ、行列ライン４０の最後尾付近に、行列ライン４０に対応する時点を表す表示（「現在」や「Ｘ分前」など）を示している。行列ライン４０に対応する時点は、例えば、行列ライン４０の生成時点や、行列ライン４０の生成に用いられた対象画像１０が生成された時点である。行列ライン４０に対応する時点は、絶対的な時点（日時など）で表されてもよいし、所定の時点（例えば現在時刻）を基準とする相対的な時点で表されてもよい。図１７の場合は後者である。

このように過去の行列ライン４０も一緒に提示することにより、現在と過去の行列ライン４０を容易に比較できるため、行列に関連した種々の情報（行列の長さの変化や行列の位置の変化など）を容易に得ることができる。例えば行列の長さが長くなる傾向にあることが分かれば、混雑緩和のための対処が必要であることを把握できる。その他にも例えば、行列の位置が想定外の位置に向けて移動する傾向にあることが分かれば、行列の整列などといった対処が必要であることを把握できる。

ここで、互いに異なる時点における複数の行列ライン４０が同一の行列を表しているかどうかを判定する方法は様々である。例えば、或る時点で生成された行列ライン４０に対応する行列領域３０と、他の時点で生成された行列ライン４０に対応する行列領域３０とが互いに重複している場合に、それらの行列ライン４０によって表されている行列が同一であると判定する。この際、行列領域３０の重複度合いに閾値を設け、重複度合いが閾値以上である場合に、対応する行列ライン４０同士が同一の行列を表していると推定してもよい。

その他にも例えば、出力情報生成部２０６０は、互いに異なる時点における２つの行列ライン４０の先頭位置の間の距離が閾値以下である場合に、それらの行列ライン４０が同じ行列を表していると判定してもよい。この方法によれば、同じ設備や場所を利用するオブジェクト２０の行列が互いに違う方向へ延びて形成された場合であっても、これらの行列を同じ行列として扱うことができる。

＜＜対象画像１０以外への行列ライン４０の提示＞＞
前述した説明において、行列ライン４０等の情報は、対象画像１０に対して重畳されていた。しかしながら、行列ライン４０等の情報は、その他の画像等に重畳されてもよい。

例えば出力情報生成部２０６０は、オブジェクト２０が含まれない時間にカメラ５０から得られた画像に対して、行列ライン４０等の情報を重畳することで、結果画像７０を生成してもよい。例えば、店舗等であれば、営業時間外にカメラ５０による撮像を行うことで、オブジェクト２０が含まれない画像を得ることができる。このような画像は、例えば、背景画像と呼ぶことができる。

その他にも例えば、出力情報生成部２０６０は、カメラ５０の撮像範囲を含む地図画像に対して、行列ライン４０等の情報を重畳することで、結果画像７０を生成してもよい。この場合、行列ライン４０を、地図画像上の対応する位置にマッピングする必要がある。すなわち、対象画像１０上の座標を、地図画像上の座標に変換できる必要がある。ここで、カメラによって生成された画像上の座標を、そのカメラの撮像範囲を含む地図画像上の座標に変換する技術には、既存の技術を利用することができる。

＜＜将来の予測＞＞
出力情報生成部２０６０は、同一の行列について生成された複数の行列ライン４０を用いて、その行列についての将来の行列ライン４０を生成してもよい。具体的には、出力情報生成部２０６０は、同一の行列について生成された複数の行列ライン４０を用いて、行列ライン４０の時間変化を推定し、その推定結果を用いて、将来の或る時点における行列ライン４０を生成する。

図１８は、将来の行列ライン４０を推定する方法を例示する図である。この例において、出力情報生成部２０６０は、現在の行列ライン４０（行列ライン４０－１）、１５分前の行列ライン４０（行列ライン４０－２）、及び３０分前の行列ライン４０（行列ライン４０－３）を用いて、１５分後の行列ライン４０（行列ライン４０－４）を生成している。

具体的には、まず出力情報生成部２０６０は、行列ライン４０－１から行列ライン４０－３それぞれを４等分する。ここで、各行列ライン４０において、行列ライン４０を分割する位置を先頭に近いものから順に、第２分割位置、第３分割位置、及び第４分割位置と呼ぶ。

出力情報生成部２０６０は、現在及び過去の行列ライン４０を用いて、各分割位置及び最後尾位置の時間変化を推定する。例えば出力情報生成部２０６０は、行列ライン４０－３の第２分割位置、行列ライン４０－２の第２分割位置、及び行列ライン４０－１の第２分割位置に基づいて、第２分割位置の時間変化を推定する（例えば、その時間変化を表す関数を生成する）。そして出力情報生成部２０６０は、予測したい時点（図１８の場合は１５分後）と推測した第２分割位置の時間変化に基づいて（例えば、生成した関数に予測したい時点を入力して）、その時点における第２分割位置を算出する（推定する）。

同様に、出力情報生成部２０６０は、第３分割位置、第４分割位置、及び最後尾位置それぞれについてもその時間変化を推定し、予測したい時点と推定した時間変化に基づいて、その時点における第３分割位置、第４分割位置、及び最後尾位置を算出する（推定する）。

そして出力情報生成部２０６０は、先頭位置、推定した第２分割位置、推定した第３分割位置、推定した第４分割位置及び、推定した最後尾位置を連結することで、予測したい時点における行列ライン４０－４を生成する。なお、複数の位置を連結して行列ライン４０を生成する方法には、前述したように、単純な連結で行列ライン４０を得る方法、線形近似で行列ライン４０を得る方法、非線形補間で行列ライン４０を得る方法などといった様々な方法を採用できる。

なお、図１８の例では先頭位置が移動しないことを前提としているが、先頭位置も最後尾位置などと同様に移動してもよい。この場合、例えば出力情報生成部２０６０は、先頭位置についても最後尾位置などと同様に時間変化を推定し、推定した時間変化に基づいて、将来の先頭位置を推定する。

ここで、行列ライン４０を予測する将来の時点は、現在時刻との関係が予め定められた時点（例えば、１５分後や１時間後など）であってもよいし、ユーザによって指定される任意の時点であってもよい。後者の場合、行列解析装置２０００は、予測したい時点を示す入力をユーザから受け付け、指定された時点について行列ライン４０を生成する。

将来についての行列ライン４０を生成する方法は、前述した方法に限定されない。例えば、現在及び過去の行列ライン４０が入力されたことに応じて将来の行列ライン４０を出力するように学習された推定器を設けてもよい。例えば、「現在の行列ライン４０、１５分前の行列ライン４０、３０分前の行列ライン４０、予測時点」が入力されたことに応じて、予測時点における行列ライン４０を生成する推定器を設けるとする。この場合、「現在の行列ライン４０、１５分前の行列ライン４０、３０分前の行列ライン４０、予測時点、予測時点における行列ライン４０」というセットを学習データとして用いて、推定器を学習する。具体的には、推定器に対して「現在の行列ライン４０、１５分前の行列ライン４０、３０分前の行列ライン４０、予測時点」を入力し、推定器から出力された行列ライン４０と学習データに含まれる予測時点の行列ライン４０との誤差を表す損失を算出し、算出した損失に基づいて推定器のパラメータを更新する。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 対象画像に含まれるオブジェクトの位置及び向きを推定する推定部と、
前記対象画像においてオブジェクトの行列を含む領域である行列領域について、その行列領域に含まれるオブジェクトについて推定された位置及び向きに基づいて、その行列領域に含まれる行列を線で表す行列ラインを生成する行列ライン生成部と、を有する行列解析装置。
２． 前記行列ライン生成部は、前記行列を構成する各オブジェクトの位置及び向きを表す方向ベクトルについて、方向ベクトル間の隣接関係に基づく順序づけを行い、前記行列を構成する各前記オブジェクトの方向ベクトル及びそれらの順序に基づいて、前記行列ラインを生成する、１．に記載の行列解析装置。
３． 前記行列ライン生成部は、各前記方向ベクトルについて、その方向ベクトルの終点と、その方向ベクトルよりも１つ前に位置する他の方向ベクトルの始点とを連結した線を生成し、前記生成した各線と各前記方向ベクトルによって前記行列ラインを生成する、２．に記載の行列解析装置。
４． 前記行列ライン生成部は、順序づけた前記方向ベクトルに対して線形近似又は非線形の補間を行うことで、前記行列ラインを生成する、２．に記載の行列解析装置。
５． 前記行列ラインが含まれる結果画像を含む出力情報を生成する出力情報生成部を有する、１．乃至４．いずれか一つに記載の行列解析装置。
６． 前記結果画像は、前記対象画像、前記対象画像と同じ範囲が含まれる背景画像、及び前記対象画像と同じ範囲が含まれる地図画像のいずれか１つに対して前記行列ラインが重畳されたものである、５．に記載の行列解析装置。
７． 前記出力情報生成部は、前記行列ラインによって表される行列について、その行列が含まれる行列領域内のオブジェクトの位置及び向きに基づいて、その行列の先頭及び最後尾のいずれか１つ以上を推定し、前記推定した先頭及び最後尾のいずれか１つ以上を表す表示を前記結果画像に含める、５．又は６．に記載の行列解析装置。
８． 前記出力情報生成部は、前記行列ラインの先頭とその行列ライン上の他の位置とについて、前記行列ラインに沿った距離を算出し、前記算出した距離に基づいて、前記他の位置における前記行列の待ち時間を算出し、前記算出した待ち時間を前記出力情報に含める、５．乃至７．いずれか一つに記載の行列解析装置。
９． 前記出力情報生成部は、前記対象画像から生成された前記行列ラインによって表される行列について過去に生成された行列ラインを前記結果画像に含める、５．乃至８．いずれか一つに記載の行列解析装置。
１０． 前記出力情報生成部は、前記対象画像から生成された前記行列ラインと、その行列ラインによって表される行列について過去に生成された行列ラインとに基づいて、行列ラインの時間変化を推定し、前記推定した行列ラインの時間変化に基づいて、その行列について将来の行列ラインを生成し、前記生成した将来の行列ラインを前記結果画像に含める、６．乃至９．いずれか一つに記載の行列解析装置。
１１． コンピュータによって実行される制御方法であって、
対象画像に含まれるオブジェクトの位置及び向きを推定する推定ステップと、
前記対象画像においてオブジェクトの行列を含む領域である行列領域について、その行列領域に含まれるオブジェクトについて推定された位置及び向きに基づいて、その行列領域に含まれる行列を線で表す行列ラインを生成する行列ライン生成ステップと、を有する制御方法。
１２． 前記行列ライン生成ステップにおいて、前記行列を構成する各オブジェクトの位置及び向きを表す方向ベクトルについて、方向ベクトル間の隣接関係に基づく順序づけを行い、前記行列を構成する各前記オブジェクトの方向ベクトル及びそれらの順序に基づいて、前記行列ラインを生成する、１１．に記載の制御方法。
１３． 前記行列ライン生成ステップにおいて、各前記方向ベクトルについて、その方向ベクトルの終点と、その方向ベクトルよりも１つ前に位置する他の方向ベクトルの始点とを連結した線を生成し、前記生成した各線と各前記方向ベクトルによって前記行列ラインを生成する、１２．に記載の制御方法。
１４． 前記行列ライン生成ステップにおいて、順序づけた前記方向ベクトルに対して線形近似又は非線形の補間を行うことで、前記行列ラインを生成する、１２．に記載の制御方法。
１５． 前記行列ラインが含まれる結果画像を含む出力情報を生成する出力情報生成ステップを有する、１１．乃至１４．いずれか一つに記載の制御方法。
１６． 前記結果画像は、前記対象画像、前記対象画像と同じ範囲が含まれる背景画像、及び前記対象画像と同じ範囲が含まれる地図画像のいずれか１つに対して前記行列ラインが重畳されたものである、１５．に記載の制御方法。
１７． 前記出力情報生成ステップにおいて、前記行列ラインによって表される行列について、その行列が含まれる行列領域内のオブジェクトの位置及び向きに基づいて、その行列の先頭及び最後尾のいずれか１つ以上を推定し、前記推定した先頭及び最後尾のいずれか１つ以上を表す表示を前記結果画像に含める、１５．又は１６．に記載の制御方法。
１８． 前記出力情報生成ステップにおいて、前記行列ラインの先頭とその行列ライン上の他の位置とについて、前記行列ラインに沿った距離を算出し、前記算出した距離に基づいて、前記他の位置における前記行列の待ち時間を算出し、前記算出した待ち時間を前記出力情報に含める、１５．乃至１７．いずれか一つに記載の制御方法。
１９． 前記出力情報生成ステップにおいて、前記対象画像から生成された前記行列ラインによって表される行列について過去に生成された行列ラインを前記結果画像に含める、１５．乃至１８．いずれか一つに記載の制御方法。
２０． 前記出力情報生成ステップにおいて、前記対象画像から生成された前記行列ラインと、その行列ラインによって表される行列について過去に生成された行列ラインとに基づいて、行列ラインの時間変化を推定し、前記推定した行列ラインの時間変化に基づいて、その行列について将来の行列ラインを生成し、前記生成した将来の行列ラインを前記結果画像に含める、１６．乃至１９．いずれか一つに記載の制御方法。
２１． １１．乃至２０．いずれか一つに記載の制御方法をコンピュータに実行させるプログラム。

１０ 対象画像
２０ オブジェクト
３０ 行列領域
４０ 行列ライン
５０ カメラ
６０ 方向ベクトル
７０ 結果画像
７２ 先頭マーカ
７４ 最後尾マーカ
９０ 待ち時間表示
１００ 分割位置
１０２ 表示
１０４ 表示
１１０ 分割位置
１１２ 表示
１１４ 表示
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 行列解析装置
２０２０ 推定部
２０４０ 行列ライン生成部
２０６０ 出力情報生成部

Claims (14)

1. 対象画像においてオブジェクトの行列を含む行列領域を特定する特定部と、
   前記行列領域に含まれる前記オブジェクトの位置及び向きを推定する推定部と、
   前記行列領域に含まれる前記オブジェクトについて推定された位置及び向きに基づいて、その行列領域に含まれる行列を線で表す行列ラインを生成する行列ライン生成部と、
   前記行列ラインが含まれる結果画像を含む出力情報を生成する出力情報生成部と、
   を有し、
   前記結果画像は、前記対象画像、前記対象画像と同じ範囲が含まれる背景画像、及び前記対象画像と同じ範囲が含まれる地図画像のいずれか１つに対して前記行列ラインが重畳されたものであり、
   前記出力情報生成部は、前記対象画像から生成された前記行列ラインと、その行列ラインによって表される行列について過去に生成された行列ラインとに基づいて、行列ラインの時間変化を推定し、前記推定した行列ラインの時間変化に基づいて、その行列について将来の行列ラインを生成し、前記生成した将来の行列ラインを前記結果画像に含める、
   行列解析装置。
2. 前記行列ライン生成部は、前記行列を構成する各オブジェクトの位置及び向きを表す方向ベクトルについて、方向ベクトル間の隣接関係に基づく順序づけを行い、前記行列を構成する各前記オブジェクトの方向ベクトル及びそれらの順序に基づいて、前記行列ラインを生成する、請求項１に記載の行列解析装置。
3. 前記行列ライン生成部は、各前記方向ベクトルについて、その方向ベクトルの終点と、その方向ベクトルよりも１つ前に位置する他の方向ベクトルの始点とを連結した線を生成し、前記生成した各線と各前記方向ベクトルによって前記行列ラインを生成する、請求項２に記載の行列解析装置。
4. 前記行列ライン生成部は、順序づけた前記方向ベクトルに対して線形近似又は非線形の補間を行うことで、前記行列ラインを生成する、請求項２に記載の行列解析装置。
5. 前記出力情報生成部は、前記行列ラインによって表される行列について、その行列が含まれる行列領域内のオブジェクトの位置及び向きに基づいて、その行列の先頭及び最後尾のいずれか１つ以上を推定し、前記推定した先頭及び最後尾のいずれか１つ以上を表す表示を前記結果画像に含める、請求項１乃至４いずれか一項に記載の行列解析装置。
6. 前記出力情報生成部は、前記行列ラインの先頭とその行列ライン上の他の位置とについて、前記行列ラインに沿った距離を算出し、前記算出した距離に基づいて、前記他の位置における前記行列の待ち時間を算出し、前記算出した待ち時間を前記出力情報に含める、請求項１乃至５いずれか一項に記載の行列解析装置。
7. 前記出力情報生成部は、前記対象画像から生成された前記行列ラインによって表される行列について過去に生成された行列ラインを前記結果画像に含める、請求項１乃至６いずれか一項に記載の行列解析装置。
8. コンピュータによって実行される制御方法であって、
   対象画像においてオブジェクトの行列を含む行列領域を特定する特定ステップと、
   前記行列領域に含まれる前記オブジェクトの位置及び向きを推定する推定ステップと、
   前記行列領域に含まれる前記オブジェクトについて推定された位置及び向きに基づいて、その行列領域に含まれる行列を線で表す行列ラインを生成する行列ライン生成ステップと、
   前記行列ラインが含まれる結果画像を含む出力情報を生成する出力情報生成ステップと、を有し、
   前記結果画像は、前記対象画像、前記対象画像と同じ範囲が含まれる背景画像、及び前記対象画像と同じ範囲が含まれる地図画像のいずれか１つに対して前記行列ラインが重畳されたものであり、
   前記出力情報生成ステップにおいて、前記対象画像から生成された前記行列ラインと、その行列ラインによって表される行列について過去に生成された行列ラインとに基づいて、行列ラインの時間変化を推定し、前記推定した行列ラインの時間変化に基づいて、その行列について将来の行列ラインを生成し、前記生成した将来の行列ラインを前記結果画像に含める、
   制御方法。
9. 前記行列ライン生成ステップにおいて、前記行列を構成する各オブジェクトの位置及び向きを表す方向ベクトルについて、方向ベクトル間の隣接関係に基づく順序づけを行い、前記行列を構成する各前記オブジェクトの方向ベクトル及びそれらの順序に基づいて、前記行列ラインを生成する、請求項８に記載の制御方法。
10. 前記行列ライン生成ステップにおいて、順序づけた前記方向ベクトルに対して線形近似又は非線形の補間を行うことで、前記行列ラインを生成する、請求項９に記載の制御方法。
11. 前記出力情報生成ステップにおいて、前記行列ラインによって表される行列について、その行列が含まれる行列領域内のオブジェクトの位置及び向きに基づいて、その行列の先頭及び最後尾のいずれか１つ以上を推定し、前記推定した先頭及び最後尾のいずれか１つ以上を表す表示を前記結果画像に含める、請求項８乃至１０いずれか一項に記載の制御方法。
12. 前記出力情報生成ステップにおいて、前記行列ラインの先頭とその行列ライン上の他の位置とについて、前記行列ラインに沿った距離を算出し、前記算出した距離に基づいて、前記他の位置における前記行列の待ち時間を算出し、前記算出した待ち時間を前記出力情報に含める、請求項８乃至１１いずれか一項に記載の制御方法。
13. 前記出力情報生成ステップにおいて、前記対象画像から生成された前記行列ラインによって表される行列について過去に生成された行列ラインを前記結果画像に含める、請求項８乃至１２いずれか一項に記載の制御方法。
14. 請求項８乃至１３いずれか一項に記載の制御方法をコンピュータに実行させるプログラム。

Images