JP4445980B2 - Flow line display device, method and program - Google Patents
Flow line display device, method and program Download PDFInfo
- Publication number
- JP4445980B2 JP4445980B2 JP2007170703A JP2007170703A JP4445980B2 JP 4445980 B2 JP4445980 B2 JP 4445980B2 JP 2007170703 A JP2007170703 A JP 2007170703A JP 2007170703 A JP2007170703 A JP 2007170703A JP 4445980 B2 JP4445980 B2 JP 4445980B2
- Authority
- JP
- Japan
- Prior art keywords
- flow line
- camera image
- data
- database
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、監視対象の施設内等を移動する人物等の移動体の移動経路に沿った動線を表示する動線表示装置及び方法並びにコンピュータ読取り可能なプログラムに関する。 The present invention relates to a flow line display apparatus and method for displaying a flow line along a movement path of a moving body such as a person moving in a facility to be monitored, and a computer-readable program.
従来より、複数のカメラでそれぞれ撮影された複数のカメラ画像データを画像処理して人物等の移動体を特定し、この移動体の追跡を行って、移動体の位置座標データに、移動体の識別情報と時間情報とを紐付けした動線データを作成するシステムは、既に知られている。このようなシステムで作成された時系列の動線データをコンピュータが取込み、データ処理を行って、ディスプレイの画面に所望する移動体の動線を再生表示する技術がある。このような動線表示技術をコンビニエンスストア等の店舗に適用することによって、顧客の動線を把握することができる（例えば、特許文献１参照）。
従来のこの種の動線表示技術では、顧客等の移動体の動線を把握することはできる。また、カメラ画像を再生表示する技術は一般的である。しかしながら、移動体の動線の動きに同期させてカメラ画像を表示させることはできなかった。このため、動線の正誤を分析するにはカメラ画像を目視して行うことが有効だが、動線の動きとカメラ画像との同期が取られていないため、分析作業を効率よく行うことができなかった。 With this type of conventional flow line display technology, it is possible to grasp the flow line of a moving body such as a customer. A technique for reproducing and displaying camera images is common. However, the camera image cannot be displayed in synchronization with the movement of the moving body. For this reason, it is effective to look at the camera image to analyze the correctness of the flow line, but since the movement of the flow line and the camera image are not synchronized, the analysis work can be performed efficiently. There wasn't.
本発明はこのような事情に基づいてなされたもので、その目的とするところは、動線の動きに同期してカメラ画像を再生表示できる動線表示装置、及びその動線表示方法、並びにコンピュータを本発明の動線表示装置として機能させるための動線表示プログラムを提供しようとするものである。 The present invention has been made based on such circumstances, and its object is to provide a flow line display device capable of reproducing and displaying a camera image in synchronization with the movement of the flow line, a flow line display method thereof, and a computer. Is intended to provide a flow line display program for functioning as a flow line display device of the present invention.
本発明は、カメラ画像から検出された移動体の位置座標と時間情報とをその移動体を検出したカメラ画像を特定するデータと関連付けて記憶する動線データベースと、カメラ画像を記憶するカメラ画像データベースとを備える。そして、動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとを時系列に順次取込み、移動体の位置座標を取込む毎に、その座標を終点座標とする移動体の動線を表示し、また、カメラ画像の特定データを取込む毎に、そのデータで特定されるカメラ画像をカメラ画像データベースから順次取得し表示するようにして、上記課題を解決するものである。 The present invention relates to a flow line database for storing the position coordinates and time information of a moving object detected from a camera image in association with data for specifying a camera image for detecting the moving object, and a camera image database for storing a camera image. With. Then, the position coordinates of the moving object and the specific data of the camera image that detected the moving object are sequentially taken from the flow line database in time series, and every time the position coordinates of the moving object are taken , the coordinates are used as the end point coordinates. Each time a movement line of the body is displayed and the specific data of the camera image is taken in, the camera image specified by the data is sequentially acquired from the camera image database and displayed to solve the above-mentioned problem. is there.
かかる手段を講じた本発明によれば、動線の動きに同期してカメラ画像を再生表示することができ、動線分析作業の効率向上などの優れた効果を奏することができる。 According to the present invention in which such measures are taken, the camera image can be reproduced and displayed in synchronization with the movement of the flow line, and excellent effects such as an improvement in the efficiency of the flow line analysis work can be achieved.
以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施の形態は、コンビニエンスストア等の店舗において、周知の動線データ生成システム１０により生成された動線データ（以下、動線生データと称する）を基に移動体である人物（客）の動線を編集する動線編集装置２０に、本発明を適用した場合である。
The best mode for carrying out the present invention will be described below with reference to the drawings.
In this embodiment, in a store such as a convenience store, a person (customer) who is a moving body based on flow line data (hereinafter referred to as flow line raw data) generated by a known flow line
図１は本実施の形態のシステム構成を示すブロック図である。このシステムは、動線監視対象の施設、すなわち店舗内を撮影するための複数台（本実施の形態では６台）のカメラＣＡ１〜ＣＡ６と、各カメラＣＡ１〜ＣＡ６によってそれぞれ撮影されたカメラ画像データを画像処理して人物を特定し、この人物の追跡を行って、人物毎の動線データを生成する周知の動線データ生成システム１０と、本発明に関わる動線編集装置２０とから構成されている。
FIG. 1 is a block diagram showing the system configuration of the present embodiment. This system includes a plurality of (six in the present embodiment) cameras CA1 to CA6 for photographing a facility to be monitored for flow lines, that is, a store, and camera image data respectively photographed by the cameras CA1 to CA6. Image processing is performed to identify a person, track the person, and generate a flow line data for each person to generate a flow line
各カメラＣＡ１〜ＣＡ６は、図２の店舗内レイアウト図に示すように、店舗内中央部の天井に１台（ＣＡ１）、ＰＯＳ（Point Of Sales）端末Ｐ１，Ｐ２が置かれている会計カウンタＣＨ近傍の天井に２台（ＣＡ２，ＣＡ３）、会計カウンタＣＨに対して店内奥側及び左右壁側の計３箇所の天井に３台（ＣＡ４，ＣＡ５，ＣＡ６）が取り付けられている。このうち、カメラＣＡ１，ＣＡ２，ＣＡ３は魚眼カメラであり、カメラＣＡ４，Ｃ５，ＣＡ６は全方位カメラである。 As shown in the in-store layout diagram of FIG. 2, each of the cameras CA1 to CA6 has an accounting counter CH in which one (CA1) and POS (Point Of Sales) terminals P1, P2 are placed on the ceiling in the center of the store. Two units (CA2, CA3) are attached to the ceiling in the vicinity, and three units (CA4, CA5, CA6) are attached to a total of three ceilings on the back side and the left and right wall sides with respect to the accounting counter CH. Among these, the cameras CA1, CA2, and CA3 are fisheye cameras, and the cameras CA4, C5, and CA6 are omnidirectional cameras.
このように配置された６台のカメラＣＡ１〜ＣＡ６でそれぞれ撮影されたカメラ画像データにより、動線データ生成システム１０は、店舗の入退場口ＩＮ／ＯＵＴから入店した人物を移動体のターゲットとして検出し、店舗内を移動する各ターゲットを個別に追跡して、そのターゲットの移動経路に沿った動線データを生成するものである。ただし、店舗内には商品陳列棚Ｒ等が置かれているため、人が棚の陰に隠れてしまったり、複数の人が重なってしまったりして、カメラ画像では途中で追跡できなくなる場合がある。
Based on the camera image data captured by each of the six cameras CA1 to CA6 arranged in this manner, the flow line
動線データ生成システム１０は、同一時刻に撮影された複数のカメラ画像データから新たなターゲット（移動体）を検出する毎に、そのターゲットに固有の識別子であるターゲットＩＤを付して追跡し、追跡が途絶えるまでを１本の動線データとして生成している。このため、同一人物に対して複数の動線データが生成される場合がある。動線編集装置２０は、同一人物に対して生成された複数の動線データを抽出し、入店から出店までを結んだ完全動線を編集するためのコンピュータ機器である。別の言い方をすると、上記完全動線を編集するためのプログラムを実装したコンピュータである。
Each time the flow line
なお、本実施の形態では、説明の便宜上、動線データ生成システム１０で検出されたターゲットに付与されるターゲットＩＤは、“０”から１ずつ昇順に繰り上がる連続番号とする。
In the present embodiment, for convenience of explanation, the target ID given to the target detected by the flow line
動線編集装置２０は、図１に示すように、動線データ生成システム１０からデータを受信するインターフェイス機能を有したデータ受信部２１、大容量の記憶部２２、操作入力部２３、画面表示部２４、及びこれらを制御する制御部２５等を備えている。記憶部２２としては、例えばハードディスクやフラッシュメモリ等の不揮発性記憶媒体を用いている。操作入力部２３としては、キーボード，マウス等の入力デバイスを用いている。画面表示部２４としては、液晶ディスプレイ，有機ＥＬディスプレイ等を用いている。制御部２５は、ＣＰＵ，ＲＯＭ及びＲＡＭのコンピュータ部品を主体に構成したものである。
As shown in FIG. 1, the flow
記憶部２２には、特に動線生データベース３１、カメラ画像データベース３２、動線データベース３３、設定データベース３４、カメラパラメータデータベース３５、店内エリア定義データベース３６及び店内マップデータベース３７を形成している。なお、記憶部２２は、動線編集装置２０に内蔵されていてもよいし、外付けされていてもよい。また、例えば後述する動線編集処理を開始する前に予め記憶しておく、もしくは処理の途中で追記される動線データベース３３、設定データベース３４、カメラパラメータデータベース３５及び店内エリア定義データベース３６については内蔵の記憶部で記憶し、動線編集処理を開始するに先立って動線データ生成システム１０から取り込む必要がある動線生データベース３１及びカメラ画像データベース３２は、外付けの記憶部に記憶するようにしてもよい。
In the
動線生データベース３１には、動線データ生成システム１０で順次生成される動線生データが時系列に記憶される。動線生データベース３１に記憶される動線生データのデータ構造を図３に示す。図示するように動線生データベース３１には、動線データ生成システム１０においてカメラ画像の１フレーム毎に生成される動線生データ（フレーム別動線生データ）が順次蓄積される。本実施の形態では１フレーム毎に生成される動線データは１／１５秒毎の動線データとなる。なお、１フレームの間隔は変更が可能であり、より詳細な動線データが必要であれば１フレームの間隔を１／３０秒毎等とすれば良いし、動線生データベース３１のファイル容量を小さくする必要があれば１フレームの間隔を１／１０秒毎等とすれば良い。
In the flow line
ここで、１フレーム単位の動線生データブロックには、６台のカメラＣＡ１〜ＣＡ６で撮影された同時点の各フレーム画像を保存したカメラ画像ファイルのファイル名、各フレーム画像をそれぞれ特定するオフセット値、各フレームの撮影日時情報（時間情報）、各フレーム画像の画像処理によって移動体として検出された人物すなわちターゲットの数及びそのターゲット数分のターゲット情報（ＩＤ，Ｘ，Ｙ，Ｈ）が記憶される。 Here, in the flow line raw data block of one frame unit, the file name of the camera image file storing each frame image at the same time taken by the six cameras CA1 to CA6, and the offset specifying each frame image respectively. Value, shooting date / time information (time information) of each frame, the number of persons detected as moving bodies by image processing of each frame image, that is, the number of targets and target information (ID, X, Y, H) for the number of targets are stored. Is done.
ターゲット情報には、ターゲットを識別するためのターゲットＩＤ（識別子）と、そのターゲットの店舗内の位置を三次元の世界座標系で示す店舗内座標（Ｘ，Ｙ，Ｈ）とが含まれる。本実施の形態では、図２の店内レイアウト図において、左奥の角をＸ軸及びＹ軸の原点（０，０）とし、その床面をＨ（Height）軸の原点としている。 The target information includes a target ID (identifier) for identifying the target and in-store coordinates (X, Y, H) indicating the position of the target in the store in a three-dimensional world coordinate system. In the present embodiment, in the in-store layout diagram of FIG. 2, the left left corner is the origin (0, 0) of the X axis and the Y axis, and the floor is the origin of the H (Height) axis.
カメラ画像データベース３２には、６台のカメラＣＡ１〜ＣＡ６で撮影された同時点の各フレーム画像を記憶したカメラ画像ファイルのデータが順次蓄積記憶される。
The
動線データベース３３には、動線生データベース３１に記憶された動線生データに基づいてターゲット毎に生成される動線データが記憶される。動線データの主要なデータ構造を図４に示す。図示するように、動線データは、固有の動線ＩＤと、この動線ＩＤで特定される動線の開始位置である始点を示す二次元座標（Ｘ０．Ｙ０）と、同動線の終了位置である終点を示す二次元座標（Ｘｎ．Ｙｎ）と、同動線に関わる画像フレーム時間単位のインデックス情報と、状態ステータス，無効化ステータス及び部分動線ステータスと、［起点］，［前連結ＩＤ］，及び［後連結ＩＤ］の各定義情報とで構成される。インデックス情報には、店舗内座標（Ｘ，Ｙ，Ｈ）と、画像フレームの撮影日時情報Ｔと、変化点フラグＦとが含まれる。
The
なお、状態ステータス，無効化ステータス，部分動線ステータス，各種定義情報及び変化点フラグＦについては後述する。 The status status, invalidation status, partial flow line status, various definition information, and change point flag F will be described later.
設定データベース３４には、動線編集作業に必要な種々の設定データが予め格納されている。 The setting database 34 stores various setting data necessary for the flow line editing work in advance.
カメラパラメータデータベース３５には、魚眼カメラＣＡ１〜ＣＡ３に関する種々のパラメータデータと、全方位カメラＣＡ４〜ＣＡ６に関する種々のパラメータデータとが予め格納されている。
In the
店内エリア定義データベース３６には、店舗内のエリアを定義するためのデータが予め格納されている。本実施の形態では、図２のレイアウト図において、入退場口ＩＮ／ＯＵＴより店内側の図中破線で囲われた矩形の領域を入口エリアと設定し、この入口エリア内の二次元座標（Ｘ，Ｙ）が入口エリア定義データとして記憶されている。また、客が買い回りすることができない店内の商品陳列棚設置エリアと会計カウンタＣＨより内側のエリアを無効エリアと設定し、この無効エリア内の二次元座標（Ｘ，Ｙ）が無効エリア定義データとして記憶されている。さらに、入口エリアと無効エリアとを除く店内のエリア、つまり買物をする客が移動し得るエリアを監視対象の領域である店内エリアと設定し、この店内エリア内の二次元座標（Ｘ，Ｙ）が店内エリア定義データとして記憶されている。因みに、無効エリアに対して残りの入口エリアと店内エリアは、ターゲットである客が存在し得る有効領域として区分される。
In the store
店内マップデータベース３７には、図２に示すレイアウト図と同様の店内マップ平面図のイメージデータが予め格納されている。
In the
かかる構成の動線編集装置２０を用いて動線の編集作業を行うオペレータは、作業に先立ち動線データ生成システム１０から作業対象である動線生データとその動線生データを生成するために用いたカメラ画像データとをデータ受信部２１を介して取込む。そして、動線生データベース３１とカメラ画像データベース３２とにそれぞれ保存する。この状態で、操作入力部２３を操作して、動線編集業務の開始を指令する。すると、動線編集プログラムが起動する。動線編集プログラムは、予め記憶部２２にインストールされている。
An operator who performs a flow line editing operation using the flow
動線編集プログラムが起動すると、制御部２５は、このプログラムに従い図６の流れ図に示す手順で各部を制御する。先ず、ＳＴ（ステップ）１として動線編集画面４０を画面表示部２４に表示させる。
When the flow line editing program is activated, the
動線編集画面４０の一レイアウト例を図５に示す。図示するように、動線編集画面４０は、動線編集部４１と、カメラ画像表示部４２と、動線リスト表示部４３と、座標表示部４４とに区分されている。
One layout example of the flow
動線編集部４１には、店内マップデータベース３７に記憶されているイメージデータにより店内マップの平面図が表示される。また、スクロールバー４５を画面に向かって左端から右端にスライドさせることによりカメラ画像の撮影時間が経過し、その時間に撮影されたカメラ画像から検出されたターゲットの動線が該店内マップに重ねて表示される。
The flow
カメラ画像表示部４２には、各カメラＣＡ１〜ＣＡ６で撮影された画像が表示される。図示するように、６個のカメラ画像を並べて同時に表示することもできるし、その中から選択された１乃至複数のカメラ画像を拡大して表示することもできる。
The camera
動線編集画面４０を表示した後、制御部２５は、ＳＴ２として動線データ作成処理を実行する。この作成処理の処理手順は、図７の流れ図によって示される。すなわち制御部２５は、先ず、ＳＴ３１として動線データベース３３をクリアする。次に、ＳＴ３２として番号カウンタのカウント値Ｎを“０”に初期設定する。この初期設定値“０”は、動線データ生成システム１０において、新たなターゲットを検出する毎に付与されるターゲットＩＤの初期値である。
After displaying the flow
番号カウンタのカウント値Ｎを“０”に初期設定した後、制御部２５は、ＳＴ３３として動線生データベース３１を検索する。そして、ＳＴ３４として各フレーム別動線生データの中からターゲットＩＤが番号カウンタのカウント値Ｎと一致するターゲット情報（ＩＤ，Ｘ，Ｙ，Ｈ等）を有する動線生データを検出する。
After the count value N of the number counter is initially set to “0”, the
ターゲットＩＤが“Ｎ”のターゲット情報を有するフレーム別動線生データを１つでも検出できた場合には、制御部２５は、ＳＴ３５としてそのターゲットＩＤを動線ＩＤとする動線編集レコード（動線データ）を生成する。そしてこの動線編集レコードに、ターゲットＩＤが“Ｎ”のターゲット情報を有するフレーム別動線生データの中で、フレーム日時情報が最も古い動線生データに記憶されている当該ターゲット情報の店舗内二次元座標（Ｘ，Ｙ）を始点座標（Ｘ０，Ｙ０）としてセットする。また、フレーム日時情報が最も新しいフレーム別動線生データに記憶されている当該ターゲット情報の店舗内二次元座標（Ｘ，Ｙ）を終点座標（Ｘｎ，Ｙｎ）としてセットする。さらに、検出された全てのフレーム別動線生データからターゲットＩＤが“Ｎ”のターゲット情報をすべて抽出し、これらのターゲット情報の店舗内座標（Ｘ，Ｙ，Ｈ）と、フレーム日時情報Ｔとを、動線インデックス情報として日時の古い順に動線編集レコードにセットする。
If even one frame-by-frame flow line raw data having target information with the target ID “N” is detected, the
こうして、動線ＩＤが“Ｎ”の動線編集レコードを作成したならば、制御部２５は、ＳＴ３６としてこの動線編集レコードを動線データベース３３に追加する。しかる後、ＳＴ３７として番号カウンタを“１”だけカウントアップしたならば、ＳＴ３３〜ＳＴ３７の処理を再度実行する。以後、ターゲットＩＤが“Ｎ”のターゲット情報（ＩＤ，Ｘ，Ｙ，Ｈ等）を有する動線生データを検出できなくなるまで、この処理を繰り返す。すなわち、動線生データベース３１のフレーム別動線生データを基に、動線ＩＤが１ずつ昇順する動線編集レコードを順次生成して、動線データベース３３に追加する処理を繰り返す。
When the flow line edit record having the flow line ID “N” is created in this way, the
ＳＴ３４にてターゲットＩＤが“Ｎ”のターゲット情報を有する動線生データを検出できなかったならば、制御部２５は、ＳＴ３８として番号カウンタのカウント値Ｎから“１”を減算した値（Ｎ−１）を最終動線ＩＤとしてメモリに記憶して、この動線データ作成処理を終了する。
If the flow line raw data having the target information with the target ID “N” cannot be detected in ST34, the
動線データ作成処理を終了すると、制御部２５は、次に、ＳＴ３として動線の状態定義処理を実行する。この状態定義処理の処理手順は、図８の流れ図によって示される。すなわち制御部２５は、動線データベース３３から動線編集レコードを１データずつ抽出する。そして、動線編集レコードを抽出する毎に、以下の処理を実行する。
When the flow line data creation process ends, the
先ず、ＳＴ４１として抽出した動線編集レコードから動線始点座標を取得する。そして、店内エリア定義データベース３６を参照してこの動線始点座標が入口エリア定義データとして設定された座標であるか否かを判断する。入口エリア定義データの座標であった場合には、制御部２５は、ＳＴ４２として同動線編集レコードから動線終点座標を取得する。そして、店内エリア定義データベース３６を参照してこの動線終点座標も入口エリア定義データとして設定された座標か否かを判断する。
First, the flow line start point coordinates are acquired from the flow line edit record extracted as ST41. Then, it is determined with reference to the in-store
動線終点座標も入口エリア定義データの座標であった場合には、制御部２５は、ＳＴ４３として同動線編集レコードの動線インデックス情報を日時の古い順に調べる。そして、入口エリア定義データとして設定された座標以外の座標を含む動線インデックス情報を検出したならば、この動線編集レコードに対応するターゲットは、入口エリアから少なくとも一度出て、その後、再び入口エリアに戻ったので、この動線編集レコードの状態ステータスを「入口→入口」に設定する。これに対し、入口エリア定義データとして設定された座標以外の座標を含む動線インデックス情報を１つも検出しなかった場合には、この動線編集レコードに対応するターゲットは、入口エリアから一度も出なかったので、この動線編集レコードの状態ステータスを「入口」に設定する。
When the flow line end point coordinates are also the coordinates of the entry area definition data, the
一方、ＳＴ４２にて動線終点座標が入口エリア定義データの座標でなかった場合、すなわち店内エリア定義データまたは無効エリア定義データの座標である場合には、制御部２５は、この動線編集レコードの状態ステータスを「入口→店内」に設定する。
On the other hand, if the flow line end point coordinate is not the coordinate of the entrance area definition data in ST42, that is, if it is the coordinate of the in-store area definition data or the invalid area definition data, the
一方、ＳＴ４１にて動線始点座標が入口エリア定義データとして設定された座標でなかった場合には、制御部２５は、ＳＴ４４としてこの動線始点座標が店内エリア定義データとして設定された座標であるか無効エリア定義データとして設定された座標であるかを判断する。無効エリア定義データの座標であった場合には、ＳＴ４５として同動線編集レコードから動線終点座標を取得する。そして、店内エリア定義データベース３６を参照してこの動線終点座標が無効エリア定義データとして設定された座標か否かを判断する。
On the other hand, when the flow line start point coordinates are not the coordinates set as the entrance area definition data in ST41, the
動線終点座標が無効エリア定義データの座標であった場合には、制御部２５は、ＳＴ４６として同動線編集レコードの動線インデックス情報を日時の古い順に調べる。そして、無効エリア定義データとして設定された座標以外の座標を含む動線インデックス情報を１つも検出しなかった場合には、この動線編集レコードに対応するターゲットは、無効エリアから一度も出なかったので、この動線編集レコードの状態ステータスを「無効」に設定する。これに対し、無効エリア定義データとして設定された座標以外の座標を含む動線インデックス情報を検出したならば、この動線編集レコードに対応するターゲットは、無効エリアから少なくとも一度出て、その後、再び無効エリアに戻ったので、この動線編集レコードの状態ステータスを「店内→店内」に設定する。
When the flow line end point coordinates are the coordinates of the invalid area definition data, the
一方、ＳＴ４５にて動線終点座標が無効エリア定義データの座標でなかった場合には、制御部２５は、ＳＴ４７にて店内エリア定義データベース３６を参照してこの動線終点座標が店内エリア定義データとして設定された座標か否かを判断する。
On the other hand, when the flow line end point coordinates are not the coordinates of the invalid area definition data in ST45, the
動線終点座標が店内エリア定義データの座標であった場合には、この動線編集レコードの状態ステータスを「店内→店内」に設定する。これに対し、店内エリア定義データの座標でなかった場合、すなわち、入口エリア定義データの座標である場合には、同状態ステータスを「店内→入口」に設定する。 If the flow line end point coordinates are the coordinates of the in-store area definition data, the status status of this flow line edit record is set to “in-store → in-store”. On the other hand, if it is not the coordinates of the in-store area definition data, that is, if it is the coordinates of the entrance area definition data, the same status is set to “in-store → entrance”.
一方、ＳＴ４４にて動線始点座標が無効エリア定義データの座標でなかった場合、すなわち、店内エリア定義データの座標であった場合には、制御部２５は、ＳＴ４８として同動線編集レコードから動線終点座標を取得する。そして、店内エリア定義データベース３６を参照してこの動線終点座標が入口エリア定義データとして設定された座標か否かを判断する。
On the other hand, if the flow line start point coordinates are not the coordinates of the invalid area definition data in ST44, that is, if they are the coordinates of the in-store area definition data, the
動線終点座標が入口エリア定義データの座標であった場合には、この動線編集レコードの状態ステータスを「店内→入口」に設定する。これに対し、入口エリア定義データの座標でなかった場合、すなわち、店内エリア定義データまたは無効エリア定義データの座標である場合には、同状態ステータスを「店内→店内」に設定する。 When the flow line end point coordinates are the coordinates of the entrance area definition data, the state status of this flow line edit record is set to “in-store → entrance”. On the other hand, if it is not the coordinates of the entrance area definition data, that is, if it is the coordinates of the in-store area definition data or the invalid area definition data, the same status is set to “in-store → in-store”.
制御部２５は、動線データベース３３の全ての動線編集レコードについて上記処理を実行する。こうして、全ての動線編集レコードに対して、「入口→入口」，「入口」，「入口→店内」，「店内→入口」，「店内→店内」，「無効」のなかのいずれかの状態ステータスを設定したならば、この状態定義処理を終了する（動線状態判定手段）。
The
動線の状態定義処理を終了すると、制御部２５は、次に、ＳＴ４として動線の無効化処理を実行する。この無効化処理の処理手順は、図９の流れ図によって示される。すなわち制御部２５は、設定データベース３４から無効化条件の設定データを取得する。無効化条件には、動線の開始または終了位置が無効エリアに存在する動線を無効化する条件、いわゆる領域条件と、動線の追跡時間が予め設定された閾値以下の動線を無効化する条件、いわゆる時間条件とがある。そして、これらの条件を有効とするか否かは、予めオペレータによって選択され、設定データベース３４に設定されている。
When the flow line state definition process ends, the
無効化条件設定データを取得した制御部２５は、先ず、ＳＴ５１として領域条件がオン（有効）かオフ（無効）かを判断する。領域条件がオンの場合には、動線データベース３３の動線編集レコードを１データずつ抽出して、その状態ステータスを調べる。そして、状態ステータスが「無効」であったならば、その動線編集レコードの無効化ステータスを「オン」にして動線データベース３３に戻す。すなわち、当該動線編集レコードを無効化する。因みに、無効化された動線編集レコードは、この後の編集処理において処理されることはない。状態ステータスが「無効」でなかった場合には、無効化ステータスを「オフ」のまま動線データベース３３に戻す。
The
動線データベース３３の全ての動線編集レコードの状態ステータスを調べ終えるか、領域条件がオフであった場合には、制御部５１は、ＳＴ５２として時間条件がオン（有効）かオフ（無効）かを判断する。時間条件がオンの場合には、動線データベース３３の動線編集レコードを１データずつ抽出して動線追跡時間を算出する。すなわち、この動線編集レコードの先頭の動線インデックス情報のフレーム日時情報Ｔから最終の動線インデックス情報のフレーム日時情報Ｔまでの経過時間を算出する。そして、この動線追跡時間がオペレータによって予め設定データベース３４に設定された閾値以下であるか否かを判断する。そして、動線追跡時間が閾値以下であった場合には、その動線編集レコードの無効化ステータスを「オン」にして動線データベース３３に戻す。閾値より長い場合には、無効化ステータスを「オフ」のまま動線データベース３３に戻す。
If the status status of all the flow line edit records in the
動線データベース３３の全ての動線編集レコードの動線追跡時間を調べ終えるか、時間条件がオフであった場合には、この無効化処理を終了する。
When the flow line tracking time of all flow line edit records in the
動線の無効化処理が終了すると、制御部２５は、次に、ＳＴ５として動線の分割処理を実行する。この分割処理の処理手順は、図１０の流れ図によって示される。すなわち制御部２５は、動線データベース３３から無効化ステータスが「オン」でない動線編集レコードを１データずつ抽出する。そして、抽出する毎に、以下の処理を実行する。
When the flow line invalidation process ends, the
先ず、ＳＴ６１として動線追跡処理を実行する。すなわち、動線インデックス情報をフレーム日時の古い順に取得し、その三次元座標が、店内エリア定義データベース３６において、入口エリア定義データまたは店内エリア定義データとして設定された座標から無効エリア定義データとして設定された座標に変化した動線インデックス情報、または無効エリア定義データとして設定された座標から入口エリア定義データまたは店内エリア定義データとして設定された座標に変化した動線インデックス情報を検出する。そして、該当する動線インデックス情報を検出したならば、制御部２５は、ＳＴ６２としてその動線インデックス情報の変化点フラグＦをセットする。すなわち、変化点を記録する（変化点抽出手段）。
First, a flow line tracking process is executed as ST61. That is, the flow line index information is acquired in order of the frame date and time, and the three-dimensional coordinates thereof are set as invalid area definition data from the coordinates set as the entrance area definition data or the store area definition data in the store
抽出した動線編集レコードの先頭の動線インデックス情報から最終の動線インデックス情報まで変化点をチェックし終えたならば、制御部２５は、ＳＴ６３としてこの動線編集レコードで管理される動線に変化点があるか否か、すなわち、変化点フラグがセットされた動線インデックス情報が存在するか否かを調べる。そして、変化点フラグがセットされた動線インデックス情報を検出したならば、変化点を有する動線編集レコードなので、制御部２５は、ＳＴ６４としてその変化点での動線分割処理を実行する。
When the change point is checked from the first flow line index information to the last flow line index information of the extracted flow line edit record, the
すなわち制御部２５は、この動線編集レコードのコピーを動線データベース３３に追加し、このコピーした動線編集レコードの動線ＩＤを、前記最終動線ＩＤに“１”を加算した値に書き換える。このとき、記憶している最終動線ＩＤにも“１”を加算する。また、コピーした動線編集レコードに関して、先頭の動線インデックス情報から変化点フラグがセットされている動線インデックス情報の直前のインデックス情報までを削除し、変化点フラグがセットされている動線インデックス情報を先頭のインデックス情報とする。そして、この先頭のインデックス情報の変化点フラグをリセットするともに、この先頭のインデックス情報の二次元座標を当該動線編集レコードの動線開始位置座標（Ｘ０，Ｙ０）とする。さらに、この動線編集レコードについて前記状態定義処理と同様の処理を実行し、状態ステータスを更新する。しかる後、部分動線ステータスを「オン」して、部分動線編集レコードとする。
That is, the
一方、コピー元の動線編集レコードについては、変化点フラグがセットされている動線インデックス情報から以後の動線インデックス情報を削除し、残った動線インデックス情報のうち日時が最も新しい動線インデックス情報の二次元座標を、当該動線編集レコードの動線終点座標（Ｘｎ，Ｙｎ）とする。そして、この動線編集レコードについても前記状態定義処理と同様の処理を実行して状態ステータスを更新するとともに、部分動線ステータスを「オン」して、部分動線編集レコードとする。 On the other hand, for the flow source edit record of the copy source, the subsequent flow line index information is deleted from the flow line index information in which the change point flag is set, and the flow line index with the latest date and time among the remaining flow line index information. The two-dimensional coordinates of the information are set as the flow line end coordinates (Xn, Yn) of the flow line edit record. For this flow line edit record, the same process as the state definition process is executed to update the state status, and the partial flow line status is turned “ON” to make a partial flow line edit record.
かくして、変化点を有する動線編集レコードが変化点より前の部分動線レコードと変化点以後の部分動線レコードとに自動的に分割されるので、次に、制御部２５は、コピーした部分動線編集レコード（変化点以後の部分動線レコード）にさらに変化点フラグがセットされている動線インデックス情報が存在するか否かを調べる。そして、変化点フラグがセットされている動線インデックス情報を検出したならば、上記と同様な処理を実行して、変化点より前の部分動線レコードと変化点以後の部分動線レコードとに分割する（部分動線データ生成手段）。
Thus, since the flow line edit record having the change point is automatically divided into the partial flow line record before the change point and the partial flow line record after the change point, the
こうして、変化点を有する動線編集レコードを、変化点を有さない複数の部分動線編集レコードに分割し終えたならば、次に、制御部２５は、ＳＴ６５として各部分動線編集レコードから無効エリア内の部分動線に関するレコードを無効化する。
When the flow line edit record having a change point is thus divided into a plurality of partial flow line edit records not having a change point, the
すなわち、部分動線編集レコード毎に状態ステータスを調べ、「無効」であったならば、この部分動線編集レコードの無効化ステータスをセットする（データ無効化手段）。 That is, the status status is checked for each partial flow line edit record, and if it is “invalid”, the invalidation status of this partial flow line edit record is set (data invalidation means).
上記ＳＴ６１〜ＳＴ６５までの処理を、全ての動線編集レコードについて実行したならば、制御部２５は、ＳＴ６６として無効化条件の中の時間条件がオンしているか否かを判断する。時間条件がオンされていない場合には、この分割処理を終了する。
If the processes from ST61 to ST65 have been executed for all the flow line edit records, the
時間条件がオンされていた場合には、動線データベース３３から部分動線ステータスがセットされているレコード、すなわち部分動線編集レコードで、無効化ステータスがセットされていないレコードを順次抽出する。そして、前述した動線無効化処理のときと同様に動線追跡時間を算出して、閾値以下であれば無効化ステータスをセットする。有効な全ての部分動線編集レコードについて上記処理を完了すると、この分割処理を終了する。
When the time condition is turned on, records in which the partial flow line status is set from the
上記分割処理を実行することによって、動線データベース３３に記憶されている有効な動線編集レコードは、その定義情報が、「入口」，「入口→入口」，「入口→店内」，「店内→店内」または「店内→入口」のいずれかになる。
By executing the above dividing process, the effective flow line edit record stored in the
動線の分割処理を終了すると、制御部２５は、ＳＴ６として動線データベース３３を検索して、無効化ステータスがセットされていない全ての動線編集レコードを抽出する。そして、抽出したレコードの動線ＩＤ、開始位置座標及び終了位置座標を一覧表にした動線リストを作成し、動線編集画面４０の動線リスト表示部４３に表示する。そして制御部２５は、ＳＴ７としてオペレータにより動線リストからいずれかの動線が選択されるのを待機する。すなわち、動線データベース３３に記憶された動線データの中から連結元となる第１の動線データの選択入力を受付ける（第１の動線選択手段，連結元動線選択手段）。
When the flow line dividing process ends, the
操作入力部２３の操作入力により動線リストからいずれかの動線ＩＤが選択入力されたならば、制御部２５は、ＳＴ８としてこの選択された動線ＩＤを連結元動線のＩＤとして記憶する。そして、ＳＴ９として連結元動線再生処理を実行する。この再生処理の処理手順は、図１１の流れ図によって示される。
If any flow line ID is selected and input from the flow line list by the operation input of the
すなわち制御部２５は、先ず、ＳＴ７１として動線生データベース３１を先頭フレームの動線生データから順に検索して、連結元動線ＩＤをターゲットＩＤとするターゲット情報を含む動線生データを全て取込む。次に、ＳＴ７２として取込んだ各動線生データから、それぞれカメラ画像ファイル名を取得する。そして、カメラ画像データベース３２からこのカメラ画像ファイル名が設定されたカメラ画像ファイルを全て取込む。
That is, the
次に、制御部２５は、ＳＴ７３として取込んだ各動線生データのフレーム日時情報を比較する。そして、フレーム日時情報が古い順に動線生データを選択して、以下の処理を実行する。
Next, the
すなわち、ＳＴ７４として選択した動線生データから連結元動線ＩＤをターゲットＩＤとするターゲット情報の三次元座標を取得する。また、ＳＴ７５として選択した動線生データのカメラ画像オフセット値で特定されるフレーム画像を、取込んだカメラ画像ファイルから抽出する。さらに、ＳＴ７６として取得した世界座標系の三次元座標を、該当するカメラ画像系の座標に変換する。この変換処理は、カメラＣＡ１〜ＣＡ６毎に、それぞれ図１２の流れ図に示す手順で処理する。なお、この変換処理では、カメラパラメータデータベース３５に予め設定されている以下のパラメータを使用する。
That is, the three-dimensional coordinates of the target information having the connection source flow line ID as the target ID are acquired from the flow line raw data selected as ST74. Further, the frame image specified by the camera image offset value of the flow line raw data selected in ST75 is extracted from the captured camera image file. Furthermore, the three-dimensional coordinates of the world coordinate system acquired as ST76 are converted into the coordinates of the corresponding camera image system. This conversion process is performed for each of the cameras CA1 to CA6 according to the procedure shown in the flowchart of FIG. In this conversion process, the following parameters set in advance in the
・世界座標系の動線座標：ｘ，ｙ，ｈ
・世界座標系のカメラの位置：Ｗｘ，Ｗｙ，Ｗｚ
・画像中心の座標：Ｃｘ，Ｃｙ
・世界座標系の座標軸周りのカメラ回転角：Ｒｘ，Ｒｙ，Ｒｚ
・全方位カメラのパラメータ：ｂ，ｃ，ｆ
・魚眼カメラのパラメータ：ｋ１，ｋ３，ｋ５，scale
先ず、制御部２５は、ＳＴ８１として変換対象の動線座標（ｘ，ｙ，ｈ）を、カメラ位置を原点とした座標系（Ｘ０，Ｙ０，Ｚ０）に平行移動する。この処理は、次の演算式により実行される。
・ World camera position: Wx, Wy, Wz
-Image center coordinates: Cx, Cy
-Camera rotation angle around the coordinate axis of the world coordinate system: Rx, Ry, Rz
-Omnidirectional camera parameters: b, c, f
・ Fisheye camera parameters: k1, k3, k5, scale
First, in ST81, the
次に、制御部２５は、ＳＴ８２として平行移動した動線座標（Ｘ０，Ｙ０，Ｚ０）について、世界座標系の座標軸周りのカメラ回転角を使って回転処理し、世界座標系とカメラ座標系の軸を合せる。この処理は、次の演算式により実行される。
Next, the
［Ｘ軸周りの回転］
［Ｙ軸周りの回転］
［Ｚ軸周りの回転］
次に、制御部２５は、ＳＴ８３として処理対象のカメラの種類を判別する。魚眼カメラＣＡ１，ＣＡ２，ＣＡ３に対しては、ＳＴ８４として魚眼カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算により実行される。
Next, the
先ず、Ｘｄ＝ｒcosｔ：Ｙｄ＝ｒsinｔとする。 First, Xd = rcost: Yd = rsint.
ただし、Ｙｚ≧０のとき、
Ｙｚ＜０のとき、
である。ここで、上記ｒの値を、下記数式のニュートン法を用いて求める。
なお、この数式において、初期値ｒ0を0.0、目標値をθとする。また、｜ｒn+1−ｒｎ｜＜0.01で収束したとみなす。その時点でのｒの値を使用する。 In this equation, the initial value r 0 is 0.0 and the target value is θ. In addition, it is considered that convergence is achieved when | r n + 1 −r n | <0.01. The value of r at that time is used.
一方、全方位カメラＣＡ４，ＣＡ５，ＣＡ６に対しては、ＳＴ８５として全方位カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算式により実行される。
こうして、動線座標を世界座標系からカメラ画像座標系に変換したならば、制御部２５は、ＳＴ８６として変換後の座標（Ｘｄ，Ｙｄ）をカメラ画像座標系の原点に平行移動する。この処理は、次の演算式により実行される。
以上、ＳＴ８１〜ＳＴ８６の処理を実行することにより、選択した動線生データから取得したターゲット情報の三次元座標が、各カメラＣＡ１〜ＣＡ６のカメラ画像系の座標に変換される。 As described above, by executing the processes of ST81 to ST86, the three-dimensional coordinates of the target information acquired from the selected flow line raw data are converted into the coordinates of the camera image systems of the cameras CA1 to CA6.
かくして、三次元座標、フレーム画像及びカメラ画像系座標を取得したならば、制御部２５は、ＳＴ７７としてその三次元座標に基づいて動線編集画面４０の動線編集部４１に動線を表示する（動線表示手段）。また同時に、動線編集画面４０のカメラ画像表示部４２にフレーム画像を表示し（カメラ画像表示手段）、さらに、カメラ画像系座標に基づいてカメラ画像表示部４２に連結元動線ＩＤを表示する。
Thus, if the three-dimensional coordinates, the frame image, and the camera image system coordinates are acquired, the
しかる後、制御部２５は、ＳＴ７８として処理した動線生データの次に古い動線生データが取り込まれているか否かを判断する。次に古い動線生データが取り込まれている場合には、前記ＳＴ７４〜ＳＴ７８の処理を繰り返す。次に古い動線生データが取り込まれていない場合には、取り込んだフレーム別動線生データについてフレーム日時情報が古い順に前記ＳＴ７４〜ＳＴ７８の処理を実行したので、この再生処理を終了する。
Thereafter, the
かかる手順の再生処理が実行されることにより、動線編集画面４０の動線編集部４１には、動線リストの中からオペレータが選択した動線ＩＤの動線が表示される。また、この動線表示に同期して、同一時点のカメラ画像が動線編集画面４０のカメラ画像表示部４２に表示される。そして、このカメラ画像には、動線のターゲット位置に動線ＩＤが表示される。
By executing the reproduction process of such a procedure, the flow
したがってオペレータは、動線の動きとカメラ画像とを見比べて、その動線が１人の人物を追跡したものであるか否かを容易に判別することができる。また、前述したように、同一人物に対する動線は途中で途切れることが一般的であるので、途切れる前の動線と途切れた後の動線とが同一人物に対する動線なのか否かも容易に判別することできる。そして、同一人物に対する動線であると判別できた場合には、その途切れる前の動線と途切れた後の動線とを１つの動線に連結すればよい。そこで次に、この連結作業について述べる。 Therefore, the operator can easily determine whether or not the flow line traces one person by comparing the movement of the flow line and the camera image. In addition, as described above, since the flow line for the same person is generally interrupted, it is easy to determine whether the flow line before the break and the flow line after the break are flow lines for the same person. Can do. When it is possible to determine that the flow line is for the same person, the flow line before the break and the flow line after the break may be connected to one flow line. Then, this connection work is described next.
なお、前述したように、動線データベース３３に記憶されている有効な動線編集レコードは、その定義情報が、「入口」，「入口→入口」，「入口→店内」，「店内→店内」または「店内→入口」のいずれかである。このうち、定義情報が「入口→入口」及び「入口」のレコードは、入店から退店までを追跡した完全動線である。また、定義情報が「店内→入口」のレコードは、退店につながるレコードなので、連結先動線にはなり得るものの連結元動線にはなり得ない。
As described above, the valid flow line edit record stored in the
そこで、前記連結元動線再生処理が終了すると、制御部２５は、ＳＴ１０としてこの再生した連結元動線が完全動線であるか否かを判断する。すなわち、動線データベース３３を検索して、連結元動線ＩＤを動線ＩＤとする動線編集レコードを取得する。そして、この動線編集レコードの状態ステータスを調べる。ここで、状態ステータスが「入口→入口」または「入口」の場合は完全動線と判断し、その他の場合は不完全動線と判断する。
Therefore, when the connection source flow line reproduction process is completed, the
完全動線の場合には、制御部２５は、ＳＴ１５の連結定義処理に進む。
不完全動線の場合には、制御部２５は、ＳＴ１１として連結先動線候補検索処理を実行する。この検索処理の処理手順は、図１３の流れ図によって示される。すなわち制御部２５は、先ず、ＳＴ９１として設定データベース３４から検索条件を取得する。検索条件には、「時間」と「距離」がある。
In the case of a complete flow line, the
In the case of an incomplete flow line, the
検索条件として「時間」が設定されていた場合には、制御部２５は、ＳＴ９２として連結元動線の動線終了時刻を取得する。すなわち、連結元動線ＩＤを動線ＩＤとする動線編集レコードのなかから最終フレームに対応した動線インデックス情報のフレーム日時を動線終了時刻として取得する。
When “time” is set as the search condition, the
次に、制御部２５は、ＳＴ９３として動線データベース３３を検索して、連結先動線として完全動線以外の動線、すなわち状態ステータスが「入口→店内」，「店内→店内」，「店内→入口」の動線編集レコードを抽出する。そして、この抽出した連結先動線の動線開始時刻、すなわち当該動線編集レコードの先頭フレームに対応した動線インデックス情報のフレーム日時と、前記連結元動線の動線終了時刻との時間差を算出する。そして、この時間差が予め設定された閾値以内であった場合には、この連結先動線を連結先候補の動線として残す。時間差が閾値を超える連結先動線は、連結先候補から外す。
Next, the
動線データベース３３に設定されている全ての連結先動線について、上記ＳＴ９３以降の処理を実行する。そして、この処理を終了したならば、制御部２５は、ＳＴ９４として連結先候補の動線を時間差の小さい順にリストアップして、動線リスト表示部４３に表示する。
The processing from ST93 onward is executed for all connection destination flow lines set in the
一方、検索条件として「距離」が設定されていた場合には、制御部２５は、ＳＴ９５として連結元動線の動線終点座標を取得する。すなわち、連結元動線ＩＤを動線ＩＤとする動線編集レコードから動線終点座標を取得する。
On the other hand, when “distance” is set as the search condition, the
次に、制御部２５は、ＳＴ９６として動線データベース３３を検索して、連結先動線の動線編集レコードを抽出する。そして、この抽出した連結先動線の動線始点座標、すなわち当該動線編集レコードから動線始点座標を取得し、前記連結元動線の動線終点座標との距離を算出する。そして、この距離が予め設定された閾値以内であった場合には、この連結先動線を連結先候補の動線として残す。距離が閾値を超える連結先動線は、連結先候補から外す。
Next, the
動線データベース３３に設定されている全ての連結先動線について、上記ＳＴ９６以降の処理を実行する。そして、この処理を終了したならば、制御部２５は、ＳＴ９７として連結先候補の動線を距離の短い順にリストアップして、動線リスト表示部４３に表示する。
The processing from ST96 onward is executed for all the connection destination flow lines set in the
こうして、連結先候補処理が終了すると、制御部２５は、ＳＴ１２として動線リスト表示部４３に表示されている候補の中から連結先動線が選択されるのを待機する。すなわち、動線データベース３３に記憶された動線データの中から連結先となる第２の動線データの選択入力を受付ける（第２の動線選択手段，連結先動線選択手段）。そして、操作入力部２３の操作入力により連結先動線が選択されたならば、制御部２５は、ＳＴ１３として連結先動線再生処理を実行する。この再生処理は、図１１に示した連結元動線再生処理と対象となる動線データが異なるだけで、その処理手順は同じである。したがって、ここでの説明は省略する。
When the connection destination candidate process is thus completed, the
この再生処理が実行されることにより、動線編集画面４０の動線編集部４１には、連結先候補リストの中からオペレータが選択した連結先動線ＩＤの動線が表示される。また、この動線表示に同期して、同一時点のカメラ画像が動線編集画面４０のカメラ画像表示部４２に表示される。そして、このカメラ画像には、動線のターゲット位置に動線ＩＤが表示される。
By executing this reproduction process, the flow
したがってオペレータは、動線の動きとカメラ画像とを見比べて、その動線が先に選択した連結元動線に連結される動線であるか否かを判断する。そして、操作入力部２３を介してその判断結果を入力する。
Therefore, the operator compares the movement of the flow line with the camera image and determines whether or not the flow line is a flow line connected to the previously selected connection source flow line. Then, the determination result is input via the
制御部２５は、ＳＴ１４として連結元動線に連結される動線でない旨の入力を受付けた場合には、ＳＴ１２に戻り、次の連結先動線が選択されるのを待機する。これに対し、連結元動線に連結される動線である旨の入力を受付けた場合には、ＳＴ１５の連結定義処理を実行する。
When the
この連結定義処理の処理手順は、図１４の流れ図によって示される。すなわち制御部２５は、先ず、ＳＴ１０１として連結元動線の状態ステータスを判定する。ここで、状態ステータスが「入口→入口」または「入口」の場合、すなわち完全動線の場合には、この連結元動線に対応した動線編集レコードの連結定義情報［起点］を「連結元動線ＩＤ」とし、連結定義情報［前連結ＩＤ］及び［後連結ＩＤ］をいずれも「設定なし」とする。
The procedure of this connection definition process is shown by the flowchart of FIG. That is, the
これに対し、状態ステータスが「入口→店内」の場合には、ＳＴ１０２として、ＳＴ１２の処理で選択された連結先動線の状態ステータスを判定する。連結先動線の状態ステータスが「店内→店内」であった場合には、この連結先動線及び連結元動線にそれぞれ対応した動線編集レコードの連結定義情報［起点］を「連結元動線ＩＤ」とする。また、連結元動線に対応した動線編集レコードの連結定義情報［前連結ＩＤ］を「設定なし」とし、連結先動線に対応した動線編集レコードの連結定義情報［前連結ＩＤ］を「連結元動線ＩＤ」とし、連結元動線に対応した動線編集レコードの連結定義情報［後連結ＩＤ］を「連結先動線ＩＤ」とする。これに対し、連結先動線の状態ステータスが「店内→入口」または「入口」であった場合には、この連結先動線及び連結元動線にそれぞれ対応した動線編集レコードの連結定義情報［起点］を「連結元動線ＩＤ」とする。また、連結元動線に対応した動線編集レコードの連結定義情報［前連結ＩＤ］を「設定なし」とし、連結先動線に対応した動線編集レコードの連結定義情報［前連結ＩＤ］を「連結元動線ＩＤ」とし、連結元動線に対応した動線編集レコードの連結定義情報［後連結ＩＤ］を「連結先動線ＩＤ」とする。さらに、連結先動線に対応した動線編集レコードの連結定義情報［後連結ＩＤ］を「設定なし」とする。 On the other hand, when the status is “entrance → inside the store”, the status status of the connection destination flow line selected in ST12 is determined as ST102. If the state status of the link destination flow line is “In-store → In-store”, the link definition information [starting point] of the flow line edit record corresponding to each of the link destination flow line and the link source flow line is set to “Link source flow”. Line ID ". Also, the link definition information [previous link ID] of the flow line edit record corresponding to the link source flow line is set to “no setting”, and the link definition information [previous link ID] of the flow line edit record corresponding to the link destination flow line is set. The “link source flow ID” is used, and the link definition information [post-link ID] of the flow line edit record corresponding to the link source flow line is “link destination flow line ID”. On the other hand, if the state status of the link destination flow line is “inside store → entrance” or “entrance”, the link definition information of the flow line edit record corresponding to the link destination flow line and the link source flow line respectively. Let [Start Point] be a “link source flow line ID”. Also, the link definition information [previous link ID] of the flow line edit record corresponding to the link source flow line is set to “no setting”, and the link definition information [previous link ID] of the flow line edit record corresponding to the link destination flow line is set. The “link source flow ID” is used, and the link definition information [post-link ID] of the flow line edit record corresponding to the link source flow line is “link destination flow line ID”. Further, the link definition information [post-link ID] of the flow line edit record corresponding to the link destination flow line is set to “no setting”.
一方、連結元動線の状態ステータスが「入口→入口」，「入口」及び「入口→店内」でない場合、すなわち「店内→店内」の場合には、ＳＴ１０３として、やはり連結先動線の状態ステータスを判定する。連結先動線の状態ステータスが「店内→店内」であった場合には、この連結先動線に対応した動線編集レコードの連結定義情報［起点］を「連結元動線の起点」とする。また、連結先動線に対応した動線編集レコードの連結定義情報［前連結ＩＤ］を「連結元動線ＩＤ」とし、連結元動線に対応した動線編集レコードの連結定義情報［後連結ＩＤ］を「連結先動線ＩＤ」とする。これに対し、連結先動線の状態ステータスが「店内→入口」であった場合には、この連結先動線に対応した動線編集レコードの連結定義情報［起点］を「連結元動線の起点」とする。また、連結先動線に対応した動線編集レコードの連結定義情報［前連結ＩＤ］を「連結元動線ＩＤ」とし、連結元動線に対応した動線編集レコードの連結定義情報［後連結ＩＤ］を「連結先動線ＩＤ」とする。さらに、連結先動線に対応した動線編集レコードの連結定義情報［後連結ＩＤ］を「設定なし」とする。 On the other hand, if the state status of the connection source flow line is not “entrance → entrance”, “entrance”, and “entrance → inside store”, that is, “inside store → inside store”, the state status of the connection destination flow line is again ST103. Determine. When the state status of the link destination flow line is “in-store → in-store”, the link definition information [start point] of the flow line edit record corresponding to the link destination flow line is set to “start point of the link source flow line”. . Also, the link definition information [previous link ID] of the flow line edit record corresponding to the link destination flow line is set to “link source flow line ID”, and the link definition information of the flow line edit record corresponding to the link source flow line [back link ID] is “connection destination flow line ID”. On the other hand, if the state status of the link destination flow line is “in-store → entrance”, the link definition information [origin] of the flow line edit record corresponding to this link destination flow line is set to “link source flow line”. This is the “starting point”. Also, the link definition information [previous link ID] of the flow line edit record corresponding to the link destination flow line is set to “link source flow line ID”, and the link definition information of the flow line edit record corresponding to the link source flow line [back link ID] is “connection destination flow line ID”. Further, the link definition information [post-link ID] of the flow line edit record corresponding to the link destination flow line is set to “no setting”.
こうして、連結定義処理が終了すると、制御部２５は、ＳＴ１６として連結元動線が退店まで定義されたか否かを判断する。連結元動線が完全動線であった場合には、退店まで定義されたと判断する。また、連結先動線として選択された動線の状態ステータスが「店内→入口」であった場合も、退店まで定義されたと判断する。それ以外の場合は、まだ退店まで定義されていないと判断する。そして、その場合は、ＳＴ１７として連結先動線を連結元動線に置き換えて、ＳＴ９以降の処理を再度実行する。
When the connection definition process is thus completed, the
ＳＴ１６にて、退店まで定義されたと判断した場合には、制御部２５は、ＳＴ１８として動線の選択が完了したか否かを判断する。ここで、操作入力部２３の操作入力により選択継続が指示された場合には、ＳＴ６に戻り、動線リストをリスト表示部４３に表示させて、次の動線が選択されるのを待機する。
If it is determined in ST16 that the store has been defined, the
一方、操作入力部２３の操作入力により選択終了が指示された場合には、制御部２５は、ＳＴ１９として連結処理を実行する。この連結処理の処理手順は、図１５の流れ図によって示される。すなわち制御部２５は、先ず、ＳＴ１１１として動線データベース３３を検索して、連結定義情報が設定された動線編集レコードの中から定義情報［前連結ＩＤ］が「設定なし」の動線編集レコードを１つ選択する。この選択した動線編集レコードに対応する動線を動線Ａと認識する。
On the other hand, when the selection end is instructed by the operation input of the
次に、制御部２５は、ＳＴ１１２としてこの動線Ａに対応した動線編集レコードの連結定義情報［後連結ＩＤ］が動線ＩＤとして設定された動線編集レコードを動線データベース３３から取得する。そして、この取得した動線編集レコードに対応する動線を動線Ｂと認識する。
Next, the
次に、制御部２５は、ＳＴ１１３として動線Ａに対応した動線編集レコードの連結定義情報［起点］と、動線Ｂに対応した動線編集レコードの連結定義情報［起点］とを比較する。その結果、一致していることを確認したならば、次に、制御部２５は、ＳＴ１１４として動線Ａの動線ＩＤと、動線Ｂに対応した動線編集レコードの連結定義情報［前連結ＩＤ］とを比較する。
Next, the
その結果、一致していることを確認したならば、次に、制御部２５は、ＳＴ１１５として動線Ａに対応した動線編集レコードの最終フレームに対応した動線インデックス情報のフレーム日時と、動線Ｂに対応した動線編集レコードの先頭フレームに対応した動線インデックス情報のフレーム日時との時間差を算出する。そして、この時間差が、カメラ画像の１フレーム以内であるか否かを判断する（連結点判定手段）。
As a result, if it is confirmed that they coincide with each other, the
１フレーム以内であった場合には、動線Ａの終点位置と動線Ｂの始点位置とが一致していると判断し、制御部２５は、ＳＴ１１６として動線Ａと動線Ｂを連結する。すなわち、動線Ｂに対応した動線編集レコードの先頭フレームに対応した動線インデックス情報から最終フレームに対応した動線インデックス情報を抽出し、動線Ａに対応した動線編集レコードの最終フレームに対応した動線インデックス情報の後に付加する。そして、この動線Ａに対応した動線編集レコードの動線終点座標を、動線Ｂに対応した動線編集レコードから抽出した最終フレーム対応の動線インデックス情報の座標に置換する。さらに、動線Ａに対応した動線編集レコードの状態ステータスを更新する。かくして、連結元となる動線データの始点から連結先となる動線データの終点までの軌跡を示す動線データが生成される（動線データ生成手段）。
If it is within one frame, it is determined that the end point position of the flow line A and the start point position of the flow line B coincide with each other, and the
これに対し、時間差が１フレームより長かった場合には、動線Ａの終点と動線Ｂの起点との間を補間処理する（補間手段）。補間処理としては、動線Ａの終点と動線Ｂの起点との間を直線で結ぶ線形補間が挙げられる。店内での客の動きは、ゆったりとした歩行が主であるので、線形補間でも充分に補間処理が可能である。補間処理の後、制御部２５は、ＳＴ１１６の連結処理を行う。
On the other hand, when the time difference is longer than one frame, interpolation processing is performed between the end point of the flow line A and the start point of the flow line B (interpolation means). Examples of the interpolation processing include linear interpolation that connects the end point of the flow line A and the start point of the flow line B with a straight line. Since the movement of customers in the store is mainly leisurely walking, interpolation processing can be sufficiently performed even with linear interpolation. After the interpolation process, the
その後、制御部２５は、ＳＴ１１７として動線Ｂに対応した動線編集レコードの連結定義情報［後連結ＩＤ］を判定する。ここで、連結定義情報［後連結ＩＤ］が「設定なし」以外の場合には、動線Ｂを動線Ａと置き換えて、ＳＴ１１２以降の処理を再度実行する。
Then, the
動線Ｂに対応した動線編集レコードの連結定義情報［後連結ＩＤ］が「設定なし」であった場合には、制御部２５は、ＳＴ１１８として連結定義情報が設定された動線編集レコードを検索し終えたか否かを判断する。未だ検索し終えていない場合には、ＳＴ１１１以降の処理を再度実行する。検索し終えたならば、この連結処理を終了する。
When the link definition information [following link ID] of the flow line edit record corresponding to the flow line B is “no setting”, the
連結処理を終了すると、制御部２５は、ＳＴ２０として動線データベース３３に記憶された動線編集レコードの中から、状態ステータスが「入口→入口」または「入口」の完全動線のレコードを検出する（完全動線検出手段）。そして、この完全動線のレコードを、記憶部２２の出力ファイルに出力する（完全動線出力手段）。データ出力後、動線編集プログラムは終了する。
When the connection process is completed, the
このように本実施の形態によれば、動線編集画面４０の動線編集部４１には、動線リストの中からオペレータが選択した動線ＩＤの動線を表示させることができ、また、この動線表示に同期して、同一時点のカメラ画像を動線編集画面４０のカメラ画像表示部４２に表示させることができる。さらに、このカメラ画像に対して動線のターゲット位置に動線ＩＤを表示させることができる。
As described above, according to the present embodiment, the flow
したがってオペレータは、動線の動きとカメラ画像とを見比べて、その動線が１人の人物を追跡したものであるか否かを容易に判別することができる。また、同一人物に対する動線は途中で途切れる場合があるが、このような場合に、途切れる前の動線と途切れた後の動線とが同一人物に対する動線なのか否かも容易に判別することできる。 Therefore, the operator can easily determine whether or not the flow line traces one person by comparing the movement of the flow line and the camera image. Also, the flow line for the same person may be interrupted in the middle. In such a case, it is also easy to determine whether the flow line before the break and the flow line after the break are flow lines for the same person. it can.
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。 The present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
例えば前記実施の形態では、画面表示部２４に表示される動線編集画面４０を、動線編集部４１と、カメラ画像表示部４２とに区分して、動線とそれに同期するカメラ画像とを表示する場合を示したが、画面表示部２４を動線表示用の第１の画面表示部と画像表示用の第２の画面表示部とを設け、それぞれに動線とそれに同期するカメラ画像とを表示するようにしてもよい。
For example, in the above-described embodiment, the flow
また、前記実施の形態では、座標を表す動線データとともに、それに同期する動画のカメラ画像とを表示する場合を示したが、動画でなく静止画のカメラ画像を表示するようにしてもよい。 Further, in the above-described embodiment, the case where the moving image data synchronized with the moving line data representing the coordinates is displayed, but a still camera image may be displayed instead of the moving image.
また、前記実施の形態では、動線編集プログラムにおいて、複数のカメラ画像から検出された移動体の位置座標をその移動体を検出した複数のカメラ画像を特定するデータと関連付けて時系列に記憶する動線データベース３１と、複数のカメラ画像を記憶するカメラ画像データベース３２とを備えたコンピュータに、動線データベース３１から移動体の位置座標とその移動体を検出した複数のカメラ画像の特定データとを時系列に順次取込む機能と、移動体の位置座標を取込む毎にその座標を終点座標とする移動体の動線を画面表示部２４に表示させる機能と、カメラ画像の特定データを取込む毎にそのデータで特定されるカメラ画像をカメラ画像データベース３２から順次取得し画面表示部２４に表示させる機能とを実現させたが、コンピュータに上記機能を実現させる部分だけを抽出したプログラムいわゆる動線表示プログラムをコンピュータ読取り可能なものとして構成し、コンピュータに読み取らせることによって、当該コンピュータを、本発明の動線表示装置として機能させることができる。
In the embodiment, in the flow line editing program, the position coordinates of the moving object detected from the plurality of camera images are stored in time series in association with the data specifying the plurality of camera images from which the moving object is detected. A computer having a
また、この場合において、同様の機能を有するプログラムをネットワークからコンピュータにダウンロードしても良いし、同様の機能を有するプログラムを記録媒体に記憶させたものをコンピュータにインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。 In this case, a program having a similar function may be downloaded from a network to a computer, or a program having a program having a similar function stored in a recording medium may be installed in the computer. The recording medium may be in any form as long as it can store a program such as a CD-ROM and can be read by a computer. In addition, the function obtained by installing or downloading in advance may be realized in cooperation with an OS (operating system) inside the apparatus.
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記１］カメラ画像から検出された移動体の位置座標をその移動体を検出したカメラ画像を特定するデータと関連付けて記憶する動線データベースと、前記カメラ画像を記憶するカメラ画像データベースと、前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとを取込むデータ取得手段と、このデータ取得手段により前記移動体の位置座標を取込むとその座標を表わす前記移動体の動線を表示する動線表示手段と、前記データ取得手段により前記カメラ画像の特定データを取込むとそのデータで特定されるカメラ画像を前記カメラ画像データベースから取得し表示するカメラ画像表示手段とを具備したことを特徴とする動線表示装置。
［付記２］前記動線表示手段は、画面を分割した一区画に前記動線を表示する手段であり、前記カメラ画像表示手段は、前記画面の他の区画に前記カメラ画像を表示する手段であることを特徴とする［付記１］記載の動線表示装置。
［付記３］動線データベースに、カメラ画像から検出された移動体の位置座標をその移動体を検出したカメラ画像を特定するデータと関連付けて記憶するとともに、カメラ画像データベースに、前記カメラ画像を記憶し、前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとをデータ取得手段により取込み、前記移動体の位置座標を取込むと、動線表示手段によりその座標を表わす前記移動体の動線を表示し、前記カメラ画像の特定データを取込むと、カメラ画像表示手段によりそのデータで特定されるカメラ画像を前記カメラ画像データベースから取得し表示することを特徴とする動線表示方法。
［付記４］カメラ画像から検出された移動体の位置座標をその移動体を検出したカメラ画像を特定するデータと関連付けて記憶する動線データベースと、前記カメラ画像を記憶するカメラ画像データベースとを備えたコンピュータに、前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとを取込む機能と、前記移動体の位置座標を取込むと、その座標を終点座標とする前記移動体の動線を表示部に表示させる機能と、前記カメラ画像の特定データを取込むと、そのデータで特定されるカメラ画像を前記カメラ画像データベースから取得し前記表示部に表示させる機能とを実現させることを特徴とする動線表示プログラム。
In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements over different embodiments may be combined.
The invention described in the scope of the claims of the present application will be appended below.
[Supplementary Note 1] A flow line database that stores the position coordinates of a moving object detected from a camera image in association with data that identifies the camera image that detected the moving object, a camera image database that stores the camera image, and Data acquisition means for taking in the position coordinates of the moving body and the specific data of the camera image that detected the moving body from the flow line database, and the position coordinates of the moving body taken in by the data acquisition means represent the coordinates A flow line display means for displaying a flow line of a moving body, and a camera image display for acquiring and displaying a camera image specified by the data from the camera image database when the specific data of the camera image is taken in by the data acquisition means And a flow line display device.
[Appendix 2] The flow line display means is means for displaying the flow line in one section obtained by dividing the screen, and the camera image display means is means for displaying the camera image in another section of the screen. The flow line display device according to [Appendix 1], characterized in that it exists.
[Supplementary Note 3] The position coordinate of the moving object detected from the camera image is stored in the flow line database in association with the data specifying the camera image in which the moving object is detected, and the camera image is stored in the camera image database. Then, from the flow line database, the position coordinates of the moving body and the specific data of the camera image in which the moving body is detected are taken in by the data acquisition means, and when the position coordinates of the moving body are taken in, the movement line display means When the moving line representing the moving object is displayed and the specific data of the camera image is taken in, a camera image specified by the data is acquired from the camera image database by the camera image display means and displayed. Flow line display method to be performed.
[Supplementary Note 4] A flow line database that stores the position coordinates of a moving object detected from a camera image in association with data that identifies the camera image that detected the moving object, and a camera image database that stores the camera image. A function of taking in the position coordinates of the moving body and the specific data of the camera image that detected the moving body from the flow line database, and taking the position coordinates of the moving body into the computer as end point coordinates. A function of displaying the flow line of the moving body on the display unit, and a function of acquiring the camera image specific data from the camera image database when the specific data of the camera image is taken in and displaying the data on the display unit A flow line display program characterized by realizing the above.
１０…動線データ生成システム、２０…動線編集装置、２１…データ主深部、２２…記憶部、２３…操作入力部、２４…画面表示部、２５…制御部、３１…動線データベース、３２…カメラ画像データベース、３３…動線編集データベース、３４…設定データベース、３５…カメラパラメータデータベース、３６…店内エリア定義データベース、３７…店内マップデータベース、４１…動線編集部、４２…カメラ画像表示部、４３…動線リスト表示部。
DESCRIPTION OF
Claims (7)
前記カメラ画像を記憶するカメラ画像データベースと、
前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとを時系列に順次取込むデータ取得手段と、
このデータ取得手段により前記移動体の位置座標を取込む毎にその座標を終点座標とする前記移動体の動線を表示する動線表示手段と、
前記データ取得手段により前記カメラ画像の特定データを取込む毎にそのデータで特定されるカメラ画像を前記カメラ画像データベースから順次取得し表示するカメラ画像表示手段と、
を具備したことを特徴とする動線表示装置。 A flow line database for storing the position coordinates and time information of the moving object detected from the camera image in association with the data specifying the camera image detecting the moving object;
A camera image database for storing the camera images;
Data acquisition means for sequentially acquiring, from the flow line database, the position coordinates of the moving object and the specific data of the camera image that has detected the moving object in time series;
A flow line display means for displaying a flow line of the moving body having the coordinates as an end point coordinate each time the position coordinates of the moving body are captured by the data acquisition means;
Camera image display means for sequentially acquiring and displaying camera images specified by the data every time the specific data of the camera image is taken in by the data acquisition means;
A flow line display device comprising:
前記カメラ画像表示手段は、前記画面の他の区画に前記カメラ画像を表示する手段であることを特徴とする請求項１記載の動線表示装置。 The flow line display means is means for displaying the flow line in a section obtained by dividing a screen.
The camera image display section, flow line display device according to claim 1, characterized in that the means for displaying the camera image in the other compartments of the screen.
前記位置座標を世界座標系からカメラ画像座標系に変換する座標系変換手段と、
この座標系変換手段により得られたカメラ画像座標系の座標を基に前記移動体の識別子を前記カメラ画像表示手段により表示されるカメラ画像上に表示させる識別子表示処理手段と、
をさらに具備したことを特徴とする請求項１または２記載の動線表示装置。 The position coordinates of the moving body is a three-dimensional world coordinate system,
Coordinate system conversion means for converting the position coordinates from the world coordinate system to the camera image coordinate system;
Identifier display processing means for displaying the identifier of the moving object on the camera image displayed by the camera image display means based on the coordinates of the camera image coordinate system obtained by the coordinate system conversion means;
Flow line display device according to claim 1, wherein, further provided with the.
前記カメラ画像を記憶するカメラ画像データベースと、
前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとを取込むデータ取得手段と、
このデータ取得手段により前記移動体の位置座標を取込むとその座標を表わす前記移動体の動線を表示する動線表示手段と、
前記データ取得手段により前記カメラ画像の特定データを取込むとそのデータで特定されるカメラ画像を前記カメラ画像データベースから取得し表示するカメラ画像表示手段と、
前記データ取得手段により取り込んだ移動体の位置座標を世界座標系からカメラ画像座標系に変換する座標系変換手段と、
この座標系変換手段により得られたカメラ画像座標系の座標を基に前記移動体の識別子を前記カメラ画像表示手段により表示されるカメラ画像上に表示させる識別子表示処理手段と、
を具備したことを特徴とする動線表示装置。 A flow line database for storing positional coordinates of the movable body comprising a three-dimensional world coordinate system, detected from the camera image in association with data identifying the camera image that detected the moving object,
A camera image database for storing the camera images;
Data acquisition means for capturing the position coordinates of the moving object and the specific data of the camera image that detected the moving object from the flow line database;
A flow line display means for displaying the flow line of the moving body representing the coordinates when the position coordinates of the moving body are taken in by the data acquisition means;
Camera image display means for acquiring and displaying the camera image specified by the data when the specific data of the camera image is taken in by the data acquisition means;
Coordinate system conversion means for converting the position coordinates of the moving body captured by the data acquisition means from the world coordinate system to the camera image coordinate system;
Identifier display processing means for displaying the identifier of the moving object on the camera image displayed by the camera image display means based on the coordinates of the camera image coordinate system obtained by the coordinate system conversion means;
A flow line display device comprising:
前記カメラ画像表示手段は、前記画面の他の区画に前記カメラ画像を表示する手段であることを特徴とする請求項４記載の動線表示装置。5. The flow line display device according to claim 4, wherein the camera image display means is means for displaying the camera image in another section of the screen.
前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとをデータ取得手段により時系列に順次取込み、
前記移動体の位置座標を取込む毎に、動線表示手段によってその座標を終点座標とする前記移動体の動線を表示し、
前記カメラ画像の特定データを取込む毎に、カメラ画像表示手段によってそのデータで特定されるカメラ画像を前記カメラ画像データベースから順次取得し表示することを特徴とする動線表示方法。 In the flow line database, the position coordinates and time information of the moving object detected from the camera image are stored in association with the data specifying the camera image in which the moving object is detected, and the camera image is stored in the camera image database. And
From the flow line database, the position coordinates of the moving body and the specific data of the camera image that detected the moving body are sequentially taken in time series by the data acquisition means,
Each time the position coordinates of the moving body are taken in, the flow line of the moving body with the coordinates as the end point coordinates is displayed by the flow line display means,
A flow line display method characterized in that each time the specific data of the camera image is taken in, the camera image specified by the camera image display means is sequentially acquired from the camera image database and displayed.
前記動線データベースから移動体の位置座標とその移動体を検出したカメラ画像の特定データとを時系列に順次取込む機能と、
前記移動体の位置座標を取込む毎にその座標を終点座標とする前記移動体の動線を表示部に表示させる機能と、
前記カメラ画像の特定データを取込む毎にそのデータで特定されるカメラ画像を前記カメラ画像データベースから順次取得し前記表示部に表示させる機能と、
を実現させることを特徴とする動線表示プログラム。 A flow line database for storing the position coordinates and time information of a moving body detected from a camera image in association with data for specifying a camera image for detecting the moving body, and a camera image database for storing the camera image. Computer
A function of sequentially capturing, in time series, the position coordinates of the moving object and the specific data of the camera image that detected the moving object from the flow line database;
A function to display on the display unit a flow line of the moving body having the coordinates as an end point coordinate each time the position coordinates of the moving body are captured;
A function of sequentially acquiring the camera image specified by the data every time the specific data of the camera image is taken in and displaying it on the display unit;
A flow line display program characterized by realizing the above.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007170703A JP4445980B2 (en) | 2007-06-28 | 2007-06-28 | Flow line display device, method and program |
| US12/215,603 US8139818B2 (en) | 2007-06-28 | 2008-06-26 | Trajectory processing apparatus and method |
| US13/396,101 US8509490B2 (en) | 2007-06-28 | 2012-02-14 | Trajectory processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007170703A JP4445980B2 (en) | 2007-06-28 | 2007-06-28 | Flow line display device, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009010734A JP2009010734A (en) | 2009-01-15 |
| JP4445980B2 true JP4445980B2 (en) | 2010-04-07 |
Family
ID=40325358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007170703A Expired - Fee Related JP4445980B2 (en) | 2007-06-28 | 2007-06-28 | Flow line display device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4445980B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5771367B2 (en) * | 2010-06-30 | 2015-08-26 | 東芝テック株式会社 | Flow line display apparatus and method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004118454A (en) * | 2002-09-25 | 2004-04-15 | Toshiba Lighting & Technology Corp | Selling space planning support system |
| JP2005309951A (en) * | 2004-04-23 | 2005-11-04 | Oki Electric Ind Co Ltd | Sales promotion support system |
-
2007
- 2007-06-28 JP JP2007170703A patent/JP4445980B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009010734A (en) | 2009-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4510112B2 (en) | Flow line analyzer | |
| JP4585580B2 (en) | Human flow tracking system | |
| US8509490B2 (en) | Trajectory processing apparatus and method | |
| JP4408916B2 (en) | Flow line editing apparatus, method and program | |
| JP5999394B2 (en) | Tracking support device, tracking support system, and tracking support method | |
| JP4685465B2 (en) | Monitoring and recording device | |
| JP2009110408A (en) | Moving route editing apparatus and moving route editing program | |
| CN104284147A (en) | Tracking assistance device, a tracking assistance system and a tracking assistance method | |
| WO2018037631A1 (en) | Tracking assistance device, tracking assistance system and tracking assistance method | |
| CN104284145A (en) | Tracking assistance device, a tracking assistance system and a tracking assistance method | |
| JP2009284167A (en) | Person's behavior monitoring device, and person's behavior monitoring program | |
| JP6124223B2 (en) | Incident video log data generation apparatus, incident video processing system, incident video log data generation method, and program | |
| JP6639734B2 (en) | Map data generation apparatus and method | |
| JP2011170565A (en) | Customer behavior collection method, device, and program | |
| JP2011130204A (en) | Video information processing method, and video information processing apparatus | |
| JP4408917B2 (en) | Flow line editing apparatus, method and program | |
| JP4802285B2 (en) | Flow line association method, apparatus and program | |
| JP5012589B2 (en) | Human tracking system using image information | |
| JP2011170564A (en) | Traffic line connection method, device, and traffic line connection program | |
| JP4445980B2 (en) | Flow line display device, method and program | |
| JP4429337B2 (en) | Flow line processing apparatus, method and program | |
| JP6405606B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4990997B2 (en) | Flow line editing apparatus and flow line editing program | |
| JP2009157846A (en) | Traffic line data editing device and traffic line data editing program | |
| JP2017162105A (en) | Information processing apparatus, control method therefor, program, and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |