JP5495235B2 - Apparatus and method for monitoring the behavior of a monitored person - Google Patents
Apparatus and method for monitoring the behavior of a monitored person Download PDFInfo
- Publication number
- JP5495235B2 JP5495235B2 JP2010269032A JP2010269032A JP5495235B2 JP 5495235 B2 JP5495235 B2 JP 5495235B2 JP 2010269032 A JP2010269032 A JP 2010269032A JP 2010269032 A JP2010269032 A JP 2010269032A JP 5495235 B2 JP5495235 B2 JP 5495235B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- monitoring
- state
- candidate
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、位置情報を用いたモニタリングシステムに関し、特に、監視対象者の動線に基づいて監視対象者の行動を分析する技術に関する。 The present invention relates to a monitoring system using position information, and more particularly to a technique for analyzing the behavior of a monitoring subject based on the flow line of the monitoring subject.
従来、監視対象者の移動軌跡である動線と、監視カメラによって撮影された画像と、を参照することによって、監視対象者の行動を監視する技術が提案されている。 2. Description of the Related Art Conventionally, there has been proposed a technique for monitoring a behavior of a monitoring subject by referring to a flow line that is a movement trajectory of the monitoring subject and an image captured by a surveillance camera.
例えば、特許文献１には、監視対象者の動線を用いて、監視カメラが撮影した画像を検索する技術が開示されている。
For example,
特許文献２には、ＲＦＩＤを用いて取得された監視対象者の位置情報と監視カメラの映像とを比較することによって両者を対応付け、これによって異常を検出する技術が開示されている。
監視対象者の動線を取得した場合、その動線を分析することによって、監視対象者の行動を分析することができる。しかし、その分析に必要な粒度は、監視対象者の行動を分析する目的によって異なる。言い換えると、分析によってある行動を区別する必要があるか否かは、分析の目的によって異なる。 When the flow line of the monitoring subject is acquired, the behavior of the monitoring subject can be analyzed by analyzing the flow line. However, the granularity required for the analysis differs depending on the purpose of analyzing the behavior of the monitoring subject. In other words, whether or not a certain action needs to be distinguished by analysis depends on the purpose of the analysis.
例えば、監視対象者が階段を通過するという行動を分析する場合において、単に監視対象者が移動をしたか否かを判定すれば十分である場合は、通過に要した時間にかかわらず、監視対象者が階段を通過したか否かを判定すればよい。監視対象者が階段以外の通路（例えば廊下）を通過した場合も同様である。 For example, when analyzing the behavior of a monitored person going through stairs, if it is sufficient to simply determine whether or not the monitored person has moved, the monitored object regardless of the time required to pass It may be determined whether the person has passed the stairs. The same applies when the monitoring subject passes through a passage (for example, a corridor) other than the stairs.
しかし、例えば階段の構造に関する調査を目的として監視対象者の行動を分析するのであれば、監視対象者が「比較的短時間で階段を通過した」という行動と、「比較的長時間をかけて階段を通過した」という行動を、異なる行動として判定する必要が生じる場合がある。この例においても、監視対象者が廊下を通過する行動については、それに要した時間を問題にする必要はない。このような場合にも、従来は一律の基準によって分析が行われるため、分析の範囲（例えば廊下又は階段等）ごとに分析の粒度を目的に応じて任意に設定することができなかった。 However, for example, if you want to analyze the behavior of the monitored person for the purpose of investigating the structure of the stairs, the monitored person will be able to It may be necessary to determine the action of “passing the stairs” as a different action. Also in this example, it is not necessary to consider the time required for the behavior of the monitoring subject passing through the hallway. Even in such a case, since the analysis is conventionally performed according to a uniform standard, the granularity of the analysis cannot be arbitrarily set according to the purpose for each analysis range (for example, a corridor or a staircase).
本発明は上記の点に鑑みてなされたものであり、監視対象者の動線を分析する際に、範囲ごとに任意の粒度を指定することによって、必要な情報の抽出を可能にすることを目的とする。 The present invention has been made in view of the above points, and it is possible to extract necessary information by specifying an arbitrary granularity for each range when analyzing a flow line of a monitoring target person. Objective.
本発明は、監視対象区域内の複数の監視対象者の行動を監視する監視装置であって、前記監視装置は、プロセッサと、前記プロセッサに接続される記憶装置と、を備え、前記記憶装置は、前記複数の監視対象者が携行する移動体端末の位置を示す測位データを保持し、前記プロセッサは、前記測位データの特徴量に基づいて前記監視対象者の行動を分類し、前記分類された行動に対応する複数の前記特徴量の相違の大きさ、又は、前記分類された行動に対応する前記特徴量の数に基づいて、複数の前記分類された行動から変更対象の候補を選択し、前記候補として選択された行動に対応する複数の測位データを抽出し、前記抽出された複数の測位データに関する情報を出力し、前記候補として選択された行動の分類を変更する指示が入力された場合、前記候補として選択された行動の分類を変更することを特徴とする。 The present invention is a monitoring device that monitors the actions of a plurality of monitoring subjects in a monitoring target area, the monitoring device comprising a processor and a storage device connected to the processor, wherein the storage device is Holding the positioning data indicating the position of the mobile terminal carried by the plurality of monitoring subjects, the processor classifies the behavior of the monitoring subject based on the feature quantity of the positioning data, the classified Selecting a candidate for change from a plurality of the classified actions based on the magnitude of the difference between the plurality of feature quantities corresponding to the action or the number of the feature quantities corresponding to the classified action, A plurality of positioning data corresponding to the behavior selected as the candidate is extracted, information on the plurality of extracted positioning data is output, and an instruction to change the classification of the behavior selected as the candidate is input If, and changes the classification of the selected action as the candidate.
本発明の一実施形態によれば、範囲ごとに分析の粒度を調整することによって、位置情報から監視対象者の行動を分析するために必要な情報を抽出することができる。 According to one embodiment of the present invention, by adjusting the analysis granularity for each range, it is possible to extract information necessary for analyzing the behavior of the monitoring target person from the position information.
以下、図面を用いて本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜第１の実施形態＞
図１は、本発明の第１の実施形態の施設モニタリングシステムの構成を示すブロック図である。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of a facility monitoring system according to the first embodiment of this invention.
本実施形態の施設モニタリングシステムは、モニタリングサーバ１００、画面表示装置１２０、一つ以上のセンサ１３０、一つ以上の移動体端末１４０、一つ以上の環境側測位装置１５０及びそれらを相互に接続するネットワーク１６０Ａ及び１６０Ｂを備える。
The facility monitoring system according to the present embodiment connects the
モニタリングサーバ１００は、監視区域内の移動体端末１４０の位置情報に基づいて、その移動体端末１４０を保持する監視対象者の行動を監視する。
The
ここで、監視区域とは、本実施形態の施設モニタリングシステムによる監視の対象の区域であり、例えば工場又は店舗等の施設である。監視区域が工場である場合、監視対象者は例えば工場の従業員であり、監視区域が店舗である場合、監視対象者は例えば店舗の従業員又は店舗の利用客である。なお、本実施形態では監視区域の典型例として工場内などの屋内を例示するが、屋外を監視する場合にも本発明を適用することができる。 Here, the monitoring area is an area to be monitored by the facility monitoring system of the present embodiment, for example, a facility such as a factory or a store. When the monitoring area is a factory, the monitoring target is, for example, an employee of the factory, and when the monitoring area is a store, the monitoring target is, for example, an employee of the store or a customer of the store. In the present embodiment, an indoor area such as a factory is illustrated as a typical example of the monitoring area, but the present invention can also be applied to an outdoor area.
監視区域の監視を行うために、モニタリングサーバ１００は、センサ情報管理部１０１、測位記録管理部１０２、センサ・測位統合部１０３、動線解析部１０４、分析条件調整部１０５、分析条件設定画面生成部１０６、分析結果画面生成部１０７、センサ情報データベース（ＤＢ）１１１、測位ＤＢ１１２、屋内地図ＤＢ１１３、分析情報ＤＢ１１４及びユーザＤＢ１１５を備える。これらの各部が実行する処理、各ＤＢに格納されるデータ、及び、これらを実現するためのハードウェア構成については後述する。
In order to monitor the monitoring area, the
画面表示装置１２０は、例えばＣＲＴ（Cathode Ray Tube）又は液晶表示装置等である。画面表示装置１２０に表示される画面の例については後述する。
The
図１の例では、センサ１３０がネットワーク１６０Ａを介してモニタリングサーバ１００に接続され、移動体端末１４０及び環境側測位装置１５０がネットワーク１６０Ｂを介してモニタリングサーバ１００に接続される。このように、独立したネットワークが設けられてもよく、それらの種類が互いに異なっていてもよいが、単一のネットワークが共用されてもよい。これらのネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、公衆無線網、又はインターネット等であってもよい。また、ネットワークの形態は有線又は無線のいずれであってもよい。
In the example of FIG. 1, the
移動体端末１４０は、各監視対象者が携行する装置である。本実施形態では、移動体端末１４０の位置情報が利用されるため、移動体端末１４０又は環境側測位装置１５０の少なくとも一方が移動体端末１４０の位置を計測する機能を備える必要がある。例えば、移動体端末１４０は、携帯電話機、ＰＨＳ（Personal Handyphone System）、無線通信機能付きのコンピュータ、ＰＤＡ（Personal Digital Assistants）又は少なくとも固有の識別情報を送信する無線タグ等である。
The
移動体端末１４０が例えばＧＰＳ（Global Positioning System）測位装置を備える携帯電話機又はＰＨＳである場合、移動体端末１４０は、ＧＰＳ測位装置によって取得された位置情報に、移動体端末１４０を識別する情報（ＩＤ情報、例えば電話番号）を付加し、ネットワーク１６０Ｂを介してそれらの情報をモニタリングサーバ１００に送信する。移動体端末１４０は、ＧＰＳ測位装置による測位の代わりに、例えば基地局から送信された信号を用いた測位を行ってもよい。この場合、測位のための信号を送信する基地局が環境側測位装置１５０であってもよい。
When the
移動体端末１４０が例えばコンピュータ又はＰＤＡ等である場合、移動体端末１４０が監視区域内に設置された複数の無線ＬＡＮアクセスポイント又は電波ビーコンから送信される電波、光ビーコンから放射される光信号の強度（又は受信タイミング）に基づいて移動体端末１４０の位置を計算し、計算された位置を示す情報に移動体端末１４０のＩＤ情報を付加し、それらの情報をモニタリングサーバ１００に送信してもよい。この場合、無線ＬＡＮアクセスポイント、電波ビーコン又は光ビーコンが環境側測位装置１５０であってもよい。
When the
環境側測位装置１５０が無線ＬＡＮアクセスポイントである場合、移動体端末１４０がＩＤ情報とともに測位信号を送信し、複数の環境側測位装置１５０が測位信号を受信した時刻を計測してもよい。各環境側測位装置１５０の位置が予め知られていれば、その位置と、測位信号の受信時刻の差とに基づいて、例えば三角測量と同様の方法を用いることによって、移動体端末１４０の位置を計算することができる。このような測位技術の一例として、ＡｉｒＬｏｃａｔｉｏｎ（登録商標）が知られている。
When the environment-
移動体端末１４０が無線タグである場合、環境側測位装置１５０は、移動体端末１４０にアクセスする送受信装置である。例えば、移動体端末１４０がいわゆるＲＦＩＤ（Radio Frequency Identification）タグである場合、複数の環境側測位装置１５０が監視区域の所定の位置に設置され、移動体端末１４０を身につけた監視対象者がいずれかの環境側測位装置１５０に接近すると、環境側測位装置１５０が無線信号を用いて移動体端末１４０のＩＤ情報を取得する。
When the
そして、環境側測位装置１５０は、取得したＩＤ情報に自身の位置を特定できる情報を付加してそれらをモニタリングサーバ１００に送信する。環境側測位装置１５０自身の位置を特定できる情報とは、例えばその環境側測位装置１５０のＩＤ情報であってもよいし、その環境側測位装置１５０の座標を示す情報であってもよい。各環境側測位装置１５０のＩＤ情報と座標との対応関係が予め知られていれば、ＩＤ情報から環境側測位装置１５０の位置を特定することができる。環境側測位装置１５０の位置に基づいて、そこに接近した移動体端末１４０の近似的な位置を特定することができる。
And the environment
あるいは、移動体端末１４０は、所定の測位信号を送信する無線タグであってもよい。複数の環境側測位装置１５０が測位信号を受信した時刻を計測し、その時刻の差に基づいて移動体端末１４０の位置を特定することができる。測位信号に移動体端末１４０のＩＤ情報が含まれていれば、環境側測位装置１５０は、そのＩＤ情報と、計測された位置情報とをモニタリングサーバ１００に送信することができる。
Alternatively, the
モニタリングサーバ１００は、各移動体端末１４のＩＤ情報と、それを携行する監視対象者の識別情報とを対応付ける情報を予め保持していれば、その情報に基づいて、受信した位置情報がどの監視対象者の位置を示しているかを特定することができる。
If the
具体的には、ユーザＤＢ１１５には、各監視対象者を識別する情報（例えば監視対象者の氏名又は従業員コード等）と、各監視対象者が保持する移動体端末１４０を識別する情報と、を対応付ける情報が登録される。
Specifically, in the
センサ１３０は、監視区域における監視対象者の行動を示す情報を取得して、取得した情報を、ネットワーク１６０Ａを介してモニタリングサーバ１００に送信する。以下、主に、センサ１３０が監視カメラである例について説明するが、センサ１３０は、その他のセンサ、例えばマイクロフォン、超音波センサ又は赤外線センサ等であってもよいし、販売履歴をモニタリングサーバ１００に送信する機能を備える自動販売機等であってもよい。
The
センサ１３０が監視カメラである場合、各センサ１３０が、監視区域内の各センサ１３０に割り当てられた所定の範囲を所定のタイミングで（例えば定期的に）撮影し、それによって得られた画像データをモニタリングサーバ１００に送信する。送信された画像データは、センサ情報管理部１０１によってセンサ情報ＤＢ１１１に格納される。この画像データは、静止画像データ又は動画像データのいずれであってもよい。動画像データの場合、所定のフレームレートでの撮影が連続的に行われてもよいし、一定時間の撮影が所定の時間間隔で断続的に繰り返されてもよい。このように撮影された画像を参照することによって、ある時間帯のある範囲における監視対象者の行動を把握することができる。
When the
センサ１３０がマイクロフォンである場合、監視区域内の各マイクロフォンに割り当てられた所定の範囲の音が連続的に又は断続的に収録される。収録された音声データは、モニタリングサーバ１００に送信され、センサ情報管理部１０１によってセンサ情報ＤＢ１１１に格納される。格納された音声データに基づいて、監視対象者の行動（例えば歩行、停止、物体を移動させる動作、ドアを開閉する動作、施錠・開錠動作、梱包・開梱動作等）を検出することができる。
When the
図２は、本発明の第１の実施形態のモニタリングサーバ１００のハードウェア構成を示すブロック図である。
FIG. 2 is a block diagram illustrating a hardware configuration of the
本実施形態のモニタリングサーバ１００は、相互に接続されたプロセッサ２０１、メインメモリ２０２、入力装置２０３、インターフェース（Ｉ／Ｆ）２０５及び記憶装置２０６を備える計算機である。
The
プロセッサ２０１は、メインメモリ２０２に格納されたプログラムを実行する。
The
メインメモリ２０２は、例えば半導体メモリであり、プロセッサ２０１によって実行されるプログラム及びプロセッサ２０１によって参照されるデータを格納する。具体的には、記憶装置２０６に格納されたプログラム及びデータの少なくとも一部が、必要に応じてメインメモリ２０２にコピーされる。
The
入力装置２０３は、施設モニタリングシステムの管理者（すなわち、モニタリングサーバ１００を使用して監視対象者を監視する者）からの入力を受ける。入力装置２０３は、例えばキーボード及びマウス等を含んでもよい。
The
Ｉ／Ｆ２０５は、ネットワーク１６０Ａ及び１６０Ｂに接続され、センサ１３０、移動体端末１４０及び環境側測位装置１５０と通信するインターフェースである。ネットワーク１６０Ａ及び１６０Ｂが互いに独立したものである場合、モニタリングサーバ１００は複数のＩ／Ｆ２０５を備え、それらのうち一つがネットワーク１６０Ａに、別の一つがネットワーク１６０Ｂに接続される。
The I /
記憶装置２０６は、例えばハードディスク装置（ＨＤＤ）又はフラッシュメモリのような不揮発性の記憶装置である。本実施形態の記憶装置２０６には、少なくとも、センサ情報管理部１０１、測位記録管理部１０２、センサ・測位統合部１０３、動線解析部１０４、分析条件調整部１０５、分析条件設定画面生成部１０６、分析結果画面生成部１０７、センサ情報データベース（ＤＢ）１１１、測位ＤＢ１１２、屋内地図ＤＢ１１３、分析情報ＤＢ１１４及びユーザＤＢ１１５が格納される。
The
センサ情報管理部１０１、測位記録管理部１０２、センサ・測位統合部１０３、動線解析部１０４、分析条件調整部１０５、分析条件設定画面生成部１０６及び分析結果画面生成部１０７は、プロセッサ２０１によって実行されるプログラムである。以下の説明においてこれらの各部が実行する処理は、実際にはプロセッサ２０１によって実行される。
The sensor
なお、図１に示すモニタリングサーバ１００は、図２に示すように一つの計算機によって構成されてもよいが、相互に通信可能な複数の計算機によって構成されてもよい。例えば、一方の計算機がセンサ情報管理部１０１、測位記録管理部１０２、センサ情報ＤＢ１１１及び測位ＤＢ１１２を備え、もう一方の計算機が残りの部分を備えてもよい。あるいは、一方の計算機がセンサ情報管理部１０１等の処理部を備え、もう一方の計算機がセンサ情報ＤＢ１１１等のデータベースを備えてもよい。
The
図３は、本発明の第１の実施形態の施設モニタリングシステムの動作の全体を示すフローチャートである。 FIG. 3 is a flowchart showing the overall operation of the facility monitoring system according to the first embodiment of the present invention.
屋内地図ＤＢ１１３が整備された後に、図３に示す処理が開始される。屋内地図ＤＢ１１３の内容については後述する（図９及び図１０参照）。
After the
本実施形態の施設モニタリングシステムは、データ収集ステップ３１０及びデータ分析ステップ３２０を実行する。
The facility monitoring system of the present embodiment executes a
データ収集ステップ３１０は、センシング結果及び測位結果を収集するために実行される。
A
具体的には、センサ１３０がセンシングを行い（ステップ３３１）、その結果をセンサ情報管理部１０１に送信する。移動体端末１４０又は環境側測位装置１５０は、測位を行い（ステップ３３２）、その結果を測位記録管理部１０２に送信する。送信される測位結果は、少なくとも移動体端末１４０の位置を示す情報を含む。送信される情報の詳細な内容については後述する（図６及び図７参照）。
Specifically, the
センサ情報管理部１０１及び測位記録管理部１０２は、それぞれ、受信した情報をセンサ情報ＤＢ１１１及び測位ＤＢ１１２に格納する（ステップ３１１）。
The sensor
データ分析ステップ３２０は、収集され、データベースに格納されたセンシング結果及び測位結果を分析するために実行される。例えば、モニタリングサーバ１００は、所定の期間にわたってセンシング結果及び測位結果を収集し（データ収集ステップ３１０）、その後、収集されたセンシング結果及び測位結果を分析するためにデータ分析ステップ３２０を実行してもよい。
具体的には、最初に、動線解析部１０４が、測位ＤＢ１１２に格納された位置情報に基づいて動線解析処理を実行する（ステップ３２１）。この処理の詳細については後述する（図１１等参照）。
Specifically, first, the flow
次に、分析条件設定画面生成部１０６が動線解析処理の結果に基づいて分析状況提示処理を実行する（ステップ３２２）。管理者は、この処理によって提示された分析状況を参照して、指示を入力する（ステップ３３３）。分析条件設定画面生成部１０６は、入力された指示に基づいて、分析結果が妥当か否かを判定する（ステップ３２３）。分析結果が妥当であると判定された場合、分析結果提示処理が実行され（ステップ３２６）、処理が終了する。
Next, the analysis condition setting
分析結果が妥当でない（すなわち分析結果を補正する必要がある）と判定された場合、分析条件設定画面生成部１０６は、分析条件設定画面提示処理を実行する（ステップ３２４）。この処理の詳細については後述する。
If it is determined that the analysis result is not valid (that is, the analysis result needs to be corrected), the analysis condition setting
次に、分析条件調整部１０５が分析条件調整処理を実行する（ステップ３２５）。そして、処理はステップ３２１に戻る。
Next, the analysis
図４は、本発明の第１の実施形態において実行される測位結果の送付処理を示すシーケンス図である。 FIG. 4 is a sequence diagram showing a positioning result sending process executed in the first embodiment of the present invention.
具体的には、図４は、図３のデータ収集ステップ３１０のうち、測位結果の収集のために実行される処理を示す。
Specifically, FIG. 4 shows processing executed for collecting the positioning results in the
移動体端末１４０は、測位を行い、それによって得られた情報を含む測位結果を測位記録管理部１０２に送信する（ステップ４０１）。測位記録管理部１０２は、受信した情報を含む測位データを測位ＤＢ１１２に格納する（ステップ４０２）。これらの処理が繰り返し実行され（ステップ４０５、４０６）、測位ＤＢ１１２に測位データが蓄積される。
The
一方、環境側測位装置１５０も測位を行い、それによって得られた情報を測位記録管理部１０２に送信する（ステップ４０３）。測位記録管理部１０２は、受信した情報を測位ＤＢ１１２に格納する（ステップ４０４）。図４では省略されているが、これらの処理も繰り返し実行され、測位ＤＢ１１２に測位データが蓄積される。
On the other hand, the environment
なお、図４は、施設モニタリングシステムにおいて複数の測位方法が併用される例を示している。通常、監視区域を含む施設は複数の監視対象者によって使用されるため、監視区域内に複数の移動体端末１４０が存在しうる。それらの複数の移動体端末１４０が全て同種の装置であるとは限らない。例えば、ある移動体端末１４０がＧＰＳ測位装置を備える携帯電話機であり、別の移動体端末１４０が無線タグである場合もある。この場合、携帯電話機の位置情報を含む測位結果はステップ４０１に示すように携帯電話機自身から送信され、無線タグの位置情報を含む測位結果はステップ４０３に示すように環境側測位装置１５０から送信される。
FIG. 4 shows an example in which a plurality of positioning methods are used in combination in the facility monitoring system. Usually, since a facility including a monitoring area is used by a plurality of monitoring subjects, a plurality of
なお、一つの測位方法のみが使用される場合には、測位結果は移動体端末１４０又は環境側測位装置１５０の一方のみから送信される。
When only one positioning method is used, the positioning result is transmitted from only one of the
図５は、本発明の第１の実施形態において実行されるセンサ情報の送付処理を示すシーケンス図である。 FIG. 5 is a sequence diagram showing sensor information sending processing executed in the first embodiment of the present invention.
具体的には、図５は、図３のデータ収集ステップ３１０のうち、センシング情報の収集のために実行される処理を示す。
Specifically, FIG. 5 shows processing executed for collecting sensing information in the
センサ１３０は、センシングを行い、それによって得られた情報をセンサ情報管理部１０１に送信する（ステップ５０１）。センサ情報管理部１０１は、受信したセンシング結果を含むセンサ情報をセンサ情報ＤＢ１１１に格納する（ステップ５０２）。センサ情報ＤＢ１１１に格納されるセンサ情報については後述する（図８参照）。これらの処理が繰り返し実行され（ステップ５０３〜５０６）、センサ情報ＤＢ１１１にセンシング結果が蓄積される。
The
次に、図６〜図１０を参照して、本実施形態の施設モニタリングシステムにおいて使用されるデータの例を説明する。 Next, an example of data used in the facility monitoring system of the present embodiment will be described with reference to FIGS.
図６は、本発明の第１の実施形態の移動体端末１４０又は環境側測位装置１５０から送信される測位結果の説明図である。
FIG. 6 is an explanatory diagram of a positioning result transmitted from the
既に説明したように、移動体端末１４０又は環境側測位装置１５０は、移動体端末１４０の位置を計測し、その結果として得られた位置情報を、モニタリングサーバ１００に送信する。このようにして送信される測位結果の例を図６に示す。
As already described, the
測位結果６００は、歩行者ＩＤ６０１、測位系ＩＤ６０２、Ｘ座標６０３、Ｙ座標６０４及び時刻６０５を含む。
The
歩行者ＩＤ６０１は、監視対象者を一意に識別する情報であり、例えば、電話番号、ＭＡＣ（Media Access Control）アドレス又はＲＦＩＤタグの識別情報のような、監視対象者が携行する移動体端末１４０の識別情報であってもよい。
The pedestrian ID 601 is information for uniquely identifying the monitoring target person. For example, the
測位系ＩＤ６０２は、測位手段を示すコードである。例えば、ＧＰＳ測位によって取得された座標値を含む測位結果６００の測位系ＩＤ６０２として「０」が、環境側測位装置１５０によって取得された座標値を含む測位結果６００の測位系ＩＤ６０２として「１」が付与されてもよい。
The positioning system ID 602 is a code indicating the positioning means. For example, “0” is set as the positioning system ID 602 of the
Ｘ座標６０３及びＹ座標６０４は、監視区域内における移動体端末１４０の（すなわちそれを携行する監視対象者の）位置を、二次元直交座標系中の座標値として特定する情報である。Ｘ座標６０３及びＹ座標６０４にさらにＺ座標を加えて三次元の位置情報を扱ってもよい。これらの座標値は一例であり、必ずしも直交座標系を用いなくてもよい。例えば、移動体端末１４０がＧＰＳ測位装置を備える場合、Ｘ座標６０３及びＹ座標６０４として経度及び緯度を示す情報が含まれてもよい。さらに、必要があれば高度を示す情報が含まれてもよい。
The X coordinate 603 and the Y coordinate 604 are information for specifying the position of the
時刻６０５は、測位が行われた時刻（言い換えると、測位結果６００が取得された時刻）を示す。時刻６０５は、必要に応じて、測位が行われた年月日を示す情報を含んでもよい。
The
測位記録管理部１０２は、測位結果６００を受信すると、測位データを生成して測位ＤＢ１１２に格納する。測位データは、少なくとも、測位結果６００に含まれる位置情報を含む。ただし、測位系ごとに異なる座標系が使用される場合には、測位記録管理部１０２が測位結果６００に含まれる座標値（すなわちＸ座標６０３及びＹ座標６０４）を変換することによって、測位データに含まれる座標値をいずれかの座標系に統一してもよい。このような変換は公知の方法によって実行できるため、詳細な説明は省略する。また、測位系ごとに異なる種類の歩行者ＩＤ（例えば電話番号、ＭＡＣアドレス又はＲＦＩＤ等）が使用される場合には、測位記録管理部１０２がそれらのＩＤをモニタリングサーバ１００内で使用される統一的な歩行者ＩＤに変換してもよい。
When receiving the
このようにして生成された測位データのフォーマットは、基本的には測位結果６００のフォーマットと同等であってよいが、上記のように測位系に応じた変換が終了しているため、測位データは測位系ＩＤ６０２を含まなくてよい。図６に示す一組の測位結果６００は、一人の監視対象者の一つの時刻における位置情報を含み、これが一組の測位データに対応する。測位ＤＢ１１２には、複数の組の測位データ、すなわち、複数の監視対象者に関する複数の時刻における位置情報が格納される。
The format of the positioning data generated in this way may be basically the same as the format of the
図７は、本発明の第１の実施形態のセンサ１３０から送信されるセンサ情報の説明図である。
FIG. 7 is an explanatory diagram of sensor information transmitted from the
既に説明したように、センサ１３０は、センシングを実行し、その結果（センシング結果）をモニタリングサーバ１００に送信する。このようにして送信されるセンサ情報の例を図７に示す。
As already described, the
センサ情報７００は、センサＩＤ７０１及びデータ７０２を含む。
The
センサＩＤ７０１は、センサ情報７００を送信したセンサ１３０を一意に識別する情報である。
The sensor ID 701 is information that uniquely identifies the
データ７０２は、センサ情報７００を送信したセンサ１３０がセンシングの結果として取得したデータであり、例えば画像データ又は音声データである。このデータ７０２は、ＤＳＰ（デジタル信号プロセッサ）によって処理されたデータであっても、処理されていない生のデータであってもよく、また、圧縮データであっても、非圧縮データであってもよい。
The
センサ１３０は、単にセンシングの結果である画像データ等を送信してもよいが、そのセンシング結果が前回のセンシング結果から変化したか否かを判定して、その判定の結果をデータ７０２に含めて送信してもよく、また、その判定の結果のみをデータ７０２として送信してもよい。
The
図８は、本発明の第１の実施形態のセンサ情報ＤＢ１１１に格納されるセンサ情報の説明図である。
FIG. 8 is an explanatory diagram of sensor information stored in the
センサ情報管理部１０１は、センサ情報７００を受信すると、そのセンサ情報７００に所定の処理を加えてセンサ情報ＤＢ１１１に格納する。少なくとも、センサ情報管理部１０１は、センサ情報７００を時刻と関連付けて格納する必要がある。
When the sensor
センサ情報８００は、センサＩＤ８０１、センサ種別８０２、時刻８０３及びデータ８０４を含む。これらのうち、センサＩＤ８０１及びデータ８０４は、図７のセンサＩＤ７０１及びデータ７０２に相当する。すなわち、センサ情報管理部１０１は、センサ情報７００を受信すると、それに含まれるセンサＩＤ７０１及びデータ７０２をそれぞれセンサＩＤ８０１及びデータ８０４としてセンサ情報ＤＢ１１１に格納する。
The
センサ種別８０２は、センサ情報７００を送信したセンサ１３０の種類、例えば、それが監視カメラであるか、マイクロフォンであるか、又はその他のセンサであるか、を示す。
The
時刻８０３は、センシングが行われた時刻を特定する情報である。例えばデータ８０４が静止画像データである場合、時刻８０３は、それが撮影された時刻であってもよい。データ８０４が動画像データ又は音声データのような、ある時間にわたって取得されたものである場合、時刻８０３は、例えばセンシングの開始時刻とセンシングの時間との組、センシングの開始時刻と終了時刻との組、そのセンシング時間を代表する時刻、又はそれらの組み合わせであってもよい。
なお、一つのセンサ１３０が取得した、一つの時刻に対応するセンシング結果が、一組のセンサ情報８００として格納される。センサ情報ＤＢ１１１には、複数の組のセンサ情報８００、すなわち、複数のセンサ１３０が複数の時刻にセンシングした結果を示す情報が格納される。
A sensing result corresponding to one time acquired by one
次に、屋内地図ＤＢ１１３に格納されるデータの例について説明する。屋内地図ＤＢ１１３には、地図情報９００及びセンサパラメータ１０００が格納される。
Next, an example of data stored in the
図９は、本発明の第１の実施形態の屋内地図ＤＢ１１３に格納される地図情報９００の説明図である。
FIG. 9 is an explanatory diagram of the
地図情報９００は、地物ＩＤ９０１、種別コード９０２及び形状９０３を含む。
The
地物ＩＤ９０１は、監視区域又はその周辺に存在する地物を一意に識別する情報である。ここで地物とは、床、壁、柱、物体収納棚、パーティション、及び天井から吊り下げられた物体（例えば空調ダクト、スピーカーボックス又は照明器具）等を含む。 The feature ID 901 is information for uniquely identifying a feature existing in or around the monitoring area. Here, the feature includes a floor, a wall, a pillar, an object storage shelf, a partition, an object suspended from the ceiling (for example, an air conditioning duct, a speaker box, or a lighting fixture).
種別コード９０２は、地物の種類を示す情報である。種別コード９０２は、例えば地物が壁、柱、梁、棚、扉等のいずれであるかを識別する情報であってもよい。各地物の種別コード９０２に基づいて、その地物によってセンシングが阻害されるか否かを判定することができる。
The
形状９０３は、地物の形状及び寸法を特定する情報であり、例えば、その地物の形状を現す座標点列を含む。 The shape 903 is information for specifying the shape and size of the feature, and includes, for example, a coordinate point sequence representing the shape of the feature.
一つの地物に関する情報が一組の地図情報９００として格納される。屋内地図ＤＢ１１３には、複数の組の地図情報９００、すなわち、複数の地物に関する地図情報９００が格納される。
Information about one feature is stored as a set of
図１０は、本発明の第１の実施形態の屋内地図ＤＢ１１３に格納されるセンサパラメータ１０００の説明図である。
FIG. 10 is an explanatory diagram of the
センサパラメータ１０００は、センサＩＤ１００１、種別コード１００２、設置箇所１００３及びセンサパラメータ１００４を含む。
The
センサＩＤ１００１は、監視区域内に設置された各センサ１３０を一意に識別する情報である。種別コード１００２は、センサの種類を示す情報である。これらは、それぞれ、センサ情報８００のセンサＩＤ８０１及びセンサ種別８０２と同様の情報であってよい。
The sensor ID 1001 is information for uniquely identifying each
設置箇所１００３は、監視区域内におけるセンサ１３０の設置箇所を特定する情報であり、例えば二次元又は三次元の座標値である。
The installation location 1003 is information for specifying the installation location of the
センサパラメータ１００４は、センサ１３０によってセンシング可能な領域を特定する情報である。例えば、センサ１３０が監視カメラである場合、センサパラメータ１００４は、監視カメラの向き、視野角及び解像度等を特定する情報を含んでもよい。センサ１３０がマイクロフォンである場合、センサパラメータ１００４は、マイクロフォンの向き、指向性及び感度等を特定する情報を含んでもよい。
The
一つのセンサ１３０に関する情報が一組のセンサパラメータ１０００として格納される。屋内地図ＤＢ１１３には、複数の組のセンサパラメータ１０００、すなわち、複数のセンサ１３０に関するセンサパラメータ１０００が格納される。
Information about one
次に、図３に示したステップの詳細について説明する。 Next, details of the steps shown in FIG. 3 will be described.
図１１は、本発明の第１の実施形態のモニタリングサーバ１００が実行する動線解析処理を示すフローチャートである。
FIG. 11 is a flowchart illustrating a flow line analysis process executed by the
図１１に示す処理は、図３のステップ３２１において実行される。
The process shown in FIG. 11 is executed in
最初に、動線解析部１０４は、測位データの特徴量を算出し、状態ラベルを生成する（ステップ１１０１）。具体的には、動線解析部１０４は、算出された特徴量についてクラスタリングを実行することによって、動線が示す監視対象者の行動を複数の状態に分類し、それらの状態にラベルを付与する。この詳細な手順については後述する（図１２Ａ〜図１２Ｄ等参照）。
First, the flow
次に、動線解析部１０４は、状態ラベルの遷移列を統計モデルに当てはめる（ステップ１１０２）。この詳細な手順については後述する。
Next, the flow
次に、動線解析部１０４は、統計モデルから情報を抽出する（ステップ１１０３）。この詳細な手順については後述する。
Next, the flow
以上で動線解析処理が終了する。 This completes the flow line analysis process.
ステップ１１０１において実行される特徴量の算出及び状態ラベルの生成について、図１２Ａ〜図１２Ｄを参照して説明する。
The feature amount calculation and state label generation executed in
図１２Ａは、本発明の第１の実施形態のモニタリングサーバ１００が実行する特徴量の算出及び状態ラベルの生成処理を示すフローチャートである。
FIG. 12A is a flowchart illustrating feature amount calculation and state label generation processing executed by the
図１２Ｂは、本発明の第１の実施形態における測位データの分割の説明図である。 FIG. 12B is an explanatory diagram of positioning data division according to the first embodiment of this invention.
図１２Ｃは、本発明の第１の実施形態における特徴量の算出の説明図である。 FIG. 12C is an explanatory diagram illustrating calculation of feature amounts according to the first embodiment of this invention.
図１２Ｄは、本発明の第１の実施形態におけるクラスタリングの説明図である。 FIG. 12D is an explanatory diagram of clustering according to the first embodiment of this invention.
最初に、動線解析部１０４は、測位データを時間的に分離する（ステップ１２０１）。具体的には、例えばある時刻における測位データの特徴量を算出する場合、算出の対象であるその時刻の測位データと、その時刻を含む所定の時間範囲内の測位データと、を測位ＤＢ１１２から取得する。このようにして取得された測位データの例を図１２Ｂに示す。図１２Ｂの黒丸の位置が、算出の対象である測位データが示す位置に相当し、白丸の位置が、所定の時間範囲内の測位データが示す位置に相当する。
First, the flow
次に、動線解析部１０４は、ステップ１２０１において取得された測位データから特徴量を算出する（ステップ１２０２）。特徴量は、例えば、測位データに含まれる位置情報、その位置情報から算出された監視対象者の速度及び加速度、等である。
Next, the flow
具体的には、ステップ１２０１において取得された測位データが複数の時刻における位置情報を含むため、それらに基づいて監視対象者の移動速度を計算することができ、さらに、その移動速度の変化から加速度を計算することができる。図１２Ｃに例示する特徴量は、
（１）１０秒前の速度
（２）１０秒前の加速度
（３）現在の速度
（４）現在の加速度
（５）１０秒後の速度
（６）１０秒後の加速度
（７）平均速度
（８）１０秒前の点と現在の点との間の距離
である。ここで、「現在」とは特徴量の取得対象である測位データが取得された時刻（すなわちその測位データに対応する時刻６０５）であり、「１０秒前」及び「１０秒後」の基準点は上記の「現在」である。
Specifically, since the positioning data acquired in
(1) Speed before 10 seconds (2) Acceleration before 10 seconds (3) Current speed (4) Current acceleration (5) Speed after 10 seconds (6) Acceleration after 10 seconds (7) Average speed ( 8) Distance between the point 10 seconds ago and the current point. Here, “current” is the time at which the positioning data that is the feature quantity acquisition target is acquired (that is, the
動線解析部１０４は、一つの測位データの特徴を示す値として、上記のように算出された特徴量のいずれか一つを使用してもよいが、通常は、複数の特徴量の組（例えば上記の８種類の特徴量の組）を使用する。このような複数の特徴量の組は、一般に、それらの特徴量を要素として含むベクトル（すなわち特徴量ベクトル）として扱われる。ｎ次元（上記の例では８次元）の特徴量ベクトルは、ｎ次元空間における点として表現することができる。以下、このような特徴量ベクトル（すなわち特徴量の組）を用いる例を説明する。
The flow
なお、上記のような特徴量は一例であり、他の特徴量が計算されてもよい。また、上記の８次元も一例であり、任意の次元の特徴量ベクトルを使用することができる。例えば、特徴量ベクトルの要素として、現在の位置を示す特徴量がさらに含まれてもよい。 Note that the above feature quantities are examples, and other feature quantities may be calculated. The above eight dimensions are also an example, and feature quantity vectors of arbitrary dimensions can be used. For example, a feature quantity indicating the current position may be further included as an element of the feature quantity vector.
次に、動線解析部１０４は、ステップ１２０２において算出された特徴量ベクトルを含む複数の特徴量ベクトルをクラスタリングし、状態ラベルを生成する（ステップ１２０３）。このクラスタリングは、後述するように（図１３参照）、ｋ−ｍｅａｎｓ法などの公知のアルゴリズムによって実行される。
Next, the flow
例えば、動線解析部１０４は、上記のステップ１２０１及び１２０２を複数の監視対象者及び複数の時刻の各々について繰り返し実行することによって、各監視対象者に関する時刻ごとの特徴量ベクトルを算出することができる。このようにして算出された複数の特徴量ベクトルを対象として、クラスタリングが実行される。
For example, the flow
例えば、ｎ次元（図１２Ｄの例では２次元）空間における複数の特徴量ベクトル（図１２Ｄにプロットされた複数の黒点）が、複数のクラスタ（図１２Ｄの例ではクラスタＡ、Ｂ及びＣ）に分類される。図１２Ｄに示す「Ａ」〜「Ｃ」は、生成された状態ラベルである。 For example, a plurality of feature vectors (a plurality of black dots plotted in FIG. 12D) in an n-dimensional (two-dimensional in the example of FIG. 12D) space into a plurality of clusters (clusters A, B, and C in the example of FIG. 12D). being classified. “A” to “C” shown in FIG. 12D are generated state labels.
二つの特徴量ベクトル間の距離が近いことは、それらの特徴量ベクトルが類似していることを意味する。二つの特徴量ベクトルが類似していることは、それらの特徴量ベクトルに対応する監視対象者の行動が同一である可能性が高いことを意味する。 The fact that the distance between the two feature quantity vectors is short means that the feature quantity vectors are similar. The similarity between the two feature quantity vectors means that there is a high possibility that the behavior of the monitoring subject corresponding to these feature quantity vectors is the same.
このため、上記のクラスタリングによって一つのクラスタに属すると判定された複数の特徴量ベクトルは、例えばそれらが複数の監視対象者に関するものである場合、それらの監視対象者の同一の行動に対応する可能性が高い。言い換えると、本実施形態のクラスタリングは、監視対象者の行動を測位データに基づいて分類することに相当し、状態ラベルは、分類された行動を識別する標識である。 Therefore, a plurality of feature amount vectors determined to belong to one cluster by the above clustering can correspond to the same behavior of those monitoring subjects, for example, when they relate to a plurality of monitoring subjects. High nature. In other words, the clustering of the present embodiment corresponds to classifying the behavior of the monitoring subject based on the positioning data, and the state label is a marker for identifying the classified behavior.
ここで、ある特徴量ベクトルに対応する監視対象者の行動とは、その特徴量ベクトルの算出の基礎となったある監視対象者に関する測位データが取得されたときに、その監視対象者が行っていた、と管理者によって判断される行動である。また、本実施形態において、同一の行動とは、同一の行動として分類される行動であり、必ずしも完全に同一な行動を意味しない。そして、既に説明したように、二つの行動が同一であるか否かを判定する基準は、監視対象者の行動を監視する目的によって左右される。言い換えると、一つのクラスタに属する複数の特徴量ベクトルは、互いに類似しているため、同一の行動に対応する可能性が高いが、実際には、異なる行動として分類されるべき行動に対応している可能性もある。 Here, the behavior of the monitoring target person corresponding to a certain feature vector means that the monitoring target person performs when the positioning data related to the certain monitoring target person who is the basis for calculating the feature vector is acquired. This action is determined by the administrator. In this embodiment, the same action is an action classified as the same action, and does not necessarily mean the completely same action. As already described, the criterion for determining whether or not two actions are the same depends on the purpose of monitoring the action of the person being monitored. In other words, since multiple feature vectors belonging to one cluster are similar to each other, they are likely to correspond to the same action, but actually correspond to actions that should be classified as different actions. There is also a possibility.
本実施形態では、ｋ−ｍｅａｎｓ法などによるクラスタリングの結果をさらに調整することによって、クラスタと、管理者が分類したい行動とを適切に対応させることができる。この調整については後述する。 In the present embodiment, by further adjusting the result of clustering by the k-means method or the like, the cluster and the action that the administrator wants to classify can be made to correspond appropriately. This adjustment will be described later.
ところで、上記の（１）〜（８）に示すように、特徴量ベクトルが現在の位置を示す情報を含まない場合において、二つの特徴量ベクトルが互いに類似する場合、それらの特徴量ベクトルに対応する行動が監視区域内のどこで行われたかにかかわらず、それらの特徴量ベクトルが一つのクラスタに分類される可能性がある。これは、例えば、「階段を通過する」という行動が監視区域内のどの階段で行われてもそれらを同一の行動と分類することを意味する。このため、行動がどこで行われたかを行動の分類の判断基準に含めたい場合（例えばある位置にある階段を通過する行動と、そことは別の位置にある階段を通過する行動とを別の行動として分類したい場合）、行動が行われた位置そのものを考慮したクラスタリングを行う必要がある。 By the way, as shown in the above (1) to (8), when two feature quantity vectors are similar to each other when the feature quantity vector does not include information indicating the current position, the feature quantity vectors correspond to those feature quantity vectors. Regardless of where the action to be performed is performed in the monitoring area, the feature vectors may be classified into one cluster. This means, for example, that the action of “passing the stairs” is classified as the same action regardless of the stairs in the monitoring area. For this reason, if you want to include where the action was taken in the criteria for determining the action classification (for example, the action that passes a stair at a certain position and the action that passes a stair at a different position If you want to classify as an action), you need to perform clustering that takes into account the location of the action.
例えば、特徴量ベクトルに現在の位置を示す情報を含めてもよい。あるいは、動線解析部１０４は、まず測位データをそれが示す位置に基づいてクラスタリングし、これによって得られた空間的なクラスタごとに、それに含まれる測位データの特徴量ベクトルを算出し、それらのクラスタリングを行ってもよい。本実施形態は、上記のような位置を考慮したクラスタリングが実行されることを前提とする。
For example, information indicating the current position may be included in the feature quantity vector. Alternatively, the flow
図１３は、本発明の第１の実施形態のモニタリングサーバ１００が実行するクラスタリング処理を示すフローチャートである。
FIG. 13 is a flowchart illustrating clustering processing executed by the
図１３に示す処理は、図１２Ａのステップ１２０３において実行される。
The process shown in FIG. 13 is executed in
最初に、動線解析部１０４は、分析情報ＤＢ１１４を参照して、クラスタリングの対象である特徴量ベクトルに関するクラスタ情報があるか否か（すなわちそれらの特徴量ベクトルが既にクラスタリングされているか否か）を判定する（ステップ１３０１）。取得された特徴量ベクトルについて最初にクラスタリングを実行する場合、ステップ１３０１ではクラスタ情報がないと判定される。一方、後述するようにクラスタリング結果に対してパラメータ調整が行われた後、再度動線解析処理が行われる場合（図２６参照）には、ステップ１３０１においてクラスタ情報があると判定される。
First, the flow
ステップ１３０１においてクラスタ情報がないと判定された場合、動線解析部１０４は、ランダムにクラスタ中心の初期値を決定する（ステップ１３０２）。例えば、動線解析部１０４は、管理者によって指定された数のクラスタ中心の初期値を決定してもよい。あるいは、動線解析部１０４は、ＡＩＣ（赤池情報量基準）などの、クラスタ数の妥当性を評価する公知の基準を用い、当該基準が最適になるようにクラスタ数を決定してもよい。
If it is determined in
次に、動線解析部１０４は、各特徴量ベクトルに対応する点とクラスタ中心との距離を算出し、各特徴量ベクトルがそれに最も近いクラスタ中心を含むクラスタ（すなわち最近傍クラスタ）に属するとの仮定に基づいて特徴量ベクトルをクラスタリングし、さらに、各クラスタに属する特徴量ベクトルの平均値を新たなクラスタ中心として決定する（ステップ１３０３）。
Next, the flow
次に、動線解析部１０４は、ステップ１３０３においてクラスタ中心が変更されたか否か、すなわち、ステップ１３０３において決定された新たなクラスタ中心と、その直前のクラスタ中心とが異なるか否かを判定する（ステップ１３０４）。クラスタ中心が変更された場合、処理はステップ１３０３に戻り、新たなクラスタ中心を用いたクラスタリング及びその結果に基づくクラスタ中心の計算が実行される。
Next, the flow
一方、クラスタ中心が変更されなかった場合、動線解析部１０４は、測位データから特徴量ベクトルを算出し、各特徴量ベクトルに、最近傍クラスタのＩＤを割り当てる。なお、以前に算出された特徴量ベクトルが残っていれば、それを使用してもよい。このようにして割り当てられたクラスタのＩＤが状態ラベルとして使用される。
On the other hand, when the cluster center is not changed, the flow
ステップ１３０１においてクラスタ情報があると判定された場合、動線解析部１０４は、ステップ１３０２〜１３０４を実行せずにステップ１３０５を実行する。
When it is determined in
以上でクラスタリング処理が終了する。 This completes the clustering process.
なお、ステップ１３０２〜１３０４は、従来からｋ−ｍｅａｎｓ法として知られたアルゴリズムである。本実施形態のクラスタリング処理は、公知の方法によって実行することができる。ｋ−ｍｅａｎｓ法はその一例であるが、その他のアルゴリズム、例えばＥＭ（Expectation-Maximization）法による混合正規分布の推定等が適用されてもよい。
図１４は、本発明の第１の実施形態のモニタリングサーバ１００によって取得された状態ラベルの説明図である。
FIG. 14 is an explanatory diagram of a state label acquired by the
図１４は、監視区域のレイアウト図１４０１と、そのレイアウト図１４０１上に表示された複数の動線１４０２とを含む。
FIG. 14 includes a layout diagram 1401 of the monitoring area and a plurality of
図１４には、レイアウト図１４０１の例として、監視区域内の地物の平面図を示すが、地物の配置を把握できる図である限り、斜視図又は鳥瞰図等が使用されてもよい。図１４に例示するレイアウト図１４０１には、地物として、部屋１４１１、廊下１４１２、部屋１４１１と廊下１４１２とを隔てる壁１４１３、壁１４１３に設けられた出入り口１４１４、及び、監視区域内に配置された物品１４１５（例えば店舗で販売される商品又は工場で使用される資材等）が表示される。さらに上記以外の地物（例えば監視区域が屋外であれば信号機又は横断歩道等）が表示されてもよい。
FIG. 14 shows a plan view of a feature in the monitoring area as an example of the layout diagram 1401. However, a perspective view or a bird's-eye view may be used as long as the layout of the feature can be grasped. In the layout diagram 1401 illustrated in FIG. 14, the
各動線１４０２は、一つの移動体端末１４０に関する測位データに含まれる座標値をレイアウト図１４０１上にプロットすることによって表示される。すなわち、一つの動線１４０２は、一人の監視対象者の移動軌跡に相当する。ただし、一人の監視対象者が監視区域を繰り返し通過した場合には、その監視対象者の移動軌跡を複数の動線１４０２として表示してもよい。図１４には、複数の監視対象者の移動軌跡に相当する複数の動線１４０２が表示される。
Each
楕円によって表示される状態１４０３Ａ〜１４０３Ｌは、クラスタリングによって得られたクラスタに相当する。言い換えると、状態１４０３Ａ〜１４０３Ｌの各々は、クラスタリングによって分類された監視対象者の行動に対応する。 States 1403A to 1403L displayed by ellipses correspond to clusters obtained by clustering. In other words, each of the states 1403A to 1403L corresponds to the behavior of the monitoring target person classified by clustering.
図１２Ｂ〜図１２Ｄを参照して説明したように、各クラスタに含まれる特徴量ベクトルは、算出対象の測位データを含む複数の測位データから算出される。このため、各クラスタに含まれる特徴量ベクトルの算出対象の測位データが示す座標値をレイアウト図１４０１上にプロットすることができる。図１４に表示される楕円は、各クラスタに含まれる特徴量ベクトルの算出対象の測位データが示す座標値がプロットされる範囲の概略を示す。 As described with reference to FIGS. 12B to 12D, the feature amount vector included in each cluster is calculated from a plurality of positioning data including the positioning data to be calculated. Therefore, the coordinate values indicated by the positioning data to be calculated for the feature vector included in each cluster can be plotted on the layout diagram 1401. The ellipse displayed in FIG. 14 shows the outline of the range in which the coordinate values indicated by the positioning data to be calculated for the feature vector included in each cluster are plotted.
状態１４０３ａ〜１４０３ｌには、それぞれ、識別子「ａ」〜「ｌ」が付与される。これらの識別子が状態ラベルであり、前述の図１３のステップ１３０５において割り当てられたものである。
Identifiers “a” to “l” are assigned to the
図１５は、本発明の第１の実施形態のモニタリングサーバ１００によって使用される統計モデルの説明図である。
FIG. 15 is an explanatory diagram of a statistical model used by the
具体的には、図１５は、図１１のステップ１１０２における状態ラベル遷移列に当てはめる統計モデルの例を示す。本実施形態では、統計モデルとして混合マルコフモデルが適用される例を示すが、他のモデル（例えば隠れマルコフモデル又はベイジアンネットワーク等）が適用されてもよい。
Specifically, FIG. 15 shows an example of a statistical model applied to the state label transition sequence in
動線解析部１０４は、クラスタリングの結果に基づいて、各動線１４０２上の測位データがどの状態からどの状態に遷移するか、言い換えると、各動線１４０２に対応する監視対象者の行動がどの状態からどの状態に遷移するか、を特定することができる。さらに、動線解析部１０４は、このような状態遷移の特定を複数の動線について実行することによって、状態間の遷移確率を算出することができる。
Based on the result of clustering, the flow
ところで、監視対象者の行動の傾向は、一般に、その監視対象者の特徴によって左右される。そしてそのような行動の傾向を状態遷移の傾向として観測できる場合がある。ここで監視対象者の特徴とは、例えば、監視対象者が工場又は店舗の従業員である場合、監視対象者の作業目的等であり、監視対象者が店舗の利用客である場合、商品に対する監視対象者の好み等である。また、監視対象者が何らかの意図（例えば職務放棄又は窃盗の意図等）を持っている場合には、それも監視対象者の特徴になり得る。すなわち、監視対象者を状態遷移の傾向に従って分類することによって、類似した特徴を持った監視対象者のグループを特定できる場合がある。 By the way, the behavior tendency of the monitoring subject generally depends on the characteristics of the monitoring subject. In some cases, such a behavior tendency can be observed as a state transition tendency. Here, the characteristics of the monitoring target person are, for example, when the monitoring target person is an employee of a factory or a store, the work purpose of the monitoring target person, and when the monitoring target person is a customer of the store, This is the preference of the person being monitored. Moreover, when the monitoring subject has some intention (for example, intention of abandonment or theft), it can also be a feature of the monitoring subject. That is, there are cases where a group of monitoring subjects having similar characteristics can be identified by classifying the monitoring subjects according to the tendency of state transition.
また、このような監視対象者の特徴は、監視対象者の属性と関連する場合がある。ここで監視対象者の属性とは、例えば、監視対象者が工場又は店舗の従業員である場合、監視対象者の所属部署、担当業務又は役職等であり、監視対象者が店舗の利用客である場合、監視対象者の年齢層又は性別等である。より具体的に言えば、例えば女性客は店舗内の特定の売り場に頻繁に立ち寄るが、男性客はその売り場にほとんど立ち寄らない、といった行動の傾向の相違がありうる。このような場合には、上記のような状態遷移の傾向に基づく分類によって、監視対象者の属性とその行動の傾向との関連を分析することもできる。 In addition, such characteristics of the monitoring target person may be related to the attributes of the monitoring target person. Here, the attribute of the monitoring target is, for example, when the monitoring target is an employee of a factory or a store, the department to which the monitoring target belongs, the business in charge or the job title, and the monitoring target is a customer of the store In some cases, it is the age group or sex of the monitoring subject. More specifically, there may be a difference in behavioral tendency, for example, female customers frequently stop at a specific store in the store, but male customers rarely stop at the store. In such a case, the relationship between the attribute of the monitoring target person and the tendency of the action can be analyzed by the classification based on the tendency of the state transition as described above.
本実施形態の動線解析部１０４は、複数の監視対象者に関する状態遷移を複数のパターンに分類することができる。
The flow
図１５には、パターンごとの状態遷移図を示す。一つのパターンの状態遷移図は、図１４に示す状態間の遷移を時刻ごとに表示する。例えば、状態１４０３ａ−１はある時刻における状態１４０３ａ（図１４参照）に相当し、状態１４０３ａ−２は、その次の時刻における状態１４０３ａに相当する。同様に、状態１４０３ｂ−１はある時刻における状態１４０３ｂに相当し、状態１４０３ｂ−２は、その次の時刻における状態１４０３ｂに相当する。状態１４０３ｋ−１はある時刻における状態１４０３ｋに相当し、状態１４０３ｋ−２は、その次の時刻における状態１４０３ｋに相当する。状態１４０３ｌ−１はある時刻における状態１４０３ｌに相当し、状態１４０３ｌ−２は、その次の時刻における状態１４０３ｌに相当する。このように、図１４に示す状態１４０３ａ〜１４０３ｌが時刻ごとに表示され、それらの間の状態遷移が矢印によって表示される。そして、それぞれの状態遷移確率が計算される。
FIG. 15 shows a state transition diagram for each pattern. The state transition diagram of one pattern displays the transition between the states shown in FIG. 14 for each time. For example, the
なお、状態１５０２Ｓは各監視対象者が監視区域内に入った瞬間の状態を、状態１５０２Ｇは各監視対象者が監視区域内から出た瞬間の状態を示す。以下、状態１５０２Ｓ及び状態１５０２Ｇを、単に状態Ｓ及び状態Ｇとも記載する。同様に、状態１４０３ａ〜１４０３ｌを、それぞれ、単に状態ａ〜状態ｌとも記載する
図１５にはパターン１５０１ａの状態遷移図のみを示すが、他のパターン（例えばパターン１５０１ｂ及び１５０１ｃ）も同様の状態遷移図によって表現することができる。ただし、状態遷移確率の値はパターンごとに異なる。なお、パターンの数としては、３個（パターン１５０１ａ〜１５０１ｃ）に限らず、任意の数（例えばｋ個）を設定することができる。パターンの数は、例えば管理者によって指定されてもよい。
The state 1502S indicates the state at the moment when each monitoring subject enters the monitoring area, and the
各パターンの遷移確率はマルコフモデルに従う。状態μから状態νへの遷移確率をＰ（μ，ν）＝ωμνとすると、例えば、状態Ｓ−状態ａ−状態ｂ−状態ｃ−状態ｅ−状態ｉ−状態Ｇと遷移する動線が得られる確率は、Ｐ（Ｓ，ａ）Ｐ（ａ，ｂ）Ｐ（ｂ，ｃ）Ｐ（ｃ，ｅ）Ｐ（ｅ，ｉ）Ｐ（ｉ，Ｇ）の掛け算によって算出される。これによって算出された値Ｌは、動線が確率モデルのパターンに当てはまる度合いを示す。一般には、確率の対数を用いて、ΣｌｏｇＰが計算される。 The transition probability of each pattern follows a Markov model. If the transition probability from the state μ to the state ν is P (μ, ν) = ωμν, for example, a flow line that transitions from the state S-state a-state b-state c-state e-state i-state G is obtained. The probability of being calculated is calculated by multiplying P (S, a) P (a, b) P (b, c) P (c, e) P (e, i) P (i, G). The value L thus calculated indicates the degree to which the flow line is applied to the pattern of the probability model. In general, ΣlogP is calculated using the logarithm of probability.
本実施形態のモデルは、ｋ個のマルコフモデルの足し算によって表現される。πは、それらの各々に付けられる重みである。つまり、ｌｏｇΣ（πΠＰ）によって対数尤度が求められる。 The model of the present embodiment is expressed by adding k Markov models. π is a weight attached to each of them. That is, the log likelihood is obtained by logΣ (πΠP).
状態遷移確率を示すパラメータは、例えばＥＭ法によって算出される。例えば、動線解析部１０４は、各パターンにおける状態遷移確率の初期値としてランダムな値を設定する。そして、その値に基づいて、各動線の状態遷移がどのパターンに当てはまるかを推定する（Ｅステップ）。次に、動線解析部１０４は、Ｅステップの結果を用いてパラメータを再計算する（Ｍステップ）。さらに、動線解析部１０４は、再計算したパラメータを用いて再度Ｅステップを実行する。このように、パラメータが収束するまでＥステップ及びＭステップを繰り返す。
The parameter indicating the state transition probability is calculated by, for example, the EM method. For example, the flow
図１６は、本発明の第１の実施形態のモニタリングサーバ１００によって実行される状態遷移抽出処理の説明図である。
FIG. 16 is an explanatory diagram of the state transition extraction process executed by the
具体的には、図１６は、図１１のステップ１１０３において抽出される状態遷移の例を示す。
Specifically, FIG. 16 shows an example of the state transition extracted in
図１６の例では、状態１４０３ａから状態１４０３ｃへ向かう矢印１６０１が表示されている。これは、状態１４０３ａから状態１４０３ｃへの遷移が発生していることを示す。すなわち、これらの状態間の遷移確率は０％より大きい。他の矢印（例えば状態１４０３ｃから状態１４０３ｄ、１４０３ｅ及び１４０３ｆのそれぞれへ向かう矢印）についても同様のことが言える。一方、状態１４０３ａから状態１４０３ｄへ向かう矢印は表示されていない。これは、少なくとも図１４に表示された動線において、状態１４０３ａから状態１４０３ｄへの遷移が発生していないことを示す。すなわち、これらの状態間の遷移確率は０％である。
In the example of FIG. 16, an
このようにして抽出された状態遷移を示す情報が分析情報ＤＢ１１４に格納される。その詳細を、図１７及び図１８を参照して説明する。
Information indicating the state transition extracted in this way is stored in the
図１７は、本発明の第１の実施形態の分析情報ＤＢ１１４に格納される状態遷移モデルの説明図である。
FIG. 17 is an explanatory diagram of a state transition model stored in the
図１５に示した方法によって計算された各パターンの状態遷移確率は図１７に示すように格納される。具体的には、状態遷移モデル１７００は、パターンＩＤ１７０１、始状態ラベル１７０２、終状態ラベル１７０３及び確率１７０４を含む。
The state transition probability of each pattern calculated by the method shown in FIG. 15 is stored as shown in FIG. Specifically, the
パターンＩＤ１７０１は、統計モデルのパターンを識別する。例えば、パターンＩＤ１７０１の値は図１５に示す「ｋ」に対応する。 A pattern ID 1701 identifies the pattern of the statistical model. For example, the value of the pattern ID 1701 corresponds to “k” shown in FIG.
始状態ラベル１７０２及び終状態ラベル１７０３は、それぞれ、状態遷移の始点及び終点のラベル（すなわちＩＤ）である。これらは、例えば、図１４〜図１６に示す「Ｓ」、「Ｇ」及び「ａ」〜「ｌ」に対応する。
The
確率１７０４は、パターンＩＤ１７０１、始状態ラベル１７０２及び終状態ラベル１７０３によって特定される状態遷移が発生する確率である。
The probability 1704 is a probability that the state transition specified by the pattern ID 1701, the
図１７に示す情報の一組は、一つの状態遷移、例えば、図１５に示す１本の矢印に対応する。分析情報ＤＢ１１４には、各パターンの各状態遷移に対応する情報の組が格納される。
A set of information shown in FIG. 17 corresponds to one state transition, for example, one arrow shown in FIG. The
図１８は、本発明の第１の実施形態の分析情報ＤＢ１１４に格納されるクラスタ情報の説明図である。
FIG. 18 is an explanatory diagram of cluster information stored in the
図１８に示すクラスタ情報１８００は、クラスタリングによって取得されたクラスタに関する情報である。具体的には、クラスタ情報１８００は、クラスタ形状１８０１及びクラスタＩＤ１８０２を含む。
クラスタ形状１８０１は、各クラスタの中心位置を示す。 A cluster shape 1801 indicates the center position of each cluster.
クラスタＩＤ１８０２は、各クラスタを識別する情報である。なお、既に説明したように原則的には一つのクラスタが一つの状態に対応するため、クラスタＩＤ１８０２の値は状態ラベル（例えば図１４〜図１６に示す「ａ」〜「ｌ」）に対応する。 The cluster ID 1802 is information for identifying each cluster. As described above, since one cluster basically corresponds to one state, the value of the cluster ID 1802 corresponds to a state label (for example, “a” to “l” shown in FIGS. 14 to 16). .
図１８に示すクラスタ情報１８００の一組は、一つの状態、例えば、図１４に示す一つの楕円に対応する。分析情報ＤＢ１１４には、各状態に対応する情報の組が格納される。なお、図１５に示すように統計モデルが複数のパターンに分類される場合であっても、各状態に対応するクラスタの中心位置は、パターンごとに相違しない。このため、クラスタ情報１８００はパターンＩＤを含まない。
A set of
本実施形態及びその他の実施形態において説明するように、本発明では分析の粒度の調整が行われ、その結果、一つのクラスタが複数に分割されたり、複数のクラスタが統合されて一つの状態に対応付けられたりする場合がある。そのような調整の結果も全て図１７及び図１８に示す分析情報ＤＢ１１４に反映される。分析情報ＤＢ１１４に格納された情報は、必要に応じて読み出され、動線解析部１０４によって動線解析処理に使用される。さらに、必要に応じて画面表示装置１２０によって表示されてもよい。
As will be described in this embodiment and other embodiments, in the present invention, the granularity of analysis is adjusted. As a result, one cluster is divided into a plurality of clusters, or a plurality of clusters are integrated into one state. May be associated. The results of such adjustment are all reflected in the
図１９は、本発明の第１の実施形態の画面表示装置１２０によって表示される分析状況提示処理の出力画面の説明図である。
FIG. 19 is an explanatory diagram of an output screen of analysis status presentation processing displayed by the
分析条件設定画面生成部１０６は、図３のステップ３２２において、図１９に示す画面１９００を画面表示装置１２０に表示させる。画面１９００は、レイアウト図１９０１、調整ボタン１９０３、終了ボタン１９０４及びパターン選択ボックス１９０５を含む。
The analysis condition setting
レイアウト図１９０１は、図１４に示したレイアウト図１４０１と同様である。レイアウト図１９０１上には、図１４と同様の状態１４０３ａ〜１４０３ｌ及び状態遷移を示す矢印１６０１が表示される。
The layout diagram 1901 is the same as the layout diagram 1401 shown in FIG. On the layout diagram 1901,
管理者は、パターン選択ボックス１９０５を操作して、表示されるパターンを選択することができる。図１９の例では「パターンＡ」が表示される。このパターンは、例えば、図１５に示した複数のパターン１５０１ａ〜１５０１ｃのいずれかである。図１６の例では状態１４０３ｅから状態１４０３ｉへの遷移が表示されているが、例えばパターンＡにおいてその遷移が発生する確率が０％である場合、状態１４０３ｉ及びそこに向かう矢印が表示されなくてもよい。他の状態及びそこに向かう矢印についても同様である。
The administrator can select a pattern to be displayed by operating the
管理者は、画面１９００に表示された状態遷移を参照して、分析条件が妥当であると判定した場合（ステップ３２３）、終了ボタン１９０４を操作する。この場合、処理はステップ３２６に進む。一方、管理者は、分析条件が妥当でないと判定した場合、調整ボタン１９０３を操作する。この場合、処理はステップ３２４に進む。
When the administrator refers to the state transition displayed on the
例えば、画面１９００に表示された状態１４０３ａ〜１４０３ｌのいずれかが大きすぎる（すなわちそれに対応するクラスタが大きすぎる）と管理者が考えた場合に、分析条件が妥当でないと判定してもよい。より詳細には、例えば、管理者が詳細に分析したいと考えている行動が行われる場所に、状態が一つしか表示されておらず、その状態を複数に分割したいと管理者が考えた場合に、分析条件が妥当でないと判定してもよい。
For example, when the administrator thinks that any of the
なお、調整ボタン１９０３、終了ボタン１９０４及びパターン選択ボックス１９０５の操作は、管理者による入力装置２０３の操作（例えばマウスクリック）である。
Note that operations of the
図２０は、本発明の第１の実施形態のモニタリングサーバ１００が実行する分析条件設定画面提示処理を示すフローチャートである。
FIG. 20 is a flowchart illustrating analysis condition setting screen presentation processing executed by the
図２０に示す処理は、図３のステップ３２４において、分析条件設定画面生成部１０６によって実行される。
The process shown in FIG. 20 is executed by the analysis condition setting
最初に、分析条件設定画面生成部１０６は、分析条件受付画面提示処理を実行する（ステップ２００１）。この処理については、図２１を参照して後述する。
First, the analysis condition setting
次に、分析条件設定画面生成部１０６は、分析条件調整用画面提示処理を実行する（ステップ２００２）。この処理については、図２２等を参照して後述する。
Next, the analysis condition setting
以上で分析条件設定画面提示処理が終了する。 Thus, the analysis condition setting screen presentation process ends.
図２１は、本発明の第１の実施形態のモニタリングサーバ１００が実行する分析条件受付画面提示処理の説明図である。
FIG. 21 is an explanatory diagram of an analysis condition reception screen presentation process executed by the
分析条件設定画面生成部１０６は、図２０のステップ２００１において、図２１に示す画面２１００を画面表示装置１２０に表示させる。
The analysis condition setting
画面２１００は、レイアウト図２１０１、分析粒度設定部２１０２及び終了ボタン２１０４を含む。
The
レイアウト図２１０１は、図１４に示したレイアウト図１４０１と同様である。レイアウト図２１０１上には、図１４と同様に、状態１４０３ａ〜１４０３ｌ及び複数の動線１４０２が表示される。さらに、レイアウト図２１０１上には、調整範囲２１１１及び範囲指定カーソル２１１２が表示される。
The layout diagram 2101 is the same as the layout diagram 1401 shown in FIG. On the layout diagram 2101,
管理者は、入力装置２０３を用いて範囲指定カーソル２１１２を操作することによって、これから分析粒度を調整しようとするクラスタ（すなわち状態１４０３ａ〜１４０３ｌの少なくとも一つ）を含む調整範囲２１１１を指定することができる。すなわち、調整範囲２１１１に含まれる状態１４０３に対応するクラスタが、分析粒度を調整する対象として指定される。
The administrator can designate the
例えば、管理者は、監視区域のうち、特に監視対象者の行動を詳細に分析したい領域（例えば店舗内の特定の商品の売り場等）を調整範囲２１１１として指定してもよい。
For example, the administrator may specify, as the
分析粒度設定部２１０２は、粒度設定ノブ２１０３を含む。管理者は、入力装置２０３を用いて粒度設定ノブ２１０３を操作することによって、分析粒度を指定することができる。例えば、分析粒度をより細かくしたい場合、管理者は、粒度設定ノブ２１０３を左に移動させてもよい。なお、このようなノブを用いた粒度の指定は一例であり、他の方法、例えば、粒度をより細かくする又はより粗くする指示に対応するアイコンを操作することによって粒度が指定されてもよい。
The analysis particle
管理者は、調整範囲２１１１及び分析粒度の指定が終了すると、終了ボタン２１０４を操作する。これによって、図２０のステップ２００１、すなわち、調整対象のクラスタの指定及びそのクラスタの分析粒度の指定が終了する。
When the administrator specifies the
このようにして指定された調整範囲２１１１に含まれる全てのクラスタについて、指定された分析粒度の調整（すなわち粒度を細かくする又は粗くする）が実行されてもよいが、それらのうち少なくとも一つのクラスタについて、粒度を調整するか否かを管理者がセンサ情報に基づいて判定してもよい。このような判定及び粒度の調整の手順について以下に説明する。
The adjustment of the specified analysis granularity (that is, the finer or coarser granularity) may be performed for all the clusters included in the
図２２は、本発明の第１の実施形態のモニタリングサーバ１００が実行する分析条件調整用画面提示処理を示すフローチャートである。
FIG. 22 is a flowchart illustrating the analysis condition adjustment screen presentation process executed by the
図２２に示す処理は、図２０のステップ２００２において実行される。
The process shown in FIG. 22 is executed in
最初に、分析条件設定画面生成部１０６が対象歩行者選択処理を実行する（ステップ２２０１）。この処理については、図２３を参照して後述する。なお、ここで歩行者とは、監視対象者を意味する。
First, the analysis condition setting
次に、センサ・測位統合部１０３がセンサ・測位対応処理を実行する（ステップ２２０２）。この処理については、図２４を参照して後述する。
Next, the sensor /
次に、分析条件設定画面生成部１０６がセンサ情報提示画面生成処理を実行する（ステップ２２０３）。この処理については、図２５を参照して後述する。
Next, the analysis condition setting
以上で分析条件調整用画面提示処理が終了する。 Thus, the analysis condition adjustment screen presentation process is completed.
図２３は、本発明の第１の実施形態のモニタリングサーバ１００が実行する対象歩行者選択処理（ステップ２２０１）の説明図である。
FIG. 23 is an explanatory diagram of a target pedestrian selection process (step 2201) executed by the
最初に、分析条件設定画面生成部１０６は、調整範囲２１１１に含まれるクラスタのうち、複数の行動を含む可能性が最も高いクラスタ（言い換えると、含まれている行動を複数に分類できる可能性が最も高いクラスタ）を、変更対象の候補として選択する。
First, the analysis condition setting
具体的には、例えば、調整範囲２１１１に含まれるクラスタのうち、大きさが所定の閾値を超える一つ以上のクラスタが選択されてもよいし、あるいは、最も大きいクラスタのみが選択されてもよい。クラスタの大きさは、例えば、クラスタの半径又はクラスタに含まれる特徴量ベクトルの数によって定められる。ここで、クラスタの半径とは、例えばクラスタの中心と、そのクラスタ内の中心から最も離れた特徴量ベクトルと、の間の距離であるが、特徴量ベクトルが示す座標値の偏差に基づく値（例えば標準偏差の値）がクラスタの半径として計算されてもよい。半径が大きいクラスタほど、相違の大きい特徴量ベクトルを含んでいる。二つの特徴量ベクトルの相違が大きいほど、それらに対応する行動が異なる可能性が高いとの推測に基づいて、半径が最も大きいクラスタが変更対象の候補として選択されてもよい。あるいは、含んでいる特徴量ベクトルの数が多いクラスタほど複数の行動を含む可能性が高いとの推測に基づいて、含んでいる特徴量ベクトルの数が最も多いクラスタが選択されてもよい。
Specifically, for example, among the clusters included in the
次に、分析条件設定画面生成部１０６は、選択されたクラスタに含まれる複数の特徴量ベクトルから二つを選択する。例えば、選択されたクラスタに含まれる特徴量ベクトルのうち最も離れた二つが選択されてもよい。あるいは、選択されたクラスタに含まれる複数の特徴量ベクトルを対象として分析条件設定画面生成部１０６がさらにクラスタリングを実行して二つのクラスタを生成し、それぞれの中心に最も近い二つの特徴量ベクトルを選択してもよい。
Next, the analysis condition setting
なお、ここでは二つの特徴量ベクトルを選択する例を示したが、三つ以上の特徴量ベクトルが選択されてもよい。例えば、選択されたクラスタを対象として分析条件設定画面生成部１０６がクラスタリングを実行することによって三つ以上のクラスタを生成してもよい。
Although an example in which two feature quantity vectors are selected is shown here, three or more feature quantity vectors may be selected. For example, three or more clusters may be generated by the analysis condition setting
このようにして選択された特徴量ベクトルは、図１４に示す方法によって算出されたものであるから、それらの特徴量ベクトルに対応する測位データを特定することができる。特定された測位データからは、その測位データが、どの時刻に、どの位置に、どの監視対象者がいたことを示すものであるかを特定することができる（図６参照）。 Since the feature quantity vectors selected in this way are calculated by the method shown in FIG. 14, the positioning data corresponding to these feature quantity vectors can be specified. From the specified positioning data, it can be specified which positioning data indicates which monitoring target person is at which position at which time (see FIG. 6).
図２４は、本発明の第１の実施形態のモニタリングサーバ１００が実行するセンサ・測位対応処理を示すフローチャートである。
FIG. 24 is a flowchart illustrating sensor / positioning corresponding processing executed by the
図２４に示す処理は、図２２のステップ２２０２において実行される。
The process shown in FIG. 24 is executed in
最初に、センサ・測位統合部１０３は、監視区域に設置された各センサ１３０のセンシング領域を取得する（ステップ２４０１）。センシング領域とは、各センサ１３０によってセンシング可能な領域であり、具体的には、センサパラメータ１０００に含まれる設置箇所１００３及びセンサパラメータ１００４に基づいて特定される。より具体的には、例えばセンサ１３０が監視カメラである場合、その監視カメラによって撮影される範囲が特定され、特定された範囲を示す情報がセンシング領域として取得される。
First, the sensor /
次に、センサ・測位統合部１０３は、図２２のステップ２２０１において特定された測位データに対応するセンサ１３０を検索する（ステップ２４０２）。具体的には、センサ・測位統合部１０３は、ステップ２４０１において取得されたセンシング領域と、ステップ２２０１において特定された測位データが示す時刻及び位置と、に基づいて、当該測位データが示す時刻に、当該測位データが示す位置をセンシング可能であったセンサ１３０のセンサＩＤを特定する。
Next, the sensor /
次に、センサ・測位統合部１０３は、特定されたセンサＩＤによって識別されるセンサ１３０が、当該測位データが示す時刻に取得したセンサ情報をセンサ情報ＤＢ１１１から取得する（ステップ２４０３）。例えば、特定されたセンサ１３０が監視カメラである場合、ステップ２４０３で取得されるセンサ情報は、当該測位データが示す時刻に当該監視カメラが撮影した画像データである。
Next, the sensor /
以上でセンサ・測位対応処理が終了する。 This completes the sensor / positioning processing.
図２５は、本発明の第１の実施形態の画面表示装置１２０によって表示されるセンサ情報提示画面の説明図である。
FIG. 25 is an explanatory diagram of a sensor information presentation screen displayed by the
分析条件設定画面生成部１０６は、図２２のステップ２２０３において、センサ情報提示画面２５００を画面表示装置１２０に表示させる。センサ情報提示画面２５００は、第１センサ情報表示部２５０１、第１歩行者情報表示部２５０２、第２センサ情報表示部２５０３、第２歩行者情報表示部２５０４、「区別あり」ボタン２５０５、「不明」ボタン２５０６及び「区別なし」ボタン２５０７を含む。
The analysis condition setting
既に説明したように、図２２のステップ２２０１では二つの測位データが特定され、ステップ２２０２ではそれぞれの測位データに対応するセンサ情報が取得される。第１センサ情報表示部２５０１及び第２センサ情報表示部２５０３には、このようにして取得されたそれぞれの測位データに対応するセンサ情報（図２５の例では監視カメラが撮影した画像）が表示される。
As already described, two positioning data are specified in
第１歩行者情報表示部２５０２及び第２歩行者情報表示部２５０４には、それぞれ、第１センサ情報表示部２５０１及び第２センサ情報表示部２５０３に表示されたセンサ情報に対応する監視対象者に関する情報が表示される。上記のように、それぞれのセンサ情報には測位データが対応付けられ、それぞれの測位データがどの監視対象者に関するものであるかを特定することができるため、第１歩行者情報表示部２５０２及び第２歩行者情報表示部２５０４には、それぞれの監視対象者に関する情報、例えば、各監視対象者の性別、各監視対象者が監視区域に入った時刻及び監視区域に滞在した時間等が表示される。
The first pedestrian
なお、監視対象者の性別を表示するためには、モニタリングサーバ１００が各監視対象者の識別子（図６に示す歩行者ＩＤ）と、その監視対象者の性別とを対応付ける情報を保持する必要がある。同様に、各監視対象者とその年齢、性別、担当業務又は役職等の属性を対応付ける情報が保持されている場合、それらの属性が第１歩行者情報表示部２５０２及び第２歩行者情報表示部２５０４に表示されてもよい。
In order to display the gender of the monitoring subject, it is necessary for the
また、各監視対象者が監視区域に入った時刻及び監視区域に滞在した時間は、各監視対象者に対応する動線に含まれる測位データの取得時刻に基づいて特定することができる。 Moreover, the time when each monitoring subject entered the monitoring area and the time spent in the monitoring zone can be specified based on the acquisition time of the positioning data included in the flow line corresponding to each monitoring subject.
上記のように、第１センサ情報表示部２５０１及び第２センサ情報表示部２５０３には、図２２のステップ２２０１で特定された二つの測位データに対応するセンサ情報、すなわち、それぞれの測位データが取得された時刻にそれぞれの測位データが示す位置を含む領域を監視カメラが撮影した画像が表示される。すなわち、それぞれの測位データに対応する監視対象者がそれらの画像に写っている可能性が高い。すなわち、管理者がそれらの画像を参照して、それぞれの監視対象者がどのような行動を行っているかを特定できる可能性が高い。
As described above, the first sensor
このため、管理者は、第１センサ情報表示部２５０１及び第２センサ情報表示部２５０３に表示された画像を参照して、ステップ２２０１において特定された二つの特徴量ベクトルに対応する二つの行動を異なる行動として区別すべきか、区別すべきでないか（すなわち同一の行動に分類すべきか）を判定する。管理者は、これらを区別すべきであると判定した場合、「区別あり」ボタン２５０５を操作し、区別すべきでないと判定した場合、「区別なし」ボタン２５０７を操作する。
For this reason, the administrator refers to the images displayed on the first sensor
一方、表示された画像に基づいて区別すべきか否かを判定することが困難であった場合、管理者は、「不明」ボタン２５０６を操作する。この場合、分析条件設定画面生成部１０６は、再びステップ２２０１を実行して、前回とは異なる二つの特徴量ベクトルを選択する。例えば、分析条件設定画面生成部１０６は、選択されたクラスタに含まれる特徴量ベクトルのうち、前回選択された特徴量ベクトルの次に距離が離れている特徴量ベクトルの組を選択してもよい。そして、再びステップ２２０２及び２２０３が実行され、新たに選択された特徴量ベクトルに対応するセンサ情報が表示される。
On the other hand, when it is difficult to determine whether or not to distinguish based on the displayed image, the administrator operates the “unknown”
一般に、測位データのみから算出された特徴量ベクトルに基づいて監視対象者の行動を分析する場合、管理者が望んだとおりに行動を分類できるとは限らない。しかし、上記のように、測位データに対応付けられたセンサデータを管理者が参照して二つの行動を分類するか否かを判定することによって、管理者の目的に応じた適切な行動の分析を行うことが可能になる。 In general, when analyzing a behavior of a monitoring target person based on a feature vector calculated only from positioning data, it is not always possible to classify the behavior as desired by the administrator. However, as described above, the administrator refers to the sensor data associated with the positioning data, and determines whether to classify the two actions, thereby analyzing the appropriate action according to the purpose of the administrator. It becomes possible to do.
なお、図２５にはセンサ情報として監視カメラが撮影した画像が表示される例を示したが、それ以外のセンサ情報が提示されてもよい。例えばセンサ１３０がマイクロフォンである場合、ステップ２２０３において音声が再生されてもよい（第２実施形態参照）。その場合、管理者は、再生された音声に基づいて各監視対象者が行った行動を特定し、それに基づいて二つの行動を区別するか否かを判定することができる。
In addition, although the example which displays the image which the monitoring camera image | photographed as sensor information was shown in FIG. 25, sensor information other than that may be shown. For example, when the
あるいはセンサ１３０が販売履歴を記録する自動販売機である場合、センサ情報提示画面２５００にはその販売履歴が表示されてもよい。その場合、管理者は、例えば、表示された販売履歴に基づいて監視対象者が商品を購入したか否かを判定し、それに基づいて二つの行動を区別するか否かを判定することができる。
Alternatively, when the
また、管理者は、上記のようなセンサ情報を用いずに、二つの行動を区別すべきか否かを判定することもできる。例えば、モニタリングサーバ１００は、ステップ２２０１において特定された二つの測位データの各々が、いつ、どこに、どの監視対象者がいたことを示す情報であるかを示す情報を管理者に提示してもよい。管理者は、このようにして特定された各監視対象者から、特定された時刻及び位置においてどのような行動を行っていたかを聞き出し、それに基づいて二つの行動を区別するか否かを判定してもよい。
Further, the administrator can determine whether or not the two actions should be distinguished without using the sensor information as described above. For example, the
図２６は、本発明の第１の実施形態のモニタリングサーバ１００が実行する分析条件調整処理を示すフローチャートである。
FIG. 26 is a flowchart illustrating analysis condition adjustment processing executed by the
センサ情報提示画面２５００において「区別あり」ボタン２５０５が操作されると、分析条件調整処理が実行される。
When the “with distinction”
最初に、分析条件調整部１０５は、動線解析パラメータを算出する（ステップ２６０１）。具体的には、分析条件調整部１０５は、図２２のステップ２２０１において選択されたクラスタを分割し、分割されたそれぞれのクラスタの中心位置を特定し、それらのクラスタに新たな識別子（すなわち状態ラベル）を付与する。
First, the analysis
クラスタの分割は、種々の方法によって行うことができる。例えば、ステップ２２０１において、当該クラスタ内で最も離れた二つの特徴量ベクトルが選択された場合、分析条件調整部１０５は、当該クラスタを、選択された二つの特徴量ベクトルに対応する新たな二つのクラスタに分割し、当該クラスタ内の残りの特徴量ベクトルを、選択された二つの特徴量ベクトルのうち距離が近い方に対応するクラスタに分類してもよい。その場合、分析条件調整部１０５は、新たな二つのクラスタの中心位置を算出し、状態ラベルを付与する。
The cluster can be divided by various methods. For example, when the two most distant feature vectors in the cluster are selected in
あるいは、動線解析部１０４が当該クラスタのみを対象として、当該クラスタをさらに二つのクラスタに分割するためのクラスタリングを実行し、分析条件調整部１０５が分割されたクラスタの中心位置を算出し、状態ラベルを付与してもよい。このとき、動線解析部１０４は、ステップ２２０１において選択された二つの特徴量ベクトルを初期クラスタ中心としてクラスタリングを実行してもよい。
Alternatively, the flow
次に、分析条件調整部１０５は、算出された動線解析パラメータを分析情報ＤＢ１１４に反映させる（ステップ２６０２）。具体的には、分析条件調整部１０５は、ステップ２６０１において算出した新たなクラスタの中心位置と、それらに付与された識別子とを、分析情報ＤＢ１１４にクラスタ情報１８００として格納する。このとき、分割の対象となったクラスタ（すなわち分割される前のクラスタ）に関する情報は、分析情報ＤＢ１１４から削除される。
Next, the analysis
次に、分析条件調整部１０５は、動線解析部１０４に動線解析処理の再実行を要求する（ステップ２６０３）。この要求を受けた動線解析部１０４は、ステップ２６０２において更新された分析情報ＤＢ１１４に基づいて、動線解析処理（図１１等）を実行する。ただし、この場合、上記のように更新されたクラスタ情報１８００が既に分析情報ＤＢ１１４に格納されているため、クラスタリング処理（図１３）のステップ１３０１において、「クラスタ情報がある」と判定される。このため、クラスタリングの実行（ステップ１３０２〜１３０４）は省略され、ステップ２６０２において更新された分析情報ＤＢ１１４がステップ１１０２以降の処理において参照される。
Next, the analysis
以上で分析条件調整処理が終了する。 The analysis condition adjustment process is thus completed.
管理者は、動線解析処理の再実行の結果を参照して（図１９）、その結果が十分であるか、具体的には、管理者が区別したい行動がそれぞれ異なる状態（すなわちクラスタ）に対応しているか否かを判定することができる。この判定のために、既に説明した手順に従って、図２５に示す画面を参照することもできる。再実行の結果が十分なものである（すなわちこれ以上行動を細かく分類する必要がない）と判定された場合、終了ボタン１９０４又は「区別なし」ボタン２５０７が操作され、図３に示した全ての処理が終了する。
The administrator refers to the result of the re-execution of the flow line analysis process (FIG. 19), and whether the result is sufficient, specifically, the actions that the administrator wants to distinguish are in different states (that is, clusters). It can be determined whether or not it is compatible. For this determination, the screen shown in FIG. 25 can be referred to in accordance with the procedure already described. When it is determined that the result of the re-execution is sufficient (ie, it is not necessary to classify the action further), the end button 1904 or the “no distinction”
以上の本発明の第１の実施形態によれば、監視対象者の行動を動線に基づいて分析するときに、クラスタリングによって自動的に行動を分類するだけでなく、管理者の指定に従って、分析の粒度（すなわち行動の分類の細かさ）を調整することができる。これによって、監視対象者の位置情報から、管理者の分析目的に応じて、必要な情報を抽出することができる。 According to the first embodiment of the present invention described above, when analyzing the behavior of the monitoring target person based on the flow line, not only the behavior is automatically classified by clustering but also analyzed according to the designation of the administrator. The granularity (ie, the fineness of behavior classification) can be adjusted. Accordingly, necessary information can be extracted from the position information of the monitoring target person according to the analysis purpose of the administrator.
＜第２の実施形態＞
続いて、本発明の第２の実施形態について説明する。第２の実施形態において第１の実施形態と共通する部分に関する説明は省略し、相違点についてのみ以下に説明する。
<Second Embodiment>
Subsequently, a second embodiment of the present invention will be described. In the second embodiment, the description of the parts common to the first embodiment is omitted, and only the differences will be described below.
最初に、第２の実施形態の概要を説明する。 First, the outline of the second embodiment will be described.
第１の実施形態では、既に説明したように、測位データから特徴量ベクトルが算出され、複数の特徴量ベクトルをクラスタリングすることによってクラスタ（すなわち、分類された行動に対応する「状態」）が特定され、状態間の遷移確率が計算される。さらに、管理者の指定に従って、クラスタをさらに分割することができる。 In the first embodiment, as already described, a feature vector is calculated from the positioning data, and a cluster (that is, a “state” corresponding to the classified action) is specified by clustering the plurality of feature vectors. And the transition probabilities between the states are calculated. Furthermore, the cluster can be further divided according to the designation of the administrator.
しかし、実際には、特定の状態遷移を一つの状態として扱うことが望ましい場合がある。一例として、屋外の監視区域において、監視対象者が信号機のある横断歩道を渡るという行動について述べる。この行動に対応する測位データから、上記のクラスタリングによって、信号機のある横断歩道の一方の端まで移動するという行動に対応する状態ａと、その地点で（信号機が進行を表示するまで）停止したまま待つという行動に対応する状態ｂと、横断歩道をもう一方の端まで移動するという行動に対応する状態ｃと、が抽出され得る。しかし、このような一連の行動の各々に対応する状態を抽出する必要はなく、「横断歩道を渡る」という行動全体に対応する一つの状態Ａを抽出したい場合もあり得る。 However, in practice, it may be desirable to treat a specific state transition as one state. As an example, a behavior in which a monitoring target person crosses a pedestrian crossing with a traffic light in an outdoor monitoring area will be described. From the positioning data corresponding to this action, the state a corresponding to the action of moving to one end of a crosswalk with a traffic light by the above clustering, and staying stopped at that point (until the traffic light displays progress) A state b corresponding to the action of waiting and a state c corresponding to the action of moving to the other end of the pedestrian crossing can be extracted. However, it is not necessary to extract a state corresponding to each of such a series of actions, and there may be a case where it is desired to extract one state A corresponding to the entire action of “crossing a pedestrian crossing”.
第２の実施形態では、上記のような一連の行動に対応する複数の状態ラベルの列（例えば「ａｂｃ」）と、それに対応する一つの状態ラベル（例えば「Ａ」）とを対応付ける情報（すなわち状態判定辞書）に基づいて、クラスタリングによって抽出された複数の状態から、一つの状態が推定される。 In the second embodiment, a plurality of state label columns (for example, “abc”) corresponding to a series of actions as described above, and information for associating one state label (for example, “A”) corresponding thereto (ie, “A”). Based on the state determination dictionary, one state is estimated from a plurality of states extracted by clustering.
なお、以下の説明では、特徴量ベクトルのクラスタリングの結果として取得された上記の「ａ」「ｂ」「ｃ」のような状態及びその状態ラベルと、それらの列に割り当てられた「Ａ」のような状態及びその状態ラベルとを区別するために、便宜上、前者を「移動状態」及び「移動状態ラベル」と記載し、後者を「状態」及び「状態ラベル」と記載する。「移動状態」及び「移動状態ラベル」は、第１の実施形態の「状態」及び「状態ラベル」に相当する。「状態ラベル」が割り当てられなかった「移動状態ラベル」は、後述する状態ラベルの遷移列の統計モデルへの当てはめ（図２７のステップ１１０２）及び統計モデルからの情報抽出（図２７のステップ１１０３）において、「状態ラベル」として扱われる。
In the following description, states such as “a”, “b”, and “c” acquired as a result of clustering of feature vectors and their state labels, and “A” assigned to those columns are described. In order to distinguish such a state and its state label, for the sake of convenience, the former will be described as “movement state” and “movement state label”, and the latter will be described as “state” and “state label”. The “movement state” and “movement state label” correspond to the “state” and “state label” of the first embodiment. The “movement state label” to which the “state label” has not been assigned is applied to a statistical model of a transition column of a state label described later (
続いて、第２の実施形態の詳細について図面を参照して説明する。 Next, details of the second embodiment will be described with reference to the drawings.
図２７は、本発明の第２の実施形態のモニタリングサーバ１００が実行する動線解析処理を示すフローチャートである。
FIG. 27 is a flowchart illustrating flow line analysis processing executed by the
図２７に示す処理は、第１の実施形態の動線解析処理（図１１）と同様、図３のステップ３２１において実行される。
The process shown in FIG. 27 is executed in
最初に、動線解析部１０４は、測位データの特徴量を算出し、移動状態ラベルを生成する（ステップ１１０１）。この手順は第１の実施形態と同じである（図１２Ａ等参照）。
First, the flow
次に、動線解析部１０４は、ステップ１１０１において生成された移動状態ラベルと、状態判定辞書とを比較し、その結果に基づいて状態ラベルを推定する（ステップ２７０１）。
Next, the flow
本実施形態の分析情報ＤＢ１１４には、図１７及び図１８に示した情報に加えて、状態判定辞書２８００及び状態判定設定情報２９００が格納される。これらの情報の詳細については図２８及び図２９を参照して、これらの情報に基づく状態ラベルの推定処理については図３０Ａ〜図３２を参照して後述する。
In the
次に、動線解析部１０４は、ステップ２７０１において推定された状態ラベルに基づいて、状態ラベル遷移列を統計モデルに当てはめる（ステップ１１０２）。次に、動線解析部１０４は、統計モデルから情報を抽出する（ステップ１１０３）。これらの手順は第１の実施形態と同じである（図１５等参照）。
Next, the flow
以上で第２の実施形態の動線解析処理が終了する。 Thus, the flow line analysis process of the second embodiment is completed.
図２８は、本発明の第２の実施形態の分析情報ＤＢ１１４に格納される状態判定辞書の説明図である。
FIG. 28 is an explanatory diagram of a state determination dictionary stored in the
状態判定辞書２８００は、状態ラベル２８０１、移動状態記号列２８０２、空間条件２８０３及び条件粒度２８０４を含む。
The
状態ラベル２８０１は、状態を一意に識別する情報である。これは、移動状態ラベルの列に割り当てられるべき状態ラベルであり、ステップ２７０１において推定された状態ラベルに相当する。上記の横断歩道の例で言えば、「Ａ」が状態ラベル２８０１に相当する。
The
移動状態記号列２８０２は、状態ラベル２８０１によって識別される状態（すなわち当該状態）に対応する移動状態の記号列情報である。上記の横断歩道の例で言えば、「ａｂｃ」が移動状態記号列２８０２に相当する。より詳細な例については後述する。 The movement state symbol string 2802 is symbol string information of a movement state corresponding to the state identified by the state label 2801 (that is, the state). In the above example of the pedestrian crossing, “abc” corresponds to the movement state symbol string 2802. A more detailed example will be described later.
空間条件２８０３は、周囲の地物の条件を指定する文字列である。周囲の地物の条件として、例えば、状態判定辞書２８００と比較される移動状態ラベルの列に対応する動線の周囲の地物の種類、その地物から当該動線までの距離及びその地物から当該動線上の点までの方向等を示す情報が含まれる。この文字列は、どのような文法によって記述されてもよい。その一例はＸＭＬ（Extensible Markup Language）である。上記の横断歩道の例で言えば、地物の属性が信号機であること、その信号機からの距離、及びその信号機からの方向等を示す文字列が空間条件２８０３に相当する。
The
条件粒度２８０４は、条件の粒度（すなわち細かさ）を表現するレベルである。例えば、上記のように「横断歩道を渡る」という行動に対応する状態Ａを抽出することが望まれる場合もあるが、さらに大きい（すなわち粗い）粒度で状態を抽出したい場合、より具体的には、例えば、ある地点から別のある地点に移動する（そしてその途中で上記の横断歩道を通過する）という行動に相当する状態Ｂを抽出することが望まれる場合もあり得る。このような場合には、当該「ある地点から別のある地点に移動する」という行動に対応する移動状態ラベルの列（すなわち上記の「ａｂｃ」を含む、それより長い列）が移動状態記号列２８０２として登録され、それに対応する条件粒度２８０４として、上記の「横断歩道を渡る」に対応する条件粒度２８０４より大きい粒度を示す値が登録される。 The condition granularity 2804 is a level expressing the condition granularity (ie, fineness). For example, there may be a case where it is desired to extract the state A corresponding to the action of “crossing the pedestrian crossing” as described above, but more specifically, when it is desired to extract the state with a larger (ie, coarser) granularity, For example, it may be desired to extract the state B corresponding to the action of moving from one point to another point (and passing the pedestrian crossing on the way). In such a case, a column of movement state labels corresponding to the action of “moving from one point to another point” (that is, a longer column including the above “abc”) is a movement state symbol string. As a condition granularity 2804 corresponding to that, a value indicating a particle size larger than the conditional granularity 2804 corresponding to the above-mentioned “cross the pedestrian crossing” is registered.
ただし、粒度の大きさは、それに対応する移動状態ラベルの列の長さに必ずしも依存しない。例えば、「横断歩道を渡る」行動は、さらに、監視対象者が横断歩道の一方の端で停止した後、もう一方の端に移動するという行動と、停止せずに移動するという行動とに分類することができる場合がある。この場合、「横断歩道を渡る」行動に対応する粒度は、「一旦停止した後で横断歩道を渡る」行動の粒度及び「停止せずに横断歩道を渡る」行動の粒度より大きくなる。 However, the size of the granularity does not necessarily depend on the length of the corresponding moving state label column. For example, “crossing a pedestrian crossing” action is further classified into an action that the monitored person stops at one end of the pedestrian crossing and then moves to the other end, and an action that moves without stopping. You may be able to. In this case, the granularity corresponding to the action “crossing the pedestrian crossing” is larger than the granularity of the action “crossing the pedestrian crossing without stopping” and the granularity of the action “crossing the pedestrian crossing without stopping”.
条件粒度２８０４の値は、管理者が手動で設定してもよいが、モニタリングサーバ１００が自動で設定してもよい。自動で設定する場合、例えば、空間条件２８０３によって指定された地物の大きさが小さいほど、細かい粒度を示す値を設定してもよいし、移動状態記号列２８０２の長さが短いほど、細かい粒度を示す値を設定してもよい。
The value of the condition granularity 2804 may be set manually by the administrator or may be set automatically by the
上記のように、例えば空間条件２８０３として地物「信号機」からの距離及び方向の範囲が定められ、それに対応する状態ラベル２８０１及び移動状態記号列２８０２としてそれぞれ「Ａ」及び「ａｂｃ」が登録されている場合において、信号機からの距離及び方向が当該定められた範囲内にある動線から移動状態ラベルの列「ａｂｃ」が抽出された場合、その動線が監視対象者の「横断歩道を渡る」という行動に対応すると判定される。
As described above, for example, the range of the distance and direction from the feature “traffic light” is determined as the
状態判定辞書２８００として、上記のような状態ラベル２８０１〜条件粒度２８０４の複数の組が登録され得る。例えば、別の空間条件２８０３として地物「本棚」が登録され、それに対応する所定の移動状態記号列２８０２の値と、それに対応する行動「本棚から本を取る」に対応する状態ラベル２８０１の値と、それらに対応する条件粒度２８０４の値と、の組が登録されてもよい。以下の説明においてこれらの組の各々を辞書項目と記載する。
As the
図２９は、本発明の第２の実施形態の分析情報ＤＢ１１４に格納される状態判定設定情報の説明図である。
FIG. 29 is an explanatory diagram of the state determination setting information stored in the
状態判定設定情報２９００は、空間条件２９０１及び条件粒度２９０２を含む。これらは、それぞれ、状態判定辞書２８００の空間条件２８０３及び条件粒度２８０４と同様のものである。ただし、初期状態において状態判定設定情報２９００は空であり、条件粒度が設定されたときに、その結果が状態判定設定情報２９００に格納される。
The state
続いて、図２７のステップ２７０１において実行される処理について説明する。ステップ２７０１では、まず、図３０Ａ〜図３０Ｃに示すように、状態判定辞書に基づく状態ラベルの推定処理が実行される。
Subsequently, the process executed in
図３０Ａは、本発明の第２の実施形態のモニタリングサーバ１００が実行する状態判定辞書に基づく状態ラベルの推定処理を示すフローチャートである。
FIG. 30A is a flowchart illustrating state label estimation processing based on a state determination dictionary executed by the
図３０Ｂは、本発明の第２の実施形態における状態判定辞書の項目の検索処理の説明図である。 FIG. 30B is an explanatory diagram of search processing for items in the state determination dictionary according to the second embodiment of this invention.
図３０Ｃは、本発明の第２の実施形態における状態ラベルの割り当ての説明図である。 FIG. 30C is an explanatory diagram of state label assignment in the second exemplary embodiment of the present invention.
最初に、動線解析部１０４は、ステップ１１０１において生成された移動状態ラベルの列に対応する動線の周囲の地物の配置が空間条件２８０３を満たす辞書項目を状態判定辞書２８００から検索する（ステップ３００１）。例えば、当該動線が本棚の近くを通り、部屋の中を通り、さらに別のいくつかの地物の近くを通る場合に、それらの地物と当該動線との位置関係が、状態判定辞書２８００に登録された各辞書項目の空間条件２８０３を満たすか否かが判定され、満たすと判定された辞書項目が検索の結果として取得される（図３０Ｂ参照）。
First, the flow
次に、動線解析部１０４は、ステップ３００１において検索された辞書項目の移動状態記号列２８０２と、ステップ１１０１において生成された移動状態ラベルの列とを比較し、それらが類似する場合、その辞書項目の状態ラベル２８０１を当該移動状態ラベルの列に対応する状態ラベルとして割り当てる（ステップ３００２）。
Next, the flow
この比較、及び、類似するか否かの判定は、公知の方法によって行うことができる。例えば、当該移動状態ラベルの列から切り出された区間と、移動状態記号列２８０２との一致度が計算され、その一致度が所定の閾値より高ければ、その区間に、移動状態記号列２８０２に対応する状態ラベル２８０１が割り当てられてもよい（図３０Ｃ参照）。このような比較を、移動状態ラベルの列から切り出された全区間について行い、最も一致度が高い区間が選択されてもよい。二つの区間の一致度は、例えば、それらの区間において一致する移動状態ラベルの個数等に基づいて算出される。
This comparison and determination of whether or not they are similar can be performed by a known method. For example, the degree of coincidence between the section extracted from the column of the movement state label and the movement state symbol string 2802 is calculated. If the degree of coincidence is higher than a predetermined threshold, the section corresponds to the movement state symbol string 2802. A
なお、状態判定設定情報２９００の条件粒度２９０２として粒度が指定されている場合には、その指定された粒度に対応する辞書項目がステップ３００１において検索される。しかし、初期状態においては、条件粒度２９０２として粒度が指定されていない。この場合には、最も粗い粒度の辞書項目が検索される。このため、図３０Ａ〜図３０Ｃに示した状態ラベルの推定処理によって推定された状態ラベルの粒度が、管理者にとって望ましい粒度より大きい可能性がある。このため、動線解析部１０４は、より細かい粒度の状態ラベルを推定するか否かを管理者に判定させる処理を実行する。これについて図３１Ａ〜図３２を参照して説明する。
If the granularity is designated as the condition granularity 2902 of the state
図３１Ａは、本発明の第２の実施形態のモニタリングサーバ１００が実行する分析パラメータ調整候補選択処理を示すフローチャートである。
FIG. 31A is a flowchart illustrating analysis parameter adjustment candidate selection processing executed by the
図３１Ｂは、本発明の第２の実施形態における同一状態ラベルが割り当てられた区間の検索処理の説明図である。 FIG. 31B is an explanatory diagram of a search process for a section to which the same state label is assigned according to the second embodiment of this invention.
図３１Ｃは、本発明の第２の実施形態におけるより細かい粒度の状態の特定処理の説明図である。 FIG. 31C is an explanatory diagram of a specifying process of a finer granularity state according to the second embodiment of this invention.
図３１Ｄは、本発明の第２の実施形態における一致度が高い状態の選択処理の説明図である。 FIG. 31D is an explanatory diagram of selection processing in a state where the degree of coincidence is high according to the second embodiment of this invention.
複数の動線について図３０Ａ〜図３０Ｃに示した状態ラベルの推定処理が実行された後に分析パラメータ調整候補選択処理が実行される。 The analysis parameter adjustment candidate selection processing is executed after the state label estimation processing shown in FIGS. 30A to 30C is executed for a plurality of flow lines.
最初に、動線解析部１０４は、分析パラメータ調整候補選択処理によって同一の状態ラベルが割り当てられた移動状態ラベルの列の複数の区間を選択する（ステップ３１０１）。例えば、ある移動状態ラベルの列（すなわち移動状態遷移列）の区間「ａｂｂｂａｂｂｂａａ」に状態ラベル「Ａ」が割り当てられ、別の区間「ａｂｂａｂｂｂｂａａ」にも状態ラベル「Ａ」が割り当てられている場合、これらの区間が選択されてもよい（図３１Ｂ参照）。
First, the flow
次に、動線解析部１０４は、ステップ３１０１において選択された各区間について、前回の状態ラベルの推定処理において適用されたものより細かい条件粒度２８０４に対応する移動状態記号列２８０２と一致するか否か（より正確には、一致度が所定の閾値より高いか否か）を判定する（ステップ３１０２）。図３１Ｃの例では、上記の区間「ａｂｂｂａｂｂｂａａ」に、状態ラベル「Ａ」より細かい条件粒度２８０４に対応する状態ラベル「Ｃ」に対応する移動状態記号列２８０２が一致すると判定され、区間「ａｂｂａｂｂｂｂａａ」には、状態ラベル「Ｄ」に対応する移動状態記号列２８０２が一致すると判定される。
Next, the flow
動線解析部１０４は、同様の処理を、例えば状態ラベルの推定処理によって状態ラベル「Ａ」が割り当てられた複数の区間について行う。その結果、例えば、それらの複数の区間のうちいくつかは状態ラベル「Ｃ」に対応する移動状態記号列２８０２と一致し、別のいくつかは状態ラベル「Ｄ」に対応する移動状態記号列２８０２と一致し、さらに別のいくつかは状態ラベル「Ｅ」に対応する移動状態記号列２８０２と一致すると判定されたと仮定する。この場合、動線解析部１０４は、一致すると判定された区間の数が多い順に二つの状態ラベル（例えば「Ｃ」及び「Ｄ」）を選択し、さらに、それぞれに対応する移動状態記号列２８０２との一致度が高い区間を選択する（ステップ３１０３及び図３１Ｄ）。
The flow
そして、モニタリングサーバ１００は、選択された区間に対応するセンサ情報を管理者に提示する。この提示処理は第１の実施形態と同様に実行される（図２４参照）。これによって提示されるセンサ情報の例について、図３２を参照して説明する。
Then, the
図３２は、本発明の第２の実施形態の画面表示装置１２０によって表示されるセンサ情報提示画面の説明図である。
FIG. 32 is an explanatory diagram of a sensor information presentation screen displayed by the
図３２に示すセンサ情報提示画面３２００は、第１センサ情報表示部３２０１、第１歩行者情報表示部２５０２、第２センサ情報表示部３２０３、第２歩行者情報表示部２５０４、「区別あり」ボタン２５０５、「不明」ボタン２５０６及び「区別なし」ボタン２５０７を含む。これらのうち第１歩行者情報表示部２５０２、第２歩行者情報表示部２５０４、「区別あり」ボタン２５０５、「不明」ボタン２５０６及び「区別なし」ボタン２５０７は、第１の実施形態において説明したものと同じであるため、説明を省略する。
32 includes a first sensor
第１センサ情報表示部３２０１及び第２センサ情報表示部３２０３は、それぞれ、第１音声再生ボタン３２０２及び第２音声再生ボタン３２０４を含むことを除いて、第１の実施形態の第１センサ情報表示部２５０１及び第２センサ情報表示部２５０３と同じである。第１音声再生ボタン３２０２及び第２音声再生ボタン３２０４は、センサ１３０としてマイクロフォンが設置されている場合に使用される。管理者が第１音声再生ボタン３２０２及び第２音声再生ボタン３２０４を操作すると、それぞれに対応する音声（例えば、上記の選択された状態ラベル「Ｃ」及び「Ｄ」に対応する時刻及び位置において録音された音声）が再生される。
The first sensor
管理者は、提示された画像又は音声を参照して、例えば状態Ａを状態Ｃ、Ｄ等に区別する必要があるか否かを判定する。区別する必要があると判定された場合、「区別あり」ボタン２５０５が操作され、動線解析部１０４は、ステップ３１０２の結果に従って、より粒度が細かい状態ラベルを割り当てる。例えば、状態ラベル「Ａ」に代えて、状態ラベル「Ｃ」、「Ｄ」及び「Ｅ」等が割り当てられる。さらに、この場合、状態ラベル「Ｃ」等に対応する条件粒度２８０４の値が状態判定設定情報２９００の条件粒度２９０２として登録される。
For example, the administrator determines whether it is necessary to distinguish the state A into the states C and D with reference to the presented image or sound. When it is determined that it is necessary to distinguish, the “with distinction”
なお、第１の実施形態においても同様の方法によって音声が再生されてもよい。 In the first embodiment, sound may be reproduced by the same method.
上記の処理の結果、例えば、移動状態ラベルの列「ａｂｂｂａｂｂｂａａ」に状態ラベル「Ｃ」が割り当てられると判定された場合、移動状態ａ及び移動状態ｂが新たな状態Ｃに統合される。すなわち、移動状態ａに対応するクラスタに含まれる全ての特徴量ベクトル、及び、移動状態ｂに対応するクラスタに含まれる全ての特徴量ベクトルを含む新たなクラスタが生成され、そのクラスタに対応する状態ラベルとして「Ｃ」が割り当てられる。そのクラスタの中心位置及び周囲のクラスタとの間の遷移確率等が計算され、分析情報ＤＢ１１４に格納される（図１７及び図１８参照）。 As a result of the above processing, for example, when it is determined that the state label “C” is assigned to the column “abbbbabbbbaa” of the movement state label, the movement state a and the movement state b are integrated into the new state C. That is, a new cluster is generated that includes all feature vectors included in the cluster corresponding to the movement state a and all feature vectors included in the cluster corresponding to the movement state b, and the state corresponding to the cluster “C” is assigned as a label. The transition position between the center position of the cluster and surrounding clusters is calculated and stored in the analysis information DB 114 (see FIGS. 17 and 18).
以上の本発明の第２の実施形態によれば、特定の移動状態の列に対応する、より粒度の大きい状態を自動的に抽出することができ、さらに、その粒度が大きすぎない適切な値となるように管理者が調整することができる。 According to the second embodiment of the present invention as described above, it is possible to automatically extract a state having a larger granularity corresponding to a column of a specific movement state, and further, an appropriate value whose granularity is not too large. It can be adjusted by the administrator.
＜第３の実施形態＞
続いて、本発明の第３の実施形態について説明する。第３の実施形態において第１又は第２の実施形態と共通する部分に関する説明は省略し、相違点についてのみ以下に説明する。
<Third Embodiment>
Subsequently, a third embodiment of the present invention will be described. In the third embodiment, the description of the parts common to the first or second embodiment is omitted, and only the differences will be described below.
第１及び第２の実施形態では、複数の監視対象者の動線を分析するための粒度が調整された。これに対して、第３の実施形態では、一人の監視対象者の動線を分析するための粒度が調整される。 In the first and second embodiments, the granularity for analyzing the flow lines of a plurality of monitoring subjects is adjusted. On the other hand, in the third embodiment, the granularity for analyzing the flow line of one monitoring subject is adjusted.
図３３Ａは、本発明の第３の実施形態のモニタリングサーバ１００が実行する分析パラメータ調整候補選択処理を示すフローチャートである。
FIG. 33A is a flowchart illustrating analysis parameter adjustment candidate selection processing executed by the
図３３Ｂは、本発明の第３の実施形態におけるより細かい粒度の状態の特定処理の説明図である。 FIG. 33B is an explanatory diagram of a process of specifying a finer granularity state according to the third embodiment of the present invention.
第２の実施形態と同様の方法によって、移動状態ラベルの列の区間（例えば「ａｂｂｂａｂｂｂａａ」）に対応する状態ラベル（例えば「Ａ」）が特定されると、第３の実施形態の動線解析部１０４は、当該区間に一致するより粒度の細かい状態を特定する（ステップ３３０１）。例えば、状態判定辞書２８００に、状態ラベル「Ｆ」、「Ｇ」及び「Ｈ」のそれぞれに対応する移動状態記号列「ａｂ」、「ｂｂａ」及び「ｂｂｂａａ」が登録されている場合、上記の移動状態ラベルの列「ａｂｂｂａｂｂｂａａ」の先頭の二つが状態ラベル「Ｆ」に、次の三つが状態ラベル「Ｇ」に、残りの五つが状態ラベル「Ｈ」に対応する（図３３Ｂ参照）。
When the state label (for example, “A”) corresponding to the section of the movement state label column (for example, “abbbbabbbaa”) is specified by the same method as in the second embodiment, the flow line analysis of the third embodiment is performed. The
例えば、状態Ａが「横断歩道を渡る」という行動に対応する場合、状態Ｆが「横断歩道の一方の端まで移動する」という行動に対応し、状態Ｇが「信号機が進行を表示するまで停止したまま待つ」という行動に対応し、状態Ｈが「横断歩道をもう一方の端まで移動する」という行動に対応してもよい。 For example, if state A corresponds to the action of “crossing the pedestrian crossing”, state F corresponds to the action of “moving to one end of the pedestrian crossing”, and state G is “stop until the traffic light displays progress” The state H may correspond to the action “move the pedestrian crossing to the other end”.
この場合、動線解析部１０４は、特定された状態ラベルのうち二つを選択する（ステップ３３０２）。図３３Ｂに示した例では、いずれの状態の一致率も１００％（すなわち完全一致であるが、一致率に差がある場合には一致率が高い方から二つが選択されてもよい。このようにして選択された二つの状態について、第２の実施形態と同様の手順によってセンサ情報が管理者に提示される。管理者は、提示されたセンサ情報を参照して、粒度を細かくするか否かを判定することができる。
In this case, the flow
以上の本発明の第３の実施形態によれば、一人の監視対象者の動線から状態を抽出する粒度を管理者が調整することができる。これによって、一人の人物が続けて行う行動をどのように切り分けて分析するかを決定することができる。 According to the third embodiment of the present invention described above, the administrator can adjust the granularity for extracting the state from the flow line of one person to be monitored. In this way, it is possible to determine how to analyze and analyze actions that one person continues.
＜第４の実施形態＞
続いて、本発明の第４の実施形態について説明する。第４の実施形態において第１から第３の実施形態と共通する部分に関する説明は省略し、相違点についてのみ以下に説明する。
<Fourth Embodiment>
Subsequently, a fourth embodiment of the present invention will be described. In the fourth embodiment, the description of the parts common to the first to third embodiments is omitted, and only the differences will be described below.
第１の実施形態では、クラスタリングによって取得されたクラスタ（すなわち状態）から、分割対象の候補が選択され、管理者が分割を指示した場合にはそのクラスタが二つに分割された。一方、第４の実施形態では、パターンの分類に寄与する可能性が低い二つのクラスタが統合される。 In the first embodiment, candidates for division are selected from clusters (that is, states) acquired by clustering, and when the administrator instructs division, the cluster is divided into two. On the other hand, in the fourth embodiment, two clusters that are unlikely to contribute to pattern classification are integrated.
例えば、ある場所においてある行動を行った全ての監視対象者が、それに続いて別のある行動を必ず行うのであれば、それらの行動を区別したとしても、パターンの分類に寄与しない。第４の実施形態ではそのような行動を抽出して統合する。 For example, if all monitoring subjects who have performed a certain action at a certain location must always perform another certain action, even if these actions are distinguished, they do not contribute to pattern classification. In the fourth embodiment, such actions are extracted and integrated.
図３４は、本発明の第４の実施形態の分析情報ＤＢ１１４に格納される状態判定設定情報の説明図である。
FIG. 34 is an explanatory diagram of the state determination setting information stored in the
図３４に示す状態判定設定情報は、統合対象状態ラベル３４０１を含む。これは、統合対象として選択された状態ラベルの配列である。 The state determination setting information illustrated in FIG. 34 includes an integration target state label 3401. This is an array of state labels selected as integration targets.
次に、本実施形態の対象歩行者選択処理について説明する。本実施形態の対象歩行者選択処理は、第１の実施形態の対象歩行者選択処理の代わりに（またはそれと併せて）図２２のステップ２２０１において実行されてもよい。
Next, the target pedestrian selection process of this embodiment will be described. The target pedestrian selection process of the present embodiment may be executed in
分析条件設定画面生成部１０６は、生成された状態ラベル遷移列を統計モデルに当てはめた結果を参照する。例えば、図１５に示す統計モデルにおいて、各パターンにおける特定の状態遷移の確率を示すωの値の間の差が小さく、それらのωの値がほぼ１であり、かつ、その特定の状態遷移の前後の状態の平均位置が近い場合、それらの状態を区別することがパターンの分類に寄与しない可能性が高い。
The analysis condition setting
より具体的には、分析条件設定画面生成部１０６は、特定のμ及びνに関するωμν(k)の値を、全てのｋについて取得し、それらのωμν(k)の値の差（ばらつき）が所定の閾値以下であり、それらのωμν(k)の値が所定の閾値以上であり、かつ、それらのωμν(k)に対応する状態遷移の前後の状態に対応する測位データが示す位置の平均値の間の距離が所定の閾値以下である場合、それらの状態に対応するクラスタの中心に最も近い監視対象者を対象歩行者として選択する。
More specifically, the analysis condition setting
以後、選択された対象歩行者について、第１の実施形態と同様にセンサ情報が提示され（図２５参照）、管理者が「区別なし」ボタン２５０７を選択した場合、それらの状態が一つの状態に統合される。
Thereafter, for the selected target pedestrian, sensor information is presented in the same manner as in the first embodiment (see FIG. 25), and when the administrator selects the “no distinction”
以上の本発明の第４の実施形態によれば、区別してもパターンの分類に寄与する可能性が低い二つのクラスタを統合することによって、状態遷移を整理することができる。 According to the fourth embodiment of the present invention described above, state transitions can be organized by integrating two clusters that are unlikely to contribute to pattern classification even if distinguished.
１００ モニタリングサーバ
１０１ センサ情報管理部
１０２ 測位記録管理部
１０３ センサ・測位統合部
１０４ 動線解析部
１０５ 分析条件調整部
１０６ 分析条件設定画面生成部
１０７ 分析結果画面生成部
１１１ センサ情報データベース（ＤＢ）
１１２ 測位ＤＢ
１１３ 屋内地図ＤＢ
１１４ 分析情報ＤＢ
１１５ ユーザＤＢ
１２０ 画面表示部
１３０ センサ
１４０ 移動体端末
１５０ 環境側測位装置
１６０Ａ、１６０Ｂ ネットワーク
DESCRIPTION OF
112 Positioning DB
113 Indoor map DB
114 Analysis information DB
115 User DB
120
Claims (16)
前記監視装置は、
プロセッサと、前記プロセッサに接続される記憶装置と、を備え、
前記記憶装置は、前記複数の監視対象者が携行する移動体端末の位置を示す測位データを保持し、
前記プロセッサは、
前記測位データの特徴量に基づいて前記監視対象者の行動を分類し、
前記分類された行動に対応する複数の前記特徴量の相違の大きさ、又は、前記分類された行動に対応する前記特徴量の数に基づいて、複数の前記分類された行動から変更対象の候補を選択し、
前記候補として選択された行動に対応する複数の測位データを抽出し、
前記抽出された複数の測位データに関する情報を出力し、
前記候補として選択された行動の分類を変更する指示が入力された場合、前記候補として選択された行動の分類を変更することを特徴とする監視装置。 A monitoring device for monitoring the behavior of a plurality of monitoring subjects in a monitoring target area,
The monitoring device
A processor and a storage device connected to the processor;
The storage device holds positioning data indicating the position of a mobile terminal carried by the plurality of monitoring subjects,
The processor is
Classifying the behavior of the monitoring subject based on the feature quantity of the positioning data;
Based on the magnitude of the difference between the plurality of feature amounts corresponding to the classified behavior or the number of the feature amounts corresponding to the classified behavior, a candidate for change from the plurality of classified behaviors Select
Extracting a plurality of positioning data corresponding to the action selected as the candidate,
Outputting information about the extracted plurality of positioning data;
A monitoring apparatus, wherein when an instruction to change a classification of an action selected as the candidate is input, the classification of the action selected as the candidate is changed.
前記監視対象区域内に設置された複数のセンサによって取得された情報及び前記情報が取得された時刻を示す情報を含む第１情報を保持し、
前記各センサが前記第１情報を取得できる領域を特定する第２情報を保持し、
前記プロセッサは、前記第１情報及び前記第２情報に基づいて、前記抽出された複数の測位データの各々が取得された時刻に、各々が示す位置を含む領域において前記センサによって取得された情報を出力することを特徴とする請求項１に記載の監視装置。 The storage device
Holding first information including information acquired by a plurality of sensors installed in the monitored area and information indicating the time when the information was acquired;
Holding the second information specifying the area where each of the sensors can acquire the first information;
The processor, based on the first information and the second information, obtains information acquired by the sensor in a region including a position indicated by each of the plurality of extracted positioning data. The monitoring device according to claim 1, wherein the monitoring device outputs.
前記特徴量をクラスタリングすることによって、各々が前記分類された行動に対応する複数のクラスタを生成し、
前記クラスタの大きさに基づいて、前記変更対象の候補を選択することを特徴とする請求項２に記載の監視装置。 The processor is
By clustering the feature quantities , each generating a plurality of clusters corresponding to the classified behavior,
The monitoring apparatus according to claim 2, wherein the candidate for change is selected based on the size of the cluster.
前記候補として選択された行動に対応するクラスタに含まれる前記複数の特徴量のみを対象としてクラスタリングを実行することによって、複数の分割されたクラスタを生成し、
前記複数の分割されたクラスタの中心に最も近い特徴量に対応する測位データを前記複数の測位データとして抽出し、
前記候補として選択された行動の分類を変更する指示が入力された場合、前記候補として選択された行動に対応するクラスタを、当該クラスタのみと対象として実行されたクラスタリングによって生成された前記複数のクラスタに分割することによって、前記候補として選択された行動の分類を変更することを特徴とする請求項４に記載の監視装置。 The processor is
Generating a plurality of divided clusters by performing clustering only on the plurality of feature quantities included in the cluster corresponding to the action selected as the candidate,
Positioning data corresponding to the feature quantity closest to the center of the plurality of divided clusters is extracted as the plurality of positioning data;
When an instruction to change the classification of the action selected as the candidate is input, the clusters corresponding to the action selected as the candidate are only the cluster and the plurality of clusters generated by clustering executed as a target. The monitoring apparatus according to claim 4, wherein the classification of the action selected as the candidate is changed by dividing into two.
前記候補として選択された行動に対応するクラスタに含まれる前記複数の特徴量のうち、最も距離の離れた二つを抽出し、前記抽出された二つの特徴量に対応する測位データを、前記複数の測位データとして抽出し、
前記候補として選択された行動の分類を変更する指示が入力された場合、前記候補として選択された行動に対応するクラスタに含まれる特徴量を、各々が前記抽出された二つの特徴量のうち距離が近い方に対応する新たなクラスタに含まれるように分割することを特徴とする請求項４に記載の監視装置。 The processor is
Among the plurality of feature quantities included in the cluster corresponding to the action selected as the candidate, two of the most distant features are extracted, and positioning data corresponding to the two extracted feature quantities are As positioning data for
When an instruction to change the classification of the action selected as the candidate is input, the feature quantity included in the cluster corresponding to the action selected as the candidate is determined as the distance between the two extracted feature quantities. The monitoring apparatus according to claim 4, wherein the monitoring device is divided so as to be included in a new cluster corresponding to the closer side.
前記生成された複数のクラスタのうち最も大きいものを前記変更対象の候補として選択することを特徴とする請求項３に記載の監視装置。 The processor determines that the cluster is larger as the number of the feature amounts included in each cluster is larger,
The monitoring apparatus according to claim 3, wherein the largest one of the plurality of generated clusters is selected as the candidate for the change target.
前記生成された複数のクラスタのうち最も大きいものを前記変更対象の候補として選択することを特徴とする請求項３に記載の監視装置。 The processor determines that the larger the radius of each cluster, the larger the cluster,
The monitoring apparatus according to claim 3, wherein the largest one of the plurality of generated clusters is selected as the candidate for the change target.
前記第１情報は、前記画像又は音声を含むことを特徴とする請求項２に記載の監視装置。 The plurality of sensors are a monitoring camera that captures an image of the region or a microphone that records sound of the region,
The monitoring apparatus according to claim 2, wherein the first information includes the image or sound.
前記プロセッサは、前記測位データに基づいて分類された複数の行動と、前記行動辞書に保持された複数の行動との一致度が所定の閾値より高い場合、前記分類された複数の行動を、前記行動辞書に保持された複数の行動に対応する一つの行動に置き換えることによって、前記行動の分類を変更することを特徴とする請求項１に記載の監視装置。 The storage device stores an action dictionary that associates a plurality of the actions with one action including the plurality of actions,
The processor, when the degree of coincidence between the plurality of actions classified based on the positioning data and the plurality of actions held in the action dictionary is higher than a predetermined threshold, the plurality of classified actions are The monitoring apparatus according to claim 1, wherein the action classification is changed by replacing with one action corresponding to a plurality of actions held in the action dictionary.
前記プロセッサは、前記測位データに基づいて分類された複数の行動と、前記行動辞書に保持された、第１の粒度に対応する複数の行動との一致度が所定の閾値より高い場合、当該分類された複数の行動の一部と、前記第１の粒度より細かい第２の粒度に対応する複数の行動との一致度を計算し、前記計算された一致度が所定の閾値より高い場合、前記分類された複数の行動の一部を前記第２の粒度に対応する複数の行動に対応する一つの行動に置き換えることによって、前記行動の分類を変更することを特徴とする請求項１０に記載の監視装置。 The behavior dictionary further holds information indicating the granularity of each behavior including the plurality of behaviors,
When the degree of coincidence between the plurality of actions classified based on the positioning data and the plurality of actions corresponding to the first granularity held in the action dictionary is higher than a predetermined threshold, the processor Calculating a degree of coincidence between a part of the plurality of actions and a plurality of actions corresponding to a second granularity finer than the first granularity, and when the calculated degree of coincidence is higher than a predetermined threshold, The classification of the action is changed by replacing a part of the plurality of classified actions with one action corresponding to the plurality of actions corresponding to the second granularity. Monitoring device.
前記分類された複数の行動の間の遷移確率を前記測位データに基づいて計算し、
所定の統計モデルに基づいて、前記遷移確率を複数のパターンに分類し、
前記各パターンにおける特定の二つの行動の間の遷移確率が所定の閾値より大きく、かつ、前記各パターンにおける当該二つの行動の間の遷移確率のばらつきが所定の閾値より小さい場合、当該二つの行動を一つの行動に変更することによって前記行動の分類を変更することを特徴とする請求項３に記載の監視装置。 The processor is
Calculating transition probabilities between the plurality of classified actions based on the positioning data;
Classifying the transition probability into a plurality of patterns based on a predetermined statistical model;
If the transition probability between two specific actions in each pattern is greater than a predetermined threshold and the variation in transition probability between the two actions in each pattern is less than a predetermined threshold, the two actions The monitoring apparatus according to claim 3, wherein the action classification is changed by changing the action to one action.
前記監視装置は、
プロセッサと、前記プロセッサに接続される記憶装置と、を備え、
前記複数の監視対象者が携行する移動体端末の位置を示す測位データを保持し、
前記方法は、
前記監視装置が、前記測位データの特徴量に基づいて前記監視対象者の行動を分類する第１手順と、
前記監視装置が、前記分類された行動に対応する複数の前記特徴量の相違の大きさ、又は、前記分類された行動に対応する前記特徴量の数に基づいて、複数の前記分類された行動から変更対象の候補を選択し、前記候補として選択された行動に対応する複数の測位データを抽出し、前記抽出された複数の測位データに関する情報を出力する第２手順と、
前記候補として選択された行動の分類を変更する指示が入力された場合、前記監視装置が、前記候補として選択された行動の分類を変更する第３手順と、を含むことを特徴とする方法。 A method in which a monitoring device monitors the behavior of a plurality of monitoring subjects in a monitoring target area,
The monitoring device
A processor and a storage device connected to the processor;
Holding positioning data indicating the position of the mobile terminal carried by the plurality of monitoring subjects,
The method
A first procedure in which the monitoring device classifies the behavior of the monitoring target person based on a feature amount of the positioning data;
The monitoring device has a plurality of the classified actions based on the difference between the plurality of feature quantities corresponding to the classified actions or the number of the feature quantities corresponding to the classified actions. A second procedure of selecting a candidate for change from the above, extracting a plurality of positioning data corresponding to the action selected as the candidate, and outputting information on the extracted positioning data;
And a third step of changing the classification of the action selected as the candidate when the instruction to change the classification of the action selected as the candidate is input.
前記第２手順において、前記監視装置は、前記第１情報及び前記第２情報に基づいて、前記抽出された複数の測位データの各々が取得された時刻に、各々が示す位置を含む領域において前記センサによって取得された情報を出力することを特徴とする請求項１３に記載の方法。 The monitoring device holds first information including information acquired by a plurality of sensors installed in the monitoring target area and information indicating a time when the information is acquired, and each sensor includes the first information. 2nd information that identifies the area where can be acquired,
In the second procedure, the monitoring device, in a region including a position indicated by each of the plurality of extracted positioning data based on the first information and the second information, The method according to claim 13, wherein the information acquired by the sensor is output.
前記第２手順において、前記監視装置は、前記クラスタの大きさに基づいて、前記変更対象の候補を選択することを特徴とする請求項１４に記載の方法。 In the first procedure, the monitoring device generates a plurality of clusters each corresponding to the classified behavior by clustering the feature amount ,
The method according to claim 14, wherein, in the second procedure, the monitoring device selects the candidate to be changed based on a size of the cluster.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010269032A JP5495235B2 (en) | 2010-12-02 | 2010-12-02 | Apparatus and method for monitoring the behavior of a monitored person |
| CN201110397969.3A CN102572390B (en) | 2010-12-02 | 2011-12-02 | Apparatus and method for monitoring motion of monitored objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010269032A JP5495235B2 (en) | 2010-12-02 | 2010-12-02 | Apparatus and method for monitoring the behavior of a monitored person |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012118838A JP2012118838A (en) | 2012-06-21 |
| JP5495235B2 true JP5495235B2 (en) | 2014-05-21 |
Family
ID=46416707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010269032A Expired - Fee Related JP5495235B2 (en) | 2010-12-02 | 2010-12-02 | Apparatus and method for monitoring the behavior of a monitored person |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5495235B2 (en) |
| CN (1) | CN102572390B (en) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6103896B2 (en) * | 2012-11-22 | 2017-03-29 | 株式会社アイリッジ | Information providing apparatus, information output apparatus, and control program for information output apparatus |
| JP6150516B2 (en) * | 2012-12-21 | 2017-06-21 | アズビル株式会社 | Facility management system, portable terminal, facility management apparatus, and facility management method |
| US9679252B2 (en) * | 2013-03-15 | 2017-06-13 | Qualcomm Incorporated | Application-controlled granularity for power-efficient classification |
| JP2014182621A (en) * | 2013-03-19 | 2014-09-29 | Fuji Xerox Co Ltd | Portable terminal equipment, portable terminal program, service management server, service management program and service providing system |
| GB2516865A (en) | 2013-08-02 | 2015-02-11 | Nokia Corp | Method, apparatus and computer program product for activity recognition |
| JP5877825B2 (en) * | 2013-11-25 | 2016-03-08 | ヤフー株式会社 | Data processing apparatus and data processing method |
| JP5842255B2 (en) | 2013-12-12 | 2016-01-13 | 国立大学法人東京工業大学 | Apparatus and method for generating logic circuit from logic circuit description in programming language |
| JP6321388B2 (en) * | 2014-01-31 | 2018-05-09 | 株式会社野村総合研究所 | Information analysis system |
| JP5679086B1 (en) * | 2014-10-07 | 2015-03-04 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
| JP2017068335A (en) * | 2015-09-28 | 2017-04-06 | ルネサスエレクトロニクス株式会社 | Data processing device and on-vehicle communication device |
| CN107438171A (en) * | 2016-05-28 | 2017-12-05 | 深圳富泰宏精密工业有限公司 | Monitoring system and method |
| JP6250852B1 (en) * | 2017-03-16 | 2017-12-20 | ヤフー株式会社 | Determination program, determination apparatus, and determination method |
| WO2018173126A1 (en) * | 2017-03-21 | 2018-09-27 | 三菱電機株式会社 | Monitoring screen data generation device, monitoring screen data generation method, and monitoring screen data generation program |
| WO2018193808A1 (en) * | 2017-04-21 | 2018-10-25 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP6560321B2 (en) * | 2017-11-15 | 2019-08-14 | ヤフー株式会社 | Determination program, determination apparatus, and determination method |
| WO2020003951A1 (en) | 2018-06-26 | 2020-01-02 | コニカミノルタ株式会社 | Program executed by computer, information processing device, and method executed by computer |
| JP7052604B2 (en) * | 2018-07-05 | 2022-04-12 | 富士通株式会社 | Business estimation method, information processing device, and business estimation program |
| JP7329825B2 (en) * | 2018-07-25 | 2023-08-21 | 公立大学法人岩手県立大学 | Information provision system, information provision method, program |
| WO2020152878A1 (en) * | 2019-01-23 | 2020-07-30 | オムロン株式会社 | Operation analysis device, operation analysis method, operation analysis program, and operation analysis system |
| JP6696016B2 (en) * | 2019-02-20 | 2020-05-20 | 能美防災株式会社 | Support system |
| CN111723617B (en) * | 2019-03-20 | 2023-10-27 | 顺丰科技有限公司 | Method, device, equipment and storage medium for identifying actions |
| JP7373187B2 (en) * | 2019-09-19 | 2023-11-02 | 株式会社Local24 | Flow line analysis system and flow line analysis method |
| JP2021148705A (en) * | 2020-03-23 | 2021-09-27 | 公立大学法人岩手県立大学 | Behavior estimation system, model learning system, behavior estimation method, model learning method, and program |
| JP7473899B2 (en) * | 2021-11-16 | 2024-04-24 | ジョージ・アンド・ショーン株式会社 | Information processing device, program, and information processing system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3349033B2 (en) * | 1996-03-15 | 2002-11-20 | 株式会社東芝 | Purchasing behavior prediction device |
| JP4034812B2 (en) * | 2004-10-14 | 2008-01-16 | 松下電器産業株式会社 | Destination prediction apparatus and destination prediction method |
| WO2008146456A1 (en) * | 2007-05-28 | 2008-12-04 | Panasonic Corporation | Information search support method and information search support device |
| JP2010049295A (en) * | 2008-08-19 | 2010-03-04 | Oki Electric Ind Co Ltd | Information providing device and information providing method |
| JP5267659B2 (en) * | 2009-04-10 | 2013-08-21 | オムロン株式会社 | Monitoring system and monitoring terminal |
-
2010
- 2010-12-02 JP JP2010269032A patent/JP5495235B2/en not_active Expired - Fee Related
-
2011
- 2011-12-02 CN CN201110397969.3A patent/CN102572390B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102572390B (en) | 2014-10-29 |
| CN102572390A (en) | 2012-07-11 |
| JP2012118838A (en) | 2012-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5495235B2 (en) | Apparatus and method for monitoring the behavior of a monitored person | |
| US11735018B2 (en) | Security system with face recognition | |
| US9928423B2 (en) | Efficient retrieval of anomalous events with priority learning | |
| US11295139B2 (en) | Human presence detection in edge devices | |
| JP7032408B2 (en) | Site detection | |
| US8149278B2 (en) | System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data | |
| US8660368B2 (en) | Anomalous pattern discovery | |
| JP5422859B2 (en) | Monitoring device and suspicious behavior detection method | |
| JP5355446B2 (en) | Moving object tracking system and moving object tracking method | |
| US11875569B2 (en) | Smart video surveillance system using a neural network engine | |
| WO2009137118A1 (en) | System architecture and process for assessing multi-perspective multi-context abnormal behavior | |
| US9854208B2 (en) | System and method for detecting an object of interest | |
| CN105100700A (en) | Target tracking device using handover between cameras and method thereof | |
| US20120109715A1 (en) | Visualizing visitation patterns at sites of a commercial facility | |
| US20200074175A1 (en) | Object cognitive identification solution | |
| US11429985B2 (en) | Information processing device calculating statistical information | |
| JP2018022284A (en) | Customer service monitoring device, customer service monitoring system, and customer service monitoring method | |
| CN108509502A (en) | The speech interface of monitoring system for view-based access control model | |
| US20190182790A1 (en) | Enhancing indoor positioning using rf multilateration and optical sensing | |
| KR101979375B1 (en) | Method of predicting object behavior of surveillance video | |
| KR102110375B1 (en) | Video watch method based on transfer of learning | |
| US9851784B2 (en) | Movement line conversion and analysis system, method and program | |
| CN114547386A (en) | Positioning method and device based on Wi-Fi signal and electronic equipment | |
| Wang et al. | Adaptive room-level localization system with crowd-sourced WiFi data | |
| US11227007B2 (en) | System, method, and computer-readable medium for managing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5495235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |