JP6807824B2 - 行動セグメント抽出装置及び方法 - Google Patents

Description

本発明は、行動セグメント抽出装置及び方法に関する。

近年、携帯電話及びスマートフォン等の普及により、ＧＰＳ（Global Positioning System）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及び携帯基地局等に基づくユーザの位置情報に関する測位データの取得は容易になった。また、スマートウォッチ及びスマートグラス等のウェアラブルデバイスの誕生により、ユーザの行動、及びユーザもしくはその周囲の状態に関する様々な系列データを得られるようになった。系列データの一例として、撮影位置と撮影時刻の記録とを伴う画像の系列を有するライフログが挙げられる。このライフログを用いて、ユーザの行動とその行動を継続した時間と地域とを抽出できれば、情報推薦及び生活支援等の幅広いサービスに応用可能である。

撮影時刻の記録を伴う画像の系列や映像から、ユーザの行動と関連する地域を抽出する技術として、例えば、下記の非特許文献１が知られている。

また、位置と時刻情報との系列からユーザが一定期間以上、一定の距離範囲内に連続して滞留した測位点の集合を抽出する技術として、例えば、下記の特許文献１及び非特許文献２が知られている。

特開２０１７−３３４０５号公報

A. Furnari, G. M. Farinella, and S. Battiato."Temporal Segmentation of Egocentric Videos to Highlight Personal Locations of Interest." In: European Conference on Computer Vision. Springer International Publishing, 2016. Nishida Kyosuke, Hiroyuki Toda, and Yoshimasa Koike. "Extracting Arbitrary-shaped Stay Regions from Geospatial Trajectories with Outliers and Missing Points." ACM SIGSPATIAL International Workshop on Computational Transportation Science (IWCTS). 2015.

前述したように、従来から系列データや位置情報付きの画像を分析し、情報を抽出する手法が知られている。しかしながら、これらの手法を用いてライフログからユーザの行動とその行動を継続した時間と地域を抽出するためには様々な課題が存在する。

例えば、位置と時刻情報との系列から滞留地を抽出する特許文献１では、高い滞留地抽出精度を得ることができるが、滞留地抽出のみに着目しており、ユーザが実際に行った行動を得ることができない。具体的には、位置情報から百貨店にユーザが滞留していることを抽出できた場合、ユーザが実際には買い物をしているのか、食事をしているのか、あるいは、その両方を順番に行っているのかを判定することができない。

また、例えば、ライフログからユーザが同一の行動を継続して行った位置と時間の範囲（行動セグメント）を抽出する単純な手法として、従来手法を組み合わせた以下の手順で行う手法が考えられる。
（１）例えば、下記の参考文献１と同様の手法により、連続して撮られた２枚の画像間の類似度を各々算出する。
（２）類似度が閾値未満の部分を行動の切り替わりとして分割して、行動セグメントとする。
（３）特許文献１に記載の手法を用いて、各セグメントに関連する地域を求める。
あるいは、
（１）特許文献１に記載の手法を用いて、滞留時間と地域を抽出し、ライフログを滞留部分と移動部分にわける。
（２）滞留部分と移動部分それぞれに関して、下記の参考文献１と同様の手法により、連続して撮られた２枚の画像間の類似度を各々算出する。
（３）類似度が閾値未満の部分を行動の切り替わりとして分割して、行動セグメントとする。
［参考文献１］Yoshiaki Takimoto, Kento Sugiura, Yoshiharu Ishikawa.“Extraction of Frequent Patterns Based on Users’Interests from Semantic Trajectories with Photographs.”The 21st International Database Engineering & Applications Symposium (IDEAS 2017), pp.219-227, Bristol, England, July 2017.

しかし、この手法には以下の課題がある。
（１）画像のブレや遮蔽物等の存在によって画像にノイズが含まれることにより、同一行動を継続中であっても行動セグメントが分割されてしまう可能性がある。
（２）ユーザが同一行動を行っていても画像が類似しない場合がある。例えば、料理や食事等の移動しない行動では画像は殆ど変化せず、画像が類似することが想定されるが、「散歩」や「ドライブ」等の移動する行動では、周りの風景が変化するため、画像が類似しない場合がある。
（３）位置情報と画像情報を複合的に扱っておらず、行動セグメントの精度が悪化する可能性がある。

本発明は、上記の点に鑑みてなされたものであり、ライフログの測位位置及び画像の少なくとも一方にノイズが含まれる場合であっても、ライフログから行動セグメントを精度良く抽出することができる行動セグメント抽出装置及び方法を提供することを目的とする。

上記目的を達成するために、本発明に係る行動セグメント抽出装置は、ユーザの位置を計測する計測機器によって逐次的に計測された、ユーザが所在する緯度及び経度の組もしくはユークリッド空間座標である測位位置と、前記測位位置が計測された時間である測位時間と、前記測位位置で撮影された画像とを含む測位点の系列から、ユーザが一定期間以上同一行動を行い、かつ、一定期間以上一定距離以内に滞留した期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ滞留行動セグメントと、ユーザが一定期間以上同一行動を行い、かつ移動している期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ移動行動セグメントと、を抽出する行動セグメント抽出装置であって、前記画像の各々を分析し、画像特徴量及び画像トピック分布を導出する画像分析部と、前記測位点と前記画像特徴量と前記画像トピック分布との各々を測位点記憶装置に記録する測位点記録部と、前記画像特徴量及び前記画像トピック分布の少なくとも一方に基づいて、前記測位点の集合から、前記滞留行動セグメントを抽出する滞留行動セグメント抽出部と、前記滞留行動セグメントに含まれない測位点から、連続して計測された測位点を移動部分として抽出する移動抽出部と、前記画像トピック分布に基づいて、前記移動部分から、前記移動行動セグメントを抽出する移動行動セグメント抽出部と、を備えている。

また、本発明に係る行動セグメント抽出方法は、ユーザの位置を計測する計測機器によって逐次的に計測された、ユーザが所在する緯度及び経度の組もしくはユークリッド空間座標である測位位置と、前記測位位置が計測された時間である測位時間と、前記測位位置で撮影された画像とを含む測位点の系列から、ユーザが一定期間以上同一行動を行い、かつ、一定期間以上一定距離以内に滞留した期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ滞留行動セグメントと、ユーザが一定期間以上同一行動を行い、かつ移動している期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ移動行動セグメントと、を抽出する行動セグメント抽出方法であって、画像分析部が、前記画像の各々を分析し、画像特徴量及び画像トピック分布を導出し、測位点記録部が、前記測位点と前記画像特徴量と前記画像トピック分布との各々を測位点記憶装置に記録し、滞留行動セグメント抽出部が、前記画像特徴量及び前記画像トピック分布の少なくとも一方に基づいて、前記測位点の集合から、前記滞留行動セグメントを抽出し、移動抽出部が、前記滞留行動セグメントに含まれない測位点から、連続して計測された測位点を移動部分として抽出し、移動行動セグメント抽出部が、前記画像トピック分布に基づいて、前記移動部分から、前記移動行動セグメントを抽出する。

本発明の行動セグメント抽出装置及び方法によれば、測位位置及び画像の少なくとも一方にノイズが含まれる場合であっても、行動セグメントを精度良く抽出することができる、という効果が得られる。

実施の形態に係る行動セグメント抽出装置の構成を示すブロック図である。 実施の形態に係る測位点記憶装置における測位点の記憶形式の一例を示す図である。 実施の形態に係る滞留行動セグメント抽出部の構成を示すブロック図である。 実施の形態に係る滞留行動クラスタの作成処理を説明するための図である。 実施の形態に係る移動行動セグメント抽出部の構成を示すブロック図である。 実施の形態に係る移動行動セグメントの抽出処理を説明するための図である。 実施の形態に係る抽出処理の処理ルーチンを示すフローチャートである。 実施の形態に係る行動セグメントの抽出結果の一例を説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜行動セグメント抽出装置の構成＞
本実施の形態に係る行動セグメント抽出装置は、ＣＰＵと、ＲＡＭと、後述する処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、不揮発性の記憶装置と、を含むコンピュータで構成することができる。行動セグメント抽出装置１０は、機能的には図１に示すように、画像分析部１２、測位点記録部１４、滞留行動セグメント抽出部１６、移動抽出部１８、移動行動セグメント抽出部２０、測位点記憶装置２２、滞留行動セグメント記憶装置２４、及び移動行動セグメント記憶装置２６を備えている。行動セグメント抽出装置１０は、逐次的に与えられる測位点の系列から、ユーザが任意の行動を開始した時刻と終了した時刻、及び関連する測位点の集合を行動セグメント（例えば、滞留行動セグメント及び移動行動セグメント）として抽出する。

画像分析部１２、測位点記録部１４、滞留行動セグメント抽出部１６、移動抽出部１８、及び移動行動セグメント抽出部２０は、ＣＰＵがプログラムを実行することによって実現される。また、測位点記憶装置２２、滞留行動セグメント記憶装置２４、及び移動行動セグメント記憶装置２６は、不揮発性の記憶装置によって実現される。なお、測位点記憶装置２２、滞留行動セグメント記憶装置２４、及び移動行動セグメント記憶装置２６は、行動セグメント抽出装置１０と通信可能な外部装置に設けられてもよい。

画像分析部１２には、ユーザの位置を計測する計測機器によって逐次的に計測された測位点の系列が入力される。測位点の系列の各測位点は、ユーザが所在する緯度及び経度の組である測位位置、測位位置が計測された時間である測位時間、及び測位位置で撮影された画像を含む。なお、測位位置は、緯度及び経度に限定されず、例えば、ある位置を基準としたユークリッド空間座標でもよい。

画像分析部１２は、外部から入力された測位点の系列のｉ（ｉは１以上測位点数以下の整数）番目の測位点である測位点ｉに含まれる画像に対し、分析処理を行うことによって、画像特徴量及び画像トピック分布を導出する。この画像特徴量及び画像トピック分布を導出する手法としては、例えば、下記の参考文献２に記載の手法を適用することができる。
［参考文献２］柳井啓司.“確率的トピックモデルによるWeb画像の分類”, 人工知能学会全国大会論文集, 2008.

測位点記録部１４は、測位点ｉについて、測位番号（すなわち、ｉ）と、測位点と、画像分析部１２により導出された画像特徴量及び画像トピック分布と、を対応付けて測位点記憶装置２２に記録する。図２に、測位点記憶装置２２における記憶形式の一例を示す。図２に示すように、測位点記憶装置２２には、測位点毎に、測位番号、測位点に含まれる測位位置を表す緯度及び経度の組と測位時間、及び画像分析部１２により導出された画像特徴量と画像トピック分布が記憶される。

滞留行動セグメント抽出部１６は、測位点記憶装置２２に記憶された測位点の集合から、ユーザが任意の地域で滞留し、かつ、任意の行動を開始した時刻と終了した時刻、及び、関連する測位点の集合を滞留行動セグメントとして抽出する。そして、滞留行動セグメント抽出部１６は、抽出した滞留行動セグメントを滞留行動セグメント記憶装置２４に記録するとともに、滞留行動セグメントに属さない測位点を移動抽出部１８に出力する。

具体的には、図３に示すように、滞留行動セグメント抽出部１６は、近傍点集合初期化部３０、近傍点集合更新部３２、核点判定部３４、滞留行動クラスタ更新部３６、及び滞留地判定部３８を含む。

近傍点集合初期化部３０は、測位点記憶装置２２に記憶されている測位点ｉの各々の近傍点集合を空集合で初期化する。

近傍点集合更新部３２は、測位点ｉの各々について、１以上の整数ｑに関して、測位点記憶装置２２に記憶された、測位番号ｊがｉ−ｑ及び１の何れか大きい値以上かつｉ以下を満たす測位点ｊの各々について、測位点ｉの測位位置と、測位点ｊの測位位置との距離が閾値ε以内、かつ測位点ｉの画像特徴量と、測位点ｊの画像特徴量との類似度が閾値τ以上である場合に、測位点ｉの近傍点集合に測位点ｊを追加し、かつ、測位点ｊの近傍点集合に測位番号ｉを追加する。具体的には、閾値εの値は３０メートル、閾値τの値は０．７、時間窓のサイズを表すｑは３０等とする。なお、画像間の類似度としては、例えば、付加されたタグに基づく重み付きＪａｃｃａｒｄ係数を用いてもよいし、画像特徴量のベクトル間のユークリッド距離を用いてもよい。また、画像特徴量の類似度に代えて、画像トピック分布の類似度を用いてもよいし、画像特徴量の類似度及び画像トピック分布の類似度の双方を用いてもよい。

また、近傍点集合更新部３２は、測位点ｉの測位位置をｐ_ｉ、測位点ｉの画像特徴量をｆ_ｉ、測位点ｊの測位位置をｐ_ｊ、測位点ｊの画像特徴量をｆ_ｊとしたときに、下記の（１）式を満たす場合に、測位点ｉの近傍点集合に測位点ｊを追加し、かつ、測位点ｊの近傍点集合に測位番号ｉを追加する形態としてもよい。

ここで、Ｇａｕｓｓｉａｎ（（ｐ_ｊ，ｆ_ｊ）｜（ｐ_ｉ，ｆ_ｉ），σ）は、（ｐ_ｊ，ｆ_ｊ）を中心、σを標準偏差とした確率密度分布である正規分布を表すが、正規分布に限定されず、他の確率密度分布を使用してもよい。具体的に、σ＝３０、α＝０．４等と設定する。

核点判定部３４は、測位番号ｉ−ｑが１以上の場合、測位点ｉ−ｑの近傍点集合に基づいて、当該測位点ｉ−ｑの近傍点集合に含まれる測位点のうち、測位時間が最も新しい測位点の測位時間から、測位時間が最も古い測位点の測位時間を減算した滞留時間が閾値θ以上である場合に、当該測位点ｉ−ｑを核点と判定する。一方、核点判定部３４は、滞留時間が閾値θ未満の場合は、当該測位点ｉ−ｑを核点ではないと判定する。

滞留行動クラスタ更新部３６は、測位点ｉ−ｑが核点であると判定された場合、測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタに所属する測位点集合とが結合可能な場合、既存の滞留行動クラスタの測位点集合と、測位点ｉ−ｑの近傍点集合とを結合する。また、滞留行動クラスタ更新部３６は、測位点ｉ−ｑが核点であると判定された場合、測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタに所属する測位点集合とが結合不可能な場合、測位点ｉ−ｑの近傍点集合を滞留行動クラスタに所属する測位点集合として滞留行動クラスタを作成する。

具体的には、滞留行動クラスタ更新部３６は、測位点ｉ−ｑが核点であると判定された場合、測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタに所属する測位点集合とが同一の測位点を含む場合（すなわち、重複する測位点が存在する場合）、既存の滞留行動クラスタの測位点集合と、測位点ｉ−ｑの近傍点集合とを結合する。また、滞留行動クラスタ更新部３６は、測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタに所属する測位点集合とが同一の測位点を含まない場合（すなわち、重複する測位点が存在しない場合）は、測位点ｉ−ｑの近傍点集合を滞留行動クラスタに所属する測位点集合として滞留行動クラスタを作成する。

図４を参照して、滞留行動クラスタの作成処理の具体例について説明する。図４の例では、ｑ＝３、θ＝１５とし、測位点の形状（丸や三角等）が同一の場合に、その測位点間の画像特徴量の類似度が閾値τ以上であり、測位点の形状が異なる場合に、その測位点間の画像特徴量の類似度が閾値τ未満であるとしている。

測位点４について、測位点４との距離が一定距離ε以下であり、測位番号の差がｑ（すなわち、３）以下であり、かつ形状が同一（すなわち、丸）の測位点が近傍点集合となり、ここでは測位点３、４、７が測位点４の近傍点集合となる。また、測位点４の近傍点集合について、最も古い測位時間は、測位点３の測位時間の７であり、最も新しい測位時間は、測位点７の測位時間の２５であるため、滞留時間は２５−７＝１８となる。従って、滞留時間が閾値θ以上であるため、核点判定部３４により測位点４は核点と判定される。また、既存の滞留行動クラスタが存在しないため、滞留行動クラスタ更新部３６により測位点４の近傍点集合［３、４、７］が滞留行動クラスタとして作成される。

また、測位点５及び測位点６については、近傍点集合の滞留時間が閾値θ未満となるため、核点判定部３４により核点とは判定されない。

また、測位点７については、図４に示すように、測位点４、７、８、９が測位点７の近傍点集合となる。また、測位点７の近傍点集合について、最も古い測位時間は、測位点４の測位時間の１０であり、最も新しい測位時間は、測位点９の測位時間の３１であるため、滞留時間は３１−１０＝２１となる。従って、滞留時間が閾値θ以上であるため、核点判定部３４により測位点７は核点と判定される。

既存の滞留行動クラスタの測位点が［３、４、７］であり、同一の測位点４、７を含むため、滞留行動クラスタ更新部３６により既存の滞留行動クラスタに測位点７の近傍点集合が結合される。従って、結合後の滞留行動クラスタの測位点集合は、測位点３、４、７、８、９となる。以上の近傍点集合初期化部３０、近傍点集合更新部３２、核点判定部３４、及び滞留行動クラスタ更新部３６による処理は全ての測位点について実行される。

滞留地判定部３８は、滞留行動クラスタに所属する測位点集合に含まれる測位点が持つ最も新しい測位時間から最も古い測位時間を減算した値である滞留時間が、閾値φ以上である場合に、その滞留行動クラスタを滞留行動セグメントと判定する。そして、滞留地判定部３８は、滞留行動セグメントと判定した滞留行動クラスタに所属する測位点集合を滞留行動セグメント記憶装置２４に記録する。具体的に、φ＝３００秒等とする。

移動抽出部１８は、測位点記憶装置２２に記憶された測位点の系列から、全ての滞留行動セグメント各々に所属する測位点集合に含まれる測位点が持つ最も古い測位時間と、最も新しい測位時間との期間に含まれない測位点集合を抽出する。そして、移動抽出部１８は、抽出した測位点集合から、連続する測位点の系列を移動部分として抽出する。

図４の例では、滞留行動クラスタ［３、４、７、８、９］が滞留行動セグメントと判定された場合、移動抽出部１８により抽出される測位点集合は［１、２、１０、１１、１２］であり、移動部分は［１、２］と、［１０、１１、１２］である。

移動行動セグメント抽出部２０は、移動抽出部１８により抽出された移動部分の測位点系列から、ユーザが移動し、かつ、任意の行動セグメントを開始した時刻と終了した時刻、及び、関連する測位点の集合を移動行動セグメントとして抽出し、移動行動セグメント記憶装置２６に記録する。

具体的には、図５に示すように、移動行動セグメント抽出部２０は、移動行動セグメント初期化部４０、検定部４２、分割点判定部４４、及び移動行動クラスタ更新部４６を含む。

移動行動セグメント初期化部４０は、移動部分ｋに対して移動部分ｋの先頭の測位点のみを含む移動行動セグメントを作成する。

検定部４２は、移動部分ｋ内の測位点ｌに対して、前半測位点集合ｌ−ｗ（ｗは１以上の整数）及び１の何れか大きい値からｌまでと、後半測位点集合ｌからｌ＋ｗ及び測位点の長さＬの何れか小さい値までについて、各測位点の画像トピック分布を測位点記憶装置２２から参照して、トピック次元毎に前半測位点集合と後半測位点集合とを用いてウェルチのｔ検定（２群検定の一例）を行う。すなわち、検定部４２は、前半測位点集合と後半測位点集合との各々における画像トピック分布のトピック次元毎の平均値及び分散値を算出する。そして、検定部４２は、移動部分ｋ内の測位点ｌに対し、算出したトピック次元毎の平均値及び分散値を用いて、前半測位点集合と後半測位点集合との各々における検定値を算出する。

分割点判定部４４は、測位点ｌの検定値について、トピック次元毎に有意差検定を行い、有意差があるトピック次元数が閾値Ｎ以上である場合に、測位点ｌが分割点であると判定する。一方、分割点判定部４４は、有意差があるトピック次元数が閾値Ｎ未満である場合は測位点ｌが分割点でないと判定する。具体的に、Ｎ＝１０等と設定する。

なお、分割点判定部４４は、測位点ｌについて、トピック次元毎の検定値から全トピック次元の検定値の総和を算出し、測位点ｌ−１の検定値の総和と測位点ｌの検定値の総和との差分が閾値以上である場合に、測位点ｌが分割点であると判定してもよい。また、分割点判定部４４は、測位点ｌ−１の検定値の総和と測位点ｌの検定値の総和との差分が閾値未満である場合に、測位点ｌが分割点でないと判定してもよい。

移動行動クラスタ更新部４６は、測位点ｌが分割点でないと判定された場合、測位点ｌ−１が属する移動行動クラスタに測位点ｌを追加する。一方、移動行動クラスタ更新部４６は、測位点ｌが分割点であると判定された場合、既存の移動行動クラスタを移動行動セグメントとして移動行動セグメント記憶装置２６に記録し、新たに測位点ｌのみを含む移動行動クラスタを作成する。

図４の例では、［１、２］と［１０、１１、１２］の２つの連続する測位点集合に分けた後、別々に移動行動セグメントの抽出を行う。ここでは、図６に、移動部分と判定された連続する測位点集合［１０、１１、１２、１３、１４、１５］に対し、移動行動セグメントを抽出する例を示す。ｗ＝２としたとき、測位点１２が分割点か否か判定する処理において、前半測位点集合は［１０、１１、１２］、後半測位点集合は［１２、１３、１４］で与えられ、前半測位点集合と後半測位点集合の間で２群検定を行い、測位点１２が移動行動クラスタの分割点であるか否かの判定を行う（図６の（１））。測位点１２が分割点でないと判定された場合は、測位点１１と同じ移動行動クラスタ（セグメントＩＤ：１）へ測位点１２を追加する（図６の（２）−ａ）。測位点１２が分割点であると判定された場合は、新規の移動行動クラスタ（セグメントＩＤ：２）を作成し、測位点１２（図６の（２）−ｂ）を追加する。その後、測位点１３が分割点であるか否かの判定処理へ移る。この処理を、移動部分ｋの各測位点について実行することによって生成された移動行動クラスタが移動行動セグメントとして抽出される。

＜行動セグメント抽出装置の作用＞
次に、本実施の形態に係る行動セグメント抽出装置１０の作用について説明する。例えば、所定数の測位点の系列が行動セグメント抽出装置１０に入力された場合に、行動セグメント抽出装置１０によって図７に示す抽出処理ルーチンが実行される。

ステップＳ１０では、画像分析部１２は、外部から入力された測位点の系列のｉ番目の測位点である測位点ｉに含まれる画像に対し、分析処理を行うことによって、画像特徴量及び画像トピック分布を導出する。ステップＳ１２では、測位点記録部１４は、測位点ｉについて、測位番号と、測位点と、画像分析部１２により導出された画像特徴量及び画像トピック分布と、を対応付けて測位点記憶装置２２に記録する。

ステップＳ１４では、近傍点集合初期化部３０は、測位点記憶装置２２に記憶されている測位点ｉの近傍点集合を空集合で初期化する。以下のステップＳ１６からステップＳ２０までの処理は、測位点記憶装置２２に記憶されている各測位点ｉについて順番に実行される。

ステップＳ１６では、近傍点集合更新部３２は、測位点ｉについて、１以上の整数ｑに関して、測位点記憶装置２２に記憶された、測位番号ｊがｉ−ｑ及び１の何れか大きい値以上かつｉ以下を満たす測位点ｊの各々について、測位点ｉの測位位置と、測位点ｊの測位位置との距離が閾値ε以内、かつ測位点ｉの画像特徴量と、測位点ｊの画像特徴量との類似度が閾値τ以上である場合に、測位点ｉの近傍点集合に測位点ｊを追加し、かつ、測位点ｊの近傍点集合に測位番号ｉを追加する。

ステップＳ１８では、測位番号ｉ−ｑが１以上の場合、測位点ｉ−ｑの近傍点集合に基づいて、当該測位点ｉ−ｑの近傍点集合に含まれる測位点のうち、測位時間が最も新しい測位点の測位時間から、測位時間が最も古い測位点の測位時間を減算した滞留時間が閾値θ以上である場合に、当該測位点ｉ−ｑを核点と判定する。また、核点判定部３４は、滞留時間が閾値θ未満の場合は、当該測位点ｉ−ｑを核点ではないと判定する。

ステップＳ２０では、滞留行動クラスタ更新部３６は、測位点ｉ−ｑが核点であると判定された場合、測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタに所属する測位点集合とが結合可能な場合、既存の滞留行動クラスタの測位点集合と、測位点ｉ−ｑの近傍点集合とを結合する。また、滞留行動クラスタ更新部３６は、測位点ｉ−ｑが核点であると判定された場合、測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタに所属する測位点集合とが結合不可能な場合、測位点ｉ−ｑの近傍点集合を滞留行動クラスタに所属する測位点集合として滞留行動クラスタを作成する。

ステップＳ２２では、滞留地判定部３８は、滞留行動クラスタに所属する測位点集合に含まれる測位点が持つ最も新しい測位時間から最も古い測位時間を減算した値である滞留時間が、閾値φ以上である場合に、その滞留行動クラスタを滞留行動セグメントと判定する。そして、滞留地判定部３８は、滞留行動セグメントと判定した滞留行動クラスタに所属する測位点集合を滞留行動セグメント記憶装置２４に記録する。

ステップＳ２４では、移動抽出部１８は、測位点記憶装置２２に記憶された測位点の系列から、全ての滞留行動セグメント各々に所属する測位点集合に含まれる測位点が持つ最も古い測位時間と、最も新しい測位時間との期間に含まれない測位点集合を抽出する。そして、移動抽出部１８は、抽出した測位点集合から、連続する測位点の系列を移動部分として抽出する。以下のステップＳ２６からステップＳ３２までの処理は、ステップＳ２４で抽出された各移動部分について実行される。

ステップＳ２６では、移動行動セグメント初期化部４０は、移動部分ｋに対して移動部分ｋの先頭の測位点のみを含む移動行動セグメントを作成する。ステップＳ２８では、検定部４２は、前述したように、移動部分ｋ内の測位点ｌについて、前半測位点集合と後半測位点集合との各々における画像トピック分布のトピック次元毎の平均値及び分散値を算出する。そして、検定部４２は、移動部分ｋ内の測位点ｌについて、算出したトピック次元毎の平均値及び分散値を用いて、前半測位点集合と後半測位点集合との各々における検定値を算出する。

ステップＳ３０では、分割点判定部４４は、ステップＳ２８で算出された測位点ｌの検定値について、トピック次元毎に有意差検定を行い、有意差があるトピック次元数が閾値Ｎ以上である場合に、測位点ｌが分割点であると判定する。また、分割点判定部４４は、有意差があるトピック次元数が閾値Ｎ未満である場合は測位点ｌが分割点でないと判定する。

ステップＳ３２では、移動行動クラスタ更新部４６は、ステップＳ３０で測位点ｌが分割点でないと判定された場合、測位点ｌ−１が属する移動行動クラスタに測位点ｌを追加する。また、移動行動クラスタ更新部４６は、ステップＳ３０で測位点ｌが分割点であると判定された場合、既存の移動行動クラスタを移動行動セグメントとして移動行動セグメント記憶装置２６に記録し、新たに測位点ｌのみを含む移動行動クラスタを作成する。ステップＳ３２の処理が終了すると、抽出処理ルーチンが終了する。

以上説明したように、本実施の形態によれば、一例として図８に示すように、測位位置及び画像の少なくとも一方にノイズが含まれる場合であっても、滞留行動セグメント及び移動行動セグメントを精度良く抽出することができる

なお、本発明は、前述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施の形態では、行動セグメント抽出装置１０の各機能部を、プログラムを実行することによって実現する場合を例に説明したが、これに限定されない。行動セグメント抽出装置１０の各機能部を、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで実現してもよいし、ハードウェアとソフトウェアとの組み合わせで実現してもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０ 行動セグメント抽出装置
１２ 画像分析部
１４ 測位点記録部
１６ 滞留行動セグメント抽出部
１８ 移動抽出部
２０ 移動行動セグメント抽出部
２２ 測位点記憶装置
２４ 滞留行動セグメント記憶装置
２６ 移動行動セグメント記憶装置
３０ 近傍点集合初期化部
３２ 近傍点集合更新部
３４ 核点判定部
３６ 滞留行動クラスタ更新部
３８ 滞留地判定部
４０ 移動行動セグメント初期化部
４２ 検定部
４４ 分割点判定部
４６ 移動行動クラスタ更新部

Claims (8)

1. ユーザの位置を計測する計測機器によって逐次的に計測された、ユーザが所在する緯度及び経度の組もしくはユークリッド空間座標である測位位置と、前記測位位置が計測された時間である測位時間と、前記測位位置で撮影された画像とを含む測位点の系列から、ユーザが一定期間以上同一行動を行い、かつ、一定期間以上一定距離以内に滞留した期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ滞留行動セグメントと、ユーザが一定期間以上同一行動を行い、かつ移動している期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ移動行動セグメントと、を抽出する行動セグメント抽出装置であって、
   前記画像の各々を分析し、画像特徴量及び画像トピック分布を導出する画像分析部と、
   前記測位点と前記画像特徴量と前記画像トピック分布との各々を測位点記憶装置に記録する測位点記録部と、
   前記画像特徴量及び前記画像トピック分布の少なくとも一方に基づいて、前記測位点の集合から、前記滞留行動セグメントを抽出する滞留行動セグメント抽出部と、
   前記滞留行動セグメントに含まれない測位点から、連続して計測された測位点を移動部分として抽出する移動抽出部と、
   前記画像トピック分布に基づいて、前記移動部分から、前記移動行動セグメントを抽出する移動行動セグメント抽出部と、
   を備えた行動セグメント抽出装置。
2. 前記滞留行動セグメント抽出部は、
   ｉ番目の前記測位点である測位点ｉの各々について、前記測位点ｉの近傍点集合を空集合で初期化する近傍点集合初期化部と、
   前記測位点ｉの各々について、予め定められた１以上の整数ｑに関して、前記測位点記憶装置に記憶された、測位番号ｊがｉ−ｑ及び１の何れか大きい方の値以上かつｉ以下を満たす測位点ｊの各々について、前記測位点ｉの測位位置と、前記測位点ｊの測位位置との距離が一定距離以内、かつ、前記測位点ｉ及び前記測位点ｊの各々に対応する前記画像特徴量及び前記画像トピック分布の少なくとも一方に基づく類似度が一定値以上である場合に、前記測位点ｉの近傍点集合に前記測位点ｊを追加し、かつ、前記測位点ｊの近傍点集合に前記測位点ｉを追加する近傍点集合更新部と、
   前記測位点ｉの各々について、ｉ−ｑが１以上の場合、測位点ｉ−ｑの近傍点集合に基づいて、前記測位点ｉ−ｑが核点であるか否かを判定する核点判定部と、
   前記測位点ｉの各々について、前記測位点ｉ−ｑが核点である場合に、前記測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタとを結合可能な場合は、前記測位点ｉ−ｑの近傍点集合を、前記既存の滞留行動クラスタと結合し、前記測位点ｉ−ｑの近傍点集合と、既存の滞留行動クラスタとを結合不可能な場合は、前記測位点ｉ−ｑの近傍点集合に基づいて滞留行動クラスタを作成する滞留行動クラスタ更新部と、
   前記滞留行動クラスタ更新部により作成された前記滞留行動クラスタの各々について、所属する測位点の測位時間に基づいて、前記滞留行動クラスタが滞留行動セグメントか否かを判定する滞留地判定部と、
   を含む請求項１に記載の行動セグメント抽出装置。
3. 前記滞留行動クラスタ更新部は、前記測位点ｉ−ｑが核点である場合に、前記測位点ｉ−ｑの近傍点集合に含まれる測位点と、既存の滞留行動クラスタに所属する測位点集合に含まれる測位点とが重複する場合は、前記既存の滞留行動クラスタに所属する測位点集合と、前記測位点ｉ−ｑの近傍点集合とを結合し、前記重複がない場合は、前記測位点ｉ−ｑの近傍点集合を滞留行動クラスタに所属する測位点集合として滞留行動クラスタを作成する
   請求項２に記載の行動セグメント抽出装置。
4. 前記移動抽出部は、全ての滞留行動セグメントの各々に所属する測位点集合に含まれる測位点が持つ最も古い測位時間と、最も新しい測位時間との期間に含まれない測位点集合を抽出し、抽出した測位点集合から連続する測位点系列各々を移動部分として抽出する
   請求項１から請求項３の何れか１項に記載の行動セグメント抽出装置。
5. 前記移動行動セグメント抽出部は、
   前記移動抽出部により抽出された各移動部分に対して、移動部分の先頭の測位点のみを含む集合で初期化する移動行動セグメント初期化部と、
   移動部分ｋ中の測位点ｌの各々について、予め定められた１以上の整数ｗに関して、移動部分ｋに含まれる、測位番号がｌ−ｗからｌまでの測位点の集合である前半測位点集合と、測位番号がｌからｌ＋ｗまでの測位点の集合である後半測位点集合とについて、前記画像トピック分布のトピック次元毎に前半測位点集合と前記後半測位点集合とを用いた２群検定を行うことによって、測位点ｌの検定値を前記トピック次元毎に算出する検定部と、
   前記検定値に基づいて前記移動部分を分割する分割点を抽出する分割点判定部と、
   前記測位点ｌが移動行動クラスタの分割点でない場合に、測位点ｌ−１と同一の移動行動クラスタに前記測位点ｌを追加し、測位点ｌが移動行動クラスタの分割点である場合に、測位点ｌのみを含む移動行動クラスタを作成する移動行動クラスタ更新部と、を含む
   請求項１から請求項４の何れか１項に記載の行動セグメント抽出装置。
6. 前記検定部は、前記移動部分ｋ中の測位点ｌの各々について、前記前半測位点集合と前記後半測位点集合との各々における前記画像トピック分布のトピック次元毎の平均値及び分散値を算出し、ウェルチのｔ検定を用いて、算出したトピック次元毎の平均値及び分散値から、前記前半測位点集合と前記後半測位点集合との各々における前記トピック次元毎の検定値を算出し、
   前記分割点判定部は、前記トピック次元毎に前記検定値を用いた有意差検定を行い、有意差があるトピック次元の数が閾値以上の場合に、前記測位点ｌを前記分割点と判定する
   請求項５に記載の行動セグメント抽出装置。
7. 前記検定部は、前記移動部分ｋ中の測位点ｌの各々について、前記前半測位点集合と前記後半測位点集合との各々における前記画像トピック分布のトピック次元毎の平均値及び分散値を算出し、ウェルチのｔ検定を用いて、算出したトピック次元毎の平均値及び分散値から、前記前半測位点集合と前記後半測位点集合との各々における前記トピック次元毎の検定値を算出し、
   前記分割点判定部は、前記トピック次元毎の前記検定値から全トピック次元の前記検定値の総和を算出し、測位点ｌ−１の前記検定値の総和と測位点ｌの前記検定値の総和との差分が閾値以上の場合に前記測位点ｌを前記分割点と判定する
   請求項５に記載の行動セグメント抽出装置。
8. ユーザの位置を計測する計測機器によって逐次的に計測された、ユーザが所在する緯度及び経度の組もしくはユークリッド空間座標である測位位置と、前記測位位置が計測された時間である測位時間と、前記測位位置で撮影された画像とを含む測位点の系列から、ユーザが一定期間以上同一行動を行い、かつ、一定期間以上一定距離以内に滞留した期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ滞留行動セグメントと、ユーザが一定期間以上同一行動を行い、かつ移動している期間の開始時刻と終了時刻、及び、関連する測位点の集合を要素として持つ移動行動セグメントと、を抽出する行動セグメント抽出方法であって、
   画像分析部が、前記画像の各々を分析し、画像特徴量及び画像トピック分布を導出し、
   測位点記録部が、前記測位点と前記画像特徴量と前記画像トピック分布との各々を測位点記憶装置に記録し、
   滞留行動セグメント抽出部が、前記画像特徴量及び前記画像トピック分布の少なくとも一方に基づいて、前記測位点の集合から、前記滞留行動セグメントを抽出し、
   移動抽出部が、前記滞留行動セグメントに含まれない測位点から、連続して計測された測位点を移動部分として抽出し、
   移動行動セグメント抽出部が、前記画像トピック分布に基づいて、前記移動部分から、前記移動行動セグメントを抽出する
   行動セグメント抽出方法。