JP2024054747A - 集団行動分析装置、集団行動分析システム、及び集団行動分析方法 - Google Patents

Abstract

【課題】
集団行動における個体間のネットワークを説明性を持たせて提示する。
【解決手段】
集団行動分析装置１００は、複数の個体から取得したセンサデータ１６１から、複数の個体の各組合せにおける個体間の因果性を推定するとともに、複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、をセンサデータ１６１から推定し、推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する同期計算部（同期計算プログラム１５２）と、同期計算部によって推定された複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、集団行動における個体間のネットワークを表示するネットワーク表示部（ネットワーク表示プログラム１５３）と、を備える。
【選択図】図１

Description

本発明は、集団行動分析装置、集団行動分析システム、及び集団行動分析方法に関し、集団行動における個体間のネットワークを分析する集団行動分析装置、集団行動分析システム、及び集団行動分析方法に適用して好適なものである。

従来、集団スポーツ等の始動において、ボールのパス交換等の直接的なインタラクションを検出して連携を評価し、集団のネットワークを分析する技術が存在する。近年では、体の動きの相関性や直接的な対面関係をセンサで検出して評価するネットワーク分析システムが提案されている。

例えば特許文献１には、集団において対面していない個体同士であっても、関係性を持って動く場合に集団のネットワークを分析して可視化するネットワーク分析システムが開示されている。特許文献１のネットワーク分析システムは、加速度の時系列データを離散的な確率変数に変換して移動エントロピーを算出し、この移動エントロピーを用いて一定の閾値以上の関係を有するネットワークを可視化する。

特開２０１８－８１４０６号公報

しかし、特許文献１のネットワーク分析システムで用いられているような単一変数による因果推定は、簡便な手段ではあるが、制限のない状況下では２者間のデータの因果性が偶発的に推定される可能性があり、その場合、２者が真に情報伝達または意思疎通がある関係であるかを区別することができないという問題があった。また、特許文献１のネットワーク分析システムには、推定された因果性及び相関性に説明性がないことから、人による解釈が困難であるという問題もあった。

本発明は以上の点を考慮してなされたもので、集団行動における個体間のネットワークを説明性を持たせて提示することが可能な集団行動分析装置、集団行動分析システム、及び集団行動分析方法を提案しようとするものである。

かかる課題を解決するため本発明においては、複数の個体による集団行動における個体間のネットワークを分析する集団行動分析装置であって、前記複数の個体から取得したセンサデータまたは前記複数の個体を撮影した映像データから、前記複数の個体の各組合せにおける個体間の因果性を推定するとともに、前記複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、を前記センサデータまたは前記映像データから推定し、前記推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する同期計算部と、前記同期計算部によって推定された前記複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、前記集団行動における個体間のネットワークを表示するネットワーク表示部と、を備えることを特徴とする集団行動分析装置が提供される。

また、かかる課題を解決するため本発明においては、複数の個体による集団行動における個体間のネットワークを分析する集団行動分析システムであって、前記複数の個体にそれぞれ装着されるセンサ付きのウェアラブルデバイス、または前記複数の個体を撮影するカメラと、前記ウェアラブルデバイスのセンサで検知されたセンサデータまたは前記カメラで撮影された映像データを受信可能に接続された集団行動分析装置と、を備え、前記集団行動分析装置は、前記センサデータまたは前記映像データから、前記複数の個体の各組合せにおける個体間の因果性を推定するとともに、前記複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、を前記センサデータまたは前記映像データから推定し、前記推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する同期計算部と、前記同期計算部によって推定された前記複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、前記集団行動における個体間のネットワークを表示するネットワーク表示部と、を有することを特徴とする集団行動分析システムが提供される。

また、かかる課題を解決するため本発明においては、複数の個体による集団行動における個体間のネットワークを分析する集団行動分析装置による集団行動分析方法であって、前記集団行動分析装置が、前記複数の個体から取得したセンサデータまたは前記複数の個体を撮影した映像データから、前記複数の個体の各組合せにおける個体間の因果性を推定する因果性推定ステップと、集団行動分析装置が、前記複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、を前記センサデータまたは前記映像データから推定し、前記推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する認識確度推定ステップと、集団行動分析装置が、前記因果性推定ステップ及び前記認識確度推定ステップで推定された前記複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、前記集団行動における個体間のネットワークを表示するネットワーク表示ステップと、を備えることを特徴とする集団行動分析方法が提供される。

本発明によれば、集団行動における個体間のネットワークを説明性を持たせて提示することができる。

本発明の第１の実施形態に係る集団行動分析システム１の構成例を示すブロック図である。 ウェアラブルデバイス３００の装着例を示す図である。 集団行動分析システムの設置及び使用方法の一例を説明するイメージ図である。 センサデータ１６１の一例を示す図である。 ユーザ管理データ１６２の一例を示す図である。 ゲーム管理データ１６３の一例を示す図である。 グラフデータ１６４の一例を示す図である。 認識確度データ１６５の一例を示す図である。 同期性データ１６６の一例を示す図である。 表示設定データ１６７の一例を示す図である。 同期計算処理の処理手順例を示すフローチャートである。 認識確度の算出イメージを説明するための図である。 移動エントロピー計算処理の処理手順例を示すフローチャートである。 ２つの確率変数から移動エントロピーを算出するイメージを示す図である。 ネットワーク表示処理の処理手順例を示すフローチャートである。 分析結果表示画面の表示例（その１）を示す図である。 分析結果表示画面の表示例（その２）を示す図である。 分析結果表示画面の表示例（その３）を示す図である。 本発明の第２の実施形態に係る集団行動分析システム２の構成例を示すブロック図である。 人座標データ５６２の一例を示す図である。 ボール座標データ５６３の一例を示す図である。 ボール座標を用いた体の向きの推定方法を説明するための図である。 本発明の第３の実施形態に係る集団行動分析システム３の構成例を示すブロック図である。 画像解析する骨格部位のイメージを示す図である。 骨格座標データ８６１の一例を示す図である。 ユーザ管理データ８６２の一例を示す図である。 第３の実施形態における分析結果表示画面の表示例を示す図である。

以下、図面を参照して、本発明の実施形態を詳述する。

なお、以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。本発明が実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加や変更等を行うことができる。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は複数でも単数でも構わない。

以下の説明では、「テーブル」、「表」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号又は参照符号における共通番号を使用し、同種の要素を区別して説明する場合は、その要素の参照符号を使用又は参照符号に代えてその要素に割り振られたＩＤを使用することがある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、少なくとも１以上のプロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノード、ストレージシステム、ストレージ装置、サーバ、管理計算機、クライアント、又は、ホストであってもよい。プログラムを実行して行う処理の主体（例えばプロセッサ）は、処理の一部又は全部を行うハードウェア回路を含んでもよい。例えば、プログラムを実行して行う処理の主体は、暗号化及び復号化、又は圧縮及び伸張を実行するハードウェア回路を含んでもよい。プロセッサは、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置及びシステムは、これらの機能部を含む装置及びシステムである。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な非一時的な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と非一時的な記憶資源とを含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

（１）第１の実施形態
（１－１）構成
図１は、本発明の第１の実施形態に係る集団行動分析システム１の構成例を示すブロック図である。集団行動分析システム１は、集団行動における個体間のネットワークを分析して分析結果を利用者に提示するシステムであって、図１に示すように、集団行動分析装置１００、無線通信機２００、及びウェアラブルデバイス３００を備える。

集団行動分析装置１００は、例えばパーソナルコンピューター（ＰＣ）等の計算機であって、外部通信部１１０、演算部１２０、制御部１３０、メモリ１４０、及び記憶部１５０を有する。各部は内部通信線（バス）によって相互に接続されている。

外部通信部１１０は、集団行動分析装置１００と外部（無線通信機２００）との通信を実現する機能を有する。外部通信部１１０は、具体的には例えば、ＮＩＣ（Network Interface Card）等である。外部通信部１１０が利用する通信規格は特段に限定されるものではなく、例えば、ＬＴＥ（Long Term Evolution）、Ｗｉ－Ｆｉ（登録商標）、またはＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。

図１の場合、外部通信部１１０は無線通信機２００と接続され、無線通信機２００を介してリアルタイムで、ウェアラブルデバイス３００で検知されたセンサデータを受信する。なお、リアルタイムな対応が不要な場合は、ウェアラブルデバイス３００が検知したセンサデータをフラッシュメモリ３３０等に格納しておき、格納したセンサデータを所定のタイミングで所定の方法によって集団行動分析装置１００に入力する構成としてもよい。

演算部１２０は、制御部１３０による制御にしたがって、各種演算を行う機能を有する。また、制御部１３０は、集団行動分析装置１００における通信、入出力、及び演算等の各種処理を制御する機能を有する。演算部１２０及び制御部１３０は、ＣＰＵ（Central Processing Unit）等のプロセッサであり、例えば記憶部１５０または外部からメモリ１４０に読み出したプログラムを実行することによって各種の機能を実現する。

メモリ１４０は、集団行動分析装置１００において使用されるプログラム及びデータを一時的に記憶する主記憶装置であって、例えばＲＡＭ（Random Access Memory）である。

記憶部１５０は、集団行動分析装置１００において使用されるプログラム及びデータを非一時的に記憶する補助記憶装置であって、例えばＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）等である。なお、図１において記憶部１５０に記憶するとして示しているプログラム及びデータの少なくとも一部は、ネットワークを経由して通信可能に接続された外部に保持されて必要に応じてメモリ１４０に読み出される構成であってもよい。また、以降の説明では、プログラムを処理の主体として記述することがある。

記憶部１５０には、プログラムとして、データ受信プログラム１５１、同期計算プログラム１５２、及びネットワーク表示プログラム１５３が記憶される。また、記憶部１５０には、データとして、センサデータ１６１、ユーザ管理データ１６２、ゲーム管理データ１６３、グラフデータ１６４、認識確度データ１６５、同期性データ１６６、及び表示設定データ１６７が記憶される。これらのプログラム及びデータの詳細は、図面を参照しながら後述される。

無線通信機２００は、無線通信が可能な通信機であって、ウェアラブルデバイス３００の無線通信部３１０と集団行動分析装置１００の外部通信部１１０との間の無線通信を中継する役割を果たす。無線通信機２００が利用する通信規格は、外部通信部１１０及び無線通信部３１０が利用する通信規格に適合していれば、特に限定されない。

ウェアラブルデバイス３００は、集団行動分析システム１が分析対象とする集団行動の各個体（具体的には例えば、集団スポーツを行う各選手）に装着されるウェアラブルデバイスである。ウェアラブルデバイス３００は、汎用品のウェアラブルデバイスを利用可能であり、例えば、無線通信部３１０、マイコン３２０、フラッシュメモリ３３０、ＵＳＢ通信部３４０、加速度センサ３５０、ジャイロセンサ３６０、地磁気センサ３７０、及びＧＮＳＳ受信部３８０を有する。

無線通信部３１０は、無線通信機能を有し、ウェアラブルデバイス３００で収集したセンサデータ等を無線通信機２００に送信する。マイコン３２０は、ウェアラブルデバイス３００における全体的な制御を行う。フラッシュメモリ３３０は、ウェアラブルデバイス３００で収集したセンサデータ及び位置データ等を記憶する。ＵＳＢ通信部３４０は、ＵＳＢ（Universal Serial Bus）による通信機能を有し、例えば、フラッシュメモリ３３０に記憶したデータをウェアラブルデバイス３００に挿されたＵＳＢメモリに送信する。

加速度センサ３５０は、ウェアラブルデバイス３００を装着した個体の加速度を検知するセンサであり、ジャイロセンサ３６０は、上記個体の角速度（回転量）を検知するセンサであり、地磁気センサ３７０は、地磁気の検出によって上記個体の方向（体の向き）を測定するセンサである。また、ＧＮＳＳ受信部３８０は、ＧＮＳＳ（Global Navigation Satellite System）を利用して上記個体の位置及び速度（あるいは距離）を測位する機器である。上記の各センサ３５０～３７０及びＧＮＳＳ受信部３８０によって収集された個体の収集データ（センサデータ）は、フラッシュメモリ３３０に保存される他、無線通信部３１０から無線通信機２００を介して集団行動分析装置１００の外部通信部１１０に送信される。

なお、ウェアラブルデバイス３００に搭載されるセンサ類は、集団行動分析装置１００におけるネットワーク分析に必要なセンサデータを収集可能であればよく、図１に例示した構成に限定されない。例えば、少なくともＧＮＳＳ受信部３８０が搭載されていればよい。また例えば、ジャイロセンサ３６０は、加速度センサ３５０及び地磁気センサ３７０よりも詳細に加速度及び体の向きを知ることができるが、必ずしもウェアラブルデバイス３００に搭載されなくてもよい。

図２は、ウェアラブルデバイス３００の装着例を示す図である。図２に示したウェアラブルデバイス３００は、対象者の背中の中心付近に固定される。

図３は、集団行動分析システム１の設置及び使用方法の一例を説明するイメージ図である。図３及び第１の実施形態における以降の各図では、ネットワーク分析の対象とする集団行動として、コート内で行われる対戦型のスポーツ競技（以下、ゲーム）を想定している。図３に示すように、それぞれの選手は、図２に示したようなウェアラブルデバイス３００を装着する。そして、コートの周辺には１台以上の無線通信機２００が設置され、それぞれの無線通信機２００は集団行動分析装置１００と通信可能に接続される。このような設置がなされたなかでゲームが行われると、それぞれの選手に装着されたウェアラブルデバイス３００からリアルタイムでセンサデータが送信され、これらのセンサデータは無線通信機２００を介して集団行動分析装置１００で収集される。

（１－２）データ
以下では、図１に示した集団行動分析装置１００の記憶部１５０に保持される各種データについて、その具体例を示す。

図４は、センサデータ１６１の一例を示す図である。センサデータ１６１には、集団行動を行う各個体に装着されたウェアラブルデバイス３００から無線通信機２００を経由して受信した各個体のセンサデータが、データ受信プログラム１５１によって随時、蓄積される。

図４に示したセンサデータ１６１は、１のウェアラブルデバイス３００からセンサデータを受信するごとにレコードが生成され、センサＩＤ１６１１、日時１６１２、加速度１６１３、角速度１６１４、地磁気１６１５、緯度経度１６１６、及び速度１６１７の項目から構成される。

センサＩＤ１６１１は、当該センサデータを送信したウェアラブルデバイス３００のセンサＩＤを示す。センサＩＤは、ウェアラブルデバイス３００ごとに予め付与される固有の識別子である。日時１６１２は、当該センサデータを受信した（または送信した）日時情報を示す。

加速度１６１３～速度１６１７までの各項目には、当該センサデータに含まれる各種センサによる検知データが記録される。具体的には、加速度１６１３は、加速度センサ３５０による検知データを示す。角速度１６１４は、ジャイロセンサ３６０による検知データを示す。地磁気１６１５は、地磁気センサ３７０による検知データを示す。緯度経度１６１６は、ＧＮＳＳ受信部３８０による位置情報の測位データを示す。速度１６１７は、ＧＮＳＳ受信部３８０による速度情報の測定データを示す。

図５は、ユーザ管理データ１６２の一例を示す図である。ユーザ管理データ１６２は、集団行動分析装置１００によるネットワーク分析の対象個体（本例では、選手）に関する情報を保持する。ユーザ管理データ１６２で管理されるユーザ（対象個体）は、ウェアラブルデバイス３００の使用者でもある。

図５に示したユーザ管理データ１６２は、対象個体ごとにレコードを有し、ユーザＩＤ１６２１、センサＩＤ１６２２、チームＩＤ１６２３、開始日時１６２４、及び終了日時１６２５の項目から構成される。

ユーザＩＤ１６２１は、対象個体に個別に付与された識別子（ユーザＩＤ）を示す。センサＩＤ１６２２は、対象個体に装着されたウェアラブルデバイス３００のセンサＩＤを示す。チームＩＤ１６２３は、分析対象の集団行動（本例ではゲーム）において対象個体が属するチームに個別に付与された識別子（チームＩＤ）を示す。開始日時１６２４は、分析対象の集団行動の開始日時を示し、終了日時１６２５は、分析対象の集団行動の終了日時を示す。

図６は、ゲーム管理データ１６３の一例を示す図である。ゲーム管理データ１６３は、集団行動分析装置１００によるネットワーク分析の対象の集団行動（本例ではゲーム）に関する情報を保持する。なお、ユーザ管理データ１６２とゲーム管理データ１６３とをまとめて「管理データ」と称することがある。

図６に示したゲーム管理データ１６３は、分析対象の集団行動（ゲーム）ごとにレコードを有し、ゲームＩＤ１６３１、開始日時１６３２、終了日時１６３３、参加チームＩＤ１６３４、ゲーム名１６３５、及び参加チーム名１６３６の項目から構成される。

ゲームＩＤ１６３１は、当該ゲームに個別に付与された識別子（ゲームＩＤ）を示す。開始日時１６３２は、当該ゲームの開始日時を示し、終了日時１６３３は、当該ゲームの終了日時を示す。参加チームＩＤ１６３４は、当該ゲームに参加するチームのチームＩＤを示し、参加チーム名１６３６は、当該チームのチーム名を示す。ゲーム名１６３５は、当該ゲームのゲーム名を示す。

図７は、グラフデータ１６４の一例を示す図である。グラフデータ１６４は、同期計算プログラム１５２による同期計算処理のなかで生成されるデータであって、分析対象の集団行動（ゲーム）におけるネットワークを構成し得る全ての個体間の組合せ（本例だと選手同士の総組合せ）を定義する。グラフデータ１６４は、個体である２者を結ぶエッジ（辺）ごとに、当該エッジの両端のノード（点、すなわち個体）の組合せに関する情報が記録される。

図７に示したグラフデータ１６４は、グラフＩＤ１６４１、ゲームＩＤ１６４２、始点ユーザＩＤ１６４３、及び終点ユーザＩＤ１６４４の項目から構成される。

グラフＩＤ１６４１は、個体間のネットワークのエッジごとに付与される識別子（グラフＩＤ）を示す。ゲームＩＤ１６４２は、分析対象とされるゲームのゲームＩＤを示す。始点ユーザＩＤ１６４３は、グラフＩＤ１６４１に対応するエッジの始点側の個体（選手）に付与されたユーザＩＤを示し、終点ユーザＩＤ１６４４は、当該エッジの終点側の個体（選手）に付与されたユーザＩＤを示す。

図８は、認識確度データ１６５の一例を示す図である。認識確度データ１６５は、同期計算プログラム１５２による同期計算処理のなかで生成されるデータであって、個体の組合せに対応するグラフＩＤごとに、始点の個体から終点の個体に対する認識確度に関する情報が記録される。

図８に示した認識確度データ１６５は、グラフＩＤ１６５１、角度１６５２、２者間距離１６５３、及び認識確度１６５４の項目から構成される。

グラフＩＤ１６５１は、グラフデータ１６４のグラフＩＤ１６４１に対応する。角度１６５２は、始点の個体（始点ユーザＩＤ１６４３の選手）における視野中心からの、終点の個体（終点ユーザＩＤ１６４４の選手）の角度を示す。２者間距離１６５３は、始点の個体と終点の個体との距離を示す。認識確度１６５４は、始点の個体が終点の個体を認識する確度（認識確度）の算出値を示す。

図９は、同期性データ１６６の一例を示す図である。同期性データ１６６は、同期計算プログラム１５２による同期計算処理のなかで生成されるデータであって、個体の組合せに対応するグラフＩＤごとに、始点の個体から終点の個体への移動エントロピー及び重み付き移動エントロピーが記録される。

図９に示した同期性データ１６６は、グラフＩＤ１６６１、移動エントロピー１６６２、及び重み付き移動エントロピー１６６３の項目から構成される。

グラフＩＤ１６６１は、グラフデータ１６４のグラフＩＤ１６４１に対応する。移動エントロピー１６６２は、グラフＩＤ１６４１が示す個体の組合せにおける移動エントロピーを示し、重み付き移動エントロピー１６６３は、グラフＩＤ１６４１が示す個体の組合せにおける重み付き移動エントロピーを示す。移動エントロピー及び重み付き移動エントロピーについては、図１１～図１４を参照した説明のなかで後述する。

図１０は、表示設定データ１６７の一例を示す図である。表示設定データ１６７は、同期計算プログラム１５２によって分析された集団行動のネットワーク分析の結果を、ネットワーク表示プログラム１５３が分析結果表示画面に表示する際に、利用されるデータであって、分析結果表示画面の表示設定に関する情報を保持する。

図１０に示した表示設定データ１６７は、ゲームＩＤ１６７１、移動エントロピー閾値１６７２、認識確度閾値１６７３、及びネットワーク表示方式１６７４等の項目から構成される。

ゲームＩＤ１６７１は、ゲーム管理データ１６３のゲームＩＤ１６３１に対応する。移動エントロピー閾値１６７２は、ゲームＩＤ１６７１が示すゲームの分析結果表示画面において表示する、移動エントロピーの表示閾値を示し、認識確度閾値１６７３は、同様に認識確度の表示閾値を示す。後述する図１６～図１８に示すように、分析結果表示画面は、利用者が移動エントロピー及び認識確度の表示閾値を調整可能なように構成することができる。ネットワーク表示方式１６７４は、分析結果表示画面におけるネットワークの表示方式を示す。ネットワークの表示方式は特定の方式に限定されるものではない。例えば、後述する図１６～図１８では、位置に基づくネットワーク表示方式が例示されるが、位置に基づかないネットワーク表示方式が選択されてもよい。

（１－３）処理
以下では、図１～図１０に示した構成及びデータ例を利用して、集団行動分析システム１（集団行動分析装置１００）が実行する処理について、詳しく説明する。

（１－３－１）同期計算処理
図１１は、同期計算処理の処理手順例を示すフローチャートである。同期計算処理は、データ受信プログラム１５１がウェアラブルデバイス３００からのセンサデータを収集した後に、同期計算プログラム１５２によって実行される。

同期計算処理の開始契機は、利用者からネットワーク分析の実行を指示する操作が行われたときでもよいし、例えば定期的に実行される等であってもよい。また、ゲームの進行中にリアルタイムにネットワーク分析を行う場合には、直近の所定期間分のセンサデータを対象として同期計算処理を行うようにすればよく、ゲーム終了後にネットワーク分析を行う場合には、当該ゲームで収集した全てのセンサデータを対象として同期計算処理を行うようにすればよい。何れの場合であっても、ゲームの開始前に、ユーザ管理データ１６２及びゲーム管理データ１６３に、事前に設定すべき所定の項目情報が登録され、その他にも、処理に必要となる所定の条件指定等が行われる。

図１１によればまず、同期計算プログラム１５２は、分析対象とする個体（選手）について、時系列でセンサデータ１６１を読み込む（ステップＳ１０１）。ステップＳ１０１において同期計算プログラム１５２は、管理データ（ユーザ管理データ１６２、ゲーム管理データ１６３）を参照することにより、分析対象とする個体のユーザＩＤ、及び当該個体が装着しているウェアラブルデバイス３００のセンサＩＤを取得することができる。そして同期計算プログラム１５２は、取得したユーザＩＤを用いて２個体の組合せを生成し、これらの生成した各組合せにグラフＩＤを付与してグラフデータ１６４に記録する。なお、説明を簡便にするために、以後の説明では、個体を人と仮定して「２個体」を「２者」と称し、ネットワークの始点の個体を「始点ユーザ」、ネットワークの終点の個体を「終点ユーザ」と称する。

次に、同期計算プログラム１５２は、ステップＳ１０１でグラフデータ１６４に記録した網羅的な個体間の組合せについて、２者間の体の向きを推定し、その推定結果として始点ユーザから終点ユーザに対する体の向きを、認識確度データ１６５の角度１６５２に記録する（ステップＳ１０２）。

具体的には、ステップＳ１０２において同期計算プログラム１５２は、グラフデータ１６４のレコードに記録された始点ユーザＩＤ１６４３及び終点ユーザＩＤ１６４４をキーとして、ユーザ管理データ１６２から、各ユーザに装着されたウェアラブルデバイス３００のセンサＩＤ１６２２を取得する。次に、同期計算プログラム１５２は、取得した始点ユーザ及び終点ユーザのそれぞれのセンサＩＤ１６２２についてセンサデータ１６１を参照し、各ユーザの位置（緯度経度１６１６）及び体の向き（角速度１６１４）を取得する。そして以上の取得情報に基づいて、同期計算プログラム１５２は、始点ユーザの体の向きを視野中心として、始点ユーザから終点ユーザに対する体の向き（始点ユーザから見た終点ユーザの方向）を推定し、その推定結果を認識確度データ１６５の角度１６５２に記録する。

次に、同期計算プログラム１５２は、ステップＳ１０２と同様に、網羅的な２者間の距離を推定し、その推定結果を認識確度データ１６５の２者間距離１６５３に記録する（ステップＳ１０３）。具体的には、同期計算プログラム１５２は、始点ユーザの位置と終点ユーザの位置から、２者間の距離を推定することができる。

次に、同期計算プログラム１５２は、網羅的な２者の組合せ（複数の個体の各組合せ）について、ステップＳ１０２で推定した始点ユーザから終点ユーザに対する体の向きと、ステップＳ１０３で推定した２者間の距離とに基づいて、始点ユーザの視野を考慮して、始点ユーザによる終点ユーザの認識の確度（認識確度）を算出し、その算出結果を認識確度データ１６５の認識確度１６５４に記録する（ステップＳ１０４）。

図１２は、認識確度の算出イメージを説明するための図である。図１２（Ａ）は、始点ユーザと終点ユーザとの位置関係の例を示し、図１２（Ｂ）は、２者間の距離と認識確度との関係性を示し、図１２（Ｃ）は、始点ユーザの視野中心からの終点ユーザの確度と認識確度との関係性を示している。

図１２（Ａ）に示すように、始点ユーザの視野は、体の向きを中心にした所定の推定視野角の範囲内となる。推定視野角は例えば１２０度程度を事前に決定しておけばよいが、利用者によって任意に変更可能であってもよい。図１２（Ｂ）に示すように、２者間の距離が大きくなるほど認識確度が下がる。また、図１２（Ｃ）に示すように、始点ユーザから終点ユーザへの角度が大きくなるほど（すなわち、始点ユーザの視野中心から終点ユーザが離れるほど）、認識確度は下がる。以上、図１２（Ａ）～（Ｃ）から分かるように、始点ユーザから見て、終点ユーザが視野中心に近い角度かつ近距離にいれば、始点ユーザの終点ユーザに対する認識確度は高くなり、角度または距離が大きくなるほど認識確度は低くなるものであり、同期計算プログラム１５２は、このような傾向を数値化した算出式を用いることによって、認識確度を算出することができる。

図１１の説明に戻る。ステップＳ１０５に次いで、同期計算プログラム１５２は、網羅的な２者間の移動エントロピーを算出し、その算出結果を同期性データ１６６の移動エントロピー１６６２に記録する（ステップＳ１０６）。移動エントロピーの計算方法については、図１３及び図１４を参照しながら詳しく後述する。

次に、同期計算プログラム１５２は、ステップＳ１０６で算出した２者間の移動エントロピーにステップＳ１０４で算出した認識確度によって重み付けを行い、重み付けした移動エントロピーの算出結果を同期性データ１６６の重み付き移動エントロピー１６６３に記録し（ステップＳ１０７）、その後、同期計算処理を終了する。

以上、ステップＳ１０１～Ｓ１０７の処理が実行されることにより、個体間の組合せを示すグラフＩＤをキーとして、グラフデータ１６４、認識確度データ１６５、及び同期性データ１６６が生成される。特に本実施形態では、ステップＳ１０６において集団における網羅的な２者間の移動エントロピーを計算して２者間の因果性を推定するだけでなく、ステップＳ１０７において２者間の距離及び向きに基づく相互または単方向の認識確度を用いて重み付けすることにより、２者間の同期性（因果性）をより精度よく分析することができる。なお、２者間の距離及び向きを反映する手法であれば、重み付けの具体的な方法は限定されない。

図１３は、移動エントロピー計算処理の処理手順例を示すフローチャートである。また、図１４は、２つの確率変数から移動エントロピーを算出するイメージを示す図である。移動エントロピー計算処理は、同期計算プログラム１５２が始点ユーザから終点ユーザへの移動エントロピーを算出する処理であって、図１１のステップＳ１０５において実行される。本実施形態で算出する移動エントロピーは、網羅的な２個体間を対象とし、センサデータ１６１の加速度１６１３から得られる各個体の連続値による加速度データを入力として、個体ごとに正規化及び離散化した確率変数に変換したのち、２個体の確率変数から当該２個体間の移動エントロピーを算出するものである。

図１３によればまず、同期計算プログラム１５２は、読み込んだセンサデータ１６１（図１１のステップＳ１０１参照）から、対象個体ごとに単位時間当たりの移動量を集計し、ヒストグラム計算を行う（ステップＳ２０１）。図１３のグラフ４０１は、ステップＳ２０１における移動量の集計イメージを示したものであり、時間当りの運動量（移動量）の変化を示すグラフを基に、運動量距離当りの頻度の変化を示すグラフが生成されている。

次に、同期計算プログラム１５２は、例えばスタージェスの公式に基づいて、ステップＳ２０１で計算したヒストグラムを所定の階級幅で分割する（ステップＳ２０２）。図１３のグラフ４０２は、所定の階級幅で分割されたヒストグラムを示している。なお、本例では「ｋ＝ｌｏｇ_２Ｎ＋１ （Ｎ：サンプルサイズ、ｋ：階級数）」とするスタージェスの公式を用いるが、ヒストグラムの階級幅を決定する他の数式等を利用してもよい。

次に、同期計算プログラム１５２は、ステップＳ２０２で行ったヒストグラムの分割に基づいて、移動量を正規化及び離散化する（ステップＳ２０３）。図１３のグラフ４０３は、正規化及び離散化が行われたことによって生成される、時間ステップごとの確率変数を示すグラフである。正規化及び離散化には既知の手法を利用可能である。

次に、同期計算プログラム１５２は、ステップＳ２０３で正規化及び離散化した後の各座標間の移動量の時系列データから、移動エントロピーを計算する（ステップＳ２０４）。

詳しくは、図１４（Ａ）に、ステップＳ２０３で正規化及び離散化した後の各座標間の移動量の時系列データの例として、点Ｉ及び点Ｊのそれぞれについての時系列確率変数が示されている。すなわち、これらの時系列確率変数は、図１３のグラフ４０３における各階級の確率変数の値に相当する。

そして同期計算プログラム１５２は、上記の２つの時系列確率変数を用いて、図１４（Ｂ）に示した数式を計算することにより、点Ｊから点Ｉへの移動エントロピーを算出することができる。言い換えると、点Ｊを始点ユーザ、点Ｉを終点ユーザとすることにより、始点ユーザから終点ユーザへの移動エントロピーを算出することができる。このようにして算出した２者間の移動エントロピーが高い場合、２者間の動きには同期性（因果性）があると推定することができる。

最後に、同期計算プログラム１５２は、以上のようにして算出した始点ユーザから終点ユーザへの移動エントロピーを同期性データ１６６の移動エントロピー１６６２に記録し、移動エントロピー計算処理を終了する。

なお、上記では移動エントロピーを算出する方法について述べたが、本実施形態に係る集団行動分析装置１００は、移動エントロピーの代替として、相互相関関数、ＤＴＷ、または相互情報量等といった、２点間の関係性を数値化する他の解析手法を採用することもできる。但し、これらの解析手法の場合は、移動エントロピーを用いる場合と比べると、方向性を示すことができなかったり、タイミングの違い（時間差）を適切に表現し難かったりする等の制約が生じる可能性がある。

（１－３－２）ネットワーク表示処理
図１５は、ネットワーク表示処理の処理手順例を示すフローチャートである。ネットワーク表示処理は、同期計算処理によって分析された集団行動のネットワーク分析の結果を分析結果表示画面に描画することによって集団行動分析装置１００の利用者に提示する処理であって、ネットワーク表示プログラム１５３によって実行される。ネットワーク表示処理の開始前には、分析結果表示画面における表示対象の集団行動（対象ゲーム）が、集団行動分析装置１００の利用者によって指定される。より具体的には、対象ゲームのゲームＩＤが直接指定されてもよいし、対象ゲームの実施日時や参加チーム等が指定されてもよい。

図１５によればまず、ネットワーク表示プログラム１５３は、利用者によって指定された指定条件に基づいて管理データ（ユーザ管理データ１６２、ゲーム管理データ１６３）を検索し、対象ゲームのゲームＩＤを特定する（ステップＳ３０１）。

次に、ネットワーク表示プログラム１５３は、ステップＳ３０１で特定したゲームＩＤをキーとして、表示設定データ１６７から該当するレコードの表示設定を取得する（ステップＳ３０２）。

次に、ネットワーク表示プログラム１５３は、ステップＳ３０１で特定したゲームＩＤをキーとしてグラフデータ１６４を検索し、ゲームＩＤが示す対象ゲームにおける個体間のネットワークのグラフＩＤを全て特定する。さらにネットワーク表示プログラム１５３は、特定したそれぞれのグラフＩＤについて、同期性データ１６６及び認識確度データ１６５を参照し、当該グラフＩＤを有するレコードデータから同期性（因果性）及び認識確度の指標値を取得する（ステップＳ３０３）。具体的には、同期性の指標値とは、同期性データ１６６に保持された移動エントロピー１６６２または重み付き移動エントロピー１６６３であり、認識確度の指標値とは、認識確度データ１６５に保持された認識確度１６５４である。

次に、ネットワーク表示プログラム１５３は、ステップＳ３０３で取得した同期性及び認識確度の指標値のうち、ステップＳ３０２で取得した表示設定における表示閾値（移動エントロピー閾値１６７２、認識確度閾値１６７３）を超える指標値を用いて、分析結果表示画面にネットワークグラフを描画する（ステップＳ３０４）。なお、分析結果表示画面を描画する際には、上記の指標値の他にも、管理データ等から取得した情報も適宜利用してよい。

そして、ネットワーク表示プログラム１５３は、以上のようにして描画した分析結果表示画面を利用者端末のディスプレイ（不図示）等に出力することにより、個体間の因果性（本例では移動エントロピー）と認識の確度とに基づく個体のネットワークを利用者に提供することができ、利用者は、指定した集団行動（対象ゲーム）における個体間のネットワークを視覚的に認識することができる。

図１６～図１８は、分析結果表示画面の表示例（その１～その３）を示す図である。

図１６に示した分析結果表示画面４１０は、利用者による表示閾値の調整が行われていないときの分析結果表示画面の一例である。まず、図１６を参照しながら、分析結果表示画面の基本的な画面構成を説明する。後述する図１７及び図１８では、共通する画面構成の説明は省略する。

分析結果表示画面４１０において、領域４１１には、対象ゲームが実施された日付が表示され、領域４１２には、対象ゲームのゲーム名が表示される。領域４１１，４１２の内容は利用者が事前に指定する。前述した通り、ネットワーク表示プログラム１５３は、図１５のステップＳ３０１において、指定された日付及び対象ゲームをキーとしてゲーム管理データ１６３を参照することにより、該当する対象ゲームのゲームＩＤを特定することができる。

分析結果表示画面４１０において、領域４１３には、対象ゲームにおける個体間のネットワークが表示される。ネットワークの表示方法は特に限定されないが、例えば図１６の場合、チームＡとチームＢのそれぞれの選手に番号が付与され、表示閾値を超える指標値が算出された選手間のネットワークが、矢印付きの直線によって単方向で示される。具体的には例えば、チームＡの「２」番の選手は、同じチームＡの「１」番の選手と相手チームであるチームＢの「８」番の選手に対して関連性を持って動いていることが示されているが、一方で、自身は他のどの選手からも関連性を持たれていないことが分かる。

分析結果表示画面４１０において、領域４１４には、現在の表示閾値が表示される。図１６の場合、移動エントロピー及び認識確度のそれぞれについて、表示閾値を調整可能なスライドバーが用意されている。利用者は、領域４１４のスライドバーを操作することにより、移動エントロピー及び認識確度のそれぞれの表示閾値を所定範囲内で自由に調整することができる。表示閾値が変更された場合は、変更後の表示閾値に従って図１５のネットワーク表示処理が実行されることにより、領域４１３の表示内容が変化する。

分析結果表示画面４１０において、領域４１５には、時系列を調整するためのスライドバーが表示される。利用者は、領域４１５のスライドバーを操作することにより、領域４１３に表示する個体間のネットワークのタイミングを指定することができる。タイミングが変更された場合は、表示設定データ１６７の設定内容が更新され、変更後のタイミングに従って図１５のネットワーク表示処理が実行されることにより、領域４１３の表示内容が変化する。なお、ネットワーク表示プログラム１５３は、分析結果表示画面４１０の領域４１３において、時系列を自動的に進めながら連続的にネットワーク表示を変更する、いわゆる動画表示を実行できるように構成されてもよく、その場合は、領域４１３における表示進行に応じて、領域４１５のスライドバーも移動して表示される。

図１７に示した分析結果表示画面４２０は、図１６に示した分析結果表示画面４１０において利用者から表示閾値の調整が行われた後の分析結果表示画面の一例である。具体的には、図１６の分析結果表示画面４１０と比較すると、図１７の分析結果表示画面４２０では、表示閾値を調整可能な領域４２４において、認識確度の表示閾値が「強」の方に調整されている。認識確度の表示閾値が高められた結果、分析結果表示画面４２０の領域４２３に表示されたネットワークは、分析結果表示画面４１０の領域４１３に表示されたネットワークがフィルタリングされたものとなっており、より信頼性の高い関連性を有するネットワークだけが表示されている。

図１８に示した分析結果表示画面４３０は、表示閾値を調整可能な領域４３４の構成が、前述した分析結果表示画面４１０，４２０とは異なっている。

分析結果表示画面４３０において、領域４３４には、連携強度という指標について表示閾値を調整可能なスライドバーが用意されている。連携強度は、個体間の因果性（例えば移動エントロピー）と認識の確度とを組合せた指標であって、具体的には本例の場合、認識確度で重み付けを行った重み付き移動エントロピーに相当する。利用者は、領域４３４のスライドバーを操作することにより、連携強度（重み付き移動エントロピー）の表示閾値を所定範囲内で自由に調整することができる。そして、連携強度の表示閾値が変更された場合は、変更後の表示閾値に従って図１５のネットワーク表示処理が実行されることにより、領域４３３の表示内容が変化する。具体的には、領域４３３には、図１５のステップＳ３０３で取得された同期性の指標値のうち、連携強度の表示閾値を超える重み付き移動エントロピーを用いて、個体間のネットワークが表示される。

前述した分析結果表示画面４１０，４２０が因果性（移動エントロピー）と認識確度の双方をそれぞれ調整可能な専門家向きの構成であったのに対し、分析結果表示画面４３０は、因果性に認識確度による重み付けを行った「連携強度（重み付き移動エントロピー）」の表示閾値を調整可能な構成とされることで、操作が簡易化されて利便性が向上し、より一般ユーザに好適な表示構成となる。

なお、領域４１４，４２４，４３４で操作可能な表示閾値の種別は、ユーザ等によって切り替え可能に構成されてもよい。あるいは、利用者に予め与えられた権限等に応じて、操作可能な表示閾値の種別が異なるよう、ネットワーク表示プログラム１５３は、表示設定を変更するようにしてもよい。また、領域４１４，４１２においても、連携強度（重み付き移動エントロピー）に対する調整用のスライドバーが設置されてもよい。

以上のように、本実施形態に係る集団行動分析装置１００は、同期計算処理を実行することにより、集団行動を行う複数の個体から、複数種類のセンサデータを取得し、複数の個体の組合せを網羅した２個体間の動きの因果性（同期性）をセンサデータに基づいて推定し（例えば移動エントロピー等）、さらに、２個体の距離または体の向きに基づいて相互または単方向の認識の確度を推定することができる。

そして、集団行動分析装置１００は、ネットワーク表示処理によって、同期計算処理の推定結果を用いて個体間のネットワークを表示する際に、利用者の希望に応じて、何度でも表示及びネットワーク分析指標の出力を切り替えることができる。具体的には、図１６の分析結果表示画面４１０でいえば、領域４１１，４１２に対する利用者の入力により、個体間のネットワークを表示したい集団行動（対象ゲーム）を指定することができ、領域４３５のスライドバーの調整により、表示する時系列を指定することができる。また、利用者による領域４１４の表示閾値の調整により、フィルタリングした因果性及び認識確度に基づいて個体間のネットワークを表示することができる。また、事前設定も可能な推定視野角の値などを変更することにより、認識確度の判定基準を変更することもできる。また、図１８の分析結果表示画面４３０のように、個体間ネットワークを、因果性（移動エントロピー）を認識確度で重み付けした指標値（重み付き移動エントロピー）に基づいて表示することもできる。

かくして、本実施形態に係る集団行動分析装置１（集団行動分析装置１００）によれば、集団行動における個体間のネットワークを説明性を持たせて提示することができるため、利用者は、集団行動のネットワークを客観的に理解し易くなり、スポーツ等の効果的な指導が可能となる。

（２）第２の実施形態
第２の実施形態では、集団行動を行う各個体（例えば球技のゲームを行う各選手）にウェアラブルデバイス３００を装着せずに、個体間のネットワークにおける因果性及び認識確度を推定し、個体間のネットワークを表示する集団行動分析システムについて説明する。

図１９は、本発明の第２の実施形態に係る集団行動分析システム２の構成例を示すブロック図である。集団行動分析システム２は、集団行動における個体間のネットワークを分析して分析結果を利用者に提示するシステムであって、図１９に示すように、集団行動分析装置５００及びカメラ６００を備える。なお、集団行動分析システム２の構成要素のうち、第１の実施形態に係る集団行動分析システム１と同様の構成要素については、共通する符号を付して説明を省略する。また、集団行動分析システム２において集団行動分析装置５００が実行する処理（同期計算処理、ネットワーク表示処理）の処理手順は、基本的には第１の実施形態において集団行動分析装置１００が実行する処理と同様であり、その詳細な説明を省略する。

図１９に示したように、集団行動分析装置５００はカメラ６００に接続される。カメラ６００の撮影可能範囲６０１は、集団行動（本例では球技のゲーム）が実施されるコート等に向けられており、カメラ６００は集団行動の撮影データを、例えばリアルタイムで、集団行動分析装置５００の外部通信部１１０に送信する。集団行動分析装置５００の外部通信部１１０が受信した撮影データは、画像データ５６１として記憶部５５０に格納される。

集団行動分析装置５００は、例えばパーソナルコンピューター（ＰＣ）等の計算機であって、外部通信部１１０、演算部１２０、制御部１３０、メモリ１４０、及び記憶部５５０を有する。各部は内部通信線（バス）によって相互に接続されている。

記憶部５５０は、集団行動分析装置５００において使用されるプログラム及びデータを非一時的に記憶する補助記憶装置であって、例えばＳＳＤまたはＨＤＤ等である。なお、図１９において記憶部５５０に記憶するとして示しているプログラム及びデータの少なくとも一部は、ネットワークを経由して通信可能に接続された外部に保持されて必要に応じてメモリ１４０に読み出される構成であってもよい。

記憶部５５０には、プログラムとして、画像認識プログラム５５１、同期計算プログラム５５２、及びネットワーク表示プログラム１５３が記憶される。また、記憶部５５０には、第１の実施形態と同様のデータとして、ユーザ管理データ１６２、ゲーム管理データ１６３、グラフデータ１６４、認識確度データ１６５、同期性データ１６６、及び表示設定データ１６７が記憶され、さらに、画像データ５６１、人座標データ５６２、及びボール座標データ５６３が記憶される。

画像認識プログラム５５１は、カメラ６００から収集した画像データ５６１に対して画像解析処理を行い、画像データ５６１に映っている人及びボールの座標を時系列で取得し、取得した座標を人座標データ５６２及びボール座標データ５６３に記録する。画像認識プログラム５５１による上記処理は、カメラ６００から収集した画像データ５６１の登録後、かつ、同期計算処理の実行前または開始直後に実行される。

図２０は、人座標データ５６２の一例を示す図である。人座標データ５６２は、画像データ５６１を画像解析して得られた人物の位置情報を、時系列で保持する。具体的には、図２０に示した人座標データ５６２は、人物ＩＤ５６２１、日時５６２２、及び人座標を示す座標５６２３の項目から構成される。人物ＩＤ５６２１は、画像データ５６１の画像解析によって識別された人物ごとに付与される識別子（人物ＩＤ）であって、所定の方法によって人物ＩＤが示す各個体とユーザ管理データ１６２が管理するユーザＩＤとの対応を特定することにより、人物ＩＤ５６２１をユーザＩＤ１６２１として扱うことが可能となる。

図２１は、ボール座標データ５６３の一例を示す図である。ボール座標データ５６３は、画像データ５６１を画像解析して得られたボールの位置情報を、時系列で保持する。具体的には、図２１に示したボール座標データ５６３は、ゲームＩＤ５６３１、日時５６３２、及びボール座標を示す座標５６３３の項目から構成される。

ここで、上記した人座標データ５６２からは、集団行動における各個体（選手）の位置を知ることはできるが、選手の体の向きを把握することはできない。また、各個体の視野に関する情報もない。そこで第２の実施形態の同期計算プログラム５５２は、同時刻における人座標データ５６２及びボール座標データ５６３のデータを用いて、以下のように選手の体の向き及び視野範囲を推定する。

図２２は、ボール座標を用いた体の向きの推定方法を説明するための図である。図２２には、ゲーム中のボール７０１と複数の選手７０２との位置関係の一例が示されている。ボール７０１の座標はボール座標データ５６３の座標５６３３から取得することができ、選手７０２の座標は人座標データ５６２の座標５６２３から取得することができる。このとき、同期計算プログラム５５２は、ボールの位置（方向）に個体の視野の中心があると仮定して、個体の体の向き及び視野の範囲を推定する。具体的に「１」番の選手７０２について言うと、矢印の方向が視野の中心（すなわち、体の向き）となり、領域７０３が視野の範囲となる。

上記の推定により、同期計算プログラム５５２は、集団行動における各個体の位置及び体の向きを算出することができる。これは、図１１に示した第１の実施形態における同期計算処理のステップＳ１０２の処理と同様の結果を意味する。したがって、第２の実施形態における同期計算プログラム５５２は、上記の推定結果を利用することにより、第１の実施形態と同様の同期計算処理を実行することができる。また、同期計算処理の結果を用いて実行されるネットワーク表示処理についても、第２の実施形態は第１の実施形態と同様である。

以上のように、第２の実施形態に係る集団行動分析システム２（集団行動分析装置５００）は、第１の実施形態のように各個体にウェアラブルデバイス３００を装着しなくても、カメラ６００による撮影画像を基に、各個体が注目する特定の物体等（本例ではボール）を基準として各個体の向き及び視野を推定することで、第１の実施形態と同様に個体間のネットワークを分析し、説明性を有する分析結果を利用者に表示することができる。

なお、第２の実施形態の変形例として、ボールにウェアラブルデバイス３００を搭載してもよく、その場合は、集団行動分析装置５００がウェアラブルデバイス３００のセンサデータを取得できるように構成することにより、より正確なボール座標を取得することができる。

また、第２の実施形態の別の変形例として、ボールが小さい等の理由から画像データ５６１からボール座標を取得することが困難であったり、対象ゲームがボールを使わない競技であったりする場合、同期計算プログラム５５２が、個体（選手）の移動方向を視野の中心と見なして、当該個体の体の向き及び視野の範囲を推定するようにしてもよい。また、ボール座標を取得することができない場合の他の推定方法として、集団行動が実施されているなかでの特定の状況に基づいて、各個体（選手）の視野の中心を推定するようにしてもよい。具体的には例えば、複数の選手の密集の度合いの高さからボール座標を推定して、この推定したボール座標に基づいて個体（選手）の視野の中心を推定するとしてもよいし、ゲーム中の攻守の交代等の状況を示すデータに基づいて、選手の視野の中心方向を推定するとしてもよい。

（３）第３の実施形態
第３の実施形態は、２者で行われる集団行動に特化した実施形態であり、第１及び第２の実施形態よりも精密な分析として、２者の骨格の各部位間におけるネットワークを分析する。

図２３は、本発明の第３の実施形態に係る集団行動分析システム３の構成例を示すブロック図である。集団行動分析システム３は、集団行動における個体間のネットワークを分析して分析結果を利用者に提示するシステムであって、図２３に示すように、集団行動分析装置８００及びカメラ６００を備える。カメラ６００は、第２の実施形態で説明したカメラ６００と同様の構成であることを意味するが、第２の実施形態よりも高い解像度で撮影可能であることが好ましい。また、第３の実施形態の説明において、第１または第２の実施形態と同様のものについてはその説明を省略する。

集団行動分析装置８００は、例えばパーソナルコンピューター（ＰＣ）等の計算機であって、外部通信部１１０、演算部１２０、制御部１３０、メモリ１４０、及び記憶部８５０を有する。各部は内部通信線（バス）によって相互に接続されている。

記憶部８５０は、集団行動分析装置８００において使用されるプログラム及びデータを非一時的に記憶する補助記憶装置であって、例えばＳＳＤまたはＨＤＤ等である。なお、図２３において記憶部８５０に記憶するとして示しているプログラム及びデータの少なくとも一部は、ネットワークを経由して通信可能に接続された外部に保持されて必要に応じてメモリ１４０に読み出される構成であってもよい。

記憶部８５０には、プログラムとして、画像認識プログラム８５１、同期計算プログラム８５２、及びネットワーク表示プログラム１５３が記憶される。また、記憶部８５０には、第１の実施形態と同様のデータとして、ゲーム管理データ１６３、グラフデータ１６４、認識確度データ１６５、同期性データ１６６、及び表示設定データ１６７が記憶され、第２の実施形態と同様のデータとして画像データ５６１が記憶され、さらに、骨格座標データ８６１及びユーザ管理データ８６２が記憶される。

画像認識プログラム８５１は、カメラ６００から収集した画像データ５６１に対して画像解析処理を行い、画像データ５６１に映っている人ごとに、骨格の所定部位の座標を時系列で取得し、取得した各部位の座標を骨格座標データ８６１に記録する。画像認識プログラム５５１による上記処理は、カメラ６００から収集した画像データ５６１の登録後、かつ、同期計算処理の実行前または開始直後に実行される。

図２４は、画像解析する骨格部位のイメージを示す図である。図２４に丸印で示された複数の部位９０１は、人体の骨格における代表的な部位（例えば関節等）を示している。部位９０１をどの点にするかは、事前に設定することができる。画像認識プログラム８５１による画像データ５６１の画像解析では、人の画像から各部位９０１の座標を解析し、得られた各部位の座標を骨格座標データ８６１に記録する。

図２５は、骨格座標データ８６１の一例を示す図である。図２５に示した骨格座標データ８６１は、骨格ＩＤ８６１１、日時８６１２、及び部位座標８６１３の項目から構成される。骨格ＩＤ８６１１は、画像認識によって識別された人（１まとまりの骨格）ごとに付与される識別子（骨格ＩＤ）を示す。日時８６１２は、画像認識プログラム８５１による画像解析の実行日時を示す。部位座標８６１３は、画像認識によって得られた各部位（図２４の部位９０１）の座標を示す。図２５には具体的な部位として、右肩、右肘、及び左足首が示されているが、当然、これらの部位のみに限定されるものではない。

図２６は、ユーザ管理データ８６２の一例を示す図である。図２６に示したユーザ管理データ８６２は、対象個体ごとにレコードを有し、ユーザＩＤ８６２１、骨格ＩＤ８６２２、チームＩＤ８６２３、開始日時８６２４、及び終了日時８６２５の項目から構成される。ユーザ管理データ８６２を第１の実施形態における図５のユーザ管理データ１６２と比較すると、センサＩＤ１６２２が骨格ＩＤ８６２２に置き換わっている。

骨格ＩＤ８６２２は、ユーザＩＤ８６２１が示す人（選手）の骨格に付与された骨格ＩＤを示すものであり、図２５の骨格座標データ８６１の骨格ＩＤ８６１１と対応する。ユーザ管理データ８６２におけるその他の項目（ユーザＩＤ８６２１、チームＩＤ８６２３、開始日時８６２４、終了日時８６２５）は、図５のユーザ管理データ１６２における同名の項目と同様であるため説明を省略する。

同期計算プログラム８５２は、第１の実施形態における同期計算プログラム１５２及び第２の実施形態における同期計算プログラム５５２と同様に、記憶部８５０に保持された各種データを用いて、図４と同様の同期計算処理を実行する。但し、第３の実施形態では、２者の骨格部位同士を対象として個体間ネットワークを分析するため、同期計算プログラム８５２による同期計算処理では、図４に「網羅的な２者間」と表記されたところを「網羅的な各人の骨格間」と読み替える必要がある。

このような同期計算処理が実行されると、２者の骨格部位の間で網羅的に、骨格の動きの因果性（例えば移動エントロピー）及び認識確度を推定することができる。そしてこれらの推定結果を用いて、ネットワーク表示プログラム１５３がネットワーク表示処理を実行することにより、骨格部位に基づく２者の個体間ネットワークを分析結果表示画面に表示することができる。

図２７は、第３の実施形態における分析結果表示画面の表示例を示す図である。図２７に示した分析結果表示画面９１０は、領域９１１～９１５の表示構成を有しているが、これら領域９１１～９１５は、図１６に示した分析結果表示画面４１０の領域４１１～領域４１５に相当するため、詳細な説明を省略する。

領域９１１には、対象ゲームが実施された日付が表示され、領域９１２には、対象ゲームのゲーム名が表示される。

領域９１３には、対象ゲームにおける個体間のネットワークが表示される。図２７の場合、２者の骨格部位間での因果性（同期性）が移動エントロピーに基づいて矢印付きの線で表示されている。なお、領域９１３において、人Ａの骨格部位Ｘから人Ｂの骨格部位Ｙに向けて矢印付きの線が表示されている場合、人Ｂの骨格部位Ｙの動きによって人Ａの骨格部位Ｘが動いたことを意味し、人Ｂの動きが人Ａの動きに影響を与えたという因果性（同期性）を表す。

領域９１４には、利用者によって調整可能な表示閾値が表示される。利用者は、領域９１４のスライドバーを操作することにより、移動エントロピー及び認識確度のそれぞれの表示閾値を所定範囲内で自由に調整することができる。図２７では移動エントロピーと認識確度とが調整可能な項目として表示されているが、第１及び第２の実施形態と同様、重み付き移動エントロピーが表示されてもよい。

領域９１５には、時系列を調整するためのスライドバーが表示される。利用者は、領域９１５のスライドバーを操作することにより、領域９１３に表示する個体間のネットワークのタイミングを指定することができる。

以上のように、第３の実施形態に係る集団行動分析システム３（集団行動分析装置８００）は、２者で行われる集団行動に対して、カメラ６００の撮影画像から２者の骨格を認識し、骨格の動き及び向きに基づいて、第１及び第２の実施形態よりも精度よく個体間（２者間）のネットワークを分析し、説明性を有する分析結果を利用者に表示することができる。

なお、計算の処理量は増加するが、第３の実施形態に係る集団行動分析システム３は、各人における骨格部位の座標を認識し、それぞれの人同士の骨格の動きの因果性（同期性）を分析することにより、３者以上による集団行動の個体間ネットワークを分析することもできる。

また、上記説明ではカメラ６００の撮影画像から骨格座標を取得したが、第３の実施形態の変形例として、集団行動を行う各人の解析対象の骨格部位（図２４に示した各部位９０１）に、第１の実施形態で説明したウェアラブルデバイス３００を装着するようにしてもよい。この変形例の場合は、第１の実施形態と同様に、画像認識プログラム８５１による骨格部位の画像認識は不要となり、精度よく各骨格部位の座標及び動き等を取得することができる。

１，２，３ 集団行動分析システム
１００，５００，８００ 集団行動分析装置
１１０ 外部通信部
１２０ 演算部
１３０ 制御部
１４０ メモリ
１５０，５５０，８５０ 記憶部
１５１ データ受信プログラム
１５２，５５２，８５２ 同期計算プログラム
１５３ ネットワーク表示プログラム
１６１ センサデータ
１６２，８６２ ユーザ管理データ
１６３ ゲーム管理データ
１６４ グラフデータ
１６５ 認識確度データ
１６６ 同期性データ
１６７ 表示設定データ
２００ 無線通信機
３００ ウェアラブルデバイス
３１０ 無線通信部
３２０ マイコン
３３０ フラッシュメモリ
３４０ ＵＳＢ通信部
３５０ 加速度センサ
３６０ ジャイロセンサ
３７０ 地磁気センサ
３８０ ＧＮＳＳ受信部
４１０，４２０，４３０，９１０ 分析結果表示画面
５６１ 画像データ
５６２ 人座標データ
５６３ ボール座標データ
６００ カメラ
８６１ 骨格座標データ

Claims (11)

1. 複数の個体による集団行動における個体間のネットワークを分析する集団行動分析装置であって、
   前記複数の個体から取得したセンサデータまたは前記複数の個体を撮影した映像データから、前記複数の個体の各組合せにおける個体間の因果性を推定するとともに、前記複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、を前記センサデータまたは前記映像データから推定し、前記推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する同期計算部と、
   前記同期計算部によって推定された前記複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、前記集団行動における個体間のネットワークを表示するネットワーク表示部と、
   を備えることを特徴とする集団行動分析装置。
2. 前記同期計算部は、前記複数の個体の各組合せについて、前記個体間の因果性を当該個体間の認識の確度によって重み付けし、
   前記ネットワーク表示部は、前記複数の個体の各組合せについて前記重み付けされた前記個体間の因果性に基づいて、前記集団行動における個体間のネットワークを表示する
   ことを特徴とする請求項１に記載の集団行動分析装置。
3. 前記ネットワーク表示部は、
   前記個体間の因果性と認識の確度に関する表示パラメータについて、利用者からの表示閾値の調整操作を受付可能とし、
   前記表示閾値を超えた前記表示パラメータを用いて、前記集団行動における個体間のネットワークを表示する
   ことを特徴とする請求項１または請求項２に記載の集団行動分析装置。
4. 前記ネットワーク表示部は、
   前記集団行動における個体間のネットワークを表示した後に、前記利用者からの操作によって前記表示閾値が変更された場合には、前記変更後の表示閾値に基づいて前記集団行動における個体間のネットワークを再表示する
   ことを特徴とする請求項３に記載の集団行動分析装置。
5. 前記同期計算部は、各個体の単位時間当りの移動量の時系列データを用いて算出される個体間の移動エントロピーを、前記個体間の因果性を示す指標値とする
   ことを特徴とする請求項１に記載の集団行動分析装置。
6. 前記同期計算部は、
   前記一方の個体から前記他方の個体への距離が近いほど、当該一方の個体による当該他方の個体の認識の確度を高く推定し、
   前記一方の個体から見た前記他方の個体の方向が当該一方の個体の視野の中心方向から近いほど、当該一方の個体による当該他方の個体の認識の確度を高く推定する
   ことを特徴とする請求項１に記載の集団行動分析装置。
7. 前記集団行動において複数の個体が注目すると想定される特定対象物の位置を取得または推定する位置推定手段をさらに備え、
   前記同期計算部は、前記位置推定手段によって取得または推定された前記特定対象物の位置を各個体の視野の中心方向とみなして、前記個体の向きを推定する
   ことを特徴とする請求項１に記載の集団行動分析装置。
8. 前記同期計算部は、前記個体の移動方向を当該個体の視野の中心方向とみなして、前記個体の向きを推定する
   ことを特徴とする請求項１に記載の集団行動分析装置。
9. 前記集団行動を行う前記複数の個体が複数の人であって、
   前記同期計算部は、前記個体間の因果性として、前記複数の人から取得したセンサデータまたは前記複数の人を撮影した映像データから、２者間の各骨格における１以上の部位間の因果性を推定するとともに、前記個体間の認識の確度として、前記２者間の認識の確度を推定し、
   前記ネットワーク表示部は、前記同期計算部によって推定された前記２者間の骨格の部位間の因果性と前記認識の確度とに基づいて、前記集団行動における前記２者間のネットワークを表示する
   ことを特徴とする請求項１に記載の集団行動分析装置。
10. 複数の個体による集団行動における個体間のネットワークを分析する集団行動分析システムであって、
    前記複数の個体にそれぞれ装着されるセンサ付きのウェアラブルデバイス、または前記複数の個体を撮影するカメラと、
    前記ウェアラブルデバイスのセンサで検知されたセンサデータまたは前記カメラで撮影された映像データを受信可能に接続された集団行動分析装置と、
    を備え、
    前記集団行動分析装置は、
    前記センサデータまたは前記映像データから、前記複数の個体の各組合せにおける個体間の因果性を推定するとともに、前記複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、を前記センサデータまたは前記映像データから推定し、前記推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する同期計算部と、
    前記同期計算部によって推定された前記複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、前記集団行動における個体間のネットワークを表示するネットワーク表示部と、
    を有することを特徴とする集団行動分析システム。
11. 複数の個体による集団行動における個体間のネットワークを分析する集団行動分析装置による集団行動分析方法であって、
    前記集団行動分析装置が、前記複数の個体から取得したセンサデータまたは前記複数の個体を撮影した映像データから、前記複数の個体の各組合せにおける個体間の因果性を推定する因果性推定ステップと、
    集団行動分析装置が、前記複数の個体の各組合せについて、個体間の距離と、一方の個体から見た他方の個体の方向である個体の向きと、を前記センサデータまたは前記映像データから推定し、前記推定した個体間の距離及び個体の向きに基づいて、個体間の認識の確度を推定する認識確度推定ステップと、
    集団行動分析装置が、前記因果性推定ステップ及び前記認識確度推定ステップで推定された前記複数の個体の各組合せにおける個体間の因果性と認識の確度とに基づいて、前記集団行動における個体間のネットワークを表示するネットワーク表示ステップと、
    を備えることを特徴とする集団行動分析方法。
    

Images