JP6151815B2 - ユーザ活動追跡システム及び装置 - Google Patents

Description

本開示は、一般に、ユーザ活動の追跡、記録、及び分析に関し、且つ、更に詳しくは、ユーザのモバイル通信装置によって収集されるセンサデータに基づいてユーザ活動を識別するシステム及び関連する方法に関する。更には、本開示の態様は、非一時的機械可読データ記録媒体上において記録されたソフトウェアプロダクトをも対象としており、このようなソフトウェアプロダクトは、本開示の方法を実装するべく、演算ハードウェア上において実行可能である。

ユーザ活動、特に、スポーツ活動を検知及び追跡する追跡装置が存在している。既知の活動追跡装置の一例は、関連するユーザの「ランニング」活動を追跡及び分析するＧＰＳレシーバを有する装用可能な腕時計装置である。別の例は、ユーザが運動している間にユーザの運動を記録するべく個々の携帯電話機のＧＰＳシステムを利用するモバイルアプリケーションである。別の例は、ユーザが歩いた歩数を収集するべく、靴の内部において使用されるか又はユーザの衣服に装着される歩数計である。但し、既存の追跡装置には、ウォーキング、ランニング、ジョギング、サイクリング、漕艇、自動車の運転、バスによる移動、鉄道による移動、階段のウォーキング、階段のランニング、ジャンプ、水泳、フットボール競技、及びスキーなどのすべてのタイプのユーザ活動を自動的に検知、記録、分析、及び識別するものが存在していない。

現在、スマートフォンは、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）レシーバ、加速度計、及び近接センサなどの益々多くのセンサを装備しており、且つ、スマートフォンユーザは、自身の活動を自動的に記録、検知、分析、及び識別し得るモバイルアプリケーションの入手に興味を見出し得る。但し、活動のタイプの分析を目的としたユーザ運動の自動的な追跡における主要な課題の１つが、活動タイプの分類である。例えば、ウォーキング活動とランニング活動とは、収集されるセンサデータとの関係において、わずかな違いしか有し得ない。更には、同一の活動の場合にも、スマートフォンがユーザによって携行される方式に応じて、センサデータが変化する場合がある。例えば、スマートフォンは、ユーザの掌中において、或いは、ポケット内において、或いは、バックパック内において、ユーザによって携行され得る。

従って、すべての種類のユーザ活動を正確に検知及び分析すると共に既存の活動追跡解決策の制限に対処した活動追跡解決策に対するニーズが存在している。

本開示は、モバイル通信装置の運動を追跡及び記録するシステムと、これを使用する方法と、の提供を目的としている。

一態様においては、本開示の実施形態は、１つ又は複数の運動センサ及び無線インターフェイスを含むモバイル通信装置の運動を追跡及び記録するシステムを提供している。システムは、モバイル通信装置と通信する通信ネットワークと、モバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含む。モバイル通信装置は、例えば、センサデータの形態のセンサ信号をシステムに伝達し、センサ信号は、モバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示している。

特定の実施形態においては、演算ハードウェアは、センサ信号を分析してセンサ信号を１つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の信号を分析して所与の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを判定するソフトウェアプロダクトを実行する。演算ハードウェアは、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報をモバイル通信装置に対して更に送信する。次いで、モバイル通信装置は、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかに関する確認を提供するようにモバイル通信装置のユーザに要求し、且つ、次いで、センサ信号の精度を改善するために、センサ信号の分析を実行するソフトウェアプロダクト内において利用されているパラメータ及び／又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻している。

特定の実施形態においては、演算ハードウェアは、センサ信号を分析してセンサ信号を事前分類し、中間データを生成するソフトウェアプロダクトを実行している。その後に、中間データは、センサ信号と関連付けられた可能性が高い活動の通知を生成するべく１つ又は複数のプロセッサ内において処理されている。演算ハードウェアは、センサ信号と関連付けられた１つ又は複数の活動の分析を提供するべく通知の集合体を更に演算し、且つ、次いで、最も可能性が高い活動タイプを通知する情報をモバイル通信装置に対して送信している。

プロセッサは、実質的に並行してセンサ信号を処理するように構成されており、プロセッサは、相互に、プロセッサにより特定されている活動に対応した信号の特性の識別を特徴とする。

システムは、モバイル通信装置が経験した活動の時間ログを生成し、且つ、活動をタイムラインフォーマットでユーザのグラフィカルユーザインターフェイス上において提示する。

モバイル通信装置は、ラップトップなどの携帯型コンピュータ、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータ、携帯型メディア装置、又はユーザによって装用可能であると共にデータの処理及び表示の能力を有する任意のその他の演算装置のうちの少なくとも１つにより、実装されている。更には、モバイル通信装置の１つ又は複数のセンサは、ジャイロスコープ角度センサ、加速度計、ＧＰＳ位置センサ、セルラー測位センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも１つを使用することにより、実装されている。セルラー測位センサという用語は、セルラーネットワークと関係した情報並びに無線基地局及びその信号に関係した情報を使用することにより、モバイル通信装置の場所及び運動の判定を導出／分析／計測してもよいことを意味し得る。

ソフトウェアプロダクトは、演算ハードウェア上において実行される際に、センサ信号に含まれている情報の分析のために、ニューラルネットワーク、決定フォレスト、及びサポートベクトル機械などの教師付き又は半教師付き分類アルゴリズムを実装するように動作可能である。入力として、教師付き又は半教師付き分類アルゴリズムは、例えば、１つ又は複数のセンサ信号に含まれている情報の周波数成分の振幅を使用することが可能であり、且つ、分類アルゴリズムの出力は、センサ信号を条件とした異なる活動の推定確率である。

別の態様においては、モバイル通信装置は、モバイルソフトウェアアプリケーションを実行するデータプロセッサを含み、モバイルソフトウェアアプリケーションは、実行される際に、モバイル通信装置のグラフィカルユーザインターフェイスにタイムラインの形態で演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、タイムラインとの関係において相互に異なるシンボルによって表されている。

更に別の態様においては、本開示の実施形態は、モバイル通信装置の運動を追跡及び記録するシステムを使用する方法を提供している。
更に別の態様においては、本開示の実施形態は、ユーザの運動を追跡及び記録するシステムを実装するモバイル通信装置を提供している。

更に別の態様においては、本開示の実施形態は、ソフトウェアプロダクトが、モバイル通信装置の運動を追跡及び記録するシステムを使用する方法を実装するべく演算ハードウェア上において実行可能となるように、非一時的機械可読データ記録媒体上において記録されたソフトウェアプロダクトを提供している。ソフトウェアプロダクトは、ソフトウェアアプリケーションストアからモバイル通信装置にダウンロード可能である。

本開示の実施形態は、ユーザのモバイル通信装置の１つ又は複数のセンサから収集されたデータを分析することにより、すべてのタイプのユーザ活動を検知、分析、及び識別している。センサデータは、分類アルゴリズムの独立的なインスタンスの組によって処理されており、且つ、それぞれのインスタンスは、任意選択により、特定のタイプの活動を識別することを特徴とする。分類アルゴリズムインスタンスの組の出力を集計及び分析することにより、モバイル通信装置と関連付けられた最も可能性が高いユーザ活動を生成している。識別された活動は、タイムラインフォーマットでモバイル通信装置のグラフィカルユーザインターフェイス上において表示される。ユーザが識別された活動に不同意／同意した場合に、ユーザは、自身のフィードバックを提供してもよく、且つ、フィードバックは、次回の活動の分析及び識別を改善するべく使用されてもよい。従って、ユーザ活動の分析及び識別の精度が時間に伴って最適化される。

或いは、この代わりに、本開示の実施形態は、ユーザのモバイル通信装置の１つ又は複数のセンサから収集されたデータを分析することにより、ユーザ活動を正確に検知、分析、及び識別している。センサデータは、並列プロセッサの組によって処理されており、並列プロセッサは、分類アルゴリズムの並列インスタンスであり、且つ、それぞれのプロセッサは、任意選択により、特定のタイプの活動を識別することを特徴とする。並列プロセッサの組の出力を集計及び分析することにより、モバイル通信装置と関連付けられた最も可能性が高いユーザ活動を生成する。次いで、識別された活動は、タイムラインフォーマットでモバイル通信装置のグラフィカルユーザインターフェイス上において表示される。本開示においては、並列プロセッサとは、ソフトウェアの一部分が異なる中央処理装置（即ち、マイクロプロセッサ）及び／又は分類アルゴリズムの並列インスタンス内において、即ち、並列ソフトウェアプロセスにおいて、実行される実装アーキテクチャを意味し得る。並列とは、実質的に同時に実行される計算プロセスを意味し得るが、このような方法に限定されるものではない。インスタンスの実行は、順番に発生することも可能であり、或いは、実質的に同時に実行されるいくつかのプロセス及び順番に実行されるいくつかのプロセスの組合せとして、発生することもできる。

本開示の更なる態様、利点、特徴、及び目的については、添付の請求項との関連において解釈される例示用の実施形態の図面及び詳細な説明から明らかとなろう。
本発明の特徴は、添付の請求項によって定義されている本発明の範囲を逸脱することなしに、様々な組合せにおいて組み合わせられ得ることを理解されたい。

本発明による実施形態は、具体的には、方法、記録媒体、及びシステムを対象とした添付の請求項において開示されており、例えば、方法などの１つの請求項カテゴリにおいて言及されている任意の特徴は、例えば、システムなどの別の請求項カテゴリにおいても同様に特許請求され得る。添付の請求項における従属関係又は後方参照は、形式的な理由にのみ起因して選択されたものである。但し、請求項及びその特徴の任意の組合せが開示されると共に添付の請求項において選択された従属関係とは無関係に特許請求され得るように、任意の先行する請求項に対する意図的な後方参照（特に、複数従属関係）から結果的に得られる任意の主題も同様に特許請求され得る。

本発明による一実施形態においては、１つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも１つのモバイル通信装置の運動を追跡及び記録するシステムを使用する方法であって、この場合に、システムは、少なくとも１つのモバイル通信装置と通信する通信ネットワークと、少なくとも１つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含み、方法は、
１つ又は複数のセンサ信号をシステムに伝達するように少なくとも１つのモバイル通信装置を動作させるステップであって、１つ又は複数のセンサ信号は、少なくとも１つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を通知している、ステップと、
１つ又は複数のセンサ信号を分析する１つ又は複数のソフトウェアプロダクトを実行するようにシステムの演算ハードウェアを動作させるステップであって、演算ハードウェアは、１つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、且つ、中間データは、その後に、１つ又は複数のセンサ信号と関連付けられた可能性の高い活動の１つ又は複数の通知を生成するべく１つ又は複数のプロセッサ内において処理されており、且つ、演算ハードウェアは、１つ又は複数の信号と関連付けられた１つ又は複数の活動の分析を提供するべく１つ又は複数の通知の集合体を演算するように動作可能である、ステップと、
１つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも１つのモバイル通信装置に対して送信するように演算ハードウェアを動作させるステップと、
を含むことを特徴とする。

本発明による更なる実施形態においては、方法は、方法が、
１つ又は複数のセンサ信号を分析してセンサ信号を１つ又は複数の時間ゾーン内に分類すると共にそれぞれの所与の時間ゾーン内の１つ又は複数のセンサ信号を分析して所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する１つ又は複数のソフトウェアプロダクトを実行するようにシステムの演算ハードウェアを動作させるステップと、
１つ又は複数の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも１つのモバイル通信装置に対して送信するように演算ハードウェアを動作させるステップと、
１つ又は複数の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するようにそのユーザに要求し、且つ、センサ信号の精度を改善するために、１つ又は複数のセンサ信号の分析を実行する１つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及び／又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻すように、少なくとも１つのモバイル通信装置を動作させるステップと、
を含むことによって特徴付けられ得る。

本発明の更なる実施形態においては、方法が、実質的に並行して１つ又は複数のセンサ信号を処理するように１つ又は複数のプロセッサを構成するステップを有するという点において方法は特徴付けることが可能であり、１つ又は複数のプロセッサは、相互に、１つ又は複数のプロセッサにより特定されている１つ又は複数の活動に対応した１つ又は複数の信号の特性の識別を特徴とする。

本発明による更なる実施形態においては、方法は、方法が、少なくとも１つのモバイル通信装置が経験した活動の時間ログを生成するようにシステムを動作させるステップを含むという点において特徴付けられ得る。

本発明の更なる実施形態においては、方法は、方法が、パーソナルコンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも１つにより、少なくとも１つのモバイル通信装置を実装するステップを含むという点において特徴けられ得る。

本発明による更なる実施形態においては、方法が、ジャイロスコープ角度センサ、加速度計、ＧＰＳ位置センサ、セルラー位置センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも１つを使用することにより、少なくとも１つのモバイル通信装置の１つ又は複数のセンサを実装するステップを含むという点において方法は特徴付けられ得る。

本発明による更なる実施形態においては、方法は、１つ又は複数のソフトウェアプロダクトが、演算装置上において実行される際に、
１つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び
１つ又は複数のセンサ信号に含まれている情報の発見的分析、
のうちの少なくとも１つを実装するように動作可能であるという点において特徴付けられ得る。

本発明による更なる実施形態においては、方法は、教師付き又は半教師付き分類分析が入力として１つ又は複数のセンサ信号に含まれている情報の周波数成分の振幅を使用することが可能であり、且つ、分類アルゴリズムの出力が、センサ信号を条件とした異なる活動の推定確率であるという点において特徴付けられ得る。

本発明による更なる実施形態においては、方法は、データプロセッサであって、少なくとも１つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含むように少なくとも１つのモバイル通信装置を構成するステップを含むという点において特徴付けることが可能であり、少なくとも１つのモバイルソフトウェアアプリケーションは、少なくとも１つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも１つのタイムラインの形態で演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、少なくとも１つのタイムラインとの関係において複数の相互に異なる信号によって表されている。

同様に特許請求され得る本発明による更なる実施形態においては、１つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも１つのモバイル通信装置の運動を追跡及び記録するシステムであって、この場合に、システムは、少なくとも１つのモバイル通信装置と通信する通信ネットワークと、少なくとも１つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含み、システムは、
少なくとも１つのモバイル通信装置は、１つ又は複数のセンサ信号をシステムに対して伝達するように動作可能であり、１つ又は複数のセンサ信号は、少なくとも１つのモバイル通信装置がそのユーザによって取り組まれた活動と関連付けられた運動を通知しており、
システムの演算ハードウェアは、１つ又は複数のセンサ信号を分析する１つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、演算ハードウェアは、１つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、且つ、中間データは、その後に、１つ又は複数のセンサ信号と関連付けられた可能性が高い活動の１つ又は複数の通知を生成するべく１つ又は複数のプロセッサにおいて処理され、且つ、演算ハードウェアは、１つ又は複数の信号と関連付けられた１つ又は複数の活動の分析を提供するべく１つ又は複数の通知の集合体を演算するように動作可能であり、且つ、
演算ハードウェアは、１つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも１つのモバイル通信装置に対して送信するように動作可能であるという点において特徴付けられ得る。

本発明による更なる実施形態においては、システムは、
システムの演算ハードウェアが、１つ又は複数のセンサ信号を分析してセンサ信号を１つ又は複数の時間ゾーン内に分類すると共にそれぞれの所与の時間ゾーン内の１つ又は複数のセンサ信号を分析して所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する１つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、
演算ハードウェアは、１つ又は複数の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも１つのモバイル通信装置に送信するように動作可能であり、
少なくとも１つのモバイル通信装置は、１つ又は複数の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するように少なくとも１つのモバイル通信装置のユーザに要求し、且つ、センサ信号の精度を改善するために、１つ又は複数のセンサ信号の分析を実行する１つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及び／又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻すように動作可能であるという点において更に特徴付けられ得る。

本発明による更なる実施形態においては、システムは、１つ又は複数のプロセッサが、実質的に並行して１つ又は複数のセンサ信号を処理するように構成されているという点において更に特徴付けることが可能であり、１つ又は複数のプロセッサは、相互に、１つ又は複数のプロセッサが専用化されている１つ又は複数の活動に対応した１つ又は複数の信号の特性の識別を専門としている。

本発明による更なる実施形態においては、システムは、少なくとも１つのモバイル通信装置が経験した活動の時間ログを生成するように動作可能であるという点において更に特徴付けられ得る。

本発明による更なる実施形態においては、システムは、少なくとも１つのモバイル通信装置が、パーソナルコンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも１つにより実装されるという点において更に特徴付けられ得る。

本発明による更なる実施形態においては、システムは、少なくとも１つのモバイル通信装置の１つ又は複数のセンサが、ジャイロスコープ角度センサ、加速度計、ＧＰＳ位置センサ、セルラー測位センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも１つを使用することにより、実装されているという点において更に特徴付けられ得る。

本発明による更なる実施形態においては、システムは、１つ又は複数のソフトウェアプロダクトが、演算ハードウェア上において実行される際に、
１つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び
１つ又は複数のセンサ信号に含まれている情報の発見的分析、
のうちの少なくとも１つを実装するように動作可能であるという点において更に特徴付けられ得る。

本発明による更なる実施形態においては、システムは、教師付き又は半教師付き分類アルゴリズムは、１つ又は複数のセンサ信号に含まれている情報の周波数成分の振幅を入力として使用することが可能であり、且つ、分類アルゴリズムの出力は、センサ信号を条件とした異なる活動の推定確率であるという点において更に特徴付けられ得る。

本発明による更なる実施形態においては、システムは、少なくとも１つのモバイル通信装置が、データプロセッサであって、少なくとも１つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含み、少なくとも１つのモバイルソフトウェアアプリケーションは、少なくとも１つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも１つのタイムラインの形態で演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、少なくとも１つのタイムラインとの関係において複数の相互に異なるシンボルによって表されているという点において更に特徴付けられ得る。

同様に特許請求され得る本発明の更なる実施形態においては、非一時的機械可読データ記録媒体上に記憶されているソフトウェアプロダクトは、ソフトウェアプロダクトが、本発明による方法又は上述の実施形態のいずれかを実装するべくモバイル通信装置の演算ハードウェア上において実行可能であるという点において特徴付けられ得る。

本発明の更なる実施形態においては、ソフトウェアプロダクトは、ソフトウェアプロダクトが、ソフトウェアアプリケーションストアからモバイル通信装置にダウンロード可能であるという点において特徴付けられ得る。

同様に特許請求され得る本発明による更なる実施形態は、本発明によるシステム又は上述の実施形態のいずれかを実装する際に使用されるモバイル通信装置であってもよい。
本発明による更なる実施形態は、上述のシステム内において実装されるように構成されると共に上述の方法を実行するために使用されるモバイル通信装置であってもよい。

本発明による更なる実施形態においては、１つ又は複数の非一時的コンピュータ可読記録媒体は、実行される際に本発明による方法又は上述の実施形態のいずれかを実行するように動作可能であるソフトウェアを実装している。

本発明による更なる実施形態においては、１つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも１つのモバイル通信装置の運動を追跡及び記録するシステムであって、システムは、少なくとも１つのモバイル通信装置と通信する通信ネットワークと、少なくとも１つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含み、システムは、１つ又は複数のプロセッサと、プロセッサに結合されると共にプロセッサによって実行可能な命令を有する少なくとも１つのメモリと、を有し、プロセッサは、命令を実行した際に本発明による方法又は上述の実施形態のいずれかを実行するように動作可能である。

上述の概要並びに例示用の実施形態に関する以下の詳細な説明は、添付図面との関連において参照された際に十分に理解することができよう。本開示の例示を目的として、添付図面には、本開示の例示用の構造が示されている。但し、本発明は、本明細書に開示されている特定の方法及び手段に限定されるものではない。更には、当業者は、添付図面の縮尺が正確ではないことを理解するであろう。可能な場合には常に、同一の要素が同一の符号によって示されている。

本開示の様々な実装形態を実施するのに適したシステムの概略アーキテクチャの説明図。 本開示による図１のモバイル通信装置と演算ハードウェアの間における情報交換の説明図。 本開示によるモバイル通信装置のグラフィカルユーザインターフェイス（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）の説明図。 本開示によるモバイル通信装置のＧＵＩの代替レイアウトの説明図。 本開示によるモバイル通信装置のユーザの活動を判定する方法のステップの説明図。 本開示によるモバイル通信装置の運動を追跡及び記録するシステムを使用するステップの説明図。 本開示によるモバイル通信装置のＧＵＩの説明図。 本開示による活動分析システムの説明図。 本開示のモバイル通信装置のセンサ及び測位データに基づいてユーザのサイクリング活動を識別する方法ステップの説明図。 本開示によるモバイル通信装置の運動を追跡及び記録するシステムを使用するステップの説明図。

以下の詳細な説明は、本開示の実施形態と、これを実装し得る方法と、を示している。本発明を実施する最良の形態が開示されているが、当業者は、本発明を実行又は実施するその他の実施形態も可能であることを認識するであろう。

本開示は、１つ又は複数の運動センサと、無線インターフェイスと、を含むモバイル通信装置の運動を追跡及び記録するシステムを提供している。システムは、モバイル通信装置と通信する通信ネットワークと、モバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含む。モバイル通信装置は、１つ又は複数のセンサ信号をシステムに伝達しており、センサ信号は、モバイル通信装置がそのユーザによって取り組まれている（exposed）活動と関連付けられた運動を示している。

演算ハードウェアは、センサ信号を分析してセンサ信号を１つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の信号を分析して所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する１つ又は複数のソフトウェアプロダクトを実行する。演算ハードウェアは、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報をモバイル通信装置に対して更に送信する。次いで、モバイル通信装置は、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するようにそのユーザに要求し、且つ、次いで、センサ信号の精度を改善するために、センサ信号の分析を実行するソフトウェアプロダクトにおいて利用されているパラメータ及び／又はアルゴリズムを修正するべく、確認を演算ハードウェアに伝達して戻している。

演算ハードウェアは、センサ信号を分析してセンサ信号を事前分類し、中間データを生成する１つ又は複数のソフトウェアプロダクトを実行し、且つ、中間データは、その後に、センサ信号と関連付けられた可能性が高い活動の１つ又は複数の通知を生成するべく、１つ又は複数のプロセッサにおいて処理されている。演算ハードウェアは、センサ信号と関連付けられた１つ又は複数の活動の分析を提供するべく通知の集合体を更に演算し、且つ、最も可能性が高い活動タイプを通知する情報をモバイル通信装置に送信している。

以下、具体的にその参照符号によって添付図面を参照すれば、図１は、本開示の様々な実装形態を実施するのに適したシステム１００の概略アーキテクチャの図である。
システム１００は、モバイル通信装置１０２と、通信ネットワーク１０６により、モバイル通信装置１０２に通信状態において結合されたサーバシステム１０４と、を含む。モバイル通信装置１０２は、ユーザのハンドヘルド型装置（handheld device）であり、モバイル通信装置１０２の例は、限定を伴うことなしに、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、アンドロイド（Ａｎｄｒｏｉｄ）、ウィンドウズ（Ｗｉｎｄｏｗｓ）、及びｉＯＳなどのオペレーティングシステムを実行するタブレットコンピュータを含む。サーバシステム１０４は、モバイル通信装置１０２から動作の際に供給されるデータを処理する１つ又は複数のソフトウェアプロダクトを実行する演算ハードウェアを含む。サーバシステム１０４は、クラウドサービスとして、或いは、単一のサイトにおいて又は複数の相互に空間点に分散されたサイトにおいて配置された専用のサーバとして、構成され得る。更には、通信ネットワーク１０６の例は、限定を伴うことなしに、電話ネットワーク及びＷＩＦＩネットワークを含む。

モバイル通信装置１０２は、対応するユーザが装置１０２を携行しつつ１つ又は複数の活動を実行した際に、モバイル通信装置１０２の位置、運動、加速度、及び／又は環境を判定するべく、１つ又は複数のセンサ１０８及び１つ又は複数の測位システム１１０を含む。このような１つ又は複数の活動の例は、限定を伴うことなしに、ウォーキング、ランニング、ジョギング、サイクリング、漕艇、自動車の運転、バスによる移動、鉄道による移動、階段のウォーキング、階段のランニング、ジャンプ、水泳、フットボール競技、及びスキーを含む。センサ１０８の例は、デカルト座標系のｘｙｚ方向におけるモバイル通信装置１０２の加速度を計測するように構成されたモーションセンサ（motion sensor）を含む。センサ１０８の更なる例は、ジャイロスコープ角度センサ、磁力計、マイクロフォン、カメラ、及び温度センサを含む。測位システム１１０は、ＧＰＳ測位システム、セルラーネットワークのセルタワー情報、屋内測位システム、ＷＩＦＩフィンガプリンティング（fingerprinting）、及び近接ＷｉＦｉネットワークのうちの少なくとも１つを実装することにより、モバイル通信装置１０２の位置を判定するように構成されている。本発明の一実施形態においては、モバイル通信装置１０２は、センサ１０８及び測位システム１１０によって収集された情報を通信ネットワーク１０６を介してサーバシステム１０４に定期的に送信してもよい。

サーバシステム１０４は、受信モジュール１１２と、第１処理モジュール１１４と、第２処理モジュール１１６と、出力モジュール１１８と、を含む。受信モジュール１１２は、センサ及び測位データをモバイル通信装置１０２から受け取る。第１処理モジュール１１４は、センサ１０８から収集されたセンサデータを分析するべく第１プロセスを実行し、且つ、第２処理モジュール１１６は、測位システム１１０から収集された測位データを分析するべく第２プロセスを実行する。本開示の一実施形態においては、第１及び第２プロセスは、互いに通信してもよいと共に、更には、分析を目的としてデータを交換してもよい並行プロセスである。センサデータに基づいて、第１処理モジュール１１４は、ユーザの活動タイプを生成し、且つ、測位データに基づいて、第２処理モジュール１１６は、活動に関係した位置及び運動情報を生成する。出力モジュール１１８は、活動の活動タイプ情報及び運動／場所情報を処理してユーザの活動の概要／スケジュールを生成する。次いで、出力モジュール１１８は、活動の概要を通信ネットワーク１０６上においてモバイル通信装置１０２に送信する。

モバイル通信装置１０２は、モバイルソフトウェアアプリケーションを実行するデータプロセッサ（図示せず）を含み、モバイルソフトウェアアプリケーションは、実行される際に、モバイル通信装置のグラフィカルユーザインターフェイス（ＧＵＩ）にタイムラインの形態でサーバシステム１０４から提供された活動の概要を提示させるように動作可能である。ユーザは、活動の概要に関する自身の肯定的／否定的フィードバックをサーバシステム１０４に送信してもよく、且つ、サーバシステム１０４は、その活動分析を改善するべく、フィードバックを受信、保存、及び実装してもよい。

本発明の一実施形態においては、サーバシステム１０４におけるステップ／分析の一部分又はすべては、モバイル通信装置１０２内において利用可能な演算リソースに基づいてモバイル通信装置１０２内において実装されてもよい。

図１は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形、代替肢、及び変更を認識するであろう。
図２は、本開示に従って、モバイル通信装置２０２のユーザの活動を追跡及び分析するためのモバイル通信装置２０２とサーバシステム２０４の間における情報交換の説明図である。モバイル通信装置２０２及びサーバ２０４は、それぞれ、モバイル通信装置１０２及びサーバシステム１０４の例であり、且つ、図１との関連において説明済みである。ステップ２０６ａが、モバイル通信装置２０２において発生しており、対応するセンサ及び測位システムは、対応するユーザが活動を実行した際に、センサ及び測位データを計測する。ステップ２０６ｂは、ユーザ活動の分析のためのモバイル通信装置２０２からサーバシステム２０４へのセンサ及び測位データの転送を表している。一実施形態においては、モバイル通信装置２０２は、センサ及び測位データを連続的に又はバッファされたフォーマットにおいて送信してもよい。別の実施形態においては、モバイル通信装置２０２は、センサ及び測位データを未加工フォーマットでサーバシステム２０４に送信してもよい。更に別の実施形態においては、モバイル通信装置２０２は、サーバシステム２０４に送信する前に、センサ及び測位データを処理してもよい。ステップ２０６ｃが、サーバシステム２０４において発生しており、サーバシステム２０４は、装置２０２から受け取ったセンサ及び測位データを分析している。本発明の一実施形態においては、サーバシステム２０４は、教師付き分類及び／又はその他の機械学習アルゴリズムに基づいて分析を実行してもよく、且つ、ユーザの活動の概要を形成してもよい。ステップ２０６ｄは、サーバシステム２０４からモバイル通信装置２０２への活動の概要の伝達を表している。ステップ２０６ｅが、モバイル通信装置２０２において発生しており、活動の概要が、モバイル通信装置２０２のグラフィカルユーザインターフェイス（ＧＵＩ）上において表示されている。ステップ２０６ｆは、活動の概要に関するサーバシステム２０４へのユーザの肯定的／否定的フィードバックの転送を表している。最後に、ステップ２０６ｇは、活動の更に正確な概要を将来において提供するべく、機械学習アルゴリズム用のパラメータの変更及び／又はトレーニングデータの選択によるサーバシステム２０４によるフィードバックの実装を表している。活動監視のための機械学習アルゴリズムの例は、限定を伴うことなしに、ニューラルネットワーク（neural network）、決定フォレスト（decision forest）、及びサポートベクトル機械（support vector machine）などの教師付き又は半教師付き分類アルゴリズム（supervised or semisupervised classification algorithm）を含む。フィードバックは、機械学習アルゴリズムに対する入力として提供されており、且つ、機械学習アルゴリズム用のパラメータを変更すると共にトレーニングデータを選択するべく、使用される。

図２は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。

図３は、本開示によるモバイル通信装置２００のグラフィカルユーザインターフェイス（ＧＵＩ）３０２の図であり、且つ、図２との関連において説明済みである。
ＧＵＩ３０２は、（ステップ２０６ｄにおいてサーバシステム２０４から受け取った）ユーザの活動の概要をタイムラインフォーマットで表示している。例示用の実施形態においては、ＧＵＩ３０２は、ユーザが、レストラン、カフェテリア、及び自宅を順番に訪問したことを通知する３つの場所シンボル、即ち、レストランシンボル３０４、カフェテリアシンボル３０６、及び自宅シンボル３０８により、ユーザの場所を表示している。グラフィカルシンボル３０４、３０６、及び３０８によって表されている場所は、モバイル通信装置２０２のＧＰＳシステム、セルラーネットワークのセルタワー情報、屋内測位システム、近接ＷｉＦｉ、及びＷｉｆｉフィンガプリンティングに基づいて識別される。ＧＵＩ３０２は、ユーザによって実行される活動を個々のグラフィカルシンボルによって更に表示している。一例においては、ユーザがレストランからカフェテリアまで歩いたことを通知するべく、「ウォーキング」活動シンボル３１０がレストラン３０４とカフェテリア３０６の間に表示されている。更には、ユーザがカフェテリアから自宅までサイクリングしたことを通知するべく、「サイクリング」活動シンボル３１２がカフェテリア３０６と自宅３０８の間に表示されている。

ストーリーラインディスプレイ３０２は、タッチスクリーンディスプレイであってもよく、且つ、ユーザが「サイクリング」活動シンボル３１２などの活動通知シンボル又はシンボル３１２の上方のライン又は近傍のエリアをタッチ又はポイントした際に、ポップアップメニュー３１４が提示されるように構成されてもよい。ポップアップメニュー３１４は、ユーザが活動を変更できるようにするテキストフィールド３１６と、ユーザが活動に関するグラフィカルシンボルを変更できるようにするシンボルフィールド３１８と、を含む。同様に、ユーザが「レストラン」シンボル３０４などの場所シンボル又はシンボル３０４の上方のライン又はその近傍のエリアをタッチ又はポイントした際には、場所を変更するべく、ポップアップメニュー（図示せず）が提示されてもよい。ユーザによる場所／活動シンボルの変更は、フィードバックとしてサーバシステム２０４に伝達される（ステップ２０６ｆ）。

図３は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。

図４は、モバイル通信装置４００のグラフィカルユーザインターフェイス（ＧＵＩ）４０２の図であり、これは、モバイル通信装置２００の一例であり、且つ、図２及び図３との関連において説明済みである。ＧＵＩ４０２は、ＧＵＩ３０２の代替レイアウトである。ＧＵＩ４０２は、１つ又は複数の活動の開始及び終了時刻に基づいて、以下において集合的に活動ゾーン４０６と呼称されている、「活動」ゾーン／期間４０６ａ、４０６ｂ、４０６ｃ、４０６ｄ、及び４０６ｅに分割されたタイムライン４０４を表示している。それぞれの活動ゾーン４０６は、活動と、その活動の対応する場所と、を示している。更には、それぞれの活動ゾーン４０６は、対応する活動のグラフィカルシンボル４０８又はテキスト記述４１０によって示されてもよい。

例示用の実施形態においては、タイムライン４０４は、１３：００ｐｍにおいて、ユーザの「サイクリング」活動が終了し、且つ、ユーザが１７：１０ｐｍまで「仕事場」において留まり、１７：１０ｐｍにおいて、ユーザが、自宅に向かって「ウォーキング」活動を開始し、１７：３０ｐｍにおいて、ユーザが自宅に到着し、且つ、１８：３０ｐｍまで自宅に滞在し、１８：３０ｐｍにおいて、ユーザが「運転」活動を開始したことを示している。

図４は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。

図５は、本開示によるモバイル通信装置５００のユーザの活動を判定する方法のステップの図である。ユーザ活動は、モバイル通信装置５００によって動作の際に生成されるセンサ及び測位データ及び注釈付きセンサデータ・データベース５０２から供給を受ける分析論理モジュール（図示せず）によって判定される。分析論理モジュールは、注釈付きセンサデータ・データベース５０２に対して通信自在に結合されている。本発明の一実施形態においては、分析論理モジュール及び注釈付きデータ・データベース５０２は、リモートサーバシステムの内部に存在してもよい。本発明の別の実施形態においては、分析論理モジュール及び注釈付きセンサデータ・データベース５０２は、モバイル通信装置５００自体の内部に存在してもよい。

ステップ５０４において、分析論理モジュールは、モバイル通信装置５００のセンサ及び測位システムからユーザのセンサ及び測位データを受け取っている。ステップ５０６において、分析論理モジュールは、センサ及び測位データをタイムラインフォーマットで注釈付きセンサデータ・データベース５０２内において保存しており、即ち、センサ及び測位データには、収集されたデータ項目のうちのそれぞれ又はいくつかの項目の時刻及び日付を記録するべく、タイムスタンプが付与されている。注釈付きセンサデータ・データベース５０２は、対応する事前識別された活動に関するユーザフィードバックからの情報によって注釈が付与された状態で、モバイル通信装置５００から受け取ったセンサ及び測位データを含む。

ステップ５０８において、分析論理モジュールは、注釈付きセンサデータ・データベース５０２内に保存されているデータを使用してトレーニングされた様々なタイプの機械学習アルゴリズムを使用することにより、タイムラインを分析し、且つ、１つ又は複数の活動期間を線引きし、且つ、それぞれの活動期間においてユーザ活動を認識している。活動を正確に識別するべく、分析論理モジュールは、ユーザのタイプ、モバイル装置のタイプ、ユーザグループのタイプ、モバイル装置グループのタイプ、及び人口統計要因などに基づいて注釈付きセンサ及び測位データを分類することにより、環境及びユーザの個々の特性を考慮してもよい。例えば、長距離ランニングを特定するアクティブなアスリートのモバイル通信装置５００の加速度計によって検知される加速度データは、たまにしかランニングしないカジュアルなランナーにおいて検知される加速度データとは異なり得る。アクティブなアスリートは、カジュアルなランナーと比べて、頻度の相対的に小さな変動を有する相対的に予測可能な歩みの間の頻度を伴う相対的に長い歩幅を有し得る。従って、類似の検知データの場合に、ユーザグループのタイプに基づいて、活動タイプが異なる場合がある。更には、いくつかのモバイル通信装置が、その他のものよりも高い精度を有する場合があり、従って、類似の検知データの場合に、モバイル通信装置のタイプに基づいて、活動タイプが異なる場合がある。人口統計的分類とは、同一の活動におけるセンサデータが人ごとに変化し得ることに伴うその性別、年齢、生活の場所などに基づいたユーザのセグメント化を意味し得る。分析論理モジュールは、分類されたセンサデータを更に重み付けしてユーザ固有の特徴を考慮してもよく、即ち、データは、すべてのユーザからの平均データと、使用履歴に基づいた特定のユーザからのユーザ固有の要素と、から構成される重み付けされた要素を有し得るであろう。

ステップ５１０において、分析論理モジュールは、分類されたセンサデータを使用してユーザ活動のタイムラインを生成してもよく、且つ、タイムラインをモバイル通信装置５００に伝達してもよい。モバイル通信装置５００は、装置５００のユーザインターフェイス上においてタイムラインを表示してもよい。ステップ５１２において、分析論理モジュールは、モバイル通信装置５００から、タイムライン内の１つ又は複数のユーザ活動を訂正する提案を受け取ってもよい。ユーザ活動を訂正する提案は、機械学習アルゴリズムのトレーニングのために注釈付きセンサデータ・データベース５０２に提供されてもよい。

ステップ５１４において、モバイル通信装置５００は、ユーザインターフェイス分析を使用することにより、提案されたタイムラインがユーザによって観察されたかどうかを監視してもよい。ユーザが、提案されたタイムラインを観察しているが、タイムラインのいずれの活動においても、なんらの訂正をも提供していない場合には、いずれのフィードバックも、肯定的フィードバックとして見なされず、且つ、注釈付きセンサデータ・データベース５０２内において更新されず、１つ又は複数の活動の分析は、正しく、且つ、アルゴリズム用のトレーニングデータとして使用されてもよい。更には、ユーザが特定の日のストーリーライン／タイムラインを観察しており、且つ、訂正を実施している場合には、ストーリーラインにおいてユーザが変更しなかった認識済みの活動は、恐らくは、正しいものとして見なされ、且つ、アルゴリズム用のトレーニングデータとして使用されてもよいと結論付けることができる。更には、ユーザがストーリーライン内において変更した認識済みの活動は、恐らくは、正しくないものと結論付けることもできる。ユーザによって特定の活動に対して実施された訂正の量は、その活動との関係における認識精度の尺度として使用することができる。注釈付きセンサデータ・データベース５０２内において、センサデータには、対応する提案された活動に対するユーザフィードバックに関する情報を含む注釈に基づいて、ラベル付与の特定の信頼性により、ラベル付与されてもよい。

本発明の一実施形態においては、分析論理モジュールは、センサ及び測位データに基づいてユーザ活動を判定する第１機械学習アルゴリズムを実装してもよく、且つ、第２機械学習アルゴリズムを新たに導入してもよい。但し、第２アルゴリズムに基づいて分析されたデータが、第１アルゴリズムによって分析されたデータよりも正確である場合には、第２アルゴリズムは、第１アルゴリズムよりも優先順位が高いアルゴリズムであると判定されてもよい。この特徴によれば、異なるセットアップを試験することが可能であり、且つ、機械学習アルゴリズムの能力に関する「投票」を取得することができる。

ステップ５０４〜５１４は、例示を目的としたものに過ぎず、且つ、添付の請求項の範囲を逸脱することなしに、１つ又は複数のステップが追加されるか、１つ又は複数のステップが除去されるか、或いは、１つ又は複数のステップが異なるシーケンスにおいて提供されるその他の代替肢も提供され得ることに留意されたい。

図６は、本開示によるモバイル通信装置１０２の運動を追跡及び記録するシステム１００を使用するステップの説明図であり、且つ、図１及び図２との関連において説明済みである。方法は、論理フロー図においてステップの集合体として示されており、これは、ハードウェア、ソフトウェア、又はこれらの組合せにおいて実装され得る一連のステップを表している。

ステップ６０２において、モバイル通信装置１０２は、１つ又は複数のセンサ信号をサーバシステム１０４に伝達するように動作可能であり、センサ信号は、モバイル通信装置１０２がそのユーザによって取り組まれている活動と関連付けられた運動を示している。センサ信号は、モバイル通信装置１０２の１つ又は複数のセンサの出力である。

ステップ６０４において、サーバシステム１０４の演算ハードウェアは、センサ信号を分析してセンサ信号を活動ゾーンと呼称される１つ又は複数の時間ゾーンに分類すると共にそれぞれの活動ゾーン内のセンサ信号を分析して活動ゾーンと関連付けられた最も可能性が高い活動タイプを判定する１つ又は複数のソフトウェアプロダクトを実行するように動作可能である。

ステップ６０６において、演算ハードウェアは、１つ又は複数の活動ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報をモバイル通信装置１０２に送信するように動作している。

ステップ６０８において、モバイル通信装置１０２は、最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するようにそのユーザに要求し、且つ、センサ信号の精度を改善するために、センサ信号の分析を実行するソフトウェアプロダクトにおいて利用されているパラメータ及び／又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻すように動作可能である。

ここで、ステップ６０２〜６０８は、例示を目的としたものに過ぎず、且つ、添付の請求項の範囲を逸脱することなしに、１つ又は複数のステップが追加されるか、１つ又は複数のステップが除去されるか、或いは、１つ又は複数のステップが異なるシーケンスにおいて提供されるその他の代替肢も提供され得ることに留意されたい。

図７は、モバイル通信装置７００のグラフィカルユーザインターフェイス（ＧＵＩ）７０２の説明図であり、これは、モバイル通信装置１０２の一例であり、且つ、図１との関連において説明済みである。図７に示されている実施形態は、図４に示されている実施形態に類似している。ＧＵＩ７０２は、１つ又は複数の活動の開始及び終了時刻に基づいて、以下において活動ゾーン７０６と集合的に呼称される「活動」ゾーン／期間７０６ａ、７０６ｂ、７０６ｃ、７０６ｄ、及び７０６ｅに分割されたタイムライン７０４を表示している。それぞれの活動ゾーン７０６は、活動と、その活動の対応する場所と、を示している。更には、それぞれの活動ゾーン７０６は、対応する活動のグラフィカルシンボル７０８又はテキスト記述７１０により、示されてもよい。

例示用の一実施形態においては、タイムライン７０４は、時点１３：００ｐｍにおいて、ユーザの「サイクリング」活動が終了し、且つ、ユーザが、時点１７：１０ｐｍまで「仕事場」において留まり、時点１７：１０ｐｍにおいて、ユーザが自宅に向かって「ウォーキング」活動を開始し、時点１７：３０ｐｍにおいて、ユーザが自宅に到着し、且つ、時点１８：３０ｐｍまで自宅に滞在し、時点１８：３０ｐｍにおいて、ユーザが「運転」活動を開始したことを示している。

図７は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識することになろう。

図８は、本開示による図１との関連において説明した活動分析システム８００の説明図である。活動分析システム８００は、対応するモバイル通信装置のセンサ及び測位データ、並びに、ユーザの履歴、プロファイル、人口統計、及び活動タイプに基づいてユーザ活動を識別する。

本発明の一実施形態においては、活動分析システム８００は、リモートサーバシステム１０４の内部に存在してもよい。本発明の別の実施形態においては、活動分析システム８００は、少なくとも部分的に、モバイル通信装置１０２自体の内部において存在してもよい。

活動分析システム８００は、受信モジュール８０２と、事前処理モジュール８０４と、事前分類モジュール８０６と、以下において分類器ノード８０８と呼称される第１〜第ｎ分類器ノード８０８ａ〜８０８ｎと、活動判定モジュール８１０と、出力モジュール８１２と、を含む。受信モジュール８０２は、未加工データを、即ち、未処理のデータを、モバイル通信装置１０２のセンサ１０８及び測位システム１１０から収集する。事前処理モジュール８０４は、受信モジュール８０２によって収集された未加工データを事前処理する。データを事前処理する例は、限定を伴うことなしに、データのフィルタリング、高速フーリエ変換（ＦＦＴ）を使用した時間から周波数へのドメイン変換などのドメイン遷移の実行、データの分類、データの平均化及びデータの合成、ユーザ活動の様々なタイプを表す１つ又は複数の事前判定されたデータセットに伴う相関の実行を含む。

事前分類モジュール８０６は、事前処理されたデータを事前処理モジュール８０４から受け取り、且つ、これを１つ又は複数の広いカテゴリに事前分類する。例えば、モバイル通信装置１０２のモーションセンサから受け取ったセンサデータは、低速の運動、即ち、階段のウォーキング及びランニングと、高速の運動、即ち、ランニング及びサイクリングを弁別し、且つ、運動のデータを「低速の運動」及び「高速の運動」などの広いカテゴリに分類するべく、既定の速度値と比較される。一実施形態においては、事前分類モジュール８０６は、事前処理されたデータを事前分類する規則セット及び／又は事前定義された決定論的アルゴリズム（predefined deterministic algorithms）を含む。

それぞれの分類器ノード８０８は、予め定義された活動に対応したセンサデータの特徴の識別を特徴とするプロセッサを含む。例えば、第１分類器ノードＮ１ ８０８ａは、「サイクリング」活動に関するセンサデータの特性の識別を専門としてもよく、第２分類器ノードＮ２ ８０８ｂは、「ウォーキング」活動の識別を専門としてもよく、第３分類器ノードＮ３ ８０８ｃは、「ランニング」活動の識別を専門としてもよく、以下同様である。

分類器ノード８０８は、事前分類されたデータを実質的に並行して処理するように構成されており、それぞれの分類器ノード８０８は、事前分類されたデータ用の対応する事前定義された活動の尤度を生成する。例示用の実施形態においては、ユーザが「サイクリング」活動を実行した際に、「サイクリング」活動の識別に専用化された第１分類器ノードＮ１ ８０８ａは、確率値「１」を生成してもよく、第２分類器ノードＮ２ ８０８ｂは、確率値「０．３」を生成してもよく、且つ、第３分類器ノードＮ３ ８０８ｃは、確率値「０．８」を生成してもよい。

活動判定モジュール８１０は、受信モジュール８０２によって収集されたセンサ及び測位データに対応する「活動タイプ」を判定するべく、分類器ノード８０８によって生成された確率値を集計してもよい。分類器ノード８０８の確率の集計に加えて、活動判定モジュール８１０は、「活動タイプ」を判定するべく、遷移ウィンドウなどの決定論的規則を利用してもよい。遷移ウィンドウは、活動を過度に頻繁に切り替えないように、活動に対する慣性を設定してもよい。例えば、活動タイプが「サイクリング」から「ウォーキング」に変化し、次いで、非常に高速で「サイクリング」に変化して戻る確率は高くない。遷移ウィンドウなどの決定論的規則は、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などのモデル又はＨＭＭに基づいた更に複雑なモデルを使用することにより、実装されてもよい。

出力モジュール８１２は、活動判定モジュール８１０によって判定された１つ又は複数の「活動タイプ」をモバイル通信装置１０２に提供する。一実施形態においては、出力モジュール８１２は、判定された活動タイプをタイムラインフォーマットでモバイル通信装置１０２のグラフィカルユーザインターフェイス（ＧＵＩ）上において表示してもよい。

図８は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。

図９は、本開示の一実施形態による対応するモバイル通信装置のセンサ及び測位データに基づいてユーザの「サイクリング」活動を識別する方法のステップの図である。
本発明の一実施形態においては、ユーザの「サイクリング」活動を識別する方法のステップは、図８の活動分析システム８００によって実行されてもよい。活動分析システム８００は、リモートサーバシステム１０４の内部に存在してもよく、或いは、少なくとも部分的に、ユーザ自身のモバイル通信装置１０２の内部に存在してもよい。

ステップ９００において、加速度データの組がモバイル通信装置１０２の加速度計センサから受け取られている。加速度データの組は、未加工フォーマットを有する、即ち、未処理の状態にあり、且つ、加速度計センサにより、３０秒ごとに収集されてもよい。例示用の一実施形態においては、加速度データの組は、３秒の持続時間を有し、且つ、１／２０秒ごとに収集された加速度サンプルを含む。従って、それぞれの３秒のデータセットは、合計で６０個の加速度サンプルを含み、且つ、それぞれの加速度サンプルは、モバイル通信装置１０２によって方向付けられた座標系のｘ、ｙ、及びｚ方向におけるモバイル通信装置１０２の加速度を含む。従って、それぞれの加速度サンプルは、３つの値を含み、且つ、３つの第２データセットは、合計で１８０（３×６０）個の値を含む。

ステップ９０１において、場所データの組がモバイル通信装置１０２の測位システムから受け取られている。測位データは、タイムスタンプ、場所座標、及びモバイル場所サービスからの推定された水平方向精度を含んでもよい。例示用の一実施形態においては、場所データは、数秒から数分の範囲のインターバルで受け取られている。

ステップ９０２において、加速度データの組が重力変換を実行されており、それぞれの加速度サンプルごとに、新しい変換済みのサンプルが算出され、この場合に、対応するｚ成分は、加速度ベクトルの平均値に沿って方向付けされている。別の実施形態においては、加速度データの組は、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）変換を実行されてもよく、この場合には、それぞれの加速度サンプルごとに、新しい変換済みのサンプルが算出され、対応するｚ成分は、同一の状態に留まるが、対応するｘ及びｙ成分は、ｘ及びｙ成分しか含まれていない際には、それらの成分が加速度サンプルの主成分に沿って方向付けされるように、変換される。

ステップ９０４において、場所データが事前処理されてもよく、この場合に、データの事前処理の例は、限定を伴うことなしに、データのフィルタリング、高速フーリエ変換（ＦＦＴ）を使用した時間から周波数へのドメイン変換などのドメイン遷移の実行、データの分類、データの平均化、データに基づいた１つ又は複数の相関の実行、及びデータの合成を含む。ステップ９０６において、事前処理された場所データに基づいて、モバイル通信装置１０２の概略速度が推定されてもよい。例えば、概略速度は、連続的な場所座標の間の距離と連続的な場所座標の間の時間差に基づいて推定されてもよい。

ステップ９０８において、センサ及び場所データの１つ又は複数の特徴が、変換済みの加速度サンプル及び推定された概略速度に基づいて推定されており、それぞれの「特徴」は、数値を有する。特徴の例は、変換済みの加速度サンプルの（ｘ，ｙ，ｚ）成分や加速度サンプルのｘ、ｙ、又はｚ成分のフーリエ変換されたバージョンの成分などのそれぞれの成分ごとの平均、分散、最小値、及び最大値を含む。

ステップ９０８において取得されたデータに対応するユーザ活動は、第１分類器を使用したステップ９１０における第１分類に基づいて、且つ、第２分類器を使用したステップ９１２における第２分類に基づいて、認識されてもよい。一実施形態においては、第１及び第２分類器は、図８の分類器ノード８０８に類似したものであってもよい。本明細書においては、２つの分類器が示されているが、ユーザ活動を認識するべく２つを上回る数の分類器が使用され得ることが当業者には明らかであろう。

第１及び第２分類器は、分類のために、ステップ９１０及び９１２において、ニューラルネットワーク、決定フォレスト、又はサポートベクトル機械などの標準的な教師付き分類アルゴリズムを使用している。第１分類器は、「サイクリング」又は「非サイクリング」として分類されたトレーニングサンプルを有する大きなトレーニングデータセットに基づいてトレーニングされた２値分類器であり、且つ、ステップ９０８において取得されたデータサンプル用の活動ラベル「サイクリング」又は「非サイクリング」を生成する。第２分類器は、相対的に正確にラベル付与されたデータの相対的に小さな組に基づいてトレーニングされたマルチクラス分類器であり、且つ、ステップ９０８において取得されたデータサンプル用の「サイクリング」、「ランニング」、「自動車」、「鉄道」、「ウォーキング」、及び「その他」のうちの１つの活動ラベルを生成する。

一実施形態においては、ユーザ活動は、第１及び第２分類器の両方が、ステップ９０８において取得されたデータサンプル用の活動レベルを「サイクリング」として生成した場合に、「サイクリング」として認識される。別の実施形態においては、ユーザ活動は、第１分類器が活動ラベルを「非サイクリング」として生成した際に、第２分類器によって生成される活動ラベルに基づいて認識される。更に別の実施形態においては、ユーザ活動は、第１分類器が活動ラベルを「非サイクリング」として生成し、且つ、第２分類器が「サイクリング」として活動ラベルを生成した際に、「その他」として認識される。更に別の実施形態においては、第１分類器は、ユーザ活動が「非サイクリング」である確率を生成してもよい。「非サイクリング」の確率が高い際には、「サイクリング」を活動として通知するもう１つの分類器の結果は、省略され得るであろう。

ステップ９１３において、ユーザの歩数が算出されており、且つ、ステップ９１４において、メタ分類器（meta-classifier）は、歩数データ並びに第１及び第２分類器によって生成されたデータを利用し、ステップ９１０及び９１２において識別された活動を合成して１つ又は複数の活動期間を形成している。一実施形態においては、加速度サンプルのうちの第１のサンプル及び最後のサンプルが所与の活動によってラベル付与されるように、Ｎ個の連続的な加速度サンプルが存在しており、且つ、大部分（又は、その少なくともｘ％）がその活動に属している際に、Ｎ個の連続的なサンプルの期間全体が、活動期間として識別されている。

ステップ９１６において、１つ又は複数の活動期間は、場所データ及びベイズの「対話型複数モデル（interactive multiple models）」スムージングアルゴリズム（smoothing algorithm）に基づいて個々の場所と関連付けられてもよい。ステップ９１８において、モバイル通信装置１０２が静止状態にあり、且つ、その内部において活動が実行されていない際に、場所データに基づいて１つ又は複数の静止セグメントが認識されてもよい。

ステップ９２０において、処理済みの場所及び加速度データに基づいて、最終的な活動の発見的方法型の分析（final activity heuristics-type analysis）が実行されている。発見的方法は、規則であり、且つ、規則の一例は、ステップ９１８において認識される静止セグメントが、ｘ秒よりも短い認識された活動なしの期間を有しており、且つ、隣接した活動期間が、ｙ秒を上回る持続時間を有している場合に、静止セグメントは、隣接した１つ又は複数の活動というラベルをその静止セグメントに付与している活動期間により、置換されるというものである。例えば、１０分のサイクリング活動において、ユーザが、その間に、１分間にわたって停止したと思われる場合には、１分の静止セグメントが無視され、且つ、１０分間の全体がサイクリング活動と関連付けられる。更には、１０分間の期間内において、連続的なサイクリング活動及び輸送活動が存在しており、且つ、その間に、少なくともｎ分間の停止が存在しておらず、且つ、ウォーキング活動が存在していない場合には、１０分間の期間全体が、その時間の大部分において発生した活動によってラベル付与される。但し、輸送活動とサイクリング活動の間に少なくとも１つの検出されたウォーキングサンプルが存在している場合には、サイクリング活動と輸送（transport）活動は、２つの異なる活動期間を形成することになる。

ステップ９２２において、距離及び歩幅計算が実行されており、且つ、ステップ９２４において、ステップ９２０において認識されたユーザ活動の精度を最適化するべく、場所マッチングが実行されている。最後に、ステップ９２６において、様々なユーザ活動を含むストーリーラインがタイムラインフォーマットで生成されている。

図９は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。

図１０は、本開示によるモバイル通信装置１０２の運動を追跡及び記録するシステム１００を使用するステップの説明図であり、且つ、図１及び図２との関連において説明済みである。方法は、論理フロー図においてステップの集合体として示されており、これは、ハードウェア、ソフトウェア、又はこれらの組合せにおいて実装され得る一連のステップを表している。

ステップ１００２において、モバイル通信装置１０２は、１つ又は複数のセンサ信号又はこれらに対応したセンサデータをサーバシステム１０４に伝達するように動作可能であり、センサ信号は、モバイル通信装置１０２がそのユーザによって取り組まれている活動と関連付けられた運動を通知している。センサ信号又は対応するセンサデータは、モバイル通信装置１０２の１つ又は複数のセンサの出力である。

ステップ１００４において、サーバシステム１０４の演算ハードウェアは、センサ信号及び対応するセンサデータを分析する１つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、演算ハードウェアは、センサ信号を事前分類して中間データを生成するように動作可能であり、且つ、中間データは、その後に、センサ信号と関連付けられた可能性が高い活動の１つ又は複数の通知を生成するべく１つ又は複数のプロセッサ内において処理される。演算ハードウェアは、１つ又は複数の通知の集合体を演算してセンサ信号と関連付けられた活動の分析を提供するように更に動作可能である。

ステップ１００６において、演算ハードウェアは、１つ又は複数の時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報をモバイル通信装置１０２に送信するように動作可能である。

ステップ１００２〜１００６は、例示を目的としたものに過ぎず、且つ、添付の請求項の範囲を逸脱することなしに、１つ又は複数のステップが追加されるか、１つ又は複数のステップが除去されるか、或いは、１つ又は複数のステップが異なるシーケンスにおいて提供されるその他の代替形態も提供され得ることに留意されたい。

以上、可能な態様を解明するべく、本発明の実施形態について包括的にかなり詳細に説明したが、当業者は、本発明のその他のバージョンも可能であることを認識するであろう。本発明の実施形態は、刑務所における囚人の監視、老人ホーム、病院における患者の監視、及びこれらに類似した目的のために利用するのに適している。

Claims (17)

1. １つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも１つのモバイル通信装置の運動を追跡及び記録するシステムであって、
   前記少なくとも１つのモバイル通信装置と通信する通信ネットワークと、前記少なくとも１つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を備え、前記システムは、
   １つ又は複数のセンサ信号を前記演算ハードウェアに通信するように動作可能な少なくとも１つのモバイル通信装置であって、前記１つ又は複数のセンサ信号は、前記少なくとも１つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示している、前記少なくとも１つのモバイル通信装置と、
   前記１つ又は複数のセンサ信号およびユーザの特性に対応する分類を分析する１つ又は複数のソフトウェアプロダクトを実行し、前記１つ又は複数のセンサ信号を分析して前記１つ又は複数のセンサ信号を１つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の前記１つ又は複数のセンサ信号を分析して前記所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定するように動作可能な前記システムの演算ハードウェアあって、前記１つ又は複数の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも１つのモバイル通信装置に送信するように動作可能な前記演算ハードウェアと、
   前記１つ又は複数の時間ゾーンと関連付けられた前記１つ又は複数の最も可能性が高い活動タイプを通知する前記情報が正しい分析を表しているかどうかの確認を提供するようにユーザに要求し、前記１つ又は複数のソフトウェアプロダクトの精度を改善するために、前記１つ又は複数のセンサ信号の分析を実行する前記１つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及びアルゴリズムのうちの少なくとも一方を修正するべく前記確認を前記演算ハードウェアに通信して戻すように動作可能な少なくとも１つのモバイル通信装置と、を備える、システム。
2. 前記システムは、前記少なくとも１つのモバイル通信装置が経験した活動の時間ログを生成するように動作可能である、請求項１に記載のシステム。
3. 前記少なくとも１つのモバイル通信装置は、
   携帯型コンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、タブレット、携帯電話機、タブレットコンピュータのうちの少なくとも１つによって具体化される、請求項１に記載のシステム。
4. 前記少なくとも１つのモバイル通信装置の１つ又は複数のセンサは、
   ジャイロスコープ角度センサ、加速度計、ＧＰＳ位置センサ、セルラー位置センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも１つを用いて具体化される、請求項１に記載のシステム。
5. 前記１つ又は複数のソフトウェアプロダクトは、前記演算ハードウェア上において実行される際に、
   前記１つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び、
   前記１つ又は複数のセンサ信号に含まれている情報の発見的分析、
   のうちの少なくとも１つを実装するように動作可能である、請求項１に記載のシステム。
6. 前記教師付き又は半教師付き分類分析は、前記１つ又は複数のセンサ信号に含まれている前記情報の１つまたは複数の周波数成分を測定し、時間内の異なる時点で１つまたは複数の周波数成分の振幅を判定するように動作可能であり、前記振幅は、前記教師付き分類分析および発見的分析のうちの少なくとも一方への入力パラメータとして用いられる、請求項１に記載のシステム。
7. 前記少なくとも１つのモバイル通信装置は、
   少なくとも１つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含み、
   前記少なくとも１つのモバイルソフトウェアアプリケーションは、前記少なくとも１つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも１つのタイムラインの形態で前記演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、前記少なくとも１つのタイムラインとの関係において複数の相互に異なるシンボルによって表される、請求項１に記載のシステム。
8. １つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも１つのモバイル通信装置の運動を追跡及び記録するシステムを用いる方法であって、
   前記少なくとも１つのモバイル通信装置と通信する通信ネットワークと、前記少なくとも１つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を備え、前記方法は、
   少なくとも１つのモバイル通信装置が、１つ又は複数のセンサ信号を前記演算ハードウェアに通信することであって、前記１つ又は複数のセンサ信号は、前記少なくとも１つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示している、前記通信すること、
   前記システムの演算ハードウェアが、前記１つ又は複数のセンサ信号およびユーザの特性に対応する分類を分析する１つ又は複数のソフトウェアプロダクトを実行し、前記１つ又は複数のセンサ信号を分析して前記１つ又は複数のセンサ信号を１つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の前記１つ又は複数のセンサ信号を分析して前記所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定すること、
   前記演算ハードウェアが、前記１つ又は複数の時間ゾーンと関連付けられた１つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも１つのモバイル通信装置に送信すること、
   前記少なくとも１つのモバイル通信装置が、前記１つ又は複数の時間ゾーンと関連付けられた前記１つ又は複数の最も可能性が高い活動タイプを通知する前記情報が正しい分析を表しているかどうかの確認を提供するようにユーザに要求し、前記センサ信号の精度を改善するために、前記１つ又は複数のセンサ信号の分析を実行する前記１つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及びアルゴリズムのうちの少なくとも一方を修正するべく前記確認を前記演算ハードウェアに通信して戻すこと、を備える、方法。
9. 前記システムが、前記少なくとも１つのモバイル通信装置が経験した活動の時間ログを生成することをさらに備える請求項８に記載の方法。
10. 前記少なくとも１つのモバイル通信装置を、
    携帯型コンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、タブレット、携帯電話機、タブレットコンピュータのうちの少なくとも１つによって具体化することを備える請求項８に記載の方法。
11. 前記少なくとも１つのモバイル通信装置の１つ又は複数のセンサを、
    ジャイロスコープ角度センサ、加速度計、ＧＰＳ位置センサ、セルラー位置センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも１つを用いて具体化することを備える請求項８に記載の方法。
12. 前記１つ又は複数のソフトウェアプロダクトは、前記演算ハードウェア上において実行される際に、
    前記１つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び、
    前記１つ又は複数のセンサ信号に含まれている情報の発見的分析、
    のうちの少なくとも１つを実装するように動作可能である、請求項８に記載の方法。
13. 前記教師付き又は半教師付き分類分析が、前記１つ又は複数のセンサ信号に含まれている前記情報の１つまたは複数の周波数成分を測定し、時間内の異なる時点で１つまたは複数の周波数成分の振幅を判定することをさらに備え、
    前記振幅は、前記教師付き分類分析および発見的分析のうちの少なくとも一方への入力パラメータとして用いられる、請求項１２に記載の方法。
14. 前記少なくとも１つのモバイル通信装置は、
    少なくとも１つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含むように構成され、
    前記少なくとも１つのモバイルソフトウェアアプリケーションは、前記少なくとも１つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも１つのタイムラインの形態で前記演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、前記少なくとも１つのタイムラインとの関係において複数の相互に異なるシンボルによって表される、請求項８に記載の方法。
15. ソフトウェアプロダクトを記憶する非一時的機械可読データ記録媒体であって、
    前記ソフトウェアプロダクトは、請求項８に記載された方法を具体化するためにモバイル通信装置の演算ハードウェア上で実行可能である、非一時的機械可読データ記録媒体。
16. 前記ソフトウェアプロダクトは、ソフトウェアアプリケーションストアから前記モバイル通信装置にダウンロードされる、請求項１５に記載の非一時的機械可読データ記録媒体。
17. 請求項１に記載のシステムを具体化する場合に用いられるモバイル通信装置。