本出願は、2021年5月28日に日本国に特許出願された特願2021-090695の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
歩行中のユーザの身体部位の状態を推定する新規な技術が望まれている。本開示によれば、歩行中のユーザの身体部位の状態を推定する新規な技術を提供することができる。
以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には、同じ符号を付す。
(システムの構成)
図1に示すような情報処理システム1は、歩行中のユーザの複数の身体部位のうちの任意の身体部位の状態を推定することができる。ユーザは、情報処理システム1を利用することにより、歩行中の自身の身体部位の状態が良いか又は悪いかを把握することができる。
情報処理システム1は、歩行中のユーザの身体部位の状態の把握が求められる任意の用途に利用されてよい。例えば、情報処理システム1は、ユーザが運動として歩行する場合、ユーザがモデルとして歩行を練習する場合、ユーザが登山のために足運びを練習する場合又はユーザが競歩を練習する場合等において、ユーザの身体部位の状態を把握するために利用されてよい。
情報処理システム1は、センサ機器10Aと、センサ機器10Bと、センサ機器10Cと、センサ機器10Dと、電子機器20とを含む。ただし、情報処理システム1は、センサ機器10A、センサ機器10B、センサ機器10C及びセンサ機器10Dの全てを含まなくてよい。情報処理システム1は、センサ機器10A、センサ機器10B、センサ機器10C及びセンサ機器10Dのうちの少なくとも1個を含めばよい。
以下、センサ機器10A~10Dの各々を特に区別しない場合、これらは、まとめて「センサ機器10」とも記載される。
センサ機器10と電子機器20とは、通信線を介して通信可能である。通信線は、有線及び無線の少なくとも何れかを含んで構成される。
センサ機器10は、ユーザの身体部位に装着される。センサ機器10は、センサ機器10が装着されたユーザの身体部位の動きを示すセンサデータを検出する。センサデータは、ローカル座標系のデータとなる。
ローカル座標系は、図2に示すように、センサ機器10の位置を基準とする座標系である。図2には、センサ機器10の位置の例示として、センサ機器10Aの位置を破線で示す。ローカル座標系は、例えば、x軸、y軸及びz軸で構成される。x軸と、y軸と、z軸とは、互いに直交する。x軸は、センサ機器10から見た前後方向に平行である。y軸は、センサ機器10から見た左右方向に平行である。z軸は、センサ機器10から見た上下方向に平行である。ローカル座標系のx軸に平行な方向は、「ローカル座標系の前後方向」とも記載される。ローカル座標系のy軸に平行な方向は、「ローカル座標系の左右方向」とも記載される。ローカル座標系のz軸に平行な方向は、「ローカル座標系の上下方向」とも記載される。
グローバル座標系は、図2に示すように、ユーザが歩行する空間における位置を基準とする座標系である。グローバル座標系は、例えば、X軸、Y軸及びZ軸で構成される。X軸と、Y軸と、Z軸とは、互いに直交する。X軸は、ユーザから見た前後方向に平行である。Y軸は、ユーザから見た左右方向に平行である。Z軸は、ユーザから見た上下方向に平行である。グローバル座標系のX軸に平行な方向は、「グローバル座標系の前後方向」とも記載される。グローバル座標系のY軸に平行な方向は、「グローバル座標系の左右方向」とも記載される。グローバル座標系のZ軸に平行な方向は、「グローバル座標系の上下方向」とも記載される。グローバル座標系の前後方向は、ユーザの前後方向とも言い換え可能である。グローバル座標系の左右方向は、ユーザの左右方向とも言い換え可能である。グローバル座標系の上下方向は、ユーザの上下方向とも言い換え可能である。
矢状面は、図2に示すように、ユーザの身体を左右対称に分ける面又はユーザの身体を左右対称に分ける面と並行な面である。前額面は、ユーザの身体を腹側と背側とに分ける面又はユーザの身体を腹側と背側とに分ける面に平行な面である。水平面は、ユーザの身体を上下に分ける面又はユーザの身体を上下に分ける面に平行な面である。矢状面と、前額面と、水平面とは、互いに垂直である。
図1に示すように、センサ機器10Aは、ユーザの頭部に装着される。例えば、センサ機器10Aは、ユーザの耳に装着される。センサ機器10Aは、ウェアラブル機器であってよい。センサ機器10Aは、イヤホンであってよい。センサ機器10Aは、イヤホンに含まれてよい。又は、センサ機器10Aは、既存のメガネ又はイヤホン等に後付け可能な装置であってよい。センサ機器10Aは、任意の方法によって、ユーザの頭部に装着されてよい。センサ機器10Aは、ヘアバンド、かんざし等のヘアアクセサリ、イヤリング、ヘルメット、帽子、補聴器、入れ歯又はインプラント等に設置されることにより、ユーザの頭部に装着されてよい。
センサ機器10Aは、センサ機器10Aから見た前後方向がユーザから見た頭部の前後方向に一致し、センサ機器10Aから見た左右方向がユーザから見た頭部の左右方向に一致し、且つセンサ機器10から見た上下方向がユーザから見た頭部の上下方向に一致するように、ユーザの頭部に装着されてよい。つまり、センサ機器10Aは、センサ機器10Aの位置を基準とするローカル座標系のx軸がユーザから見た頭部の前後方向に平行になり、当該ローカル座標系のy軸がユーザから見た頭部の左右方向に平行になり、且つ当該ローカル座標系のz軸がユーザから見た頭部の上下方向に平行になるように、ユーザの頭部に装着されてよい。ただし、センサ機器10Aから見た前後方向、左右方向及び上下方向の各々は、必ずしも、ユーザから見た頭部の前後方向、左右方向及び上下方向の各々に一致しなくてよい。この場合、ユーザの頭部に対するセンサ機器10Aの相対姿勢は、適宜、初期化又は既知化されてよい。当該相対姿勢の初期化又は既知化は、センサ機器10Aをユーザの頭部に取り付ける治具の形状の情報又はセンサ機器10Aが装着されたユーザの頭部を撮像して生成された画像情報を利用することにより、行われてよい。
センサ機器10Aは、ユーザの頭部の動きを示すセンサデータを検出する。センサ機器10Aが検出するセンサデータは、例えば、ユーザの頭部の速度、ユーザの頭部の加速度、ユーザの頭部の角度、ユーザの頭部の角速度、ユーザの頭部の温度及びユーザの頭部の位置における地磁気の少なくとも何れかを示すデータを含む。
センサ機器10Bは、ユーザの前腕部に装着される。例えば、センサ機器10Bは、ユーザの手首に装着される。センサ機器10Bは、腕時計型のウェアラブル機器であってよい。センサ機器10Bは、任意の方法によって、ユーザの前腕部に装着されてよい。センサ機器10Bは、バンド、ブレスレット、ミサンガ、グローブ、指輪、つけ爪又は義手等に設置されることにより、ユーザの前腕部に装着されてよい。当該ブレスレットは、装飾目的でユーザが身に着けるものであってもよいし、ロッカー等の鍵を手首に装着するためのものであってもよい。
センサ機器10Bは、センサ機器10Bから見た前後方向がユーザから見た手首の前後方向に一致し、センサ機器10Bから見た左右方向がユーザから見た手首の左右方向に一致し、且つセンサ機器10Bから見た上下方向がユーザから見た手首の回旋方向に一致するように、ユーザの前腕部に装着されてよい。手首の回旋方向は、手首がねじれて回旋する方向である。つまり、センサ機器10Bは、センサ機器10Bの位置を基準とするローカル座標系のx軸がユーザから見た手首の前後方向に平行になり、当該ローカル座標系のy軸がユーザから見た手首の左右方向に平行になり、且つ当該ローカル座標系のz軸がユーザから見た手首の回旋方向に平行になるように、ユーザの前腕部に装着されてよい。
センサ機器10Bは、ユーザの前腕部の動きを示すセンサデータを検出する。センサ機器10Bが検出するセンサデータは、例えば、ユーザの前腕部の速度、ユーザの前腕部の加速度、ユーザの前腕部の角度、ユーザの前腕部の角速度、ユーザの前腕部の温度及びユーザの前腕部の位置における地磁気の少なくとも何れかを示すデータを含む。
センサ機器10Cは、ユーザの大腿部に装着される。センサ機器10Cは、ウェアラブル機器であってよい。センサ機器10Cは、任意の方法によってユーザの大腿部に装着されてよい。センサ機器10Cは、ベルトによってユーザの大腿部に装着されてよい。センサ機器10Cは、ユーザが着用するズボンの大腿部付近のポケットに入れられることにより、大腿部に装着されてよい。センサ機器10Cは、ズボン、下着、ショーツ、サポータ、義足又はインプラント等に設置されることにより、ユーザの大腿部に装着されてよい。
センサ機器10Cは、センサ機器10Cから見た前後方向がユーザから見た大腿部の前後方向に一致し、センサ機器10Cから見た左右方向がユーザから見た大腿部の左右方向に一致し、且つセンサ機器10Cから見た上下方向がユーザから見た大腿部の回旋方向に一致するように、ユーザの大腿部に装着されてよい。大腿部の回旋方向は、大腿部がねじれて回旋する方向である。つまり、センサ機器10Cは、センサ機器10Cの位置を基準とするローカル座標系のx軸がユーザから見た大腿部の前後方向に平行になり、当該ローカル座標系のy軸がユーザから見た大腿部の左右方向に平行になり、且つ当該ローカル座標系のz軸がユーザから見た大腿部の回旋方向に平行になるように、ユーザの大腿部に装着されてよい。
センサ機器10Cは、ユーザの大腿部の動きを示すセンサデータを検出する。センサ機器10Cが検出するセンサデータは、例えば、ユーザの大腿部の速度、ユーザの大腿部の加速度、ユーザの大腿部の角度、ユーザの大腿部の角速度、ユーザの大腿部の温度及びユーザの大腿部の位置における地磁気の少なくとも何れかを示すデータを含む。
センサ機器10Dは、ユーザの足部に装着される。本実施形態では、足部は、ユーザの足首からつま先までの部分である。センサ機器10Dは、靴型のウェアラブル機器であってよい。センサ機器10Dは、任意の方法によって、ユーザの足部に装着されてよい。センサ機器10Dは、靴に設けられていてよい。センサ機器10Dは、アンクレット、バンド、ミサンガ、つけ爪、タトゥーのシール、サポータ、ギプス、ソックス、インソール、義足、指輪又はインプラント等に設置されることにより、ユーザの足部に装着されてよい。
センサ機器10Dは、センサ機器10Dから見た前後方向がユーザから見た足部の前後方向に一致し、センサ機器10Dから見た左右方向がユーザから見た足部の左右方向に一致し、且つセンサ機器10から見た上下方向がユーザから見た足部の上下方向に一致するように、ユーザの足部に装着されてよい。つまり、センサ機器10Dは、センサ機器10Dの位置を基準とするローカル座標系のx軸がユーザから見た足部の前後方向に平行になり、当該ローカル座標系のy軸がユーザから見た足部の左右方向に平行になり、且つ当該ローカル座標系のz軸がユーザから見た足部の上下方向に平行になるように、ユーザの足部に装着されてよい。
センサ機器10Dは、ユーザの足部の動きを示すセンサデータを検出する。センサ機器10Dが検出するセンサデータは、例えば、ユーザの足部の速度、ユーザの足部の加速度、ユーザの足部の角度、ユーザの足部の角速度、ユーザの足部の温度及びユーザの足部の位置における地磁気の少なくとも何れかを示すデータを含む。
電子機器20は、例えば、歩行中のユーザによって携帯される。電子機器20は、情報処理装置として機能し、センサ機器10が検出したセンサデータに基づいて、ユーザの複数の身体部位のうちの任意の身体部位の状態を推定することができる。本実施形態では、電子機器20は、ユーザの身体部位の状態を推定することとして、ユーザの身体部位の状態に対する評価を決定する。電子機器20は、例えば、携帯電話機、スマートフォン又はタブレット等のモバイル機器である。
図3に示すように、センサ機器10は、少なくとも、通信部11及びセンサ部12を含んで構成される。センサ機器10は、情報を報知する報知部と、記憶部14と、制御部15とをさらに含んで構成されてよい。本実施形態では、報知部は、出力部13である。ただし、報知部は、出力部13に限定されない。センサ機器10C及びセンサ機器10Dは、出力部13を含んで構成されなくてよい。
通信部11は、通信線を介して電子機器20と通信可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、赤外線及びNFC(Near Field Communication)等を含む近距離無線通信規格である。
センサ部12は、センサ機器10によって検出しようとするセンサデータに応じた、任意のセンサを含んで構成される。センサ部12は、例えば、3軸のモーションセンサ、3軸の加速度センサ、3軸の速度センサ、3軸のジャイロセンサ、3軸の地磁気センサ、温度センサ、気圧センサ及びカメラ等の少なくとも何れかを含んで構成される。センサ部12がカメラを含んで構成される場合、カメラがユーザの身体部位を撮像して生成した画像を解析することにより、当該身体部位の動きを検出することができる。
センサ部12が加速度センサ及び地磁気センサを含んで構成される場合、加速度センサ及び地磁気センサの各々が検出したデータは、センサ機器10によって検出しようとする身体部位の初期の角度の算出に用いられてよい。また、加速度センサ及び地磁気センサの各々が検出したデータは、センサ機器10によって検出される角度を示すデータの補正に用いられてよい。
センサ部12がジャイロセンサを含んで構成される場合、ジャイロセンサが検出した角速度を時間積分することにより、センサ機器10によって検出しようとする身体部位の角度が算出されてよい。
センサ部12が気圧センサを含んで構成される場合、気圧センサが検出したデータは、後述する電子機器20の制御部26のユーザの身体部位の状態に対する評価を決定する際に用いられてよい。
出力部13は、データを出力可能である。出力部13は、データを出力可能な少なくとも1つの出力用インタフェースを含んで構成される。出力用インタフェースは、例えば、ディスプレイ又はスピーカ等である。ディスプレイは、例えば、LCD(Liquid Crystal Display)又は有機EL(Electro Luminescence)ディスプレイ等である。
出力部13は、センサ機器10Aに含まれる場合、スピーカを含んで構成されてよい。また、出力部13は、センサ機器10Bに含まれる場合、ディスプレイを含んで構成されてよい。
記憶部14は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ又はこれらのうちの少なくとも2種類の組み合わせを含んで構成される。半導体メモリは、例えば、RAM(Random Access Memory)又はROM(Read Only Memory)等である。RAMは、例えば、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等である。ROMは、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)等である。記憶部14は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部14は、センサ機器10の動作に用いられるデータと、センサ機器10の動作によって得られたデータとを記憶する。例えば、記憶部14は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。
制御部15は、少なくとも1つのプロセッサ、少なくとも1つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、CPU(Central Processing Unit)若しくはGPU(Graphics Processing Unit)等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等である。制御部15は、センサ機器10の各部を制御しながら、センサ機器10の動作に関わる処理を実行する。
制御部15は、データ検出の開始を指示する信号を、電子機器20から通信部11によって受信する。制御部15は、この信号を受信すると、データ検出を開始する。例えば、制御部15は、センサ部12から、センサ部12が検出したデータを取得する。制御部15は、取得したデータをセンサデータとして電子機器20に通信部11によって送信する。データ検出の開始を指示する信号は、ブロードキャスト信号として、電子機器20から複数のセンサ機器10に送信される。データ検出の開始を指示する信号がブロードキャスト信号として複数のセンサ機器10に送信されることにより、複数のセンサ機器10は、データ検出を同時に開始することができる。
制御部15は、予め設定された時間間隔で、センサ部12からデータを取得し、取得したデータをセンサデータとして通信部11によって送信する。この時間間隔は、一般的なユーザの歩行速度等に基づいて、設定されてよい。この時間間隔は、複数のセンサ機器10の各々において、同じであってよい。この時間間隔が複数のセンサ機器10で同じであることにより、複数のセンサ機器10の各々がデータを検出するタイミングを同期させることができる。
図3に示すように、電子機器20は、通信部21と、入力部22と、情報を報知する報知部と、記憶部25と、制御部26とを含んで構成される。本実施形態では、報知部は、出力部23及び振動部24である。ただし、報知部は、出力部23及び振動部24に限定されない。出力部23及び振動部24は、電子機器20に搭載されていてよいし、センサ機器10B,10C,10Dの何れかの近傍に配置されていてよい。
通信部21は、通信線を介してセンサ機器10と通信可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した少なくとも1つの通信モジュールである。通信線の規格は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、赤外線及びNFC等を含む近距離無線通信規格である。
通信部21は、後述の図10に示すようなネットワーク2に接続可能な少なくとも1つの通信モジュールをさらに含んで構成されてよい。通信モジュールは、例えば、LTE(Long Term Evolution)、4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応した通信モジュールである。
入力部22は、ユーザからの入力を受付可能である。入力部22は、ユーザからの入力を受付可能な少なくとも1つの入力用インタフェースを含んで構成される。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン又はマイク等である。
出力部23は、データを出力可能である。出力部23は、データを出力可能な少なくとも1つの出力用インタフェースを含んで構成される。出力用インタフェースは、例えば、ディスプレイ又はスピーカ等である。ディスプレイは、例えば、LCD又は有機ELディスプレイ等である。
振動部24は、電子機器20を振動可能である。振動部24は、振動素子を含んで構成される。振動素子は、例えば、圧電素子等である。
記憶部25は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ又はこれらのうちの少なくとも2種類の組み合わせを含んで構成される。半導体メモリは、例えば、RAM又はROM等である。RAMは、例えば、SRAM又はDRAM等である。ROMは、例えば、EEPROM等である。記憶部25は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部25には、電子機器20の動作に用いられるデータと、電子機器20の動作によって得られたデータとが記憶される。例えば、記憶部25は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。例えば、記憶部25は、後述の学習モデル及び後述の図6に示すような対応付け等を記憶する。
制御部26は、少なくとも1つのプロセッサ、少なくとも1つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、CPU若しくはGPU等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA又はASIC等である。制御部26は、電子機器20の各部を制御しながら、電子機器20の動作に関わる処理を実行する。
制御部26は、歩行評価の実行を指示する入力を、入力部22によって受け付ける。この入力は、電子機器20に、身体部位の状態に対する評価を決定する決定処理を実行させる入力である。この入力は、例えば、センサ機器10を装着したユーザによって入力部22から入力される。ユーザは、例えば、歩行を開始する前に、この入力を入力部22から入力する。制御部26は、この入力を入力部22によって受け付けると、データ検出の開始を指示する信号をブロードキャスト信号として、複数のセンサ機器10に通信部21によって送信する。データ検出の開始を指示する信号が複数のセンサ機器10に送信された後、少なくとも1個のセンサ機器10から電子機器20へ、センサデータが送信される。
制御部26は、少なくとも1個のセンサ機器10から、センサデータを通信部21によって受信する。制御部26は、センサ機器10からセンサデータを受信することにより、センサ機器10からセンサデータを取得する。制御部26は、後述するように、取得したセンサデータと学習モデルとによって、ユーザの身体部位の状態に対する評価を決定する。身体部位の状態を評価する評価の内容は、一般的に良いとされる歩き方の解釈に基づいて、設定されてよい。一般的に良いとされる歩き方の解釈としては、例えば、「アシックススポーツ研究所、“究極の歩き方”、講談社現代新書、2019年9月発行、p.92,94,95」に記載された解釈が挙げられる。制御部26による評価の決定処理の詳細を説明する前に、一般的に良いとされる歩き方の解釈及び評価の内容の一例について説明する。制御部26は、以下に説明する、(1)頭部の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態のうちの少なくとも何れかに対する評価を決定してよい。
(1)頭部の状態
頭部の状態に対する評価が決定されてよい。
一般的に、歩行中のユーザの身体は、なるべく揺れない方がよいと解釈されている。歩行中のユーザの身体の揺れが小さい場合、歩行中のユーザの身体の揺れが大きい場合よりも、歩行中のユーザの頭部の揺れが小さくなる。したがって、歩行中のユーザの頭部の揺れが小さい場合、歩行中のユーザの頭部の揺れが大きい場合よりも、頭部の状態に対する評価として高い評価が決定されてよい。
歩行中のユーザの顎が引かれている場合、歩行中のユーザの顎が引かれていない場合よりも、ユーザの頭部の揺れが小さくなる。したがって、歩行中のユーザの顎が引かれている場合、歩行中のユーザの顎が引かれていない場合よりも、頭部の状態に対する評価として高い評価が決定されてよい。
歩行中のユーザの視線が遠くに向けられている場合、歩行中のユーザの視線が近くに向けられている場合よりも、ユーザの頭部の揺れが小さくなる。したがって、歩行中のユーザの視線が遠くに向けられている場合、歩行中のユーザの視線が近くに向けられている場合よりも、頭部の状態に対する評価として高い評価が決定されてよい。
(2)腕部の状態
腕部の状態に対する評価が決定されてよい。
一般的に、歩行中のユーザの腕部の状態としては、腕がしっかり振られた状態が良好な状態であると解釈されている。したがって、歩行中のユーザの腕部の振りが大きい場合、歩行中のユーザの腕部の振りが小さい場合よりも、腕部の状態に対する評価として高い評価が決定されてよい。
一般的に、歩行中のユーザの腕部の状態としては、腕がユーザの後方向に引かれた状態が良好な状態であると解釈されている。したがって、歩行中のユーザの腕が後方向に引かれている場合、歩行中のユーザの腕が後方向に引かれていない場合よりも、腕部の状態に対する評価として高い評価が決定されてよい。
(3)体幹部の状態
体幹部の状態に対する評価が決定されてよい。
一般的に、歩行中のユーザの体幹部の状態としては、肩が開いていて背筋が伸びた状態が良好な状態であると解釈されている。したがって、ユーザの肩が開いていて背筋が伸びた状態である場合、ユーザの肩が閉じていて背筋が曲がった状態である場合よりも、体幹部の状態に対する評価として高い評価が決定されてよい。
一般的に、歩行中のユーザの体幹部の状態としては、骨盤が立っていて腰が伸びた状態が良好な状態であると解釈されている。したがって、ユーザの骨盤が立っていて腰が伸びた状態である場合、ユーザの骨盤が立っておらず腰が曲がった状態である場合よりも、体幹部の状態に対する評価として高い評価が決定されてよい。
(4)膝部の状態
膝部の状態に対する評価が決定されてよい。
一般的に、歩行中のユーザの膝部の状態としては、膝部が曲がっていない状態が良好な状態であると解釈されている。したがって、歩行中のユーザの膝部が曲がっていない状態である場合、歩行中のユーザの膝部が曲がっている状態である場合よりも、膝部の状態に対する評価として高い評価が決定されてよい。
(5)足部の状態
足部の状態に対する評価が決定されてよい。
一般的に、歩行中のユーザの歩幅は、なるべく広い方がよいと解釈されている。したがって、歩行中のユーザの歩幅が広い場合、歩行中のユーザの歩幅が狭い場合よりも、足部の状態に対する評価として高い評価が決定されてよい。
[評価の決定処理]
制御部26は、センサデータと学習モデルとによって、ユーザの身体部位の状態に対する評価を決定する。学習モデルは、センサデータ又は特徴データが入力されると、ユーザの所定の身体部位の状態に対する評価の情報を出力するように、機械学習したものである。つまり、制御部26は、学習モデルにセンサデータ又は特徴データを入力し、学習モデルからユーザの身体部位の状態に対する評価の情報を取得することにより、ユーザの身体部位の状態に対する評価を決定する。特徴データは、ユーザにおけるセンサ機器10が装着された身体部位の動きの特徴を示すデータである。制御部26は、センサデータから特徴データを取得する。特徴データの一例については、後述する。ここで、学習モデルは、センサデータ又は特徴データが入力されると、ユーザにおけるセンサ機器10が装着された身体部位とは異なる身体部位の状態の評価の情報を出力するように、機械学習することができる。その理由は、ユーザの複数の身体部位が歩行という運動において互いに影響を及ぼしながら動くためである。このような学習モデルによって、制御部26は、ユーザにおけるセンサ機器10が装着された身体部位とは異なる身体部位の状態の評価を決定することができる。また、このような学習モデルによって、制御部26は、ユーザにおけるセンサ機器10が装着された身体部位の個数よりも多くの身体部位の状態の評価を決定することができる。
本実施形態に係る学習モデルは、特徴データが入力されると、所定の身体部位の状態の評価の情報としてスコアを出力するように、機械学習したものである。スコアは、所定の身体部位の状態の評価を示す。スコアが高いほど、スコアに対応する所定の身体部位の状態に対する評価が高い。制御部26は、学習モデルからスコアを取得することにより、スコアに対応する所定の身体部位の状態に対する評価を決定する。
以下、学習モデルに入力される特徴データの一例について説明する。
特徴データは、センサデータの統計値を示すデータであってよい。特徴データがセンサデータの統計値であることにより、特徴データによって身体部位の動きの特徴を示すことができる。例えば、特徴データは、所定期間における、センサデータの最大値、最小値、平均値又は分散等である。所定期間は、例えば、ユーザの歩行周期又は歩行周期の一部期間等である。歩行周期は、例えば、ユーザの2つの足部のうちの一方の足部が地面に着地してから再び地面に着地するまでの期間である。歩行周期の一部期間は、例えば、立脚期又は遊脚期等である。立脚期は、例えば、ユーザの2つの足部のうちの一方の足部が地面に着地してから離れるまでの期間である。遊脚期は、例えば、ユーザの2つの足部のうちの一方の足部が地面から離れてから地面に着地するまでの期間である。制御部26は、センサデータを解析することにより、ユーザの歩行周期及び歩行周期の一部期間を検出してよい。制御部26は、センサデータに対して演算を実行することにより、センサデータから特徴データを取得してよい。
特徴データは、所定タイミングにおけるセンサデータであってよい。特徴データが所定タイミングにおけるセンサデータであることにより、特徴データによって身体部位の動きの特徴を示すことができる。例えば、特徴データは、ユーザの着地タイミングにおけるセンサデータである。着地タイミングは、ユーザの足部が地面に着地するタイミングである。制御部26は、センサデータを解析することにより、着地タイミングを検出してよい。
特徴データは、任意の座標系のデータであってよい。特徴データは、ローカル座標系のデータであってよいし、グローバル座標系のデータであってよい。特徴データがグローバル座標系のデータである場合、制御部26は、ローカル座標系のセンサデータに対して座標変換を実行することにより、グローバル座標系の特徴データを取得する。
図4を参照して、学習モデルの一例について説明する。図4に示すような学習モデル30は、ニューラルネットワークの学習モデルである。学習モデル30は、入力層31と、隠れ層32と、隠れ層33と、出力層34とを含んで構成される。
学習モデル30は、入力層31から3つの特徴データが入力されると、出力層34から1つのスコアを出力する。
入力層31は、3個のニューロンを含む。入力層31の3個のニューロンには、各々、特徴データが入力される。隠れ層32及び隠れ層33は、各々、64個のニューロンを含む。出力層34は、1個のニューロンを含む。出力層34のニューロンからは、スコアが出力される。入力層31、隠れ層32、隠れ層33及び出力層34の層において、隣接する2つの層のうちの、一方の層のニューロンと、他方の層のニューロンとは、互いに結合される。学習モデル30の学習では、各ニューロン間の結合強度に相当する重み係数が調整される。
入力層31、隠れ層32、隠れ層33及び出力層34の各々に含まれるニューロンの数は、用いられる特徴データの数に応じて、調整されてよい。
図5に、本開示の一実施形態に係るスコアの一例を示す。制御部26は、上述したように、特徴データを学習モデルに入力することにより、図5に示すようなスコアを取得する。図5では、制御部26は、5個の学習モデルによって、(1)頭部の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態のスコアの各々を取得する。
図5では、スコアは、1~5までの数値である。制御部26は、(1)頭部の状態に対する評価として、スコアの5を取得する。制御部26は、(2)腕部の状態に対する評価として、スコアの4を取得する。制御部26は、(3)体幹部の状態に対する評価として、スコアの3を取得する。制御部26は、(4)膝部の状態に対する評価として、スコアの1を取得する。制御部26は、(5)足部の状態に対する評価として、スコアの2を取得する。
[評価信号の生成処理]
制御部26は、ユーザの身体部位の状態に対する評価を決定すると、決定した評価に応じた評価信号を生成してよい。制御部26は、複数の評価を決定した場合、決定した複数の評価のうちの、少なくとも1つの評価に応じた評価信号を生成してよい。評価信号は、決定した評価が評価閾値よりも高い場合、ユーザを褒める内容を示す信号であってよい。評価信号は、決定した評価が評価閾値よりも低い場合、ユーザへのアドバイスを示す信号であってよい。評価閾値は、一般的なユーザの評価の平均値等に基づいて、設定されてよい。評価閾値は、学習モデルが用いられる場合、一般的なユーザのスコアの平均値であってよい。ユーザを褒める内容及びアドバイスの内容は、上述したような一般的に良いとされる歩き方の解釈に基づいて、設定されてよい。
図5では、評価閾値は、スコアの3である。図5では、「Good」は、評価が評価閾値よりも高いことを示す。「Poor」は、評価が評価閾値よりも低いことを示す。「Average」は、評価が評価閾値と同じであることを示す。
図5では、(1)頭部の状態及び(2)腕部の状態の各々に対する評価が評価閾値よりも高くなる。制御部26は、(1)頭部の状態及び(2)腕部の状態の各々に対して、評価信号として、ユーザを褒める内容を示す信号を生成する。例えば、(1)頭部の状態に対する評価信号として、制御部26は、ユーザの頭部の揺れが小さくて頭部の状態が良好である旨を示す信号を生成する。例えば、(2)腕部の状態に対する評価信号として、制御部26は、ユーザの腕部の振りが大きく、且つ腕が後方向に引かれており、腕部の状態が良好である旨を示す信号を生成する。
図5では、(4)膝部の状態及び(5)足部の状態の各々に対する評価が評価閾値よりも低くなる。制御部26は、(4)膝部の状態及び(5)足部の状態の各々に対して、評価信号として、ユーザへのアドバイスを示す信号を生成する。例えば、(4)膝部の状態に対する評価信号として、制御部26は、膝部を曲げないようにする旨のアドバイスを示す信号を生成する。例えば、(5)足部の状態に対する評価信号として、制御部26は、歩幅を広くする旨のアドバイスを示す信号を生成する。
制御部26は、生成した評価信号を外部機器に通信部21によって送信してよい。制御部26は、外部機器として出力部13を有する任意のセンサ機器10に、評価信号を通信部21によって送信してよい。この場合、センサ機器10では、制御部15は、評価信号を通信部21によって受信する。制御部15は、受信した評価信号が示す内容を、報知部としての出力部13に報知させる。報知の一例として、制御部15は、評価信号が示す内容を出力部13に出力させる。このような構成により、ユーザは、歩行中の身体部位の状態に対する評価を把握することができる。
制御部26は、例えばセンサ機器10Aがイヤホンであるか、又はイヤホンに含まれる場合、外部機器としてイヤホンに、評価信号を通信部21によって送信してよい。この場合、センサ機器10Aでは、制御部15は、評価信号を通信部11によって受信する。センサ機器10Aでは、制御部15は、評価信号が示す内容を、報知部としての出力部13に報知させる。報知の一例として、センサ機器10Aでは、制御部15は、評価信号が示す内容を音声として出力部13のスピーカから出力させることにより、報知する。このような構成により、身体部位の状態に対する評価を、音声によってユーザに報知することができる。音声によってユーザに報知することにより、ユーザの歩行を妨げる可能性が低減する。
制御部26は、生成した評価信号が示す内容を報知部によってユーザに報知してよい。報知の一例として、制御部26は、生成した評価信号が示す内容を出力部23に出力させてよい。報知の他の例として、制御部26は、決定した評価に応じた振動パターンで振動部24を振動させてよい。
[学習モデルの選択処理]
制御部26は、複数の学習モデルのうちから、センサデータを電子機器20へ送信したセンサ機器10の種類に応じて、上述した評価の決定処理に用いる学習モデルを選択してよい。制御部26は、記憶部25に記憶された図6に示すような対応付けを参照し、評価の決定処理に用いる学習モデルを選択してよい。
図6に示すような学習モデルは、後述の学習モデルの生成方法によって生成されたものである。学習モデルとともに示される括弧内の数値は、後述の学習モデルの生成方法において算出された学習モデルの精度及び確度である。学習モデルの精度及び確度の算出方法については、後述する。括弧内の左側の数値は、学習モデルの精度である。括弧内の右側の数値は、学習モデルの確度である。
図6において、二重丸印が付された学習モデルは、精度が90%以上であって、さらに確度が70%以上である学習モデルである。一重丸印が付された学習モデルは、二重丸印が付された学習モデルの精度及び確度の条件を満たさない学習モデルである。一重丸印が付された学習モデルは、精度が80%以上であって、さらに確度が60%以上である学習モデルである。三角印が付された学習モデルは、精度が80%未満であるか、又は確度が60%未満である学習モデルである。制御部26は、学習モデルの精度及び確度に応じて(1)頭部の状態から(5)足部の状態までの一部の状態の評価を決定してよいし、(1)頭部の状態から(5)足部の状態までの全ての評価を決定してよい。
図6では、制御部26は、ケースC1、ケースC2、ケースC3、ケースC4又はケースC5を選択することにより、評価の決定処理に用いる学習モデルを選択する。ケースC1~ケースC5は、評価の決定処理に用いる学習モデルと、当該学習モデルに入力する特徴データを取得するためのセンサ機器10の種類とを対応付けたものである。ただし、学習モデルは、図6に示すようなものに限定されない。任意に組み合わされたセンサ機器10のセンサデータ又は特徴データを用いる学習モデルが採用されてよい。
制御部26は、センサデータを電子機器20へ送信するセンサ機器10の種類に応じて、ケースC1~C5の何れかを選択してよい。一例として、制御部26は、センサデータを電子機器20へ送信した複数のセンサ機器10のうちから、任意のセンサ機器10の組み合わせを選択してよい。制御部26は、ケースC1~ケースC5のうちから、選択したセンサ機器10の組み合わせに対応するケースを選択してよい。以下に説明するようなケースC1~C5で用いられる特徴データの情報は、ケースC1~C5と対応付けて記憶部25に記憶されてよい。
<ケースC1>
制御部26は、センサデータを電子機器20へ送信するセンサ機器10がセンサ機器10Aのみである場合、ケースC1を選択してよい。例えば、ユーザが装着するセンサ機器10がセンサ機器10Aのみである場合、センサデータを電子機器20へ送信するセンサ機器10は、センサ機器10Aのみとなる。又は、制御部26は、センサデータを電子機器20へ送信した複数のセンサ機器10のうちからセンサ機器10Aを選択した場合、ケースC1を選択してよい。
ケースC1では、制御部26は、(1)頭の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態に対する評価を決定する場合、各々、学習モデル30A,30B,30C,30D,30Eを選択する。
ケースC1では、学習モデル30A~30Eに入力される特徴データは、グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データと、グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データとを含む。ただし、学習モデル30A~30Eに入力される特徴データは、グローバル座標系の前後方向、左右方向及び上下方向の少なくとも何れかにおける頭部の動きの特徴を示す特徴データを含めばよい。
本実施形態に係るケースC1では、制御部26は、学習モデル30A~30Eの各々に、3つの特徴データを入力する。
学習モデル30A~30Eに入力される3つの特徴データのうちの1つの特徴データが、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データに対応する。この1つの特徴データは、本実施形態では、グローバル座標系の上下方向におけるユーザの頭部の角度の平均値である。この1つの特徴データは、センサ機器10Aが検出したユーザの頭部の動きを示すセンサデータから、取得される。特徴データにおけるユーザの頭部の角度の平均値は、ユーザの歩行周期における頭部の角度の平均値であってよい。
学習モデル30A~30Eに入力される3つの特徴データのうちの2つの特徴データが、上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データに対応する。この2つの特徴データは、本実施形態では、グローバル座標系の左右方向におけるユーザの頭部の角度の最大値及びグローバル座標系の左右方向におけるユーザの頭部の角度の平均値である。この2つの特徴データは、センサ機器10Aが検出したユーザの頭部の動きを示すセンサデータから、取得される。特徴データにおけるユーザの頭部の角度の最大値及び平均値は、各々、ユーザの歩行周期における頭部の角度の最大値及び平均値であってよい。
<ケースC2>
制御部26は、センサデータを電子機器20へ送信したセンサ機器10がセンサ機器10A及びセンサ機器10Dのみである場合、ケースC2を選択してよい。又は、制御部26は、センサデータを電子機器20へ送信した複数のセンサ機器10のうちからセンサ機器10A及びセンサ機器10Dを選択した場合、ケースC2を選択してよい。
ケースC2では、制御部26は、(1)頭の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態に対する評価を決定する場合、各々、学習モデル30F,30G,30H,30I,30Jを選択する。
ケースC2では、学習モデル30F~30Jに入力される特徴データは、ケースC1と同一又は類似に、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データと、上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データとを含む。さらに、学習モデル30F~30Jに入力される特徴データは、ユーザの足部の動きの特徴を示す特徴データを含む。
本実施形態に係るケースC2では、制御部26は、学習モデル30F~30Jの各々に、3つの特徴データを入力する。
学習モデル30F~30Jに入力される3つの特徴データのうちの2つの特徴データが、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データ及び上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データに対応する。この2つの特徴データは、本実施形態では、グローバル座標系の上下方向におけるユーザの頭部の角度の平均値及びグローバル座標系の左右方向におけるユーザの頭部の角度の最大値である。この2つの特徴データは、センサ機器10Aが検出したユーザの頭部の動きを示すデータから取得される。特徴データにおけるユーザの頭部の角度の平均値及び最大値は、各々、ユーザの歩行周期における頭部の角度の平均値及び最大値であってよい。
学習モデル30F~30Jに入力される3つの特徴データのうちの1つの特徴データが、上記ユーザの足部の動きの特徴を示す特徴データに対応する。この1つの特徴データは、本実施形態では、センサ機器10Dの位置を基準とするローカル座標系の上下方向におけるユーザの足部の加速度の最大値である。この1つの特徴データは、センサ機器10Dが検出したユーザの足部の動きを示すセンサデータから取得される。特徴データにおけるユーザの足部の加速度の最大値は、ユーザの歩行周期における足部の加速度の最大値であってよい。
<ケースC3>
制御部26は、センサデータを電子機器20へ送信したセンサ機器10がセンサ機器10A及びセンサ機器10Cのみである場合、ケースC3を選択してよい。又は、制御部26は、センサデータを電子機器20へ送信した複数のセンサ機器10からセンサ機器10A及びセンサ機器10Cを選択した場合、ケースC3を選択してよい。
ケースC3では、制御部26は、(1)頭の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態に対する評価を決定する場合、各々、学習モデル30K,30L,30M,30N,30Oを選択する。
ケースC3では、学習モデル30K~30Oに入力される特徴データは、ケースC1と同一又は類似に、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データと、上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データとを含む。さらに、学習モデル30K~30Oに入力される特徴データは、ユーザの大腿部の動きの特徴を示す特徴データを含む。
本実施形態に係るケースC3では、制御部26は、学習モデル30K~30Oの各々に、3つの特徴データを入力する。
学習モデル30K~30Oに入力される3つの特徴データのうちの2つの特徴データが、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データ及び上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データに対応する。この2つの特徴データは、本実施形態では、グローバル座標系の上下方向におけるユーザの頭部の角度の平均値及びグローバル座標系の左右方向におけるユーザの頭部の角度の平均値である。この2つの特徴データは、センサ機器10Aが検出したユーザの頭部の動きを示すセンサデータから取得される。特徴データにおけるユーザの頭部の角度の平均値は、ユーザの歩行周期における頭部の角度の平均値であってよい。
学習モデル30K~30Oに入力される3つの特徴データのうちの1つの特徴データが、上記ユーザの大腿部の動きの特徴を示す特徴データである。この1つの特徴データは、本実施形態では、センサ機器10Cの位置を基準とするローカル座標系の左右方向におけるユーザの大腿部の角速度の立脚期における分散である。この1つの特徴データは、センサ機器10Dが検出したユーザの大腿部の動きを示すセンサデータから取得される。
<ケースC4>
制御部26は、センサデータを電子機器20へ送信したセンサ機器10がセンサ機器10A及びセンサ機器10Bのみである場合、ケースC4を選択したよい。又は、制御部26は、センサデータを電子機器20へ送信した複数のセンサ機器10のうちからセンサ機器10A及びセンサ機器10Bを選択した場合、ケースC4を選択したよい。
ケースC4では、制御部26は、(1)頭の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態に対する評価を決定する場合、各々、学習モデル30P,30Q,30R,30S,30Tを選択する。
ケースC4では、学習モデル30P~30Tに入力される特徴データは、ケースC1と同一又は類似に、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データと、上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データとを含む。さらに、学習モデル30P~30Tに入力される特徴データは、ユーザの前腕部の動きの特徴を示す特徴データを含む。
本実施形態に係るケースC4では、制御部26は、学習モデル30P~30Tの各々に、3つの特徴データを入力する。
学習モデル30P~30Tに入力される3つの特徴データのうちの2つの特徴データが、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データ及び上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データに対応する。この2つの特徴データは、本実施形態では、グローバル座標系の上下方向におけるユーザの頭部の角度の平均値及びグローバル座標系の左右方向におけるユーザの頭部の着地タイミングにおける角度である。この2つの特徴データは、センサ機器10Aが検出したユーザの頭部の動きを示すセンサデータから取得される。特徴データにおけるユーザの頭部の角度の平均値は、ユーザの歩行周期における頭部の角度の平均値であってよい。
学習モデル30P~30Tに入力される3つの特徴データのうちの1つの特徴データが、上記ユーザの前腕部の動きの特徴を示す特徴データに対応する。この1つの特徴データは、本実施形態では、センサ機器10Bの位置を基準とするローカル座標系の前後方向におけるユーザの前腕部の加速度の分散である。この1つの特徴データは、センサ機器10Bが検出したユーザの前腕部の動きを示すセンサデータから取得される。特徴データにおけるユーザの前腕部の加速度の分散は、ユーザの歩行周期における前腕部の加速度の分散であってよい。
<ケースC5>
制御部26は、センサデータを電子機器20へ送信したセンサ機器10がセンサ機器10A、センサ機器10B及びセンサ機器10Dのみである場合、ケースC5を選択してよい。又は、制御部26は、センサデータを電子機器20へ送信した複数のセンサ機器10からセンサ機器10A、センサ機器10B及びセンサ機器10Dを選択した場合、ケースC5を選択してよい。
ケースC5では、制御部26は、(1)頭の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態に対する評価を決定する場合、各々、学習モデル30U,30V,30W,30X,30Yを選択する。
ケースC5では、学習モデル30U~30Yに入力される特徴データは、ケースC1と同一又は類似に、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データと、上記グローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データとを含む。さらに、学習モデル30U~30Yに入力される特徴データは、ユーザの前腕部の動きの特徴を示す特徴データと、大腿部の動きの特徴を示す特徴データとを含む。
本実施形態に係るケースC5では、制御部26は、学習モデル30U~30Yの各々に、4つの特徴データを入力する。
学習モデル30U~30Yに入力される4つの特徴データのうちの2つの特徴データが、上記グローバル座標系の上下方向におけるユーザの頭部の動きの特徴を示す特徴データ及びグローバル座標系の左右方向におけるユーザの頭部の動きの特徴を示す特徴データに対応する。この2つの特徴データは、本実施形態では、グローバル座標系の上下方向におけるユーザの頭部の角度の平均値及びグローバル座標系の左右方向におけるユーザの頭部の着地タイミングにおける角度である。この2つの特徴データは、センサ機器10Aが検出したユーザの頭部の動きを示すセンサデータから取得される。特徴データにおけるユーザの頭部の角度の平均値は、ユーザの歩行周期における頭部の角度の平均値であってよい。
学習モデル30U~30Yに入力される4つの特徴データのうちの1つの特徴データが、上記ユーザの前腕部の動きの特徴を示す特徴データに対応する。この1つの特徴データは、本実施形態では、センサ機器10Bの位置を基準とするローカル座標系の前後方向におけるユーザの前腕部の加速度の最大値である。この1つの特徴データは、センサ機器10Bが検出したユーザの前腕部の動きを示すセンサデータから取得される。特徴データにおけるユーザの前腕部の加速度の最大値は、ユーザの歩行周期における前腕部の加速度の最大値であってよい。
学習モデル30U~30Yに入力される4つの特徴データのうちの1つの特徴データが、上記ユーザの大腿部の動きの特徴を示す特徴データに対応する。この1つの特徴データは、本実施形態では、センサ機器10Dの位置を基準とするローカル座標系の上下方向におけるユーザの足部の加速度の最大値である。この1つの特徴データは、センサ機器10Dが検出したユーザの大腿部の動きを示すセンサデータから取得される。特徴データにおけるユーザの足部の加速度の最大値は、ユーザの歩行周期における足部の加速度の最大値であってよい。
[学習モデルの生成方法]
以下、学習モデルの生成方法について説明する。学習モデルの生成では、被験者の歩行データベースが用いられた。被験者の歩行データベースとして、「小林吉之、肥田直人、中嶋香奈子、藤本雅大、持丸正明、“2019:AIST歩行データベース2019”、[Online]、[令和3年5月24日検索]、インターネット<https://unit.aist.go.jp/harc/ExPART/GDB2019_e.html>」において提供されるデータが用いられた。この歩行データベースには、複数の被験者の歩行データが登録されている。被験者の歩行データは、モーションキャプチャシステムと、床反力計とによって検出されたものである。
歩行データベースにおける被験者の歩行は、歩行を指導するインストラクターによって評価された。インストラクターは、歩行中の被験者の(1)頭部の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態について、1から5までの数値のスコアを付与することにより評価した。インストラクターは、上述した一般的に良いとされる歩き方の解釈に基づいて、被検者の歩行を評価した。
モーションキャプチャシステムによって検出された被験者の動きを示すデータから、特徴データが取得された。特徴データと、インストラクターが付与したスコアとを対応付けることにより、データセットが生成された。98人の被験者の10歩分の歩行データを用いることにより、980個のデータセットが生成された。このデータセットを用いた交差検証法によって、学習モデルが生成された。交差検証法において、980個のデータセットのうち、全体の80%に当たる800個のデータセットは、学習モデルの学習用のデータセットに割り当てられた。980個のデータセットのうち、全体の20%に当たる180個のデータセットは、学習モデルの評価用のデータセットに割り当てられた。10通りの方法で、980個のデータセットは、80%の学習用のデータセットと、20%の評価用のデータセットとに分割された。総試行回数は、84万6千回であった。
生成した学習モデルの精度及び確度が算出された。学習モデルの精度及び確度は、学習モデルの推定結果の正解及び不正解の数によって算出された。学習モデルの推定結果が正かであるか又は不正解であるかの判定において、スコアは、3段階に分けられた。具体的には、スコアは、3を超えるスコア、3であるスコア、3未満であるスコアの3段階に分けられた。3を超えるスコアは、「Good」とも記載される。3であるスコアは、「Average」とも記載される。3未満であるスコアは、「Poor」とも記載される。そして、学習モデルのスコアの「Good」又は「Poor」とインストラクターが付与したスコアの「Good」又は「Poor」とが一致した場合、学習モデルの推定結果は、正解と判定された。一方、学習モデルのスコアの「Good」又は「Poor」とインストラクターが付与したスコアの「Good」又は「Poor」とが一致しない場合、学習モデルの推定結果は、不正解と判定された。学習モデルのスコアが3である場合、学習モデルの推定結果は、正解及び不正解の何れでもないと判定された。
学習モデルの精度は、正解となる推定結果の数を、正解となる推定結果の数と不正解となる推定結果の数との和で除算することにより、算出された。例えば、学習モデルの精度は、式(1)によって算出された。
学習モデルの精度=(CR)/(CR+ICR) 式(1)
式(1)において、CRは、正解となる推定結果の数である。ICRは、不正解となる推定結果の数である。
学習モデルの確度は、正解となる推定結果の数を、全ての推定結果の数で除算することにより、算出された。例えば、学習モデルの精度は、式(2)によって算出された。
学習モデルの確度=(CR)/(CR+ICR+NR) 式(2)
式(2)において、CRは、正解となる推定結果の数である。ICRは、不正解となる推定結果の数である。NRは、正解及び不正解の何れでもない学習モデルの推定結果の数である。つまり、NRは、学習モデルのスコアが3となったものの数である。
ここで、発明者らは、学習モデルに入力する特徴データの数を最小で3つとし、学習モデルに入力する特徴データの組み合わせを変更しながら、学習モデルの精度及び確度の評価が高くなる特徴データの組み合わせを模索した。発明者らは、図7及び図8に示すような結果を得た。
図7に、学習モデルの精度を示すグラフを示す。図8に、学習モデルの確度を示すグラフを示す。図7及び図8に示すケースC1~ケースC5は、各々、図6を参照した上述したケースC1~ケースC5と同じである。図7及び図8には、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度を示す。
図7に示すように、ケースC1では、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度のうち、(1)頭部の状態に対する精度が最も高かった。図8に示すように、ケースC1では、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの確度のうち、(1)頭部の状態に対する確度が最も高かった。ケースC1では、学習モデルに入力される特徴データは、被験者(ユーザ)の頭部の動きの特徴を示す特徴データである。ケースC1では、ユーザの頭部の動きの特徴を示す特徴データが用いられることにより、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度のうち、(1)頭部の状態に対する精度及び確度が最も高くなったと考えられる。
図7に示すように、ケースC1では、(1)頭部の状態以外の、(2)腕部の状態から(5)足部の状態までの各々に対する学習モデルの精度は、80%以上であった。図8に示すように、ケースC1では、(1)頭部の状態以外の、(2)腕部の状態から(5)足部の状態までの各々に対する学習モデルの確度は、50%以上であった。このような結果から、ユーザの頭部の動きの特徴を示す特徴データによって、ユーザの頭部とは異なる身体部位の状態をある程度の精度で評価できることが分かる。
ここで、グローバル座標系の上下方向及び左右方向におけるユーザの頭部の動きには、歩行中のユーザの頭部とは異なる身体部位の動きが反映される。例えば、歩行中のユーザが腕部を振ったり又は足部を蹴りだしたりすると、ユーザの身体は、グローバル座標系の上下方向及び左右方向に動く。ユーザの身体がグローバル座標系の上下方向及び左右方向に動くと、ユーザの頭部は、グローバル座標系の上下方向及び左右方向に動く。
このようにグローバル座標系の上下方向及び左右方向におけるユーザの頭部の動きには、歩行中のユーザの頭部とは異なる身体部位の動きが反映される。したがって、学習モデルに入力する特徴データとして、グローバル座標系の上下方向及び左右方向におけるユーザの頭部の動きの特徴を示す特徴データを用いれば、歩行中のユーザの頭部とは異なる身体部位の状態を評価することができると推認される。上述したように、ケースC1では、学習モデルに入力する特徴データとして、グローバル座標系の上下方向及び左右方向におけるユーザの頭部の動きの特徴を示す特徴データが用いられる。このような構成により、ケースC1では、ユーザの頭部とは異なる身体部位の状態をある程度の精度で評価できたと推認される。
図7に示すように、ケースC2では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度が高かった。また、ケースC2では、ケースC1,C3,C4よりも、(5)足部の状態に対する学習モデルの精度が高かった。図8に示すように、ケースC2では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの確度が高かった。また、ケースC2では、ケースC1,C3よりも、(5)足部の状態に対する学習モデルの確度が高かった。
ケースC2では、学習モデルに入力する特徴データとして、ケースC1よりも、ユーザにおける多くの身体部位の動きの特徴を示す特徴データが用いられる。例えば、ケースC2では、特徴データとして、ケースC1と同一又は類似に、グローバル座標系の上下方向及び左右方向の各々におけるユーザの頭部の動きの特徴を示す特徴データが用いられる。ケースC2では、これらの特徴データに加えて、ユーザの足部の動きの特徴を示す特徴データが用いられる。ケースC2では、ケースC1よりもユーザにおける多くの身体部位の動きの特徴を示す特徴データが用いられるため、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度が高かったと推認される。また、ケースC2では、ユーザの足部の動きの特徴を示す特徴データが用いられるため、ケースC1等よりも、(5)足部の状態に対する学習モデルの精度及び確度が高かったと推認される。
図7に示すように、ケースC3では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度が高かった。また、ケースC3では、ケースC1,C2,C4よりも、(4)大腿部の状態に対する学習モデルの精度が高かった。図8に示すように、ケースC3では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの確度が高かった。また、ケースC3では、ケースC1,C2,C4よりも、(4)大腿部の状態に対する学習モデルの確度が高かった。
ケースC3では、学習モデルに入力する特徴データとして、ケースC1よりも、ユーザにおける多くの身体部位の動きを示す特徴データが用いられる。例えば、ケースC3では、特徴データとして、ケースC1と同一又は類似に、グローバル座標系の上下方向及び左右方向の各々におけるユーザの頭部の動きの特徴を示す特徴データが用いられる。ケースC3では、これらの特徴データに加えて、ユーザの大腿部の動きの特徴を示す特徴データが用いられる。ケースC3では、ケースC1よりもユーザにおける多くの身体部位の動きの特徴を示す特徴データが用いられるため、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度が高かったと推認される。また、ケースC3では、ユーザの大腿部の動きの特徴を示す特徴データが用いられるため、ケースC1等よりも、(4)大腿部の状態に対する学習モデルの精度及び確度が高かったと推認される。
図7に示すように、ケースC4では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度が高かった。また、ケースC4では、ケースC1,C2,C3よりも、(2)腕部の状態に対する学習モデルの精度が高かった。図8に示すように、ケースC4では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの確度が高かった。また、ケースC4では、ケースC1,C2,C3よりも、(2)腕部の状態に対する学習モデルの確度が高かった。
ケースC4では、学習モデルに入力する特徴データとして、ケースC1よりも、ユーザにおける多くの身体部位の動きを示す特徴データが用いられる。例えば、ケースC4では、特徴データとして、ケースC1と同一又は類似に、グローバル座標系の上下方向及び左右方向の各々におけるユーザの頭部の動きの特徴を示す特徴データが用いられる。ケースC4では、これらの特徴データに加えて、ユーザの前腕部の動きの特徴を示す特徴データが用いられる。ケースC4では、ケースC1よりもユーザにおける多くの身体部位の動きの特徴を示す特徴データが用いられるため、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度が高かったと推認される。また、ケースC4では、ユーザの前腕部の動きの特徴を示す特徴データが用いられるため、ケースC1等よりも、(2)腕部の状態に対する学習モデルの精度及び確度が高かったと推認される。
図7に示すように、ケースC5では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度がより高くなった。図8に示すように、ケースC5では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの確度がより高くなった。
ケースC5では、学習モデルに入力する特徴データとして、ケースC1からケースC4よりも、ユーザにおける多くの身体部位の特徴を示す特徴データが用いられる。ケースC5では、ケースC1からケースC4よりも多くの身体部位の特徴を示す特徴データが用いられるため、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度がより高くなったと推認される。
(システムの動作)
図9は、図1に示す電子機器20が実行する評価処理の動作を示すフローチャートである。この動作は、本実施形態に係る情報処理方法の一例に相当する。制御部26は、例えば、歩行評価の実行を指示する入力を入力部22によって受け付けると、ステップS10の処理から評価処理を開始する。
制御部26は、歩行評価の実行を指示する入力を入力部22によって受け付ける(ステップS10)。この入力は、センサ機器10を装着したユーザによって入力部22から入力される。
制御部26は、データ検出の開始を指示する信号をブロードキャスト信号として、複数のセンサ機器10に通信部21によって送信する(ステップS11)。ステップS11の処理が実行された後、少なくとも1個のセンサ機器10から電子機器20へ、センサデータが送信される。
制御部26は、少なくとも1個のセンサ機器10から、センサデータを通信部21によって受信する(ステップS12)。
制御部26は、例えば図6に示すような対応付けを参照し、複数の学習モデルのうちから、センサデータを電子機器20へ送信したセンサ機器10の種類に応じた、学習モデルを選択する(ステップS13)。
制御部26は、ステップS12の処理で受信したセンサデータから、特徴データを取得する(ステップS14)。制御部26は、ステップS13の処理で選択した学習モデルにステップS14の処理で取得した特徴データを入力することにより、例えば図5に示すようなスコアを取得する(ステップS15)。制御部26は、スコアを取得することにより、スコアに対応する身体部位の状態に対する評価を決定する。
制御部26は、決定した評価に応じた評価信号を生成する(ステップS16)。制御部26は、ステップS16の処理で生成した評価信号を外部機器に通信部21によって送信する(ステップS17)。ステップS17の処理を実行した後、制御部26は、評価処理を終了する。
制御部26は、評価処理を終了した後、ユーザが設定歩数歩くと、評価処理を再び実行してよい。この設定歩数は、ユーザによって入力部22から予め入力されてよい。再び実行する評価処理では、制御部26は、ステップS11の処理から開始してよい。制御部26は、評価処理の終了を指示する入力を入力部22から受け付けるまで、ユーザが設定歩数歩く毎に評価処理を繰り返し実行してよい。評価処理の終了を指示する入力は、例えば、ユーザによって入力部22から入力される。ユーザは、例えば、歩行を終了すると、評価処理の終了を指示する入力を入力部22から入力する。
このように情報処理装置としての電子機器20では、制御部26は、学習モデルによって、ユーザにおけるセンサ機器10が装着される身体部位とは異なる身体部位の状態を推定することができる。上述したように、例えば、制御部26は、ユーザにおけるセンサ機器10が装着される身体部位とは異なる身体部位の状態を推定することとして、当該身体部位の状態に対する評価を決定することができる。例えば、制御部26は、図6に示すようなケースC1を選択し、ユーザにおけるセンサ機器10Aが装着される頭部とは異なる(2)腕部の状態から(5)足部の状態までの各々に対する評価を決定することができる。このような構成により、本実施形態では、センサ機器10が装着されたユーザの身体部位に限定されず、任意の身体部位の状態を推定することができる。
ここで、近年、歩行は、手軽な運動として注目されている。ただし、歩行中のユーザには、前方又は付近の障害物に注意を向けることが求められる。歩行中のユーザに前方又は付近の障害物に注意を向けることが求められることにより、歩行中のユーザが自身の姿勢に注意を向けることができない場合がある。歩行中のユーザが自身の姿勢に注意を向けることができないと、ユーザは、自身が気付かないうちに、正しくない姿勢で歩行をしてしまう場合がある。ユーザが正しくない姿勢で歩行をしてしまうと、歩行による運動効果が低下する場合がある。また、歩行がユーザにとって慣れ親しんだ運動である場合が多く、ユーザが自身で歩行中の姿勢を修正することが困難である場合が多い。
本実施形態に係る電子機器20では、上述したように、制御部26は、ユーザの身体部位の状態を推定することができる。このような構成により、ユーザに、歩行中の自身の姿勢を修正する機会を与えることができる。ユーザに歩行中の自身の姿勢を修正する機会を与えることにより、ユーザは、正しい姿勢で歩行することができるようになる。ユーザが正しい姿勢で歩行することができるようになることにより、歩行による運動効果を高めることができる。
よって、本実施形態によれば、歩行中のユーザの身体部位の状態を推定する新規な技術が提供される。
さらに、制御部26は、学習モデルによって、ユーザにおけるセンサ機器10が装着される身体部位の個数よりも多くの身体部位の状態を推定してよい。例えば、ユーザにN個(Nは、1以上の整数)のセンサ機器10が装着されるものとする。この場合、制御部26は、N個のセンサ機器10からN個のセンサデータを取得し、ユーザのN+1個以上の身体部位の状態に対する評価を決定してよい。
一例として、Nが1であり、ユーザには、センサ機器10Aが装着されるものとする。この場合、制御部26は、センサ機器10Aから1個のセンサデータを取得する。制御部26は、図6に示すようなケースC1を選択し、取得した1個のセンサデータに基づいて、2個以上の身体部位の状態、例えば(1)頭部の状態から(5)足部の状態までの5個の身体部位の状態に対する評価を決定する。
他の例として、Nが2であり、ユーザには、センサ機器10A及びセンサ機器10Dが装着されるものとする。この場合、制御部26は、センサ機器10A及びセンサ機器10Dの各々から、2個のセンサデータを取得する。制御部26は、図6に示すようなケースC2を選択し、取得した2個のセンサデータに基づいて、3個以上の身体部位の状態、例えば(1)頭部の状態から(5)足部の状態までの5個の身体部位の状態に対する評価を決定する。
このようにユーザにおけるセンサ機器10が装着される身体部位の個数よりも多くの身体部位の状態を推定することにより、電子機器20は、ユーザの利便性に優れたものとなる。
また、情報処理システム1が含む少なくとも1個のセンサ機器10は、ユーザの頭部に装着させるセンサ機器10Aを含んでよい。制御部26は、センサ機器10Aから、ユーザの頭部の動きを示すセンサデータを取得してよい。この場合、制御部26は、図6に示すようなケースC1を選択してよい。つまり、特徴データは、ユーザの上下方向すなわちグローバル座標の上下方向における頭部の動きの特徴を示す特徴データ及びユーザの左右方向すなわちグローバル座標系の左右方向における頭部の動きの特徴を示す特徴データを含んでよい。このような構成により、ユーザが装着するセンサ機器10がセンサ機器10Aのみであっても、ユーザの身体部位の状態に対する評価を決定することができる。つまり、ユーザは、センサ機器10Aのみを装着すればよい。したがって、ユーザの利便性を向上させることができる。さらに、センサ機器10Aがイヤホンであるか、又はイヤホンに含まれる場合、ユーザは、センサ機器10Aを容易に頭部に装着することができる。ユーザがセンサ機器10Aを容易に頭部に装着することができることにより、ユーザの利便性をさらに向上させることができる。また、センサ機器10Aが検出したセンサデータのみを用いることにより、複数のセンサ機器10の各々がデータを検出するタイミングを同期させなくてよくなる。複数のセンサ機器10の各々がデータを検出するタイミングを同期させなくてよいことにより、より簡便に、ユーザの身体部位の状態に対する評価を決定することができる。
また、情報処理システム1が含む少なくとも1個のセンサ機器10は、ユーザの頭部に装着させるセンサ機器10Aと、ユーザの足部に装着させるセンサ機器10Dとを含んでよい。制御部26は、センサ機器10Aからユーザの頭部の動きを示すセンサデータを取得し、センサ機器10Dからユーザの足部の動きを示すセンサデータを取得してよい。この場合、制御部26は、図6に示すようなケースC2を選択してよい。つまり、特徴データは、グローバル座標系の上下方向における頭部の動きの特徴を示す特徴データと、グローバル座標系の左右方向における頭部の動きの特徴を示す特徴データと、足部の動きの特徴を示す特徴データとを含んでよい。図7及び図8を参照した上述したように、ケースC2では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する学習モデルの精度及び確度が高くなった。したがって、制御部26は、ユーザの身体部位の状態に対する評価を、より精度良く決定することができる。また、センサ機器10Aがイヤホンであるか、又はイヤホンに含まれる場合、ユーザは、センサ機器10Aを容易に頭部に装着することができる。さらに、センサ機器10Dが靴型のウェアラブル機器である場合、ユーザは、センサ機器10Dを容易に足部に装着することができる。したがって、ユーザの利便性を向上させることができる。
また、情報処理システム1が含む少なくとも1個のセンサ機器10は、ユーザの頭部に装着させるセンサ機器10Aと、ユーザの大腿部に装着させるセンサ機器10Cとを含んでよい。制御部26は、センサ機器10Aからユーザの頭部の動きを示すセンサデータを取得し、センサ機器10Dからユーザの大腿部の動きを示すデータを取得してよい。この場合、制御部26は、図6に示すようなケースC3を選択してよい。つまり、特徴データは、グローバル座標系の上下方向における頭部の動きの特徴を示す特徴データと、グローバル座標系の左右方向における頭部の動きの特徴を示す特徴データと、大腿部の動きの特徴を示す特徴データとを含んでよい。図7及び図8を参照した上述したように、ケースC3では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する精度及び確度が高かった。したがって、制御部26は、ユーザの身体部位の状態に対する評価を、より精度良く決定することができる。また、センサ機器10Aがイヤホンであるか、又はイヤホンに含まれる場合、ユーザは、センサ機器10Aを容易に頭部に装着することができる。このような構成により、ユーザの利便性を向上させることができる。
また、情報処理システム1が含む少なくとも1個のセンサ機器10は、ユーザの頭部に装着させるセンサ機器10Aと、ユーザの前腕部に装着させるセンサ機器10Bとを含んでよい。制御部26は、センサ機器10Aからユーザの頭部の動きを示すセンサデータを取得し、センサ機器10Bからユーザの前腕部の動きを示すセンサデータを取得してよい。この場合、制御部26は、図6に示すようなケースC4を選択してよい。つまり、特徴データは、グローバル座標系の上下方向における頭部の動きの特徴を示す特徴データと、グローバル座標系の左右方向における頭部の動きの特徴を示す特徴データと、前腕部の動きの特徴を示す特徴データとを含んでよい。図7及び図8を参照した上述したように、ケースC4では、(1)頭部の状態から(5)足部の状態までの各々に対する精度及び確度が高かった。したがって、制御部26は、ユーザの身体部位の状態に対する評価を、より精度良く決定することができる。また、センサ機器10Aがイヤホンであるか、又はイヤホンに含まれる場合、ユーザは、センサ機器10Aを容易に頭部に装着することができる。さらに、センサ機器10Bが腕時計型のウェアラブル機器である場合、ユーザは、センサ機器10Bを容易に前腕部に装着することができる。このような構成により、ユーザの利便性を向上させることができる。
また、情報処理システム1が含む少なくとも1個のセンサ機器10は、ユーザの頭部に装着させるセンサ機器10Aと、ユーザの前腕部に装着させるセンサ機器10Bと、ユーザの足部に装着させるセンサ機器10Dとを含んでよい。制御部26は、センサ機器10Aからユーザの頭部の動きを示すセンサデータを取得し、センサ機器10Bからユーザの前腕部の動きを示すセンサデータを取得し、センサ機器10Dからユーザの足部の動きを示すセンサデータを取得してよい。この場合、制御部26は、図6に示すようなケースC5を選択してよい。つまり、特徴データは、グローバル座標系の上下方向における頭部の動きの特徴を示す特徴データと、グローバル座標系の左右方向における頭部の動きの特徴を示す特徴データとを含んでよい。さらに、特徴データは、前腕部の動きの特徴を示す特徴データと、大腿部の動きの特徴を示す特徴データとを含んでよい。図7及び図8を参照した上述したように、ケースC5では、ケースC1よりも、(1)頭部の状態から(5)足部の状態までの各々に対する精度及び確度がより高くなった。したがって、制御部26は、ユーザの身体部位の状態に対する評価を、より精度良く決定することができる。
(他のシステムの構成)
図10は、本開示の他の実施形態に係る情報処理システム101の構成を示す機能ブロック図である。
情報処理システム101は、センサ機器10と、電子機器20と、サーバ40とを含む。情報処理システム101では、サーバ40が、情報処理装置として機能し、ユーザの身体部位の状態を推定する。
電子機器20と、サーバ40とは、ネットワーク2を介して通信可能である。ネットワーク2は、移動体通信網及びインターネット等を含む任意のネットワークであってよい。
電子機器20の制御部26は、情報処理システム1と同じ又は類似に、センサ機器10からセンサデータを通信部21によって受信する。情報処理システム101では、制御部26は、センサデータを、ネットワーク2を介してサーバ40に、通信部21によって送信する。
サーバ40は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバである。サーバ40は、通信部41と、記憶部42と、制御部43とを有する。
通信部41は、ネットワーク2に接続可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、例えば、有線LAN(Local Area Network)又は無線LAN等の規格に対応した通信モジュールである。通信部41は、通信モジュールによって有線LAN又は無線LANを介して、ネットワーク2に接続される。
記憶部42は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ又はこれらのうちの少なくとも2種類の組み合わせを含んで構成される。半導体メモリは、例えば、RAM又はROM等である。RAMは、例えば、SRAM又はDRAM等である。ROMは、例えば、EEPROM等である。記憶部42は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部42には、サーバ40の動作に用いられるデータと、サーバ40の動作によって得られたデータとが記憶される。例えば、記憶部42は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。例えば、記憶部42は、学習モデル及び図6に示すような対応付け等を記憶する。
制御部43は、少なくとも1つのプロセッサ、少なくとも1つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、CPU若しくはGPU等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA又はASIC等である。制御部43は、サーバ40の各部を制御しながら、サーバ40の動作に関わる処理を実行する。
制御部43は、ネットワーク2を介して電子機器20から、センサデータを通信部41によって受信する。制御部43は、上述した電子機器20の制御部26による処理と同じ又は類似の処理を実行することにより、センサデータに基づいて、ユーザの身体部位の状態を推定する。
(他のシステムの動作)
図11は、図10に示す情報処理システム101が実行する評価処理の動作を示すシーケンス図である。この動作は、本実施形態に係る情報処理方法の一例に相当する。電子機器20が歩行評価の実行を指示する入力を受け付けると、情報処理システム101は、ステップS20の処理から評価処理を開始する。以下、学習モデルは、特徴データが入力されると、スコアを出力するように機械学習したものであるとする。
電子機器20では、制御部26は、歩行評価の実行を指示する入力を入力部22によって受け付ける(ステップS20)。制御部26は、データ検出の開始を指示する信号をブロードキャスト信号として、複数のセンサ機器10に通信部21によって送信する(ステップS21)。
センサ機器10では、制御部15は、データ検出の開始を指示する信号を、電子機器20から通信部11によって受信する(ステップS22)。制御部15は、この信号を受信すると、データ検出を開始する。制御部15は、センサ部12からセンサ部12が検出したデータを取得し、取得したデータをセンサデータとして、電子機器20に通信部11によって送信する(ステップS23)。
電子機器20では、制御部26は、センサ機器10からセンサデータを通信部21によって受信する(ステップS24)。制御部26は、センサデータを、ネットワーク2を介してサーバ40に、通信部21によって送信する(ステップS25)。
サーバ40では、制御部43は、ネットワーク2を介して電子機器20から、センサデータを通信部41によって受信する(ステップS26)。制御部43は、複数の学習モデルのうちから、センサデータを電子機器20を介してサーバ40へ送信したセンサ機器10の種類に応じた、学習モデルを選択する(ステップS27)。制御部43は、ステップS26の処理で受信したセンサデータから、特徴データを取得する(ステップS28)。制御部43は、ステップS27の処理で選択した学習モデルにステップS28の処理で取得した特徴データを入力することにより、学習モデルからスコアを取得する(ステップS29)。制御部43は、スコアを取得することにより、スコアに対応する部位の状態に対する評価を決定する。
サーバ40では、制御部43は、決定した評価に応じた評価信号を生成する(ステップS30)。制御部43は、ステップS30の処理で生成した評価信号を、ネットワーク2を介して外部機器としての電子機器20に通信部41によって送信する(ステップS31)。
電子機器20では、制御部26は、ネットワーク2を介してサーバ40から、評価信号を通信部21によって受信する(ステップS32)。制御部26は、評価信号が示す内容を、報知部に報知させる(ステップS33)。報知の一例として、制御部26は、評価信号が示す内容を出力部23に出力させてよい。報知の他の例として、制御部26は、評価信号に応じた振動パターンで振動部24を振動させてよい。報知のさらに他の例として、制御部26は、評価信号をセンサ機器10に通信部21によって送信し、センサ機器10に評価信号が示す内容を報知させてよい。この場合、センサ機器10では、制御部15は、評価信号が示す内容を報知部としての出力部13に出力させてよい。センサ機器10Aが評価信号を受信した場合、センサ機器10Aでは、制御部15は、評価信号が示す内容を音声として出力部13のスピーカから出力させてよい。
ステップS33の処理を実行した後、情報処理システム101は、評価処理を終了する。
情報処理システム101は、評価処理を終了した後、ユーザが上記設定歩数歩くと、評価処理を再び実行してよい。再び実行する評価処理では、情報処理システム101は、ステップS23の処理から開始してよい。情報処理システム101は、電子機器20が評価処理の終了を指示する入力を入力部22から受け付けるまで、ユーザが上記設定歩数歩く毎に評価処理を繰り返し実行してよい。
情報処理システム101は、情報処理システム1と同じ又は類似の効果を奏することができる。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。したがって、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、学習モデルは、センサデータ又は特徴データが入力されると、ユーザにおけるセンサ機器10が装着された身体部位とは異なる身体部位の状態の情報を出力するように学習したものであってよい。この場合、制御部26は、センサデータと学習モデルとによって、ユーザにおけるセンサ機器10が装着された身体部位とは異なる身体部位の状態を推定する。
例えば、学習モデルに入力される特徴データは、上述したものに限定されない。例えば図7及び図8に示すような結果から、ユーザにおけるセンサ機器10が装着される身体部位の数が増えるほど、身体部位の動きの特徴を示す特徴データの種類が増え、学習モデルの精度及び確度が高くなることが分かる。したがって、学習モデルの精度及び確度を高めるために、ユーザの身体部位に装着させるセンサ機器10の数を増やすことにより、学習モデルに入力する特徴データの数が増やされてよい。
例えば、電子機器20は、メガネ型ウェアラブル機器であってよい。この場合、出力部23は、メガネのレンズに映像を投影させる投影機を含んで構成されてよい。制御部26は、決定した身体部位の状態に対する評価を映像として出力部23に出力させてよい。この映像は、例えば、ユーザの複数の身体部位のうち、評価が低い身体部位の理想的な動きを示す映像を含んでよい。
例えば、評価閾値は、ユーザの年齢及び性別等に基づいて、設定されてよい。この場合、ユーザを褒める内容及びアドバイスの内容は、ユーザの年齢及び性別等に応じて、設定されてよい。
例えば、電子機器20の記憶部25は、複数のユーザの身体的特徴を区別可能な身体データ毎の学習モデルを記憶してよい。身体データは、例えば、年齢、性別、身長及び体重等の少なくとも何れかを含む。この場合、制御部26は、ユーザの身体データを示す入力を、入力部22から受け付けてよい。制御部26は、記憶部25に記憶された複数の学習モデルのうちから、受け付けたユーザの身体データに対応する学習モデルを選択してよい。このような構成により、個人の身体データに合った身体部位の状態を評価することができる。
例えば、サーバ40の記憶部42は、上記身体データ毎の学習モデルを記憶してよい。この場合、電子機器20の制御部26は、ユーザの身体データを示す入力を、入力部22から受け付けてよい。電子機器20では、制御部26は、ユーザの身体データを示す入力を入力部22から受け付けると、ユーザの身体データを示す信号を、ネットワーク2を介してサーバ40に、通信部21によって送信してよい。サーバ40では、制御部43は、ネットワーク2を介して電子機器20から、ユーザの身体データを示す信号を通信部41によって受信する。サーバ40では、制御部43は、受信したユーザの身体データを示す信号に基づいて、記憶部42に記憶された複数の学習モデルのうちから、ユーザの身体データに対応する学習モデルを選択してよい。このような構成により、個人の身体データに合った身体部位の状態を評価することができる。
例えば、電子機器20の制御部26又はサーバ40の制御部43は、センサデータに基づいて、ユーザの身体が動くリズム、ユーザの歩幅及びユーザの歩行速度を算出してよい。電子機器20の制御部26又はサーバ40の制御部43は、センサデータに基づいて、ユーザが歩行した歩行時間を算出してよい。電子機器20の制御部26又はサーバ40の制御部43は、センサデータに基づいて、ユーザが歩行した歩行距離を算出してよい。電子機器20の制御部26又はサーバ40の制御部43は、歩行時間が時間閾値を超える場合又は歩行距離が距離閾値を超える場合、休憩を促す信号又は歩行の終了を促す信号を生成してよい。電子機器20では、制御部26は、生成した信号を上述したような外部機器に通信部21によって送信してよい。サーバ40では、制御部43は、生成した信号を、ネットワーク2を介して電子機器20又はセンサ機器10に、通信部41によって送信してよい。時間閾値は、一般的なユーザの歩行時間の平均値等に基づいて、設定されてよい。距離閾値は、一般的なユーザが一度に歩く距離の平均値等に基づいて、設定されてよい。
例えば、電子機器20の通信部21は、衛星測位システムに対応する少なくとも1つの受信モジュールを含んで構成されてよい。受信モジュールは、例えば、GPS(Global Positioning System)に対応した受信モジュールである。ただし、受信モジュールは、これに限定されない。受信モジュールは、任意の衛星測位システムに対応した受信モジュールであってよい。この場合、記憶部25は、地図データを記憶してよい。また、制御部26は、通信部21によってユーザの位置情報を取得してよい。制御部26は、ユーザの位置情報と地図データとを出力部23に出力させてよい。
例えば、センサ機器10の通信部11は、図10に示すようなネットワーク2に接続可能な少なくとも1つの通信モジュールをさらに含んで構成されてよい。通信モジュールは、例えば、LTE、4G又は5G等の移動体通信規格に対応した通信モジュールである。この場合、図10に示すような情報処理システム101では、センサ機器10の制御部15は、ネットワーク2を介してサーバ40に、センサ機器10が検出したデータを通信部11によって送信してよい。
例えば、上述した実施形態では、電子機器20の制御部26は、ユーザの2つ以上の身体部位を組み合わせた総合的な状態を推定してもよい。ただし、電子機器20の制御部26又はサーバの制御部43は、上述した(1)頭部の状態、(2)腕部の状態、(3)体幹部の状態、(4)膝部の状態及び(5)足部の状態のうちの2つ以上を組み合わせた総合的な評価を決定してもよい。
例えば、汎用のコンピュータを、本実施形態に係る電子機器20として機能させる実施形態も可能である。具体的には、本実施形態に係る電子機器20の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る構成は、プロセッサが実行可能なプログラム又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。