最初に、本開示の例示的な実施形態の構成を列記して説明する。本開示の実施形態による、方法およびシステムは、以下のような構成を備えてもよい。
〔形態1〕形態1によれば、ユーザの姿勢を評価するための方法が提供される。かかる方法は、ユーザに操作される端末による、所定方向に関するガイダンスを出力するステップと、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、端末が備える撮像部によって撮像される、所定方向に対するユーザの画像を取得するステップと、画像に基づいて決定されるユーザの姿勢評価を出力するステップと、を含み、ユーザの姿勢評価が、所定方向に関連付けて特定される画像上のランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目について決定される。かかる方法により、スマートフォンやタブレット端末のようなユーザ自らを撮像可能な通信可能端末を操作可能なユーザであれば、誰でも簡単に姿勢評価を受けることができるようになる。
〔形態2〕形態2によれば、形態1の方法において、端末が備える表示部に表示されるユーザの画像をユーザが目視しながら、所定方向に対するユーザの画像が端末の姿勢調整操作を通じて取得される。かかる方法により、ユーザは正確に自らを撮像することができる。
〔形態3〕形態3によれば、形態1または2の方法において、画像上の複数のランドマーク間の距離に基づいて、ランドマークに対応するユーザの部位間の距離が推定され、ユーザの姿勢評価が、ユーザの部位間の距離に基づいて計算される評価対象項目のスコアを含む。かかる方法により、ユーザに理解されやすいように姿勢評価を数値化することができる。
〔形態4〕形態4によれば、形態1から3の何れかの方法であって、更に、ユーザの姿勢評価に関連付けられるフィードバックを端末に出力するステップを含む。かかる方法により、ユーザの画像に対する姿勢評価を様々な観点で行うことができ、その結果、必要な運動の提案を含む様々なフィードバックをユーザに供給することができる。
〔形態5〕形態5によれば、形態1から3の何れかの方法であって、所定方向が、ユーザの正面上半身方向、正面下半身方向、側面上半身方向、および側面下半身方向の内1つ以上を含む。かかる方法により、計4回の撮像のみで正確な姿勢評価を実施することができる。
〔形態6〕形態6によれば、形態5の方法において、評価対象項目は、正面上半身方向に対するユーザの肩の高さ、正面上半身方向に対するユーザの身体の傾き、正面下半身方向に対するユーザの骨盤の傾き、側面上半身方向に対するユーザの上位交差症候群、側面下半身方向に対するユーザの骨盤の前方移動、および側面下半身方向に対するユーザの骨盤の傾きの内1つ以上を含む。かかる方法により、様々な項目に対する姿勢評価を実施することができる。
〔形態7〕形態7によれば、形態1から6の何れかの方法において、所定方向の画像を取得するステップにおいて、撮像部によって撮像された画像が、端末が具備するセンサを用いて水平方向に自動的にトリミングされる。かかる方法により、水平方向に正確なユーザ画像を用いて、効果的に姿勢評価を行うことができる。
〔形態8〕形態8によれば、ユーザの姿勢を評価するためのシステムが提供される。かかるシステムは、第1端末および第2端末を備え、ユーザに操作される第1端末が、所定方向に関するガイダンスを出力する出力部と、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、出力部に表示されているユーザの画像を所定方向に関連づけて撮像および取得する取得部と、ネットワークを介してユーザの画像を送信し、ユーザの姿勢評価を受信する第1通信部と、を備え、第2端末が、画像上で、ランドマークの位置を所定方向に関連付けて特定する特定部と、ランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目についてユーザの姿勢評価を決定する評価部と、ネットワークを介してユーザの画像を受信し、ユーザの姿勢評価を送信する第2通信部と、を備える。かかるシステムにより、スマートフォンやタブレット端末のようなユーザ自らを撮像可能な通信可能端末を操作可能なユーザであれば、誰でも簡単に姿勢評価を受けることができるようになる。
〔形態9〕形態9によれば、形態8のシステムであって、更に、第2端末から受信したユーザの姿勢評価に関連付けられるコンテンツを抽出して、ユーザにフィードバックするためのフィードバックを生成するフィードバック部を含むサーバを備える。かかるシステムにより、ユーザの画像に対する姿勢評価を様々な観点で行うことができ、その結果、必要な運動の提案を含む様々なフィードバックをユーザに供給することができる。
〔形態10〕形態10によれば、形態8または9のシステムにおいて、画像上の複数のランドマーク間の距離に基づいて、ランドマークに対応するユーザの部位間の距離が推定され、ユーザの姿勢評価が、ユーザの部位間の距離に基づいて計算される評価対象項目のスコアを含む。かかるシステムにより、ユーザに理解されやすいように姿勢評価を数値化することができる。
以下に、本開示に係るユーザの姿勢を評価するための方法およびシステムの実施形態を添付図面とともに説明する。添付図面において、同一または類似の要素には同一または類似の参照符号が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。なお、以下では、ユーザの健康管理サービスとして、ユーザ姿勢画像を用いた姿勢評価サービスを想定するが、姿勢評価に限定されず、様々なユーザの健康状態の管理に適用可能である。
図1は、システム1000の全体概要図である。システム1000は、サーバ100と、複数のユーザ端末200,300と、を備える。サーバ100は、ネットワーク400を介してユーザ端末200,300に接続される。図1において、説明を簡単にするために、ユーザ端末は2台のみ示しているが、これに限定されず、3台以上としてもよい。また、ユーザ端末200,300の具体的な機器は、図示したパーソナルコンピュータおよびスマートフォンに限定されず、これ以外にも、例えば、フィーチャーフォン、PDA(Personal Digital Assistant)、またはタブレット端末等の電子機器としてもよい。以下では、ユーザ端末200は指導者ユーザ(姿勢の評価者)が用いる端末を、また、ユーザ端末300は健康管理対象ユーザ(姿勢の被評価者)が用いる端末を想定する。
ユーザ端末200,300を用いることで、指導者ユーザおよび健康管理対象ユーザは、インスタント・メッセージング(IM)サービス、SNS(Social Networking Service)またはブログ(Blog)等のサービスを通じて相互に意思疎通することができる。つまり、サービスが実装されるアプリケーションには、インターネットを通じて複数のユーザのアカウント間を連携させて、アカウント間でメッセージング(メッセージ・データの送受信)を行うことができる任意のものが含まれる。
図2および図3を参照して、サーバ100およびユーザ端末200,300のハードウェア構成の概要について説明する。図2に示されるサーバ100は、アプリケーションを通じてサービスを提供するための情報処理装置であり、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的かつ分散的に実現されてもよい。サーバ100は、プロセッサ10、メモリ11、ストレージ12、通信インタフェース(IF)13、および入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、サーバ100全体の動作を制御し、各要素間におけるデータの送受信の制御、およびアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)であり、ストレージ12に格納されメモリ11に展開されたプログラム等を実行して各情報処理を実施する。
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、サーバ100の起動時に実行されるBIOS(Basic Input / Output System)、および各種設定情報等を格納する。ストレージ12は、アプリケーション・プログラム、およびユーザの認証プログラム等の各種プログラムを格納する。アプリケーションの各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
通信インタフェース13は、サーバ100をネットワーク400に接続し、ユーザ端末200,300との通信を行う。入出力部14は、マウスやキーボード等の情報入力機器、およびディスプレイ等の出力機器である。バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号および各種制御信号を伝達する。
図3に示されるユーザ端末200(300)の例は、主に、タッチパネルを有するスマートフォンまたはタブレット端末(300)を想定している。ユーザ端末200(300)は、プロセッサ20、メモリ21、ストレージ22、通信インタフェース(IF)23、撮像部24、タッチパネル25、および検知部26等を備え、バス29を介して相互に電気的に接続される。
プロセッサ20は、ユーザ端末200(300)の動作を制御し、各要素間におけるデータの送受信の制御、およびプリケーションの実行に必要な処理等を行う演算装置である。例えばプロセッサ20はCPUおよび/またはGPU(Graphical Processing Unit)等であり、ストレージ22に格納され、メモリ21に展開されたプログラム等を実行することによって必要な各情報処理を実施する。
メモリ21は、RAMなどの揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ21はプロセッサ20のワークエリア等として使用され、また、ユーザ端末200(300)の起動時に実行されるBIOS、および各種設定情報等が格納される。ストレージ22には、アプリケーション・プログラム等が格納される。アプリケーション・プログラムは通信インタフェース23を通じてダウンロードにより格納することができる。
通信インタフェース23は、ユーザ端末200(300)をネットワーク400に接続し、サーバ100と通信を行う。また、通信インタフェース23には、Bluetooth(登録商標)およびBLE(Bluetooth Low Energy)の近距離通信インタフェースも含まれる。撮像部24は、カメラ・レンズを通じた撮像機能を有し、ユーザによって撮像される画像および動画をストレージ22に格納する。なお、撮像機能には、ユーザ端末200の姿勢調節を補助する機能のような各種ユーザ補助機能が含まれる。
タッチパネル25は、入力部251および表示部252を構成する。タッチパネルの入力部251は、ユーザによるタッチパネル25へのタッチ操作の有無を検知する。入力部251は、圧力検出方式、抵抗膜方式、静電容量方式、または電磁誘導方式等を採用することができる。そして、タッチパネル上の任意の位置で操作(タッチパネルに対する、タッチ操作、スライド動作、スワイプ操作、及びタップ操作等の物理的接触操作)による入力を受けると、その位置における押圧、電気抵抗、電気容量、または弾性波のエネルギー等の変化量が検知され、対応する接触位置座標が特定される。タッチパネルの表示部252は通常、液晶ディスプレイ等で構成される。
検知部26は、内蔵型センサとして、これに限定されないが、加速度センサ、振動センサ、ジャイロセンサ、地磁気センサ、近接センサ、照度センサ、圧力センサ、およびGPS等を含む。検知部26は、一例として、ユーザ端末200の姿勢を検出するための傾き検出センサとして機能する。加えて、外部のウェアラブル・デバイス(非図示)と連携して、通信インタフェース23を通じて、ユーザの歩数等の活動情報を受け取ってもよい。外部のウェアラブル・デバイスを使用することにより、ECG(electrocardiogram)センサや筋電センサのようなより詳細な生体情報を取得可能である。これ以外にも気象センサ等からの各種データも取得可能としてもよい。バス29は、上記の各要素に共通に接続され、例えば、アドレス信号、データ信号、および各種制御信号を伝達する。
図4を参照してシステム1000の機能構成について説明する。図4は、サーバ100およびユーザ端末200(300)にそれぞれ実装される機能を示した例示のブロック図である。サーバ100は、通信部110、フィードバック生成部150、および記憶部190を含み、相互に作用する。フィードバック生成部150は、更に、スコア部152、コンテンツ抽出部154、およびメッセージ生成部156を含む。記憶部190は、ユーザ・アカウントに関するアカウント情報191およびユーザの各種基本情報に関するユーザ情報192を管理する。これに加えて、ユーザ姿勢画像193、コンテンツ情報194、姿勢評価基本情報195、スコア化ルール情報196、およびガイダンス情報197も管理する。各情報191から197は、例えばテーブル形式でデータベースにて管理するのがよい。
ユーザ端末200(300)は、通信部210、記憶部220、入力部240、出力部250、ランドマーク特定部270、および姿勢評価部280を含み、相互に作用する。入力部240は、更に、ユーザ画像取得部245を含む。なお、ユーザ端末のこれら機能は、ユーザ端末200または300に応じて部分的に有してよい。例えば、指導者ユーザに操作されるユーザ端末200は、通信部210、記憶部220、入力部240、ランドマーク特定部270、および姿勢評価部280を有し、ユーザ画像取得部245を有しないように構成してもよい。他方、健康管理対象ユーザに操作されるユーザ端末300は、通信部210、記憶部220、入力部240、ユーザ画像取得部245、および出力部250を有し、ランドマーク特定部270および姿勢評価部280を有しないように構成してもよい。
図2および図3に示した上記のサーバ100およびユーザ端末200(300)の各ハードウェア構成における各要素、並びに図4に示した各機能ブロックは一例に過ぎず、これらに限定されない。特に、図4に示した各機能ブロックは、ハードウェアの一部として実装されても、および/またはソフトウェアの一部として実装されてもよい。また、図4に示したサーバ100の各機能ブロック110から197の少なくとも一部は、ユーザ端末200(300)が有するように構成してもよい。ユーザ端末200(300)の各機能210から280の少なくとも一部も、サーバ100が有するように構成してもよい。例えば、ユーザ端末200(300)の機能ブロックとして示したランドマーク特定部270および姿勢評価部280は、サーバ100に含まれるように構成してもよい。また、姿勢評価基本情報195は、ユーザ端末200(300)に含まれるように構成してもよい。つまり、一実施形態による方法は、サーバ100およびユーザ端末200(300)から任意に選択される情報処理装置が実行できるものである。
これより、図5から図13を参照して、一実施形態によるユーザの姿勢を評価するための方法について説明する。具体的には、本方法では、健康管理対象ユーザHUが自ら撮像した画像に対し、指導者ユーザTUが評価を行い、健康管理対象ユーザHUにフィードバックする。図5は、本方法において実装される例示の処理フローであり、サーバ100と、指導者ユーザTUに操作されるユーザ端末200と、健康管理対象ユーザHUに操作されるユーザ端末300との相互作用による処理フローを示す。図6から図10Dは、一実施形態による方法で実装または取得される、ユーザ端末200,300に表示される例示の画面イメージである。図11から図13は、本方法で実装および記憶される例示のテーブル構成図および例示のレコードであり、サーバ100の記憶部190および/またはユーザ端末200,300の記憶部220に格納される。これらの処理フロー、画面イメージ、およびテーブル構成は例示に過ぎず、限定的でない。
S11において、サーバ100は、記憶部190のガイダンス情報197をユーザ端末300に事前に送信する。ユーザ端末300からの要求に応じてガイダンス情報197の送信が実施されてもよい。なお、ガイダンス情報197とは、健康管理対象ユーザHUに関連付けられる姿勢評価に関する案内(ガイダンス/チュートリアル)であり、静止画、動画および音声等の各種コンテンツで構成される。ガイダンス情報197は、特に、健康管理対象ユーザHUがユーザ端末300の撮像部24を用いて自らを撮像するやり方(撮像時のユーザ端末300の姿勢調整等)を案内する。つまり、ガイダンス情報197は主に、撮像時におけるユーザ端末300の所定方向に関する。
ユーザ端末300では、S31からS34を通じて、健康管理対象ユーザHUの自らの画像を撮像により取得する。具体的には、ユーザ端末300は、ガイダンス情報197を記憶部220に格納した後に、S31において、出力部250が所定方向に関するガイダンスを出力する。ガイダンスの出力に応じて、S32において、ガイダンスとの相互作用を通じて、ユーザ端末300は、健康管理対象ユーザHUによる姿勢調整操作を受ける。姿勢調整操作は、ユーザ端末300の検知部26と連携してもよい。ユーザ端末300が姿勢調整操作を受けた後、S33において、ユーザ画像取得部245は、所定方向に対するユーザの画像を取得する。取得されるユーザの画像は、ユーザの姿勢を評価するために用いられるユーザの姿勢画像であり、ユーザ端末300の撮像部24によって撮像される。取得されたユーザの姿勢画像は、S34において、ユーザの姿勢画像情報として通信部210によってネットワーク400を通じてサーバ100に送られる。
図6は、S31において、ユーザ端末300の表示部252に出力される例示のガイダンスを示す。この例では、ガイダンスは画面D11からD13の画面遷移によって構成される。画面D11では、「ガイダンスを開始します。」と表示され、健康管理対象ユーザHUは「開始」ボタンを押下すると、ガイダンスは次の画面D12に遷移する。画面D12では、最初の姿勢(スタート・ポジション)の決定方法がユーザに案内される。即ち、「1.スマートフォンを片手に持ち、力みのない姿勢で立ちます。」「2.両足を拳1つ分だけ空けるように開きます。」「3.つま先を正面に向けます。」のようにスタート・ポジションが案内される。
健康管理対象ユーザHUが画面D12の案内にしたがって、自らのスタート・ポジションを実際に決定して「OK」ボタンを押下すると、ガイダンスは次の画面D13に遷移する。画面D13では、所定方向に対するユーザ端末の姿勢調整方法(傾け方)が案内される。即ち、例えば正面上半身方向に対しては、「1.スマートフォンを両手で持ちます。」「2.両肘をしっかり伸ばします。」「3.カメラを水平に保ち、顔が画面の中心にあることを確認します。」のようにユーザ端末の傾け方が案内される。なお、「3.」はユーザ端末300の表示部252上のレンズ位置(上部または下部等)に応じて、対応したガイダンスが表示される。これ以外にも、ユーザ端末300の種別(スマートフォンまたはタブレット等)に応じて、対応したユーザの指の引っ掛け方を案内するガイダンスを表示してもよい。
その後、健康管理対象ユーザHUは「カメラ起動」ボタンの押下による相互作用を通じて、実際にユーザ端末300の姿勢調整操作を行う。ユーザ端末300の姿勢調整操作は、ユーザ端末300の検知部26によるユーザ端末300の姿勢検知(例えば、傾きセンサによる傾き検知)と連携させてもよい。ユーザ端末300の姿勢調整操作の結果、健康管理対象ユーザHUは、ユーザ端末300の表示部252に表示される自らの画像を目視しながらシャッター・ボタンの押下等による相互作用を通じて、実際に撮像を行う。画面D13は、正面上半身方向に関するものであるが、それ以外の正面下半身方向、側面上半身方向および側面下半身方向においても同様に、それぞれ、ユーザ端末300の姿勢調整方法が順次案内される。そして、健康管理対象ユーザHUにより、ガイダンスとの相互作用によるユーザ端末の姿勢調整が実際に実施されて、所定方向にしたがった撮像が実施される。
図7は、このようにして取得された健康管理対象ユーザHUの例示の4枚の姿勢画像である。ユーザによるユーザ端末300の姿勢調整操作性の観点から、正面上半身方向のユーザ姿勢画像I1、側面上半身方向のユーザ姿勢画像I2、側面下半身方向のユーザ姿勢画像I3、および正面下半身方向のユーザ姿勢画像I4の順とするのが分かりやすくてよい。図7から理解されるように、ユーザ姿勢画像I1およびI2の上半身方向は、健康管理対象ユーザHUの胸部から頭部にかけての画像となる。また、ユーザ姿勢画像I3およびI4の下半身方向は、健康管理対象ユーザHUの腹部から足下にかけての画像となる。このように、本明細書では、上半身を概ね胸部から頭部までの部分、下半身を概ね腹部から足下までの部分と定義する。
図8は、S33において撮像が実施される際に健康管理対象ユーザHUを補助するために、撮像部24に好適に実装される付加的な撮像機能について説明する。図8に示すように、健康管理対象ユーザHUのユーザ端末300は、ユーザと対面するレンズ241と、タッチパネル25上にシャッター・ボタン247とを撮像部24の一部として含むものと想定する。なお、図8に示す付加的な撮像機能は必須のものではない。
図8の(a)に示す付加機能では、撮像部24による撮像の際に、検知部26を用いてユーザ端末300の姿勢(傾き)を検知し、画像を水平方向に自動的にトリミングする。撮像部24は、水平方向をガイドし、これに沿ってトリミングするためのトリミング領域243をタッチパネル25上に表示する。健康管理対象ユーザHUが自らを撮像する際は、レンズ241を通じてタッチパネル25に表示される画像をトリミング領域243に含めるように位置合わせすることで、常に水平方向にトリミングされた画像を取得することができる。水平方向のトリミングは、健康管理対象ユーザHUの水平方向に対する「肩の高さ」を評価する場合(後述)等、ユーザ画像を用いた姿勢評価全般に特に有用となる。また、水平方向のトリミングに加えて、またはこれに替えて、重力方向のトリミングを実施する機能が実装されてもよい。
図8の(b)に示す付加機能では、画面縦方向および画面横方向をガイドするガイド線245と、健康管理対象ユーザHUの顔等の基準部位を位置合わせするためのガイド領域255とを含むガイドがタッチパネル25上に表示される。健康管理対象ユーザHUは、レンズ241を通じてタッチパネル25に表示される基準部位(例えば顔)をガイドに沿うように位置合わせすればいいので、撮像が容易となる。また、図8の(c)に示す付加機能では、健康管理対象ユーザHUがシャッター押下後、所定の時間経過したら撮像部24によって自動的に撮像される。または、音声による撮影指示に応答して、所定の時間経過したら撮像部24によって自動的に撮像されてもよい。或いは、検知部26によって姿勢調整操作の検知が監視され、姿勢調整操作の停止が所定期間にわたり検知された後に、撮像部24によって自動的に撮像されてもよい。これにより、ユーザは撮像時にシャッター・ボタン247を押下する必要がなくなるので、体勢を崩すことなくより正確な撮像を実施することができる。
本実施形態によれば、ユーザの姿勢を効率的かつ適切に評価することが可能となる。スマートフォンやタブレット端末のような自撮り可能な端末を操作可能なユーザであれば、誰でも簡単にオンラインでの姿勢評価を受けることができる。端末は、ユーザが保有のものであってもよいし、スポーツジム等に設置された端末としてもよく、ユーザの所与のアカウントでアプリケーション利用できる任意の端末とすることができる。操作の簡単さから、端末をこれまで十分に使いこなせてこなかったユーザ(例えば、50代の主婦等)に対しても、オンラインによる健康管理サービスへの関心を喚起させることができる。ユーザによる自撮り操作は、正面および側面に対する上半身および下半身の計4回だけ行えば十分であり、いつでも、どこでも、1分も掛からず簡単に実施可能となる。
図5に戻り、S12において、サーバ100の通信部110がユーザ端末300から受信したユーザの姿勢画像情報を、ユーザ姿勢画像193として記憶部190に格納する。なお、サーバ100では、格納した各所定方向のユーザ姿勢画像に基づいて、ユーザの身体の部位間の距離が、例えばユーザの身長や腕の長さに関連付けて推定可能とされる。例えば、耳孔と肩峰の間の距離や上前腸骨棘と上後腸骨棘の間の距離(単位:cmまたは横指)等が推定可能となる。また、画像全体の大きさに対する相対距離から、これら距離が推定されてもよい。これら距離情報はまた、ユーザの姿勢画像情報193として格納されるのがよい。健康管理対象ユーザHUの身長や腕の長さは、例えば、ユーザ情報192として予め格納しておくのがよい。
ユーザ端末200では、S21からS23を通じて、ユーザの姿勢画像情報に基づく、指導者ユーザTUによる健康管理対象ユーザHUの姿勢評価を実施する。なお、指導者ユーザTUと健康管理対象ユーザHUは、アカウント情報191によってそれぞれがロール(指導者または健康管理対象者)と共に関連付けられている。ユーザ端末200での姿勢評価の実施に際し、サーバ100の記憶部190に格納された姿勢評価基本情報195(図11)が予めユーザ端末200に供給される。また、指導者ユーザTU向けの姿勢評価のためのガイダンス情報197も予めユーザ端末200に供給される。
S21において、通信部210は、サーバからユーザ姿勢画像情報を受信し、記憶部220に格納する。S22において、出力部250が各所定方向のユーザ姿勢画像を表示部252に出力し、次いで、ランドマーク特定部270は、各所定方向に関連付けられたユーザ姿勢画像上の1つ以上のランドマークの特定を受ける。S23において、姿勢評価部280は、S22で特定されたランドマークに基づいて、健康管理対象ユーザHUの姿勢評価を決定する。姿勢評価の決定は、姿勢評価基本情報195を用いて、所定方向に関連付けられる評価対象項目ごとに実施される。
図9は、S22において、健康管理対象ユーザHUのユーザ姿勢画像を、指導者ユーザTUのユーザ端末200の表示部252に表示する際の例示のガイダンスを示す。つまり、ガイダンスは、ユーザ姿勢画像上で特定すべき1つ以上のランドマークを指導者ユーザTUに適切に案内する。指導者ユーザTUは、ガイダンスと相互作用しながら、指示されたランドマークを表示画面上で特定すればよい。この例では、ガイダンスは、画面D21からD23の画面遷移によって構成される。画面D21では、「姿勢評価を開始します。」と表示され、指導者ユーザTUが「開始」ボタンを押下すると、ガイダンスは次の画面D22に遷移する。画面D22では、正面上半身写真のランドマークを指導者ユーザTUに特定させるためのガイダンスが表示される。即ち、「1.正面上半身写真を表示します。」「2.正面上半身写真上で、ランドマークを特定します。」「3.ランドマークは、左右の肩峰点と眉間です。」のような操作方法が案内される。
画面D22で「写真表示」ボタンが押下されると、指導者ユーザTUによって、S21で取得した正面上半身方向のユーザ姿勢画像I1が表示される。図10Aに関して後述するランドマーク特定画像I5が生成された後、ガイダンスは次の画面D23に遷移する。画面D23では、正面上半身写真の姿勢評価(ここでは、肩の高さ)を指導者ユーザTUに実施させるためのガイダンスが表示される。即ち、「1.最初に「肩の高さ」を評価します。」「2.ランドマークLM1,LM2および基準ガイド線L1を確認してください。」「3.評価をリストから選択して下さい。」のような姿勢評価方法が案内される。指導者ユーザTUは、ランドマーク特定画像I5を確認しながら評価を決定する。そして、「評価入力」ボタンを押下し、評価入力画面(非図示)にリスト表示された評価リスト「左の肩が高い」「右の肩が高い」または「ニュートラル」から何れかを選択することにより、「肩の高さ」に関する評価を完了する。なお、正面上半身方向のユーザ姿勢画像I1以外の側面上半身方向のユーザ姿勢画像I2、側面下半身方向のユーザ姿勢画像I3および正面下半身方向のユーザ姿勢画像I4についても、ランドマーク画像がそれぞれ生成されて同様に姿勢評価が実施される。
図10Aから図10Dは、ユーザ姿勢画像I1からI4上で、それぞれランドマークが特定された後の対応するランドマーク特定画像I5からI8を示す。ランドマーク画像I5は、正面上半身方向のユーザ姿勢画像I1に対応する。同様に、ランドマーク画像I6は側面上半身方向のユーザ姿勢画像I2に、ランドマーク画像I7は側面下半身方向のユーザ姿勢画像I3に、そして、ランドマーク画像I9は正面下半身方向のユーザ姿勢画像I4に対応する。図10Aから図10Dに示すように、ランドマーク画像I5からI8では、それぞれ1つ以上のランドマーク(ここでは、LM1からLM10)が指導者ユーザTUのユーザ端末200のランドマーク特定部270によって特定される。ランドマークは、健康管理対象ユーザHUの部位に応じてドットまたはラインとなる。ユーザ端末200がスマートフォンやタブレット端末の場合は、タッチパネル25に表示された該当部位上で指導者ユーザTUがタップまたはスライドのようなタッチ操作を行うことによって各ランドマークが特定される。通常の液晶ディスプレイでは、該当部位上で指導者ユーザTUがマウスによりクリックまたはドラッグ操作をすることによって各ランドマークが特定される。
例えば、図10Aの正面上半身方向のランドマーク画像I5では、指導者ユーザTUは、健康管理対象ユーザHUの画像I1上でランドマークLM1,LM2,LM3を特定する。当該特定の操作は、画面D23で示されるガイダンスに従い、健康管理対象ユーザHUの画像I1を表示させながら、左肩峰、右肩峰および眉間の各位置にドットによる印付けを手動で行うことで実施される。同様に、図10Bの側面上半身方向のランドマーク画像I6では、指導者ユーザTUは、耳孔および肩峰をドットのランドマークLM4,LM5として特定する。図10Cの側面下半身方向のランドマーク画像I7では、指導者ユーザTUは、大転子および外踝をドットのランドマークLM6,LM7として、また、腰椎をラインのランドマークLM8として特定する。図10Dの正面下半身方向のランドマーク画像I8では、指導者ユーザTUは、左膝蓋骨および右膝蓋骨をドットのランドマークLM9,LM10として特定する。このようなランドマークは、ユーザ端末200またはサーバ100に搭載された人工知能(AI)エンジンにより、自律的な機械学習を通じてダイナミックに特定するように動作可能としてもよい。
図10Aから図10Dに更に示すように、ランドマークLM1からLM10の特定に応答して、姿勢評価部280は、ランドマークの位置に基づいて、姿勢評価のための基準ガイド線L1からL5(点線)を設定してもよい。基準ガイド線は、各ランドマークの表示画面上の座標位置情報に応じて自動的に計算されて設定される。或いは指導者ユーザTUの手動にて設定可能としてもよい。例えば、図10Aの正面上半身方向のランドマーク画像I5では、右肩峰のランドマークLM2の位置を基準にした画面横方向の基準ガイド線L1が設定される。また、左右肩峰のランドマークLM1,LM2の位置の画面横方向の中間点を通る、画面縦方向の基準ガイド線L2(中央線)が設定される。同様に、図10Bの側面上半身方向のランドマーク画像I6では、肩峰のランドマークLM5の位置を基準にした画面縦方向の基準ガイド線L3が設定される。図10Cの側面下半身方向のランドマーク画像I7では、外踝のランドマークLM7の位置を基準にした画面縦方向の基準ガイド線L4が設定される。図10Dの正面下半身方向のランドマーク画像I8では、左膝蓋骨および右膝蓋骨のランドマークLM9,LM10の位置の横方向の中間点を通る、画面縦方向の基準ガイド線L5が設定される。
各ランドマークが決定され、また、各基準ガイド線が設定されると、図11に示される一例の姿勢評価基本情報195に基づいて、健康管理対象ユーザHUの姿勢評価が決定される。姿勢評価基本情報195では、姿勢評価を決定するためのルールがテーブル形式で定義される。姿勢評価基本情報195の評価対象項目のレコードに基づいて、D23のガイダンスが生成される。姿勢評価の決定は、指導者ユーザTUのリスト選択による入力、プロセッサ20の距離計算による自動判定、または双方の組み合わせにより実施されるのがよい。例えば、指導者ユーザTUが画面D23に示した「肩の高さ」を評価対象とする場合は、図11において該当する評価対象項目に関するレコードが参照される。即ち、評価概要に示されるように、図10Aにおける左右肩峰のランドマークLM1,LM2の2ドット間の位置に基づいて、基準ガイド線L1に対する画面縦方向における左右の肩峰の高さ(即ち距離)を評価する。これにより、「左の肩が高い」「右の肩が高い」または「ニュートラル」の何れかが決定される。図10Aの例では「右の肩が高い」と評価されることになる。なお、評価において、画面横方向の基準ガイド線L1が水平方向と関連付けられると、姿勢評価がより正確になる。
他の評価対象項目についても同様である。評価対象項目が「身体の傾き」の場合は、図10Aにおいて、基準ガイド線L2(中央線)に対する眉間のランドマークLM3の位置を評価することにより、「身体が左傾」「右傾」または「ニュートラル」の何れかが決定される。図10Aの例では「身体が左傾」と評価されることになる。評価対象項目が「上位交差症候群(猫背)」の場合は、図10Bにおいて、肩峰のランドマークLM5(または基準ガイド線L3)の位置に対する耳孔のランドマークLM4の位置を評価することにより、「上位交差症候群が有る」または「無い」の何れかが決定される。図10Bの例では、「上位交差症候群が有る」と評価されることになる。評価対象項目が「骨盤の前方移動」の場合は、図10Cにおいて、外踝のランドマークLM7(または基準ガイド線L4)の位置に対する大転子のランドマークLM6の位置を評価することにより、「骨盤の前方移動が有る」または「無い」の何れかが決定される。図10Cの例では、「骨盤の前方移動が有る」と評価されることになる。
評価対象項目が「骨盤の傾き」の場合は、図10Cにおいて、腰椎のランドマークLM8の位置のライン形状(即ち、腰椎前弯の弯曲の高さ(距離および角度))を評価することにより、「骨盤が前傾」「後継」または「ニュートラル」の何れかが決定される。図10Cの例では、「ニュートラル」と評価されることになる。更に、評価対象項目が「骨盤の傾き」の場合は、図10Dにおいて、基準ガイド線L5に対する左右の膝蓋骨のランドマークLM9,10の位置を評価することにより、更に「膝が外向き」または「内向き」の何れかが決定される。図10Dの例では「膝が外向き」と評価されることになる。
このように、指導者ユーザTUは、ネットワークを通じて送られてくる健康管理対象ユーザHUの姿勢評価を、ランドマークに特定により手軽に実施することができる。例えば、指導者ユーザがスマートフォンを有していれば、所定のガイダンスにしたがって各ランドマークをタッチ操作によって特定すればよく、また所定のリストにしたがってユーザの症状を選択すればよい。つまり、場所や時間を問わず、簡単なタッチ操作によって効率的に健康管理対象ユーザHUの姿勢評価を実施することができる。
再び図5に戻り、S23でユーザの姿勢評価が決定されると、当該姿勢評価はサーバ100に供給される。サーバ100では、S13およびS14において、健康管理対象ユーザHUへのフィードバックのために、姿勢評価に対して更なる分析を実施する。具体的には、S13において、フィードバック生成部150のスコア部152は、各所定方向に対応するランドマーク画像上の複数のランドマーク間の距離に基づいて、該ランドマークに対応する健康管理対象ユーザHUの部位間の距離を推定する。また、健康管理対象ユーザHUの部位間の距離に基づいて、スコア化ルール情報196を用いて評価対象項目に対応するスコアを計算し、それを姿勢評価に含める。次いで、S14において、フィードバック部150のコンテンツ抽出部154では、コンテンツ抽出ルールにしたがって、姿勢評価に関連付けられる一連のコンテンツをコンテンツ情報194から抽出し、フィードバックを生成する。
図12は、S13で使用されるスコア化ルール情報196の一例のレコードを示し、評価対象項目を「肩の高さ」とした場合のスコア化ルールの例である。他の評価項目についても同様にスコア化ルールが定義される。ここでは、左右肩峰のランドマークLM1,LM2の2ドット間の位置情報に基づいて、基準ガイド線L2に対する画面縦方向における左右の肩峰の距離を推定する。推定される距離の値は、ユーザの姿勢画像情報193としてS12で推定および格納された距離情報やユーザ情報192として格納された健康管理対象ユーザHUの身長や腕の長さに基づいて計算されるのがよい。計算された距離の値にしたがい、例えば、±1cmの「ニュートラル」の場合は「0点」とする。同様に、3cm未満の「左(右)の肩が高い」場合は「−5点」とし、或いは3cm以上の「左(右)の肩が高い」場合は「−10点」とする。このようにスコア化することにより、単に「左(右)の肩が高い」と評価するのみならず、症状を具体的に数値化して、健康管理対象ユーザHUに提示することができる。なお、スコアは減点方式で計算されるのがよい。
図13は、S14で生成されるフィードバックの例を示す。フィードバックは、決定された姿勢評価にしたがって決定される。具体的には、姿勢評価対象項目において選択された結果の組み合わせ(姿勢評価結果1)に関連付けられて、および/または数値化されたスコア(姿勢評価結果2)に基づいて決定される。図示するように、フィードバックの例には、症状説明のためのテキスト(フィードバック1)、筋バランスを示すイラスト(フィードバック2)、症状に対するリスク説明のテキスト(フィードバック3)、および/またはリスク対策のためのトレーニング動画(フィードバック4)を含む。各フィードバックは、姿勢評価結果1および/または姿勢評価結果2とコンテンツとの間の関連付けが予め規定された所定のコンテンツ抽出ルール(非図示)にしたがって、コンテンツ抽出部154によってコンテンツ情報194から抽出される。
図13の例では、姿勢評価の結果として、「骨盤前方移動」および「右の肩が高い」という結果が顕著に表れた。また、数値化されたスコアは「85/100点」だった。これに対し、コンテンツ抽出ルールに関連付けられ、抽出されたフィードバック1からフィードバック4は次のとおりであった。
・フィードバック1:「臀筋や下腹部の筋肉が弱化し、骨盤が前方に移動しています。そして、そのバランスを保つために、骨盤の上にある背骨や肩の位置が崩れています。」というテキスト#001
・フィードバック2:筋肉が固くなりやすい箇所および脂肪がつきやすい箇所を提示するイラスト#12
・フィードバック3:不良姿勢からくるリスクとして「肩こり」「腰痛」「冷え/むくみ」のリスト
・フィードバック4:肩こり解消トレーニング動画#03
このようにして、姿勢管理対象ユーザHUに対する姿勢評価およびフィードバックが決定される。ユーザの姿勢画像に対する姿勢評価のみならず、必要な運動の提案を含む様々なフィードバックも付加価値としてユーザに供給することができる点で有利である。特に、各種フードバックを行うことにより、今までスポーツクラブ等に通ったことがなく、運動に興味を有してこなかったユーザに対しても、姿勢評価を介して健康管理の意識を高めるよう促進ことができる。上記のような姿勢評価およびフィードバックは、ユーザ情報192やユーザ姿勢情報(非図示)としてサーバ内に履歴を格納することにより、後の健康管理サービスに利用することもできる。
図5のS35では、最後に、姿勢評価および各種フィードバックが健康管理対象ユーザHUのユーザ端末300の出力部250に出力される。なお、出力部250への出力(S35)では、指導者ユーザTUと健康管理対象ユーザHUの間のインスタント・メッセージング(IM)アプリケーションを通じたチャット形式の出力とするのがよい。つまり、上記の姿勢評価およびフィードバックは、IMアプリケーション上で姿勢評価レポートとして健康管理対象ユーザHUに供給されるのがよい。その際、サーバ100では、フィードバック生成部150のメッセージ生成部156によって、更に、健康管理対象ユーザHU向けのテキストのメッセージが生成され、IMアプリケーションを通じて供給するのがよい。なお、上述したユーザ姿勢画像情報の送信(S34)もIMアプリケーションを通じて実施されることが理解される。
上述した実施形態によれば、ユーザの姿勢を効率的かつ適切に評価することが可能となる。特に、スマートフォンやタブレット端末のような自撮り可能な端末を操作可能なユーザであれば、誰でも簡単に姿勢評価を受けることができる。ユーザによる自撮り操作は、正面および側面に対する上半身および下半身の計4回だけ行えば十分であり、場所や時間を問わず、1分も掛からず簡単に実施可能である。ユーザの画像に対する姿勢評価は様々な観点で行われ、その結果、必要な運動の提案を含む様々なフィードバックをユーザに供給することができる。
上述した実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。