JP7287715B1 - 補助システム、補助方法およびプログラム - Google Patents

補助システム、補助方法およびプログラム Download PDF

Info

Publication number
JP7287715B1
JP7287715B1 JP2022042052A JP2022042052A JP7287715B1 JP 7287715 B1 JP7287715 B1 JP 7287715B1 JP 2022042052 A JP2022042052 A JP 2022042052A JP 2022042052 A JP2022042052 A JP 2022042052A JP 7287715 B1 JP7287715 B1 JP 7287715B1
Authority
JP
Japan
Prior art keywords
user
image
data
running
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022042052A
Other languages
English (en)
Other versions
JP2023136398A (ja
Inventor
善弘 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2022042052A priority Critical patent/JP7287715B1/ja
Application granted granted Critical
Publication of JP7287715B1 publication Critical patent/JP7287715B1/ja
Publication of JP2023136398A publication Critical patent/JP2023136398A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】運動を行う人に対して、その人のフォームの、よりリアルな画像を提供できるようにする。【解決手段】補助システムが、ユーザーに装着されて前記ユーザーを撮影する撮影手段と、前記ユーザーに装着されて画像を表示する表示手段と、前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、を備える。【選択図】図2

Description

本発明は、補助システム、補助方法およびプログラムに関する。
ランニングなどの運動時に、運動を行う人に運動に関するアドバイスを提示するなど、運動の補助を行うための技術が提案されている。
例えば、特許文献1には、モーションセンサおよび生体センサを用いて、運動を行う被支援者に支援情報を提供する支援情報提供装置が記載されている。例えば、この支援情報提供装置は、被支援者のランニング時に、右肘の温度及び血中乳酸菌濃度が異常に高い場合に、右肘を少し伸ばすようにアドバイスする。また、この支援情報提供装置は、モーションセンサの検出結果に基づいて被支援者のフォーム画像を生成し、被支援者のフォーム画像と、有名選手のフォームなどの参照フォーム画像とを重ね合わせた合成画像を生成し表示する。
特開2017-221350号公報
運動を行う人に対して、その人のフォームの、よりリアルな画像を提供できれば、その画像を参照した本人が、比較的容易にフォームを把握できると期待される。
本発明の目的の一例は、上述の課題を解決することのできる補助システム、補助方法およびプログラムを提供することである。
本発明の第1の態様によれば、補助システムは、ユーザーに装着されて前記ユーザーを撮影する撮影手段と、前記ユーザーに装着されて画像を表示する表示手段と、前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、補正後の前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、を備える。
本発明の第2の態様によれば、補助方法は、コンピュータが、ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させることを含む。
本発明の第3の態様によれば、プログラムは、コンピュータに、ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させることを実行させるためのプログラムである。
本発明によれば、運動を行う人に対して、その人のフォームの、よりリアルな画像を提供することができる。
実施形態に係る補助システムの構成の例を示す図である。 実施形態に係るユーザー装着システムの構成の例を示す図である。 実施形態に係るカメラ機能付き帽子、情報表示グラス、および、情報伝達イヤホンの配置の例を示す図である。 実施形態に係る補填用カメラおよびセンサの配置の例を示す図である。 実施形態に係る補助システムが行う処理の例を示す図である。 実施形態に係るデータ制御部が、ユーザーのランニング画像の前方向画像および側面方向画像を生成する処理の手順の例を示す図である。 実施形態に係る補助システムの構成の、もう1つの例を示す図である。 実施形態に係る補助方法における処理の手順の例を示す図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、実施形態に係る補助システムの構成の例を示す図である。図1に示す構成で、補助システム100は、ユーザーシステム110と、サーバ装置140とを備える。ユーザーシステム110は、ユーザー装着システム120と、ユーザー端末装置130とを備える。
また、ユーザーシステム110とサーバ装置140とは、通信ネットワーク910を介して通信を行う。
補助システム100は、ユーザーがランニングを行う際に、ランニングフォームのチェックのための情報など、ランニングを補助する情報を提供する。
ただし、補助システム100が対象とする運動はランニングに限定されない。補助システム100が、ランニングに加えて、あるいは代えてウォーキングを対象とするなど、ランニング以外の運動を対象とするようにしてもよい。
ユーザー装着システム120は、ランニング時にユーザーが装着するシステムである。ユーザー装着システム120は、ランニング時のユーザーの情報を取得する。また、ユーザー装着システム120は、ランニングフォームのチェックのための情報をユーザーに提示する。
ユーザー端末装置130は、ユーザーの情報の事前登録を行うための装置として用いられる。ユーザー端末装置130は、例えば、パソコン(Personal Computer;PC)またはスマートフォンなどのコンピュータを用いて構成される。ユーザー端末装置130が、例えばスマートフォンなど携帯可能な装置を用いて構成され、ユーザーが、ランニング時にユーザー端末装置130を携帯するようにしてもよい。ユーザー端末装置130が、ユーザー装着システム120の一部として構成されていてもよい。
サーバ装置140は、ユーザーシステム110からデータを取得し、ユーザーごとにデータを解析してアドバイス等の情報を生成してユーザーシステム110へ送信する。
上位データ収集部12は、ユーザーシステム110からユーザー毎の情報を取得し、履歴情報を記録する。
個人目標データ分析部13は、上位データ収集部12が取得したデータ、および、ユーザー毎の目標など事前登録されているデータに基づいて、ユーザー毎にアドバイス等の情報を生成する。
例えば、個人目標データ分析部13が、ユーザー装着システム120が生成するユーザーのフォームの画像データと、ユーザーの目標を示す情報とを、複数のユーザーの運動の履歴データに基づいて学習済みの学習モデルに入力して、目標とすべきフォームの画像データ、および、ユーザーへのアドバイスなど、目標達成のための情報を出力し、ユーザー装着システム120へ送信するようにしてもよい。
個人目標データ分析部13は、分析手段の例に該当する。
通信ネットワーク910は、ユーザーシステム110とサーバ装置140との通信を仲介する。図1では、通信ネットワーク910が、ユーザー装着システム120とサーバ装置140との通信、および、ユーザー端末装置130とサーバ装置140との通信を仲介する場合の例を示している。ただし、ユーザーシステム110とサーバ装置140との通信は、これに限定されない。例えば、ユーザー装着システム120が、ユーザー端末装置130および通信ネットワーク910を介してサーバ装置140と通信を行うようにしてもよい。
通信ネットワーク910は、特定の種類の通信ネットワークに限定されない。例えば、通信ネットワーク910が、インターネットおよび携帯電話網を含んで構成されていてもよいが、これに限定されない。ここでいう携帯電話網は、通信事業者がスマートフォンなどの携帯電話機向けに提供する無線通信ネットワークである。
ユーザー装着システム120が、通信ネットワーク910に無線にて通信接続することが、ユーザーのランニングの邪魔になりにくい観点から好ましい。
図2は、ユーザー装着システム120の構成の例を示す図である。図2に示す構成で、ユーザー装着システム120は、情報収集部16と、情報伝達部17とを備える。
情報収集部16は、カメラ機能付き帽子21と、補填用カメラシステム22と、センサシステム23とを備える。カメラ機能付き帽子21は、フォーム画像カメラ3と、魚眼レンズ4と、データ制御部5と、無線通信部6aとを備える。補填用カメラシステム22は、補填用カメラ14と、魚眼レンズ4と、無線通信部6bとを備える。センサシステム23は、センサ15と、無線通信部6cとを備える。
情報伝達部17は、情報表示グラス7と、情報伝達イヤホン8と、伝達制御部9と、無線通信部6dとを備える。
情報収集部16は、ランニング時のユーザーの情報を取得する。
カメラ機能付き帽子21では、帽子のつば部にフォーム画像カメラ3が設けられている。ユーザーは、頭部にカメラ機能付き帽子21を装着してランニングを行う。
フォーム画像カメラ3は、ユーザーがカメラ機能付き帽子21を装着したときに、ユーザーの体の上方部位から下方を撮影可能な位置および向きに設けられる。このようにフォーム画像カメラ3を配置することで、ユーザーのランニングフォームを時系列の画像データとして収集することができる。
フォーム画像カメラ3は、撮影手段の例に該当する。
ただし、フォーム画像カメラ3の配置は、帽子のつば部に設けるものに限定されず、ランニング時にユーザーのランニングフォームを撮影可能ないろいろな配置を採用することができる。例えば、フォーム画像カメラ3が、スマートグラス(例えば、情報表示グラス7)の先端部分に設けられていてもよい。あるいは、フォーム画像カメラ3がバンダナに設けられ、ランニング時にユーザーの頭部前方からユーザーを撮影するようにしてもよい。
魚眼レンズ4は、フォーム画像カメラ3のレンズの部分に設けられ、フォーム画像カメラ3の画角をより広くする。これにより、フォーム画像カメラ3は、より広範囲の画像を撮影することができる。
ただし、魚眼レンズ4は必須ではない。フォーム画像カメラ3に魚眼レンズ4が設けられていなくてもよく、カメラ機能付き帽子21が魚眼レンズ4を備えていなくてもよい。
データ制御部5は、フォーム画像カメラ3が撮影した画像データを、人間が目視可能なランニングフォームデータに加工する。特に、データ制御部5は、フォーム画像カメラ3が撮影した画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する。また、データ制御部5が、ユーザーがユーザー端末装置130を用いて予め撮影したユーザーの画像データを、人間が目視可能なランニングフォームデータに加工するようにしてもよい。
また、データ制御部5が、予め撮影されたユーザーの画像を、フォーム画像カメラ3が撮影した画像の補正に用いるようにしてもよい。例えば、データ制御部5が、ユーザーのランニングフォームのうちフォーム画像カメラ3による撮影画像に映らない部分を、予め撮影されたユーザーの画像を用いて補完するようにしてもよい。また、データ制御部5が、フォーム画像カメラ3が撮影した画像、または、その画像を補正した画像のうち、ユーザーのランニングフォームに関係ない部分を、予め撮影されたユーザーの画像を用いて検出し、その部分のデータを削除するようにしてもよい。
データ制御部5は、データ制御手段の例に該当する。
無線通信部6aは、他の装置と通信を行う。例えば、無線通信部6aは、補填用カメラシステム22の無線通信部6bから、補填用カメラ14が撮影した画像のデータを受信する。また、無線通信部6aは、センサシステム23の無線通信部6cから、センサ15によるセンサデータを受信する。また、無線通信部6aは、情報伝達部17の無線通信部6dに、ユーザーのランニングフォームの画像データなど、ユーザーに提供するデータを送信する。
また、無線通信部6aは、通信ネットワーク910を経由してサーバ装置140と通信を行う。あるいは、無線通信部6aが、ユーザー端末装置130と通信を行い、ユーザー端末装置130を介してサーバ装置140とデータのやり取りを行うようにしてもよい。
補填用カメラシステム22は、フォーム画像カメラ3が撮影する画像の補助的な画像を撮影し、カメラ機能付き帽子21に送信する。
補填用カメラ14は、フォーム画像カメラ3が撮影する画像の補助的な画像を撮影する。例えばユーザーのランニング時に、補填用カメラ14は、ユーザーの手または足など、フォーム画像カメラ3とは異なる位置に設定(装着)され、ユーザー、または、ユーザーの周囲を撮影する。
補填用カメラ14は、補助撮影手段の例に該当する。
魚眼レンズ4は、補填用カメラ14のレンズの部分に設けられ、補填用カメラ14の画角をより広くする。これにより、補填用カメラ14は、より広範囲の画像を撮影することができる。
ただし、魚眼レンズ4は必須ではない。補填用カメラ14に魚眼レンズ4が設けられていなくてもよく、補填用カメラシステム22が魚眼レンズ4を備えていなくてもよい。補填用カメラシステム22が複数ある場合、魚眼レンズ4を備える補填用カメラシステム22と、魚眼レンズ4を備えていない補填用カメラシステム22とがあってもよい。
無線通信部6bは、他の装置と通信を行う。特に、無線通信部6bは、補填用カメラシステム22が撮影した画像のデータを、無線通信部6aに送信する。
センサシステム23は、ユーザーまたはユーザーの周囲に関するセンサデータ(測定データ)を取得し、カメラ機能付き帽子21に送信する。
センサ15は、ユーザーまたはユーザーの周囲に関する測定を行う。例えば、ユーザーのランニング時にセンサ15がユーザーの手または足など、ユーザーの体の部位に設けられ、その部位の位置、速度、加速度、向き(角度)、角速度、角加速度などのデータを取得するようにしてもよい。
無線通信部6cは、他の装置と通信を行う。特に、無線通信部6cは、センサ15によるセンサデータを、無線通信部6aに送信する。
補填用カメラシステム22およびセンサシステム23が取得するデータは、例えば、データ制御部5が、ユーザーのランニングフォームの画素を補正するために用いられていてもよい。特に、データ制御部5は、フォーム画像カメラ3が撮影した画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する際に、補填用カメラシステム22およびセンサシステム23が取得するデータを用いるようにしてもよい。例えば、データ制御部5が、ランニングフォームに示されるユーザーの各部のうち、フォーム画像カメラ3では撮影できない部位など、ランニングフォームデータとして不完全な部位の補正の為に、補填用カメラ14の画像、および、センサ15の測定データを用いるようにしてもよい。
また、データ制御部5が、センサ15の測定データから、補填用カメラ14の向き、高さ、速度、位置のうち少なくとも何れか1つの情報を取得し、得られた情報に基づいて、補填用カメラ14の画像を、フォーム画像カメラ3の画像の補正に反映させるようにしてもよい。
情報伝達部17は、ランニングフォームのチェックのための情報をユーザーに提示する。
情報表示グラス7は、ランニングフォームのチェックのための情報を表示する。例えば、情報表示グラス7が、データ制御部5が生成するユーザーのランニングフォームの画像を表示するようにしてもよい。これにより、ユーザーは、ほぼリアルタイムに自分のランニングフォームの目視確認が可能となる。
情報表示グラス7は、表示手段の例に該当する。
情報伝達イヤホン8は、ランニングフォームのチェックのための情報を音声で出力する。例えば、情報伝達イヤホン8が、ランニングに関するアドバイスを音声で出力するようにしてもよい。ただし、情報伝達イヤホン8は必須ではない。情報伝達部17が、情報伝達イヤホン8を備えていなくてもよい。
伝達制御部9は、情報表示グラス7を制御して、ランニングフォームのチェックのための情報を表示させる。また、伝達制御部9は、情報伝達イヤホン8を制御して、ランニングフォームのチェックのための情報を音声で出力させる。
例えば、伝達制御部9は、フォーム画像カメラ3の撮影画像に基づくユーザーのフォームの画像を、情報表示グラス7に表示させる。あるいは、伝達制御部9が、ユーザーがユーザー端末装置130を用いて予め撮影したユーザーの画像に基づくユーザーのフォームの画像を、情報表示グラス7に表示させるようにしてもよい。
伝達制御部9は、伝達制御手段の例に該当する。
無線通信部6dは、他の装置と通信を行う。特に、無線通信部6dは、ランニングフォームのチェックのための情報を無線通信部6aから受信する。
無線通信部6a、6b、6cおよび6dを総称して、無線通信部6とも表記する。
図3は、カメラ機能付き帽子21、情報表示グラス7、および、情報伝達イヤホン8の配置の例を示す図である。ユーザーに符号1を付してユーザー1とも表記する。
図3の例で、カメラ機能付き帽子21のつば部に、魚眼レンズ4を備えるフォーム画像カメラ3が設置されている。ユーザー1がランニング時にカメラ機能付き帽子21を装着した(帽子をかぶった)状態で、フォーム画像カメラ3は、ユーザー1のランニングフォームを撮影する。
また、カメラ機能付き帽子21のつば部には、データ制御部5および無線通信部6aも配置されている。ただし、データ制御部5および無線通信部6aの配置は、特定の配置に限定されない。
また、ユーザー1は、ランニング時に、情報表示グラス7および情報伝達イヤホン8を装着する。ユーザー1は、ランニング中に、情報表示グラス7に表示される各種情報を参照することができる。また、ユーザー1は、ランニング中に、情報伝達イヤホン8が音声で伝達する各種情報を得られる。
また、図3では、ユーザー1がランニング時にユーザー端末装置130を携帯する場合の例を示している。図3の例で、ユーザー端末装置130は、スマートフォンなどの携帯電話機を用いて構成される。ユーザー端末装置130が、ユーザー装着システム120からデータを収集して解析し、解析結果をユーザー装着システム120に出力するようにしてもよい。また、ユーザー端末装置130が、ユーザー装着システム120とサーバ装置140との通信を仲介するようにしてもよい。
ただし、ユーザー1が、ランニング時にユーザー端末装置130を携帯していなくてもよい。
図4は、補填用カメラ14およびセンサ15の配置の例を示す図である。図4の例では、ユーザーの左手、右手、左足、および、右足にそれぞれ補填用カメラ14とセンサ15とが設けられている。また、カメラ機能付き帽子21の後ろ側(ユーザーの後頭部側)のつばの部位に補填用カメラ14が設けられ、カメラ機能付き帽子21などユーザーの頭部と、ユーザーの胴体部分とに、それぞれセンサ15が設けられている。
情報収集部16は、フォーム画像カメラ3に加えて、これらの補填用カメラ14およびセンサ15を用いることで、ユーザーのランニングフォームをより正確に把握することができる。
ただし、補填用カメラ14およびセンサ15の個数および配置は特定のものに限定されない。また、補填用カメラ14およびセンサ15は、情報収集部16に必須ではない。情報収集部16が、補填用カメラ14およびセンサ15のうち何れか一方、または両方を備えていなくてもよい。
図5は、補助システム100が行う処理の例を示す図である。
図5の例で、ユーザー1は、ユーザー端末装置130を用いて事前にデータ登録を行う。例えば、ユーザー1は、ユーザー端末装置130としてスマートフォン等を用いて、ユーザー1自らのランニングフォーム画像を側面や背面方向含めて基礎データとして事前撮影し、ユーザー端末装置130に保存する。次に、ユーザー1は、ユーザー1自らの、年齢、性別、体形、病歴などの情報をユーザー端末装置130に入力する。ユーザー1が、体形の情報として、身長、体重および体脂肪率等の情報を入力するようにしてもよい。
次にユーザー1は、ユーザー1自らの過去のランニング実績や運動履歴の情報を、ユーザー端末装置130に入力する。次に、ユーザー1は、ユーザー1自らの目指す目的情報として、ランニングの速度や距離の目標や、ダイエット、健康などの具体的な目的を入力する。
目的情報と目標情報とが同一の情報として登録されていてもよい。あるいは、目的情報が示す目的の下で、目標情報が具体的な目標値を示すなど、目的情報と目標情報とがそれぞれ登録されていてもよい。
次に、ユーザー1が屋外等で、カメラ機能付き帽子21などユーザー装着システム120を装着しランニングを行うと、情報収集部16が、ユーザーのランニングの情報を収集する。具体的には、カメラ機能付き帽子21のつばの先に装着されたフォーム画像カメラ3が、ユーザー1のランニングフォーム画像を、ランニングの間、継続的に撮影する。
フォーム画像カメラ3が撮影するユーザー1のランニングフォームの画像の補足として、ユーザー1に装着された補填用カメラ14の撮影画像や、体の角度および加速度を検出するセンサ15の測定データ等を用いることができる。上記のように、フォーム画像カメラ3および補填用カメラ14などのカメラには、魚眼レンズ4が取り付けられていてもよい。
次に、データ制御部5は、図5のデータ構築の欄に示すように、情報収集部16が収集した画像情報やセンサデータなど融合し、さらにユーザー1がユーザー端末装置130を用いて撮影した、ユーザー事前登録のランニングデータをソフトウェア処理して、ランニングフォームの画像データなど、ユーザー1がランニングフォームとして目視確認可能なデータに加工する。例えば、データ制御部5は、ユーザー事前登録のランニングデータを、フォーム画像カメラ3の撮影画像、補填用カメラ14の撮影画像、および、センサ15の測定値等を用いて補正して、ユーザー1のリアルタイムのランニングフォームを示す情報を生成する。
例えば、データ制御部5が、フォーム画像カメラ3が撮影した画像、または、予め撮影されたユーザーの画像など、ベースとするユーザーのフォームの画像と、補填用カメラ14による撮影画像、および、センサ15による測定データのうち何れか一方、または両方を、これらの履歴データに基づいて学習済みの学習モデルに入力して、補正後のユーザーのフォームの画像データを取得するようにしてもよい。
次に、データ制御部5は、図5の抽象化データ加工の欄に示すように、データ構築で得られたランニングフォームデータに対して、顔の画像および服装の画像など個人の特定につながる情報の削除を行う。個人の特定につながる情報の削除として、データ制御部5が、顔の画像および服装の画像などをぼかす処理、あるいはモザイクをかける処理を行うようにしてもよい。
ユーザー装着システム120は、個人の特定につながる情報が削除されたランニングフォームのデータを、サーバ装置140へ送信する。
次に、サーバ装置140の上位データ収集部12は、ユーザー装着システム120またはユーザー端末装置130から、ユーザー1に関する情報を取得し、記憶する。例えば、ユーザー端末装置130が、ユーザー1が事前に登録した情報を、サーバ装置140へ送信し、サーバ装置140が、送信された情報を受信して記憶するようにしてもよい。また、サーバ装置140が、ユーザー装着システム120が送信した、個人の特定につながる情報が削除されたランニングフォームのデータを受信し記憶するようにしてもよい。
上位データ収集部12は、複数のユーザーシステム110から情報を取得し、ユーザー1毎(ユーザーシステム110毎)に情報を記憶する。ある1人のユーザー1との関係では、他のユーザー1を他ユーザーとも称し、他ユーザーの情報を他ユーザー情報とも称する。
上位データ収集部12は、例えば、複数のユーザーシステム110から取得する多様なランニングフォームと練習方法とその結果情報をユーザー1毎に記憶し管理する。
次に、個人目標データ分析部13は、人工知能を活用してデータドリブンで、またはルールベースで、ユーザー毎に最適ランニングフォームおよび最適練習方法を選定し、ユーザー1毎に、長期目標、リアルタイム目標、アドバイス情報を作成する。
例えば、個人目標データ分析部13は、ユーザー1が事前登録した、ユーザー1自らの目標情報や体形、年齢、性別などの個人特性情報と、ユーザー1のランニングフォーム、練習方法、および、その結果情報の履歴情報とを、上位データ収集部12から取得する。さらに、個人目標データ分析部13は、ユーザー1と同種の目標および個人特性を有する他ユーザーの練習方法およびアドバイスの履歴情報から、その他ユーザーに有益であったと推定される情報を抽出し、そのときの他ユーザーのランニングフォームや練習方法等の情報を取得する。個人目標データ分析部13は、これらの情報を用いて、ユーザー毎に最適ランニングフォームおよび最適練習方法を選定し、ユーザー1毎に、長期目標、リアルタイム目標、アドバイス情報を作成する。
例えば、個人目標データ分析部13が、ユーザー1の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザー1のランニングフォームおよびランニングの目的に基づいて、ランニングの事例データから抽出するようにしてもよい。
さらに例えば、ランニングの事例データが、ランニングフォームおよびランニングの目的に応じて分類されていてもよい。そして、個人目標データ分析部13が、ユーザー1の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザー1のランニングフォームおよびランニングの目的に基づくルールベースで、ランニングの事例データから抽出するようにしてもよい。
あるいは、個人目標データ分析部13が、ユーザー1のランニングフォームおよびランニングの目的を取得した場合に、これらのデータの取得を契機とするデータドリブンで、ユーザー1の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ランニングの事例データから抽出するようにしてもよい。
また、個人目標データ分析部13が、ユーザー1のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、ユーザー1に提供する情報を変化させるようにしてもよい。
次に、情報伝達部17では、伝達制御部9が、情報表示グラス7を制御して、リアルタイムのランニングフォームを表示させる。さらに、伝達制御部9は、個人目標データ分析部13が作成した目標およびアドバイス情報を、情報表示グラス7に表示させ、また、情報伝達イヤホン8に音声メッセージにて出力させる。このように、情報伝達部17は、情報表示グラス7および情報伝達イヤホン8を用いて、ユーザー1に情報を伝達する。
また、情報伝達部17が、直近の個人毎の異なる目標に対しての到達度を情報表示グラス7に点数表示するなどして、ユーザー1のモチベーションの維持や満足度の向上を図るようにしてもよい。ユーザー1は、ユーザー1自らの実際のランニングフォームを常時チェックしながらランニングを楽しむことができる。
例えば、個人目標データ分析部13が、ユーザー1の目標に対する到達度またはユーザー1の進歩を評価する評価値を算出するようにしてもよい。さらに例えば、個人目標データ分析部13が、ユーザー1のランニングフォームと、ユーザー1が目標とするランニングフォームとの類似度を算出するようにしてもよい。あるいは、個人目標データ分析部13が、ユーザー1の目標項目の達成割合を算出するようにしてもよい。
そして、情報伝達部17が、算出された評価値をユーザー1に伝達する(例えば、表示する)ようにしてもよい。
ここでユーザー1がランニングを行う環境が、短距離か長距離かの区別や、天候や、坂道、路面(芝、舗装路、山道)等によって、求められるランニングフォームは刻々と変化する。補助システム100によれば、フォーム画像カメラ3が撮影する画像で、路面情報等も収集し総合判断することで、ランニング環境に合致したランニングフォームなどの情報提供を行うことができる。
図6は、データ制御部5が、ユーザーのランニング画像の前方向画像および側面方向画像を生成する処理の手順の例を示す図である。データ制御部5は、例えば、ユーザーがランニングを行っている間、図5の処理を繰り返し行う。
図5に示す処理で、データ制御部5は、ユーザーが事前に撮影したランニング画像を取得する(ステップS101)。
次に、データ制御部5は、フォーム画像カメラ3が撮影した画像、補填用カメラ14が撮影した画像、および、センサ15の測定データを取得する(ステップS102)。
次に、データ制御部5は、フォーム画像カメラ3が撮影した画像、補填用カメラ14が撮影した画像、および、センサ15の測定データを用いて画像の合成および補正を行い、正面方向に加えて側面方向から、目視可能なランニングフォームの画像データを構築する(ステップS103)。
次に、データ制御部5は、ランニングの際に走路上に存在する建物のガラスや鏡に映る側面方向からのランニング画像を、フォーム画像カメラ3の画像または補填用カメラ14の画像で確認した場合、ユーザー本人であるかを人工知能で判定し、ユーザー本人と判定された画像を取り込み、目視可能なランニングフォームの画像に対して、取り込んだ画像データを付加し、さらにはランニング時の影画像を加味することで、より正確な側面方向画像のデータ補正および反映を行う(ステップS104)。例えば、データ制御部5は、ガラスまたは鏡に映るユーザー本人の画像を検出した場合に、ガラスまたは鏡に映るユーザー本人の画像を、フォーム画像カメラ3の画像の補正に反映させるようにしてもよい。
次に、データ制御部5は、ユーザーが事前に撮影したランニング画像をベースに、フォーム画像カメラ3および補填用カメラ14で得られた画像、および、センサ15の測定データを用いてランニングフォームにおけるユーザーの各部の位置を補正し、リアルタイムのランニングフォーム画像として前方向画像と側面方向画像を生成する(ステップS105)。
次に、データ制御部5は、例えばユーザー操作による指示など必要に応じて、リアルタイムの正面画像または側面画像のランニングフォームを、無線通信部6を介して情報伝達部17へ送信し、情報表示グラス7に表示させ、また、生成した画像データを記憶する(ステップS106)。
ステップS106の後、データ制御部5は、図6の処理を終了する。
このように、補助システム100によれば、屋外を含むランニングやウォーキングなどの運動において、そのフォームを常時収集可能な機能を有し、例えばユーザーは、一人で走りながらリアルタイムでランニングフォームを確認することができる。また、補助システム100によれば、ユーザー毎に異なる個別の目標について、ユーザーの体形や習得レベルを加味し、そのタイミングでのあるべき方向性と実際の状態との差異を常時把握し修正支援することが可能である。ランニングフォームの確認では、帽子のつば部やスマートグラスの先端部などの体の上方向から体の動作を撮影可能な部位に魚眼レンズ付きカメラもしくはカメラを装着し、収集した画像に対して、例えば正面方向からの画像の画素位置をソフトウェア補正するなどの補正を行い、目視可能なランニングフォーム画像を生成する。
また、補助システム100によれば、ランニングするユーザーの体上方に装着したカメラに加えて、例えば腕や足などにカメラを配して、それぞれのカメラ画像を組み合わせ補正することで、正面方向に加えて側面方向からの画像データを構築することができる。
また、補助システム100によれば、ユーザーが、スマートフォン等で基準のランニングフォームを事前撮影することで、ランニング時にカメラに映らない部分を補完し、カメラの画像のうちフォームに関係ない部分のデータは排除して、画像データ精度向上および画像データ生成の効率化を図ることができる。
また、補助システム100によれば、ランニングの際に走路上に存在する建物のガラスや鏡に映る側面方向からのランニング画像を、ユーザーが装着するカメラで確認した際は、本人であるかを人工知能による処理で判定して、映り込み画像からユーザーの側面方向画像を取り込み、情報表示グラス7に表示するランニング画像に対して、取り込んだ画像データを付加する、さらにはランニング時の影画像を加味することで、より正確な側面方向画像のデータ補正や反映が可能となる。
また、補助システム100によれば、カメラ画像以外にもユーザーの体の各部に位置や角度や加速度等のセンサを追加装着し、カメラの向き、移動速度、高さ、位置の各情報を収集し、この収集情報を合成カメラ画像に反映することで、より精度の高いランニングフォームデータの補正が可能となる。
また、補助システム100によれば、得られたランニングフォームの画像データを、ランニングするユーザー本人が常時目視可能な眼鏡型の情報表示グラス7の表示画面に表示することができ、ユーザーが、ランニングフォームをリアルタイムで確認することができる。
また、補助システム100によれば、眼鏡型の情報表示グラス7の表示画面にリアルタイムのランニングフォームと、ユーザー本人が直近で目指すランニングフォームとその差分と、目指すランニングフォームを実現する為のアドバイスを選択表示することができる。ユーザーは、必要時にこれらを常時認識でき、もしくは音声でアドバイスを聞くことができる。
また、補助システム100によれば、過去の知賢者の経験に基づくルールを個人のランニングフォームや目的別に分類し、ルールベースの人工知能を活用して、個々のユーザーが目指すランニングフォームに応じたランニングフォームやアドバイス等をユーザーに提示することができる。
また、補助システム100によれば、各ユーザーのランニングフォームデータを常時収集することができる。得られた各ユーザーのランニングフォームの情報は、クラウド等のデータ全体を一元管理される。補助システム100によれば、ユーザー毎の目的に対して、その目的を最も効率よく達成した事例を、データドリブンの人工知能処理で選択することができ、各ユーザーに最適な練習方法を提示することができる。
また、補助システム100によれば、ユーザーが目標とするランニングフォームへの到達度や進歩を数値化して、ユーザーに都度伝達し、ランニングに対するユーザーのモチベーションの向上を図ることができる。
また、補助システム100によれば、同一ユーザーにおいてもランニング距離や路面の勾配や路面の平坦度や、路面の硬度(アスファルト、芝、土)により、求めるランニングフォームやアドバイスを適切に変化させることができる。
ここで、ランニングには個人毎に、より速くとか、あるいはより長く、楽しく、ダイエット、ストレス解消などの異なる目標や目的がある。また、ランニングフォームは、個人毎に体形や筋力、さまざまな癖や障害有無など、良いとされる状態が異なり、また、ランニングの環境など各要素は日々変化する。一般の人が、誤った情報や思い込みで練習すると、進歩を得られなかったり、ケガに繋がったりすることも多く、また、頭で考える理想のフォームと自分のフォームの乖離を把握できないことが考えられる。
これに対し、補助システム100では、例えば帽子のつば部やスマートグラスの先端など、身体の上方部位から下方が撮影可能位置にカメラを装着し、さらに、その他の体の一部である腕や足等に魚眼レンズ付きカメラもしくはカメラを装着し、また、同じく体の一部にセンサを配しこの収集データをソフトウェア補正することで、ランニングフォーム画像データを立体的もしくは前方向、横方向、後方向からの可視データとして常時収集でき、またリアルタイムにユーザーにランニングフォーム情報を可視化することが可能となる。
ここで、ランニングフォームデータを、サングラス型のAR(Augmented Reality、拡張現実)機能として常時目視できる眼鏡型表示方式や、直接網膜に投影する方式、また音声でランニングフォームの改善点のアナウンスや、目標に対する良化度を数値化して伝達するなどの方式が考えられる。補助システム100では、これらの機能により、ユーザーは、お手本のフォームに対しての修正方法を画像もしくは音声でアドバイス受けることが可能で、フォームの補正がうまくいけば点数がアップするなどにより楽しく、常時向上意識を持って、練習に取り組むことが可能となる。
次に、お手本のランニングフォームは、老若男女、また、身長や体形、個人の運動能力や練習期間、また、痩せたいのか、速く走りたいのかなどの、個人毎の要望により、多種多様となる。補助システム100では、この個人毎、また日々異なるお手本や課題について、個人の体形や目標を加味して人工知能で判定提示し、点数提示が可能となる。なお、補助システム100では、画像データは、顔などの個人情報を削除しデータベース化し活用することができる。
補助システム100は、ランニング、ウォーキングに限らず、ゴルフなどの球技を含むさまざまなスポーツ関連、また体や心の健康関連に適用することができる。さらに、補助システム100は、人がランニングやウォーキングを行う屋外で、特に車両通行のないエリアの屋外画像収集と、この画像を活用した各種処理に適用することができる。
また、補助システム100では、周囲の環境も画像データとして収集可能なので、ユーザーが走行した経路や速度も画像情報から常時収集できる。このデータは、歩行者目線での道の欠陥や、植物の状態把握などの社会貢献への活用も可能である。例えば、ユーザーが山ですれ違う際に、ユーザーシステム110がデータ交換を行って、先の道の傷みや、植物の有り無し、周囲の店の込み具合などのデータを活用するようにしてもよい。
以上のように、フォーム画像カメラ3は、ユーザーに装着されてユーザーを撮影する。情報表示グラス7は、ユーザーに装着されて画像を表示する。伝達制御部9は、フォーム画像カメラ3の撮影画像に基づくユーザーの画像を情報表示グラス7に表示させる。
補助システム100では、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。補助システム100によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、補助システム100によれば、ユーザーに装着されるフォーム画像カメラ3および情報表示グラス7を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
また、センサ15は、ユーザーに装着されてユーザーの体の部位の位置の変化を検出する。データ制御部5は、センサ15の測定データに基づいて、フォーム画像カメラ3による撮影画像におけるユーザーの画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する。
補助システム100によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを提供できる。補助システム100によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
また、補填用カメラ14は、ユーザーに装着される。データ制御部5は、補填用カメラ14の画像に基づいて、フォーム画像カメラ3による撮影画像におけるユーザーの画像を、所定の方向から撮影した場合の画像に補正する。
補助システム100によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを、補填用カメラ14の画像を用いて高精度に生成して提供できる。補助システム100によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
また、データ制御部5は、予め撮影されたユーザーのフォーム画像を取得し、得られた、予め撮影されたユーザーのフォーム画像を用いて、所定の方向から撮影した場合の画像の補完を行う。
補助システム100によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを、予め撮影されたユーザーのフォーム画像を用いた補完によって高精度に生成して提供できる。補助システム100によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
また、データ制御部5は、予め撮影されたユーザーのフォーム画像を用いて、所定の方向から撮影した場合の画像のデータのうちユーザーの画像以外の部分のデータを削除する。
補助システム100によれば、画像からユーザーのランニングフォームに関係ない部分を削除することができ、この点で、より高精度なユーザーのフォーム画像を提供することができる。
また、データ制御部5は、フォーム画像カメラ3による撮影画像または補填用カメラ14による撮影画像から、ガラスまたは鏡に映ったユーザーの画像を検出した場合、ガラスまたは鏡に映ったユーザーの画像を、所定の方向から撮影した場合の画像に反映させる。補助システム100によれば、ガラスまたは鏡に映ったユーザーの画像を、所定の方向から撮影した場合のユーザーのランニングフォームの画像を生成することができ、この点で、より高精度なユーザーのフォーム画像を提供することができる。
また、データ制御手段は、15センサの測定データで示される、補填用カメラ14の向き、高さ、速度、位置のうち少なくとも何れか1つに基づいて、補填用カメラ14の画像を、所定の方向から撮影した場合の画像に反映させる。
補助システム100によれば、補填用カメラ14の位置または姿勢に基づいて、補填用カメラ14の画像が、所定の方向から撮影した場合のユーザーのランニングフォームの画像に反映させることができる。補助システム100によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
また、伝達制御部9は、所定の方向から撮影した場合の画像を情報表示グラス7にリアルタイムで表示させる。
補助システム100によれば、ユーザーは、自らのランニングフォームの画像をリアルタイムで参照しながらランニングの練習を行うことができ、この点で、ランニングの練習を効果的に行えると期待される。
また、個人目標データ分析部13は、運動に関するユーザーの目標を示す情報と、データ制御部5が生成した画像とに基づいて、目標達成のための情報を生成する。伝達制御部9は、目標達成のための情報を情報表示グラス7に表示させる。
補助システム100によれば、目標達成のためのアドバイスなど、目標達成のための情報をユーザーに提供することができる。
また、個人目標データ分析部13は、ユーザーの目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザーのランニングフォームおよびランニングの目的に基づいて、ランニングの事例データから抽出する。
補助システム100によれば、ユーザーのランニングフォームおよびランニングの目的に応じてランニングフォームまたは練習方法を選択する点で、ユーザーに応じて適切な情報を提供できると期待される。
また、ランニングの事例は、ランニングフォームおよびランニングの目的に応じて分類されている。個人目標データ分析部13は、ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーのランニングフォームおよびランニングの目的に基づくルールベースで、運動の事例データから抽出する。
補助システム100によれば、ユーザーのランニングフォームおよびランニングの目的に応じて適切に、ユーザーに情報提供できると期待される。
また、個人目標データ分析部13は、ユーザーのランニングフォームおよびランニングの目的を取得した場合にデータドリブンで、ユーザーの目標となるランニングフォームまたは練習方法の少なくとも何れかを、ランニングの事例データから抽出する。
補助システム100によれば、ユーザーのランニングフォームおよびランニングの目的に応じて適切に、ユーザーに情報提供できると期待される。
また、個人目標データ分析部13は、ユーザーの目標達成度の評価値を算出する。
補助システム100によれば、ユーザーは、目標達成度の評価値を参照して、ランニングのモチベーションを高めることができると期待される。また、補助システム100によれば、ユーザーは、目標達成度の評価値をランニングの参考にすることができる。
また、個人目標データ分析部13は、ユーザーのランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、ユーザーに提供する情報を変化させる。
補助システム100によれば、ユーザーのランニングの状況に応じて適切な情報を提供できると期待される。
図7は、実施形態に係る補助システムの構成の、もう1つの例を示す図である。図7に示す構成で、補助システム610は、撮影部611と、表示部612と、伝達制御部613とを備える。
かかる構成で、撮影部611は、ユーザーに装着されてユーザーを撮影する。表示部612は、ユーザーに装着されて画像を表示する。伝達制御部613は、撮影部611の撮影画像に基づくユーザーの画像を表示部612に表示させる。
撮影部611は、撮影手段の例に該当する。表示部612は、表示手段の例に該当する。伝達制御部613は、伝達制御手段の例に該当する。
補助システム610では、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。補助システム610によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、補助システム610によれば、ユーザーに装着される撮影部611および表示部612を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
図8は、実施形態に係る補助方法における処理の手順の例を示す図である。図8に示す補助方法は、伝達の制御を行うこと(ステップS611)を含む。
伝達の制御を行うこと(ステップS611)では、コンピュータが、ユーザーに装着されてそのユーザーを撮影する撮影手段の撮影画像に基づく、そのユーザーの画像を、そのユーザーに装着されて画像を表示する表示手段に表示させる。
図8に示す補助方法によれば、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。図8に示す補助方法によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、図8に示す補助方法によれば、ユーザーに装着される撮影手段および表示手段を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
図9は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図9に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740と、不揮発性記録媒体750とを備える。
上記のデータ制御部5、伝達制御部9、ユーザー端末装置130、および、サーバ装置140のうち何れか1つ以上またはその一部が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。また、インタフェース740は、不揮発性記録媒体750用のポートを有し、不揮発性記録媒体750からの情報の読出、および、不揮発性記録媒体750への情報の書込を行う。
データ制御部5がコンピュータ700に実装される場合、その動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、CPU710は、プログラムに従って、データ制御部5が行う処理のための記憶領域を主記憶装置720に確保する。
また、インタフェース740は、データ制御部5と他のデバイスまたはユーザーとのインタフェースとして機能する。
伝達制御部9がコンピュータ700に実装される場合、その動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、CPU710は、プログラムに従って、伝達制御部9が行う処理のための記憶領域を主記憶装置720に確保する。
また、インタフェース740は、伝達制御部9と他のデバイスまたはユーザーとのインタフェースとして機能する。
ユーザー端末装置130がコンピュータ700に実装される場合、その動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、CPU710は、プログラムに従って、ユーザー端末装置130が行う処理のための記憶領域を主記憶装置720に確保する。
また、インタフェース740は、ユーザー端末装置130と他のデバイスまたはユーザーとのインタフェースとして機能する。
サーバ装置140がコンピュータ700に実装される場合、その動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、CPU710は、プログラムに従って、サーバ装置140が行う処理のための記憶領域を主記憶装置720に確保する。
また、インタフェース740は、サーバ装置140と他のデバイスまたはユーザーとのインタフェースとして機能する。
上述したプログラムのうち何れか1つ以上が不揮発性記録媒体750に記録されていてもよい。この場合、インタフェース740が不揮発性記録媒体750からプログラムを読み出すようにしてもよい。そして、CPU710が、インタフェース740が読み出したプログラムを直接実行するか、あるいは、主記憶装置720または補助記憶装置730に一旦保存して実行するようにしてもよい。
なお、データ制御部5、伝達制御部9、ユーザー端末装置130、および、サーバ装置140が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
ユーザーに装着されて前記ユーザーを撮影する撮影手段と、
前記ユーザーに装着されて画像を表示する表示手段と、
前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
(付記2)
前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
をさらに備える、付記1に記載の補助システム。
(付記3)
前記ユーザーに装着される補助撮影手段を更に備え、
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
付記2に記載の補助システム。
(付記4)
前記データ制御手段は、予め撮影された前記ユーザーの画像を取得し、得られた、予め撮影された前記ユーザーの画像を用いて、前記所定の方向から撮影した場合の画像の補完を行う、
付記3に記載の補助システム。
(付記5)
前記データ制御手段は、予め撮影された前記ユーザーの画像を用いて、前記所定の方向から撮影した場合の画像のデータのうち前記ユーザーの画像以外の部分のデータを削除する、
付記4に記載の補助システム。
(付記6)
前記データ制御手段は、前記撮影手段による撮影画像または前記補助撮影手段による撮影画像から、ガラスまたは鏡に映った前記ユーザーの画像を検出した場合、前記ガラスまたは鏡に映った前記ユーザーの画像を、前記所定の方向から撮影した場合の画像に反映させる、
付記3から5の何れか一つに記載の補助システム。
(付記7)
前記データ制御手段は、前記センサの測定データで示される、前記補助撮影手段の向き、高さ、速度、位置のうち少なくとも何れか1つに基づいて、前記補助撮影手段の画像を、前記所定の方向から撮影した場合の画像に反映させる、
付記3から6の何れか一つに記載の補助システム。
(付記8)
前記伝達制御手段は、前記所定の方向から撮影した場合の画像を前記表示手段にリアルタイムで表示させる、
付記1から7の何れか一つに記載の補助システム。
(付記9)
運動に関する前記ユーザーの目標を示す情報と、前記データ制御手段が生成した画像とに基づいて、目標達成のための情報を生成する分析手段
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
付記1から8の何れか一つに記載の補助システム。
(付記10)
前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づいて、運動の事例データから抽出する、
付記9に記載の補助システム。
(付記11)
前記運動の事例データは、運動フォームおよび運動の目的に応じて分類されており、前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づくルールベースで、運動の事例データから抽出する、
付記10に記載の補助システム。
(付記12)
前記分析手段は、前記ユーザーの運動フォームおよび運動の目的を取得した場合にデータドリブンで、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、運動の事例データから抽出する、
付記10に記載の補助システム。
(付記13)
前記分析手段は、前記ユーザーの目標達成度の評価値を算出する、
付記9から11の何れか一つに記載の補助システム。
(付記14)
前記分析手段は、前記ユーザーがランニングを行う場合のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、前記ユーザーに提供する情報を変化させる、
付記9から12の何れか一つに記載の補助システム。
(付記15)
コンピュータが、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
(付記16)
コンピュータに、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
3 フォーム画像カメラ
4 魚眼レンズ
5 データ制御部
6 無線通信部
7 情報表示グラス
8 情報伝達イヤホン
9 伝達制御部
12 上位データ収集部
13 個人目標データ分析部
14 補填用カメラ
15 センサ
16 情報収集部
17 情報伝達部
21 カメラ機能付き帽子
22 補填用カメラシステム
23 センサシステム
100 補助システム
110 ユーザーシステム
120 ユーザー装着システム
130 ユーザー端末装置
140サーバ装置

Claims (9)

  1. ユーザーに装着されて前記ユーザーを撮影する撮影手段と、
    前記ユーザーに装着されて画像を表示する表示手段と、
    前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
    前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
    補正後の前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
    を備える補助システム。
  2. 前記ユーザーに装着される補助撮影手段を更に備え、
    前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
    請求項に記載の補助システム。
  3. 前記データ制御手段は、前記撮影手段による撮影画像または前記補助撮影手段による撮影画像から、ガラスまたは鏡に映った前記ユーザーの画像を検出した場合、前記ガラスまたは鏡に映った前記ユーザーの画像を、前記所定の方向から撮影した場合の画像に反映させる、
    請求項に記載の補助システム。
  4. 運動に関する前記ユーザーの目標を示す情報と、前記データ制御手段が生成した画像とに基づいて、目標達成のための情報を生成する分析手段
    を更に備え、
    前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
    請求項からの何れか一項に記載の補助システム。
  5. 前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づくルールベースで、運動フォームおよび運動の目的に応じて分類されている運動の事例データから抽出する、
    請求項に記載の補助システム。
  6. 前記分析手段は、前記ユーザーの運動フォームおよび運動の目的を取得した場合にデータドリブンで、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、運動の事例データから抽出する、
    請求項に記載の補助システム。
  7. 前記分析手段は、前記ユーザーがランニングを行う場合のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、前記ユーザーに提供する情報を変化させる、
    請求項からの何れか一項に記載の補助システム。
  8. コンピュータが、
    ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、
    補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
    ことを含む補助方法。
  9. コンピュータに、
    ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、
    補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
    ことを実行させるためのプログラム。
JP2022042052A 2022-03-17 2022-03-17 補助システム、補助方法およびプログラム Active JP7287715B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022042052A JP7287715B1 (ja) 2022-03-17 2022-03-17 補助システム、補助方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022042052A JP7287715B1 (ja) 2022-03-17 2022-03-17 補助システム、補助方法およびプログラム

Publications (2)

Publication Number Publication Date
JP7287715B1 true JP7287715B1 (ja) 2023-06-06
JP2023136398A JP2023136398A (ja) 2023-09-29

Family

ID=86610990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022042052A Active JP7287715B1 (ja) 2022-03-17 2022-03-17 補助システム、補助方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7287715B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140180449A1 (en) 2012-12-21 2014-06-26 Hsiu-Ying Sung Self-learning system for water sport users
US20150253571A1 (en) 2014-03-07 2015-09-10 Bion Inc. Head-mount display with exercise information displayed thereon
JP2015229052A (ja) 2014-06-06 2015-12-21 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20170072283A1 (en) 2014-02-28 2017-03-16 Russell Brands , Llc Sporting device and wearable computer interaction
JP2020517168A (ja) 2016-12-23 2020-06-11 ラ コーポレーション プティ リミテッドRA Corporation Pty Ltd 電話機格納及びアクセスシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140180449A1 (en) 2012-12-21 2014-06-26 Hsiu-Ying Sung Self-learning system for water sport users
US20170072283A1 (en) 2014-02-28 2017-03-16 Russell Brands , Llc Sporting device and wearable computer interaction
US20150253571A1 (en) 2014-03-07 2015-09-10 Bion Inc. Head-mount display with exercise information displayed thereon
JP2015229052A (ja) 2014-06-06 2015-12-21 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2020517168A (ja) 2016-12-23 2020-06-11 ラ コーポレーション プティ リミテッドRA Corporation Pty Ltd 電話機格納及びアクセスシステム

Also Published As

Publication number Publication date
JP2023136398A (ja) 2023-09-29

Similar Documents

Publication Publication Date Title
US11037369B2 (en) Virtual or augmented reality rehabilitation
JP6332830B2 (ja) 運動支援システム及び運動支援方法、運動支援プログラム
CN107224261B (zh) 利用虚拟现实的视觉障碍检测系统
KR100772497B1 (ko) 골프 클리닉 시스템 및 그것의 운용방법
US11373378B2 (en) Device for simulating a virtual fitness partner and methods for use therewith
US7840031B2 (en) Tracking a range of body movement based on 3D captured image streams of a user
JP5477399B2 (ja) 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
CN107754225A (zh) 一种智能健身教练系统
CN108028902A (zh) 集成传感器和视频运动分析方法
CN104126185A (zh) 疲劳指数及其用途
CN105813698A (zh) 用于合并来自多个装置的能量消耗计算的健身训练系统
US20130171596A1 (en) Augmented reality neurological evaluation method
CN107211109B (zh) 视频和运动事件集成系统
CN103099602A (zh) 基于光学识别的体质检测方法与系统
CN103282907A (zh) 自动个人训练的方法和系统
CN110600125B (zh) 一种基于人工智能的体态分析助手系统及传输方法
JP2011503685A (ja) レンダリングされた像の表示設定を選択するための方法及びシステム
KR20190089568A (ko) 웨어러블 기반의 모션 센싱 기술을 이용한 태권도 품새 평가 시스템
KR20230147199A (ko) 통합된 스포츠 훈련
CN113542378A (zh) 面向远程康复服务的交互式运动训练方法、装置、计算机设备和存储介质
CN111401340B (zh) 目标对象的运动检测方法和装置
KR102226623B1 (ko) 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템
JP7287715B1 (ja) 補助システム、補助方法およびプログラム
TW201524556A (zh) 個人化運動模擬系統
EP3075315B1 (en) System and computer-implemented method for monitoring the visual behavior of a person

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R151 Written notification of patent or utility model registration

Ref document number: 7287715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151