JP7210791B1 - 運動支援システム - Google Patents

Abstract

【課題】 使用する健康器具に特別なハードウエアを必要とせず、運動者にマーカやセンサなどの特別な機器を装着する必要もなく、運動の検出に複雑なアルゴリズムを用いることなく、良好に運動を検出する。【解決手段】 運動者が行っているウォーキングマシンやランニングマシンなどなどによる繰り返しの身体運動を、撮像部で撮影する。そして、撮像して得た運動者の画像入力信号から、画像解析部で運動者の頭部の動き情報を検出する。次に、映像データ記憶部に記憶されている映像データの表示速度を、前記動き情報に応じて映像制御部で制御し、運動者に対して表示装置で表示する。【選択図】図１

Description

本発明は、運動支援システムに関し、例えば、高齢者や障害者のリハリビテーションで行われる身体運動（歩行動作、自転車漕ぎ、踏台昇降、など）を支援するためのシステムに関する。

高齢者や障害者が行うリハビリテーションにおいては、ウォーキングマシンやランニングマシンなどのトレッドミル、フィットネスバイク、昇降踏台、ローイングマシン（ボート漕ぎ）、などの数々の健康器具を用いたトレーニング（身体運動）が行われている。これらの健康器具は比較的狭いスペースに設置可能なため、医療機関や介護施設の他、家庭でも利用が進んでいる。そして、これらの健康器具には、トレーニングを行う運動者に目標意識を持たせるべく、例えば歩行運動の場合には、歩行距離や歩行時間などが表示されている健康器具も多くあるが、単調な運動の繰り返しであるためトレーニングに飽きてしまい、やがてトレーニングを行わなくなってしまうことが多かった。

そこで、利用者に対してトレーニング自体に楽しみを感じさせることで、トレーニングを継続しやすくすることができるトレーニング装置が提案されてきた。

従来のトレーニング装置としては、下記特許文献のようなものがある。特許文献１の「トレーニング装置」は、ランニングマシンなどの健康器具に回転検出機構を設けて歩行距離を求め、歩行距離に応じて変化する風景を表示するものである。運動者の運動に応じて動画の表示速度（再生速度）を制御することで、あたかも実際に道を歩いているように、自分の歩行動作に応じて変化していく風景を楽しむことができる。

特許文献２の「運動補助システム」は、運動者の手または足に色のついたマーカを取り付けて、その色マーカの位置をカメラで検出することにより、運動者の運動の状態を検出するものである。特許文献１のように健康器具に専用の回転検出機構を設ける必要がないため、安価に実現できる。

特許文献３の「運動支援装置および運動支援方法」は、特許文献１のように健康器具内で運動量を検出して歩行した距離を検出する方法と、別の手段としてカメラで撮影した画像から運動者画像を抽出し、その時間変化に基づいて運動者が運動した距離を算出する方法を提案している。

特開2004-121592号公報 特開2007-144107号公報 特開2018-167073号公報

しかしながら、特許文献１記載の背景技術では、健康器具に、回転量を検出して外部に出力するための専用ハードウエアが必要であり、市販の健康器具をそのまま利用することができず、高価になってしまう。さらに、踏台昇降やボート漕ぎなどの健康器具では、回転機構を有せず、運動の動作を検出できないために使用できず、ウォーキングマシンやフィットネスバイクなどの回転機構を有する一部の健康器具に限られていた。

特許文献２記載の背景技術では、カメラを利用して運動量を検出することから、健康器具に回転検出機構が不要になるものの、運動者にマーカを取り付ける必要がある。このマーカは高価でないものの、トレーニングの度にマーカを取り付けることには大変な煩わしさがあり、特に高齢者や障害者の場合にはマーカを取り付けること自体に困難さがある。さらに、マーカの位置変化を良好に撮影できる位置にカメラを設置する必要があり、運動の種類に応じて、カメラ位置を正面や側面などマーカが見やすい位置にカメラを移動して、位置を調整する必要があった。運動者の身長や体形によってもカメラの位置調整する必要もあり、非常に煩わしい作業が必要であった。

特許文献３の背景技術では、特許文献１と同様に健康器具内部に運動量を計測する処理部や通信手段を有することが必要で、高価となる。また、この特許文献３では、運動者画像を検出して運動の周期を検出できる実施例も提案されており、カメラ画像から腕のふり幅や足の上げ幅などを検出する例が挙げられている。しかしながら、カメラ画像から腕のふり幅や足の上げ幅を検出するため、カメラの位置を変えることと、動く部位に特化した検出が必要である。

本発明は、以上のような課題に着目してなされたもので、その目的は、トレーニングする運動者の運動を検出するにあたり、
(1)使用する健康器具に特別なハードウエアを必要とせず、安価に実現できる。
(2)多くの種類の健康器具が利用できる。
(3)運動者にマーカやセンサなどの特別な機器を装着しない。
(4)運動の検出に複雑なアルゴリズムを用いず、安定して運動が検出できる。
ようにした運動支援システムを提供することである。

本発明は、運動の種類に関わらず、運動者の顔を正面からとらえる位置に撮像部を配置する。運動者が映像を見ながらトレーニングする装置では、撮像部を映像が表示される表示装置の直上に配置する。前記映像に各種情報を提示する場合、撮像部は情報の直近に配置する。

本発明は、さらに音声入出力部を備える。あるいは、前記音声入力部を制御するスイッチを備える。また、前記音声入出力部、もしくは音声入出力部とスイッチを使い、運動者にデュアルタスクを提供する。

本発明は、さらに、運動者の動き情報から生体情報を解析する生体情報解析部、健康器具ないし運動者の周辺の情報を解析する空間情報解析部、それらの解析情報を記録する健康記録部、前記健康記録部に記録された情報から前記運動者について危険情報を検出する健康管理部などを有する。また、動画を複数の静止画に分割し、運動者の運動量に応じて静止画を表示するスピードを変更する手段と、前記静止画にテキストの追加する手段を有する。

本発明は、さらに映像データの撮影情報と身体運動の種類から、表示する映像の読出し条件を判断する手段を有する。更には、撮像部は、運動者の頭部を中央部付近に、運動者の全身と周辺を含めて写す広画角レンズを有する。

本発明では、運動者の頭部の動きに注目する。健康器具でトレーニングする際には、重心の移動もしくは上半身の筋肉の伸縮が生じ、それに伴い必ず頭部が移動する。例えば、下記文献(1)は、歩行・走行運動における運動部位、胴体の動き、頭（肩から上）の動きについて考察している。
ａ，文献(1)
・「身体重心の左右変動に基づく歩行の動的安定性評価」、北里大学、理学療法科学 23（1）：55-60，2008、p55‐60
・「義肢装具における歩行評価 歩行分析の基礎ー正常歩行と異常歩行ー」、新潟医療福祉大学、日本義肢装具学会誌、Vol 28 No.1 2012、p57‐61
・「歩行のメカニズムと筋肉の動き」障害予防学（理学療法士）（ホームページのURL：https://rehabilizyoho.com/cate29/en510.html）
・「常者における歩行変動性に関する研究:―足踏み動作と10ｍ歩行，トレッドミル歩行との比較」理学療法学 Supplement 46S1(0), H2-191_1-H2-191_1, 2019公益社団法人日本理学療法士協会

下記文献(2)は、自転車運動（ペダルこぎ）における運動部位、胴体の動き、頭（肩から上）の動きについて考察している。
ｂ，文献(2)
・「ACTIVIKE（伸び悩みのヒントは上半身！自転車のペダリングと上半身の関係）」ホームページのURL：https://activike.com/2020/11/12/upperbody_is_very_important/）
・「メディアフォルテ ロードバイク、クロスバイクでの正しい上半身の使い方」ホームページのURL：https://media-forte.net/bike/upperbody/

以上の各文献を参考にして、各運動の動きをまとめると、次の表１のようになる。

この表１からわかるように、健康器具など用いたトレーニング（以降「身体運動」と称する。）では、頭部の位置や見かけ上の大きさが変化し、さらに、身体運動の動きが速い場合には頭部の動きも早くなり、身体運動の動きが遅い場合は頭部の動きも遅くなる。してみると、頭部の動きの変化を捉えることで、身体運動の動きの早さを知ることができる。

頭部の動きの変化を捉える具体的な方法を説明する。健康器具などを用いた身体運動では、特定の動作の繰り返しとなるため、かならず動作の反転が生じる。例えば、頭部位置の移動方向が右方向から左方向へ（または、上方向から下方向へ）、見かけ上の頭部の大きさの変化が拡大から縮小へ（または、縮小から拡大へ）が生じる。そこで、頭部の位置や大きさの変化から、動作の反転を検出することで、運動者の身体運動を捉えることができる。

本発明は、これらの点に着目したもので、運動する運動者をカメラで撮影し、運動者の頭部の位置の変化、または、頭部の見かけ上の大きさの変化の反転を検出する。なお、頭部の検出は、例えば、ＡＩ（人工知能）を用いた顔検出や顔認証などの画像処理手法を用いることで容易に実現できるとともに、運動する運動者の正面にカメラを設置することで、精度よく検出が行える。

さらに、本発明によれば、身体運動の種類に応じて頭部検出のアルゴリズムを変更する必要はない。このため、身体運動の種類に寄らず基本的に同じアルゴリズムを用いることができ、多くの種類の健康器具で利用することができる。また、カメラ位置も頭部の動きを検出できる位置でよく、身体運動によってカメラ位置を変更する必要はない。

本発明によれば、使用する健康器具に専用のハードウエアを必要とせず、また、運動者にマーカやセンサなどを付ける必要もなく、カメラのみで運動者の動きを捉えて、身体運動の早さを検出することとしたので、安価にシステムを構築できる。また、頭部の動きだけを検出すればよいことから、手や足の検出のように複雑な認識のアルゴリズムは不要であり、多くの身体運動に応用できる。

本発明の実施例の全体構成を示す斜視図である。 前記図１の信号処理部の構成例を示すブロック図である。 前記図２の画像解析部の構成例を示すブロック図である。 運動の種類と運動レベルの検出時間間隔の一例を示す図である。 信号処理部の動作を示すタイムチャートである。 (A)は運動の種類と音声との関係の一例を示し、(B)は運動レベルとＢＧＭないし動作音の関係の一例を示す図である。 前記図２の映像制御部の構成例を示すブロック図である。 (A)は前記実施例１における運動レベルとメッセージの関係の一例を示し、(B)は表示装置における表示例を示す図である。 前記実施例における運動レベルの設定からＢＧＭ出力・停止に至る動作手順を示すフローチャートである。 前記実施例の撮像部としてスマートフォンを用いた場合を示す図である。 実施例２の映像制御部３３０の構成例を示すブロック図である。 実施例３の信号処理部の構成例を示すブロック図である。 前記図１２の音声制御部の構成例を示すブロック図である。 前記図１２の画像解析部の構成例を示すブロック図である。 実施例３における頭部等の検出領域を示す図である。 実施例３におけるコンテンツの選択画面の例を示す図である。 実施例４の信号処理部の構成例を示すブロック図である。 前記図１７の主要部の構成例を示すブロック図である。 実施例４におけるクイズ画面の一例を示す図である。 実施例５の信号処理部の構成例を示すブロック図である。 実施例５における危険状態把握時の様子を示す図である。 実施例５における撮像部の画角の例を示す図である。

以下、本発明の望ましい実施形態について、添付の図面を参照して具体的に説明するが、既に周知の技術的部分については説明を省略ないし簡略化する。

最初に、実施例１について、図１～図１０を参照しながら説明する。本実施例では、健康器具として踏台昇降を用いる例を示す。

＜本実施例の構成＞ 図１に示すように、昇降踏台１００の前には、大型テレビなどの表示装置１１０が置かれ、この表示装置１１０を見ながら、運動者ＥＸは、昇降踏台１００で上り下りの身体運動を行う。信号処理部２００は、例えばパーソナルコンピュータで構成されており、ＨＤＴＶ（High Definition Television：高精細テレビ）程度の画素数を有する撮像部１２０（例えばＵＳＢカメラ）とＵＳＢケーブル（図示せず）で接続されており、図示するように、運動者ＥＸを正面から撮影するように設置されている。この撮像部１２０には、広画角のレンズが具備され（例えば画角９０度）、運動者ＥＸが踏台昇降して動いても頭部から足までの全身を撮影する画角になっている。広画角となっているため、頭部の撮像画素数は少なくなる（８０画素×８０画素前後）が、画像認識技術を用いた頭部の検出処理には十分な画素数である。

次に、前記表示装置１１０は、信号処理部２００とＨＤＭＩ（登録商標）（High Definition Multimedia Interface：高精細度マルチメディアインターフェース）ケーブルなどで接続され、映像出力信号に基づいて表示装置に映像が表示される。また、信号処理部２００と音声出力装置１３０は、スピーカーケーブルなどで接続され、音声出力信号に基づいて音声出力装置１３０から音声が発せられる。なお、昇降踏台１００には、運動者ＥＸの動きを検出するセンサなどのハードウエアは一切なく、また、信号処理部２００とも接続されていない。

信号処理部２００は、図２のように、全体制御部２１０、画像解析部２２０、映像制御部２３０、映像データ記憶部２４０、音声制御部２５０、音声データ記憶部２６０から構成されている。全体制御部２１０、画像解析部２２０、映像制御部２３０、音声制御部２５０は、例えば、アプリケーションソフトウエアとなっており、図示しないキーボードやマウスなどによる入力に基づいて起動される。また、映像データ記憶部２４０、音声データ記憶部２６０は、パーソナルコンピュータのハードディスクメモリなどで実現されている。

ここで、信号処理部２００の概略の動作を説明する。撮像部１２０で順次撮像される画像は、画像入力信号（画像データ）として画像解析部２２０に送られる。画像解析部２２０では、後述するような種々の画像解析が行われ、動き情報、運動者情報、生体情報、ジェスチャ情報、空間情報からなる画像解析情報を生成する。全体制御部２１０は、画像解析部２２０で生成された画像解析情報から、映像制御部２３０と音声制御部２５０を制御する。全体制御部２１０は、システム全体を制御するもので、特に画像解析部２２０から取得される画像解析情報に基づいて、映像制御部２３０と音声制御部２５０に必要なデータを送り、制御する。

映像データ記憶部２４０には、例えばｍｐ４、ｍｏｖなどの動画像フォーマットで作成された１０～２０分程度の動画データが複数種類保存されている。身体運動には、歩行運動や自転車漕ぎなど複数の種類があるが、例えば歩行運動の場合には時速４ｋｍ程度で散歩する映像データを、自転車漕ぎの場合には時速２０ｋｍ程度でサイクリングする映像データを用いる。身体運動にあった映像を利用することで、心地よく身体運動することができる。映像制御部２３０は、全体制御部２１０が画像解析部２２０から受け取る動き情報（運動レベル）に応じて、映像データ記憶部２４０から読みだす映像データの表示を制御する。

音声データ記憶部２６０には、ＢＧＭ（Background Music：バックグラウンドミュージック）や足音などの動作音（効果音）や、運動者ＥＸに問いかける挨拶メッセージなどが記憶されている。音声制御部２５０は、全体制御部２１０が画像解析部２２０から受け取る動き情報（反転情報、運動レベル）に応じて、音声データ記憶部２６０から読みだす音声データの音声出力を制御する。

次に、画像解析部２２０について、図３を用いて詳しく説明する。画像解析部２２０は、動き情報解析部２２１、ジェスチャ解析部２２２、運動者情報解析部２２３、生体情報解析部２２４、空間情報解析部２２５、から構成されている。以下、各解析部について下記に説明する。

(1)動き情報解析部２２１は、画像入力信号から、動き情報を検出する。動き情報は、下記の４つの検出部から検出される頭部情報、反転情報、カウント情報、運動レベルである（下線部）。

ａ，頭部検出部２２１Ａ：顔検出処理や眼検出処理などの手法を用いて、頭部の位置を矩形情報として取得して、この矩形の中心位置座標と矩形のサイズを頭部情報として検出する。

ｂ，反転検出部２２１Ｂ：頭部検出部２２１Ａで検出した矩形位置の中心位置、矩形のサイズの時間的な変化を検出し、変化の方向が逆転したかを判別する。例えば、頭部が右方向に移動した状態から左方向への移動に変わったと判断した場合に、反転情報を発する。なお、身体運動により反転情報を検出する頭部の移動方向が異なるため、身体運動により、反転を検出方向は変更する。さらに、踏台昇降やボート漕ぎの場合には身体運動により頭部の大きさも変化するため、頭部の移動方向の変化だけでなく、頭部の大きさの変化を検出するようにしてもよい。これらをまとめると、表２のようになる。

ｃ，カウント部２２１Ｃ：反転検出部で検出した反転情報の数をカウントし、カウント情報を検出する。踏台昇降の運動の場合には、階段を上り下りした数に、歩行運動の場合には歩数に、自転車漕ぎの場合にはペダルを回した数に、それぞれ相当する。

ｄ，運動レベル検出部２２１Ｄ：反転情報が検出される時間間隔Ｔを検出し、その時間間隔Ｔに応じて、運動レベルを決定する。なお、後述するように、この運動レベルに応じて表示する映像の速さが変更される。本実施例では運動レベルを下記の５段階とし、下記のように設定している。

つまり、運動レベルが低い場合（０または１）は、運動者ＥＸの身体運動は遅く、運動レベルが高い場合（３または４）は、運動者ＥＸの身体運動は早いことを意味する。運動レベル２は、その身体運動で適度な早さである。ただし、身体運動の種類に応じて、時間間隔Ｔは異なる。例えば、歩行運動よりも自転車漕ぎの方が、動き反転する間隔は短いため、時間間隔Ｔは小さくなる。そのため、図４のように、身体運動に応じて運動レベルを検出する時間間隔Ｔを変えることで、各身体運動の標準的な動きの時は同じ運動レベルにできる。

(2)ジェスチャ解析部２２２は、動き情報解析部２２１で検出された頭部情報からジェスチャ情報を検出する。ジェスチャ情報は下記２つの検出部から検出される骨格位置情報と手形情報である（下線部）。
ａ，骨格位置検出部２２２Ａ：運動者ＥＸの画像から、頭位置座標、肩位置座標、腰位置座標、手の位置座標、膝の位置、足の位置座標などを骨格位置情報として検出する。骨格位置の情報から、運動者ＥＸが、直立しているか、手を挙げているか、少し傾いているか、転んでいるか、などを判断できる。
ｂ，手形検出部２２２Ｂ：手の各指の位置を手形情報として検出する。例えば、人差し指や親指の位置を検出することで、どちらの方向を指さしているかを判断できる。

(3)運動者情報解析部２２３は、動き情報解析部２２１で検出された頭部情報から運動者情報を検出する。運動者情報は下記２つの検出部から検出される個人情報、運動者位置情報である（下線部）。
ａ，顔認証部２２３Ａ：運動者ＥＸが事前に登録したメンバの中の誰であるかを判断し、氏名や年齢などの個人情報を検出する。
ｂ，運動者位置検出部２２３Ｂ：運動者ＥＸの運動する位置が撮像部１２０の正面に対してどのくらいずれているかを検出する。頭部情報から得られる運動者ＥＸの頭部位置座標が、撮像部１２０で撮像される画像の中心に対して左右上下のどちらにずれているか、その差分値を運動者位置情報として検出する。
ｃ，顔登録部２２３Ｃ：顔認証部２２３Ａで用いる顔画像を登録する。

(4)生体情報解析部２２４は、動き情報解析部２２１で検出された頭部情報とジェスチャ解析部２２２で検出されたジェスチャ情報から生体情報を検出する。生体情報は、下記４つの検出部から検出される心拍数、疲労度、表情情報、バランス情報である（下線部）。
ａ，心拍検出部２２４Ａ：心拍に応じて人の顔色が高速に変化することが知られている。頭部位置から運動者ＥＸの顔色の時間的な変化を検出し、心拍数を算出する。
ｂ，疲労度検出部２２４Ｂ：心拍検出部で検出した心拍から、心拍変動を検出する。心拍変動はストレスの状態と相関があることが知られており、ストレス度合いを検出して、これを疲労度として出力する。
ｃ，表情検出部２２４Ｃ：運動者ＥＸの顔を解析して、喜怒哀楽の度合を表情情報として検出する。身体運動が辛くなっているか、まだ、余裕があるのかを判断する。運動者ＥＸの視線方向を解析することで、集中力の度合も判断できる。
ｄ，バランス検出部２２４Ｄ：骨格検出部で検出した運動者の骨格情報から、左右のバランスをバランス情報として検出する。

(5)空間情報解析部２２５は、画像入力信号から空間情報を検出する。空間情報は、下記２つの検出部から検出される健康器具情報、周辺情報である（下線部）。
ａ，健康器具判別部２２５Ａ：運動者ＥＸが使っている健康器具が何であるかを判別して健康器具情報として出力する。例えば、ウォーキングマシンかフィットネスバイクであるか、踏台昇降であるか、などである。
ｂ，周辺判別部２２５Ｂ：運動者ＥＸの後ろに危険が迫っていないか、などを判断して周辺情報として出力する。例えば、棚から何かが落ちそうになっている、とか、床が濡れていて滑りそうだとかを画像認識処理を用いて判断する。

次に、動き情報に応じて映像表示や音声出力が制御される仕組みについて説明する。図５は、信号処理部２００（図２参照）の時間的な流れを示している。画像解析部２２０の頭部検出部２２１Ａにて検出した頭部の中心位置座標や矩形のサイズの変化から、反転検出部２２１Ｂでは、頭部位置の動きの方向が変わった時点を反転情報として検出する。本実施例では、踏台昇降を用いた身体運動のため、頭部位置は上下に変動する。頭部の位置が上から下、または、下から上に移動方向が変わるところが図５の▼で示すタイミングである。順次検出される▼タイミングの時間間隔をＴ_ｎ（Ｔ_１，Ｔ_２，・・・）とする。運動レベルは、図４に示したテーブルにＴ_ｎを入力した値である。なお、運動レベルは、Ｔ_ｎと直前のＴ_ｎ－１の平均値を、図４に示すテーブルに入力して求めてもよい。

映像表示フレームレートは、前記運動レベルに応じて決まる。図５は、タイミングＴ₁の検出結果で運動レベルが「１」に更新され、フレームレートが１(fps)から１５(fps)に変更されることを示している。つまり、身体運動が早くなり運動レベルが上がるにつれて映像表示フレームレートが上がり、映像データの表示速度も速くなる。なお、この映像表示方法については後述する。

また、音声については、反転情報が検出されたときに身体運動に応じて、図６(A)のような動作音を出力する。この動作音を、運動レベルに応じて出力することで、運動のモチベーションがアップする。例えば、図６(B)のように、運動レベル＝２のときにのみＢＧＭを流し、運動レベルが低い場合にはＢＧＭは流さないようにする。ＢＧＭによって心地よさが得られるが、運動レベルが低い場合には、早くＢＧＭを聞きたいと思って運動を頑張るようになる。また、運動レベルが過度に高い場合、転倒などの危険があるため、注意喚起の意味でＢＧＭや動作音を止め、危険を運動者に知らせる。なお、図６(A)のように、身体運動に応じて異なるＢＧＭを用いることで、運動に応じた臨場感を得ることができる。

次に、映像制御部２３０（図２参照）について、図７～図９を用いて説明する。映像データ記憶部２４０から読みだされた映像データ（ＭＰ4、ｍｏｖなどの動画像フォーマット）は、図７のように、デコード部２３１にて連続した静止画像に変換されて、静止画メモリ２３２に記録される。静止画メモリ２３２に記録された静止画像は順次読み出され、テキスト合成部２３３にて、図９に示すように運動レベルに応じたメッセージ、運動レベル、反転の回数などのテキスト情報が付加した映像信号として合成される。運動メッセージは、図８(A)のように、運動レベルが低い場合は運動を喚起するメッセージが、運動レベルが高い場合には注意喚起するメッセージが、それぞれテキストとして合成される。

また、表示時間設定部２３４では、図８(A)に示すように、運動レベルに応じてテキストが合成された画像の表示時間を設定し、映像表示制御部２３５では、表示時間設定部２３４で設定された表示時間だけ、映像信号の表示を行う。例えば、運動レベル＝２では映像の表示時間は３３msとなっており、結果として３０(fps)で動画データが表示されることになる。なお、映像表示制御部２３５では、表示処理以外にも色々な処理を行っていることから、結果的に３３msになるように表示時間を調整しているのは言うまでもない。図８(B)に示すように、テキストが付加された映像は、テキストは全て、表示装置１１０の映像表示エリア１１１よりも撮像部１２０の近く（この図では表示装置の上側のテキスト表示エリア１１２）とする。

運動者ＥＸは、表示されるテキスト情報に視線を向けやすいことから、結果的に運動者ＥＸの視線が自然と撮像部１２０のほうを向くことになり、顔検出の失敗が少なくなり、頭部の検出精度が高まる効果がある。

＜本実施例の作用＞ 次に、本実施例の動作について、図９のフローチャートを用いて説明する。身体運動を開始すると、まずはステップＳ1として、初期データの設定を行う。図４に示したように、身体運動に応じた運動レベル設定範囲を設定したり、図６に示したように、身体運動に応じた音声データを設定したり、表示する映像データのコンテンツを選択する。

ステップＳ2では、運動開始の準備として、運動レベル＝０にセットするとともに、図６に基づいた開始メッセージを音声出力して、運動者ＥＸに開始を伝え、運動者ＥＸは運動を開始する。そして、ステップＳ3に示すように、撮像部１２０から入力される画像から、図３の画像解析部２２０の頭部検出部２２１Ａにて頭部の位置や大きさの検出を行う。ステップＳ４では、頭部情報から反転検出部２２１Ｂにて頭部の反転を検出したかを判断する。

反転を検出しない場合には、ステップＳ５として、現在の運動レベルに応じて、図８(A)に基づき映像の表示時間を設定して、テキスト合成された映像データを表示装置１１０へ出力する。一方、反転情報を検出した場合には、ステップＳ６として、運動に応じた動作音を発生し、ステップＳ７でカウント部２２１Ｃにて反転回数を更新する。ステップＳ８では反転の時間間隔Ｔを検出して、ステップＳ９では図４に基づいて運動レベルを更新する。ステップＳ１０では、運動レベルが「２」か否かを判断し、「２」の場合にはＢＧＭを流す、または、前回流したＢＧＭの続きから再生する（ステップＳ１１）。そして、運動レベルが「２」でない場合には、ＢＧＭを停止する（ステップＳ１２)。

ステップＳ１３では、読みだした映像データに運動レベルやカウント回数に応じてテキストが合成されて、ステップＳ５の運動レベルに応じた画像表示に戻る。

運動者ＥＸが運動を止め、表示装置１１０の前からいなくなると、頭部の検出がなくなり、運動レベルが「０」になるため、ステップＳ１２のＢＧＭは停止となり、映像表示もほぼ止まる。なお、図８(A)に示すように、運動レベル「０」でも表示時間を１０００ms程度としておくことで時折画像が動き、システムがまだ動いていることが管理者や運動者ＥＸに示すことができる。

＜本実施例の効果＞ 本実施例によれば、健康器具である昇降踏台１００には専用のハードウエアを用いずに、そのまま通常のものを利用できることから、システムを安価にできる。また、運動者ＥＸにマーカやセンサなどを付けることなく、撮像部１２０のみで運動者ＥＸの動きを捉えることができるため、運動者ＥＸに煩わしさがない。また、運動の種類によらず、表示装置１１０の上部に取り付けた撮像部１２０でとらえた運動者ＥＸの頭の正面の画像で運動量を検出できる。

また、撮像部１２０の画角は、身体運動をしても運動者ＥＸの全身が撮影できる広画角で、身体運動で運動者ＥＸが上下左右または前後に移動しても全身を撮影できる。広画角の撮像部１２０を用いると、中央に写る運動者ＥＸの頭部が大きく、周辺部は前者に対して歪んで小さく映るため、頭部の画素数が多くなり、頭部の位置検出に有利である。なお、後述する生体情報の検出では頭部の詳細情報が必要なため、頭部の撮像画素数はより多い方が望ましい。そのため、携帯端末に搭載されている撮像部のように、画角の異なる撮像部を近接して配置し、頭の画像と全身の画像を異なる画角の撮像部で撮影してもよい。

なお、本実施例において、表示装置１１０、撮像部１２０、信号処理部２００、音声出力装置１３０は別体としたが、これらすべてが一体化されていてもよく、例えば、スマートフォンのような携帯端末やタブレット端末（情報端末）であってもよい。この場合、信号処理部２００の各処理部は、アプリケーションソフトウエアとしとしてスマートフォンやタブレット端末に実装しておくことで、使い勝手が向上する。さらに、図１０に示すように、スマートフォン１５０の場合は、ＴＶ１６０の上に設置し、スマートフォン１５０の画面を有線、または、無線でＴＶ１６０に出力してもよい。さらに、映像コンテンツは、インターネット上にあってもよく、例えば、ＹｏｕＴｕｂｅ（登録商標）などの動画サイトにある映像コンテンツを選択するようにしてもよい。ちなみに、図１０のスマートフォン１５０は、画角の異なる２つの撮像部１５２がある場合を示しており、全身画像と頭部の画像双方を撮像できる。また、ＴＶ１６０がアンドロイド（登録商標）ＴＶの場合には、アンドロイド（登録商標）ＴＶの中にアプリケーションソフトウエアをインストールすることで、ＴＶリモコンでも操作することが可能となり、高齢者にも簡単に操作ができる。また、スマートフォン１５０の撮像部近傍に照明部１５３を配置し、撮影時にこの照明部１５３を点灯するようにすることで運動者ＥＸの頭部が明るくなり、頭部の検出精度を向上させることができる。なお、この照明部１５３は、スマートフォン１５０と別体で設けてもよいし、照明光として赤外光を用いてもよい。

次に、本発明の実施例２を、図１１を参照して説明する。上述した実施例１と同様ないし対応する構成部分の説明は省略する（実施例３以下についても同様）。前記実施例１では、歩行や自転車漕ぎなどの運動に応じて作成された映像データを用いた。これは、身体運動に応じて映像の適正な表示速度が異なるためである。つまり、歩行用は時速４km、自転車用には時速２０(km)でそれぞれ撮影した映像データを用いれば、標準的は運動（運動レベル＝２）のときに、それらの速度に相当する映像表示となり、より自然な表示となっていた。

しかしながら、映像データの撮影には時間と労力を要する。できれば、同じ映像データを種々の運動で利用できるのが効率的で、制作費用も安くなる。例えば、自転車で撮影した映像データを歩行運動で表示すると動きが速すぎてしまい、大きな違和感を覚えてしまう。逆に歩きながら撮影した映像を自転車漕ぎで表示すると、逆に動きが遅く、やはり違和感が生ずる。運動に合わせて映像データのフレームレートを変換しておけばよいが、事前にフレームレートを変えた複数の動画像を作成するのは手間や時間がかかるだけでなく、図２に示した映像データ記憶部２４０に大きな記憶容量が必要となり、高価になる。ＨＤＴＶで１０分程度の動画像でも通常数GB（ギガバイト）の容量がある。このため、これを複数のフレームレートに変換するだけで１０(GB)を超える容量となってしまい、メモリを圧迫してしまう。

そこで、本実施例では、一つの映像コンテンツを複数の運動に応じて利用できる方法を提案する。例えば、オリジナル映像データが、下記の条件で撮影されたとする。
撮影スピード：Ｓ1(km/h)
撮影フレームレート：ｆ1(fps)
また、映像をＳ2(km/h)で表示したいとすると、表示のフレームレートｆ2(fps)は、
ｆ2=(Ｓ2/Ｓ1)＊ｆ1(fps)
となる。例えば、２０(km/h)の自転車で１２０(fps)で撮影した画像を、歩行用の４(km/h)で表示するには、
(４/２０)＊１２０＝２４(fps)
で表示すればよい。

逆に、４(km/h)で歩きながら１２０(fps)で撮影したものを、自転車漕ぎ用の２０(km/h)で表示しようとすると、
(２０/４)＊１２０＝６００(fps)
となる。但し、この場合に問題となるのが、６００(fps)で表示できるかという点である。信号処理部２００の性能によるが、ノート型パーソナルコンピュータでは１００(fps)くらいまでは問題なく表示できるが、それ以上のフレームレートは性能的に表示が難しくなってくる。

一方、２０(km/h)の自転車で３０(fps)で撮影した画像を、歩行用の４(km/h)で表示するには、
(４/２０)＊３０＝６(fps)
で表示することになるが、この場合信号処理部２００の性能上の問題はないが、映像がコマ送りのように見えてしまう。

本実施例では、このような課題に対して提案するもので、フレームレートが高い場合（例えば１００(fps)以上）は、間引きを行うことで表示のフレームレートを下げる。逆にフレームレートが遅い場合（例えば２０(fps)以下）の場合には、映像を時間方向に補間してから読みだす（フレームレートを２０(fps)以上に上げる）。さらに、別の課題となるが、健康器具のローイングマシンはボート漕と同等の運動であり、運動者が見る映像は後方に流れるのが自然で、前進方向に撮影した映像データは、読出し方向を逆にする必要がある。

このように、映像データの撮影情報と身体運動の種類に応じて、表３のように処理することで、一つの映像コンテンツを様々な運動で用いることができる。

本実施例を実現する映像制御部３３０の構成を、図１１に示す。上述した実施例１と異なり、表示条件判断部３３６があり、撮影情報（撮影時の速度、フレームレート）と運動の種類に応じて、表示フレームレートを計算し、表４に示すように間引き、補間、反転といった読出し条件を設定する。そして、この条件に従って、静止画メモリ３３２にて間引き、補間、反転処理が行われた映像データが読みだされる。なお、本処理で必要となる撮影情報と運動の種類については、図２の全体制御部２１０で設定する。

次に、本発明の実施例３を、図１２～図１６を用いて説明する。実施例１では、信号処理部２００としてパーソナルコンピュータなどを用いるため、キーボードやマウスなどの操作が必要であった。しかし、高齢者にはキーボードやマウスでの操作が苦手な場合もあり、システムが上手く起動できない、あるいは、映像コンテンツが選択できない、などの課題があった。そこで、本実施例では、システムの制御を、ジェスチャや音声を用いて行う。特に、身体運動の際に用いる映像データコンテンツの選択を、ジェスチャや音声で行う例について説明する。

図１２は、本実施例の信号処理部４００の全体構成を示す。撮像部１２０は、実施例１と同様に広画角で、手によるジェスチャを認識するのに十分に広角なレンズを用いている。また、画像解析部４２０では、運動者情報解析部２２３（図３参照）にて顔認証が行われ、運動者ＥＸの名前が運動者情報として映像制御部４３０と音声制御部４５０に送られる。また、運動者ＥＸの音声を入力するためマイクなどの音声入力装置４７０と、音声データ記憶部４６０とを具備している。この音声入力装置４７０は、例えばリモート会議で用いられるＷｅｂカメラのように撮像部１２０と一体となっていてもよい。音声制御部４５０では、運動者ＥＸの音声を認識して、音声認識結果を全体制御部４１０へ送る。

音声制御部４５０と音声データ記憶部４６０の詳細を、図１３に示す。音声データ記憶部４６０には、図６に示したＢＧＭ４６１，動作音４６２、運動開始メッセージ４６３の他、挨拶メッセージ４６４や、音声認識で用いる音声登録データ４６５が記録されている。挨拶メッセージ４６４は、運動者ＥＸがシステムの前に来た時に流す挨拶メッセージで、例えば、「こんにちは」、「ご機嫌いかがですか」、のような日常の挨拶に用いられる言葉である。音声登録データ４６５は、選択する映像コンテンツの番号などで、「いちばん」、「にばん」、「さんばん」などの言葉が登録されている。

音声制御部４５０には、音声生成部４５１と音声聞き取り部４５２がある。音声生成部４５１は、画像解析部２２０で得られた運動者情報（運動者の名前など）と音声データ記憶部４６０に記録されている挨拶メッセージ４６４を合成して、例えば、「Ａさん、こんにちは」の音声出力信号として音声出力装置１３０へ出力する。音声聞き取り部４５２では、音声入力装置４７０から入力される音声入力信号が音声登録データ４６５の中のどの言葉と一致するかを認識する。例えば、「にばん」と認識した場合、「２」という認識結果を全体制御部２１０へ送る。

画像解析部４２０は、図１４に主要部を示すように、動き情報解析部４２１で検出した頭部情報が、ジェスチャ解析部４２２の骨格位置検出部４２２Ａに送られる。骨格位置検出部４２２Ａでは、頭部位置情報を元に、骨格である肩、腕、手、腰、足などの位置を検出する。得られた手の位置情報は、さらに、手形検出部４２２Ｂに送られ、手形検出部４２２Ｂにて、人差し指が差し示す方向を検出して、入力画像のどの位置に向けて指が向けられているか、画像の座標を検出し、その座標情報を全体制御部４１０へ送る。

次に、本実施例の動作について説明する。運動者ＥＸは、運動を行うべく、表示装置１１０（図１参照）の前へと移動していく。撮像部１２０では、順次撮像が行われ、その画像が表示装置１１０に表示される。そして、運動者ＥＸが適正な位置に移動するように、適正な位置を矩形ＥＡ（図１５の点線の矩形）で示すとともに、「枠の中に入ってください」とメッセージＭＡを表示して、移動を促す。

運動者ＥＸがある程度表示装置１１０に近づくと、頭部検出部２２１Ａ（図３参照）では運動者ＥＸの頭部位置を検出し、それを矩形ＥＢ（図１５の太字の矩形）として表示するとともに、顔認証部２２３Ａ（図３参照）で顔認証を行い、運動者ＥＸの名前（「Ａさん」とする）を検出する。そして、画像解析部４２０の運動者位置検出部２２３Ｂでは、運動者ＥＸの位置が適正な位置と比較し、適正な位置に移動する方向を検出し、例えば、運動者ＥＸが左過ぎる場合には、右へ移動する必要があるという信号を出力し、音声制御部４５０にて「Ａさん、もっと右です」という音声を音声制御部４５０から出力する。運動者ＥＸが右に移動して、適正な位置になった場合には、「ＯＫです」と正しい場所に来たことを伝える。このようにして、身体運動を行う適正な位置に運動者ＥＸが移動できる。

そして、次に、図１６のような映像データのコンテンツ選択画面を、表示装置１１０に表示する。運動者ＥＸは、コンテンツの番号を答えたり、指でコンテンツの方向を指さしたりする。音声で答えた場合には、図１３で説明した音声聞き取り部４５２でコンテンツの番号を認識して、その認識結果を全体制御部４１０に送る。指で指示した場合には、図１４で説明した画像解析部４２０で検出される指先の示す画像の座標情報を全体制御部４１０へ送る。全体制御部４１０では、音声またはジェスチャで設定されたコンテンツ番号に応じて映像データを選択する。以降の動作は、実施例１と同じである。

以上のように、本実施例では、音声やジェスチャでコンテンツを選択できることから、キーボードやマウスを操作する必要はなく、高齢者でも容易に身体運動を開始することができる。また、運動者が自分の映像を見ながら、かつ、音声で移動方向を指示されることから、身体運動のための位置調整が容易に行うことができる。さらに、図１２のように、運動者ＥＸの後ろに衝立ＷＡのようなものをおくことで、ジェスチャ認識の精度を向上することができる。なお、本機能を用いる運動者ＥＸは、図３の運動者情報解析部２２３の顔登録部２２３Ｃの機能を利用して、事前に顔の画像を数枚撮影して登録しておく。

次に、実施例４を、図１７～図１９を用いて説明する。本実施例は、身体運動とともに、別のタスクを行う「デュアルタスク」の例である。デュアルタスク（二重課題）は、体を動かしながら（＝運動課題）何かを考える（＝認知課題）など、複数の課題を同時に実行するものであり、その効果がさまざまな文献で報告されている。例えば、以下のような文献がある。
・理学療法学Supplement 2006(0), E0052-E0052, 2007
公益社団法人日本理学療法士協会,「Dual-task Balance trainingには転倒予防効果があるのか？」
・日本体育学会大会予稿集 69(0), 21-21, 2018, 一般社団法人 日本体育学会, 認知機能の向上に効果『デュアルタスクエクササイズマシン「モトタイル（Mototiles）」』:～脳活動を測定し、可視化する技術による検証を実施～

図１７に、本実施例の信号処理部５００の全体構成図を示す。同様に、上述した実施例１～３と共通する信号処理部の機能については説明を省略する。本実施例では、ウォーキングマシン１０１で身体運動を行う場合について説明する。ウォーキングマシン１０１の場合には、手で手摺りを握っているため、比較的安定した状態で身体運動ができることから、デュアルタスクを行うのには都合がよい。全体制御部５１０の中のデュアルタスク制御部５１１は、映像制御部５３０と音声制御部５５０の双方を制御する。例えば、運動している運動者ＥＸに音声や映像で質問を投げかける。

音声で質問する例を説明する。デュアルタスク制御部５１１には、質問用の音声質問文や、クイズ用の質問画像（クイズ画像）が保存されている。デュアルタスク制御部５１１は、身体運動が一定時間行われたら、音声質問文を図１３の音声生成部４５１から出力する。例えば、「今日の体調は如何ですか」、「朝、何を食べましたか」といった、運動者本人に関する質問などを行う。なお、運動者ＥＸの回答に対し、これを解釈してさらに質問をしてもよい。

映像で質問する例を説明する。図１８に、映像制御部５３０の構成を示す。身体運動が一定時間行われたら、映像データ記憶部５４０から読み込まれた映像データをデコード部５３１でデコードして静止画メモリ５３２に記憶する。一方、質問画像記憶部５１１Ｂからの質問画像も静止画メモリ５３２に記憶する。そして、映像データの間に質問画像を入れるとともに、画像に合わせた質問文を質問文記憶部５１１Ａからテキスト合成部５３３に送り、質問画像と合成して表示する。

質問画像は、例えば図１９のＱＡ～ＱＤのように、最初はボケた画像でだんだんとシャープになっている複数枚の画像からなる。さらに、テキストで、「これは何でしょう？」とメッセージＭＢを表示する。身体運動を続けていくと、映像がだんだんとシャープになるように制御し、最後に回答が表示される。音声制御部５５０は、図１３の音声聞き取り部４５２で取り込んだ運動者ＥＸの回答から、音声認識結果をデュアルタスク制御部５１１に送る。回答が正解の「ネコ」であれば、音声制御部５５０の音声出力装置１３０から「正解」と音声を出すか、映像制御部５３０から表示装置１１０に文字情報「正解」を出し、運動者ＥＸに知らせる。運動をしないと正解がわからないので、運動者ＥＸが身体運動するモチベーションになる。

質問画像ＱＡ～ＱＤは、図１８において、質問画像記憶部５１１Ｂから映像表示制御部５３４に直接送り（破線で示す）、映像データ記憶部５４０からのデータと分けてもよい。この場合、質問画像ＱＡ～ＱＤは、主たる画像の一部に表示するか、クイズの間だけ主たる画像と置き換えて表示する。

以上の例は、システムが音声や映像で質問を投げかけたが、運動者自身がシステムに質問してもよい。図１７に示す音声スイッチ５７０は、運動者ＥＸが意識的に押すもので、システムに対して質問したい時などに押す。音声スイッチ５７０を押してからある一定時間の間に、音声入力装置４７０に対して質問を投げかける。音声聞き取り部４５２では、質問を解釈し、回答を音声出力装置１３０から出力する。回答の作成については、スマートスピーカーのようにインターネットを介して得てもよい。

次に、実施例５について、図２０～図２２を用いて説明する。本実施例では、運動者ＥＸの健康状態や運動状態を管理するもので、健康情報や運動の情報を記録・共有したり、運動者ＥＸの危険状態を把握したりする例について説明する。実施例１～４と共通する信号処理部の機能は図示せず、説明を省略する。
本実施例は、図２０に示すように、全体制御部６１０に健康管理部６１１があり、画像解析部６２０の生体情報解析部２２４（図３参照）で検出した健康にかかわる情報や運動に関わる情報を、運動履歴として健康記録部６９０に記録する。運動履歴の情報としては、
ａ，動き情報解析部２２１（図３参照）で検出された運動量（反転のカウント数や運動レベルの継続時間）
ｂ，生体情報解析部２２４で検出された心拍、疲労度
ｃ，空間情報解析部２２５で検出された健康器具の情報
などがある。

健康記録部６９０に記録された運動履歴の情報は、インターネットなどを利用して、家族や本人のスマートフォンなどの携帯端末や、関連機関（医師、ケアーマネージャ、各種施設）のパソコン（ＰＣ）６８０など（情報端末）で閲覧することができる。また、運動履歴の情報とは別に、リハビリのメニューを健康記録部６９０に記録し、運動者ＥＸや関連機関が閲覧できるようにもなっている。関連機関では、運動履歴を確認して、リハビリの推奨メニューを作成し、それを運動者ＥＸに提示することができる。

次に、運動者ＥＸの危険状態を把握する例について、踏台昇降する場合を例に説明する。例えば図２１のように、踏台昇降中に昇降踏台１００を踏み外して運動者ＥＸが転倒した場合、撮像部１２０でとらえる画像の運動の適正位置（図１６の点線枠ＥＡ内に相当）から運動者ＥＸがはずれる。さらに、図３のジェスチャ解析部２２２の骨格位置検出部２２２Ａで、頭部だけでなく腰位置や足位置などが同様に画像の下の方にあった場合、健康管理部６１１では「危険状態」と判断し、音声制御部６５０から「Aさん、大丈夫ですか」といった注意情報を音声で流す。運動者ＥＸから助けや悲鳴のような音声を認識した場合には、アラーム音声を発する。さらに、必要に応じて、つながっている家族の携帯端末６８０に危険な状態を通知する。

また、下記のような場合にも、運動者ＥＸに注意情報として映像もしくは音声で知らせたり、あるいは、映像表示やＢＧＭを停止させる。
ａ，図３の周辺判別部２２５Ｂから得られる周辺状況から、後ろの棚が落ちそうになっている、など危険状態を判断した場合。
ｂ，生体情報検出で検出される心拍数や疲労度でモニターし、所定の値より大きい時。危険な数値を超えた場合。
ｃ，生体情報検出で検出され表情情報から、運動者ＥＸが疲れていると判断したとき。
ｄ，生体情報検出で検出されバランス情報から、運動者ＥＸのバランスが崩れていると判断したとき。

以上のように、本実施例では、健康管理部６１１と健康記録部６９０を有することで、健康情報や運動の情報を記録、共有したり、運動者ＥＸの危険状態を把握したときには本人や家族に通知したりすることができ、運動者ＥＸは安全に運動をすることができる。

また、撮像部１２０の画角は、これまでの実施例と同様に身体運動をしても運動者の全身が撮影できる広画角なものを用いたが、図３の生体情報解析部２２４で検出する心拍数や疲労度の検出では頭部の詳細情報が必要であり、頭部の撮像画素数はより多い方が望ましい。そのため、画角がより小さい撮像部（例えば、画角６０度）を近接して配置し、運動者ＥＸの全身は画角の広い撮像部（図２２の撮像部１の画角Ｇ１）、運動者ＥＸの頭部は画角の小さい撮像部（図２２の撮像部２の画角Ｇ２）で撮影してもよい。

なお、健康記録部６９０は信号処理部６００の中にあったが、クラウドのサーバなどにあってもよい。また、運動者ＥＸが転倒した場合でも運動者ＥＸを撮影することが必要なため、本実施例の撮像部１２０は広い画角を有しているが、転倒時にはこの広い画角からも外れてしまうこともある。その場合には、運動者ＥＸが検出できなくなり、これがある一定時間（例えば２０秒）続くような場合に、健康管理部６１１で「異常発生」と判断するようにしてもよい。

＜他の実施例＞ なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。例えば、以下のものも含まれる。
ａ，前記実施例で示した各部の構成は、同様の作用を奏するように設計変更可能である。
ｂ，前記実施例では、撮像部のカメラとして広角レンズを備えたものを使用したが、ズーム機能があってもよいし、複眼であってもよい。複数のカメラの画像を利用するようにしてもよい。

本発明によれば、使用する健康器具に専用のハードウエアを必要とせず、また、運動者にマーカやセンサなどを付ける必要もなく、カメラのみで運動者の動きを捉えて、身体運動の早さを検出こととしたので、安価にシステムを構築できる。また、頭部の動きだけを検出すればよいことから、手や足の検出のように複雑な認識のアルゴリズムは不要であり、多くの身体運動器具に応用できる。

１００：昇降踏台
１１０：表示装置
１０１：ウォーキングマシン
１１１：映像表示エリア
１１２：テキスト表示エリア
１２０：撮像部
１３０：音声出力装置
１５０：スマートフォン
１５２：撮像部
１５３：照明部
１６０：ＴＶ
２００：信号処理部
２１０：全体制御部
２２０：画像解析部
２２１：動き情報解析部
２２１Ａ：頭部検出部
２２１Ｂ：反転検出部
２２１Ｃ：カウント部
２２１Ｄ：運動レベル検出部
２２２：ジェスチャ解析部
２２２Ａ：骨格位置検出部
２２２Ｂ：手形検出部
２２３：運動者情報解析部
２２３Ａ：顔認証部
２２３Ｂ：運動者位置検出部
２２３Ｃ：顔登録部
２２４：生体情報解析部
２２４Ａ：心拍検出部
２２４Ｂ：疲労度検出部
２２４Ｃ：表情検出部
２２４Ｄ：バランス検出部
２２５：空間情報解析部
２２５Ａ：健康器具判別部
２２５Ｂ：周辺判別部
２３０：映像制御部
２３１：デコード部
２３２：静止画メモリ
２３３：テキスト合成部
２３４：表示時間設定部
２３５：映像表示制御部
２４０：映像データ記憶部
２５０：音声制御部
２６０：音声データ記憶部
３３０：映像制御部
３３４：表示時間設定部
３３６：表示条件判断部
４００：信号処理部
４１０：全体制御部
４２０：画像解析部
４２１：動き情報解析部
４２２：ジェスチャ解析部
４２２Ａ：骨格位置検出部
４２２Ｂ：手形検出部
４３０：映像制御部
４５０：音声制御部
４５１：音声生成部
４５２：音声聞き取り部
４６０：音声データ記憶部
４６１：ＢＧＭ
４６２：動作音
４６３：運動開始メッセージ
４６４：挨拶メッセージ
４６５：音声登録データ
４７０：音声入力装置
５００：信号処理部
５１０：全体制御部
５１１：デュアルタスク制御部
５１１Ａ：質問文記憶部
５１１Ｂ：質問画像記憶部
５３０：映像制御部
５３１：デコード部
５３２：静止画メモリ
５３３：テキスト合成部
５３４：映像表示制御部
５４０：映像データ記憶部
５５０：音声制御部
５７０：音声スイッチ
６００：信号処理部
６１０：全体制御部
６１１：健康管理部
６２０：画像解析部
６５０：音声制御部
６８０：携帯端末
６９０：健康記録部
ＥＡ：点線枠
ＥＢ：実線枠
ＥＸ：運動者
Ｇ１：画角
Ｇ２：画角
ＭＡ，ＭＢ：メッセージ
ＱＡ～ＱＤ：質問画像
ＷＡ：衝立

Claims (15)

1. 運動者が行う繰り返しの身体運動に対応する映像データを記憶する映像データ記憶部と、
   映像を表示する表示装置と、
   前記運動者を撮影して画像入力信号を出力する撮像部と、
   前記撮像部から出力された運動者の画像入力信号から、運動者の頭部の動き情報を検出する画像解析部と、
   運動者が行っている身体運動に対応する映像データを前記映像データ記憶部から読みだすとともに、この読み出した映像データの表示速度を前記検出した動き情報に応じて制御して、前記表示装置に出力する映像制御部とを有しており、
   前記映像制御部が、
   前記映像データ記憶部から読みだした映像データをデコードして静止画を生成するデコード部と、
   前記動き情報に応じて前記静止画の表示時間を設定する表示時間設定部と、
   前記デコード部から生成された静止画に、前記運動者宛てのテキストを合成するテキスト合成部と、
   前記撮像部で得られた画像の撮影情報と、前記運動者の身体運動の種類から、前記表示装置に表示する映像の読出し条件を判断する表示条件判断部と、
   を有することを特徴とする運動支援システム。
2. 前記画像解析部が、
   前記運動者の頭部の位置、または、見かけ上の大きさの少なくとも一方を検出する頭部検出部と、
   前記頭部検出部の検出結果に基づいて、運動者の頭部の動きの反転を検出する反転検出部と、
   を有することを特徴とする請求項１記載の運動支援システム。
3. 前記映像制御部が、
   前記動き情報に応じた文字情報を、前記表示装置に表示される映像データに合成するテキスト合成部を有しており、
   前記表示装置のうち、前記撮像部が設置されている場所に近い前記撮像部の直下に、前記文字情報が表示されることを特徴とする請求項１記載の運動支援システム。
4. 前記運動者が行う身体運動に対応する音声データを記憶する音声データ記憶部と、
   音声を発する音声出力装置と、
   運動者が行っている身体運動に対応する音声データを前記音声データ記憶部から読みだすとともに、この読み出した音声データの再生速度を前記検出した動き情報に応じて制御して、前記音声出力装置に出力する音声制御部と、
   を有することを特徴とする請求項１～３のいずれか一項に記載の運動支援システム。
5. 前記運動者の音声を入力する音声入力装置と、
   前記音声入力装置から入力された音声を聞き取って、その内容を認識する音声聞き取り部と、
   前記運動者に対して出力する音声を生成する音声生成部と、
   を有することを特徴とする請求項４記載の運動支援システム。
6. 前記運動者が操作する音声スイッチを有しており、
   このスイッチを運動者が押したときに、運動者が発した音声を、前記音声聞き取り部で認識するとともに、その回答を前記音声生成部で生成し、前記音声出力装置から発することを特徴とする請求項５記載の運動支援システム。
7. 質問画像または質問文が記憶された記憶部と、
   前記運動者の運動中に、前記表示装置に表示される映像データに合成するために、前記記憶部に記憶された質問画像または質問文を読みだすデュアルタスク制御部と、
   を有しており、
   運動者は、安全のためバーを握りながら運動を継続し、前記表示装置に継続して表示される映像データの一部に表示される質問画像、質問音声の何れか、もしくは両方に回答すること特徴とする請求項１～６のいずれか一項に記載の運動支援システム。
8. 前記画像解析部が、
   前記画像入力信号から健康器具ないし運動者の周辺の情報を解析する空間情報解析部と、
   前記空間情報解析部によって解析された情報を記録し、情報端末につながる健康記録部と、
   前記健康記録部に記録された情報から前記運動者の危険状態を検出する健康管理部を有しており、
   危険状態が検出されたときに、前記表示装置に表示もしくは、前記音声出力装置から発するとともに、前記情報端末に通知することを特徴とする請求項４記載の運動支援システム。
9. 前記撮像部の近くに設けた照明部を必要に応じて点灯し、撮影画像の中央部で運動する運動者の頭部に照明をあてることを特徴とする請求項１記載の運動支援システム。
10. 運動者が行う繰り返しの身体運動に対応する映像データを記憶する映像データ記憶部と 、
    映像を表示する表示装置と、
    前記運動者を撮影して画像入力信号を出力する撮像部と、
    前記撮像部から出力された運動者の画像入力信号から、運動者の頭部の動き情報を検出 する画像解析部と、
    運動者が行っている身体運動に対応する映像データを前記映像データ記憶部から読みだ すとともに、この読み出した映像データの表示速度を前記検出した動き情報に応じて制御して、前記表示装置に出力する映像制御部と、
    前記画像解析部が、
    前記運動者の頭部の位置、または、見かけ上の大きさの少なくとも一方を検出する頭部検出部と、
    前記頭部検出部の検出結果に基づいて、運動者の頭部の動きの反転を検出する反転検出部と、を有し、
    前記運動者が行う身体運動に対応する音声データを記憶する音声データ記憶部と、
    音声を発する音声出力装置と、運動者が行っている身体運動に対応する音声データを前記音声データ記憶部から読み出して、前記音声出力装置に出力する音声制御部と、
    前記映像制御部が、
    前記映像データ記憶部から読みだした映像データをデコードして静止画を生成するデコード部と、前記動き情報に応じて前記静止画の表示時間を設定する表示時間設定部と、
    前記デコード部から生成された静止画に、前記運動者宛てのテキストを合成するテキスト合成部と、を有し、
    前記画像解析部は、運動レベル検出部を有し、反転情報が検出される時間間隔から運動レベルを決定し、該運動レベルに応じて、静止画像に合成するテキストと、テキストが合成された静止画像の表示時間と、音声出力装置から出力する音声データが設定されることを特徴とする運動支援システム。
11. 前記映像制御部が、
    前記動き情報に応じた文字情報を、前記表示装置に表示される映像データに合成するテキスト合成部を有しており、
    前記文字情報が、前記表示装置のうち、前記撮像部が設置されている場所に近い前記撮像部の直下に、前記文字情報が表示されることを特徴とする請求項１０記載の運動支援システム。
12. 前記運動者の音声を入力する音声入力装置と、
    前記音声入力装置から入力された音声を聞き取って、その内容を認識する音声聞き取り部と、
    前記運動者に対して出力する音声を生成する音声生成部と、
    を有することを特徴とする請求項１０記載の運動支援システム。
13. 前記運動者が操作する音声スイッチを有しており、
    このスイッチを運動者が押したときに、運動者が発した音声を、前記音声聞き取り部で認識するとともに、その回答を前記音声生成部で生成し、前記音声出力装置から発することを特徴とする請求項１２記載の運動支援システム。
14. 質問画像または質問文が記憶された記憶部と、
    前記運動者の運動中に、前記表示装置に表示される映像データに合成するために、前記記憶部に記憶された質問画像または質問文を読みだすデュアルタスク制御部と、
    を有しており、
    運動者は、安全のためバーを握りながら運動を継続し、前記表示装置に継続して表示される映像データの一部に表示される質問画像、質問音声の何れか、もしくは両方に回答すること特徴とする請求項１０記載の運動支援システム。
15. 前記画像解析部が、
    前記動き情報から生体情報を解析する生体情報解析部と、
    前記画像入力信号から健康器具ないし運動者の周辺の情報を解析する空間情報解析部と、
    前記生体情報解析部によって解析された情報もしくは前記空間情報解析部によって解析された情報の少なくとも一つを記録する健康記録部と、
    を有しており、
    前記健康記録部に記録されている情報が情報端末に提供され、
    前記健康記録部に記録された情報から前記運動者について危険情報を検出する健康管理部を有しており、
    危険情報が検出されたときに、通知情報を出力して前記表示装置に表示し、もしくは、前記音声出力装置から発するとともに、前記情報端末に通知することを特徴とする請求項１０記載の運動支援システム。

Images