JP5124886B2 - 画像認識装置および画像認識方法 - Google Patents

Description

本発明は、画像認識装置および画像認識方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の測定を行う画像認識装置および画像認識方法に関する。

近年、人々の間で健康志向の傾向が続いており、様々な運動補助装置が開発されている。一方、成人病予備軍としてメタボリックシンドロームの危険性が叫ばれており、その基準としてＢＭＩ値（ボディマス指標）が重要視されている。ＢＭＩ値は体重と身長の関係から算出した、肥満度を示す指数である。身長をｔ（ｍ）、体重をｗ（ｋｇ）とすると、ＢＭＩ＝ｗ／ｔ２で示される。上述の運動補助装置を用いて、エクササイズ等の運動を行っている操作者は、そのような運動を行った後体重および身長を測定してＢＭＩ値を算出しその効果を確認するが、運動中や合間に簡単に身長等の測定ができれば有用である。

また、ゲーム機器を始め、ユーザフレンドリあるいはエンターテイメント性を向上させるため、体全体を用いて行うようなゲーム装置も増加してきている。このようなゲーム装置では、操作者の動きや位置を簡単にコンピュータが認識できれば、操作者の位置や動きにあわせて様々なゲームの演出が可能である。

このような物体の位置や空間情報を取得するというニーズに対し、一般の用途では、ビデオカメラ等で対象物を撮影して位置や動きを検出する方法がいくつか提案されている（例えば、特許文献１参照）。
しかしながら、従来の位置検出装置は、撮影時に毎回のキャリブレーションや付随設備の設置作業が必要であり、対象物に特別なマーカを着脱したりするような煩雑な作業が必要であるという点が問題である。

本発明は、このような問題に鑑みてなされたもので、運動補助あるいはゲーム用の装置の床マットに設けられた身体測定の基準となる部材により、一定の範囲の精度で操作者の身長や各部位の位置を検出して、ＢＭＩ値を算出したり、ゲームの操作に用いたりすることが可能な画像認識装置および画像認識方法を提供することを目的とする。
特開２００３−２８６１４号公報 特開２００５−１６４４４８号公報

このような目的を達成するために、請求項１に記載の発明は、足の置かれた位置により異なる信号を発生する床マットセンサと、床マットセンサ上方に設けられ、足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準と、立体測定基準と予め定められた相対位置にあって、床マットセンサ上の測定対象と立体測定基準とを１つの画像として撮影する撮影手段と、撮影された画像から測定対象および立体測定基準に対応する像を抽出し、予め取得し記憶した立体測定基準の位置情報と、撮影手段により立体測定基準を撮影した画像の歪みとの歪み対応情報によって、測定対象の位置を算出する対象位置算出手段と、床マットセンサで発生する信号を受信し、所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定手段と、を備え、立体測定基準は、床マットセンサ上部の所定の高さに水平方向に配置されたバーであり、床マットセンサとの間に所定の領域に足の一部を移動させる隙間空間を有することを特徴とする。

請求項２に記載の発明は、足の置かれた位置により異なる信号を発生する床マットセンサと、床マットセンサ上方に設けられ、足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準と、立体測定基準と予め定められた相対位置にあって、床マットセンサ上の測定対象と立体測定基準とを１つの画像として撮影する撮影手段と、撮影された画像から測定対象および立体測定基準に対応する像を抽出し、予め取得し記憶した立体測定基準の位置情報と、撮影手段により立体測定基準を撮影した画像の歪みとの歪み対応情報によって、測定対象の位置を算出する対象位置算出手段と、床マットセンサで発生する信号を受信し、所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定手段と、床マットの撮影手段と所定の距離に配置された距離基準を用いて、測定対象の撮影手段からの距離により、対象位置算出手段により算出される位置を調整する調整手段とを備えたことを特徴とする。

請求項３に記載の発明は、請求項１または２の発明において、立体測定基準は、撮影された画像からの抽出が容易になるように撮影手段に向いた面にマーカを有することを特徴とする。

請求項４に記載の発明は、請求項１ないし３のいずれか１項に記載の発明において、立体測定基準は、撮影手段に撮影されると矩形の画像となるような形状であることを特徴とする。

請求項５に記載の発明は、請求項４に記載の発明において、歪み対応情報は、立体測定基準の撮影手段により得られた像の縦横辺の長さおよび傾斜を基準とする画像と比較して得られることを特徴とする。

請求項６に記載の発明は、足の置かれた位置により異なる信号を発生する床マットセンサと、床マットセンサ上方に設けられ、足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準を備えた床マットにおいて測定対象の画像を認識する方法であって、立体測定基準と予め定められた相対位置に配置された撮影手段により、床マット上の測定対象と、立体測定基準とを１つの画像として撮影する撮影ステップと、撮影された画像から測定対象および立体測定基準に対応する像を抽出し、予め取得し記憶した立体測定基準の位置情報と、撮影手段により立体測定基準を撮影した画像の歪みとの歪み対応情報によって、測定対象の位置を算出する撮影手段位置算出ステップと、床マットセンサで発生する信号を受信し、所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定ステップと、を備え、立体測定基準は、床マットセンサ上部の所定の高さに水平方向に配置されたバーであり、床マットセンサとの間に所定の領域に足の一部を移動させる隙間空間を有することを特徴とする。

請求項７に記載の発明は、足の置かれた位置により異なる信号を発生する床マットセンサと、床マットセンサ上方に設けられ、足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準を備えた床マットにおいて測定対象の画像を認識する方法であって、立体測定基準と予め定められた相対位置に配置された撮影手段により、床マット上の測定対象と、立体測定基準とを１つの画像として撮影する撮影ステップと、撮影された画像から測定対象および立体測定基準に対応する像を抽出し、予め取得し記憶した立体測定基準の位置情報と、撮影手段により立体測定基準を撮影した画像の歪みとの歪み対応情報によって、測定対象の位置を算出する撮影手段位置算出ステップと、床マットセンサで発生する信号を受信し、所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定ステップと、床マットの撮影手段と所定の距離に配置された距離基準を用いて、測定対象の撮影手段からの距離により、対象位置算出手段により算出される位置を調整する調整ステップとを備えたことを特徴とする。

以上説明したように、本発明によれば、測定対象の所定範囲内に配置されるよう床マットに設けられた立体形状を有する立体測定基準と、床マット上の測定対象と、立体測定基準とを１つの画像として撮影する撮影手段と、撮影された画像から測定対象および立体測定基準に対応する像を抽出し、予め取得し記憶した立体測定基準の位置情報と、撮影手段により立体測定基準を撮影した画像の歪みとの歪み対応情報によって、測定対象の位置を算出する画像位置算出手段とを備えているので、一定の範囲の精度で操作者の身長や各部位の位置を検出して、ＢＭＩ値を算出したり、ゲームの操作に用いたりすることができる。

図１は、本実施形態の水平バーつき運動補助装置の一例を示す図である。 図２は、本実施形態の運動補助装置１０１とコンピュータ１１０の構造を模式的に示すブロック図である。 図３は、本実施形態の運動補助装置１０１のＣＰＵ２０２内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 図４は、本実施形態の運動補助装置の足移動制限手段の一例である水平バーの設定位置を示す図である。 図５は、本実施形態の運動補助装置１０１のＣＰＵ２０２内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 図６は、本発明の一実施形態にかかる床マットのパターンの例を示す図である。 図７は、本発明の一実施形態にかかる床マットを足で加圧する様子を説明するための図である。 図８は、本発明の一実施形態にかかる重心検出方法を説明するための図である。 図９は、本実施形態の情報入力方法の処理を示すフロ−チャートである。 図１０は、床マットの構造の例を示す図である。 図１１は、本発明の一実施形態の床マットの水平バーに「Ａ」、「Ｂ」および「Ｅ」を示す図である。 図１２は、本実施形態のパターン投影方法を説明するための図である。 図１３Ａは、本実施形態で用いる投影ユニットの一例を示す図である。 図１３Ｂは、本実施形態で用いる投影ユニットの一例を示す図である。 図１４Ａは、バー支持部の一部に水平にユニットを設置する場合を示す図である。 図１４Ｂは、バー支持部の両端から斜めに投影する場合を示す図である。 図１４Ｃは、バー支持部の横方向から投影する場合を示す図である。 図１５Ａは、本発明の一実施形態の投影された床マットパターンの一例を示す図である。 図１５Ｂは、本発明の一実施形態の投影された床マットパターンの一例を示す図である。 図１５Ｃは、本発明の一実施形態の投影された床マットパターンの一例を示す図である。 図１５Ｄは、本発明の一実施形態の投影された床マットパターンの一例を示す図である。 図１５Ｅは、本発明の一実施形態の投影された床マットパターンの一例を示す図である。 図１５Ｆは、本発明の一実施形態の投影された床マットパターンの一例を示す図である。 図１６は、本発明の一実施形態の可変床マットパターンの応用例を示す図である。 図１７は、本発明の一実施形態の可変床マットパターンの別の応用例を示す図である。 図１８は、本発明の一実施形態の可変床マットパターンの別の応用例を示す図である。 図１９は、本発明の一実施形態の可変床マットパターンの応用例を示す図である。 図２０は、本発明の一実施形態のマーカについて説明するための図である。 図２１は、本実施形態の処理を説明するための図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。
（第１実施形態）

図１は、図７に示す画像認識装置のうち、本実施形態の水平バーつき運動補助装置の一例を示す図である。本実施形態の運動補助装置１０１は、水平バー１０２およびこれを支持するバー支持部１０３並びに本体表面に床マット１０４が設けられており、床マット１０４上で操作者はエクササイズ等の運動を行ったりゲームを行ったりする。エクササイズの例としては図１８または１９に示すようなジョギングなど、モニタ７０１などを見ながら操作者が運動を実施する。モニタ７０１の上部には、例えば図７に示すように撮影手段であるビデオカメラ２０１等が備え付けられており、これにより操作者とともに水平バー１０２およびバー支持部１０３を撮影して、同じ画像に入れられる。後述するように水平バー１０２およびバー支持部１０３は操作者とともに１画像に写しこまれることにより、立体測定基準となり操作者の身長を映された画像から算出することができるのである。本実施形態では、画像を取得するためにビデオカメラ２０１をモニタ７０１の上部に取りつけ撮影しているが、必要な画像が得られればこれに限られることなく、赤外線カメラ等、本技術分野で知られたいずれの撮影手段を用いることもでき、設置場所もモニタの付近の何処を選択することもできる。また、赤外線カメラとビデオカメラとを融合して用いることもできる。すなわち、例えば後述する再帰性反射材をマーカとして使用する場合、赤外線カメラを専ら立体測定基準のキャリブレーション用に用い、操作者の動きは通常のビデオカメラで捉えるといったしかで２種類のカメラを用いることができる。

さらに、本実施形態のシステムには図示しないスピーカ等の音声出力装置を取り付けられており、表示内容や操作に関する情報を音声で操作者に伝えることもできる。このような機能を設けることにより、ディスプレイにトレーニング内容を画像で表示するだけではなく、指示事項や結果について、同時に音声で流すことでＧＵＩ配置が判るため、ゲーム性の低い片足立ちやウォーキング等の単純なトレーニングについては視覚障害のある操作者でもバーに捕まりながら操作可能になる。

また、水平バー１０２およびバー支持部１０３が床マットの前面（ビデオカメラやモニタ側）の端に設けられているため、カメラで撮影を行う際は、操作者の動きにより、画像から消えることがないため安定した測定基準として用いることができる。さらに、本実施形態のように水平バー１０２等を測定基準として用いることにより、操作者とカメラの距離が一定の距離以上とすることができ、これを常に確保することができるため、カメラに近寄りすぎて全体撮影不可能になったり、ピントが合わなくなったりする問題を回避することができる。これに加え、床マットと併用することで、操作者の立ち位置を一定範囲内に限定でき、撮影や測定の処理が容易になる。また、本実施形態のような測定基準は、キャプチャした画面上で広範囲、適度かつ同時に測定マーカを分散配置することができるため、非常に信頼性の高い測定が可能となる。さらに、このような水平バー１０２等の効果とともに、常にマーカがカメラの撮影範囲内にあることが保証されるキャリブレーションシステムと併用することができ、省スペース・多機能な装置を実現することができ、基本的に初回設置のキャリブレーション後、毎回再測定する必要がない。

一方、運動補助装置として、水平バー１０２を設けることにより、ヨガ運動系やリハビリ系システムでの高齢者等の操作者の動作を安定、安全に確保することができる。また、バーを握って行うような、トレーニングメニューも可能になる。

水平バー１０２およびバー支持部１０３はこのようにビデオカメラ２０１により撮影されて測定基準となるが、これを容易にするため図２０に示すように画像として読み込まれた後に、抽出が容易になるよう前面（ビデオカメラ２０１が撮影する方）にマーカが張られている。マーカ素材は本技術分野で知られた種々のものを用いることができるが、通常は使用するカメラにより適当なものが選択される。例えば、通常カメラの場合、背景色彩から際立つような特徴あるカラーリングが必要であり、赤外線カメラを使用するときは、再帰性反射材などを使用することができる。マーカはこのように適切な素材をバー等に貼り付けることにより使用することができるが、これに限られることなく直接バーに塗布したり、本技術分野で知られた任意の付着方法を用いたりすることができる。また、上記の説明では、立体測定基準として水平バー１０２およびバー支持部１０３とを用いることとしたが、これに限られることなく任意の部材や構造を立体測定基準として用いることができる。例えば、運動補助装置１０１の台座前面にマーカを貼り付けて立体測定基準や距離基準に用いることができる。本実施形態では、マーカは主に水平バー１０２の角等に６つ貼り付けて測定基準としているがこれに限られることなく少なくとも４つ以上であれば任意の数のマーカを用いることもでき、また点のマーカではなく水平バー１０２などの立体測定基準の全体に線としてマーカを設けることもできる。

図２は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタ７０１の上部等に取り付けられ、水平バー１０２などを撮影するビデオカメラ２０１が接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２０２において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置から身体測定値を取得してＢＭＩ値などが得られる。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をディスプレイ１１１等に出力する。

図５は、本実施形態の画像認識装置のＣＰＵ２０２内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図５に示すように、運動補助装置における処理は、画像読取部５０１、画像抽出部５０２および画像位置算出部５０３により実行される。なお、本実施形態では、ビデオカメラ２０１からの画像を受取ってからデータの出力を行うまでの処理を３つのモジュールにより実行するがこれに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。
（本実施形態の処理）

本実施形態では、図２１に示すように、ビデオカメラ２０１で撮影された水平バー１０２などの立体測定基準に基づいて、一緒に撮影された操作者の身長を算出する処理を行う。

図２１は、本実施形態の処理を説明するための図である。まず、本実施形態の画像認識装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ２０１の利用レンズの歪み、水平バー１０２等に貼り付けられたマーカとレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。
次に、画像読取部５０１において出力された立体測定基準の、例えばカラー画像の場合、画像抽出部５０２により予めマーカとして決めておいた色領域を抜き出して立体測定基準の画像のみを抽出する。具体的には、本実施形態では、カラーＮＴＳＣ信号の輝度信号Ｙと色差信号Ｕ、Ｖの各々に上下の閾値を設定して全ての閾値を満たす画素を抽出する。

カラー抽出が終了すると、画像位置算出部５０３により、抽出したマーカ部分を白黒の２値化し、ビデオカメラ２０１の撮影した画像から抽出したマーカの縦横の辺を構成するピクセル数を計算する。取得した画像の縦横の辺の長さや傾斜を、基準となる画像と比較して撮像空間の歪みやスケールを割り出す。本実施形態では、歪みやスケールを算出する場合に、この他に少なくとも４点以上の箇所にマーカを設けて基準とすることもできる。例えば、４点以上の基準点が有ればそれを結んで線分とし、キャリブレーションを行うことが可能である。

このような準備の結果、実際に測定を行って、運動補助装置１０１の中央に立つ操作者と水平バー１０２との相対関係を用いて、操作者のおおまかな身長測定を行う。すなわち、操作者の像と立体測定基準の画像とを対比して、歪み対応情報である予め算出しておいた画像の歪みやスケールに基づいて、操作者の各部位の位置や体勢を判定する。ここでは、詳述しなかったが、同様に、操作者の像も本技術分野で知られたいずれかの方法により抽出する。例えば、予め操作者の背面を特徴的なものにしておき操作者の像を抽出しやすくする等が考えられる。

以上のように、本実施形態ではビデオカメラ２０１により水平バー１０２などの立体測定基準とともに操作者を写して得られた画像から、操作者の身長を算出することにより、操作者は運動補助装置１０１により運動を行いながら、希望するときにその時点におけるＢＭＩ値を得ることができる。本実施形態では、ＢＭＩ値を測定するために身長の測定方法のみを示したが、体重については従来の任意の方法を組み合わせて使用すれば、ＢＭＩ値を求めることができる。

以上本実施形態を用いると、操作者の身長を自動的に取得することができるが、この他にも様々な使用に供することができる。たとえば、立体測定基準との相対関係により、操作者の各部の形状や位置をある程度正確に算出することができるから、操作者の身長以外の計測データを容易に得ることができ、また操作者の姿勢や各部、例えば手の動きが分かるので身体全体を使用したゲームに用いていわゆる複合現実感（ＭＲ）を実現することができる。例えば、操作者の頭部の動きを算出してモニタ７０１上の画面と組み合わせ、ヘッディングゲームなどを実装することもできる。
（第２実施形態）

本実施形態では、基本的に上述の第１実施形態のシステム構成に加え、運動補助装置１０１の床マットとして床マットセンサを用い、運動補助装置１０１をコンピュータ１１０等にデータを入力するための装置として用いる例について説明する。もちろん、本実施形態でも上述の第１実施形態と組み合わせた応用例を実装することができる。本実施形態では、運動補助装置１０１は、本体表面に床マット１０４が設けられており、所定の領域を足で踏まれるとその位置に対応したデータを出力し、水平バー１０２は、後述するように操作者が足を移動させる場合の支えになるとともに、操作者の身体の移動範囲を制限することにより足の移動を制限して安定して足によるデータ入力が行えるようにするものである。

本実施形態の運動補助装置１０１は、表面に図１０に示すような床マット１０４が張られており、例えば図７に示すように足により踏まれて圧力が加わると、その位置に応じた信号を出力する。図１０は、床マットの構造の例を示す図である。本実施形態の床マットは、図１０に示すような電磁誘導式圧力分布センサ（例えば、特許文献２参照）を利用しているが、これに限られることなく、本技術分野で知られたいずれの技術を用いることもできる。例えば、本実施形態では圧力センサを用いているが、静電気を用いたセンサなどその他の技術を用いても、足の置かれた位置を示す信号を出力することができるものであればいずれの技術も用いることができる。

また、床マットの表面には、図６に示すような入力領域を示すデザインが描かれ、「Ａ」、「Ｂ」等の入力領域とその他の領域を隔てるように腰の高さ付近に水平方向に伸びたバーが設けられており、操作者はそのバーを掴み入力領域の基準として、所望の入力を示す領域を足で踏むことにより対応するデータを出力させることができる。具体的に、図６にはＡが入力される領域と、Ｂが入力される領域と、ＥＮＴＥＲを示す領域が示されており、それぞれの領域を踏むことによりその領域が示すデータを出力することができる。なお、操作者は情報入力領域であるＡかＢの領域を足で踏んでから、ＥＮＴＥＲを踏むことにより最初に踏んだＡかＢのデータが出力されるようにすることもできる。このように、本願発明の方法では、操作者が２回以上にわたり踏んで発生した信号のパターンにより、対応するデータを決定して出力するような制御も可能である。図６に示すような２つのデータの選択は、そのような本願発明の方法のうちの比較的単純な方法であるが、理解しやすいことを考慮して以下Ａ、Ｂを用いて本実施形態の説明を進める。

図２を再度参照すると、出力した信号は、ＣＰＵ２０２において本実施形態の特徴である情報入力により処理されてデータに変換され、変換されたデータはインタフェース２０３を介しコンピュータ１１０に送信される。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、運動補助装置１０１から入力したデータに基づいた処理結果をディスプレイ１１１等に出力する。

図３は、本実施形態の運動補助装置１０１のＣＰＵ２０２内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図３に示すように、運動補助装置１０１における処理は、信号受信部３０１、信号判定部３０２および情報生成送信部３０３により実行される。なお、本実施形態では、床マットからの信号を受取ってからデータの出力を行うまでの処理を３つのモジュールにより実行するがこれに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。

図４は、本実施形態のバーの典型的な設定位置を示す図である。本実施形態の足移動制限手段である水平バー１０２は、種々の方法で床マットに取り付けることができるが、その一例として図１に示すように床マットの側面に２つのバー支持部１０３を設け、その間に水平バー１０２を固定することにより、下部に足を挿入する隙間空間を作り水平バー１０２を基準に「Ａ」、「Ｂ」等の入力領域を正確に加圧することができる。すなわち、水平バー１０２のような障害物が存在すれば、操作者は人間工学的には少なくとも両足では身体の移動が制限された領域（水平バー１０２を床マットに投影した像の近傍から操作者の反対側の領域、図７等で言えば「Ａ」、「Ｂ」等の入力領域）には踏み込むことはない。これにより、身体の移動が制限された領域への足の移動は操作者が意識して行わない限り行われることはなく、誤入力防止の効果が期待される。ここで、図１１に示すように身体の移動が制限された領域の境界は、水平バー１０２を床マット上に投影した線になっているが、上述のとおり必ずしも投影線と境界は一致する必要がない。すなわち、身体の移動が制限された領域の境界は操作者と反対の側にあっても良いし、操作者の側にあっても良いし、直線ではなく適当な曲線としたりして使用状況目的に応じて任意のものとすることができる。例えば、水平バー１０２によって、操作者の動きは制限されるが、水平バー１０２の真下の付近はそれほど制限されないこともあって、自然に両足で踏み込まれることもあり得る。このような場合には、境界をより操作者から遠ざける（操作者の反対側にする）ことによって、自然には両足で押せない位置に入力領域を設定するのが効果的である。

さらに、このような水平バー１０２を適当な高さ、例えば操作者の胸からひざ付近に設定すると、操作者は水平バー１０２を手すりとして握ることにより、手すりから多少（伸ばした上肢分）距離をおくことになるため、床マットの前部領域（「Ａ」、「Ｂ」等の入力領域）には、意識的に踏み込まない限り不用意に踏むことはなくなるという効果が期待される。なお、図示しないが、このバーの高さを可変にして操作者ごとに適切な位置に設定することもできる。

本実施形態では、このように水平方向にバー１０２を設け足移動制限手段とすることにより足の移動に一定の制限を設け、一々目視で確認することなく予め定められた領域以外を踏むことを防止して、誤操作を減少させることができるが、これに加え足移動制限手段を入力領域の基準とすることもできる。本実施形態では、このような水平バー１０２により、誤操作を防止することができる。このように、本願発明は、床マットのような足により入力を行う機器に足移動を制限する部材あるいは機器を設けることを特徴とするが、このような部材や機器は本実施形態の水平バー１０２のような形態のものに限られず、種々のものを用いることができる。例えば、床マット上部に棒を立てて、その捧を足移動制限手段とすることもでき、また、床マット上面の一部を盛り上げることにより足移動制限手段とすることができる。したがって、本願発明は、床マット上に入力領域を設定しておいて、何らかの障害部材を設け、足の動きを制限することを特徴とし、これにより誤入力を防止してマンマシンインタフェースを向上させることができる。

また、水平バー１０２は単純な１本の棒とすることもできるが、床マットのデザインに合わせて色分けすることにより、水平バーを見れば床マットの入力領域を確認することなく足による入力を行うことができる。具体的には、例えば図１１を参照すると床マット１０１の「Ａ」および「Ｂ」の領域の上方に当たる部分と、「ＥＮＴＥＲ」の領域の上方に当たる部分とについて水平バー１０２上に「Ａ」１１０１、「Ｂ」１１０３および「Ｅ」１１０２等と表示したり、色分けしたりすることにより、操作者は視線を落として床マットを見ることなく前方の画面を見ながら足による操作をすることができる。また、この色分けに代えて水平バー１０２の所定の位置に点字または凹凸部を設けたり、表面の感触を変化させたりすることにより、視覚障害者でも床マットの入力領域を確認することができるようにすることもできる。例えば、図１１に示す例で説明すると、「Ａ」１１０１、「Ｂ」１１０３および「Ｅ」１１０２の文字部分や境界部分１１０４および１１０５を浮き彫りにし、あるいはこれらの文字部分のわきに点字を添えることができる。
（特殊制御の例）

本実施形態では、足により加圧されて床マットから出力された信号に基づいて情報を出力する際、さらに以下に示すような制御を行って正確な操作を期すことができる。

図９は、本制御例の方法の処理を示すフロ−チャートである。以下、図９に示すフローチャートに基づき、図３、６を参照しつつ本制御例の処理について説明する。図６に示す床マットのいずれかの領域が踏まれ、いずれかの信号が発生すると、信号受信部３０１が最初の信号を読取って記憶する（Ｓ４０１）。ここで入力された信号、すなわち床マット１０４の、例えば図６のＡの領域を足で踏んで発生した信号である場合、その信号は「Ａ」という情報種別を示す信号になる。本制御例の方法では、床マットから最初に情報種別を示す信号を受取った後、確定を意味する情報確定を示す信号を受取って始めて、最初に受取った情報種別の情報を出力し、この例で言えば、Ａというデータが出力される。したがって、最初の信号は情報種別を示す信号である必要があるので、図６に示すような床マットを用いる場合は、ＡまたはＢの情報種別を示す信号を受取らなければ情報は出力されないので、ステップＳ４０２では読取った信号がＡまたはＢの領域を踏んで発生したものか否かを信号判定部３０２が判定する。最初に情報種別（図６の例ではＡまたはＢ）を示す信号を受取った場合は、次に入力された信号を信号受信部３０１が読み取り、情報確定を示す信号（図６の例ではＥＮＴＥＲを示す信号）を受取ったか否かを信号判定部３０２が判定して（Ｓ４０４）、情報確定を示す信号のときは最初に受取った情報種別の情報が入力されたものとして、情報生成送信部３０３がそのような情報を生成して外部に出力する（Ｓ４０５）。

以上のような特殊処理を行うことにより、図６に示すような床マットパターンにおいて、Ａの領域が踏まれ、引き続いてＥＮＴＥＲが踏まれると、確実にＡが踏まれたことを示すデータ（例えば、「１」や「Ａ」といったコード）を出力することができ、上述の足の移動制限に加え、足を用いた入力において誤入力を起こりにくくすることができる。

以上説明したように、本願発明の運動補助装置により、床マットを用いたデータ入力が確実に行えるが、床マットの通常の使用を考慮すると、この特徴はより効果的であることが理解される。すなわち、床マットは、操作者が立った状態で操作される場合が通常であり、時には運動しながら使用される等から、図７に示すように大画面のモニタとともに利用されることが多く、着座によるコンピュータ操作に比して画面からかなり距離をおいて設置される。その場合、操作者は、離れた位置の画面を注視し、足下のボタンやユーザインターフェイスについて頻繁には視認を行わず、経験や記憶に頼った操作になりがちであるが、そのような場合にも本願発明の運動補助装置を用いることにより確実な操作が可能になるだけでなく、水平バー１０２に掴まることにより操作者の姿勢を安定させることもできる。例えば、図７に示す例では、操作者は大画面モニタ７０１を見ながら床マット１０１を用いて操作を行っているが、ここで決定ボタン（ここではＥＮＴＥＲ）は図６に示すようにマット中央前方に配置されているので、操作者は画面の中心部分に向かって一歩踏み込めば良く、足下をいちいち確認する必要がなくなる。

本実施形態を応用することにより、従来のゲームマットやランニングマシン等で、足下や手元の外部に設ける必要があったスタートやリセット等の機能を持たせたコントロールボックスを不要とすることができる。すなわち、従来のゲームマットやランニングマシン等ではスイッチ等に用いるボックスが必要であったが、本実施形態の情報入力方法を用いれば、足下のステップコンビネーションのみで必要とされる複数の機能の入力が可能となったことで、それをなくす事が可能となる。これによって、コスト削減という効果に加え、操作者が屈んでスイッチ操作したり、手元の別のスイッチを操作したりする必要がなくなり、純粋に足のみで全ての操作が可能となる。

また、以上のような本実施形態のデータ入力機能とともに上述の第１実施形態の位置検出を組み合わせることにより、例えばエクササイズの選択を床マットの表示にしたがって行いつつ、ＢＭＩ測定も実行したりすることができる。
（第３実施形態）

本実施形態では、上述の第２実施形態に加え床マットは、足が置かれた位置の圧力情報に基づいて種々の処理を行うことができる。すなわち、本実施形態で用いる床マットは図１０に示すような構造を有する電磁誘導式圧力分布センサを用いることから、本実施形態の運動補助装置は出力される各位置の圧力情報により、例えば床マット上にいる操作者の重心位置を特定する等、種々の処理を行う。したがって、本実施形態の運動補助装置は第１実施形態と床マットが圧力分布センサに限られる点を除きシステム構成は同様である。本実施形態では、例えば、図６に示すように床マットの前部（Ａ、Ｂが描かれている領域）を主に第１実施形態で説明したＡ、Ｂ等の入力用として用い、後部をその他の入力用に用いるといったように、床マットを種々の情報入力機器として用いながら、上述の第１実施形態の運動補助装置としても使用することができる。さらに、両領域はバーによって区分けされることになり、バーを基準として前側を全部とすることができる。

なお、この一例では図６に示す床マットとして図１０に示すような電磁誘導式圧力分布センサを用いたものを使用するが、これに限られることなく床マット上の置かれた物体によりかけられた圧力から圧力分布を検出することができる圧力センサであればいずれのセンサも用いることができる。

床マットを用いた種々の情報入力機器としては、上述のように操作者の重心を検出する処理などが有効である。重心は、本技術分野で知られた両足の圧力分布から検出するいずれの方法も用いることができるので、ここでは詳細な説明は省略するが、例えば図８に示すように両足の圧力分布８０２、８０３を測定し、得られた分布のパターンから重心の位置８０１を求める。両足の圧力分布で立ち位置や重心の位置が検出されると、例えばゲーム等に応用して重心の位置を変化させてディスプレイのキャラクタが移動するようなアプリケーションに適用することができる。

本実施形態では、このように検出された重心の位置を利用して、より確実な情報の出力ができるようにする。すなわち、第１実施形態で説明したデータの判定方法に加え、図６のＡ、ＢやＥＮＴＥＲなどの情報入力領域または確定入力領域が操作者の片方の足だけで圧力をかけている場合に情報を出力するようにすることができる。これは、操作者がＡやＢを選択しようとしてその領域を踏み込むときは、通常は片足で踏み込み、両足で踏み込むことはないため、片足で圧力をかけられた場合のみ、情報入力することによってより確実な情報の提供が可能になるのである。この場合さらに、情報入力領域または確定入力領域に置かれた足の反対側の足、すなわち軸足が情報入力領域または確定入力領域以外の後方部分に置かれ、安定していて移動しないという判断条件を加えることによって、さらにより確実な情報の提供が可能になる。この場合に、バーを手で握ることにより体を安定させるとともに、操作領域を認識する基準とすることができるのである。

このように、第１実施形態のようなＡ、Ｂの入力だけを目的とした運動補助装置に比べ、その他の目的にも使用する場合、床マットの前部にある領域のみ使用するわけではなく、操作者は床マットの表面全体を移動することが多いため、前部にあるＡやＢの領域を正確に指示することがより困難となる。したがって、本実施形態のように床マットを種々の情報入力機器として用いる場合、本願発明の方法がより効果的になる。
（第４実施形態）

本実施形態は、上述の第２実施形態及び第３実施形態と基本的に同じ構成で実装されるが、受取った信号に基づいて、操作者がどのような情報を出力しようとしたかを判定する処理の一部が異なる。すなわち、本実施形態の運動補助装置または方法では、Ａ、Ｂなどの情報種別を示す信号を受取ってから、情報確定を示す信号を受け取るまでの時間を制限し、一定の間隔を超えて受取った場合はその信号は無効にする。具体的には、本技術分野で知られたいずれの方法も取ることができるが、一例として、最初の信号を受取り（図９のステップＳ４０１）、情報種別を示す信号と判定された（同じくステップＳ４０２）後、タイマを始動して一定の時間、例えば３〜５秒以内に次の信号を受けとらない場合は本処理を終了させる。この場合、タイマが終了する前に信号を受取っても、ステップＳ４０４において受取った信号が情報確定を示す信号でないときは処理を終了するが、これに代えて、さらにタイマが終了するまで信号を待つようにすることもできる。

本実施形態では、操作者がどのような情報を出力しようとしたかを判定する処理（図９のステップＳ４０２〜Ｓ４０４）において、複数の信号が一定の間隔で受取られた場合のみ情報入力することにより上述の各実施形態に加え、さらに誤入力を排除することができる。
（第５実施形態）

本実施形態は、上述の第２実施形態ないし第４実施形態と基本的に同じ構成で実装されるが、床マットパターンを動的に変化させる点が異なる。すなわち、本実施形態の運動補助装置または方法において、Ａ、ＢまたはＥＮＴＥＲなどの床マットパターンは床マットに印刷等することにより固定的に表示されているが、本実施形態では使用する場面に応じて床マットパターンを変化させて、より効果的な情報入力を可能にするものである。床マットパターンは、種々の方法により変化させる（言い換えると、表示させる）ことができるが、本実施形態では床マットの上部からパターンを投影することにより床マットパターンを示す方法を用いる。以下にこの方法をより具体的に説明する。

図１２は、本実施形態のパターン投影方法を説明するための図である。後述する、パターンを投影するための投影手段であるＬＥＤスポットライトや液晶プロジェクタなどをバー支持部１０３等に取りつけ、床マット上に投影すると、投影ライト１２０２が床マット上に床マットパターンを形成することができる。図１２に示すようにバー支持部１０３に投影用ユニットを設置して、斜めに投影するようにすると、操作者の足１２０１に邪魔されることがないので影で床マットパターンがうまく投影されないということを避けることができる。

図１３ＡおよびＢは、本実施形態で用いる投影ユニットの一例を示す図である。図１３ＡはカラーＬＥＤスポットライトの例を、図１３Ｂは液晶プロジェクタの例を示している。本実施形態では、投影ユニットとして、図１３ＡおよびＢに示すような機器を用いるが、本技術分野で知られた種々の投影ユニットを用いることができ、さらに投影ユニット以外でも動的にパターンを変化させることができる様々な機器、部材を用いることができる。これらの投影ユニットは、上述のように操作者の足の影にならないよう装置に設置する必要がある。本実施形態では図１４ＡないしＣに投影ユニットを装置に設置する場合の例を示す。図１４Ａはバー支持部の一部に水平にユニット１４０１を設置したもの、図１４Ｂは両端から斜めに投影する投影ユニット１４０２を採用したもの、図１４Ｃは横方向から投影する投影ユニット１４０３を採用したものである。

図１４ＡないしＣに示す投影ユニット１４０１、１４０２、１４０３のいずれの設置場所も装置の前方部にあるため操作者の足が陰になりにくくなっている。本実施形態では、色分けしてＬ、Ｒ、ＥＮＴＥＲなどが投影されているが、投影ユニットにより様々なパターンが可能であることは当業者であれば容易に理解することができ、また、投影ユニットをこのような形で用いるために必要な設定や調整、例えば取り付け位置により生じるゆがみの調整などは本技術分野で知られた方法により行うことができるのでここでは詳細は説明しない。また、本実施形態では、主に身体の移動が制限された領域についてパターンを投影するが、これに限られず投影ユニットを用いて床マット全体にパターンを投影することもできる。また、本実施形態でパターンは光の投影で行うため、外光が強く入射する場合にはパターンが見えにくくなるおそれもあるため、図１２に示す遮蔽用のアクリル板１２０３などを取り付けるのも有効である。

本実施形態の投影ユニットも、コンピュータ１１０に接続することができ、さまざまなパターンをコンピュータ１１０から送信して床マット上に投影することができる。図１５ＡないしＦは、このように投影された床マットパターンの一例を示す図である。本実施形態でも、装置の使用状況としては、図７に示すようなモニタを見ながら操作者は本実施形態の装置上でゲームを行ったり、エクササイズを行ったりしており、モニタに映し出された内容、現在行っているコンテンツの内容に応じて色々なパターンを床マット上に表示し選択可能とさせることができる。

このように床マットパターンを変化させるため、基本的には床マットの表面はパターンの投影が可能なように図１５Ａのように例えば無地で反射率の高い、本技術分野で使用可能ないずれかの素材を貼り付ける。以上説明した床マットを用いて、様々なパターンが投影され床マットパターンが形成されるが、図１５Ｂは最も標準的なパターンであるＬ、Ｒを使用する。図１５Ｃでは、モニタに表示されているのが何かのビデオ等の場合でプレイや早回しなどを操作者は選択することができる。図１５Ｄは同様に上下左右を支持することができるようになっており、図１５Ｅ、Ｆは二人で使用するためのパターンである。ここで、足跡が２つ表示されているが、これは２人で使用するときにそれを明確にするためのものであるが、必須のものではない（例えば、モニタにそのような状況を示すような表示をすることもできる）ものの、上述のように入力領域以外にもパターンを投影させるような投影ユニットを用いてこのようなパターンを形成することもできる。

図１６は、本実施形態の可変床マットパターンの応用例を示す図である。この例は、比較的オーソドックスな応用例であるが、入力パターンが初期時Ｌ、Ｒであった場合に、モニタ７０１上でＡ、Ｂに入力パターンを切り替える旨表示させて、床マットパターンもそれに合わせて変化させるものである。図１６に示すように、コンピュータ１１０は、モニタ７０１に選択肢Ａ、Ｂを表示させつつ、投影ユニットに指示を出して、Ａ、Ｂという新しい床マットパターンを投影するようにさせる。操作者が、モニタ７０１を見ながらＡあるいはＢを足で踏むとその情報が、上述の実施形態１で説明したようにコンピュータ１１０に足で踏まれた領域に映し出されている情報が入力される。

図１８および１９は、本実施形態の可変床マットパターンの他の応用例を示す図である。図１８を参照すると、１種のゲームがモニタ７０１に写されており、初期時Ｌ、Ｒであった入力パターンが、モニタ７０１上で領域の表示が細かくなって上下左右を矢印で示して、床マットパターンもそれに合わせて変化させるものである。図１９も同様にエクササイズの指示がモニタ７０１に写されており、ＬまたはＲのいずれかを選択すると、それぞれ左または右の操作者の足元がライトアップされるというものである。

以上本実施形態により、床マットパターンをコンテンツにあわせ種々変化させることにより、よりダイナミックなコンテンツの作成に寄与することができる。

Claims (7)

1. 足の置かれた位置により異なる信号を発生する床マットセンサと、
   前記床マットセンサ上方に設けられ、前記足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準と、
   前記立体測定基準と予め定められた相対位置にあって、前記床マットセンサ上の測定対象と前記立体測定基準とを１つの画像として撮影する撮影手段と、
   前記撮影された画像から前記測定対象および前記立体測定基準に対応する像を抽出し、予め取得し記憶した前記立体測定基準の位置情報と、前記撮影手段により前記立体測定基準を撮影した画像の歪みとの歪み対応情報によって、前記測定対象の位置を算出する対象位置算出手段と、
   前記床マットセンサで発生する信号を受信し、前記所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定手段と、を備え、
   前記立体測定基準は、前記床マットセンサ上部の所定の高さに水平方向に配置されたバーであり、前記床マットセンサとの間に前記所定の領域に前記足の一部を移動させる隙間空間を有することを特徴とする画像認識装置。
2. 足の置かれた位置により異なる信号を発生する床マットセンサと、
   前記床マットセンサ上方に設けられ、前記足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準と、
   前記立体測定基準と予め定められた相対位置にあって、前記床マットセンサ上の測定対象と前記立体測定基準とを１つの画像として撮影する撮影手段と、
   前記撮影された画像から前記測定対象および前記立体測定基準に対応する像を抽出し、予め取得し記憶した前記立体測定基準の位置情報と、前記撮影手段により前記立体測定基準を撮影した画像の歪みとの歪み対応情報によって、前記測定対象の位置を算出する対象位置算出手段と、
   前記床マットセンサで発生する信号を受信し、前記所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定手段と、
   前記床マットの前記撮影手段と所定の距離に配置された距離基準を用いて、前記測定対象の前記撮影手段からの距離により、前記対象位置算出手段により算出される位置を調整する調整手段と
   を備えたことを特徴とする画像認識装置。
3. 前記立体測定基準は、前記撮影された画像からの抽出が容易になるように前記撮影手段に向いた面にマーカを有することを特徴とする請求項１または２に記載の画像認識装置。
4. 前記立体測定基準は、前記撮影手段に撮影されると矩形の画像となるような形状であることを特徴とする請求項１ないし３のいずれか１項に記載の画像認識装置。
5. 前記歪み対応情報は、前記立体測定基準の前記撮影手段により得られた像の縦横辺の長さおよび傾斜を基準とする画像と比較して得られることを特徴とする請求項４に記載の画像認識装置。
6. 足の置かれた位置により異なる信号を発生する床マットセンサと、前記床マットセンサ上方に設けられ、前記足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準を備えた床マットにおいて測定対象の画像を認識する方法であって、
   前記立体測定基準と予め定められた相対位置に配置された撮影手段により、前記床マット上の測定対象と、前記立体測定基準とを１つの画像として撮影する撮影ステップと、
   前記撮影された画像から前記測定対象および前記立体測定基準に対応する像を抽出し、予め取得し記憶した前記立体測定基準の位置情報と、前記撮影手段により前記立体測定基準を撮影した画像の歪みとの歪み対応情報によって、前記測定対象の位置を算出する撮影手段位置算出ステップと、
   前記床マットセンサで発生する信号を受信し、前記所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定ステップと、を備え、
   前記立体測定基準は、前記床マットセンサ上部の所定の高さに水平方向に配置されたバーであり、前記床マットセンサとの間に前記所定の領域に前記足の一部を移動させる隙間空間を有することを特徴とする方法。
7. 足の置かれた位置により異なる信号を発生する床マットセンサと、前記床マットセンサ上方に設けられ、前記足の所定の領域における移動を制限する４つ以上の点を含む立体測定基準を備えた床マットにおいて測定対象の画像を認識する方法であって、
   前記立体測定基準と予め定められた相対位置に配置された撮影手段により、前記床マット上の測定対象と、前記立体測定基準とを１つの画像として撮影する撮影ステップと、
   前記撮影された画像から前記測定対象および前記立体測定基準に対応する像を抽出し、予め取得し記憶した前記立体測定基準の位置情報と、前記撮影手段により前記立体測定基準を撮影した画像の歪みとの歪み対応情報によって、前記測定対象の位置を算出する撮影手段位置算出ステップと、
   前記床マットセンサで発生する信号を受信し、前記所定の領域における検知された足の位置に応じて予め定められた操作を判定する操作判定ステップと、
   前記床マットの前記撮影手段と所定の距離に配置された距離基準を用いて、前記測定対象の前記撮影手段からの距離により、前記対象位置算出手段により算出される位置を調整する調整ステップと
   を備えたことを特徴とする方法。

Images