JP7422375B1 - 着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム - Google Patents

着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム Download PDF

Info

Publication number
JP7422375B1
JP7422375B1 JP2023122895A JP2023122895A JP7422375B1 JP 7422375 B1 JP7422375 B1 JP 7422375B1 JP 2023122895 A JP2023122895 A JP 2023122895A JP 2023122895 A JP2023122895 A JP 2023122895A JP 7422375 B1 JP7422375 B1 JP 7422375B1
Authority
JP
Japan
Prior art keywords
posture
lower leg
leg
furniture
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023122895A
Other languages
English (en)
Inventor
英悟 池谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IKEYA SEISAKUSHO CO.,LTD.
Original Assignee
IKEYA SEISAKUSHO CO.,LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IKEYA SEISAKUSHO CO.,LTD. filed Critical IKEYA SEISAKUSHO CO.,LTD.
Priority to JP2023122895A priority Critical patent/JP7422375B1/ja
Application granted granted Critical
Publication of JP7422375B1 publication Critical patent/JP7422375B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】着座したユーザの脚部姿勢を推定する家具型機器等を提供する。【解決手段】家具型機器は、家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサと、下腿センサの計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び下腿部の姿勢を推定して出力する姿勢推定手段とを有する。姿勢推定手段は、上腿部の姿勢としては膝の位置及び／又は上腿の向き、下腿部の姿勢としては足首の位置、下腿の向き、及び／又は、膝関節の屈曲角を出力する。姿勢推定手段は、下腿センサの深度分布から推定した足首の位置ベクトル及び下腿の方向ベクトルと、予め設定された又は後から設定可能な上腿及び下腿の長さとの比に基づき、着座したユーザの上腿部及び下腿部の姿勢を推定する。【選択図】図１

Description

本発明は、仮想空間のユーザインターフェースとなる機器及びシステムの技術に関する。特に、仮想現実(Virtual Reality)空間やゲーム空間における仮想オブジェクト（アバターやキャラクタ）の姿勢を操作する技術に関する。
仮想現実とは、ユーザの視界に３次元の仮想空間を映し出す技術をいう。ユーザは、仮想空間を視認しながら、スティック機器やゲームコントローラを把持して操作することによって、その仮想空間内を移動することができる。特に、ユーザは、ＨＭＤ(Head Mounted Display)端末を頭部に装着することによって、視界からの没入感を得ることができる。このＨＭＤ端末は、ネットワークを介して仮想空間サーバへアクセスするものであってもよいし、自ら仮想空間サーバを搭載するものであってもよい。ＨＭＤ端末は、ユーザの頭部の動きを姿勢センサによって検出し、その計測値に応じて、仮想空間内におけるユーザの視界や位置を制御する。また、ユーザの視界方向を撮影するデプスカメラによって、ユーザ自身の手の動きを検出し、仮想空間にその操作を反映することもできる。
尚、仮想空間サーバは、インターネットに配置された仮想空間サーバ(Dedicated Server)であってもよいし、ローカルに配置された仮想空間サーバ(Listen Server)であってもよい。仮想空間を提供するサービスとしては、例えばVRChat（登録商標）やMetaverse（登録商標）、Second Life（登録商標）のようなソーシャルVRプラットフォームであってもよい。
従来、現実空間におけるユーザの脚部の姿勢を、仮想現実空間における仮想キャラクタオブジェクトの姿勢に反映する技術もある（例えば非特許文献１を参照）。この技術によれば、少なくともユーザの胴体、左右の膝上、左右の膝下に、ＩＭＵ(Inertial Measurement Unit)のセンサユニットを装着する。そして、ＩＭＵの計測値を用いて推定したユーザの胴体と脚部の姿勢情報を、仮想現実アプリケーションを実行している端末へ送信する。これによって、現実空間におけるユーザの姿勢を、仮想現実アプリケーションにおけるユーザの仮想オブジェクトの姿勢に反映することができる。
また、ユーザの姿勢をＲＧＢカメラや深度センサを用いて検出し、ゲームを操作する技術もある（例えば非特許文献２を参照）。この技術によれば、ＲＧＢカメラ、深度センサ、マルチアレイマイクロフォン、及び、専用ソフトウェアを動作させるプロセッサを用いて、プレイヤーの位置、動き、声、顔を認識することができる。これにより、ユーザは自身の身体を使って、直観的にビデオゲームをプレイすることができる。
また、この技術は、主にプレイヤーの動きを読み取って合成するモーションキャプチャも用いている。但し、一般的なモーションキャプチャとは異なり、通常のモーションキャプチャ時に着用する特殊なマーカー付きスーツと、マーカー検出時に使用するトラッカーを必要としない。カメラに被写体を映すことによってプレイヤーからキネクトまでの距離を計測し、プレイヤーの骨格の動きを検出して、ゲーム内のキャラクタの動きにリアルタイムに反映する。
尚、現実空間におけるユーザの姿勢を検出する椅子型機器もある（例えば特許文献１を参照）。この技術によれば、ユーザの胴体、左腕、右腕、左脚及び右脚それぞれの動きに応じた信号を発生させるコントローラチェアに基づくものであって、以下の部位を備える。
・基台に支持された座部
・座部の後縁側から上方又は斜め上方に延び、その幅方向中心線に沿って延びる軸線を中心として回動可能に基台に支持された背もたれ部
・背もたれ部の左側部から前方に突出し、その基端部を中心として上下に回動可能に背もたれ部に支持された左腕保持部
・背もたれ部の右側部から前方に突出し、その基端部を中心として上下に回動可能に背もたれ部に支持された右腕保持部
・基台の前側において座部の前縁の左側部付近から下方に延び、その上端部を中心として上下に回動可能に基台に支持された左脚保持部
・基台の前側において座部の前縁の右側部付近から下方に延び、その上端部を中心として上下に回動可能に基台に支持された右脚保持部
・背もたれ部、左腕保持部、右腕保持部、左脚保持部及び右脚保持部それぞれの回転角を検出する第１回転角検出部、第２回転角検出部、第３回転角検出部、第４回転角検出部及び第５回転角検出部
この椅子型機器は、仮想現実アプリケーションを実行する端末へ、これらの回転角信号を送信することによって、仮想キャラクタの姿勢を変化させることができる。
特許７１８９８１１号公報 特許６８８６１４１号公報 特許６７７８２０５号公報
Shiftall、[online]、[令和5年7月12日検索]、インターネット<URL: https://ja.shiftall.net/products/haritorax> Wikipedia「Kinect」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Kinect> Wikipedia「Eular angles」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Euler_angles> Wikipedia「Quaternion」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Quaternion> Wikipedia「Axis-angle representation」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Axis-angle_representation >
前述した特許文献１及び非特許文献１、２のような技術によれば、現実空間におけるユーザ自らの姿勢を、仮想オブジェクトの姿勢やゲームの操作に反映することができる。
しかしながら、非特許文献１によれば、ユーザの脚部の姿勢を検出するためには、ユーザ自身の身体の部位に姿勢検出装置を予め装着する必要がある、という問題がある。勿論、センサユニットを取り付けていない身体部位の姿勢を検出することはできない。
また、非特許文献２によれば、ＲＧＢカメラや深度センサを用いたユーザの全身観測によるプライバシー侵害の恐れがある、という問題もある。
更に、特許文献１によれば、姿勢検出装置は、１自由度の回転角の検出に限られ、多自由度の姿勢を検出することができず、保持部によってユーザの動作範囲が制限される、という問題もある。
そこで、本発明は、着座したユーザの脚部（上腿及び下腿）の姿勢を推定することができる家具型機器、付属機器及びシステムを提供することを目的とする。特に、本発明によれば、ユーザ自身にセンサを装着する必要もなく、ユーザの全身観測によるプライバシー侵害の可能性も低く、保持部によってユーザの動作範囲が制限されることもない。
本発明によれば、ユーザ自ら着座可能な家具型機器であって、
家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサと、
下腿センサの計測した深度分布に基づいて、着座したユーザの左右の脚それぞれの足首の位置ベクトルj及び下腿の方向ベクトルｌを下腿部の姿勢として検出し、当該足首の位置ベクトルj及び当該下腿の方向ベクトルlと、予め設定した又は別のセンサで検出した股関節の位置ベクトルhと、所定の上腿と下腿の長さ比αとに基づいて、着座したユーザの左右の脚それぞれの膝の位置ベクトルk、又は、膝の位置ベクトルk及び上腿の方向ベクトルuを、上腿部の姿勢として推定する姿勢推定手段と
を有することを特徴とする。
本発明の家具型機器における他の実施形態によれば、
少なくとも、
当該上腿部の姿勢として、当該膝の位置ベクトルkに基づく膝の位置又は当該上腿の方向ベクトルuに基づく上腿の向きを出力し、
当該下腿部の姿勢として、当該足首の位置ベクトルjに基づく足首の位置又は当該下腿の方向ベクトルlに基づく下腿の向きを出力する
ことも好ましい。
本発明の家具型機器における他の実施形態によれば、
姿勢推定手段は、１つ以上の下腿センサによって計測された深度分布を説明変数とし、足首の位置ベクトルj及び下腿の方向ベクトルlを目的変数とした教師データによって予め訓練された機械学習エンジンであり、１つ以上の下腿センサによって計測された深度分布を入力することによって、足首の位置ベクトルj及び下腿の方向ベクトルlを得る
ことも好ましい。
本発明の家具型機器における他の実施形態によれば、
座面部に配置された圧力分布を計測する１つ以上の座面圧力センサを更に有し、
姿勢推定手段は、圧力分布に基づいて検出した股関節の位置ベクトルhを用いる
ことも好ましい。
本発明の家具型機器における他の実施形態によれば、
姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び当該下腿部の姿勢を、立位姿勢に補正して出力する
ことも好ましい。
本発明の家具型機器における他の実施形態によれば、
座面自体の位置及び向きを検知する１つ以上の座面姿勢センサを更に有し、
姿勢推定手段は、当該上腿部の姿勢及び当該下腿部の姿勢に座面自体の向きに応じた回転をかけて、座面自体の位置をオフセットとして加えて、当該家具型機器が存在する空間を基準とした絶対座標に変換して出力する
ことも好ましい。
本発明の家具型機器における他の実施形態によれば、
姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力する
ことも好ましい。
本発明の家具型機器における他の実施形態によれば、
椅子状、クッション状、マット状、又は、車いす状である
ことも好ましい。
本発明によれば、ユーザ自ら着座可能な家具に取り付け可能な付属装置であって、
家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサと、
下腿センサの計測した深度分布に基づいて、着座したユーザの左右の脚それぞれの足首の位置ベクトルj及び下腿の方向ベクトルｌを下腿部の姿勢として検出し、当該足首の位置ベクトルj及び当該下腿の方向ベクトルlと、予め設定した又は別のセンサで検出した股関節の位置ベクトルhと、所定の上腿と下腿の長さ比αとに基づいて、着座したユーザの左右の脚それぞれの膝の位置ベクトルk、又は、膝の位置ベクトルk及び上腿の方向ベクトルuを、上腿部の姿勢として推定する姿勢推定手段と
を有することを特徴とする。
本発明によれば、ユーザ自ら着座可能な家具型機器と、当該家具型機器と通信する外部装置とを有するシステムであって、
家具型機器は、座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサを有し、
外部装置は、下腿センサの計測した深度分布に基づいて、着座したユーザの左右の脚それぞれの足首の位置ベクトルj及び下腿の方向ベクトルｌを下腿部の姿勢として検出し、当該足首の位置ベクトルj及び当該下腿の方向ベクトルlと、予め設定した又は別のセンサで検出した股関節の位置ベクトルhと、所定の上腿と下腿の長さ比αとに基づいて、着座したユーザの左右の脚それぞれの膝の位置ベクトルk、又は、膝の位置ベクトルk及び上腿の方向ベクトルuを、上腿部の姿勢として推定する姿勢推定手段を有する
ことを特徴とする。
本発明の家具型機器、付属機器及びシステムによれば、着座したユーザの脚部（上腿及び下腿）の姿勢を推定することができる。特に、本発明によれば、ユーザ自身にセンサを装着する必要もなく、ユーザの全身観測によるプライバシー侵害の可能性も低く、保持部によってユーザの動作範囲が制限されることもない。
本発明における第１の実施形態の椅子状の家具型機器である。 本発明における第２の実施形態の椅子状の家具型機器である。 家具型機器に着座するユーザの右脚における各ベクトルを表す説明図である。 家具型機器を側面から見て、足首の位置ベクトルj及び下腿部の方向ベクトルlの検出を表す説明図である。 本発明によって推定されるベクトルの説明図である。 着座姿勢から立位姿勢への変換について、補正の有無を表す説明図である。 他の実施形態となるクッション状又はマット状の家具型機器である。 着座可能な家具に取り付け可能な付属装置である。 本発明におけるシステムの構成図である。
以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
図１は、本発明における第１の実施形態の椅子状の家具型機器である。
図２は、本発明における第２の実施形態の椅子状の家具型機器である。
図１及び図２によれば、ユーザ自ら着座可能な椅子状の家具型機器１が表されている。
本発明における家具型機器１は、１つ以上の下腿センサ１１と、姿勢推定部１２とを有する。ここで、姿勢推定部１２は、装置に搭載されたコンピュータを機能させるプログラムによって実現される。尚、姿勢推定部１２は、家具型機器１に一体的に内蔵されたものであってもよいし、家具型機器１と通信する外部装置によって機能するものであってもよい。
［下腿センサ１１］
下腿センサ１１は、第１の家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測する。
図１の第１の実施形態によれば、家具型機器１の座面部から床面へ向かう中継軸に、１台の下腿センサ１１が設置され、着座したユーザの下腿部周辺に向けられている。下腿センサ１１のデバイスとしては、例えばLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)やデプスカメラであってもよい。これにより、着座したユーザの下腿周辺の面状の深度分布を計測することができる。例えばステレオカメラやIR（赤外線）カメラなどであっても、１台で面状の深度分布を計測できる。
図２の第２の実施形態によれば、家具型機器１の座面部以下にある前幕面に、着座したユーザの下腿部周辺に向けて、30個の測距センサが5行×6列に配置されている。
測距センサは、光や超音波、静電容量の変化等を利用して単一の距離を計測するものである。例えば2行以上×2列以上の配列で配置することによって、面状の深度分布を計測することができる。
本発明によれば、１つ以上の下腿センサ１１を用いて、面状の深度分布を計測できればよい。ここで、面状の深度分布とは、複数の深度値が２次元状に配列されたもの、又は、それらの深度値に基づいて３次元点群として構成されたものである。深度値が線状（即ち１次元状に並んだ）の深度分布は、本願発明の下腿センサには含まれないものとする。
［姿勢推定部１２］
姿勢推定部１２は、下腿センサ１１の計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び／又は下腿部の姿勢を推定して出力する。
図３は、家具型機器に着座するユーザの右脚における各ベクトルを表す説明図である。
図３によれば、姿勢推定部１２は、予め設定された座標系について、以下の５つのベクトルが表されている。
・足首の位置ベクトルj ：下腿部の姿勢
・下腿の方向ベクトルl ：下腿部の姿勢（膝から足首へ向かう）
・膝の位置ベクトルk ：上腿部の姿勢
・上腿の方向ベクトルu ：上腿部の姿勢（股関節から膝へ向かう）
・股関節の位置ベクトルh
本願発明における足首とは、くるぶし又は踵の周辺を意味する。
ここで、位置は、３次元の実数ベクトルを意味する。
また、これらベクトルは、所定の座標系に変換して出力するものであってもよい。座標系は、家具型機器１の製造時に設定される１つ以上の任意の座標系でもよいし、着座したユーザの姿勢に応じて動的に設定される座標系であってもよい。また、出力する値に倍率や回転をかけたり、オフセットを加えたり、値の範囲を制限するなどの補正を加えてもよい。
図４は、家具型機器を側面から見て、足首の位置ベクトルj及び下腿部の方向ベクトルlの検出を表す説明図である。
姿勢推定部１２は、姿勢として、深度分布に基づいて、ユーザの足首の位置ベクトルj及び下腿の方向ベクトルlを検出する。
図４によれば、家具型機器１の座面部以下にある前幕面を側面から見て、５本の深度が計測されている。ここで、上方２つの深度と下方３つの深度との間の深度差が大きくなっている。これは、上方２つの深度がユーザの下腿までの距離を表すと理解できる。
「足首の位置ベクトルj」は、上方２つの深度の最下方の深度の位置とみなすことができる。また、「下腿の方向ベクトルl」は、上方２つの深度の位置の差から算出できる。
このように、足首の位置ベクトルj及び下腿の方向ベクトルlは、下腿センサ１１によって検出された深度分布に基づき、隣り合う深度値の差分をとるか、又は、閾値や勾配に基づき特徴点を抽出することによって、解析的に検出することができる。
図４によれば、簡単のため片脚の場合を２次元的に示したが、勿論、両脚３次元でも同様に拡張できる。例えばLiDARやデプスカメラ等により高解像度の深度分布が得られる場合、高い精度で推定することができる。
［機械学習エンジンを用いた足首の位置ベクトルj及び下腿の方向ベクトルlの検出］
機械学習エンジンを用いて、下腿センサ１１によって検出された深度分布から、足首の位置ベクトルj及び下腿の方向ベクトルlを推定するものであってもよい。この場合、教師データとしては、深度分布を説明変数とし、足首の位置ベクトルj及び下腿の方向ベクトルlを目的変数とする。機械学習エンジンは、この教師データによって予め訓練して、学習モデルを構築しておく。勿論、セグメンテーション、クラスタリング等の手法を用いてもよいし、ニューラルネットワーク等を用いてもよい。
図５は、本発明によって推定されるベクトルの説明図である。
図５（ａ）によれば、姿勢推定部１２は、姿勢として、ユーザの足首の位置ベクトルj及び下腿の方向ベクトルlから、所定のパラメータtを用いて、膝の位置ベクトルkを推定する。具体的には、以下の式で表される。
k＝－tl＋j (t＞0)
図５（ｂ）によれば、姿勢推定部１２は、姿勢として、ユーザの足首の位置ベクトルj及び下腿の方向ベクトルlと、予め設定した又はセンサで検知した股関節の位置ベクトルhとから、所定のパラメータtを用いて、上腿の長さx及び下腿の長さyを推定する。
ユーザの上腿の長さxと、下腿部の長さyとは、以下の式で表される。
x＝||k－h||＝||－tl＋j－h||
y＝||j－k||＝||tl||
ここで、股関節の位置ベクトルhは、上腿の回転中心として、着座したユーザの腰の位置と向きに基づいて決定される。これは、家具型機器の設計時に予め設定しておいてもよい。また、家具型機器１の座面部に配置された圧力分布を計測するための１つ以上の座面圧力センサを更に有するものであってもよい（例えば特許文献２を参照）。姿勢推定部１２は、座面圧力センサによって計測された圧力分布に基づき、股関節の位置ベクトルhを推定することができる。即ち、着座したユーザの腰部の位置と向きを推定することができる。例えば組込み用圧力分布センサシートの場合、約0.1mm厚のフィルム状センサシートであり、リアルタイムに加圧力を検出することができる。
ここで、姿勢推定部１２は、上腿の長さx及び下腿の長さyとの比αに基づいて、所定のパラメータtを決定する。
比αは、人体寸法の統計情報に基づいて予め設定されるものであってもよい。また、近似してα＝1としてもよいし、ユーザによって変更可能としてもよい。これにより、以下の式で表される。
x＝αy （α＞0）
||－tl＋j－h||2＝α2||tl||2
この式は、tに関して、α=1の時は１次式、α≠1の時は２次式なので、解析的に以下の解を導くことができる。
Figure 0007422375000002
図５（ｃ）によれば、姿勢推定部１２は、姿勢として、ユーザの足首の位置ベクトルj及び下腿の方向ベクトルlと、予め設定した又はセンサで検知した股関節の位置ベクトルhとから、所定のパラメータtを用いて、上腿の方向ベクトルuを推定する。これにより、以下の式で表される。
u＝k－h＝－tl＋j－h
上腿の方向ベクトルu及び下腿の方向ベクトルlにおける向きは、所定の座標系を基準として算出する。ここで、向きとは、オイラー角、四元数、Axis-angle表現などの回転を表す情報を意味する（例えば非特許文献３、非特許文献４、非特許文献５を参照）。
図５（ａ）～（ｃ）のように、本発明によれば、家具型機器１に配置される下腿センサ１１によって、ユーザの下腿の一部のみを観測するだけで、膝の位置や上腿の姿勢も検出することができる。
＜ローカル座標系について＞
身体部位の向きは、基準とする座標系と、その身体部位のローカル座標系とを設定することによって算出することができる（例えば非特許文献３を参照）。
例えば、上腿のローカル座標系は、基準とする座標系を、座面又は腰部を基準に設定する。
ｘ軸：上腿の方向ベクトルu
ｙ軸：上腿の方向ベクトルuと直交し、上腿の方向ベクトルuと下腿の方向ベクトルlとで定まる平面と平行なベクトル
ｚ軸：ｘ軸及びｙ軸に直交するベクトル
また、下腿のローカル座標系は、先に定まった上腿のローカル座標系を基準座標系として設定する。
ｘ軸：下腿の方向ベクトルl
ｙ軸：下腿の方向ベクトルlと直交し、上腿の方向ベクトルuと下腿の方向ベクトルlとで定まる平面と平行なベクトル
ｚ軸：ｘ軸及びｙ軸に直交するベクトル
但し、身体部位のローカル座標系の設定はシステムによって異なるので、身体部位の向きの算出方法はこの限りではない。
上腿又は下腿の向きをオイラー角として出力する際は、値の単位を、角度やラジアン等に変換して出力するものであってもよい。また、関節の自由度を考慮して、オイラー角の一部だけを出力するものであってもよい。例えば、膝関節の回転軸は１自由度なので、上腿のローカル座標系を基準座標系とした下腿の向きを出力する場合は、オイラー角のうちピッチ角だけを出力するものであってもよい。また、出力する向きの値に倍率や回転をかけたり、オフセットを加えたり、値の範囲を制限するなどの補正を加えてもよい。例えば、上腿のローカル座標系を基準座標系とした下腿の向きのピッチ角を補正することで、膝関節の屈曲角として出力することもできる。
家具型機器が出力する姿勢として、例えば以下ものが考えられる。
・上腿部の姿勢：上腿回転中心（股関節）の位置、膝の位置、上腿の向き、膝の向き
・下腿部の姿勢：下腿回転中心（膝）の位置、足首の位置、下腿の向き、足首の向き
尚、これらの姿勢情報には冗長性がある。即ち、ユーザの上腿回転中心の位置、膝の位置及び足首の位置から、膝、足首、上腿、下腿それぞれの向きを算出することができる。また、上腿と下腿の長さが予め設定されている場合は、上腿の向き及び下腿の向きから膝、足首それぞれの位置及び向きを算出することもできる。これによって、家具型機器は、上記の姿勢の全てを出力する必要はなく、一部だけを出力するものであってもよい。
更に、他の実施形態として、姿勢推定部１２は、上腿の長さx及び下腿の長さyから、人体寸法の統計情報を用いて、ユーザの身長及び／又は目線の高さを推定する。ユーザの身長及び／又は目線の高さと、上腿の長さx及び下腿の長さyとの相関関係を、予め対応付けたテーブルを有するものであってもよい。
図６は、着座姿勢から立位姿勢への変換について、補正の有無を表す説明図である。
姿勢推定部１２は、着座したユーザの姿勢を、立位姿勢に補正して出力する。
図６（ａ）は、ユーザが椅子状の家具型機器に着座している様子であって、右脚と左脚とで姿勢が異なっている。
図６（ｂ１）（ｂ２）は、家具型機器１が出力する膝部の位置と足首部の位置とに基づき、立位姿勢の仮想オブジェクトの姿勢に反映させた様子である。
但し、図６（ｂ１）では、ユーザの着座姿勢から立位姿勢への補正処理を行っていないため、仮想オブジェクトの右膝が不自然な方向に曲がっている。
それに対し、図６（ｂ２）では、関節の可動域を考慮して立位姿勢への補正処理を行っており、仮想オブジェクトの立位姿勢がより自然になっている。
図６（ｂ２）の補正処理について、姿勢推定部１２は、姿勢として、下腿の方向ベクトルlと上腿の方向ベクトルuとから、膝関節の屈曲角θを推定することができる。このとき、膝の屈折各θの可動域を設定すべく補正処理を行う。補正された膝関節の屈曲角θを、仮想空間アプリケーションへ送信することによって、仮想オブジェクトの動きに反映することができる。
前述した図１のような移動可能な椅子型の家具型機器の場合、ＩＭＵやロータリーエンコーダ、ＶＲ用のトラッキングシステム（例えば特許文献３を参照）等を設置することによって、座面自体の姿勢（位置と向き）を検出することができる。この情報を用いて、ユーザの身体部位の位置や向きを補正して出力してもよい。例えば、膝と足首の位置を出力する際は、膝の位置ベクトルkと足首の位置ベクトルjに、座面自体の向きに応じた回転をかけたうえで、座面自体の位置をオフセットとして加えて出力することもできる。このような補正により、ユーザの姿勢を、家具型機器を基準とした相対座標から、家具型機器が存在する空間を基準とした絶対座標に変換して出力できる。
＜移動量の出力＞
姿勢推定部１２は、着座したユーザの姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における移動量を出力するものであってもよい。例えば、以下のように出力することができる。
・ユーザが着座したまま足踏みをすると、前進の移動量を出力する。
・ユーザが脚を横に移動させると、仮想空間における左右への平行移動量又は回転移動量を出力する。
・ユーザの膝の屈曲角に基づき、真偽値の仮想しゃがみ値を移動量として出力する。
・閾値時間内に膝を曲げ伸ばしすることで、仮想ジャンプ量を出力する。
これらは従来、コントローラのボタン押下によって、仮想現実アプリケーションにおけるしゃがみ姿勢やジャンプ操作が実行されていた。これに対して、本発明によれば、ユーザ自身で脚を動かすだけで、直観的に、しゃがみ姿勢やジャンプ操作を実行することができる。
図７は、他の実施形態となるクッション状又はマット状の家具型機器である。
図７（ａ）は、椅子の座面に載上可能なクッション状の家具型機器である。これは、座面の厚み部分に複数の下腿センサ１１が配置されている。
図７（ｂ）は、椅子全体を覆ってユーザの身体に近接するマット状の家具型機器である。これは、ユーザの下腿部分の前幕面に複数の下腿センサ１１が配置されている。
勿論、図７の実施形態に限られず、車いす状の家具型機器であってもよい。
図８は、着座可能な家具に取り付け可能な付属装置である。
図８によれば、ユーザ自ら着座可能な家具として、パイプ椅子が表されている。そのパイプ椅子に、本発明の付属装置１が取り付けられている。付属装置１は、前述した家具型機器１と同様に、下腿センサ１１と、姿勢推定部１２とを有する。
図９は、本発明におけるシステムの構成図である。
図９のシステムによれば、ユーザ自ら着座可能な家具型機器１と、当該家具型機器１と通信する外部装置２とを有する。ここで、外部装置２は、ＨＭＤ端末２１であってもよいし、仮想空間サーバ２２であってもよい。
この場合、家具型機器１は、座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を端末へ送信する１つ以上の下腿センサ１１を有する。
また、外部装置２は、下腿センサ１１の計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び／又は下腿部の姿勢を推定する姿勢推定部１２を有する。外部装置２は、ユーザ自らアバターとして移動する仮想空間を視認させるものである。特に、ＨＭＤ端末３を頭部に装着している場合、ユーザは、仮想空間への没入感を体験している。
家具型機器１とＨＭＤ端末２１とを有するシステムの場合、例えばユーザの歩行訓練のリハビリに利用することもできる。ＨＭＤ端末２１のディスプレイには、仮想空間としてユーザ自ら歩行している前方の映像を映し出す。これによって、現実空間では椅子に着座していても、家具型機器１が移動量を出力することによって、仮想空間では歩行状態を認識することができ、脳の歩行神経のリハビリとすることもできる。
また、家具型機器１によって検出された下半身の姿勢と、ＨＭＤ端末２１のハンドトラッキング機能とを組み合わせることによって、ユーザの全身姿勢を仮想オブジェクトに反映させることもできる。
以上、詳細に説明したように、本発明の家具型機器、付属機器及びシステムによれば、着座したユーザの脚部（上腿及び下腿）の姿勢を推定することができる。特に、本発明によれば、ユーザ自身にセンサを装着する必要もなく、ユーザの全身観測によるプライバシー侵害の可能性も低く、保持部によってユーザの動作範囲が制限されることもない。
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 家具型機器
１１ 下腿センサ
１２ 姿勢推定部
２ 外部装置
２１ ＨＭＤ端末
２２ 仮想空間サーバ

Claims (10)

  1. ユーザ自ら着座可能な家具型機器であって、
    家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサと、
    下腿センサの計測した深度分布に基づいて、着座したユーザの左右の脚それぞれの足首の位置ベクトルj及び下腿の方向ベクトルｌを下腿部の姿勢として検出し、当該足首の位置ベクトルj及び当該下腿の方向ベクトルlと、予め設定した又は別のセンサで検出した股関節の位置ベクトルhと、所定の上腿と下腿の長さ比αとに基づいて、着座したユーザの左右の脚それぞれの膝の位置ベクトルk、又は、膝の位置ベクトルk及び上腿の方向ベクトルuを、上腿部の姿勢として推定する姿勢推定手段と
    を有することを特徴とする家具型機器。
  2. 少なくとも、
    当該上腿部の姿勢として、当該膝の位置ベクトルkに基づく膝の位置又は当該上腿の方向ベクトルuに基づく上腿の向きを出力し、
    当該下腿部の姿勢として、当該足首の位置ベクトルjに基づく足首の位置又は当該下腿の方向ベクトルlに基づく下腿の向きを出力する
    ことを特徴とする請求項１に記載の家具型機器。
  3. 姿勢推定手段は、１つ以上の下腿センサによって計測された深度分布を説明変数とし、足首の位置ベクトルj及び下腿の方向ベクトルlを目的変数とした教師データによって予め訓練された機械学習エンジンであり、１つ以上の下腿センサによって計測された深度分布を入力することによって、足首の位置ベクトルj及び下腿の方向ベクトルlを得る
    ことを特徴とする請求項１に記載の家具型機器。
  4. 座面部に配置された圧力分布を計測する１つ以上の座面圧力センサを更に有し、
    姿勢推定手段は、圧力分布に基づいて検出した股関節の位置ベクトルhを用いる
    ことを特徴とする請求項１に記載の家具型機器。
  5. 姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び当該下腿部の姿勢を、立位姿勢に補正して出力する
    ことを特徴とする請求項１に記載の家具型機器。
  6. 座面自体の位置及び向きを検知する１つ以上の座面姿勢センサを更に有し、
    姿勢推定手段は、当該上腿部の姿勢及び当該下腿部の姿勢に座面自体の向きに応じた回転をかけて、座面自体の位置をオフセットとして加えて、当該家具型機器が存在する空間を基準とした絶対座標に変換して出力する
    ことを特徴とする請求項１に記載の家具型機器。
  7. 姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力する
    ことを特徴とする請求項１に記載の家具型機器。
  8. 椅子状、クッション状、マット状、又は、車いす状である
    ことを特徴とする請求項１に記載の家具型機器。
  9. ユーザ自ら着座可能な家具に取り付け可能な付属装置であって、
    家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサと、
    下腿センサの計測した深度分布に基づいて、着座したユーザの左右の脚それぞれの足首の位置ベクトルj及び下腿の方向ベクトルｌを下腿部の姿勢として検出し、当該足首の位置ベクトルj及び当該下腿の方向ベクトルlと、予め設定した又は別のセンサで検出した股関節の位置ベクトルhと、所定の上腿と下腿の長さ比αとに基づいて、着座したユーザの左右の脚それぞれの膝の位置ベクトルk、又は、膝の位置ベクトルk及び上腿の方向ベクトルuを、上腿部の姿勢として推定する姿勢推定手段と
    を有することを特徴とする付属装置。
  10. ユーザ自ら着座可能な家具型機器と、当該家具型機器と通信する外部装置とを有するシステムであって、
    家具型機器は、座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測するための１つ以上の下腿センサを有し、
    外部装置は、下腿センサの計測した深度分布に基づいて、着座したユーザの左右の脚それぞれの足首の位置ベクトルj及び下腿の方向ベクトルｌを下腿部の姿勢として検出し、当該足首の位置ベクトルj及び当該下腿の方向ベクトルlと、予め設定した又は別のセンサで検出した股関節の位置ベクトルhと、所定の上腿と下腿の長さ比αとに基づいて、着座したユーザの左右の脚それぞれの膝の位置ベクトルk、又は、膝の位置ベクトルk及び上腿の方向ベクトルuを、上腿部の姿勢として推定する姿勢推定手段を有する
    ことを特徴とするシステム。
JP2023122895A 2023-07-27 2023-07-27 着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム Active JP7422375B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023122895A JP7422375B1 (ja) 2023-07-27 2023-07-27 着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023122895A JP7422375B1 (ja) 2023-07-27 2023-07-27 着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム

Publications (1)

Publication Number Publication Date
JP7422375B1 true JP7422375B1 (ja) 2024-01-26

Family

ID=89620852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023122895A Active JP7422375B1 (ja) 2023-07-27 2023-07-27 着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム

Country Status (1)

Country Link
JP (1) JP7422375B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018015023A (ja) 2016-07-25 2018-02-01 国立大学法人 宮崎大学 姿勢特定システム、動作判定システム、姿勢特定方法、及び、姿勢特定プログラム
WO2021220870A1 (ja) 2020-04-27 2021-11-04 テイ・エス テック株式会社 シートアプリ管理装置、シート体験システムおよびシートアプリ管理プログラム
JP2022058418A (ja) 2018-08-21 2022-04-12 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
JP2023091250A (ja) 2021-12-20 2023-06-30 有限会社池谷製作所 仮想空間における移動を操作する家具型機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018015023A (ja) 2016-07-25 2018-02-01 国立大学法人 宮崎大学 姿勢特定システム、動作判定システム、姿勢特定方法、及び、姿勢特定プログラム
JP2022058418A (ja) 2018-08-21 2022-04-12 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
WO2021220870A1 (ja) 2020-04-27 2021-11-04 テイ・エス テック株式会社 シートアプリ管理装置、シート体験システムおよびシートアプリ管理プログラム
JP2023091250A (ja) 2021-12-20 2023-06-30 有限会社池谷製作所 仮想空間における移動を操作する家具型機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Leap Motion，[online]，2020年10月24日，[2023年10月12日検索], インターネット：＜ＵＲＬ：http://web.archive.org/web/20201024010305/https://ja.wikipedia.org/wiki/Leap_Motion＞
Walk This Way - Move in Games/VR with Your Feet，[online]，2021年06月18日，[2023年10月12日検索], インターネット：＜ＵＲＬ：http://web.archive.org/web/20210618173855/https://forums.leapmotion.com/t/walk-this-way-move-in-games-vr-with-your-feet/2613＞

Similar Documents

Publication Publication Date Title
US11052288B1 (en) Force measurement system
US10856796B1 (en) Force measurement system
US10646153B1 (en) Force measurement system
Parger et al. Human upper-body inverse kinematics for increased embodiment in consumer-grade virtual reality
US10010286B1 (en) Force measurement system
US9770203B1 (en) Force measurement system and a method of testing a subject
US11311209B1 (en) Force measurement system and a motion base used therein
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
US9526443B1 (en) Force and/or motion measurement system and a method of testing a subject
Fern'ndez-Baena et al. Biomechanical validation of upper-body and lower-body joint movements of kinect motion capture data for rehabilitation treatments
US9081436B1 (en) Force and/or motion measurement system and a method of testing a subject using the same
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
KR101694402B1 (ko) 투사 영상을 이용한 보행 재활 치료 보조 시스템 및 방법
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
US11540744B1 (en) Force measurement system
WO2012039467A1 (ja) 運動支援システム
Wiedemann et al. Performance evaluation of joint angles obtained by the Kinect v2
KR20140049503A (ko) 인간과 컴퓨터가 인터랙티브하는 제어방법 및 그의 응용
CN102270276A (zh) 根据身体移动确定卡路里燃烧
JP5624625B2 (ja) 運動支援システム
WO2006108279A1 (en) Method and apparatus for virtual presence
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
JP2022043264A (ja) 運動評価システム
Yun et al. Animation fidelity in self-avatars: impact on user performance and sense of agency
JP7422375B1 (ja) 着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240106

R150 Certificate of patent or registration of utility model

Ref document number: 7422375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150