WO2024111430A1 - 処理装置、処理システム、学習済みモデルの構築方法及びプログラム - Google Patents

処理装置、処理システム、学習済みモデルの構築方法及びプログラム Download PDF

Info

Publication number
WO2024111430A1
WO2024111430A1 PCT/JP2023/040494 JP2023040494W WO2024111430A1 WO 2024111430 A1 WO2024111430 A1 WO 2024111430A1 JP 2023040494 W JP2023040494 W JP 2023040494W WO 2024111430 A1 WO2024111430 A1 WO 2024111430A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
rotation
trained
rotation feature
frames
Prior art date
Application number
PCT/JP2023/040494
Other languages
English (en)
French (fr)
Inventor
佳祐 鈴木
修平 野寄
勇気 小阪
遊哉 石井
浩雄 池田
昭元 二村
浩二 藤田
拓哉 井原
Original Assignee
日本電気株式会社
国立大学法人 東京医科歯科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立大学法人 東京医科歯科大学 filed Critical 日本電気株式会社
Publication of WO2024111430A1 publication Critical patent/WO2024111430A1/ja

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

人間の体の回旋動作の状態を自動的に解析することを目的とする。回旋特徴量抽出部は、学習対象の被検者の動画データから選択した２つのフレームから学習対象の被検者の特徴点を抽出し、２つのフレームから抽出した特徴点から算出した体の回旋動作の差分に基づいて、学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する。学習用データ構築部は、回旋特徴量Ｆに対応する学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する。学習処理部は、学習用データを学習することで学習済みモデルを構築する。

Description

処理装置、処理システム、学習済みモデルの構築方法及びプログラム
　本開示は、処理装置、処理システム、学習済みモデルの構築方法及びプログラムに関する。
　医療分野においては、人体の動作の状態を解析し、解析結果に基づいて治療やリハビリを計画することが広く行われている。こうした解析は、例えば医師や理学療法士などの専門家が介在することで行われてきたが、近年では、人体の動作の状態を解析する手法の開発が進展している。
　こうした、人体の動作を解析する手法として、被検者の動作の可動域を算出する処理装置が提案されている（特許文献１）。この処理装置は、被検者の画像を撮影し、画像から測定対象となる動作を選択して、選択した動作の可動域を測定するものである。
　他にも、人体の動作を解析する手法が様々に提案されている（特許文献２～５）。
国際公開第２０２０／０２１８７３号 特開２０２２－１３１３９７号公報 特開２０２２－６５２４１号公報 特開２０１８－９４０８４号公報 特開２０１５－６１５７９号公報
　上述の解析手法では、動作の可動域などを測定することはできるものの、人体の主要動作の一つである体の回旋動作については、直道運動などと比較して解析が難しく、自動的な認識技術の開発が進んでいない。そのため、体の回旋動作に関する身体機能の不具合を解析して、これを改善するためには、依然として医師や理学療法士などの専門家の介在が求められる。したがって、体の回旋動作の解析をも自動的に解析できる姿勢状態認識技術へのニーズが高まっている。
　本開示は、上記の事情に鑑みて成されたものであり、人間の体の回旋動作の状態を自動的に解析することを目的とする。
　本開示の一態様である処理装置は、学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する学習用データ構築部と、前記学習用データを学習することで学習済みモデルを構築する学習処理部と、を備えるものである。
　本開示の一態様である処理装置は、推定対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記推定対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記推定対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて算出された、前記学習対象の被検者の体の回旋動作を示す回旋特徴量と、前記回旋特徴量に対応する前記学習対象の被検者の状態と、の対応付けを学習して構築された学習済みモデルに、前記回旋特徴量抽出部が算出した前記学習対象の被検者の前記回旋特徴量を入力して、前記推定対象の被検者の体の回旋動作の状態を推定する推定処理部と、を備えるものである。
　本開示の一態様である処理システムは、学習対象の被検者の体の回旋動作を撮像した動画像データを取得する撮像装置と、前記学習対象の被検者の動画像データから、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を学習して、前記学習対象の被検者の状態を推定する学習済みモデルを構築する処理装置と、を備え、前記処理装置は、　前記学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、　前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する学習用データ構築部と、前記学習用データを学習することで学習済みモデルを構築する学習処理部と、を備えるものである。
　本開示の一態様である学習済みモデルの構築方法は、学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出し、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築し、前記学習用データを学習することで学習済みモデルを構築するものである。
　本開示の一態様であるプログラムは、学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する処理と、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する処理と、前記学習用データを学習することで学習済みモデルを構築する処理と、をコンピュータに実行させるものである。
　本開示によれば、人間の体の回旋動作の状態を自動的に解析することができる。
実施の形態１にかかる処理システムの構成を模式的に示す図である。 実施の形態１にかかる処理システムの変形例を示す図である。 実施の形態１にかかる処理装置の学習フェーズにおける構成を模式的に示す図である。 実施の形態１にかかる処理装置の学習フェーズの処理を示すフローチャートである。 実施の形態１にかかる回旋特徴量抽出部の構成を模式的に示す図である。 特徴点抽出部が抽出する骨格点を模式的に示す図である。 各フレームにおける肩峰回旋量の計算の概要を示す図である。 各フレームにおける左上腕離隔の計算の概要を示す図である。 各フレームにおける右上腕離隔の計算の概要を示す図である。 各フレームにおける左下腕屈曲の計算の概要を示す図である。 各フレームにおける右下腕屈曲の計算の概要を示す図である。 各フレームにおける肩峰水平の計算の概要を示す図である。 各フレームにおける上部体幹前後傾の計算の概要を示す図である。 各フレームにおける骨盤水平の計算の概要を示す図である。 前フレームにおける上部体幹側屈の計算の概要を示す図である。 後フレームにおける上部体幹側屈の計算の概要を示す図である。 各フレームにおける骨盤回旋量の計算の概要を示す図である。 教師ラベルの一覧を示す図である。 実施の形態１にかかる処理装置の推定フェーズにおける構成を模式的に示す図である。 実施の形態１にかかる処理装置の推定フェーズの処理を示すフローチャートである。 実施の形態１にかかる処理装置１０の構成例を示す図である。 学習フェーズの処理のみを実行する処理装置の構成例を模式的に示す図である。 推定フェーズの処理のみを実行する処理装置の構成例を模式的に示す図である。 実施の形態２にかかる処理装置の学習フェーズにおける構成を模式的に示す図である。 実施の形態２にかかる処理装置の学習フェーズの処理のフローチャートである。 実施の形態２にかかる回旋特徴量抽出部の構成を模式的に示す図である。 教師ラベルの一覧を示す図である。 実施の形態２にかかる処理装置の推定フェーズにおける構成を模式的に示す図である。 実施の形態２にかかる処理装置の推定フェーズの処理を示すフローチャートである。 実施の形態３にかかる処理システムの構成を模式的に示す図である。 表示部の第１の表示例を示す図である。 表示部の第２の表示例を示す図である。 実施の形態４にかかる処理システムの構成を模式的に示す図である。 処理装置又は処理システムを実現するためのハードウェア構成の一例であるコンピュータの構成を模式的に示す図である。
　以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。
　実施の形態１
　実施の形態１にかかる処理システム１００について説明する。処理システム１００は、被検者ＯＢＪの人体を撮像した画像又は動画に基づいて、被検者ＯＢＪが体を右又は左に捻る動作、すなわち体を右又は左に回旋する回旋動作を行った場合に、解析対象となる部位の運動状態を推定するものとして構成される。
　ここでいう体の回旋動作とは、両足の接地位置及び向きを固定した状態で体を右又は左に回旋する動作を指し、このとき、腕、肩、首などの上半身、腰及び脚といった各部位が連動して運動することを意味する。
　図１に、実施の形態１にかかる処理システム１００の構成を模式的に示す。処理システム１００は、処理装置１０及びカメラ２０を有する。
　カメラ２０は、撮像対象である被検者ＯＢＪの画像又は動画を撮像し、撮像した画像又は動画のデータを処理装置１０へ出力する。以下では、カメラ２０は、動画データＭＯＶを処理装置１０へ出力するものとして説明する。また、以下では、動画データ及び画像データを総称して、動画像データとも称する。
　なお、図１では、カメラ２０から動画データＭＯＶを処理装置１０へ出力しているが、これは例示に過ぎない。例えば、動画データＭＯＶを他の記憶装置へ格納し、処理装置１０が必要に応じて記憶装置から動画データＭＯＶを読み込んでもよい。
　図２に、実施の形態１にかかる処理システムの変形例を示す。図２の処理システム１０１は、図１の処理システム１００と比べて、動画データベース３０が追加されている。動画データベース３０は、各種の記憶装置として構成され、又は、各種の記憶装置に格納可能に構成される。動画データベース３０には、カメラ２０が撮像した動画データＭＯＶが適宜格納される。処理装置１０は、必要に応じて、動画データベース３０から動画データＭＯＶを読み込む。
　処理装置１０は、受け取った動画データＭＯＶに基づき、撮像された被検者ＯＢＪが体を右又は左に回旋した場合の解析対象の部位の運動状態を示す特徴量を推定するものとして構成される。
　実施の形態１にかかる処理装置について説明する。処理装置１０は、学習対象の被検者ＯＢＪの動画から抽出した回旋特徴量と学習対象の被検者ＯＢＪの状態との対応関係を学習して学習済みモデルを構築し、学習済みモデルに推定対象の被検者について算出した回旋特徴量を入力することで、推定対象の被検者が体を右又は左に回旋した場合の解析対象の部位の運動状態を推定する。
　以下、処理装置１０の構成及び動作について、学習フェーズと推定フェーズとに分けて説明する。図３に、実施の形態１にかかる処理装置１０の学習フェーズにおける構成を模式的に示す。図４に、実施の形態１にかかる処理装置１０の学習フェーズの処理を示す。
　処理装置１０は、回旋特徴量抽出部１１、学習用データ構築部１２及び学習処理部１３を有する。
ステップＳ１１
　回旋特徴量抽出部１１は、動画データＭＯＶを受け取り、動画データＭＯＶから学習対象の被検者ＯＢＪの回旋特徴量を抽出する。図５に、実施の形態１にかかる回旋特徴量抽出部１１の構成を模式的に示す。回旋特徴量抽出部１１は、データ読み込み部１、特徴点抽出部２及び特徴量算出部３を有する。
ステップＳ１１１
　データ読み込み部１は、例えばカメラなどから、学習対象の被検者ＯＢＪの動画データＭＯＶを受け取る。
ステップＳ１１２
　特徴点抽出部２は、データ読み込み部１が受け取った動画データＭＯＶに基づいて、学習対象の被検者ＯＢＪの動作を検出するための特徴点を検出する。ここでは、特徴点として、学習対象の被検者ＯＢＪの人体の骨格点を検出するものとする。骨格点の検出方法は特定の方法に限られず、各種の方法を適用することができる。
　図６に、特徴点抽出部２が抽出する骨格点を模式的に示す。図６は学習対象の被検者ＯＢＪの正面図であり、被検者ＯＢＪの後背から前方へ向かう方向をｘ方向としている。但し、図６では、図を見やすくするため、ｘ方向については傾斜させて表示している。また、被検者ＯＢＪの右から左、すなわち図面の左から右へ向かう方向をｙ方向、下から上へ向かう方向をｚ方向としている。
　特徴点抽出部２は、被検者ＯＢＪから１５点の骨格点を抽出する。図６に示すように、被検者ＯＢＪの正中線上において上から順に、鼻Ｃ１、首Ｃ２、腰中Ｃ３を特徴点として抽出する。右半身については、右腕では上から順に右肩Ｒ１、右肘Ｒ２及び右手首Ｒ３を、右腰部及び右下肢では上から順に右腰Ｒ４、右膝Ｒ５及び右足首Ｒ６を特徴点として抽出する。左半身については、右半身に対して対称的に、左腕では上から順に左肩Ｌ１、左肘Ｌ２及び左手首Ｌ３を、左腰部及び左下肢では上から順に左腰Ｌ４、左膝Ｌ５及び左足首Ｌ６を特徴点として抽出する。なお、以下では、特徴点抽出部２が抽出する特徴点を、特徴点群Ｐとも称する。
ステップＳ１１３
　特徴量算出部３は、特徴点抽出部２が推定した骨格点に基づいて、体の回旋動作の前後での学習対象の被検者ＯＢＪの解析対象の部位の運動状態を示す特徴量を抽出する。以下、特徴量算出部３が抽出する回旋特徴量について説明する。本実施の形態では、特徴量算出部３は、以下の１０種類の回旋特徴量を算出する。
　以下、回旋特徴量の算出にあたっては、動画像から時間的に離隔した２つのフレームを選択し、これら２つのフレーム間における学習対象の被検者ＯＢＪの解析対象の部位の回旋特徴量を算出するものとする。以下、時間的に離隔した２つのフレームのうち、時間的に前のフレームを前フレーム、時間的に後のフレームを後フレームと称する。
　本実施の形態では、被検者が正面を向いて立っている状態のフレームを前フレーム、被検者が体を右又は左に回旋しているフレームを後フレームとすることで、好適に回旋特徴量を算出することができる。以下、回旋特徴量は、特徴点、すなわち骨格点の位置の変位を、特徴点を結ぶベクトルの２つのフレーム間での角度変位として表現される。
Ｆ０：肩峰回旋量
　上部体幹において、左肩Ｌ１と右肩Ｒ１とを結ぶ線の被検者ＯＢＪの正中線に対する回旋量を示す特徴量を、肩峰回旋量Ｆ０とする。以下、肩峰回旋量Ｆ０の算出について説明する。
　各フレームについて、以下の計算を行う。図７に、各フレームにおける肩峰回旋量の計算の概要を示す。まず、首Ｃ２から腰中Ｃ３へ向かうベクトルａに直交する平面Ｓ０を固定する。次いで、左肩Ｌ１から右肩Ｒ１へ向かうベクトルｂを平面Ｓ０に射影したベクトルＢと、左腰Ｌ４から右腰Ｒ４へ向かうベクトルｃを平面Ｓ０に射影したベクトルＣと、がなす角θを算出する。なお、以下では、後フレームから算出した角をθＬ、前フレームから算出した角をθＦとする。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、肩峰回旋量Ｆ０として算出する。
Ｆ１：左上腕離隔
　体を右又は左に回旋させたときに左上腕が上部体幹からどれだけ離れたか、すなわち、左上腕による代償動作を示す特徴量を、左上腕離隔Ｆ１とする。以下、左上腕離隔Ｆ１の算出について説明する。
　各フレームについて、以下の計算を行う。図８に、各フレームにおける左上腕離隔の計算の概要を示す。まず、首Ｃ２から腰中Ｃ３へ向かうベクトルａ、左肩Ｌ１から左肘Ｌ２へ向かうベクトルｂを生成し、これらのベクトルがなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、左上腕離隔Ｆ１として算出する。
Ｆ２：右上腕離隔
　体を右又は左に回旋させたときに右上腕が上部体幹からどれだけ離れたか、すなわち、右上腕による代償動作を示す特徴量を、右上腕離隔Ｆ２とする。以下、右上腕離隔Ｆ２の算出について説明する。
　各フレームについて、以下の計算を行う。図９に、各フレームにおける右上腕離隔の計算の概要を示す。まず、首Ｃ２から腰中Ｃ３へ向かうベクトルａ、右肩Ｒ１から右肘Ｒ２へ向かうベクトルｂを生成し、これらのベクトルがなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、右上腕離隔Ｆ２として算出する。
Ｆ３：左下腕屈曲
　体を右又は左に回旋させたときに左肘から先の腕の曲がり具合、すなわち、左下腕による代償動作を示す特徴量を、左下腕屈曲Ｆ３とする。以下、左下腕屈曲Ｆ３の算出について説明する。
　各フレームについて、以下の計算を行う。図１０に、各フレームにおける左下腕屈曲の計算の概要を示す。まず、左肩Ｌ１から左肘Ｌ２へ向かうベクトルａ、左肘Ｌ２から左手首Ｌ３へ向かうベクトルｂを生成し、これらのベクトルがなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、左下腕屈曲Ｆ３として算出する。
Ｆ４：右下腕屈曲
　体を右又は左に回旋させたときに右肘から先の腕の曲がり具合、すなわち、右下腕による代償動作を示す特徴量を、右下腕屈曲Ｆ４とする。以下、右下腕屈曲Ｆ４の算出について説明する。
　各フレームについて、以下の計算を行う。図１１に、各フレームにおける右下腕屈曲の計算の概要を示す。まず、右肩Ｒ１から右肘Ｒ２へ向かうベクトルａ、右肘Ｒ２から右手首Ｒ３へ向かうベクトルｂを生成し、これらのベクトルがなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、右下腕屈曲Ｆ４として算出する。
Ｆ５：肩峰水平
　右肩Ｒ１と左肩Ｌ２とを結ぶ線の上部体幹に対する傾きを示す特徴量を、肩峰水平Ｆ５とする。以下、肩峰水平Ｆ５の算出について説明する。
　各フレームについて、以下の計算を行う。図１２に、各フレームにおける肩峰水平の計算の概要を示す。まず、左肩Ｌ１から右肩Ｒ１へ向かうベクトルａ、首Ｃ２から腰中Ｃ３へ向かうベクトルｂを生成し、これらのベクトルがなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、肩峰水平Ｆ５として算出する。
Ｆ６：上部体幹前後傾
　上部体幹の前方又は後方への傾きを示す特徴量を、上部体幹前後傾Ｆ６とする。以下、上部体幹前後傾Ｆ６の算出について説明する。
　各フレームについて、以下の計算を行う。図１３に、各フレームにおける上部体幹前後傾の計算の概要を示す。まず、左腰Ｌ４から右腰Ｒ４へ向かうベクトルａに直交する平面Ｓ６を固定する。そして、首Ｃ２から腰中Ｃ３へ向かうベクトルｂを平面Ｓ６に射影したベクトルＢと、鉛直方向ベクトルｇを平面Ｓ６に射影したベクトルＧとがなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、上部体幹前後傾Ｆ６として算出する。
Ｆ７：骨盤水平
　骨盤の右方又は左方への傾きを示す特徴量を、骨盤水平Ｆ７とする。以下、骨盤水平Ｆ７の算出について説明する。
　各フレームについて、以下の計算を行う。図１４に、各フレームにおける骨盤水平の計算の概要を示す。まず、左腰Ｌ４から右腰Ｒ４へ向かうベクトルａと、鉛直方向ベクトルｇと、がなす角θを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、骨盤水平Ｆ７として算出する。
Ｆ８：上部体幹側屈
　上部体幹の右方又は左方への傾きを示す特徴量を、上部体幹側屈Ｆ８とする。以下、上部体幹側屈Ｆ８の算出について説明する。
　図１５に、前フレームにおける上部体幹側屈の計算の概要を示す。前フレームについて、首Ｃ２から腰中Ｃ３へ向かうベクトルａと、鉛直方向ベクトルｇと、がなす角θＦを算出する。
　図１６に、後フレームにおける上部体幹側屈の計算の概要を示す。後フレームについて、首Ｃ２から腰中Ｃ３へ向かうベクトルｂを、左腰Ｌ４から右腰Ｒ４へ向かうベクトルｃのまわりに、上部体幹前後傾Ｆ６のマイナス倍だけ回転させたベクトルＢを生成する。そして、ベクトルＢと鉛直方向ベクトルｇとのなす角θＬを算出する。
　そして、後フレームで算出した角θＬから前フレームで算出した角θＦを減じた差分Δθを、上部体幹側屈Ｆ８として算出する。
Ｆ９：骨盤回旋量
　骨盤の回旋量を示す特徴量を、骨盤回旋量Ｆ９とする。以下、骨盤回旋量Ｆ９の算出について説明する。
　各フレームについて、以下の計算を行う。図１７に、各フレームにおける骨盤回旋量の計算の概要を示す。まず、鉛直方向ベクトルｇに直交する平面Ｓ９を固定する。次いで、左腰Ｌ４から右腰Ｒ４へ向かうベクトルａを平面Ｓ９に射影したベクトルＡを算出する。
　そして、後フレームで算出したベクトルＡＬと、前フレームで算出したベクトルＡＦと、がなす角θを、骨盤回旋量Ｆ９として算出する。
ステップＳ１２
　学習用データ構築部１２は、回旋特徴量抽出部１１が算出した回旋特徴量Ｆ０～Ｆ９に、対応する教師ラベルを対応付けることで、学習用データＤＡＴを構築する。なお、ここでは、回旋特徴量Ｆ０～Ｆ９を、回旋特徴量群Ｆとも称する。例えば、動画データＭＯＶの被検者ＯＢＪが体を左に傾けている場合、その被検者ＯＢＪの状態が回旋特徴量Ｆ０～Ｆ９によって定量的に表現される。
　これに対し、教師ラベルとして、被検者ＯＢＪの体勢を示す情報を与えることで、学習用データＤＡＴを構成するデータ要素を生成することができる。学習用データＤＡＴは、このように生成されるデータ要素を複数含むものとして構成される。
　換言すれば、学習用データＤＡＴの各データ要素は、以下のベクトルｄｉによって表現される。なお、以下の式におけるｉは、動画データＭＯＶを示すインデックスであり、動画データＭＯＶの数をＮとすると、１以上Ｎ以下の整数である。
Figure JPOXMLDOC01-appb-M000001
 式［１］において、回旋特徴量群ベクトルＦｉは、ｉ番目の動画データＭＯＶから算出した回旋特徴量Ｆ０～Ｆ９を要素とするベクトルである。教師ラベルベクトルＬｉは、回旋特徴量群ベクトルＦｉに対して付与した教師ラベルを要素とするベクトルである。以上より、学習用データＤＡＴは、ベクトルｄ１～ｄＮを含むデータセットとして構成される。
　教師ラベルは、例えば、動画データＭＯＶに対して各種の解析手法を適用することで自動的に生成してもよいし、処理システム１００のユーザが動画データＭＯＶに応じて入力してもよい。
　教師ラベルの具体例について説明する。図１８に、教師ラベルの一覧を示す。ここでは、教師ラベルの項目として、上部体幹の回旋量、肩の水平、体幹の前後傾、体幹の側屈、骨盤の回旋量、及び、骨盤の水平のそれぞれの度合いを挙げた。また、重心位置について、例えば、両足の中心に重心が位置している、又は、重心が片足の上に乗っているなどの教師ラベルを付与することもできる。各ラベルは、図１８に示すように、数値によって表すことも可能である。
ステップＳ１３
　学習処理部１３は、教師有り学習によって学習用データＤＡＴを学習し、学習済みモデルＭを構築する。教師有り学習の手法は特定の手法に限定されるものではなく、各種の教師有り学習の手法を用いることが可能である。
　次いで、処理装置１０における推定フェーズについて説明する。図１９に、実施の形態１にかかる処理装置１０の推定フェーズにおける構成を模式的に示す。図２０に、実施の形態１にかかる処理装置１０の推定フェーズの処理を示す。
　図１９の処理装置１０は、回旋特徴量抽出部１１及び推定処理部１４を有する。
ステップＳ１４
　回旋特徴量抽出部１１は、推定対象の被検者の動画データＭＯＶ＿ＩＮから、学習済みモデルに入力する回旋特徴量ｆ０～ｆ９を算出する。推定フェーズにおける回旋特徴量ｆ０～ｆ９は、それぞれ学習フェーズにおける回旋特徴量Ｆ０～Ｆ９に対応するものであり、学習フェーズと同様に算出される。なお、ここでは、回旋特徴量ｆ０～ｆ９を、回旋特徴量群ｆとも称する。
ステップＳ１５
　推定処理部１４は、推定フェーズにおける回旋特徴量ｆ０～ｆ９を、保持している学習済みモデルに説明変数として入力することで、動画データＭＯＶ＿ＩＮに映り込んでいる推定対象の被検者の体の回旋動作の状態を示す目的変数、すなわち、推定結果ＯＵＴを出力する。推定結果としては、例えば、推定対象の被検者の体勢などを示す情報を出力してもよい。
　なお、上述では、処理装置１０の学習フェーズにかかる構成と推定フェーズにかかる構成とを分けて説明したがこれは例示に過ぎない。図２１に、実施の形態１にかかる処理装置１０の構成例を示す。図２１に示すように、処理装置１０は、学習フェーズにかかる構成と推定フェーズにかかる構成とを有していてもよい。
　また、処理装置は、学習フェーズにかかる構成のみを有し、学習フェーズの処理のみを実行するものとして構成してもよい。図２２に、学習フェーズの処理のみを実行する処理装置の構成例を模式的に示す。処理装置１０においては、学習処理部１３は、構築した学習済みモデルや、学習済みモデルを定義する重みパラメータなどの情報を含む出力データＤ＿Ｍを出力してもよい。
　さらに、処理装置は、推定フェーズにかかる構成のみを有し、推定フェーズの処理のみを実行するものとして構成してもよい。図２３に、推定フェーズの処理のみを実行する処理装置の構成例を模式的に示す。処理装置１０においては、他の処理装置によって構築された学習済みモデル又は学習済みモデルを定義するパラメータなど情報を含む出力データＤ＿Ｍを受け取ることで、学習済みモデルを推定処理部１４に構築することができる。例えば、推定処理部１４は、他の処理装置から出力された出力データＤ＿Ｍを受け取り、これに基づいて学習済みモデルを構築することができる。
　本構成によれば、画像データ又は動画データに映った被検者の解析対象の部位、例えば関節などの回旋量を自動的に解析することができる。また、解析結果の是非を、学習済みモデルを用いて推定することも可能となる。
　また、本実施の形態にかかる処理装置は、カメラなどの撮像装置と処理装置を有する端末、例えばスマートフォンなどに搭載することが可能となる。これにより、専門家以外の一般のユーザであっても、体の回旋動作の解析を行い、解析結果の是非を知ることができる。これらの解析結果を利用して、各ユーザは、オンライントレーニングやセルフトレーニングによるリハビリ活動を行うことできる。
　実施の形態２
　実施の形態１では、回旋特徴量から、被検者の一方向への体の回旋動作についての解析について説明したが、人体は、左右のそれぞれへ対称的な動作を行うことができる。しかしながら、被検者が対称な動作を意図したとしても、関節などの故障により、実際には左右対称に動作を行うことができない場合がある。そこで、本実施の形態では、被検者の動作の左右対称性を評価する手法について説明する。
　この場合、カメラ２０によって、体を左に向けて回旋させた場合の動画データＭＯＶ＿Ｌと、体を右に向けて回旋させた場合の動画データＭＯＶ＿Ｒとを撮像する。このように、同じ被検者が左右対称の動作を記録した２つの動画データを、以下では動画ペアＭＰと称する。
　以下、図２４～図２６を参照して、実施の形態２にかかる処理装置４０の構成及び動作について説明する。図２４に、実施の形態２にかかる処理装置４０の学習フェーズにおける構成を模式的に示す。図２５に、実施の形態２にかかる処理装置４０の学習フェーズの処理を示す。図２６に、実施の形態２にかかる回旋特徴量抽出部１１の構成を模式的に示す。
ステップＳ２１
　回旋特徴量抽出部１１は、動画ペアＭＰを受け取り、動画ペアＭＰに含まれる動画データＭＯＶ＿Ｌ及び動画データＭＯＶ＿Ｒのそれぞれから、回旋特徴量を抽出する。ここでは、動画データＭＯＶ＿Ｌから抽出した回旋特徴量Ｆ０～Ｆ９を回旋特徴量群ＦＬ、動画データＭＯＶ＿Ｒから抽出した回旋特徴量Ｆ０～Ｆ９を回旋特徴量群ＦＲと表記する。
ステップＳ２１１
　データ読み込み部１は、動画ペアＭＰを受け取る。
ステップＳ２１２
　特徴点抽出部２は、動画データＭＯＶ＿Ｌ及び動画データＭＯＶ＿Ｒのそれぞれから、骨格点を検出する。ここでは、動画データＭＯＶ＿Ｌから抽出した骨格点群をＰＬ、動画データＭＯＶ＿Ｒから抽出した骨格点群をＰＲとする。
ステップＳ２１３
　特徴量算出部３は、動画データＭＯＶ＿Ｌから抽出された骨格点群ＰＬから回旋特徴量Ｆ０～Ｆ９、すなわち回旋特徴量群ＦＬを算出する。また、特徴量算出部３は、動画データＭＯＶ＿Ｒから抽出された骨格点群ＰＲから回旋特徴量Ｆ０～Ｆ９、すなわち回旋特徴量群ＦＲを算出する。
ステップＳ２２
　学習用データ構築部１２は、１組の動画ペアＭＰにかかる回旋特徴量群ＦＬ及び回旋特徴量群ＦＲと、動作の左右対称性を示す教師ラベルＬとからなるデータ要素を複数含む学習用データＤＡＴを構築する。
　換言すれば、学習用データの各データ要素は、以下のベクトルｅｊによって表現される。なお、以下の式におけるｊは、動画ペアを示すインデックスであり、動画ペアの数をＭとすると、１以上Ｍ以下の整数である。
Figure JPOXMLDOC01-appb-M000002
 式［２］において、回旋特徴量群ベクトルＦＬｊは、ｊ番目の動画ペアの動画データＭＯＶ＿Ｌから算出した回旋特徴量Ｆ０～Ｆ９を要素とするベクトルである。回旋特徴量群ベクトルＦＲｊは、ｊ番目の動画ペアの動画データＭＯＶ＿Ｒから算出した回旋特徴量Ｆ０～Ｆ９を要素とするベクトルである。教師ラベルベクトルＬｊは、回旋特徴量群ベクトルＦＬｊ及びＦＲｊに対して付与した教師ラベルを要素とするベクトルである。以上より、学習用データＤＡＴは、ベクトルｅ１～ｅＭを含むデータセットとして構成される。
　学習用ラベルは、本実施の形態においては、人体の動作の左右対称性を示すものとして、上部体幹の対称性、骨盤の対称性、重心位置の対称性を示すラベルを含んでもよい。図２７に、教師ラベルの一覧を示す。ここでは、各項目について、「左右の動作で対称」であるか、「左右の動作で非対称」であるかを示すラベルを与えるものとする。例えば、「左右の動作で対称」である場合に「０」、「左右の動作で非対称」である場合に「１」を付与してもよい。
　例えば、被検者が体を左に捻る左回旋動作を行う場合、身体の不具合により、重心が左足へとずれる場合が想定される。この場合に、右回旋動作時に重心が右足へとずれるならば、重心位置対称性の教師ラベルとして「０」、そうでなければ「１」を付与する。また、左回旋動作時に重心が両足の中心にある場合に、右回旋動作時に重心が両足の中心にあれば、重心位置対称性の教師ラベルとして「０」、そうでなければ「１」を付与する。
ステップＳ２３
　学習処理部１３は、教師有り学習によって学習用データＤＡＴを学習し、学習済みモデルＭを構築する。
　次いで、処理装置４０における推定フェーズについて説明する。図２８に、実施の形態２にかかる処理装置４０の推定フェーズにおける構成を模式的に示す。図２９に、実施の形態２にかかる処理装置４０の推定フェーズの処理を示す。
　図２８の処理装置４０は、回旋特徴量抽出部１１及び推定処理部１４を有する。
ステップＳ２４
　回旋特徴量抽出部１１は、推定対象の被検者の動画ペアＭＰ＿ＩＮから、学習済みモデルに入力する回旋特徴量群ｆＬ及びｆＲを算出する。推定フェーズにおける回旋特徴量群ｆＬ及びｆＲは、それぞれ学習フェーズにおける回旋特徴量群ＦＬ及びＦＲに対応するものであり、学習フェーズと同様に算出される。
ステップＳ２５
　推定処理部１４は、推定フェーズにおける回旋特徴量群ｆＬ及びｆＲを、保持している学習済みモデルに説明変数として入力することで、動画ペアＭＰ＿ＩＮに映る推定対称の被検者の動作の左右対称性を示す目的変数、すなわち推定結果ＯＵＴを出力する。これにより、上部体幹の対称性、骨盤の対称性、及び、重心位置の対称性について、左右でバランスがとれているかを推定結果ＯＵＴによって判別することが可能となる。
　なお、処理装置４０の学習フェーズにかかる構成と推定フェーズにかかる構成とを分けて説明したがこれは例示に過ぎない。実施の形態１と同様に、学習フェーズにかかる構成と推定フェーズにかかる構成とを有していてもよい。
　また、処理装置は、実施の形態１と同様に、学習フェーズにかかる構成のみを有し、学習フェーズの処理のみを実行するものとして構成してもよい。さらに、処理装置は、実施の形態１と同様に、推定フェーズにかかる構成のみを有し、推定フェーズの処理のみを実行するものとして構成してもよい。
　以上、本構成によれば、動画に映る被検者の体勢や一方向への体の回旋動作を解析するだけでなく、被検者の体の回旋動作の左右対称性をさらに解析することが可能となる。これにより、体の回旋動作について、より包括的な解析ができる。
　実施の形態３
　実施の形態３にかかる処理システム３００について説明する。図３０に、実施の形態３にかかる処理システム３００の構成を模式的に示す。処理システム３００は、実施の形態１にかかる処理システム１００に、表示部５０を追加した構成を有する。
　表示部５０は、学習処理部１３の推定結果ＯＵＴを表示するものとして構成される。このとき、表示部５０は、推定結果ＯＵＴに基づいて、ユーザにとって有用な各種の情報を表示してもよい。
　図３１に、表示部５０の第１の表示例を示す。図３１では、スマートフォンのタッチパネルを表示部５０として用いる例を示している。この例では、画面上部に、推定対象の人物の画像ないしは動画を表示し、その下部に、体の回旋動作の推定結果を表示している。
　本構成では、処理システムをスマートフォンに搭載し、スマートフォンで推定対象の人物の動画を撮像し、処理装置における処理を行って、必要な情報をタッチパネル上に表示することができる。これにより、特別なハードウェアを要することなく、広く普及したスマーフォンを活用して、推定対象の人物の体の回旋動作の状態を知ることが可能となる。
　第１の例では、一般的なユーザ向けの表示例について説明したが、さらに専門的な表示を行うことも可能である。図３２に、表示部５０の第２の表示例を示す。図３２では、パソコン等の表示パネルを表示部５０として用いる例を示している。この例では、画面上部では、左から順に、推定対象の人物を正面から撮像した動画、推定対象の人物を側面から撮像した動画、及び、体の回旋動作の推定結果を表示している。また、画面の下部には動画のフレームを時系列で表示され、スライダなどの選択手段によって任意の時刻のフレームが選択可能となっている。スライダを用いた動作や、動画の再生、停止、一時停止などについては、一般的な動画の操作手法を適宜適用することができる。
　本構成では、第１の例と比較して、動画のうちの特定のフレームなどを、ユーザがより詳細に解析することが可能となる。これにより、パソコンなどの一般的なハードウェアを用いて、例えば、専門家などの専門的知見を有する者が、推定対象の人物の体の回旋動作の状態を解析することが可能となる。なお、本構成のユーザは、専門家に限られるものではなく、専門家以外の者についても利用可能であることは、言うまでもない。
　実施の形態４
　上述の実施の形態では、上部体幹前後傾Ｆ６、骨盤水平Ｆ７、上部体幹側屈Ｆ８及び骨盤回旋量Ｆ９の算出において、鉛直方向ベクトルｇを求めることが必要である。鉛直方向ベクトルｇは、例えばカメラ２０を設置するときに水平を確認しておくことで、その方向を予め決定しておくことができる。しかしながら、この方法では、人手による作業を要するため、鉛直方向ベクトルｇを自動的に取得できることが望ましいことが想定できる。そこで、今実施の形態では、鉛直方向ベクトルｇを自動的に取得可能な処理システムについて説明する。
　図３３に、実施の形態４にかかる処理システム４００の構成を模式的に示す。処理システム４００は、実施の形態１にかかる処理システム１００に、加速度センサ６０を追加した構成を有する。この例では、加速度センサ６０はカメラ２０に物理的に固定されている。加速度センサ６０は、動画データＭＯＶを撮像したときに、カメラ２０の体勢に対して重力方向がどの方向であるかを示す重力方向情報ＧＶを処理装置１０に出力する。
　これにより、処理装置１０は、重力方向情報ＧＶが示す重力方向を、鉛直方向ベクトルｇの方向として用いることで、動画データＭＯＶごとに、最適な鉛直方向ベクトルｇを設定することが可能となる。
　なお、ここでは、加速度センサ６０がカメラ２０に固定されているものとして説明したが、画像や動画データに紐付いて重力方向を検出できるならば、任意の位置及び方法で加速度センサ６０を設けることができる。
　以上、本構成によれば、鉛直方向ベクトルｇを自動的に取得することが可能となる。例えば、スマートフォンなどの、ソフトウェア処理が可能であり、かつ、加速度センサ及びカメラを搭載した端末に処理システムを搭載する場合、容易に鉛直方向ベクトルｇを取得することが可能である。
　その他の実施の形態
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態３にかかる処理システムは、実施の形態１にかかる処理システムに表示部を追加するものと説明したが、これは例示に過ぎない。実施の形態２にかかる処理システムに表示部を追加し、実施の形態３と同様に、表示部に推定結果を表示する構成としてもよい。
　実施の形態４にかかる処理システムは、実施の形態１にかかる処理システムに加速度センサを追加するものと説明したが、これは例示に過ぎない。実施の形態２又は３にかかる処理システムに加速度センサを追加し、実施の形態４と同様に、鉛直方向ベクトルを自動的に取得する構成としてもよい。
　また、上述の処理装置においては、実施の形態３にかかる表示部と、実施の形態４にかかる加速度センサと、を併せて設けてもよいことは言うまでも無い。
　上述の実施の形態では、特徴点抽出部２は、被検者から抽出する特徴点として、骨格点を用いるものとして説明したが、これは例示に過ぎず、他の特徴点を用いてもよいし、抽出方法が異なる複数の種類の特徴点を混用してもよい。例えば、動画の各フレームの被検者のシルエットを検出し、そのシルエットの輪郭上の点を特徴点として抽出してもよい。また、骨格点とシルエットの輪郭上の点と、を特徴点として混用してもよい。
　上述の実施の形態にかかる計測装置が実行する処理は、コンピュータにプログラムを実行させることによって実現されてもよい。具体的には、これらの送信信号処理又は受信信号処理に関するアルゴリズムをコンピュータシステムに行わせるための命令群を含む１又は複数のプログラムを作成し、当該プログラムをコンピュータに供給すればよい。
　これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　図３４に、処理装置又は処理システムを実現するためのハードウェア構成の一例であるコンピュータ１０００の構成を模式的に示す。コンピュータ１０００は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などの各種のコンピュータとして構成される。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図３４に示すように、コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２及びＲＡＭ（Random Access Memory）１００３を有し、これらがバス１００４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、このコンピュータも当然有しているものとする。
　バス１００４には、入出力インターフェイス１００５が接続されている。入出力インターフェイス１００５には、入力部１００６、出力部１００７、通信部１００８及び記憶部１００９が接続される。
　入力部１００６は、例えば、キーボード、マウス、センサなどより構成される。出力部１００７は、例えば、ＬＣＤなどのディスプレイ装置やヘッドフォン及びスピーカなどの音声出力装置により構成される。通信部１００８は、例えば、ルータやターミナルアダプタなどにより構成される。記憶部１００９は、ハードディスク、フラッシュメモリなどの記憶装置により構成される。
　ＣＰＵ１００１は、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００９からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理を行うことが可能である。本実施の形態においては、ＣＰＵ１００１は、例えば計測装置が行う処理を実行する。ＣＰＵ１００１とは別にＧＰＵ（Graphics Processing Unit）を設け、ＣＰＵ１００１と同様に、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００９からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば計測装置が行う処理を実行してもよい。なお、ＧＰＵは、定型的な処理を並列的に行う用途に適しており、後述するニューラルネットワークにおける処理などに適用することで、ＣＰＵ１００１に比べて処理速度を向上させることも可能である。ＲＡＭ１００３には又、ＣＰＵ１００１及びＧＰＵが各種の処理を実行する上において必要なデータなども適宜記憶される。
　通信部１００８は、ネットワーク１０２０を介して、サーバ１０３０と双方向の通信を行うことが可能である。通信部１００８は、ＣＰＵ１００１から提供されたデータをサーバ１０３０へ送信したり、サーバ１０３０から受信したデータをＣＰＵ１００１、ＲＡＭ１００３及び記憶部１００９などへ出力することができる。通信部１００８は、他の装置との間で、アナログ信号又はディジタル信号による通信を行ってもよい。記憶部１００９はＣＰＵ１００１との間でデータのやり取りが可能であり、情報の保存及び消去を行う。
　入出力インターフェイス１００５には、必要に応じてドライブ１０１０が接続されてもよい。ドライブ１０１０には、例えば、磁気ディスク１０１１、光ディスク１０１２、フレキシブルディスク１０１３又は半導体メモリ１０１４などの記憶媒体が適宜装着可能である。各記憶媒体から読み出されたコンピュータプログラムは、必要に応じて記憶部１００９にインストールされてもよい。また、必要に応じて、ＣＰＵ１００１が各種の処理を実行する上において必要なデータや、ＣＰＵ１００１の処理の結果として得られたデータなどを各記憶媒体に記憶してもよい。
　上述の実施の形態では、画像データや動画データがカメラによって取得されると説明したが、これは例示に過ぎない。画像データや動画データは、各種の任意の撮像装置によって取得することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する学習用データ構築部と、前記学習用データを学習することで学習済みモデルを構築する学習処理部と、を備える、処理装置。
　（付記２）前記学習済みモデルに入力データを入力することで、推定対象の被検者の体の回旋動作の状態を推定する推定処理部をさらに備え、前記回旋特徴量抽出部は、前記推定対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記推定対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記推定対象の被検者の体の回旋動作を示す回旋特徴量を算出し、算出した前記回旋特徴量を、前記推定処理部に前記入力データとして出力する、付記１に記載の処理装置。
　（付記３）前記回旋特徴量抽出部は、前記学習対象の被検者の動画像データから、前記学習対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、前記学習用データ構築部は、前記回旋特徴量に対応する前記学習対象の被検者の左右対称動作の状態を示す教師ラベルを付与して前記学習用データを構築する、付記１に記載の処理装置。
　（付記４）前記回旋特徴量抽出部は、前記学習対象の被検者の動画像データから、前記学習対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、前記学習用データ構築部は、前記回旋特徴量に対応する前記学習対象の被検者の左右対称動作の状態を示す教師ラベルを付与して前記学習用データを構築し、前記回旋特徴量抽出部は、推定対象の被検者の動画像データから、前記推定対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、前記推定処理部は、前記回旋特徴量に対応する前記推定対象の被検者の左右対称動作の状態を推定する、付記２に記載の処理装置。
　（付記５）推定対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記推定対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記推定対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて算出された、前記学習対象の被検者の体の回旋動作を示す回旋特徴量と、前記回旋特徴量に対応する前記学習対象の被検者の状態と、の対応付けを学習して構築された学習済みモデルに、前記回旋特徴量抽出部が算出した前記学習対象の被検者の前記回旋特徴量を入力して、前記推定対象の被検者の体の回旋動作の状態を推定する推定処理部と、を備える、処理装置。
　（付記６）前記学習済みモデルは、学習対象の被検者の動画像データから、前記学習対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、前記回旋特徴量に対応する前記学習対象の被検者の左右対称動作の状態を示す教師ラベルを付与して学習用データを構築し、前記学習用データを学習することで構築され、前記回旋特徴量抽出部は、前記推定対象の被検者の動画像データから、前記推定対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、前記推定処理部は、前記回旋特徴量に対応する前記推定対象の被検者の左右対称動作の状態を推定する、付記５に記載の処理装置。
　（付記７）前記推定処理部での前記推定対象の被検者の体の回旋動作の状態の判定結果と、前記推定対象の被検者の動画像と、を表示する表示部をさらに備える、付記２、４乃至６のいずれか一つに記載の処理装置。
　（付記８）前記表示部は、前記推定対象の被検者の、異なる位置から撮像した２つ以上の動画像を表示する、付記７に記載の処理装置。
　（付記９）前記表示部は、前記推定対象の被検者の動画について、前記動画の任意のフレームを選択する選択手段を表示する、付記８に記載の処理装置。
　（付記１０）前記回旋特徴量抽出部は、前記被検者の骨格点を、前記特徴点として抽出する、付記１乃至９のいずれか一つに記載の処理装置。
　（付記１１）前記回旋特徴量抽出部は、前記骨格点として、前記被検者の首、腰中、左右の肩、左右の肘、左右の手首、及び、左右の腰を抽出する、付記１０に記載の処理装置。
　（付記１２）前記回旋特徴量抽出部は、首と腰中を結ぶ線に直交する平面を求め、左肩と右肩とを結ぶ線を前記平面に射影した線と、左腰と右腰とを結ぶ線を前記平面に射影した線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第１の回旋特徴量として算出する、付記１１に記載の処理装置。
　（付記１３）前記回旋特徴量抽出部は、首と腰中を結ぶ線と、左肩と左肘とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第２の回旋特徴量として算出する、付記１１又は１２に記載の処理装置。
　（付記１４）前記回旋特徴量抽出部は、首と腰中を結ぶ線と、右肩と右肘とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第３の回旋特徴量として算出する、付記１１乃至１３のいずれか一つに記載の処理装置。
　（付記１５）前記回旋特徴量抽出部は、左肩と左肘とを結ぶ線と、左肘と左手首とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第４の回旋特徴量として算出する、付記１１乃至１４のいずれか一つに記載の処理装置。
　（付記１６）前記回旋特徴量抽出部は、右肩と右肘とを結ぶ線と、右肘と右手首とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第５の回旋特徴量として算出する、付記１１乃至１５のいずれか一つに記載の処理装置。
　（付記１７）前記回旋特徴量抽出部は、右肩と左肩とを結ぶ線と、首と腰中とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第６の回旋特徴量として算出する、付記１１乃至１６のいずれか一つに記載の処理装置。
　（付記１８）前記回旋特徴量抽出部は、左腰と右腰とを結ぶ線に直交する平面を求め、首と腰中とを結ぶ線を前記平面に射影した線と、鉛直方向を前記平面に射影した線と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第７の回旋特徴量として算出する、付記１１乃至１７のいずれか一つに記載の処理装置。
　（付記１９）前記２つのフレームの一方について、首と腰中とを結ぶ線と、鉛直方向と、がなす第１の角を算出し、前記２つのフレームの他方について、首と腰中とを結ぶ線を、左腰と右腰とを結ぶ線のまわりに、前記第７の回旋特徴量とは反対方向に、前記第７の回旋特徴量だけ回転させた線を求め、求めた前記線と、前記鉛直方向と、がなす第２の角を算出し、前記第１の角と前記第２の角の差分を、第９の回旋特徴量として算出する、付記１８に記載の処理装置。
　（付記２０）前記回旋特徴量抽出部は、左腰と右腰とを結ぶ線と、鉛直方向と、がなす角を、前記２つのフレームについて算出し、算出した２つの角の差分を、第８の回旋特徴量として算出する、付記１１乃至１９のいずれか一つに記載の処理装置。
　（付記２１）前記回旋特徴量抽出部は、鉛直方向に直交する平面を求め、左腰と右腰とを結ぶ線を前記平面に射影した線を、前記２つのフレームについて算出し、算出した２つの線がなす角を、第１０の回旋特徴量として算出する、付記１１乃至２０のいずれか一つに記載の処理装置。
　（付記２２）前記鉛直方向ベクトルは、前記動画像データを撮像する撮像装置の体勢を検出する加速度センサによって取得された重力方向に基づいて決定される、付記１８乃至２１のいずれか一つに記載の処理装置。
　（付記２３）学習対象の被検者の体の回旋動作を撮像した動画像データを取得する撮像装置と、前記学習対象の被検者の動画像データから、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を学習して、前記学習対象の被検者の状態を推定する学習済みモデルを構築する処理装置と、を備え、前記処理装置は、前記学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する学習用データ構築部と、前記学習用データを学習することで学習済みモデルを構築する学習処理部と、を備える、処理システム。
　（付記２４）学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出し、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築し、前記学習用データを学習することで学習済みモデルを構築する、学習済みモデルの構築方法。
　（付記２５）学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する処理と、前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する処理と、前記学習用データを学習することで学習済みモデルを構築する処理と、をコンピュータに実行させる、プログラム。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２２年１１月２５日に出願された日本出願特願２０２２－１８８６０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　データ読み込み部
　２　特徴点抽出部
　３　特徴量算出部
　１１　回旋特徴量抽出部
　１２　学習用データ構築部
　１３　学習処理部
　１４　推定処理部
　１０、４０　処理装置
　２０　カメラ
　３０　動画データベース
　５０　表示部
　６０　加速度センサ
　１００、１０１、３００、４００　処理システム
　１０００　コンピュータ
　１００１　ＣＰＵ
　１００２　ＲＯＭ
　１００３　ＲＡＭ
　１００４　バス
　１００５　入出力インターフェイス
　１００６　入力部
　１００７　出力部
　１００８　通信部
　１００９　記憶部
　１０１０　ドライブ
　１０１１　磁気ディスク
　１０１２　光ディスク
　１０１３　フレキシブルディスク
　１０１４　半導体メモリ
　１０２０　ネットワーク
　１０３０　サーバ
　Ｃ１　鼻
　Ｃ２　首
　Ｃ３　腰中
　Ｄ＿Ｍ　出力データ
　ＤＡＴ　学習用データ
　Ｆ０　肩峰回旋量
　Ｆ１　左上腕離隔
　Ｆ２　右上腕離隔
　Ｆ３　左下腕屈曲
　Ｆ４　右下腕屈曲
　Ｆ５　肩峰水平
　Ｆ６　上部体幹前後傾
　Ｆ７　骨盤水平
　Ｆ８　上部体幹側屈
　Ｆ９　骨盤回旋量
　Ｌ１　左肩
　Ｌ２　左肘
　Ｌ３　左手首
　Ｌ４　左腰
　Ｌ５　左膝
　Ｌ６　左足首
　ＭＯＶ、ＭＯＶ＿Ｌ、ＭＯＶ＿Ｒ　動画データ
　ＭＰ　動画ペア
　ＯＢＪ　被検者
　ＯＵＴ　推定結果
　Ｐ、ＰＬ、ＰＲ　骨格点群
　Ｒ１　右肩
　Ｒ２　右肘
　Ｒ３　右手首
　Ｒ４　右腰
　Ｒ５　右膝
　Ｒ６　右足首

Claims (20)

  1. 　学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、
    　前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する学習用データ構築部と、
    　前記学習用データを学習することで学習済みモデルを構築する学習処理部と、を備える、
    　処理装置。
  2. 　前記学習済みモデルに入力データを入力することで、推定対象の被検者の体の回旋動作の状態を推定する推定処理部をさらに備え、
    　前記回旋特徴量抽出部は、
    　　前記推定対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記推定対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記推定対象の被検者の体の回旋動作を示す回旋特徴量を算出し、
    　　算出した前記回旋特徴量を、前記推定処理部に前記入力データとして出力する、
    　請求項１に記載の処理装置。
  3. 　前記回旋特徴量抽出部は、前記学習対象の被検者の動画像データから、前記学習対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、
    　前記学習用データ構築部は、前記回旋特徴量に対応する前記学習対象の被検者の左右対称動作の状態を示す教師ラベルを付与して前記学習用データを構築する、
    　請求項１に記載の処理装置。
  4. 　前記回旋特徴量抽出部は、前記学習対象の被検者の動画像データから、前記学習対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、
    　前記学習用データ構築部は、前記回旋特徴量に対応する前記学習対象の被検者の左右対称動作の状態を示す教師ラベルを付与して前記学習用データを構築し、
    　前記回旋特徴量抽出部は、推定対象の被検者の動画像データから、前記推定対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、
    　前記推定処理部は、前記回旋特徴量に対応する前記推定対象の被検者の左右対称動作の状態を推定する、
    　請求項２に記載の処理装置。
  5. 　推定対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記推定対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記推定対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、
    　学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて算出された、前記学習対象の被検者の体の回旋動作を示す回旋特徴量と、前記回旋特徴量に対応する前記学習対象の被検者の状態と、の対応付けを学習して構築された学習済みモデルに、前記回旋特徴量抽出部が算出した前記学習対象の被検者の前記回旋特徴量を入力して、前記推定対象の被検者の体の回旋動作の状態を推定する推定処理部と、を備える、
    　処理装置。
  6. 　前記学習済みモデルは、
    　　学習対象の被検者の動画像データから、前記学習対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、
    　　前記回旋特徴量に対応する前記学習対象の被検者の左右対称動作の状態を示す教師ラベルを付与して学習用データを構築し、
    　　前記学習用データを学習することで構築され、
    　前記回旋特徴量抽出部は、前記推定対象の被検者の動画像データから、前記推定対象の被検者が行った左右対称の体の回旋動作にかかる２つのフレームを選択し、選択した前記２つのフレームについて回旋特徴量を算出し、
    　前記推定処理部は、前記回旋特徴量に対応する前記推定対象の被検者の左右対称動作の状態を推定する、
    　請求項５に記載の処理装置。
  7. 　前記推定処理部での前記推定対象の被検者の体の回旋動作の状態の判定結果と、前記推定対象の被検者の動画像と、を表示する表示部をさらに備える、
    　請求項２又は４に記載の処理装置。
  8. 　前記表示部は、前記推定対象の被検者の、異なる位置から撮像した２つ以上の動画像を表示する、
    　請求項７に記載の処理装置。
  9. 　前記表示部は、前記推定対象の被検者の動画について、前記動画の任意のフレームを選択する選択手段を表示する、
    　請求項８に記載の処理装置。
  10. 　前記回旋特徴量抽出部は、前記被検者の骨格点を、前記特徴点として抽出する、
    　請求項１乃至９のいずれか一項に記載の処理装置。
  11. 　前記回旋特徴量抽出部は、前記骨格点として、前記被検者の首、腰中、左右の肩、左右の肘、左右の手首、及び、左右の腰を抽出する、
    　請求項１０に記載の処理装置。
  12. 　前記回旋特徴量抽出部は、
    　首と腰中を結ぶ線に直交する平面を求め、左肩と右肩とを結ぶ線を前記平面に射影した線と、左腰と右腰とを結ぶ線を前記平面に射影した線と、がなす角を、前記２つのフレームについて算出し、
    　算出した２つの角の差分を、第１の回旋特徴量として算出する、
    　請求項１１に記載の処理装置。
  13. 　前記回旋特徴量抽出部は、
    　首と腰中を結ぶ線と、左肩と左肘とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、
    　算出した２つの角の差分を、第２の回旋特徴量として算出する、
    　請求項１１又は１２に記載の処理装置。
  14. 　前記回旋特徴量抽出部は、
    　首と腰中を結ぶ線と、右肩と右肘とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、
    　算出した２つの角の差分を、第３の回旋特徴量として算出する、
    　請求項１１乃至１３のいずれか一項に記載の処理装置。
  15. 　前記回旋特徴量抽出部は、
    　左肩と左肘とを結ぶ線と、左肘と左手首とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、
    　算出した２つの角の差分を、第４の回旋特徴量として算出する、
    　請求項１１乃至１４のいずれか一項に記載の処理装置。
  16. 　前記回旋特徴量抽出部は、
    　右肩と右肘とを結ぶ線と、右肘と右手首とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、
    　算出した２つの角の差分を、第５の回旋特徴量として算出する、
    　請求項１１乃至１５のいずれか一項に記載の処理装置。
  17. 　前記回旋特徴量抽出部は、
    　右肩と左肩とを結ぶ線と、首と腰中とを結ぶ線と、がなす角を、前記２つのフレームについて算出し、
    　算出した２つの角の差分を、第６の回旋特徴量として算出する、
    　請求項１１乃至１６のいずれか一項に記載の処理装置。
  18. 　学習対象の被検者の体の回旋動作を撮像した動画像データを取得する撮像装置と、
    　前記学習対象の被検者の動画像データから、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を学習して、前記学習対象の被検者の状態を推定する学習済みモデルを構築する処理装置と、を備え、
    　前記処理装置は、
    　　前記学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する回旋特徴量抽出部と、
    　　前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する学習用データ構築部と、
    　　前記学習用データを学習することで学習済みモデルを構築する学習処理部と、を備える、
    　処理システム。
  19. 　学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記体の回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出し、
    　前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築し、
    　前記学習用データを学習することで学習済みモデルを構築する、
    　学習済みモデルの構築方法。
  20. 　学習対象の被検者の体の回旋動作を撮像した動画像データから選択した前記回旋動作の前後の２つのフレームから前記学習対象の被検者の特徴点を抽出し、前記２つのフレームから抽出した前記特徴点の位置の前記体の回旋動作の前後における差分に基づいて、前記学習対象の被検者の体の回旋動作を示す回旋特徴量を算出する処理と、
    　前記回旋特徴量に対応する前記学習対象の被検者の状態を示す教師ラベルを付与して学習用データを構築する処理と、
    　前記学習用データを学習することで学習済みモデルを構築する処理と、をコンピュータに実行させる、
    　プログラム。
PCT/JP2023/040494 2022-11-25 2023-11-10 処理装置、処理システム、学習済みモデルの構築方法及びプログラム WO2024111430A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-188607 2022-11-25
JP2022188607 2022-11-25

Publications (1)

Publication Number Publication Date
WO2024111430A1 true WO2024111430A1 (ja) 2024-05-30

Family

ID=91195528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/040494 WO2024111430A1 (ja) 2022-11-25 2023-11-10 処理装置、処理システム、学習済みモデルの構築方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024111430A1 (ja)

Similar Documents

Publication Publication Date Title
US11017547B2 (en) Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
US10839550B2 (en) Non-transitory computer-readable recording medium for storing skeleton estimation program, skeleton estimation device, and skeleton estimation method
US11763603B2 (en) Physical activity quantification and monitoring
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
US11403882B2 (en) Scoring metric for physical activity performance and tracking
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
JP7127650B2 (ja) 認識プログラム、認識方法および認識装置
CN111597975B (zh) 人员动作检测方法、装置及电子设备
Nayak et al. Development of a fully automated RULA assessment system based on computer vision
CN111991772B (zh) 辅助上肢训练的装置及系统
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
Liu et al. Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
Yu et al. Three-dimensional working pose estimation in industrial scenarios with monocular camera
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
WO2024111430A1 (ja) 処理装置、処理システム、学習済みモデルの構築方法及びプログラム
JP7482471B2 (ja) 学習モデルの生成方法
US20210286983A1 (en) Estimation method, and computer-readable recording medium recording estimation program
Fan et al. 3D pose estimation dataset and deep learning-based ergonomic risk assessment in construction
Carrasco-Plaza et al. Evaluation of Human Pose Estimation in 3D with Monocular Camera for Clinical Application
Purushothaman et al. Smart vision-based analysis and error deduction of human pose to reduce musculoskeletal disorders in construction
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison
WO2023106846A1 (ko) 스켈레톤 포인트 기반 서비스 제공 장치 및 방법
Wai et al. The Biomechanics Analysis: Development of Biomechanics Analysis Algorithm With OpenPose Motion Capture System
Navaneeth et al. To Monitor Yoga Posture Without Intervention of Human Expert Using 3D Kinematic Pose Estimation Model—A Bottom-Up Approach