JP7307447B2 - モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法 - Google Patents

モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法 Download PDF

Info

Publication number
JP7307447B2
JP7307447B2 JP2018205106A JP2018205106A JP7307447B2 JP 7307447 B2 JP7307447 B2 JP 7307447B2 JP 2018205106 A JP2018205106 A JP 2018205106A JP 2018205106 A JP2018205106 A JP 2018205106A JP 7307447 B2 JP7307447 B2 JP 7307447B2
Authority
JP
Japan
Prior art keywords
body movement
wearer
data
motion
synchronization processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018205106A
Other languages
English (en)
Other versions
JP2020069087A (ja
Inventor
邦彦 加地
晋一 福間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leomo inc
Original Assignee
Leomo inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leomo inc filed Critical Leomo inc
Priority to JP2018205106A priority Critical patent/JP7307447B2/ja
Priority to US17/288,915 priority patent/US20210398665A1/en
Priority to PCT/JP2019/042598 priority patent/WO2020090899A1/ja
Priority to EP19879811.8A priority patent/EP3875159A4/en
Publication of JP2020069087A publication Critical patent/JP2020069087A/ja
Application granted granted Critical
Publication of JP7307447B2 publication Critical patent/JP7307447B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、いわゆるスマートフォンやウェアラブルタイプ、その他の情報端末装置を用い、装着者の体動を検出するモーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法に関する。
近年、情報端末装置の小型・軽量化、多機能化が進み、ユーザーの身体に装着可能ないわゆるウェアラブル端末と呼ばれる装着型情報処理端末が普及しつつあり、このウェアラブル端末は、軽量であるうえ、時計機能やＧＰＳ機能の他、心拍センサー等の各種センサー類との通信機能などを備えていることから、ランニングやウォーキング、自転車等のスポーツトレーニングやエクササイズ時に装着して、その体動を記録したりモニタリングしたりするシステムが開発されている（例えば、特許文献１）。
この特許文献１に開示されたシステムによれば、ユーザーに運動パラメーターを測定する装置を取り付け、運動活動中の運動者のモニタリングにより得られる運動パラメーターを、基本的なベースラインデータと比較して、その比較結果が許容範囲内にあるか否かに応じて、再生される音楽を変化させるなどして、運動活動時におけるリアルタイムのフィードバックをユーザーに与えることができる。
ところで、運動パラメーターは数値やグラフで表現されるものであるため、詳細な動きを記録することができるものの、実際の体動をイメージしづらいことから、運動活動中のユーザーの姿をビデオカメラ等で撮影し、その映像とパラメーターとを比較しながら体動を確認したいという要請がある。
特開２０１３－２１５５９０号公報
しかしながら、運動時のユーザーの体動は瞬間的に複雑に変化するものであることから、撮影機器や動画処理の特性によっては、再生した映像と運動パラメーターの表示とに微妙な時間的ズレが生じる可能性がある。再生した映像と運動パラメーターの表示とに時間的ズレが生じた場合には、体動の解析精度が低下し、適切なトレーニングやコーチングができなくなる惧れがある。
そこで、本発明は、上記のような問題を解決するものであり、ユーザーの身体の運動活動をキャプチャーするシステムにおいて、複雑な体動を映像と性格に同期させ、比較しながら詳細に理解できるように表示・出力するモーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法を提供することを目的とする。
上記課題を解決するために、本発明は、装着者の体動を検出するモーションキャプチャーシステムであって、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、体動センサーによる各検出結果と、体動センサー同士の相対位置関係の変化に基づいて、装着者の体動を体動再現データとして算出するとともに、体動再現データに基づいて周期的な変化を抽出する周期抽出部と、装着者の体動を撮影し記録する撮影手段と、体動センサーによる検出結果を体動データとして、撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと、体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部と、体動再現データに基づいて装着者の体動を解析するとともに、同期処理部によって同期処理を実行する解析部とを備え、同期処理部は、体動センサーを反応させる装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。
本発明は、装着者の体動を検出するモーションキャプチャーシステムであって、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、体動センサーによる各検出結果と、体動センサー同士の相対位置関係の変化に基づいて、装着者の体動を体動再現データとして算出するとともに、体動再現データに基づいて周期的な変化を抽出する周期抽出部と、装着者の体動を撮影し記録する撮影手段と、体動センサーによる検出結果を体動データとして、撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部と、キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部と、体動再現データに基づいて装着者の体動を解析するとともに、同期処理部によって同期処理を実行する解析部とを備え、同期処理部は、キャリブレーション信号発信部が発信したキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号取得部が取得したキャリブレーション制御信号が示すタイミングとを合致させることにより同期処理を行う。
本発明は、装着者の体動を検出するモーションキャプチャー方法であって、
・装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
・周期抽出部が、体動センサーによる各検出結果と、体動センサー同士の相対位置関係の変化に基づいて、装着者の体動を体動再現データとして算出するとともに、体動再現データに基づいて周期的な変化を抽出するステップと、
・撮影手段が装着者の体動を撮影し記録する撮影ステップと、
・解析部が、前記体動再現データに基づいて前記装着者の体動を解析するとともに、前記同期処理部によって、体動センサーによる検出結果を体動データとして表示する時間軸と、撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、体動データを映像と対比可能に同期させて出力デバイスが表示する出力ステップと
を含み、
出力ステップにおいて同期処理部は、体動センサーを反応させる装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。
また、本発明は、装着者の体動を検出するモーションキャプチャー方法であって、
・装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
・周期抽出部が、体動センサーによる各検出結果と、体動センサー同士の相対位置関係の変化に基づいて、装着者の体動を体動再現データとして算出するとともに、体動再現データに基づいて周期的な変化を抽出するステップと、
・撮影手段が装着者の体動を撮影し記録する撮影ステップと、
・発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を、キャリブレーション制御信号取得部が取得するキャリブレーション制御信号取得ステップと、
・解析部が、前記体動再現データに基づいて前記装着者の体動を解析するとともに、前記同期処理部によって、体動センサーによる検出結果を体動データとして表示する時間軸と、撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、体動データを映像と対比可能に同期させて出力デバイスが表示する出力ステップと
を含み、
出力ステップにおいて同期処理部は、キャリブレーション信号発信部が発信したキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号取得部が取得したキャリブレーション制御信号が示すタイミングとを合致させることにより同期処理を行う。
なお、上述した本発明に係るシステムや方法は、所定の言語で記述された本発明のプログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明に係るプログラムは、通信機能及び情報出力機能を有する複数の情報処理端末を用い、移動体に対して速度に関する情報を提示するペースメーカープログラムであって、情報処理端末を、複数の情報処理端末がそれぞれ有する通信機能を通じて、各情報処理端末の情報出力機能から速度に関する情報を出力するタイミングを制御する連携制御部として機能させる。
このような本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、タブレットＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築して、本発明に係る方法を実施することができる。
すなわち、本発明は、装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーによる検出結果を体動データとして記録する体動記録部と、体動センサーによる検出結果を体動データとして、装着者の体動を撮影し記録する撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部として機能させ、同期処理部は、体動センサーを反応させる装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行うことを特徴とする。
本発明は、装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、装着者の体動を撮影し記録する撮影手段と、体動センサーによる検出結果を体動データとして、撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部として機能させ、同期処理部は、キャリブレーション信号発信部が発信したキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号取得部が取得したキャリブレーション制御信号が示すタイミングとを合致させることにより同期処理を行う。
以上述べたように、この発明によれば、装着者の体動を記録する際、予め、体動センサーを反応させる装着者による所定の特徴的行為を映像に映し込んでおいたり、発光又は音声信号によるキャリブレーション信号の発信を録画若しくは録音を記録しておく。そして、記録された特徴的行為又はキャリブレーション信号を映像又は音声中から抽出するとともに、抽出された特徴的行為又はキャリブレーション信号のタイミングとキャリブレーション制御信号が示すタイミングとを合致させることにより、体動データを表示する時間軸と、映像を表示する時間軸とを同期させる処理を行う。これにより、記録された体動データと撮影した映像とを同期させたうえで対比可能に表示させることができる。この結果、本発明によれば、撮影機器や動画処理の特性によって、再生した映像と体動データ中の運動パラメーターの表示とに微妙な時間的ズレが生じるような場合でも、装着者の運動活動による体動を映像と正確に同期させて表示・出力でき、体動の解析精度を高めて、適切なトレーニングやコーチングが可能となる。
第１及び第２実施形態に係るモーションキャプチャーシステムの使用態様を示す説明図である。 第１及び第２実施形態で取得される体動再現データの一例である。 第１実施形態に係る各装置の内部構成を示すブロック図である。 第１実施形態に係るモーションキャプチャー方法を示すシーケンス図である。 第１実施形態に係るモーションキャプチャーにおけるデータ再生処理を示すフロー図である。 第１及び第２実施形態に係るモーションキャプチャーシステムの表示画面（個別波形）を示す画面構成図である。 第１及び第２実施形態に係るモーションキャプチャーシステムの表示画面（波形重ね合わせ）を示す画面構成図である。 第２実施形態に係る各装置の内部構成を示すブロック図である。 第２実施形態に係るモーションキャプチャー方法を示すシーケンス図である。 第２実施形態に係るモーションキャプチャーにおける同期処理を示すフロー図である。
［第１実施形態］
以下、本発明の第１実施形態について図面を参照して説明する。本実施形態では、情報端末装置１００を用いて、自転車競技に本発明を適用し、自転車競技についての体動計測及びコーチングを可能とするシステムを提供する。なお、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置などを例示するものであって、この発明の技術的思想は、各構成部品の材質、形状、構造、配置などを下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
（モーションキャプチャーシステムの構成）
図１は、本実施形態に係る情報端末装置１００を用いたモーションキャプチャーシステムの使用態様を示す説明図であり、図２は、本実施形態に係るモーションキャプチャーシステムにより取得された体動再現データの一例である。また、図３は、各装置の内部構成を示すブロック図である。
図１～図３に示すように、本実施形態に係るモーションキャプチャーシステムは、装着者１に装着される情報端末装置１００と、装着者の身体各部位に装着され情報端末装置１００に対して無線接続される体動センサー４０（４０ａ～４０ｃ）とから構成されている。なお、本実施形態では、基本的に情報端末装置１００と体動センサー４０との間における近距離無線通信で構築される範囲でシステムが構築可能となっており、通信ネットワーク上のサーバー等とは実際の測定時には接続されず、いわゆるオフラインでのスタンドアローンとして、システムの運用が可能となっている。
（各装置の構成）
（１）体動センサー
体動センサー４０ａ～４０ｃは、装着者１の運動が行われる部位に装着され各部位の三次元的な変位又は加速度を検出するセンサーである。本実施形態において体動センサー４０は、装着者の右足の甲に取り付けられる右足体動センサー４０ａと、装着者の左足の甲に取り付けられる左足体動センサー４０ｂと、装着者の腰に取り付けられる腰部体動センサー４０ｃとから構成されている。これら体動センサー４０ａ～４１ｃは、物体の加速度を計測する３軸加速度計と、物体の角速度を検出する３軸ジャイロスコープ、磁場の大きさ・方向を計測する３軸磁気センサーが搭載され、９軸の動きを検知可能となっている。なお、各体動センサー４０は、クリップ等の部材などによって装着者の靴やベルト、衣服などに着脱可能であり、容易に各センサーを着脱して測定を行うことができ、装着者に負担を与えずに継続的な測定を行うことが容易である。
そして、これらの体動センサー４０（各体動センサー４０ａ～４０ｃ）は、図３に示すように、それぞれ無線通信部を有している。この無線通信部は、内部にアンテナを有し、ＢＴＬＥ（Bluetooth（登録商標） Low Energy，Bluetooth（登録商標） 4.0）等による近距離無線通信のデータ通信用プロトコルを実行する機能によって、情報端末装置１００と通信処理が可能となっている。なお、本実施形態において、各体動センサー４０の無線通信部は、低消費電力通信用のプロトコルとしてＢＴＬＥを採用したが、例えば、ＡＮＴ、ＡＮＴ＋等を採用することもできる。また、通常のBluetooth（登録商標）を採用することもできる。
（２）情報端末装置
図３に本実施形態に係る情報端末装置の内部構成を示す。本実施形態に係る情報端末装置１００は、図１に示すように、スマートフォンなどの小型の端末装置であり、走行中に他の機能を使えるように自転車のハンドル部分等にマウントして用いるが、走行中に体動データの記録のみを行うときにはバッグなどの収納具にしまっておいてもよい。
情報端末装置１００は、図３に示すように、無線インターフェース１１３と、制御部１７０と、メモリ１１４と、出力インターフェース１１１と、入力インターフェース１１２とを備えている。詳述すると、本実施形態に係る情報端末装置１００は、各体動センサー４０によって検出された検出結果を収集する機能を有し、無線インターフェース１１３によって各体動センサー４０と相互に通信処理を行って、各体動センサー４０による検出結果を取得できるようになっている。情報端末装置１００のメモリ１１４は、体動センサー４０による検出結果を体動データとして記録する体動記録部としての機能を果たしている。ここで、体動データとは、各種センサーが検出した生データであり、この体動データを記録し解析し、必要な情報を抽出したり、補正したりしたデータが体動再現データである。
なお、各体動センサー４０から送信される検出結果には、各体動センサー４０を識別するセンサー識別情報が付加されており、情報端末装置１００のメモリ１１４には、当該識別情報が蓄積され、制御部１７０では無線インターフェース１１３から取得した際、いずれの体動センサー４０から取得した検出結果であるかを判別可能となっている。なお、この識別情報には、各センサーの装着部位を特定する装着部位情報が含まれており、この装着部位情報に基づいて、体動再現データの算出が可能となっている。さらに体動データ内には、各体動センサー４０から検出結果を取得した際の時刻情報も含まれている。
無線インターフェース１１３は、通信ネットワークを介した各種情報の送受信や、wifiやBluetooth（登録商標）等の近距離無線通信を制御するモジュールであり、種々のプロトコルにより、各体動センサー４０と通信をしたり、３Ｇ通信により上記サーバー装置等との間でデータの送受信を行う。
さらに、情報端末装置１００は、出力インターフェース１１１と入力インターフェース１１２とを備えている。入力インターフェース１１２は、マウス、キーボード、操作ボタンやタッチパネルなどユーザー操作を入力するデバイスである。また、出力インターフェース１１１には、ディスプレイやスピーカーなど、映像や音響を出力するデバイスが含まれる。特に、この出力インターフェース１１１には、液晶ディスプレイなどの表示部が含まれるとともに、この表示部は、入力インターフェースであるタッチパネルに重畳されている。
出力インターフェース１１１に接続された表示部は、体動再現データに対する解析結果を表示又は出力する出力デバイスであり、表示情報生成部１７０ｅによって生成された表示情報を、出力インターフェース１１１を通じて表示する。この表示部に掌は、情報端末装置１００に内蔵されたディスプレイや、外部に接続された外部ディスプレイに表示される。
一方、入力インターフェース１１２は、動画取得部１１２ａを備えている。この動画取得部１１２ａは、装着者の体動を撮影し記録した動画データを取得するモジュールである。この動画取得部１１２ａが取得する動画データには、映像が記録された映像データと、その映像とともに録音された音声データ、撮影時刻、終了時刻、時間経過などのタイムスタンプ等のメタデータが含まれる。入力インターフェース１１２には、情報端末装置１００に内蔵された内蔵カメラ１１５や、外部の外部カメラ２０が接続可能となっており、これらの撮影手段で撮影された動画データが動画取得部１１２ａによって取得され、メモリ１１４に蓄積されたり、制御部１７０における処理に供される。なお、外部カメラ２０から取得される動画データには、撮影時に逐次リアルタイムで取得されるストリーミングデータの他、外部カメラ２０で撮影され蓄積されたファイル形式の動画データを撮影後にダウンロードして取得されるものも含まれる。
また、情報端末装置１００は、本実施形態において、各センサーから取得した体動データに基づいて、装着者の体動を解析し、体動再現データを生成する機能を有している。具体的に情報端末装置１００は、図３に示すように、制御部１７０を備えており、この制御部１７０は、各部を制御する際に必要な種々の演算を行うＣＰＵ等の演算処理装置である。なお、情報端末装置１００の各機能は、この制御部１７０において、本発明のモーションキャプチャープログラムを実行することにより、制御部１７０上に仮想的に構築される。詳述すると、制御部１７０は、モーションキャプチャーアプリケーションが実行されることによって、体動データ取得部１７０ａと、体動算出部１７０ｂと、解析部１７０ｄと、表示情報生成部１７０ｅとが仮想的に構築される。
体動データ取得部１７０ａは、無線インターフェース１１３を介して、各体動センサー４０から体動データを取得するモジュールであり、本実施形態では、各体動センサー４０ａ～４０ｃと無線通信を行って、これらの検出結果である体動データを取得する。この体動データは、一時的にメモリ１１４内に蓄積され、その後、体動センサー４０による各検出結果は、体動算出部１７０ｂに送信される。
体動算出部１７０ｂは、メモリ１１４（体動記録部）に蓄積された体動センサー４０ａ～４０ｃによる各検出結果と、各体動センサー４０ａ～４０ｃの変位や回転、それらの加速度に基づいて、装着者の体動を体動再現データとして算出するモジュールである。ここで、体動センサー４０による各検出結果とは、いわゆる９軸センサーで測定される値であり、本実施形態では、物体に作用する加速度（重力加速度を含む。）の方向と大きさ、物体の角速度（大きさ、方向、中心位置）、磁場の大きさ・方向（方角）である。
ここで、算出される体動としては、ペダリングのスムーズさの指標、自転車のペダル軸の角速度ω、この角速度ωの時間的変化、及びその変化の滑らかさが含まれる。なお、本実施形態では、体動センサー４０ａ及び４０ｂは左右のシューズに取り付けられ、図２に示すように、センサーによって検出される回転運動はシューズの回転となるが、自転車を漕ぐ場合、シューズはペダル軸を中心として回転するので、このペダル軸の角速度をωとする。また、腰部体動センサー４０ｃは、装着者のベルトの背中側に取り付けられ、ペダルを漕ぐ動作に追従して左右に揺動することになる。
さらに、本実施形態では、体動算出部１７０ｂは、メモリ１１４に蓄積された体動再現データに基づいて、体動に含まれる周期的な変化を抽出する。この周期的な変化としては、単純な円運動だけではなく、図２に示すように、立体的で且つ８の字や波状運動が複合された複雑な自由周回軌跡Ｃ１～Ｃ３が含まれ、この周回軌跡を振幅及び時間で表された波形として出力する。詳述すると、本実施形態では、装着者１の右足の甲に取り付けられる右足体動センサー４０ａによる周回運動がＣ１、装着者の左足の甲に取り付けられる左足体動センサー４０ｂによる周回運動がＣ２、装着者１の腰部の揺動がＣ３として抽出される。
なお、本実施形態において、体動算出部１７０ｂは、体動センサー４０による各検出結果と、これら体動センサー４０の周回運動の変化特性に基づいて、装着者の体動を体動再現データとして算出する。このとき、体動算出部１７０ｂは、例えば、図２に示すように、各体動センサー４０の三次元的な自由周回軌跡Ｃ１～Ｃ３を算出する。そして、体動算出部１７０ｂは、算出した自由周回軌跡Ｃ１～Ｃ３の特性変化に基づいて、装着者の左右の脚それぞれにおける周回運動や要部の揺動の振幅やタイミング、崩れ等を評価する。そして、このようにして算出された自由周回軌跡Ｃ１～Ｃ３に基づいて体動再現データを算出する。
解析部１７０ｄは、体動再現データに基づいて、装着者１の体動の各要素を項目毎に解析するモジュールである。本実施形態では、解析部１７０ｄは、体動算出部１７０ｂが抽出した周期運動における角速度変化や揺動の振幅やゆらぎの特性を解析する特性解析部としての機能を果たし、ここで解析された特性は、例えば、図７及び図８に示すような振幅－時間で定義されるタイムラインＷ２上に波形として表現され、ビデオデータと同期されたうえで、表示情報生成部１７０ｅを介して出力デバイスで表示又は出力される。
具体的に、解析部１７０ｄによる解析では、自転車を漕ぐ動作、いわゆるペダリングの解析を行う。具体的には、各センサーの相対的な変位や角速度・角加速度の変化、ペダルクランクや装着者の骨格等に基づいて、体動再現データを解析し、力（Power）の時間変化、リズム（Cadence）、上半身角度の変化（Torso Angle）、腿の角度的な可動域（ＬＡＲ：Leg Angular Range）の変化、左右の足首（Foot）・膝（Knee）のＸ方向・Ｙ方向の変位、ウエスト（Waist）のＸ方向・Ｙ方向の変位を推定する。
なお、この解析部１７０ｄによる他の解析方法としては、装着者１を３次元的に表示させた立体的なデータを生成するものであってもよく、また、ＸＹ平面に投影した２次元的なデータを生成するものであってもよい。また、例えば、模範となる体動データが蓄積されたメモリ１１４から、模範となる体動データを抽出し、装着者の体動再現データと比較することで、正常な体動とのズレなどを示した改善データを生成してもよい。さらには、予め、性別、身長、体重、年齢などユーザー情報を登録しておくことで、各ユーザー情報に基づいた解析を行ってもよい。そして、解析部１７０ｄは、この立体画像データや改善データなどの解析結果を情報端末装置１００に送信する。
さらに、本実施形態において解析部１７０ｄは、同期処理部１７０ｆを備えている。同期処理部１７０ｆは、体動データを表示する時間軸と、カメラで撮影された映像を表示する時間軸とを合致させる同期処理を実行するために、キャリブレーション処理を実行するモジュールである。具体的に、本実施形態にかかる同期処理部１７０ｆは、体動センサー４０を反応させる装着者１による所定の特徴的行為（キャリブレーション行為）を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。この特徴的行為としては、例えば、装着者１がカメラの前で自身の体や体動センサー４０自体を所定か数だけ叩いたり揺すったりするなど、短時間中に体動センサー４０に対して所定回数振動を加えるような行為が挙げられる。
このような特徴的行為の抽出処理としては、例えば画像認識処理によって所定時間長内において所定の形状や色の図形が一定の振幅やリズムで変位するのを検出することで、装着者１が「手で叩く」という行為をしていることを認識して、その間の最大変位となった映像中のフレームの撮影時刻を読み出し、その時間情報をキャリブレーション信号として検出する。また、動画データに音声データが含まれているときには、装着者１が叩く音を抽出して、その抽出された時間情報をキャリブレーション信号として検出してもよい。
さらに、録画データが長時間にわたるサイズであるときには、ユーザー操作を補助的に行い、ユーザー操作によって指定された時間幅に絞って上記特徴的行為の抽出を行うようにしてもよい。一方、上述した体動センサー４０の特徴的反応の検出は、体動センサー４０に備えられた各種センサー、例えば加速度センサーの検出値を走査して、一定の振幅以上の反応が所定の時間幅内において所定回数繰り返されている箇所を抽出することにより行う。なお、この特徴的行為及び特徴的反応の検出は、いずれか一方を先に行い、検出された一方のタイムスタンプを参考にして、他方の走査範囲を絞って検出処理を実行するようにしてもよい。
そして、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させるには、上述した特徴的行為が行われた時刻のタイムスタンプ（時間情報）と、特徴的反応が検出された時刻のタイムスタンプを整合させるように、両者の再生開始時刻を揃えることにより同期処理を行う。その際、繰り返し行われた行為や反応の間隔に差異がある場合には、動画の再生時間又は体動センサーのタイムラインの長さを伸張させて、動画データと体動再現データの再生開始時刻と終了時刻を整合させるようにして、同期させる。
表示情報生成部１７０ｅは、出力インターフェース１１１で表示される表示情報を生成するモジュールであり、解析部１７０ｄが解析した体動再現データを動画に対応させて表示又は出力する表示情報を生成する。この表示情報は、本実施形態では図６及び図７に示すように、内蔵カメラ１１５や外部カメラ２０で撮影した動画をウィンドウＷ１に表示するとともに、解析部１７０ｄが解析した体動再現データを平面的な円形で表し、解析部１７０ｄが解析した体動再現データを表示するタイムラインＷ２とを、対比可能に同期させて表示する。なお、この表示情報には表示データとともに、音響信号やその他の出力制御信号が含まれる。
また、表示画面には、タッチ操作のためのＧＵＩ（Graphical User Interface）Ｗ３が含まれ、このＧＵＩが表示されるタッチパネルに対する操作は、入力インターフェース１１２に入力され表示情報生成部１７０ｅによる表示を切り替えることができる。図示した例では、図６に示すように、外部カメラ２０で撮影した装着者１を背後から撮影した動画をＷ１に表示し、タイムラインＷ２には体動再現データに含まれる各運動パラメーターを個別的に表示し、表示モードを切り替えることにより、図７に示すように、情報端末装置１００の内蔵カメラ１１５で撮影した装着者１を正面から撮影した動画をＷ１に表示し、タイムラインＷ２には体動再現データに含まれる各運動パラメーターを重ね合わせて表示ている。なお、表示モードを切り替える他の様式としては、例えば、動画にタイムラインを重ね合わせて全画面表示するなど種々の方法を採用することができる。
そして、同期された動画と体動再現データとを対比可能に同期させて出力する際は、図６及び図７に示すような、タイムライン上に表示された再生ポイントカーソルＰＰを左右にスライドさせることにより、そのタイムラインが示す時刻の動画中のフレームが表示される。この再生ポイントカーソルＰＰは、動画の再生と同期してタイムライン上を移動して時間進行を表示することができ、再生開始ポイントを指定してそこから動画の再生を指示したり、所定の時間幅を設定して、その間を繰り返し再生させるように設定させることもできる。
メモリ１１４は、各種のデータを記録する記憶装置であり、各情報端末装置１００を識別する識別情報や、各体動センサー４０の装着部位情報、各部位に装着された体動センサー４０の相対位置関係、及び上述したユーザー情報や模範となる体動データなどが蓄積されている。
（モーションキャプチャー方法）
以上の構成を有するモーションキャプチャーシステムを動作させることによって、本実施形態に係るモーションキャプチャー方法を実施することができる。図４に記録動作を示し、図５にデータ再生時の動作を示す。
（１）記録動作
先ず、装着者１は、両足や腰などの任意の部位に各体動センサー４０ａ～４０ｃを装着する。また、装着者１は、マウント器具を介して情報端末装置１００を自転車のハンドルに固定するとともに、外部カメラ２０を自転車の後部に取り付けて、モーションキャプチャーを実行する。
そして、情報端末装置１００側で本発明のプログラムであるアプリケーションを起動し、各体動センサー４０から検出結果を取得すべくアプリケーションに対して計測開始操作を入力するとともに、外部カメラ２０の撮影開始操作を行う（Ｓ２０１）。この計測開始操作を受けて、情報端末装置１００の制御部１７０は、各体動センサー４０と接続処理を行う（Ｓ１０１）。接続処理された後、各体動センサー４０では、装着者１の動作の検出を開始する（Ｓ１０２）。具体的には、装着者の身体各部位に取り付けられた体動センサー４０により、各部位の三次元的な変位、又は加速度を検出する。
次いで、取得された各検出結果は、各体動センサー４０の無線通信部を介して、微弱電波により情報端末装置１００の無線インターフェース１１３へと送信される（Ｓ１０３）。情報端末装置１００の無線インターフェース１１３が各検出結果の取得が開始されると（Ｓ２０２）、体動記録部であるメモリ１１４は、体動センサー４０ａ～４０ｃによる検出結果を体動データとして順次記録してゆく（Ｓ２０３）。
そして、自転車走行などの競技を開始する前に、操作者はキャリブレーション操作を行う（Ｓ２０４）。具体的には、例えば、装着者１がカメラの前で自身の体や体動センサー４０自体を所定か数だけ叩いたり揺すったりするなど、短時間中に体動センサー４０に対して所定回数振動を加えるような行為を行う。次いで、競技を開始し、競技中は継続して体動センサー４０の検出値の取得、及び録画処理が継続して実行され、メモリ１１４等に記録される（Ｓ２０５における「Ｎ」）。
具体的には、情報端末装置１００に内蔵された内蔵カメラ１１５や、外部に接続された外部カメラ２０で撮影された動画データが動画取得部１１２ａによって取得され、メモリ１１４に蓄積されたり、制御部１７０における処理に供される。この間、体動センサー４０による検出データや録画された映像を、リアルタイムで解析して情報端末装置１００の表示部に表示するようにしてもよい。その後、競技が終了次第計測を終了するとともに（Ｓ２０５における「Ｙ」）、必要に応じて録画処理を停止する（Ｓ２０６）。その後、各センサーとの通信を切断する（Ｓ１０４）。
（２）再生同期処理
このようにして記録された動画及び体動データは、以下のように再生される。すなわち、図５に示すように、体動データ取得部１７０ａにより体動データが取得され、動画取得部１１２ａにより動画データが取得されると、体動算出部１７０ｂ及び解析部１７０ｄでは、メモリ１１４に蓄積された体動センサー４０による各検出結果と、各体動センサー４０の相対位置関係に基づいて、装着者の体動を体動再現データとして算出及び解析する（Ｓ３０１）。
次いで、動画中に映っている装着者１によるキャリブレーション行為及び体動データ中の特徴的波形を抽出する（Ｓ３０２及びＳ３０３）。具体的には、同期処理部１７０ｆが、体動センサー４０を反応させる装着者１による所定の特徴的行為（キャリブレーション行為）を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出する。例えば、画像認識処理によって所定時間長内において所定の形状や色の図形が一定の振幅やリズムで変位するのを検出することで、装着者１が「手で叩く」という行為をしていることを認識して、その間の最大変位となった映像中のフレームの撮影時刻を読み出し、その時間情報をキャリブレーション信号として検出する。また、動画データに音声データが含まれているときには、装着者１が叩く音を抽出して、その抽出された時間情報をキャリブレーション信号として検出してもよい。一方、上述した体動センサー４０の特徴的反応の検出は、体動センサー４０に備えられた各種センサー、例えば加速度センサーの検出値を走査して、一定の振幅以上の反応が所定の時間幅内において所定回数繰り返されている箇所を抽出することにより行う。
次いで、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより動画と体動データの同期処理を行う（Ｓ３０５）。具体的には、上述した特徴的行為が行われた時刻のタイムスタンプ（時間情報）と、特徴的反応が検出された時刻のタイムスタンプを整合させるように、両者の再生開始時刻を揃えることにより同期処理を行う。その際、繰り返し行われた行為や反応の間隔に差異がある場合には、動画の再生時間又は体動センサーのタイムラインの長さを伸張させて、動画データと体動再現データの再生開始時刻と終了時刻を整合させるようにして、同期させる。このように、解析され対比可能に同期された動画及び体動再現データは、解析結果を情報端末装置１００のディスプレイやスピーカーによる音響等によって表示又は出力される（Ｓ３０５）。
（モーションキャプチャープログラム）
なお、上述した本実施形態に係るモーションキャプチャーシステム及びモーションキャプチャー方法は、上述したモーションキャプチャーアプリケーションのように、所定の言語で記述された本発明のモーションキャプチャープログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築してモーションキャプチャー方法を実施することができる。
（作用・効果）
このような本実施形態によれば、装着者１の体動を記録する際、予め、体動センサー４０を反応させる装着者１によるキャリブレーション行為（所定の特徴的行為）を映像に映し込んでおき、記録された特徴的行為を映像又は音声中から抽出するとともに、抽出された特徴的行為のタイミングとキャリブレーション制御信号が示すタイミングとを合致させることにより、体動データを表示する時間軸と、映像を表示する時間軸とを同期させる処理を行う。これにより、本実施形態によれば、記録された体動データと撮影した映像とを同期させたうえで対比可能に表示させることができ、装着者１の運動活動による体動を映像と正確に同期させて表示・出力でき、体動の解析精度を高めて、適切なトレーニングやコーチングが可能となる。
また、本実施形態に係るモーションキャプチャープログラムでは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
［第２実施形態］
次いで、本発明の第２実施形態について説明する。本実施形態では、上述した第１実施形態では、撮影した動画と体動データとの同期処理を、装着者１が行うキャリブレーション行為に基づいて行うようにしたが、本実施形態では、体動センサー４０に組み込まれたキャリブレーション信号発信部により自動的に行うことを要旨とする。なお、本実施形態において、上述した第１実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
（各装置の構成）
（１）体動センサー
本実施形態にかかる体動センサー４０ａ～４０ｃは、上述した第１実施形態で説明した構成に加え、図８に示すように、発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部４０１（４０１ａ～４０１ｃ）を備えている。このキャリブレーション信号発信部４０１は、例えばＬＥＤ等の発光体をセンサー本体の外表面に視認可能に設けたり、スピーカー等の音声発信手段を設けたりして、光や音によるキャリブレーション信号を出力する。このキャリブレーション信号発信部４０１によるキャリブレーション信号の発信は、キャリブレーション制御信号取得部１７０ｃから送信されるキャリブレーション実行信号に基づいて実行されたり、装着者１の任意の操作に基づいて実行されたりする。装着者１の任意による操作としては、体動センサー４０本体に設けられた操作ボタンやその他の機器から制御信号を送信するなどがあり、キャリブレーション信号発信部４０１は、実際にキャリブレーション信号を発信した時刻をキャリブレーション制御信号としてキャリブレーション制御信号取得部１７０ｃに送信する。
（２）情報端末装置
本実施形態にかかる情報端末装置１００は、上述した第１実施形態で説明した構成に加え、図８に示すように、キャリブレーション制御信号取得部１７０ｃを備えている。このキャリブレーション制御信号取得部１７０ｃは、キャリブレーション信号発信部４０１に対してキャリブレーション信号発信部４０１からキャリブレーション信号の発信を実行させるキャリブレーション実行信号を送信したり、実際にキャリブレーション信号を発信した時刻をキャリブレーション制御信号として取得する。このキャリブレーション制御信号取得部１７０ｃで取得されたキャリブレーション制御信号は解析部１７０ｄに入力される。
本実施形態において、同期処理部１７０ｆは、キャリブレーション信号発信部４０１が発信したキャリブレーション信号を映像又は音声中から抽出する。また、同期処理部１７０ｆは、映像又は音声中から抽出されたキャリブレーション信号の発信タイミングと、キャリブレーション制御信号取得部１７０ｃが取得したキャリブレーション制御信号が示す実際の発信タイミングとを合致させることにより同期処理を行う。
（モーションキャプチャー方法）
以上の構成を有するモーションキャプチャーシステムを動作させることによって、本実施形態に係るモーションキャプチャー方法を実施することができる。図９及び図１０に第２実施形態にかかる記録動作及びデータ再生時の動作を示す。
（１）記録動作
先ず、装着者１は、両足や腰などの任意の部位に各体動センサー４０ａ～４０ｃを装着する。また、装着者１は、マウント器具を介して情報端末装置１００を自転車のハンドルに固定するとともに、外部カメラ２０を自転車の後部に取り付けて、モーションキャプチャーを実行する。
そして、情報端末装置１００側で本発明のプログラムであるアプリケーションを起動し、各体動センサー４０から検出結果を取得すべくアプリケーションに対して計測開始操作を入力するとともに、外部カメラ２０の撮影開始操作を行う（Ｓ５０１）。この計測開始操作を受けて、情報端末装置１００の制御部１７０は、各体動センサー４０と接続処理を行う（Ｓ４０１）。接続処理された後、各体動センサー４０では、装着者１の動作の検出を開始する（Ｓ４０２）。具体的には、装着者の身体各部位に取り付けられた体動センサー４０により、各部位の三次元的な変位、又は加速度を検出する。
次いで、取得された各検出結果は、各体動センサー４０の無線通信部を介して、微弱電波により情報端末装置１００の無線インターフェース１１３へと送信される（Ｓ４０３）。情報端末装置１００の無線インターフェース１１３が各検出結果の取得が開始されると（Ｓ５０２）、体動記録部であるメモリ１１４は、体動センサー４０ａ～４０ｃによる検出結果を体動データとして順次記録してゆく（Ｓ５０３）。
そして、自転車走行などの競技を開始する前に、キャリブレーション動作を行う（Ｓ５０４）。本実施形態では、このキャリブレーション操作は、情報端末装置１００側のキャリブレーション制御信号取得部１７０ｃ主導で自動的に実行される。具体的には、例えば、キャリブレーション制御信号取得部１７０ｃから送信されるキャリブレーション実行信号に基づいて、光や音によるキャリブレーション信号をキャリブレーション信号発信部４０１から出力する。なお、このキャリブレーション信号発信部４０１によるキャリブレーション信号の発信は、装着者１の任意の操作に基づいて実行してもよく、他の機器から制御信号に基づいて実行してもよい。キャリブレーション信号発信部４０１は、実際にキャリブレーション信号を発信した時刻をキャリブレーション制御信号としてキャリブレーション制御信号取得部１７０ｃに送信し、このキャリブレーション制御信号はキャリブレーション制御信号取得部１７０ｃによって受信され、解析部１７０ｄを通じてメモリ１１４に記録される（Ｓ５０５）。
次いで、競技を開始し、競技中は継続して体動センサー４０の検出値の取得、及び録画処理が継続して実行され、メモリ１１４等に記録される（Ｓ５０６における「Ｎ」）。具体的には、情報端末装置１００に内蔵された内蔵カメラ１１５や、外部に接続された外部カメラ２０で撮影された動画データが動画取得部１１２ａによって取得され、メモリ１１４に蓄積されたり、制御部１７０における処理に供される。この間、体動センサー４０による検出データや録画された映像を、リアルタイムで解析して情報端末装置１００の表示部に表示するようにしてもよい。その後、競技が終了次第計測を終了するとともに（Ｓ５０６における「Ｙ」）、必要に応じて録画処理を停止する（Ｓ５０７）。その後、各センサーとの通信を切断する（Ｓ４０５）。
（２）再生同期処理
このようにして記録された動画及び体動データは、以下のように再生される。すなわち、図１０に示すように、体動データ取得部１７０ａにより体動データが取得され、動画取得部１１２ａにより動画データが取得されると、体動算出部１７０ｂ及び解析部１７０ｄでは、メモリ１１４に蓄積された体動センサー４０による各検出結果と、各体動センサー４０の相対位置関係に基づいて、装着者の体動を体動再現データとして算出及び解析する（Ｓ６０１）。
次いで、動画に映っている体動センサー４０の発光や発信音出力によるキャリブレーション信号を抽出するとともに（Ｓ６０２）、キャリブレーション制御信号が示すキャリブレーション信号の発信記録をメモリ１１４から読み出す（Ｓ６０３）。具体的には、同期処理部１７０ｆが、体動センサー４０による発光や発信音出力（キャリブレーション信号）を映像又は音声中から抽出するとともに、キャリブレーション制御信号中に記されたキャリブレーション信号の発信時刻を読み出す。例えば、画像認識処理によって所定時間長内において所定の波長の光が一定の振幅やリズムで発光したのを認識し、その時間情報をキャリブレーション信号として検出する。また、動画データに音声データが含まれているときには、キャリブレーション信号発信部４０１が発した音声信号を抽出して、その抽出された時間情報をキャリブレーション信号として検出してもよい。
次いで、抽出されたキャリブレーション信号のタイミングと、キャリブレーション制御信号のタイミングとを合致させることにより動画と体動データの同期処理を行う（Ｓ６０５）。具体的には、上述したキャリブレーション信号が発信された時刻のタイムスタンプ（時間情報）と、キャリブレーション制御信号の発信記録に記された時刻のタイムスタンプを整合させるように、両者の再生開始時刻を揃えることにより同期処理を行う。その際、繰り返し行われた行為や反応の間隔に差異がある場合には、動画の再生時間又は体動センサーのタイムラインの長さを伸張させて、動画データと体動再現データの再生開始時刻と終了時刻を整合させるようにして、同期させる。このように、解析され対比可能に同期された動画及び体動再現データは、解析結果を情報端末装置１００のディスプレイやスピーカーによる音響等によって表示又は出力される（Ｓ６０５）。
（モーションキャプチャープログラム）
なお、上述した本実施形態に係るモーションキャプチャーシステム及びモーションキャプチャー方法も、上述したモーションキャプチャーアプリケーションのように、所定の言語で記述された本発明のモーションキャプチャープログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築してモーションキャプチャー方法を実施することができる。
（作用・効果）
このような本実施形態によれば、装着者の体動を記録する際、予め、発光又は音声信号によるキャリブレーション信号の発信を自動的に行うとともに、その信号による特徴的な反応を録画若しくは録音を記録しておく。そして、記録されたキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号が示すタイミングとを合致させることにより、体動データを表示する時間軸と、映像を表示する時間軸とを同期させる処理を行う。これにより、記録された体動データと撮影した映像とを同期させたうえで対比可能に表示させることができる。この結果、本実施形態によれば、撮影機器や動画処理の特性によって、再生した映像と体動データ中の運動パラメーターの表示とに微妙な時間的ズレが生じるような場合でも、装着者の運動活動による体動を映像と正確に同期させて表示・出力でき、体動の解析精度を高めて、適切なトレーニングやコーチングが可能となる。
なお、本発明は、上記した各実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合せにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。
Ｃ１～Ｃ３…自由周回・揺動軌跡
ＰＰ…再生ポイントカーソル
Ｗ１…ウィンドウ
Ｗ２…タイムライン
Ｗ３…ＧＵＩ
Ｘ…進行方向
Ｙ…鉛直方向
１…装着者
２０…外部カメラ
４０…体動センサー
４０ａ…右足体動センサー
４０ｂ…左足体動センサー
４０ｃ…腰部体動センサー
１００…情報端末装置
１１１…出力インターフェース
１１２…入力インターフェース
１１２ａ…動画取得部
１１３…無線インターフェース
１１４…メモリ
１１５…内蔵カメラ
１７０…制御部
１７０ａ…体動データ取得部
１７０ｂ…体動算出部
１７０ｃ…キャリブレーション制御信号取得部
１７０ｄ…解析部
１７０ｅ…表示情報生成部
１７０ｆ…同期処理部
４０１…キャリブレーション信号発信部

Claims (9)

  1. 装着者の体動を検出するモーションキャプチャーシステムであって、
    前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、
    前記体動センサーによる各検出結果と、前記体動センサー同士の相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出するとともに、前記体動再現データに基づいて周期的な変化を抽出する周期抽出部と、
    前記装着者の体動を撮影し記録する撮影手段と、
    前記体動センサーによる検出結果を体動データとして、前記撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと、
    前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部と、
    前記体動再現データに基づいて前記装着者の体動を解析するとともに、前記同期処理部によって前記同期処理を実行する解析部と
    を備え、
    前記同期処理部は、前記体動センサーを反応させる前記装着者による所定の特徴的行為を前記映像又は音声中から抽出するとともに、前記体動データ中の前記特徴的行為による特徴的反応を抽出し、抽出された前記特徴的行為のタイミングと前記特徴的反応のタイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャーシステム。
  2. 前記特徴的行為は、短時間中に前記体動センサーに所定回数振動を加えるものであることを特徴とする請求項１に記載のモーションキャプチャーシステム。
  3. 装着者の体動を検出するモーションキャプチャーシステムであって、
    前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、
    前記体動センサーによる各検出結果と、前記体動センサー同士の相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出するとともに、前記体動再現データに基づいて周期的な変化を抽出する周期抽出部と、
    前記装着者の体動を撮影し記録する撮影手段と、
    前記体動センサーによる検出結果を体動データとして、前記撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと、
    発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部と、
    前記キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、
    前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部と、
    前記体動再現データに基づいて前記装着者の体動を解析するとともに、前記同期処理部によって前記同期処理を実行する解析部と
    を備え、
    前記同期処理部は、前記キャリブレーション信号発信部が発信した前記キャリブレーション信号を前記映像又は音声中から抽出するとともに、抽出された前記キャリブレーション信号のタイミングと前記キャリブレーション制御信号取得部が取得した前記キャリブレーション制御信号が示す前記タイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャーシステム。
  4. 装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、
    前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーによる検出結果を体動データとして記録する体動記録部と、
    前記体動センサーによる各検出結果と、前記体動センサー同士の相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出するとともに、前記体動再現データに基づいて周期的な変化を抽出する周期抽出部と、
    前記体動センサーによる検出結果を体動データとして、前記装着者の体動を撮影し記録する撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと、
    前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部、
    前記体動再現データに基づいて前記装着者の体動を解析するとともに、前記同期処理部によって前記同期処理を実行する解析部
    として機能させ、
    前記同期処理部は、前記体動センサーを反応させる前記装着者による所定の特徴的行為を前記映像又は音声中から抽出するとともに、前記体動データ中の前記特徴的行為による特徴的反応を抽出し、抽出された前記特徴的行為のタイミングと前記特徴的反応のタイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャープログラム。
  5. 前記特徴的行為は、短時間中に前記体動センサーに所定回数振動を加えるものであることを特徴とする請求項４に記載のモーションキャプチャープログラム。
  6. 装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、
    前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、
    前記体動センサーによる各検出結果と、前記体動センサー同士の相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出するとともに、前記体動再現データに基づいて周期的な変化を抽出する周期抽出部と、
    前記装着者の体動を撮影し記録する撮影手段と、
    前記体動センサーによる検出結果を体動データとして、前記撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと、
    発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、前記キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、
    前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部、
    前記体動再現データに基づいて前記装着者の体動を解析するとともに、前記同期処理部によって前記同期処理を実行する解析部
    として機能させ、
    前記同期処理部は、前記キャリブレーション信号発信部が発信した前記キャリブレーション信号を前記映像又は音声中から抽出するとともに、抽出された前記キャリブレーション信号のタイミングと前記キャリブレーション制御信号取得部が取得した前記キャリブレーション制御信号が示す前記タイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャープログラム。
  7. 装着者の体動を検出するモーションキャプチャー方法であって、
    前記装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、前記体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
    周期抽出部が、前記体動センサーによる各検出結果と、前記体動センサー同士の相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出するとともに、前記体動再現データに基づいて周期的な変化を抽出するステップと、
    撮影手段が前記装着者の体動を撮影し記録する撮影ステップと、
    解析部が、前記体動再現データに基づいて前記装着者の体動を解析するとともに、同期処理部によって、前記体動センサーによる検出結果を体動データとして表示する時間軸と、前記撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、前記体動データを前記映像と対比可能に同期させて出力デバイスが表示する出力ステップと、
    を含み、
    前記出力ステップでは、前記体動センサーを反応させる前記装着者による所定の特徴的行為を前記映像又は音声中から抽出するとともに、前記体動データ中の前記特徴的行為による特徴的反応を抽出し、抽出された前記特徴的行為のタイミングと前記特徴的反応のタイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャー方法。
  8. 前記特徴的行為は、短時間中に前記体動センサーに所定回数振動を加えるものであることを特徴とする請求項７に記載のモーションキャプチャー方法。
  9. 装着者の体動を検出するモーションキャプチャー方法であって、
    前記装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、前記体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
    周期抽出部が、前記体動センサーによる各検出結果と、前記体動センサー同士の相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出するとともに、前記体動再現データに基づいて周期的な変化を抽出するステップと、
    撮影手段が前記装着者の体動を撮影し記録する撮影ステップと、
    発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、前記キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を、キャリブレーション制御信号取得部が取得するキャリブレーション制御信号取得ステップと、
    解析部が、前記体動再現データに基づいて前記装着者の体動を解析するとともに、同期処理部によって、前記体動センサーによる検出結果を体動データとして表示する時間軸と、前記撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、前記体動データを前記映像と対比可能に同期させて出力デバイスが表示する出力ステップと
    を含み、
    前記出力ステップにおいて前記同期処理部は、前記キャリブレーション信号発信部が発信した前記キャリブレーション信号を前記映像又は音声中から抽出するとともに、抽出された前記キャリブレーション信号のタイミングと前記キャリブレーション制御信号取得部が取得した前記キャリブレーション制御信号が示す前記タイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャー方法。
JP2018205106A 2018-10-31 2018-10-31 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法 Active JP7307447B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018205106A JP7307447B2 (ja) 2018-10-31 2018-10-31 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法
US17/288,915 US20210398665A1 (en) 2018-10-31 2019-10-30 Motion-capture system, motion-capture program, and motion-capture method
PCT/JP2019/042598 WO2020090899A1 (ja) 2018-10-31 2019-10-30 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法
EP19879811.8A EP3875159A4 (en) 2018-10-31 2019-10-30 MOTION CAPTURE SYSTEM, MOTION CAPTURE PROGRAM AND MOTION CAPTURE METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018205106A JP7307447B2 (ja) 2018-10-31 2018-10-31 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法

Publications (2)

Publication Number Publication Date
JP2020069087A JP2020069087A (ja) 2020-05-07
JP7307447B2 true JP7307447B2 (ja) 2023-07-12

Family

ID=70462097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018205106A Active JP7307447B2 (ja) 2018-10-31 2018-10-31 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法

Country Status (4)

Country Link
US (1) US20210398665A1 (ja)
EP (1) EP3875159A4 (ja)
JP (1) JP7307447B2 (ja)
WO (1) WO2020090899A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7067513B2 (ja) * 2019-03-25 2022-05-16 日本電信電話株式会社 映像同期装置、映像同期方法、プログラム
CN111918249B (zh) * 2020-07-29 2023-11-28 福州数据技术研究院有限公司 一种智能穿戴设备同步方法及存储介质
CN112090053A (zh) * 2020-09-14 2020-12-18 成都拟合未来科技有限公司 一种3d交互健身训练方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110850A (ja) 2003-10-06 2005-04-28 Hitachi Metals Ltd 身体運動の評価方法、スイング動作評価方法および身体運動の計測システム
JP2013192591A (ja) 2012-03-16 2013-09-30 Seiko Epson Corp 運動解析情報収集装置、運動解析装置及び運動解析方法
US20160065984A1 (en) 2014-09-03 2016-03-03 Farzad Nejat Systems and methods for providing digital video with data identifying motion
JP2018085575A (ja) 2016-11-21 2018-05-31 カシオ計算機株式会社 画像処理装置、解析システム、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008101168A2 (en) 2007-02-16 2008-08-21 Nike, Inc. Real-time comparison of athletic information
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110850A (ja) 2003-10-06 2005-04-28 Hitachi Metals Ltd 身体運動の評価方法、スイング動作評価方法および身体運動の計測システム
JP2013192591A (ja) 2012-03-16 2013-09-30 Seiko Epson Corp 運動解析情報収集装置、運動解析装置及び運動解析方法
US20160065984A1 (en) 2014-09-03 2016-03-03 Farzad Nejat Systems and methods for providing digital video with data identifying motion
JP2018085575A (ja) 2016-11-21 2018-05-31 カシオ計算機株式会社 画像処理装置、解析システム、画像処理方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
上田 祥平 Shohei Ueda，実映像オプティックフローと足裏振動による歩行感覚記録・体験手法の基礎検討 Feasibility study on recor，日本バーチャルリアリティ学会論文誌 Transactions of the Virtual Reality Society of Japan，日本，特定非営利活動法人日本バーチャルリアリティ学会 Th，2016年03月31日，第21巻, 第1号，15-22ページ，特に第16ページ右欄第13行から第26行
吉田 健太郎 Kentaro Yoshida，機械学習を用いた一人称映像に基づく振動触覚の推定と提示，第２２回日本バーチャルリアリティ学会大会論文集 The 22st Annual Conference of the Virtual Reality So，日本，2017年09月27日，特に2D1-05第2ページ右欄第1行から第12行
小島 慶太 Keita Kojima，加速度分析結果と同期した技能動作映像の提示が技能向上に与える効果の評価 Effect On Workers' Skill By，ヒューマンインタフェース学会 研究報告集 ２０１１ Correspondences on Human Interface，日本，Human Interface Society，2011年02月28日，第13巻，41-48ページ，特に第42ページ右欄第20行から第43ページ左欄第5行, 第46ページ右欄第39行から左欄第3行, 図7

Also Published As

Publication number Publication date
EP3875159A4 (en) 2021-12-22
WO2020090899A1 (ja) 2020-05-07
EP3875159A1 (en) 2021-09-08
US20210398665A1 (en) 2021-12-23
JP2020069087A (ja) 2020-05-07

Similar Documents

Publication Publication Date Title
JP5811360B2 (ja) 運動情報表示システムおよび運動情報表示方法、運動情報表示プログラム
JP6332830B2 (ja) 運動支援システム及び運動支援方法、運動支援プログラム
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
JP7307447B2 (ja) モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法
US10105106B2 (en) Exercise information display system, exercise information display method and computer-readable recording medium
JP2015116288A (ja) 運動情報表示システムおよび運動情報表示方法、運動情報表示プログラム
JP7209363B2 (ja) スタビリティ評価システム、プログラム及び方法
EP3060317B1 (en) Information processing device, recording medium, and information processing method
JP6094476B2 (ja) 撮影システム、その制御方法、および、その制御プログラム
JP2016043260A (ja) 運動解析装置、運動解析方法、および運動解析システム
JP2018085575A (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
JP6482106B2 (ja) モーションキャプチャシステム、モーションキャプチャプログラム及びモーションキャプチャ方法
JP6337980B2 (ja) 運動状態検出装置、その制御方法、および、その制御プログラム
JP6381252B2 (ja) 移動運動解析装置及びプログラム
WO2023100565A1 (ja) ランニングフォーム評価システム、プログラム及び方法
TW201900108A (zh) 運動記錄裝置及運動記錄系統
WO2024005183A1 (ja) ランニングフォーム評価システム、プログラム及び方法
JP7188422B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
JP2020136847A (ja) データ取得装置、その制御方法及び制御プログラム、並びに制御機器、データ取得機器
WO2023195461A1 (ja) ランニングフォーム解析システム、プログラム及び方法
JP7256563B2 (ja) 情報処理端末装置の連結機構及び連結方法
JP2018085574A (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
WO2017156642A1 (en) A system for synchronization of data logged with wearable devices and video streams in sports applications
TW201904517A (zh) 可攜式運動監視系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7307447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150