WO2022097196A1 - 暫定目標動作決定装置、暫定目標動作決定方法、プログラム - Google Patents

暫定目標動作決定装置、暫定目標動作決定方法、プログラム Download PDF

Info

Publication number
WO2022097196A1
WO2022097196A1 PCT/JP2020/041187 JP2020041187W WO2022097196A1 WO 2022097196 A1 WO2022097196 A1 WO 2022097196A1 JP 2020041187 W JP2020041187 W JP 2020041187W WO 2022097196 A1 WO2022097196 A1 WO 2022097196A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
practitioner
posture
temporary target
provisional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/041187
Other languages
English (en)
French (fr)
Inventor
斯▲ち▼ 孫
弾 三上
奏 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2020/041187 priority Critical patent/WO2022097196A1/ja
Publication of WO2022097196A1 publication Critical patent/WO2022097196A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a provisional target movement determination device for determining a provisional target movement for enhancing the performance of a practitioner, a provisional target movement determination method, and a program.
  • Non-Patent Document 1 a method of presenting a provisional target motion that is easier to aim at has been proposed.
  • Non-Patent Document 1 synthesizes a large number of movements (provisional target candidate movements) according to some internal division points provided between the practitioner movement and the final target movement, and keeps the amount of change below a certain range. The presentation of the provisional target action was realized.
  • an object of the present invention is to provide a provisional target movement determination device that is easy for a practitioner to aim at and can determine a provisional target movement that can achieve high performance.
  • the provisional target motion determination device of the present invention is a device using a model trained using time-series information of a person's motion posture and a label indicating the degree of performance of the corresponding motion posture as training data, and is a device for synthesizing a provisional goal candidate motion. Includes a section and a provisional target action determination section.
  • the provisional goal candidate motion synthesis unit is a provisional goal candidate between the practitioner's motion, which is the time-series information of the practitioner's motion posture, and the final goal motion, which is the time-series information of the motion posture predetermined as the final goal of the practitioner. Combine multiple actions.
  • the provisional goal motion determination unit determines the provisional goal candidate motion that is within the range of the change amount of the predetermined motion from the reference to the practitioner motion and has the highest predicted performance based on the model as the provisional goal motion. ..
  • provisional target movement determination device of the present invention it is possible for the practitioner to easily aim and determine the provisional target movement that can achieve high performance.
  • FIG. 1 The block diagram which shows the functional structure of the practitioner support system of Example 1.
  • FIG. The flowchart which shows the operation of the model learning apparatus of Example 1.
  • the flowchart which shows the operation of the provisional target operation determination apparatus of Example 1.
  • the practitioner support system 1 of this embodiment includes a model learning device 11, a provisional target motion determination device 12, and a display device 13. The outline of each device will be described below.
  • Model learning device 11 executes the learning phase. It should be noted that the function of the model learning device 11 can be provided to the provisional target operation determination device 12, which will be described later. In this case, the model learning device 11 can be omitted.
  • the model learning device 11 learns a model that predicts the performance of the corresponding motion posture from the time series information of the motion posture. For example, it is possible to learn a model using a large number of human motion postures and the performance of the motion postures as learning data. If you want to apply it well to the movements of the practitioner, you can also consider a method of fine tuning using a large number of movements of the practitioner from the model learned in advance above.
  • the provisional target operation determination device 12 executes a synthesis phase of the provisional target candidate operation and a provisional target operation determination phase.
  • the provisional target movement determination device 12 synthesizes a large number of provisional target candidate movements based on certain rules (details will be described later). For example, by the technique of Non-Patent Document 1, it is possible to synthesize a large number of actions according to the internal division point.
  • Provisional target motion determination phase The provisional goal motion determination device 12 predicts the performance of a large number of synthesized provisional goal candidate motions using a trained model, and keeps the amount of change in motion within a certain range. , The provisional target candidate action that maximizes the performance within that range is determined as the provisional goal action.
  • the amount of change in motion is the physical distance between the final target motion and the practitioner's motion, and can be calculated, for example, by the Euclidean distance.
  • the display device 13 executes a display phase of the provisional target operation.
  • the provisional target operation determination device 12 may be provided with the function of the display device 13. In this case, the display device 13 can be omitted.
  • the display device 13 displays the provisional target movement to the practitioner or the coach.
  • the model learning device 11 of this embodiment includes a learning data acquisition unit 111 and a model learning unit 112, and the provisional target operation determination device 12 includes a provisional target candidate operation synthesis unit 121 and a provisional target.
  • the operation determination unit 122 is included.
  • the operation of each configuration requirement will be described with reference to FIGS. 2 and 3.
  • the learning data acquisition unit 111 acquires learning data (S111).
  • the learning data acquired by the learning data acquisition unit 111 has information on the motion postures of many humans other than the practitioner, and a result label indicating the degree of performance of the motion.
  • the method of acquiring information on the human motion posture will be described.
  • Time-series data of the coordinate information of each joint of the human body is detected from the images of many human movements taken from the same viewpoint.
  • a joint label shall be attached to each joint.
  • Conventional techniques can be used to detect time-series data. For example, the method of detecting the two-dimensional joint coordinates of Reference Non-Patent Document 1 can be used.
  • Model learning unit 112 The learning data acquired by the learning data acquisition unit 111 is input to the model learning unit 112.
  • the model learning unit 112 learns a model using time-series information of a person's motion posture and a label indicating the degree of performance of the corresponding motion posture as training data (S112).
  • step S112 By executing machine learning in step S112, parameters used for the estimation process (described later) executed in the provisional target operation determination unit 122 are acquired.
  • the machine learning implemented in the model learning unit 112 may be any technique. For example, techniques such as deep neural networks (DNN) and support vector machines (SVM) may be applied.
  • DNN deep neural networks
  • SVM support vector machines
  • the provisional goal candidate motion synthesis unit 121 is a provisional goal between the practitioner's motion, which is the time-series information of the practitioner's motion posture, and the final goal motion, which is the time-series information of the motion posture predetermined as the final goal of the practitioner.
  • a plurality of candidate actions are combined (S121).
  • the provisional goal candidate motion synthesis unit 121 synthesizes a large number of provisional goal candidate motions using the final goal motion and the practitioner motion.
  • the final target movement is the movement set by the practitioner and desired to be aimed.
  • the practitioner movement When multiple practitioner movements are set, only arbitrary practitioner movements need to be selected and used. For example, among a plurality of practitioner movements, the practitioner movement closest to the average of these may be used. In order to synthesize a large number of motions that are provisional goal candidate motions, the practitioner motion and the final goal motion need to be images taken from the same viewpoint.
  • the method of detecting the time-series data of the coordinate information of each joint of the human body from the video the same method as that of the learning data acquisition unit 111 can be used.
  • ⁇ Synthesis method of provisional target candidate motion The method of synthesizing the provisional target candidate motion will be described.
  • the motion synthesis method can be used by providing some internal division points between the final goal motion of Non-Patent Document 1 and the practitioner motion (the following mathematical formula (1). ).
  • the degree of performance may be a value from 0 to 1 indicating the success probability of the free throw.
  • the provisional target motion determination unit 122 is within the range of the amount of change in the predetermined motion from the reference to the practitioner motion (see the dot-hatched substantially rectangular area in FIG. 4), and is predicted based on the model.
  • the provisional target candidate motion with the highest performance is determined as the provisional target motion (S122).
  • the amount of change in movement is the physical distance between the final target movement and the practitioner's movement.
  • the amount of change in motion can be calculated, for example, by the Euclidean distance.
  • the display device 13 displays the provisional target motion to the practitioner.
  • the provisional target movement may be superimposed on the practitioner's movement and displayed to the practitioner.
  • the motion close to the state to be displayed may be searched for and displayed from the motion of a person different from the original target.
  • Appropriate display methods can be tailored to the needs of practitioners and coaches.
  • the device of the present invention is, for example, as a single hardware entity, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity.
  • Communication unit CPU (Central Processing Unit, cache memory, registers, etc.) to which can be connected, RAM and ROM as memory, external storage device as hard hardware, and input, output, and communication units of these.
  • CPU, RAM, ROM has a bus connecting so that data can be exchanged between external storage devices.
  • a device (drive) or the like capable of reading and writing a recording medium such as a CD-ROM may be provided in the hardware entity.
  • a physical entity equipped with such hardware resources there is a general-purpose computer or the like.
  • the external storage device of the hardware entity stores a program required to realize the above-mentioned functions and data required for processing of this program (not limited to the external storage device, for example, reading a program). It may be stored in a ROM, which is a dedicated storage device). Further, the data obtained by the processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in the external storage device (or ROM, etc.) and the data required for processing of each program are read into the memory as needed, and are appropriately interpreted and executed and processed by the CPU. ..
  • the CPU realizes a predetermined function (each configuration requirement represented by the above, ... Department, ... means, etc.).
  • the present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention. Further, the processes described in the above-described embodiment are not only executed in chronological order according to the order described, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes. ..
  • the processing function in the hardware entity (device of the present invention) described in the above embodiment is realized by the computer, the processing content of the function that the hardware entity should have is described by the program. Then, by executing this program on the computer, the processing function in the above hardware entity is realized on the computer.
  • the various processes described above can be performed by causing the recording unit 10020 of the computer shown in FIG. 5 to read a program for executing each step of the above method and operating the control unit 10010, the input unit 10030, the output unit 10040, and the like. ..
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the recording medium that can be read by a computer may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • a hard disk device, a flexible disk, a magnetic tape or the like as a magnetic recording device, and a DVD (DigitalVersatileDisc), a DVD-RAM (RandomAccessMemory), or a CD-ROM (CompactDiscReadOnly) as an optical disk.
  • Memory CD-R (Recordable) / RW (ReWritable), etc.
  • MO Magnetto-Optical disc
  • EEP-ROM Electrical Erasable and Programmable-Read Only Memory
  • EEP-ROM Electrical Erasable and Programmable-Read Only Memory
  • the distribution of this program is carried out, for example, by selling, transferring, renting, etc. a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first, for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. You may execute the process according to the received program one by one each time.
  • ASP Application Service Provider
  • the program in this embodiment includes information used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property that regulates the processing of the computer, etc.).
  • the hardware entity is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized in terms of hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

練習者が目指しやすく、かつ高いパフォーマンスを達成できる暫定目標動作を決定できる暫定目標動作決定装置を提供する。人の動作姿勢の時系列情報と該当する動作姿勢のパフォーマンスの度合いを示すラベルを学習データとして学習されたモデルを用いる暫定目標動作決定装置であって、練習者の動作姿勢の時系列情報である練習者動作と練習者の最終目標としてあらかじめ定めた動作姿勢の時系列情報である最終目標動作の間にある暫定目標候補動作を複数合成する暫定目標候補動作合成部と、練習者動作を基準として当該基準から所定の動作の変化量の範囲内にあり、モデルに基づいて予測されたパフォーマンスが最も高い暫定目標候補動作を暫定目標動作として決定する暫定目標動作決定部を含む。

Description

暫定目標動作決定装置、暫定目標動作決定方法、プログラム
　本発明は、練習者のパフォーマンスを高めるための暫定目標動作を決定する暫定目標動作決定装置、暫定目標動作決定方法、プログラムに関する。
　最終目標動作を設定し、練習者動作を最終目標動作に近づけることを目指すトレーニングにおいて、最終目標動作と練習者動作の差が大きすぎると、練習者を最終目標動作に導くことが困難となり効果的ではないことが指摘されている。そのため、より目指し易い暫定目標動作を提示する手法が提案されている（非特許文献１）。
　非特許文献１は、練習者動作と最終目標動作の間に設けた幾つかの内分点に応じて、多数の動作(暫定目標候補動作)を合成し、一定範囲以下の変化量に留めた暫定目標動作の提示を実現した。
Shiro, K., Egawa, K., Miyaki, T. and Rekimoto, J., 2019, March. InterPoser: Visualizing Interpolated Movements for Bouldering Training. IEEE Conference on Virtual Reality and 3D User Interfaces (VR) (pp. 1563-1565). 2019
　しかしながら、動作と結果のパフォーマンスは複雑な関係にあり、現在の動作を目標とする動作に近づけたときに、必ずしもパフォーマンスが上がるとは言えない。このため、暫定目標動作を取得してもその時のパフォーマンスは下降する可能性がある。これは練習者のモチベーションの維持の観点などから大きな課題である。
　そこで本発明では、練習者が目指しやすく、かつ高いパフォーマンスを達成できる暫定目標動作を決定できる暫定目標動作決定装置を提供することを目的とする。
　本発明の暫定目標動作決定装置は、人の動作姿勢の時系列情報と該当する動作姿勢のパフォーマンスの度合いを示すラベルを学習データとして学習されたモデルを用いる装置であって、暫定目標候補動作合成部と、暫定目標動作決定部を含む。
　暫定目標候補動作合成部は、練習者の動作姿勢の時系列情報である練習者動作と練習者の最終目標としてあらかじめ定めた動作姿勢の時系列情報である最終目標動作の間にある暫定目標候補動作を複数合成する。
　暫定目標動作決定部は、練習者動作を基準として当該基準から所定の動作の変化量の範囲内にあり、モデルに基づいて予測されたパフォーマンスが最も高い暫定目標候補動作を暫定目標動作として決定する。
　本発明の暫定目標動作決定装置によれば、練習者が目指しやすく、かつ高いパフォーマンスを達成できる暫定目標動作を決定できる。
実施例１の練習者支援システムの機能構成を示すブロック図。 実施例１のモデル学習装置の動作を示すフローチャート。 実施例１の暫定目標動作決定装置の動作を示すフローチャート。 実施例１の暫定目標動作決定装置の暫定目標動作決定部の動作例を示す図。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下、図１を参照して実施例１の練習者支援システム１の装置構成を説明する。同図に示すように本実施例の練習者支援システム１は、モデル学習装置１１と、暫定目標動作決定装置１２と、表示装置１３を含む。以下、各装置の概要を説明する。
＜モデル学習装置１１＞
　モデル学習装置１１は、学習フェーズを実行する。なお、モデル学習装置１１の機能を後述する暫定目標動作決定装置１２に持たせることもできる。この場合、モデル学習装置１１を省略できる。
　学習フェーズ：モデル学習装置１１は動作姿勢の時系列情報から該当する動作姿勢のパフォーマンスを予測するモデルを学習する。例えば、数多くの人間の動作姿勢と当該動作姿勢のパフォーマンスを学習データとしてモデルを学習することが可能である。練習者の動作にうまく適用したい場合、上記で事前に学習したモデルから練習者の多数の動作を使ってファインチューニングする方法も考えられる。
＜暫定目標動作決定装置１２＞
暫定目標動作決定装置１２は、暫定目標候補動作の合成フェーズ、暫定目標動作決定フェーズを実行する。
　暫定目標候補動作の合成フェーズ：暫定目標動作決定装置１２は、暫定目標候補動作を一定のルールに基づいて多数合成する（詳細は後述）。例えば、非特許文献１の技術により、内分点に応じて多数の動作を合成することが可能である。
　暫定目標動作決定フェーズ：暫定目標動作決定装置１２は、学習済みのモデルを用いて、合成した多数の暫定目標候補動作のパフォーマンスを予測し、動作の変化量を一定範囲以下の変化量に留めつつ、その範囲でパフォーマンスを最大化する暫定目標候補動作を暫定目標動作として決定する。動作の変化量とは、最終目標動作と練習者動作の物理的距離であり、例えばユークリッド距離で計算できる。
＜表示装置１３＞
　表示装置１３は、暫定目標動作の表示フェーズを実行する。なお、暫定目標動作決定装置１２に表示装置１３の機能を持たせることもできる。この場合、表示装置１３を省略できる。
　暫定目標動作の表示フェーズ：表示装置１３は、暫定目標動作を練習者やコーチに表示する。
［実施形態］
　以下、引き続き図１を参照してモデル学習装置１１、暫定目標動作決定装置１２、表示装置１３の詳細な実施形態を説明する。同図に示すように、本実施例のモデル学習装置１１は、学習データ取得部１１１と、モデル学習部１１２を含み、暫定目標動作決定装置１２は、暫定目標候補動作合成部１２１と、暫定目標動作決定部１２２を含む。以下、図２、図３を参照して各構成要件の動作を説明する。
＜学習データ取得部１１１＞
　学習データ取得部１１１は、学習データを取得する（Ｓ１１１）。学習データ取得部１１１によって取得される学習データは練習者以外の数多くの人間の動作姿勢の情報と、該当動作のパフォーマンスの度合いを示す結果ラベルを有する。人間の動作姿勢の情報の取得方法について説明する。同じ視点から撮影した多数の人間の動作の映像から、人体の各関節の座標情報の時系列データを検出する。検出された時系列データについては、関節ごとに関節ラベル（関節の番号）が付与されるものとする。時系列データの検出については従来技術を利用することができる。たとえば、参考非特許文献１の２次元関節座標を検出する方法を用いることができる。
（参考非特許文献１：Cao, Zhe, et al. "Realtime multi-person 2d pose estimation using part affinity fields." 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.）
　具体的には、フレーム番号、各関節のＸ，Ｙ座標の組を取得する。関節の数は多く取得すれば好適である。例えば人体を真横から撮影するとき、７個の関節を利用することができる。また、２次元座標から関節角度を計算して利用してもよい。該当動作のパフォーマンスの度合いを示す結果ラベルについては、例えばバスケットボールのフリースローの動作を例にすると、該当動作の投球の成否（フリースロー成功／失敗）のラベルを取得すればよい。
＜モデル学習部１１２＞
　モデル学習部１１２には、学習データ取得部１１１が取得した学習データが入力される。モデル学習部１１２は、人の動作姿勢の時系列情報と該当する動作姿勢のパフォーマンスの度合いを示すラベルを学習データとしてモデルを学習する（Ｓ１１２）。
　ステップＳ１１２において機械学習を実行することによって、暫定目標動作決定部１２２において実行される推定処理（後述）に用いられるパラメータを取得する。モデル学習部１１２に実装される機械学習は、どのような技術であってもよい。例えば、ディープニューラルネットワーク（ＤＮＮ）やサポートベクタマシン（ＳＶＭ）等の技術が適用されてもよい。
＜暫定目標候補動作合成部１２１＞
　暫定目標候補動作合成部１２１は、練習者の動作姿勢の時系列情報である練習者動作と練習者の最終目標としてあらかじめ定めた動作姿勢の時系列情報である最終目標動作の間にある暫定目標候補動作を複数合成する（Ｓ１２１）。
　暫定目標候補動作合成部１２１は、最終目標動作と練習者動作を用いて多数の暫定目標候補動作を合成する。最終目標動作は練習者が設定した目指したい動作である。
　練習者動作が複数設定されている場合、任意の練習者動作のみを選択して利用すればよい。例えば、複数の練習者動作のうち、これらの平均に最も近い練習者動作を用いても良い。暫定目標候補動作となる多数の動作を合成するために、練習者動作と最終目標動作は同じ視点から撮影した映像である必要がある。映像から人体の各関節の座標情報の時系列データを検出する方法については、学習データ取得部１１１と同じ方法を用いることができる。
≪暫定目標候補動作の合成方法≫
　暫定目標候補動作の合成方法について説明する、たとえば、非特許文献１の最終目標動作と練習者動作の間に幾つの内分点を設けて動作合成方法を用いることができる（以下の数式(1)を参照）。
pio=rpi+(1-r)pt…(1)
　なお、piは最終目標動作、ptは練習者動作、pioは合成した暫定目標候補動作を示す。rは内部点を示す。r∈[0,1]である。例えばr = [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]とする。また各内分点において、ガウシアンノイズをかけることによって、多数の暫定目標候補動作となる動作を生成できる。
＜暫定目標動作決定部１２２＞
　暫定目標動作決定部１２２は、モデル学習部１１２で構築済みのモデルを用いて、暫定目標候補動作合成部１２１で合成した多数の暫定目標候補動作のパフォーマンスの度合いを推定する。
　例えばバスケットボールのフリースロー動作の場合、パフォーマンスの度合いはフリースローの成功確率を示す０から１までの値とすればよい。
　暫定目標動作決定部１２２は、練習者動作を基準として当該基準から所定の動作の変化量の範囲内（図４のドットハッチングされた略長方形の領域を参照）にあり、モデルに基づいて予測されたパフォーマンスが最も高い暫定目標候補動作（同図の斜線ハッチングを施した円を参照）を暫定目標動作として決定する（Ｓ１２２）。
　動作の変化量とは最終目標動作と練習者動作の物理的距離である。動作の変化量は、例えば、ユークリッド距離で計算できる。
＜表示装置１３＞
　表示装置１３は、暫定目標動作を練習者に表示する。例えば暫定目標動作を練習者動作に重畳して練習者に表示してもよい。また、表示すべき状態に近い動作を本来の目標とは別の人の動作から探索して表示してもよい。適切な表示方法について練習者やコーチの要望に合わせることができる。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　上述の各種の処理は、図５に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (3)

  1. 　人の動作姿勢の時系列情報と該当する動作姿勢のパフォーマンスの度合いを示すラベルを学習データとして学習されたモデルを用いる暫定目標動作決定装置であって、
    　練習者の動作姿勢の時系列情報である練習者動作と前記練習者の最終目標としてあらかじめ定めた動作姿勢の時系列情報である最終目標動作の間にある暫定目標候補動作を複数合成する暫定目標候補動作合成部と、
    　前記練習者動作を基準として当該基準から所定の動作の変化量の範囲内にあり、前記モデルに基づいて予測されたパフォーマンスが最も高い前記暫定目標候補動作を暫定目標動作として決定する暫定目標動作決定部を含む
    　暫定目標動作決定装置。
  2. 　人の動作姿勢の時系列情報と該当する動作姿勢のパフォーマンスの度合いを示すラベルを学習データとして学習されたモデルを用いる暫定目標動作決定方法であって、
    　練習者の動作姿勢の時系列情報である練習者動作と前記練習者の最終目標としてあらかじめ定めた動作姿勢の時系列情報である最終目標動作の間にある暫定目標候補動作を複数合成するステップと、
    　前記練習者動作を基準として当該基準から所定の動作の変化量の範囲内にあり、前記モデルに基づいて予測されたパフォーマンスが最も高い前記暫定目標候補動作を暫定目標動作として決定するステップを含む
    　暫定目標動作決定方法。
  3. 　コンピュータを請求項１に記載の暫定目標動作決定装置として機能させるプログラム。
PCT/JP2020/041187 2020-11-04 2020-11-04 暫定目標動作決定装置、暫定目標動作決定方法、プログラム Ceased WO2022097196A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041187 WO2022097196A1 (ja) 2020-11-04 2020-11-04 暫定目標動作決定装置、暫定目標動作決定方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041187 WO2022097196A1 (ja) 2020-11-04 2020-11-04 暫定目標動作決定装置、暫定目標動作決定方法、プログラム

Publications (1)

Publication Number Publication Date
WO2022097196A1 true WO2022097196A1 (ja) 2022-05-12

Family

ID=81457621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041187 Ceased WO2022097196A1 (ja) 2020-11-04 2020-11-04 暫定目標動作決定装置、暫定目標動作決定方法、プログラム

Country Status (1)

Country Link
WO (1) WO2022097196A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016075498A (ja) * 2014-10-03 2016-05-12 株式会社ゼンリンデータコム 情報処理装置、クライミングにおける案内方法、コンピュータプログラム、および、ナビゲーションシステム
WO2018122957A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
JP2019058330A (ja) * 2017-09-26 2019-04-18 本田技研工業株式会社 動作矯正装置および動作矯正方法
US20200070033A1 (en) * 2018-08-30 2020-03-05 International Business Machines Corporation Interactive Exercise Experience

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016075498A (ja) * 2014-10-03 2016-05-12 株式会社ゼンリンデータコム 情報処理装置、クライミングにおける案内方法、コンピュータプログラム、および、ナビゲーションシステム
WO2018122957A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
JP2019058330A (ja) * 2017-09-26 2019-04-18 本田技研工業株式会社 動作矯正装置および動作矯正方法
US20200070033A1 (en) * 2018-08-30 2020-03-05 International Business Machines Corporation Interactive Exercise Experience

Similar Documents

Publication Publication Date Title
Rivas-Blanco et al. A review on deep learning in minimally invasive surgery
CN115151944B (zh) 用于三维姿态估计的方法、装置和系统
Du et al. Articulated multi-instrument 2-D pose estimation using fully convolutional networks
Wang et al. NeRFs in robotics: A survey
JP4686595B2 (ja) クリティカルポイント解析に基づくポーズ推定
US8660306B2 (en) Estimated pose correction
JP2009514109A (ja) 人体モーションの追跡に関する判別モーションモデリング
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
EP2400370B1 (en) Information processing device and information processing method
JP2019212106A (ja) 領域抽出モデル学習装置、領域抽出モデル学習方法、プログラム
Jiang et al. Application of a fast RCNN based on upper and lower layers in face recognition
Kan et al. Self-constrained inference optimization on structural groups for human pose estimation
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备
Zhou et al. Directmhp: Direct 2d multi-person head pose estimation with full-range angles
Ding et al. Simultaneous body part and motion identification for human-following robots
Song et al. Vtonshoes: Virtual try-on of shoes in augmented reality on a mobile device
Xiang et al. A mixed reality framework for microsurgery simulation with visual-tactile perception
Huang et al. Surgical tool segmentation with pose-informed morphological polar transform of endoscopic images
Haggag et al. An adaptable system for rgb-d based human body detection and pose estimation: Incorporating attached props
Schieber et al. ASDF: Assembly state detection utilizing late fusion by integrating 6D pose estimation
Dede et al. Object aspect classification and 6dof pose estimation
Zou et al. Coronary heart disease preoperative gesture interactive diagnostic system based on augmented reality
CN117218074A (zh) 训练方法、软组织形变估计方法、装置、设备及存储介质
Ng et al. An enhanced self-attention and A2J approach for 3D hand pose estimation
Aboukhadra et al. Shapegraformer: Graformer-based network for hand-object reconstruction from a single depth map

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960750

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20960750

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP