WO2022239231A1 - 学習装置、推定装置、学習方法、推定方法、プログラム - Google Patents

学習装置、推定装置、学習方法、推定方法、プログラム Download PDF

Info

Publication number
WO2022239231A1
WO2022239231A1 PCT/JP2021/018416 JP2021018416W WO2022239231A1 WO 2022239231 A1 WO2022239231 A1 WO 2022239231A1 JP 2021018416 W JP2021018416 W JP 2021018416W WO 2022239231 A1 WO2022239231 A1 WO 2022239231A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
human motion
model
motion data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/018416
Other languages
English (en)
French (fr)
Inventor
隆昌 永井
誠明 松村
信哉 志水
奏 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2021/018416 priority Critical patent/WO2022239231A1/ja
Priority to JP2023520718A priority patent/JP7556461B2/ja
Publication of WO2022239231A1 publication Critical patent/WO2022239231A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a learning device, an estimating device, a learning method, an estimating method, and a program for learning a model.
  • Non-Patent Document 1 is an example of conventional technology that predicts human motion.
  • Non-Patent Document 1 considers only unidirectional relationships in terms of time, and cannot learn the relationships between previous and subsequent motions, which are important when dealing with human motions.
  • an object of the present invention is to provide a learning device capable of learning a highly versatile pre-learning model that considers the relationship between previous and subsequent motions.
  • the learning device of the present invention includes a data processing section and a pre-learning section.
  • the data processing unit acquires human motion data and masks the entire data in an arbitrary time group of human motion data.
  • the pre-learning unit calculates the loss function from the error between the predicted data, which is the data predicted by the pre-learning model for the masked data, and the true value, and updates the weights of the pre-learning model to update the pre-learning model. to learn.
  • the learning device of the present invention it is possible to learn a highly versatile pre-learning model that considers the relationship between previous and subsequent motions.
  • FIG. 3 is a block diagram showing functional configurations of a learning device, a fine tuning device, and an estimation device according to the first embodiment
  • FIG. 4 is a flowchart showing operations of the learning device, the fine tuning device, and the estimation device according to the first embodiment
  • 4 is a block diagram showing the functional configuration of the data processing unit of the learning device according to the first embodiment
  • FIG. 4 is a flow chart showing the operation of the data processing unit of the learning device according to the first embodiment
  • FIG. 4 is a diagram illustrating human motion data, masks, and tokens
  • FIG. 4 is a diagram illustrating feature vectors after embedding processing generated by the data processing unit
  • FIG. 2 is a block diagram showing the functional configuration of a pre-learning unit of the learning device of Example 1
  • 4 is a flowchart showing the operation of the pre-learning unit of the learning device of the first embodiment
  • the learning device 1 of this embodiment includes a data processing unit 11 , a pre-learning unit 12 and a pre-learning model database 13 .
  • the data processing unit 11 acquires human motion data as pre-learning data, masks the entire data in an arbitrary time group of the human motion data, and replaces a portion of the human motion data with a corresponding portion of other human motion data.
  • human motion data data including human posture information (coordinates of each joint, joint angles, length of bones, etc.) is generally used, but the format of the data is not limited. If the human motion data includes joint information, the number of joints can be set arbitrarily.
  • the pre-learning unit 12 calculates a loss function from the error between the true value and the predicted data, which is the data obtained by predicting the data to be masked by the pre-learning model, and updates the weights of the pre-learning model to obtain the human motion data. is continuous or discontinuous, the loss function is calculated from the error between the result predicted by the pre-learning model and the true value, the weight of the pre-learning model is updated, and the pre-learning model is learned (S12).
  • the pre-learned model database 13 stores the learned pre-learned model (S13).
  • the fine-tuning device 2 includes a pre-learning model database 21 , a fine-tuning unit 22 and a fine-tuning model database 23 .
  • the pre-learned model database 21 stores the pre-learned model learned by the learning device 1 (S21).
  • the fine tuning unit 22 acquires a fine tuning model by updating the pre-learning model learned by the learning device 1 with fine tuning data corresponding to the task (S22).
  • Fine-tuning data depends on the fine-tuning target task.
  • the fine-tuning data are pairs of Human Motion data and labels for each data.
  • the fine-tuning unit 22 predicts the class distribution using the human motion data as model input, calculates the cross-entropy error with the true value label, updates the weights, and outputs the network weights.
  • the fine tuning model database 23 stores learned fine tuning models.
  • the estimating device 3 includes a fine tuning model database 31 and an estimating section 32 .
  • the fine tuning model database 31 stores fine tuning models learned by the fine tuning device 2 .
  • the estimation unit 32 acquires input data whose labels are unknown (for example, in the case of a Human Motion classification task, only Human Motion data), estimates the class distribution based on the fine-tuning model, and obtains an estimated label (estimated value) is output (S32).
  • the data processing section 11 includes a motion replacement section 111 , a mask replacement section 112 and a token insertion section 113 .
  • the mask replacement unit 112 replaces a predetermined percentage of the input human motion data (for example, 15% data) with a mask (S112).
  • the token inserting unit 113 inserts the token into the human motion data (S113). Tokens include [CLS] and [SEP]. As illustrated in FIG. 5, the token insertion unit 113 inserts [CLS] at the beginning of the human motion data, [SEP] between motions A and B, and [SEP] at the end of the human motion data. Each Pose t is represented by [number of joints x degrees of freedom].
  • the data processing unit 11 embeds the data after processing in steps S111 to S113, and outputs the sum of each vector after the embedding process.
  • the data processing unit 11 executes the following processes 1 to 4 as the embedding process.
  • Pose Embedding> This process corresponds to Token Embedding in BERT. Pose Embedding plays a role of embedding Pose (input) in the feature space.
  • the data processing unit 11 converts the data into feature vectors with an arbitrary number of dimensions. Any conversion method may be used. For example, the data processing unit 11 may convert the data into a desired number of dimensions using an arbitrary DNN. ⁇ 2.
  • Segment Embedding serves to embed the motion classification (either A or B).
  • the data processing unit 11 gives 0 to motion A and 1 to motion B (0,0,0,0,0,1,1,1,1,1).
  • the data processing unit 11 converts this data into a feature vector with an arbitrary number of dimensions. Any conversion method may be used.
  • the data processing unit 11 may convert the data into a desired number of dimensions using an arbitrary DNN.
  • Token Embedding is responsible for allowing the model to identify which input is which token if the tokens all have the same value. Also, for example, if [MASK] is linear interpolation, the model should be able to identify whether it is a normal pose that is not [MASK] or [MASK]. For example, the data processing unit 11 assigns values such as 0 to [CLS], 1 to [SEP], 2 to [MASK], and 3 to [POSE]. Convert to Any conversion method may be used. The data processing unit 11 may convert the data into a desired number of dimensions using an arbitrary DNN.
  • the data processing unit 11 preferably performs data processing according to any of the following four patterns. Predefine values for [CLS], [SEP], and [MASK] respectively.
  • ⁇ Pattern 2> Fill [CLS], [SEP] and [MASK] with the same value and add Token Embedding.
  • [CLS] [0,0,0]
  • [SEP] [0,0,0]
  • the token is discriminated by Token Embedding mentioned above.
  • [CLS] and [SEP] are defined in advance (similar to Pattern 1), and [MASK] is linearly interpolated from the Pose values before and after. Add more Token Embedding.
  • [CLS] and [SEP] are the same as pattern 1.
  • pre-learning section 12 includes pre-mask replacement data prediction section 121 , motion continuity prediction section 122 , loss function calculation section 123 , weight update section 124 , and true value storage section 125 .
  • the pre-mask replacement data prediction unit 121 outputs a prediction of the original value of Pose replaced with the mask based on the pre-learning model (S121).
  • the motion continuity prediction unit 122 predicts whether motion A and motion B are continuous or discontinuous based on the pre-learning model (S122).
  • the loss function calculation unit 123 calculates a loss function from the error between the predicted Pose and the true value Pose for the result of step S121. Any loss function can be used. For example, L1 distance and L2 distance can be used as the loss function. In addition, the loss function calculation unit 123 prepares in advance a one-hot vector such as 0 for continuity and 1 for discontinuity as a true value for the result of step S122, performs binary classification, and calculates the loss function Using the cross-entropy as , the loss function is calculated (S123).
  • the weight updating unit 124 updates the weights of the model so that the loss function is minimized (S124).
  • the true value storage unit 125 stores true values used in step S123.
  • the apparatus of the present invention includes, for example, a single hardware entity, which includes an input unit to which a keyboard can be connected, an output unit to which a liquid crystal display can be connected, and a communication device (for example, a communication cable) capable of communicating with the outside of the hardware entity.
  • a communication device for example, a communication cable
  • CPU Central Processing Unit, which may include cache memory, registers, etc.
  • memory RAM and ROM external storage device such as hard disk
  • input unit, output unit, communication unit a CPU, a RAM, a ROM, and a bus for connecting data to and from an external storage device.
  • the hardware entity may be provided with a device (drive) capable of reading and writing a recording medium such as a CD-ROM.
  • a physical entity with such hardware resources includes a general purpose computer.
  • the external storage device of the hardware entity stores a program necessary for realizing the functions described above and data required for the processing of this program (not limited to the external storage device; It may be stored in a ROM, which is a dedicated storage device). Data obtained by processing these programs are appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in an external storage device or ROM, etc.
  • the data necessary for processing each program are read into the memory as needed, and interpreted, executed and processed by the CPU as appropriate.
  • the CPU realizes a predetermined function (each component expressed as above, . . . unit, . . . means, etc.).
  • a program that describes this process can be recorded on a computer-readable recording medium.
  • Any computer-readable recording medium may be used, for example, a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, or the like.
  • magnetic recording devices hard disk devices, flexible disks, magnetic tapes, etc., as optical discs, DVD (Digital Versatile Disc), DVD-RAM (Random Access Memory), CD-ROM (Compact Disc Read Only Memory), CD-R (Recordable) / RW (ReWritable), etc.
  • magneto-optical recording media such as MO (Magneto-Optical disc), etc. as semiconductor memory, EEP-ROM (Electrically Erasable and Programmable-Read Only Memory), etc. can be used.
  • this program is carried out, for example, by selling, assigning, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded.
  • the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to other computers via the network.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or the program transferred from the server computer once in its own storage device. Then, when executing the process, this computer reads the program stored in its own recording medium and executes the process according to the read program. Also, as another execution form of this program, the computer may read the program directly from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer the program from the server computer to this computer, and realizes the processing function only by its execution instruction and result acquisition. may be It should be noted that the program in this embodiment includes information that is used for processing by a computer and that conforms to the program (data that is not a direct instruction to the computer but has the property of prescribing the processing of the computer, etc.).
  • ASP
  • a hardware entity is configured by executing a predetermined program on a computer, but at least part of these processing contents may be implemented by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

学習装置は、ヒューマンモーションデータを取得し、ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクするデータ処理部と、マスクの対象となったデータを事前学習モデルにより予測したデータである予測データと真値との誤差から損失関数を計算し、事前学習モデルの重みを更新することにより事前学習モデルを学習する事前学習部を含む。

Description

学習装置、推定装置、学習方法、推定方法、プログラム
　本発明は、モデルを学習する学習装置、推定装置、学習方法、推定方法、プログラムに関する。
　人間の動作を予測する従来技術の例として、非特許文献１がある。
Yujun Cai et al., "Learning Progressive Joint Propagation for Human Motion Prediction", Computer Vision -ECCV 2020, 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part VII, pp. 226-242
　非特許文献１は、時間的に単方向の関係性のみを考慮しており、人間の動作を扱う場合に重要となる前後の動作の関係性を学習することができない。
　そこで本発明では、前後の動作の関係性を考慮した汎用性の高い事前学習モデルを学習することができる学習装置を提供することを目的とする。
　本発明の学習装置は、データ処理部と、事前学習部を含む。
　データ処理部は、ヒューマンモーションデータを取得し、ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクする。事前学習部は、マスクの対象となったデータを事前学習モデルにより予測したデータである予測データと真値との誤差から損失関数を計算し、事前学習モデルの重みを更新することにより事前学習モデルを学習する。
　本発明の学習装置によれば、前後の動作の関係性を考慮した汎用性の高い事前学習モデルを学習することができる。
実施例１の学習装置とファインチューニング装置と推定装置の機能構成を示すブロック図。 実施例１の学習装置とファインチューニング装置と推定装置の動作を示すフローチャート。 実施例１の学習装置のデータ処理部の機能構成を示すブロック図。 実施例１の学習装置のデータ処理部の動作を示すフローチャート。 ヒューマンモーションデータとマスクとトークンを例示する図。 データ処理部が生成する埋め込み処理後の特徴ベクトルを例示する図。 実施例１の学習装置の事前学習部の機能構成を示すブロック図。 実施例１の学習装置の事前学習部の動作を示すフローチャート。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下、図１を参照して、実施例１の学習装置１、ファインチューニング装置２、推定装置３の機能構成を説明する。
＜学習装置１＞
同図に示すように本実施例の学習装置１は、データ処理部１１と、事前学習部１２と、事前学習モデルデータベース１３を含む。
　データ処理部１１は、事前学習データとしてヒューマンモーションデータを取得し、ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクし、ヒューマンモーションデータの一部分を他のヒューマンモーションデータの対応する一部分と置換する（Ｓ１１）。ヒューマンモーションデータとして、人間の姿勢情報（各関節の座標や関節角、ボーンの長さなど）を含むデータが一般的であるが、データの形式については限定されない。ヒューマンモーションデータが、関節の情報を含む場合、関節の数は任意に設定可能である。
　事前学習部１２は、マスクの対象となったデータを事前学習モデルにより予測したデータである予測データと真値との誤差から損失関数を計算して事前学習モデルの重みを更新し、ヒューマンモーションデータが連続であるか不連続であるかを事前学習モデルにより予測した結果と真値との誤差から損失関数を計算して事前学習モデルの重みを更新し、事前学習モデルを学習する（Ｓ１２）。
　事前学習モデルデータベース１３は、学習された事前学習モデルを記憶する（Ｓ１３）。
＜ファインチューニング装置２＞
　ファインチューニング装置２は、事前学習モデルデータベース２１と、ファインチューニング部２２と、ファインチューニングモデルデータベース２３を含む。
　事前学習モデルデータベース２１は、学習装置１により学習された事前学習モデルを記憶する（Ｓ２１）。
　ファインチューニング部２２は、学習装置１により学習された事前学習モデルをタスクに対応したファインチューニングデータにより更新してファインチューニングモデルを取得する（Ｓ２２）。ファインチューニングデータは、ファインチューニング先のタスクに依存する。例えばHuman Motionの分類タスクの場合、ファインチューニングデータは、Human Motionデータと各データに対するラベルのペアである。この場合、ファインチューニング部２２は、ヒューマンモーションデータをモデルの入力としてクラス分布を予測し、真値ラベルとのクロスエントロピー誤差などを計算し、重みを更新し、ネットワークの重みを出力する。ファインチューニングモデルデータベース２３は、学習されたファインチューニングモデルを記憶する。
＜推定装置３＞
　推定装置３は、ファインチューニングモデルデータベース３１と、推定部３２を含む。
　ファインチューニングモデルデータベース３１は、ファインチューニング装置２が学習したファインチューニングモデルを記憶する。
　推定部３２は、ラベルが未知の入力データ（例えばHuman Motionの分類タスクの場合、Human Motionデータのみ）を取得し、ファインチューニングモデルに基づいてクラス分布を推定し、推定されたラベル（推定値）を出力する（Ｓ３２）。
　以下、図３、図４を参照して学習装置１のデータ処理部１１の詳細な機能構成及び詳細な動作を説明する。
＜学習装置１、データ処理部１１、Ｓ１１＞
　図３に示すように、データ処理部１１は、モーション置換部１１１と、マスク置換部１１２と、トークン挿入部１１３を含む。
　モーション置換部１１１は、入力されたヒューマンモーションデータを前半部（モーションＡ）、後半部（モーションＢ）に分割し、所定の確率（例えば５０％）で後半部（モーションＢ）をデータセット中の別のモーションデータに置換する（Ｓ１１１）。モーションＡとモーションＢの分割例を図５に示す。
　マスク置換部１１２は、入力されたヒューマンモーションデータのうち所定の割合のデータ（例えば１５％のデータ）をマスクに置き換える（Ｓ１１２）。
　トークン挿入部１１３は、ヒューマンモーションデータにトークンを挿入する（Ｓ１１３）。トークンとして、[CLS]、[SEP]などがある。図５に例示するように、トークン挿入部１１３は、ヒューマンモーションデータの先頭に[CLS]、モーションＡとＢの間に[SEP]、ヒューマンモーションデータの末尾に[SEP]を挿入する。Posetはそれぞれ、[関節数×自由度]次元で表現される。
　データ処理部１１は、ステップＳ１１１～Ｓ１１３の処理後のデータに対して埋め込みを行い、埋め込み処理後の各ベクトルを合計したものを出力する。
　データ処理部１１は、埋め込み処理として以下の１～４の処理を実行する。
＜１．Pose Embedding＞
　BERTにおいてToken Embeddingに相当する処理である。Pose Embeddingは、Pose（入力）を特徴空間に埋め込む役割を果たす。データ処理部１１は、データを任意の次元数の特徴ベクトルに変換する。変換の方法は任意の方法でよい。例えばデータ処理部１１は、データを任意のDNNにより所望の次元数に変換してもよい。
＜２．Position Embedding＞
　Position Embeddingは、各Poseの順番を埋め込む役割を果たす。例えばデータ処理部１１は、0,1,2,3,4,5,…,9というスカラー値を各PoseのPositionとして与え、これを任意の次元数の特徴ベクトルに変換する。変換の方法は任意の方法でよい。例えばデータ処理部１１は、上記データを任意のDNNにより所望の次元数に変換してもよい
＜３．Segment Embedding＞
　Segment Embeddingは、モーションの分類（ＡかＢか）を埋め込む役割を果たす。例えばデータ処理部１１が、モーションＡに対しては０、モーションＢに対しては１を与える場合（0,0,0,0,0,1,1,1,1,1）となる。データ処理部１１は、このデータを任意の次元数の特徴ベクトルに変換する。変換の方法は任意の方法でよい。データ処理部１１は、当該データを任意のDNNにより所望の次元数に変換してもよい。
＜４．Token Embedding＞
　Token Embeddingは、トークンが全て同じ値の場合、どの入力がどのトークンかをモデルが識別できるようにする役割を果たす。また、例えば[MASK]が線形補間の場合、[MASK]ではない通常のPoseか[MASK]かをモデルが識別できるようにする。例えばデータ処理部１１は、[CLS]には０、[SEP]には１、[MASK]には２、[POSE]には３などの値を与え、このデータを任意の次元数の特徴ベクトルに変換する。変換の方法は任意の方法でよい。データ処理部１１は、当該データを任意のDNNにより所望の次元数に変換してもよい。
　[CLS]、[SEP]、[MASK]をHuman Motionタスクで扱うために、データ処理部１１は、以下の四つのパターンの何れかによるデータ処理を行えば好適である。[CLS]、[SEP]、[MASK]の値をそれぞれ事前に定義する。
＜パターン１＞
　例えば、Poseが１関節×３自由度の３次元で表現される場合、[CLS]=[0,0,0]、[SEP]=[1,0,2]、[MASK]=[2,2,2]などの数値を用いる。利用する値は任意で構わないが、各トークンで異なる値を用いる。入力データかトークンかをモデルが判別可能とするために、入力データ中にはない値であることが望ましい。例えば入力データ中に[1,0,2]が含まれるなら、トークンはそれ以外の値を利用する。
＜パターン２＞
　[CLS]、[SEP]、[MASK]を全て同じ値で埋め、Token Embeddingを追加する。例えばPoseが１関節×３自由度の３次元で表現される場合、[CLS]=[0,0,0]、[SEP]=[0,0,0]、[MASK]=[0,0,0]などの数値を用いる。利用する値は任意で構わないが、入力データ中にはない値が望ましい。前述したToken Embeddingによりトークンの判別を行う。
＜パターン３＞
　[CLS]、[SEP]の値をそれぞれ事前に定義し（パターン１と同様）、[MASK]は前後のPoseの値から線形補間する。さらにToken Embeddingを追加する。[CLS]、[SEP]はパターン１と同様である。例えば[MASK]の例として、Poseが１関節×３自由度の３次元で表現される場合、時刻ｔのPoseを[MASK]に置換し、時刻ｔ－１のPoseが[0,1,0]、時刻ｔ＋１のPoseが[0,0,1]である場合、時刻t-1とt+1のPoseから線形補完して[MASK]=[0,0.5,0.5]とする。[MASK]が２つ以上連続する可能性もある。この場合にも前後のPoseから線形補完を行う。例えば、時刻t,t+1が[MASK]の場合は、時刻t-1、t+2から線形補完を行う。前述したToken Embeddingによりトークンの判別を行う。
＜パターン４＞
　[CLS]、[SEP]の値を全て同じ値で埋め（パターン２と同様）、[MASK]は前後のPoseの値から線形補間する（パターン３と同様）。さらにToken Embeddingを追加する。[CLS]、[SEP]はパターン２と同様、[MASK]はパターン３と同様。前述したToken Embeddingによりトークンの判別を行う。
　事前学習部１２は、埋め込み処理後の特徴ベクトルを受け取り、MLM（=Masked Language Modeling）、NSP（=Next Sentence Prediction）タスクを実行することでモデルの学習を行う。以下、図７、図８を参照して事前学習部１２の詳細な機能構成及び詳細な動作を説明する。
＜学習装置１、事前学習部１２、Ｓ１２＞
　図７に示すように事前学習部１２は、マスク置換前データ予測部１２１と、モーション連続性予測部１２２と、損失関数計算部１２３と、重み更新部１２４と、真値記憶部１２５を含む。
　マスク置換前データ予測部１２１は、事前学習モデルに基づき、マスクに置換されたPoseの元の値の予測を出力する（Ｓ１２１）。
　モーション連続性予測部１２２は、事前学習モデルに基づき、モーションＡとモーションＢが連続か／不連続かの予測を行う（Ｓ１２２）。
　損失関数計算部１２３は、ステップＳ１２１の結果について、予測Poseと真値Pose間の誤差から損失関数を計算する。損失関数は何を用いてもよい。損失関数として、例えばL1 distanceやL2 distanceを用いることができる。また、損失関数計算部１２３は、ステップＳ１２２の結果について、連続の場合は０、不連続の場合は１などのワンホットベクトルを真値として予め用意しておき、２値分類を行い、損失関数としてクロスエントロピーを用いて、損失関数を計算する（Ｓ１２３）。
　重み更新部１２４は、損失関数が最小になるように、モデルの重みを更新する（Ｓ１２４）。
　真値記憶部１２５には、ステップS１２３で用いる真値が記憶されている。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　上述の各種の処理は、図９に示すコンピュータ１００００の記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

  1. 　ヒューマンモーションデータを取得し、前記ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクするデータ処理部と、
    　マスクの対象となったデータを事前学習モデルにより予測したデータである予測データと真値との誤差から損失関数を計算し、前記事前学習モデルの重みを更新することにより前記事前学習モデルを学習する事前学習部を含む
    　学習装置。
  2. 　請求項１に記載の学習装置であって、
    　前記データ処理部は、
    　所定の確率で、前記ヒューマンモーションデータの一部分を他の前記ヒューマンモーションデータの対応する一部分と置換し、
    　前記事前学習部は、
    　前記ヒューマンモーションデータが連続であるか不連続であるかを前記事前学習モデルにより予測した結果と真値との誤差から損失関数を計算し、前記前記事前学習モデルの重みを更新する
    　学習装置。
  3. 　ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクして得た教師データから学習された事前学習モデルを、タスクに対応したファインチューニングデータにより更新してなるファインチューニングモデルを記憶するファインチューニングモデルデータベースと、
    　前記ヒューマンモーションデータを取得し、前記ファインチューニングモデルに基づいて、前記ヒューマンモーションデータの前記タスクに応じたラベルを推定する推定部を含む
    　推定装置。
  4. 　学習装置が実行する学習方法であって、
    　ヒューマンモーションデータを取得し、前記ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクするデータ処理ステップと、
    　マスクの対象となったデータを事前学習モデルにより予測したデータである予測データと真値との誤差から損失関数を計算し、前記事前学習モデルの重みを更新することにより前記事前学習モデルを学習する事前学習ステップを含む
    　学習方法。
  5. 　推定装置が実行する推定方法であって、
    　ヒューマンモーションデータの任意の時刻群におけるデータ全体をマスクして得た教師データから学習された事前学習モデルを、タスクに対応したファインチューニングデータにより更新してなるファインチューニングモデルに基づいて、取得した前記ヒューマンモーションデータの前記タスクに応じたラベルを推定する推定ステップを含む
    　推定方法。
  6. 　コンピュータを請求項１または２に記載の学習装置として機能させるプログラム。
  7. 　コンピュータを請求項３に記載の推定装置として機能させるプログラム。
PCT/JP2021/018416 2021-05-14 2021-05-14 学習装置、推定装置、学習方法、推定方法、プログラム Ceased WO2022239231A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/018416 WO2022239231A1 (ja) 2021-05-14 2021-05-14 学習装置、推定装置、学習方法、推定方法、プログラム
JP2023520718A JP7556461B2 (ja) 2021-05-14 2021-05-14 学習装置、学習方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018416 WO2022239231A1 (ja) 2021-05-14 2021-05-14 学習装置、推定装置、学習方法、推定方法、プログラム

Publications (1)

Publication Number Publication Date
WO2022239231A1 true WO2022239231A1 (ja) 2022-11-17

Family

ID=84028949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018416 Ceased WO2022239231A1 (ja) 2021-05-14 2021-05-14 学習装置、推定装置、学習方法、推定方法、プログラム

Country Status (2)

Country Link
JP (1) JP7556461B2 (ja)
WO (1) WO2022239231A1 (ja)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG YI-BIN CHENGYB5@MAIL2.SYSU.EDU.CN; CHEN XIPENG CHENXP37@MAIL2.SYSU.EDU.CN; ZHANG DONGYU ZHANGDY27@MAIL.SYSU.EDU.CN; LIN LIAN: "Motion-transformer self-supervised pre-training for skeleton-based action recognition", ACM SYMPOSIUM ON APPLIED PERCEPTION 2020, ACMPUB27, NEW YORK, NY, USA, 7 March 2021 (2021-03-07) - 18 August 2021 (2021-08-18), New York, NY, USA , pages 1 - 6, XP058750098, ISBN: 978-1-4503-8332-5, DOI: 10.1145/3444685.3446289 *
TAO JIANG; NECATI CIHAN CAMGOZ; RICHARD BOWDEN: "Skeletor: Skeletal Transformers for Robust Body-Pose Estimation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 23 April 2021 (2021-04-23), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081943354 *

Also Published As

Publication number Publication date
JPWO2022239231A1 (ja) 2022-11-17
JP7556461B2 (ja) 2024-09-26

Similar Documents

Publication Publication Date Title
KR101808027B1 (ko) 수치 데이터의 압축 및 압축해제
US11941496B2 (en) Providing predictions based on a prediction accuracy model using machine learning
US20220114480A1 (en) Apparatus and method for labeling data
CN107608970B (zh) 词性标注模型生成方法和装置
US20200184380A1 (en) Creating optimized machine-learning models
CN113906452A (zh) 利用转移学习的低资源实体解析
CN105761102B (zh) 一种预测用户购买商品行为的方法和装置
CN111985631B (zh) 信息处理设备、信息处理方法及计算机可读记录介质
JP7521616B2 (ja) 装置、方法、制御装置、制御方法及びプログラム
WO2019208564A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
Yang et al. Diffusion-based time series data imputation for cloud failure prediction at microsoft 365
US20260073265A1 (en) Quantum computation support method and information processing apparatus
TW202409908A (zh) 用於訓練預測器的方法、系統及非暫時性電腦可讀存儲介質
WO2022239231A1 (ja) 学習装置、推定装置、学習方法、推定方法、プログラム
WO2022239230A1 (ja) 学習装置、推定装置、学習方法、推定方法、プログラム
CN113361677B (zh) 神经网络模型的量化方法和装置
WO2023002561A1 (ja) 学習装置、学習方法、プログラム
JP7758207B2 (ja) イジングモデル変換装置、イジングモデル変換方法、プログラム
JP7529028B2 (ja) 学習装置、学習方法および学習プログラム
US20220092475A1 (en) Learning device, learning method, and learning program
WO2019194128A1 (ja) モデル学習装置、モデル学習方法、プログラム
US20220207381A1 (en) Computer-readable recording medium having stored therein vector estimating program, apparatus for estimating vector, and method for estimating vector
US11150971B1 (en) Pattern recognition for proactive treatment of non-contiguous growing defects
JP7231027B2 (ja) 異常度推定装置、異常度推定方法、プログラム
WO2023148965A1 (ja) モデル学習装置、モデル学習方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941961

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520718

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941961

Country of ref document: EP

Kind code of ref document: A1