WO2021192062A1 - 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム - Google Patents

動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム Download PDF

Info

Publication number
WO2021192062A1
WO2021192062A1 PCT/JP2020/013149 JP2020013149W WO2021192062A1 WO 2021192062 A1 WO2021192062 A1 WO 2021192062A1 JP 2020013149 W JP2020013149 W JP 2020013149W WO 2021192062 A1 WO2021192062 A1 WO 2021192062A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
motion
basic
motion model
models
Prior art date
Application number
PCT/JP2020/013149
Other languages
English (en)
French (fr)
Inventor
史記 長澤
士人 新井
亮史 服部
奥村　誠司
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/013149 priority Critical patent/WO2021192062A1/ja
Priority to JP2021573162A priority patent/JP7130155B2/ja
Publication of WO2021192062A1 publication Critical patent/WO2021192062A1/ja
Priority to US17/880,250 priority patent/US20220375267A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Definitions

  • a movable body is an object that has a plurality of parts and the plurality of parts move.
  • the movable body is typically a person. Further, the movable body includes not only a person but also an animal, a robot, a machine tool and the like. In the following, the explanation will be given mainly using a person as an example of a movable body.
  • the part of the movable body is the part where the joint is in the case of a person.
  • the part of the movable body is the position where the reflection marker is attached by the optical motion capture technology.
  • the element touched by the movable body is also treated as a part of the movable body. For example, when the movable body is a person, a smartphone, a canned beverage, a keyboard, a mouse, a pen, etc. touched by the person are also treated as parts of the person.
  • the applied operation is a more complicated operation than the basic operation.
  • As an example of the applied operation there is an operation of looking at a smartphone while walking (hereinafter referred to as "walking smartphone”).
  • the “walking smartphone” includes two actions, “walking” and “looking at the smartphone,” which are complicated actions.
  • walking smartphone includes two actions, “walking” and “looking at the smartphone,” which are complicated actions.
  • explanations will be given mainly using a “walking smartphone” as an example of applied operation.
  • the motion model generator 100 combines the applied motion model of the applied motion "walking smartphone” with the basic motion model of the basic motion "walking” and the basic motion model of the basic motion "seeing the smartphone". To generate.
  • the basic operation model generation unit 101 generates a basic operation model. More specifically, the basic motion model generation unit 101 learns video data, for example, and analyzes the states of a plurality of sites when the movable body performs a basic motion for each site. Then, the basic motion model generation unit 101 generates a basic motion model using the states of the plurality of parts obtained by the analysis.
  • the applied motion model generation unit 104 generates an applied motion model by combining two or more basic motion models out of a plurality of basic motion models. More specifically, the applied motion model generation unit 104 analyzes the states of a plurality of sites when the movable body performs the applied motion for each site. Then, the applied motion model generation unit 104 generates a model for recognizing the applied motion as a provisional model by using the states of the plurality of parts obtained by the analysis. Further, the applied motion model generation unit 104 generates an applied motion model using two or more basic motion models whose combined results are similar to the provisional model. The process performed by the applied motion model generation unit 104 corresponds to the applied motion model generation process.
  • the applied motion model storage unit 105 stores the applied motion model generated by the applied motion model generation unit 104.
  • the applied operation model storage unit 105 is realized by, for example, the main storage device 152 or the auxiliary storage device 153.
  • the applied motion model stored in the applied motion model storage unit 105 is used for analyzing video data in a video data analysis device (not shown) that analyzes video data.
  • FIG. 3 shows an operation example of the operation model generation device 100 according to the present embodiment.
  • the motion model generator 100 mainly generates an applied motion model of the applied motion "walking smartphone” by combining the basic motion model of the basic motion "walking” and the basic motion model of the basic motion "seeing the smartphone". To explain.
  • step S101 the basic operation model generation unit 101 generates a basic operation model. More specifically, the basic motion model generation unit 101 performs learning using video data showing the basic motion as teacher data. Then, the basic motion model generation unit 101 analyzes the transition of the state for each part of the movable body, and generates a basic motion model showing the transition of the state for each part of the movable body. The basic operation model generation unit 101 generates a plurality of basic operation models corresponding to a plurality of basic operations. Then, the basic operation model generation unit 101 stores the generated basic operation model in the basic operation model storage unit 102.
  • FIG. 4 shows an example in which the basic motion model generation unit 101 generates a basic motion model of the “walking” motion in step S101.
  • the basic motion model generation unit 101 learns video data (moving image data) in which a person walks in the order of (a) to (f) in the direction of the arrow in FIG. 4, for example.
  • the basic motion model generation unit 101 changes the state (angle, position, etc.) of each body part of the person represented by the white circles of reference numerals 401 to 424 in FIG. 4 at each stage of (a) to (f). learn.
  • a white circle representing a body part is shown only in FIG. 4A, but also in FIGS.
  • the basic motion model generation unit 101 can be used. Learn the state of the same body part as in (a) of FIG. In this way, the basic motion model generation unit 101 can learn the time transition of the state of the body part in the basic motion "walking".
  • the basic motion model generation unit 101 can use, for example, a score value calculated for each machine learning used at the time of generating the basic motion model.
  • the basic motion model generation unit 101 does not remove the information of the body part having a small influence.
  • the body parts 401 to 424 to be learned are examples, and the basic motion model generation unit 101 may learn a body part different from that in FIG. Further, the value of each body part in the basic motion model does not have to be a coordinate value (x, y, z).
  • step S104 the applied operation model generation unit 104 generates a provisional model.
  • the applied motion model generation unit 104 performs learning using the video data of the “walking smartphone” as teacher data. Then, the applied motion model generation unit 104 analyzes the transition of the state for each body part and generates a provisional model showing the transition of the state for each body part.
  • the method of generating the provisional model is the same as the method of generating the basic operation model in step S101.
  • the number of samples of video data of "walking smartphones", which are complicated operations, is small. Therefore, the applied motion model generation unit 104 cannot generate a precise model that reflects the motion of the "walking smartphone", but can generate a provisional model that captures the minimum characteristics of the motion of the "walking smartphone”. can.
  • the applied motion model generation unit 104 makes adjustments so that specific body parts of two or more basic motion models to be combined face in a certain direction.
  • the applied motion model generation unit 104 rotates at least one of two or more basic motion models so that the orientations of typical body parts such as the waist and neck match.
  • the applied motion model generation unit 104 may exclude the basic motion model of the basic motion which is fundamentally different from the applied motion from the combination of step S105.
  • the applied motion model generator 104 may exclude, for example, the basic motion model of the basic motion "eating”, the basic motion model of the basic motion "writing”, etc. from the combination of steps S105. can.
  • the applied motion model generation unit 104 may calculate the reciprocal of the distance as the degree of similarity. In this case, if the orientations of the provisional model and the candidate model are different, the applied motion model generation unit 104 makes adjustments to reduce the influence of the difference in orientation as described above.
  • step S107 the applied operation model generation unit 104 stores the similarity calculated in step S106 in the default storage area.
  • step S108 the applied operation model generation unit 104 determines whether or not the generation of the candidate model is completed. If there is an ungenerated candidate model, the process returns to step S105. On the other hand, if the generation of the candidate model is completed, the process proceeds to step S109.
  • step S109 the applied motion model generation unit 104 designates the candidate model having the highest degree of similarity as the applied motion model. From the above, an applied operation model that combines two or more basic operation models has been obtained.
  • FIG. 8 shows an example of the provisional model generated in step S104. Similar to FIG. 4, the applied motion model generation unit 104 learns video data (video data) in which a person walks in the order of (a) to (f) in the direction of the arrow, and creates a provisional model of the “walking smartphone”. Generate. Since the number of video data of the "walking smartphone" is small, for example, as shown in FIG. 8, only the video data in which the legs are hidden by the bag 700 can be obtained. From the video data of FIG. 8, since the correct learning result cannot be obtained for the leg hidden by the bag 700, the coordinate values (x, y, z) for the leg are inaccurate in the provisional model.
  • FIG. 9 and 10 show an example of the candidate model generated in step S105.
  • FIG. 9 shows an example of a candidate model obtained by combining the basic motion model of “walking” and the basic motion model of “drinking a canned beverage”.
  • FIG. 10 is an example of a candidate model obtained by combining the basic motion model of “walking” and the basic motion model of “looking at a smartphone”.
  • the applied motion model generation unit 104 generates a plurality of candidate models by brute force combining two or more basic motion models.
  • the applied motion model generation unit 104 calculates the degree of similarity between the provisional model (FIG. 8) of the “walking smartphone” and each of the candidate models (FIGS. 9 and 10). Then, although the legs are hidden by the bag 700 in the provisional model of FIG. 8, the applied motion model generation unit 104 determines that the candidate model of FIG. 10 has a higher degree of similarity, and the candidate model of FIG. 10 Is specified as the applied operation model.
  • a provisional model and a candidate model are generated, and the candidate model having the highest degree of similarity to the provisional model is designated as the applied operation model. Therefore, according to the present embodiment, even if the basic motion model to be used for the applied motion model is not clear, the applied motion model can be generated by combining appropriate basic motion models.
  • an applied motion model is generated by combining basic motion models in which the state of each part of the movable body is shown. Therefore, according to the present embodiment, the applied motion can be appropriately recognized even when a part of the movable body is hidden. For example, even when a part of the person's body is hidden by the bag 700 as shown in FIG. 8, or when a part of the person's body is hidden by the guardrail 800 as shown in FIG. , It is possible to accurately detect the "walking smartphone” operation by using the applied operation of the "walking smartphone".
  • the basic operation model generation unit 101 generates a basic operation model in the operation model generation device 100
  • an external device external to the motion model generator 100 may generate the basic motion model.
  • the method of generating the basic operation model by the external device is the same as the method of generating the basic operation model by the basic operation model generation unit 101 described above.
  • the basic motion model acquisition unit 103 acquires the basic motion model from the external device.
  • the external device generates the basic operation model
  • the basic operation model generation unit 101 and the basic operation model storage unit 102 can be omitted from the configuration of FIG.
  • Embodiment 2 In this embodiment, the difference from the first embodiment will be mainly described. The matters not explained below are the same as those in the first embodiment.
  • the applied motion model generation unit 104 generates a provisional model and a candidate model, and designates the candidate model having the highest degree of similarity to the provisional model as the applied motion model.
  • the applied motion model generation unit 104 may generate the applied motion model according to the user's designation of the motion model generator 100. The flow of FIG. 13 will be described below.
  • step S121 the applied motion model generation unit 104 determines whether or not the basic motion model used for the applied motion model is specified by the user of the motion model generator 100.
  • the user of the motion model generator 100 specifies, for example, a basic motion model of the "walking” motion and a basic motion model of the "viewing the smartphone” motion.
  • the process proceeds to step S122.
  • steps S103 to S109 of FIG. 3 are performed.
  • step S122 the applied motion model generation unit 104 generates an applied motion model by combining the basic motion models specified by the user.
  • the applied motion model generator 104 combines the basic motion model of the "walking" motion and the basic motion model of the "viewing the smartphone” motion specified by the user to create an applied motion model of the "walking smartphone”. Generate.
  • Embodiment 3 In this embodiment, the difference from the first embodiment will be mainly described. The matters not explained below are the same as those in the first embodiment.
  • the motion model generator 100 replaces a part of the generated applied motion model with at least a part of the basic motion model or at least a part of another applied motion model to generate a new applied motion model. An example of doing so will be described.
  • FIG. 14 shows an operation example of the operation model generation device 100 according to the present embodiment.
  • step S131 the applied motion model generation unit 104 determines whether or not a change in the applied motion model is requested.
  • the user of the motion model generator 100 uses an applied motion model (hereinafter referred to as "change target applied motion model”) to be partially modified, a basic motion model used to change the modification target applied motion model, or the like. Specify the applied operation model of (hereinafter referred to as “change model”). Further, the user of the motion model generator 100 uses the part to be changed in the application motion model to be changed (hereinafter referred to as “change target part”) and the change target part in the change model. Specify the part to be (hereinafter, "change part”). When the user requests a change in the requested operation model, the process proceeds to step S132.
  • change target applied motion model Specify the applied operation model of (hereinafter referred to as “change model”).
  • step S132 the application motion model generation unit 104 generates a new application motion model by replacing the change target part of the change target application motion model with the change part of the change model.
  • step S133 the applied motion model generation unit 104 stores the new applied motion model generated in step S132 in the applied motion model storage unit 105.
  • FIG. 15 shows an example of the application operation model to be changed and the part to be changed specified by the user of the operation model generation device 100.
  • the applied motion model of the “walking smartphone” is designated as the applied motion model to be changed.
  • the portion of reference numeral 901 is designated as the portion to be changed.
  • FIG. 16 shows an example of a change model and a change part specified by the user of the operation model generation device 100.
  • the basic operation model of "driving a bicycle” is designated as a change model.
  • the portion of reference numeral 902 is designated as a change portion.
  • the applied motion model generation unit 104 replaces the change target portion 901 in FIG. 15 with the change portion 902 in FIG. 16 and newly generates an applied motion model of the “smartphone while riding a bicycle” motion shown in FIG.
  • the present embodiment it is possible to generate a new applied motion model by modifying a part of the generated applied motion model.
  • a model of "smartphone while riding a bicycle” operation shown in FIG. 17 learning using video data of "smartphone driving while riding a bicycle” operation has been required.
  • first to third embodiments have been described above, two or more of these embodiments may be combined and implemented. Alternatively, one of these embodiments may be partially implemented. Alternatively, two or more of these embodiments may be partially combined and implemented. In addition, the configurations and procedures described in these embodiments may be modified as necessary.
  • the processor 151 shown in FIG. 1 is an IC (Integrated Circuit) that performs processing.
  • the processor 151 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or the like.
  • the main storage device 152 shown in FIG. 1 is a RAM (Random Access Memory).
  • the auxiliary storage device 153 shown in FIG. 1 is a ROM (Read Only Memory), a flash memory, an HDD (Hard Disk Drive), or the like.
  • the OS (Operating System) is also stored in the auxiliary storage device 153. Then, at least a part of the OS is executed by the processor 151.
  • the processor 151 executes a program that realizes the functions of the basic operation model generation unit 101, the basic operation model acquisition unit 103, and the applied operation model generation unit 104 while executing at least a part of the OS.
  • the processor 151 executes the OS, task management, memory management, file management, communication control, and the like are performed.
  • at least one of the information, data, signal value, and variable value indicating the processing result of the basic operation model generation unit 101, the basic operation model acquisition unit 103, and the applied operation model generation unit 104 is stored in the main storage device 152, the auxiliary storage.
  • the programs that realize the functions of the basic operation model generation unit 101, the basic operation model acquisition unit 103, and the applied operation model generation unit 104 are magnetic disks, flexible disks, optical disks, compact disks, Blu-ray (registered trademark) disks, DVDs, and the like. It may be stored in a portable recording medium of. Then, a portable recording medium in which a program that realizes the functions of the basic operation model generation unit 101, the basic operation model acquisition unit 103, and the applied operation model generation unit 104 is stored may be distributed.
  • the "unit" of the basic operation model generation unit 101, the basic operation model acquisition unit 103, and the applied operation model generation unit 104 may be read as “circuit” or “process” or “procedure” or “processing”.
  • the operation model generation device 100 may be realized by a processing circuit.
  • the processing circuit is, for example, a logic IC (Integrated Circuit), a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array).
  • the superordinate concept of the processor and the processing circuit is referred to as "processing circuit Lee". That is, the processor and the processing circuit are specific examples of the "processing circuit Lee", respectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

基本動作モデル取得部（１０３）は、可動体が基本動作を行う際の可動体の複数の部位の状態を部位ごとに解析して生成された、基本動作を認識するためのモデルである基本動作モデルを、複数の基本動作の各々について取得する。応用動作モデル生成部（１０４）は、基本動作よりも複雑な動作である応用動作を認識するためのモデルである応用動作モデルを、複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて生成する。

Description

動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム
　本開示は、可動体の動作を認識するための動作モデルの生成に関する。
　特許文献１には、人物が映り込む映像データから行動を認識するようにコンピュータを機能させる行動認識プログラムが開示されている。より具体的には、特許文献１には、スケルトン情報抽出手段と、関節認識エンジンと、領域切出し手段と、動体認識エンジンと、スコア統合手段とが開示されている。
　スケルトン情報抽出手段は、映像データから、人物の関節に基づくスケルトン情報を時系列に抽出する。関節認識エンジンは、映像データのスケルトン情報から、行動を認識する。領域切出し手段は、映像データから、スケルトン情報の囲み領域を抽出する。動体認識エンジンは、映像データの囲み領域から、行動を認識する。スコア統合手段は、行動ごとに、関節認識エンジン及び動体認識エンジンそれぞれのスコアを統合した統合スコアを出力する。
特開２０１９－１４４８３０号公報
　特許文献１の技術では、例えば、「飲む」、「食べる」、「走る」、「畳む」といった比較的単純な動作を認識可能なモデルを用いて、これら動作を認識する。このような単純な動作の映像データはサンプル数が多いため、これらの動作の適切なモデルを生成することは難しくない。しかしながら、複雑な動作については映像データのサンプル数が少なく、適切なモデルを生成することが困難であるという課題がある。
　本開示は、上記のような課題を解決することを主な目的の一つとしている。より具体的には、本開示は、複雑な動作についても適切なモデルを生成できるようにすることを主な目的とする。
　本開示に係る動作モデル生成装置は、
　可動体が基本動作を行う際の前記可動体の複数の部位の状態を部位ごとに解析して生成された、基本動作を認識するためのモデルである基本動作モデルを、複数の基本動作の各々について取得する基本動作モデル取得部と、
　基本動作よりも複雑な動作である応用動作を認識するためのモデルである応用動作モデルを、複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて生成する応用動作モデル生成部とを有する。
　本開示によれば、複雑な動作についても適切なモデルを生成することができる。
実施の形態１に係る動作モデル生成装置のハードウェア構成例を示す図。 実施の形態１に係る動作モデル生成装置の機能構成例を示す図。 実施の形態１に係る動作モデル生成装置の動作例を示すフローチャート。 実施の形態１に係る基本動作モデルの生成例を示す図。 実施の形態１に係る基本動作モデルの例を示す図。 実施の形態１に係る基本動作モデルの生成例を示す図。 実施の形態１に係る基本動作モデルの例を示す図。 実施の形態１に係る暫定モデルの例を示す図。 実施の形態１に係る候補モデルの例を示す図。 実施の形態１に係る応用動作モデルの例を示す図。 実施の形態１に係る応用動作モデルの例を示す図。 実施の形態１に係る身体の一部が隠れている映像データの例を示す図。 実施の形態２に係る動作モデル生成装置の動作例を示すフローチャート。 実施の形態３に係る動作モデル生成装置の動作例を示すフローチャート。 実施の形態３に係る変更対象応用動作モデルと変更対象部分の例を示す図。 実施の形態３に係る変更用モデルと変更用部分の例を示す図。 実施の形態３に係る新たな応用動作モデルの例を示す図。
　以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
　実施の形態１．
＊＊＊概要＊＊＊
　本実施の形態では、動作モデルを生成する動作モデル生成装置１００を説明する。
　本実施の形態に係る動作モデル生成装置１００は、可動体の基本動作を認識するためのモデル（以下、「基本動作モデル」という）を２以上組み合わせて、応用動作を認識するためのモデル（以下、「応用動作モデル」という）を生成する。
　可動体は、複数の部位をもち、複数の部位が動く物体である。可動体は、典型的には人物である。また、可動体には、人物の他、動物、ロボット、工作機械等も含まれる。以下では、可動体の例として主に人物を用いて説明を進める。
　可動体の部位は、人物の場合は関節がある部位である。例えば、可動体の部位は、光学式モーションキャプチャ技術で反射マーカを取り付ける位置である。また、本実施の形態では、可動体が触れている要素も可動体の部位として扱う。例えば、可動体が人物の場合は、人物が触れているスマートフォン、缶入り飲料、キーボード、マウス、ペン等も人物の部位として扱う。
　また、基本動作とは、基本となる単純な動作である。人物の場合は、基本動作は、例えば、「歩く」、「走る」、「座る」、「食べる」、「書く」、「スマートフォンを見る」、「キーボードを打鍵する」等である。例えば、動作モデル生成装置１００のユーザがどのような動作を基本動作とするかを任意に決定することができる。
　応用動作は、基本動作よりも複雑な動作である。応用動作の例として、歩きながらスマートフォンを見るという動作（以下、「歩きスマートフォン」という）がある。「歩きスマートフォン」では、「歩く」という動作と「スマートフォンを見る」という２つの動作が含まれており、複雑な動作である。以下では、応用動作の例として主に「歩きスマートフォン」を用いて説明を進める。
　応用動作の映像データに対して基本動作モデルを適用しても、正確に応用動作を識別することはできない。具体的には、「歩きスマートフォン」の映像データに対して基本動作「歩く」の基本動作モデルを適用した場合は、「歩きスマートフォン」を「歩く」動作であると認識できる可能性はあるが、正確に「歩きスマートフォン」と認識することはできない。
　また、応用動作は、複雑な動作であるため、映像データのサンプル数が少ない傾向にある。このため、映像データを用いた学習を行っても、映像データのサンプル数の少なさから、応用動作を正確に認識できるモデルを生成することは難しい。
　このため、本実施の形態に係る動作モデル生成装置１００は、応用動作「歩きスマートフォン」の応用動作モデルを基本動作「歩く」の基本動作モデルと基本動作「スマートフォンを見る」の基本動作モデルを組み合わせて生成する。
＊＊＊構成の説明＊＊＊
　図１は、本実施の形態に係る動作モデル生成装置１００のハードウェア構成例を示す。
　本実施の形態に係る動作モデル生成装置１００は、コンピュータである。動作モデル生成装置１００の動作手順は、動作モデル生成方法に相当する。また、動作モデル生成装置１００の動作を実現するプログラムは、動作モデル生成プログラムに相当する。
　動作モデル生成装置１００は、ハードウェアとして、プロセッサ１５１、主記憶装置１５２、補助記憶装置１５３及び入出力装置１５４を備える。
　補助記憶装置１５３には、後述する基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の機能を実現するプログラムが記憶されている。
　これらプログラムは、補助記憶装置１５３から主記憶装置１５２にロードされる。そして、プロセッサ１５１がこれらプログラムを実行して、後述する基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の動作を行う。
　図１では、プロセッサ１５１が基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の機能を実現するプログラムを実行している状態を模式的に表している。
　入出力装置１５４は、例えばマウス、キーボード及びディスプレイである。
　図２は、本実施の形態に係る動作モデル生成装置１００の機能構成例を示す。
　動作モデル生成装置１００は、基本動作モデル生成部１０１、基本動作モデル記憶部１０２、基本動作モデル取得部１０３、応用動作モデル生成部１０４及び応用動作モデル記憶部１０５により構成される。
　基本動作モデル生成部１０１は、基本動作モデルを生成する。より具体的には、基本動作モデル生成部１０１は、例えば映像データを学習して、可動体が基本動作を行う際の複数の部位の状態を部位ごとに解析する。そして、基本動作モデル生成部１０１は、解析により得られた複数の部位の状態を用いて基本動作モデルを生成する。
　基本動作モデル記憶部１０２は、基本動作モデル生成部１０１により生成された複数の基本動作モデルを記憶する。
　基本動作モデル記憶部１０２は、例えば、主記憶装置１５２又は補助記憶装置１５３により実現される。
　基本動作モデル取得部１０３は、動作モデル生成装置１００のユーザからの要求に基づき、基本動作モデル記憶部１０２から、複数の基本動作に対応する複数の基本動作モデルを取得する。
　なお、基本動作モデル取得部１０３により行われる処理は基本動作モデル取得処理に相当する。
　応用動作モデル生成部１０４は、複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて応用動作モデルを生成する。より具体的には、応用動作モデル生成部１０４は、可動体が応用動作を行う際の複数の部位の状態を部位ごとに解析する。そして、応用動作モデル生成部１０４は、解析により得られた複数の部位の状態を用いて、応用動作を認識するためのモデルを暫定モデルとして生成する。更に、応用動作モデル生成部１０４は、組み合わせた結果が暫定モデルに類似する２以上の基本動作モデルを用いて応用動作モデルを生成する。
　応用動作モデル生成部１０４により行われる処理は応用動作モデル生成処理に相当する。
　応用動作モデル記憶部１０５は、応用動作モデル生成部１０４により生成された応用動作モデルを記憶する。
　応用動作モデル記憶部１０５は、例えば、主記憶装置１５２又は補助記憶装置１５３により実現される。
　応用動作モデル記憶部１０５に格納された応用動作モデルは、映像データを解析する映像データ解析装置（不図示）での映像データの解析に使われる。
＊＊＊動作の説明＊＊＊
　図３は、本実施の形態に係る動作モデル生成装置１００の動作例を示す。ここでは、主に、動作モデル生成装置１００が応用動作「歩きスマートフォン」の応用動作モデルを基本動作「歩く」の基本動作モデルと基本動作「スマートフォンを見る」の基本動作モデルを組み合わせて生成する例を説明する。
　先ず、ステップＳ１０１において、基本動作モデル生成部１０１が基本動作モデルを生成する。
　より具体的には、基本動作モデル生成部１０１は、基本動作が示される映像データを教師データとして用いた学習を行う。そして、基本動作モデル生成部１０１は、可動体の部位ごとの状態の遷移を解析し、可動体の部位ごとの状態の遷移が示される基本動作モデルを生成する。基本動作モデル生成部１０１は、複数の基本動作に対応させて複数の基本動作モデルを生成する。
　そして、基本動作モデル生成部１０１は、生成した基本動作モデルを基本動作モデル記憶部１０２に格納する。
　図４は、ステップＳ１０１において、基本動作モデル生成部１０１が「歩く」動作の基本動作モデルを生成する例を示す。
　基本動作モデル生成部１０１は、例えば、図４の矢印の方向に、（ａ）～（ｆ）の順に人物が歩く映像データ（動画データ）を学習する。このとき、基本動作モデル生成部１０１は、図４において符号４０１～４２４の白丸で表現している人物の身体部位ごとの状態（角度、位置等）を（ａ）～（ｆ）の各段階で学習する。図４では、作図上の理由から、図４の（ａ）にのみ、身体部位を表す白丸を示しているが、図４の（ｂ）～（ｆ）でも、基本動作モデル生成部１０１は、図４の（ａ）と同じ身体部位の状態を学習する。
　このようにして、基本動作モデル生成部１０１は、基本動作「歩く」における身体部位の状態の時間推移を学習することができる。
　基本動作モデル生成部１０１は、「歩く」動作について複数の映像データを学習することで、身体部位ごとの動きが反映された、「歩く」動作が正確に反映された基本動作モデルを生成する。
　例えば、基本動作モデル生成部１０１は、図５に示すように、部位ごとの状態の時間推移が示される「歩く」動作の基本動作モデルを生成する。図５では、図４の身体部位４０１～４２４の各々について、図４の段階（ａ）～（ｆ）の各段階での座標値（ｘ、ｙ、ｚ）が示される。
　また、基本動作モデル生成部１０１は、基本動作の検知に対する影響度が小さい身体部位の情報を基本動作モデルから取り除いてもよい。例えば、「歩く」動作の基本動作モデルについては、頭の動きなどの「歩く」動作に直接関係のない身体部位の情報を基本動作モデルから取り除いてもよい。このときに使用する影響度はとして、基本動作モデル生成部１０１は、例えば、基本動作モデルの生成時に用いられた機械学習毎に算出されるスコア値を用いることができる。本実施の形態では、基本動作モデル生成部１０１は、影響度が小さい身体部位の情報を取り除かないものとする。
　なお、学習対象の身体部位４０１～４２４は一例であり、基本動作モデル生成部１０１は、図４とは異なる身体部位を学習してもよい。また、基本動作モデルにおける各身体部位の値も座標値（ｘ、ｙ、ｚ）でなくてもよい。
　図６は、ステップＳ１０１において、基本動作モデル生成部１０１が「スマートフォンを見る」動作の基本動作モデルを生成する例を示す。
　基本動作モデル生成部１０１は、例えば図６において符号６０１～６１６の白丸で表現している人物の身体部位ごとの状態（角度、位置等）を学習する。これにより、基本動作モデル生成部１０１は、基本動作「スマートフォンを見る」における身体部位の状態を学習することができる。
　基本動作モデル生成部１０１は、「スマートフォンを見る」動作の複数の映像データを学習することで、身体部位ごとの状態が反映された、「スマートフォンを見る」動作の基本動作モデルを生成する。
　基本動作モデル生成部１０１は、例えば、図７に示すような「スマートフォンを見る」動作の基本動作モデルを生成する。図７では、図６に示す身体部位６０１～６１６の各々の座標値（ｘ、ｙ、ｚ）が示される。
　なお、「スマートフォンを見る」動作は時刻ごとの各身体部位の状態の変化が少ないので、基本動作モデル生成部１０１は、動画データではなく静止画データを学習することでもよい。
　なお、学習対象の身体部位６０１～６１６は一例であり、基本動作モデル生成部１０１は、図６とは異なる身体部位を学習してもよい。また、基本動作モデルにおける各身体部位の値も座標値（ｘ、ｙ、ｚ）でなくてもよい。
　図３に戻り、ステップＳ１０２において、基本動作モデル取得部１０３は、動作モデル生成装置１００のユーザから応用動作モデルの生成が要求されたか否かを判定する。生成要求には、生成対象の応用動作モデルが指定されている。本実施の形態では、生成要求において「歩きスマートフォン」の応用動作モデルの生成が指定されているものとする。
　なお、動作モデル生成装置１００のユーザは、例えばマウス又はキーボードの操作により応用動作モデルの生成を要求する。
　動作モデル生成装置１００のユーザから応用動作モデルの生成が要求された場合は、処理がステップＳ１０３に進む。
　ステップＳ１０３において、基本動作モデル取得部１０３は、基本動作モデル記憶部１０２から複数の基本動作モデルを取得する。
　次に、ステップＳ１０４において、応用動作モデル生成部１０４が暫定モデルを生成する。
　具体的には、応用動作モデル生成部１０４は、「歩きスマートフォン」の映像データを教師データとして用いた学習を行う。そして、応用動作モデル生成部１０４は、身体部位ごとの状態の遷移を解析し、身体部位ごとの状態の遷移が示される暫定モデルを生成する。暫定モデルの生成方法は、ステップＳ１０１の基本動作モデルの生成方法と同様である。
　複雑な動作である「歩きスマートフォン」の映像データのサンプル数は少ない。このため、応用動作モデル生成部１０４は、「歩きスマートフォン」の動作が反映された精密なモデルは生成できないが、「歩きスマートフォン」の動作の最低限の特徴を捉えた暫定モデルは生成することができる。
　次に、ステップＳ１０５において、応用動作モデル生成部１０４が基本動作モデル取得部１０３により取得された複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて候補モデルを生成する。応用動作モデル生成部１０４は、基本的に、同一の身体部位についての情報を持たない基本動作モデルの組み合わせによって候補モデルを生成する。しかし、応用動作モデル生成部１０４は、同一の身体部位についての情報を持つ基本動作モデルを組み合わせて候補モデルを生成してもよい。この場合は、応用動作モデル生成部１０４は、対応する身体部位についての情報の平均をとるなどの方法で基本動作モデルを組み合わせる。
　組み合わせる２以上の基本動作モデルの向きが違っている場合は、応用動作モデル生成部１０４は、向きの違いによる影響を小さくするための調整を行う。具体的には、応用動作モデル生成部１０４は、組み合わせる２以上の基本動作モデルの特定の身体部位が一定の方向を向くように調整を行う。応用動作モデル生成部１０４は、例えば、腰や首などの代表的な身体部位の向きが一致するように、２以上の基本動作モデルの少なくともいずれかを回転させる。
　なお、応用動作モデル生成部１０４は、応用動作と根本的に異なる基本動作の基本動作モデルはステップＳ１０５の組合せから除外してもよい。応用動作「歩きスマートフォン」の例では、応用動作モデル生成部１０４は、例えば、基本動作「食べる」の基本動作モデル、基本動作「書く」の基本動作モデル等はステップＳ１０５の組合せから除外することができる。
　次に、ステップＳ１０６において、応用動作モデル生成部１０４は、暫定モデルと候補モデルとの類似度を算出する。
　応用動作モデル生成部１０４は、例えば、ハミング距離を用いた手法により暫定モデルと候補モデルとの類似度を算出する。また、応用動作モデル生成部１０４は、暫定モデルと候補モデルとの対応する身体部位各々の座標値（ｘ、ｙ、ｚ）の差の絶対値の総和を用いて暫定モデルと候補モデルとの類似度を算出してもよい。例えば、応用動作モデル生成部１０４は、暫定モデルと候補モデルとの対応する身体部位各々の座標値（ｘ、ｙ、ｚ）の差の絶対値の総和を距離として扱う。そして、応用動作モデル生成部１０４は、距離の逆数を類似度として算出してもよい。この場合に、暫定モデルと候補モデルの向きが違っている場合は、応用動作モデル生成部１０４は、前述したような向きの違いによる影響を小さくするための調整を行う。
　そして、ステップＳ１０７において、応用動作モデル生成部１０４は、ステップＳ１０６で算出した類似度を既定の記憶領域に格納する。
　次に、ステップＳ１０８において、応用動作モデル生成部１０４は、候補モデルの生成が完了しているか否かを判定する。
　未生成の候補モデルがある場合は、処理がステップＳ１０５に戻る。一方、候補モデルの生成が完了している場合は、処理がステップＳ１０９に進む。
　ステップＳ１０９では、応用動作モデル生成部１０４は、最も類似度が高い候補モデルを応用動作モデルに指定する。
　以上により、２以上の基本動作モデルを組み合わせた応用動作モデルが得られた。
　最後に、ステップＳ１１０において、応用動作モデル生成部１０４が、ステップＳ１０９で指定した応用動作モデルを応用動作モデル記憶部１０５に格納する。
　図８は、ステップＳ１０４で生成される暫定モデルの例を示す。
　応用動作モデル生成部１０４は、図４と同様に、矢印の方向に、（ａ）～（ｆ）の順に人物が歩く映像データ（動画データ）を学習して、「歩きスマートフォン」の暫定モデルを生成する。
　「歩きスマートフォン」の映像データの数が少ないため、例えば、図８に示すように脚部が鞄７００で隠れてしまっている映像データしか得られない。図８の映像データからは、鞄７００で隠れた脚部については正しい学習結果が得られないので、暫定モデルでは、脚部についての座標値（ｘ、ｙ、ｚ）は不正確である。
　図９及び図１０は、ステップＳ１０５で生成される候補モデルの例を示す。
　図９は、「歩く」の基本動作モデルと「缶入り飲料を飲む」の基本動作モデルを組み合わせて得られる候補モデルの例を示す。
　図１０は、「歩く」の基本動作モデルと「スマートフォンを見る」の基本動作モデルを組み合わせて得られる候補モデルの例である。
　「歩きスマートフォン」の場合は、「歩く」の基本動作モデルと「スマートフォンを見る」の基本動作モデルを組み合わせることが適切であると容易に想起することができる。しかし、応用動作の態様によっては、いずれの基本動作を組み合わせればよいのかが明らかではない場合がある。このため、応用動作モデル生成部１０４は、２以上の基本動作モデルを総当たり的に組み合わせて候補モデルを複数生成する。
　応用動作モデル生成部１０４は、「歩きスマートフォン」の暫定モデル（図８）と、候補モデル（図９及び図１０）の各々との類似度を算出する。
　そして、図８の暫定モデルでは脚部が鞄７００で隠れてしまっているものの、応用動作モデル生成部１０４は、図１０の候補モデルの方が類似度が高いと判定し、図１０の候補モデルを応用動作モデルに指定する。
　図１０の応用動作モデルでは、例えば、図１１に示すように、図６の人物部位６０１～６１６の状態と図４の人物部位４１３～４２４の状態とで構成される。
　図１０では、作図上の理由により全ての人物部位に符号をつけていないが、図６に示す人物部位６０１～６１６と、図４に示す人物部位４１３～４２４が含まれている。
＊＊＊実施の形態の効果の説明＊＊＊
　本実施の形態によれば、映像データのサンプル数が少ない複雑な動作についても適切なモデルを生成することができる。
　また、本実施の形態では、暫定モデルと候補モデルを生成し、暫定モデルとの類似度が最も高い候補モデルを応用動作モデルに指定する。このため、本実施の形態によれば、応用動作モデルに用いるべき基本動作モデルが明らかではない場合でも、適切な基本動作モデルを組み合わせて応用動作モデルを生成することができる。
　また、本実施の形態では、可動体の部位ごとに部位の状態が示される基本動作モデルを組み合わせて応用動作モデルを生成する。このため、本実施の形態によれば、可動体の一部の部位が隠れている場合にも適切に応用動作を認識することができる。
　例えば、図８に示すように鞄７００で人物の身体の一部が隠れているような場合、また、図１２に示すようにガードレール８００で人物の身体の一部が隠れているような場合でも、「歩きスマートフォン」の応用動作を用いて、正確に「歩きスマートフォン」動作を検知することができる。
　なお、本実施の形態では、動作モデル生成装置１００内で基本動作モデル生成部１０１が基本動作モデルを生成する例を説明した。これに代えて、動作モデル生成装置１００の外部の外部装置が基本動作モデルを生成するようにしてもよい。この場合の外部装置による基本動作モデルの生成方法は上述した基本動作モデル生成部１０１による基本動作モデルの生成方法と同じである。
　動作モデル生成装置１００では、基本動作モデル取得部１０３が外部装置から基本動作モデルを取得する。外部装置が基本動作モデルを生成する場合は、図２の構成から、基本動作モデル生成部１０１と基本動作モデル記憶部１０２を省略することができる。
実施の形態２．
　本実施の形態では、主に実施の形態１との差異を説明する。
　なお、以下で説明していない事項は、実施の形態１と同様である。
　実施の形態１で示した図３のフローチャートでは、応用動作モデル生成部１０４が暫定モデルと候補モデルを生成し、暫定モデルとの類似度が最も高い候補モデルを応用動作モデルに指定する。これに代えて、図１３に示すように、応用動作モデル生成部１０４は、動作モデル生成装置１００のユーザの指定に従って応用動作モデルを生成するようにしてもよい。
　以下、図１３のフローを説明する。
　ステップＳ１０１とステップＳ１０２は図３と同様であるため、説明を省略する。
　次に、ステップＳ１２１において、応用動作モデル生成部１０４は、動作モデル生成装置１００のユーザから応用動作モデルに用いる基本動作モデルが指定されているか否かを判定する。
　「歩きスマートフォン」の応用動作モデルの生成を要求する場合は、動作モデル生成装置１００のユーザは、例えば、「歩く」動作の基本動作モデルと「スマートフォンを見る」動作の基本動作モデルを指定する。
　動作モデル生成装置１００のユーザに基本動作モデルが指定されている場合は、処理がステップＳ１２２に進む。一方、基本動作モデルが指定されていない場合は図３のステップＳ１０３～Ｓ１０９が行われる。
　ステップＳ１２２では、応用動作モデル生成部１０４は、ユーザに指定された基本動作モデルを組み合わせて応用動作モデルを生成する。
　前述の例では、応用動作モデル生成部１０４は、ユーザにより指定された「歩く」動作の基本動作モデルと「スマートフォンを見る」動作の基本動作モデルを組み合わせて、「歩きスマートフォン」の応用動作モデルを生成する。
　最後に、ステップＳ１２３において、応用動作モデル生成部１０４が、ステップＳ１２２で生成した応用動作モデルを応用動作モデル記憶部１０５に格納する。
　以上、本実施の形態によっても、映像データのサンプル数が少ない複雑な動作についても適切なモデルを生成することができる。
実施の形態３．
　本実施の形態では、主に実施の形態１との差異を説明する。
　なお、以下で説明していない事項は、実施の形態１と同様である。
　実施の形態１及び実施の形態２では、２以上の基本動作を組み合わせて応用動作モデルを生成する例を説明した。
　本実施の形態では、動作モデル生成装置１００が、生成済みの応用動作モデルの一部を基本動作モデルの少なくとも一部又は他の応用動作モデルの少なくとも一部と置き換えて新たな応用動作モデルを生成する例を説明する。
　本実施の形態においても、動作モデル生成装置１００のハードウェア構成例は図１に示す通りである。また、動作モデル生成装置１００の機能構成例は図２に示す通りである。
　図１４は、本実施の形態に係る動作モデル生成装置１００の動作例を示す。
　先ず、ステップＳ１３１において、応用動作モデル生成部１０４は応用動作モデルの変更が要求されたか否かを判定する。
　ここでは、動作モデル生成装置１００のユーザは、一部が変更される応用動作モデル（以下、「変更対象応用動作モデル」という）と、変更対象応用動作モデルの変更に用いられる基本動作モデル又は他の応用動作モデル（以下、「変更用モデル」という）を指定する。更に、動作モデル生成装置１００のユーザは、変更対象応用動作モデルのうちの変更の対象となる部分（以下、「変更対象部分」という）と、変更用モデルのうちの変更対象部分の変更に用いられる部分（以下、「変更用部分」）とを指定する。
　ユーザにより要求動作モデルの変更が要求された場合は、処理がステップＳ１３２に進む。
　ステップＳ１３２では、応用動作モデル生成部１０４は、変更対象応用動作モデルの変更対象部分を変更用モデルの変更用部分で置き換えて新たな応用動作モデルを生成する。
　最後に、ステップＳ１３３において、応用動作モデル生成部１０４は、ステップＳ１３２で生成した新たな応用動作モデルを応用動作モデル記憶部１０５に格納する。
　ここで、具体例を用いて、実施の形態３に係る動作モデル生成装置１００の動作例を説明する。
　図１５は、動作モデル生成装置１００のユーザにより指定された変更対象応用動作モデルと変更対象部分の例を示す。図１５の例では、「歩きスマートフォン」の応用動作モデルが変更対象応用動作モデルとして指定されている。また、符号９０１の部分が変更対象部分として指定されている。
　図１６は、動作モデル生成装置１００のユーザにより指定された変更用モデルと変更用部分の例を示す。図１６の例では、「自転車の運転」の基本動作モデルが変更用モデルとして指定されている。また、符号９０２の部分が変更用部分として指定されている。
　応用動作モデル生成部１０４は、図１５の変更対象部分９０１を図１６の変更用部分９０２に置き換えて、図１７に示す「自転車運転中のスマートフォン」動作の応用動作モデルを新たに生成する。
　このように、本実施の形態によれば、生成済みの応用動作モデルの一部を変更して新たな応用動作モデルを生成することができる。
　従来は、例えば、図１７に示す「自転車運転中のスマートフォン」動作のモデルを生成する場合は、「自転車運転中のスマートフォン」動作の映像データを用いた学習が必要であった。これに対して、本実施の形態では、更なる学習を行わずに、「自転車運転中のスマートフォン」動作に対応した新たな応用動作モデルを生成することができる。
　この結果、「自転車運転中のスマートフォン」動作に対応する新たな応用動作モデルを用いて、自転車を運転しながらスマートフォンを見ている動作を検知することができる。
　以上、実施の形態１～３を説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
　あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
　あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
　また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
＊＊＊ハードウェア構成の補足説明＊＊＊
　最後に、動作モデル生成装置１００のハードウェア構成の補足説明を行う。
　図１に示すプロセッサ１５１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。
　プロセッサ１５１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等である。
　図１に示す主記憶装置１５２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　図１に示す補助記憶装置１５３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等である。
　また、補助記憶装置１５３には、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）も記憶されている。
　そして、ＯＳの少なくとも一部がプロセッサ１５１により実行される。
　プロセッサ１５１はＯＳの少なくとも一部を実行しながら、基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の機能を実現するプログラムを実行する。
　プロセッサ１５１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
　また、基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置１５２、補助記憶装置１５３、プロセッサ１５１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
　また、基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
　また、基本動作モデル生成部１０１、基本動作モデル取得部１０３及び応用動作モデル生成部１０４の「部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
　また、動作モデル生成装置１００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）である。
　なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
　つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
　１００　動作モデル生成装置、１０１　基本動作モデル生成部、１０２　基本動作モデル記憶部、１０３　基本動作モデル取得部、１０４　応用動作モデル生成部、１０５　応用動作モデル記憶部、１５１　プロセッサ、１５２　主記憶装置、１５３　補助記憶装置、１５４　入出力装置。

Claims (8)

  1. 　可動体が基本動作を行う際の前記可動体の複数の部位の状態を部位ごとに解析して生成された、基本動作を認識するためのモデルである基本動作モデルを、複数の基本動作の各々について取得する基本動作モデル取得部と、
    　基本動作よりも複雑な動作である応用動作を認識するためのモデルである応用動作モデルを、複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて生成する応用動作モデル生成部とを有する動作モデル生成装置。
  2. 　前記応用動作モデル生成部は、
    　前記可動体が前記応用動作を行う際の前記複数の部位の状態を部位ごとに解析し、解析により得られた前記複数の部位の状態を用いて、前記応用動作を認識するためのモデルを暫定モデルとして生成し、
    　組み合わせた結果が前記暫定モデルに類似する２以上の基本動作モデルを用いて前記応用動作モデルを生成する請求項１に記載の動作モデル生成装置。
  3. 　前記応用動作モデル生成部は、
    　前記複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて前記応用動作モデルの候補である候補モデルを複数生成し、
    　複数の候補モデルの各々と前記暫定モデルとの類似度を算出し、最も類似度が高い候補モデルを前記応用動作モデルに指定する請求項２に記載の動作モデル生成装置。
  4. 　前記応用動作モデル生成部は、
    　前記複数の基本動作モデルの中から指定された２以上の基本動作モデルを組み合わせて前記応用動作モデルを生成する請求項１に記載の動作モデル生成装置。
  5. 　前記動作モデル生成装置は、更に、
    　前記複数の基本動作の各々について、前記可動体が基本動作を行う際の前記複数の部位の状態を部位ごとに解析し、解析により得られた前記複数の部位の状態を用いて基本動作モデルを生成する基本動作モデル生成部を有し、
    　前記基本動作モデル取得部は、
    　前記基本動作モデル生成部により生成された複数の基本動作モデルを取得する請求項１に記載の動作モデル生成装置。
  6. 　前記応用動作モデル生成部は、
    　生成した応用動作モデルの一部を他のモデルの少なくとも一部で置換して新たな応用動作を認識するための新たな応用動作モデルを生成する請求項１に記載の動作モデル生成装置。
  7. 　可動体が基本動作を行う際の前記可動体の複数の部位の状態を部位ごとに解析して生成された、基本動作を認識するためのモデルである基本動作モデルを、コンピュータが、複数の基本動作の各々について取得し、
    　前記コンピュータが、基本動作よりも複雑な動作である応用動作を認識するためのモデルである応用動作モデルを、複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて生成する動作モデル生成方法。
  8. 　可動体が基本動作を行う際の前記可動体の複数の部位の状態を部位ごとに解析して生成された、基本動作を認識するためのモデルである基本動作モデルを、複数の基本動作の各々について取得する基本動作モデル取得処理と、
    　基本動作よりも複雑な動作である応用動作を認識するためのモデルである応用動作モデルを、複数の基本動作モデルのうちの２以上の基本動作モデルを組み合わせて生成する応用動作モデル生成処理とをコンピュータに実行させる動作モデル生成プログラム。
PCT/JP2020/013149 2020-03-24 2020-03-24 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム WO2021192062A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/013149 WO2021192062A1 (ja) 2020-03-24 2020-03-24 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム
JP2021573162A JP7130155B2 (ja) 2020-03-24 2020-03-24 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム
US17/880,250 US20220375267A1 (en) 2020-03-24 2022-08-03 Action-model generation apparatus and action-model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013149 WO2021192062A1 (ja) 2020-03-24 2020-03-24 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/880,250 Continuation US20220375267A1 (en) 2020-03-24 2022-08-03 Action-model generation apparatus and action-model generation method

Publications (1)

Publication Number Publication Date
WO2021192062A1 true WO2021192062A1 (ja) 2021-09-30

Family

ID=77891210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013149 WO2021192062A1 (ja) 2020-03-24 2020-03-24 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム

Country Status (3)

Country Link
US (1) US20220375267A1 (ja)
JP (1) JP7130155B2 (ja)
WO (1) WO2021192062A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIRAMATSU, NAOKO ET AL.: "System for the description and display of human body movement", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 40, no. 3, 15 March 1999 (1999-03-15), pages 939 - 948, ISSN: 0387-5806 *
INAMURA, TETSUNARI ET AL.: "Construction of the Proto-Symbol Space that Realizes Recognition and Generation of Various Motion Patterns based on Geometric Symbol Manipulation", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 27, no. 5, 15 June 2009 (2009-06-15), pages 84 - 94, ISSN: 0289- 1824 *

Also Published As

Publication number Publication date
JPWO2021192062A1 (ja) 2021-09-30
US20220375267A1 (en) 2022-11-24
JP7130155B2 (ja) 2022-09-02

Similar Documents

Publication Publication Date Title
KR102292028B1 (ko) 제스처 인식 방법, 장치, 전자 기기 및 저장 매체
RU2702270C2 (ru) Обнаружение выбора рукописного фрагмента
Abid et al. Dynamic sign language recognition for smart home interactive application using stochastic linear formal grammar
US20130120250A1 (en) Gesture recognition system and method
Rahman et al. Motion-path based gesture interaction with smart home services
US10162737B2 (en) Emulating a user performing spatial gestures
Wan et al. Chalearn looking at people: Isogd and congd large-scale rgb-d gesture recognition
Alonso et al. Hand gesture recognition in real world scenarios using approximate string matching
Liu et al. Obstacle avoidance through gesture recognition: Business advancement potential in robot navigation socio-technology
Rosa-Pujazón et al. Fast-gesture recognition and classification using Kinect: an application for a virtual reality drumkit
WO2021192062A1 (ja) 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム
JP2021128476A (ja) 画像処理方法、画像処理プログラム、および画像処理装置
CN111860086A (zh) 基于深度神经网络的手势识别方法、装置及系统
Estrivero-Chavez et al. Toward a Mexican sign language system using human computer interface
Tang et al. Extracting commands from gestures: Gesture spotting and recognition for real-time music performance
Mallik et al. Virtual Keyboard: A Real-Time Hand Gesture Recognition-Based Character Input System Using LSTM and Mediapipe Holistic
Gu et al. Sensor fusion based manipulative action recognition
Huang et al. Visual Instruction Tuning towards General-Purpose Multimodal Model: A Survey
van Wyk et al. A multimodal gesture-based virtual interactive piano system using computer vision and a motion controller
Vasanthagokul et al. Virtual Mouse to Enhance User Experience and Increase Accessibility
Sen et al. HGR-FYOLO: a robust hand gesture recognition system for the normal and physically impaired person using frozen YOLOv5
KR102593866B1 (ko) 스마트 디바이스 사용 과정에서 시각 장애인의 객체 탐지를 돕기 위한 태스크 기반의 음향 가이드 방법 및 장치
WO2021075103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Skarga-Bandurova et al. Surgical Hand Gesture Prediction for the Operating Room.
WO2020170851A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021573162

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926832

Country of ref document: EP

Kind code of ref document: A1