JP7122090B2 - Skilled motion teaching system - Google Patents

Skilled motion teaching system Download PDF

Info

Publication number
JP7122090B2
JP7122090B2 JP2017141455A JP2017141455A JP7122090B2 JP 7122090 B2 JP7122090 B2 JP 7122090B2 JP 2017141455 A JP2017141455 A JP 2017141455A JP 2017141455 A JP2017141455 A JP 2017141455A JP 7122090 B2 JP7122090 B2 JP 7122090B2
Authority
JP
Japan
Prior art keywords
motion
data
expert
learner
motion data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017141455A
Other languages
Japanese (ja)
Other versions
JP2019020670A5 (en
JP2019020670A (en
Inventor
康浩 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maeda Corp
Original Assignee
Maeda Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maeda Corp filed Critical Maeda Corp
Priority to JP2017141455A priority Critical patent/JP7122090B2/en
Publication of JP2019020670A publication Critical patent/JP2019020670A/en
Publication of JP2019020670A5 publication Critical patent/JP2019020670A5/ja
Application granted granted Critical
Publication of JP7122090B2 publication Critical patent/JP7122090B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、熟練動作教示システムに関するものであり、例えば、土木作業や建築作業における熟練した作業者の動作を未熟な作業者に教示するためのシステムに関するものである。 TECHNICAL FIELD The present invention relates to a skilled motion teaching system, and for example, to a system for teaching unskilled workers the motions of a skilled worker in civil engineering work or construction work.

土木作業や建築作業の中には、熟練した作業者と未熟な作業者とで完成品質が全く異なる作業がある。例えば、左官作業は熟練者にしか行えない高度な仕上がりを要求されるものがあり、未熟者が熟練者と同様の作業を行うことができるようになるには長期間を要していた。このような熟練者にしか行えない作業は、他の分野においても種々存在する。熟練者の動作を未熟者に教えることは容易ではなく、熟練者にしか解らない所謂コツがあるのも事実である。そこで、熟練者の動作を未熟者に教え込むための技術が種々提案されている(例えば、特許文献1~特許文献4参照)。 Among civil engineering work and construction work, there is work in which the quality of completion is completely different between a skilled worker and an unskilled worker. For example, plastering requires a high degree of finish that only skilled workers can perform, and it took a long time for unskilled workers to be able to perform the same work as skilled workers. There are various types of work that can only be performed by skilled workers in other fields as well. It is not easy to teach an inexperienced person the motions of an expert, and it is also true that there are so-called tricks that only an expert can understand. Therefore, various techniques have been proposed for teaching an inexperienced person the motions of an expert (see, for example, Patent Documents 1 to 4).

特許文献1には、芸能人やスポーツ選手等との握手を利用者に体感させたり、書道、スポーツ、機械や乗り物の操縦等の特殊な技能を保持する熟練者の動作を利用者に体感させたりするための技術が記載されている。この体験動作復元装置は、手の形をした装置の構成に準じて、ヒンジ、可動ヒンジ、曲げ機構を備えた板とアクチュエータおよびリンクがボディスーツのような形状を呈する同装置の内側に貼り巡らされ、第1の端末装置およびネットワークを介して第2の端末装置から送られたデータに従って身体の各部位を適宜曲げたり動かしたりするようになっている。これにより、体験者は当該装置を着衣することによりあたかも体験提供者のような動作を体験することができるとしている。 In Patent Document 1, users are allowed to experience handshakes with celebrities, athletes, etc., or experience the actions of experts who have special skills such as calligraphy, sports, and operation of machines and vehicles. Techniques for doing so are described. This experiential movement restoration device conforms to the structure of a hand-shaped device, and a board with a hinge, a movable hinge, and a bending mechanism, actuators, and links are attached inside the device that has a shape like a bodysuit. Each part of the body is appropriately bent or moved according to data sent from the first terminal device and the second terminal device via the network. By doing so, the experiencer can experience the motions of the experience provider by wearing the device.

特許文献2には、現場熟練作業者の作業技能的なノウハウを体感する体感型訓練システムが記載されている。この感覚印加装置は、例えば、作業手袋や作業靴に内蔵した圧力印加装置であり、感覚取得装置で取得されたデータに基づいて技能取得対象物や技能取得工具、地面からの抗力又は抵抗感が加わるようになっている。また、訓練シミュレータ用計算機は、訓練者用端末表示手段、作業感覚印加手段及び物理量発生手段に、作業現場映像、熟練作業者の作業感覚及び物理量発生を再現するようになっている。これにより、熟練作業者による熟練作業を体感で学び、かつ体感で真似することができ、現場熟練作業者の作業技能的なノウハウを取得することができるとしている。 Patent Literature 2 describes a sensory-type training system for experiencing the work skill know-how of an on-site skilled worker. This sensation application device is, for example, a pressure application device built into work gloves or work shoes, and based on the data acquired by the sensation acquisition device, the resistance or resistance from the skill acquisition target, the skill acquisition tool, and the ground is generated. are coming to join. Further, the computer for the training simulator reproduces the work scene image, the work feeling of the skilled worker and the physical quantity generation on the terminal display means for the trainee, the work feeling applying means and the physical quantity generating means. As a result, it is possible to learn and imitate the skilled work of a skilled worker by experience, and to acquire the work skill know-how of the on-site skilled worker.

特許文献3には、競技指導者が競技中の競技者にリアルタイムに支援情報を提供できるようにするための技術が記載されている。この競技能力向上支援方法では、競技者に皮膚刺激を行う装置を装着させる。そして、「右移動せよ」を意味するものとして右個所の出力部から任意な皮膚感覚信号を発生させ、「左移動せよ」を意味するものとして左個所の出力部から任意な皮膚感覚信号を発生させ、「前移動せよ」を意味するものとして前個所の出力部から任意な皮膚感覚信号を発生させ、「後移動せよ」を意味するものとして後個所の出力部から任意な皮膚感覚信号を発生させるようにしている。 Patent Literature 3 describes a technique for enabling a competition coach to provide real-time support information to a competitor during a competition. In this athletic performance improvement support method, the athlete is made to wear a device for stimulating the skin. Then, an arbitrary skin sensation signal is generated from the right output section as meaning "move right", and an arbitrary skin sensation signal is generated from the left output section as meaning "move left". and generate an arbitrary skin sensory signal from the output part of the front part as meaning "move forward", and generate an arbitrary skin sensory signal from the output part of the rear part as meaning "move backward". I am trying to let

特許文献4には、熟練した技能者が塗装用手吹きガンを用いて塗装対象物を塗装したときの塗装用手吹きガンの動きを塗装用ロボットに容易に再現させるための技術が記載されている。この塗装用ロボットのティーチング装置は、塗装用手吹きガンに取り付けられて塗装用手吹きガンに作用する加速度を時系列で検出する加速度センサと、加速度センサにより検出された加速度を記憶する記憶手段と、記憶手段に記憶されている加速度に基づいて、塗装用ロボット20に塗装用手吹きガン10の動きを再現させるための位置制御データを生成する生成手段とを備えている。 Patent Document 4 describes a technique for allowing a coating robot to easily reproduce the movement of a hand-blown coating gun when a skilled technician uses the hand-blown coating gun to paint an object to be coated. there is This coating robot teaching device comprises an acceleration sensor attached to the hand-blown coating gun for detecting acceleration acting on the hand-blown coating gun in time series, and storage means for storing the acceleration detected by the acceleration sensor. and generating means for generating position control data for causing the painting robot 20 to reproduce the movement of the hand-blown painting gun 10 based on the acceleration stored in the storage means.

特開2002-123165号公報JP-A-2002-123165 特開2004-240264号公報JP 2004-240264 A 特開2008-48972号公報JP 2008-48972 A 特開2011-45951号公報JP 2011-45951 A

しかし、上述した従来の技術では、熟練者と学習者の性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等からなる属性の差違を考慮していない。すなわち、熟練者と学習者の属性が同様であればよいが、両者の属性が異なる場合には、正確な動作を教示できない場合がある。 However, the conventional techniques described above do not take into consideration the difference in attributes between the expert and the learner, such as gender, age, physique, muscle strength, height, grip strength, arm length, leg length, and the like. That is, it is sufficient if the attributes of the expert and the learner are the same, but if the attributes of the two are different, it may not be possible to teach an accurate motion.

また、例えば、学習者に装着具を装着させて熟練者の動作を教示する場合に、熟練者と学習者の属性が異なると、学習者に無理な動作(関節の可動範囲を外れる動作や筋力以上の重量物を持ち上げさせる動作等)を強いることとなり、学習者が怪我をする恐れがある。 In addition, for example, when the learner is instructed to perform the movements of an expert by wearing a harness, if the attributes of the expert and the learner are different, the learner will not be able to perform unreasonable movements (movements outside the movable range of joints, muscle strength, etc.). There is a risk that the learner will be injured by being forced to lift the above heavy objects.

本発明は、上述した事情に鑑み提案されたもので、熟練者と学習者の性別、年齢、体格、筋力等の属性の差違を考慮して、学習者の属性に応じて適切な熟練動作を教示することが可能な熟練動作教示システムを提供することを目的とする。 The present invention has been proposed in view of the above-described circumstances, and considers the difference in attributes such as gender, age, physique, muscle strength, etc. It is an object of the present invention to provide a skilled movement teaching system capable of teaching.

また、学習者に対して熟練者の動作を教示するための装置は、学習者の負担を軽減するために可能な限り小型であることが好ましい。 Moreover, it is preferable that the device for teaching the learner the actions of the expert is as small as possible in order to reduce the burden on the learner.

本発明は、上述した事情に鑑み提案されたもので、熟練者と学習者との間における属性(性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等)の差違を考慮して、学習者に過度の負担を掛けることなく、熟練動作を適切に教示することが可能な熟練動作教示システムを提供すること目的とする。 The present invention has been proposed in view of the above-described circumstances, and the attributes (gender, age, physique, muscle strength, height, grip strength, arm length, leg length, etc.) between experts and learners To provide a skilled motion teaching system capable of appropriately teaching a skilled motion without imposing an excessive burden on a learner in consideration of differences.

本発明に係る熟練動作教示システムは、上述した目的を達成するため、以下の特徴点を備えている。すなわち、本発明に係る熟練動作教示システムは、熟練者属性データ取得手段と、動作データ取得手段と、動作データ記憶手段と、学習者属性データ取得手段と、動作データ補正手段と、動作再現手段とを備えたことを特徴とする。 A skilled motion teaching system according to the present invention has the following features in order to achieve the above-described object. That is, the skilled movement teaching system according to the present invention includes expert attribute data acquisition means, motion data acquisition means, motion data storage means, learner attribute data acquisition means, motion data correction means, and motion reproduction means. characterized by comprising

熟練者属性データ取得手段は、熟練者の属性に関するデータを取得するための手段である。動作データ取得手段は、熟練者の動作データを取得するための手段である。動作データ記憶手段は、取得した動作データを、熟練者の属性に関するデータと関連付けて記憶するための手段である。学習者属性データ取得手段は、学習者の属性に関するデータを取得するための手段である。動作データ補正手段は、熟練者の属性と学習者の属性との差違に基づいて、記憶した動作データを学習者の属性に合わせて補正するための手段である。動作再現手段は、補正した動作データに基づいて、学習者に熟練者の動作を再現させるための手段である。この動作再現手段は、補正した動作データに基づいて、熟練者の動作データの範囲を超えないように学習者の動作を許容又は制限する。なお、学習者をロボットとすることが可能である。 The expert attribute data acquisition means is means for acquiring data relating to expert attributes. The motion data acquisition means is means for acquiring the motion data of the expert. The action data storage means is a means for storing the acquired action data in association with data relating to the attributes of the expert. The learner attribute data acquisition means is means for acquiring data relating to learner attributes. The action data correcting means is means for correcting the stored action data in accordance with the attribute of the learner based on the difference between the attribute of the expert and the attribute of the learner. The action reproduction means is means for causing the learner to reproduce the action of the expert based on the corrected action data. Based on the corrected motion data, the motion reproducing means permits or restricts the learner's motion so as not to exceed the range of the expert's motion data . In addition, it is possible to make a learner into a robot.

また、上述した構成からなる熟練動作教示システムにおいて、動作データ取得手段は、それぞれ属性に関するデータが異なる複数の熟練者から動作データをそれぞれ取得することが可能である。この場合、動作データ補正手段は、複数の動作データの中から学習者の属性に関するデータに合致又は近似した動作データを選択することにより補正を行う。 Further, in the skilled movement teaching system configured as described above, the movement data acquisition means can acquire movement data from a plurality of experts each having different attribute data. In this case, the motion data correcting means performs correction by selecting motion data matching or approximating the attribute data of the learner from among the plurality of motion data.

また、上述した構成からなる熟練動作教示システムにおいて、動作データ取得手段が取得する動作データは、熟練者の動作に関する三次元データと時間データとを組み合わせて作成することが可能である。 Further, in the skilled motion teaching system having the configuration described above, the motion data acquired by the motion data acquiring means can be created by combining three-dimensional data and time data relating to the motion of the expert.

また、上述した構成からなる熟練動作教示システムにおいて、動作データ取得手段が取得する動作データは、熟練者が動作した際の筋電情報とすることが可能である。この場合、動作再現手段は、学習者の筋肉に動作データを直接入力して熟練者の動作を再現させる。 Further, in the skilled motion teaching system having the above configuration, the motion data acquired by the motion data acquiring means can be myoelectric information when the expert moves. In this case, the motion reproducing means directly inputs motion data to the muscles of the learner to reproduce the motion of the expert.

本発明に係る熟練動作教示システムによれば、熟練者と学習者との間における属性(性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等)の差違を考慮して、熟練者の動作データを学習者の属性に適合するように補正することにより、学習者に対して適切な熟練動作の教示を行うことが可能となる。 According to the skilled movement teaching system of the present invention, the difference in attributes (sex, age, physique, muscle strength, height, grip strength, arm length, leg length, etc.) between the expert and the learner is considered. Then, by correcting the motion data of the expert so as to match the attribute of the learner, it is possible to teach the learner an appropriate skilled motion.

本発明の実施形態に係る熟練動作教示システムの概略構成を示す説明図。1 is an explanatory diagram showing a schematic configuration of a skilled motion teaching system according to an embodiment of the present invention; FIG. 本発明の実施形態に係る熟練動作教示システムの概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of a skilled motion teaching system according to an embodiment of the present invention; FIG. 本発明の実施形態に係る熟練動作教示システムで使用する熟練動作データの構成を示す説明図。FIG. 4 is an explanatory diagram showing the configuration of skilled movement data used in the skilled movement teaching system according to the embodiment of the present invention;

以下、図面を参照して、本発明の実施形態に係る熟練動作教示システムを説明する。図1~図3は本発明の実施形態に係る熟練動作教示システムを説明するもので、図1は熟練動作教示システムの概略構成を示す説明図、図2は熟練動作教示システムの概略構成を示すブロック図、図3は熟練動作データの構成を示す説明図である。 Hereinafter, a skilled motion teaching system according to an embodiment of the present invention will be described with reference to the drawings. 1 to 3 illustrate a skilled motion teaching system according to an embodiment of the present invention. FIG. 1 is an explanatory diagram showing the schematic configuration of the skilled motion teaching system, and FIG. 2 shows the schematic configuration of the skilled motion teaching system. FIG. 3 is a block diagram, and FIG. 3 is an explanatory diagram showing the configuration of skillful motion data.

<熟練動作教示システムの概要>
本発明の実施形態に係る熟練動作教示システムは、例えば、土木作業(パワーショベル、ブルドーザ、クレーンの操作)、建築作業(壁塗り、カンナがけ、ノコギリ引き)や、その他の作業(マッサージ、調理、演奏等)において、熟練者の動作を学習者に教示するためのシステムである。この熟練動作教示システムは、図2に示すように、熟練者属性データ取得手段10と、動作データ取得手段20と、動作データ記憶手段30と、学習者属性データ取得手段40と、動作データ補正手段50と、動作再現手段60とを備えている。
<Outline of Skilled Motion Teaching System>
The skilled motion teaching system according to the embodiment of the present invention is suitable for, for example, civil engineering work (power shovel, bulldozer, crane operation), construction work (wall painting, planing, sawing), and other work (massage, cooking, performance, etc.), it is a system for teaching a learner the actions of an expert. As shown in FIG. 2, this skilled motion teaching system includes expert attribute data acquisition means 10, motion data acquisition means 20, motion data storage means 30, learner attribute data acquisition means 40, and motion data correction means. 50 and motion reproduction means 60 .

本発明の実施形態に係る熟練動作教示システムは、図1に示すように、熟練者の動作データと、性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等の属性情報を取得して熟練動作データとして記憶する。また、学習者の性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等の属性情報を取得し、学習者属性データテーブルを作成して記憶する。 As shown in FIG. 1, the skilled motion teaching system according to the embodiment of the present invention includes motion data of a skilled person, sex, age, physique, muscle strength, height, grip strength, arm length, leg length, and the like. Attribute information is acquired and stored as skillful motion data. Also, attribute information such as the learner's sex, age, physique, muscle strength, height, grip strength, arm length, leg length, etc. is acquired, and a learner attribute data table is created and stored.

そして、学習者に熟練者の動作を教示する際に、熟練者の属性と学習者の属性との差違に基づいて、記憶した熟練動作データを学習者の属性に合わせて補正し、補正後の熟練動作データを学習者に対する再現データとして提供することにより、学習者に熟練者の動作を教示する。 Then, when teaching the learner the motions of the expert, the stored skillful motion data is corrected according to the attributes of the learner based on the difference between the attributes of the expert and the attributes of the learner. By providing the skillful motion data as reproduction data to the learner, the learner is taught the motion of the expert.

<熟練者属性データ取得手段>
熟練者属性データ取得手段10は、熟練者の属性に関するデータを取得するための手段であり、パーソナルコンピュータ及びこれにインストールされたソフトウェアと、パーソナルコンピュータに付帯する種々の機器により構成することができる。
<Expert attribute data acquisition means>
The expert attribute data acquisition means 10 is means for acquiring data relating to the attributes of an expert, and can be composed of a personal computer, software installed therein, and various devices attached to the personal computer.

例えば、パーソナルコンピュータに接続されたキーボード、マウス、タッチパネル等の入力手段から入力された熟練者の属性に関するデータを取得する。また、熟練者の動作を撮影し、当該撮影画像を画像認識して特徴点を抽出することにより熟練者の属性に関するデータを取得してもよいし、熟練者に加速度センサ、ストレインゲージ、圧力計等の計測器を装着させ、当該計測器からのセンシングデータに基づいて熟練者の属性に関するデータを取得してもよい。 For example, it acquires data on the attributes of an expert input from input means such as a keyboard, mouse, touch panel, etc. connected to a personal computer. Alternatively, data relating to the attributes of the expert may be acquired by photographing the movements of the expert, recognizing the photographed image, and extracting feature points. or the like, and acquire data on the attributes of the expert based on sensing data from the measuring device.

取得した熟練者の属性に関するデータは、熟練者属性データとして、パーソナルコンピュータに付帯したHDD等に記憶する。この際、熟練者を識別するためのIDと、当該熟練者の属性に関するデータとが関連付けられて、熟練者属性データが作成される。なお、熟練者属性データは、動作データ記憶手段30に記憶する熟練動作データの一部としてもよいし、熟練者の動作データに関連付けて記憶してもよい。 The acquired data on the expert's attribute is stored as expert's attribute data in an HDD or the like attached to the personal computer. At this time, the expert attribute data is created by associating the ID for identifying the expert with the data on the attribute of the expert. The expert attribute data may be part of the skilled action data stored in the action data storage means 30, or may be stored in association with the expert action data.

なお、熟練者の属性とは、性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等のことであり、熟練者の動作に対して影響を与える種々の身体的要因が含まれる。学習者の属性についても同様である。 The attributes of the expert are sex, age, physique, muscle strength, height, grip strength, arm length, leg length, etc., and various physical attributes that affect the actions of the expert. Factors included. The same applies to learner attributes.

<動作データ取得手段>
動作データ取得手段20は、熟練者の動作データを取得するための手段であり、パーソナルコンピュータ及びこれにインストールされたソフトウェアと、パーソナルコンピュータに付帯する種々の機器により構成することができる。
<Operation data acquisition means>
The motion data acquiring means 20 is means for acquiring the motion data of an expert, and can be composed of a personal computer, software installed therein, and various devices attached to the personal computer.

例えば、熟練者の身体の適宜箇所(関節近傍、頭、腰、指先、足先等)に加速度センサ、ストレインゲージ、圧力計等の計測器を装着させ、当該計測器からのセンシングデータに基づいて熟練者の動作データを取得することができる。このように各種の計測器を動作データ取得手段20の構成要素とする場合には、熟練者属性データ取得手段10の機能を兼ね備えることができる。また、動作データは、熟練者が動作した際の筋電情報であってもよい。 For example, an expert wears measuring instruments such as acceleration sensors, strain gauges, pressure gauges, etc. on appropriate parts of the body (near joints, head, waist, fingertips, toes, etc.), and based on the sensing data from the measuring instruments Operation data of the expert can be acquired. When various measuring instruments are used as components of the motion data acquiring means 20 in this way, the functions of the expert attribute data acquiring means 10 can also be provided. Further, the motion data may be myoelectric information when a skilled person moves.

取得した熟練者の動作データは、熟練者の属性に関する情報と関連付けた熟練動作データとしてパーソナルコンピュータに付帯したHDD等に記憶する。この際、熟練者の動作データと熟練者属性データを同一のファイルである熟練者動作データファイルに含めてもよいし、熟練者の動作データと熟練者の属性データとを別個のファイルとして、両者を関連付けて記憶してもよい。 The acquired action data of the expert is stored in an HDD or the like attached to the personal computer as skillful action data associated with information on the attributes of the expert. At this time, the motion data of the expert and the attribute data of the expert may be included in the same file, i.e., the motion data file of the expert, or the motion data of the expert and the attribute data of the expert may be stored as separate files. may be associated and stored.

動作データ取得手段20は、それぞれ属性に関するデータが異なる複数の熟練者から動作データをそれぞれ取得するように構成することが好ましい。このように、性別、年齢、体格、筋力、身長、握力、腕の長さ、脚の長さ等がそれぞれ異なる複数の熟練者から動作データを取得することにより、多様な属性を有する学習者に対して、より一層近似した動作データを取得することができる。 The motion data acquisition means 20 is preferably configured to acquire motion data from a plurality of experts each having different attribute data. In this way, by acquiring motion data from a plurality of experts with different gender, age, physique, muscle strength, height, grip strength, arm length, leg length, etc., learners with diverse attributes can acquire motion data. On the other hand, more approximate motion data can be obtained.

動作データ取得手段20が取得する動作データは、熟練者の動作に関する三次元データと時間データとを組み合わせて作成することが好ましい。すなわち、熟練者の三次元動作を時系列的に取得することにより、複雑な動作であっても正確に再現することができる。 The motion data acquired by the motion data acquiring means 20 is preferably created by combining three-dimensional data and time data relating to the motion of the expert. That is, by acquiring the three-dimensional motions of an expert in time series, even complicated motions can be accurately reproduced.

<動作データ記憶手段>
動作データ記憶手段30は、動作データ取得手段20により取得した動作データを、熟練者の属性に関するデータと関連付けて記憶するための手段であり、パーソナルコンピュータに付帯したHDD等により構成する。なお、パーソナルコンピュータに付帯したHDD等の記憶手段は、他のデータを記憶するための記憶手段としても機能する。
<Operation data storage means>
The action data storage means 30 is a means for storing the action data acquired by the action data acquisition means 20 in association with data relating to the attributes of the expert, and is constituted by an HDD or the like attached to a personal computer. Storage means such as an HDD attached to the personal computer also functions as a storage means for storing other data.

図3に、動作データ記憶手段30する熟練動作データの一例を示す。熟練動作データは、図3に示すように、どのような動作を行っているかを示す動作種別、熟練者を識別するための熟練者ID、熟練者の属性データ、実際に取得した動作データである実動作データファイルのファイル名等からなる。熟練動作データに含まれるデータは図3に示すものに限られず、必要なデータのみであってもよいし、他のデータを含んでいてもよい。 FIG. 3 shows an example of skillful motion data stored in the motion data storage means 30. As shown in FIG. As shown in FIG. 3, the skilled motion data includes a motion type indicating what kind of motion is being performed, a skilled worker ID for identifying the skilled worker, attribute data of the skilled worker, and actually acquired motion data. It consists of the file name of the actual operation data file. The data included in the skill action data is not limited to that shown in FIG. 3, and may include only necessary data or may include other data.

なお、属性データは、熟練動作データファイルに含ませてもよいし、別データファイルとして、熟練動作データファイルに関連付けて記憶してもよい。また、実動作データは、熟練動作データファイルに含ませてもよいし、別データファイルとして、熟練動作データファイルに関連付けて記憶してもよい。 The attribute data may be included in the skillful motion data file, or may be stored as a separate data file in association with the skillful motion data file. Further, the actual action data may be included in the skillful action data file, or may be stored as a separate data file in association with the skillful action data file.

<学習者属性データ取得手段>
学習者属性データ取得手段40は、学習者の属性に関するデータを取得するための手段であり、熟練者属性データ取得手段10と同様の構成とすることができる。すなわち、学習者属性データ取得手段40は、パーソナルコンピュータ及びこれにインストールされたソフトウェアと、パーソナルコンピュータに付帯する種々の機器により構成することができる。
<Learner attribute data acquisition means>
The learner attribute data acquisition means 40 is a means for acquiring data relating to learner attributes, and may have the same configuration as the expert attribute data acquisition means 10 . That is, the learner attribute data acquisition means 40 can be configured by a personal computer, software installed therein, and various devices attached to the personal computer.

例えば、パーソナルコンピュータに接続されたキーボード、マウス、タッチパネル等の入力手段から入力された学習者の属性に関するデータを取得する。また、学習者の動作を撮影し、当該撮影画像を画像認識して特徴点を抽出することにより学習者の属性に関するデータを取得してもよいし、学習者に加速度センサ、ストレインゲージ、圧力計等の計測器を装着させ、当該計測器からのセンシングデータに基づいて学習者の属性に関するデータを取得してもよい。 For example, it acquires data on learner's attributes input from input means such as a keyboard, mouse, and touch panel connected to a personal computer. In addition, it is also possible to obtain data on the learner's attributes by photographing the learner's movements, recognizing the photographed image, and extracting feature points. A measuring instrument such as a measuring instrument may be worn, and data regarding attributes of the learner may be acquired based on sensing data from the measuring instrument.

取得した学習者の属性に関するデータは、学習者属性データとして、パーソナルコンピュータに付帯したHDD等に記憶する。この際、学習者を識別するためのIDと、当該学習者の属性に関するデータとが関連付けられて、学習者属性データファイルが作成される。 The acquired data about the attribute of the learner is stored as learner attribute data in an HDD or the like attached to the personal computer. At this time, a learner attribute data file is created by associating the ID for identifying the learner with the data regarding the attribute of the learner.

<動作データ補正手段>
動作データ補正手段50は、熟練者の属性と学習者の属性との差違に基づいて、記憶した動作データを学習者の属性に合わせて補正するための手段であり、パーソナルコンピュータ及びこれにインストールされたソフトウェアにより構成する。
<Operation data correction means>
The motion data correction means 50 is a means for correcting the stored motion data in accordance with the attribute of the learner based on the difference between the attribute of the expert and the attribute of the learner, and is a personal computer and installed therein. configured by the software.

熟練者の属性と学習者の属性との差違とは、男性及び女性の区別、年齢の差、体格の差、筋力の差等のことであり、熟練者と学習者の動作に対して影響を与える種々の身体的要因に関する差違のことである。一般的に、男性は女性よりも体格がよいため筋力が強く、高齢者よりも若年者は筋力が強く、関節の可動範囲も広い。また、直接、筋力を比較して、両者の差違を求めることもできる。 Differences between the attributes of experts and learners include differences between men and women, differences in age, differences in physique, and differences in muscle strength, etc., and have an effect on the movements of experts and learners. It is the difference in terms of various physical factors that give. In general, men have a stronger physique than women and thus have stronger muscles, and younger people have stronger muscles and a wider range of joint motion than older people. It is also possible to directly compare the muscle strength and obtain the difference between the two.

それぞれ属性に関するデータが異なる複数の熟練者から動作データをそれぞれ取得した場合には、複数の動作データの中から学習者の属性に関するデータに合致又は近似した動作データを選択することにより補正を行うことができる。 When motion data is obtained from a plurality of experts with different attribute data, correction is performed by selecting motion data that matches or approximates the learner's attribute data from among the plurality of motion data. can be done.

このように、熟練者と学習者の動作に対して影響を与える種々の身体的要因に関する差違を求め、学習者に教示する熟練者の動作データについて当該学習者に適するように補正することにより、学習者に対して適切な熟練動作の教示を行うことができるとともに、学習者に無理な動作(関節の可動範囲を外れる動作や筋力以上の重量物を持ち上げさせる動作等)を強いることがなくなる。 In this way, by obtaining differences in various physical factors that affect the actions of the expert and the learner, and correcting the action data of the expert to be taught to the learner so as to be suitable for the learner, It is possible to teach the learner appropriate skillful motions, and to prevent the learner from being forced to perform unreasonable motions (eg, motions outside the movable range of joints, motions to lift a heavy object exceeding muscle strength, etc.).

<動作再現手段>
動作再現手段60は、補正した動作データに基づいて、学習者に熟練者の動作を再現させるための手段であり、学習者の身体の適宜箇所(関節近傍、頭、腰、指先、足先等)に装着した補助器具や電流発生器からなる。すなわち、学習者の身体の適宜箇所にアクチュエータを備えた補助器具を装着させ、アクチュエータを動作させることにより、熟練者の動作を再現することができる。また、学習者の皮膚に電流発生器を貼り付け、電流発生器から発生する電流の強さに応じて学習者の筋肉を動かすことにより、熟練者の動作を再現することができる。
<Action reproduction means>
The motion reproduction means 60 is a means for causing the learner to reproduce the motion of the expert based on the corrected motion data, and reproduces appropriate parts of the learner's body (near joints, head, waist, fingertips, toes, etc.). ) and consists of an auxiliary device and a current generator. That is, by attaching an auxiliary device having an actuator to an appropriate part of the learner's body and operating the actuator, the motion of the expert can be reproduced. Also, by attaching a current generator to the learner's skin and moving the learner's muscles in accordance with the intensity of the current generated from the current generator, it is possible to reproduce the movements of an expert.

動作再現手段60は、補正した動作データに基づいて、学習者の動作を許容又は制限することが好ましい。例えば、学習者に対して熟練者の手の動きを学習させる場合に、学習者は、熟練者の動作データの範囲内では何ら制限を受けずに手を動かすことができる。一方、学習者の手の動きが熟練者の動作データの範囲を超えそうになった場合に、それ以上、手を動かせないようにすればよい。このように、熟練者の動作データが補正されていることを前提として、熟練者の動作の範囲内で学習者の動作を許容又は制限することにより、学習者は模範となる動作を倣って適切な動作を再現することができる。 The motion reproducing means 60 preferably permits or restricts the learner's motion based on the corrected motion data. For example, when the learner learns the motion of the expert's hand, the learner can move the hand without any restrictions within the range of the expert's motion data. On the other hand, when the movement of the learner's hand is about to exceed the range of the motion data of the expert, it is sufficient to prevent the learner from moving the hand any further. In this way, on the premise that the motion data of the expert is corrected, the learner's motion is permitted or restricted within the range of the motion of the expert, so that the learner follows the model motion and appropriately behavior can be reproduced.

<ロボットへの適用>
本発明に係る熟練動作教示システムは、ロボットに適用することができる。この場合、ロボットが学習者となり、ロボットの仕様諸元が学習者の属性に関するデータとなり、ロボットのアーム等を動作させるためのアクチュエータ等が動作再現手段60となる。このように、本発明に係る熟練動作教示システムをロボットに適用することにより、熟練者の動作をロボットに再現させることができる。
<Application to robots>
The skilled motion teaching system according to the present invention can be applied to robots. In this case, the robot serves as the learner, the specifications of the robot serve as data relating to the attributes of the learner, and the actuators and the like for operating the arms of the robot serve as the action reproduction means 60 . Thus, by applying the skilled motion teaching system according to the present invention to a robot, it is possible to cause the robot to reproduce the motion of an expert.

10 熟練者属性データ取得手段
20 動作データ取得手段
30 動作データ記憶手段
40 学習者属性データ取得手段
50 動作データ補正手段
60 動作再現手段
10 expert attribute data acquisition means 20 motion data acquisition means 30 motion data storage means 40 learner attribute data acquisition means 50 motion data correction means 60 motion reproduction means

Claims (5)

熟練者の属性に関するデータを取得するための熟練者属性データ取得手段と、
熟練者の動作データを取得するための動作データ取得手段と、
取得した動作データを、熟練者の属性に関するデータと関連付けて記憶するための動作データ記憶手段と、
学習者の属性に関するデータを取得するための学習者属性データ取得手段と、
熟練者の属性と学習者の属性との差違に基づいて、記憶した動作データを学習者の属性に合わせて補正するための動作データ補正手段と、
補正した動作データに基づいて、学習者に熟練者の動作を再現させるための動作再現手段と、を備え、
前記動作再現手段は、補正した動作データに基づいて、熟練者の動作データの範囲を超えないように学習者の動作を許容又は制限する、
ことを特徴とする熟練動作教示システム。
an expert attribute data acquisition means for acquiring data on an expert attribute;
motion data acquisition means for acquiring motion data of the expert;
motion data storage means for storing the acquired motion data in association with data relating to the attributes of the expert;
a learner attribute data acquisition means for acquiring data on learner attributes;
motion data correction means for correcting the stored motion data in accordance with the attribute of the learner based on the difference between the attribute of the expert and the attribute of the learner;
a motion reproduction means for causing the learner to reproduce the motion of the expert based on the corrected motion data;
The motion reproduction means permits or restricts the learner's motion based on the corrected motion data so as not to exceed the range of the expert's motion data .
A skilled motion teaching system characterized by:
前記動作データ取得手段は、それぞれ属性に関するデータが異なる複数の熟練者から動作データをそれぞれ取得し、
前記動作データ補正手段は、複数の動作データの中から学習者の属性に関するデータに合致又は近似した動作データを選択することにより補正を行う、
ことを特徴とする請求項に記載の熟練動作教示システム。
The motion data acquisition means acquires motion data from a plurality of experts each having different attribute data,
The motion data correcting means performs correction by selecting motion data matching or approximating data relating to a learner's attribute from among a plurality of motion data.
2. The skilled motion teaching system according to claim 1 , wherein:
前記動作データ取得手段が取得する動作データは、熟練者の動作に関する三次元データと時間データとを組み合わせて作成する、
ことを特徴とする請求項1又は2に記載の熟練動作教示システム。
The motion data acquired by the motion data acquisition means is created by combining three-dimensional data and time data relating to the motion of the expert.
3. The skilled motion teaching system according to claim 1 or 2 , characterized in that:
前記動作データ取得手段が取得する動作データは、熟練者が動作した際の筋電情報とし、
前記動作再現手段は、学習者の筋肉に動作データを直接入力して熟練者の動作を再現させる、
ことを特徴とする請求項1~のいずれか1項に記載の熟練動作教示システム。
The motion data acquired by the motion data acquisition means is myoelectric information when a skilled person moves,
The motion reproducing means directly inputs motion data into the muscles of the learner to reproduce the motion of the expert.
The skilled movement teaching system according to any one of claims 1 to 3 , characterized in that:
前記学習者は、ロボットである、
ことを特徴とする請求項1~のいずれか1項に記載の熟練動作教示システム。
the learner is a robot;
The skilled movement teaching system according to any one of claims 1 to 3 , characterized in that:
JP2017141455A 2017-07-21 2017-07-21 Skilled motion teaching system Active JP7122090B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017141455A JP7122090B2 (en) 2017-07-21 2017-07-21 Skilled motion teaching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017141455A JP7122090B2 (en) 2017-07-21 2017-07-21 Skilled motion teaching system

Publications (3)

Publication Number Publication Date
JP2019020670A JP2019020670A (en) 2019-02-07
JP2019020670A5 JP2019020670A5 (en) 2020-08-13
JP7122090B2 true JP7122090B2 (en) 2022-08-19

Family

ID=65354232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017141455A Active JP7122090B2 (en) 2017-07-21 2017-07-21 Skilled motion teaching system

Country Status (1)

Country Link
JP (1) JP7122090B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167147B1 (en) * 2018-03-29 2020-10-16 한국전자기술연구원 Simulator and method to share training experience
JP2020173326A (en) * 2019-04-10 2020-10-22 新日本建工株式会社 Field work education system
TW202116381A (en) * 2019-07-10 2021-05-01 日商Ipc股份有限公司 Action experience system and actuator wearing device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123165A (en) 2000-06-30 2002-04-26 Nec Soft Ltd System and method for selling pseudo-experience
JP2005111178A (en) 2003-10-10 2005-04-28 Matsushita Electric Works Ltd Motion training display system
JP2009273551A (en) 2008-05-13 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> Exercise learning support device
JP2011123411A (en) 2009-12-14 2011-06-23 Emprie Technology Development LLC Motion analyzer and motion analyzing method
JP2012078768A (en) 2010-09-06 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> Person matching device, method and program
JP6124308B2 (en) 2012-09-12 2017-05-10 国立研究開発法人産業技術総合研究所 Operation evaluation apparatus and program thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10153946A (en) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp Sensation information presenting device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123165A (en) 2000-06-30 2002-04-26 Nec Soft Ltd System and method for selling pseudo-experience
JP2005111178A (en) 2003-10-10 2005-04-28 Matsushita Electric Works Ltd Motion training display system
JP2009273551A (en) 2008-05-13 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> Exercise learning support device
JP2011123411A (en) 2009-12-14 2011-06-23 Emprie Technology Development LLC Motion analyzer and motion analyzing method
JP2012078768A (en) 2010-09-06 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> Person matching device, method and program
JP6124308B2 (en) 2012-09-12 2017-05-10 国立研究開発法人産業技術総合研究所 Operation evaluation apparatus and program thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熟練者と学習者の視点を統合するスキル動作提示手法の提案,インタラクション2011予稿集,一般社団法人情報処理学会,2011年03月11日,p.1~4

Also Published As

Publication number Publication date
JP2019020670A (en) 2019-02-07

Similar Documents

Publication Publication Date Title
CA2686173C (en) Method and system for real time interactive dynamic alignment of prosthetics
JP2852925B2 (en) Physical exercise proficiency education system
JP7122090B2 (en) Skilled motion teaching system
KR101931784B1 (en) Virtual fitness system for multi-user
Langholz et al. Musculoskeletal modelling in sports-evaluation of different software tools with focus on swimming
KR101909693B1 (en) Fitness system providing virtual fitness trainer based on augmented reality
US11426099B2 (en) Mobile device avatar generation for biofeedback to customize movement control
Fong et al. A therapist-taught robotic system for assistance during gait therapy targeting foot drop
Gauthier et al. Human movement quantification using Kinect for in-home physical exercise monitoring
Mahadas et al. Biomechanics of the golf swing using OpenSim
Mourão et al. Effective swimmer’s action during the grab start technique
JP4862537B2 (en) Strength training equipment
Hirasawa et al. Promotion system for home-based squat training using openpose
KR20210091955A (en) Exercise posture correction program
WO2018207388A1 (en) Program, device and method relating to motion capture
WO2020241738A1 (en) Training assisting method and device
JP6997228B2 (en) Deep muscle state estimator
JP2021191356A (en) Correction content learning device, operation correction device and program
TWI601526B (en) Lower limb rehabilitation device control method and the implementation of the method of lower limb rehabilitation device
KR102020129B1 (en) Rehabilitation walking method considering patient&#39;s rom characteristics and system thereof
Heisenberg et al. Arm prosthesis simulation on a virtual reality L-shaped workbench display system using a brain computer interface
JP2016151750A (en) Care training virtual reality system and evaluation system of care robot or care apparatus
Liebermann et al. Video-based technologies
KR102510048B1 (en) Control method of electronic device to output augmented reality data according to the exercise motion
Beckerle Human-robot body experience

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7122090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150