JP6639166B2 - Apparatus and method for controlling emotional motion of moving body - Google Patents

Apparatus and method for controlling emotional motion of moving body Download PDF

Info

Publication number
JP6639166B2
JP6639166B2 JP2015181714A JP2015181714A JP6639166B2 JP 6639166 B2 JP6639166 B2 JP 6639166B2 JP 2015181714 A JP2015181714 A JP 2015181714A JP 2015181714 A JP2015181714 A JP 2015181714A JP 6639166 B2 JP6639166 B2 JP 6639166B2
Authority
JP
Japan
Prior art keywords
emotion
parameter
value
unit
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015181714A
Other languages
Japanese (ja)
Other versions
JP2017056504A (en
Inventor
里奈 林
里奈 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015181714A priority Critical patent/JP6639166B2/en
Publication of JP2017056504A publication Critical patent/JP2017056504A/en
Application granted granted Critical
Publication of JP6639166B2 publication Critical patent/JP6639166B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動作体の感情動作制御装置及び感情動作制御方法に関する。   The present invention relates to an emotional motion control device and a motion control method for a moving body.

近年、コミュニケーション対象体であるユーザの動作などの外部状況に基づいて感情を表出する動作体が実現化されている。   2. Description of the Related Art In recent years, an operation body that expresses an emotion based on an external situation such as an operation of a user who is a communication target has been realized.

例えば、特許文献1の動作体は、外部状況に基づいて喜怒哀楽などの感情を生成し、生成した感情を表す行動をとる構成とされている。特に、特許文献1の動作体は、生成した感情のパラメータの値が設定された閾値より大きい場合、生成した感情を表す反射的な行動をとり、生成した感情のパラメータの値が設定された閾値以下の場合、生成した感情を表す段階的行動をとるように構成されている。これにより、特許文献1の動作体は、ユーザが動作体の感情をより直感的に理解することができるように工夫されている。   For example, the moving body of Patent Literature 1 is configured to generate an emotion such as emotion, joy, and so on based on an external situation, and to take an action indicating the generated emotion. In particular, when the value of the parameter of the generated emotion is larger than the set threshold, the moving body of Patent Document 1 takes a reflexive action representing the generated emotion, and sets the value of the parameter of the generated emotion to the set threshold. In the following cases, it is configured to take a stepwise action representing the generated emotion. Thereby, the moving body of Patent Document 1 is devised so that the user can more intuitively understand the emotion of the moving body.

特開2002−36158号公報JP-A-2002-36158

特許文献1の動作体は、喜怒哀楽などの感情の一つを表出するように構成されており、喜怒哀楽などの感情を複数組み合わせて表出することができない。そのため、特許文献1の動作体は、複雑な感情を表出することができない。   The moving body of Patent Literature 1 is configured to express one of emotions such as emotions, emotions, and so on, and cannot express a plurality of emotions such as emotions, emotions, and so on. Therefore, the moving body of Patent Literature 1 cannot express complicated emotions.

本発明は、上記を鑑みなされたものであって、動作体に複雑な感情を表出させることができる動作体の感情動作制御装置及び感情動作制御方法を実現する。   The present invention has been made in view of the above, and realizes an emotional motion control device and an emotional motion control method for an motion body that can express a complex emotion in the motion body.

本発明の一態様に係る動作体の感情動作制御装置は、感情を表出する動作体の感情動作制御装置であって、
コミュニケーション対象体の動作を含む外部状況に基づいて、前記動作体における複数の動作部夫々の動作方向を決定する決定部と、
前記動作部を決定した動作方向に動作させるために、前記動作部を動作させる駆動部を制御する制御部と、
を備え、
前記決定部は、
前記外部状況に基づいて、感情のパラメータの値を決定するパラメータ決定部と、
前記決定した感情のパラメータの値に基づいて、前記動作体の複数の動作部に夫々表出させる感情を決定する感情決定部と、
前記決定した動作部に表出させる感情と、複数の感情に夫々対応するように設定された、前記動作体の基準姿勢に対するポジティブ方向及びネガティブ方向と、に基づいて、前記動作部の動作方向を決定する動作決定部と、
を備え、
前記感情決定部は、複数の感情のパラメータの値に基づいて、前記複数の動作部のうち一部の動作部に表出させる感情を他の動作部に表出させる感情と異なるように決定可能である。
An emotional motion control device for an operating body according to an aspect of the present invention is an emotional motion control device for an operating body that expresses an emotion,
A determining unit that determines an operating direction of each of the plurality of operating units in the operating body based on an external situation including the operation of the communication target;
A control unit that controls a driving unit that operates the operation unit, in order to operate the operation unit in the determined operation direction;
With
The determining unit includes:
Based on the external situation, a parameter determining unit that determines the value of the parameter of the emotion,
Based on the value of the parameter of the determined emotion, an emotion determining unit that determines an emotion to be expressed in each of the plurality of operating units of the operating body,
Based on the emotion to be expressed in the determined motion unit and the positive direction and the negative direction with respect to the reference posture of the motion body set to respectively correspond to a plurality of emotions, the motion direction of the motion unit An operation determining unit to determine,
With
The emotion determination unit can determine, based on a value of a parameter of a plurality of emotions, an emotion to be expressed by some of the plurality of operation units different from an emotion to be expressed by another operation unit. It is.

上述の動作体の感情動作制御装置において、前記感情決定部は、前記決定した感情のパラメータの値と、設定された閾値と、に基づいて、最も大きいパラメータの値を有する感情に対して他の感情のパラメータの値が前記閾値を超えているか否かを判定し、前記他の感情のパラメータの値が閾値を超えている場合、前記最も大きいパラメータの値を有する感情をメイン感情に決定すると共に前記他の感情をサブ感情に決定することが好ましい。   In the above-described emotional motion control apparatus for an operating body, the emotion determination unit may determine, based on the determined parameter value of the emotion and the set threshold, another emotion with respect to the emotion having the largest parameter value. It is determined whether or not the value of the parameter of the emotion exceeds the threshold, and if the value of the parameter of the other emotion exceeds the threshold, the emotion having the largest parameter value is determined as the main emotion. It is preferable that the other emotion is determined as a sub-emotion.

上述の動作体の感情動作制御装置において、前記感情決定部は、前記メイン感情を表出させる動作部の個数が前記サブ感情を表出させる動作部の個数より多くなるように、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部を決定することが好ましい。   In the emotion motion control device for an operating body described above, the emotion determination unit may determine the main emotion so that the number of the operation units that express the main emotion is greater than the number of the operation units that express the sub emotion. It is preferable to determine an operating unit to express and an operating unit to express the sub-emotion.

上述の動作体の感情動作制御装置において、前記複数の動作部の夫々の重要度を示す重みが設定されており、
前記感情決定部は、前記メイン感情を表出させる動作部の重みの総和が前記サブ感情を表出させる動作部の重みの総和に対して大きくなるように、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部を決定することが好ましい。
In the emotional motion control device for the above-described motion body, a weight indicating the importance of each of the plurality of motion units is set,
The operation unit that expresses the main emotion such that the sum of the weights of the operation units that express the main emotion is greater than the sum of the weights of the operation units that express the sub-emotion. It is preferable to determine an operation unit for expressing the sub-emotion.

上述の動作体の感情動作制御装置において、前記メイン感情及び前記サブ感情におけるポジティブ感情及びネガティブ感情を含む感情種別の関係とそれらのパラメータの値と前記複数の動作部の夫々の重要度を示す重みとを関連付けて、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部が設定されており、
前記感情決定部は、前記メイン感情と前記サブ感情との感情種別が等しい場合、前記メイン感情のパラメータの値に従って当該メイン感情を表出させる動作部の個数が前記重みの大きい順に増加するように当該動作部を決定し、前記サブ感情のパラメータの値に従って当該サブ感情を表出させる動作部の個数が前記重みの小さい順に増加するように当該動作部を決定し、
前記感情決定部は、前記メイン感情と前記サブ感情との感情種別が異なる場合、前記メイン感情のパラメータの値に従って当該メイン感情を表出させる動作部の個数が前記重みの小さい順に増加するように当該動作部を決定し、前記サブ感情のパラメータの値に従って当該サブ感情を表出させる動作部の個数が前記重みの大きい順に増加するように当該動作部を決定することが好ましい。
In the above-described emotional motion control apparatus for an operating body, the relationship between emotion types including a positive emotion and a negative emotion in the main emotion and the sub-emotion, values of those parameters, and weights indicating importance of each of the plurality of operation units are provided. And an operation unit that expresses the main emotion and an operation unit that expresses the sub emotion are set,
When the emotion type of the main emotion is equal to the emotion type of the sub-emotion, the number of the operation units that expresses the main emotion according to the value of the parameter of the main emotion increases in the descending order of the weight. Determine the operation unit, determine the operation unit such that the number of operation units to express the sub-emotion according to the value of the parameter of the sub-emotion increases in the order of the smaller weight,
When the emotion type of the main emotion is different from the sub-emotion, the emotion determination unit increases the number of the operation units that express the main emotion in accordance with the value of the parameter of the main emotion in order of increasing the weight. It is preferable that the operating unit is determined, and the operating unit is determined such that the number of operating units for expressing the sub-emotion increases in descending order of the weight according to the value of the parameter of the sub-emotion.

上述の動作体の感情動作制御装置において、前記動作決定部は、前記メイン感情のパラメータの値と前記サブ感情のパラメータの値との比に基づいて、前記メイン感情を表出させるための動作体の動作量と前記サブ感情を表出させるための動作体の動作量を決定することが好ましい。   In the above-described motion-object emotion operation control device, the motion determination unit may include an operation object for expressing the main emotion based on a ratio of a parameter value of the main emotion to a parameter value of the sub-emotion. It is preferable to determine the amount of movement of the moving body and the amount of movement of the moving body for expressing the sub-emotion.

本発明の一態様に係る動作体の感情動作制御方法は、感情を表出する動作体の感情動作制御方法において、
コミュニケーション対象体の動作を含む外部状況に基づいて、前記動作体における複数の動作部夫々の動作方向を決定する工程と、
前記動作部を決定した動作方向に動作させるために、前記動作部を動作させる駆動部を制御する工程と、
を備え、
前記複数の動作部夫々の動作方向を決定する工程は、
前記外部状況に基づいて、感情のパラメータの値を決定する工程と、
前記決定した感情のパラメータの値に基づいて、前記動作体の複数の動作部に夫々表出させる感情を決定する工程と、
前記決定した動作部に表出させる感情と、複数の感情に夫々対応するように設定された、前記動作体の基準姿勢に対するポジティブ方向及びネガティブ方向と、に基づいて、前記動作部の動作方向を決定する工程と、
を備え、
前記動作体の複数の動作部に夫々表出させる感情を決定する工程では、複数の感情のパラメータの値に基づいて、前記複数の動作部のうち一部の動作部に表出させる感情を他の動作部に表出させる感情と異なるように決定可能である。
An emotional motion control method for an operating body according to one embodiment of the present invention is a method for controlling an emotional motion of an operating body that expresses an emotion,
Based on an external situation including an operation of the communication target, a step of determining an operation direction of each of the plurality of operation units in the operation body,
Controlling the driving unit to operate the operation unit to operate the operation unit in the determined operation direction;
With
The step of determining the operation direction of each of the plurality of operation units,
Based on the external situation, determining the value of the parameter of emotion,
Based on the value of the determined parameter of the emotion, a step of determining an emotion to be expressed in each of the plurality of motion units of the motion body,
Based on the emotion to be expressed in the determined motion unit and the positive direction and the negative direction with respect to the reference posture of the motion body, which are set to correspond to the plurality of emotions, respectively, the motion direction of the motion unit The step of determining;
With
In the step of determining the emotion to be expressed by each of the plurality of motion units of the motion body, the emotion to be expressed by some of the plurality of motion units may be determined based on the values of the parameters of the plurality of emotions. Can be determined so as to be different from the emotions to be expressed by the motion section.

本発明によれば、動作体に複雑な感情を表出させることができる動作体の感情動作制御装置及び感情動作制御方法を実現することができる。   ADVANTAGE OF THE INVENTION According to this invention, the emotional-motion control apparatus and the emotional-motion control method of the operating body which can make a moving body express complicated emotion can be implement | achieved.

実施の形態における動作体の制御系のブロック図である。FIG. 3 is a block diagram of a control system of an operating body in the embodiment. 実施の形態における動作体を模式的に示す図である。It is a figure which shows the operating body in embodiment typically. 実施の形態における決定部のブロック図である。FIG. 4 is a block diagram of a determining unit according to the embodiment. 実施の形態の感情動作制御方法を示すフローチャート図である。It is a flowchart figure which shows the emotion action control method of embodiment. 感情のパラメータの値の具体例を示す図である。It is a figure showing the example of the value of the parameter of emotion. 動作体が感情を表出する様子を模式的に示す図である。It is a figure showing typically signs that an operation body expresses an emotion. 感情のパラメータの値の内、メイン感情と同じ感情方向のパラメータの値が閾値を超えた具体例を示す図である。It is a figure which shows the specific example in which the value of the parameter of the emotion direction same as a main emotion among the values of the parameter of an emotion exceeded the threshold value. 動作体が複数の感情を表出する様子を模式的に示す図である。It is a figure showing typically signs that an operation body expresses a plurality of emotions. 感情のパラメータの値の内、メイン感情と異なる感情方向のパラメータの値が閾値を超えた具体例を示す図である。It is a figure which shows the specific example in which the value of the parameter of the emotion direction different from the main emotion among the values of the emotion parameter exceeded the threshold value. 動作体が複数の感情を表出する様子を模式的に示す図である。It is a figure showing typically signs that an operation body expresses a plurality of emotions. 感情のパラメータの値の内、メイン感情と同じ感情方向と異なる感情方向のパラメータの値が複数閾値を超えた具体例を示す図である。It is a figure which shows the specific example in which the value of the parameter of the emotion direction different from the same emotion direction as the main emotion among the parameter values of an emotion exceeded a several threshold value.

以下、本実施の形態の動作体の感情動作制御装置及び感情動作制御方法(以下、単に感情動作制御装置、感情動作制御方法と省略する場合がある。)を説明する。先ず、感情動作制御装置を搭載した動作体の構成を説明する。図1は、本実施の形態における動作体の制御系のブロック図である。図2は、本実施の形態における動作体を模式的に示す図である。図3は、本実施の形態における決定部のブロック図である。   Hereinafter, an emotional motion control device and an emotional motion control method for a moving body according to the present embodiment (hereinafter sometimes simply referred to as an emotional motion control device and an emotional motion control method) will be described. First, a description will be given of a configuration of a moving body equipped with an emotion motion control device. FIG. 1 is a block diagram of a control system of an operating body according to the present embodiment. FIG. 2 is a diagram schematically showing an operating body in the present embodiment. FIG. 3 is a block diagram of the determining unit according to the present embodiment.

動作体1は、感情を表出するロボットであり、図1に示すように、検出部2、感情動作制御装置3、駆動部4及び記憶部5を備えている。例えば、動作体1は、図2に示すように、コミュニケーション対象体であるユーザの言動などの外部状況に基づいて感情を表出する人型ロボットであり、複数の動作部6が動作することで感情を表出する。   The operating body 1 is a robot that expresses emotions, and includes a detecting unit 2, an emotional motion control device 3, a driving unit 4, and a storage unit 5, as shown in FIG. For example, as shown in FIG. 2, the moving body 1 is a humanoid robot that expresses an emotion based on an external situation such as the behavior of a user who is a communication target, and a plurality of operating units 6 operate. Express emotions.

但し、動作体1は、複数の動作部を備えていれば、人型ロボットに限定されない。例えば、動作体1は、複数の光源によって発光領域を立体的に変化させる動作部(動作領域)を複数備える構成でもよい。また、動作体1は、実際のロボットであっても仮想のロボット(即ち、コンピュータグラフィックスなど)であってもよい。   However, the operating body 1 is not limited to a humanoid robot as long as it has a plurality of operating units. For example, the operating body 1 may be configured to include a plurality of operating units (operating regions) that three-dimensionally change a light emitting region by a plurality of light sources. The operating body 1 may be a real robot or a virtual robot (that is, computer graphics or the like).

動作部6は、感情を表出するために動作する部分であり、例えば、頭部、胴部、上肢及び下肢などである。これらの動作部6は夫々駆動部4によって動作する。なお、図1では、一つの駆動部4のみを代表的に図示しているが、各々の動作部6を個別の駆動部4で動作させるため、実際には動作体1は複数の駆動部4を備えている。   The operation unit 6 is a part that operates to express an emotion, such as a head, a torso, an upper limb, and a lower limb. These operating units 6 are operated by the driving unit 4 respectively. Although FIG. 1 shows only one driving unit 4 as a representative, each operating unit 6 is operated by an individual driving unit 4. It has.

このような動作体1は、所謂ラバン理論に基づいて喜怒哀楽などの感情を表出する。ラバン理論は、戦闘状態であるポジティブ方向への動作及び陶酔状態であるネガティブ方向への動作をEffort(Weight effort, Time effort, Space effort, Flow effort)とShape(Table shape, Door shape, Wheel plane shape)という2特徴軸に細分化することで、喜怒哀楽などの感情を表出できるという理論である。   Such an operating body 1 expresses emotions such as emotions and sorrows based on the so-called Laban theory. Laban theory describes movement in the positive direction, which is a battle state, and movement in the negative direction, which is a euphoric state, as Effort (Weight effort, Time effort, Space effort, Flow effort) and Shape (Table shape, Door shape, Wheel plane shape). The theory is that emotions such as emotions, emotions, and so on can be expressed by subdividing it into two feature axes.

例えば、動作体1が「喜」の感情を表出する場合、動作体1の基準姿勢に対して当該動作体1がDoor shapeで上方(ポジティブ方向)に伸びる。動作体1が「哀」の感情を表出する場合、動作体1の基準姿勢に対して当該動作体1がDoor shapeで下方(ネガティブ方向)に縮む。動作体1が「楽」の感情を表出する場合、動作体1の基準姿勢に対して当該動作体1がTable shapeで膨張(ポジティブ方向)する。動作体1が「怒」の感情を表出する場合、動作体1の基準姿勢に対して当該動作体1がTable shapeで膨張(ポジティブ方向)しつつ、Wheel plane shapeで前進(ポジティブ方向)する。ここで、動作体1の基準姿勢は、動作体1が無感情のときの姿勢である。但し、動作体1の感情表出は、上述の限りでなく、他の動作によって喜怒哀楽などの感情を表出してもよく、また、他の理論に基づいてもよい。   For example, when the moving body 1 expresses the feeling of “pleasure”, the moving body 1 extends upward (positively) in a door shape with respect to the reference posture of the moving body 1. When the moving body 1 expresses the feeling of "sorrow", the moving body 1 contracts downward (negative direction) in a Door shape with respect to the reference posture of the moving body 1. When the moving body 1 expresses the feeling of “easy”, the moving body 1 expands in a table shape (positive direction) with respect to the reference posture of the moving body 1. When the moving body 1 expresses the feeling of “anger”, the moving body 1 expands (positive direction) in a table shape with respect to the reference posture of the moving body 1 and moves forward (positive direction) in a wheel plane shape. . Here, the reference posture of the moving body 1 is a posture when the moving body 1 has no emotion. However, the expression of the emotion of the moving body 1 is not limited to the above, and may express emotions such as emotions and joys by other operations, or may be based on another theory.

検出部2は、外部状況を検出する。検出部2は、外部状況としてユーザが発する声などを集音するためのマイク、外部状況としてユーザの存在や動作及びユーザまでの距離などを検出するためのステレオカメラ又はレーザレンジセンサ、及び外部状況としてユーザが動作体1に接触した際の圧力を検出するための圧力センサなどを組み合わせて備えている。但し、検出部2は、検出する外部状況に応じて、他のセンサを用いることができる。このような検出部2は、外部状況を示す情報を感情動作制御装置3に出力する。   The detecting unit 2 detects an external situation. The detecting unit 2 includes a microphone for collecting a voice uttered by the user as an external situation, a stereo camera or a laser range sensor for detecting the presence or operation of the user and a distance to the user as the external situation, and an external situation. And a pressure sensor for detecting the pressure when the user comes into contact with the operating body 1. However, the detection unit 2 can use another sensor according to the external situation to be detected. Such a detection unit 2 outputs information indicating the external situation to the emotional motion control device 3.

感情動作制御装置3は、図1に示すように、決定部31及び制御部32を備えている。決定部31は、検出部2から入力される情報が示す外部状況に基づいて、動作体1における複数の動作部6夫々の動作方向を決定する。本実施の形態の決定部31は、パラメータ決定部31a、感情決定部31b及び動作決定部31cを備えている。   The emotional motion control device 3 includes a determining unit 31 and a control unit 32, as shown in FIG. The deciding unit 31 decides the operating direction of each of the plurality of operating units 6 in the operating body 1 based on the external situation indicated by the information input from the detecting unit 2. The determination unit 31 of the present embodiment includes a parameter determination unit 31a, an emotion determination unit 31b, and an operation determination unit 31c.

パラメータ決定部31aは、検出部2から入力される情報が示す外部状況に基づいて、感情のパラメータの値を決定する。本実施の形態のパラメータ決定部31aは、検出部2から入力される情報が示す外部状況と、外部状況に対応するように設定された感情のパラメータの値の変化と、に基づいて、感情のパラメータの値を決定する。   The parameter determination unit 31a determines the value of the parameter of the emotion based on the external situation indicated by the information input from the detection unit 2. The parameter determination unit 31a of the present embodiment determines the emotion of the emotion based on the external situation indicated by the information input from the detection unit 2 and the change of the parameter of the emotion set to correspond to the external situation. Determine the value of the parameter.

例えば、パラメータ決定部31aは、検出部2から入力される情報が示す外部状況と、設定された、ユーザの言動に対応する喜怒哀楽の夫々の感情のパラメータの値の変化と、に基づいて、喜怒哀楽の感情のパラメータの値を決定する。   For example, the parameter determination unit 31a is configured based on an external situation indicated by the information input from the detection unit 2 and a set change in the value of each emotion parameter of emotions corresponding to the user's behavior. Determine the values of the emotional, emotional and emotional parameters.

一例として、パラメータ決定部31aは、検出部2から入力される情報が示す外部状況に基づいてユーザの動作が動作体1の頭部を撫でる動作であると判定した場合、「喜」の感情のパラメータの値に所定の値を加算する。   As an example, when the parameter determining unit 31a determines that the user's operation is a stroke of stroking the head of the moving body 1 based on the external situation indicated by the information input from the detection unit 2, the parameter determination unit 31a outputs A predetermined value is added to the value of the parameter.

パラメータ決定部31aは、検出部2から入力される情報が示す外部状況に基づいてユーザの動作が動作体1の頭部を叩く動作であると判定した場合、「怒」の感情のパラメータの値に所定の値を加算する。   If the parameter determining unit 31a determines that the user's operation is an operation of hitting the head of the moving body 1 based on the external situation indicated by the information input from the detecting unit 2, the value of the parameter of the emotion of "anger" is determined. To a predetermined value.

パラメータ決定部31aは、検出部2から入力される情報が示す外部状況に基づいてユーザの動作が動作体1から遠ざかったと判定した場合、「哀」の感情のパラメータの値に所定の値を加算する。   The parameter determining unit 31a adds a predetermined value to the parameter value of the emotion of “sad” when determining that the user's operation has moved away from the moving object 1 based on the external situation indicated by the information input from the detecting unit 2. I do.

パラメータ決定部31aは、検出部2から入力される情報が示す外部状況に基づいてユーザの動作が動作体1に近付いたと判定した場合、「楽」の感情のパラメータの値に所定の値を加算する。   The parameter determining unit 31a adds a predetermined value to the value of the parameter of the “easy” emotion when it determines that the user's movement approaches the moving body 1 based on the external situation indicated by the information input from the detecting unit 2. I do.

パラメータ決定部31aは、感情のパラメータの値をユーザの動作の度に累算していく。但し、外部状況に対応するように設定される感情のパラメータの値の変化は、適宜変更することができる。また、パラメータ決定部31aは、所定の値をパラメータの値に加算するだけでなく、減算してもよい。例えば、感情として「怒」を決定した場合、「喜」のパラメータの値から所定の値を減算する。   The parameter determination unit 31a accumulates the value of the emotion parameter every time the user performs an action. However, the change in the value of the emotion parameter set to correspond to the external situation can be changed as appropriate. Further, the parameter determination unit 31a may not only add a predetermined value to the parameter value but also subtract it. For example, when “anger” is determined as the emotion, a predetermined value is subtracted from the value of the parameter “happy”.

感情決定部31bは、決定した感情のパラメータの値に基づいて動作体1の複数の動作部6に夫々表出させる感情を決定する。このとき、詳細は後述するが、例えば、感情決定部31bは、決定した感情のパラメータの値と、設定された閾値(例えば、最も大きなパラメータの値に所定の値(例えば0.6)を積算して導き出した値)と、に基づいて、最も大きいパラメータの値を有する感情に対して他の感情のパラメータの値が当該閾値を超えているか否かを判定する。但し、閾値は最も大きなパラメータの値に基づいて変化しない、予め設定された値でもよい。   The emotion determining unit 31b determines an emotion to be expressed by each of the plurality of operating units 6 of the operating body 1 based on the determined parameter values of the emotion. At this time, although the details will be described later, for example, the emotion determination unit 31b integrates the determined parameter value of the emotion and a set threshold value (for example, a predetermined value (for example, 0.6) with the largest parameter value). It is determined whether or not the value of the parameter of the other emotion exceeds the threshold value for the emotion having the largest parameter value. However, the threshold value may be a preset value that does not change based on the value of the largest parameter.

そして、感情決定部31bは、他の感情のパラメータの値が閾値を超えている場合、最も大きいパラメータの値を有する感情をメイン感情に決定すると共に他の感情をサブ感情に決定する。   When the value of the parameter of the other emotion exceeds the threshold, the emotion determination unit 31b determines the emotion having the largest parameter value as the main emotion and determines the other emotion as the sub-emotion.

さらに、感情決定部31bは、決定したメイン感情とサブ感情とに夫々対応するメイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を決定する。このとき、例えば、メイン感情とサブ感情との感情種別の関係とそれらのパラメータの値と複数の動作部6の夫々の重要度を示す重みとに関連付けられた、メイン感情を表出させる動作部6及びサブ感情を表出させる動作部6が設定されている。   Furthermore, the emotion determination unit 31b determines an operation unit 6 that expresses a main emotion and an operation unit 6 that expresses a sub-emotion corresponding to the determined main emotion and sub-emotion. At this time, for example, the operation unit that expresses the main emotion associated with the relationship between the emotion types of the main emotion and the sub-emotion, the values of those parameters, and the weights indicating the importance of each of the plurality of operation units 6 6 and an operation unit 6 for expressing a sub-emotion are set.

ここで、「喜」や「楽」をポジティブ感情とし、「怒」や「哀」をネガティブ感情とした場合、メイン感情とサブ感情との感情種別の関係は、メイン感情がポジティブ感情又はネガティブ感情の場合、サブ感情がネガティブ感情又はポジティブ感情の何れであるかを示すものである。また、下肢→上肢→胴部→頭部の順に表出する感情の重要度が増加し、下肢→上肢→胴部→頭部の順で重みが大きくなるように設定されている。ここで、重要度とは、ユーザが動作体1を視認した際の各動作部6の感情表出の影響度である。   Here, when "happy" or "easy" is defined as a positive emotion, and "anger" or "sad" is defined as a negative emotion, the relationship between the main emotion and the sub-emotion is as follows. In the case of, it indicates whether the sub-emotion is a negative emotion or a positive emotion. Also, the importance of emotions expressed in the order of lower limb → upper limb → torso → head is increased, and the weight is set to increase in the order of lower limb → upper limb → torso → head. Here, the importance is the degree of influence of the emotional expression of each operation unit 6 when the user visually recognizes the operation body 1.

動作決定部31cは、決定した動作体1の動作部6に夫々表出させる感情と、複数の感情に夫々対応するように設定された、動作体1の基準姿勢に対する感情方向であるポジティブ方向及びネガティブ方向と、に基づいて、動作部6の動作方向を決定する。   The motion determining unit 31c determines the emotion to be expressed by the determined motion unit 6 of the motion body 1 and the positive direction, which is the emotion direction with respect to the reference posture of the motion body 1, which is set to correspond to each of the plurality of emotions. The operation direction of the operation unit 6 is determined based on the negative direction.

例えば、動作決定部31cは、決定した動作体1に表出させる感情と、上述のように設定された各感情のポジティブ方向及びネガティブ方向と、に基づいて、動作部6に動作させるポジティブ方向及び/又はネガティブ方向を決定する。   For example, based on the emotion to be expressed by the determined motion body 1 and the positive direction and the negative direction of each emotion set as described above, the motion determining unit 31 c And / or determine a negative direction.

駆動部4は、決定した動作方向に動作部6を動作させる。例えば、駆動部4は、動作体1の各関節部に設けられたアクチュエータであり、図示を省略するがモータ及び減速機などを備えている。一例として、頭部を動作させる駆動部4は、頭部を前後左右方向に傾けたり、頭部を左右方向に捩じったりする。   The drive unit 4 operates the operation unit 6 in the determined operation direction. For example, the drive unit 4 is an actuator provided at each joint of the operating body 1 and includes a motor and a speed reducer (not shown). As an example, the drive unit 4 that operates the head tilts the head in the front-rear and left-right directions or twists the head in the left-right direction.

胴部を動作させる駆動部4は、胴部の姿勢を上下方向に変化させたり(即ち、胸を張るように姿勢を正したり、猫背にさせたり)、左右方向に捩じったりする。上肢を駆動させる駆動部4は、一般的な物を握ったりする動作などに加え、手を上げたり、手を下げたりする。   The drive unit 4 that operates the torso changes the posture of the torso in the up and down direction (that is, corrects the posture so that the chest is stretched, or makes the cat stoop), and twists in the left and right direction. The drive unit 4 for driving the upper limb raises and lowers hands in addition to a general operation of gripping an object.

下肢を駆動させる駆動部4は、一般的な歩行動作に加えて、つま先立ちさせたり、一方の脚を他方の脚に対して前進させたり、一方の脚を他方の脚に対して後方に後退させたりする。但し、上述の駆動部4の動作は例示であって、動作部6の動作内容によって適宜変更される。   The drive unit 4 for driving the lower limb, in addition to a general walking motion, causes the toe to stand, one leg to move forward with respect to the other leg, and one leg to move backward with respect to the other leg. Or However, the operation of the drive unit 4 described above is an example, and may be appropriately changed according to the operation content of the operation unit 6.

記憶部5は、外部状況に対応するように設定された感情のパラメータの変化を示す情報、設定された閾値を示す情報、メイン感情とサブ感情との感情種別の関係とそれらのパラメータの値と複数の動作部6の夫々の重要度を示す重みとに関連付けて設定されたメイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を示す情報、複数の感情に夫々対応するように設定された、動作体1の基準姿勢に対するポジティブ方向並びにネガティブ方向を示す情報、複数の動作部6の夫々の重みを示す情報などが格納されている。   The storage unit 5 stores information indicating a change in the parameter of the emotion set to correspond to the external situation, information indicating the set threshold, the relationship between the emotion types of the main emotion and the sub emotion, and the values of those parameters. Information indicating the operation unit 6 that expresses the main emotion and the operation unit 6 that expresses the sub-emotion set in association with the weight indicating the importance of each of the plurality of operation units 6, respectively corresponding to the plurality of emotions Information indicating the positive direction and the negative direction of the operating body 1 with respect to the reference posture, information indicating the weights of the plurality of operating units 6, and the like are stored.

次に、本実施の形態の感情動作制御方法を説明する。図4は、本実施の形態の感情動作制御方法を示すフローチャート図である。図5は、感情のパラメータの値の具体例を示す図である。図6は、動作体が感情を表出する様子を模式的に示す図である。図7は、感情のパラメータの値の内、メイン感情と同じ感情方向のパラメータの値が閾値を超えた具体例を示す図である。図8は、動作体が複数の感情を表出する様子を模式的に示す図である。図9は、感情のパラメータの値の内、メイン感情と異なる感情方向のパラメータの値が閾値を超えた具体例を示す図である。図10は、動作体が複数の感情を表出する様子を模式的に示す図である。図11は、感情のパラメータの値の内、メイン感情と同じ感情方向と異なる感情方向のパラメータの値が複数閾値を超えた具体例を示す図である。ここで、Eは「喜」の感情のパラメータの値、Eは「怒」の感情のパラメータの値、Eは「哀」の感情のパラメータの値、Eは「楽」の感情のパラメータの値を示している。 Next, an emotion action control method according to the present embodiment will be described. FIG. 4 is a flowchart illustrating the emotional motion control method according to the present embodiment. FIG. 5 is a diagram illustrating a specific example of the values of the emotion parameters. FIG. 6 is a diagram schematically illustrating how the moving body expresses emotion. FIG. 7 is a diagram illustrating a specific example in which the value of the parameter in the same emotion direction as the main emotion among the values of the emotion parameters exceeds the threshold value. FIG. 8 is a diagram schematically illustrating a state in which the moving body expresses a plurality of emotions. FIG. 9 is a diagram illustrating a specific example in which the value of the parameter in the emotion direction different from the main emotion among the values of the emotion parameters exceeds the threshold value. FIG. 10 is a diagram schematically illustrating a state in which the moving body expresses a plurality of emotions. FIG. 11 is a diagram illustrating a specific example in which, among the values of the emotion parameters, the values of the parameters in the same emotion direction as the main emotion and in a different emotion direction exceed a plurality of thresholds. Here, the emotion of E 1 is the value of the parameter of the emotion of "joy", E 2 is "anger" the values of the parameters of the emotion of the value of the parameter of the emotion of the E 3 is "sorrow", E 4 is "easy" Are shown.

先ず、感情動作制御装置3の決定部31は、検出部2から外部状況を示す情報が入力されると、外部状況に対応するように設定された感情のパラメータの値の変化を示す情報を記憶部5から読み出す。そして、決定部31のパラメータ決定部31aは、検出部2から入力される外部状況と、記憶部5から読み出した情報が示す事項と、に基づいて、動作体1の感情のパラメータの値を決定する(S1)。   First, when the information indicating the external situation is input from the detection unit 2, the determination unit 31 of the emotion operation control device 3 stores information indicating a change in the value of the parameter of the emotion set to correspond to the external situation. Read from unit 5. Then, the parameter determination unit 31a of the determination unit 31 determines the value of the parameter of the emotion of the moving body 1 based on the external situation input from the detection unit 2 and the item indicated by the information read from the storage unit 5. (S1).

例えば、動作体1の頭部をユーザが撫でると、検出部2が頭部を撫でられたことを検出し、頭部を撫でられたことを示す情報を決定部31に出力する。外部状況に対応するように設定された感情のパラメータの値の変化を示す情報には、例えば、頭部を撫でられた場合、「喜」のパラメータの値に頭部を撫でられる度に所定の値を加算する情報などを含んでおり、決定部31のパラメータ決定部31aは、記憶部5から読み出した情報が示す事項及び検出部2から入力される外部状況に基づいて、図5に示すように「喜」のパラメータの値Eを決定する。同様にして、E、E、Eを決定する。 For example, when the user strokes the head of the moving body 1, the detection unit 2 detects that the head has been stroked, and outputs information indicating that the head has been stroked to the determination unit 31. The information indicating the change in the value of the parameter of the emotion set to correspond to the external situation includes, for example, when the head is stroked, a predetermined The parameter deciding unit 31a of the deciding unit 31 includes information to be added to the value, based on the items indicated by the information read from the storage unit 5 and the external situation input from the detecting unit 2, as shown in FIG. to determine the value E 1 of the parameters of "joy" to. Similarly, E 2 , E 3 , and E 4 are determined.

次に、決定部31の感情決定部31bは、設定された閾値を示す情報を記憶部5から読み出し、決定した感情のパラメータの値と閾値とに基づいて、最も大きなパラメータの値を有する感情(第1の感情)以外の他の感情のパラメータの値が閾値を超えているか否を判定する(S2)。   Next, the emotion determination unit 31b of the determination unit 31 reads information indicating the set threshold value from the storage unit 5 and, based on the determined parameter value of the emotion and the threshold value, determines the emotion ( It is determined whether or not the value of the parameter of the emotion other than the first emotion exceeds the threshold (S2).

そして、感情決定部31bは、第1の感情以外の他の感情のパラメータの値が閾値以下の場合(S2のNO)、第1の感情を動作体1に表出させる感情に決定すると共に、第1の感情のパラメータの値に基づいて動作させる動作部6を決定する(S3)。   Then, when the value of the parameter of the emotion other than the first emotion is equal to or smaller than the threshold (NO in S2), the emotion determination unit 31b determines the first emotion as the emotion to be displayed on the motion body 1, and The operation unit 6 to be operated based on the value of the first emotion parameter is determined (S3).

例えば、図5に示すように第1の感情である「喜」以外の「怒」、「哀」、「楽」のパラメータの値が閾値Tを超えていない場合、感情決定部31bは、「喜」の感情を動作体1に表出させる感情に決定し、「喜」の感情のパラメータの値Eに比例して動作させる動作部6の個数が重みの大きい順に増加するように当該動作部6を決定する。一例として、図6に示すように動作体1が感情を表出するように、下肢、胴部、上肢及び頭部の全てを動作させる動作部6に決定する。但し、第1の感情以外の他の感情のパラメータの値が閾値以下の場合、第1の感情を表出するために、予め全ての動作部6が動作するように設定されていてもよい。このように、予め全ての動作部6が動作するように設定することで、感情表出の制御を単純化することができる。 For example, as shown in FIG. 5, when the values of the parameters of “anger”, “sad”, and “easy” other than the first emotion of “happy” do not exceed the threshold T, the emotion determination unit 31b sets “ determine the emotion to expose the emotion of joy "in operation body 1, the emotion parameter values E the operation to increase the number of operation unit 6 to operate in proportion to 1 in descending order of weight of" joy " The part 6 is determined. As an example, as shown in FIG. 6, the operating unit 6 that operates all of the lower limb, the torso, the upper limb, and the head is determined so that the operating body 1 expresses an emotion. However, when the value of the parameter of the emotion other than the first emotion is equal to or smaller than the threshold, all the operation units 6 may be set to operate in advance in order to express the first emotion. In this way, by setting all the operation units 6 to operate in advance, control of emotion expression can be simplified.

一方、感情決定部31bは、第1の感情以外の他の感情のパラメータの値が閾値を超えている場合(S2のYES)、第1の感情を動作体1に表出させるメイン感情に決定し、閾値Tを超えたパラメータの値を有する他の感情を動作体1に表出させるサブ感情に決定する。また、感情決定部31bは、メイン感情とサブ感情との感情種別の関係とそれらのパラメータの値と複数の動作部6の夫々の重みとに関連付けて設定されたメイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を示す情報を記憶部5から読み出す。そして、感情決定部31bは、決定したメイン感情、サブ感情及びそれらのパラメータの値に対応するメイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を決定する(S4)。   On the other hand, when the value of the parameter of the emotion other than the first emotion exceeds the threshold value (YES in S2), the emotion determining unit 31b determines the first emotion as the main emotion that causes the moving body 1 to express the first emotion. Then, another emotion having a parameter value exceeding the threshold value T is determined as a sub-emotion to be displayed on the motion body 1. In addition, the emotion determination unit 31b includes an operation unit that expresses the main emotion set in association with the relationship between the emotion types of the main emotion and the sub-emotion, the values of those parameters, and the respective weights of the plurality of operation units 6. 6 and information indicating the operation unit 6 for expressing the sub-emotion is read from the storage unit 5. Then, the emotion determination unit 31b determines an operation unit 6 that expresses the main emotion corresponding to the determined main emotion and sub-emotion and the values of those parameters and an operation unit 6 that expresses the sub-emotion (S4).

例えば、メイン感情とサブ感情との感情種別の関係とそれらのパラメータの値と複数の動作部6の夫々の重みとに関連付けて設定されたメイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を示す情報には、メイン感情の感情種別がポジティブ感情又はネガティブ感情で、閾値Tを超えるパラメータの値を有するサブ感情の感情種別がメイン感情と等しい場合、メイン感情のパラメータの値に比例して当該メイン感情を表出させる動作部6の個数が重みの大きい順に増加するように当該動作部6を決定し、サブ感情のパラメータの値に比例して当該サブ感情を表出させる動作部6の個数が重みの小さい順に増加するように当該動作部6を決定する情報が含まれている。動作決定部31cは、記憶部5から読み出した情報が示す事項、及び決定したメイン感情、サブ感情並びにそれらのパラメータの値に基づいて、メイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を決定する。   For example, the operation unit 6 and the sub-emotion that express the main emotion set in association with the relationship between the emotion types of the main emotion and the sub-emotion and the values of those parameters and the respective weights of the plurality of operation units 6 are displayed. When the emotion type of the main emotion is a positive emotion or a negative emotion and the emotion type of the sub-emotion having the parameter value exceeding the threshold T is equal to the main emotion, the information indicating the operation unit 6 to be output includes the parameter of the main emotion. The operation unit 6 is determined so that the number of the operation units 6 for expressing the main emotion in proportion to the value increases in descending order of the weight, and the sub emotion is expressed in proportion to the value of the parameter of the sub emotion. Information for determining the operation unit 6 is included such that the number of operation units 6 to be increased increases in the order of smaller weight. The operation determining unit 31c displays the operation unit 6 and the sub-emotion for expressing the main emotion based on the items indicated by the information read from the storage unit 5 and the determined main emotion and sub-emotion and the values of these parameters. The operation unit 6 to be operated is determined.

例えば、図7に示すように、メイン感情が「喜」であり、サブ感情が「楽」である場合、メイン感情及びサブ感情共に感情種別がポジティブ感情であるので、感情決定部31bは、「喜」の感情のパラメータの値Eに比例して「喜」の感情を表出させる動作部6の個数が重みの大きい順に増加するように当該動作部6を決定し、「楽」の感情のパラメータの値Eに比例して「楽」の感情を表出させる動作部6の個数が重みの小さい順に増加するように当該動作部6を決定する。一例として、図8に示すように動作体1が感情を表出するように、「喜」の感情を表出させる動作部6として、下肢、胴部、上肢及び頭部を決定し、「楽」の感情を表出させる動作部6として、下肢及び上肢を決定する。 For example, as shown in FIG. 7, when the main emotion is “pleasure” and the sub emotion is “easy”, the emotion type is positive emotion for both the main emotion and the sub emotion. in proportion to the value E 1 of the parameters of emotions Hee "number of operation unit 6 to expose the emotion of" joy "is determined the operation portion 6 so as to increase in order of weight, feeling of" easy " in proportion to the value E 4 parameters of the number of operation unit 6 to expose the emotion of "easy" to determine the operation portion 6 to increase the ascending order of the weights. As an example, as shown in FIG. 8, the lower limb, the torso, the upper limb, and the head are determined as the operation unit 6 that expresses the emotion of “pleasure” so that the operation body 1 expresses the emotion, and The lower limb and the upper limb are determined as the operation unit 6 that expresses the feeling of "."

但し、メイン感情を表出させる動作部6の重みの総和がサブ感情を表出させる動作部6の重みの総和に対して大きくなるように、メイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を決定してもよい。これにより、感情表出の制御を単純化することができる。   However, the operation unit 6 for expressing the main emotion and the sub emotion are set so that the total sum of the weights of the operation unit 6 for expressing the main emotion is larger than the total weight of the operation unit 6 for expressing the sub emotion. The operation unit 6 to be exposed may be determined. Thereby, control of emotion expression can be simplified.

また、例えば、メイン感情とサブ感情との感情種別の関係とそれらのパラメータの値と複数の動作部6の夫々の重みとに関連付けて設定されたメイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を示す情報には、メイン感情の感情種別がポジティブ感情又はネガティブ感情で、閾値Tを超えるパラメータの値を有するサブ感情の感情種別がメイン感情と異なる場合、メイン感情のパラメータの値に比例して当該メイン感情を表出させる動作部6の個数が重みの小さい順に増加するように当該動作部6を決定し、サブ感情のパラメータの値に比例して当該サブ感情を表出させる動作部6の個数が重みの大きい順に増加するように当該動作部6を決定する情報が含まれている。感情決定部31bは、記憶部5から読み出した情報が示す事項、及び決定したメイン感情、サブ感情並びにそれらのパラメータの値に基づいて、メイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を決定する。   Also, for example, the operation unit 6 and the sub-emotion that express the main emotion set in association with the relationship between the emotion types of the main emotion and the sub-emotion, the values of those parameters, and the respective weights of the plurality of operation units 6 In the information indicating the operation unit 6 that expresses the main emotion, if the emotion type of the main emotion is a positive emotion or a negative emotion, and the emotion type of the sub emotion having a parameter value exceeding the threshold T is different from the main emotion, The operation unit 6 is determined such that the number of the operation units 6 that expresses the main emotion in proportion to the value of the parameter increases in ascending order of the weight, and the sub emotion is determined in proportion to the parameter value of the sub emotion. Information for determining the operation unit 6 is included such that the number of operation units 6 to be displayed increases in the order of larger weight. The emotion determination unit 31b expresses the operation unit 6 and the sub-emotion for expressing the main emotion based on the items indicated by the information read from the storage unit 5 and the determined main emotion and sub-emotion and the values of these parameters. The operation unit 6 to be operated is determined.

例えば、図9に示すように、メイン感情が「喜」であり、サブ感情が「哀」である場合、メイン感情の感情種別がポジティブ感情であり、サブ感情の感情種別がネガティブ感情であるので、感情決定部31bは、「喜」の感情のパラメータの値Eに比例して「喜」の感情を表出させる動作部6の個数が重みの小さい順に増加するように当該動作部6を決定し、「哀」の感情のパラメータの値Eに比例して「哀」の感情を表出させる動作部6の個数が重みの大きい順に増加するように当該動作部6を決定する。一例として、図10に示すように動作体1が感情を表出するように、「喜」の感情を表出させる動作部6として、下肢、胴部及び上肢を決定し、「哀」の感情を表出させる動作部6として、頭部を決定する。 For example, as shown in FIG. 9, when the main emotion is “pleasure” and the sub emotion is “sad”, the emotion type of the main emotion is positive and the emotion type of the sub emotion is negative. emotion determination unit 31b, the operation portion 6 as the number of operation unit 6 to expose the feelings in proportion to the value E 1 of the parameters of emotions "joy" in the "joy" is increased in ascending order of the weights determined, to determine the operation portion 6 as the number of operation unit 6 to expose the feelings in proportion to the value E 3 parameters emotion "sad" and "sorrow" is increased in order of weight. As an example, as shown in FIG. 10, the lower limb, the torso, and the upper limb are determined as the operation unit 6 for expressing the emotion of “pleasure” so that the motion body 1 expresses the emotion, and the emotion of “sad” is determined. Is determined as the operating unit 6 for expressing the head.

但し、メイン感情を表出させる動作部6の重みの総和がサブ感情を表出させる動作部6の重みの総和に対して大きくなるように、メイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を決定してもよい。これにより、感情表出の制御を単純化することができる。   However, the operation unit 6 for expressing the main emotion and the sub emotion are set so that the total sum of the weights of the operation unit 6 for expressing the main emotion is larger than the total weight of the operation unit 6 for expressing the sub emotion. The operation unit 6 to be exposed may be determined. Thereby, control of emotion expression can be simplified.

次に、動作決定部31cは、複数の感情に夫々対応するように設定された、動作体1の基準姿勢に対するポジティブ方向及びネガティブ方向を示す情報を記憶部5から読み出す。そして、動作決定部31cは、決定した各々の動作部6に表出させる感情と、記憶部5から読み出した情報が示す事項と、に基づいて、動作部6の動作方向を決定する(S5)。   Next, the motion determining unit 31c reads, from the storage unit 5, information indicating the positive direction and the negative direction with respect to the reference posture of the moving body 1, which are set so as to respectively correspond to the plurality of emotions. Then, the motion determining unit 31c determines the motion direction of the motion unit 6 based on the determined emotion to be expressed by each motion unit 6 and the item indicated by the information read from the storage unit 5 (S5). .

ここで、動作決定部31cは、メイン感情のパラメータの値とサブ感情のパラメータの値との比に基づいて、メイン感情を表出させるための動作体1の動作量とサブ感情を表出させるための動作体1の動作量を決定することが好ましい。例えば、メイン感情のパラメータの値とサブ感情のパラメータの値との比が6:4である場合、メイン感情を表出させるための動作体1の動作量とサブ感情を表出させるための動作体1の動作量との比も6:4となるように、メイン感情を表出させるための動作体1の動作量とサブ感情を表出させるための動作体1の動作量を決定する。   Here, the motion determining unit 31c expresses the motion amount and the sub-emotionality of the operating body 1 for expressing the main emotion, based on the ratio between the value of the parameter of the main emotion and the value of the parameter of the sub-emotion. It is preferable to determine the amount of operation of the operating body 1 for the purpose. For example, when the ratio between the value of the parameter of the main emotion and the value of the parameter of the sub-emotion is 6: 4, the operation amount of the operation body 1 for expressing the main emotion and the operation for expressing the sub-emotion The motion amount of the motion body 1 for expressing the main emotion and the motion amount of the motion body 1 for expressing the sub-emotion are determined so that the ratio of the motion amount of the body 1 is also 6: 4.

このとき、動作決定部31cは、メイン感情を表出させるための動作体1の最大可動量に対する当該メイン感情を表出させるための動作体1の動作量の割合が、設定されたパラメータの最大値に対するメイン感情のパラメータの値の割合と略等しくなるように、メイン感情を表出させる動作体1の動作量を決定することが好ましい。また、動作決定部31cは、サブ感情を表出させるための動作体1の最大可動量に対する当該サブ感情を表出させるための動作体1の動作量の割合が、設定されたパラメータの最大値に対するサブ感情のパラメータの値の割合と略等しくなるように、サブ感情を表出させる動作体1の動作量を決定することが好ましい。このように動作量を決定することで、よりリアルな感情表出を実現できる。   At this time, the operation determining unit 31c determines that the ratio of the operation amount of the operating body 1 for expressing the main emotion to the maximum movable amount of the operating body 1 for expressing the main emotion is the maximum of the set parameter. It is preferable to determine the amount of movement of the moving body 1 for expressing the main emotion so as to be substantially equal to the ratio of the value of the parameter of the main emotion to the value. In addition, the operation determining unit 31c sets the ratio of the amount of operation of the operating body 1 for expressing the sub emotion to the maximum movable amount of the operating body 1 for expressing the sub emotion to be the maximum value of the set parameter. It is preferable to determine the amount of movement of the moving body 1 for expressing the sub-emotion so as to be substantially equal to the ratio of the value of the sub-emotion parameter to the sub-emotion. By determining the amount of motion in this way, a more realistic expression of emotion can be realized.

次に、制御部32は、各々の動作部6を動作させる駆動部4を制御する(S6)。例えば、図5に示すように「喜」の感情を動作体1に表出させる場合、動作体1の基準姿勢の重心位置に対して当該動作体1の重心位置が上方に移動するように(図6を参照)、下肢、胴部、上肢及び頭部を夫々動作させる駆動部4を制御する。   Next, the control unit 32 controls the driving unit 4 that operates each operation unit 6 (S6). For example, as shown in FIG. 5, when the emotion of “pleasure” is expressed on the operating body 1, the center of gravity of the operating body 1 is moved upward with respect to the center of gravity of the reference posture of the operating body 1 ( 6), and controls the drive unit 4 for operating the lower limb, the torso, the upper limb, and the head, respectively.

また、例えば、図7に示すようにメイン感情として「喜」の感情を動作体1に表出させ、サブ感情として「楽」の感情を動作体1に表出させる場合、動作体1の基準姿勢の重心位置に対して当該動作体1の重心位置が上方に移動するように(図8を参照)、下肢、胴部、上肢及び頭部を夫々動作させる駆動部4を制御すると共に、動作体1の基準姿勢に対して当該動作体1がTable shapeで膨張するように、下肢及び上肢を夫々動作させる駆動部4を制御する。このようにメイン感情を表出する動作部6の重要度がサブ感情を表出する動作部6の重要度より高くなるように設定することで、「メイン感情の中にサブ感情を感じる」という感情表現が可能になる。   For example, as shown in FIG. 7, when the emotion of “pleasure” is expressed as the main emotion on the motion body 1 and the emotion of “easy” is expressed on the motion body 1 as the sub-emotion, the reference of the motion body 1 The drive unit 4 that operates the lower limb, the torso, the upper limb, and the head is controlled so that the center of gravity of the operating body 1 moves upward with respect to the center of gravity of the posture (see FIG. 8). The driving unit 4 that moves the lower limb and the upper limb is controlled so that the moving body 1 expands in a table shape with respect to the reference posture of the body 1. By setting the importance of the operation unit 6 that expresses the main emotion to be higher than the importance of the operation unit 6 that expresses the sub-emotion in this way, it is possible to say that “the sub-emotion is felt in the main emotion”. Expression of emotions becomes possible.

さらに、例えば、図9に示すようにメイン感情として「喜」の感情を動作体1に表出させ、サブ感情として「哀」の感情を動作体1に表出させる場合、動作体1の基準姿勢の重心位置に対して当該動作体1の重心位置が上方に移動するように(図10を参照)、下肢、胴部及び上肢を夫々動作させる駆動部4を制御し、動作体1の基準姿勢の重心位置に対して当該動作体1の重心位置が下方に移動するように、頭部を動作させる駆動部4を制御する。このようにサブ感情を表出する動作部6の重要度が高ければ高いほど、「メイン感情のように見えるけど本当はサブ感情」という感情表現が可能になる。   Further, for example, as shown in FIG. 9, when the emotion of “pleasure” is expressed on the motion body 1 as the main emotion and the emotion of “sad” is expressed on the motion body 1 as the sub-emotion, the reference of the motion body 1 The driving unit 4 for operating the lower limb, the torso, and the upper limb is controlled so that the center of gravity of the operating body 1 moves upward with respect to the center of gravity of the posture (see FIG. 10). The drive unit 4 that operates the head is controlled such that the position of the center of gravity of the operating body 1 moves downward with respect to the position of the center of gravity of the posture. In this way, the higher the importance of the motion unit 6 that expresses the sub-emotion, the more the emotional expression "looks like a main emotion but is actually a sub-emotion" becomes possible.

このように本実施の形態の動作体1の感情動作制御装置及び感情動作制御方法は、複数の動作部6のうち一部の動作部6に表出させる感情を他の動作部6に表出させる感情と異なるように決定可能である。そのため、動作体1に複雑な感情を表出させることができる。   As described above, the emotion operation control device and the emotion operation control method for the operation body 1 according to the present embodiment express the emotion to be expressed in some of the plurality of operation units 6 to the other operation units 6. It can be determined differently from the emotion to be made. Therefore, the moving body 1 can express complicated emotions.

しかも、本実施の形態では、メイン感情とサブ感情との感情種別の関係とそれらのパラメータの値とに基づいて、メイン感情を表出させる動作部6及びサブ感情を表出させる動作部6を簡単に決定することができる。   Moreover, in the present embodiment, the operation unit 6 that expresses the main emotion and the operation unit 6 that expresses the sub emotion are based on the relationship between the emotion types of the main emotion and the sub emotion and the values of those parameters. It can be easily determined.

なお、本実施の形態では、閾値Tを超えた2番目に大きなパラメータの値を有する感情のみをサブ感情としているが、図11に示すように、3番目に大きなパラメータの値を有する感情も閾値Tを超えている場合、3番目に大きなパラメータの値を有する感情を所定の動作部6に表出させてもよい。要するに、動作部6に表出させる複数の感情の数は特に限定されない。   In the present embodiment, only the emotion having the second largest parameter value exceeding the threshold value T is set as the sub-emotion, but as shown in FIG. If it exceeds T, the emotion having the third largest parameter value may be displayed on the predetermined operation unit 6. In short, the number of the plurality of emotions to be expressed by the operation unit 6 is not particularly limited.

また、本実施の形態では、一つの動作部6に複数の感情を表出させているが、一つの動作部6に一つの感情を表出させてもよい。   Further, in the present embodiment, a plurality of emotions are expressed in one operation unit 6, but one emotion may be expressed in one operation unit 6.

本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。   The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the gist.

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。   In the above embodiment, the present invention has been described as a hardware configuration, but the present invention is not limited to this. The present invention can also realize any processing by causing a CPU (Central Processing Unit) to execute a computer program.

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。   The program may be stored using various types of non-transitory computer readable media and provided to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media are magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)). Also, the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer readable media can provide the program to a computer via a wired communication line such as an electric wire and an optical fiber, or a wireless communication line.

1 動作体
2 検出部
3 感情動作制御装置
4 駆動部
5 記憶部
6 動作部
31 決定部、31a パラメータ決定部、31b 感情決定部、31c 動作決定部
32 制御部
REFERENCE SIGNS LIST 1 operation body 2 detection unit 3 emotion operation control device 4 drive unit 5 storage unit 6 operation unit 31 determination unit, 31a parameter determination unit, 31b emotion determination unit, 31c operation determination unit 32 control unit

Claims (5)

感情を表出する動作体の感情動作制御装置であって、
コミュニケーション対象体の動作を含む外部状況に基づいて、前記動作体における複数の動作部夫々の動作方向を決定する決定部と、
前記動作部を決定した動作方向に動作させるために、前記動作部を動作させる駆動部を制御する制御部と、
を備え、
前記決定部は、
前記外部状況に基づいて、感情のパラメータの値を決定するパラメータ決定部と、
前記決定した感情のパラメータの値に基づいて、前記動作体の複数の動作部に夫々表出させる感情を決定する感情決定部と、
前記決定した動作部に表出させる感情と、複数の感情に夫々対応するように設定された、前記動作体の基準姿勢に対するポジティブ方向及びネガティブ方向と、に基づいて、前記動作部の動作方向を決定する動作決定部と、
を備え、
前記感情決定部は、
複数の感情のパラメータの値に基づいて、前記複数の動作部のうち一部の動作部に表出させる感情を他の動作部に表出させる感情と異なるように決定可能であり、
前記決定した感情のパラメータの値と、設定された閾値と、に基づいて、最も大きいパラメータの値を有する感情に対して他の感情のパラメータの値が前記閾値を超えているか否かを判定し、前記他の感情のパラメータの値が閾値を超えている場合、前記最も大きいパラメータの値を有する感情をメイン感情に決定すると共に前記他の感情をサブ感情に決定し、
前記メイン感情を表出させる動作部の個数が前記サブ感情を表出させる動作部の個数より多くなるように、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部を決定する、動作体の感情動作制御装置。
An emotional motion control device for a motion body expressing an emotion,
A determining unit that determines an operating direction of each of the plurality of operating units in the operating body based on an external situation including the operation of the communication target;
A control unit that controls a driving unit that operates the operation unit, in order to operate the operation unit in the determined operation direction;
With
The determining unit includes:
Based on the external situation, a parameter determining unit that determines the value of the parameter of the emotion,
Based on the value of the parameter of the determined emotion, an emotion determining unit that determines an emotion to be expressed in each of the plurality of operating units of the operating body,
Based on the emotion to be expressed in the determined motion unit and the positive direction and the negative direction with respect to the reference posture of the motion body, which are set to correspond to the plurality of emotions, respectively, the motion direction of the motion unit An operation determining unit to determine,
With
The emotion determination unit,
Based on the value of the parameter of the plurality of emotion, Ri feelings different determinable der to expose the emotion to expose a portion of the operation portion to other operating portion of the plurality of operation portions,
Based on the determined value of the parameter of the emotion and the set threshold value, it is determined whether or not the value of the parameter of the other emotion exceeds the threshold value for the emotion having the largest parameter value. If the value of the parameter of the other emotion exceeds a threshold, determine the emotion having the value of the largest parameter as a main emotion and determine the other emotion as a sub-emotion,
The operation unit that expresses the main emotion and the operation unit that expresses the sub emotion are determined so that the number of operation units that express the main emotion is greater than the number of operation units that express the sub emotion. A motion control device for an emotional body.
前記複数の動作部の夫々の重要度を示す重みが設定されており、
前記感情決定部は、前記メイン感情を表出させる動作部の重みの総和が前記サブ感情を表出させる動作部の重みの総和に対して大きくなるように、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部を決定する、請求項に記載の動作体の感情動作制御装置。
A weight indicating the importance of each of the plurality of operation units is set,
The operation unit that expresses the main emotion such that the sum of the weights of the operation units that express the main emotion is greater than the sum of the weights of the operation units that express the sub-emotion. The emotion operation control device for an operating body according to claim 1 , wherein the operation unit that expresses the sub-emotion is determined.
前記メイン感情及び前記サブ感情におけるポジティブ感情及びネガティブ感情を含む感情種別の関係とそれらのパラメータの値と前記複数の動作部の夫々の重要度を示す重みとを関連付けて、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部が設定されており、
前記感情決定部は、前記メイン感情と前記サブ感情との感情種別が等しい場合、前記メイン感情のパラメータの値に従って当該メイン感情を表出させる動作部の個数が前記重みの大きい順に増加するように当該動作部を決定し、前記サブ感情のパラメータの値に従って当該サブ感情を表出させる動作部の個数が前記重みの小さい順に増加するように当該動作部を決定し、
前記感情決定部は、前記メイン感情と前記サブ感情との感情種別が異なる場合、前記メイン感情のパラメータの値に従って当該メイン感情を表出させる動作部の個数が前記重みの小さい順に増加するように当該動作部を決定し、前記サブ感情のパラメータの値に従って当該サブ感情を表出させる動作部の個数が前記重みの大きい順に増加するように当該動作部を決定する、請求項に記載の動作体の感情動作制御装置。
The main emotion is expressed by associating the relationship between emotion types including the positive emotion and the negative emotion in the main emotion and the sub-emotion and the values of those parameters and the weights indicating the importance of each of the plurality of operation units. An operation unit to be performed and an operation unit to express the sub emotion are set,
When the emotion type of the main emotion is equal to the emotion type of the sub-emotion, the number of the operation units that expresses the main emotion according to the value of the parameter of the main emotion increases in the descending order of the weight. Determine the operation unit, determine the operation unit such that the number of operation units to express the sub-emotion according to the value of the parameter of the sub-emotion increases in the order of the smaller weight,
When the emotion type of the main emotion is different from the sub-emotion, the emotion determination unit increases the number of the operation units that express the main emotion in accordance with the value of the parameter of the main emotion in order of increasing the weight. It determines the operation unit, the number of operation unit to expose the sub emotion determines the operation portion so as to increase in order of the weight according to the value of the parameter of the sub-emotions, behavior of claim 1 A control device for emotional movements of the body.
前記動作決定部は、前記メイン感情のパラメータの値と前記サブ感情のパラメータの値との比に基づいて、前記メイン感情を表出させるための動作体の動作量と前記サブ感情を表出させるための動作体の動作量を決定する、請求項乃至のいずれか1項に記載の動作体の感情動作制御装置。 The motion determining unit, based on a ratio between the value of the parameter of the main emotion and the value of the parameter of the sub-emotion, causes the motion amount of the motion body for expressing the main emotion and the sub-emotion to be expressed The motion control device for the moving body according to any one of claims 1 to 3 , wherein the motion amount of the moving body is determined. 感情を表出する動作体の感情動作制御方法において、
コミュニケーション対象体の動作を含む外部状況に基づいて、前記動作体における複数の動作部夫々の動作方向を決定する工程と、
前記動作部を決定した動作方向に動作させるために、前記動作部を動作させる駆動部を制御する工程と、
を備え、
前記複数の動作部夫々の動作方向を決定する工程は、
前記外部状況に基づいて、感情のパラメータの値を決定する工程と、
前記決定した感情のパラメータの値に基づいて、前記動作体の複数の動作部に夫々表出させる感情を決定する工程と、
前記決定した動作部に表出させる感情と、複数の感情に夫々対応するように設定された、前記動作体の基準姿勢に対するポジティブ方向及びネガティブ方向と、に基づいて、前記動作部の動作方向を決定する工程と、
を備え、
前記動作体の複数の動作部に夫々表出させる感情を決定する工程は
複数の感情のパラメータの値に基づいて、前記複数の動作部のうち一部の動作部に表出させる感情を他の動作部に表出させる感情と異なるように決定可能であり、
前記決定した感情のパラメータの値と、設定された閾値と、に基づいて、最も大きいパラメータの値を有する感情に対して他の感情のパラメータの値が前記閾値を超えているか否かを判定し、前記他の感情のパラメータの値が閾値を超えている場合、前記最も大きいパラメータの値を有する感情をメイン感情に決定すると共に前記他の感情をサブ感情に決定し、
前記メイン感情を表出させる動作部の個数が前記サブ感情を表出させる動作部の個数より多くなるように、前記メイン感情を表出させる動作部及び前記サブ感情を表出させる動作部を決定する、動作体の感情動作制御方法。
In the emotional motion control method of the motion body expressing the emotion,
Based on an external situation including an operation of the communication target, a step of determining an operation direction of each of the plurality of operation units in the operation body,
Controlling the driving unit to operate the operation unit to operate the operation unit in the determined operation direction;
With
The step of determining the operation direction of each of the plurality of operation units,
Based on the external situation, determining the value of the parameter of emotion,
Based on the value of the determined parameter of the emotion, a step of determining an emotion to be expressed in each of the plurality of motion units of the motion body,
Based on the emotion to be expressed in the determined motion unit and the positive direction and the negative direction with respect to the reference posture of the motion body, which are set to correspond to the plurality of emotions, respectively, the motion direction of the motion unit The step of determining;
With
As engineering to determine the emotions to each exposed to a plurality of operation portions of the operation body,
Based on the value of the parameter of the plurality of emotion, Ri feelings different determinable der to expose the emotion to expose a portion of the operation portion to other operating portion of the plurality of operation portions,
Based on the determined parameter value of the emotion and the set threshold value, it is determined whether the value of the parameter of the other emotion exceeds the threshold value for the emotion having the largest parameter value. If the value of the parameter of the other emotion exceeds a threshold, determine the emotion having the value of the largest parameter as a main emotion and determine the other emotion as a sub-emotion,
The operation unit that expresses the main emotion and the operation unit that expresses the sub emotion are determined such that the number of the operation units that express the main emotion is greater than the number of the operation units that express the sub emotion. To control the emotional movement of the moving body.
JP2015181714A 2015-09-15 2015-09-15 Apparatus and method for controlling emotional motion of moving body Active JP6639166B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015181714A JP6639166B2 (en) 2015-09-15 2015-09-15 Apparatus and method for controlling emotional motion of moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015181714A JP6639166B2 (en) 2015-09-15 2015-09-15 Apparatus and method for controlling emotional motion of moving body

Publications (2)

Publication Number Publication Date
JP2017056504A JP2017056504A (en) 2017-03-23
JP6639166B2 true JP6639166B2 (en) 2020-02-05

Family

ID=58388963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015181714A Active JP6639166B2 (en) 2015-09-15 2015-09-15 Apparatus and method for controlling emotional motion of moving body

Country Status (1)

Country Link
JP (1) JP6639166B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010053322A (en) * 1999-04-30 2001-06-25 이데이 노부유끼 Electronic pet system, network system, robot, and storage medium
JP2001212782A (en) * 2000-01-31 2001-08-07 Sony Corp Robot device and control method for robot device
JP2002036158A (en) * 2000-07-27 2002-02-05 Yamaha Motor Co Ltd Electronic appliance having autonomous function
JP2003191187A (en) * 2001-12-21 2003-07-08 Sony Corp Robot device and method of controlling it
JP2004283958A (en) * 2003-03-20 2004-10-14 Sony Corp Robot device, method of controlling its behavior and program thereof
JP2005193331A (en) * 2004-01-06 2005-07-21 Sony Corp Robot device and its emotional expression method
JP4244812B2 (en) * 2004-01-16 2009-03-25 ソニー株式会社 Action control system and action control method for robot apparatus
JP5499924B2 (en) * 2010-06-14 2014-05-21 富士通株式会社 Robot control method, robot control program, and robot

Also Published As

Publication number Publication date
JP2017056504A (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6810125B2 (en) How to navigate, systems, and equipment in a virtual reality environment
JP6678832B2 (en) Remote control manipulator system and control device
US8926329B2 (en) Sign language action generating device and communication robot
KR102165967B1 (en) 3D space monitoring device, 3D space monitoring method, and 3D space monitoring program
JP2019512826A (en) Method for calling a smart robot and smart robot
KR20170107875A (en) Robot control system
JP2015160277A (en) Robot simulation device for creating motion path of robot
KR101159475B1 (en) Apparatus for robot navigation control using emg and acceleration sensor and method thereof
Gardecki et al. Experience from the operation of the Pepper humanoid robots
KR102400398B1 (en) Animated Character Head Systems and Methods
KR20070121574A (en) Controlling the interactive behaviour of a robot
JP2011258130A (en) Program, information storage medium, and image generation system
WO2019087564A1 (en) Information processing device, information processing method, and program
JP2015058492A (en) Control device, robot system, robot, robot operation information generation method, and program
JPWO2020158642A1 (en) Robot control device, robot control method, and program
KR101493385B1 (en) robot and walking control apparatus and method thereof
JP2018089736A (en) Master-slave system
JP6639166B2 (en) Apparatus and method for controlling emotional motion of moving body
JP2017092509A (en) Method for generating control signal used for telepresence robot, telepresence system and computer program
JP2017077595A (en) Emotional operation control device and emotional operation control method of operation body
US20170274535A1 (en) Interaction device and interaction method thereof
Inthiam et al. Development of an emotional expression platform based on LMA-shape and interactive evolution computation
JPWO2021059361A1 (en) Animation production method
JP2020082307A (en) Risk assessment method for robot
KR20210007965A (en) Control device, control method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191224

R150 Certificate of patent or registration of utility model

Ref document number: 6639166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250