JP5450218B2 - Robot and control system - Google Patents

Robot and control system Download PDF

Info

Publication number
JP5450218B2
JP5450218B2 JP2010091801A JP2010091801A JP5450218B2 JP 5450218 B2 JP5450218 B2 JP 5450218B2 JP 2010091801 A JP2010091801 A JP 2010091801A JP 2010091801 A JP2010091801 A JP 2010091801A JP 5450218 B2 JP5450218 B2 JP 5450218B2
Authority
JP
Japan
Prior art keywords
module
fitness
action
robot
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010091801A
Other languages
Japanese (ja)
Other versions
JP2011051088A (en
Inventor
政宣 武田
貢秀 黒田
秀 神崎
孝英 吉池
拓未 上岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2010091801A priority Critical patent/JP5450218B2/en
Priority to US12/999,791 priority patent/US8849452B2/en
Priority to PCT/JP2010/058806 priority patent/WO2011016280A1/en
Priority to DE201011000035 priority patent/DE112010000035B4/en
Publication of JP2011051088A publication Critical patent/JP2011051088A/en
Application granted granted Critical
Publication of JP5450218B2 publication Critical patent/JP5450218B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、制御システムおよびその制御対象の1つであるロボットに関する。   The present invention relates to a control system and a robot that is one of its control objects.

物体との予期せぬ接触等の高速の外乱に対して適応的にロボットを行動させる手法が提案されている(特許文献1参照)。この手法によれば、統括制御系の制御指令値と、統括制御系と比較して演算周期が短い高速の局所制御系の制御指令値との構成比率または配分が調整される。たとえば、高速の外乱が発生した直後においては、局所制御系の制御指令値の比率が高くなるように調節されることにより、外乱に対してロボットの反射的な行動態様の実現が図られている。   There has been proposed a method for causing a robot to behave adaptively against high-speed disturbances such as unexpected contact with an object (see Patent Document 1). According to this method, the configuration ratio or distribution between the control command value of the overall control system and the control command value of the high-speed local control system whose operation cycle is shorter than that of the overall control system is adjusted. For example, immediately after the occurrence of a high-speed disturbance, the robot is adjusted so that the ratio of the control command values of the local control system is increased, thereby realizing a reflective behavior mode of the robot with respect to the disturbance. .

そして、外乱発生から時間が経つにつれ、統括制御系の制御指令値の比率が徐々に高くなるように調整されることにより、外乱がない通常状態におけるロボットの動作態様の回復が図られている。ここで、各制御指令値の構成比率の変化曲線が時間経過とともに変更されうる。   Then, with the passage of time from the occurrence of the disturbance, the ratio of the control command values of the overall control system is adjusted so as to gradually increase, so that the operation mode of the robot in the normal state without the disturbance is recovered. Here, the change curve of the composition ratio of each control command value can be changed over time.

特開2004−167666号公報JP 2004-167666 A

しかし、外乱の形態によってはロボットの行動形態が、ロボットの目的に鑑みて不適当な行動形態になる可能性がある。   However, depending on the form of disturbance, the behavior form of the robot may become an inappropriate behavior form in view of the purpose of the robot.

そこで、本発明は、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を行動させることができる制御システム等を提供することを解決課題とする。   Therefore, an object of the present invention is to provide a control system and the like that can cause the control target to act in an appropriate form in view of the action purpose of the control target with respect to an arbitrary form of disturbance.

前記課題を解決するための本発明の制御システムは、演算周期の相対的な長短に応じて階層化されている複数のモジュールを備え、前記モジュールのそれぞれが制御対象の行動形態の候補である複数の行動候補を探索するとともに、前記行動候補のそれぞれについて、自己が主担当する主目的に対する主適合度の寄与度が、他モジュールが有する副目的に対する副適合度の寄与度よりも高くなるように、前記主目的および前記副目的の両方に鑑みた総合適合度を評価するように構成され、演算周期が相対的に長い下位モジュールによる前記総合適合度の評価結果よりも、演算周期が相対的に短い上位モジュールによる前記総合適合度の評価結果を優先的に反映させた形で前記制御対象の動作を制御するように構成されていることを特徴とする(第1発明)。 The control system of the present invention for solving the above-described problem includes a plurality of modules that are hierarchized according to the relative length of the calculation cycle, and each of the modules is a candidate of a behavior form to be controlled. In addition to searching for action candidates, for each of the action candidates, the contribution of the main fitness to the main purpose for which the self is in charge is higher than the contribution of the sub-fit to the sub-objects of other modules. The overall fitness is evaluated in consideration of both the main purpose and the sub-object, and the computation cycle is relatively higher than the evaluation result of the overall fitness by the lower module having a relatively long computation cycle. characterized in that it is configured to control the operation of the control object the evaluation results of the overall goodness of fit in the form of preferentially reflect by short-level module The first aspect of the present invention).

第1発明の制御システムによれば、複数のモジュールのそれぞれに自己モジュールが主担当する主目的を優先させながらも、他のモジュールが主担当する副目的をも勘案した形で、制御対象の行動候補が探索される。このように、異なるモジュール間で目的が緩やかに共有された形で制御対象の行動候補が探索されうる。   According to the control system of the first aspect of the present invention, the priority of the main purpose for which the own module is primarily responsible for each of the plurality of modules, while taking into account the sub-objects for which the other modules are primarily responsible, Candidates are searched. In this way, action candidates to be controlled can be searched in a manner in which the purpose is gently shared between different modules.

さらに、行動候補のそれぞれについて、自己が主担当する主目的に鑑みた主適合度が、他モジュールが主担当する副目的に鑑みた適合度よりも寄与度が高くなるように、主目的および副目的の両方に鑑みた総合適合度が評価される。そして、演算周期が相対的に長い下位モジュールによる総合適合度の評価結果よりも、演算周期が相対的に短い上位モジュールによる総合適合度の評価結果が優先的に反映された形態で制御対象の行動が制御される。 In addition, for each of the action candidates, the main purpose and the sub-purpose are determined so that the main fitness level in consideration of the main purpose for which the self is responsible is higher than the fitness level in view of the sub-object for which the other module is mainly responsible. Overall suitability is evaluated considering both objectives. Then, the behavior of the control target is reflected in a form in which the overall fitness evaluation result by the higher module having a relatively short calculation cycle is reflected in preference to the overall fitness evaluation result by the lower module having a relatively long calculation cycle. Is controlled.

したがって、外乱が発生した場合、当初は応答が速い上位モジュールが主担当する上位目的が制御対象の行動形態に反映され、この外乱による影響の迅速な低減が図られる。さらに、時間経過とともに応答が遅い下位モジュールが主担当する下位目的も制御対象の行動形態に反映され、複数の目的のすべてに適合するような制御対象の行動形態の回復が図られる。これにより、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を行動させることができる。   Therefore, when a disturbance occurs, the higher-order objective mainly handled by the higher-order module that responds quickly is reflected in the action form to be controlled, and the influence of this disturbance can be reduced quickly. Further, the sub-objects that are mainly handled by the subordinate modules that are slow to respond with the passage of time are also reflected in the action form of the control object, so that the action form of the control object that meets all of the plurality of purposes can be recovered. Thereby, the said control object can be made to act with a suitable form in view of the action objective of a control object with respect to the disturbance of arbitrary forms.

第1発明の制御システムにおいて、演算周期が最短の最上位モジュールおよび演算周期が最長の最下位モジュールを除く中間モジュールが、自己よりも演算周期が相対的に短い上位モジュールが主担当する上位目的、および、自己よりも演算周期が相対的に長い下位モジュールが主担当する下位目的のそれぞれを前記副目的として、前記行動候補のそれぞれについて、前記上位目的に鑑みた上位適合度が、前記下位目的に鑑みた下位適合度よりも寄与度が高くなるように前記総合適合度を評価するように構成されていてもよい(第2発明)。 In the control system of the first invention, the intermediate module excluding the highest module having the shortest calculation cycle and the lowest module having the longest calculation cycle is a high-order purpose mainly handled by an upper module having a relatively shorter calculation cycle than itself. And, each sub-object whose main purpose is a sub-module whose operation cycle is relatively longer than that of the sub-object is the sub-object, and for each of the action candidates, the high-level fitness in consideration of the high-order object is the sub-object You may comprise so that the said comprehensive fitness may be evaluated so that contribution may become higher than the low-order fitness in view (2nd invention).

第2発明の制御システムによれば、中間モジュールにより、自ら探索した行動候補のそれぞれについて、自己が主担当する主目的に対する主適合度、上位目的に対する上位適合度および下位目的に対する下位適合度の順で寄与度が高くなるように、当該すべての目的に対する総合適合度が評価される。これにより、中間モジュールが主担当する目的(中間目的)が上位目的よりも優先して反映されるとともに、上位目的が下位目的よりも優先して反映された形態で制御対象の行動が制御される。この結果、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を行動させることができる。   According to the control system of the second invention, for each of the action candidates searched for by the intermediate module, the order of the main suitability for the main purpose for which the self is responsible, the higher suitability for the higher purpose, and the lower suitability for the lower purpose. The total fitness for all the objectives is evaluated so that the degree of contribution becomes high. As a result, the purpose of the intermediate module (intermediate purpose) is reflected in preference to the higher-order goal, and the behavior of the control target is controlled in a form in which the higher-order goal is reflected in preference to the lower-order goal. . As a result, it is possible to cause the control target to behave in an appropriate form in view of the action purpose of the control target with respect to an arbitrary form of disturbance.

第2発明の制御システムにおいて、自己よりも演算周期が相対的に長い下位モジュールが存在する前記モジュールが、前記行動候補のそれぞれについて前記下位適合度を推定することにより推定下位適合度を評価し、前記推定下位適合度を前記下位適合度として前記総合適合度を評価するように構成されていてもよい(第3発明)。 In the control system of the second invention, the module in which a lower module having a relatively longer calculation cycle than the self evaluates the estimated lower fitness by estimating the lower fitness for each of the action candidates, The total fitness may be evaluated using the estimated lower fitness as the lower fitness (third invention).

第3発明の制御システムによれば、自己モジュールよりも下位のモジュールが主担当する目的のみならず、当該下位のモジュールよりもさらに下位のモジュールが主担当する目的を反映させた形態で、当該自己モジュールにより行動候補が探索されうる。すなわち、2つ以上の階位が異なる下位モジュールが存在する上位モジュールに、当該2つの下位モジュールのそれぞれが主担当する目的を緩やかに共有させた形で制御対象の行動候補が探索されうる。この結果、任意形態の外乱に対して、上位モジュールが主担当する目的を優先的に反映させながらも下位モジュールが主担当する目的も間接的または副次的に反映された形態で当該制御対象を行動させることができる。   According to the control system of the third aspect of the present invention, the self-module is reflected in a form reflecting not only the purpose of the module in charge of the subordinate module but also the purpose of the module inferior to the subordinate module. Action candidates can be searched by the module. That is, the control target action candidate can be searched in such a manner that the upper module in which there are two or more lower modules having different ranks gently share the purpose of each of the two lower modules. As a result, the target to be controlled by the higher-level module is preferentially reflected for disturbances of any form, while the target for the lower-level module is also indirectly or secondarily reflected. Can act.

第3発明の制御システムにおいて、自己よりも演算周期が相対的に長い下位モジュールが存在する前記モジュールが、前記下位モジュールにより探索された前記行動候補としての下位行動候補のうち、前記下位モジュールにより評価された前記総合適合度としての下位総合適合度が最大または極大となる下位行動候補を下位行動指針として前記下位モジュールから受け取り、自ら探索した前記行動候補のそれぞれについて、前記下位行動指針との近似度を前記推定下位適合度として評価するように構成されていてもよい(第4発明)。 In the control system according to the third aspect of the invention, the module in which a lower module having a relatively longer calculation cycle than the self is evaluated by the lower module among the lower action candidates as the action candidates searched by the lower module. The lower behavior candidate having the maximum or maximum lower comprehensive fitness as the total fitness is received from the lower module as a lower behavior guideline, and the degree of approximation with the lower behavior guideline for each of the behavior candidates searched by itself May be evaluated as the estimated lower matching degree (fourth invention).

第4発明の制御システムによれば、自己モジュールによる推定下位適合度の評価基準となる、下位モジュールより受け取った下位行動指針には、当該下位のモジュールがそれよりもさらに下位のモジュールから受け取った下位行動指針が反映される。このため、自己モジュールよりも下位のモジュールが主担当する目的のみならず、当該下位のモジュールよりもさらに下位のモジュールが主担当する目的を反映させた形態で、当該自己モジュールにより行動候補が探索されうる。すなわち、2つ以上の階位が異なる下位モジュールが存在する上位モジュールに、当該2つの下位モジュールのそれぞれが主担当する目的を緩やかに共有させた形で制御対象の行動候補が探索されうる。この結果、任意形態の外乱に対して、上位モジュールが主担当する目的を優先的に反映させながらも下位モジュールが主担当する目的も間接的または副次的に反映された形態で当該制御対象を行動させることができる。   According to the control system of the fourth aspect of the present invention, the lower action guide received from the lower module, which is the evaluation criterion of the estimated lower matching degree by the self module, is the lower module received by the lower module from the lower module. The action guidelines are reflected. Therefore, the self-module searches for action candidates in a form that reflects not only the purpose of the module in charge of the subordinate module but also the purpose of the module inferior to the subordinate module. sell. That is, the control target action candidate can be searched in such a manner that the upper module in which there are two or more lower modules having different ranks gently share the purpose of each of the two lower modules. As a result, the target to be controlled by the higher-level module is preferentially reflected for disturbances of any form, while the target for the lower-level module is also indirectly or secondarily reflected. Can act.

第3または第4発明の制御システムにおいて、前記複数のモジュールとして第1〜第Nモジュールを備え、前記最上位モジュールとしての第1モジュールが、自ら探索した前記行動候補としての第1行動候補のそれぞれについて、前記主目的としての第1目的に対する第1適合度e1を評価し、下位モジュールとしての第2モジュールが主担当する第2目的に対する適合度を推定することにより第2推定適合度e2^を評価した上で、評価式f1=e1(e2^+1)にしたがって第1総合適合度f1を評価するように構成され、前記中間モジュールとしての第iモジュール(i=2〜N−1)が、自ら探索した前記行動候補としての第i行動候補のそれぞれについて、前記主目的としての第i目的に鑑みた第i適合度eiを評価し、前記上位目的としての第i−1目的に鑑みた第i−1適合度ei-1を評価し、前記下位目的としての第i+1目的に鑑みた適合度を推定することにより第i+1推定適合度ei+1^を評価した上で、評価式fi=ei(ei-1(ei+1^+1)+1)にしたがって前記第i総合適合度fiを評価するように構成され、前記最下位モジュールとしての第Nモジュールが、自ら探索した前記行動候補としての第N行動候補のそれぞれについて、前記主目的としての第N目的に対する第N適合度eNを評価し、上位モジュールとしての第N−1モジュールが主担当する第N−1適合度eN-1を評価した上で、評価式fN=eN(eN-1+1)にしたがって前記第i総合適合度fiを評価するように構成されていてもよい(第5発明)。 In the control system of the third or fourth invention, each of the first action candidates as the action candidates searched for by the first module as the highest module includes the first to Nth modules as the plurality of modules. The second estimated fitness e 2 is evaluated by evaluating the first fitness e 1 for the first goal as the main goal and estimating the fitness for the second goal mainly handled by the second module as the lower module. After evaluating ^, the first overall fitness f 1 is evaluated according to the evaluation formula f 1 = e 1 (e 2 ^ + 1), and the i-th module (i = 2 to 2) as the intermediate module is configured. N-1) is, for each i-th action candidates as the behavior candidate of searching itself, to evaluate the i-th fitness e i in light to the i-th object as the main purpose, the upper eye (I-1) th adaptability in view to the (i-1) th object as e i-1 is evaluated and the (i + 1) th estimated fitness by estimating the adaptability that light of the (i + 1) object of the subgoals e i + 1 ^ is evaluated, and the i- th total fitness f i is evaluated according to the evaluation formula f i = e i (e i-1 (e i + 1 ^ + 1) +1). The Nth module as the lower module evaluates the Nth adaptability e N with respect to the Nth objective as the main objective for each of the Nth action candidates as the behavioral candidates searched by itself, and the Nth module as the upper module. -1 module evaluates the N-1 fitness level e N-1 and then evaluates the i-th total fitness level f i according to the evaluation formula f N = e N (e N-1 +1). (5th invention).

第5発明の制御システムによれば、2つ以上の階位が異なる下位モジュール(1階位下位のモジュールおよび2階位下位のモジュール)が存在する上位モジュールに、当該2つの下位モジュールのそれぞれが主担当する目的を緩やかに共有させた形で制御対象の行動候補が探索されうる。この結果、任意形態の外乱に対して、上位モジュールが主担当する目的を優先的に反映させながらも下位モジュールが主担当する目的も間接的または副次的に反映された形態で当該制御対象を行動させることができる。   According to the control system of the fifth invention, each of the two lower modules is included in an upper module in which two or more lower modules having different levels (the first lower module and the second lower module) exist. Action candidates to be controlled can be searched for in a manner in which the purpose of the main charge is gently shared. As a result, the target to be controlled by the higher-level module is preferentially reflected for disturbances of any form, while the target for the lower-level module is also indirectly or secondarily reflected. Can act.

第5発明の制御システムにおいて、第jモジュール(j=1,2,‥,N)が、自ら探索した前記行動候補としてのすべての第j行動候補のうち、第j指定行動候補群に含まれる第j行動候補について、前記主目的としての第j目的に対する第j適合度ejを一定値に評価する一方、前記すべての第j行動候補のうち、前記第j指定行動候補群に含まれない第j行動候補について、前記第j適合度ejを前記一定値よりも低く評価するように構成されていてもよい(第6発明)。 In the control system of the fifth invention, the j-th module (j = 1, 2,..., N) is included in the j-th designated action candidate group among all the j-th action candidates as the action candidates searched for by itself. About j behavior candidate, while evaluating the j fit e j for the j purpose as the main object to a constant value, said of all of the j behavior candidate, is not included in the j-th designated action candidates About j behavior candidate, which may be configured to evaluate lower than the first j adaptability e j the predetermined value (sixth invention).

第6発明の制御システムによれば、第jモジュールにより探索されたすべての第j行動候補のうち、第j指定行動候補群に含まれる第j行動候補については、第j適合度ejが一定値に評価される。その一方、第j指定行動候補群に含まれない第j行動候補については、第j適合度ejが一定値よりも低い値に評価される。すなわち、行動候補としてとりうる集合のうち、第j適合度ejが十分に高い値をとる行動候補の集合(第j解空間)において、第j適合度ejが当該一定値に評価される領域(フラット領域)と、第j適合度ejが当該一定値よりも低い領域とが形成される。当該構成は、ある程度第j目的に適合している第j行動候補は、第j適合度を近似的に同等と考えてもよいという思想に基づいている。 According to the control system of the sixth aspect of the present invention, among all of the j behavior candidate searched by the j-th module, for the first j action candidates included in the j-specified behavior candidate group, the j-th fitness e j constant Evaluates to a value. Meanwhile, for the j-th action candidates are not included in the j-th specified behavior candidate group, the j fit e j evaluates to a value lower than a predetermined value. That is, of the set can be taken as an action candidates in the set of actions candidates j-th fitness e j takes a sufficiently high value (j-th solution space), the j-th fitness e j is evaluated in the constant value a region (flat region), the j-th fitness e j is a region lower than the predetermined value is formed. This configuration is based on the idea that j-th action candidates that are suitable for the j-th purpose to some extent may consider the j-th suitability to be approximately equivalent.

フラット領域の形成により、第j解空間において総合適合度が最大または極大となるような解が探索されうる領域が広がる。このため、上位モジュールが、下位総合適合度が最大または極大となる下位行動候補を下位行動指針として下位モジュールから受け取り、自ら探索した行動候補のそれぞれについて下位行動指針との近似度を推定下位適合度として評価するように構成されている場合(第4発明参照)、解空間において当該上位モジュールにより解が探索されうる領域が広がる。   By forming the flat area, an area in which a solution having the maximum or maximum total fitness can be searched in the j-th solution space is expanded. For this reason, the upper module receives the lower action candidate having the maximum or maximum lower overall fitness from the lower module as the lower action guideline, and estimates the degree of approximation with the lower action guideline for each action candidate searched by itself. In the solution space (see the fourth aspect of the invention), an area where a solution can be searched for by the higher module in the solution space is expanded.

また、第j解空間においてフラット領域に含まれている複数の第j行動候補について、第j適合度ejの高低に応じた優劣は考慮されなくてもよい。このため、第j適合度を必要以上に高めるような解が探索されること、ひいては、制御対象の動作制御の過剰な最適化が防止される。さらに、第jモジュールは、他のモジュール(第j−1モジュールおよび第j+1モジュールのうち一方または両方)が主担当する副目的に鑑みた適合度に応じて総合適合度が最大または極大となる第j行動候補を探索すれば足る。すなわち、第jモジュールを、主目的ではなく、副目的に鑑みた適合度を高くするような解の探索に集中させることができる。 Further, the plurality of first j behavior candidate included in the flat region in the j-th solution space, the superiority in accordance with the height of the j-fit e j may not be considered. For this reason, searching for a solution that increases the j-th matching degree more than necessary, and thus, excessive optimization of the operation control of the controlled object is prevented. Further, the j-th module has a maximum or maximum total fitness according to the fitness in consideration of the sub-objects in which the other modules (one or both of the j-1 module and the j + 1 module) are mainly responsible. It is sufficient to search for j action candidates. In other words, the j-th module can be concentrated on searching for a solution that increases the degree of fitness in consideration of the sub-object, not the main object.

このため、第j適合度ejの評価のための各モジュールの演算処理負荷の軽減、ひいては、演算処理結果の算出の早期化を図りながら、第j総合適合度fjが評価または算出されうる。これにより、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を迅速に応答または行動させることができる。 Therefore, the j adaptability e j reduce processing load of each module for the evaluation of, and thus, while achieving earlier stage of calculation of the calculation result, the j overall fitness f j can be evaluated or calculated . Thereby, it is possible to promptly respond or act on the control target in an appropriate form in view of the behavioral purpose of the control target with respect to an arbitrary form of disturbance.

第6発明の制御システムにおいて、前記第jモジュールが、前記すべての第j行動候補のうち、前記第j目的に応じた状態空間において定義される基準点からの乖離度が第j閾値以下である第j行動候補を、前記第j指定行動候補群に含まれる第j行動候補として、前記第j適合度ejを前記一定値に評価する一方、前記すべての第j行動候補のうち、前記第j指定行動候補群に含まれない第j行動候補について、前記乖離度に基づき、前記乖離度の連続的または段階的な減少関数にしたがって前記第j適合度ejを評価するように構成されていてもよい(第7発明)。 In the control system of a sixth aspect of the invention, the j-th module has a divergence degree from a reference point defined in a state space corresponding to the j-th objective among all the j-th action candidates being not more than a j-th threshold value. the j-th action candidates, as the j action candidates included in the j-th designated action candidates, while evaluating the j-th fitness e j to the predetermined value, among the all of the j behavior candidate, the second About j behavior candidate that is not included in the j specified action candidates, based on the deviation degree, it is adapted to evaluate the first j adaptability e j according continuously or stepwise decreasing function of the degree of deviation (7th invention).

第7発明の制御システムによれば、第6発明の制御システムと同様、第j適合度ejの評価のための演算処理負荷の軽減、ひいては、演算処理結果の算出の早期化を図りながら、第j総合適合度fjが評価または算出されうる。これにより、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を迅速に応答または行動させることができる。 According to the control system of the seventh invention, similar to the control system of the sixth aspect of the present invention, reduction in processing load for the evaluation of the j fit e j, therefore, while achieving earlier stage of calculation of the calculation result, The jth total fitness fj can be evaluated or calculated. Thereby, it is possible to promptly respond or act on the control target in an appropriate form in view of the behavioral purpose of the control target with respect to an arbitrary form of disturbance.

第1〜第7発明のうちいずれか1つの制御システムにおいて、前記モジュールのそれぞれが、自ら探索した前記行動候補のそれぞれに応じた前記制御対象の複数の未来状態を予測し、前記行動候補のそれぞれについて、前記未来状態のそれぞれに基づいて前記総合適合度を評価するように構成されていてもよい(第8発明)。   In any one of the control systems according to the first to seventh aspects of the invention, each of the modules predicts a plurality of future states of the control target according to each of the action candidates searched for by itself, and each of the action candidates May be configured to evaluate the overall fitness based on each of the future states (eighth invention).

第8発明の制御システムによれば、自己モジュールにより行動候補のそれぞれに応じて予測された未来状態のそれぞれに基づき、当該行動候補のそれぞれについて、自己モジュールが主担当する自己が主担当する主目的および他のモジュールが主担当する副目的のそれぞれに対する総合適合度が評価される。そして、前記のように低周波の下位モジュールによる総合適合度の評価結果よりも、高周波の上位モジュールによる総合適合度の評価結果が優先的に反映された形態で制御対象の行動が制御される。その結果、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を行動させることができる。   According to the control system of the eighth aspect of the present invention, based on each of the future states predicted according to each of the action candidates by the self module, for each of the action candidates, the main purpose for which the self responsible for the self module is the main purpose And the overall fitness for each of the sub-objects for which the other modules are primarily responsible. Then, as described above, the behavior of the control target is controlled in a form in which the evaluation result of the overall fitness by the higher frequency higher module is reflected in preference to the evaluation result of the overall fitness by the lower frequency lower module. As a result, it is possible to cause the control target to behave in an appropriate form in view of the action purpose of the control target with respect to an arbitrary form of disturbance.

第1〜第8発明のうちいずれか1つの制御システムにおいて、前記モジュールのそれぞれが、前記制御対象としての移動装置の位置または位置および姿勢を定めるような前記行動候補を探索するように構成され、演算周期が相対的に短い上位モジュールであるほど、演算周期が相対的に長い下位モジュールと比較して、前記移動装置の短期間にわたる前記行動候補を探索するように構成されていてもよい(第9発明)。 In any one of the control systems according to the first to eighth aspects, each of the modules is configured to search for the action candidate that determines a position or a position and a posture of the mobile device as the control target. The higher module having a relatively short calculation cycle may be configured to search for the action candidate over a short period of the mobile device as compared to a lower module having a relatively long calculation cycle (first). 9 invention).

第9発明の制御システムによれば、各モジュールにその演算周期の長短に応じた適当な目的に応じて、適当な長さの期間にわたる制御対象としての移動装置の位置または位置および姿勢(以下、適宜「位置等」という。)を定める行動候補の探索を実行させることができる。その結果、任意形態の外乱に対して、移動装置の行動目的に鑑みてその位置等が適当に制御されるように当該移動装置を行動させることができる。 According to the control system of the ninth invention, the position or the position and orientation of the moving apparatus in accordance with the appropriate purpose in accordance with the length of the computation cycle of that in each module, as a control object for a period of suitable length ( Hereinafter, a search for action candidates for determining “position etc.” as appropriate can be executed. As a result, in response to an arbitrary form of disturbance, the mobile device can be acted so that its position and the like are appropriately controlled in view of the behavioral purpose of the mobile device.

第9発明の制御システムにおいて、基体と、前記基体から延設された複数の脚体とを有する前記移動装置としてのロボットの位置軌道および姿勢軌道を前記行動候補として探索するように構成されている第1モジュール、第2モジュールおよび第3モジュールを前記複数のモジュールとして備え、前記第1モジュールが前記ロボットに姿勢を安定させるための前記ロボットの第1指定歩数にわたる歩容を第1行動候補として探索するように構成され、前記第2モジュールが前記ロボットに物体との接触を回避させるための前記第1指定歩数よりも多い第2指定歩数にわたる歩容を定める局所経路を第2行動候補として探索するように構成され、前記第3モジュールが前記ロボットに目標位置に到達させるための大局経路を第3行動候補として探索するように構成されていてもよい(第10発明)。   In a control system according to a ninth aspect of the present invention, a position trajectory and a posture trajectory of a robot as the moving device having a base and a plurality of legs extending from the base are searched as the action candidates. A first module, a second module, and a third module are provided as the plurality of modules, and the first module searches for a gait over the first specified number of steps of the robot for stabilizing the posture of the robot as a first action candidate. The second module searches for a local route that defines a gait over a second specified number of steps larger than the first specified number of steps for causing the robot to avoid contact with an object as a second action candidate. As a third action candidate, a global route for the third module to cause the robot to reach a target position is configured. It is configured to search good (tenth aspect).

第10発明の制御システムによれば、演算周期が最短の第1モジュールに他のモジュールが主担当する副目的を反映させながらも「ロボットにその姿勢を安定させる」という第1行動目的を主目的として、外乱発生時の短期間にわたる第1行動候補を探索させることができる。また、演算周期が中間の長さの第2モジュールに他のモジュールが主担当する副目的を反映させながらも「ロボットに物体との接触を回避させる」という第2行動目的を主目的として、第1行動候補と比較して長い期間にわたる第2行動候補を探索させることができる。さらに、演算周期が最長の第3モジュールに他のモジュールが主担当する副目的を反映させながらも「ロボットに目的位置に到達させる」という第3目的を主目的として、第2行動候補と比較して長い期間にわたる第3行動候補を探索させることができる。 According to the control system of the tenth aspect of the present invention, the main purpose of the first action purpose of “stabilizing the robot's posture” is reflected in the first module having the shortest calculation cycle while reflecting the sub-object that the other module is mainly responsible for. As a result, it is possible to search for a first action candidate over a short period when a disturbance occurs. In addition, while reflecting the sub-object that the other module is mainly responsible for in the second module having an intermediate calculation period , the main purpose is the second action purpose of “making the robot avoid contact with the object”. It is possible to search for a second action candidate over a longer period than one action candidate. In addition, while reflecting the sub-object that the other module is mainly responsible for in the third module with the longest calculation cycle , the third objective “to make the robot reach the target position” is compared with the second action candidate. The third action candidate over a long period can be searched.

第1モジュールからみた「他のモジュール」には、第2モジュールおよび第3モジュールの一方または両方が該当しうる。同様に、第2モジュールからみた「他のモジュール」には、第1モジュールおよび第3モジュールの一方または両方が該当しうる。また、第3モジュールからみた「他のモジュール」には、第1モジュールおよび第2モジュールの一方または両方が該当しうる。   One or both of the second module and the third module may correspond to the “other module” viewed from the first module. Similarly, one or both of the first module and the third module may correspond to “another module” viewed from the second module. In addition, one or both of the first module and the second module may correspond to “another module” viewed from the third module.

そして、演算周期が相対的に長い下位モジュールによる総合適合度の評価結果よりも、演算周期が相対的に短い上位モジュールによる総合適合度の評価結果が優先的に反映された形態で制御対象の行動が制御される。その結果、任意形態の外乱に対して、制御対象の行動目的に鑑みて適当な形態で、当該制御対象を行動させることができる。 Then, the behavior of the control target is reflected in a form in which the overall fitness evaluation result by the higher module having a relatively short calculation cycle is reflected in preference to the overall fitness evaluation result by the lower module having a relatively long calculation cycle. Is controlled. As a result, it is possible to cause the control target to behave in an appropriate form in view of the action purpose of the control target with respect to an arbitrary form of disturbance.

前記課題を解決するための本発明のロボットは、基体と、前記基体から延設されている複数の脚体とを備え、前記複数の脚体の動作により移動する前記移動装置としてのロボットであって、第10発明の制御システムを備えていることを特徴とする(第11発明)。   A robot of the present invention for solving the above-mentioned problems is a robot as the moving device that includes a base and a plurality of legs extending from the base and moves by the movement of the plurality of legs. And a control system according to the tenth aspect of the invention (eleventh aspect).

第11発明のロボットによれば、外乱が発生した場合、当初は応答が速い上位モジュールが主担当する上位目的が制御対象としてのロボットの行動形態に反映され、この外乱による影響の迅速な低減が図られる。さらに、時間経過とともに応答が遅い下位モジュールが主担当する下位目的も制御対象としてのロボットの行動形態に反映され、複数の目的のすべてに適合するようなロボットの行動形態の回復が図られる。これにより、任意形態の外乱に対して、ロボットがその行動目的に鑑みて適当な形態で行動することができる。   According to the robot of the eleventh aspect of the invention, when a disturbance occurs, the higher-order objective mainly handled by the higher-order module that is initially responding is reflected in the action form of the robot as the control target, and the effect of the disturbance can be quickly reduced. Figured. In addition, the subordinate objectives, which are mainly handled by the subordinate modules whose response is slow over time, are also reflected in the behavioral form of the robot as the control target, so that the robot's behavioral form can be restored to suit all of the plural objectives. Thereby, the robot can behave in an appropriate form in view of the purpose of the action with respect to an arbitrary form of disturbance.

本発明の一実施形態としてのロボットの構成説明図。BRIEF DESCRIPTION OF THE DRAWINGS The structure explanatory drawing of the robot as one Embodiment of this invention. ロボットの制御システムの構成説明図。FIG. 2 is a configuration explanatory diagram of a robot control system. 並列モジュール間の信号のやり取りに関する説明図。Explanatory drawing regarding the exchange of the signal between parallel modules. 並列モジュールの連携処理に関する説明図。Explanatory drawing regarding the cooperation process of a parallel module. 各モジュールによる行動探索方法に関する説明図。Explanatory drawing regarding the action search method by each module. 第1適合度の評価方法に関する説明図。Explanatory drawing regarding the evaluation method of the 1st fitness. 第2適合度の評価方法に関する説明図。Explanatory drawing regarding the evaluation method of a 2nd fitness. 第3適合度の評価方法に関する説明図。Explanatory drawing regarding the evaluation method of the 3rd fitness. 行動探索方法の多様性および収束性に関する説明図。Explanatory drawing regarding the diversity and convergence of the behavior search method. 行動探索方法の多様性に関する説明図。Explanatory drawing regarding the diversity of behavior search methods. 行動探索方法の多様性に関する説明図。Explanatory drawing regarding the diversity of behavior search methods. ロボットの挙動状態および倒立振子の挙動状態の関係に関する説明図。Explanatory drawing regarding the relationship between the behavior state of a robot and the behavior state of an inverted pendulum. 倒立振子による実験結果の説明図。Explanatory drawing of the experimental result by an inverted pendulum. ロボットの行動に関する説明図。Explanatory drawing regarding the action of the robot.

本発明の制御システムおよびその制御対象の実施形態について図面を用いて説明する。   An embodiment of a control system of the present invention and its control object will be described with reference to the drawings.

(ロボットの構成)
まず、本発明の一実施形態としてのロボットの構成について説明する。
(Robot configuration)
First, a configuration of a robot as an embodiment of the present invention will be described.

図1に示されているロボットRは脚式移動ロボットであり、人間と同様に、基体B0と、基体B0の上方に配置された頭部B1と、基体B0の上部に上部両側から延設された左右の腕体B2と、左右の腕体B2のそれぞれの先端に設けられているハンドHと、基体B0の下部から下方に延設された左右の脚体B4とを備えている。   The robot R shown in FIG. 1 is a legged mobile robot. Like a human, the robot R extends from both sides of the base B0, the head B1 disposed above the base B0, and the top of the base B0. The left and right arm bodies B2, the hand H provided at the tip of each of the left and right arm bodies B2, and the left and right leg bodies B4 extending downward from the lower portion of the base body B0 are provided.

基体B0はヨー軸回りに相対的に回動しうるように上下に連結された上部および下部により構成されている。頭部B1は基体B0に対してヨー軸回りに回動する等、動くことができる。   The base B0 is composed of an upper part and a lower part that are connected vertically so as to be relatively rotatable about the yaw axis. The head B1 can move, such as rotating around the yaw axis with respect to the base B0.

腕体B2は第1腕体リンクB22と、第2腕体リンクB24とを備えている。基体B0と第1腕体リンクB22とは肩関節機構(第1腕関節機構)B21を介して連結され、第1腕体リンクB22と第2腕体リンクB24とは肘関節機構(第2腕関節機構)B23を介して連結され、第2腕体リンクB24とハンドHとは手首関節機構(第3腕関節機構)B25を介して連結されている。肩関節機構B21はロール、ピッチおよびヨー軸回りの回動自由度を有し、肘関節機構B23はピッチ軸回りの回動自由度を有し、手首関節機構B25はロール、ピッチ、ヨー軸回りの回動自由度を有している。   The arm body B2 includes a first arm body link B22 and a second arm body link B24. The base B0 and the first arm body link B22 are connected via a shoulder joint mechanism (first arm joint mechanism) B21, and the first arm body link B22 and the second arm body link B24 are connected to an elbow joint mechanism (second arm). The second arm body link B24 and the hand H are connected via a wrist joint mechanism (third arm joint mechanism) B25. The shoulder joint mechanism B21 has a degree of freedom of rotation around the roll, pitch and yaw axes, the elbow joint mechanism B23 has a degree of freedom of rotation around the pitch axis, and the wrist joint mechanism B25 is around the roll, pitch and yaw axes. It has a degree of freedom of rotation.

脚体B4は第1脚体リンクB42と、第2脚体リンクB44と、足部B5とを備えている。基体B0と第1脚体リンクB42とは股関節機構(第1脚関節機構)B41を介して連結され、第1脚体リンクB42と第2脚体リンクB44とは膝関節機構(第2脚関節機構)B43を介して連結され、第2脚体リンクB44と足部B5とは足関節機構(第3脚関節機構)B45を介して連結されている。   The leg B4 includes a first leg link B42, a second leg link B44, and a foot B5. The base B0 and the first leg link B42 are connected via a hip joint mechanism (first leg joint mechanism) B41, and the first leg link B42 and the second leg link B44 are connected to a knee joint mechanism (second leg joint). The mechanism) is connected via B43, and the second leg link B44 and the foot B5 are connected via an ankle joint mechanism (third leg joint mechanism) B45.

股関節機構B41はロール、ピッチおよびロール軸回りの回動自由度を有し、膝関節機構B43はピッチ軸回りの回動自由度を有し、足関節機構B45はロールおよびピッチ軸回りの回動自由度を有している。股関節機構B41、膝関節機構B43および足関節機構B45は「脚関節機構群」を構成する。なお、脚関節機構群に含まれる各関節機構の並進および回転自由度は適宜変更されてもよい。また、股関節機構B41、膝関節機構B43および足関節機構B45のうち任意の1つの関節機構が省略された上で、残りの2つの関節機構の組み合わせにより脚関節機構群が構成されていてもよい。さらに、脚体B4が膝関節とは別の第2脚関節機構を有する場合、当該第2脚関節機構が含まれるように脚関節機構群が構成されてもよい。足部B5の底には着床時の衝撃緩和のため、特開2001−129774号公報に開示されているような弾性素材B52が設けられている。   The hip joint mechanism B41 has a degree of freedom of rotation about the roll, the pitch, and the roll axis, the knee joint mechanism B43 has a degree of freedom of rotation about the pitch axis, and the ankle joint mechanism B45 rotates about the roll and the pitch axis. Has a degree of freedom. The hip joint mechanism B41, the knee joint mechanism B43, and the ankle joint mechanism B45 constitute a “leg joint mechanism group”. The translational and rotational degrees of freedom of each joint mechanism included in the leg joint mechanism group may be changed as appropriate. In addition, an arbitrary one of the hip joint mechanism B41, the knee joint mechanism B43, and the ankle joint mechanism B45 may be omitted, and the leg joint mechanism group may be configured by a combination of the remaining two joint mechanisms. . Further, when the leg body B4 has a second leg joint mechanism different from the knee joint, the leg joint mechanism group may be configured to include the second leg joint mechanism. An elastic material B52 as disclosed in Japanese Patent Application Laid-Open No. 2001-129774 is provided on the bottom of the foot B5 in order to alleviate the impact when landing.

ロボットRには、ロボットRの世界座標系における位置および姿勢などの内部状態を測定するための複数の内部状態センサS1が搭載されている。ロボットRの各関節機構の屈曲角度(関節角度)に応じた信号を出力するエンコーダ(図示略)、基体B0の姿勢(方位角および仰角により特定される。)に応じた信号を出力する傾斜センサ、および、足部B5および着床および離床の別を判定するための圧力センサなどが内部状態センサS1に該当する。ロボットRの周囲の様子を撮像し、当該撮像座標に基づいて世界座標系に固定されている標識の位置を認識することにより、世界座標系におけるロボットRの位置を認識するための撮像装置が内部状態センサS1に該当する。 The robot R is equipped with a plurality of internal state sensors S 1 for measuring internal states such as position and posture of the robot R in the world coordinate system. An encoder (not shown) that outputs a signal corresponding to the bending angle (joint angle) of each joint mechanism of the robot R, and an inclination sensor that outputs a signal corresponding to the posture (identified by the azimuth angle and elevation angle) of the base body B0. , and, like a pressure sensor for determining the different foot B5 and implantation and lifting corresponds to the internal state sensor S 1. An imaging apparatus for recognizing the position of the robot R in the world coordinate system by capturing an image of the surroundings of the robot R and recognizing the position of the marker fixed to the world coordinate system based on the imaging coordinates. corresponding to the state sensor S 1.

たとえば、頭部B1に搭載され、ロボットRの前方を撮像範囲とするCCDカメラ、赤外線カメラ等、種々の周波数帯域における光を感知しうる左右一対の頭カメラC1が撮像装置として採用されうる。また、基体B0の前側下部に搭載され、ロボットRの前方下方に向けて発せられた近赤外レーザー光の物体による反射光を検知することによりこの物体の位置や方位等を測定するための腰カメラ(アクティブセンサ)C2が撮像装置として採用されうる。   For example, a pair of left and right head cameras C1 mounted on the head B1 and capable of sensing light in various frequency bands, such as a CCD camera and an infrared camera having an imaging range in front of the robot R, can be employed as the imaging device. Further, a waist mounted on the lower front side of the base B0 and used to measure the position and orientation of the object by detecting the reflected light of the near-infrared laser light emitted toward the front lower side of the robot R. A camera (active sensor) C2 may be employed as the imaging device.

ロボットRには、その周辺における物体の位置などの外部状態を測定するための外部状態センサS2が搭載されている。前記のような撮像装置が外部状態センサS2に該当する。 The robot R is equipped with an external state sensor S 2 for measuring an external state such as the position of an object around the robot R. It said such an imaging device corresponds to an external state sensor S 2.

ロボットRは制御システム1と、前記の複数の関節機構のそれぞれを動かすための複数のアクチュエータ2とを備えている。ロボットRの内部状態および外部状態に応じて制御システム1から出力される制御指令にしたがってアクチュエータ2のそれぞれの動作が制御されることにより、ロボットRがさまざまな態様で適応的に行動することができる。
(制御システムの構成)
図2に示されている制御システム1は、制御モジュールmod0と、第1モジュール(安定化モジュール)mod1と、第2モジュール(障害物回避モジュール)mod2と、第3モジュール(経路生成モジュール)mod3とを備えている。
The robot R includes a control system 1 and a plurality of actuators 2 for moving each of the plurality of joint mechanisms. Each operation of the actuator 2 is controlled according to a control command output from the control system 1 according to the internal state and the external state of the robot R, so that the robot R can behave adaptively in various modes. .
(Control system configuration)
The control system 1 shown in FIG. 2 includes a control module mod0, a first module (stabilization module) mod1, a second module (obstacle avoidance module) mod2, and a third module (path generation module) mod3. It has.

(第1モジュールの構成)
第1モジュールmod1はロボットRの姿勢を安定させることを主目的(第1行動目的)として主担当する。第1モジュールmod1は第1演算周期T1ごとに入力信号を演算処理することにより出力信号の生成を繰り返すように構成されている。
(Configuration of the first module)
The first module mod1 is mainly responsible for stabilizing the posture of the robot R as a main purpose (first action purpose). The first module mod1 is configured to repeat the generation of the output signal by processing the input signal for each first operation period T 1.

(第2モジュールの構成)
第2モジュールmod2はロボットRに物体との接触を回避させることを主目的(第2行動目的)として主担当する。第2モジュールmod2は第1演算周期T1より長い第2演算周期T2(たとえばT2=2T1)ごとに入力信号を演算処理することにより出力信号の生成を繰り返すように構成されている。
(Configuration of the second module)
The second module mod2 is mainly responsible for causing the robot R to avoid contact with an object as a main purpose (second action purpose). The second module mod2 is configured to repeat the generation of the output signal by calculating the input signal every second calculation cycle T 2 (for example, T 2 = 2T 1 ) longer than the first calculation cycle T 1 .

(第3モジュールの構成)
第3モジュールmod3はロボットRを目標位置まで移動させることを主目的(第3行動目的)として主担当する。第3モジュールmod3は第2演算周期T2より長い第3演算周期T3(たとえばT3=2T2)ごとに入力信号を演算処理することにより出力信号の生成を繰り返すように構成されている。
(Configuration of the third module)
The third module mod3 is mainly responsible for moving the robot R to the target position as the main purpose (third action purpose). The third module mod3 is configured to repeat the generation of the output signal by calculating the input signal every third calculation cycle T 3 (for example, T 3 = 2T 2 ) longer than the second calculation cycle T 2 .

(ロボットの機能)
前記構成のロボットRの機能について説明する。
(Robot function)
The function of the robot R having the above configuration will be described.

(制御システムによる演算処理手順)
制御システム1により、次の手順にしたがってアクチュエータ2の動作およびロボットRの行動が制御される。
(Calculation procedure by control system)
The control system 1 controls the operation of the actuator 2 and the behavior of the robot R according to the following procedure.

まず、制御モジュールmod0によりロボットRの現在状態が認識される。具体的には、内部状態センサS1からの出力信号に基づき、ロボットRの世界座標系における位置(着地位置およびZMP位置など)および姿勢(基体B0の姿勢)などの内部状態が認識される。また、外部状態センサS2からの出力信号に基づき、ロボットRの周囲にある物体のサイズおよび世界座標系における位置などの外部状態が認識される。なお、物体のサイズおよび位置などの外部状態を表わすデータがロボットRの外部から制御システム1に入力または送信されることにより、制御モジュールmod0が外部状態の一部または全部を認識してもよい。 First, the current state of the robot R is recognized by the control module mod0. Specifically, based on the output signal from the internal state sensor S 1, the internal state such as the position in the world coordinate system of the robot R (such as landing position and ZMP position) and orientation (posture of the body B0) is recognized. Further, based on the output signal from the external state sensor S 2, the external conditions such as the position in the size and the world coordinate system of the object in the surroundings of the robot R is recognized. It should be noted that the control module mod0 may recognize part or all of the external state by inputting or transmitting data representing the external state such as the size and position of the object from the outside of the robot R to the control system 1.

ロボットRの「現在状態」は第1演算周期T1ごとに制御モジュールmod0から第1モジュールmod1に入力される(図3/矢印D1+参照)。さらに、第2行動探索処理の実行により得られる「第2探索戦略」および「第2行動指針」が第2演算周期T2ごとに第2モジュールmod2から第1モジュールmod1に入力される(図3/矢印D2-参照)。 "Current state" of the robot R is input from the control module mod0 each first calculation cycle T 1 to the first module mod1 (see FIG. 3 / Arrow D 1+). Further, the “second search strategy” and the “second action guideline” obtained by executing the second action search process are input from the second module mod2 to the first module mod1 every second operation cycle T 2 (FIG. 3). / See arrow D 2- ).

当該入力信号に応じて、第1モジュールmod1により第1演算周期T1ごとに「第1行動探索処理」が実行される。第1行動探索処理の実行により得られる「第1行動指針」は第1演算周期T1ごとに第1モジュールmod1から制御モジュールmod0に入力される(図3/矢印D1-参照)。 In response to the input signal, the “first action search process” is executed by the first module mod1 every first calculation cycle T 1 . "First action guidelines" obtained by the execution of the first action search processing is input to the control module mod0 from the first module mod1 each first calculation cycle T 1 (see FIG. 3 / Arrow D 1-).

なお、第1モジュールmod1の今回サイクルの開始時刻において第2モジュールmod2から入力信号がない場合、第1モジュールmod1の最近の過去サイクルの開始時刻における第2モジュールmod2からの入力信号が用いられて第1行動探索処理が実行される。   If there is no input signal from the second module mod2 at the start time of the current cycle of the first module mod1, the input signal from the second module mod2 at the start time of the most recent past cycle of the first module mod1 is used. One action search process is executed.

現在状態、または、当該現在状態に応じた直近未来におけるロボットRの最新予測状態が第2演算周期T2ごとに第1モジュールmod1から第2モジュールmod2に入力される(図3/矢印D2+参照)。さらに、第1行動探索処理の実行により得られる「第1探索戦略(第1行動予約を含む。)」が第2演算周期T2ごとに第1モジュールmod1から第2モジュールmod2に入力される(図3/矢印D2+参照)。また、第3行動探索処理の実行により得られる「第3探索戦略」および「第3行動指針」が第3演算周期T3ごとに第3モジュールmod3から第2モジュールmod2に入力される(図3/矢印D3-参照)。 Current state, or the latest estimated status of the robot R in the nearest future in accordance with the current state is inputted from the first module mod1 the second module mod2 every second calculation cycle T 2 (Fig. 3 / Arrow D 2+ reference). Furthermore, the “first search strategy (including the first action reservation)” obtained by executing the first action search process is input from the first module mod1 to the second module mod2 every second operation cycle T 2 ( FIG. 3 / see arrow D 2+ ). Further, the “third search strategy” and the “third action guideline” obtained by the execution of the third action search process are input from the third module mod3 to the second module mod2 every third operation cycle T 3 (FIG. 3). / See arrow D 3- ).

当該入力信号に応じて、第2モジュールmod2により第2演算周期T2ごとに「第2行動探索処理」が実行される。これにより得られる「第2探索戦略」および「第2行動指針」は第2演算周期T2ごとに第2モジュールmod2から第1モジュールmod1に入力される(図3/矢印D2-参照)。また、「第2探索戦略」および「第2行動指針」は第2演算周期T2ごとに第2モジュールmod2から第3モジュールmod3にも入力される(図3/矢印D2+参照)。 In response to the input signal, "second action search process" is performed by the second module mod2 every second calculation cycle T 2. Thus obtained "second search strategy" and "second Action Guidelines" is inputted from the second module mod2 every second calculation cycle T 2 in the first module mod1 (see FIG. 3 / Arrow D 2-). Further, "second search strategy" and "second Action Guidelines" is also input to the second module mod2 from the third module mod3 every second calculation cycle T 2 (see FIG. 3 / Arrow D 2+).

なお、第2モジュールmod2の今回サイクルの開始時刻において第3モジュールmod3から入力信号がない場合、第2モジュールmod2の最近の過去サイクルの開始時刻における第3モジュールmod3からの入力信号が用いられて第2行動探索処理が実行される。   If there is no input signal from the third module mod3 at the start time of the current cycle of the second module mod2, the input signal from the third module mod3 at the start time of the latest past cycle of the second module mod2 is used. 2 Behavior search processing is executed.

現在状態、または、当該現在状態に応じた直近未来におけるロボットRの最新予測状態が第3演算周期T3ごとに第2モジュールmod2から第3モジュールmod3に入力される(図3/矢印D3+参照)。さらに、第2行動探索処理の実行により得られる「第2探索戦略(第2行動予約を含む。)」が第3演算周期T3ごとに第2モジュールmod2から第3モジュールmod3に入力される(図3/矢印D3+参照)。 Current state, or the latest estimated status of the robot R in the nearest future in accordance with the current state is inputted from the second module mod2 the third module mod3 every third calculation cycle T 3 (Fig. 3 / Arrow D 3+ reference). Moreover, obtained by the execution of the second action search processing "second search strategy (. Including second action reservation)" is input from the second module mod2 the third module mod3 every third calculation cycle T 3 ( FIG. 3 / see arrow D 3+ ).

当該入力信号に応じて、第3モジュールmod3により第3演算周期T2ごとに「第3行動探索処理」が実行される。これにより得られる「第3探索戦略」および「第3行動指針」は、前記のように第3演算周期T3ごとに第3モジュールmod3から第2モジュールmod2に入力される(図3/矢印D3-参照)。 In response to the input signal, "third action search process" is performed by the third module mod3 every third calculation cycle T 2. As described above, the “third search strategy” and the “third action guideline” thus obtained are input from the third module mod 3 to the second module mod 2 at every third calculation cycle T 3 (FIG. 3 / arrow D). See 3- ).

第1演算周期T1ごとの第1モジュールmod1からの入力信号(図3/矢印D1-参照)に応じて指令信号が制御モジュールmod0により逐次生成される。そして、この指令信号が制御モジュールmod0からアクチュエータ2に送信されることにより、アクチュエータ2が指令信号に応じて駆動され、その結果、ロボットRが最新の第1行動指針にしたがって行動する。 Command signal in response to the input signal (see FIG. 3 / Arrow D 1-) from the first module mod1 first every calculation cycle T 1 is is sequentially generated by the control module mod0. The command signal is transmitted from the control module mod0 to the actuator 2, whereby the actuator 2 is driven according to the command signal. As a result, the robot R behaves according to the latest first action guideline.

(並列モジュールの連携処理)
外乱発生直後における各モジュールによる並列処理の手順について説明する。
(Cooperation processing of parallel modules)
The procedure of parallel processing by each module immediately after the occurrence of a disturbance will be described.

ロボットRの外乱の影響を受けた「現在状態」が時刻t=t0において最初に制御モジュールmod0から第1モジュールmod1に入力された場合を考える(図4/矢印D1+(t0)参照)。 Consider a case where the “current state” affected by the disturbance of the robot R is first input from the control module mod0 to the first module mod1 at time t = t 0 (see FIG. 4 / arrow D 1+ (t 0 )). ).

まず、第1モジュールmod1により「第1行動探索処理」が実行されることにより、時刻t=t1(=t0+T1)において「第1行動指針(=第1行動予約)」が第1モジュールmod1から制御モジュールmod0に出力される(図4/矢印D1-(t1)参照)。この出力に応じてアクチュエータ2の動作が制御されることにより、外乱の影響を受けた現在状態を勘案して、ロボットRが第1行動目的(=ロボットRに姿勢を安定化させる)に適合するように行動しうる。 First, by executing the “first action search process” by the first module mod1, the “first action guideline (= first action reservation)” is the first at time t = t 1 (= t 0 + T 1 ). The data is output from the module mod1 to the control module mod0 (see FIG. 4 / arrow D 1− (t 1 )). By controlling the operation of the actuator 2 according to this output, the robot R is adapted to the first action purpose (= the robot R stabilizes the posture) in consideration of the current state affected by the disturbance. Can act like that.

また、時刻t=t1において「第1探索戦略」が第1モジュールmod1から第2モジュールmod2に出力される(図4/矢印D2+(t1)参照)。さらに、第2モジュールmod2により「第2行動探索処理」が実行されることにより、時刻t=t0+T1+T2において「第2探索戦略(第2行動指針を含む。)」が第2モジュールmod2から第1モジュールmod1に出力される(図4/矢印D2-(t0+T1+T2)参照)。 At time t = t 1 , the “first search strategy” is output from the first module mod 1 to the second module mod 2 (see FIG. 4 / arrow D 2+ (t 1 )). Furthermore, by executing the “second action search process” by the second module mod2, the “second search strategy (including the second action guideline)” becomes the second module at time t = t 0 + T 1 + T 2 . The signal is output from mod 2 to the first module mod 1 (see FIG. 4 / arrow D 2− (t 0 + T 1 + T 2 )).

そして、第1モジュールmod1により「第1行動探索処理」が実行されることにより、時刻t=t2(=t0+T2+2T1)において「第1行動指針」が第1モジュールmod1から制御モジュールmod0に出力される(図4/矢印D1-(t2)参照)。この出力に応じて、アクチュエータ2の動作が制御されることにより、外乱の影響を受けた現在状態を勘案して、ロボットRが第1行動目的に加えて、第2行動目的(=ロボットRに物体との接触を回避させる)に適合するように行動しうる。 Then, by executing the “first action search process” by the first module mod1, the “first action guideline” is changed from the first module mod1 to the control module at the time t = t 2 (= t 0 + T 2 + 2T 1 ). It is output to mod0 (see FIG. 4 / arrow D 1− (t 2 )). By controlling the operation of the actuator 2 in accordance with this output, the robot R takes into consideration the current state affected by the disturbance, and the robot R adds to the second action purpose (= the robot R). To avoid contact with an object).

また、時刻t=t0+T1+T2において「第2探索戦略(第2行動予約を含む。)」およびが第2モジュールmod2から第3モジュールmod3に出力される(図4/矢印D3+(t0+T1+T2)参照)。さらに、第3モジュールmod3により「第3行動探索処理」が実行されることにより、時刻t=t0+T1+T2+T3において「第3探索戦略(第3行動指針を含む。)」が第3モジュールmod3から第2モジュールmod2に出力される(図4/矢印D3-(t0+T1+T2+T3)参照)。 Also, at time t = t 0 + T 1 + T 2 , “second search strategy (including second action reservation)” and the second module mod 2 are output to the third module mod 3 (FIG. 4 / arrow D 3+ (See t 0 + T 1 + T 2 )). Furthermore, by executing the “third action search process” by the third module mod3, the “third search strategy (including the third action guideline)” is the third at time t = t 0 + T 1 + T 2 + T 3 . output from 3 modules mod3 the second module mod2 (4 / arrow D 3- (t 0 + T 1 + T 2 + T 3) reference).

さらに、第2モジュールmod2により「第2行動探索処理」が実行されることにより、時刻t=t0+T1+2T2+T3において「第2探索戦略(第2行動指針を含む。)」が第2モジュールmod2から第1モジュールmod1に出力される(図4/矢印D2-(t0+T1+2T2+T3)参照)。 Furthermore, the “second search strategy (including the second action guideline)” is performed at time t = t 0 + T 1 + 2T 2 + T 3 by executing the “second action search process” by the second module mod2. The data is output from the two modules mod 2 to the first module mod 1 (see FIG. 4 / arrow D 2− (t 0 + T 1 + 2T 2 + T 3 )).

そして、第1モジュールmod1により「第1行動探索処理」が実行されることにより、時刻t=t3(=t0+2T1+2T2+T3)において「第1行動指針」が第1モジュールmod1から制御モジュールmod0に出力される(図4/矢印D1-(t3)参照)。この出力に応じて、アクチュエータ2の動作が制御されることにより、外乱の影響を受けた現在状態を勘案して、ロボットRが第1行動目的および第2行動目的に加えて、第3行動目的(=ロボットRを目標位置に到達させる)に適合するように行動しうる。 Then, by executing the “first action search process” by the first module mod1, the “first action guideline” is changed from the first module mod1 at the time t = t 3 (= t 0 + 2T 1 + 2T 2 + T 3 ). It is output to the control module mod0 (see FIG. 4 / arrow D 1− (t 3 )). In accordance with this output, the operation of the actuator 2 is controlled, so that the robot R takes into consideration the current state affected by the disturbance and the third action purpose in addition to the first action purpose and the second action purpose. (= Move the robot R to the target position).

並列された第1モジュールmod1、第2モジュールmod2および第3モジュールmod3の前記のような連携処理により、外乱発生から2T1+2T2+T3程度の時間内に、外乱を勘案した上で第1行動目的、第2行動目的および第3行動目的のすべてに適合するようにロボットRの行動が制御されうる。たとえばT1=T,T2=2T,T3=4Tとすると、外乱発生から10T程度の時間内に、外乱を勘案した上で複数の目的のすべてに適合するようにロボットRの行動が制御されうる。 By the above-described cooperative processing of the first module mod1, the second module mod2, and the third module mod3, the first action is performed in consideration of the disturbance within the time of about 2T 1 + 2T 2 + T 3 from the occurrence of the disturbance. The behavior of the robot R can be controlled so as to meet all of the purpose, the second behavior purpose, and the third behavior purpose. For example, if T 1 = T, T 2 = 2T, and T 3 = 4T, the behavior of the robot R is controlled within a time of about 10T from the occurrence of the disturbance so that the action of the robot R can be adapted to all of a plurality of purposes in consideration of the disturbance. Can be done.

(各行動探索処理の内容)
第1モジュールmod1により実行される「第1行動探索処理」、第2モジュールmod2により実行される「第2行動探索処理」および第3モジュールmod3により実行される「第3行動探索処理」の詳細について説明する。
(Contents of each action search process)
Details of the “first action search process” executed by the first module mod1, the “second action search process” executed by the second module mod2, and the “third action search process” executed by the third module mod3 explain.

(第1行動探索処理の手順)
まず、現在状態に基づき、ロボットRの挙動を表わす挙動予測モデルにしたがって、ロボットRの直近未来状態が予測される(図5/STEP100)。これにより、たとえば、ロボットRが現在位置から1歩進んだときの着地位置が予測される。
(Procedure for the first action search process)
First, the most recent future state of the robot R is predicted based on the current state according to a behavior prediction model representing the behavior of the robot R (FIG. 5 / STEP 100). Thereby, for example, the landing position when the robot R advances one step from the current position is predicted.

また、第1探索戦略および第2探索戦略(図3/矢印D2-参照)にしたがってロボットRの複数の第1行動候補{ai1|i1=1,2,‥,n1}が探索される(図5/STEP110)。具体的には、第1総合適合度f1の評価結果および第2総合適合度f2の評価結果に応じた進化的探索の世代交代手法にしたがって第1行動候補ai1が探索される。この探索方法については後述する。 Further, a plurality of first action candidates {a i1 | i 1 = 1, 2,..., N 1 } of the robot R are searched according to the first search strategy and the second search strategy (see arrow D 2-in FIG. 3). (FIG. 5 / STEP 110). Specifically, the first action candidate a i1 is searched according to the evolutionary search generation change method according to the evaluation result of the first comprehensive fitness f 1 and the evaluation result of the second comprehensive fitness f 2 . This search method will be described later.

これにより、たとえば、ロボットRの1歩先の予測着地位置から、第1指定歩数q1(たとえばq1=2)にわたる歩容を定める着地位置pos(ai1;k1)(k1=1〜q1)が第1行動候補ai1として探索される。「歩容」とは、着地タイミングに着目した脚移動の繰り返しパターンを意味する。 Thereby, for example, the landing position pos (a i1 ; k 1 ) (k 1 = 1) that defines a gait extending from the predicted landing position one step ahead of the robot R to the first designated step count q 1 (for example, q 1 = 2). ˜q 1 ) are searched for as the first action candidate a i1 . The “gait” means a repeated pattern of leg movements focusing on landing timing.

さらに、複数の第1行動候補ai1のそれぞれに基づき、第1状態予測モデルにしたがってロボットRの複数の第1未来状態{si1|i1=1,2,‥,n1}が予測される(図5/STEP120)。これにより、たとえば、ロボットRの1歩先の予測着地位置から、第1行動候補ai1にしたがって第1指定歩数q1だけ移動した時点におけるロボットRのZMP(Zero Moment Point)が第1未来状態si1として予測される。 Furthermore, based on each of the plurality of first action candidates a i1 , a plurality of first future states {s i1 | i 1 = 1, 2,..., N 1 } of the robot R are predicted according to the first state prediction model. (FIG. 5 / STEP 120). Thereby, for example, the ZMP (Zero Moment Point) of the robot R at the time when the robot R moves from the predicted landing position one step ahead by the first designated step number q 1 according to the first action candidate a i1 is in the first future state. Predicted as s i1 .

そして、複数の第1行動候補ai1のそれぞれについて、次の手順にしたがって第1総合適合度f1(ai1)が評価される(図5/STEP130)。 Then, for each of the plurality of first action candidates a i1 , the first total fitness f 1 (a i1 ) is evaluated according to the following procedure (FIG. 5 / STEP 130).

まず、第1未来状態si1に基づき、第1行動目的に鑑みた適合性を表わす第1適合度e1(ai1)が評価される。第1適合度e1(ai1)は、たとえば、図6(a)に示されている予測ZMPの目標ZMPからのずれzmpbias(ai1)と、目標ZMPから予測ZMPに向かう方位について、目標ZMPおよび足部B5の縁の間隔Lfootとに基づき、図6(b)に変化特性が示されている評価式(111)にしたがって算出される。目標ZMPの位置が第1目的に応じた状態空間において定義される基準点に相当する。予測ZMPの目標ZMPからのずれzmpbiasが当該基準点からの乖離度に相当する。たとえば、足部B5の着地面(たとえば矩形状)の中心位置が目標ZMPとして定義される。 First, based on the first future state s i1 , a first fitness e 1 (a i1 ) representing suitability in view of the first action purpose is evaluated. The first fitness e 1 (a i1 ) is, for example, the deviation zmp bias (a i1 ) of the predicted ZMP from the target ZMP and the direction from the target ZMP toward the predicted ZMP shown in FIG. Based on the target ZMP and the edge interval L foot of the foot B5, the calculation is performed according to the evaluation formula (111) whose change characteristics are shown in FIG. The position of the target ZMP corresponds to a reference point defined in the state space corresponding to the first purpose. The deviation zmp bias of the predicted ZMP from the target ZMP corresponds to the degree of deviation from the reference point. For example, the center position of the landing (for example, rectangular shape) of the foot B5 is defined as the target ZMP.

1(ai1)=1 (zmpbias(ai1)≦αLfoot(0<α<1)の場合),
exp(−((zmpbias(ai1)−αLfoot)/Lfoot2) (αLfoot<zmpbias(ai1)の場合)‥(111)。
e 1 (a i1 ) = 1 (when zmp bias (a i1 ) ≦ αL foot (0 <α <1)),
exp (− ((zmp bias (a i1 ) −αL foot ) / L foot ) 2 ) (in the case of αL foot <zmp bias (a i1 )) (111).

評価式(111)から明らかなように、ロボットRの予測ZMPと目標ZMPとの間隔が第1閾値αLfoot以下の範囲である場合、すなわち、ロボットRの姿勢がある程度以上の確度で安定になると予測される第1行動候補ai1であれば第1適合度e1(ai1)は一定値(=1)に評価される。その一方、ロボットRの予測ZMPが第1閾値αLfootを超えて目標ZMPから遠いほど、すなわち、ロボットRの姿勢が不安定になる可能性が高い第1行動候補ai1であるほど第1適合度e1(ai1)が低く評価される。 As is apparent from the evaluation formula (111), when the interval between the predicted ZMP of the robot R and the target ZMP is in the range of the first threshold value αL foot or less, that is, when the posture of the robot R becomes stable with a certain degree of accuracy. In the case of the predicted first action candidate a i1 , the first fitness e 1 (a i1 ) is evaluated to a constant value (= 1). On the other hand, as the predicted ZMP of the robot R exceeds the first threshold αL foot and is farther from the target ZMP, that is, the first action candidate a i1 is more likely to be unstable, the first match is made. The degree e 1 (a i1 ) is evaluated low.

なお、図6(c)に変化特性が示されている評価式(112)にしたがって第1適合度e1(ai1)が算出されてもよい。 Note that the first fitness e 1 (a i1 ) may be calculated according to the evaluation formula (112) whose change characteristics are shown in FIG.

1(ai1)=exp(−(zmpbias(ai1)/Lfoot2) ‥(112)。 e 1 (a i1 ) = exp (− (zmp bias (a i1 ) / L foot ) 2 ) (112).

評価式(112)から明らかなように、ロボットRの予測ZMPが目標ZMPに近いほど、すなわち、ロボットRの姿勢が安定になる可能性が高い第1行動候補ai1であるほど第1適合度e1(ai1)が高く評価される。 As is clear from the evaluation formula (112), the closer the predicted ZMP of the robot R is to the target ZMP, that is, the first action candidate a i1 that is more likely to be stable in the posture of the robot R, the first fitness level. e 1 (a i1 ) is highly evaluated.

さらに、複数の第1行動候補ai1のそれぞれについて、第2モジュールmod2から受け取った第2行動指針(図3/矢印D2-参照)に基づき、第2適合度e2(ai1)の推定値(第2推定適合度)e2^(ai1)が評価される。第2推定適合度e2^(ai1)は、たとえば、ロボットRの着地位置pos(ai1;k1)と、第2行動指針としての局所経路との間隔poserr(ai1;k1)と、ロボットRの歩幅(最大歩幅)Lstepとに基づき、評価式(120)にしたがって算出される。 Further, for each of the plurality of first action candidates a i1 , the second fitness e 2 (a i1 ) is estimated based on the second action guide received from the second module mod 2 (see arrow D 2-in FIG. 3). The value (second estimated fitness) e 2 ^ (a i1 ) is evaluated. The second estimated fitness e 2 ^ (a i1 ) is, for example, the interval pos err (a i1 ; k 1 ) between the landing position pos (a i1 ; k 1 ) of the robot R and the local route as the second action guideline. ) And the stride (maximum stride) L step of the robot R, it is calculated according to the evaluation formula (120).

2^(ai1)=Πk1=1~q1exp(−poserr(ai1;k1)/Lstep) ‥(120)。 e 2 ^ (a i1 ) = Π k1 = 1 to q1 exp (−pos err (a i1 ; k 1 ) / L step ) (120).

評価式(12)から明らかなように、ロボットRの着地位置pos(ai1;k1)が局所経路に近いほど、すなわち、ロボットRが物体との接触を回避しうると予測される第1行動候補ai1であるほど第2推定適合度e2^(ai1)が高く評価される。 As is apparent from the evaluation formula (12), it is predicted that the landing position pos (a i1 ; k 1 ) of the robot R is closer to the local route, that is, the first predicted that the robot R can avoid contact with the object. The second estimated fitness e 2 ^ (a i1 ) is evaluated higher as the action candidate a i1 .

なお、第2行動目的が「ロボットRの物体に対する相対姿勢を目標相対姿勢に維持しながら、ロボットRに当該物体との接触を回避させる」という目的である場合、第1行動候補ai1としての歩容により定まるロボットRの局所経路に対する相対姿勢(たとえば、局所経路に対する基体B0の相対方位により特定される。)と目標相対姿勢との偏差(相対姿勢偏差)が小さいほど、第2推定適合度e2^(ai1)が高く評価されるように定義されていてもよい(評価式(120)参照)。このような第2行動目的は、ロボットRの姿勢を物体としての人間に視認させ、この姿勢に基づいてロボットRの挙動を人間に予測させることにより、人間による偶発的な動作によるロボットRとの接触を回避させる観点から有意義である。 When the second action purpose is “to make the robot R avoid contact with the object while maintaining the relative attitude of the robot R with respect to the object”, the first action candidate a i1 The smaller the deviation (relative attitude deviation) between the relative posture of the robot R determined by the gait relative to the local route (for example, specified by the relative orientation of the base body B0 with respect to the local route) and the target relative posture is smaller, the second estimated fitness. e 2 ^ (a i1 ) may be defined so as to be highly evaluated (see evaluation formula (120)). Such a second action purpose is to allow the human being as an object to visually recognize the posture of the robot R and to predict the behavior of the robot R based on this posture. This is meaningful from the viewpoint of avoiding contact.

そして、第1適合度e1(ai1)および第2推定適合度e2^(ai1)に基づき、評価式(141)または(142)にしたがって第1総合適合度f1(ai1)が評価される。 Then, based on the first fitness e 1 (a i1 ) and the second estimated fitness e 2 ^ (a i1 ), the first overall fitness f 1 (a i1 ) according to the evaluation formula (141) or (142). Is evaluated.

1(ai1)=e1(ai1)(e2^(ai1)+1) ‥(141)。 f 1 (a i1 ) = e 1 (a i1 ) (e 2 ^ (a i1 ) +1) (141).

1=w11(w22^+1) ‥(142)。 f 1 = w 1 e 1 (w 2 e 2 ^ + 1) (142).

ここで「w2」および「w1(=(w2+1)-1)」は重み係数である。 Here, “w 2 ” and “w 1 (= (w 2 +1) −1 )” are weighting factors.

第1総合適合度f1(ai1)の評価結果が、第1行動候補ai1および第2行動候補ai2のそれぞれを探索するための収束性および多様性がある「第1探索戦略」として定義される。第1探索戦略には、第1総合適合度f1(ai1)の評価が最高であった一の第1行動候補ai1としての「第1行動予約」が含まれている。第1行動予約と第1行動指針とは共通であってもよい。 The evaluation result of the first comprehensive fitness f 1 (a i1 ) is a “first search strategy” having convergence and diversity for searching each of the first action candidate a i1 and the second action candidate a i2. Defined. The first search strategy includes “first action reservation” as the first action candidate a i1 having the highest evaluation of the first total fitness f 1 (a i1 ). The first action reservation and the first action guideline may be common.

評価式(141)および(142)から明らかなように第1総合適合度f1(ai1)に対する寄与度は、第1適合度e1(ai1)のほうが第2推定適合度e2^(ai1)よりも高い。たとえば、第1適合度e1(ai1)が0に近づくと、第2推定適合度e2^(ai1)の高低とは無関係に第1総合適合度f1(ai1)も0に近づく。その一方、第2推定適合度e2^(ai1)が0に近づいても、第1総合適合度f1(ai1)は0ではなく第1適合度e1(ai1)に近づき、第1適合度e1(ai1)の高低が第1総合適合度f1(ai1)に直接反映されるようになる。 Evaluation formula (141) and the contribution to As is clear from (142) the first overall fitness f 1 (a i1), the first fit e 1 (a i1) towards the second estimated relevance e 2 ^ Higher than (a i1 ). For example, when the first fitness e 1 (a i1 ) approaches 0, the first overall fitness f 1 (a i1 ) also becomes 0 regardless of the level of the second estimated fitness e 2 ^ (a i1 ). Get closer. On the other hand, even if the second estimated fitness e 2 ^ (a i1 ) approaches 0, the first overall fitness f 1 (a i1 ) approaches not the 0 but the first fitness e 1 (a i1 ), height of the first fit e 1 (a i1) is to be directly reflected in the first overall fitness f 1 (a i1).

ここで、第2適合度e2(ai1)ではなくその推定値である第2推定適合度e2^(ai1)が用いられるのは、第2モジュールmod2(第1モジュールmod1よりも1階位下位のモジュール)が有する第2行動目的のみならず、第3モジュールmod3(第1モジュールmod1よりも2階位下位のモジュール)が有する第3行動目的をも踏まえて第1探索戦略が定義されるようにするためである。 Here, the second estimated relevance e 2 ^ is a second fit e 2 (a i1) rather than its estimate (a i1) is used, the second module mod2 (than the first module mod1 1 The first search strategy is defined based not only on the second behavioral objective of the lower-level module) but also on the third behavioral objective of the third module mod3 (module lower in the second rank than the first module mod1). This is to make it happen.

すなわち、前記のように第2行動指針としての局所経路を基準として、第1行動候補ai1のそれぞれの第2行動目的に対する適合度が評価される(評価式(120)参照)。しかるに、後述するように第2行動指針は第3行動指針が反映された形で第2モジュールmod2により探索される。このため、第2推定適合度e2^(ai1)が算出されることにより、第1行動候補ai1の第3行動目的に対する適合度が間接的に評価される。そして、第2推定適合度e2^(ai1)に基づいて第1総合適合度f1(ai1)が評価されることにより(評価式(141)(142)参照)、当該評価結果としての第1探索戦略には、第2行動目的が直接的に反映されるのみならず、第3行動目的も間接的に反映されうる。 That is, as described above, the suitability of each of the first action candidates a i1 for the second action purpose is evaluated using the local route as the second action guideline as a reference (see evaluation formula (120)). However, as will be described later, the second action guideline is searched by the second module mod2 in a form reflecting the third action guideline. Therefore, by calculating the second estimated fitness e 2 ^ (a i1 ), the fitness of the first action candidate a i1 for the third action purpose is indirectly evaluated. Then, by evaluating the first overall fitness f 1 (a i1 ) based on the second estimated fitness e 2 ^ (a i1 ) (see the evaluation formulas (141) and (142)), the evaluation result is In the first search strategy, not only the second action purpose is directly reflected, but also the third action purpose can be reflected indirectly.

(第2行動探索処理の手順)
まず、現在状態に基づき、ロボットRの挙動を表わす挙動予測モデルにしたがって、ロボットRの直近未来状態が予測される(図5/STEP200)。これにより、たとえば、ロボットRが現在位置から1歩進んだときの着地位置が予測される。なお、第1モジュールmod1により予測されたロボットRの直近未来状態が、第1モジュールmod1から第2モジュールmod2に出力されてもよい(図3/矢印D2+参照)。
(Second action search process)
First, based on the current state, the latest future state of the robot R is predicted according to a behavior prediction model representing the behavior of the robot R (FIG. 5 / STEP 200). Thereby, for example, the landing position when the robot R advances one step from the current position is predicted. Note that the latest future state of the robot R predicted by the first module mod1 may be output from the first module mod1 to the second module mod2 (see FIG. 3 / arrow D2 + ).

また、第1探索戦略、第2探索戦略および第3探索戦略にしたがってロボットRの複数の第2行動候補{ai2|i2=1,2,‥,n2}が探索される(図5/STEP210)。具体的には、第1総合適合度f1の評価結果、第2総合適合度f2の評価結果および第3総合適合度f3の評価結果に応じた個体の世代交代方法にしたがって第2行動候補ai2が探索される。この探索方法については後述する。 Further, a plurality of second action candidates {a i2 | i 2 = 1, 2,..., N 2 } of the robot R are searched according to the first search strategy, the second search strategy, and the third search strategy (FIG. 5). / STEP 210). Specifically, the second action is performed according to the individual generation change method according to the evaluation result of the first overall fitness f 1 , the evaluation result of the second overall fitness f 2 , and the evaluation result of the third overall fitness f 3. Candidate a i2 is searched. This search method will be described later.

これにより、たとえば、図7(a)に示されているように、第2指定歩数q2(たとえばq2=3<q1)にわたる歩容を定めるロボットRの着地位置pos(ai2;k2)(k2=1〜q2)を含む局所経路が第2行動候補ai2として探索される。たとえば、前記のように予測されたロボットRの1歩先の着地位置が局所経路の始点とされる。なお、ロボットRの1歩先の着地位置を起点として、第1行動予約(図3/矢印D2+参照)としての第1指定歩数q1にわたる歩容を経た時点におけるロボットRの予測着地位置が局所経路の始点とされてもよい。「局所経路」は、外部状態としての物体の位置等に基づいて定められる、ロボットRが当該物体との接触を回避するための経路を意味する。 Accordingly, for example, as shown in FIG. 7A, the landing position pos (a i2 ; k) of the robot R that determines the gait over the second designated step count q 2 (for example, q 2 = 3 <q 1 ). 2 ) A local route including (k 2 = 1 to q 2 ) is searched as the second action candidate a i2 . For example, the landing position one step ahead of the robot R predicted as described above is set as the starting point of the local route. The predicted landing position of the robot R at the time when the gait over the first designated number of steps q 1 as the first action reservation (see arrow D 2+ in FIG. 3) starts from the landing position one step ahead of the robot R. May be the starting point of the local route. The “local route” means a route that is determined based on the position of an object as an external state and the like for the robot R to avoid contact with the object.

また、複数の第2行動候補ai2のそれぞれに基づき、第2状態予測モデルにしたがってロボットRの複数の第2未来状態{si2|i2=1,2,‥,n2}が予測される(図5/STEP220)。これにより、たとえば、ロボットRが第2行動候補ai2としての局所経路にしたがって移動した場合の、ロボットRと物体との最短距離C(ai2)が第2未来状態si2として予測される(図7(a)参照)。 Further, based on each of the plurality of second action candidates a i2 , a plurality of second future states {s i2 | i 2 = 1, 2,..., N 2 } of the robot R are predicted according to the second state prediction model. (FIG. 5 / STEP 220). Thereby, for example, when the robot R moves according to the local route as the second action candidate a i2 , the shortest distance C (a i2 ) between the robot R and the object is predicted as the second future state s i2 ( FIG. 7 (a)).

そして、複数の第2行動候補ai2のそれぞれについて、次の手順にしたがって第2総合適合度f2(ai2)が評価される(図5/STEP230)。 Then, for each of the plurality of second action candidates a i2 , the second total fitness f 2 (a i2 ) is evaluated according to the following procedure (FIG. 5 / STEP 230).

まず、第2未来状態si2に基づき、第2行動目的に鑑みた適合性を表わす第2適合度e2(ai2)が評価される。第2適合度e2(ai2)は、たとえば、図7(a)に示されている局所経路と物体との最短距離C(ai2)と、物体のサイズRobjectとに基づき、図7(b)に変化特性が示されている評価式(221)にしたがって算出される。物体の中心位置から無限にまたはきわめて大きく離れている局所経路(線分)が第2目的に応じた状態空間において定義される基準点に相当する。局所経路と物体の中心位置との最短距離の逆数C-1が当該基準点との乖離度に相当する。たとえば、物体の輪郭が平面上の円に近似された場合における当該円の半径が物体のサイズRobjectとして定義される。 First, based on the second future state s i2 , a second fitness e 2 (a i2 ) representing suitability in view of the second action purpose is evaluated. The second fitness e 2 (a i2) is, for example, based on the shortest distance between the topical route and the object shown in Figure 7 (a) C (a i2 ), and the size R object of the object, FIG. 7 It is calculated according to the evaluation formula (221) whose change characteristics are shown in (b). A local path (line segment) that is infinitely or very far from the center position of the object corresponds to a reference point defined in the state space according to the second purpose. The reciprocal C −1 of the shortest distance between the local route and the center position of the object corresponds to the degree of deviation from the reference point. For example, when the contour of the object is approximated to a circle on a plane, the radius of the circle is defined as the size R object of the object .

2(ai2)=1 (C-1(ai2)≦βRobject -1(0<β<1)の場合),
exp(−(Robject(C-1(ai2)−βRobject -1))2) (βRobject -1<C-1(ai2)の場合)‥(221)。
e 2 (a i2 ) = 1 (when C −1 (a i2 ) ≦ βR object −1 (0 <β <1)),
exp (− (R object (C −1 (a i2 ) −βR object −1 )) 2 ) (in the case of βR object −1 <C −1 (a i2 )) (221).

評価式(221)から明らかなように、ロボットRの局所経路と物体との最小間隔の逆数C-1が第2閾値βRobject -1以下の範囲である場合、すなわち、ロボットRがある程度以上の確度で物体との接触を回避しうると予測される第2行動候補ai2であれば第2適合度e2(ai2)は一定値(=1)に評価される。その一方、ロボットRの局所経路と物体との最小間隔の逆数C-1が第2閾値βRobject -1を超えて大きくなるほど、すなわち、ロボットRが物体と接触する可能性が高い第2行動候補ai2であるほど第2適合度e2(ai2)が低く評価される。 As is apparent from the evaluation formula (221), when the reciprocal C −1 of the minimum distance between the local path of the robot R and the object is in the range of the second threshold value βR object −1 or less, that is, the robot R exceeds a certain level. If the second action candidate a i2 is predicted to be able to avoid contact with an object with accuracy, the second fitness e 2 (a i2 ) is evaluated to a constant value (= 1). On the other hand, as the reciprocal C −1 of the minimum distance between the local path of the robot R and the object exceeds the second threshold value βR object −1 , that is, the second action candidate that is likely to contact the object with the robot R. a higher is i2 second fit e 2 (a i2) is evaluated lower.

なお、図7(c)に変化特性が示されている評価式(222)にしたがって第2適合度e2(ai2)が算出されてもよい。 Note that the second fitness e 2 (a i2 ) may be calculated according to the evaluation formula (222) whose change characteristic is shown in FIG.

2(ai2)=exp(−(Robject/C(ai2))2) ‥(222)。 e 2 (a i2 ) = exp (− (R object / C (a i2 )) 2 ) (222).

評価式(222)から明らかなように、ロボットRの局所経路と物体との最小間隔の逆数C-1が小さいほど、すなわち、ロボットRが物体との接触を回避する可能性が高い第2行動候補ai2であるほど第2適合度e2(ai2)が高く評価される。 As is clear from the evaluation formula (222), the smaller the reciprocal C −1 of the minimum distance between the local path of the robot R and the object, that is, the second action that the robot R is more likely to avoid contact with the object. The second fitness e 2 (a i2 ) is evaluated higher as the candidate a i2 .

なお、第2行動目的が「ロボットRの物体に対する相対姿勢を目標相対姿勢に維持しながら、ロボットRに当該物体との接触を回避させる」という目的である場合、第2行動候補ai2としての局所経路の姿勢に対するロボットの相対姿勢(たとえば、局所経路に対する基体B0の相対方位により特定される。)と目標相対姿勢との偏差(相対姿勢偏差)が小さいほど、第2適合度e2(ai2)が高く評価されるように定義されていてもよい(評価式(221)(222)参照)。 When the second action purpose is “to make the robot R avoid contact with the object while maintaining the relative posture of the robot R with respect to the object”, the second action candidate a i2 The smaller the deviation (relative posture deviation) between the relative posture of the robot with respect to the posture of the local route (for example, specified by the relative orientation of the base body B0 with respect to the local route) and the target relative posture, the second fitness e 2 (a i2 ) may be defined so as to be highly evaluated (see evaluation formulas (221) and (222)).

また、複数の第2行動候補ai2のそれぞれについて、第3モジュールmod3から受け取った第3行動指針(図3/矢印D3-参照)に基づき、第3適合度e3(ai2)の推定値(第3推定適合度)e3^(ai2)が評価される。第3推定適合度e3^(ai2)は、たとえば、ロボットRの着地位置pos(ai2;k2)と、第3行動指針としての大局経路との間隔poserr(ai2;k2)と、ロボットRの歩幅(最大歩幅)Lstepとに基づき、評価式(230)にしたがって算出される。 In addition, for each of the plurality of second action candidates a i2 , the third fitness e 3 (a i2 ) is estimated based on the third action guideline received from the third module mod3 (see FIG. 3 / arrow D 3- ). The value (third estimated fitness) e 3 ^ (a i2 ) is evaluated. The third estimated fitness e 3 ^ (a i2 ) is, for example, the interval pos err (a i2 ; k 2 ) between the landing position pos (a i2 ; k 2 ) of the robot R and the global route as the third action guideline. ) And the stride (maximum stride) L step of the robot R, it is calculated according to the evaluation formula (230).

3^(ai2)=Πk2=2~q2exp(−poserr(ai2;k2)/Lstep) ‥(230)。 e 3 ^ (a i2 ) = Π k2 = 2˜q2 exp (−pos err (a i2 ; k 2 ) / L step ) (230).

評価式(230)から明らかなように、ロボットRの着地位置pos(ai2;k2)が大局経路に近いほど、すなわち、ロボットRが目標位置に到達するための大局経路にしたがって移動すると予測される第2行動候補ai2であるほど第3推定適合度e3^(ai2)が高く評価される。 As is clear from the evaluation formula (230), it is predicted that the landing position pos (a i2 ; k 2 ) of the robot R is closer to the global path, that is, the robot R moves according to the global path for reaching the target position. The third estimated fitness e 3 ^ (a i2 ) is evaluated higher as the second action candidate a i2 to be performed.

なお、第3行動目的が「ロボットRを目標姿勢で目標位置に到達させる」という目的である場合、第2行動候補ai2としての局所経路に応じて定まるロボットRの姿勢(たとえば、基体B0の方位により特定される。)と大局経路の姿勢との偏差(姿勢偏差)が小さいほど、第3推定適合度e3^(ai2)が高く評価されるように定義されていてもよい(評価式(230)参照)。このような第3行動目的は、ロボットRが目標位置に到着したときまたは到着した後、物体の把持等、その姿勢に応じて難易度が変化する作業をロボットRに実行させる観点から有意義である。 When the third action purpose is “to make the robot R reach the target position in the target posture”, the posture of the robot R determined according to the local route as the second action candidate a i2 (for example, the base B0) It may be defined so that the third estimated fitness e 3 ^ (a i2 ) is evaluated higher as the deviation (posture deviation) between the position and the global path posture is smaller (evaluation). (Refer Formula (230)). Such a third action purpose is meaningful from the viewpoint of causing the robot R to perform a task whose degree of difficulty changes according to its posture, such as gripping an object when the robot R arrives at or after the target position. .

そして、第2適合度e2(ai2)および第3推定適合度e3^(ai2)に加えて、第1モジュールmod1により評価された第1適合度e1(ai2)に基づき、評価式(241)または(242)にしたがって第2総合適合度f2(ai2)が評価される。 Based on the first fitness e 1 (a i2 ) evaluated by the first module mod 1 in addition to the second fitness e 2 (a i2 ) and the third estimated fitness e 3 ^ (a i2 ), The second total fitness f 2 (a i2 ) is evaluated according to the evaluation formula (241) or (242).

2(ai1)=e2(ai2)(e1(ai2)(e3^(ai2)+1)+1) ‥(241)。 f 2 (a i1 ) = e 2 (a i2 ) (e 1 (a i2 ) (e 3 ^ (a i2 ) +1) +1) (241).

2=w22(w11(w33^+1)+1) ‥(242)。 f 2 = w 2 e 2 (w 1 e 1 (w 3 e 3 ^ + 1) +1) (242).

ここで「w1」「w3」および「w2(={w1(w3+1)+1}-1」は重み係数である。 Here, “w 1 ” “w 3 ” and “w 2 (= {w 1 (w 3 +1) +1} −1 ” are weighting factors.

第2総合適合度f2(ai2)の評価結果が、第1行動候補ai1、第2行動候補ai2および第3行動候補ai3のそれぞれを探索するための収束性および多様性がある「第2探索戦略」として定義される。第2探索戦略には、第2総合適合度f2(ai2)の評価が最高であった一の第2行動候補ai2としての「第2行動予約」が含まれている。第2行動予約と第2行動指針とは共通であってもよい。 The evaluation result of the second total fitness f 2 (a i2 ) has convergence and diversity for searching each of the first action candidate a i1 , the second action candidate a i2, and the third action candidate a i3. Defined as “second search strategy”. The second search strategy includes “second action reservation” as one second action candidate a i2 having the highest evaluation of the second total fitness f 2 (a i2 ). The second action reservation and the second action guideline may be common.

評価式(241)および(242)から明らかなように、第2総合適合度f2(ai2)に対する寄与度は、第2適合度e2(ai2)のほうが、第1適合度e1(ai2)および第3推定適合度e3^(ai2)のそれぞれよりも高い。たとえば、第2適合度e2(ai2)が0に近づくと、第1適合度e1(ai2)および第3推定適合度e3^(ai2)の高低とは無関係に第2総合適合度f2(ai2)も0に近づく。その一方、第1適合度e1(ai2)および第3推定適合度e3^(ai2)が0に近づいても、第2総合適合度f2(ai2)は0ではなく第2適合度e2(ai2)に近づき、第2適合度e2(ai2)の高低が第2総合適合度f2(ai2)に直接反映されるようになる。 As is clear from the evaluation formulas (241) and (242), the degree of contribution to the second total fitness f 2 (a i2 ) is higher than the first fitness e 1 in the second fitness e 2 (a i2 ). It is higher than each of (a i2 ) and the third estimated fitness e 3 ^ (a i2 ). For example, when the second fitness e 2 (a i2 ) approaches 0, the second synthesis is independent of the first fitness e 1 (a i2 ) and the third estimated fitness e 3 ^ (a i2 ). The fitness f 2 (a i2 ) also approaches zero. On the other hand, even when the first fitness e 1 (a i2 ) and the third estimated fitness e 3 ^ (a i2 ) approach 0, the second total fitness f 2 (a i2 ) is not 0 but the second It approaches fit e 2 (a i2), so that the level of the second adaptability e 2 (a i2) is directly reflected in the second overall fitness f 2 (a i2).

さらに、第2総合適合度f2(ai2)に対する寄与度は、第1適合度e1(ai2)のほうが第3推定適合度e3^(ai2)よりも高い。たとえば、第1適合度e1(ai2)が0に近づくと、第3推定適合度e3^(ai2)の高低とは無関係に第2総合適合度f2(ai2)が小さくなる。その一方、第3推定適合度e3^(ai3)が0に近づいても第2総合適合度f2(ai2)はe2(ai2)・e1(ai1)に近づき、第1適合度e1(ai1)の高低が第3推定適合度e3^(ai2)に反映されうる。 Further, the contribution to the second total fitness f 2 (a i2 ) is higher in the first fitness e 1 (a i2 ) than in the third estimated fitness e 3 ^ (a i2 ). For example, when the first fitness e 1 (a i2 ) approaches 0, the second total fitness f 2 (a i2 ) decreases regardless of the level of the third estimated fitness e 3 ^ (a i2 ). . On the other hand, even if the third estimated fitness e 3 ^ (a i3 ) approaches 0, the second total fitness f 2 (a i2 ) approaches e 2 (a i2 ) · e 1 (a i1 ) The level of the first goodness of fit e 1 (a i1 ) can be reflected in the third estimated goodness of fit e 3 ^ (a i2 ).

ここで、第3適合度e3(ai2)ではなくその推定値である第3推定適合度e3^(ai2)が用いられるのは、第3モジュールmod3(第2モジュールmod2よりも1階位下位のモジュール)が有する第2行動目的のみならず、(本実施形態では存在しないものの存在する場合には)第4モジュールmod4(第2モジュールmod2よりも2階位下位のモジュール)が有する第4行動目的(たとえば、ロボットRを目標位置まで移動させた後、さらに第2の目標位置まで移動させるという目的)をも踏まえて第2探索戦略が定義されるようにするためである。 Here, the third estimation fitness e 3 ^ a third fit e 3 (a i2) instead estimates its (a i2) is used, the third module mod3 (than the second module mod2 1 Not only the second action purpose possessed by the lower rank module) but also the fourth module mod4 (the module lower by the second rank than the second module mod2) (if there is something that does not exist in this embodiment) This is because the second search strategy is defined based on the fourth action purpose (for example, the purpose of moving the robot R to the target position and then moving it to the second target position).

すなわち、前記のように第3行動指針としての大局経路を基準として、第2行動候補ai2のそれぞれの第3行動目的に対する適合度が評価される(評価式(230)参照)。しかるに、第3行動指針は第4行動指針が反映された形で第3モジュールmod3により探索されうる。このため、第3推定適合度e3^(ai2)が算出されることにより、第2行動候補ai2の第4行動目的に対する適合度が間接的に評価される。そして、第3推定適合度e3^(ai2)に基づいて第2総合適合度f1(ai1)が評価されることにより(評価式(241)(242)参照)、当該評価結果としての第2探索戦略には、第3行動目的が直接的に反映されるのみならず、第4行動目的も間接的に反映されうる。 That is, as described above, the suitability of each second action candidate a i2 for the third action purpose is evaluated using the global route as the third action guideline as a reference (see evaluation formula (230)). However, the third action guideline can be searched by the third module mod3 in a form that reflects the fourth action guideline. For this reason, by calculating the third estimated fitness e 3 ^ (a i2 ), the fitness of the second action candidate a i2 for the fourth action purpose is indirectly evaluated. Then, the second total fitness f 1 (a i1 ) is evaluated based on the third estimated fitness e 3 ^ (a i2 ) (see the evaluation formulas (241) and (242)), and as an evaluation result, In the second search strategy, not only the third action purpose is directly reflected but also the fourth action purpose can be reflected indirectly.

(第3行動探索処理の手順)
まず、現在状態に基づき、ロボットRの挙動を表わす挙動予測モデルにしたがって、ロボットRの直近未来状態が予測される(図5/STEP300)。これにより、たとえば、ロボットRが現在位置から1歩進んだときの着地位置が予測される。なお、第1モジュールmod1または第2モジュールmod2により予測されたロボットRの直近未来状態が、第2モジュールmod2から第3モジュールmod3に出力されてもよい(図3/矢印D3+参照)。
(Third action search process)
First, based on the current state, the most recent future state of the robot R is predicted according to a behavior prediction model representing the behavior of the robot R (FIG. 5 / STEP 300). Thereby, for example, the landing position when the robot R advances one step from the current position is predicted. Note that the latest future state of the robot R predicted by the first module mod1 or the second module mod2 may be output from the second module mod2 to the third module mod3 (see FIG. 3 / arrow D3 + ).

また、第2探索戦略および第3探索戦略にしたがってロボットRの複数の第3行動候補{ai3|i3=1,2,‥,n3}が探索される(図5/STEP310)。具体的には、第2総合適合度f2の評価結果および第3総合適合度f3の評価結果に応じた個体の世代交代方法にしたがって第3行動候補ai3が探索される。この方法については後述する。 Further, a plurality of third action candidates {a i3 | i 3 = 1, 2,..., N 3 } of the robot R are searched according to the second search strategy and the third search strategy (FIG. 5 / STEP 310). Specifically, the third action candidate a i3 is searched according to the individual generation change method according to the evaluation result of the second comprehensive fitness f 2 and the evaluation result of the third comprehensive fitness f 3 . This method will be described later.

これにより、たとえば、図8(a)に示されているようにロボットRが目標位置に向かう歩容を定める大局経路が第3行動候補ai3として探索される。たとえば、前記のように予測されたロボットRの1歩先の着地位置が大局経路の始点とされる。なお、第2行動予約(図3/矢印D3+参照)としての局所経路の終点が、大局経路の始点とされる。ロボットRの目標位置はロボットRの外部から制御システムに入力または送信されるほか、制御システム1により外部状態の認識結果に基づいて計算されてもよい。 Thereby, for example, as shown in FIG. 8A, a global route that defines the gait of the robot R toward the target position is searched for as the third action candidate a i3 . For example, the landing position one step ahead of the robot R predicted as described above is set as the starting point of the global route. Note that the end point of the local route as the second action reservation (see FIG. 3 / arrow D 3+ ) is the start point of the global route. The target position of the robot R may be input or transmitted from the outside of the robot R to the control system, or may be calculated by the control system 1 based on the recognition result of the external state.

また、複数の第3行動候補ai1のそれぞれに基づき、第3状態予測モデルにしたがってロボットRの複数の第3未来状態{si3|i3=1,2,‥,n3}が予測される(図5/STEP320)。これにより、たとえば、ロボットRがその1歩先の予測着地位置から、大局経路にしたがって移動した場合の移動距離L(ai3)が第3未来状態si3として予測される。 Further, based on each of the plurality of third action candidates a i1 , a plurality of third future states {s i3 | i 3 = 1, 2,..., N 3 } of the robot R are predicted according to the third state prediction model. (FIG. 5 / STEP 320). Thereby, for example, the movement distance L (a i3 ) when the robot R moves from the predicted landing position one step ahead according to the global route is predicted as the third future state s i3 .

そして、複数の第3行動候補ai3のそれぞれについて、次の手順にしたがって第3総合適合度f3(ai3)が評価される(図5/STEP330)。 Then, for each of the plurality of third action candidates a i3 , the third total fitness f 3 (a i3 ) is evaluated according to the following procedure (FIG. 5 / STEP 330).

まず、第3未来状態si3に基づき、第3行動目的に鑑みた適合性を表わす第3適合度e3(ai3)が評価される。第3適合度e3(ai3)は、たとえば、図8(a)に示されているロボットRの予測移動距離L(ai3)と、大局経路の始点と目標位置との直線距離Ldestとに基づき、図8(b)に変化特性が示されている評価式(331)にしたがって算出される。当該直線距離Ldestが第3目的に応じた状態空間において定義される基準点に相当する。ロボットRの予測移動距離Lと当該直線距離Ldestとの偏差が、当該基準点からの乖離度に相当する。 First, based on the third future state s i3 , a third fitness e 3 (a i3 ) representing suitability in view of the third action purpose is evaluated. The third fitness e 3 (a i3 ) is, for example, the predicted movement distance L (a i3 ) of the robot R shown in FIG. 8A and the linear distance L dest between the starting point of the global path and the target position. Based on the above, it is calculated according to the evaluation formula (331) whose change characteristic is shown in FIG. The straight line distance L dest corresponds to a reference point defined in the state space according to the third purpose. The deviation between the predicted movement distance L of the robot R and the straight line distance L dest corresponds to the degree of deviation from the reference point.

3(ai3)=1 (Ldest≦L(ai3)≦γLdest(1<γ)の場合),
γLdest/L(ai3) (γLdest<L(ai3)の場合)‥(331)。
e 3 (a i3 ) = 1 (when L dest ≦ L (a i3 ) ≦ γL dest (1 <γ)),
γL dest / L (a i3 ) (when γL dest <L (a i3 )) (331).

評価式(331)から明らかなように、ロボットRの予測移動距離Lが第3閾値γLdest以下の範囲である場合、すなわち、ロボットRが目標位置に到達するまでの移動距離がある程度短いと予測される第3行動候補ai3であれば第3適合度e3(ai3)は一定値(=1)に評価される。その一方、ロボットRの予測移動距離Lが第3閾値γLdestを超えて大きくなるほど、すなわち、ロボットRが目標位置に到達するまでの移動距離がある程度以上長くなる可能性が高い第3行動候補ai3であるほど第3適合度e3(ai3)が低く評価される。 As is apparent from the evaluation formula (331), when the predicted movement distance L of the robot R is in the range equal to or smaller than the third threshold γL dest , that is, the movement distance until the robot R reaches the target position is predicted to be somewhat short. In the case of the third action candidate a i3 , the third fitness e 3 (a i3 ) is evaluated to a constant value (= 1). On the other hand, as the predicted movement distance L of the robot R increases beyond the third threshold γL dest , that is, the movement distance until the robot R reaches the target position is likely to be longer than a certain level. the more in i3 third goodness of fit e 3 (a i3) is evaluated lower.

なお、図8(c)に変化特性が示されている評価式(332)にしたがって第3適合度e3(ai3)が算出されてもよい。 Note that the third fitness e 3 (a i3 ) may be calculated according to the evaluation formula (332) whose change characteristic is shown in FIG.

3(ai3)=Ldest/L(ai3) ‥(332)。 e 3 (a i3 ) = L dest / L (a i3 ) (332).

評価式(332)から明らかなように、ロボットRが直線的に目標位置に向かうほど、すなわち、ロボットRが目標位置に到達するまでの移動距離Lが短いと予測される第3行動候補ai3であるほど第3適合度e3(ai3)が高く評価される。 As is apparent from the evaluation formula (332), the third action candidate a i3 predicted that the movement distance L until the robot R linearly moves toward the target position, that is, the robot R reaches the target position, is short. The higher the third matching degree e 3 (a i3 ), the higher the evaluation.

なお、第3行動目的が「ロボットRを目標姿勢で目標位置に到達させる」という目的である場合、第3行動候補ai3としての大局経路に応じて定まるロボットRの目標位置における姿勢(たとえば、基体B0の方位により特定される。)と目標姿勢との偏差(姿勢偏差)が小さいほど、第3適合度e3(ai3)が高く評価されるように定義されていてもよい(評価式(331)(332)参照)。 When the third action purpose is “to make the robot R reach the target position with the target posture”, the posture of the robot R at the target position determined according to the global route as the third action candidate a i3 (for example, It may be defined such that the third fitness e 3 (a i3 ) is evaluated higher as the deviation (posture deviation) between the target body posture and the target posture is smaller (evaluation formula). (Refer to (331) (332)).

そして、第3適合度e3(ai3)に加えて、第2モジュールmod2により評価された第2適合度e2(ai3)に基づき、評価式(341)または(342)にしたがって第3総合適合度f3(ai3)が評価される。 Based on the second fitness e 2 (a i3 ) evaluated by the second module mod 2 in addition to the third fitness e 3 (a i3 ), the third fitness e 3 (a i3 ) is calculated according to the evaluation formula (341) or (342). The overall fitness f 3 (a i3 ) is evaluated.

3(ai3)=e3(ai3)(e2(ai3)+1) ‥(341)。 f 3 (a i3 ) = e 3 (a i3 ) (e 2 (a i3 ) +1) (341).

3=w33(w22+1) ‥(342)。 f 3 = w 3 e 3 (w 2 e 2 +1) (342).

ここで「w2」および「w3(=(w2+1)-1)」は重み係数である。 Here, “w 2 ” and “w 3 (= (w 2 +1) −1 )” are weighting factors.

第3総合適合度f3(ai3)の評価結果が、第2行動候補ai2および第3行動候補ai3のそれぞれを探索するための収束性および多様性がある「第3探索戦略」として定義される。 The evaluation result of the third comprehensive fitness f 3 (a i3 ) is a “third search strategy” having convergence and diversity for searching each of the second action candidate a i2 and the third action candidate a i3. Defined.

評価式(341)および(342)から明らかなように、第3総合適合度f3(ai3)に対する寄与度は、第3適合度e3(ai3)のほうが第2適合度e2(ai3)よりも高い。たとえば、第3適合度e3(ai3)が0に近づくと、第2適合度e2(ai3)の高低とは無関係に第3総合適合度f3(ai3)も0に近づく。その一方、第2適合度e2(ai3)が0に近づいても第3総合適合度f3(ai3)は0ではなく第3適合度e3(ai3)に近づき、第3適合度e3(ai3)の高低が、第3総合適合度f3(ai3)に直接反映されるようになる。 As apparent from the evaluation formulas (341) and (342), the degree of contribution to the third total fitness f 3 (a i3 ) is greater in the third fitness e 3 (a i3 ) than in the second fitness e 2 (a i3 ). higher than a i3 ). For example, when the third fitness e 3 (a i3 ) approaches 0, the third overall fitness f 3 (a i3 ) also approaches 0 regardless of the level of the second fitness e 2 (a i3 ). On the other hand, even if the second fitness e 2 (a i3 ) approaches 0, the third overall fitness f 3 (a i3 ) approaches not the 0 but the third fitness e 3 (a i3 ), and the third fitness The level of the degree e 3 (a i3 ) is directly reflected in the third total fitness f 3 (a i3 ).

(探索戦略にしたがった行動候補の探索方法)
行動候補の探索方法について説明する。探索方法としては「収束性」および「多様性」がある方法が採用される。「収束性」がある方法により、探索範囲(行動候補により定義される空間における範囲を意味する。)のうち前回評価が高かった行動候補の近くにおいて、今回評価がより高くなるような行動候補が探索されうる。「多様性」がある当該方法により、前回評価に拘泥されすぎることなく、今回評価がよりより高くなるような行動候補が広範囲で探索されうる。
(Search method for action candidates according to the search strategy)
A method for searching for action candidates will be described. As a search method, a method having “convergence” and “diversity” is employed. By a method having “convergence”, an action candidate whose evaluation is higher in the vicinity of an action candidate having a high previous evaluation in the search range (meaning a range in a space defined by the action candidate) is obtained. Can be searched. By this method having “diversity”, action candidates whose evaluation is higher this time can be searched in a wide range without being overly concerned with the previous evaluation.

収束性および多様性がある行動候補の探索方法として、進化的探索手法が採用されうる。   An evolutionary search method can be adopted as a search method for action candidates having convergence and diversity.

具体的には、まず、図9(a)に示されている複数の親個体(行動候補aに対応している。「●」により表現されている。)のうち、円で囲まれた親個体が選択される。選択確率は適合度f(a)(実線で示されている評価曲線にしたがって評価される。)が高いほど高い。   Specifically, first, among a plurality of parent individuals shown in FIG. 9A (corresponding to action candidate a. Expressed by “●”), the parent surrounded by a circle. An individual is selected. The selection probability is higher as the fitness f (a) (evaluated according to the evaluation curve indicated by the solid line) is higher.

そして、図9(b)に示されているように適合度f(a)が高い親個体ほど当該親個体に比較的小さいノイズ(ノイズは適合度f(a)が高いほど小さくなる。)が加えられた結果として子個体(「○」により表現されている。)が当該親個体の周囲の比較的狭い範囲に高確率で分布するように生成される。その一方、適合度f(a)が低い親個体ほど当該親個体に比較的大きいノイズ(ノイズは適合度f(a)が低いほど大きくなる。)が加えられた結果として子個体が当該親個体の周囲の比較的広い範囲に高確率で分布するように生成される。そのほか、図示しないが不規則に個体が生成される。すべての個体に対する不規則な個体の占有率はたとえば0.30程度に設定される。   As shown in FIG. 9B, the parent individual having a higher fitness f (a) has a relatively small noise in the parent individual (the noise becomes smaller as the fitness f (a) is higher). As a result of the addition, child individuals (represented by “◯”) are generated so as to be distributed with a high probability in a relatively narrow range around the parent individual. On the other hand, a parent individual having a lower fitness f (a) has a relatively large noise added to the parent individual (noise increases as the fitness f (a) is lower). It is generated so as to be distributed with a high probability in a relatively wide range around the. In addition, although not shown, individuals are generated irregularly. The occupancy rate of irregular individuals with respect to all individuals is set to about 0.30, for example.

前記のような世代交代手法が採用されることにより、世代を経るに連れて適合度f(a)が大きい領域に個体が集中していく。これにより、モジュールが主担当する目的への適合性が高い行動候補aが適応的に求められる。   By adopting the generation change method as described above, the individual concentrates in a region where the fitness f (a) is large as the generation progresses. As a result, the action candidate a having high suitability for the purpose of which the module is mainly responsible is obtained adaptively.

さらに、探索方法の多様性について説明するため、2つのモジュールAおよびモジュールBを対象として考察する。モジュールAはその目的に鑑みた行動候補aの適合性を表わす適合度fA(a)を評価し、その評価結果に応じて探索戦略を設定してモジュールBに出力するように構成されている。モジュールBはモジュールAから探索戦略を受け取り、この探索戦略にしたがってその目的に鑑みた適合性を表わす適合度fB(a)が高い行動候補aを探索するように構成されている。 Further, in order to explain the diversity of search methods, two modules A and B are considered. The module A is configured to evaluate the fitness f A (a) indicating the suitability of the action candidate a in view of the purpose, set a search strategy according to the evaluation result, and output it to the module B. . The module B is configured to receive a search strategy from the module A and search for an action candidate a having a high fitness f B (a) indicating suitability in view of the purpose in accordance with the search strategy.

まず、図10(a)上側に示されているようにモジュールAにより適合度fA(a)が最大値を示す「1つの行動候補a1」が探索戦略として設定された場合を考える。この場合、たとえば、図10(a)下側に示されているようにモジュールBにより探索戦略としての行動候補a1を起点として、適合度fB(a)が極大値を示す行動候補a2-が探索される。しかし、この解は適合度fB(a)が最高となる最適解ではなく、局所的な解にしか過ぎない可能性がある。 First, let us consider a case where “one action candidate a 1 ” whose fitness f A (a) has the maximum value is set as the search strategy by the module A as shown in the upper side of FIG. In this case, for example, FIG. 10 (a) starting from the behavior candidate a 1 as search strategy by module B as shown in the lower, fitness f B (a) behavioral candidate a 2 showing the maximum value - is searched. However, this solution may not be an optimal solution with the highest fitness f B (a), but only a local solution.

そこで、図10(b)上側に示されているようにモジュールAにより適合度fA(a)が最大値(または極大値)を示す「1つの行動候補a1の周辺範囲」が探索戦略として設定される。これに応じて、たとえば、図10(b)下側に示されているようにモジュールBにより探索戦略としての範囲において適合度fB(a)が最高となるような行動候補a2+(≠a2-)が探索される。このように探索範囲が広げられた結果、最適解が得られる可能性を高くすることができる。 Therefore, as shown in the upper side of FIG. 10B, “peripheral range of one action candidate a 1 ” in which the fitness f A (a) shows the maximum value (or maximum value) by the module A is used as the search strategy. Is set. In response to this, for example, as shown in the lower side of FIG. 10B, the action candidate a 2+ (≠ that the fitness f B (a) becomes the highest in the range as the search strategy by the module B. a 2- ) is searched. As a result of expanding the search range in this way, the possibility of obtaining an optimal solution can be increased.

また、図11(a)上側に示されているようにモジュールAにより適合度fA(a)が最高値を示す「1つの行動候補a1」が探索戦略として設定された場合を考える。この場合、たとえば、図11(a)下側に示されているようにモジュールBにより探索戦略としての1つの行動候補a1の周辺の単一範囲において適合度fB(a)が極大値を示す行動候補a2-が探索される。しかし、この解は適合度fB(a)が最高となる最適解ではなく、局所的な解にしか過ぎない可能性がある。 Further, consider the case where “one action candidate a 1 ” having the highest fitness f A (a) is set as the search strategy by module A as shown in the upper side of FIG. In this case, for example, as shown in the lower side of FIG. 11A, the fitness f B (a) has a maximum value in a single range around one action candidate a 1 as a search strategy by module B. The candidate action a 2− shown is searched. However, this solution may not be an optimal solution with the highest fitness f B (a), but only a local solution.

そこで、図11(b)上側に示されているようにモジュールAにより適合度fA(a)が極大値を示す「複数の行動候補a1-およびa1+」が探索戦略として設定される。これに応じて、たとえば、図11(b)下側に示されているようにモジュールBにより探索戦略としての複数の行動候補a1-およびa1+のそれぞれの周囲範囲において適合度fB(a)が最高となるような行動候補a2+(≠a2-)が探索される。このように探索範囲が広げられた結果、最適解が得られる可能性を高くすることができる。 Therefore, as shown in the upper side of FIG. 11B, module A sets “plural behavior candidates a 1− and a 1+ ” whose fitness f A (a) has a maximum value as a search strategy. . In response to this, for example, as shown in the lower side of FIG. 11B, the fitness f B (in the surrounding range of the plurality of action candidates a 1− and a 1+ as the search strategy by the module B A candidate for action a 2+ (≠ a 2− ) that maximizes a) is searched. As a result of expanding the search range in this way, the possibility of obtaining an optimal solution can be increased.

(実施例)
図12(a)〜(c)のそれぞれの下側に示されているロボットRのZMPおよび重心位置(「◎」により表現されている。)により表現される当該ロボットRの挙動状態は、図12(a)〜(c)のそれぞれの上側に示されている倒立振子の着地位置および重心位置(「◎」により表現されている。)により表現される当該倒立振子の挙動状態にモデル化して考えることができる。
(Example)
The behavior state of the robot R expressed by the ZMP and the gravity center position (represented by “◎”) of the robot R shown below each of FIGS. 12 (a) to 12 (c) are modeled on the behavior state of the inverted pendulum expressed by the landing position and the gravity center position (represented by “◎”) of the inverted pendulum shown on the upper side of each Can think.

そこで、倒立振子をその上部を変移自在に上方から吊り下げた状態で移動させて実験を行った。まず、図13(a)に示されているように倒立振子にその出発位置から移動を開始させ(時刻t=0)、その後、外乱(物体との接触により受けた力)が倒立振子に与えられた(時刻t=t0)。これに応じて倒立振子が安定化を図りながら新たな経路に沿って移動し(時刻t=t1)、物体との接触を回避しながらさらに移動し(時刻t=t2)、目標位置に到達する(時刻t=t3)。 Therefore, the experiment was performed by moving the inverted pendulum while the upper part of the inverted pendulum was suspended from above. First, as shown in FIG. 13A, the inverted pendulum starts to move from its starting position (time t = 0), and then disturbance (force received by contact with an object) is applied to the inverted pendulum. (Time t = t 0 ). In response to this, the inverted pendulum moves along a new path while stabilizing (time t = t 1 ), further moves while avoiding contact with the object (time t = t 2 ), and reaches the target position. Arrives (time t = t 3 ).

この際、図13(b)に示されているように個体フィルタを用いた第1行動候補としての離散的な着地位置の探索のための計算が実行された。個体は升目が付された地面の上方にある雲状の塊を構成する個々の点により表現され、その地面からの高さは第1総合指数f1の大きさを表わしている。この場合、当該雲の尾根に沿って並んでいる点が地面に垂直に投影された点が、第1行動予約または第1行動指針としての着地位置を表わしている。 At this time, as shown in FIG. 13B, calculation for searching for a discrete landing position as a first action candidate using an individual filter was executed. The individual is represented by individual points constituting a cloud-like lump above the ground with a grid, and the height from the ground represents the size of the first overall index f 1 . In this case, the point where the points aligned along the ridge of the cloud are vertically projected on the ground represents the landing position as the first action reservation or the first action guideline.

前記のようにロボットRの挙動状態は倒立振子の挙動状態にモデル化されることから、当該モデルを用いてロボットRの行動が制御されうる。これにより、図14に示されているようにロボットRを倒立振子と同様に行動させることができる。すなわち、まず、ロボットRにその出発位置から移動を開始させ(時刻t=0)、その後、外乱がロボットRに与えられる(時刻t=t0)。これに応じて、ロボットRは安定化を図りながら新たな経路に沿って移動し(時刻t=t1)、物体との接触を回避しながらさらに移動し(時刻t=t2)、目標位置に到達する(時刻t=t3)。 Since the behavior state of the robot R is modeled as the behavior state of the inverted pendulum as described above, the behavior of the robot R can be controlled using the model. As a result, as shown in FIG. 14, the robot R can be operated in the same manner as the inverted pendulum. That is, first, the robot R starts to move from its starting position (time t = 0), and then a disturbance is given to the robot R (time t = t 0 ). In response to this, the robot R moves along a new path while stabilizing (time t = t 1 ), further moves while avoiding contact with the object (time t = t 2 ), and reaches the target position. (Time t = t 3 ).

(本発明のロボットRおよびその制御システムの作用効果)
前記機能を発揮するロボットRによれば、複数のモジュールmodi(i=1,2,3)のそれぞれに自己が主担当する主目的を優先させながらも、他のモジュールが主担当する副目的をも勘案した形で、制御対象であるロボットRの行動候補が探索される(図5/STEP110,STEP210,STEP310参照)。このように、異なるモジュール間で目的が緩やかに共有された形で制御対象の行動候補が探索されうる。
(Operational effect of the robot R of the present invention and its control system)
According to the robot R that performs the above function, while giving priority to the main purpose of the module itself (i = 1, 2, 3), the sub-objects of the other modules are mainly responsible. In addition, the action candidate of the robot R to be controlled is searched (see FIG. 5 / STEP110, STEP210, and STEP310). In this way, action candidates to be controlled can be searched in a manner in which the purpose is gently shared between different modules.

また、上位モジュール(少なくとも制御モジュールmod0)により予測された制御対象の未来状態に続く、探索された行動候補に応じた制御対象の複数の未来状態が予測される(図5/STEP120,STEP220,STEP320参照)。   Further, a plurality of future states of the control target corresponding to the searched action candidate are predicted following the future state of the control target predicted by the upper module (at least the control module mod0) (FIG. 5 / STEP120, STEP220, STEP320). reference).

そして、未来状態のそれぞれに基づき、高周波の上位モジュールが主担当する上位目的が、低周波の下位モジュールが主担当する下位目的よりも優先され、自己が主担当する主目的および副目的に対する総合適合度が評価される(図5/STEP130,STEP230,STEP330参照)。これにより、高周波の上位モジュールが主担当する上位目的が、低周波の下位モジュールが主担当する下位目的よりも優先して反映された態様でロボットRの行動が制御される。   Based on each future state, the high-order higher-level module that is mainly responsible for the high-frequency higher-order module takes precedence over the lower-frequency lower-level module that is mainly responsible for the main purpose and sub-purposes that the main person is responsible for. The degree is evaluated (see FIG. 5 / STEP 130, STEP 230, and STEP 330). As a result, the behavior of the robot R is controlled in a manner in which the higher-order object mainly handled by the high-frequency upper module is reflected in preference to the lower-purpose object mainly handled by the low-frequency lower module.

このため、外乱が発生した場合(図4/時刻t=t0参照)、当初は応答が速い上位モジュールが主担当する上位目的が制御対象の行動形態に反映され、この外乱による影響の迅速な低減が図られる(図4/時刻t=t1参照)。さらに、時間経過とともに応答が遅い下位モジュールが主担当する下位目的も制御対象の行動形態に反映され、複数の目的のすべてに適合するような制御対象の行動形態の回復が図られる(図4/時刻t=t2,t=t3参照)。これにより、任意形態の外乱に対して、ロボットRがその行動目的に鑑みて適当な形態で行動することができる。 For this reason, when a disturbance occurs (refer to FIG. 4 / time t = t 0 ), the higher-order purpose mainly handled by the higher-order module that is initially responding is reflected in the action form of the controlled object, and the influence of this disturbance is quickly affected. Reduction is achieved (see FIG. 4 / time t = t 1 ). Furthermore, the sub-objects that are mainly handled by the subordinate modules whose response is slow over time are also reflected in the action form of the control object, and the action form of the control object that is suitable for all of the plurality of objectives can be recovered (FIG. 4 / reference time t = t 2, t = t 3). Thereby, the robot R can behave in an appropriate form in view of the purpose of the action with respect to an arbitrary form of disturbance.

特に、第jモジュール(前記実施形態ではj=1,2,3)により探索されたすべての第j行動候補のうち、状態空間内で第j目的に応じて定義される基準点からの乖離度が第j閾値以内である第j行動候補ajk、すなわち、第j指定行動候補群に含まれる第j行動候補ajkについては、第j適合度ejが一定値「1」に評価される(前記式(111)(221)(331)、図6(b)、図7(b)、図8(b)参照)。この一定値は「1」には限定されず、任意の値が採用されうる。その一方、第j指定行動候補群に含まれない第j行動候補ajkについては、第j適合度ejが一定値よりも低い値に評価される。すなわち、行動候補としてとりうる集合のうち、第j適合度ejが十分に高い値をとる行動候補の集合(第j解空間)において、第j適合度ejが当該一定値に評価される領域(フラット領域)と、第j適合度ejが当該一定値よりも低い領域とが形成される。当該構成は、ある程度第j目的に適合している第j行動候補ajkは、第j適合度を近似的に同等と考えてもよいという思想に基づいている。 In particular, of all the j-th action candidates searched for by the j-th module (j = 1, 2, 3 in the above embodiment), the degree of deviation from the reference point defined according to the j-th purpose in the state space There the j behavior candidate a jk is within the j threshold, i.e., for the j behavior candidate a jk included in the j-specified behavior candidate group, the j-th fitness e j evaluates to a constant value "1" (Refer to said Formula (111) (221) (331), FIG.6 (b), FIG.7 (b), FIG.8 (b)). This constant value is not limited to “1”, and an arbitrary value can be adopted. Meanwhile, for the j-th action candidate a jk not included in the j-th specified behavior candidate group, the j fit e j evaluates to a value lower than a predetermined value. That is, of the set can be taken as an action candidates in the set of actions candidates j-th fitness e j takes a sufficiently high value (j-th solution space), the j-th fitness e j is evaluated in the constant value a region (flat region), the j-th fitness e j is a region lower than the predetermined value is formed. This configuration is based on the idea that the j-th action candidate a jk that fits the j-th purpose to some extent may consider the j-th matching degree to be approximately equivalent.

第1行動候補を定めるZMPbiasにより定義される第1解空間については、図6(b)に示されているように0≦ZMPbias≦αLfootの範囲が第1適合度e1が一定値「1」であるフラット領域として定義され、αLfoot<ZMPbiasの範囲が第1適合度e1が当該一定値「1」から徐々に低下するスロープ領域として定義されている。 For the first solution space defined by the ZMP bias that defines the first action candidate, as shown in FIG. 6B, the range of 0 ≦ ZMP bias ≦ αL foot is a constant value of the first fitness e 1. The range of αL foot <ZMP bias is defined as a slope region where the first fitness e 1 gradually decreases from the constant value “1”.

第2行動候補を定めるC-1により定義される第2空間については、図7(b)に示されているように0≦C-1≦β(Robject)-1の範囲が第2適合度e2が一定値「1」であるフラット領域として定義され、β(Robject)-1<C-1の範囲が第2適合度e2が当該一定値「1」から徐々に低下するスロープ領域として定義されている。 For the second space defined by C −1 that defines the second action candidate, the range of 0 ≦ C −1 ≦ β (R object ) −1 is the second fit as shown in FIG. 7B. degrees e 2 is defined as a flat area is a constant value "1", beta slope (R object) -1 <C range -1 second fit e 2 gradually decreases from the constant value "1" It is defined as an area.

第3行動候補を定めるLにより定義される第3空間については、図8(b)に示されているようにLdest≦L≦γLdestの範囲が第3適合度e3が一定値「1」であるフラット領域として定義され、γLdest<Lの範囲が第3適合度e3が当該一定値「1」から徐々に低下するスロープ領域として定義されている。 For the third space defined by L defining the third action candidate, as shown in FIG. 8 (b), the range of L dest ≦ L ≦ γL dest is the constant value “1” for the third fitness e 3. ”And the range of γL dest <L is defined as a slope region where the third fitness e 3 gradually decreases from the constant value“ 1 ”.

フラット領域の形成により、第j解空間において総合適合度が最大または極大となるような解が探索されうる領域が広がる。このため、上位モジュールが、下位総合適合度が最大または極大となる下位行動候補を下位行動指針として下位モジュールから受け取り、自ら探索した行動候補のそれぞれについて下位行動指針との近似度を推定下位適合度として評価するように構成されている場合、解空間において当該上位モジュールにより解が探索されうる領域が広がる(図10、図11参照)。   By forming the flat area, an area in which a solution having the maximum or maximum total fitness can be searched in the j-th solution space is expanded. For this reason, the upper module receives the lower action candidate having the maximum or maximum lower overall fitness from the lower module as the lower action guideline, and estimates the degree of approximation with the lower action guideline for each action candidate searched by itself. In the solution space, a region where a solution can be searched for by the higher-level module is expanded (see FIGS. 10 and 11).

また、第j解空間においてフラット領域に含まれている複数の第j行動候補について、第j適合度ejの高低に応じた優劣は考慮されなくてもよい。このため、第j適合度を必要以上に高めるような解が探索されること、ひいては、制御対象の動作制御の過剰な最適化が防止される。さらに、第jモジュールは、他のモジュール(第j−1モジュールおよび第j+1モジュールのうち一方または両方)が主担当する副目的に鑑みた適合度に応じて総合適合度が最大または極大となる第j行動候補を探索すれば足る。すなわち、第jモジュールを、主目的ではなく、副目的に鑑みた適合度を高くするような解の探索に集中させることができる。 Further, the plurality of first j behavior candidate included in the flat region in the j-th solution space, the superiority in accordance with the height of the j-fit e j may not be considered. For this reason, searching for a solution that increases the j-th matching degree more than necessary, and thus, excessive optimization of the operation control of the controlled object is prevented. Further, the j-th module has a maximum or maximum total fitness according to the fitness in consideration of the sub-objects in which the other modules (one or both of the j-1 module and the j + 1 module) are mainly responsible. It is sufficient to search for j action candidates. In other words, the j-th module can be concentrated on searching for a solution that increases the degree of fitness in consideration of the sub-object, not the main object.

このため、第j適合度ejの評価のための各モジュールmodjの演算処理負荷の軽減、ひいては、演算処理結果の算出の早期化を図りながら、第j総合適合度fjが評価または算出されうる(前記式(141)(142)(241)(242)(341)(342)参照)。これにより、任意形態の外乱に対して、制御対象としてのロボットRの行動目的に鑑みて適当な形態で、このロボットRを迅速に応答または行動させることができる。 Thus, reduction in processing load of each module modj for evaluation of the j fit e j, therefore, while achieving earlier stage of calculation of the calculation result, the j overall fitness f j is evaluated or calculated (See the above formulas (141), (142), (241), (242), (341), and (342)). Thereby, this robot R can be made to respond or act quickly with respect to the disturbance of arbitrary forms in an appropriate form in view of the action purpose of the robot R as a control object.

(本発明の他の実施形態)
なお、制御対象はロボットR(図1参照)のほか、車両等、アクチュエータを備えているあらゆる装置であってもよい。
(Other embodiments of the present invention)
In addition to the robot R (see FIG. 1), the control target may be any device equipped with an actuator, such as a vehicle.

前記実施形態では、行動探索用のモジュールは3つであったが、2つであってもよく、4つ以上であってもよい。   In the embodiment, the number of behavior search modules is three, but may be two, or may be four or more.

第1モジュールmod1および第2モジュールmod2のみが制御システム1に含まれる場合、第2総合適合度f2(ai2)は第2適合度e2(ai2)および第1適合度e1(ai2)に基づき、評価式(244)にしたがって評価される。 When only the first module mod1 and the second module mod2 are included in the control system 1, the second total fitness f 2 (a i2 ) is the second fitness e 2 (a i2 ) and the first fitness e 1 (a Based on i2 ), the evaluation is made according to the evaluation formula (244).

2(ai1)=e2(ai2)(e1(ai2)+1) ‥(244)。 f 2 (a i1 ) = e 2 (a i2 ) (e 1 (a i2 ) +1) (244).

また、第3モジュールmod3より上位の(演算周期が長い)第4モジュールmod4が制御システム1の構成要素としてさらに含まれている場合、第3総合適合度f3(ai3)は、第2総合適合度f2(ai2)の評価式(241)と同様の評価式(343)にしたがって評価される。 In addition, when the fourth module mod4 (having a longer calculation cycle) than the third module mod3 is further included as a component of the control system 1, the third total fitness f 3 (a i3 ) is Evaluation is performed according to an evaluation formula (343) similar to the evaluation formula (241) of the fitness f 2 (a i2 ).

3(ai3)=e3(ai3)(e2(ai3)(e4^(ai3)+1)+1) ‥(343)。 f 3 (a i3 ) = e 3 (a i3 ) (e 2 (a i3 ) (e 4 ^ (a i3 ) +1) +1) (343).

この場合、第4モジュールmod4により第4総合適合度f4(ai4)は、第3総合適合度f3(ai3)の評価式(34)と同様の評価式にしたがって評価される。 In this case, the fourth total fitness f 4 (a i4 ) is evaluated by the fourth module mod 4 according to the same evaluation formula as the evaluation formula (34) of the third total fitness f 3 (a i3 ).

さらに、4つの行動探索モジュールが制御システム1の構成要素として含まれている場合、第2適合度e2(ai2)、第1適合度e1(ai2)および第3推定適合度e3^(ai2)に加えて、さらに第4推定適合度e4^(ai2)に基づき、評価式(244)にしたがって第2総合適合度f2(ai2)が評価されてもよい。 Further, when four behavior search modules are included as components of the control system 1, the second fitness e 2 (a i2 ), the first fitness e 1 (a i2 ), and the third estimated fitness e 3 ^ in addition to (a i2), further based on the fourth estimated relevance e 4 ^ (a i2), second overall fitness f 2 (a i2) may also be evaluated in accordance with equation (244).

2(ai2)=e2(ai2
×(e1(ai2)(e3^(ai2)(e4^(ai2)+1)+1)+1) ‥(244)。
f 2 (a i2 ) = e 2 (a i2 )
× (e 1 (a i2 ) (e 3 ^ (a i2 ) (e 4 ^ (a i2 ) +1) +1) +1) (244).

5つ以上の行動探索モジュールが構成要素として制御システム1に含まれる場合も、同様の考え方にしたがって中間モジュールの総合適合度が算出されうる。   Even when five or more action search modules are included in the control system 1 as constituent elements, the total fitness of the intermediate modules can be calculated according to the same concept.

1‥制御システム、2‥アクチュエータ、mod1‥第1モジュール、mod2‥第2モジュール、mod3‥第3モジュール、R‥ロボット(制御対象)。 DESCRIPTION OF SYMBOLS 1 ... Control system, 2 ... Actuator, mod1, 1st module, mod2 ... 2nd module, mod3 ... 3rd module, R ... Robot (control object).

Claims (11)

演算周期の相対的な長短に応じて階層化されている複数のモジュールを備え、
前記モジュールのそれぞれが制御対象の行動形態の候補である複数の行動候補を探索するとともに、前記行動候補のそれぞれについて、自己が主担当する主目的に対する主適合度の寄与度が、他モジュールが有する副目的に対する副適合度の寄与度よりも高くなるように、前記主目的および前記副目的の両方に鑑みた総合適合度を評価するように構成され、
演算周期が相対的に長い下位モジュールによる前記総合適合度の評価結果よりも、演算周期が相対的に短い上位モジュールによる前記総合適合度の評価結果を優先的に反映させた形で前記制御対象の動作を制御するように構成されていることを特徴とする制御システム。
It has multiple modules that are layered according to the relative length of the calculation cycle ,
Each of the modules searches for a plurality of action candidates that are candidates for the action form to be controlled, and each module has a contribution degree of the main fitness for the main purpose that the main person is responsible for for each of the action candidates. Configured to evaluate the overall fitness in view of both the primary objective and the secondary objective so as to be higher than the contribution of the secondary fitness to the secondary objective;
The evaluation result of the control target is reflected in a form that preferentially reflects the evaluation result of the comprehensive fitness by the higher module having a relatively short calculation cycle rather than the evaluation result of the comprehensive fitness by the lower module having a relatively long calculation cycle. A control system configured to control operation.
請求項1記載の制御システムにおいて、
演算周期が最短の最上位モジュールおよび演算周期が最長の最下位モジュールを除く中間モジュールが、自己よりも演算周期が相対的に短い上位モジュールが主担当する上位目的、および、自己よりも演算周期が相対的に長い下位モジュールが主担当する下位目的のそれぞれを前記副目的として、前記行動候補のそれぞれについて、前記上位目的に鑑みた上位適合度が、前記下位目的に鑑みた下位適合度よりも寄与度が高くなるように前記総合適合度を評価するように構成されていることを特徴とする制御システム。
The control system according to claim 1,
The intermediate module excluding the highest module with the shortest calculation cycle and the lowest module with the longest calculation cycle is the higher-level objective mainly handled by the higher module whose calculation cycle is relatively shorter than itself, and the calculation cycle is lower than the self. For each of the action candidates, the higher fitness level in view of the higher-level goal contributes more than the lower-level fitness level in consideration of the lower-level goal, with each of the lower-level goals mainly handled by a relatively long lower-level module as the sub-purpose. A control system configured to evaluate the total fitness so as to increase the degree.
請求項2記載の制御システムにおいて、
自己よりも演算周期が相対的に長い下位モジュールが存在する前記モジュールが、前記行動候補のそれぞれについて前記下位適合度を推定することにより推定下位適合度を評価し、前記推定下位適合度を前記下位適合度として前記総合適合度を評価するように構成されていることを特徴とする制御システム。
The control system according to claim 2, wherein
The module in which a lower module having a relatively longer calculation cycle than the self evaluates the estimated lower fitness by estimating the lower fitness for each of the action candidates, and determines the estimated lower fitness as the lower A control system configured to evaluate the overall fitness as fitness.
請求項3記載の制御システムにおいて、
自己よりも演算周期が相対的に長い下位モジュールが存在する前記モジュールが、前記下位モジュールにより探索された前記行動候補としての下位行動候補のうち、前記下位モジュールにより評価された前記総合適合度としての下位総合適合度が最大または極大となる下位行動候補を下位行動指針として前記下位モジュールから受け取り、自ら探索した前記行動候補のそれぞれについて、前記下位行動指針との近似度を前記推定下位適合度として評価するように構成されていることを特徴とする制御システム。
The control system according to claim 3, wherein
The module in which a lower module having a relatively longer calculation cycle than the self exists as the overall fitness evaluated by the lower module among the lower action candidates as the action candidates searched by the lower module. The lower action candidate having the maximum or maximum lower overall fitness is received from the lower module as a lower action guideline, and the degree of approximation with the lower action guideline is evaluated as the estimated lower suitability for each of the action candidates searched by itself. A control system characterized by being configured to do so.
請求項3または4記載の制御システムにおいて、
前記複数のモジュールとして第1〜第Nモジュールを備え、
前記最上位モジュールとしての第1モジュールが、自ら探索した前記行動候補としての第1行動候補のそれぞれについて、前記主目的としての第1目的に対する第1適合度e1を評価し、下位モジュールとしての第2モジュールが有する第2目的に対する適合度を推定することにより第2推定適合度e2^を評価した上で、評価式f1=e1(e2^+1)にしたがって第1総合適合度f1を評価するように構成され、
前記中間モジュールとしての第iモジュール(i=2〜N−1)が、自ら探索した前記行動候補としての第i行動候補のそれぞれについて、前記主目的としての第i目的に鑑みた第i適合度eiを評価し、前記上位目的としての第i−1目的に鑑みた第i−1適合度ei-1を評価し、前記下位目的としての第i+1目的に鑑みた適合度を推定することにより第i+1推定適合度ei+1^を評価した上で、評価式fi=ei(ei-1(ei+1^+1)+1)にしたがって前記第i総合適合度fiを評価するように構成され、
前記最下位モジュールとしての第Nモジュールが、自ら探索した前記行動候補としての第N行動候補のそれぞれについて、前記主目的としての第N目的に対する第N適合度eNを評価し、上位モジュールとしての第N−1モジュールが有する第N−1適合度eN-1を評価した上で、評価式fN=eN(eN-1+1)にしたがって前記第i総合適合度fiを評価するように構成されていることを特徴とする制御システム。
The control system according to claim 3 or 4,
The first to Nth modules as the plurality of modules,
The first module as the highest module evaluates the first suitability e 1 for the first purpose as the main purpose for each of the first action candidates as the action candidates searched by itself, After evaluating the second estimated fitness e 2 ^ by estimating the fitness of the second module for the second purpose, the first overall fitness according to the evaluation formula f 1 = e 1 (e 2 ^ + 1) configured to evaluate f 1 ,
The i-th suitability in consideration of the i-th purpose as the main purpose for each of the i-th behavior candidates as the behavior candidates searched by the i-th module (i = 2 to N-1) as the intermediate module. evaluating e i , evaluating the i−1th fitness e i−1 in view of the i−1th objective as the higher purpose, and estimating the fitness in view of the i + 1th objective as the lower purpose. After evaluating the i + 1-th estimated fitness level e i + 1 ^, the i- th total fitness level f i is calculated according to the evaluation formula f i = e i (e i-1 (e i + 1 ^ + 1) +1). Configured to evaluate,
The Nth module as the lowest module evaluates the Nth adaptability e N for the Nth objective as the main objective for each of the Nth action candidates as the behavioral candidates searched for by itself, After evaluating the N-1 matching degree e N-1 of the N-1th module, the i-th total matching degree f i is evaluated according to the evaluation formula f N = e N (e N-1 +1). A control system configured as described above.
請求項5記載の制御システムにおいて、
第jモジュール(j=1,2,‥,N)が、自ら探索した前記行動候補としてのすべての第j行動候補のうち、第j指定行動候補群に含まれる第j行動候補について、前記主目的としての第j目的に対する第j適合度ejを一定値に評価する一方、前記すべての第j行動候補のうち、前記第j指定行動候補群に含まれない第j行動候補について、前記第j適合度ejを前記一定値よりも低く評価するように構成されていることを特徴とする制御システム。
The control system according to claim 5, wherein
The j-th module (j = 1, 2,..., N) determines the main behavior of the j-th behavior candidate included in the j-th designated behavior candidate group among all the j-th behavior candidates as the behavior candidates searched by itself. while evaluating the j fit e j for the j object of purposes to a constant value, said of all of the j behavior candidate, for the j action candidates are not included in the j-th specified behavior candidate group, the second control system characterized by being configured to the j adaptability e j ratings lower than the predetermined value.
請求項6記載の制御システムにおいて、
前記第jモジュールが、前記すべての第j行動候補のうち、前記第j目的に応じた状態空間において定義される基準点からの乖離度が第j閾値以下である第j行動候補を、前記第j指定行動候補群に含まれる第j行動候補として、前記第j適合度ejを前記一定値に評価する一方、前記すべての第j行動候補のうち、前記第j指定行動候補群に含まれない第j行動候補について、前記乖離度に基づき、前記乖離度の連続的または段階的な減少関数にしたがって前記第j適合度ejを評価するように構成されていることを特徴とする制御システム。
The control system according to claim 6, wherein
The j-th module selects a j-th action candidate having a deviation degree from a reference point defined in a state space corresponding to the j-th purpose among the all j-th action candidates, being a j-th threshold value or less. as a j action candidates included in the j specified action candidates, while evaluating the j-th fitness e j to the predetermined value, said of all of the j behavior candidate, included in the j-th designated action candidates for no j-th behavior candidate, control system, characterized in that the basis of the deviation degree, is adapted to evaluate the first j adaptability e j according continuously or stepwise decreasing function of the degree of deviation .
請求項1〜7のうちいずれか1つに記載の制御システムにおいて、
前記モジュールのそれぞれが、自ら探索した前記行動候補のそれぞれに応じた前記制御対象の複数の未来状態を予測し、前記行動候補のそれぞれについて、前記未来状態のそれぞれに基づいて前記総合適合度を評価するように構成されていることを特徴とする制御システム。
In the control system according to any one of claims 1 to 7,
Each of the modules predicts a plurality of future states of the control target according to each of the behavior candidates searched for by itself, and evaluates the overall fitness for each of the behavior candidates based on each of the future states. A control system characterized by being configured to do so.
請求項1〜8のうちいずれか1つに記載の制御システムにおいて、
前記モジュールのそれぞれが、前記制御対象としての移動装置の位置または位置および姿勢を定めるような前記行動候補を探索するように構成され、
演算周期が相対的に短い上位モジュールであるほど、演算周期が相対的に長い下位モジュールと比較して、前記移動装置の短期間にわたる前記行動候補を探索するように構成されていることを特徴とする制御システム。
In the control system according to any one of claims 1 to 8,
Each of the modules is configured to search for the action candidate that determines the position or position and posture of the mobile device as the control target,
The higher module having a relatively short calculation cycle is configured to search for the action candidate over a short period of the mobile device as compared to a lower module having a relatively long calculation cycle. Control system.
請求項9記載の制御システムにおいて、
基体と、前記基体から延設された複数の脚体とを有する前記移動装置としてのロボットの位置軌道または位置軌道および姿勢軌道を前記行動候補として探索するように構成されている第1モジュール、第2モジュールおよび第3モジュールを前記複数のモジュールとして備え、
前記第1モジュールが前記ロボットに姿勢を安定させるための前記ロボットの第1指定歩数にわたる歩容を第1行動候補として探索するように構成され、
前記第2モジュールが前記ロボットに物体との接触を回避させるための前記第1指定歩数よりも多い第2指定歩数にわたる歩容を定める局所経路を第2行動候補として探索するように構成され、
前記第3モジュールが前記ロボットに目標位置に到達させるための大局経路を第3行動候補として探索するように構成されていることを特徴とする制御システム。
The control system according to claim 9, wherein
A first module configured to search, as the action candidate, a position trajectory or a position trajectory and a posture trajectory of a robot as the moving device having a base and a plurality of legs extending from the base; 2 modules and a third module as the plurality of modules,
The first module is configured to search for a gait over a first designated number of steps of the robot for stabilizing the posture of the robot as a first action candidate;
The second module is configured to search as a second action candidate a local route that defines a gait over a second specified number of steps greater than the first specified number of steps for causing the robot to avoid contact with an object;
The control system, wherein the third module is configured to search as a third action candidate a global route for causing the robot to reach a target position.
基体と、前記基体から延設されている複数の脚体とを備え、前記複数の脚体の動作により移動する前記移動装置としてのロボットであって、
請求項10記載の制御システムを備えていることを特徴とするロボット。
A robot as the moving device that includes a base body and a plurality of legs extending from the base body and moves by an operation of the plurality of legs;
A robot comprising the control system according to claim 10.
JP2010091801A 2009-08-03 2010-04-12 Robot and control system Expired - Fee Related JP5450218B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010091801A JP5450218B2 (en) 2009-08-03 2010-04-12 Robot and control system
US12/999,791 US8849452B2 (en) 2009-08-03 2010-05-25 Robot and control system
PCT/JP2010/058806 WO2011016280A1 (en) 2009-08-03 2010-05-25 Robot and control system
DE201011000035 DE112010000035B4 (en) 2009-08-03 2010-05-25 Robot and control system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009181072 2009-08-03
JP2009181072 2009-08-03
JP2010091801A JP5450218B2 (en) 2009-08-03 2010-04-12 Robot and control system

Publications (2)

Publication Number Publication Date
JP2011051088A JP2011051088A (en) 2011-03-17
JP5450218B2 true JP5450218B2 (en) 2014-03-26

Family

ID=43940647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010091801A Expired - Fee Related JP5450218B2 (en) 2009-08-03 2010-04-12 Robot and control system

Country Status (1)

Country Link
JP (1) JP5450218B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114639163B (en) * 2022-02-25 2024-06-07 纯米科技(上海)股份有限公司 Scoring method and scoring system for walking program, electronic device and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558222B2 (en) * 2002-03-15 2004-08-25 ソニー株式会社 Robot behavior control system and behavior control method, and robot device
JP2004167666A (en) * 2002-08-30 2004-06-17 Sony Corp Robot device and action control method used for the same
JP2007125631A (en) * 2005-11-01 2007-05-24 Sony Corp Robot device and motion control method

Also Published As

Publication number Publication date
JP2011051088A (en) 2011-03-17

Similar Documents

Publication Publication Date Title
WO2011016280A1 (en) Robot and control system
JP5465137B2 (en) Robot and control system
US8392346B2 (en) Reinforcement learning system
JP7436688B2 (en) Multi-objective reinforcement learning using objective action value functions
JP5261495B2 (en) Real-time self-collision and obstacle avoidance using weight matrix
JP5480799B2 (en) Mobile device, robot and control system thereof
JP5156836B2 (en) Real-time self-collision and obstacle avoidance
JP5306934B2 (en) Robot and control system
JP2013520327A (en) Joint system control method, storage medium, and control system
JP5404519B2 (en) Robot, control system and control program
Sugiura et al. Real-time self collision avoidance for humanoids by means of nullspace criteria and task intervals
JP5450218B2 (en) Robot and control system
JP6026393B2 (en) Mobile device
JP5306933B2 (en) Robot and control system
Vahrenkamp et al. Adaptive motion planning for humanoid robots
Brandk-ão et al. Reaching for the unreachable: integration of locomotion and whole-body movements for extended visually guided reaching
JP5921979B2 (en) Control system
JP6647143B2 (en) Functional device, control device and control method thereof
JP5456557B2 (en) Robot, control system and control program
Zhou et al. Learning Crowd Behaviors in Navigation with Attention-based Spatial-Temporal Graphs
JP5539000B2 (en) Control device
Barrera et al. Anticipatory visual perception as a bio-inspired mechanism underlying robot locomotion
Nakamura et al. Multi-preview configuration control for predictive behavior of redundant manipulator
Singamaneni Learning Multi-Goal Reachability in a Humanoid Robot using Deep Reinforcement Learning
Theofanidis et al. Safe Human-Robot Motor Skill Learning Through Probabilistic Dynamic Movement Primitives and Control Barrier Functions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Ref document number: 5450218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees