JP3942586B2 - Communication robot - Google Patents
Communication robot Download PDFInfo
- Publication number
- JP3942586B2 JP3942586B2 JP2003402462A JP2003402462A JP3942586B2 JP 3942586 B2 JP3942586 B2 JP 3942586B2 JP 2003402462 A JP2003402462 A JP 2003402462A JP 2003402462 A JP2003402462 A JP 2003402462A JP 3942586 B2 JP3942586 B2 JP 3942586B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- contact
- skin
- detected
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 56
- 230000035945 sensitivity Effects 0.000 claims description 47
- 238000013459 approach Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 31
- 239000000463 material Substances 0.000 claims description 9
- 230000009471 action Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 21
- 210000003128 head Anatomy 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 229920002379 silicone rubber Polymers 0.000 description 11
- 239000010408 film Substances 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 239000004020 conductor Substances 0.000 description 6
- 239000010409 thin film Substances 0.000 description 5
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002310 elbow joint Anatomy 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 208000034693 Laceration Diseases 0.000 description 1
- 239000002033 PVDF binder Substances 0.000 description 1
- 229920006311 Urethane elastomer Polymers 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Description
この発明はコミュニケーションロボットに関し、特にたとえば、身振りや音声などの身体動作を用いて人間とコミュニケーションを図る、コミュニケーションロボットに関する。 The present invention relates to a communication robot, and more particularly to a communication robot that communicates with a human by using body movements such as gestures and voices.
この種の従来のコミュニケーションロボットは、たとえば本件出願人による特許文献1および2等に開示される。このコミュニケーションロボットは、音声や所作によって人間とのコミュニケーションを図ろうとする相互作用指向のロボットであり、対話相手となる人間や障害となる物を認識すべく各種のセンサ類を備えている。この従来技術では、たとえば、足下の台車上のパネルなどに近接センサとして超音波距離センサが設けられて、人等との間の距離を計測してその接近が検知される。また、肩、上腕、前腕などの部位にタッチセンサ(接触センサ)が設けられ、人等と接触したことが検知される。
しかし、ロボット体上のスペースは限られており、この限られたスペースに複数種類のセンサを設けねばならないので、近接センサも接触センサもそれぞれ別々の特定の箇所にしか設けることができなかった。このため、上述の従来技術では、人や物自体のロボットへの接近は検知できるが、たとえば、人等がロボットのどの箇所に接触しようとしているのかを事前に検知することは困難であった。また、行動中に動かしているたとえば腕などの部位が人にぶつかりそうになっても、ぶつかりそうな箇所を検知することが同様に不可能であったので、回避することは困難であった。 However, the space on the robot body is limited, and a plurality of types of sensors must be provided in the limited space. Therefore, the proximity sensor and the contact sensor can only be provided at different specific locations. For this reason, in the above-described prior art, it is possible to detect the approach of the person or the object itself to the robot, but for example, it is difficult to detect in advance which part of the robot the person or the like is trying to contact. Further, even if a part such as an arm that is moving during an action is likely to hit a person, it is difficult to avoid it because it is impossible to detect the part that is likely to hit.
なお、たとえば人が触れる可能性のある箇所に近接センサを設けておけば、この特定箇所への接近を検知することは可能であるが、同じ箇所に接触センサを設けることができないので、当該箇所における接触状態を検知することができない。 For example, if a proximity sensor is provided in a place where a person may touch, it is possible to detect the approach to this specific place, but a contact sensor cannot be provided in the same place. The contact state cannot be detected.
一方、上述の従来技術では、接触センサは非常に敏感なものが用いられていたが、特定箇所にしか設けられていないことと、情報がオン/オフの2値であることから、接触箇所を、たとえば強く握られたり、やさしくなでられたりしたというような、触覚で意思や気持ちなどを伝える触行動の情報を取得することはできなかったので、触行動に応じた触覚コミュニケーションを実行することができなかった。この触覚コミュニケーションに対応するため、本件出願人は平成15年3月24日付で出願された特願2003−80106号において、タッチセンサに代えて圧力センサシートをたとえば全身に配置したコミュニケーションロボットを提案している。しかしながら、このロボットでも近接センサと圧力センサとが別々に設けられていたので、上述と同じような問題があった。 On the other hand, in the above-mentioned prior art, a very sensitive contact sensor is used. However, since the contact sensor is provided only at a specific location and the information is binary of on / off, the contact location is determined. For example, we could not acquire tactile information that conveys intentions and feelings by tactile sensation, such as being grasped strongly or stroked gently. I could not. In order to cope with this tactile communication, the present applicant proposed in Japanese Patent Application No. 2003-80106, filed on March 24, 2003, a communication robot in which a pressure sensor sheet is arranged, for example, on the whole body instead of a touch sensor. ing. However, since the proximity sensor and the pressure sensor are provided separately in this robot, there is the same problem as described above.
したがって、従来技術では、触覚コミュニケーションにおいて、常に接触を検知してから対処するというような事後的で限定された行動しか実行することができなかった。 Therefore, in the prior art, in the tactile communication, only a posteriori and limited action of always detecting a contact and dealing with it can be executed.
また、人などが接近して来て触れるという触行動における一連の動きを、別々の箇所に設けた別々の種類のセンサを用いて検知することは、上述のスペース面、またコスト面からも好ましいものではない。 Moreover, it is preferable from the above-mentioned space aspect and cost aspect to detect a series of movements in the tactile behavior of people approaching and touching using different types of sensors provided at different locations. It is not a thing.
それゆえに、この発明の主たる目的は、人や物の接近を検知することができ、かつ、その後の接触状態を検知することができる、コミュニケーションロボットを提供することである。 Therefore, a main object of the present invention is to provide a communication robot that can detect the approach of a person or an object and can detect the subsequent contact state.
この発明の他の目的は、人や物の接近および接触の状態に応じて予測的に動作を制御できる、コミュニケーションロボットを提供することである。 Another object of the present invention is to provide a communication robot that can control the operation in a predictive manner in accordance with the approach and contact state of a person or an object.
この発明のその他の目的は、センサの種類を低減できる、コミュニケーションロボットを提供することである。 Another object of the present invention is to provide a communication robot that can reduce the types of sensors.
請求項1の発明は、感度可変に設けられる圧電センサ、圧電センサの感度を変更して静電容量を計測する近接センサまたは圧力を計測する圧力センサとして圧電センサを機能させる変更手段、および近接センサまたは圧力センサとして検知した検知情報に応じて動作を制御する動作制御手段を備える、コミュニケーションロボットである。
The invention according to
請求項1の発明では、コミュニケーションロボットは圧電センサを含み、変更手段は、この圧電センサの感度を変更して、静電容量を計測する近接センサまたは圧力を計測する圧力センサとして機能させる。つまり、このコミュニケーションロボットでは、変更手段によって、圧電センサの感度をたとえば状況に応じて動的に変更することによって、この圧電センサを近接センサまたは圧力センサの2種類のセンサとして使い分けることができる。そして、動作制御手段は近接センサまたは圧力センサとして検知した検知情報に応じて動作を制御する。たとえば、この圧電センサを近接センサとして機能させておくことによって、人や物などの近接状態を検知することができるので、接近を検知したことに応じてその後の接触を予測した動作、たとえば接触に適応するような動作や接触を回避するような動作などを実行できる。さらに、接近の検知の後に、変更手段によって圧電センサの感度を変更して圧力センサとして機能させた場合には、接近を検知したのと同じ箇所あるいは別の箇所における接触状態を検知することができるので、その接触状態に応じた動作を実行することができる。 According to the first aspect of the present invention, the communication robot includes a piezoelectric sensor, and the changing means changes the sensitivity of the piezoelectric sensor to function as a proximity sensor that measures capacitance or a pressure sensor that measures pressure. That is, in this communication robot, the piezoelectric sensor can be used as two types of sensors, ie, a proximity sensor or a pressure sensor, by dynamically changing the sensitivity of the piezoelectric sensor according to, for example, the situation by the changing means. The operation control means controls the operation in accordance with detection information detected as a proximity sensor or a pressure sensor. For example, by making this piezoelectric sensor function as a proximity sensor, it is possible to detect the proximity state of a person or an object. Actions that can be adapted and actions that avoid contact can be performed. Further, after the approach is detected, when the sensitivity of the piezoelectric sensor is changed by the changing means to function as a pressure sensor, it is possible to detect the contact state at the same location or another location where the approach is detected. Therefore, the operation | movement according to the contact state can be performed.
請求項2の発明は、請求項1に従属するコミュニケーションロボットであって、動作制御手段は、近接センサとして検知した検知情報に基づいて接近または接触が検知されたとき、接近または接触を検知していないときと異なる動作を実行させる。
The invention according to claim 2 is the communication robot according to
請求項2の発明では、動作制御手段は、近接センサとして機能する圧電センサによって人や物などの接近または接触が検知されたとき、その接近または接触を検知していないときとは異なる動作を実行させる。したがって、接近を検知したときには、その後の接触を予測してそれまでの動作とは異なった動作を実行することによって、たとえば接触に適応したりあるいは接触を回避したりすることができるし、接触を検知した場合にも同様に接触があったことに応じた適切な動作を実行することができる。 In the invention of claim 2, when the approach or contact of a person or an object is detected by the piezoelectric sensor functioning as a proximity sensor, the operation control means performs an operation different from that when the approach or contact is not detected. Let Therefore, when an approach is detected, it is possible to adapt to contact or avoid contact, for example, by predicting the subsequent contact and performing an action different from the previous action. Similarly, when it is detected, it is possible to execute an appropriate operation according to the contact.
請求項3の発明は、請求項2に従属するコミュニケーションロボットであって、動作制御手段は、近接センサとして検知した検知情報に基づいて接近が検知されたとき、動作速度を小さくする。 According to a third aspect of the present invention, there is provided a communication robot according to the second aspect, wherein the operation control means reduces the operation speed when an approach is detected based on detection information detected as a proximity sensor.
請求項3の発明では、動作制御手段は、人や物などの接近が検知されたとき、動作速度を小さくする。したがって、たとえば、その人などと近くなるのを遅らせて、接触を回避するようにすることができるし、あるいは、接近した人の近辺に長く滞在して、相手にロボットに対するコミュニケーションのきっかけを与えることができる。 According to a third aspect of the present invention, the operation control means reduces the operation speed when an approach of a person or an object is detected. Therefore, for example, it is possible to delay contact with the person and avoid contact, or to stay long in the vicinity of the approaching person and give the other party a chance to communicate with the robot Can do.
請求項4の発明は、請求項2または3に従属するコミュニケーションロボットであって、動作制御手段は、近接センサとして検知した検知情報に基づいて接近が検知されたとき、動作軌道を変更する。 According to a fourth aspect of the present invention, there is provided a communication robot according to the second or third aspect, wherein the motion control means changes the motion trajectory when an approach is detected based on detection information detected as a proximity sensor.
請求項4の発明では、動作制御手段は、人や物などの接近が検知されたとき、動作軌道を変更する。したがって、たとえば、接近した人や物などから遠ざかるような方向に軌道を変更して、接触を回避することができる。 In the invention of claim 4, the motion control means changes the motion trajectory when an approach of a person or an object is detected. Therefore, for example, it is possible to avoid contact by changing the trajectory in a direction away from an approaching person or object.
請求項5の発明は、請求項1ないし4のいずれかに従属するコミュニケーションロボットであって、変更手段は、近接センサとして検知した検知情報に基づいて接近または接触が検知されたとき、感度を変更して圧電センサを圧力センサとして機能させ、動作制御手段は、圧力センサとして検知した検知情報に応じて動作を制御する。
The invention according to
請求項5の発明では、変更手段は、近接センサとして機能する圧電センサによって接近または接触が検知されたとき、感度を変更して、圧電センサを圧力センサとして機能させる。そして、動作制御手段は、この圧力センサとして検知した検知情報に応じて動作を制御する。したがって、たとえば、人などの接近または接触に応じて、圧電センサの機能を近接センサから圧力センサに変更するので、その後の接触状態を検知することができ、その接触状態に応じた適切な動作を実行することができる。 In the fifth aspect of the invention, when the approach or contact is detected by the piezoelectric sensor functioning as a proximity sensor, the changing means changes the sensitivity and causes the piezoelectric sensor to function as a pressure sensor. Then, the operation control means controls the operation according to the detection information detected as the pressure sensor. Therefore, for example, the function of the piezoelectric sensor is changed from a proximity sensor to a pressure sensor in accordance with the approach or contact of a person or the like, so that the subsequent contact state can be detected and an appropriate operation corresponding to the contact state is performed. Can be executed.
請求項6の発明は、請求項1ないし5のいずれかに従属するコミュニケーションロボットであって、圧電センサは身振りで表現する際に動く部分に配置される。 A sixth aspect of the present invention is a communication robot according to any one of the first to fifth aspects, wherein the piezoelectric sensor is arranged in a portion that moves when the gesture is expressed.
請求項6の発明では、身振りで表現する際に動く部分に圧電センサが配置される。したがって、たとえば、変更手段によって圧電センサを近接センサとして機能させておけば、その身振りを実行している際にその動く部分が人などへ接近したことを検知することができるので、その相手と接触してしまうことを回避することができる。また、圧電センサを圧力センサとして機能するように感度を変更すれば、その部分に対しての接触状態も検知することができる。 According to the sixth aspect of the present invention, the piezoelectric sensor is arranged in a portion that moves when expressing by gesture. Therefore, for example, if the piezoelectric sensor functions as a proximity sensor by the changing means, it is possible to detect that the moving part has approached a person or the like while performing the gesture, and thus contact with the opponent. Can be avoided. Further, if the sensitivity is changed so that the piezoelectric sensor functions as a pressure sensor, the contact state with respect to that portion can also be detected.
請求項7の発明は、請求項1ないし6のいずれかに従属するコミュニケーションロボットであって、圧電センサは少なくとも頭、胴、肩、腕または手のいずれかに配置される。 A seventh aspect of the present invention is a communication robot according to any one of the first to sixth aspects, wherein the piezoelectric sensor is disposed at least on any of the head, torso, shoulder, arm or hand.
請求項7の発明では、センサが少なくとも頭、胴、肩、腕または手のいずれかに配置されるので、配置した部分に対する人などの接近および接触の状態を検知することができる。また、接近された部分や接触された部分を把握して、それに応じた動作を実行することができる。 In the invention of claim 7, since the sensor is disposed at least on any of the head, torso, shoulder, arm or hand, it is possible to detect the approach and contact state of a person or the like with respect to the disposed portion. Moreover, the approached part and the contacted part can be grasped | ascertained, and the operation | movement according to it can be performed.
請求項8の発明は、請求項1ないし7のいずれかに従属するコミュニケーションロボットであって、圧電センサは分散配置される。
The invention according to claim 8 is the communication robot according to any one of
請求項8の発明では、圧電センサが分散して配置されるので、配置されたそれぞれの部分に対する人などの接近および接触の状態を検知することができる。たとえば全身にわたって分散配置した場合には、全身へのさまざまな方向からの近接状態を検知することができるし、また、全身のさまざまな部分への接触状態を検知することができる。そして、接近された箇所や接触された箇所を把握して、それに応じた動作を実行することができる。たとえば、接近等を検知した圧電センサの配置された部分の高さの違いから相手の大きさなどを推定して、その大きさに応じた動作を実行することもできる。 In the invention of claim 8, since the piezoelectric sensors are arranged in a distributed manner, it is possible to detect the approach and contact state of a person or the like with respect to each arranged part. For example, when distributed throughout the body, proximity states from various directions to the whole body can be detected, and contact states to various parts of the whole body can be detected. Then, it is possible to grasp the approached part or the contacted part and execute an operation corresponding thereto. For example, it is possible to estimate the size of the other party from the difference in height of the portion where the piezoelectric sensor that has detected the approach or the like is arranged, and to perform an operation corresponding to the size.
請求項9の発明は、請求項1ないし8のいずれかに従属するコミュニケーションロボットであって、ロボット本体上に被せられる柔軟素材からなる皮膚をさらに備え、圧電センサは皮膚中に配置される。 A ninth aspect of the present invention is a communication robot according to any one of the first to eighth aspects, further comprising skin made of a flexible material placed on the robot body, and the piezoelectric sensor is disposed in the skin.
請求項9の発明では、たとえば筐体などを含むロボット本体上に柔らかい皮膚が被せられ、この皮膚中に圧電センサが配置される。したがって、たとえば、この柔らかい皮膚を介した触行動における接近および接触の状態を検知することができるので、それに応じたコミュニケーションを行うことができる。また、相手に安心感を与えて親和性を高めることができるとともに、接触時の安全性も高めることができる。 According to the ninth aspect of the present invention, for example, a soft skin is put on a robot main body including a casing and the piezoelectric sensor is disposed in the skin. Therefore, for example, it is possible to detect the state of approach and contact in the tactile behavior via the soft skin, and communication can be performed accordingly. In addition, it is possible to give the partner a sense of security and increase the affinity, and also improve the safety at the time of contact.
この発明によれば、圧電センサをその感度を動的に変化させることによって近接センサと圧力センサの2種類のセンサとして機能させることができるので、この1種類のセンサによって人などの接近を検知することができるとともに、接触後は接触の状態を検知することができる。したがって、接触を予測して、その予測に応じた動作を実行することができるし、接触後はその接触の状態に応じた動作を実行することができ、従来では不可能であった触覚を用いた新たなコミュニケーション行動を実行できる。また、センサの種類を低減することができ、スペース面やコスト面に資することができる。 According to the present invention, the piezoelectric sensor can be caused to function as two types of sensors, ie, a proximity sensor and a pressure sensor, by dynamically changing the sensitivity thereof, so that the approach of a person or the like is detected by this one type of sensor. It is possible to detect the state of contact after contact. Therefore, it is possible to predict a contact and perform an operation according to the prediction, and after the contact, an operation according to the state of the contact can be performed. New communication behavior that has been In addition, the types of sensors can be reduced, which can contribute to space and cost.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例のコミュニケーションロボット(以下、単に「ロボット」ということがある。)10は、台車12を含み、この台車12の側面には、このロボット10を自律移動させる車輪14が設けられる。この車輪14は、車輪モータ(図4において参照番号「16」で示す。)によって駆動され、台車12すなわちロボット10を前後左右任意の方向に動かすことができる。なお、図示しないが、この台車12の前面には、衝突センサが取り付けられ、この衝突センサは、台車12への人間や他の障害物の接触を検知する。
With reference to FIG. 1, a communication robot (hereinafter, simply referred to as “robot”) 10 of this embodiment includes a
台車12の上には、人体状部18が直立するように取り付けられる。このロボット本体としての人体状部18の全身は、後に詳しく説明するように、柔軟素材からなる皮膚20によって覆われる。人体状部18は、たとえば鉄板のような筐体(図示せず)を含み、その筐体にコンピュータやその他必要なコンポーネントを収容している。そして、皮膚20は、その筐体上に被せられる。皮膚20の下の筐体の上部ほぼ中央にはマイク22が設けられる。このマイク22は、周囲の音声、特に人間の声を収集するためものである。
On the
人体状部18は、右腕24Rおよび左腕24Lを含み、右腕24Rおよび左腕24Lすなわち上腕26Rおよび26Lは、それぞれ、肩関節28Rおよび28Lによって、胴体部分に変位自在に取り付けられる。この肩関節28Rおよび28Lは、3軸の自由度を有する。上腕26Rおよび26Lには、1軸の肘関節30Rおよび30Lによって、前腕32Rおよび32Lが取り付けられ、この前腕32Rおよび32Lには、手34Rおよび34Lが取り付けられる。これら右腕24Rおよび左腕24Lの各関節における各軸はここでは図示しないモータによってそれぞれ制御される。すなわち、右腕24Rおよび左腕24Lのそれぞれ4個のモータが、図4において、それぞれ右腕モータ36および左腕モータ38として表される。
The
人体状部18の上部には首関節40を介して頭部42が、人間の頭と同様に俯仰・回転可能に取付けられる。この3軸の首関節40は、図4に示す頭部モータ44によって制御される。頭部42の前面の「目」に相当する位置には2つの眼カメラ46が設けられ、この眼カメラ46は、ロボット10に接近した人間の顔や他の部分を撮影してその映像信号を取り込む。頭部42の前面の目カメラ46の下方にはスピーカ48が設けられる。このスピーカ48は、ロボット10がそれの周囲の人間に対して音声によってコミュニケーションを図るために用いられる。
A
上で説明した人体状部18の胴体や頭部42および腕は上記したようにすべて柔軟な素材からなる皮膚20に覆われる。この皮膚20は、図2に示すように、下層のウレタンフォーム50と、その上に積層される比較的肉厚のシリコンゴム層52aおよび比較的肉薄のシリコンゴム層52bとを含む。そして、2つのシリコンゴム層52aおよび52bの間に、ピエゾセンサシート54が埋め込まれる。このピエゾセンサシート54は、たとえば米国MSI社製、株式会社東京センサ販売のピエゾフィルムを用いる(http://www.t-sensor.co.jp/PIEZO/TOP/index.html)。実施例のロボットに使用したのはA4サイズ(型番:200×140×28)のピエゾフィルムを1/2、1/3、1/4、1/6の大きさにはさみでカットしたピエゾセンサシートである。
The body,
このピエゾフィルムは、圧電フィルム(たとえばPVDF(ポリビニリデンフルオロイド))の両面に金属薄膜が形成された構造、つまり、圧電体が導体で挟まれた構造を有する。圧力等で変形すると両面金属薄膜間にピエゾ電気を発生し、すなわち、電荷があらわれて電位差が生じる。また、帯電している物体が金属薄膜の片側に近付くと片側の薄膜側に電荷が集まるので、このときの電位差を読み取ることができれば静電容量を計測することができる。つまり、このピエゾセンサシート54は、後述するように感度を制御することによって圧力センサおよび近接センサの2種類のセンサとして機能させることができる。
This piezo film has a structure in which a metal thin film is formed on both surfaces of a piezoelectric film (for example, PVDF (polyvinylidene fluoride)), that is, a structure in which a piezoelectric body is sandwiched between conductors. When deformed by pressure or the like, piezoelectricity is generated between the metal thin films on both sides, that is, electric charges appear and a potential difference is generated. In addition, when a charged object approaches one side of the metal thin film, charges are collected on the one thin film side, so that the capacitance can be measured if the potential difference at this time can be read. That is, the
実施例では、上述のように、発泡ウレタンとシリコンゴムとを使って皮膚20の柔らかさを得た。シリコンゴムだけである程度の厚みと柔らかさとを得ようとすると、重くなりすぎてエネルギ消費量が大きくなるだけでなく、裂傷に弱くなる。そこで、発明者等は、実験を重ねた結果、大まかな形と厚みはウレタンフォームで作り、その表面を約20mmのシリコンゴムで覆う形を採用することとした。そして、シリコンゴム層を2つにし、それらのシリコンゴム層52aおよび52bの間に、上述のピエゾセンサシート54を埋め込んだ。このとき、内側のシリコンゴム層52aを厚く(約15mm)し、表面側のシリコンゴム層52bを薄く(約5mm)した。このようにすると、ロボット10の振動や人間が表面を押したときに生じる高周波の振動をカットでき、なおかつフィルムが変形し易くなるので、圧力の計測が容易になる。つまり、シリコンゴム層の厚みはロボット10の構造やパワーによるが、なるべく薄く、しかし変形が伝わり易く、雑音となる振動が伝わり難いものが必要となる。また、この柔らかい皮膚を介して、人との間で触行動によるコミュニケーションを行うことができるので、相手に安心感を与えて親和性を高めることができるし、触れたりぶつかったりした場合の人の怪我を防止して安全性も高めることができる。
In the example, as described above, the softness of the
なお、皮膚20の素材は軟性素材であればよく、上述のものに限定されずたとえば他のゴム素材等でもよい。ただし、ピエゾフィルムシートの表面金属薄膜が腐食しない材質である必要がある。また、皮膚20の厚み(各層の厚み)は、素材によって適宜変更され得る。
The material of the
上述のピエゾセンサシートすなわち皮膚センサ54は人体状部18の全身にわたって埋め込まれ、それによって、人間等が接触することによって皮膚20に加えられた圧力を圧覚情報として検知する。また、このピエゾセンサシート54では、検知の感度を上げると静電容量を計測することができるので、人間等の接近による静電容量の変化を非接触で計測してその近接状態を検知することもできる。そこで、この実施例では、図3に示すように、ロボット10の全身にわたって48枚のピエゾセンサシート501−548を埋め込んだ。埋め込み状況(場所)に関しては、人間に触られやすい部位、たとえば頭頂や肩それに腕(手を含む)には、圧力を正確かつ確実に検知できるように、隙間なくピエゾセンサシートを埋め込み、あまり触られることを想定していない部位たとえば背中や足あるいは脇腹には許容できる隙間を持ってピエゾセンサシートを埋め込んだ。それによって、検出精度と製造コストとのトレードオフを解決した。なお、これら48枚のピエゾセンサシート501−548は、場合によっては、参照番号54で区別なしに示されることがあることに留意されたい。
The above-described piezo sensor sheet, that is, the
図1に示すロボット10の電気的構成が図4のブロック図に示される。図4に示すように、このロボット10は、全体の制御のためにマイクロコンピュータまたはCPU56を含み、このCPU56には、バス58を通して、メモリ60,モータ制御ボード62,センサ入力/出力ボード64およびサウンド入力/出力ボード66が接続される。
The electrical configuration of the
メモリ60は、図示しないが、ROMやHDD、RAMを含み、ROMやHDDにはこのロボット10の制御プログラムが予め書き込まれているとともに、スピーカ48から発生すべき音声または声の音声データや、所定の身振りを行うための各関節軸の角度制御データなどが格納されている。RAMは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用される。
Although not shown, the
モータ制御ボード62は、たとえばDSP(Digital Signal Processor) で構成され、各腕や頭部などの各軸モータを制御する。すなわち、モータ制御ボード62は、CPU56からの制御データを受け、右肩関節28Rの3軸のそれぞれの角度を制御する3つのモータと右肘関節30Rの1軸の角度を制御する1つのモータとの計4つのモータ(図4ではまとめて、「右腕モータ」として示す。)36の回転角度を調節する。また、モータ制御ボード62は、左肩関節28Lの3軸と左肘関節30Lの1軸、計4つのモータ(図4ではまとめて、「左腕モータ」として示す。)38の回転角度を調節する。モータ制御ボード62は、また、頭部42の3軸のモータ(図4ではまとめて、「頭部モータ」として示す。)44の回転角度を調節する。そして、モータ制御ボード62は、車輪14を駆動する2つのモータ(図4ではまとめて、「車輪モータ」として示す。)16を制御する。
The
なお、この実施例の上述のモータは、車輪モータ16を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ16と同様に、直流モータであってよい。
The above-described motors of this embodiment are stepping motors or pulse motors for simplifying the control except for the
センサ入力/出力ボード64も、同様に、DSPで構成され、各センサやカメラからの信号を取り込んでCPU56に与える。すなわち、図示しない衝突センサの各々からの接触に関するデータがこのセンサ入力/出力ボード64を通して、CPU56に入力される。また、眼カメラ46からの映像信号が、必要に応じてこのセンサ入力/出力ボード64で所定の処理が施された後、CPU56に入力される。
Similarly, the sensor input /
このセンサ入力/出力ボード64は、さらに、図5に示すように、複数(実施例では12枚)の基板68,68…を含み、各基板68には、それぞれ1つのPICマイコン70が設けられる。PICマイコン70はたとえばASICで構成され、同じく基板68に設けられたA/D変換器72からの電圧データ(たとえば10ビット)をビット直列信号として出力する。
As shown in FIG. 5, the sensor input /
ピエゾセンサシート54は、図5に示すようにピエゾフィルム74を電極ないし導体76aおよび76bで挟んだものであり、圧力が加えられるとそのピエゾフィルム74が電圧を発生し、その電圧が2つの導体76aおよび76b間に現れる。ただし、このとき発生される電圧は電位は高いが電流が微弱なため、この発生電圧をそのまま長いケーブルでコンピュータ56(図4)に取り込むことは、ノイズが多く乗ってしまうので難しい。そこで、この実施例では、図5に示す基板68をピエゾセンサシート54に近い位置に配置し、その中に高インピーダンスの読み取り装置、すなわちA/D変換器72を配置し、このA/D変換器72で変換した電圧値をPICマイコン70で読み取ってシリアル信号として出力し、それをCPU56へ送るようにした。なお、ピエゾフィルムシートの電極の配置の一例として、導体76aは皮膚20の表面側に配置され、導体76bは筐体側に配置される。
As shown in FIG. 5, the
A/D変換器72は、実施例では4チャネル10ビットのものを用いた。したがって、1つの基板68が4つのピエゾセンサシート54を受け持つことができる。基板68には、4つのピエゾセンサシート54のために4対の端子78aおよび78bが設けられ、それぞれに電極76aおよび76bが接続される。端子78aおよび78b間にはノイズ除去用コンデンサ80や抵抗Rが接続されている。コンデンサ80および抵抗Rの端子78a側の一方端はオペアンプ82の一方(+)側の入力に接続され、コンデンサ80および抵抗Rの端子78b側の他方端は接地される。また、オペアンプ82の(−)側入力は抵抗R1を介して接地される。そして、オペアンプ82の(−)側の入力とオペアンプ82の出力側とを結ぶ帰還回路には、その抵抗を可変にするためにたとえば複数の抵抗R21、R22、…R2nおよびマルチプレクサ84を含む回路が設けられる。
As the A /
この基板68では、端子78aおよび78b間に与えられたピエゾセンサシート54からの電圧は、ノイズ除去された後、オペアンプ82によって電流増幅され、上述のA/D変換器72の1つのチャネルに入力される。また、複数の抵抗R21〜R2nおよびマルチプレクサ84等によって、オペアンプ82の増幅率が動的に調整され、したがって、ピエゾセンサシート54の感度が動的に可変にされる。具体的には、マルチプレクサ84は、コンピュータ56によって直接、あるいはコンピュータ56の命令を受けたPICマイコン70によって制御され、抵抗R21〜R2nのどれを回路と繋ぐかを制御し、これによってピエゾセンサシート54の感度が変更される。そして、このピエゾセンサシート54は、通常の感度の場合には圧力を計測する圧力センサとして機能し、感度を上げた場合には静電容量を計測する非接触型の近接センサとして機能する。
In this
なお、この図5では分かり易くするために1つのピエゾセンサシート54だけが示されるが、他のピエゾセンサシート54およびそれに関連する回路も同様に構成されるものである。また、複数の抵抗R21〜R2nおよびマルチプレクサ84は一例であり、オペアンプ82の増幅率を調整する可変抵抗回路は適宜変更され得る。
In FIG. 5, only one
発明者等は、帰還回路の抵抗値について、静電容量を測るために十分な抵抗値は、たとえば330kΩ程度(増幅率は約330倍)であることを確認している。つまり、抵抗R1が1kΩであり、帰還回路の抵抗が330kΩであるときは、当該ピエゾセンサシート54を近接センサとして使用することができる。そこで、一例としては、帰還回路に設ける可変抵抗の範囲が0Ω〜500kΩ程度まで変化するものであれば十分な機能を発揮できる。この可変抵抗をたとえば図5のように離散的に複数のR2nとして構成する場合には、これらR2nを一例として0Ω,10kΩ,50kΩ,100kΩ,500kΩとしておけばよい。この場合には、500kΩを選択したときに近接センサとして機能し、他の抵抗を選択したときに圧力センサとして機能する。
The inventors have confirmed that the resistance value of the feedback circuit sufficient for measuring the capacitance is, for example, about 330 kΩ (amplification factor is about 330 times). That is, when the resistance R1 is 1 kΩ and the resistance of the feedback circuit is 330 kΩ, the
上述のように人体状部18の皮膚20中には48個のピエゾセンサシート54が全身にわたって埋め込まれているが、それらをすべてロボット制御用のCPUないしコンピュータ56で読み取ろうとすると、ノイズを拾い易いだけでなく、コンピュータのA/Dポートを非常に多く必要としてしまい、現実的ではない。そこで、上述のように読み取り装置(基板68、A/D変換器72)をピエゾセンサシート54の近傍に分散配置し、それぞれの出力を1本のシリアルケーブル、たとえばRS232C(商品名)で繋いだ、いわゆるデイジーチェーンを形成した。したがって、図5に示す1つの基板68のPICマイコン70から出力されたビットシリアル信号は、次段の基板68のPICマイコン70のシリアル入力ポートに与えられる。当該次段のPICマイコン70は、前段のPICマイコン70から送られてきたデータに自分が担当するA/D変換器72から読み込んだデータを加えて、ビット直列信号として出力する。したがって、コンピュータ56は、1つのシリアルポートで全身のピエゾセンサシート54からの検知情報を取り込めるようになっている。
As described above, 48
なお、各PICマイコン70から出力される検知データは、図3に示す48個のピエゾセンサシート501−548のどれであるかを示す識別子と、圧力値または静電容量に関する情報とを含むので、コンピュータ56は、どの(部位の)ピエゾセンサシート54がどの程度の圧力を受けているかを容易に特定できるし、あるいは、どの(部位の)ピエゾセンサシート54が接近を受けたかを容易に特定できる。
Since the detection data output from each
具体的には、コンピュータ56は、たとえば50msecの周期で、ビットシリアルデータを出力する最終段のPICマイコン70にポーリングをかけ、50msec周期ですべてのピエゾセンサシート501−548の検知データを読み取ることができる。検知データは、A/D変換器72(図5)からはたとえば正負32段階、合計64段階で出力される。つまり、10ビットのうち下位4ビットはノイズ成分として捨て、上位6ビットのデータだけが各PICマイコン70(図5)から出力される。
Specifically, the
そして、コンピュータ56は、ピエゾセンサシート54が圧力センサとして機能している場合には、この圧力センサとして検知した64段階のデータを用いて、たとえば触られ方の強弱、押された状態の持続時間または電圧変化の波形の周波数(圧力変化の周波数)などの接触状態を計測することができる。触られ方の強弱によってたとえば「ひどく叩かれたか」、「軽く叩かれたか」、「やさしく手を置かれたか」、「軽く触られたか」などを判断することができ、持続時間によってたとえば「叩かれたか」、「押されたか」などの継続状態を判断することができ、圧力変化の周波数によってたとえば「叩かれているのか」、「なでられているのか」、「くすぐられているのか」という触られ方の種類を判断することができる。このような接触状態に応じた動作の制御は、本件出願人が平成15年3月24日付けで出願した特願2003−80106号にも詳細に開示されるので参照されたい。また、この圧力センサモードにおいてもたとえばロボット10の行動パターンに応じて感度を適宜変化させることによって、接触状態をより詳細に検知することもできる。
Then, when the
また、ピエゾセンサシート54の感度を高感度に変更して近接センサとして機能させた場合には、コンピュータ56は、この近接センサとして検知したデータを用いて、つまり、この検知データの変化(静電容量の変化)を捉えることによって、人や物の接近状態を計測することができるし、また接触があったことも検知することができる。
Further, when the sensitivity of the
図4に戻って、スピーカ48にはサウンド入力/出力ボード66を介して、CPU56から、合成音声データが与えられ、それに応じて、スピーカ48からはそのデータに従った音声または声が出力される。また、マイク22からの音声入力が、サウンド入力/出力ボード66を介して、CPU56に取り込まれる。
Returning to FIG. 4, the synthesized voice data is given to the
この実施例のロボット10は、ロボット10の行動パターンや状況に応じて皮膚センサ(圧電センサ)54の感度を動的に変更することによって、この皮膚センサ54を近接センサまたは圧力センサとして使い分け、その検知データに基づいて状況に応じたコミュニケーション行動を実行することができる。
The
たとえば、最初にピエゾセンサシート54の感度を上げておくことによって、当該ピエゾセンサシート54を、静電容量を計測する非接触型の近接センサとして機能させておく。そして、皮膚センサ54に反応があって人や物の接近または接触を検知したとき、ロボット10はその接近または接触に応じて、それまでの接近または接触を検知していないときの動作とは異なる所定の動作を実行する。
For example, by first increasing the sensitivity of the
高感度状態の皮膚センサ54に反応があるということは、近くに人や物が存在するということであるので、たとえば移動中であれば、その後の接触が予測される。この実施例では、上述のように複数のピエゾセンサシート54を頭、胴、肩、腕または手など全身に分散して配置したので全身へのいろいろな方向からの近接状態を検知することができる。そこで、たとえば、速度を落としたりすること等によって、より近くなるのを遅らせて、安全性を確保することができるし、また、相手の近くにより長く滞在することで相手に声を掛け易くしてコミュニケーションのきっかけを与えることができる。さらに、進行方向に反応がある場合には、移動方向を変えることによって接触を回避して安全性を高めることができる。
The fact that there is a response to the
また、たとえば待機中であれば、近くに人や動く物が存在していて接触しようとしている状態であるので、その気配を感じる場所や方向を見る動作は、人にとって自然なものとなる。また、相手がいきなり触った場合には皮膚センサ54の反応が振り切れて最大値を示すか所定の閾値を超えるので、ロボット10は人の反応として自然な驚きの仕草を見せてから、皮膚センサ54の感度を下げてコミュニケーションを開始することができる。また、恐る恐るロボット10に接していてなかなか触ろうとせずコミュニケーションのきっかけを掴めないような相手に対しては、たとえば触っても大丈夫であることを話し掛けて、コミュニケーションを促すことができる。
Further, for example, when waiting, there is a person or moving object nearby and the person is trying to come into contact with the person, so the operation of looking at the place or direction where the user feels the sign is natural for the person. Further, when the opponent suddenly touches the
また、コミュニケーション行動中には、ロボット10と人は、基本的に近距離でコミュニケーションを図ることとなり、ロボット10と人とがぶつかる機会が増加する。特に体を使って身振り(ジェスチャ)で表現を行う場合、この実施例では腕24Rおよび24Lの部分を頻繁に動かすが、従来技術のようにタッチセンサしか付いていない場合には相手にぶつかるまで分からなかった。つまり、従来技術では、たとえば、握手行動時にはロボットは手を相手に向かって差し出すが、このとき相手との距離がうまく測れていない場合には差し出す途中でぶつかってしまう。また、バイバイ行動(「バイバイ」と発話しながら手を振る)の場合にも同様に手を振っているときにぶつかってしまう。また、抱っこ行動(腕を広げて相手が近寄ってきたら「大好き」と抱きつく)の場合には、腕を広げるときに横に居る人などにぶつかってしまう。
Further, during the communication action, the
しかし、この実施例のように、この動かす部分において圧力センサと同じ場所に近接センサがある場合には、つまり、圧力センサが近接センサとして機能していれば、ぶつかる前にぶつかる危険を検知することができる。そこで、コミュニケーション行動中に頻繁に動かす部分(この実施例では腕)の感度を高くしておけば、その部分の皮膚センサ54に反応があったとき、その部分の動作速度を落としたり、または動作軌道を変更したりすることによって、接触の危険を回避することができる。そして、たとえば回避軌道で動作しているときに反応がなくなって安全が確保されたのを確認してから動作を元に戻すことができる。
However, if there is a proximity sensor at the same location as the pressure sensor in this moving part as in this embodiment, that is, if the pressure sensor functions as a proximity sensor, the risk of collision before collision is detected. Can do. Therefore, if the sensitivity of the part (arm in this embodiment) that is frequently moved during the communication action is increased, when the
また、ロボット10は、皮膚センサ54を近接センサとして機能させていた場合において人や物の接近または接触を検知したとき、皮膚センサ54の感度を下げることによって、当該皮膚センサ54を圧力センサとして機能させて、その後に人や物が実際に接触した状態を計測することができ、その接触状態に応じた所定の動作を実行する。
Further, when the
たとえば、握手行動の際には、皮膚センサ54に反応があったとき、相手が握ろうとしている場所を実際に握手する前に把握することができるので、握手動作をその相手の動作に適応させることができる。なお、差し出した腕以外の部分に配置された皮膚センサ54に反応があった場合には、相手が握手に応じてくれていないことが事前に把握できるので、それに応じた動作を実行できる。このように、接近や接触を検知した部分を把握して、その部分部分に応じた適切な動作を実行できる。さらに、反応のあった場所の皮膚センサ54の感度を下げて圧力センサとして機能させて圧力の強弱を計測することによって、握手中に相手がどの程度の力で握っているかが分かるので、たとえば相手が手を離そうとしているのかどうかを検出することができ、その相手の動作に合わせて握手動作を終わらせることができる。
For example, in the case of a handshake action, when the
また、たとえば抱っこ行動の際には、全身に分散配置した皮膚センサ54を高感度にしておくことによって、視覚を使わなくても、皮膚センサ54の配置部分(高さ)の違いに基づいて、相手のある程度の大きさを、接触する前に推定することができる。つまり、この実施例のロボット10はたとえば100cm前後の体高であるが、相手が大人等で大きい場合には、その相手は腕をロボット10の肩の部分に接触するようにして抱っこしようとすることが予期される。一方、相手が子供等で小さい場合には、その相手は腕をロボット10の腹回りに回して抱っこしようとすることが予期される。したがって、たとえば肩周辺の皮膚センサ54に反応がある場合にはその相手は大きく、一方、たとえば肩周辺の皮膚センサ54に反応がないが下腹部あたりの皮膚センサ54に反応がある場合にはその相手は小さいということが分かる。そして、この反応のあった部分の違いに適応した動作を実行することができる。たとえば相手が大きい場合には甘えるように強く抱きつき、相手が小さい場合には力を加えずに優しく抱っこするというように、その相手に応じて動作と発話を異ならせて、相手に適応した動作を実行することができる。そして、この抱きつき動作の際には、圧力センサによって圧力の強弱および持続時間等の接触状態を計測することによって、どの程度の力で抱きついているのかが分かるので、強く抱きついたり、あるいは優しく触れる程度に抱きついたりすることができる。
In addition, for example, in the case of a cuddle action, by making the
この実施例によれば、ピエゾセンサシート54の感度を上げておくことで近接センサとして使用して、コミュニケーションの際に人や物の接近に応じて適応的に動作したり危険を回避したりするなど、予測的に動作を制御することができる。さらに、実際に触れられる状況では、感度を下げて圧力センサとして使用することで、接近のあったのと同じ場所における圧力センシングを行って、その接触状態に応じた動作を実行することができる。このように、近接センサと接触センサとを別々に設けた従来技術では不可能であった新たな触覚コミュニケーションを実現することができる。また、ピエゾセンサシート54を感度に応じて近接センサまたは圧力センサの2種類のセンサとして機能させることができるので、センサの種類を低減することができ、スペース面やコスト面に資することができる。
According to this embodiment, by increasing the sensitivity of the
幾つかの具体的な動作を、以下、対応するフロー図を参照して説明する。ただし、いずれの動作も単なる一例であることを予め指摘しておく。 Some specific operations are described below with reference to corresponding flow diagrams. However, it should be pointed out in advance that each operation is merely an example.
図6に示すフロー図は、ロボット10が「パトロール行動」(周囲を動き回り警備しているふりをする)を実行する場合の動作の一例を示す。
The flowchart shown in FIG. 6 shows an example of the operation when the
図6の最初のステップS1では、CPU56は、センサ入力/出力ボード64に指示して、すべての皮膚センサ54の感度を高感度に変更し近接センサモードにする。
In the first step S1 of FIG. 6, the
なお、この実施例では、このように行動を開始するときに、皮膚センサ54を高感度に変更して近接センサとして機能させるようにしているが、皮膚センサ54は初期状態として高感度に設定し近接センサとして機能するように設定されていてもよい。
In this embodiment, when the action is started in this way, the
次に、ステップS3で、メモリ60からこの「パトロール行動」を実行するためのプログラムおよびデータを読み出して「パトロール行動」を開始し、続くステップS5で、モータ制御ボード62を介して車輪モータ16を制御し、このロボット10をランダムに移動させる。
Next, in step S3, the program and data for executing this “patrol action” are read from the
そして、ステップS7で、いずれかの皮膚センサ54に反応があるかどうかを判断する。すなわち、センサ入力/出力ボード64から検知データを取得して、接近を検知したことを示すデータが入力されたかどうかを判断する。このステップS7の処理は、このパトロール行動の動作と並行してたとえば一定周期で繰り返し実行される。
In step S7, it is determined whether any
このステップS7で“YES”であれば、続くステップS9で、車輪モータ16を制御して移動速度を低下させる。これによって、接近した相手にコミュニケーションのきっかけを与えることができる。
If “YES” in this step S7, the
さらに、ステップS11で、進行方向に反応があるかどうか、すなわち、進行方向側に配置されている皮膚センサ54から接近を検知したことを示すデータが入力されていたかどうかを判断する。このステップS11で“NO”であれば、ステップS7で検知された人または物が進行方向には存在していないことが分かるので、そのままステップS7へ戻る。一方、ステップS11で“YES”であれば、進行方向に人または物が存在しているので、続くステップS13で、衝突を避けるべく車輪モータ16を制御して移動する方向を別の方向に変更して、ステップS7へ戻る。
Further, in step S11, it is determined whether or not there is a reaction in the traveling direction, that is, whether or not data indicating that an approach has been detected is input from the
図7に示すフロー図は、ロボット10が「待機中の行動(ひとり遊び)」(コミュニケーションの待機中に頭をかいたり腕を組んだりしてひとり遊びをする)を実行する場合の動作の一例を示す。
The flowchart shown in FIG. 7 is an example of an operation when the
図7の最初のステップS21では、CPU56は、センサ入力/出力ボード64に指示してすべての皮膚センサ54の感度を高くし、近接センサモードにする。次に、ステップS23で、メモリ60から「待機中の行動」を実行するためのプログラムおよびデータを読み出して「待機中の行動」を開始する。
In the first step S21 in FIG. 7, the
そして、ステップS25で、いずれかの皮膚センサ54に反応があるかどうかを判断する。つまり、たとえば、一定周期ごとにセンサ入力/出力ボード64から検知データを取得して、接近または接触を検知したことを示すデータが入力されたかどうかを判断する。このステップS25で“YES”であれば、続くステップS27で、その反応が振り切れているかどうかを判断する。つまり、検知データが最大値を示したかあるいは所定の閾値を超えているか等を判断する。ここで“YES”であることは、接触があったことを意味する。
In step S25, it is determined whether any
ステップS27で“NO”であれば、触れられそうになっている部分のピエゾセンサシート54を特定し、頭部モータ44を制御してその部分を見る動作を実行する。これによって、人が触れようとしている場所を把握して、触れられる前にその場所または方向を見るという自然な動作を提示できる。
If “NO” in the step S27, the part of the
続くステップS31では、反応があっても触れられない状態が所定回数以上繰り返されたか否かを判断し、“NO”であればステップS25へ戻る。一方、ステップS31で“YES”であれば、相手がロボット10になかなか触れようとせず恐る恐る対応していると思われるので、続くステップS33で、メモリ60から音声データをサウンド入力/出力ボード66に与えて、スピーカ48から「触っても大丈夫だよ」という合成音声を出力させる。これによって、躊躇している相手にコミュニケーションを促すことができる。このステップS33を終了するとステップS25へ戻る。
In a succeeding step S31, it is determined whether or not a state of being touched even if there is a reaction is repeated a predetermined number of times or more. If “NO”, the process returns to the step S25. On the other hand, if “YES” in the step S31, it seems that the other party does not readily touch the
また、ステップS27で“YES”であれば、つまり、相手にいきなり触られた場合には、ステップS35で、右腕モータ36、左腕モータ38または頭部モータ44を制御してびっくりする動作を実行し、驚きの仕草を提示する。続いて、ステップS37で、センサ入力/出力ボード64に指示して、触られている部分の皮膚センサ54の感度を下げる。このように触れられた部分を圧力センサとして機能させ接触状態を検知可能にしてから、その相手との間でのコミュニケーションを開始する。
If “YES” in the step S27, that is, if the opponent is suddenly touched, a surprising operation is executed by controlling the
図8に示すフロー図は、コミュニケーション行動時の危険回避を実行する場合の動作の一例を示す。図8の最初のステップS51で、CPU56は、センサ入力/出力ボード64に指示して、動かす腕24R、24Lの部分にある皮膚センサ531−539、540−548の感度を高くして、動かす腕24R、24Lの部分のみ近接センサモードにする。次に、ステップS53で、メモリ60から所定のコミュニケーション行動を実行するためのプログラムおよびデータを読み出してコミュニケーション行動を開始する。
The flowchart shown in FIG. 8 shows an example of an operation when risk avoidance at the time of communication action is executed. In the first step S51 in FIG. 8, the
そして、ステップS55で、近接センサモードにした腕24R、24Lの皮膚センサ54に反応があるかどうかをたとえば一定周期ごとに判断する。
In step S55, whether or not there is a reaction in the
このステップS55で“YES”であれば、つまり、動かしている腕24R、24Lの皮膚センサ54からの検知データが接近を検知したことを示すものであった場合には、続くステップS57で、右腕モータ36、左腕モータ38を制御して、その動かしている腕24R、24Lの動作速度を落とす。続くステップS59で、右腕モータ36、左腕モータ38を制御して、腕24R、24Lの軌道を障害物回避軌道に変更させる。障害物回避軌道は、たとえば、動かす腕24R、24Lの部分に配置されたピエゾセンサシート531−539、540−548ごとに、その反応が小さくなるような方向に、すなわち、障害物から遠ざかって近接の度合いが小さくなるような方向に、腕24Rまたは24Lを動作させるような制御データとして予めメモリ60に登録しておけばよい。この場合、反応のあったピエゾセンサシート54に対応する制御データをメモリ60からモータ制御ボード62に与えて右腕モータ36、左腕モータ38等を制御し、動かす部分について障害物と接触しないような回避軌道を簡単に取らせることができる。
If “YES” in this step S55, that is, if the detection data from the
続いて、ステップS61で、この回避を伴った行動中に、腕24R、24Lの皮膚センサ54に反応があるかどうかをたとえば一定周期ごとに判断する。このステップS61で“YES”であれば、つまり、センサ入力/出力ボード64からの取得した検知データが接近または接触を検知したことを示すものであった場合には、続くステップS63で、その腕24R、24Lの皮膚センサ54の反応が振り切れたかどうか、つまり、接触があったかどうかを判断する。
Subsequently, in step S61, whether or not there is a reaction in the
ステップS63で“NO”であれば、つまり、障害物(人や物)がぶつかりそうな場所に存在するが未だ接触していない場合には、ステップS61へ戻って皮膚センサ54の監視をしつつ、回避軌道によるコミュニケーション行動を継続する。
If “NO” in the step S63, that is, if an obstacle (a person or an object) is present in a place where the object is likely to collide but is not yet in contact, the process returns to the step S61 and the
一方、ステップS63で“YES”であれば、つまり、障害物に接触した場合には、続くステップS65で右腕モータ36、左腕モータ38を制御してコミュニケーション行動を中断する。なお、この実施例では、ロボット10を柔らかい皮膚20で覆うようにしているので、ぶつかっても安全である。
On the other hand, if “YES” in the step S63, that is, if an obstacle is touched, the
そして、ステップS67で、音声データをサウンド入力/出力ボード66に与えてスピーカ48から「ごめんね」と発話させる。このステップS67の処理を終了するとステップS61へ戻って再び皮膚センサ54の反応を一定周期ごとに監視する。
In
他方、ステップS61で“NO”であれば、つまり、腕24R、24Lのぶつかりそうな場所に障害物が存在しなくなった場合には、ステップS69で、右腕モータ36、左腕モータ38を制御して、腕24R、24Lの速度と軌道を通常のものに戻す。そして、ステップS55に戻って、通常のコミュニケーション行動を継続しつつ皮膚センサ54の反応を一定周期で見張る。
On the other hand, if “NO” in the step S61, that is, if there is no obstacle at the place where the
図9に示すフロー図は、「握手してね!行動」をする場合の動作の一例を示す。図9の最初のステップS81で、CPU56は、センサ入力/出力ボード64に指示し、動かす腕24R、24Lに配置された皮膚センサ531−539、540−548の感度を高くして、動かす腕24R、24Lの部分のみを近接センサモードにする。
The flowchart shown in FIG. 9 shows an example of an operation when “shake a hand! In the first step S81 in FIG. 9, the
次に、ステップS83で、メモリ60からこの「握手してね!行動」を実行するためのプログラムおよびデータを読み出して「握手してね!行動」を開始する。この行動を開始すると、まず、ステップS85で、音声データをサウンド入力/出力ボード66に与えてスピーカ48から「握手してね」の合成音声を出力させ、続いて、ステップS87で、制御データをモータ制御ボード62に与えて右腕モータ36、左腕モータ38を制御し、手を差し出す動作を実行させる。
Next, in step S83, a program and data for executing this “shake a hand! Action” are read from the
そして、ステップS89で、たとえば一定周期ごとにセンサ入力/出力ボード66から検知データを取得して、左腕24R、24Lに配置された皮膚センサ531−539、540−548に反応があったかどうかを判断する。
In step S89, for example, detection data is acquired from the sensor input /
ステップS89で“YES”であれば、つまり、相手が握手をしようとロボット10の腕24R、24Lのいずれかの場所にその手を近づけた場合には、続くステップS91で、センサ入力/出力ボード64に指示して、反応のあった場所の皮膚センサ54の感度を下げて、その場所の皮膚センサ54を圧力センサモードに変更しておく。そして、ステップS93で、右腕モータ36、左腕モータ38を制御して、握られた場所を中心にして腕24R、24Lを振る動作すなわち握手動作を実行させる。
If “YES” in the step S89, that is, if the opponent brings his hand close to any of the
ステップS95では、たとえば一定周期ごとにセンサ入力/出力ボード64からの検知データを取得して、接触状態として圧力の強弱を計測することによって、握られている場所の皮膚センサ54で検知された圧力が小さくなってきたかどうかを判断する。
In step S95, for example, the detection data from the sensor input /
このステップS95で“YES”であれば、相手が握手を終えようとその手を離そうとしているので、続くステップS97で、右腕モータ36、左腕モータ38を制御して、握手動作を終了させる。そして、ステップS99で、右腕モータ36、左腕モータ38を制御して、差し出した手を引く動作を実行させて、この処理を終了する。
If “YES” in this step S95, the opponent is trying to release his hand to finish the handshake, and in the subsequent step S97, the
一方、ステップS89で“NO”であれば、ステップS101で、他の部分に配置された皮膚センサ54に反応があったか否かを判断する。このステップS101で“NO”であれば、ステップS89に戻って一定周期ごとの皮膚センサ54の監視を繰り返す。一方、このステップS101で“YES”であれば、つまり、相手が差し出した腕以外の部分を握ろうとしている場合には、続くステップS103で、スピーカ48から「それは握手じゃないよぅ」と発話させる。そして、ステップS99へ進み、差し出した手を引く動作を実行させて、この処理を終了する。
On the other hand, if “NO” in the step S89, it is determined whether or not there is a reaction in the
図10に示すフロー図は、「抱っこしてね!行動」をする場合の動作の一例を示す。図10の最初のステップS111で、CPU56は、センサ入力/出力ボード64に指示して、すべての皮膚センサ54の感度を高くし、全身の皮膚センサ54を近接センサモードにする。次に、ステップS113で、メモリ60からこの「抱っこしてね!行動」に関するプログラムおよびデータを読み出して、「抱っこしてね!行動」を開始する。この行動を開始すると、ステップS115でメモリ60から音声データをサウンド入力/出力ボード66に与えてスピーカ48から「抱っこしてね」の合成音声を出力させる。続いて、ステップS117で、モータ制御ボード62に制御データを与えて右腕モータ36、左腕モータ38を制御し、抱っこをするために手を広げる動作を実行させる。
The flowchart shown in FIG. 10 shows an example of an operation in the case of “Hold me! In the first step S111 of FIG. 10, the
そして、ステップS119で、たとえば一定周期ごとにセンサ入力/出力ボード64から検知データを取得して、肩周辺に配置されたピエゾセンサシート509−513に反応があったかどうかを判断する。このステップS119で“YES”であれば、つまり、大きい相手がロボット10に抱きつこうとしている場合には、ステップS121で、全身の皮膚センサ54の感度を下げて圧力センサモードに変更しておく。続いて、ステップS123で、右腕モータ36、左腕モータ38を制御して、腕24R、24Lで輪を作って相手に抱きつく動作を開始する。
In step S119, detection data is acquired from the sensor input /
そして、ステップS125で、たとえば一定周期ごとにセンサ入力/出力ボード64から検知データを取得して、接触状態として圧力の強弱等を計測することによって、皮膚センサ54が少し押されたような状態かどうかを判断する。ここでは、たとえば腕、胸、腹などの接触のある部分に配置された皮膚センサ54からのデータによって判断される。なお、このとき、皮膚センサ54が圧力センサとして機能する範囲内でその感度を変更して接触状態を確実に検知するようにしてもよい。
In step S125, for example, detection data is acquired from the sensor input /
このステップS125で“YES”であれば、つまり、たとえば圧力値データが相手に強く抱きついた状態のような所定範囲の値を示した場合には、ステップS127で右腕モータ36、左腕モータ38を制御して、抱きつく動作を停止させ、ステップS129でスピーカ48から「もっとぎゅっとして」と発話させる。このように、この実施例では皮膚センサ54を用いて相手が大きいことを検知した場合、強く抱きつきかつ甘い言葉を発することによって、相手に甘えるように抱きつくことができる。
If “YES” in the step S125, that is, if the pressure value data indicates a value in a predetermined range such as a state where the pressure data is strongly held by the opponent, for example, the
また、ステップS119で“NO”であれば、つまり、肩周辺の皮膚センサ54に反応がない場合、ステップS131で下腹部に配置されたピエゾセンサシート526、527、529に反応があるかどうかを判断する。このステップS131で“NO”であれば、ステップS119に戻って、一定周期ごとに皮膚センサ54の監視を繰り返す。一方、このステップS131で“YES”であれば、つまり、小さい相手がロボット10に抱きつこうとしている場合には、ステップS133で全身の皮膚センサ54の感度を下げて圧力センサモードに変更し、続いて、ステップS135で、腕24R、24Lで輪を作って相手に抱きつく動作を開始する。
If “NO” in the step S119, that is, if there is no response to the
そして、ステップS137で、たとえば一定周期ごとにセンサ入力/出力ボード64から検知データを取得して、接触状態として圧力の強弱等を計測することによって、皮膚センサ54が触れられた状態かどうかを判断する。なお、このときも上述と同様に圧力センサ54の感度を適宜調整するようにしてもよい。
In step S137, for example, detection data is acquired from the sensor input /
このステップS137で“YES”であれば、つまり、圧力値データが力を加えず相手に抱きついた状態のような所定範囲の値を示した場合には、ステップS139で右腕モータ36、左腕モータ38を制御して、抱きつく動作を停止させる。そして、ステップS141で片腕を上下させる動作を実行させるとともに、ステップS143でスピーカ48から「よしよし」と発話させる。このように、この実施例では皮膚センサ54を用いて相手が小さいことを検知した場合、優しく抱きつきかつ優しい言葉を発することによって相手を優しく抱っこすることができる。
If “YES” in this step S137, that is, if the pressure value data indicates a value within a predetermined range such as a state where the force is hung on the other party, the
ステップS129またはステップS143の処理を終了すると、ステップS145で、右腕モータ36、左腕モータ38および車輪モータ16を制御して、腕24R、24Lを広げて離れる動作を実行させ、ステップS147で抱っこ動作を終了させて、この処理を終了する。
When the process of step S129 or step S143 is completed, the
この実施例によれば、ピエゾセンサシート54の感度を動的に変更することによって当該センサを近接センサおよび圧力センサとして機能させることができ、このピエゾセンサシート54を全身に配置することによって、全身分布型の近接センサおよび全身分布型の圧力センサの両方を同時に実現することができる。したがって、状況等に応じて感度を動的に変更しセンサの機能を使い分けることによって、新たな触覚コミュニケーションを実現することができる。
According to this embodiment, by dynamically changing the sensitivity of the
なお、上述の実施例では、人体状部18の頭部、胴、肩、腕や手などの全身にピエゾセンサシート54を分散配置しているが、ピエゾセンサシート54は、ロボット10に実行させる所定の動作に応じて必要な部分に必要な数だけ配置するようにしてもよい。
In the above-described embodiment, the
また、上述の各実施例では、ピエゾセンサシート54を近接センサとして機能させたので、従来技術のロボットで用いていた超音波距離センサを設けていないが、人等との間の距離を計る必要があるような場合などには必要に応じて超音波距離センサを設けるようにしてもよい。
In each of the above-described embodiments, since the
10 …コミュニケーションロボット
18 …人体状部
20 …皮膚
54,501−548 …ピエゾセンサシート
56 …CPU
62 …モータ制御ボード
64 …センサ入力/出力ボード
66 …サウンド入力/出力ボード
68 …基板
70 …PICマイコン
72 …A/D変換器
74 …ピエゾフィルム
76a,76b …導体
82 …オペアンプ
84 …マルチプレクサ
DESCRIPTION OF
62 ...
Claims (9)
前記圧電センサの感度を変更して静電容量を計測する近接センサまたは圧力を計測する圧力センサとして前記圧電センサを機能させる変更手段、および
前記近接センサまたは前記圧力センサとして検知した検知情報に応じて動作を制御する動作制御手段を備える、コミュニケーションロボット。 A piezoelectric sensor provided with variable sensitivity ,
Depending on the proximity sensor that changes the sensitivity of the piezoelectric sensor to measure capacitance or the changing means that causes the piezoelectric sensor to function as a pressure sensor that measures pressure, and detection information detected as the proximity sensor or the pressure sensor A communication robot comprising motion control means for controlling motion.
前記動作制御手段は、前記圧力センサとして検知した検知情報に応じて動作を制御する、請求項1ないし4のいずれかに記載のコミュニケーションロボット。 When the approach or contact is detected based on detection information detected as the proximity sensor, the changing means changes sensitivity to cause the piezoelectric sensor to function as a pressure sensor,
The communication robot according to claim 1, wherein the operation control unit controls the operation according to detection information detected as the pressure sensor.
前記圧電センサは前記皮膚中に配置される、請求項1ないし8のいずれかに記載のコミュニケーションロボット。 It is further equipped with a skin made of a flexible material to be put on the robot body
The communication robot according to claim 1, wherein the piezoelectric sensor is disposed in the skin.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003402462A JP3942586B2 (en) | 2003-12-02 | 2003-12-02 | Communication robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003402462A JP3942586B2 (en) | 2003-12-02 | 2003-12-02 | Communication robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005161450A JP2005161450A (en) | 2005-06-23 |
JP3942586B2 true JP3942586B2 (en) | 2007-07-11 |
Family
ID=34726017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003402462A Expired - Fee Related JP3942586B2 (en) | 2003-12-02 | 2003-12-02 | Communication robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3942586B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4878462B2 (en) * | 2005-09-07 | 2012-02-15 | 株式会社国際電気通信基礎技術研究所 | Communication robot |
JP5530798B2 (en) * | 2010-05-11 | 2014-06-25 | 東海ゴム工業株式会社 | Capacitance type sensor and sensor mounting structure |
EP2952299A1 (en) | 2014-06-05 | 2015-12-09 | Aldebaran Robotics | Standby mode of a humanoid robot |
JP6495606B2 (en) * | 2014-10-01 | 2019-04-03 | シャープ株式会社 | Information control device and program |
ITUA20163522A1 (en) * | 2016-05-17 | 2017-11-17 | Comau Spa | "Sensorized coverage for an industrial device" |
CN106272420B (en) * | 2016-08-30 | 2019-07-02 | 北京小米移动软件有限公司 | Robot and robot control method |
WO2018084170A1 (en) * | 2016-11-07 | 2018-05-11 | Groove X株式会社 | Autonomous robot that identifies persons |
JP6935902B2 (en) * | 2017-02-20 | 2021-09-15 | 株式会社国際電気通信基礎技術研究所 | Communication robot |
JP2018149673A (en) * | 2017-03-10 | 2018-09-27 | Idec株式会社 | Non-contact sensor device and machine provided with the non-contact sensor device |
JP6953778B2 (en) * | 2017-04-28 | 2021-10-27 | オムロン株式会社 | Coordinated robots, controllers, and methods |
JP7024754B2 (en) * | 2019-03-25 | 2022-02-24 | カシオ計算機株式会社 | Controls, robots, control methods and programs |
WO2020260205A1 (en) * | 2019-06-24 | 2020-12-30 | Albert-Ludwigs-Universität Freiburg | Tactile sensor and method for operating a tactile sensor |
US20220274269A1 (en) * | 2021-03-01 | 2022-09-01 | Samsung Electronics Co., Ltd. | Method and apparatus for robot collision avoidance by full surface proximity detection |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5914495A (en) * | 1982-07-15 | 1984-01-25 | オムロン株式会社 | Sensor for robot |
JP2001041969A (en) * | 1999-07-30 | 2001-02-16 | Matsushita Electric Ind Co Ltd | Manufacture of piezoelectric sensor and piezoelectric sensor |
JP3989698B2 (en) * | 2001-06-01 | 2007-10-10 | 株式会社国際電気通信基礎技術研究所 | Communication robot |
JP3745649B2 (en) * | 2001-06-07 | 2006-02-15 | 株式会社国際電気通信基礎技術研究所 | Communication robot |
JP2003071778A (en) * | 2001-09-05 | 2003-03-12 | National Institute Of Advanced Industrial & Technology | Tactile sensor for robot arm |
JP3899912B2 (en) * | 2001-11-29 | 2007-03-28 | アイシン精機株式会社 | Door opener |
JP3615535B2 (en) * | 2003-02-03 | 2005-02-02 | 本田技研工業株式会社 | Keyless entry device |
-
2003
- 2003-12-02 JP JP2003402462A patent/JP3942586B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005161450A (en) | 2005-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3942586B2 (en) | Communication robot | |
JP3706113B2 (en) | Communication robot | |
JP4517509B2 (en) | Robot apparatus and control method thereof | |
JP5186723B2 (en) | Communication robot system and communication robot gaze control method | |
JP4524435B2 (en) | Communication robot | |
JP5007404B2 (en) | Personality discrimination device, personality discrimination method, communication robot and electronic device | |
JP2007139710A (en) | Walking-aid robot | |
JP2008149399A (en) | Mobile robot and travel speed estimating method | |
WO2018020889A1 (en) | Robot | |
JP2006281347A (en) | Communication robot | |
JP4677585B2 (en) | Communication robot | |
JP4617428B2 (en) | Motion generation system | |
JP2004034274A (en) | Conversation robot and its operation method | |
JP4271070B2 (en) | Communication robot | |
EP3198365A1 (en) | Mobile communications device with adaptive friction of the housing | |
JP2011240468A (en) | Contact type discriminating system for robot | |
JP4873607B2 (en) | Electronic device having skin sensor | |
JP2006281348A (en) | Communication robot | |
JP2002031574A (en) | Tactile sensor | |
JP3745649B2 (en) | Communication robot | |
JP4753410B2 (en) | Communication robot | |
WO2018095076A1 (en) | Female sex toy with action sensing ability | |
JP4223426B2 (en) | Communication robot | |
JP2004286205A (en) | Torque limiter device, component holding device, articulating device and robot device | |
JP5103589B2 (en) | Communication robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3942586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |