JP4373903B2 - Autonomous mobile robot - Google Patents

Autonomous mobile robot Download PDF

Info

Publication number
JP4373903B2
JP4373903B2 JP2004361530A JP2004361530A JP4373903B2 JP 4373903 B2 JP4373903 B2 JP 4373903B2 JP 2004361530 A JP2004361530 A JP 2004361530A JP 2004361530 A JP2004361530 A JP 2004361530A JP 4373903 B2 JP4373903 B2 JP 4373903B2
Authority
JP
Japan
Prior art keywords
unit
voice
robot
voice input
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004361530A
Other languages
Japanese (ja)
Other versions
JP2006167838A (en
Inventor
直秀 小川
拓郎 小柳
あす香 椎名
さち恵 橋本
由希子 江原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004361530A priority Critical patent/JP4373903B2/en
Priority to US11/294,366 priority patent/US7894941B2/en
Publication of JP2006167838A publication Critical patent/JP2006167838A/en
Application granted granted Critical
Publication of JP4373903B2 publication Critical patent/JP4373903B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本発明は、自律移動ロボットに関し、特に耳部を有する頭部が胴体部に連結されている自律移動ロボットに関する。   The present invention relates to an autonomous mobile robot, and more particularly to an autonomous mobile robot in which a head having an ear is connected to a trunk.

近年、自律移動ロボットに人間とのコミュニケーションを行えるように、例えば、外見上の目として機能する部分に配置した複数のＬＥＤを人間の働きかけ等に対して所定の発光パターンで点滅させて感情を表現したり、さらに、人間からの話しかけに対しても所定の動作を行わせることができるように構成されたものが提案されている（例えば、特許文献１参照）。
特開２００２−１２０１８１号公報（図１、図３） In recent years, in order to allow autonomous mobile robots to communicate with humans, for example, a plurality of LEDs arranged in a portion that functions as an apparent appearance blinks with a predetermined light emission pattern in response to human actions, etc. In addition, there has been proposed one configured to allow a predetermined action to be performed even when talking from a human (see, for example, Patent Document 1).
Japanese Patent Laid-Open No. 2002-120181 (FIGS. 1 and 3)

ところで、前記特許文献１のようなロボット装置（ペットロボット）では、「耳」として機能するマイクロホンで人間からの音声を入力して、その入力音声情報に基づいて予め設定されている動作を行うように構成されているが、このロボット装置の電源ＯＦＦ状態から電源ＯＮして起動した初期時には、ロボット装置に話しかけて、このロボット装置が所定の動作を行うまでは、人間はロボット装置の「耳」として機能するマイクロホンを含む音声入力手段が正常に機能しているか否かを判断することができなかった。   By the way, in the robot apparatus (pet robot) like the above-mentioned patent document 1, a voice from a human is input with a microphone functioning as an “ear”, and a preset operation is performed based on the input voice information. However, at the initial time when the robot apparatus is turned on from the power-off state and started up, the robot apparatus “ears” until the robot apparatus speaks and performs a predetermined operation. It was not possible to determine whether or not the voice input means including the microphone functioning as

そこで、本発明は、電源ＯＦＦ状態から電源ＯＮして起動した初期時における音声入力手段の初期状態チェックを容易に行うことができる自律移動ロボットを提供することを目的とする。   Accordingly, an object of the present invention is to provide an autonomous mobile robot that can easily check the initial state of the voice input means at the initial time when the power is turned on from the power-off state and started.

前記目的を達成するために請求項１に記載の発明は、胴体部に連結された駆動自在な頭部の両側に、外見上の耳として機能する音声入力手段を備え、前記胴体部の下部に連結された脚部の駆動により自律移動自在な自律移動ロボットであって、前記各音声入力手段は、外部から音声を入力する音声入力部と、前記音声入力部の外側に半円弧状に配置され、複数の発光部が一体的に連結されて構成された表示手段と、を備え、さらに、制御手段を有し、制御手段を有し、前記制御手段は、前記頭部に設けられたＣＣＤカメラから入力される画像情報に基づいて、画像処理を行い、その撮影範囲内にある物体の形状認識および距離と位置を算出する画像情報処理部と、前記音声入力部から入力される音声情報に基づいて、音源からの音声入力の有無、音源定位の特定、音声入力レベルの各状況を得るための演算を行う音声情報処理部と、前記画像情報処理部で処理された画像情報に基づいて、人間がいるかを判断すると共に、前記音声情報処理部で処理された音声情報に基づいて、音声入力の有無、音源定位の特定、音声入力レベルの大きさを判断する状況判断部と、この状況判断部で得られた判断状況に基づいて、予め記憶している動作シナリオの中から前記判断状況に応じた動作シナリオを選択する動作シナリオ作成部と、前記動作シナリオ作成部で選択された動作シナリオに基づいて、予め記憶している複数のロボット動作のうちから適切なロボット動作を選択するロボット動作選択部と、前記動作シナリオ作成部で選択された動作シナリオに基づいて、前記発光部の点灯、点滅、消灯の動作を選択すると共に、前記自律移動ロボットを電源ＯＮして起動したときに前記各音声入力手段が正常であるか否かの初期状態チェックの判定を、前記各発光部の点灯状態で行うＬＥＤ動作選択部と、前記ロボット動作選択部で選択したロボット動作に基づいて、頭部、腕部、脚部を駆動制御するロボット動作制御部と、を備え、前記状況判断部により音源定位となる人間が当該自律移動ロボットの左４５度よりも大きな角度方向にいると判断したときには、左側の前記発光部を前記音声入力レベルに基づいて前記ＬＥＤ動作選択部により個別に点灯させ、前記状況判断部により音源定位となる人間が当該自律移動ロボットの左右に４５度の範囲内にいると判断したときには、左右側の前記発光部を前記音声入力レベルに基づいて、ＬＥＤ動作選択部により個別に点灯させ、前記状況判断部により音源定位となる人間が当該自律移動ロボットの右４５度よりも大きな角度方向にいると判断したときには、右側の前記発光部を前記音声入力レベルに基づいて前記ＬＥＤ動作選択部により個別に点灯させることを特徴としている。 In order to achieve the above object, the invention according to claim 1 is provided with voice input means functioning as an appearance ear on both sides of a driveable head connected to the body part, and at the lower part of the body part. An autonomous mobile robot that is autonomously movable by driving connected legs, wherein each of the voice input means is arranged in a semicircular shape outside a voice input unit that inputs voice from outside and the voice input unit. , comprising display means having a plurality of light emitting portions are configured by integrally connected, and further comprising a control means has a control means, said control means, provided in said head An image information processing unit that performs image processing based on image information input from a CCD camera and calculates the shape recognition and distance and position of an object within the shooting range; and audio information input from the audio input unit Based on the presence of audio input from the sound source. A sound information processing unit that performs calculations for obtaining sound source localization and sound input level situations, and determining whether a person is present based on image information processed by the image information processing unit, and Based on the voice information processed by the information processing unit, based on the judgment status obtained by the situation judgment unit and the presence / absence of voice input, identification of sound source localization, judgment of the level of the voice input level An operation scenario creation unit that selects an operation scenario according to the determination situation from among operation scenarios stored in advance, and a plurality of pre-stored operations based on the operation scenario selected by the operation scenario creation unit A robot motion selection unit that selects an appropriate robot motion from among the robot motions, and lighting and blinking of the light emitting unit based on the motion scenario selected by the motion scenario creation unit With selecting an operation of turning off, the determination of the initial state check whether the sound input means is normal when starting the autonomous mobile robot and the power ON, performing the in lighting state of the light emitting portion An LED operation selection unit; and a robot operation control unit that drives and controls the head, arms, and legs based on the robot operation selected by the robot operation selection unit, and the situation determination unit performs sound source localization. When it is determined that a human is in an angle direction greater than 45 degrees to the left of the autonomous mobile robot, the light emitting unit on the left side is individually turned on by the LED operation selection unit based on the voice input level, and the situation determination unit When it is determined that the person who becomes the sound source localization is within a range of 45 degrees to the left and right of the autonomous mobile robot, the left and right light emitting units are moved based on the voice input level. When the LED determining unit determines that the human being who is the sound source is located in an angle direction larger than 45 degrees to the right of the autonomous mobile robot, the right light-emitting unit is input to the voice. Based on the level, the LED operation selection unit individually turns on the light .

請求項１に記載の発明によれば、自律移動ロボットを電源ＯＮして起動したときに各音声入力手段が正常であるか否かの初期状態チェックの判定を、各発光部の点灯状態で行うことができる。また、音声の方向および音声入力レベルに対応して発光部が点灯することができる。
また、請求項２に記載の発明は、前記音声入力レベルに対応して予め複数の発話情報が記憶されている発話関係選択手段をさらに備え、前記シナリオ作成部は、入力された音声入力レベルに基づいて、前記発話関係選択手段から発話を選択して前記頭部に設けたスピーカから、前記発話関係選択手段から選択した発話を音声出力することを特徴としている。
さらに、請求項３に記載の発明は、前記ロボット動作制御部が少なくとも前記頭部を駆動制御して、前記音源定位となる人間の方向を向くようにすることを特徴としている。 According to the first aspect of the present invention, when the autonomous mobile robot is powered on and activated, the initial state check for determining whether each voice input unit is normal is performed based on the lighting state of each light emitting unit. be able to. In addition, the light emitting unit can be lit corresponding to the direction of the sound and the sound input level.
The invention according to claim 2 further comprises speech relation selection means in which a plurality of speech information is stored in advance corresponding to the speech input level, and the scenario creating unit is configured to input the speech input level. On the basis of this, the utterance is selected from the utterance relation selection means, and the utterance selected from the utterance relation selection means is output by voice from a speaker provided on the head.
Furthermore, the invention described in claim 3 is characterized in that the robot motion control unit drives and controls at least the head so as to face the direction of the human being who is the sound source localization.

また、請求項４に記載の発明において、前記制御手段は、前記ＬＥＤ動作選択部が、前記初期状態チェックの判定後に、前記音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して前記各発光部を個別にＯＮ／ＯＦＦ制御することを特徴としている。 Further, in the invention described in claim 4, wherein, the LED operation selecting unit, after the determination of the initial status check, the speech input to the speech input unit size, the presence or absence of voice recognition and voice Each of the light emitting units is individually controlled to be turned on / off corresponding to the direction.

請求項４に記載の発明によれば、初期状態チェックの判定後に、直ちに音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して各発光部を個別にＯＮ／ＯＦＦ制御することができる。 According to the fourth aspect of the present invention, after the initial state check is determined, each light emitting unit is individually turned on / off corresponding to the volume of the voice input to the voice input unit, the presence / absence of voice recognition, and the voice direction. OFF control can be performed.

また、請求項５に記載の発明において、前記制御手段は、前記音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して前記各発光部を個別にＯＮ／ＯＦＦ制御するときに、前記音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応させて、前記ロボット動作制御部が少なくとも前記頭部を駆動制御することを特徴としている。 Further, in the invention described in claim 5, wherein the control means, the speech magnitude of sound input to the input unit, individually ON / OFF the light-emitting portions corresponding to the presence or absence and the voice direction of the voice recognition When the control is performed, the robot motion control unit drives and controls at least the head in accordance with the volume of voice input to the voice input unit, presence or absence of voice recognition, and voice direction.

請求項５に記載の発明によれば、音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して前記各発光部を個別にＯＮ／ＯＦＦ制御するときに、音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応させて少なくとも頭部を駆動することができる。 According to the fifth aspect of the present invention, when each of the light emitting units is individually controlled to be turned on / off corresponding to the volume of the voice input to the voice input unit, the presence / absence of voice recognition, and the voice direction, At least the head can be driven in correspondence with the volume of voice input to the input unit, presence or absence of voice recognition, and voice direction.

請求項１に記載の発明によれば、自律移動ロボットを電源ＯＮして起動したときに各音声入力手段が正常であるか否かの初期状態チェックの判定を、各発光部の点灯状態で行うことができるので、この初期状態チェックの判定を人間が可視的に容易に認識することができる。また、音声の方向および音声入力レベルに対応して発光部を個別に点灯することができる。 According to the first aspect of the present invention, when the autonomous mobile robot is powered on and activated, the initial state check for determining whether each voice input unit is normal is performed based on the lighting state of each light emitting unit. Therefore, the determination of the initial state check can be easily recognized visually by humans. In addition, the light emitting units can be individually lit corresponding to the direction of sound and the sound input level.

請求項２に記載の発明によれば、入力された音声入力レベルに基づいて、前記発話関係選択手段から発話を選択して前記頭部に設けたスピーカーから音声出力を行うことができるので、人間とのコミュニケーション状況をより親しみのあるものにすることができる。
請求項３に記載の発明によれば、前記音源定位となる人間の方向を向くので、人間とのコミュニケーション状況をより親しみのあるものにすることができる。
請求項４に記載の発明によれば、初期状態チェックの判定後に、直ちに音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して各発光部を個別にＯＮ／ＯＦＦ制御することができるので、自律移動ロボットが入力した音声を認識している状況を、人間が可視的に知ることができる。 According to the second aspect of the present invention, it is possible to select an utterance from the utterance relation selection unit and output a voice from a speaker provided on the head based on the input voice input level. The communication situation with can be made more friendly.
According to the third aspect of the present invention, since the sound source is directed toward the human being, the communication status with the human can be made more familiar.
According to the fourth aspect of the present invention, after the initial state check is determined, each light emitting unit is individually turned on / off corresponding to the volume of the voice input to the voice input unit, the presence / absence of voice recognition, and the voice direction. Since the OFF control can be performed, a human can visually know the situation in which the voice input by the autonomous mobile robot is recognized.

請求項５に記載の発明によれば、音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して前記各発光部を個別にＯＮ／ＯＦＦ制御するときに、音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応させて少なくとも頭部を駆動することができるので、自律移動ロボットが音声入力しているときにおける、人間とのコミュニケーション状況をより親しみのあるものにすることができる。 According to the fifth aspect of the present invention, when each of the light emitting units is individually controlled to be turned on / off corresponding to the volume of the voice input to the voice input unit, the presence / absence of voice recognition, and the voice direction, Communication status with humans when an autonomous mobile robot is inputting voice, because at least the head can be driven in response to the volume of voice input to the input unit, presence or absence of voice recognition, and voice direction Can be made more familiar.

以下、本発明を図示の実施形態に基づいて説明する。
図１は、本発明の実施形態に係る自律移動ロボットとしての自律移動２脚ロボット（以下、「ロボット」という）を示す正面図、図２は、本実施形態に係るロボットの頭部を示す側面図、図３は、本実施形態に係るロボットの制御装置の構成を示すブロック図である。 Hereinafter, the present invention will be described based on the illustrated embodiments.
FIG. 1 is a front view showing an autonomous mobile biped robot (hereinafter referred to as “robot”) as an autonomous mobile robot according to an embodiment of the present invention, and FIG. 2 is a side view showing the head of the robot according to this embodiment. 3 and 3 are block diagrams showing the configuration of the robot control apparatus according to the present embodiment.

［ロボットの構成］
図１、図２に示すように、本実施形態に係るロボット１は、胴体部２の上部に首部３を介して頭部４を備え、胴体部２の上部両側に２本の腕部５を有するとともに、胴体部２の下部に２本の脚部６を有している。 [Robot configuration]
As shown in FIGS. 1 and 2, the robot 1 according to this embodiment includes a head 4 via a neck 3 at the top of the body 2, and two arms 5 on both sides of the top of the body 2. And two legs 6 at the bottom of the body 2.

頭部４（首部３）、腕部５、および脚部６の人間とほぼ対応する各関節部分はアクチュエータ（不図示）によりそれぞれ動作可能であり、ロボット動作制御部２８（図３参照）によって頭部４（首部３）、腕部５、脚部６の各動作が制御される。   The joint portions of the head 4 (neck 3), the arms 5 and the legs 6 that substantially correspond to humans can be operated by actuators (not shown), and the robot motion controller 28 (see FIG. 3) can move the head. Each operation of the part 4 (neck part 3), the arm part 5 and the leg part 6 is controlled.

ロボット１の頭部４には、その前面部（顔部）４ａ内に所定間隔で左右に並べた２個のＣＣＤカメラ７ａ，７ｂと、その下側にスピーカ８が配置されており、さらに、頭部４の両側面に音声入力手段としての耳部９ａ，９ｂが設けられている。なお、頭部４の前面部４ａは、可視光透過自在な材質で形成されている。   The head 4 of the robot 1 has two CCD cameras 7a and 7b arranged on the front surface (face) 4a on the left and right sides at a predetermined interval, and a speaker 8 on the lower side thereof. Ear portions 9 a and 9 b as voice input means are provided on both side surfaces of the head 4. In addition, the front surface part 4a of the head 4 is formed of a material that allows visible light to pass therethrough.

２個のＣＣＤカメラ７ａ，７ｂは、ロボット１の前方移動方向側を撮影するカメラであり、各ＣＣＤカメラ７ａ，７ｂで撮像した各画像情報は画像情報処理部２１（図３参照）に入力される。スピーカ８は、発話関係選択部２７（図３参照）に予め記憶されている所定の発話情報に基づいて所定の音声を発することができる。   The two CCD cameras 7a and 7b are cameras that photograph the forward moving direction side of the robot 1, and each piece of image information captured by the CCD cameras 7a and 7b is input to the image information processing unit 21 (see FIG. 3). The The speaker 8 can emit a predetermined voice based on predetermined utterance information stored in advance in the utterance relationship selection unit 27 (see FIG. 3).

耳部９ａ，９ｂは、音声入力部としてのマイクロホン１０ａ，１０ｂとその外側に半円弧状の表示手段としてのＬＥＤ表示部１１ａ，１１ｂをそれぞれ備えており、マイクロホン１０ａ，１０ｂで検出した音声情報は音声情報処理部２２（図３参照）に入力される。図２に示すように、耳部９ａのＬＥＤ表示部１１ａは、３つの発光部Ｌ１，Ｌ２，Ｌ３が下から順に分割されて一体的に構成されており、各発光部Ｌ１，Ｌ２，Ｌ３は、ロボット１の電源ＯＮによる起動時、マイクロホン１０ａの音声認識の状態、および音源（人間）の方向に応じて個別に点灯（点滅）と消灯を行うことができる（詳細は後述する）なお、他方側（頭部４の右側）の耳部９ｂにおいても、同様に構成されている。また、発光部Ｌ１，Ｌ２，Ｌ３内にはそれぞれ複数のＬＥＤ（例えば、白色ＬＥＤ）が設置されており、全点灯時にはＬＥＤ表示部１１ａ，１１ｂ全体が半円弧状に点灯する。   The ear portions 9a and 9b are respectively provided with microphones 10a and 10b as sound input portions and LED display portions 11a and 11b as semicircular arc display means on the outside thereof, and sound information detected by the microphones 10a and 10b is Input to the voice information processing unit 22 (see FIG. 3). As shown in FIG. 2, the LED display portion 11a of the ear portion 9a is configured by integrally dividing the three light emitting portions L1, L2, and L3 in order from the bottom, and each of the light emitting portions L1, L2, and L3 includes When the robot 1 is activated by turning on the power, it can be individually turned on (flashing) and turned off according to the voice recognition state of the microphone 10a and the direction of the sound source (human) (details will be described later). The ear portion 9b on the side (the right side of the head 4) is configured similarly. In addition, a plurality of LEDs (for example, white LEDs) are installed in the light emitting portions L1, L2, and L3, respectively, and the entire LED display portions 11a and 11b are lit in a semicircular arc shape when fully lit.

［ロボットの制御装置］
図３は、ロボット１の制御装置２０を示すブロック構成図である。図３に示すように、制御装置２０は、画像情報処理部２１、音声情報処理部２２、状況判断部２３、動作シナリオ作成部２４、ロボット動作選択部２５、ＬＥＤ動作選択部２６、発話関係選択部２７およびロボット動作制御部２８を有している。 [Robot control device]
FIG. 3 is a block diagram showing the control device 20 of the robot 1. As illustrated in FIG. 3, the control device 20 includes an image information processing unit 21, a voice information processing unit 22, a situation determination unit 23, an operation scenario creation unit 24, a robot operation selection unit 25, an LED operation selection unit 26, and an utterance relationship selection. Unit 27 and robot operation control unit 28.

画像情報処理部２１は、各ＣＣＤカメラ７ａ，７ｂから入力される各画像情報に基づいて画像処理を行い、その撮像範囲（例えば、ロボット１が前方移動方向を向いた起立状態で、水平方向および垂直方向の視野が１５０度程度でロボット１の少し前方から数ｍ先程度の範囲）内にある物体（障害物や人間など）の形状認識、およびこの物体（障害物や人間など）までの距離と位置を算出（認識）する。   The image information processing unit 21 performs image processing based on each image information input from each CCD camera 7a, 7b, and captures its imaging range (for example, in a standing state in which the robot 1 faces the forward movement direction, Recognize the shape of an object (obstacle, person, etc.) within a vertical field of view of about 150 degrees and within a few meters ahead of the robot 1, and the distance to this object (obstacle, person, etc.) The position is calculated (recognized).

音声情報処理部２２は、各耳部９ａ，９ｂのマイクロホン１０ａ，１０ｂからそれぞれ入力される音声情報に基づいて、音源（本実施形態では、人間）からの音声入力の有無（以下、「音声認識」という）、音源（人間）の方向の特定（以下、「音源定位」という）、および音声入力のレベル（以下、「マイクレベル」という）の各状況を得るための演算処理を行う。本実施形態に係るロボット１は、頭部４の両横の各耳部９ａ，９ｂにそれぞれマイクロホン１０ａ，１０ｂを設けているので、音声情報処理部２２は、各マイクロホン１０ａ，１０ｂから入力される音声情報の時間的ずれによって、音源定位を特定することができる。各マイクロホン１０ａ，１０ｂの良好な可聴範囲は、例えば、真横から前方側の周囲数ｍ程度までの範囲である。   The voice information processing unit 22 determines whether or not there is a voice input from a sound source (in this embodiment, a human) based on the voice information input from the microphones 10a and 10b of the ears 9a and 9b. ”), Identification of the direction of the sound source (human) (hereinafter referred to as“ sound source localization ”), and sound input level (hereinafter referred to as“ microphone level ”). Since the robot 1 according to the present embodiment is provided with the microphones 10a and 10b at the respective ears 9a and 9b on both sides of the head 4, the voice information processing unit 22 is input from the microphones 10a and 10b. The sound source localization can be specified by the time lag of the audio information. A good audible range of each of the microphones 10a and 10b is, for example, a range from just beside to about several meters around the front side.

状況判断部２３は、画像情報処理部２１で処理された画像情報に基づいて移動方向に人間がいるか障害物があるかなどを判断し、さらに、音声情報処理部２２で処理された音声情報に基づいて、音声認識の有無、音源定位の特定、マイクレベルの大きさを判断する。   The situation determination unit 23 determines whether there is a person or an obstacle in the moving direction based on the image information processed by the image information processing unit 21, and further determines the voice information processed by the voice information processing unit 22. Based on this, the presence / absence of voice recognition, the specification of sound source localization, and the size of the microphone level are determined.

動作シナリオ作成部２４は、状況判断部２３で得た状況判断に基づいて、例えば、前方近くに人間がいると判断し、かつ音声が入力されていると判断した場合は、ロボット１に対して人間が話しかけていると判断して、予め記憶している複数の動作シナリオの中からその状況に応じた動作シナリオを選択し（詳細は後述する）、選択した動作シナリオに基づいてロボット動作選択部２５、ＬＥＤ動作選択部２６、発話関係選択部２７を制御する。   Based on the situation determination obtained by the situation determination unit 23, the operation scenario creation unit 24 determines, for example, that there is a person near the front and that a voice is being input. It is determined that a person is speaking, and an operation scenario corresponding to the situation is selected from a plurality of pre-stored operation scenarios (details will be described later), and a robot operation selection unit based on the selected operation scenario 25, the LED operation selection unit 26 and the speech relation selection unit 27 are controlled.

ロボット動作選択部２５は、動作シナリオ作成部２４で選択した動作シナリオに基づいて、予め記憶している複数のロボット動作のうちから適切なロボット動作（例えばロボット１の頭部４（首部３）を横に傾けたりする動作）を選択する。   The robot motion selection unit 25 selects an appropriate robot motion (for example, the head 4 (neck portion 3) of the robot 1) from among a plurality of robot motions stored in advance based on the motion scenario selected by the motion scenario creation unit 24. Select the action to tilt sideways.

ＬＥＤ動作選択部２６は、動作シナリオ作成部２４で選択した動作シナリオと音声情報処理部２２からの処理情報（音声認識、音源定位、マイクレベル）に基づいて、各耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂ（発光部Ｌ１，Ｌ２，Ｌ３）のＬＥＤ点灯（点滅）と消灯動作を選択する（詳細は後述する）。   Based on the operation scenario selected by the operation scenario creation unit 24 and the processing information (voice recognition, sound source localization, microphone level) from the voice information processing unit 22, the LED operation selection unit 26 displays the LEDs on the ears 9a and 9b. The LED lighting (flashing) and extinguishing operation of the units 11a and 11b (light emitting units L1, L2, and L3) are selected (details will be described later).

また、ＬＥＤ動作選択部２６は、ロボット１の電源をＯＮして起動した直後に、耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂとマイクロホン１０ａ，１０ｂに故障が生じていないときには、ＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３を一旦全て点灯させる初期状態チェック機能と、この初期状態チェック後に、マイクロホン１０ａ，１０ｂに入力される音声に対し、音声認識、音源定位、マイクレベルに応じて発光部Ｌ１，Ｌ２，Ｌ３を個別に点灯させる機能を有している（詳細は後述する）。なお、マイクロホン１０ａ，１０ｂのマイクレベルが所定の閾値以下の場合には、発光部Ｌ１，Ｌ２，Ｌ３は全て消灯する。 Further, the LED operation selection unit 26 is the LED display unit when the LED display units 11a and 11b of the ears 9a and 9b and the microphones 10a and 10b are not broken immediately after the robot 1 is turned on and activated. The initial state check function that once turns on all the light emitting units L1, L2, and L3 of 11a and 11b, and the sound input to the microphones 10a and 10b after this initial state check, according to the voice recognition, sound source localization, and microphone level The light emitting units L1, L2, and L3 are individually turned on (details will be described later). When the microphone levels of the microphones 10a and 10b are equal to or lower than a predetermined threshold, all the light emitting units L1, L2, and L3 are turned off.

発話関係選択部２７は、動作シナリオ作成部２４で選択した動作シナリオに基づいて、予め記憶している複数の発話関係のうちから適切な発話を選択する。   The utterance relationship selection unit 27 selects an appropriate utterance from a plurality of utterance relationships stored in advance based on the operation scenario selected by the operation scenario creation unit 24.

ロボット動作制御部２８は、ロボット動作選択部２５で選択したロボット動作に基づいて、頭部４（首部３）、腕部５、脚部６を駆動制御する。   The robot motion control unit 28 drives and controls the head 4 (neck 3), the arm 5 and the leg 6 based on the robot motion selected by the robot motion selection unit 25.

［耳部の初期状態チェックと音声認識動作］
次に、図４に示すフローチャートを参照して、ロボット１の電源ＯＮによる起動時の耳部９ａ，９ｂの初期状態チェックと、耳部９ａ，９ｂによる音声認識動作について説明する。 [Early ear status check and voice recognition]
Next, with reference to the flowchart shown in FIG. 4, the initial state check of the ears 9a and 9b when the robot 1 is powered on and the voice recognition operation by the ears 9a and 9b will be described.

ロボット１の電源（不図示）をＯＮして起動すると、前記ＬＥＤ動作選択部２６の初期状態チェック機能により、耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂとマイクロホン１０ａ，１０ｂが正常であるか否かの判定を行う（ステップＳ１，Ｓ２）。ステップＳ２の判定で正常であると判定した場合（ステップＳ２、ＹＥＳ）には、消灯状態にあるＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３を一旦全て点灯させる（ステップＳ３）。これにより、人間に対して耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂとマイクロホン１０ａ，１０ｂが正常に機能していることを可視的に知らせることができる。   When the robot 1 is turned on and started up, whether the LED display units 11a and 11b and the microphones 10a and 10b of the ears 9a and 9b are normal by the initial state check function of the LED operation selection unit 26. It is determined whether or not (steps S1 and S2). If it is determined in step S2 that the light is normal (step S2, YES), all the light emitting portions L1, L2, and L3 of the LED display portions 11a and 11b that are turned off are once turned on (step S3). As a result, it is possible to visually notify a person that the LED display portions 11a and 11b of the ear portions 9a and 9b and the microphones 10a and 10b are functioning normally.

また、ステップＳ２で、仮に耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂまたはマイクロホン１０ａ，１０ｂに故障が生じていると判定した場合には、消灯状態にあるＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３は消灯のままである。よって、人間に対して耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂまたはマイクロホン１０ａ，１０ｂの機能に故障が生じていることを可視的に知らせることができる。   If it is determined in step S2 that the LED display portions 11a and 11b of the ear portions 9a and 9b or the microphones 10a and 10b have failed, the light emitting portions of the LED display portions 11a and 11b that are turned off. L1, L2, and L3 remain off. Therefore, it is possible to visually notify a person that a failure has occurred in the function of the LED display portions 11a and 11b of the ear portions 9a and 9b or the microphones 10a and 10b.

そして、耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂとマイクロホン１０ａ，１０ｂが正常に機能している場合には、ステップＳ３の状態から耳部９ａ，９ｂのマイクロホン１０ａ，１０ｂは、直ぐに音声入力可能状態となる（ステップＳ４）。そして、ステップＳ４で、マイクロホン１０ａ，１０ｂに音声入力がない場合（ステップＳ４、ＮＯ）、すなわち、各ＣＣＤカメラ７ａ，７ｂの撮像範囲に人間がいなくて、ロボット１に対して話しかけていないときには、マイクロホン１０ａ，１０ｂのマイクレベルが所定の閾値以下と判断し、ＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３を全て消灯状態にする（ステップＳ５）。   Then, when the LED display portions 11a and 11b of the ear portions 9a and 9b and the microphones 10a and 10b are functioning normally, the microphones 10a and 10b of the ear portions 9a and 9b are immediately input from the state of step S3. A possible state is reached (step S4). In step S4, when there is no voice input to the microphones 10a and 10b (step S4, NO), that is, when there is no person in the imaging range of each of the CCD cameras 7a and 7b and the robot 1 is not talking, It is determined that the microphone levels of the microphones 10a and 10b are equal to or lower than a predetermined threshold value, and all the light emitting portions L1, L2, and L3 of the LED display portions 11a and 11b are turned off (step S5).

そして、ステップＳ４で、音声入力がある場合（ステップＳ４、ＹＥＳ）、すなわち、例えば図５に示すように、各ＣＣＤカメラ７ａ，７ｂの撮像範囲（斜線部分）Ａに人間Ｍがいて、ロボット１に対して話しかけているときには音声認識動作に入る（ステップＳ６）。   If there is a voice input in step S4 (step S4, YES), that is, for example, as shown in FIG. 5, there is a person M in the imaging range (shaded area) A of each CCD camera 7a, 7b, and the robot 1 When talking to the voice recognition operation is started (step S6).

このとき、ロボット１の制御装置２０の状況判断部２３は、図５に示す状況において、各ＣＣＤカメラ７ａ，７ｂの画像情報を処理する画像情報処理部２１からの処理情報に基づいて、ロボット１の左斜め前方に人間Ｍがいることを検知し、さらに、マイクロホン１０ａ，１０ｂの音声情報を処理する音声情報処理部２２に基づいて、音声認識の有無、音源定位、マイクレベルの大きさを検知する。そして、動作シナリオ作成部２４は、状況判断部２３による状況判断に基づいて、このときの動作シナリオ（例えば、図５に示すような、人間Ｍが前方左斜め方向から話しかけている状況）を作成する。   At this time, the situation determination unit 23 of the control device 20 of the robot 1 performs the robot 1 based on the processing information from the image information processing unit 21 that processes the image information of the CCD cameras 7a and 7b in the situation shown in FIG. The presence of a human M is detected diagonally to the left of the microphone, and the presence or absence of voice recognition, sound source localization, and the level of the microphone level are detected based on the voice information processing unit 22 that processes the voice information of the microphones 10a and 10b. To do. Then, based on the situation determination by the situation determination unit 23, the operation scenario creation unit 24 creates an operation scenario at this time (for example, a situation where a person M is speaking from the front left diagonal direction as shown in FIG. 5). To do.

そして、ステップＳ６で、音源（図では人間Ｍ）から発せられる音声に対して音声認識ができた場合（ステップＳ６、ＹＥＳ）、その音声認識状況に応じて、動作シナリオ作成部２４はＬＥＤ動作選択部２６に対して、例えば、以下のようにＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３を点灯させる（ステップＳ４７）。   Then, in step S6, when voice recognition can be performed on the voice emitted from the sound source (human M in the figure) (step S6, YES), the operation scenario creation unit 24 selects the LED operation according to the voice recognition status. For example, the light emitting portions L1, L2, and L3 of the LED display portions 11a and 11b are turned on for the unit 26 (step S47).

すなわち、ステップＳ７において、例えば、図５に示すように、人間Ｍがロボット１の左斜め前方から話しかけている場合、動作シナリオ作成部２４は、音源定位としての人間Ｍが左斜め前方にいると認識していることを、この人間Ｍに対して可視的に知らせるために、左側の耳部９ａのＬＥＤ表示部１１ａの各発光部Ｌ１，Ｌ２，Ｌ３をマイクレベルの大きさに応じて個別に点灯させる。   That is, in step S7, for example, as shown in FIG. 5, when the human M is talking from the left diagonal front of the robot 1, the motion scenario creation unit 24 indicates that the human M as the sound source localization is diagonally left front. In order to visually notify the person M of the recognition, the light emitting portions L1, L2, and L3 of the LED display portion 11a of the left ear portion 9a are individually set according to the size of the microphone level. Light up.

例えば、人間Ｍから左側のマイクロホン１０ａに入力される音声のレベル（マイクレベル）が小さいと判断した場合には発光部Ｌ１のみを点灯させ、人間Ｍから左側のマイクロホン１０ａに入力される音声のレベル（マイクレベル）が普通（ちょうどよい）である判断した場合には発光部Ｌ１，Ｌ２の２つを点灯させ、人間Ｍから左側のマイクロホン１０ａに入力される音声のレベル（マイクレベル）が大きいと判断した場合には発光部Ｌ１，Ｌ２，Ｌ３の３つを全て点灯させる。 For example, when it is determined that the level (microphone level) of sound input from the person M to the left microphone 10a is low, only the light emitting unit L1 is turned on, and the level of sound input from the person M to the left microphone 10a. When it is determined that the (microphone level) is normal (just right), the two light emitting units L1 and L2 are turned on, and the level of the sound (microphone level) input from the human M to the left microphone 10a is large. If it is determined, all three light emitting portions L1, L2, and L3 are turned on.

ステップＳ７で、マイクレベルが小さく発光部Ｌ１だけを点灯させたときにおいて、動作シナリオ作成部２４はロボット動作選択部２５に対して、例えば、頭部４（首部３）を斜め横に傾けるような動作を選択させ、ロボット動作制御部２８の制御により頭部４（首部３）が斜め横を向くように駆動する。また、このとき同時に、動作シナリオ作成部２４は発話関係選択部２７から記憶されている複数の発話関係のうちから、例えば、「もっと大きな声でもう一度はなしてください」を選択して、スピーカ８から発話（音声出力）する。   When the microphone level is small and only the light emitting unit L1 is turned on in step S7, the motion scenario creating unit 24 tilts the head 4 (neck 3) obliquely sideways with respect to the robot motion selection unit 25, for example. An operation is selected, and the head 4 (neck 3) is driven so as to turn obliquely sideways under the control of the robot operation control unit 28. At the same time, the operation scenario creation unit 24 selects, for example, “Please release again with a louder voice” from the plurality of utterance relationships stored from the utterance relationship selection unit 27, and from the speaker 8. Speak (voice output).

また、ステップＳ７で、マイクレベルが大きく発光部Ｌ１，Ｌ２，Ｌ３の全てを点灯させたときにおいて、動作シナリオ作成部２４はロボット動作選択部２５に対して、例えば、脚部６を一歩後ずさりするような動作を選択させ、ロボット動作制御部２８の制御により脚部６を一歩後ずさりするように駆動する。また、このとき同時に、動作シナリオ作成部２４は発話関係選択部２７から記憶されている複数の発話関係のうちから、例えば、「もう少し小さな声で話してね」を選択して、スピーカ８から発話（音声出力）する。   In addition, when the microphone level is large and all of the light emitting units L1, L2, and L3 are turned on in step S7, the operation scenario creation unit 24 moves the leg unit 6 one step later with respect to the robot operation selection unit 25, for example. Such an operation is selected, and the leg portion 6 is driven to move back one step under the control of the robot operation control unit 28. At the same time, the operation scenario creation unit 24 selects, for example, “Speak a little louder voice” from the plurality of utterance relationships stored from the utterance relationship selection unit 27 and utters from the speaker 8. (Sound output).

また、ステップＳ７で、マイクレベルがちょうどよく発光部Ｌ１，Ｌ２の２つを点灯させたときにおいては、動作シナリオ作成部２４はロボット動作選択部２５に対して、今の姿勢を保持するようにし、また、このときには、発話関係選択部２７から発音を選択することなく、スピーカ８から発話しないようにする。 Also, when the microphone level is exactly good and the two light emitting units L1 and L2 are turned on in step S7, the motion scenario creation unit 24 keeps the current posture with respect to the robot motion selection unit 25. At this time, the utterance is not selected from the speaker 8 without selecting the pronunciation from the utterance relation selection unit 27.

また、ステップＳ６で、音声認識ができなく、各発光部Ｌ１，Ｌ２，Ｌ３を点滅させたとき（ステップＳ６、ＮＯ）において、動作シナリオ作成部２４はロボット動作選択部２５に対して、例えば、頭部４（首部３）を斜め横に傾けるような動作を選択させ、ロボット動作制御部２８の制御により頭部４（首部３）が斜め横を向くように駆動する。また、このとき同時に、動作シナリオ作成部２４は発話関係選択部２７から記憶されている複数の発音関係のうちから、例えば、「もう一度言って下さい」を選択して、スピーカ８から発話（音声出力）する。 In addition, when the voice recognition is not possible in step S6 and each of the light emitting units L1, L2, and L3 is blinked (NO in step S6), the motion scenario creation unit 24 instructs the robot motion selection unit 25, for example, An operation that tilts the head 4 (neck 3) obliquely and laterally is selected, and the head 4 (neck 3) is driven so as to face obliquely laterally under the control of the robot motion control unit 28. At the same time, the action scenario creation unit 24 selects , for example, “Please say again” from among the plurality of pronunciation relationships stored from the utterance relationship selection unit 27, and utters (voice output) from the speaker 8. )

また、音源定位が、前記した図５の状況のように、ロボット１の真正面方向に対して左側に約４５度もしくは４５度よりも大きい角度方向にいる人間Ｍのときには、左側の耳部９ａのＬＥＤ表示部１１ａの各発光部Ｌ１，Ｌ２，Ｌ３をマイクレベルの大きさに応じて個別に点灯させるが、音源である人間Ｍがロボット１の真正面方向に対して左右に約４５度程度の範囲内にいる人間Ｍのときには、左右側の耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂの各発光部Ｌ１，Ｌ２，Ｌ３をマイクレベルの大きさに応じて個別に点灯させ、また、人間Ｍがロボット１の真正面方向に対して右側に約４５度もしくは４５度よりも大きい角度方向にいるときには、右側の耳部９ｂのＬＥＤ表示部１１ｂの各発光部Ｌ１，Ｌ２，Ｌ３をマイクレベルの大きさに応じて個別に点灯させる。また、音源定位である人間Ｍの位置に合わせて、頭部４（首部３）を、ロボット動作制御部２８の制御により人間Ｍがいる方向に向けるように駆動してもよい。   Further, when the sound source localization is a person M who is at an angle of about 45 degrees or greater than 45 degrees on the left side with respect to the direction in front of the robot 1 as in the situation of FIG. 5, the left ear portion 9a The light emitting units L1, L2, and L3 of the LED display unit 11a are individually turned on according to the size of the microphone level, but the range of about 45 degrees left and right by the human M as the sound source with respect to the direction directly in front of the robot 1 When the person M is inside, the light emitting portions L1, L2, and L3 of the LED display portions 11a and 11b of the left and right ears 9a and 9b are individually turned on according to the size of the microphone level. Is approximately 45 degrees to the right of the direction directly in front of the robot 1 or at an angle greater than 45 degrees, the light emitting portions L1, L2, L3 of the LED display portion 11b of the right ear portion 9b are set to a large microphone level. It is turned individually in accordance with the. Further, the head 4 (neck 3) may be driven in the direction in which the person M is present under the control of the robot operation control unit 28 in accordance with the position of the person M who is the sound source localization.

このように、本実施形態に係るロボット１は、耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂとマイクロホン１０ａ，１０ｂの初期状態をチェックするチェック機能を有しており、ロボット１の電源をＯＮして起動したときに、消灯状態にあるＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３が一旦全て点灯することにより、人間に対して耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂとマイクロホン１０ａ，１０ｂが正常に機能していることを可視的に容易に知らせることができる。   Thus, the robot 1 according to the present embodiment has a check function for checking the initial states of the LED display portions 11a and 11b of the ear portions 9a and 9b and the microphones 10a and 10b, and the power of the robot 1 is turned on. When the LED display units 11a, 11b in the extinguished state are all turned on once, the LED display units 11a, 11b of the ear units 9a, 9b are It can be easily notified visually that the microphones 10a and 10b are functioning normally.

また、ロボット１が音源である人間Ｍが発した音声のマイクレベル、音声認識状態および音源定位を、各耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂの発光部Ｌ１，Ｌ２，Ｌ３の点灯（点滅）および消灯状態によって、人間に対して可視的に知らせることができる。また、このときに、例えば、頭部４（首部３）も合わせて動作させることにより、ロボット１が音声入力（音声認識）しているときにおける、人間とのコミュニケーション状況をより親しみのあるものにすることができる。   Further, the microphone level of the voice generated by the human M who is the sound source of the robot 1, the voice recognition state, and the sound source localization are turned on by the light emitting portions L1, L2, L3 of the LED display portions 11a, 11b of the ear portions 9a, 9b ( Flashing) and off state can visually notify humans. Further, at this time, for example, the head 4 (neck 3) is also operated to make the communication situation with humans more familiar when the robot 1 is performing voice input (voice recognition). can do.

また、前記した実施形態では、耳部９ａ，９ｂのＬＥＤ表示部１１ａ，１１ｂは３つに分割された発光部Ｌ１，Ｌ２，Ｌ３によって形成されていたが、これに限定されることなく、例えば、２つまたは４つ以上に分割された発光部で形成してもよい。   In the above-described embodiment, the LED display portions 11a and 11b of the ear portions 9a and 9b are formed by the light emitting portions L1, L2, and L3 divided into three parts. You may form in the light emission part divided | segmented into 2 or 4 or more.

本発明の実施形態に係るロボットを示す正面図。1 is a front view showing a robot according to an embodiment of the present invention. 本実施形態に係るロボットの頭部を示す側面図。The side view which shows the head of the robot which concerns on this embodiment. 本発明の本実施形態に係るロボットの制御装置の構成を示すブロック図。The block diagram which shows the structure of the control apparatus of the robot which concerns on this embodiment of this invention. 本実施形態に係るロボットの初期状態チェックと音声認識動作を示すフローチャート。The flowchart which shows the initial state check and voice recognition operation | movement of the robot which concern on this embodiment. 本実施形態に係るロボットの左斜め前方に音源としての人間がいる状態を示す平面図。FIG. 3 is a plan view showing a state in which a human being as a sound source is present diagonally to the left of the robot according to the present embodiment.

符号の説明Explanation of symbols

１ ロボット（自律移動ロボット）
２ 胴体部
３ 首部
４ 頭部
５ 腕部
６ 脚部
７ａ，７ｂ ＣＣＤカメラ
８ スピーカ
９ａ，９ｂ 耳部（音声入力手段）
１０ａ，１０ｂ マイクロホン（音声入力部）
１１ａ，１１ｂ ＬＥＤ表示部（表示手段）
２０ 制御装置（制御手段）
２１ 画像情報処理部
２２ 音声情報処理部
２３ 状況判断部
２４ 動作シナリオ作成部
２５ ロボット動作選択部
２６ ＬＥＤ動作選択部
２７ 発話関係選択部
２８ ロボット動作制御部
Ｌ１，Ｌ２，Ｌ３ 発光部 1 Robot (autonomous mobile robot)
2 Body part 3 Neck part 4 Head part 5 Arm part 6 Leg part 7a, 7b CCD camera 8 Speaker 9a, 9b Ear part (voice input means)
10a, 10b Microphone (voice input unit)
11a, 11b LED display section (display means)
20 Control device (control means)
DESCRIPTION OF SYMBOLS 21 Image information processing part 22 Audio | voice information processing part 23 Situation judgment part 24 Action scenario creation part 25 Robot action selection part 26 LED action selection part 27 Speech relation selection part 28 Robot action control part L1, L2, L3 Light emission part

Claims (5)

胴体部に連結された駆動自在な頭部の両側に、外見上の耳として機能する音声入力手段を備え、前記胴体部の下部に連結された脚部の駆動により自律移動自在な自律移動ロボットであって、
前記各音声入力手段は、外部から音声を入力する音声入力部と、前記音声入力部の外側に半円弧状に配置され、複数の発光部が一体的に連結されて構成された表示手段と、を備え、
さらに、制御手段を有し、
前記制御手段は、前記頭部に設けられたＣＣＤカメラから入力される画像情報に基づいて、画像処理を行い、その撮影範囲内にある物体の形状認識および距離と位置を算出する画像情報処理部と、
前記音声入力部から入力される音声情報に基づいて、音源からの音声入力の有無、音源定位の特定、音声入力レベルの各状況を得るための演算を行う音声情報処理部と、
前記画像情報処理部で処理された画像情報に基づいて、人間がいるかを判断すると共に、前記音声情報処理部で処理された音声情報に基づいて、音声入力の有無、音源定位の特定、音声入力レベルの大きさを判断する状況判断部と、
この状況判断部で得られた判断状況に基づいて、予め記憶している動作シナリオの中から前記判断状況に応じた動作シナリオを選択する動作シナリオ作成部と、
前記動作シナリオ作成部で選択された動作シナリオに基づいて、予め記憶している複数のロボット動作のうちから適切なロボット動作を選択するロボット動作選択部と、
前記動作シナリオ作成部で選択された動作シナリオに基づいて、前記発光部の点灯、点滅、消灯の動作を選択すると共に、前記自律移動ロボットを電源ＯＮして起動したときに前記各音声入力手段が正常であるか否かの初期状態チェックの判定を、前記各発光部の点灯状態で行うＬＥＤ動作選択部と、
前記ロボット動作選択部で選択したロボット動作に基づいて、頭部、腕部、脚部を駆動制御するロボット動作制御部と、を備え、
前記状況判断部により音源定位となる人間が当該自律移動ロボットの左４５度よりも大きな角度方向にいると判断したときには、左側の前記発光部を前記音声入力レベルに基づいて前記ＬＥＤ動作選択部により個別に点灯させ、
前記状況判断部により音源定位となる人間が当該自律移動ロボットの左右に４５度の範囲内にいると判断したときには、左右側の前記発光部を前記音声入力レベルに基づいて、ＬＥＤ動作選択部により個別に点灯させ、
前記状況判断部により音源定位となる人間が当該自律移動ロボットの右４５度よりも大きな角度方向にいると判断したときには、右側の前記発光部を前記音声入力レベルに基づいて前記ＬＥＤ動作選択部により個別に点灯させることを特徴とする自律移動ロボット。 An autonomous mobile robot equipped with voice input means functioning as an apparent ear on both sides of a freely-movable head connected to the body part, and autonomously movable by driving a leg part connected to the lower part of the body part. There,
Each of the voice input means includes a voice input unit for inputting voice from the outside, a display unit arranged in a semicircular shape outside the voice input unit, and a plurality of light emitting units integrally connected; With
In addition, having a control means,
The control means performs image processing based on image information input from a CCD camera provided in the head, and recognizes the shape of an object within the photographing range and calculates a distance and position When,
A voice information processing unit that performs operations for obtaining each status of voice input level based on voice information input from the voice input unit, whether or not voice input from a sound source is specified, sound source localization;
Based on the image information processed by the image information processing unit, it is determined whether there is a person, and based on the audio information processed by the audio information processing unit, presence / absence of sound input, sound source localization specification, sound input A situation determination unit that determines the size of the level;
Based on the judgment situation obtained by this situation judgment section, an operation scenario creation section that selects an operation scenario according to the judgment situation from the operation scenarios stored in advance,
A robot operation selection unit that selects an appropriate robot operation from a plurality of robot operations stored in advance based on the operation scenario selected by the operation scenario creation unit;
Based on the operation scenario selected by the operation scenario creation unit, the operation of turning on, blinking, and turning off the light emitting unit is selected, and each voice input means is activated when the autonomous mobile robot is turned on and activated. An LED operation selection unit that performs an initial state check determination as to whether or not normal is performed in a lighting state of each light emitting unit, and
A robot operation control unit that drives and controls the head, arms, and legs based on the robot operation selected by the robot operation selection unit;
When it is determined by the situation determination unit that the person who is sound source localization is in an angle direction larger than 45 degrees to the left of the autonomous mobile robot, the LED operation selection unit moves the light emitting unit on the left side based on the voice input level. Light up individually,
When the situation determination unit determines that the person who is in the sound source localization is within a range of 45 degrees to the left and right of the autonomous mobile robot, the left and right light emitting units are moved by the LED operation selection unit based on the audio input level. Light up individually,
When it is determined by the situation determination unit that the person who is sound source localization is in an angle direction larger than 45 degrees to the right of the autonomous mobile robot, the LED operation selection unit moves the right light emitting unit based on the voice input level. Autonomous mobile robot characterized by lighting individually . 前記音声入力レベルに対応して予め複数の発話情報が記憶されている発話関係選択手段をさらに備え、  A plurality of utterance information stored in advance corresponding to the voice input level, further comprising utterance relation selection means,
前記シナリオ作成部は、入力された音声入力レベルに基づいて、前記発話関係選択手段から発話を選択して前記頭部に設けたスピーカから、前記発話関係選択手段から選択した発話を音声出力することを特徴とする請求項１に記載の自律移動ロボット。  The scenario creation unit selects an utterance from the utterance relation selection unit based on the input voice input level, and outputs the utterance selected from the utterance relation selection unit from a speaker provided on the head. The autonomous mobile robot according to claim 1. 前記ロボット動作制御部が少なくとも前記頭部を駆動制御して、前記音源定位となる人間の方向を向くようにすることを特徴とする請求項１に記載の自律移動ロボット。2. The autonomous mobile robot according to claim 1, wherein the robot operation control unit drives and controls at least the head so as to face a human being serving as the sound source localization. 3. 前記制御手段は、前記ＬＥＤ動作選択部が、前記初期状態チェックの判定後に、前記音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して前記各発光部を個別にＯＮ／ＯＦＦ制御する、
ことを特徴とする請求項１に記載の自律移動ロボット。 The control means is configured so that the LED operation selecting unit individually sets the light emitting units corresponding to the volume of voice inputted to the voice input unit, presence / absence of voice recognition, and voice direction after the determination of the initial state check. ON / OFF control to
The autonomous mobile robot according to claim 1. 前記制御手段は、前記音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応して前記各発光部を個別にＯＮ／ＯＦＦ制御するときに、前記音声入力部に入力される音声の大きさ、音声認識の有無および音声方向に対応させて、前記ロボット動作制御部が少なくとも前記頭部を駆動制御する、
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の自律移動ロボット。 The control means inputs to the voice input unit when ON / OFF control is individually performed for each light emitting unit corresponding to the volume of voice input to the voice input unit, presence / absence of voice recognition, and voice direction. The robot operation control unit drives and controls at least the head in correspondence with the volume of voice to be played , presence or absence of voice recognition, and voice direction.
The autonomous mobile robot according to any one of claims 1 to 3, wherein:
JP2004361530A 2004-12-14 2004-12-14 Autonomous mobile robot Expired - Fee Related JP4373903B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004361530A JP4373903B2 (en) 2004-12-14 2004-12-14 Autonomous mobile robot
US11/294,366 US7894941B2 (en) 2004-12-14 2005-12-06 Sound detection and associated indicators for an autonomous moving robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004361530A JP4373903B2 (en) 2004-12-14 2004-12-14 Autonomous mobile robot

Publications (2)

Publication Number Publication Date
JP2006167838A JP2006167838A (en) 2006-06-29
JP4373903B2 true JP4373903B2 (en) 2009-11-25

Family

ID=36585117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004361530A Expired - Fee Related JP4373903B2 (en) 2004-12-14 2004-12-14 Autonomous mobile robot

Country Status (2)

Country Link
US (1) US7894941B2 (en)
JP (1) JP4373903B2 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007132571A1 (en) * 2006-05-16 2007-11-22 Murata Kikai Kabushiki Kaisha Robot
EP1870215A1 (en) * 2006-06-22 2007-12-26 Honda Research Institute Europe GmbH Robot head with artificial ears
EP1870212A1 (en) * 2006-06-22 2007-12-26 Honda Research Institute Europe GmbH Robot having a head with artificial ears
US20080055836A1 (en) * 2006-08-25 2008-03-06 The Boeing Company System and method for compartment control
US8180486B2 (en) 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
JP4658891B2 (en) * 2006-10-02 2011-03-23 本田技研工業株式会社 Robot control device
US20080119959A1 (en) * 2006-11-21 2008-05-22 Park Cheonshu Expression of emotions in robot
KR20080061901A (en) * 2006-12-28 2008-07-03 주식회사 유진로봇 System and method of effcient speech recognition by input/output device of robot
JP5326934B2 (en) * 2009-01-23 2013-10-30 株式会社Ｊｖｃケンウッド Electronics
JP5577605B2 (en) * 2009-02-27 2014-08-27 トヨタ自動車株式会社 In-vehicle robot
WO2010149167A1 (en) * 2009-06-26 2010-12-29 Lizard Technology Aps Sound localizing robot
ES2358139B1 (en) * 2009-10-21 2012-02-09 Thecorpora, S.L. SOCIAL ROBOT.
TW201434600A (en) * 2013-03-01 2014-09-16 Compal Electronics Inc Robot for generating body motion corresponding to sound signal
US9310800B1 (en) * 2013-07-30 2016-04-12 The Boeing Company Robotic platform evaluation system
KR102392113B1 (en) * 2016-01-20 2022-04-29 삼성전자주식회사 Electronic device and method for processing voice command thereof
US10379534B2 (en) * 2016-01-28 2019-08-13 Qualcomm Incorporated Drone flight control
JP2019123055A (en) * 2018-01-18 2019-07-25 株式会社ユピテル apparatus
CN112771463A (en) * 2019-02-19 2021-05-07 松下知识产权经营株式会社 Unmanned aerial vehicle, information processing method, and program
EP3957561B1 (en) * 2019-04-18 2023-07-19 Panasonic Intellectual Property Management Co., Ltd. Unmanned flight body, control method, and program
KR102306437B1 (en) * 2019-07-05 2021-09-28 엘지전자 주식회사 Moving Robot and controlling method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3911618A (en) * 1974-12-19 1975-10-14 Joel Lee Gerst Finger puppet
JP4524524B2 (en) 2000-10-11 2010-08-18 ソニー株式会社 Robot apparatus and control method thereof
JP2002116792A (en) 2000-10-11 2002-04-19 Sony Corp Robot controller and method for robot control and recording medium
CN1398214A (en) * 2000-10-23 2003-02-19 索尼公司 Legged robot, legged robot behavior control method, and storage medium
JP4689107B2 (en) * 2001-08-22 2011-05-25 本田技研工業株式会社 Autonomous robot
JP3824920B2 (en) 2001-12-07 2006-09-20 ヤマハ発動機株式会社 Microphone unit and sound source direction identification system
JP3714268B2 (en) 2002-03-18 2005-11-09 ソニー株式会社 Robot device
JP4281286B2 (en) 2002-03-18 2009-06-17 ソニー株式会社 Robot apparatus and control method thereof
JP2003285285A (en) 2002-03-27 2003-10-07 Nec Corp Robot unit having software agent, control method thereof and program
JP2004237392A (en) * 2003-02-05 2004-08-26 Sony Corp Robotic device and expression method of robotic device
US7348746B2 (en) * 2003-02-14 2008-03-25 Honda Giken Kogyo Kabushiki Kaisha Abnormality detection system of mobile robot
JP2003326479A (en) 2003-05-26 2003-11-18 Nec Corp Autonomous operation robot

Also Published As

Publication number Publication date
US20060129275A1 (en) 2006-06-15
US7894941B2 (en) 2011-02-22
JP2006167838A (en) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4373903B2 (en) Autonomous mobile robot
JP5526942B2 (en) Robot apparatus, control method and program for robot apparatus
JP6203696B2 (en) robot
JP5987842B2 (en) Communication pull-in system, communication pull-in method and communication pull-in program
JP4822319B2 (en) Communication robot and attention control system using the same
JP4131392B2 (en) Robot apparatus, robot control method, recording medium, and program
JP4315872B2 (en) Mobile robot controller
CN208543477U (en) A kind of guest-meeting robot
US11474499B2 (en) Communication robot and control program of communication robot
JP5755011B2 (en) Robot group control apparatus and method
JP2008087140A (en) Speech recognition robot and control method of speech recognition robot
JP2007216363A (en) Communication robot
EP3450118A1 (en) Robot
JP2006272471A (en) Communication robot
WO2021006547A3 (en) Moving robot and method of controlling the same
JP4617428B2 (en) Motion generation system
JP2007156689A (en) Light source position detection device and face recognition device using the same and self-propelled robot
JP2022078741A (en) robot
JP2018183856A (en) Voice-interactive robot and voice-interactive system
CN110971815B (en) Image processing apparatus, robot, image processing method, and storage medium
JP6686583B2 (en) Robots and programs
KR102613040B1 (en) Video communication method and robot for implementing thereof
JP2003271196A (en) Robot system and method for controlling the same
JP2008040075A (en) Robot apparatus and control method of robot apparatus
KR101402908B1 (en) Situation dependent behavior based robot control appartus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4373903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140911

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees