JP2993867B2 - Robot system that responds variously from audience information - Google Patents

Robot system that responds variously from audience information

Info

Publication number
JP2993867B2
JP2993867B2 JP7150913A JP15091395A JP2993867B2 JP 2993867 B2 JP2993867 B2 JP 2993867B2 JP 7150913 A JP7150913 A JP 7150913A JP 15091395 A JP15091395 A JP 15091395A JP 2993867 B2 JP2993867 B2 JP 2993867B2
Authority
JP
Japan
Prior art keywords
robot
data
information
sound information
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7150913A
Other languages
Japanese (ja)
Other versions
JPH08318053A (en
Inventor
祐一朗 市岡
Original Assignee
中小企業事業団
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中小企業事業団 filed Critical 中小企業事業団
Priority to JP7150913A priority Critical patent/JP2993867B2/en
Publication of JPH08318053A publication Critical patent/JPH08318053A/en
Application granted granted Critical
Publication of JP2993867B2 publication Critical patent/JP2993867B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明はロボットシステムに関
し、特に観客情報から多様な対応をするロボットシステ
ムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a robot system, and more particularly, to a robot system which performs various responses from audience information.

【0002】[0002]

【従来の技術】従来、各種イベント等に使用されるロボ
ットで、観客と双方向のコミュニケーションを行うこと
ができるロボットとしては、例えば拍手や歓声等の観客
の反応音や観客の話す単語等、特定の観客情報を識別し
て、それに対応する動作や音声出力を行うことにより、
個人又は集団との間における対話を可能としたものが各
種提案されている。
2. Description of the Related Art Conventionally, as a robot used for various events and the like and capable of performing two-way communication with a spectator, for example, a spectator's reaction sound such as applause or cheering, a spectator's spoken word, etc. are specified. By identifying the audience information and performing corresponding actions and audio output,
Various proposals have been made to enable dialogue with individuals or groups.

【0003】[0003]

【発明が解決しようとする課題】上記従来のロボット
は、同じ観客情報の内容に対しては常に同じ動作を行う
ように設計されているものが多く、例えば拍手がくれば
必ず喜びの動作を行うなど、動作パターンが画一的であ
った。その結果、観客にロボットの動作パターンをすぐ
に悟られてしまい、次に起こる動作への期待感が損なわ
れる欠点があった。
Many of the above-mentioned conventional robots are designed to always perform the same operation for the same contents of the audience information. For example, if applause comes, the robot always performs a joyful operation. The operation pattern was uniform. As a result, there is a disadvantage that the audience can immediately recognize the operation pattern of the robot, and the expectation for the next operation is spoiled.

【0004】本発明の課題は、特定の観客情報に対する
ロボットの動作パターンが多様で、次に起こる動作への
観客の期待感を高めることができるロボットシステムを
提供することにある。
[0004] It is an object of the present invention to provide a robot system in which the robot has various operation patterns with respect to specific audience information and can increase the expectation of the audience for the next operation.

【0005】[0005]

【課題を解決するための手段、作用及び効果】本発明
は、観客情報から多様な対応をするロボットシステムに
係り、上述の課題を解決するためにその第一の構成は、
下記の要件を含むことを特徴とする。 観客情報検出手段:観客からの音情報及び視覚情報の
少なくとも一方からなる特定の観客情報を検出する。 ロボット動作部:上記観客情報に対応して予め定めら
れた複数の動作のうち、そのいずれかを観客に対し行
う。 動作データ記憶手段:上記複数の動作に対応する動作
データを記憶する。 データ選択手段:記憶された動作データのうちの任意
のものを選択する。 ロボット制御部:選択された動作データに基づいてロ
ボット動作部を制御する。
SUMMARY OF THE INVENTION The present invention relates to a robot system which performs various responses from spectator information. In order to solve the above-mentioned problems, the first configuration is as follows.
It is characterized by including the following requirements. Audience information detection means: Detects specific audience information including at least one of sound information and visual information from the audience. Robot operation unit: Performs any one of a plurality of predetermined operations corresponding to the audience information to the audience. Operation data storage means: stores operation data corresponding to the plurality of operations. Data selection means: Selects any one of the stored operation data. Robot control unit: controls the robot operation unit based on the selected operation data.

【0006】上述のロボットシステムにおいては、1あ
るいは複数の特定の観客情報に対してロボットの動作デ
ータが複数用意され、データ選択手段により選択された
そのいずれかの動作データに基づいて、ロボット動作部
の作動が制御される。これによりロボットは、同一の観
客情報に対して、複数の動作パターンのうちから任意の
ものを選択して実行するので動作が画一的にならず、ひ
いては多様な動作・表現が可能なロボットシステムを実
現することができる。
In the above-mentioned robot system, a plurality of robot operation data are prepared for one or a plurality of specific spectator information, and a robot operation unit is selected based on one of the operation data selected by the data selection means. Is controlled. As a result, the robot selects and executes an arbitrary one of a plurality of operation patterns for the same audience information, so that the operation is not uniform, and thus a robot system capable of various operations and expressions. Can be realized.

【0007】ここで、データ選択手段には乱数発生手段
を設けることができ、その乱数発生手段により発生させ
られた乱数に基づいて、動作データを自動的に選択する
ように構成することができる。こうすれば、動作データ
が乱数に基づいてランダムに選択されるので、ロボット
が次に行う動作を予測しにくくなり、ひいては観客の
「次に何が起こるか」という期待感を盛り上げることが
できる。
Here, the data selection means can be provided with a random number generation means, and the operation data can be automatically selected based on the random numbers generated by the random number generation means. In this way, since the motion data is selected at random based on the random numbers, it is difficult to predict the next motion performed by the robot, and thus the audience can be excited about “what will happen next”.

【0008】上記ロボットシステムは、さらに次の要件
を含むものとして構成することができる。 波形検出手段:観客情報検出手段に設けられ、音情報
の波形を検出する。 波形データ記憶手段:複数の音情報の波形データを記
憶する。 音情報判別手段:波形検出手段により検出された音情
報の波形を、波形データ記憶手段に記憶された波形デー
タと照合することにより、音情報の種類を判別する。 動作データ記憶手段:判別される各音情報に対応した
動作データの組を記憶する。 対応関係記憶手段:音情報と動作データとの対応関係
を複数種類記憶する。 対応関係選択手段:記憶された対応関係の任意のもの
を選択する。 そして、データ選択手段は、対応関係選択手段により選
択された対応関係に基づいて、判別された音情報に対応
する動作データを選択するものとされる。
[0008] The above robot system can be further configured to include the following requirements. Waveform detecting means: provided in the audience information detecting means for detecting a waveform of sound information. Waveform data storage means: stores waveform data of a plurality of pieces of sound information. Sound information discriminating means: The type of sound information is discriminated by comparing the waveform of the sound information detected by the waveform detecting means with the waveform data stored in the waveform data storage means. Operation data storage means: Stores a set of operation data corresponding to each piece of sound information to be determined. Correspondence storage means: A plurality of types of correspondence between sound information and motion data are stored. Correspondence selection means: Selects any of the stored correspondences. The data selection means selects the operation data corresponding to the determined sound information based on the correspondence selected by the correspondence selection means.

【0009】上述のように構成されたロボットシステム
においては、波形検出により観客の拍手、笑い、ブーイ
ング、どよめき等の音情報の種類を判別するとともに、
判別される各音情報に、それぞれ特定のロボット動作な
いし対応が割りふられる。そして、それら音情報とロボ
ット動作の対応関係は、複数種用意されたもののなかか
ら随時選択されるようになっており、その選択された対
応関係に従って、検出された音情報に対するロボットの
動作内容が決定される。これにより、各種音情報に対す
るロボットの動作内容を一層多様なものとすることがで
きる。
In the robot system configured as described above, the type of sound information such as applause, laughter, booing, and throbbing of the audience is determined by detecting the waveform.
A specific robot operation or correspondence is assigned to each of the determined sound information. The correspondence between the sound information and the robot operation is selected from a plurality of types prepared at any time. According to the selected correspondence, the operation content of the robot with respect to the detected sound information is determined. It is determined. Thereby, the operation content of the robot with respect to various kinds of sound information can be further diversified.

【0010】ここで、上記対応関係選択手段に乱数発生
手段を設け、その乱数発生手段から発生した乱数に基づ
いて、上述の対応関係を自動的に選択するように構成す
ることができる。このような乱数に基づく対応関係の選
択(ないし変更)をロボットの作動中に行えば、ロボッ
トの性格が途中で急に変わったような印象を観客に与え
ることができ、例えば動作パターンが頻繁に変化する、
いわば「気まぐれな」性格をロボットに持たせることも
可能となる。
Here, a random number generating means may be provided in the correspondence selecting means, and the correspondence may be automatically selected based on a random number generated by the random number generating means. If the selection (or change) of the correspondence based on such random numbers is performed during the operation of the robot, it is possible to give the audience the impression that the character of the robot has suddenly changed in the middle. Change,
In other words, it is possible to give the robot a "whimsical" character.

【0011】次に、本発明のロボットシステムの第二の
構成は、下記の要件を含むことを特徴とする。 観客情報検出手段:観客からの音情報を含む特定の観
客情報を検出する。 ロボット動作部:検出された音情報に対応して予め定
められた動作を行う。 動作データ記憶手段:上記動作に対応する動作データ
を記憶する。 音量検出手段:音情報の音量を検出する。 ロボット制御手段:観客情報検出手段により検出され
た音情報に対応する動作データを動作データ記憶手段か
ら読み出し、その読み出された動作データに基づいてロ
ボット動作部の制御を行うとともに、音量検出手段によ
り検出された音量に基づいて、そのロボット動作部によ
る動作の大きさを変化させる。ここで、ロボット制御手
段は、検出された音量が大きいほどロボット動作部によ
る動作を大きくするように構成することができる。
Next, a second configuration of the robot system according to the present invention is characterized by including the following requirements. Audience information detection means: detects specific audience information including sound information from the audience. Robot operation unit: performs a predetermined operation corresponding to the detected sound information. Operation data storage means: stores operation data corresponding to the above operation. Volume detection means: detects the volume of the sound information. Robot control means: reads operation data corresponding to the sound information detected by the audience information detection means from the operation data storage means, controls the robot operation part based on the read operation data, and controls The magnitude of the operation by the robot operation unit is changed based on the detected volume. Here, the robot control means can be configured to increase the operation by the robot operation unit as the detected volume is higher.

【0012】上記構成のロボットシステムにおいては、
観客情報の種類が同じものであってもその音量が変化す
れば、その音情報に対応するロボット動作の大きさが変
化し、例えば「拍手」に対して「喜ぶ」動作が対応して
いる場合、その拍手の音量が大きければ、ロボットはよ
り大げさに喜ぶ動作を行うように制御される。これによ
り、音情報に対するロボットの動作ないし対応に一層の
変化を持たせることができ、観客に対するアピール効果
も向上する。
In the robot system having the above configuration,
Even if the type of audience information is the same, if the sound volume changes, the magnitude of the robot operation corresponding to the sound information changes, for example, if "applause" corresponds to "applause" operation If the volume of the applause is large, the robot is controlled to perform an operation that makes the robot exaggerate. As a result, it is possible to further change the operation or response of the robot to the sound information, and the effect of appealing to the audience is improved.

【0013】上記ロボットシステムの第一及び第二の構
成は互いに複合させることができ、これにより、さらに
情感の豊かなロボットの動作が実現される。
The first and second configurations of the robot system can be combined with each other, thereby realizing a more emotional operation of the robot.

【0014】ここで、上記第一及び第二の構成において
は、観客情報検出手段は、音情報として、少なくとも前
記観客の拍手、どよめき、笑い、歓声、ブーイングのう
ちの2種以上を検出するように構成することができる。
また、観客の発音する1ないし複数の単語を検出する単
語検出部と、その検出された単語を識別する単語識別手
段とを含むものとして構成することができる。また、動
作データは、喜び、落胆、悲しみ、怒りの少なくともい
ずれかの動作に対応するデータを含むものとすることが
できる。
Here, in the above first and second configurations, the audience information detecting means detects at least two types of applause, roar, laugh, cheer, and boo of the audience as sound information. Can be configured.
In addition, it can be configured to include a word detection unit that detects one or more words pronounced by the audience, and word identification means for identifying the detected words. In addition, the motion data may include data corresponding to at least one of joy, discouragement, sadness, and anger.

【0015】[0015]

【実施例】以下、本発明のいくつかの実施例を図面を用
いて説明する。図1は、本発明のロボットシステムの一
構成例を示すものである。ロボットシステム100は、
ロボット101(ロボット動作部)とロボット制御部1
02を備える。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Some embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration example of the robot system of the present invention. The robot system 100
Robot 101 (robot operation unit) and robot control unit 1
02.

【0016】ロボット101は、図2に示すように、関
節機構31〜37で互いに接続された下記の骨格単位を
有する骨格19を備える。 ・頭部20:それぞれ駆動可能な目部20aと口部20
cを備え、目部20aには明滅可能なランプ20bが配
置される。また、口部20cは開閉駆動可能とされてい
る。ここで、図1に示すように、口部20cの開閉駆動
は口部開閉制御部111により、ランプ20bの明滅は
ランプ点灯制御部112によりそれぞれ制御される。ま
た、口部20cに対応して、ロボット101がメッセー
ジ等を音声出力するためのスピーカ115が設けられ、
これにアンプ114及び音声合成部113が接続されて
いる。また、口部20cの開閉は、スピーカ115から
の音声出力と同期して制御されるようになっている。な
お、スピーカ115はロボット101と一体に設けて
も、ロボット101と分離して設けてもいずれでもよ
い。 ・肩21、背骨22、腰骨23:これらは、互いに結合
されて胴体部を形成している。 ・左右の腕部:それぞれ上腕骨24、下腕骨25、手首
29を備える。 ・左右の脚部:それぞれ上肢骨26、下肢骨27、足首
30を備える。 ここで、各骨格単位は、関節機構31〜37に設けられ
たパルスモータ、サーボモータ、ピストンシリンダ等の
骨格駆動アクチュエータ110(図1)により駆動さ
れ、その駆動制御は図1の骨格駆動制御部109が行
う。
As shown in FIG. 2, the robot 101 has a skeleton 19 having the following skeleton units connected to each other by joint mechanisms 31 to 37. Head 20: Eye 20a and mouth 20 that can be driven respectively
c, and a blinkable lamp 20b is arranged in the eye 20a. The opening 20c can be opened and closed. Here, as shown in FIG. 1, the opening / closing drive of the mouth 20 c is controlled by the mouth opening / closing control unit 111, and the blinking of the lamp 20 b is controlled by the lamp lighting control unit 112. Further, a speaker 115 for the robot 101 to output a message or the like by voice is provided corresponding to the mouth 20c,
The amplifier 114 and the voice synthesizer 113 are connected to this. The opening and closing of the mouth 20c is controlled in synchronization with the audio output from the speaker 115. The speaker 115 may be provided integrally with the robot 101 or may be provided separately from the robot 101. -Shoulder 21, spine 22, hip bone 23: these are joined together to form a body. -Left and right arms: provided with a humerus 24, a lower humerus 25, and a wrist 29, respectively. Left and right legs: provided with an upper limb bone 26, a lower limb bone 27, and an ankle 30, respectively. Here, each skeleton unit is driven by a skeleton drive actuator 110 (FIG. 1) such as a pulse motor, a servo motor, or a piston cylinder provided in the joint mechanisms 31 to 37, and its drive control is performed by the skeleton drive control unit of FIG. 109 performs.

【0017】次に、ロボット制御部102は、I/Oポ
ート150と、これに接続されるCPU151、RAM
152、ROM153等を備える。なお、本実施例にお
いてCPU151は、データ選択手段、乱数発生手段、
音情報判別手段、対応関係選択手段及び単語識別手段の
主体をなし、ROM153及びRAM152が動作デー
タ記憶手段及び対応関係記憶手段の主体をなす。
Next, the robot controller 102 includes an I / O port 150, a CPU 151 connected to the I / O port 150, and a RAM.
152, a ROM 153, and the like. In this embodiment, the CPU 151 includes a data selection unit, a random number generation unit,
The ROM 153 and the RAM 152 are the main components of the operation data storage unit and the correspondence storage unit.

【0018】I/Oポート150には、反応音検出マイ
ク105がアンプ104及びA/D変換器103を介し
て接続されている。このマイク105は、例えば図3に
示すように、ホールやイベント会場等において、ロボッ
ト101の動作の場となる舞台250の上方に設置さ
れ、観客席251に収容された観客252からの反応音
253を検出する。一方、特定の観客が話す単語を検出
するための単語検出マイク108が、アンプ107及び
A/D変換器106を介してI/Oポート150に接続
されている。
A reaction sound detecting microphone 105 is connected to the I / O port 150 via an amplifier 104 and an A / D converter 103. As shown in FIG. 3, for example, as shown in FIG. 3, the microphone 105 is installed above a stage 250 where the robot 101 operates in a hall, an event hall, or the like, and has a reaction sound 253 from a spectator 252 accommodated in a spectator seat 251. Is detected. On the other hand, a word detection microphone 108 for detecting a word spoken by a specific audience is connected to an I / O port 150 via an amplifier 107 and an A / D converter 106.

【0019】次に、I/Oポート150には視覚情報を
検出する手段として、2次元CCDセンサ(以下、単に
CCDセンサという)120等の画像センサが設けられ
ている。CCDセンサ120は、シーケンサ121、ア
ンプ122、A/D変換器123、及びセンサ出力を2
値化するための比較器124を備えたセンサコントロー
ラ119を介してI/Oポート150に接続される。こ
のようなCCDセンサ120が、例えば図4に示すよう
に、舞台250上方の、観客席251を見込む位置に据
え付けられ、図5に示すように、観客席251に着席し
た観客252の集団の画像を検出する。このCCDセン
サ120及び前述のマイク105及び108が観客情報
検出手段の主体をなす。
Next, the I / O port 150 is provided with an image sensor such as a two-dimensional CCD sensor (hereinafter simply referred to as CCD sensor) 120 as means for detecting visual information. The CCD sensor 120 includes a sequencer 121, an amplifier 122, an A / D converter 123, and a sensor output of two.
It is connected to an I / O port 150 via a sensor controller 119 having a comparator 124 for converting into a value. For example, as shown in FIG. 4, such a CCD sensor 120 is installed at a position above the stage 250 so as to look into the spectator seat 251, and as shown in FIG. 5, an image of a group of spectators 252 seated in the spectator seat 251. Is detected. The CCD sensor 120 and the aforementioned microphones 105 and 108 form the main part of the audience information detecting means.

【0020】図1に戻り、I/Oポート150には、前
述の骨格駆動制御部109、口部開閉制御部111、ラ
ンプ点灯制御部112、音声合成部113が接続され
る。
Returning to FIG. 1, to the I / O port 150, the above-described skeleton drive control unit 109, mouth opening / closing control unit 111, lamp lighting control unit 112, and voice synthesis unit 113 are connected.

【0021】また、ROM153には、以下の各プログ
ラムとデータが格納されている。 (1)ロボット動作制御プログラム154:動作データ1
62(後述)の選択を行いながら、図2に示す骨格19
及び口部20cの駆動、ランプ20bの明滅、さらにス
ピーカ115からの音声出力を制御し、ロボット101
に所定の動作を行わせる。 (2)反応音判別プログラム155:反応音検出マイク1
05が検出する観客の反応音の種類を識別し、その音量
を算出する。 (3)単語識別プログラム156:単語検出マイク108
が検出する単語の種類を識別し、その音量を算出する。 (4)画像識別プログラム157:CCDセンサ120が
検出する観客の画像に基づいて、観客がどの程度存在す
るかを視覚的に検出する。 (5)乱数発生プログラム158:動作データ162の選
択処理等に必要な乱数を発生させる。
The ROM 153 stores the following programs and data. (1) Robot operation control program 154: Operation data 1
62 (described later) while selecting the skeleton 19 shown in FIG.
The robot 101 controls the driving of the mouth 20c, the blinking of the lamp 20b, and the sound output from the speaker 115.
Perform a predetermined operation. (2) Reaction sound determination program 155: Reaction sound detection microphone 1
05 identifies the type of the reaction sound of the audience detected and calculates the sound volume. (3) Word identification program 156: Word detection microphone 108
Identifies the type of the word to be detected, and calculates its volume. (4) Image identification program 157: Visually detects the number of spectators based on the spectator images detected by CCD sensor 120. (5) Random number generation program 158: Generates random numbers required for the selection processing of operation data 162 and the like.

【0022】(6)「拍手」標準波形データ159、「笑
い」標準波形データ160、「ブーイング」標準波形デ
ータ161:観客の「拍手」音、「笑い」音、「ブーイ
ング」音の標準波形データをそれぞれ与え、反応音検出
マイク105が検出する観客の反応音の種類を識別する
ための、参照用データとしての役割を果たす。 (7)動作データ162:ロボット101に定められた動
作を実行させるための、各骨格駆動アクチュエータ11
0の動作データを与える。その動作の種類に応じて図6
に示すように多数の種類のデータが用意されており、例
えば「喜び」、「落胆」、「怒り」、「自慢」、「悲し
み」等、ロボットの感情表現動作に関連した動作データ
の他、それ以外の動作データ、例えば音楽に合わせて踊
る動作のデータ等を含む。 (8)音声データ163:上述のロボットの動作に合わせ
てスピーカ115から出力されるロボット音声(メッセ
ージ、歌声など)のデータ。図7にその内容を示す。 (9)単語波形データ164:各種単語の波形データを含
み、単語検出マイク108が検出する単語の種類を識別
するための、参照用データとしての役割を果たす。
(6) "Applause" standard waveform data 159, "laughing" standard waveform data 160, "booing" standard waveform data 161: standard waveform data of audience "applause" sound, "laughing" sound, "booing" sound And serves as reference data for identifying the type of audience reaction sound detected by the reaction sound detection microphone 105. (7) Motion data 162: each skeleton drive actuator 11 for causing the robot 101 to execute a predetermined motion
0 operation data is given. According to the type of the operation, FIG.
Many types of data are prepared as shown in, for example, in addition to motion data related to the emotional expression motion of the robot, such as "joy", "disappointment", "anger", "pride", "sadness", Other motion data includes, for example, data of a motion to dance to music. (8) Voice data 163: data of a robot voice (message, singing voice, etc.) output from the speaker 115 in accordance with the above-described robot operation. FIG. 7 shows the contents. (9) Word waveform data 164: includes waveform data of various words, and serves as reference data for identifying the type of word detected by the word detection microphone 108.

【0023】また、図8に示すように、RAM152に
は、以下のプログラムないしデータ格納部が形成されて
いる。 (1)観客画像データ格納部165:CCDセンサ120
の検出する観客の画像データを格納する。 (2)反応音波形データ格納部166:反応音検出マイク
105の検出する観客の反応音の波形データを格納す
る。 (3)単語波形データ格納部167:単語検出マイク10
8の検出する単語の波形データを格納する。 (4)ロボット動作制御プログラム格納部168:ロボッ
ト動作制御プログラム154を格納する。 (5)動作データ格納部169:ロボット動作制御プログ
ラム154で使用される動作データを格納する。図6の
動作データ162の中から選択されたものを個別に格納
するための格納エリアR1〜R16を有する。 (6)音声データ格納部170:ロボット動作制御プログ
ラム154で使用される音声データを格納する。図7の
音声データの中から選択されたものを個別に格納するた
めの格納エリアM1〜M16を有する。
As shown in FIG. 8, the RAM 152 has the following programs or data storage sections. (1) Audience image data storage unit 165: CCD sensor 120
Stores the image data of the audience to be detected. (2) Reaction sound waveform data storage unit 166: Stores the waveform data of the reaction sound of the audience detected by the reaction sound detection microphone 105. (3) Word waveform data storage 167: Word detection microphone 10
8 stores the waveform data of the word to be detected. (4) Robot operation control program storage section 168: Stores a robot operation control program 154. (5) Operation data storage unit 169: Stores operation data used in the robot operation control program 154. It has storage areas R1 to R16 for individually storing data selected from the operation data 162 in FIG. (6) Voice data storage unit 170: stores voice data used in the robot operation control program 154. It has storage areas M1 to M16 for individually storing audio data selected from the audio data in FIG.

【0024】以下、ロボットシステム100の作用及び
処理の流れをフローチャートを用いて説明する。まず、
図9において、ロボット動作制御プログラム(以下、動
作制御プログラムという)154(図1)の起動に伴
い、ロボット101に行わせるべき動作の内容を決定
し、そのための動作データ162をRAM152に格納
する処理が行われる(S1〜S15)。その動作データ16
2に基づくロボット101の動作の流れの概略は次の通
りである。すなわち、ロボット101は、舞台に登場後
(図10、S16)、CCDセンサ120による観客の人
数を視覚的に検出してその検出結果に応じた動作を行う
(S17〜S26)。次に。音楽に合わせて踊りながら歌を歌
い(図11、S27〜S29)、歌が終了した後の観客の反応
音を検出して、その検出内容に応じた動作を行う(図1
1及び図12、S30〜S49)。最後に、観客の1人が発す
る単語内容を識別し、その識別結果に応じた動作を行う
(図13、S50〜S60)。
Hereinafter, the operation and the flow of processing of the robot system 100 will be described with reference to flowcharts. First,
In FIG. 9, a process of deciding the contents of an operation to be performed by the robot 101 with the activation of a robot operation control program (hereinafter, referred to as an operation control program) 154 (FIG. 1) and storing the operation data 162 for that in the RAM 152. Is performed (S1 to S15). The operation data 16
The outline of the flow of the operation of the robot 101 based on 2 is as follows. That is, after appearing on the stage (S16 in FIG. 10), the robot 101 visually detects the number of spectators by the CCD sensor 120 and performs an operation according to the detection result (S17 to S26). next. Sing a song while dancing to the music (FIG. 11, S27 to S29), detect the audience's reaction sound after the song is completed, and perform an operation according to the detected content (FIG. 1).
1 and FIG. 12, S30 to S49). Finally, the word content issued by one of the spectators is identified, and an operation is performed in accordance with the identification result (FIG. 13, S50 to S60).

【0025】上記流れに沿ったロボット101の動作
は、例えば拍手がくれば素直に喜び、ブーイングがくれ
ば怒るというような、比較的従順な性格を反映した動作
パターン(以下、従順動作パターンという)と、逆に拍
手に対しては怒ったりふてくされた態度をとり、ブーイ
ングに対しては喜ぶといった反抗的あるいはへそまがり
な性格を反映した動作パターン(以下、反抗動作パター
ンという)のいずれかが乱数選択されるようになってい
る(S1〜S3)。
The motion of the robot 101 along the above flow reflects a relatively obedient personality pattern (hereinafter, referred to as an obedient operation pattern), for example, when the applause comes, the joy is straightforward, and when the boo comes, the user gets angry. Conversely, one of the motion patterns (hereinafter referred to as rebellious motion patterns) that reflects a rebellious or blunt personality, such as taking an angry or sullen attitude for applause and rejoicing for booing, (S1 ~ S3).

【0026】そして、従順動作パターンが選択された場
合は、動作データ格納部169の格納エリアR1〜R9
(図8)に動作データ201〜209(図6)が格納さ
れる(S4)。また、音声データ格納部170の格納エリ
アM1〜M9には、上記動作データに対応するロボット1
01のメッセージ内容を示す音声データ501〜509
(図7)が格納される(S5)。また、反抗動作パターン
が選択された場合には、R1〜R9に動作データ301〜
309が、M1〜M9に音声データ601〜609がそれ
ぞれ格納される(S6、S7)。なお、本実施例では、発生
させた乱数F1を2で割ったときの余りに基づいて(以
下、単に「乱数F1の値に基づいて」等という)、上記
2つの動作パターンのうちのいずれかが自動的に選択さ
れるようになっているが、例えば図1に示す入力部12
1を用いて選択のための入力を行うことにより、所望の
ものを手動で選択するようにしてもよい。
When the obedient operation pattern is selected, the storage areas R1 to R9 of the operation data storage section 169 are selected.
Operation data 201 to 209 (FIG. 6) are stored in (FIG. 8) (S4). Further, the storage areas M1 to M9 of the voice data storage unit 170 store the robot 1 corresponding to the operation data.
Voice data 501 to 509 indicating the content of the message 01
(FIG. 7) is stored (S5). When the rebellion operation pattern is selected, the operation data 301 to R1 to R9 are stored.
309 stores audio data 601 to 609 in M1 to M9, respectively (S6, S7). In the present embodiment, one of the above two operation patterns is determined based on the remainder when the generated random number F1 is divided by 2 (hereinafter, simply referred to as “based on the value of the random number F1”). Although it is automatically selected, for example, the input unit 12 shown in FIG.
The user may manually select a desired item by performing an input for selection using the number 1.

【0027】次に、観客から発せられた単語の識別結果
に基づいて、ロボット101に動作を行わせるための動
作データ401〜403が格納エリアR13〜R15に、そ
れに対応する音声データ701〜703が格納エリアM
13〜M15にそれぞれ格納される。また、ロボット101
を音楽に合わせて踊らせるための動作データ404が格
納エリアR16に格納される(S8、S9)。そして、ロボッ
ト101の歌声のデータは図7に示すように、プロ歌手
の歌声を収録したバージョン(704)と、素人のやや
下手な歌声を収録したバージョン(705)と、音程が
極端に外れる超音痴バージョン(706)の3種類用意
されており、それらのいずれかが乱数F2の値に基づい
て選択され、格納エリアM16に格納される(S10〜S1
5)。このようにすれば、ロボット101の歌唱終了後
に観客が歌声の種類に応じて異なる反応を行うことが期
待でき、観客の反応音に応じてロボット101の動作パ
ターンを異ならせることの有効性が高められることとな
る。
Next, based on the identification result of words uttered by the audience, operation data 401 to 403 for causing the robot 101 to perform an operation are stored in storage areas R13 to R15, and corresponding audio data 701 to 703 are stored. Storage area M
13 to M15. Also, the robot 101
Is stored in the storage area R16 (S8, S9). As shown in FIG. 7, the singing voice data of the robot 101 includes a version (704) recording a singing voice of a professional singer and a version (705) recording a slightly poor singing voice of an amateur. There are three types of tone correction versions (706), any one of which is selected based on the value of the random number F2 and stored in the storage area M16 (S10 to S1).
Five). In this way, after the singing of the robot 101 is completed, the audience can be expected to react differently depending on the type of singing voice, and the effectiveness of making the operation pattern of the robot 101 different according to the audience's reaction sound is enhanced. Will be done.

【0028】続いて図10に進み、S16においてロボッ
ト101に、舞台250(図3等)に登場する動作を行
わせる。そして、S17でCCDセンサの検出出力を読み
込み、その出力に基づいて観客の数が予め定められた値
Nを上回っているか否かを判定する(S17、S18)。ここ
で、観客席251の全体を明暗のはっきりした色彩で均
一に着色しておけば、図5に示すように、CCDセンサ
120による観客252の像を、背景の観客席251よ
りも暗いかないしは明るいかによって判別することがで
き、像検出視野120aの面積に占める観客252の像
の面積比率から、観客がどの程度存在するかを検出する
ことができる。
Subsequently, the flow proceeds to FIG. 10, and in S16, the robot 101 is caused to perform an operation to appear on the stage 250 (FIG. 3 and the like). Then, the detection output of the CCD sensor is read in S17, and it is determined whether the number of spectators exceeds a predetermined value N based on the output (S17, S18). Here, if the entire audience seat 251 is uniformly colored with clear and dark colors, the image of the audience 252 by the CCD sensor 120 may be darker than the background audience seat 251 as shown in FIG. Can be determined based on whether or not the audience is bright, and it is possible to detect how much the audience is present from the area ratio of the image of the audience 252 to the area of the image detection visual field 120a.

【0029】図10に戻って、観客数がN以上の場合
は、格納部R1、R2、M1、M2に格納された動作データ
及び音声データに基づき(S19〜S22)、N以下の場合は
格納部R3、R4、M3、M4に格納された動作データ及び
音声データに基づき(S23〜S26)、それぞれ異なる動作
及び音声出力を行うこととなる。例えば、従順動作パタ
ーンが選択された場合を例にとれば、観客数がN以上の
場合は、ロボット101は両腕を広げながら「うわー、
すごいお客さん。ようし、今日はがんばるぞー。」と発
声し、さらにマイクを勢いよく取り上げ、「それでは本
日の第1きょくー」と発声する。一方、N以下であった
場合はロボット101は、うつむいて落胆のポーズを取
り、「なあんだ、今日はこれだけか。お客さんいないと
淋しいなあ。」と発声し、さらに「しょうがない。今日
は1曲だけにしよ。」と発声しながらゆっくりとマイク
を取り上げてしぶしぶ歌い始める。
Returning to FIG. 10, when the number of spectators is N or more, the data is stored based on the operation data and voice data stored in the storage units R1, R2, M1, and M2 (S19 to S22). Based on the operation data and audio data stored in the sections R3, R4, M3, M4 (S23 to S26), different operations and audio outputs are performed respectively. For example, taking the case where the obedience operation pattern is selected as an example, if the number of spectators is N or more, the robot 101 spreads both arms while saying "Wow,
Great customer. I'll do my best today. "And then pick up the microphone vigorously and say," Then, today's first kiku. " On the other hand, if the value is N or less, the robot 101 looks down and takes a disappointed pose, utters "Now, that's all for today. I'm lonely if there is no customer." Just pick up the microphone and start singing reluctantly.

【0030】一方、反抗動作パターンが選択されていれ
ば、観客数がN以上の場合は、右手を腰に当てて斜に構
えたポーズをとり、「たくさんいるな。世の中、ヒマな
野郎が多いんだな。」と発声し、さらにマイクをゆっく
り取り上げ、「しょうがねえ。ヒマそうだから1曲歌っ
てやるか。」と発声する。また、N以下であった場合
は、ガッツポーズを取って「これだけか。上等じゃねえ
か。オレは客が少ない方が気合いが入るんだ。」と発声
し、さらに勢いよくマイクを取って「ようし、それじゃ
1曲目だ。今日はガンガン歌ってやるぜ。」と発声す
る。なお、以下の説明では、従順動作パターンが選択さ
れた場合で代表させて説明を進める。
On the other hand, if the rebellious motion pattern is selected, if the number of spectators is N or more, a pose in which the right hand is placed on the waist and the user is inclined and poses, saying, "There are many. "I guess." And then slowly picked up the microphone and said, "Ginger. Also, if it is less than N, take a guts pose and say, "Is this the way it is. It's fine. I'm more cheerful if there are few customers." Say, "Okay, that's the first song. I'll sing today." In the following description, description will be given on behalf of a case where the obedient operation pattern is selected.

【0031】次に、図11のS27 へ進み、ロボット10
1がマイクを持って踊りながらカラオケ音楽に合わせて
歌う処理が行われる(S27〜S29)。そして、S29で曲が
終了すると、ロボット101は、反応音検出マイク10
5が検出した観客の反応音が、「拍手」、「笑い」、
「ブーイング」のいずれであるか、またその音量が所定
の値Q以上であるか否かに応じて異なる動作を行うこと
となる(図12、S39〜S49)。ここで、その動作データ
は、格納エリアR5〜R9及びM5〜M9(図8)に格納さ
れたそれぞれ5種類の動作データ及び音声データから各
3つずつが乱数F3の値に基づいて選択され、格納エリ
アR10〜R12及びM10〜M12に移し替えられる(S30〜S
38)。
Next, the process proceeds to S27 in FIG.
The process of singing along with the karaoke music while performing with the microphone is performed (S27 to S29). When the song ends in S29, the robot 101 sets the reaction sound detection microphone 10
The reaction sound of the audience detected by 5 is “applause”, “laughing”,
A different operation is performed depending on which of the “boos” and whether the volume is equal to or higher than the predetermined value Q (FIG. 12, S39 to S49). Here, as the operation data, three each of five types of operation data and voice data stored in the storage areas R5 to R9 and M5 to M9 (FIG. 8) are selected based on the value of the random number F3. Transferred to storage areas R10-R12 and M10-M12 (S30-S12)
38).

【0032】その選択の方法であるが、例えば従順動作
パターンの場合、上記5種類の動作データは図6におい
て上から順に、205:「大きく万歳をする」、20
6:「小さく万歳をする」、207:「右手を腰に当て
る」、208:「うつむいてとぼとぼ歩く」、及び20
9「両手で顔を覆いうずくまる」であり、上側のものほ
ど喜びの度合いが大きく、下側のものほど悲しみあるい
は落胆の度合いが大きいものとなっている。そして、乱
数F3を3で割った余りが0の場合は、上の3つ205
〜207が、1の場合は真ん中の3つ206〜208
が、そして2の場合は下の3つ207〜209が選択さ
れる。音声データ505〜509についても同様の選択
が行われる。
The selection method is, for example, in the case of an obedient operation pattern, the above-mentioned five types of operation data are arranged in order from the top in FIG.
6: "Have a small life", 207: "Rip your right hand on your waist", 208: "Walk down and wobbly", and 20
9 "The crouching of the face with both hands" means that the upper one has a greater degree of joy, and the lower one has a greater degree of sadness or discouragement. If the remainder obtained by dividing the random number F3 by 3 is 0, the upper three 205
When 207207 is 1, the middle three 206208208
, And in the case of 2, the lower three 207 to 209 are selected. Similar selections are made for the audio data 505 to 509.

【0033】そして、図12のS41において反応音の種
類が判定される。音量がQ以上の「拍手」が検出された
場合は、格納エリアR10及びM10に格納されたデータに
基づく動作ならびに音声出力が実行される(S43、S4
4)。また、音量がQ未満の「拍手」が検出された場
合、音量に関係なく「笑い」が検出された場合、及び音
量がQ未満の「ブーイング」が検出された場合は、R11
及びM11に格納されたデータに基づく動作ならびに音声
出力が実行される(S45、S46)。そして音量がQ以上の
「ブーイング」が検出された場合は、R12及びM12に格
納されたデータに基づく動作ならびに音声出力が実行さ
れる(S48〜S49)。
Then, in S41 of FIG. 12, the type of the reaction sound is determined. If a "clapping" with a sound volume equal to or higher than Q is detected, the operation based on the data stored in the storage areas R10 and M10 and the sound output are executed (S43, S4).
Four). In addition, when “applause” having a volume lower than Q is detected, “laughing” is detected regardless of the volume, and “booing” having a volume lower than Q is detected, R11
The operation based on the data stored in M11 and the audio output are executed (S45, S46). Then, when a "boo" having a volume of Q or more is detected, the operation based on the data stored in R12 and M12 and the audio output are executed (S48 to S49).

【0034】例えば図6及び図7において、動作データ
205〜209及び音声データ505〜509のうちの
上の3つが選択された場合は、音量がQ以上の盛大な拍
手に対しては、ロボット101は大きく万歳をしながら
「すごいや、オレってプロかも知れない。」と発声する
大きな喜びの動作を行い、音量がQ以下の拍手に対して
は小さく万歳をしながら「よーし、上出来、上出来。」
と発声するやや小さい喜びの動作を行う。一方、音量が
Q以上の大きなブーイングが起こった場合でも、右手を
腰に当てて「まあ、こんなもんだろ。」と発声し、あま
り大きな落胆や悲しみの動作には至らない。このような
ロボット101の動作パターンは、人間に例えれば気分
が高められた比較的陽気な状態を反映していると見るこ
とができる。
For example, in FIG. 6 and FIG. 7, when the upper three of the motion data 205 to 209 and the voice data 505 to 509 are selected, the robot 101 Performs a great joy of saying, "Well, I may be a pro." Well done. "
And perform a little joyful action. On the other hand, even when a loud boo with a volume of Q or more occurs, the right hand is put on the waist, and "Well, this is what it is." Such an operation pattern of the robot 101 can be seen as reflecting a relatively cheerful state in which the mood is enhanced when compared to a human.

【0035】ところが、もし動作データ205〜209
及び音声データ505〜509のうちの下の3つが選択
されていると、ロボット101は、盛大な拍手が起こっ
ても手を腰に当てて「まあ、こんなもんだろ」と発声
し、それほど大きな喜びの動作を行わない。そして、拍
手が小さかったりすると、「ちぇっ。今日のお客はケチ
だな。」とつぶやきながら、うつ向いてとぼとぼ歩くな
ど、ふてくされた態度を示す。さらに、大きなブーイン
グが起こったりすると、ロボット101は両手で顔を覆
ってうずくまり、「一生懸命歌ったのに、あんまりだ。
エーン」という泣き声を発することとなる。このような
ロボット101の動作パターンは、人間に例えれば気分
が沈み込んだ状態を反映していると見ることができる。
従って、S30〜S38における動作データと音声データの選
択処理は、換言すれば、ロボット101の気分状態を設
定する処理とみなすこともできる。
However, if the operation data 205 to 209
When the lower three of the voice data 505 to 509 are selected, the robot 101 puts his hand on the waist even if a great applause occurs, and utters “Well, this kind of thing”, so much joy. Do not perform the operation of And when the applause is small, she shows a muffled attitude, muttering, "Just. Today's customer is stingy." Furthermore, when a big boo occurs, the robot 101 squats with his hands covering his face and says, "I sang hard, but not much.
Ein. " Such an operation pattern of the robot 101 can be seen as reflecting a state in which the mood is lowered when compared to a human.
Therefore, the process of selecting the motion data and the voice data in S30 to S38 can be regarded as a process of setting the mood state of the robot 101 in other words.

【0036】ここで、図14は、反応音判別プログラム
155における処理の流れを示しており、動作制御プロ
グラム154からのリクエスト信号(図12、S39)を
受けて、反応音検出マイク105が検出する測定波形出
力を読み込み、その振幅から音量Qを算出する(D1〜D
3)。そして、測定波形を各標準波形データ159〜1
61と照合し(D4)、その判定結果1〜3(「拍手」、
「笑い」、「ブーイング」にそれぞれ対応)を音量Qと
共に動作制御プログラム154側に送信する(D5〜D1
1)。
FIG. 14 shows the flow of processing in the reaction sound discrimination program 155. The reaction sound detection microphone 105 detects a request signal (S39 in FIG. 12) from the operation control program 154. Read the measured waveform output and calculate the volume Q from the amplitude (D1 to D
3). Then, the measured waveform is converted to each of the standard waveform data 159 to 1.
61 (D4), and the judgment results 1 to 3 (“applause”,
"Laughter" and "Boo" are transmitted to the operation control program 154 along with the volume Q (D5 to D1).
1).

【0037】続いて、動作制御プログラム154の処理
は図13のS50に進む。ここでは、観客の1人に予め定
められた単語リストから単語を選択してもらい、その単
語を使用して、ロボット101の歌唱に対する感想を単
語検出マイク108(図1)に話しかけてもらう状況を
考える。まず、単語識別プログラム156における処理
であるが、動作制御プログラム154からのリクエスト
信号(図13、S50)を受けて、単語検出マイク108
が検出する単語の波形出力を読み込み、その振幅から音
量Qを算出する(C1〜C3)。そして、測定波形をROM
153に記憶されている単語波形データ164と照合し
(C4)、測定波形に対応する単語を識別する。そして、そ
の識別結果に応じて下記の処理が行われる。 ・識別された単語が「オンチ」または「ヘタクソ」であ
った場合:識別結果番号を1とする。 ・識別された単語が「金返せ」または「もう帰れ」であ
った場合:識別結果番号を2とする。 ・識別された単語が「ブラボー」または「天才」であっ
た場合:識別結果番号を3とする。 そして、その識別結果1〜3を、音量Qと共に動作制御
プログラム154側に送信する(C5〜C11)。
Subsequently, the processing of the operation control program 154 proceeds to S50 in FIG. Here, a situation in which one of the spectators selects a word from a predetermined word list, and uses the word to speak to the word detection microphone 108 (FIG. 1) about the impression of the robot 101 singing. Think. First, the processing in the word identification program 156 is described. In response to a request signal (S50 in FIG. 13) from the operation control program 154, the word detection microphone 108
Reads the waveform output of the word detected by the computer and calculates the volume Q from the amplitude (C1 to C3). And the measured waveform is stored in ROM
153 is compared with the word waveform data 164 stored in
(C4), a word corresponding to the measured waveform is identified. Then, the following processing is performed according to the identification result. -When the identified word is "Onchi" or "Hetaxo": the identification result number is set to 1. -When the identified word is "refund" or "return": the identification result number is set to 2. -When the identified word is "bravo" or "genius": the identification result number is 3. Then, the identification results 1 to 3 are transmitted to the operation control program 154 along with the volume Q (C5 to C11).

【0038】動作制御プログラム154では、図13の
S51において単語の識別結果と音量Qを受け取り、S52で
格納エリアR13〜R15に格納されている動作データに対
し、その動作を実行させるための骨格駆動アクチュエー
タ110の駆動量を決めるパラメータの値、及びスピー
カ115の出力レベルを変更して、ロボット101の動
作の大きさとメッセージの出力レベルを調整する。この
調整は、識別された単語の音量Qが大きいほど動作なら
びに音声出力が大きくなるように行われる。そして、受
信した識別結果が1、すなわち、単語が「ヘタクソ」等
の場合は、ロボット101は「もう1回いってみろ。」
と怒鳴りながら地団駄を踏む動作を行う(S54、S55)。
また、識別結果が2、すなわち、単語が「金返せ」等の
場合は、「チクショー。覚えていろ。」と発声して頭を
かきむしる動作となる(S56、S57)。さらに識別結果が
3、すなわち、単語が「ブラボー」等の場合は、両手を
腰に当てて胸をそらせ、「ワッハッハ。」と得意げに笑
う動作となる(S58、S59)。
In the operation control program 154, FIG.
In S51, the identification result of the word and the volume Q are received, and in S52, for the operation data stored in the storage areas R13 to R15, parameter values for determining the drive amount of the skeleton drive actuator 110 for executing the operation, and By changing the output level of the speaker 115, the magnitude of the operation of the robot 101 and the output level of the message are adjusted. This adjustment is performed so that the operation and the voice output increase as the volume Q of the identified word increases. Then, when the received identification result is 1, that is, when the word is “hetaxo” or the like, the robot 101 “try again.”
(Steps S54, S55).
When the identification result is 2, that is, when the word is "pay money" or the like, an operation of uttering "Chikshaw. Remember." And scratching the head is performed (S56, S57). Further, when the identification result is 3, that is, when the word is "bravo" or the like, the hands are put on the waist and the chest is distorted, and the operation of laughing at "Wah-ha-ha." (S58, S59).

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明のロボットシステムの全体構成を示すブ
ロック図。
FIG. 1 is a block diagram showing the overall configuration of a robot system according to the present invention.

【図2】ロボット骨格の模式図。FIG. 2 is a schematic diagram of a robot skeleton.

【図3】反応音検出マイクの配置状態を示す側面模式
図。
FIG. 3 is a schematic side view showing an arrangement state of a reaction sound detection microphone.

【図4】画像センサの配置状態を示す側面模式図。FIG. 4 is a schematic side view showing an arrangement state of an image sensor.

【図5】画像センサによる観客の像を示す模式図。FIG. 5 is a schematic diagram showing an image of a spectator by an image sensor.

【図6】動作データの構成説明図。FIG. 6 is an explanatory diagram of a configuration of operation data.

【図7】音声データの構成説明図。FIG. 7 is a diagram illustrating the configuration of audio data.

【図8】RAMの内容を示す説明図。FIG. 8 is an explanatory diagram showing the contents of a RAM.

【図9】ロボット動作制御プログラムの流れを示すフロ
ーチャート。
FIG. 9 is a flowchart showing the flow of a robot operation control program.

【図10】図9のAに続くフローチャート。FIG. 10 is a flowchart following FIG. 9A.

【図11】図10のBに続くフローチャート。FIG. 11 is a flowchart following FIG. 10B.

【図12】図11のCに続くフローチャート。FIG. 12 is a flowchart following C in FIG. 11;

【図13】図12のDに続くフローチャート。FIG. 13 is a flowchart following D in FIG. 12;

【図14】反応音判別プログラムによる処理の流れを示
すフローチャート。
FIG. 14 is a flowchart showing the flow of processing by a reaction sound determination program.

【図15】単語識別プログラムによる処理の流れを示す
フローチャート。
FIG. 15 is a flowchart showing the flow of processing by the word identification program.

【符号の説明】[Explanation of symbols]

100 ロボットシステム 101 ロボット 102 ロボット制御部 105 反応音検出マイク(観客情報検出手段) 108 単語検出マイク(観客情報検出手段) 120 2次元CCDセンサ(観客情報検出手段) 151 CPU 153 ROM(駆動データ記憶手段) 252 観客 REFERENCE SIGNS LIST 100 robot system 101 robot 102 robot controller 105 reaction sound detection microphone (audience information detection means) 108 word detection microphone (audience information detection means) 120 two-dimensional CCD sensor (audience information detection means) 151 CPU 153 ROM (drive data storage means) ) 252 audience

Claims (8)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 観客からの音情報及び視覚情報の少なく
とも一方からなる特定の観客情報を検出する観客情報検
出手段と、 その観客情報に対応して予め定められた複数の動作のう
ち、そのいずれかを前記観客に対し行うロボット動作部
と、 それら複数の動作に対応する動作データを記憶する動作
データ記憶部と、 それら記憶された動作データのうちの任意のものを選択
するデータ選択手段と、 その選択された動作データに基づいて前記ロボット動作
部を制御するロボット制御部と、前記観客情報検出手段に設けられ、前記音情報の波形を
検出する波形検出手段と、 複数の音情報の波形データを記憶する波形データ記憶手
段と、 前記波形検出手段により検出された前記音情報の波形
を、前記波形データ記憶手段に記憶された波形データと
照合することにより、該音情報の種類を判別する音情報
判別手段と、 それら判別される各音情報に対応した動作データの組を
記憶する前記動作データ記憶手段と、 それら音情報と動作データとの対応関係として、従順な
性格を反映した従順動作パターンを与える対応関係と、
反抗的あるいはへそまがりな性格を反映した反抗動作パ
ターンを与える対応関係とを記憶する対応関係記憶手段
と、 その記憶された対応関係のいずれかを選択する対応関係
選択手段とを備え、 前記データ選択手段は、前記対応関係選択手段により選
択された対応関係に基づいて、前記判別された音情報に
対応する動作データを選択するとともに、選択された対
応関係に応じて、前記ロボットの性格が従順なものと反
抗的なものとの間で切り替わる ことを特徴とする観客情
報から多様な対応をするロボットシステム。
1. A spectator information detecting means for detecting specific spectator information comprising at least one of sound information and visual information from a spectator, and any one of a plurality of operations predetermined in correspondence with the spectator information. A robot operation unit that performs the operation for the audience, an operation data storage unit that stores operation data corresponding to the plurality of operations, a data selection unit that selects an arbitrary one of the stored operation data, A robot control unit that controls the robot operation unit based on the selected operation data; and a robot control unit that is provided in the spectator information detection unit, and generates a waveform of the sound information.
Waveform detection means for detecting, and waveform data storage means for storing waveform data of a plurality of sound information
And a waveform of the sound information detected by the waveform detecting means.
And the waveform data stored in the waveform data storage means.
Sound information that determines the type of the sound information by collation
Discriminating means and a set of motion data corresponding to each of the discriminated sound information
The operation data storage means to be stored and the correspondence between the sound information and the operation data are compliant.
Correspondence that gives an obedient behavior pattern that reflects personality,
Rebellious behavioral patterns that reflect a rebellious or humble personality
Correspondence storage means for storing a correspondence giving a turn
And a correspondence that selects one of the stored correspondences
Selection means, wherein the data selection means is selected by the correspondence selection means.
Based on the selected correspondence, the determined sound information
Select the corresponding operation data and select the selected pair.
Depending on the response, the character of the robot may be
A robot system that responds in various ways based on audience information, characterized by switching between opponents .
【請求項2】 前記データ選択手段は乱数発生手段を備
え、その乱数発生手段から発生した乱数に基づいて、前
記動作データを自動的に選択するものとされている請求
項1記載のロボットシステム。
2. The robot system according to claim 1, wherein said data selection means includes a random number generation means, and said operation data is automatically selected based on a random number generated by said random number generation means.
【請求項3】 前記対応関係選択手段は乱数発生手段を3. The correspondence selecting means includes a random number generating means.
備え、その乱数発生手段から発生した乱数に基づいて、Based on the random number generated by the random number generating means,
前記対応関係を自動的に選択するものとされている請求Claims that automatically select the correspondence
項1又は2に記載のロボットシステム。Item 3. The robot system according to item 1 or 2.
【請求項4】 前記観客情報に含まれる音情報の音量を4. The volume of the sound information included in the audience information
検出する音量検出手段を備え、A volume detecting means for detecting, 前記ロボット制御手段は、音情報検出手段により検出さThe robot control means detects the sound information detected by the sound information detection means.
れた音情報に対応する動作データを前記動作データ記憶Operation data corresponding to the selected sound information
部から読み出し、その読み出された動作データに基づいUnit, and based on the read operation data
て前記ロボット動作部の制御を行うとともに、前記音量Controlling the robot operation section by using
検出手段により検出された音量に基づいて、そのロボッBased on the volume detected by the detection means, the robot
ト動作部による前記動作の大きさを変化させる請求項12. The method according to claim 1, wherein a magnitude of the operation by the operation unit is changed.
ないし3のいずれかに記載のロボットシステム。4. The robot system according to any one of claims 3 to 3.
【請求項5】 前記ロボット制御手段は、前記検出され5. The robot control means according to claim 1, wherein
た音量が大きいほど、前記ロボット動作部による前記動The higher the volume, the greater the
作を大きくするものとされる請求項4記載のロボットシ5. The robot system according to claim 4, wherein the operation is increased.
ステム。Stem.
【請求項6】 前記観客情報検出手段は、前記音情報と6. The spectator information detecting means includes:
して、少なくとも前記観客の拍手、どよめき、笑い、歓And at least applause, roar, laugh,
声、ブーイングのうちの2種以上を検出するものとされIt is said to detect two or more of voice and boo
る請求項1ないし5のいずれかに記載のロボットシステA robot system according to any one of claims 1 to 5.
ム。M
【請求項7】 前記観客情報検出手段は、前記音情報と7. The spectator information detecting means includes:
して前記観客の発音する1ないし複数の単語を検出するTo detect one or more words pronounced by the audience
単語検出部と、その検出された単語を識別する単語識別Word detection unit and word identification to identify the detected word
手段とを含む請求項1ないし6のいずれかに記載のロボThe robot according to any one of claims 1 to 6, including means.
ットシステム。System.
【請求項8】 前記動作データは、喜び、落胆、悲し8. The motion data may include joy, discouragement, sadness.
み、怒りの少なくともいずれかの動作に対応するデータData corresponding to at least one action of anger
を含む請求項1ないし7のいずれかに記載のロボットシThe robot system according to any one of claims 1 to 7, comprising:
ステム。Stem.
JP7150913A 1995-05-24 1995-05-24 Robot system that responds variously from audience information Expired - Fee Related JP2993867B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7150913A JP2993867B2 (en) 1995-05-24 1995-05-24 Robot system that responds variously from audience information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7150913A JP2993867B2 (en) 1995-05-24 1995-05-24 Robot system that responds variously from audience information

Publications (2)

Publication Number Publication Date
JPH08318053A JPH08318053A (en) 1996-12-03
JP2993867B2 true JP2993867B2 (en) 1999-12-27

Family

ID=15507137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7150913A Expired - Fee Related JP2993867B2 (en) 1995-05-24 1995-05-24 Robot system that responds variously from audience information

Country Status (1)

Country Link
JP (1) JP2993867B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001260063A (en) 2000-03-21 2001-09-25 Sony Corp Articulated robot and its action control method
JP4483188B2 (en) * 2003-03-20 2010-06-16 ソニー株式会社 SINGING VOICE SYNTHESIS METHOD, SINGING VOICE SYNTHESIS DEVICE, PROGRAM, RECORDING MEDIUM, AND ROBOT DEVICE
US7693514B2 (en) 2003-08-18 2010-04-06 Honda Motor Co., Ltd. Information gathering robot
JP4247149B2 (en) * 2004-03-30 2009-04-02 株式会社国際電気通信基礎技術研究所 robot
JP4815940B2 (en) * 2005-08-17 2011-11-16 日本電気株式会社 Robot control system, robot apparatus, and robot control method
JP4822319B2 (en) * 2005-10-27 2011-11-24 株式会社国際電気通信基礎技術研究所 Communication robot and attention control system using the same
KR101348611B1 (en) * 2012-04-25 2014-01-15 (주)디지엔터테인먼트 Apparatus and method for controlling robot

Also Published As

Publication number Publication date
JPH08318053A (en) 1996-12-03

Similar Documents

Publication Publication Date Title
US6352432B1 (en) Karaoke apparatus
US5952597A (en) Method and apparatus for real-time correlation of a performance to a musical score
US6066792A (en) Music apparatus performing joint play of compatible songs
US7605322B2 (en) Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor
US6319130B1 (en) Character display controlling device, display controlling method, and recording medium
US7189915B2 (en) Singing voice synthesizing method, singing voice synthesizing device, program, recording medium, and robot
CN101057273B (en) Content reproducing method and content reproducing device
US20010035087A1 (en) Interactive music playback system utilizing gestures
US9997153B2 (en) Information processing method and information processing device
JP7424359B2 (en) Information processing device, singing voice output method, and program
JP2993867B2 (en) Robot system that responds variously from audience information
JP7059524B2 (en) Song synthesis method, song synthesis system, and program
WO1999032203A1 (en) A standalone interactive toy
JP3996125B2 (en) Sentence generation apparatus and generation method
JP6358203B2 (en) Operation evaluation apparatus and program
JP3829780B2 (en) Performance method determining device and program
JP4808641B2 (en) Caricature output device and karaoke device
JP3931442B2 (en) Karaoke equipment
JPH04174696A (en) Electronic musical instrument coping with playing environment
JPH08318052A (en) Robot system coping with reaction of unspecified many number of audience
JP4254400B2 (en) Image generating apparatus, image generating method thereof, and computer-readable recording medium
JP3623557B2 (en) Automatic composition system and automatic composition method
JPH10143151A (en) Conductor device
EP1098296A1 (en) Control device and method therefor, information processing device and method therefor, and medium
KR20010091566A (en) Accompaniment device with function of the automatically selecting of song

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071022

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees