JPH08318052A

JPH08318052A - 不特定多数の観客の反応に対応するロボットシステム

Info

Publication number: JPH08318052A
Application number: JP7150912A
Authority: JP
Inventors: Yuichiro Ichioka; 祐一朗市岡
Original assignee: Ricoh Elemex Corp
Current assignee: Ricoh Elemex Corp
Priority date: 1995-05-24
Filing date: 1995-05-24
Publication date: 1996-12-03

Abstract

(57)【要約】【目的】不特定多数の観客ときめ細かいやり取りがで
き、これまでにない斬新なアピール効果に優れたロボッ
トシステムを提供する。【構成】ロボットシステム１００は、観客に対して所
定の動作を行うロボット１０１と、ロボット１０１の動
作データを記憶する動作データ記憶部１６６と、観客数
検出手段１０８と、検出された観客数に応じて動作デー
タの所定のものを選択するデータ選択手段と、その選択
された動作データに基づいてロボットを制御するロボッ
ト制御部１０２とを含む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はロボットシステムに関
し、特に不特定多数の観客の反応に対応するロボットシ
ステムに関する。

【０００２】

【従来の技術】従来、各種イベント等に使用されるロボ
ットで、観客と双方向のコミュニケーションを行うこと
ができるロボットとしては、文字情報の視覚的なやり取
りや、音声認識機能等に基づく対話を、特定の個人との
間で可能としたものが各種提案されている。

【０００３】

【発明が解決しようとする課題】上記従来のロボット
は、個人との間のコミュニケーションについては比較的
高度な内容をやり取りすることが可能であるが、不特定
多数の観客とのコミュニケーションにおいては、観客の
集団としての反応にきめ細かく対応することが困難で、
ロボットの動作や反応が画一的となってしまう欠点があ
った。

【０００４】本発明の課題は、不特定多数の観客ときめ
細かいやり取りができ、これまでにない斬新なアピール
効果に優れたロボットシステムを提供することにある。

【０００５】

【課題を解決するための手段、作用及び効果】本発明は
観客情報から多様な対応をするロボットに係り、上述の
課題を解決するために、観客に対して所定の動作を行う
ロボットと、そのロボットに行わせるべき複数の動作に
対応する動作データを記憶する動作データ記憶部と、観
客数を検出する観客数検出手段と、その観客数検出手段
により検出された観客数に応じて動作データの所定のも
のを選択するデータ選択手段と、その選択された動作デ
ータに基づいてロボットを制御するロボット制御部とを
含むことを特徴とする。このように構成されたロボット
システムにおいては、観客の数が観客数検出手段により
検出され、ロボットがその観客数に応じた動作を行うの
で、観客の集団としての反応にもきめ細かく的確に対応
することができる。

【０００６】観客数検出手段は、ロボットの周囲に配置
されてそれぞれ観客を検出する複数の光学式センサを含
むものとして構成することができる。この場合、観客を
検出している光学式センサの個数から観客数を検出する
ことができる。光学式センサとしては、反射式あるいは
透過式の赤外線センサが使用できる。また赤外線に代え
て可視光や紫外線を利用するものを用いることができ
る。また、観客を検出することができるものであれば、
光学式センサ以外のセンサ、例えば超音波センサ等を使
用することもできる。また、それらセンサを観客の周囲
に配置する代わりに、ＣＣＤセンサ等の画像センサによ
り観客の集団の像を検出し、その画像データから観客数
を検出するように構成することもできる。

【０００７】一方、観客数検出手段を、観客の反応音を
検出する反応音検出手段とし、その検出された反応音の
音量及び波形の少なくともいずれかに基づいて観客数を
検出するように構成することができる。観客の反応音と
しては、観客の拍手、どよめき音あるいはざわめき音、
笑い声、ブーイング等を使用することができる。このよ
うな反応音検出手段による観客数の検出は、光学式セン
サによる検出と併用することができる。その場合、光学
式センサにより全体の観客の数を検出する一方、反応音
検出手段により特定の反応（例えば拍手等）を行った観
客の数を全体とは区別して検出することができる。そし
て、その反応を行った観客の数に応じて、データ選択手
段によりロボットの動作データを選択するように構成す
ることができる。このようにすれば、観客の特定の反応
の大小に応じてロボットに多様な動作を行わせることが
でき、ひいてはロボットと観客集団との間のコミュニケ
ーション内容をより高度なものとすることが可能とな
る。

【０００８】次に、データ選択手段は、観客数が予め定
められた値を越えて検出された場合には、喜びの動作に
対応する動作データを選択するように構成することがで
きる。また逆に、観客数が予め定められた値を下回って
検出された場合には、落胆、悲しみ又は怒りの動作に対
応する動作データを選択するように構成することもでき
る。これにより、多数の観客とのやり取りにおいて、ロ
ボットに的確な感情表現を行わせることができる。

【０００９】

【実施例】以下、本発明のいくつかの実施例を図面を用
いて説明する。図１は、本発明のロボットシステムの一
構成例を示すものである。ロボットシステム１００は、
ロボット１０１とロボット制御部１０２を備える。

【００１０】ロボット１０１は、図２に示すように、関
節機構３１〜３７で互いに接続された下記の骨格単位を
有する骨格１９を備える。・頭部２０：それぞれ駆動可能な目部２０ａと口部２０
ｃを備え、目部２０ａには明滅可能なランプ２０ｂが配
置される。また、口部２０ｃは開閉駆動可能とされてい
る。ここで、図１に示すように、口部２０ｃの開閉駆動
は口部開閉制御部１１１により、ランプ２０ｂの明滅は
ランプ点灯制御部１１２によりそれぞれ制御される。ま
た、口部２０ｃに対応して、ロボット１０２がメッセー
ジ等を音声出力するためのスピーカ１１５が設けられ、
これにアンプ１１４及び音声合成部１１３が接続されて
いる。また、口部２０ｃの開閉は、スピーカ１１５から
の音声出力と同期して制御されるようになっている。な
お、スピーカ１１５はロボット１０１と一体に設けて
も、ロボット１０１と分離して設けても、いずれでもよ
い。・肩２１、背骨２２、腰骨２３：これらは、互いに結合
されて胴体部を形成している。・左右の腕部：それぞれ上腕骨２４、下腕骨２５、手首
２９を備える。・左右の脚部：それぞれ上肢骨２６、下肢骨２７、足首
３０を備える。ここで、各骨格単位は、関節機構３１〜３７に設けられ
たパルスモータ、サーボモータ、ピストンシリンダ等の
骨格駆動アクチュエータ１１０（図１）により駆動さ
れ、その駆動制御は図１の骨格駆動制御部１０９が行
う。

【００１１】次に、図１に戻って、ロボット制御部１０
２は、Ｉ／Ｏポート１５０と、これに接続されるＣＰＵ
１５１、ＲＡＭ１５２、ＲＯＭ１５３等を備える。Ｉ／
Ｏポート１５０には、マイク１０５がアンプ１０４及び
Ａ／Ｄ変換器１０３を介して接続されている。このマイ
ク１０５は、例えば図３に示すように、ホールやイベン
ト会場等において、ロボット１０１の動作の場となる舞
台２５０の上方に設置され、観客席２５１に収容された
観客２５２からの反応音２５３を検出する。

【００１２】図１に戻り、Ｉ／Ｏポート１５０には、光
学式センサとしての赤外線センサ１０８と、それに接続
されたアンプ１０７及びＡ／Ｄ変換器１０６の組とが複
数接続されている。そして図４に示すように、それら赤
外線センサ１０８が、舞台２５０あるいは観客席２５１
に適宜分散して配置され、それぞれその検出範囲内に観
客２５２が存在するか否かを検出する。ここで、各赤外
線センサ１０８は、センサ１つにつき５ないし１０人の
観客２５２が対応するように、その配置間隔及び感度が
調整される。

【００１３】図１に戻り、Ｉ／Ｏポート１５０には、前
述の骨格駆動制御部１０９、口部開閉制御部１１１、ラ
ンプ点灯制御部１１２、音声合成部１１３が接続され
る。

【００１４】また、ＲＯＭ１５３には、以下の各プログ
ラムとデータが格納されている。 (1)人数判定プログラム(I)１６０：赤外線センサ１０８
（図４）の検出結果に基づいて観客数Ｎを算出する。 (2)人数判定プログラム(II)１６１：マイク１０５（図
３）が検出する観客の反応音に基づいて、その反応音を
発する観客の数Ｍを算出する。 (3)ロボット駆動制御プログラム１６２：人数判定プロ
グラム(I)及び(II)が算出した観客数Ｎ及びＭに応じ
て、図２に示す骨格１９及び口部２０ｃの駆動、ランプ
２０ｂの明滅、さらにスピーカ１１５からの音声出力を
制御し、ロボット１０１に所定の動作を行わせる。

【００１５】(4)「拍手」標準波形データ１６３、「笑
い」標準波形データ１６４、「ブーイング」標準波形デ
ータ１６５：各種観客人数における、観客の「拍手」
音、「笑い」音、「ブーイング」音の標準波形データを
それぞれ与える。マイク１０５が検出する観客の反応音
の種類とその人数を判定するための、参照用データとし
ての役割を果たす（なお、以下の説明では、反応音を拍
手音で代表させる）。図５に、「拍手」標準波形データ
１６３の構成例を示しており、５〜２００人の各種人数
の観客による拍手音の波形データが含まれている。

【００１６】(5)ロボット駆動データ１６６：ロボット
１０１に定められた動作を実行させるための、各骨格駆
動アクチュエータ１１０の駆動データを与える。その動
作の種類に応じて複数のデータが用意されており、例え
ば「喜び」動作データ１６６ａ、「落胆」動作データ１
６６ｂ、「怒り」動作データ１６６ｃ、さらには「自
慢」動作データ、「悲しみ」動作データ等のロボットの
感情表現に関連した動作データの他、それ以外の動作デ
ータ、例えば音楽に合わせて踊る動作のデータ等を含
む。

【００１７】ここで、上記動作データにより実現される
ロボットの動作は、具体的に次のようなものを例示する
ことができる。・「喜び」動作：両腕を広げる、万歳をする、マイクを
勢いよく取って歌いだす、マイクを持った腕を振り上げ
る等。・「落胆」動作：うつむいて落胆するポーズをとる、手
を後に組んでとぼとぼ歩く、マイクをゆっくり取ってし
ぶしぶ歌いだす等。・「怒り」動作：地団駄を踏む、頭をかきむしる、そば
にある物を蹴り上げる等。・「悲しみ」動作：両手で顔を覆いうずくまる、肩をし
ゃくり上げて泣く等。・「自慢」動作：両手を腰に当てて胸をそらせる等。

【００１８】(6)音声データ１６７：上述のロボットの
動作に合わせて、スピーカ１１５から出力するロボット
音声のデータを与え、メッセージデータ１６７ａ、歌声
データ１６７ｂ、その歌声の伴奏音を作るためのカラオ
ケデータ１６７ｃ等を含む。図６にメッセージデータ１
６７ａの内容を示す。

【００１９】また、ＲＡＭ１５２には、以下の各記憶部
が形成されている。 (1)観客数格納部１５２ａ：赤外線センサ１０８の検出
結果に基づいて算出された観客数Ｎを格納する。 (2)拍手観客数格納部１５２ｂ：マイク１０５の検出結
果に基づいて算出された、拍手した観客の人数（拍手観
客数）Ｍを格納する。 (3)赤外線センサ出力格納部１５２ｃ：人数判定プログ
ラム(I)１６０による観客数Ｎの算出に当り、各赤外線
センサ１０８からの出力データを一時格納する。 (4)波形データ格納部１５２ｄ：人数判定プログラム(I
I)１６１による拍手観客数Ｍの算出に当り、マイク１０
５が検出する音声波形データを一時格納する。

【００２０】以下、ロボットシステム１の作動とその処
理の流れをフローチャートを用いて説明する。まず、ロ
ボット駆動制御プログラム（以下、駆動制御プログラム
という）１６２（図１）の起動に伴い、図７のS1におい
て、舞台２５０に登場する動作をロボット１０１に行わ
せる。次に、S2で人数判定プログラム(I)１６０により
算出された人数データＮを読み込む。

【００２１】図１０は、人数判定プログラム(I)１６０
により、観客数Ｎを算出する処理の流れを示しており、
R1で各赤外線センサ１０８（図４等）の出力データを読
み込む。そして、出力が所定の値Ｑ以上のセンサは観客
を検出しているとみなして、その条件を満たすセンサの
個数Ｐを算出する（R2）。そして、センサ１つにつきＳ
人の観客を検出しているものとして、観客数Ｎ＝Ｐ×Ｓ
を算出し、その値をＲＡＭ１５２の観客数格納部１５２
ａに格納する。

【００２２】駆動制御プログラム１６２では図７のS3に
進み、観客数Ｎが１００を越えているかどうかによって
以下の処理が決定される。Ｎが１００を越えている場合
は、ロボット１０１に「喜び」動作を行わせる。すなわ
ち、S4でロボット１０１に両腕を広げさせ、S5でメッセ
ージ２０９（図６）をスピーカ１１５（図１）から出力
させる。すなわち、ロボット１０１は両腕を広げながら
「うわあ。すごいお客さんだ。ようし、今日はがんばる
ぞ。」という音声を発することとなる。そして、S6、S7
において、ロボット１０１がマイクを勢いよく取り上
げ、「それでは今週の第１きょくー。」という音声を発
する処理が行われ、さらに図８のS12、S13に進み、ロボ
ット１０１がマイクを持って踊りながらカラオケ音楽に
合わせて歌う処理が行われる。

【００２３】一方、S3においてＮが１００以下であった
場合は、S8〜S11の「落胆」動作の処理となる。これに
よりロボット１０１は、うつむいて落胆のポーズを取
り、「なあんだ。今日はこれだけか。お客さんいないと
淋しいなあ。」と発声し、さらに「しょうがない、今日
は１曲だけにしよ。」と発声しながらゆっくりとマイク
を取り上げ、しぶしぶ歌い始める動作を経て図８のS12
に進む。

【００２４】次に、S14で曲が終了すると、人数判定プ
ログラム(II)１６１により算出された拍手人数データＭ
が読み込まれる(S15)。図１１は人数判定プログラム(I
I)１６１より、拍手観客数Ｍを算出する処理の流れを示
しており、マイク１０５による拍手音の測定波形出力を
読み込み、これを図５の「拍手」標準波形データ１６３
と照合する（T1、T2）。そして、測定波形に最も近い標
準波形がどれであるかを判定し、その標準波形に対応す
る観客人数から拍手観客数Ｍを決定して、ＲＡＭ１５２
の拍手観客数格納部１５２ｂに格納する（T3、T4）。な
お、人数別の標準波形データを使用する代わりに、拍手
音の音量に基づいて、拍手観客数Ｍを算出するようにし
てもよい。

【００２５】そして図８に戻り、駆動制御プログラム１
６２側では、読み込んだ拍手観客数Ｍが１００を越えて
いる場合には「喜び」動作処理となり（S17、S18）、ロ
ボット１０１はマイクを持った腕を振り上げて「すごい
や。オレってプロかもしれない」と発声し、処理を終了
する。一方、Ｍが１００以下の場合は「悲しみ」動作処
理となり（S19、S20）、ロボット１０１は両手で顔を覆
ってうずくまり、「一生懸命歌ったのに。あんまりだ。
エーン。」という泣き声を発することとなる。

【００２６】ここで拍手観客数Ｍに複数の範囲を設定
し、その範囲に応じてロボット１０１に異なる動作を行
わせるようにすることもできる。例えば、図８のS16〜S
20を図９のS112〜S120に差し替えることにより、次のよ
うな処理が可能となる。すなわち、拍手観客数Ｍは、５
０未満、５０〜１００、及び１００以上の３範囲に分割
され（S112、S115、S118）、それぞれ、地団駄を踏んで
「拍手が小さい」と発声する「怒り」動作（S113、S11
4）、頭をかきむしりながら地団駄を踏んで「まだまだ
拍手が小さい」と発声する別の「怒り」動作（S116、S1
17）、及び両手を腰に当てて胸をそらせ、「えっへん。
どんなもんだ。このくらい拍手がなくっちゃな。」と発
声する「自慢」動作（S119、S120）が行われるようにな
っている。そして、観客２５２からの拍手が段階的に大
きくなる場合は、その段階的に大きくなる拍手を間に挟
んで上記３動作及び発声が連続して行われるように処理
が行われ、ロボット１０１と観客２５２との間でのユー
モラスなやり取りが実現する。

【００２７】一方、拍手音に代えて他の反応音、例えば
「ブーイング」音を使用する場合、ブーイングを発した
観客数が一定の値を超えたときに、ロボット１０１に
「怒り」動作を行わせるなど、拍手音を使用する場合と
は逆の処理を行うようにすることができる。

【００２８】次に、図１に示すように、観客数検出手段
として、赤外線センサ１０８に代えて、あるいは赤外線
センサ１０８とともに、画像センサとしての２次元ＣＣ
Ｄセンサ（以下、単にＣＣＤセンサという）１２０（あ
るいはＣＣＤカメラ）を設けることができる。ＣＣＤセ
ンサ１２０は、シーケンサ１２１、アンプ１２２、Ａ／
Ｄ変換器１２３、及びセンサ出力を２値化するための比
較器１２４を備えたセンサコントローラ１１９を介して
Ｉ／Ｏポート１５０に接続される。このようなＣＣＤセ
ンサ１２０が、例えば図１２に示すように、舞台２５０
上方の、観客席２５１を見込む位置に据え付けられ、図
１３に示すように、観客席２５１に着席した観客２５２
の集団の画像を検出する。ここで、観客席２５１は、全
体を黒ないし白等の明暗のはっきりした色彩で均一に着
色しておくことが望ましい。例えば、図１３に示すよう
に、観客席２５１を黒で着色しておけば、ＣＣＤセンサ
１２０による観客２５２の像は、背景の観客席２５１よ
りも明るく表れるので、像検出視野１２０ａの面積に対
する観客２５２の像の合計面積の比率から観客数Ｎを検
出することができる。

【００２９】なお、以上説明した実施例においては、観
客数Ｎあるいは拍手観客数Ｍを、観客の絶対数を示すも
のとして、ロボットの動作決定の処理に使用している
が、これらは必ずしも観客の絶対数を示すものとする必
要はなく、観客数の大小を相対的に示すものであっても
よい。例えば、観客を検出している赤外線センサ１０８
の個数Ｐそのものを、ロボットの動作決定処理に使用し
てもよい。

【図面の簡単な説明】

【図１】本発明のロボットシステムの全体構成を示すブ
ロック図。

【図２】ロボット骨格の模式図。

【図３】マイクの配置状態を示す側面模式図。

【図４】赤外線センサの配置状態を示す平面模式図。

【図５】「拍手」標準波形データの構成説明図。

【図６】メッセージデータの構成説明図。

【図７】ロボット駆動制御プログラムの流れを示すフロ
ーチャート。

【図８】図７のＡに続くフローチャート。

【図９】図８の一部を置き換えるためのフローチャー
ト。

【図１０】人数判定プログラム(I)による処理の流れを
示すフローチャート。

【図１１】人数判定プログラム(II)による処理の流れを
示すフローチャート。

【図１２】画像センサの配置状態を示す側面模式図。

【図１３】画像センサによる観客の像を示す模式図。

【符号の説明】

１００ロボットシステム１０１ロボット１０２ロボット制御部１０５マイク（反応音検出手段）１０８赤外線センサ（観客数検出手段、光学式セン
サ）１２０２次元ＣＣＤセンサ（観客数検出手段）１５３ＲＯＭ（動作データ記憶部）２５２観客

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ１０Ｌ 3/00 ５５１Ｇ０６Ｆ 15/62 ３８０

Claims

【特許請求の範囲】

【請求項１】観客に対して所定の動作を行うロボット
と、そのロボットに行わせるべき複数の動作に対応する動作
データを記憶する動作データ記憶部と、観客数を検出する観客数検出手段と、その観客数検出手段により検出された観客数に応じて、
前記動作データの所定のものを選択するデータ選択手段
と、その選択された動作データに基づいて前記ロボットを制
御するロボット制御部と、を含むことを特徴とする不特定多数の観客の反応に対応
するロボットシステム。
【請求項２】前記観客数検出手段は、ロボットの周囲
に配置されてそれぞれ観客を検出する複数の光学式セン
サを含むものである請求項１記載のロボットシステム。
【請求項３】前記観客数検出手段は、観客の反応音を
検出する反応音検出手段を備え、その検出された反応音
の音量及び波形の少なくともいずれかに基づいて前記観
客数を検出するものである請求項１又は２に記載のロボ
ットシステム。
【請求項４】前記データ選択手段は、前記観客数が予
め定められた値を越えて検出された場合には、喜びの動
作に対応する動作データを選択するものである請求項１
ないし３のいずれかに記載のロボットシステム。
【請求項５】前記データ選択手段は、前記観客数が予
め定められた値を下回って検出された場合には、落胆、
悲しみ又は怒りの動作に対応する動作データを選択する
ものである請求項１ないし４のいずれかに記載のロボッ
トシステム。