JP3526785B2

JP3526785B2 - 意思伝達装置

Info

Publication number: JP3526785B2
Application number: JP15428499A
Authority: JP
Inventors: 富夫渡辺; 浩基小川
Original assignee: インタロボット株式会社
Priority date: 1999-06-01
Filing date: 1999-06-01
Publication date: 2004-05-17
Anticipated expiration: 2019-06-01
Also published as: JP2000349920A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、話し手と聞き手と
の役割が入れ代わりながら続けられる対人間の意思疎
通、例えば電話器を通じた会話がより円滑又は親密にな
るようにする意思伝達装置に関する。

【０００２】

【従来の技術】話し手と聞き手との役割が入れ代わりな
がら続けられる対人間の会話には、直接対面してのほ
か、互いに姿を見ることなく音声のみでなされる場合、
例えば電話器を通じた会話がある。会話が互いの意思疎
通を図るものであるとすれば、言葉で意思を伝えること
ができるので、電話器を通じた会話は、必要かつ十分な
会話と見ることができる。現代では、必須の意思疎通手
段として、電話器は広く普及している。しかし、一方で
は人が得る外部情報の多くが視覚であるという事実があ
り、音声だけの電話器は不十分として、近年では、相手
方を視覚化できる電話器、いわゆるテレビ電話器が提案
されている。テレビ電話器は、相手の姿を映像信号によ
り音声信号と共に受信して画像表示装置に相手を写し出
す電話器で、既に実用化され、利用されている。

【０００３】テレビ電話器の画像はもちろん平面であ
り、相手の姿を認識できるが、到底通常の会話のように
相手と対面しているという感じが得られない。そこで、
会話の実感を高める手段として、音声信号に応じて動く
ロボットを備えた電話器、「電話器通達装置」(特公平06-
034489号)が提案されている。この「電話器通達装置」
は、音声信号を入力としてモータを駆動し、目(瞼)又は
口を開閉することにより、あたかもロボットが話してい
る印象を与え、会話の実感を高める。ロボットは、必ず
しも音声と適切な対応関係で目(瞼)又は口を開閉するわ
けではないが、平面画像と異なり、聞き手と同じ空間で
ロボットが話しているかのように与える印象が、より会
話しやすい雰囲気を創り出すのである。

【０００４】

【発明が解決しようとする課題】会話による意思疎通
は、単に音声だけでなく、頭の頷き動作、口の開閉動
作、目の瞬き動作、又は身体の身振り動作等、各種挙動
を互いに認識しながら会話のリズムを共有し、互いが相
手を自分の話の中へと引き込む(これを身体的引き込み
現象又は単に引き込み現象と呼ぶ)ことにより、より円
滑又は親密になる。上記ロボットを用いた特公平06-034
489号の「電話器通達装置」は、前記引き込み現象の発現
を期待して、ロボットに動きを付加している。ところ
が、音声信号を入力としてモータの駆動により得られる
目(瞼)又は口の開閉は、会話のリズムと無関係な動作で
あるから引き込み現象が発現せず、円滑又は親密な意思
疎通が望みにくい欠点がある。

【０００５】また、特公平06-034489号の「電話器通達装
置」は、あくまで話し手の代わりとしてロボットが話し
ている印象を与えるものである。つまり、話し手の話に
対して反応するものではない。このために、話し手とし
て前記「電話器通達装置」を使用した場合、従来の電話器
と変わりがない。これでは、引き込み現象は望むべくも
なく、特公平06-034489号の「電話器通達装置」は立体的
なテレビ電話器の域を出ていない。そこで、引き込み現
象を利用して、より円滑又は親密な意思疎通を図ること
のできる電話器、更には電話器に限らず、話し手と聞き
手との役割が入れ代わりながら続けられる対人間の意思
伝達装置を構築すべく、検討した。

【０００６】

【課題を解決するための手段】検討の結果開発したもの
が、音声送受信部と、聞き手ロボット及び聞き手制御部
と、又は話し手ロボット及び話し手制御部とから構成さ
れ、音声送受信部は会話等の音声信号を送受信し、聞き
手ロボット又は話し手ロボットはこの音声信号に応答し
て頭の頷き動作、口の開閉動作、目の瞬き動作、又は身
体の身振り動作の挙動をし、聞き手制御部は送信部を通
じて送信される音声信号から聞き手ロボットの挙動を決
定してこの聞き手ロボットを作動させ、話し手制御部は
受信部で受信した音声信号から話し手ロボットの挙動を
決定してこの話し手ロボットを作動させる意思伝達装置
(ロボット個別型)である。

【０００７】この意思伝達装置(ロボット個別型)は、例
えば電話器に聞き手ロボット又は話し手ロボットを付設
し、受話器に向かって話す声(音声信号)を受けて聞き手
ロボットを作動させたり、受信した声(音声信号)を受け
て話し手ロボットを作動させる。聞き手ロボットは、話
し手としての本人の声を受け、あたかも相手が目前で話
を聞いてくれているように挙動する。これにより、本人
と聞き手ロボットの間に擬似的な会話のリズムの共有が
実現し、聞き手ロボットに対する本人の引き込み現象が
発現し、本人が話しやすい雰囲気の醸成を図る。話し手
ロボットは、電話回線を通じて受信した話し手としての
相手の声を受け、あたかも相手が目前で話しているよう
に挙動する。これにより、話し手ロボットを媒介とした
本人と相手との間で会話のリズムの共有が実現し、相手
に対する本人の引き込み現象を発現して、会話の実感を
高める。

【０００８】ロボット個別型は、話し手又は聞き手に個
別のロボットを割り当てている。しかし、より実際の会
話に近い状態を現出するには、話し手であり、聞き手で
もあるロボットが望ましい。そこで、音声送受信部と、
共用ロボットと、聞き手制御部及び話し手制御部とから
構成され、音声送受信部は会話等の音声信号を送受信
し、共用ロボットはこの音声信号に応答して頭の頷き動
作、口の開閉動作、目の瞬き動作、又は身体の身振り動
作の挙動をし、聞き手制御部は送信部を通じて送信され
る音声信号から聞き手としての共用ロボットの挙動を決
定してこの共用ロボットを作動させ、話し手制御部は受
信部で受信した音声信号から話し手としての共用ロボッ
トの挙動を決定してこの共用ロボットを作動させる意思
伝達装置(ロボット共用型)を開発した。

【０００９】共用ロボットは、話し手としての本人の声
(音声信号)を受けて、あたかも相手が目前で話を聞いて
くれているように挙動する。また、電話回線を通じて受
信した話し手としての相手の声(音声信号)を受けて、あ
たかも相手が目前で話しているように挙動する。こうし
て、共用ロボットを相手とした会話のリズムの共有が実
現し、共用ロボットを媒介とした引き込み現象を発現し
て、会話の実感を高めるのである。

【００１０】ロボット個別型及び共用型は、３次元の挙
動を示すロボットを用いているが、会話のリズムの共有
は平面動画によっても可能である。そこで、音声送受信
部と、聞き手表示部及び聞き手制御部、又は話し手表示
部及び話し手制御部とから構成され、音声送受信部は会
話等の音声信号を送受信し、聞き手表示部又は話し手表
示部はこの音声信号に応答して頭の頷き動作、口の開閉
動作、目の瞬き動作、又は身体の身振り動作の挙動をす
る擬似聞き手を聞き手表示部又は擬似話し手を話し手表
示部に表示し、聞き手制御部は送信部を通じて送信され
る音声信号から擬似聞き手の挙動を決定して聞き手表示
部に表示したこの擬似聞き手を動かし、話し手制御部は
受信部で受信した音声信号から擬似話し手の挙動を決定
して話し手表示部に表示したこの擬似話し手を動かす意
思伝達装置(画像個別型)を開発した。

【００１１】この画像個別型では、例えば電話器に聞き
手表示部又は話し手表示部を付設して、受話器に向かっ
て話す声(音声信号)を受けて聞き手表示部に表示する擬
似聞き手を動かしたり、受信した声(音声信号)を受けて
話し手表示部に表示する擬似話し手を動かす。ここに、
擬似聞き手又は擬似話し手は人間を模写した擬似人格モ
デルであり、アニメーションやCGを用いる。相手の声
(音声信号)の周波数領域に応じて、男性モデルと女性モ
デルとを表示分けしてもよい。擬似聞き手は、話し手と
しての本人の声を受け、あたかも相手が目前で話を聞い
てくれているように動く。これにより、擬似聞き手に対
する本人の引き込み現象が発現し、本人が話しやすい雰
囲気の醸成を図る。擬似話し手は、電話回線を通じて受
信した話し手としての相手の声を受け、あたかも相手が
目前で話しているように動く。これにより、擬似話し手
を媒介とした本人と相手との間で会話のリズムの共有が
実現し、相手に対する本人の引き込み現象を発現して、
会話の実感を高める。

【００１２】平面動画を用いた意思伝達装置では、擬似
話し手及び擬似聞き手を同一空間内に個別表示できれ
ば、空間の共有という視覚効果が、対面で会話している
ような感覚をもたらす。そこで、音声送受信部と、共用
表示部と、聞き手制御部及び話し手制御部とから構成さ
れ、音声送受信部は会話等の音声信号を送受信し、共用
表示部はこの音声信号に応答して頭の頷き動作、口の開
閉動作、目の瞬き動作、又は身体の身振り動作の挙動を
する擬似話し手及び擬似聞き手を同一空間内に個別表示
し、聞き手制御部は送信部を通じて送信される音声信号
から擬似聞き手の挙動を決定して前記共用表示部に表示
したこの擬似聞き手を動かし、話し手制御部は受信部で
受信した音声信号から擬似話し手の挙動を決定して共用
表示部に表示したこの擬似話し手を動かす意思伝達装置
(画像共用型)を開発した。

【００１３】共用表示部は、同一空間(同一画面)内に擬
似話し手及び擬似聞き手を個別表示することにより、共
用表示部内の仮想空間において、相手と空間を共有しな
がら話している感じを醸成する。こうして、擬似話し手
及び擬似聞き手を媒介とした会話のリズムの共有が実現
し、本人及び相手との間で相互の引き込み現象を発現
し、会話の実感を高める。この場合、共用表示部におけ
る擬似聞き手及び擬似話し手の表示形態については様々
ある。例えば、同じ大きさの擬似聞き手及び擬似話し手
を対面関係で横並びにするものが考えられる。好ましく
は、擬似聞き手及び擬似話し手を奥行き方向に並べ、擬
似聞き手は奥行き方向、擬似話し手は手前方向に向けて
おくとよい。

【００１４】上記各意思伝達装置では、ロボット又は擬
似人格が代表する話し手又は聞き手により、本人及び相
手との間の会話のリズムを共有することで、互いに引き
込み現象を発現し、より円滑又は親密な会話を実現す
る。このため、話し手ロボット、聞き手ロボット、話し
手としての共用ロボット、聞き手としての共用ロボッ
ト、擬似話し手、又は擬似聞き手(以下、話し手ロボッ
ト等)の挙動の制御方法が重要となる。本発明では、話
し手ロボット等の挙動は、頭の頷き動作、口の開閉動
作、目の瞬き動作又は身体の身振り動作の選択的な組み
合わせからなり、頷き動作タイミングは音声信号のON/O
FFから推定される頷き予測値が予め定めた頷き閾値を越
えた時点とし、瞬き動作タイミングは前記頷き作動作タ
イミングを起点として経時的に指数分布させた時点と
し、口の開閉動作は音声信号の変化に従い、そして身体
の身振り動作は音声信号の変化に従う又は身体の身振り
動作タイミングは音声信号のON/OFFから推定される頷き
予測値が予め定めた身振り閾値を越えた時点とする。

【００１５】話し手ロボット等の挙動の選択的な組み合
わせは、自由である。例えば、話し手となる挙動の場
合、頷き動作は不自然なので、頷き動作タイミングに頭
は動かさず、この頷き動作タイミングに基づく目の瞬き
動作のみを図る。身体の身振り動作は、頷き動作タイミ
ングを得るアルゴリズムにおいて、頷き閾値より低い値
の身振り閾値を用いて身振り動作タイミングを得る。ま
た、身振り動作は音声信号の変化に従って可動部位を駆
動したり、音声信号に応じて身体の可動部位を選択する
又は予め定めた動作パターン(可動部位の組み合わせ及
び各部の動作量)を選択するとよい。身振り動作におけ
る可動部位又は動作パターンの選択は、頷き動作と身振
り動作との連繋を自然なものにする。このように、本発
明では、口の開閉動作を除き、頷き動作タイミングを中
心に話し手ロボット等の挙動を図る。

【００１６】ここで、頷き動作タイミングは、音声信号
と頷き動作とを線形又は非線形に結合して得られる予測
モデル、例えばMAモデルやニューラルネットワークモデ
ルから得られる頷き予測値(前後に頭部が動く頷きの予
測値、このほか頭部の他の動きを対象とする汎用的な頭
部予測値をも含む)を、予め定めた頷き閾値と比較する
アルゴリズムにより決定する。このアルゴリズムは、音
声信号を経時的な電気信号のON/OFFとして捉えて、この
経時的な電気信号のON/OFFから頷き動作タイミングや身
振り動作タイミングを導き出す。単なる電気信号のON/O
FFを主な基礎とするので計算量が少なく、各制御部に比
較的安価なパソコンを用いても即応性を失わない。そし
て、この電気信号のON/OFFは会話のリズムに起因するも
のであり、引き込み現象を発現しやすい利点がある。こ
のような引き込み現象の発言という観点から鑑みれば、
前記ON/OFFに加えて、経時的な電気信号の変化を示す韻
律や抑揚をも併せて考慮してもよい。

【００１７】本発明に挙げた各意思伝達装置は、各装置
内で音声信号を処理してロボット又は擬似人格を動かす
ものであり、実際に送受信するのは音声信号を基本とす
る。このため、異なる意思伝達装置間、例えば、ロボッ
ト個別型とロボット共用型とを、ロボット個別型聞き手
モデルとロボット個別型話し手モデルとを、ロボット共
用型と動画共用型とを接続する等も可能である。また、
音声信号を扱えれば本発明の効果を得ることができるの
で、留守電のメッセージ再生にも利用できる。更に、フ
ァックス、手紙又は電子メールで送られる文書(データ
信号)から音声合成して、相手が本人に向かって話して
いる雰囲気を醸成することもできる。すなわち、上記各
意思伝達装置において、音声送受信部に代えてデータ送
受信部とデータ変換部とから構成され、データ送受信部
は文書等のデータ信号を送受信し、データ変換部は前記
データ送受信部で送受信したデータ信号から音声信号を
合成し、この音声信号を話し手制御部又は聞き手制御部
に供する。本発明は、音声信号を経時的な電気信号のON
/OFFとして捉え、頷き動作タイミング等を導き出すの
で、たとえ合成した声(音声信号)であっても適切な挙動
を得ることが容易で、会話のリズムの共有、そして引き
込み現象を発現できる。

【００１８】

【発明の実施の形態】以下、本発明の実施形態につい
て、図を参照しながら説明する。図１は本発明を電話器
に適用したロボット共用型意思伝達装置１同士を接続し
た例の構成図、図２は同装置に用いる共用ロボット２の
一例を表した正面図、図３は話し手制御部３における制
御フローであり、図４は聞き手制御部４における制御フ
ローである。本発明の意思伝達装置は、対面した対人間
よりも、互いの姿を見ることができない対人間での会話
を円滑又は親密にすることに適している。そこで、以下
では主として電話器に適用した場合を例に挙げる。

【００１９】図１に示した意思伝達装置１は、話し手又
は聞き手として振る舞う共用ロボット２と、話し手制御
部３、聞き手制御部４及び音声送受信部９とから構成す
る。このうち、各制御部３,４及び音声送受信部９は、
一体としてコンピュータにより構成してもよいし、従来
の電話器を音声送受信部９として別途コンピュータによ
る各制御部３,４を追加する構成であってもよい。各制
御部３,４いずれかのみを設けるか、各制御部３,４を個
別に作動停止できる構成であれば、話し手制御部３及び
話し手ロボット５のみのロボット個別型話し手モデルの
意思伝達装置６(後掲図５参照)、聞き手制御部４及び聞
き手ロボット７のみのロボット個別型聞き手モデルの意
思伝達装置８(後掲図６参照)となる。

【００２０】図１中破線内が本発明の意思伝達装置１に
相当し、従来同様の電話器の機能は音声送受信部９が担
う。本人(図１中左)の声(音声信号)は受話器から、相手
(図１中右)の声(音声信号)は電話回線を通じて聞き手制
御部４及び話し手制御部３に入力される。ここで、入力
された音声信号が本人の声(音声信号)ならば聞き手制御
部４が働き、共用ロボット２は聞き手ロボットとして振
る舞う。また、音声信号が相手の声(音声信号)ならば、
話し手制御部３が働いて、共用ロボット２は話し手ロボ
ットとして振る舞う。本例における共用ロボット２は、
図２に見られるように、上半身のみで、頭(首)10、腕1
1、腰12が動き、目(瞼)13及び口14が開閉する。各部の
駆動源には、エアシリンダ、モータ等(図示せず)を適宜
利用でき、これら駆動源を聞き手制御部４又は話し手制
御部３が制御する。

【００２１】話し手としての共用ロボット２の制御は、
図３に示す制御フローに沿う。電話回線を通じて送受信
部９に送られてきた相手の声(音声信号)は、受話器を通
じて本人へと送られるほか、話し手制御部３に送られ
る。本発明の特徴は、音声信号を時系列的な電気信号の
ON/OFFとして捉え、この電気信号のON/OFFから頷き動作
タイミングを判断し、ロボット２の各部９,10,11,12,1
3,14を動作させる(図２参照)点にある。このために、ま
ず音声信号から頷き動作タイミングの推定を図る(頷き
推定)。本例では、頷き動作を広く頭部の動作として捉
え、音声信号と前記頷き動作とを線形結合する予測モデ
ルとしてMAモデルを用いている。この頷き推定では、経
時的に変化する音声信号に基づいて、刻々と変化する頷
き予測値(本例では頭部の動作として捉えているので、
特に頭部予測値と呼ぶこともできる)がリアルタイムに
計算される。ここで、頷き予測値と予め設定した頷き閾
値とを比較し、頷き予測値が頷き閾値を越えた場合を頷
き動作タイミングとする(図２参照)。

【００２２】話し手としてのロボット２は、頷き動作は
不自然であるために実行せず、得られた頷き動作タイミ
ングを目13の瞬き動作に利用する。具体的には、最初に
得られた頷き動作タイミングと同時に最初の瞬き動作タ
イミングを設定し、以後は最初の瞬き動作タイミング
(＝最初の頷き動作タイミング)を起点として、経時的に
指数分布させた次回以降の瞬き動作タイミングを得る。
このように、頭10の頷き動作タイミングを基準としなが
ら、自然な瞬き動作を実現できる。口14の開閉動作は、
音声信号を入力とするエアシリンダ又はモータの駆動に
より実現する。

【００２３】身振り動作は、基本的には頷き推定と同じ
アルゴリズムを用いるが、頷き閾値よりも低い身振り閾
値を用いることで、頷き動作よりも頻繁に実行する。加
えて、本例では、腕11、腰12等の身体各部の可動部位を
組み合わせた動作パターンを予め複数作っておき、これ
ら複数の動作パターンの中から身振り動作タイミング毎
に動作パターンを選択して実行している。また、腕11に
ついては、音声信号の変化に従って腕11の可動部を作動
させると、身振り動作に強弱をつけることができて好ま
しい。このような動作パターンの選択は、身振り動作を
自然に見せる。このほか、可動部位を選択して個別又は
連係して作動させてもよい。更に、音声信号を言語解析
して、言葉の意味付けによる身振り動作の制御も考えら
れる。

【００２４】聞き手としての共用ロボット２の制御は、
図４に示す制御フローに沿う。受話器を通じて送受信部
に送られた本人の声(音声信号)は、電話回線により相手
の意思伝達装置１における送受信部９へと送られ、相手
の受話器(図示せず)及び聞き手制御部４それぞれへ分岐
する。基本的には、話し手制御部３における制御フロー
と同一であるが、聞き手制御部４では、会話のリズムを
共有して引き込み現象を発現させるため、必要な頭10の
頷き動作を実行すると共に、不自然な振る舞いとなる口
14の開閉動作は実施しない。話し手と聞き手とでは同じ
音声信号でも振る舞いが異なると考えられるため、各制
御部３,４における頷き閾値や身振り閾値は異なる数値
であってもよい。また、装置としてのコストを考えた場
合、話し手制御部３と聞き手制御部４を兼用し、音声信
号の入力の区別に従って、内部的に制御フローを使い分
けるようにしてもよい。

【００２５】図１に示した例は、図１中右に位置する相
手が話し手となり、図１中左に位置する本人が聞き手の
場合を想定している。共用ロボット２、話し手制御部
３、聞き手制御部４及び音声送受信部９からなるロボッ
ト共用型意思伝達装置１は、図１から明らかなように対
称構造で配置されているので、本人が話し手となり、相
手が聞き手となれば、音声信号の流れ(図１中矢印)は逆
になる。この例では、共用ロボット２を用いて話し手及
び聞き手を切り替えているため、本人と相手とが同時に
話し始めた場合、話し手制御部３と聞き手制御部４とが
同時に作動することも考えられる。この場合、いずれの
制御フローが優先するかを予め決めておけばよい。

【００２６】図５はロボット個別型話し手モデルの意思
伝達装置６の構成図であり、図６はロボット個別型聞き
手モデルの意思伝達装置７の構成図である。本発明は、
会話のリズムを共有することで会話当事者が互いに引き
込み現象を発現し、円滑又は親密な会話を実現すること
を目的としている。これは、話し手又は聞き手となる共
用ロボットを用いることで最も達成されるが、話し手ロ
ボット又は聞き手ロボットのみでも引き込み現象を発現
させ、実感のより高い会話を実現することができる。話
し手ロボット５のみを用いた場合(図５)、相手を目前に
して話を聞く感覚をもたらして、話し手ロボット５を媒
介として本人を相手に引き込む。また、聞き手ロボット
７のみを用いた場合(図６)、本人が聞き手ロボット７を
相手に見立てて会話のリズムを作り出し、相手を引き込
みやすい話(会話のリズムに乗せやすい話)をすることが
できる。

【００２７】本発明の意思伝達装置は、ロボットを用い
た上記各システムに限らず構築することは可能であり、
また様々な応用も考えられる。図７は画像共用型意思伝
達装置15,15同士を接続した例の構成図、図８はロボッ
ト共用型意思伝達装置１と画像共用型意思伝達装置15と
を接続した例の構成図、図９は音声信号に代えて電子メ
ール等のデータ信号を送受信するパソコンにロボット個
別型話し手モデルの意思伝達装置６を適用した例の構成
図、図10はロボット個別型話し手モデルの意思伝達装置
６に留守電機能を付加した例の構成図であり、図11はロ
ボット個別型聞き手モデルの意思伝達装置８を音声入力
装置として応用した例の構成図である。

【００２８】図７の例は、図１相当の意思伝達装置にお
いて、共用ロボットを共用表示部16に置き換えたもの
で、話し手又は聞き手の制御フローは同一である。本人
側の共用表示部16には、本人を手前に奥行き方向に向け
て(画面上は背面が映る)、相手を奥側に手前方向に向け
て(画面上は正面を向く)、両者を同一画面内に表示して
いる。本例では、更に奥行き感を表現するために、手前
に位置する本人を大きく、奥に位置する相手を小さく表
示している。相手側の共用表示部16では前記表示関係が
逆になる。画像個別型意思伝達装置の場合、相手を模し
た擬似人格(擬似話し手又は擬似聞き手)を単一表示し、
正面を向ける。話し手制御部３又は聞き手制御部４は、
上述の制御フローに従って、アニメーション表示された
本人又は相手を模した擬似人格を動かす。共用表示部16
はモニタや液晶ディスプレイを用いて構成する仮想的な
会話の共有空間であり、本人又は相手それぞれが各共用
表示部16を見ることによって会話のリズムを共有し、引
き込み現象を発現させる。この点が、単に相手を表示す
るテレビ電話と異なる。

【００２９】各例は、電話器への本発明の適用例であ
り、受話器又は電話回線を通じて入力される音声信号に
対応してそれぞれロボット又は表示部内の擬似人格(話
し手又は聞き手)を動かす。しかし、装置間の送受信は
従来の電話器と同じ音声信号であり、本発明の様々なタ
イプの意思伝達装置だけでなく、従来の電話器と意思伝
達装置とを接続することもできる。例えば、図８に見ら
れるように、ロボット共用型意思伝達装置１と画像共用
型意思伝達装置15との間でも、会話することができる。
また、図示を省略するが、ロボット個別型意思伝達装置
における話し手モデル又は聞き手モデルとロボット共用
型意思伝達装置との間、更にはロボット個別型話し手モ
デルの意思伝達装置と画像個別型話し手モデルの意思伝
達装置との間等、様々の組み合わせが考えられる。これ
ら異種類の意思伝達装置又は従来の電話器との接続にあ
っては、それぞれの装置構成に従って、本人又は相手に
引き込み現象を発現させるのである。

【００３０】このほか、本発明の意思伝達装置は、音声
信号を取り扱う点に着目して、更に広範囲の利用が創造
できる。図９は電子メールを送受信するパソコンにロボ
ット個別型話し手モデルの意思伝達装置６を適用し、受
信したメール内容(データ信号)から音声合成して話し手
ロボット５を動かしながらメールを読み上げる例の構成
図、図10は留守電機能を有する電話器にロボット個別型
話し手モデルの意思伝達装置６を適用し、録音しておい
た音声信号を再生しながら話し手ロボット５を動かす例
の構成図である。いずれも、音声信号を直接的ではな
く、音声合成(図９)又は録音しておいた音声信号の再生
(図10)といった間接的な利用である。

【００３１】現在、インターネット上での電子メールの
やり取りが盛んになっている。この電子メールは、パソ
コンからテキストデータを入力し、データ信号として送
受信して、ディスプレイ上で読む利用形態が通常であ
る。本発明は、図９に見られるように、データ送受信部
18にて受信した電子メールをデータ変換部19において音
声合成して読み上げると共に、音声合成によって得られ
た音声信号を用いて話し手ロボット５を動かすのであ
る。この例では、破線内がコンピュータから構成する意
思伝達装置６に相当し、各部はハード的又はソフト的に
構成する。ディスプレイ上で黙読する従来の電子メール
とは異なり、声をもって読み上げられると共に、話し手
ロボット５が動くことにより引き込み現象を発現させ、
より会話の実感を伴う電子メールによる意思伝達を可能
にする。話し手制御部３における制御フローは、図２に
見られるように、音声信号を電気信号のON/OFFとして捉
えるので、音声合成による抑揚が少し不自然な機械的な
音声信号であっても、話し手ロボット５の振る舞いを不
自然にしない。こうして、話し手ロボット５の存在は、
音声合成をより実感のある会話の一部として再現する効
果を有する。

【００３２】このように、時間的にずれのある場合で
も、本発明の意思伝達装置を利用すれば、音声信号を媒
介として会話の実感を伴う意思伝達が可能になる。図10
の例は、基本構成は図５のシステム構成と変わらない
が、相手からの送られた音声信号を一度音声記憶部17に
録音し、後ほど録音した音声信号を再生しながら話し手
ロボット５を動かすことで、時間的にずれた意思伝達に
おける会話の実感を高めるようにしている。いわゆる留
守電機能への本発明の適用である。従来の留守電機能
は、相手方において対話者のいない一方話になり、実感
のある意思伝達が難しかったが、本発明を利用すれば、
引き込み現象を発現してより親密な意思伝達を可能にす
る。本例の意思伝達装置６は、通信回線を接続しない単
独形態で使用することにより、いわゆる伝言装置として
利用できる。

【００３３】特殊な応用例として、音声入力装置への本
発明の適用を挙げることができる。図11は電子メールを
送受信するパソコンにロボット個別型聞き手モデルの意
思伝達装置８を適用し、本人の声(音声信号)から電子メ
ールのメール内容(データ信号)を音声入力する際に、本
人の声によって聞き手ロボット７を動かす例の構成図で
ある。この例では、破線内がコンピュータから構成する
意思伝達装置８に相当し、各部はハード的又はソフト的
に構成する。図９の例とは逆に、送信する電子メールの
作成の際に、テキストデータ(データ信号)を音声信号か
ら作成する音声入力方式とし、この音声信号に従って聞
き手ロボット７を動かす。電子メールを作成する本人
は、聞き手ロボット７の動きによってあたかも会話をし
ているように感覚にとらわる引き込み現象を受け、実際
の会話に近い雰囲気の中で電子メールを作成することが
できる。データ信号の送受信をなくせば、聞き手ロボッ
ト７は、本人の声に反応する玩具のように振る舞うこと
もできる。

【００３４】

【発明の効果】本発明の意思伝達装置により、電話のよ
うに音声信号のやりとりだけの会話において、会話のリ
ズムの共有を実現し、引き込み現象を発現させて、より
円滑又は親密な意思疎通を図ることができるようにな
る。会話のリズムが共有できず、引き込み現象が発現し
ない会話では、会話自体がつまらなくなるだけでなく、
本来伝達したい意思さえも十分に伝達できなくなった
り、つい言い忘れてしまったりする虞がある。本発明の
意思伝達装置は、対話者それぞれに積極的な発言を促す
ことで、十分な意思伝達を図り、言い忘れのない会話を
実現できるのである。

【００３５】会話を、話し手と聞き手との役割が入れ代
わりながら続けられる対人間の意思疎通と捉えることに
より、話し手及び聞き手それぞれに適切に会話のリズム
の共有を図り、引き込み現象をもたらすことができる。
そして、このように話し手と聞き手とを分離することに
よって、本発明の応用範囲を、留守電、メール等の送受
信、音声入力又は声に反応する玩具等にまで拡大するこ
とができる。相手が存在しない場合や、時間的なずれが
ある場合には、本発明の意思伝達装置は、よりよい意思
伝達を促す補助装置として働き、いわゆる一方話的な会
話を減らすことができるのである。

【図面の簡単な説明】

【図１】本発明を電話器に適用したロボット共用型意思
伝達装置同士を接続した例の構成図である。

【図２】同装置に用いるロボットの一例を表した正面図
である。

【図３】話し手制御部における制御フローチャートであ
る。

【図４】聞き手制御部における制御フローチャートであ
る。

【図５】ロボット個別型話し手モデルの意思伝達装置の
構成図である。

【図６】ロボット個別型聞き手モデルの意思伝達装置の
構成図である。

【図７】画像共用型の意思伝達装置同士を接続した例の
構成図である。

【図８】ロボット共用型意思伝達装置と画像共用型意思
伝達装置とを接続した例の構成図である。

【図９】音声信号に代えて電子メール等のデータ信号を
送受信するパソコンにロボット個別型話し手モデルの意
思伝達装置を適用した例の構成図である。

【図10】ロボット個別型話し手モデルの意思伝達装置に
留守電機能を付加した例の構成図である。

【図11】ロボット個別型聞き手モデルの意思伝達装置を
音声入力装置として応用した例の構成図である。

【符号の説明】１ロボット共用型意思伝達装置２共用ロボット３話し手制御部４聞き手制御部５話し手ロボット６ロボット個別型話し手モデルの意思伝達装置７聞き手ロボット８ロボット個別型聞き手モデルの意思伝達装置９音声送受信部 15 画像共用型意思伝達装置 16 共用表示部 17 音声記憶部 18 データ送受信部 19 データ変換部

フロントページの続き (56)参考文献特開平７−302351（ＪＰ，Ａ) 特公平６−34489（ＪＰ，Ｂ２) ＫｏｉｃｈｉＹａｔｓｕｋａ，ＡＲｏｂｏｔＬｉｓｔｅｎｅｒｆｏｒＦｌｕｅｎｔＶｅｒｂａｌＣｏｍｍｕｎｉｃａｔｉｏｎ，Ｐｒｏｃ．ｏｆ６ｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＲｏｂｏｔａｎｄＨｕｍａｎＣｏｍｍｕｎｉｃａｔｏｎ，1997年，408 −411 渡辺富夫，音声対話システムにおけるヒューマン・インタフェース −引き込みを中心として，情報処理学会研究報告，日本，1996年，96−ＨＩ−65，27− 32 (58)調査した分野(Int.Cl.⁷，ＤＢ名) A63H 1/00 - 37/00 H04M 1/02 - 1/23 H04M 11/00 - 11/10

Claims

(57)【特許請求の範囲】

【請求項１】音声送信部と、聞き手ロボットと、聞き
手制御部とから構成され、音声送信部は本人から受話器
を通じて会話等の音声信号を電話回線により相手の意思
伝達装置へ送信し、聞き手ロボットは該音声信号に応答
して作動し、聞き手制御部は音声送信部を通じて送信さ
れる音声信号から聞き手ロボットの挙動を決定して該聞
き手ロボットを動かす意思伝達装置において、聞き手ロ
ボットの挙動は頭の頷き動作、目の瞬き動作又は身体の
身振り動作の選択的な組み合わせからなり、聞き手制御
部は、音声信号のON/OFFから推定される頷き予測値が予
め定めた頷き閾値を越えた時点を頭の頷き動作の頷き動
作タイミングとし、該頷き動作タイミングで聞き手ロボ
ットの頷き動作を実行させ、前記頷き動作タイミングを
起点として経時的に指数分布させた時点を目の瞬き動作
の瞬き動作タイミングとし、該瞬き動作タイミングで聞
き手ロボットの瞬き動作を実行させ、そして前記頷き予
測値が予め定めた身振り閾値を越えた時点を身体の身振
り動作の身振り動作タイミングとし、該身振り動作タイ
ミングで聞き手ロボットの身振り動作を実行させること
を特徴とする意思伝達装置。
【請求項２】音声受信部と、話し手ロボットと、話し
手制御部とから構成され、音声受信部は相手の意思伝達
装置から電話回線を通じて会話等の音声信号を受信して
受話器を通じて本人へ送り、話し手ロボットは該音声信
号に応答して作動し、話し手制御部は音声受信部で受信
した音声信号から話し手ロボットの挙動を決定して該話
し手ロボットを動かす意思伝達装置において、話し手ロ
ボットの挙動は口の開閉動作、目の瞬き動作又は身体の
身振り動作の選択的な組み合わせからなり、話し手制御
部は、音声信号のON/OFFから推定される頷き予測値が予
め定めた頷き閾値を越えた時点である頭の頷き動作の頷
き動作タイミングを起点として経時的に指数分布させた
時点を目の瞬き動作の瞬き動作タイミングとし、該瞬き
動作タイミングで話し手ロボットの瞬き動作を実行さ
せ、前記頷き予測値が予め定めた身振り閾値を越えた時
点を身体の身振り動作の身振り動作タイミングとし、該
身振り動作タイミングで話し手ロボットの身振り動作を
実行させることを特徴とする意思伝達装置。
【請求項３】音声送信部と、聞き手表示部と、聞き手
制御部とから構成され、音声送信部は本人から受話器を
通じて会話等の音声信号を電話回線により相手の意思伝
達装置へ送信し、聞き手表示部は該音声信号に応答して
挙動する擬似聞き手を表示し、聞き手制御部は送信部を
通じて送信される音声信号から擬似聞き手の挙動を決定
して該擬似聞き手を動かす意思伝達装置において、擬似
聞き手の挙動は頭の頷き動作、目の瞬き動作又は身体の
身振り動作の選択的な組み合わせからなり、聞き手制御
部は、音声信号のON/OFFから推定される頷き予測値が予
め定めた頷き閾値を越えた時点を頭の頷き動作の頷き動
作タイミングとし、該頷き動作タイミングで擬似聞き手
の頷き動作を実行させ、前記頷き動作タイミングを起点
として経時的に指数分布させた時点を目の瞬き動作の瞬
き動作タイミングとし、該瞬き動作タイミングで擬似聞
き手の瞬き動作を実行させ、そして前記頷き予測値が予
め定めた身振り閾値を越えた時点を身体の身振り動作の
身振り動作タイミングとし、該身振り動作タイミングで
擬似聞き手の身振り動作を実行させることを特徴とする
意思伝達装置。
【請求項４】音声受信部と、話し手表示部と、話し手
制御部とから構成され、音声受信部は相手の意思伝達装
置から電話回線を通じて会話等の音声信号を受信して受
話器を通じて本人へ送り、話し手表示部は該音声信号に
応答して挙動する擬似話し手を表示し、話し手制御部は
音声受信部で受信した音声信号から擬似話し手の挙動を
決定して該擬似話し手を動かす意思伝達装置において、
擬似話し手の挙動は口の開閉動作、目の瞬き動作又は身
体の身振り動作の選択的な組み合わせからなり、話し手
制御部は、音声信号のON/OFFから推定される頷き予測値
が予め定めた頷き閾値を越えた時点である頭の頷き動作
の頷き動作タイミングを起点として経時的に指数分布さ
せた時点を目の瞬き動作の瞬き動作タイミングとし、該
瞬き動作タイミングで擬似話し手の瞬き動作を実行さ
せ、前記頷き予測値が予め定めた身振り閾値を越えた時
点を身体の身振り動作の身振り動作タイミングとし、該
身振り動作タイミングで擬似話し手の身振り動作を実行
させることを特徴とする意思伝達装置。
【請求項５】音声送受信部と、共用表示部と、聞き手
制御部と、話し手制御部とから構成され、音声送受信部
は本人から受話器を通じて会話等の音声信号を電話回線
により相手の意思伝達装置へ送信し、かつ相手の意思伝
達装置から電話回線を通じて会話等の音声信号を受信し
て受話器を通じて本人へ送り、共用表示部は該音声信号
に応答して挙動する擬似話し手及び擬似聞き手を表示
し、聞き手制御部は送信部を通じて送信される音声信号
から擬似聞き手の挙動を決定して該擬似聞き手を動か
し、話し手制御部は受信部で受信した音声信号から擬似
話し手の挙動を決定して該擬似話し手を動かす意思伝達
装置において、共用表示部は擬似話し手及び擬似聞き手
を同一画面内に個別表示してなり、該擬似聞き手の挙動
は頭の頷き動作、目の瞬き動作又は身体の身振り動作の
選択的な組み合わせで、聞き手制御部は、音声信号のON
/OFFから推定される頷き予測値が予め定めた頷き閾値を
越えた時点を頭の頷き動作の頷き動作タイミングとし、
該頷き動作タイミングで擬似聞き手の頷き動作を実行さ
せ、前記頷き動作タイミングを起点として経時的に指数
分布させた時点を目の瞬き動作の瞬き動作タイミングと
し、該瞬き動作タイミングで擬似聞き手の瞬き動作を実
行させ、そして前記頷き予測値が予め定めた身振り閾値
を越えた時点を身体の身振り動作の身振り動作タイミン
グとし、該身振り動作タイミングで擬似聞き手の身振り
動作を実行させ、擬似話し手の挙動は口の開閉動作、目
の瞬き動作又は身体の身振り動作の選択的な組み合わせ
で、話し手制御部は、音声信号のON/OFFから推定される
頷き予測値が予め定めた頷き閾値を越えた時点である頭
の頷き動作の頷き動作タイミングを起点として経時的に
指数分布させた時点を目の瞬き動作の瞬き動作タイミン
グとし、該瞬き動作タイミングで擬似話し手の瞬き動作
を実行させ、前記頷き予測値が予め定めた身振り閾値を
越えた時点を身体の身振り動作の身振り動作タイミング
とし、該身振り動作タイミングで擬似話し手の身振り動
作を実行させることを特徴とする意思伝達装置。