JPWO2013114493A1 - コミュニケーション引き込みシステム、コミュニケーション引き込み方法およびコミュニケーション引き込みプログラム - Google Patents

Abstract

ロボットと人とのコミュニケーションの開始を円滑にすることができるコミュニケーション引き込みシステムを提供することを目的とする。コミュニケーション引き込みシステムは、対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込みシステムであって、対象者の位置を特定する人特定部２００と、特定された対象者の位置に向けて光を移動させる光源制御部２０１と、対象者にロボットの方向を認識させるための引き込み動作の実行を、ロボットに指示する引き込み制御部２０３と、ロボットを対象者が認知したかどうか判断する人認知特定部２０４とを備え、ロボットを対象者が認知したと判断された場合、ロボットに対象者とのコミュニケーションの開始を指示する。

Description

本発明は、人とコミュニケーションをとるロボットに用いられるコミュニケーション引き込みシステムに関する。

ロボットの社会的ニーズは高まっており、人とコミュニケーションをとるロボットが開発されている。そのようなロボットが対話などのコミュニケーションを始める際、コミュニケーションをとる対象者とコミュニケーションを開始するための意思疎通を図る必要がある。

また、二足歩行を行うヒューマノイドロボットおよび車輪により走行する走行ロボット等の移動可能なロボット（以下、移動ロボットと呼ぶ）が開発されている。人とコミュニケーションを取るために、相手に近づく移動ロボットを用いた場合、障害物に衝突する可能性があるなど、安全性に課題がある。そこで、安全性に関する課題を解決するために、特許文献１には、移動ロボットの動作内容の変化に伴って変動する危険範囲を人に視覚的に認識させ、安全性を向上させる技術が開示されている。

また、移動しないロボットであっても、シグナル音を鳴らすなどのアテンションを発したり、音声を発してコミュニケーションをとる対象者の名前を呼びかけたりすることにより、対象者を引き込む技術が考えられる。

特開２００９−１２３０４５号公報

しかし、特許文献１の技術を用いてロボットがコミュニケーションをとる対象者に近づこうとしても、周囲の環境により近づくことが困難である場合がある。例えば、障害物があったり、対象者との距離が離れていたりすると、ロボットが確実に対象者に近づけるとは限らない。

また、移動しないロボットが、シグナル音を鳴らすなどのアテンションを発したとしても、例えば対象者以外の人間が周囲にいた場合、特定の相手にアテンションを伝えることは困難である。また、対象者の名前が分からなければ、対象者の名前を呼びかけることができない。

本発明は、ロボットと人とのコミュニケーションの開始を円滑にすることができるコミュニケーション引き込みシステムを提供することを目的とする。

本発明によるコミュニケーション引き込みシステムは、対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込みシステムであって、前記対象者の位置を特定する人特定部と、特定された前記対象者の位置に向けて光を移動させる光源制御部と、前記対象者に前記ロボットの方向を認識させるための引き込み動作の実行を、前記ロボットに指示する引き込み制御部と、前記ロボットを前記対象者が認知したかどうか判断する人認知特定部とを備え、前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示することを特徴とする。

本発明によるコミュニケーション引き込み方法は、対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込み方法であって、前記対象者の位置を特定し、特定された前記対象者の位置に向けて光を移動させ、前記対象者に前記ロボットの方向を認識させるための引き込み動作の実行を、前記ロボットに指示し、前記ロボットを前記対象者が認知したかどうか判断し、前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示することを特徴とする。

本発明によるコミュニケーション引き込みプログラムは、コンピュータに、対象者とコミュニケーションをとるロボットにコミュニケーション引き込み処理を実行させるコミュニケーション引き込みプログラムであって、コンピュータに、前記対象者の位置を特定する人特定処理と、特定された前記対象者の位置に向けて光を移動させる光源制御処理と、前記対象者に前記ロボットの方向を認識させるための引き込み動作の実行を、前記ロボットに指示する引き込み制御処理と、前記ロボットを前記対象者が認知したかどうか判断する人認知特定処理と、前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示する処理とを実行させることを特徴とする。

本発明によれば、ロボットと人とのコミュニケーションの開始を円滑にすることができる。

本発明によるコミュニケーション引き込みシステムの第１の実施形態を用いたロボットの外観を示す概略図である。 本発明によるコミュニケーション引き込みシステムの第１の実施形態の構成を示すブロック図である。 引き込み制御部の構成を示すブロック図である。 本発明によるコミュニケーション引き込みシステムの第１の実施形態および第２の実施形態の動作を示すフローチャートである。 戦略ＤＢに記憶された引き込み動作の戦略の一例を示す説明図である。 本発明によるコミュニケーション引き込みシステムの第２の実施形態を用いたロボットの外観を示す概略図である。

実施形態１．
図１は、本発明によるコミュニケーション引き込みシステムの第１の実施形態（実施形態１）を用いたロボットの外観を示す概略図である。図１に示すロボットは、コミュニケーションを行うことを想起させる外観を有し、投影モジュール１００、頭部１０１、センシングモジュール１０２、腕１０３を備える。

投影モジュール１００は、光源を有し床や壁などに光を照射したり、映像を投影したりすることができる。また、投影モジュール１００は、機械制御によって投影角度の調節が可能であり、特定の場所を投影することができる。

センシングモジュール１０２は、コミュニケーションをとる対象者（以下、人と称することがある）や光源の場所の特定、および対象者が光源から発せられる光に気付いたかどうかの判定を行う。センシングモジュール１０２は、例えば、カメラまたは赤外線センサ等により実現可能である。

頭部１０１および腕１０３は、モータやサーバ機構等により駆動可能である。頭部１０１は例えば、対象者へうなずく動作を行うことができる。腕１０３は、例えば、手招きする動作を行うことができる。

図２は、本発明によるコミュニケーション引き込みシステムの第１の実施形態の構成を示すブロック図である。図２に示すように、本実施形態のコミュニケーション引き込みシステムは、人特定部２００、光源制御部２０１、引き込み制御部２０３および人認知特定部２０４を備える。

人特定部２００は、カメラの画像認識等を用いて、人の位置の検出や人の動きの検出を行い、コミュニケーションを行う対象者の位置を特定する。

光源制御部２０１は、特定された人の位置に従って、投影モジュール１００の光源が発する光が動く経路を決定し、その経路に沿って光が照射されるように光源を制御する（例えば、光源の出射方向を変える。）ことで光（付帯的には、光の出射位置）を移動させる。

引き込み制御部２０３は、対象者にロボットの方向を認識させるように動作する。例えば、引き込み制御部２０３は、ロボットの頭部１０１を対象者の方に向けさせて、ロボットからの光であることを認知させるように動作させる。さらに、光をロボットの方向を移動させてもよい。また、ロボットの動きと光の動きを連動させてもよい。

人認知特定部２０４は、対象者がロボットを認知したかどうか判断する。例えば、カメラが撮影した画像から、対象者がロボットの方向へ顔を向けたり、ロボットの方向に移動したりしたことが確認された場合、対象者が光を認識したと判断する。コミュニケーション引き込みシステムは、対象者が光を認知したと判断された場合、ロボットに、対象者とのコミュニケーションの開始を指示する。対象者が光を認知していないと判断された場合、再度、引き込み制御部２０３がロボットの方向を認識させる動作が行われる。

なお、本実施形態のコミュニケーション引き込みシステムが備える人特定部２００、光源制御部２０１、引き込み制御部２０３および人認知特定部２０４は、プログラムに基づいて処理を実行するＣＰＵで実現可能である。

図３は、引き込み制御部２０３の構成を示すブロック図である。引き込み制御部２０３は、引き込み状況把握部２１０、引き込み動作選定部２２０、戦略ＤＢ（Ｄａｔａ Ｂａｓｅ）２３０、引き込み動作制御部２４０、ロボット動作ＤＢ（Ｄａｔａ Ｂａｓｅ）２５０を備える。戦略ＤＢに記憶されるロボットの引き込み動作は、人がコミュニケーションを促すのと同様なモーションであり、対象者にロボットを認知させるために、例えば光の動き（光の照射位置の移動）に合わせて、その人を凝視したり手を振ったりする動作である。

引き込み状況把握部２１０は、ロボットが何回引き込み動作を行ったか、どのような引き込み動作を行ったか、対象者がロボットを認知したかなどの状況を取得する。

引き込み動作選定部２２０は、予め引き込み動作の戦略を記憶した戦略ＤＢ２３０を用い、引き込み状況把握部２１０が把握した引き込み等の状況に基づいて、ロボットが行う動作を選定する。

引き込み動作制御部２４０は、引き込み動作選定部２２０が選択したロボットの動作をロボットにさせる制御を行う。具体的には、引き込み動作制御部２４０は、ロボット動作ＤＢ２５０から、光の動きパターンと、ロボットの機械制御のスクリプト等を取得し、そのスクリプトの内容をロボットに実行させる。

次に、本実施形態のコミュニケーション引き込みシステムの動作を説明する。図４は、本発明によるコミュニケーション引き込みシステムの第１の実施形態の動作を示すフローチャートである。

始めに、人特定部２００は、対象となる人の位置を把握する（ステップＳ００１）。具体的には、人特定部２００は、人の位置を特定するために、例えばステレオカメラなどにより実現されるセンシングモジュール１０２を利用して画像認識を行い、対象者とロボットとの距離や角度を認識する。また、センシングモジュール１０２として、例えば、超音波や赤外線の距離センサ、レーザレンジセンサなど、画像認識以外のセンシング手段を用いてもよい。

人特定部２００は、例えばレーザレンジセンサを利用した場合、人以外の障害物を事前にマスク処理した上で、一定間隔のセンシングによって動く物体を人と捕らえ、ロボットからの角度、距離および動く方向を知る。そして、人特定部２００は、コミュニケーションを成立させたい対象者を、例えば最もロボットから近い人物に設定する。また、人特定部２００は、例えば子どもを対象にする場合は、背の高さ等のセンシング状況から子どもと判断し設定する。

対象者が設定されたら、光源制御部２０１は、設定された対象者の方向に光を移動させる（ステップＳ００２）。図１に示した投影モジュール１００の高さが、手動または距離センサ等で事前に設定される。ロボットとの距離は人特定部２００が検知しているため、光源制御部２０１は、当該距離、および投影モジュール１００とセンシングモジュール１０２との距離に基づいて、投影モジュール１００の投影角を計算する。光源制御部２０１は、投影モジュール１００から光を投影し、計算された投影角となるように投影モジュール１００を動作させ、光を移動させる。

光源制御部２０１は、対象者の動きが早い場合は、その動きのスピードおよび距離から到達点を推定し、投影モジュール１００の駆動速度を加味して推定した場所に向けて光を投影するように制御する。なお、投影モジュール１００は、例えばレーザポインタなど照射範囲が狭い光源により実現してもよいが、広範囲に投影できるプロジェクタを用いてもよい。

次に、引き込み制御部２０３は、対象者にロボットの方向を認識させ、コミュニケーションさせるように誘導するために、ロボットに対して引き込み動作を実行する指示を与える（ステップＳ００３）。引き込み制御部２０３は、ステップＳ００２の動作により対象者に光が到着するのと同時に、ロボットの機械を駆動させる。ロボットにさせる引き込み動作は、人がコミュニケーションを促すのと同様なモーションであり、例えば光の動きに合わせて、その人を凝視したり手を振ったりして対象者にロボットを認知させる動作である。また、投影モジュール１００以外にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やスピーカなどの引き込み手段をロボットに搭載し、引き込み手段が光を発したり、音を出したりしてもよい。

引き込み制御部２０３の動作を詳細に説明する。引き込み制御部２０３は、始めに、引き込みの状況を分析する。引き込み状況把握部２１０は、何回引き込みを行ったか、どのような引き込みを行ったか、人認知特定部２０４で何らかの反応が見られたかなどの状況を取得する。

引き込み動作選定部２２０は、予め引き込み動作の戦略を記憶した戦略ＤＢ２３０を用い、引き込み状況把握部２１０が把握した引き込み等の状況に基づいて、ロボットが行う動作を設定する。引き込み動作選定部２２０は、ロボットが動作を選定する際に、コンテンツや時間帯などに応じて、引き込み動作の戦略を選定する。例えば、引き込み動作選定部２２０は、たくさんの人がロボットの前を通るような時間帯では、対象者を引き込めなかった場合、次の人へアプローチを実施する戦略を選定する。

図５は、戦略ＤＢ２３０に記憶された引き込み動作の戦略の一例を示す説明図である。図５に示す戦略は、引き込む回数によって、引き込む動作を変更する例である。具体的には、引き込み動作制御部２４０は、光の動作に関しては、引き込む回数が３回までの場合、光をゆっくりと動かし、引き込む回数が９回までの場合は光を激しく動かし、引き込む回数が１０回に達したら引き込みを諦める。また、引き込み動作制御部２４０は、ロボットの動作に関しては、引き込む回数が３回までの場合、頭部１０１を動作させて対象者の方を向き、引き込む回数が９回までの場合は腕１０３を動作させて対象者へ手を振り、引き込む回数が１０回に達したら次の対象者を見つける動作を行う。引き込み動作制御部２４０は、光の動作とロボットの動作を両方行ってもよいし、いずれか一方のみ行ってもよい。

引き込み動作制御部２４０は、引き込み動作選定部２２０が選択したロボットの動作をロボットにさせる制御を行う。具体的には、動作データベース２５０から、光の動きパターン、およびロボットの機械制御のスクリプト等を取得し、ロボットに実行させる。

次に、引き込み制御部２０３が制御する引き込み動作の他の例について説明する。例えば、投影モジュール１００として、プロジェクタなど、画像投影が可能なモジュール用いる場合は、引き込み制御部２０３は、矢印を投影しロボットの方角を示したり、画像の色を徐々に変化させたりする。または、ロボットにスピーカを備えた場合、引き込み制御部２０３は、スピーカから言葉を発しその言葉を変化させてもよい。または、引き込み制御部２０３は、ロボットのＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）キャラクタを表示させて、映像に情報を載せてもよい。また、例えば、投影モジュール１００に空中に投影が可能なシステムを用いた場合、引き込み制御部２０３は、ロボットの分身を空中に投影させて対象者に近づけるような表示をしてもよい。

上記のような引き込み動作の他の例を実施するためには、図５に示した例と同様に、「徐々に色を変える」、「言葉を変える」など選択肢を戦略ＤＢ２３０に予め設定しておき、ロボット動作ＤＢ２５０にそれらの動作を実施するためのスクリプト等を予め記憶しておく。そして、引き込み動作制御部２４０は、引き込み動作選定部２２０が選択したロボットの動作を、ロボット動作ＤＢ２５０に記憶されたスクリプトに基づいてロボットにさせる制御を行う。

ステップＳ００３における引き込み動作が行われた後、人認知特定部２０４は、対象者がロボットに気付いたどうか、つまりコミュニケーションの引き込みに成功したかどうかを判定する（ステップＳ００４）。人がロボットを認知していないと判定された場合は、ステップＳ００３の処理が再び行われる。

ステップＳ００４における人認知特定部２０４の動作を、具体的に説明する。カメラなどを利用する場合は、顔向きの判定処理や顔検出処理を行い、ロボットの方を向いているかどうかをスコア化する。人認知特定部２０４は、センシングモジュール１０２にカメラ以外の機器、例えば、レーザレンジセンサを利用する場合、ロボットとの距離が縮まった等の情報によって、ロボットの方を向いているかどうかをスコア化する。スコアが、ある閾値を超えた場合、人認知特定部２０４は、引き込み動作が成功したと判断する。そして、コミュニケーション引き込みシステムは、ロボットに、対象者へうなずいたり、手招きしたりなどの成功時の動作をさせ、対話や情報提供等の対象者とのコミュニケーションの開始を指示する。スコアが低い場合は、人がロボットを認知していないと判定され、ステップＳ００３の処理が再び行われる。

本実施形態のコミュニケーション引き込みシステムは、ロボットがコミュニケーションを行う対象者に物理的に近づくのではなく、光を利用してロボットが人に近づくことを擬似的に行うことできる。そのため、本実施形態のコミュニケーション引き込みシステムによれば、ロボットと対象者との距離が離れている場合や、障害物があって近づけない場合、またはロボットが移動手段を持たない場合においてもコミュニケーションの開始を円滑にすることができる。

また、本実施形態のコミュニケーション引き込みシステムによれば、対象者に対して音声のみで呼びかけるという方法とは異なり、例えば、対象者が名前の知らない相手である場合、他の音源がある場合、場所が広い場合、どこから声が出ているか特定できない場合でも対象者を引き込むことができる。

実施形態２．
本発明によるコミュニケーション引き込みシステムの他の実施形態として、操作者による遠隔通信を利用した例を説明する。以下の説明において、第１の実施形態と同様の構成および動作は、説明を省略する。図６は、本発明によるコミュニケーション引き込みシステムの第２の実施形態（実施形態２）を用いたロボットの外観を示す概略図である。図６に示すロボットは、図１に示すロボットが備える構成の他に、通信モジュール１０５を備え、ネットワーク１０７を介してＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１０６と接続されている。

通信モジュール１０５は、ネットワーク接続を可能とする通信インターフェースである。ネットワーク１０７は、例えば無線ＬＡＮなどである。ＰＣ１０６は、ネットワークへの接続が可能であればよく、種類は限定されない。例えば、携帯電話やタブレットでもよい。センシングモジュール１０２は、例えばカメラであり、センシングモジュール１０２が撮影した映像は、通信モジュール１０５からネットワーク１０７を経由してパソコン１０６へ送信される。操作者は、パソコン１０６に表示されるロボットのセンシングデータを見ながらロボットの機械の遠隔操作を行うことができる。

本実施形態においては、第１の実施形態の人特定部２００、光源制御部２０１、引き込み制御部２０３および人認知特定部２０４が行っていた動作を、操作者が、ＰＣ１０６を操作することにより手動で行う。以下、本実施形態の動作の一例を図４に示すフローチャートを用いて説明する。

操作者が、ロボットの前を通った人とコミュニケーションをとりたい場合、対象となる人の位置を把握する（ステップＳ００１）。具体的には、操作者がＰＣ１０６の画面に表示されたカメラ映像を見て、対象者の位置を把握する。

次に、操作者は、投影モジュール１００から発する光を移動させて、対象者とコミュニケーションのきっかけを作る（ステップＳ００２）。具体的には、操作者は、対象者の居場所、または対象者の移動を見越して移動先と想定される場所を、画面上でクリックするなどのポイント動作を行う。クリック等のポイント動作に従い、投影モジュール１００が発する光が画面上のターゲットに対して移動する。この際、ロボットの向きおよびターゲットの位置に基づいて、投影モジュール１００の制御角度が決められる。

次に、引き込み動作についても、操作者がＰＣ１０６を用いて光や機械を制御することで、第１の実施形態において引き込み制御部２０３が行う動作を手動で行う（ステップＳ００３）。

次に、操作者は、カメラの映像を見て、対象者がロボットの方向に振り向いたと判断したら（ステップＳ００４のＹＥＳ）、コミュニケーションを開始する。対象者がロボットの方向に振り向いていないと判断したら（ステップＳ００４のＮＯ）、再びステップＳ００３の引き込み動作が行われる。

なお、ステップＳ００１からステップＳ００４までの動作の全てを操作者が手動で行ってもよいが、動作の一部を第１の実施形態と同様に図２で示した構成要素を用いて自動で行ってもよい。例えば、ステップＳ００３の動作のみ、第１の実施形態と同様に、予め設定した戦略に基づいて引き込み制御部２０３が実施し、他の動作を操作者が手動で行ってもよい。

本実施形態のコミュニケーション引き込みシステムによれば、操作者が引き込み動作等を手動で行うことができるので、ロボット操作の自由度が増す。そのため、システムによる制御では対象者の引き込み等が困難な状況でもコミュニケーションの開始を円滑にすることができる。

また、上記の実施形態では、以下の（１）〜（３）に示すようなコミュニケーション引き込みシステムも開示されている。

（１）対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込みシステムであって、対象者の位置を特定する人特定部（例えば、人特定部２００）と、特定された対象者の位置に向けて光を移動させる光源制御部（例えば、光源制御部２０１）と、対象者にロボットの方向を認識させるための引き込み動作の実行を、ロボットに指示する引き込み制御部（例えば、引き込み制御部２０３）と、ロボットを対象者が認知したかどうか判断する人認知特定部（例えば、人認知特定部２０４）とを備え、ロボットを対象者が認知したと判断された場合、ロボットに対象者とのコミュニケーションの開始を指示することを特徴とするコミュニケーション引き込みシステム。

（２）コミュニケーション引き込みシステムは、引き込み制御部が、引き込み動作として、音または光の出力を指示するように構成されていてもよい。

（３）コミュニケーション引き込みシステムは、引き込み制御部が、引き込み動作として、ロボット自体の動作を指示するように構成されていてもよい。

この出願は、２０１２年２月３日に出願された日本出願特願２０１２−２２１０６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、広告や情報提供システム、またはテレプレゼンスロボットに適用される。

１００ 投影モジュール
１０１ 頭部
１０２ センシングモジュール
１０３ 腕
１０５ 通信モジュール
１０６ パソコン
１０７ ネットワーク
２００ 人特定部
２０１ 光源制御部
２０３ 制御部
２０４ 人認知特定部
２１０ 状況把握部
２２０ 動作選定部
２４０ 動作制御部
２５０ 動作データベース
２３０ 戦略ＤＢ
２５０ ロボット動作ＤＢ

Claims (5)

1. 対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込みシステムであって、
   前記対象者の位置を特定する人特定部と、
   特定された前記対象者の位置に向けて光を移動させる光源制御部と、
   前記対象者に前記ロボットの方向を認識させるための引き込み動作の実行を、前記ロボットに指示する引き込み制御部と、
   前記ロボットを前記対象者が認知したかどうか判断する人認知特定部とを備え、
   前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示する
   ことを特徴とするコミュニケーション引き込みシステム。
2. 引き込み制御部は、
   引き込み動作として、音または光の出力を指示する
   請求項１記載のコミュニケーション引き込みシステム。
3. 引き込み制御部は、
   引き込み動作として、ロボット自体の動作を指示する
   請求項１または請求項２記載のコミュニケーション引き込みシステム。
4. 対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込み方法であって、
   前記対象者の位置を特定し、
   特定された前記対象者の位置に向けて光を移動させ、
   前記対象者に前記ロボットの方向を認識させるための引き込み動作の実行を、前記ロボットに指示し、
   前記ロボットを前記対象者が認知したかどうか判断し、
   前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示する
   ことを特徴とするコミュニケーション引き込み方法。
5. コンピュータに、
   対象者とコミュニケーションをとるロボットにコミュニケーション引き込み処理を実行させるコミュニケーション引き込みプログラムであって、
   コンピュータに、
   前記対象者の位置を特定する人特定処理と、
   特定された前記対象者の位置に向けて光を移動させる光源制御処理と、
   前記対象者に前記ロボットの方向を認識させるための引き込み動作の実行を、前記ロボットに指示する引き込み制御処理と、
   前記ロボットを前記対象者が認知したかどうか判断する人認知特定処理と、
   前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示する処理と
   を実行させるためのコミュニケーション引き込みプログラム。

Images