JP7045938B2 - 対話システム及び対話システムの制御方法 - Google Patents

Description

本発明は対話システムに関し、特に、複数の人物が行き交う環境において利用され、対話対象となりうる人物を識別し、事前に対話の準備を行う対話ロボットシステム及び対話ロボットの制御方法に関するものである。

近年、小売店や公共施設において、来店客に対し、従業員に代わって対話サービスを提供するロボットの開発が盛んである。特に人通りの多い環境でロボットを利用するにあたっては、ロボットは、周囲を行き交う複数の人物の中から対話対象となる人物を選択して、対応しなければならない。

ロボットが複数人の人物から対話対象を選択する技術が、特許文献１に記載されている。この特許文献１は、ロボット付近の領域内に存在する人物の関心度を定義し、関心度の高い人物を対話対象として選択している。ここでの関心度は、人物ごとの顔の向き、視線の向き、ジェスチャや発話の有無に応じてスコア付けがなされ、スコアに応じて対話対象の順位付けを行うものである。

特開２００９－２４８１９３号公報

特許文献１における技術は、人物ごとの顔の向き、視線の向き、ジェスチャや発話の有無によりスコア付けを行っており、既にロボットの周囲に人物が集まっている状況において機能する。

しかしながら、対話ロボットは、実際、人が行き交う環境下に設置されたり、それらの人物の中から対話対象となりうる人物を選択し、能動的に声掛けをしたり、実際に人物に声を掛けられる以前に体を向け、カメラで人物を撮像し認識するなど対話に備える必要がある。

対話ロボットにとっては、あらかじめ指定された領域に人物が入り込む、ないしは実際に人物に声を掛けられるまでは、人物が対話対象になりえるかを判断することができない。また、ロボットは、指定された領域に入り込んだ人物が、そのまま素通りするのか、対話意思を持つのかは、実際に人物がロボットに話しかけられるまでに判定することに対応していない。

そこで、本発明の課題は、ロボットが、複数人が行き交う環境下で利用される際、人物が対話意思や関心を持っているかを、ロボットが人物の関心度を判定し、事前に対話対象となる人物を絞り込む対話ロボットシステムおよび対話ロボットの制御方法を提供することである。

上記課題を解決するための代表的な一側面は、周囲を撮像する撮像装置と、撮像装置からの画像情報から人物を検出し、検出された人物を前記撮像装置の複数の画像で追跡し、追跡された人物の関心度を、複数の画像における人物の顔の向きと胴体の向きの変化に基づいて算出し、算出された関心度に基づいて対話候補とする計算機とを有する。

人物がロボットに接近する以前に、ロボットが自装置に対話意思ないしは関心を持つ人物を絞り込むことができる。

対話ロボットシステムの概略図である。 対話ロボットシステムのハードウェア構成例を示す図である。 対話ロボットシステムの機能的構成例を示すブロック図である。 第１の推定処理０１の具体的処理手順を示したフロー図である。 関心度を持つと判断された対話候補に対してロボットが働きかけの方法を選択するためのフローチャートである。 対話候補への働きかけを行った際の第２の推定処理０２を示したフローチャートを示す図である。 対話ロボットシステムが対話対象となる人物を識別するフローチャートを示す図である。 ロボットと人物の位置関係の変化と関心度の関係を示す図である。 ロボットに対する人物の３フレーム分の移動の様子を示した図である。 ロボットに対する人物の３フレーム分の移動について、関心度の算出例を示した表である。

以下、各実施例を、図面を用いて説明する。

図１は、対話ロボットシステムの概略図である。人物が往来する環境下における、対話ロボットシステム(以下、対話システム)１００の使用状態例を示す。対話システム１００は、人物と対話する対話ロボット１１０と（以下、単にロボットと称する）、ロボット１１０からの信号に基づき、ロボット１１０を制御する遠隔サーバー１３０から構成されている。

ロボット１１０は、カメラ１２０、スピーカ１２１、マイクアレイ１２２、内部サーバー１２３、表示装置１２４、駆動装置１２５、第１通信インターフェイス（以下、ＩＦと示す）１２６を備えて構成される。遠隔サーバー１３０は、ロボット１１０の動作を制御するための制御信号を送る計算機であり、第１通信ＩＦ１２６と通信を行う第２通信ＩＦ１３１を備える。尚、第１通信Ｉ／Ｆ１２６、第２通信ＩＦ１３１は、無線インターフェイスであり、無線通信を利用してデータの送受信を行うＬＡＮシステム、例えば、ＩＥＥＥ ８０２．１１に規定されるものがあげられる。第１通信ＩＦと第２通信ＩＦの間は、インターネット等のネットワークを介することもある。

カメラ１２０は画像を取り込む撮像装置であり、マイクアレイ１２２は環境音や人物の音声を取り込む。表示装置１２４は人物に情報を提示するもので、例えば、ディスプレイやプロジェクション映像である。また、ロボット１１０の顔や表情を表現してもよい。駆動手段１２５は、ロボット１１０の腕や足など関節に位置し、感情表現のための動作や、移動を実現する、例えばモーターや減速機である。

内部サーバー１２３は計算機であり、第１通信ＩＦ１２６を介して、カメラ１２０やマイクアレイ１２２で得たデータを遠隔サーバー１３０に送信する。また、遠隔サーバー１３０は第２通信ＩＦ１３１を備え、第１通信ＩＦ１２６から画像、音声データ、信号を受信し、受信信号に応じてロボット１１０を制御する信号を第２通信ＩＦ１３１、第１通信ＩＦ１２６を介してロボット１１０へと送信する。

尚、遠隔サーバー１３０のロボット１１０を制御する機能を内部サーバー１２３に処理させることもでき、その際は遠隔サーバー１３０、第１通信インターフェイス１２６は不要となり、ロボット１１０が独立して人物と対話する構成とすることができる。以上の構成の対話システムは、主として、ロボットの周囲の人物に対し、対話を働きかけたり、対話を行う対話ロボットとして利用される。

＜システム構成例＞
図２は、対話システム１００を構成するロボット１１０と、遠隔サーバー１３０のシステムのハードウェア構成例を示す図である。

ロボット１１０はカメラ１２０と、マイクアレイ１２２と、第１出力デバイス１４０と搭載し、これらは内部サーバー１２３とバス１２９で接続されている。第１出力デバイス１４０は、スピーカ１２１と、表示装置１２４と、駆動装置１２５とを含む。内部サーバー１２３は第１プロセッサ１２７と、第１記憶デバイス１２８と、第１通信インターフェイス１２６と、それらを接続するバス１２９を有する。また、カメラ１２０は深度センサであってもよい。

第１プロセッサ１２７は、ロボット１１０に備わる出力デバイス１４０を制御し、内部サーバー１２３の機能を実現する。第１記憶デバイス１２８は、第１プロセッサ１２７の作業エリアとなり、機能を実現する各種プログラムとデータを記憶する非一時的なまたは一時的な記憶媒体である。第１記憶デバイス１２８は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フラッシュメモリがある。第１出力デバイス１４０としては、例えば表示装置１２４、スピーカ１２１がある。第１通信ＩＦ１２６は、遠隔サーバー１３０と無線通信するか、ネットワーク(図示せず)を介して接続し、データを送受信する。

カメラ１２０は、ロボット１１０の周囲を撮影する撮像デバイスであって、例えば、被写体までの距離を計測可能な３次元測量機能を備えていてもよい。駆動装置１２５は、たとえばモーターであってもよく、ロボット１１０を駆動させる機構である。例えば、ロボット１１０を歩行動作、ないしは車輪によって移動させてもよいし、ロボット１１０の腕や指を動かしロボット１１０の感情を表現してもよいし、首を振ることでカメラ１２０の向きを変える駆動装置である。

遠隔サーバー１３０は、第２通信ＩＦ１３１と、第２プロセッサ１３２と、第２記憶デバイス１３３と、これらを接続するバス１３４を有する。第２記憶デバイス１３３は、第２プロセッサ１３２の作業エリアとなり、第２記憶デバイス１３３は、遠隔サーバの機能を実現する各種プログラムやデータを記憶する非一時的なまたは一時的な記憶媒体である。第２記憶デバイス１３３としては例えばＲＯＭ、ＲＡＭ、ＨＤＤ、ＧＰＵ、フラッシュメモリがある。第２通信ＩＦ１３１は、ロボット１１０と無線通信するか、ネットワーク(図示せず)を介して接続し、データを送受信する。

＜制御システムの機能的構成例＞
図３は、対話システム１００の機能的構成例を示すブロック図である。

内部サーバー１２３はカメラ１２０からの画像データを受信する画像受信部１２０Ａと、遠隔サーバー１３０とデータを送受するための第１通信ＩＦ１２６と、スピーカ１２１や表示装置１２４を制御する出力デバイス制御部３０３と、駆動装置１２５を制御する駆動制御部３０４と、を有する。出力デバイス制御部３０３と駆動制御部３０４とは、第１記憶デバイス１２８に記憶されたプログラムを第１プロセッサ１２７が実行することにより実現される。例えば、マイクアレイ１２２やスピーカ１２１を用いて、人物と会話をするよう出力デバイス制御部３０３による第1の出力デバイスの制御、駆動制御部３０４による駆動装置１２５の制御を実現する。また、ロボット１１０の感情表現のための動作や、ロボット１１０の移動を実現する。

遠隔サーバー１３０は、第２通信ＩＦ１３１と、人検出部３１２と、人特徴抽出部３１３と、人追跡部３１４と、時系列特徴抽出部３１５と、関心行動識別部３１６と、反応確認部３１７と、を有する。人検出部３１２と、人特徴抽出部３１３と、人追跡部３１４と、時系列特徴抽出部３１５と、関心行動識別部３１６と、反応確認部３１７のそれぞれの機能は、第２記憶デバイス１３３に記憶されたプログラムを第２プロセッサ１３２が実行することにより実現される。人特徴抽出部３１３は、頭検出部３２１と、頭方定部３２２と、胴方定部３２３とを有する。

カメラ１２０によって撮像されたロボット１１０の周囲の環境は、画像情報として画像受信部１２０Ａ、第１通信IF１２６、第２通信IF１３１を介して遠隔サーバー１３０に送信される。

人検出部３１２は、カメラ１２０からの画像情報から人物が存在する領域を推定する。人物が存在する領域とは、人物の領域を囲う矩形の位置であってもよい。人検出部３１２で推定された領域、または領域内の画像情報は、人特徴抽出部３１３と、人追跡部３１４と、へ送信される。人検出部３１２にて実行される人検出処理は、現在公知のものとなっており、具体的には、画素ごとに周囲の画素値との勾配から人物の輪郭を特徴にし、存在を推定するものや、畳み込みフィルタを利用したＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下ＣＮＮ）を利用し、人物の存在を示す矩形で表すものでもよい。人検出部３１２では、上述した技術を利用することで、複数人が存在している場合でも、人ごとに領域情報を取得することができる。

人特徴抽出部３１３では、例えば、人検出部３１２で得られた人ごとの領域に対し、人物の画像中における特徴を抽出する。人特徴抽出部３１３にて抽出される特徴は、画像情報一枚における人領域内の人ごとの特徴である。人特徴抽出部３１３では、具体的には、頭検出部３２１と、頭方定部３２２と、胴方定部３２３とを有する。人検出部３１２で得られた人物の特徴は、時系列特徴抽出部３１５にて、時間的に連続する人ごとの特徴を抽出する際に用いてもよい。

頭検出部３２１は、人検出部３１２により抽出された領域内での頭部の領域を検出する。頭部の領域は、具体的には、頭部を囲う矩形の位置であってもよく、ＣＮＮ（Conventional Neural Network）に基づく検出器を用いる。なお、人物が正面を向いている際には、顔を検出してもよい。顔の検出に関しては、Ｈａｒｒ－Ｌｉｋｅ特徴を用いる。顔検出についてもＣＮＮを利用した検出器を用いてもよい。

頭方定部３２２は、頭検出部３２１にて同定された頭部の領域内の情報を用いて頭部の方向を推定する。頭部の方向推定手法として、顔が利用可能な向きであれば、現在、画像処理において既知となっているような、顔の特徴点を抽出し、画像上の特徴点の配置から顔の方向を推定する手段を利用してもよい。また、上述の方向推定結果を基に得られた値に対し、閾値を定めることでカメラ１２０の方向を向いているか、向いていないかの２値の識別を行ってもよい。また、例えば、人の頭部画像ＣＮＮを入力とし、頭部の方向を出力する識別器を利用して学習したり、方向の値を直接出力してもよいし、もしくは、方向推定を行う識別器を事前に学習し、実行時には識別器の中間層の特徴量を利用してもよい。

胴方定部３２３は、人検出部３１０から得られる領域内で人物の体の方向を推定する。体の方向を推定する手段として、カメラ１２０が深度センサであるならば、深度画像を入力とする機械学習の推定を基に人物の骨格を推定し、推定された骨格の位置を基に体の方向を決定する。もしくは、人物の画像と、それに対応する体の向きのラベル付与した多数の事例を用い、体の向きを推定する識別器を作成し、判定に用いてもよい。このとき、前述の識別器は、方向値を直接出力してもよいし、識別器の中間層出力を出力してもよい。

人特徴抽出部３１３は、上述の説明では、一例として、頭方向、胴体方向と分けて出力したが、人が写る画像と、それに対応するラベルを基に識別器を作成することもできる。具体的には、人の画像と、その人物が実際に対話したか否かのラベルを事例として集めておき、事例を基準に判断してもよい。

人追跡部３１４では、人検出部３１３にて推定された人領域に基づいて、連続する画像フレーム間で同一人物の対応を取る。連続するフレーム間での、人追跡技術は、人検出部３１３の出力の領域内での特徴量と、連続するフレームでの特徴量とを比較し、類似する特徴であるならば同一人物としてもよく、フレーム間の対応付けを行う。

時系列特徴抽出部３１５では、人特徴抽出部３１３と人追跡部３１４とから人物ごとに、時系列的な行動特徴を抽出する。具体的には、胴方定部３２３の複数の時間フレームにわたる胴方向の推移から、人物の移動方向を抽出する。また、ロボット１１０に接近してくる、もしくは、素通りする人物の時系列特徴を抽出してもよい。この具体的処理については後述する。

関心行動識別部３１６は、時系列特徴抽出部３１５において抽出した時系列特徴を基に、画像中の人物ごとにロボット１１０への関心度を持つかを識別し、人物が対話候補であるかを判定する。人物の関心度が高いと判定された場合、人物を対話候補であると判定し、第２通信ＩＦ１３１と、第１通信ＩＦ１２６を介して、出力デバイス制御部３０３と駆動制御部３０４に対して制御信号を送る。制御信号については、後述する。

制御信号を受け取った出力デバイス制御部３０３は、第１出力デバイス１４０のスピーカ１２１と、表示装置１２４を制御し、駆動制御部３０４は、駆動装置１２５を制御する。出力デバイス制御部３０３は、人物に対して、たとえば、表示装置１２４の表示の変更や、スピーカ１２１からの声かけを行う。駆動制御部３０４は、駆動装置１２５を制御することで手招きなどの動作など、働きかけを行う。

反応確認部３１７では、例えば、出力デバイス制御部３０３にて制御された第１出力デバイス１４０のスピーカ１２１と、表示装置１２４と、駆動制御部３０４にて制御された駆動装置１２５と、による働きかけを行われた人物の反応を確認する。出力デバイス制御部３０３と、駆動制御部３０４と、により、働きかけが行われた時刻に近い時刻で、働きかけに相関のある人物の反応に変化が得られるかを検出してもよい。

＜対話対象識別のための処理＞
図７は、対話システム１００が対話対象となる人物を識別するため実行されるフローチャートを示す。

まず、ステップS７０１では、ロボット１１０のカメラ１２０は、周囲の画像を撮影し画像情報を遠隔サーバー１３０の人検出部３１１に送信する。人検出部３１１では送信された画像情報を取得する。

次にステップS７０２では、人検出部３１２は、取得した画像情報を基に、人検出処理を実行する。この人検出処理において、人検出部３１２は、人物が存在するかを判定し、存在する場合は、人物の領域を例えば、矩形領域といった形で、人物ごとに個別に取得することになる。

次いで、ステップS７０３では、人追跡部３１４は、人検出部３１２の出力を受け、現在の取得フレームに検出された人物が、直近の過去の取得フレームにて検出されたかを判定し、フレーム間の人物対応付けを行う。一方で直近の過去の取得フレームに該当する人物が存在しない場合は、人追跡部３１４は、新たな人物を検出したものとし、第２記憶デバイス１３３に新たな人物として登録する。新たな人物について特徴を記憶し、次回以降の取得フレームで、人追跡部３１４は対応付けを実行する。ここで用いられる人追跡技術は、例えば、人物の領域内の画像特徴量の類似度を測ることで実現される。人追跡技術では、遮蔽物などで画像から追跡対象を見失ったとしても、その後追跡対象が出現した場合に、追跡を続行できる場合があることが知られている。

次に、ステップS７０４にて、時系列特徴抽出部３１５と関心行動識別部３１６は、人物がロボット１１０に対して対話の意思、ないしは、関心を持つかを判定し、人物を対話候補とする第一の推定処理０１を行う。第一の推定処理０１にて対話の意思、ないしは関心を持つと判断された人物は、対話候補となる（S７０５）。ステップS７０４の具体的処理については後述する。

ステップS７０６では、第一の推定処理０１によって、対話候補と判定された人物に対して、ロボット１１０は、働きかけを行う。働きかけの具体的な処理については後述する。

ステップS７０７では、反応確認部３１７は、ステップS７０６にて働きかけたロボット１１０の行動に対する人物の反応を観測し、働きかけに対する反応を確認したならば対話対象であると判定する。

ステップS７０８では、ステップS７０７において、対話対象と判定された人物と対話を行う準備を行う。具体的には、例えば、駆動装置１２５がロボット１１０の移動機能を有しているのであれば、対話を行う前に対話対象に歩み寄ってもよい。または、駆動装置１２５がロボット１１０の旋回機能を有しているのであれば、対話を行う前に事前にロボット１１０の体の向きを対話対象に向けてもよい。このとき、カメラ１２０を人物に向け、人物の画像を正面から撮像してもよい。撮像した人物の画像に対し、第１記憶デバイス１２８もしくは、第２記憶デバイス１３３が、人物の外見的特徴を推定する手段を備えているのであれば、対話を行う前に推定を行ってもよい。ここでの外見的特徴とは、例えば顔画像を基にした人物の年齢や性別である。

ステップS７０９では、実際には対話意図を持つ人物を、誤って対話意図を持たないと判定した場合、ロボット１１０は、該当人物に接近され、話しかけられた場合に対応する例外処理を行う。

ステップS７１０では、第二の推定処理０２によって、対話対象であると判定された人物、ないしはステップS７０９にてロボット１１０に話しかけてきた人物に対して、例えば、スピーカ１２１によるロボット１１０の発話と、駆動装置１２５によるロボット１１０のジェスチャ、表示装置１２４による情報提示などにより、対話サービスを提供する。人物との対話において、ロボット１１０は、例えばステップS７０８にて撮像した人物の画像から判定された例えば年齢性別など外見的特徴を基に、例えば口調を変えてもよい。

実施例１では、人物のロボット１１０に対する対話意思、ないしは関心を、ステップS７０４の第一の推定部と、ステップS７０７の第二の推定部と、を用いた２段階の判定を行うことで人物の対話意図、ないしは関心度を精度よく算出できる。

＜第一の推定処理０１の具体的処理＞
図４は、第１の推定処理０１の具体的処理手順を示したフロー図である。第１の推定処理０１は、人検出部３１２にて、人物を検出し、人追跡部３１４にて、フレーム間にて追跡が可能となった人物から、ロボット１１０への対話意思ないしは、関心度を推定し、対話候補を判定するためのものである。

まず、ステップＳ４０４では、頭検出部３２１と頭方定部３２２により、人物の頭部の領域から、頭部の方向を推定して、こちらを向いているか識別する。こちらを向いているかの判定は、頭方定部３２２にて推定された人物の頭の向きと、こちらを向いているかを判定するための閾値を定め、その大小関係から、こちらを向いているかを判定する。また、こちらを向いている、顔もしくは頭の事例と、そうでいない顔もしくは頭の事例を集め、識別器を作成して判定に利用してもよい。

ステップS４０５では、ステップS４０４にて第２プロセッサ１３２が、頭部がこちらを向いていると判定した時刻Tfを、第２記憶デバイス１３３に記録する。

ステップS４０６では、胴方定部３２３と時系列特徴抽出部３１５とにより、人物がこちらに向かう動きか、離れる動きか、素通りか、人物の進行方向を判定する。判定には、人物の移動ベクトルを抽出して判断する。あるいは、人物の移動の事例を集め、識別器を作成したのち、判定に利用してもよい。

ステップS４０７において、関心行動識別部３１６は、現在のフレームにおける、人物ごとのロボット１１０への関心度を計算する。例えば、頭がこちらを向いていること、人物の胴体が接近動作であることにより、スコアを加算してもよい。

他のスコアの算出方法については、接近動作であるが、頭がこちらを向いていない場合、時刻Tfと現在時刻の差分に応じた減衰を考慮したスコアを加算することもできる。また、接近動作であると判断できない素通り動作ならば、スコアを加算しないようにすることもできる。他には、ステップS４０７にて算出されたスコアを、関心行動識別部３１６は、各人物に対し、複数にわたって算出されたスコアに時間平均し加算することで、対象となる人物の関心度としたり、人物が後頭部をみせ、遠ざかる動作を所定時間継続するならば、関心行動識別部３１６は、スコアをリセットないしは、減算してよい。

図８は、ロボットと人物の位置関係の変化と関心度の関係を示す図である。ロボット１１０と、所定の時間内における人物の挙動の変化により、関心行動識別部３１６は人物の関心度を算出する。

図８（a）は、所定時間内に、人物が位置８１０から、ロボットへ向かう経路８１２を経て、位置８１１へと移動した例である。このとき、人物の頭部の向きはロボット１１０の方向を向いている。この例では、関心行動識別部３１６は、対話意思があるとし関心度(対話意志スコア)を加算する。

図８（b）は、所定時間内に、人物が位置８２０から、ロボットへ向かう経路８２２を経て、位置８２１へと移動した例である。このとき、位置８２０では、人物の頭部はロボット１１０を向いていたが、位置８２１において、ロボット１１０の方向を向いていない。関心行動識別部３１６は、関心度スコアを減衰したうえで加算する。

図８（c）は、人物が位置８３０から経路８３２を経て、位置８３１へと移動し、ロボットへ頭部を向けていない例である。このとき、関心行動識別部３１６は、関心度のスコアを加算しない。

図８（d）は、人物が位置８４０から、ロボットから遠ざかる経路８４２を経て、位置８４１へと至り、人物の頭部がロボットを向いていない場合である。このとき、関心行動識別部３１６は、人物の対話意思ないしは関心度のスコアをリセットする。あるいは、減算してよい。

次いでステップS４０８にて、関心行動識別部３１６は、複数のフレームにわたって算出された（ステップS４０７にて算出される）スコアを用いて、人物のロボット１１０への対話意思ないしは、関心度とする。尚、算出された関心度は、第２記憶デバイス１３３に、図１０に示すように格納される。

図９は、ロボット１１０に対する人物の３フレーム分の移動の様子を示したものである。また、図１０は、ロボット１１０に対する人物の３フレーム分の移動について、関心度の算出例を示した表である。それぞれのケースにおいて、図８でのスコア付けを基に、人物の接近行動、頭の向きを用いて、人物の挙動から、関心行動識別部３１６における、対話意思、ないしは関心度の算出手法の一例を示している。図１０では、それぞれのフレームごとのスコア付けとして1フレーム目のスコアをC1、２フレーム目のスコアをC2、３フレーム目のスコアをC３、ないしは３フレーム分のスコア付けの一例として、時間平均したスコア付けを示している。図１０の関心度は、第２の記憶デバイス１３３に記憶され、実際にロボット１１０が利用される場面でも、同様の関心度表として利用できる。即ち、複数人の人物が行き交う環境下で、カメラ１２０により撮像された複数の人物を識別するためのＩＤは（Ａ）～（Ｄ）で、各人物の時間平均の関心度を同様に求めてテーブルとして管理する。

図９（a）は、人物がロボット１１０へ接近する、３フレーム分の様子を示している。経路９０１と、経路９０２と、経路９０３と、はそれぞれのフレームの人物の移動経路を示しており、それぞれのフレームにおいて、人物の頭はロボット１１０を向いており、人物は、ロボット１１０方向へと接近している。これは図８（a）の動きに対応し、関心行動識別部３１６は、この動きのスコアを「１」とする。それぞれのフレームにおけるスコアはＣ１＝１、Ｃ２＝１、Ｃ３＝１となり、３フレーム分の人物の挙動から対話意図を、時間平均で評価すると「１」となる。

図９（b）では、人物がロボット１１０を素通りする行動のうち３フレーム分の様子を示している。経路９１１と、経路９１２と、経路９１３と、はそれぞれのフレームの人物の移動経路を示しており、図８（c）の動きに対応し、関心行動識別部３１６はスコアを例えば０とする。このとき、関心行動識別部３１６は、それぞれのフレームにおけるスコアをＣ１＝０、Ｃ２＝０、Ｃ３＝０となり、３フレーム分の挙動から対話意図を、時間平均で評価すると「０」となる。

図９（c）では、人物がロボット１１０へ接近する行動のうち、３フレーム分の様子を示している。人物は当初、頭部をロボット１１０へ向けている。その後の移動経路９２１、経路９２２、経路９２３においてロボット１１０へ接近する行動であるが、頭部はロボット方向を向いておらず、図８（b）の動きに対応している。経路９２１では、頭部がロボット方向を向かなくなってから１フレーム経過した接近動作であるため、関心行動識別部３１６は、スコアをＣ１＝１／１とする。経路９２２では、頭部がロボット１１０方向を向かなくなってから２フレーム経過した接近動作であるため、スコアをＣ２＝１／２とする。経路９２３では、人物の頭部がロボット１１０方向を向かなくなってから３フレーム経過しているため、スコアをＣ３＝１／３とする。図９（c）の３フレーム分の挙動から対話意図を評価すると、関心行動識別部３１６は、例えば時間平均で１１／１８とスコアをつけることになる。

図９（d）では、人物のロボット１１０前での挙動のうち、３フレーム分の動作を示している。経路９４１でロボット１１０へと頭を向け接近する図８（a）の動作であり、経路９４２でロボット１１０に対して頭部を背け、経路９４３でロボット１１０から遠ざかる図８（d）の動作である。関心行動識別部３１６は、経路９４１のスコアＣ１＝１である。経路９４２では、立ち止まり行動であるため、スコアＣ２＝０とし、経路９４３では、頭を背け遠ざかる動作であるため、スコアをリセットする。そのため、図９（d）では、人物の対話意図は、図８（d）の動作によりリセットされ、関心行動識別部３１６は、時間平均で評価するなら関心度スコア「０」となる。

関心行動識別部３１６は、時系列特徴抽出部３１５にて抽出した特徴を基に、人物がロボット１１０に対して対話意思ないしは関心を持つかを識別し、スコアを算出する。この際、算出されるスコアは、複数人の人物が行き交う環境下で、ロボット１１０が対話候補を選択するための順位付けに用いることができる。また、ここでは、閾値を設け、閾値を超えない人物を順位付けから除外することもできる。例えば、図９と図１０の例では、閾値を０．５とすることで、（a）と（c）を対話候補として識別でき、順位付けを行い、素通りする人物（b）や、遠ざかる人物（d）を対話候補から除外できる。また、閾値を上げて例えば、０．７とすることで、よそ見をしながら近づいてくる（C）を対話候補から除外することもできる。ロボット１１０の前を素通りする人物に対しては、ロボット１１０は対話候補とみなさないとすることができため、計算処理を単純化し、関心度スコアの処理速度を高速化させることができる。複数人が候補対象となる場合、計算した関心度の上位２名といった具合に、人物の関心度の相対評価により対話候補とすることもできる。

なお、図４では、第１の推定処理０１の一例を示したが、関心行動識別部３１６は、これに限らず深層学習を利用した関心度の尤度を推定してもよい。

時系列特徴抽出部３１５では、具体的には、ロボット１１０の付近を行き交う人物の動作を動画像として入力する。動画像は連続する画像の集合であり、人特徴抽出部３１３が画像フレームごとに人物の特徴量を抽出する。ここで抽出される特徴量は、頭方定部３２１が出力する頭方定部特徴量、胴方定部３２３が出力する胴方定部特徴量、頭方定部特徴量と胴方定部特徴量とを一つにまとめた特徴量であってもよい。その後、関心行動識別部３１６は、各フレームの特徴量を動画像の全フレームから抽出し、関心度の尤度を出力してもよい。このとき、教師データとしては入力として、ロボットの前を行き交う人物の動画像とし、実際に来たかどうかの教師ラベルの事例を基に識別器を作成し、判定に用いてもよい。なお、上述した手法は接近してくる人物の対話意図を識別する手段の一例であり、これらに限らない。

＜働きかけの具体的処理＞
図５は、関心度を持つと判断された対話候補に対してロボットが働きかけの方法を選択するためのフローチャートである。具体的には、対話候補が存在する際にロボット１１０に対して送信される制御信号によって、出力デバイス制御部３０３と、駆動制御部３０４ともより制御することになる。この処理は、第２のプロセッサ１３２が第２の記憶デバイス１３３に格納されたプログラムを実行することにより行われる。ここでは、制御信号による制御対象は関心を持つ人物の人数によって変更してもよい。

まず、ステップS５０１では関心行動識別部３１６は、対話候補が存在するかを判定する。対話候補が存在しない場合、制御信号を送信することはない。
次に、ステップS５０２では、関心行動識別部３１６は、対話候補が複数存在するかを判定する。対話候補が複数か一人かに応じて、制御する出力デバイス１０４もしくは駆動装置１２５を選択するためである。

次に、対話候補が複数存在しない場合にはステップS５０３に進み、人検出部３１３は、人物が複数存在するかを判定する。

次に、人物が一人だけの場合ステップS５０４に進み、関心行動識別部３１６は出力デバイス制御部３０３に対してスピーカ１２１を制御するよう制御信号を送る。具体的には、あいさつなどの声掛けを行うよう制御する。

ステップＳ５０３で人物が複数存在すると判断された場合、或いは、ステップＳ５０２で対話候補が複数存在すると判断された場合、ステップS５０５に進む。ステップＳ５０５では、関心行動識別部３１６は出力デバイス制御部３０３に対し、第１の出力デバイス１４０の内、表示装置１２４に対する制御信号を送る。これにより、表示装置１２４にロボットの顔を表示するなどの描画や、表情を変更するなどをして、関心度の高い対話候補に働きかけを行う。また、駆動制御部３０４は、駆動装置１２５を制御するのであれば、具体的には、関心度の高い人物に向かい、手を振る、会釈などしてロボット１１０の対話の意思を表現してもよい。

ここで、制御対象を周囲の人数に応じて分けた理由は、声掛けは、関心度の低い人物の注意をひいてしまう恐れがあり、関心行動識別部３１６の判定結果への影響を避けるためである。なお、対話候補が一人のみ存在する場合には遠くから声を掛けてもよい。

＜第二の推定処理０２の具体的処理＞
反応確認部３１７は、出力デバイス制御部３０３、もしくは、駆動制御部３０４により働きかけた人物の反応を観測する。これにより、反応確認部３１７は、第２の推定処理０２を実現し、対話候補の中から対話対象となりうる人物を抽出する。

図６は、出力デバイス制御部３０３と駆動制御部３０４とによる、対話候補への働きかけを行った際の第２の推定処理０２を示したフローチャートである。

まずステップS６０１では、出力デバイス制御部３０３と駆動制御部３０４は、出力デバイス１４０を制御することで、対話候補となる人物に働きかけを行う。このステップでは、第１プロセッサ１２７は、第１記憶デバイス１２８にて、働きかけを行った時刻Ｔａを記憶する。この時刻Ｔａは、第２記憶デバイス１３３に記録してもよい。

次に、ステップS６０２では、反応確認部３１７は、ステップS６０１にて制御されたロボット１１０の働きかけに対する対話候補の反応の変化を判定する。具体的には、反応確認部３１７は、頭方定部３２２にて時間ごとに検出される頭の向きが、時刻Ｔａに対して、例えば１秒以内など、極めて近い時刻以内にロボット１１０方向に向くように変化した際には、ロボット１１０のアクションに対する対話候補の反応であるとし、対話候補を対話対象であると判定する。また、例えば、反応確認部３１７は、胴方定部３２３にて、時刻Ｔａに対して、例えば５秒以内など、近い時刻で、対話候補の進行方向がロボット１１０方向へ変更されると判定される、ないしは、ロボット１１０方向に向かうまま変更しないと判定されるのであれば、対話対象と判定する。

次に、ステップS６０３では、反応確認部３１７は、ステップS６０２にて対話対象と判定された人物に対して、ロボット１１０があらかじめ体を向けたり、或いは、人物に向かって移動するよう駆動制御部３０４に制御信号を送る。出力デバイス制御部３０３に対し、スピーカ１２１を用いて、対話対象に声を掛けるよう制御信号を送信してもよい。

ステップS６０２にて、反応確認部３１７が、対話候補の反応を確認できず、対話対象として判定できなかった際に、時系列特徴抽出部３１５は、対話候補の人物がロボット１１０へと接近するか否かを判断する（ステップＳ６０４）。ここでの接近とするか否かの判断は、ロボット１１０の周囲の領域に対話候補人物が進入侵入したかにより判断する。この領域の広さは、対象となる人物のロボットへの接近速度に応じて変化するものであってさせることもできる。また、一定時間経ってもよい対象が接近しない場合や、対象人物がロボット１１０から一定の距離はなれば場合には、当該人物に対する処理は終了する。

最後にステップS６０５では、ステップS６０３にて対話対象であると判定された人物に対して、対話を行う準備を行う。例えば、人物との対話の開始にあたって、駆動装置１２５は、ロボット１１０の旋回機能を有しているのであれば、対話対象に対して、ロボット１１０に正対姿勢を取らせる。また、駆動装置１２５が移動手段を含む場合には、駆動制御部３０４は、ロボット１１０を対話対象の近くまで接近させ、その後、出力デバイス制御部３０３は、たとえばスピーカ１２１を用いて、対話対象に声を掛けてもよい。

領域は、具体的には、たとえば、ロボット１１０が正対姿勢を取るのであれば、その動作を完了するために必要な時間と、対話候補の接近速度を基に決定する可変の領域の範囲であるとしてよい。

以上のように、本実施の形態に示す対話システム１００によれば、遠方より接近してくる複数の人物の接近動作の特徴から対話候補とする第1の推定と、対話候補に働きかけを行うことで、これに対する対話候補の反応行動から対話対象とする第2の推定により、ロボットが、複数人が行き交う環境下で利用される際、人物が対話意思や関心を持っているかを、人物がロボットに接近前に判定し、事前に対話対象となる人物を絞り込む対話ロボットシステムおよび対話ロボットの制御方法を提供することができる。また、ロボットが能動的に人物を選択して話しかけることができるため、人物に効果的に対話対象とすることができる。さらに、接近される前にカメラを向けるなどし、人物の認識のための処理を実行することで、人物の外見的特徴を対話開始前に抽出可能となり、対話内容に反映させることができる。

１００：対話システム、１１０：ロボット、１２０：カメラ、１２１：スピーカ、１２２：マイクアレイ、１２３：内部サーバー、１２４：表示装置、１２５：駆動部、１２６：第１通信IF、１２７：第１プロセッサ、１２８：第１記憶デバイス、１３０：遠隔サーバー、１３１：第２通信IF、１３２：第２プロセッサ、１３３：第２記憶デバイス、１４０：第１出力デバイス、３０３：出力デバイス制御部、３０４：駆動制御部、３１２：人検出部、３１３：人特徴抽出部、３１４：人追跡部、３１５：時系列特徴抽出部、３１６：関心行動識別部、３１７：反応確認部、３２１：頭検出部、３２２：頭方定部、３２３：胴方定部。

Claims (8)

1. 周囲を撮像する撮像装置と、スピーカとを有するロボットと、前記ロボットを制御する計算機を用いた対話システムにおいて、
   前記ロボットは、表示装置を有しており、
   前記計算機は、
   前記撮像装置からの画像情報から人物を検出し、
   前記検出された人物を前記撮像装置の複数の画像で追跡し、
   前記追跡された人物の関心度を、前記複数の画像における前記人物の顔の向きと胴体の向きの変化に基づいて算出し、
   前記算出された関心度に基づいて対話候補とし、
   前記対話候補が存在するが複数存在しない場合、前記対話候補に対して前記スピーカによる働きかけを行い、前記対話候補が複数存在する場合、前記表示装置による働きかけを行う制御信号を前記ロボットに送信し、
   前記制御信号による働きかけから所定時間内に前記対話候補から反応があったと判定された人物を対話対象とすることを特徴とする対話システム。
2. 前記計算機は、
   前記撮像装置からの画像情報に複数の人物が撮像されている場合は、人物ごとに関心度を計算し、
   前記複数の人物の内から関心度が閾値より高い人物を前記対話候補とすることを特徴とする請求項１記載の対話システム。
3. 前記ロボットは、さらに駆動装置を有し、
   前記駆動装置は前記ロボットを旋回させ、
   前記撮像装置は前記駆動装置による旋回により、前記対話対象となる人物を正面より撮像することを特徴とする請求項２記載の対話システム。
4. 前記計算機は、前記撮像装置による前記対話対象となる人物を正面より撮像された画像に基づいて、前記人物との対話を開始する前に前記人物の年齢性別を識別することを特徴とする請求項３記載の対話システム。
5. ロボットと計算機とを有する対話システムの制御方法であって、
   前記ロボットに搭載された撮像装置により周囲を撮像し、
   前記計算機は、
   前記撮像装置によって撮像された画像から人物を検出し、前記検出された人物を追跡し、前記追跡された人物の関心度を、前記画像における前記人物の顔の向きと胴体の向きの変化に基づいて算出し、前記算出された関心度に基づいて対話候補とし、
   前記対話候補が存在するが複数存在しない場合、前記対話候補に対して前記ロボットのスピーカによる働きかけを行い、前記対話候補が複数存在する場合、前記ロボットの表示装置による働きかけを行う制御信号を前記ロボットに送信し、
   前記制御信号による働きかけから所定時間内に前記対話候補から反応があったと判定された人物を対話対象とする
   ことを特徴とする対話システムの制御方法。
6. 前記計算機は、前記撮像装置からの画像情報に複数の人物が撮像されている場合は、人物ごとに関心度を計算し、前記複数の人物の内から関心度が閾値より高い人物を対話候補とすることを特徴とする請求項５記載の対話システムの制御方法。
7. 前記計算機は、前記ロボットを旋回させて、前記対話対象となる人物を正面より撮像する制御信号を、前記ロボットの駆動装置に送信することを特徴とする請求項６記載の対話システムの制御方法。
8. 前記計算機は、前記対話対象となる人物を正面より撮像された画像に基づいて、前記人物との対話を開始する前に人物の年齢性別を識別することを特徴とする請求項７記載の対話システムの制御方法。

Images