JP6529065B2

JP6529065B2 - ロボット制御装置、ロボット制御システムおよびロボット制御プログラム

Info

Publication number: JP6529065B2
Application number: JP2015017558A
Authority: JP
Inventors: 建鋒徐; 茂之酒澤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2015-01-30
Filing date: 2015-01-30
Publication date: 2019-06-12
Anticipated expiration: 2035-01-30
Also published as: JP2016140935A

Description

本発明は、ネットワークを介した遠隔操作によってロボットの動作制御を行なうロボット制御装置、ロボット制御システムおよびロボット制御プログラムに関する。

従来から、遠隔地にいる参加者（以下、遠隔参加者ともいう）がネットワークを介して遠隔会議に参加する様々な技術がある。非特許文献１では、遠隔参加者の代理としてロボットを導入し、ロボットの手振り・身振りによって遠隔参加者の存在感を高めることができる技術が開示されている。

また、非特許文献２では、遠隔会議中に遠隔参加者がロボットの動作を制御するアプローチとして、Ｋｉｎｅｃｔ（登録商標）などのデバイスで遠隔参加者の動作の情報を取得し、人間の動作情報を直接ロボットに反映させるＩｍｐｌｉｃｉｔ方式、およびユーザの明示的な指示によってロボットの動作をコントロールするＥｘｐｌｉｃｉｔ方式が開示されている。この技術を利用して、例えば、特許文献１では、事前設定の動作集合から適切な動作を選んでロボットを動作させる技術が開示されている。また、特許文献２では、事前設定した動作集合を制作する技術が開示されている。

また、非特許文献３では、人の動きをそのままロボットに反映するよりも、人の動きを誇張させてロボットに反映したほうが効果的であるという考えから、遠隔参加者の代理として、ロボットの限定的な動作を誇張させる技術が開示させている。

特開２０１２−１１１０３８号公報ＵＳ８４４７４２８

Kazuaki Tanaka, Hideyuki Nakanishi, and Hiroshi Ishiguro. 2014. Robot conferencing: physically embodied motions enhance social telepresence. In Proceedings of the extended abstracts of the 32nd annual ACM conference on Human factors in computing systems (CHI EA '14). ACM, New York, NY, USA, 1591-1596. DOI=10.1145/2559206.2581162 http://doi.acm.org/10.1145/2559206.2581162 David Sirkin, Gina Venolia, John Tang, George Robertson, Taemie Kim, Kori Inkpen, Mara Sedlins, Bongshin Lee, and Mike Sinclair, Motion and Attention in a Kinetic Videoconferencing Proxy, in Interact 2011, Springer, 7 September 2011 Komei Hasegawa and Yasushi Nakauchi. 2014. Telepresence robot that exaggerates non-verbal cues for taking turns in multi-party teleconferences. In Proceedings of the second international conference on Human-agent interaction (HAI '14). ACM, New York, NY, USA, 293-296. Laskowski, K.; Edlund, J.; Heldner, M., "A single-port non-parametric model of turn-taking in multi-party conversation," Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on , vol., no., pp.5600,5603, 22-27 May 2011 岡村、健常者の脳波測定時に出現するθ波、愛媛県立医療技術大学紀要、第７卷、第１号、p.21-27、2010

しかしながら、遠隔会議における遠隔参加者は存在感が薄くなりがちで、Ｔｕｒｎｔａｋｉｎｇ（会話の中で発話の機会をとること。ここで、Ｔｕｒｎは、「自分の番／相手の番」を意味する）を取りにくい。その結果、議論の活発度が低下し、会議の生産性が低くなる傾向がある。

非特許文献１では、人間の動きをそのままロボットにコピーしているが、動作を誇張していないため、遠隔参加者の存在感が表現できていない。

また、非特許文献３では、ロボットの動作を誇張することを可能としているが、頷きや、話者向きにロボットの向きを転身させるなどの特定の動作にのみ対応しており、汎用的な動作を誇張することはできない。

また、特許文献１では、事前に設定された動作集合を用いて、ロボットの動作を誇張させることができるが、会議中に遠隔参加者が画面を見ながら複雑な操作を行なわなくてはならず、その結果、画面操作に意識が向いてしまい、活発な議論を行なう妨げになることも考えられる。また、予め設定された動作集合の中から、ロボットの動作を選択する上で、適切な動作を選ぶことは、必ずしも好ましいとはいえない。例えば、不適切な動作を選んでしまった結果、議論の低下を招くことも考えられる。

本発明は、このような事情に鑑みてなされたものであり、遠隔参加者がユーザ意図に合わせて直観的で且つ少数の選択肢を選ぶことによって、遠隔参加者の会議中の操作を極めて単純化させ、更に、遠隔参加者に一番相応しい動作をロボットに表現させることにより、Ｔｕｒｎｔａｋｉｎｇを含むユーザ意図をより取り易くすることを可能とするロボット制御装置、ロボット制御システムおよびロボット制御プログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のロボット制御装置は、ネットワークを介して行なう遠隔操作によってロボットの動作制御を行なうロボット制御装置であって、遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択する動作制御部と、前記選択されたモーションを、ロボットを用いて表現するロボット表現部と、を備えることを特徴とする。

このように、本発明のロボット制御装置は、遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択し、選択されたモーションを、ロボットを用いて表現するので、ユーザの意図に合わせて直観的で且つ少数の選択肢を選択することで、会議中の操作を極めて簡易化させ、Ｔｕｒｎｔａｋｉｎｇを含めてユーザ意図をより取り易い表現を実現し、不適切な動作を選んでしまうことにより起こりうる議論の低下を抑えることが可能となる。更に、各モーションの使用頻度を考慮することにより、同じモーションを繰り返し選択することによる機械的な動作のイメージを抑え、ロボットの存在感を出すことが可能となる。

（２）また、本発明のロボット制御装置において、前記動作制御部は、前記ユーザ意図のモーションと前記第１から前記第３のスコアのそれぞれが対応付けられたスコアテーブル、および前記選択されたモーションの使用頻度履歴を用いて、前記モーションスコアを算出することを特徴とする。

このように、動作制御部は、ユーザ意図のモーションと第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および選択されたモーションの使用頻度履歴を用いて、モーションスコアを算出するので、会議の参加者に一番相応しいモーションを選択することが可能となる。

（３）また、本発明のロボット制御装置は、前記ロボットが、複数のユーザが在室する会議室に配置され、前記選択されたモーション、前記選択されたモーションに対して他のユーザが行なった主観評価、および各モーションの使用履歴を用いて、前記第１から前記第３のスコアを更新する動作学習部を備えることを特徴とする。

このように、ロボットが、複数のユーザが在室する会議室に配置され、選択されたモーション、選択されたモーションに対して他のユーザが行なった主観評価、および各モーションの使用履歴を用いて、第１から前記第３のスコアを更新するので、遠隔参加者によって異なるモーションの個人差を抑え、会議参加者間において一番相応しいモーションを選択することが可能となる。

（４）また、本発明のロボット制御装置において、前記動作学習部は、初期設定として、前記会議室に在室する各ユーザから入力を受け付ける複数の端末装置から、ロボットによって表現されたモーションに対するユーザ意図の各主観評価を受信し、受信した主観評価から前記表現されたモーションが選択される可能性を示す比率を算出し、算出された比率を用いて、前記第１のスコアおよび前記第２のスコアを更新することを特徴とする。

このように、動作学習部は、初期設定として、会議室に在室する各ユーザから入力を受け付ける複数の端末装置から、ロボットによって表現されたモーションに対するユーザ意図の各主観評価を受信し、受信した主観評価から表現されたモーションが選択される可能性を示す比率を算出し、算出された比率を用いて、第１のスコアおよび第２のスコアを更新するので、遠隔参加者のモーションに対し、会議室に在室する各ユーザが受ける違和感を抑えることができる。

（５）また、本発明のロボット制御装置において、前記動作学習部は、更新処理として、前記各端末装置に設けられた脳波センサから、前記会議室に在室する各ユーザの脳波データを受信し、前記受信した脳波データに基づいて、前記第１のスコアを更新することを特徴とする。

このように、動作学習部は、更新処理として、各端末装置に設けられた脳波センサから、会議室に在室する各ユーザの脳波データを受信し、受信した脳波データに基づいて、第１のスコアを更新するので、会議を行ないながら、会議室に在室する各ユーザが遠隔参加者のモーションに対して感じたユーザ意図を推定し、第１のスコアを更新し、更にリアルタイムでモーションに反映することができる。

（６）また、本発明のロボット制御装置において、前記動作学習部は、更新処理として、前記遠隔端末装置から音声データを受信し、受信した音声データを用いて、前記各モーションのＴｕｒｎｔａｋｉｎｇの成功率を算出し、前記算出した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて、前記第２のスコアを更新することを特徴とする。

このように、動作学習部は、更新処理として、遠隔端末装置から音声データを受信し、受信した音声データを用いて、各モーションのＴｕｒｎｔａｋｉｎｇの成功率を算出し、算出した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて、第２のスコアを更新するので、会議を行ないながら、Ｔｕｒｎｔａｋｉｎｇに成功したか否かを判断し、第２のスコアを更新し、更にリアルタイムでモーションに反映することができる。

（７）また、本発明のロボット制御システムは、上記記載のロボット制御装置と遠隔端末装置とから構成され、ネットワークを介して前記遠隔端末装置が前記ロボット制御装置の動作制御を行なうロボット制御システムであって、前記遠隔端末装置は、ユーザからユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図の入力を受け付けるユーザ意図入力部を備え、前記ロボット制御装置は、前記遠隔端末装置から前記ユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択する動作制御部と、前記選択されたモーションを、ロボットを用いて表現するロボット表現部と、を備え、前記動作制御部は、前記ユーザ意図のモーションと前記第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および前記選択されたモーションの使用頻度履歴を用いて、前記モーションスコアを算出することを特徴とする。

このように、遠隔端末装置が、ユーザからユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図の入力を受け付け、ロボット制御装置が、遠隔端末装置からユーザ意図を受信し、受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択し、選択されたモーションを、ロボットを用いて表現し、ロボット制御装置の動作制御部が、ユーザ意図のモーションと第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および選択されたモーションの使用頻度履歴を用いて、モーションスコアを算出するので、ユーザの意図に合わせて直観的で且つ少数の選択肢を選択することで、会議中の操作を極めて簡易化させ、Ｔｕｒｎｔａｋｉｎｇを含めてユーザ意図をより取り易い表現を実現不適切な動作を選んでしまうことにより起こりうる議論の低下を抑えることが可能となる。更に、各モーションの使用頻度を考慮することにより、同じモーションを繰り返し選択することによる機械的な動作のイメージを抑え、ロボットの存在感を出すことが可能となる。また、更に、会議の参加者により相応しいモーションを選択することが可能となる。

（８）また、本発明のプログラムは、ネットワークを介して行なう遠隔操作によってロボットの動作制御を行なうロボット制御プログラムであって、遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択する処理と、前記選択されたモーションを、ロボットを用いて表現する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。

このように、遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択し、選択されたモーションを、ロボットを用いて表現するので、ユーザの意図に合わせて直観的で且つ少数の選択肢を選択することで、会議中の操作を極めて簡易化させ、Ｔｕｒｎｔａｋｉｎｇを含めてユーザ意図をより取り易い表現を実現不適切な動作を選んでしまうことにより起こりうる議論の低下を抑えることが可能となる。更に、各モーションの使用頻度を考慮することにより、同じモーションを繰り返し選択することによる機械的な動作のイメージを抑え、ロボットの存在感を出すことが可能となる。

（９）また、上記記載のプログラムは、前記ユーザ意図のモーションと前記第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および前記選択されたモーションの使用頻度履歴を用いて、前記モーションスコアを算出する処理を、更に含むことを特徴とする。

このように、ユーザ意図のモーションと第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および選択されたモーションの使用頻度履歴を用いて、モーションスコアを算出するので、会議の参加者により相応しいモーションを選択することが可能となる。

本発明によれば、遠隔参加者がユーザ意図に合わせて直観的で且つ少数の選択肢を選ぶことによって、遠隔参加者の会議中の操作を極めて単純化させ、更に、遠隔参加者に一番相応しい動作をロボットに表現させることができるため、Ｔｕｒｎｔａｋｉｎｇを含むユーザ意図をより取り易くすることが可能となる。

本実施形態に係るロボット制御システムを利用した遠隔会議のイメージ図である。本実施形態に係るロボット制御システムの概略構成を示すブロック図である。遠隔参加者がロボットにユーザ意図を入力する画面の一例である。脳波データによるスコア更新処理手順を示すフローチャートである。音声データによるスコア更新処理手順を示すフローチャートである。

本発明者らは、ネットワークを介して行なう遠隔会議において、遠隔参加者が会議に適切なモーションを行なえず、上手くＴｕｒｎｔａｋｉｎｇできないことに着目し、遠隔参加者がユーザ意図に合わせて直観的で且つ少数の選択肢を選ぶことにより、遠隔参加者の会議中の操作を極めて単純化させ、更に、遠隔参加者に一番相応しい動作をロボットに表現させることにより、Ｔｕｒｎｔａｋｉｎｇを含むユーザ意図をより取り易くすることができることを見出し、本発明をするに至った。

すなわち、本発明は、ネットワークを介して行なう遠隔操作によってロボットの動作制御を行なうロボット制御装置であって、遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択する動作制御部と、前記選択されたモーションを、ロボットを用いて表現するロボット表現部と、を備えることを特徴とする。

これにより、本発明者らは、ユーザの意図に合わせて直観的で且つ少数の選択肢を選択することで、会議中の操作を極めて簡易化させ、Ｔｕｒｎｔａｋｉｎｇを含めてユーザ意図をより取り易い表現を実現不適切な動作を選んでしまうことにより起こりうる議論の低下を抑えることを可能とした。以下、本発明の実施形態について図面を参照して説明する。

図１は、本実施形態に係るロボット制御システムを利用した遠隔会議のイメージ図である。本実施形態に係るロボット制御システムは、ネットワークを介して複数人で行なわれる遠隔会議において、自宅などの遠隔会場にいる会議の参加者（以下、遠隔参加者）が遠隔端末装置に自らの意思を入力し、主会場に配置されたロボットに遠隔参加者の意思を送信することにより、主会場の会議参加者に対し、遠隔参加者の意思を伝えることを可能とする。

図２は、本実施形態に係るロボット制御システムの概略構成を示すブロック図である。ロボット制御システムは、遠隔端末装置１およびロボット制御装置２から構成される。

遠隔端末装置１は、ユーザ意図入力部１１を備える。ユーザ意図入力部１１は、遠隔参加者であるユーザによって入力されたユーザ意図を取得し、取得したユーザ意図をロボット制御装置２へ送信する。ユーザ意図とは、遠隔参加者の意思を示す情報であり、少なくとも発言意欲、同意意向、疑問意向を含む。

ロボット制御装置２は、少なくとも動作制御部２１、ロボット表現部２３、動作学習部２５およびロボット動作ＤＢ２７から構成されている。動作制御部２１は、遠隔端末装置１のユーザ意図入力部１１からユーザ意図を取得する。取得したユーザ意図、自装置が表現したモーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果、および各モーションの使用頻度を考慮したコスト関数を用いて、各モーションのスコアを算出する。算出したスコアのうち最も高いスコアとなったモーションを選択する。選択したモーションの情報をロボット表現部２３へ送信する。ロボット表現部２３は、動作制御部２１から受信したモーションの情報をロボットに反映させ、実行させる。

動作学習部２５は、動作制御部２１が選択したモーションがユーザ意図として反映される度合いを判定し、各モーションの使用頻度履歴および判定結果に基づいて、動作制御部２１が保持しているスコアテーブルのスコアを更新する。ロボット動作ＤＢ２７は、ロボットの動作リストを保持している。動作リストには、「手を振る」「挙手」「頷き」「両手ガッツ」「手を差し出す」「指立て」など、ロボットに表現させる動作情報を保持している。

次に、本実施形態に係るロボット制御システムの各機能について、具体的な例を用いて説明する。図３は、遠隔参加者がロボットにユーザ意図を入力する画面の一例である。遠隔参加者は、ヘッドセットやＰＣ等を用いることにより、インターネットを介して、主会場の映像・音声を受信する。遠隔参加者は、主会場の状況をみながら、タブレット、ＰＣ、ゲームパッドなどの遠隔端末装置１を用いて、会議に参加する。遠隔端末装置１のユーザ意図入力部１１は、以下のように予め設定された少なくとも発言意欲、同意意向、および疑問意向を含むユーザ意図が選択できるようになっている。
・発言意欲：Ｔｕｒｎｔａｋｉｎｇを取りたいという意欲の強さを示す。
（ａ）とても発言したい
（ｂ）ちょっと発言したい
・同意意向：遠隔参加者の同意の意向の強さを示す。
（ａ）とても同意する
（ｂ）ちょっと同意する
・疑問意向：遠隔参加者の疑問の意向の強さを示す。
（ａ）とても疑問がある
（ｂ）ちょっと疑問がある

遠隔参加者は、このように直観的で且つ少数の選択肢として設定された、発言意欲、同意意向、および疑問意向の中から一つを選択する。遠隔参加者によって選択されたユーザ意図の情報は、主会場のロボット制御装置２へ送信される。ユーザ意図を入力する遠隔端末装置１は、タブレット、ＰＣ、またはゲームパッドに限らない。入力画面を見なくても選択できるような、機械的ボタンを用いてもよい。また、非特許文献４で開示されているカメラやＫｉｎｅｃｔ（登録商標）で遠隔参加者の顔、モーション、音声のデータを取得し、発言意欲、同意意向、および疑問意向を自動解析する技術を用いて、遠隔参加者が手動入力することなくユーザ意図の情報を主会場のロボット制御装置２へ送信することも可能であり、主会場の議論へのより活発な参加が可能となる。

次に、ロボット制御装置２の動作制御部２１で算出される各スコアについて説明する。動作制御部２１では、遠隔端末装置１から受信したユーザ意図を用いて、ロボットに適切な動作を表現させる。発言意欲、動作の効果および使用頻度を考慮したコスト関数を用いてスコア（モーションスコア）を算出し、算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択することにより、ロボットに適切な動作を表現させることができる。モーションスコアを算出する具体例として、各スコアについて、以下に説明する。

まず、ユーザ意図について説明する。具体例として、ユーザ意図の「発言意欲」を対象として説明するが、「同意意向」および「疑問意向」についても、同様の手段で実施することができる。発言意欲のスコアは、表１、表２に示すようなスコアテーブルで管理されている。表１は、「とても発言したい」に対して設定されているモーションのスコアを示す表である。表２は、「ちょっと発言したい」に対して設定されているモーションのスコアを示す表である。

遠隔参加者の発言意欲とロボットが表現するモーションの大きさが合わないと、会議に参加している他の参加者に対して違和感を与える可能性も考えられる。表１および表２に示しているスコアは、各モーションの適切度を示しており、他の参加者に対して違和感を与えないように考慮されたスコアが設定されている。

次に、動作の効果について説明する。動作の効果は、Ｔｕｒｎｔａｋｉｎｇの成功率によって設定したスコアである。基本的に、ロボットモーションが大きいと、Ｔｕｒｎｔａｋｉｎｇの成功率が高いと考えられる。また、認知的な負担の観点から、人間が会議中によく使っている動作は、認知的な負担が少ないため、スコアが高くなると考えられる。これらを考慮した結果、動作の効果のスコアは、表３のようになる。

ユーザ意図および動作の効果は、主観的な要素を備え、個人差もあることから、最初は複数人の主観評価でスコアを決めるが、２回目以降は、動作制御部２１で記憶している各モーションの使用履歴を用いて、スコアを調整する。スコアの調整に関する詳細は後述する。表１から表３に示す各スコアテーブルは、動作制御部２１が保持している。

次に、使用頻度について説明する。使用頻度を示すスコアは、対象のモーションが会議中にいつ、何回目で使用したという使用頻度履歴情報を用いて、式（１）によってスコアを算出する。式（１）は、機械的な動作のイメージを避けるため、動作の使い回しを避ける算出式となっている。

ｓ（ｍ）＝３−ｆ（ｍ）＋ｔ（ｍ）・・・（１）
ｆ（ｍ）：モーションｍの使用回数
ｔ（ｍ）：モーションｍの直前使用時間からの経過時間（ｈ）
（未使用の場合は、会議開始時刻を直前使用時間とする）
ｓ（ｍ）：モーションｍのスコア

以上のユーザ意図に対して設定された各モーションの適切度を示すスコア、装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示すスコア、および各モーションの使用頻度を示すスコアを統合し、モーションスコアを算出し、モーションスコアが最大であるモーションを適切なモーションとして選択する。このようにして、適切なモーションを選択するので、遠隔参加者の主観と必ずしも一致するわけではない。

ロボット表現部２３では、動作制御部２１において選択されたモーションに関する情報を、動作制御部２１から取得し、ロボットに表現させる。ロボットの表現は、頷きや挙手などのモーションの他、ＬＥＤなどの光や音声などで行なうことも可能である。また、ロボットが動作を行なった時刻は、動作制御部２１にて、ログとして保存される。

次に、動作学習部２５の機能について説明する。動作学習部２５では、動作制御部２１で選択されたモーションが、ユーザ意図に反する度合いを判定し、モーションの使用履歴および判定結果に基づいて、動作制御部２１の表１から表３のスコアを更新する。スコアテーブルの更新手順について、具体例として、ユーザ意図の「発言意欲」を対象として説明するが、「同意意向」および「疑問意向」についても、同様の手段で実施することができる。

更新手順は、初期設定を行なった後、学習によって更新を行なう。まず、表１から表３のスコアに対して初期設定を行なうため、会議に参加している複数人で、ロボットのモーションに対して主観評価を行なう。主観評価を行なう会議参加者は、ロボットのモーションを再生した後、ロボットが発言しそうか否かに対してＹｅｓ／Ｎｏを選択する。Ｙｅｓの選択比率は、表３のスコアに反映する。次に、Ｙｅｓを選択した人は、「とても発言したい」または「ちょっと発言したい」の中から適切なものを選択する。「とても発言したい」を選択比率は、表１のスコアに反映する。「ちょっと発言したい」の選択比率は、表２のスコアに反映する。

初期設定を行なった後、学習による更新を行なう。これは、個人差による差異を吸収するために行なう。会議の参加者を含める会議を分析し、その分析結果に基づいて動作制御部２１の表１から表３のスコアを更新する。この更新を行なうことにより、会議の参加者に一番相応しい動作をロボットに表現させることができる。学習による更新方法の一例として、会議参加者の脳波を取得することにより、スコア更新処理を行なう方法について説明する。

図４は、表１および表２の更新処理手順を示すフローチャートである。まず、会議の参加者複数人が脳波を測定する脳波計を装着し、会議中の脳波を測定し、脳波データを取得する（ステップＳ１０１）。脳波データには、デルタ波（０．５〜４Ｈｚ未満）、シータ波（４〜８Ｈｚ未満）、アルファ波（８〜１３Ｈｚ未満）、ベータ波（１３〜３０Ｈｚ未満）がある。アルファ波より低い周波数であるデルタ波およびシータ波は、徐波と呼ばれ、アルファ波よりも高い周波数であるベータ波は、速波と呼ばれる。

会議中にロボットが動作した時刻に取得した会議参加者の脳波データから、会議参加者が感じた発言意欲を推定する（ステップＳ１０３）。各種類の脳波データにおいて、シータ波は、いつでも出ているわけではなく、集中しているときや意欲が高まっているときに出やすいと考えられる。つまり、シータ波によって、発言意欲が強いか弱いかを判定することが可能となる。このように、会議参加者の発言意欲を推定し、推定結果を用いてスコアで更新を行なうことにより、ロボットの動作に個人差がでることを抑え、会議参加者に一番相応しい動作制御を行なうことができる。

非特許文献５では、シータ波の出現を判定する手法が開示されている。非特許文献５によると、脳波データを高速フーリエ変換（FFT）し、振幅スペクトラムを作製し、ピーク周波数を求める。シータ波が優位に出現している時間が一定時間（例えば、１秒）以上継続していた場合、シータ波が出現したと判定することができる。なお、継続する一定時間には個人差があるため、事前に学習や調整が必要である。

図５は、表３の更新処理手順を示すフローチャートである。ユーザ意図入力部１１は、マイクを用いて音声データを取得し（ステップＳ２０１）、ロボット制御装置２へ送信する。ロボット制御装置２は、音声データを取得することによって遠隔参加者の発言を検出し、その発言の開始と終了時刻を推定し、ロボットが動作した後に遠隔参加者が発言したか否かを推定し、推定結果から遠隔参加者のＴｕｒｎｔａｋｉｎｇが成功したか否かを判定する（ステップＳ２０３）。判定の一例として、ヘッドセットを着用した場合の処理手順を説明する。ヘッドセットを着用した遠隔参加者が、マイクを用いて入力した音声データを解析すると、発話する時間帯のみに一定数字以上の値になる。そのため、発話の開始と終了時刻は、式（２）で判定することができる。

ｐ（ｔ１）＞ＴＨ
ｐ（ｔ２）＜ＴＨ＆ｐ（ｔ１＜ｔ＜ｔ２）＞ＴＨ・・・（２）
ｔ１：発話の開始時刻
ｔ２：発話の終了時刻
ｐ（ｔ）：ｔ時刻にマイクで収録した音声データのパワー

続いて、発話時間の取得を成功したか否かを判別する方法として、発話の開始時間と動作の開始時間が一定時間（例えば、３秒）以内にある場合は、成功と判定し、一定時間（例えば、３秒）より長い場合は、失敗と判定する。そして、会議中のあるモーションに対して、推定したＴｕｒｎｔａｋｉｎｇの成功率を算出し、表２のスコアを更新する（ステップＳ２０５）。
スコアの更新方法として、脳波計や音声の他、カメラや深度センサなど他のデバイスも可能である。

以上説明したように、本実施形態によれば、遠隔参加者がユーザ意図に合わせて直観的で且つ少数の選択肢を選ぶことによって、遠隔参加者の会議中の操作を極めて単純化させ、更に、遠隔参加者に一番相応しい動作をロボットに表現させることができるため、Ｔｕｒｎｔａｋｉｎｇを含むユーザ意図をより取り易くすることが可能となる。

１遠隔端末装置
２ロボット制御装置
１１ユーザ意図入力部
２１動作制御部
２３ロボット表現部
２５動作学習部
２７ロボット動作ＤＢ

Claims

ネットワークを介して行なう遠隔操作によってロボットの動作制御を行なうロボット制御装置であって、
遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択する動作制御部と、
前記選択されたモーションを、ロボットを用いて表現するロボット表現部と、を備えることを特徴とするロボット制御装置。
前記動作制御部は、前記ユーザ意図のモーションと前記第１から前記第３のスコアのそれぞれが対応付けられたスコアテーブル、および前記選択されたモーションの使用頻度履歴を用いて、前記モーションスコアを算出することを特徴とする請求項１記載のロボット制御装置。
前記ロボットが、複数の会議参加者が在室する会議室に配置され、前記選択されたモーション、前記選択されたモーションに対して前記各会議参加者が行なった主観評価、および各モーションの使用履歴を用いて、前記第１から前記第３のスコアを更新する動作学習部を備えることを特徴とする請求項２記載のロボット制御装置。
前記動作学習部は、初期設定として、前記会議室に在室する前記各会議参加者から入力を受け付ける複数の端末装置から、ロボットによって表現されたモーションに対するユーザ意図の各主観評価を受信し、受信した主観評価から前記表現されたモーションが選択される可能性を示す比率を算出し、算出された比率を用いて、前記第１のスコアおよび前記第２のスコアを更新することを特徴とする請求項３記載のロボット制御装置。
前記動作学習部は、更新処理として、前記各端末装置に設けられた脳波センサから、前記会議室に在室する前記各会議参加者の脳波データを受信し、前記受信した脳波データに基づいて、前記第１のスコアを更新することを特徴とする請求項４記載のロボット制御装置。
前記動作学習部は、更新処理として、前記遠隔端末装置から音声データを受信し、受信した音声データを用いて、前記各モーションのＴｕｒｎｔａｋｉｎｇの成功率を算出し、前記算出した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて、前記第２のスコアを更新することを特徴とする請求項４記載のロボット制御装置。
請求項１から請求項６のいずれかに記載のロボット制御装置と遠隔端末装置とから構成され、ネットワークを介して前記遠隔端末装置が前記ロボット制御装置の動作制御を行なうロボット制御システムであって、
前記遠隔端末装置は、
ユーザからユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図の入力を受け付けるユーザ意図入力部を備え、
前記ロボット制御装置は、
前記遠隔端末装置から前記ユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを
選択する動作制御部と、
前記選択されたモーションを、ロボットを用いて表現するロボット表現部と、を備え、
前記動作制御部は、前記ユーザ意図のモーションと前記第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および前記選択されたモーションの使用頻度履歴を用いて、前記モーションスコアを算出することを特徴とするロボット制御システム。
ネットワークを介して行なう遠隔操作によってロボットの動作制御を行なうロボット制御プログラムであって、
遠隔端末装置からユーザの意思を表わす少なくとも発言意欲、同意意向、疑問意向を含むユーザ意図を受信し、前記受信したユーザ意図に対して設定された各モーションの適切度を示す第１のスコア、自装置が表現した各モーションのＴｕｒｎｔａｋｉｎｇの成功率に基づいて設定された動作の効果を示す第２のスコア、および各モーションの使用頻度を示す第３のスコアを用いて、モーションスコアを算出し、前記算出したモーションスコアのうち最大となるモーションスコアに対応するモーションを選択する処理と、
前記選択されたモーションを、ロボットを用いて表現する処理と、を含む一連の処理をコンピュータに実行させることを特徴とするロボット制御プログラム。
前記ユーザ意図のモーションと前記第１から第３のスコアのそれぞれが対応付けられたスコアテーブル、および前記選択されたモーションの使用頻度履歴を用いて、前記モーションスコアを算出する処理を、更に含むことを特徴とする請求項８記載のロボット制御プログラム。