JP7180613B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本開示は、情報処理装置および情報処理方法に関する。

近年、機械学習技術などを用いて自律的な動作を実行する種々の装置が開発されている。上記のような装置は、例えば、認識した状況に基づいて、当該状況に則した自律動作を行うことができる。例えば、特許文献１には、設定された地点まで人物を誘導する人物誘導ロボットが開示されている。

特開２０１３－１０７１８４号公報

ところで、自律動作を行う装置の行動は、認識した状況などの種々の要因により動的に変容し得る。しかし、特許文献１に開示される人物誘導ロボットは、上記のような要因や変容する行動に係る情報を提示する手段を有していない。このため、人物誘導ロボットに誘導される人物などは、人物誘導ロボットの内部状態や今後の行動を把握することが困難である。

そこで、本開示では、自律動作体の内部状態や行動計画を周囲に認知させることが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。

本開示によれば、自律動作体の行動に影響する内部情報の提示を制御する出力制御部、を備え、前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含む、情報処理装置が提供される。

また、本開示によれば、プロセッサが、自律動作体の行動に影響する内部情報の提示を制御すること、を含み、前記提示を制御することは、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御すること、をさらに含み、前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含む、情報処理方法が提供される。

以上説明したように本開示によれば、自律動作体の内部状態や行動計画を周囲に認知させることが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態の概要について説明するための図である。 同実施形態に係る情報処理システムの構成例を示すブロック図である。 同実施形態に係る自律動作体の機能構成例を示すブロック図である。 同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。 同実施形態に係る内部情報および行動計画情報の提示制御の具体例を示す図である。 同実施形態に係る内部情報および行動計画情報の提示制御の具体例を示す図である。 同実施形態に係る内部情報および行動計画情報の提示制御の具体例を示す図である。 同実施形態に係る内部情報および行動計画情報の提示制御の具体例を示す図である。 同実施形態に係る内部情報および行動計画情報の提示制御の具体例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動における提示制御の例を示す図である。 同実施形態に係る協調行動に係る時系列の行動順序を示す情報提示について説明するための図である。 同実施形態に係る情報処理サーバによる制御の流れを示すフローチャートである。 本開示の一実施形態に係るハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．概要
１．２．システム構成例
１．３．自律動作体１０の機能構成例
１．４．情報処理サーバ２０の機能構成例
１．５．提示制御の具体例
１．６．制御の流れ
２．ハードウェア構成例
３．まとめ

＜１．実施形態＞
＜＜１．１．概要＞＞
上述したように、近年においては、自律動作を行う種々の装置が開発され、また実用化されてきている。上記のような装置は、例えば、認識した状況に対し最適であると判断した行動を自律的に行うことで、操作者による操作を伴わず、種々のタスクを実行することが可能である。

しかし、上記のような装置は、人間と同一の空間を、同一の時間において共有しないことを前提とする場合が多い。例えば、自律動作型の掃除ロボットは、人間がいない時間に掃除を行う。また、自律動作型の監視ロボットは、夜間の病院など、活動している人間の数が至極限定される空間で監視動作を行い、また人間を検出した際には、安全性の確保のために動作を停止する場合もある。

一方、技術の発展に伴い、今後は、種々の自律動作体が、一般人が存在する環境においてタスクを実行したり、人間と目的を共有して協調行動を行うことが想定される。一例としては、空港や病院などにおいて一般利用者の行動を妨害しないように走行する搬送ロボットや、家庭などにおいて高齢者と相互的なインタラクションを行いながら当該高齢者の補助を行う介護ロボットなどが挙げられる。

ここで、上記の搬送ロボットのような自律動作体は、例えば、半自動操縦型の装置であってもよい。例えば、搬送ロボットは、比較的単純な環境においては操作者の直接操作を要しない自律走行を行い、道幅が狭いなどの複雑な地形においてのみ監視者や搭乗者の操作または指示に基づく動作を行ってもよい。この場合であっても、完全操作型のロボットと比較して、操作者の人数や作業負荷を大幅に低減することができる。

しかし、この際、上記の一般利用者や高齢者、また自律動作体を監視する監視者などが、自律動作体の内部状態や次の行動を予測できない場合、自律動作体の挙動の一つひとつが各者の不安を煽る要因や、利便性の低下を招く要因となり得る。

本開示に係る技術思想は上記の点に着目して発想されたものであり、自律動作体の内部状態や行動計画を周囲に認知させることを可能とする。このために、本開示の一実施形態に係る情報処理方法を実現する情報処理装置は、自律動作体の行動に影響する内部情報の提示を制御する出力制御部を備え、また出力制御部は、上記の内部情報、また内部情報に基づく自律動作体の行動計画に係る行動計画情報の動的な提示を制御することを特徴の一つとする。また、上記の行動計画情報は、時系列における自律動作体の行動の流れを示す情報を含む。

図１は、本開示の一実施形態の概要について説明するための図である。図１には、一般利用者が存在する空港内において、自律走行を行う搬送ロボットである自律動作体１０と、自律動作体１０を監視する監視者Ｗが示されている。

ここで、監視者Ｗは、自律動作体１０の緊急停止などのコントロールを行うことが可能な人物であり、自律動作体１０の挙動がおかしいと判断した場合には、自律動作体１０を緊急停止させ、周囲や自律動作体１０の安全を確保する役目を持つ。なお、監視者Ｗは、例えば、自律動作体１０の周囲ではなく、遠隔地から自律動作体１０の遠隔監視や遠隔操作を行ってもよい。

また、図１に示す自律動作体１０は、認識した状況に基づいて、発進、加速、減速、停止、また方向転換などの種々の移動動作を行う搬送ロボットである。しかし、ここで、自律動作体１０が監視者Ｗに対して、内部状態や行動計画に係る情報を提示する手段を有しない場合、自律動作体１０が行う動作が合理的である場合であっても、監視者Ｗにとっては、当該動作が不安要素となり得る自体も想定される。

例えば、自律動作体１０が進入方向における交差路において死角を検出し、当該死角から歩行者などが飛び出してくる場合を想定し、減速や停止を行った場合、当該動作は自律動作体１０の合理的な行動計画に基づく動作といえる。

しかし、特に、上記死角を認識していない監視者Ｗにとっては、上記の減速が停止が不合理な動作に感じられる場合も想定される。この場合、監視者Ｗは、当該動作を誤作動として誤認し、正常に動作している自律動作体１０を緊急停止させ、不必要なメンテナンスの実施を行う可能性もある。

上記のような事態を回避するため、本開示の一実施形態に係る自律動作体１０を制御する情報処理サーバ２０は、自律動作体１０の自律動作に係る内部情報、および当該内部情報に基づく行動計画情報を、自律動作体１０に動的に提示させる機能を有する。

ここで、上記の行動計画情報は、少なくとも時系列における自律動作体１０の行動の流れを示す情報を含んでよい。また、上記の内部情報には、自律動作体１０の周囲環境に係る種々の認識情報が含まれる。

図１に示す一例の場合、情報処理サーバ２０は、自律動作体１０に、検出した死角に係る認識情報を視覚情報Ｉ１として出力させ、また減速に係る行動計画情報を視覚情報Ｉ２として出力させている。さらに、情報処理サーバ２０は、自律動作体１０の移動に伴い死角が消失した場合には、加速を行うことを示す行動計画情報を視覚情報Ｉ３として、自律動作体１０に表示させている。

なお、本実施形態に係る情報処理サーバ２０は、例えば、図１に示す視覚情報Ｉ１～Ｉ３を、プロジェクション（投影）により周囲の人間に対し提示させてもよい。係る表示制御によれば、表示装置の向きに依存せず多くの人間に対して効率的な情報提示を行うことが可能である。また、情報処理サーバ２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いてウェアラブルデバイスを装着する監視者Ｗなどの対象者にのみ視覚情報Ｉ１～Ｉ３を提示させることも可能である。

このように、本実施形態に係る情報処理サーバ２０によれば、単純に認識結果を表示させるのではなく、学習によって獲得した自律動作体１０の行動変容の要因となる内部情報、および当該内部情報に基づいて変容する行動計画を、周囲に存在する監視者Ｗなどに対し提示させることができる。

本実施形態に係る情報処理サーバ２０および自律動作体１０が有する上記の機能によれば、周囲に存在する監視者Ｗなどが、自律動作体１０の内部状態や、行動計画を明確に把握することができる。これによれば、自律動作体１０の挙動に対する周囲の人間の不安を解消するとともに、誤作動などに係る誤認を効果的に防止することが可能となる。また、自律動作体１０が認識すべき物体に係る情報などが提示されない場合、監視者Ｗは、迅速かつ正確に自律動作体１０を緊急停止させることなどができ、自律動作体１０や周囲の安全を確保することが可能となる。

以下、本開示の一実施形態に係る情報処理サーバ２０が有する機能と当該機能が奏する効果について具体例を示しながら詳細に説明する。

＜＜１．２．システム構成例＞＞
まず、本開示の一実施形態に係る情報処理システムの構成例について説明する。図２は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図２を参照すると、本実施形態に係る情報処理システムは、自律動作体１０および情報処理サーバ２０を備える。また、自律動作体１０および情報処理サーバ２０は、互いに通信が行えるようにネットワーク３０を介して接続される。

（自律動作体１０）
本実施形態に係る自律動作体１０は、情報処理サーバ２０による制御に基づいて自律動作を行う情報処理装置である。上述したように、本実施形態に係る自律動作体１０は、周囲に存在する人間に、自律動作に係る内部情報や行動計画情報を提示する機能を有する。

本実施形態に係る自律動作体１０は、例えば、図１に示したように、空港、病院、ホテル、ショッピングモール、工場、倉庫などにおいて物品を搬送する搬送ロボットであってもよい。一方、本実施形態に係る自律動作体１０は、係る例に限定されず、自律動作を行う種々の装置であり得る。

本実施形態に係る自律動作体１０は、例えば、工場や倉庫においてタスクを実行するマニピュレータや各種のロボットアームなどであってもよい。また、本実施形態に係る自律動作体１０は、例えば、ドローンなどの無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）、また医療用ロボットなどであってもよい。本実施形態に係る情報処理方法によれば、自律動作に係る内部状態や行動計画を、監視者、周囲に存在する一般人、また協調行動を行う作業者などに明確に把握させることが可能である。このため、本実施形態に係る情報処理方法は、自律動作を行う種々の装置に対し、同様に有効である。

（情報処理サーバ２０）
本実施形態に係る情報処理サーバ２０は、自律動作体１０の動作を制御する情報処理装置である。また、本実施形態に係る情報処理サーバ２０は、自律動作体１０の行動に影響する内部情報、および当該内部情報に基づく行動計画情報を、自律動作体１０に動的に提示させること、を特徴の一つとする。本実施形態に係る情報処理サーバ２０が有する機能の詳細については、別途後述する。

（ネットワーク３０）
ネットワーク３０は、自律動作体１０と情報処理サーバ２０、自律動作体１０同士を接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。

以上、本開示の一実施形態に係る情報処理システムの構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る自律動作体１０および情報処理サーバ２０が有する機能は、単一の装置により実現されてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。

＜＜１．３．自律動作体１０の機能構成例＞＞
次に、本開示の一実施形態に係る自律動作体１０の機能構成例について説明する。図３は、本実施形態に係る自律動作体１０の機能構成例を示すブロック図である。図３を参照すると、本実施形態に係る自律動作体１０は、センサ部１１０、撮像部１２０、音声入力部１３０、表示部１４０、音声出力部１５０、駆動部１６０、制御部１７０、およびサーバ通信部１８０を備える。

（センサ部１１０）
本実施形態に係るセンサ部１１０は、周囲環境や自律動作体１０に係る種々のセンサ情報を収集する。センサ部１１０が収集したセンサ情報は、情報処理サーバ２０による各種の認識処理に用いられる。このために、センサ部１１０は、例えば、慣性センサ、地磁気センサ、レーダ、ＬＩＤＡＲ、光センサ、熱センサ、振動センサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）信号受信装置などの種々のセンサ装置を備える。

（撮像部１２０）
本実施形態に係る撮像部１２０は、周囲に存在する歩行者などの動体を含む周囲環境の画像を撮像する。撮像部１２０が撮像した画像は、情報処理サーバ２０による物体認識処理などに用いられる。このために、撮像部１２０は、画像を撮像することが可能な撮像装置を備える。なお、上記の画像には、静止画像のほか動画像が含まれる。

（音声入力部１３０）
本実施形態に係る音声入力部１３０は、周囲に存在する監視者や歩行者などによる発話や、周囲で発生する環境音などの音情報を収集する機能を有する。音声入力部１３０が収集した音情報は、情報処理サーバ２０による音声認識や、周囲環境の認識などに用いられる。このために、本実施形態に係る音声入力部１３０は、音情報を収集するためのマイクロフォンを備える。

（表示部１４０）
本実施形態に係る表示部１４０は、視覚情報を表示する機能を有する。本実施形態に係る表示部１４０は、例えば、情報処理サーバ２０による制御に基づいて、自律動作体１０の自律動作に係る内部情報や行動計画情報を表示する。本実施形態に係る表示部１４０は、上記の内部情報および行動計画情報のディスプレイ表示、投影表示、ＡＲ表示、ＶＲ表示などを行ってよい。このために、本実施形態に係る表示部１４０は、採用する表示手段に対応する種々の表示装置を備える。

（音声出力部１５０）
本実施形態に係る音声出力部１５０は、音声を含む種々の音を出力する機能を有する。本実施形態に係る音声出力部１５０は、例えば、情報処理サーバ２０による制御に基づいて、内部情報や行動計画情報に対応する音声出力を行ってもよい。このために、本実施形態に係る音声出力部１５０は、スピーカやアンプなどの音声出力装置を備える。

（駆動部１６０）
本実施形態に係る駆動部１６０は、情報処理サーバ２０による制御に基づいて、自律動作体１０の種々の動作を実現する。このために、本実施形態に係る駆動部１６０は、自律動作体１０の動作を実現するための種々の構成を備える。駆動部１６０は、例えば、自律動作体１０の移動を実現するための車輪やモータ、エンジン、アクチュエータなどを備える。

（制御部１７０）
本実施形態に係る制御部１７０は、自律動作体１０が備える各構成を制御する機能を有する。制御部１７０は、例えば、各構成の起動や停止を制御する。また、制御部１７０は、情報処理サーバ２０により生成される制御信号を表示部１４０や音声出力部１５０、駆動部１６０に入力する。また、本実施形態に係る制御部１７０は、後述する情報処理サーバ２０の出力制御部２４０と同等の機能を有してもよい。

（サーバ通信部１８０）
本実施形態に係るサーバ通信部１８０は、ネットワーク３０を介して情報処理サーバ２０との情報通信を行う。具体的には、サーバ通信部１８０は、センサ情報、画像、音情報を情報処理サーバ２０に送信し、自律動作体１０の自律動作に係る種々の制御信号を情報処理サーバ２０から受信する。

以上、本実施形態に係る自律動作体１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る自律動作体１０の機能構成は係る例に限定されない。例えば、自律動作体１０は、振動や物理刺激、電気刺激、温度変化などをユーザに知覚させるための構成をさらに備えてもよい。本実施形態に係る内部情報および行動計画情報は、上記のような皮膚感覚情報、また駆動部１６０の動作などによりユーザに提示することも可能である。また、上述したように、本実施形態に係る制御部１７０は、情報処理サーバ２０の出力制御部２４０と同等の機能を有してもよい。本実施形態に係る自律動作体１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。

＜＜１．４．情報処理サーバ２０の機能構成例＞＞
次に、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明する。図４は、本実施形態に係る情報処理サーバ２０の機能構成例を示すブロック図である。図４を参照すると、本実施形態に係る情報処理サーバ２０は、認識部２１０、学習部２２０、行動計画部２３０、出力制御部２４０、および通信部２５０を備える。

（認識部２１０）
本実施形態に係る認識部２１０は、自律動作体１０が収集したセンサ情報、画像、音情報に基づく種々の認識処理を実行する。認識部２１０は、例えば、物体認識、地形認識、距離認識、行動認識、音声認識などを行い、自律動作体１０が置かれる状況を総合的に推定する。

（学習部２２０）
本実施形態に係る学習部２２０は、認識部２１０が認識した状況と、当該状況において自律動作体１０に実行させる動作を関連付けて学習を行う。本実施形態に係る学習部２２０は、例えば、ディープラーニングなどの機械学習アルゴリズムを用いて上記の学習を行ってよい。

本実施形態に係る学習部２２０は、例えば、認識した物体や地形に対するアテンションに基づいて、衝突を避けるような報酬を用いた強化学習などを行ってよい。この場合、衝突しそうな物体や地形にアテンションが集まるため、出力制御部２４０は、アテンションが集まる領域を内部情報の一つとして自律動作体１０に提示させることができる。また、出力制御部２４０は、学習部２２０が学習時に各特した周辺環境のコストマップからルールベースで障害物を定義して切り出すなどし、当該障害物の認識に係る内部情報を自律動作体１０に提示させてもよい。

（行動計画部２３０）
本実施形態に係る行動計画部２３０は、認識部２１０が認識した状況と、学習部２２０による学習知識とに基づいて、自律動作体１０の動作に係る行動計画を行う。行動計画部２３０は、例えば、子供などの、動的な障害物で動きの予測誤差が大きい物体を避けるような動作を計画することができる。

（出力制御部２４０）
本実施形態に係る出力制御部２４０は、行動計画部２３０が決定した行動計画に基づいて、自律動作体１０の表示部１４０、音声出力部１５０、および駆動部１６０を制御する。また、本実施形態に係る出力制御部２４０は、自律動作体１０の行動に影響する内部情報の提示を制御することを特徴の一つとする。より具体的には、本実施形態に係る出力制御部２４０は、上記の内部情報、および当該内部情報に基づく自律動作体１０の行動計画情報を、自律動作体１０に動的に提示させることができる。上述したように、上記の行動計画情報は、時系列における自律動作体１０の行動の流れを示す情報を含んでよい。

また、本実施形態に係る出力制御部２４０は、内部情報に基づいて変化する自律動作体１０の行動の流れを、自律動作体１０に動的に提示させてよい。例えば、本実施形態に係る内部情報には、周囲環境に係る認識情報が含まれる。この際、本実施形態に係る出力制御部２４０は、認識された状況の変化により変化した行動の流れを、明示的に自律動作体１０に提示させることが可能である。本実施形態に係る出力制御部２４０が有する機能の詳細につては、別途後述する。

（通信部２５０）
本実施形態に係る通信部２５０は、ネットワーク３０を介して自律動作体１０との情報通信を行う。具体的には、通信部２５０は、自律動作体１０からセンサ情報、画像、音情報を受信し、出力制御部２４０が生成した各種の制御信号を自律動作体１０に送信する。

以上、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。例えば、上記に示した各機能は、複数の装置に分散されて実現されてもよい。また、例えば、情報処理サーバ２０が有する機能は、自律動作体１０の機能として実現されてもよい。本実施形態に係る情報処理サーバ２０の機能構成は、仕様や運用に応じて柔軟に変形され得る。

＜＜１．５．提示制御の具体例＞＞
次に、本実施形態に係る出力制御部２４０による内部情報および行動計画情報の提示制御について具体例を挙げながら詳細に説明する。上述したように、本実施形態に係る出力制御部２４０は、自律動作体１０の行動に影響する内部情報、および当該内部情報に基づく行動計画情報を、自律動作体１０に動的に提示させる機能を有する。

また、本実施形態に係る内部情報には、周囲環境に係る種々の認識情報や、計画される行動の意図が含まれる。この際、本実施形態に係る出力制御部２４０は、例えば、状況の変化が認識されたことにより行動計画の変更が行われた場合に、変化した行動計画に係る情報を動的に自律動作体１０に提示させてもよい。

図５～図９は、本実施形態に係る内部情報および行動計画情報の提示制御の具体例を示す図である。例えば、図５には、出力制御部２４０が、死角の認識に基づいて変更された行動計画に係る情報を自律動作体１０に提示させる場合の一例が示されている。このように、本実施形態に係る認識情報には、周囲地形に係る情報が含まれる。より具体的には、上記周囲地形に係る情報は、自律動作体１０や歩行者、設置物などの安全性の低下を招く要因となる地形の検出情報を含んでよい。

図５に示す一例の場合、出力制御部２４０は、死角に係る認識情報を視覚情報Ｉ１として自律動作体１０に表示させ、当該認識情報に基づいて変更された行動計画情報を視覚情報Ｉ２およびＩ３として自律動作体１０に表示させている。具体的には、出力制御部２４０は、死角が存在する交差路の手前で減速を行うことを示す視覚情報Ｉ２と、歩行者などの飛び出しに備え、死角から遠ざかるようルート変更を行う意図を示す視覚情報Ｉ３を自律動作体１０に表示させてもよい。

このように、本実施形態に係る内部情報には、計画される行動の意図が含まれてよい。この際、出力制御部２４０は、例えば、「歩行者の飛び出しに備え、移動ルートを変更します」などの音声発話を自律動作体１０に出力させてもよい。本実施形態に係る出力制御部２４０が有する上記の機能によれば、内部情報に基づいて変更された行動の意図を明確に監視者Ｗなどに把握させることができ、不安要素の排除など対し、より高い効果を得ることができる。

また、図６には、出力制御部２４０が、下り階段などの段差の認識に基づいて変更された行動計画に係る情報を自律動作体１０に提示させる場合の一例が示されている。図６に示す一例の場合、出力制御部２４０は、段差に係る認識情報を視覚情報Ｉ１として自律動作体１０に表示させ、当該認識情報に基づいて変更された行動計画情報を視覚情報Ｉ２およびＩ３として自律動作体１０に表示させている。

具体的には、出力制御部２４０は、段差の手前で減速を行うことを示す視覚情報Ｉ２と、停止予定位置を示す視覚情報Ｉ３とを自律動作体１０に表示させている。このように、本実施形態に係る行動計画情報には、時系列における自律動作体１０の位置情報の遷移に係る種々の情報が含まれる。行動計画情報には、例えば、自律動作体１０の移動開始、停止、減速や加速などの移動速度に係る情報が含まれてよい。

本実施形態に係る出力制御部２４０が有する上記の機能によれば、例えば、予め減速や停止に係る行動計画を監視者Ｗなどに示すことで、監視者Ｗが、自律動作体１０が段差から落下しないよう正常に動作していることを明確に把握し、自律動作体１０の不要な緊急停止などを行う事態を回避することが可能となる。

なお、本実施形態に係る周囲地形に係る情報は、図６や図７で示したような死角や段差に限定されない。出力制御部２４０は、例えば、自律動作体１０の直進方向に存在する壁を認識しており、手前で停止を行うことや、水たまりや熱源、またはパンクの要因となる落下物を迂回することなどを自律動作体１０に提示させてもよい。

また、図７には、出力制御部２４０が、歩行者などの動体の認識に基づいて変更された行動計画に係る情報を自律動作体１０に提示させる場合の一例が示されている。このように、本実施形態に係る認識情報は、自律動作体１０の周囲に存在する歩行者などの動体の検出情報を含む。図７に示す一例の場合、出力制御部２４０は、子供である歩行者Ｐを認識していることを示す認識情報を視覚情報Ｉ１として自律動作体１０に表示させている。また、出力制御部２４０は、歩行者Ｐの手前で減速し、また迂回することを示す行動計画情報を視覚情報Ｉ２およびＩ３として自律動作体１０に表示させている。

さらには、出力制御部２４０は、所定時間内に歩行者Ｐが移動する可能性のある範囲を視覚情報Ｉ４として自律動作体１０に表示させている。このように、本実施形態に係る認識情報には、歩行者などの動体の行動予測に係る情報が含まれる。

また、このように、例えば、子供のような動きの予測誤差が大きい動体を検出した場合、行動計画部２３０は、動体の性質に基づいて当該動体を回避するために充分な行動を計画し、出力制御部２４０は、当該計画に係る行動計画情報を動的に出力させることができる。

本実施形態に係る出力制御部２４０が有する上記の機能によれば、例えば、予め減速や迂回に係る行動計画を監視者Ｗに示すことで、監視者Ｗが、自律動作体１０が子供などの歩行者Ｐを認識していることや、歩行者Ｐが移動し得る範囲を避けて行動していること、を明確に把握することが可能となる。

なお、本実施形態に係る出力制御部２４０は、上記のような動体の他、静止物の認識や当該認識に基づく行動計画の変化を自律動作体１０に提示させることが可能である。出力制御部２４０は、例えば、高価な物体や衝突の際に自律動作体１０の破損を招き得る物体を認識していることや、当該物体を回避するよう迂回することを自律動作体１０に提示させてよい。

また、図８には、出力制御部２４０が、過去の行動に基づいて変更された行動計画に係る情報を自律動作体１０ａに提示させる場合の一例が示されている。なお、図８に示す一例の場合、自律動作体１０ａは、本来図中左の方向へ進路を取ることが正しいとする。この際、出力制御部２４０は、例えば、過去に実際に左方向へ移動したものの左方向は行き止まりであったことを示す認識情報を視覚情報Ｉ１として自律動作体１０ａに表示させている。また、出力制御部２４０は、上記の理由から進路を右方向に取ることを示す行動計画情報を視覚情報Ｉ２として自律動作体１０ａに提示させている。

このように、本実施形態に係る認識情報は、過去の行動に基づいて取得された事項を含み、出力制御部２４０は、当該事項に係る内部情報を自律動作体１０に提示させることができる。本実施形態に係る出力制御部２４０が有する上記の機能によれば、監視者Ｗが、自律動作体１０が誤った目的地に向かっていると誤認することなどを避けることができ、不安要素を効果的に排除することが可能となる。

また、図８に示す一例では、自律動作体１０ａにより表示される内部情報に基づいて、他の自律動作体１０ｂが方向転換を行う行動計画を立て、当該方向転換に係る行動計画情報を視覚情報Ｉ３として表示している。このように、本実施形態に係る内部情報や行動計画情報は、他の自律動作体１０の行動計画に用いられてもよい。

また、図９には、出力制御部２４０が、自律動作体１０が位置情報を喪失していることを示す内部情報を自律動作体１０に提示させる場合の一例が示している。このように、本実施形態に係る内部情報には、自律動作体１０の自己位置推定に係る情報が含まれてよい。

具体的には、出力制御部２４０は、位置情報を喪失している内部状態を示す視覚情報Ｉ１と、直後の行動計画を示す視覚情報Ｉ２を自律動作体１０に表示させている。位置情報の喪失に係る視覚情報Ｉ１は、例えば、図示するように自律動作体１０の周囲を囲む円形のシンボルと「？」マークにより表示されてもよい。この際、出力制御部２４０は、視覚情報Ｉ１が有する「？」マークを、監視者Ｗに見えやすい位置に表示させることで、位置情報を喪失していることを、監視者Ｗが把握しやすいように配慮してもよい。

このように、本実施形態に係る出力制御部２４０は、監視者Ｗなどの提示対象者の状態に基づいて、内部情報や行動計画情報の提示を制御することが可能である。例えば、出力制御部２４０は、上記の情報を自律動作体１０に定常的に表示させるのではなく、周囲に提示対象者が存在する場合にのみ表示させる、などの制御を行ってもよい。係る制御によれば、情報提示に要する消費電力を効果的に低減することができる。

また、例えば、出力制御部２４０は、提示対象者が別の物体などを注視している場合や、眠っているなど、表示される情報を視認する確率が低いと想定される場合には、情報の提示を行わないよう自律動作体１０を制御してもよい。また、出力制御部２４０は、監視者Ｗなどが書類などを確認している場合には、音声による情報提示を自律動作体１０に行わせるなどの制御を行うことも可能である。

さらには、出力制御部２４０は、提示対象者の属性に基づいて、内部情報や行動計画情報に係る提示内容および提示方法を制御してもよい。例えば、出力制御部２４０は、提示対象者が高齢者の場合、表示させる要素を大きくしたり、コントラストを強めることで視認性を高めるなどの制御を行ってもよい。一方、提示対象者が子供の場合、出力制御部２４０は、キャラクターなどを用いた情報提示を自律動作体１０に行わせてもよい。

以上、本実施形態に係る出力制御部２４０による内部情報および行動計画情報の出力制御について例を挙げて説明した。なお、図５～図９を用いた上記の説明では、出力制御部２４０が、自律動作体１０に、矢印や記号などのシンボルを用いた内部情報および行動計画情報の提示を行わせる場合を例に述べたが、本実施形態に係る提示情報の制御は係る例に限定されない。

出力制御部２４０は、図示するようなシンボルのほか、文字、絵、色、光の点滅、アニメーションなどの種々の視覚情報を用いた提示を制御してよい。また、上述したように、出力制御部２４０は、音声を含む種々の音や、振動、刺激、温度変化などの皮膚感覚を用いた情報提示を自律動作体１０に実行させることができる。

続いて、本実施形態に係る協調行動に係る内部情報および行動計画情報の提示制御について説明する。ここで、上記の協調行動とは、自律動作体１０と人間、または自律動作体１０同士が、互いの意思疎通を要する何らかの行動を協調して行う場合を指す。

本実施形態に係る協調行動としては、例えば、通路におけるすれ違いが一例として挙げられる。この際、人間同士であれば、アイコンタクトやその他のノンバーバル動作、また会話などにより互いの意思を確認、または行動を予測し、衝突を避けることが可能である。

一方、歩行者が、自律動作を行うロボットなどとすれ違う際、当該ロボットが内部状態や行動計画に係る情報を提示する手段を有しない場合には、歩行者はロボットの進路を予測することが困難であり、両者が衝突する可能性も否定できない。

このため、本実施形態に係る出力制御部２４０は、自律動作体１０と他の動体との協調行動における行動の流れを示す行動計画情報を、自律動作体１０に表示させることで、自律動作体１０と他の動体との協調行動の効率的な達成を補助することが可能である。ここで、上記の他の動体には、歩行者や監視者、作業者、動物、また他の自律動作体などが広く含まれる。

図１０～図１７は、本実施形態に係る協調行動における提示制御の例を示す図である。例えば、図１０には、自律動作体１０が、空港や病院、駅などの屋内通路において、歩行者Ｐとのすれ違いに係る協調行動を行う場合の一例が示されている。

図１０に示す一例の場合、出力制御部２４０は、歩行者Ｐ１およびＰ２を認識していることを示す内部情報を視覚情報Ｉ１として、また歩行者Ｐ１およびＰ２の予測歩行ルートを視覚情報Ｉ２として、自律動作体１０に表示させている。

このように、本実施形態に係る出力制御部２４０は、予測された歩行者などの動体に係る歩行ルートを認識情報の一つとして自律動作体１０に動的に提示させることができる。また、出力制御部２４０は、予測された歩行者の歩行ルートとともに、当該歩行ルートに基づいて変更された自律動作体１０の移動ルートを、自律動作体１０に歩行者に対して提示させてよい。図１０に示す一例の場合、出力制御部２４０は、すれ違いを行う歩行者Ｐ１の手前で減速し、歩行者Ｐ１を避けて進行することを示す行動計画情報を視覚情報Ｉ３およびＩ４として自律動作体１０に表示させている。

このように、本実施形態に係る出力制御部２４０は、自律動作体１０の内部情報や行動計画に係る情報を、自律動作体１０と協調行動を行う対象に対して提示させることで、当該対象が自律動作体が次に行う行動を把握し、当該行動に応じた動作を行えるよう補助することができる。

また、この際、出力制御部２４０は、図示するように、予測された歩行者Ｐ１の歩行ルートに係る情報などを音声発話ＳＯ１により、歩行者Ｐ１に対して通知させてもよい。出力制御部２４０は、例えば、学習部２２０が学習時に獲得した衝突防止に係る最適パスを行動計画情報として自律動作体１０に表示させ、また同時に学習された未来予測に係る結果を歩行者Ｐ１に対して提示させることで、歩行者Ｐ１が予測どおりに歩行する誘導してもよい。係る制御によれば、歩行者Ｐ１が、自律動作体１０が自身を避けるように移動することを把握し、衝突の心配なく本来の歩行ルートを歩くことができる。

また、本実施形態に係る自律動作体１０は、協調行動を行う対象の属性などに応じた動作および情報提示を行ってよい。図１１には、自律動作体１０が病院などにおける通路において、車椅子に乗った歩行者Ｐ１とすれ違う場合の一例が示されている。

この際、本実施形態に係る行動計画部２３０は、一般の歩行者Ｐとすれ違いを行う場合に比べ、より事前に回避行動に入る計画を立ててよい。また、出力制御部２４０は、歩行者の認識に係る認識情報を視覚情報Ｉ１およびＩ２として自律動作体１０に表示させるとともに、上記の回避行動に係る行動計画情報を視覚情報Ｉ３およびＩ４として表示させる。

このように、本実施形態に係る情報処理サーバ２０は、協調行動の対象に係る属性に応じて自律動作体１０の動作を制御することで、当該対象の不安をより一層に軽減することが可能である。なお、本実施形態に係る情報処理サーバ２０は、例えば、上記対象の感情、体温、所属、妊娠、年齢、性別、人種などの種々の属性に応じた動作を自律動作体１０に実行させてよい。

また、図１２には、自律動作体１０が、空港や病院、駅などの屋内通路において、高齢者である歩行者Ｐとのすれ違いを行う際に、減速や一時停止動作を行う場合の一例が示されている。図示するように、本実施形態に係るすれ違いには、自律動作体１０が歩行者Ｐ１の歩行ルートを妨害しない場合も含まれる。

この際、行動計画部２３０は、歩行者Ｐ１の手前で減速および一時停止を行い、すれ違い後に加速して元の移動速度に復帰する行動を計画してもよい。また、出力制御部２４０は、歩行者Ｐ１の認識に係る認識情報を視覚情報Ｉ１およびＩ２として自律動作体１０に表示させるとともに、上記の減速、一時停止、および加速に係る行動計画情報を視覚情報Ｉ３～Ｉ５として表示させている。

本実施形態に係る情報処理サーバ２０による上記の制御によれば、本来衝突の危険がない場合においても、例えば、自律動作体１０が突然進路を変更するかもしれない、などの歩行者Ｐの不安を払拭し、より効果的な協調行動を実現することが可能である。

なお、この際、情報処理サーバ２０は、例えば、歩行者Ｐの属性や、自律動作体１０の状態などに応じて、上記の行動計画や出力制御を行ってもよい。情報処理サーバ２０は、例えば、歩行者Ｐ１が高齢者である場合や、自律動作体１０が主に荷物を積んでいる場合などに、上記の減速や一時停止、および当該行動に係る情報提示を自律動作体１０に実行させてもよい。このように、本実施形態に係る出力制御部２４０は、対象や自律動作体１０に係る種々の認識情報に基づいて、自律動作体１０に係る出力制御を行うことが可能である。

なお、図１０～図１２に示した一例では、自律動作体１０が協調行動を行う歩行者Ｐの行動、すなわち歩行を妨げないよう動作する場合について説明した。このように、本実施形態に係る自律動作体１０は、基本的に歩行者などの周囲の人間の行動を妨害しないように動作してよい。一方、状況によっては、自律動作体１０が歩行者などに道を譲ってもらう場合も想定される。

例えば、図１３には、屋内通路において、歩行者と対向する自律動作体１０が示されている。ここで、図１３に示す自律動作体１０は、重い荷物を搬送中であるとする。この場合、歩行者Ｐの認識に基づいて急な減速や停止を行うと、荷物が落下するなどの事態も想定される。このように、より安全なすれ違いを行うためには、歩行者Ｐに回避行動をとってもらうことが適切な場合も存在する。

この際、出力制御部２４０は、例えば、歩行者Ｐを認識していることを示す認識情報を視覚情報Ｉ１として自律動作体１０に表示させるとともに、安全を確保するために最適と予測された歩行ルートに係る認識情報を視覚情報Ｉ２として表示させる。また、出力制御部２４０は、自律動作体１０が直進することを示す行動計画情報を視覚情報Ｉ３として自律動作体１０に表示させ、回避行動を取ってほしい旨を示す音声発話ＳＯ２を出力させる。

係る制御によれば、状況に応じたより効率的な協調行動を実現するとともに、歩行者Ｐの安全を確保する歩行ルートを歩行者Ｐに対して提示し誘導することで、両者にとってより安全な協調行動を実現することが可能となる。

また、図１４には、空港や駅などにおいて、複数の歩行者Ｐが存在する状況で自律動作体１０が動作を行う場合の一例が示されている。このように、通路が混雑している場合などにおいては、複数の歩行者Ｐの歩行を妨害しない自律動作体１０の移動ルートを見つけることが困難な場合もある。この場合、出力制御部２４０は、例えば、行動計画に基づいて自律動作体１０に壁際を低速で移動させ、当該行動に係る行動計画情報を視覚情報Ｉ１として表示させてもよい。また、出力制御部２４０は、例えば、低速運転中であることや、道を譲ってほしい旨に係る音声発話ＳＯ３を自律動作体１０に出力させてもよい。

また、この際、通路に複数の自律動作体１０が存在する場合には、当該複数の自律動作体１０が集合し縦列に進行するなどの動作を行うことで、歩行者Ｐの歩行の妨げを最小限に抑えることが可能である。

このように、本実施形態に係る情報処理サーバ２０は、種々の状況に応じたより効率的かつ安全な行動を自律動作体１０に実行させ、また内部状態や行動計画に係る情報を周囲の人間に提示させることができる。

なお、図１０～図１４では、自律動作体１０または歩行者のいずれかが回避行動を行う場合を例に述べたが、通路におけるすれ違いにおいては、自律動作体１０と歩行者Ｐの両者がともに回避行動を行った方が効率的な場合も想定される。

図１５には、対向する歩行者Ｐと道の譲りあい状態となってしまった自律動作体１０が示されている。この際、出力制御部２４０は、歩行者Ｐを認識していることを示す認識情報を視覚情報Ｉ１として自律動作体１０に表示させるとともに、効率的なすれ違いを実現するために最適な歩行ルートを視覚情報Ｉ２として表示させる。また、出力制御部２４０は、自律動作体の回避行動に係る行動計画情報を視覚情報Ｉ３およびＩ４として自律動作体１０に表示させるとともに、「こちらに避けます」、などの音声発話ＳＯ４を出力させる。

このように、本実施形態に係る出力制御部２４０によれば、歩行者Ｐおよび自律動作体１０に係る両者の回避ルートを同時に示すことで、より効果的に道の譲りあい状態から脱出することが可能となる。また、本実施形態に係る出力制御部２４０は、上記の回避ルートを視覚情報として自律動作体１０に出力させることで、歩行者Ｐがより直観的に自身の回避ルートを把握し行動に移れるよう誘導することが可能である。

また、図１０～図１５では、自律動作体１０が歩行者Ｐなどの人間と協調行動を行う場合を例に述べたが、本実施形態に係る協調行動は、自律動作体１０と他の動作体との間における協調行動であってもよい。図１６には、複数の自律動作体１０が協調行動を行う場合の一例が示されている。

図１６に示す一例の場合、出力制御部２４０は、自律動作体１０ｂが表示する直進行動に係る視覚情報Ｉ３を認識したことにより、自律動作体１０ａが自律動作体１０ｂを回避する行動を行うことを示す行動計画情報を視覚情報Ｉ１およびＩ２として自律動作体１０ａに表示させている。

このように、本実施形態に係る情報処理サーバ２０は、他の自律動作体１０が提示する内部情報や行動計画情報に基づいて、制御対象である自律動作体１０の行動を計画し、当該行動に係る情報を当該制御対象である自律動作体１０に提示させることができる。

協調行動が自律動作体１０の間で行われる場合、本来、各々の自律動作体１０は、上記のような情報提示を介さずとも互いの状態や行動計画を無線通信などにより通知し合うことで、協調行動を実現することが可能である。しかし、自律動作体１０を監視する監視者Ｗには、上記のような通信が行われていることが知覚できないため、内部情報や行動計画情報に係る情報提示が行われない場合、監視者Ｗは、自律動作体１０同士が衝突する可能性などを考慮しながら複数の自律動作体１０を監視する必要がある。

一方、本実施形態に係る情報処理方法によれば、協調行動を行う複数の自律動作体１０に係る内部情報や行動計画情報を監視者Ｗなどの周囲の人間に対して提示することで、監視者Ｗなどが不必要に衝突を恐れることを防止することができる。また、反対に、回避行動に係る情報提示が行われない場合には、監視者Ｗは、自律動作体１０の緊急停止を行うなどの判断を正確かつ迅速に行うことができ、監視者Ｗの作業効率や自律動作体１０の安全を確保することが可能となる。

なお、複数の自律動作体１０が協調行動を行う場合、各々の自律動作体１０の動作に係る優先度は、例えば、タスクの重要度や緊急性などに応じて決定されてもよい。このために、本実施形態に係る出力制御部２４０は、自律動作体１０が有するタスクに係る情報を視覚情報などにより提示させることができる。このように、本実施形態に係る内部情報には、自律動作体１０が実行するタスクの情報が含まれてよい。係る制御によれば、より急いでいる自律動作体１０に他の自律動作体１０が道を譲るなどの制御を実現することができ、全体のタスク効率を効果的に高めることが可能となる。

また、本実施形態に係る内部情報には、自律動作体１０の行動計画に係る信頼度の情報が含まれてもよい。図１７には、自律動作体１０が上記の信頼度に係る情報を監視者Ｗに提示する場合の一例が示されている。

図１７に示す一例の場合、出力制御部２４０は、行動計画部２３０による進路選択に係る信頼度が低いことに基づいて、当該信頼度に係る内部情報を視覚情報Ｉ１として自律動作体１０に表示させている。具体的には、出力制御部２４０は、右方向へ移動する判断に係る信頼度と、左方向へ移動する判断に係る信頼度とが拮抗していることを示す内部情報を自律動作体１０に提示させている。

上記の制御によれば、監視者Ｗに対し、自律動作体１０の行動に係る信頼度が低いことを示すとともに、自律動作体１０が取るべき行動の指示を仰ぐことができ、より効率のよいタスク実行を行うことが可能となる。なお、この際、情報処理サーバ２０は、監視者Ｗの発話ＵＯ１などに基づいて行動計画を行い、進むべき進路を決定してもよい。また、出力制御部２４０は、例えば、「指示をお願いします」などの音声発話を自律動作体１０に出力させることで、より明示的に監視者Ｗの指示を仰いでもよい。

以上、本実施形態に係る協調行動における情報提示について具体例を挙げながら説明した。上述した出力制御部２４０による情報提示の制御によれば、自律動作体１０の周囲に存在する人間が、自律動作体１０の内部状態や行動計画、また当該行動計画の意図を明確に把握し、自律動作体１０の行動に応じた適切な応答を行うことが可能となる。

なお、上記では、本実施形態に係る自律動作体１０が、空港や駅、病院などにおいてタスクを実行する搬送ロボットであり、出力制御部２４０が自律動作体１０の移動ルートに係る情報提示を制御する場合を主な例として述べた。一方、本実施形態に係る自律動作体１０、および情報提示の制御は係る例に限定されない。本実施形態に係る自律動作体１０は、例えば、工場や物流倉庫などにおいて、作業者や他の自律動作体と協調行動を実行する作業ロボットであってもよい。また、本実施形態に係る出力制御部２４０は、上記協調行動に係る時系列の行動順序を示す行動計画情報を自律動作体１０に提示させてもよい。

図１８は、本実施形態に係る協調行動に係る時系列の行動順序を示す情報提示について説明するための図である。図１８には、工場や物流倉庫において作業者Ｌと協調行動を行う自律動作体１０ａおよび１０ｂが示されている。ここで、上記の協調行動は、例えば、混在する複数の商品を、それぞれに定められた保管場所へ搬送、保管するタスクであってよい。

また、図１８に示す一例の場合、自律動作体１０ａは、主に重い商品の搬送および保管を担当する作業ロボットであり、自律動作体１０ｂは、作業者Ｌによる搬送が困難な高所に商品を保管する役割を持つ作業ロボットである。また、作業者Ｌは、自律動作体１０ａおよび１０ｂに把持や搬送が困難な商品の搬送、保管を担当する。当該商品には、例えば、形状の変化しやすい洋服や布、壊れやすい商品や高価な商品、また把持する領域が小さい例えばゴルフクラブなどの商品が挙げられる。

なお、自律動作体１０ａは、例えば、工場や物流倉庫内を自律移動するフォークリフト型などの作業ロボットであってもよいし、固定設置されるロボットアームなどであってもよい。また、自律動作体１０ｂは、例えば、ドローンなどであってもよい。

このように、工場や物流倉庫などでは、複数の作業者Ｌや自律動作体１０による協調行動を以ってタスクが実行される場合も想定される。この際、本実施形態に係る出力制御部２４０は、自律動作体１０と他の動体との時系列における行動順序を示す行動計画情報を自律動作体１０に提示させることで、上記タスクの効率を効果的に高めることが可能である。ここで、上記の動体には、自律動作体１０と協調行動を行う作業者や、他の自律動作体が含まれる。

例えば、図１８に示す一例の場合、出力制御部２４０は、タスク実行に最適と判断した、自律動作体１０ａ、自律動作体１０ｂ、および作業者Ｌの行動順序を視覚情報Ｉ１～Ｉ４として自律動作体１０ａに表示させている。このように、出力制御部２４０は、タスクの効率化に係る情報提示を協調動作を行う作業者などに対して提示させてよい。

ここで、行動順序を示す視覚情報Ｉ１～Ｉ４の形状や色、パターンは、対応する商品を担当するタスク実行主体別に設定されてよい。図１８に示す一例では、出力制御部２４０は、作業者Ｌが担当する洋服やゴルフクラブに対応する視覚情報Ｉ１およびＩ３を円形のシンボル、自律動作体１０ｂが担当する商品に対応する視覚情報Ｉ２を三角形のシンボル、自律動作体１０ａが担当する商品に対応する視覚情報Ｉ４を四角形のシンボルを用いて表示させている。

また、視覚情報Ｉ１～Ｉ４が包含する数字は、タスク実行に係る行動順序を示すための情報である。すなわち、視覚情報Ｉ１～Ｉ４は、まず、作業者Ｌが洋服を搬送した後、自律動作体１０ｂが袋状の商品を搬送し、続いて、作業者Ｌがゴルフクラブを搬送した後、自律動作体１０ａが箱状の商品を搬送するべきことを示している。

このように、本実施形態に係る出力制御部２４０によれば、制御対象となる自律動作体１０の行動に加え、協調行動を行う作業者Ｌや他の自律動作体１０ｂの行動に順序を時系列に提示することで、協調行動の効率を大きく向上させるとともに、各タスク実行主体が同時に作業を行おうとして怪我や破損を負う危険性を排除することが可能となる。

以上説明したように、本実施形態に係る出力制御部２４０は、自律動作体１０の移動ルートに限定されず、時系列における自律動作体１０や作業者の行動の流れを示す種々の行動計画情報の提示を制御することができる。例えば、上記に挙げた例のほか、出力制御部２４０は、マニピュレータのアーム動作に係る３次元的な動作軌跡を行動計画情報として出力させることも可能である。本実施形態に係る出力制御部２４０が有する上記の機能によれば、自律動作体１０が実行するタスクをより安全かつ効率的に完遂し、また周囲の人間の不安を排除し作業効率を向上させることなどが可能となる。

＜＜１．６．制御の流れ＞＞
次に、本実施形態に係る情報処理サーバ２０による制御の流れについて説明する。図１９は、本実施形態に係る情報処理サーバ２０による制御の流れを示すフローチャートである。

図１９を参照すると、まず、情報処理サーバ２０の通信部２５０が、自律動作体１０が収集した情報を受信する（Ｓ１１０１）。上記の情報には、センサ情報、画像、音情報などが含まれる。

次に、認識部２１０が、ステップＳ１１０１において受信した収集情報に基づいて、各種の認識処理を実行し、状況の推定を行う（Ｓ１１０２）。

次に、行動計画部２３０が、ステップＳ１１０２において推定された状況に基づく行動計画を行う（Ｓ１１０３）。

次に、出力制御部２４０が、ステップＳ１１０３において決定された行動計画に基づいて内部情報および行動計画情報の提示制御を行い（Ｓ１１０４）、また行動計画に応じた動作を自律動作体１０に実行させる（Ｓ１１０５）。

＜２．ハードウェア構成例＞
次に、本開示の一実施形態に係る自律動作体１０および情報処理サーバ２０に共通するハードウェア構成例について説明する。図２０は、本開示の一実施形態に係る自律動作体１０および情報処理サーバ２０のハードウェア構成例を示すブロック図である。図２０を参照すると、自律動作体１０および情報処理サーバ２０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。

（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

＜３．まとめ＞
以上説明したように、本開示の一実施形態に係る情報処理方法を実現する情報処理サーバ２０は、自律動作体１０の行動に影響する内部情報の提示を制御する出力制御部２４０を備える。また、本開示の一実施形態に係る出力制御部２４０は、内部情報、および当該内部情報に基づく自律動作体１０の行動計画に係る行動計画情報の動的な提示を制御することを特徴の一つとする。また、上記の行動計画情報は、時系列における自律動作体１０の行動の流れを示す情報を含む。係る構成によれば、自律動作体の内部状態や行動計画を周囲に認知させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、自律動作体１０が実空間において自律動作を行うロボットである場合を主な例として説明したが、本開示の一実施形態に係る自律動作体１０は、例えば、仮想空間において自律動作を行う動作体であってもよい。この場合、出力制御部２４０は、例えば、ゲーム空間においてユーザと協調行動を行う自律動作体１０の内部状態や行動計画、また当該行動計画の意図をユーザに提示することが可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理サーバ２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、本明細書の情報処理サーバ２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
自律動作体の行動に影響する内部情報の提示を制御する出力制御部、
を備え、
前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、
前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含む、
情報処理装置。
（２）
前記出力制御部は、前記内部情報に基づいて変化する前記自律動作体の行動の流れを動的に提示させる、
前記（１）に記載の情報処理装置。
（３）
前記内部情報は、計画される行動の意図を含む、
前記（１）または（２）に記載の情報処理装置。
（４）
前記行動計画情報は、前記自律動作体と他の動体との協調行動における行動の流れを示す情報を含む、
前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
前記内部情報は、周囲環境に係る認識情報を含む、
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
前記認識情報は、前記自律動作体の周囲に存在する動体の検出情報を含む、
前記（５）に記載の情報処理装置。
（７）
前記認識情報は、前記動体の行動予測に係る情報を含む、
前記（６）に記載の情報処理装置。
（８）
前記動体は、前記自律動作体の周囲に存在する歩行者であり、
前記出力制御部は、予測された前記歩行者の歩行ルートを動的に提示させる、
前記（６）または（７）に記載の情報処理装置。
（９）
前記認識情報は、前記自律動作体の周囲地形に係る情報を含む、
前記（５）～（８）のいずれかに記載の情報処理装置。
（１０）
前記周囲地形に係る情報は、前記自律動作体または周囲物体の安全性の低下を招く要因となる地形の検出情報を含む、
前記（９）に記載の情報処理装置。
（１１）
前記周囲地形に係る情報は、死角に係る情報を含む、
前記（９）または（１０）に記載の情報処理装置。
（１２）
前記内部情報は、前記自律動作体の自己位置推定に係る情報を含む、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
前記内部情報は、前記自律動作体の行動に係る信頼度を含む、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
前記自律動作体は、自律移動を行う装置であり、
前記行動計画情報は、時系列における前記自律動作体の位置情報の遷移に係る情報を含む、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
前記行動計画情報は、前記自律動作体の移動開始、停止、または移動速度に係る情報のうち少なくともいずれかを含む、
前記（１４）に記載の情報処理装置。
（１６）
前記出力制御部は、前記自律動作体の周囲を歩行する歩行者に対し、予測された前記歩行者の歩行ルートと、当該歩行ルートに基づいて変更された前記自律動作体の移動ルートとを提示させる、
前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
前記行動計画情報は、前記自律動作体と他の動体との時系列における行動順序を示す情報を含む、
前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
前記内部情報は、前記自律動作体が実行するタスクに係る情報を含む、
前記（１）～（１７）のいずれかに記載の情報処理装置。
（１９）
前記出力制御部は、前記内部情報および前記行動計画情報の投影、ＡＲ表示、またはＶＲ表示を制御する、
前記（１）～（１８）のいずれかに記載の情報処理装置。
（２０）
プロセッサが、自律動作体の行動に影響する内部情報の提示を制御すること、
を含み、
前記提示を制御することは、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御すること、
をさらに含み、
前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含む、
情報処理方法。

１０ 自律動作体１０
１１０ センサ部
１２０ 撮像部
１３０ 音声入力部
１４０ 表示部
１５０ 音声出力部
１６０ 駆動部
１７０ 制御部
１８０ サーバ通信部
２０ 情報処理サーバ
２１０ 認識部
２２０ 学習部
２３０ 行動計画部
２４０ 出力制御部
２５０ 通信部

Claims (17)

1. 自律動作体の行動に影響する内部情報の提示を制御する出力制御部、
   を備え、
   前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、
   前記行動計画情報は、
   時系列における前記自律動作体の行動の流れを示す情報と、
   前記自律動作体と他の動体との協調行動における行動の流れを示す情報と、
   を含む、
   情報処理装置。
2. 自律動作体の行動に影響する内部情報の提示を制御する出力制御部、
   を備え、
   前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、
   前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含み、
   前記内部情報は、周囲環境に係る認識情報を含み、
   前記認識情報は、前記自律動作体の周囲に存在する動体の検出情報を含み、
   前記動体は、前記自律動作体の周囲に存在する歩行者であり、
   前記出力制御部は、予測された前記歩行者の歩行ルートを動的に提示させる、
   情報処理装置。
3. 前記認識情報は、前記動体の行動予測に係る情報を含む、
   請求項２に記載の情報処理装置。
4. 前記認識情報は、前記自律動作体の周囲地形に係る情報を含む、
   請求項２または３に記載の情報処理装置。
5. 前記周囲地形に係る情報は、前記自律動作体または周囲物体の安全性の低下を招く要因となる地形の検出情報を含む、
   請求項４に記載の情報処理装置。
6. 前記周囲地形に係る情報は、死角に係る情報を含む、
   請求項４または５に記載の情報処理装置。
7. 自律動作体の行動に影響する内部情報の提示を制御する出力制御部、
   を備え、
   前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、
   前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含み、
   前記内部情報は、前記自律動作体の行動に係る信頼度を含む、
   情報処理装置。
8. 自律動作体の行動に影響する内部情報の提示を制御する出力制御部、
   を備え、
   前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、
   前記行動計画情報は、時系列における前記自律動作体の行動の流れを示す情報を含み、
   前記出力制御部は、前記自律動作体の周囲を歩行する歩行者に対し、予測された前記歩行者の歩行ルートと、当該歩行ルートに基づいて変更された前記自律動作体の移動ルートとを提示させる、
   情報処理装置。
9. 自律動作体の行動に影響する内部情報の提示を制御する出力制御部、
   を備え、
   前記出力制御部は、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御し、
   前記行動計画情報は、
   時系列における前記自律動作体の行動の流れを示す情報と、
   前記自律動作体と他の動体との時系列における行動順序を示す情報と、
   を含む、
   情報処理装置。
10. 前記出力制御部は、前記内部情報に基づいて変化する前記自律動作体の行動の流れを動的に提示させる、
    請求項１から９のいずれか一項に記載の情報処理装置。
11. 前記内部情報は、計画される行動の意図を含む、
    請求項１から１０のいずれか一項に記載の情報処理装置。
12. 前記内部情報は、前記自律動作体の自己位置推定に係る情報を含む、
    請求項１から１１のいずれか一項に記載の情報処理装置。
13. 前記自律動作体は、自律移動を行う装置であり、
    前記行動計画情報は、時系列における前記自律動作体の位置情報の遷移に係る情報を含む、
    請求項１から１２のいずれか一項に記載の情報処理装置。
14. 前記行動計画情報は、前記自律動作体の移動開始、停止、または移動速度に係る情報のうち少なくともいずれかを含む、
    請求項１３に記載の情報処理装置。
15. 前記内部情報は、前記自律動作体が実行するタスクに係る情報を含む、
    請求項１から１４のいずれか一項に記載の情報処理装置。
16. 前記出力制御部は、前記内部情報および前記行動計画情報の投影、ＡＲ表示、またはＶＲ表示を制御する、
    請求項１から１５のいずれか一項に記載の情報処理装置。
17. プロセッサが、自律動作体の行動に影響する内部情報の提示を制御すること、
    を含み、
    前記提示を制御することは、前記内部情報、および前記内部情報に基づく前記自律動作体の行動計画に係る行動計画情報の動的な提示を制御すること、
    をさらに含み、
    前記行動計画情報は、
    時系列における前記自律動作体の行動の流れを示す情報と、
    前記自律動作体と他の動体との協調行動における行動の流れを示す情報と、
    を含む、
    情報処理方法。

Images