JP2023509506A - 制御装置、制御方法及びプログラム - Google Patents

Abstract

制御装置１Ｂは、前処理部２１Ｂと、翻訳部２２Ｂと、意図検出部２３Ｂとを有する。前処理部２１Ｂは、支援を受ける対象者１０Ｃをセンシングする第１センサが出力する検出信号Ｓｄを処理することで、対象者１０Ｃの移動信号を生成する。翻訳部２１Ｂは、移動信号に基づき、対象者１０Ｃの動作及び姿勢の少なくとも一方により表される対象者１０Ｃのジェスチャを識別する。意図検出部２３Ｂは、支援に関するイベントの履歴と識別されたジェスチャとに基づき、対象者１０Ｃの意図を検出する。【選択図】図１０

Description

本発明は、支援のための制御装置、制御方法及びコンピュータ読み取り可能な記憶媒体に関する。

技術システムを人間の要望により適合させようとする傾向があり、人の挙動を検知することで人の意図を解釈するシステムが提案されている。例えば、特許文献１には、ユーザの意図をユーザの最後のアクションに基づき決定し、決定したユーザの意図に基づいて処理を行うシステムが開示されている。また、特許文献２には、意図知識ベースに基づきユーザの意図を決定し、当該意図により決定されたアクションのフィードバックに基づいて、意図知識ベースを更新する推論システムが開示されている。

特開２０１９－０７９２０４号公報 特開２００５－１００３９０号公報

ロボットや機械へのサポートのための指示労力を最小限に低減しつつ、タスク自体の処理に人間が細心の注意を払う必要があるタスクが存在する。特許文献１及び特許文献２には、いずれも、上記のような問題については開示されていない。本開示は、この問題に対する詳細な解決策及びその主要な処理機能を開示するものである。

本発明は、上述した課題を鑑み、人間の意図を好適に検出することが可能な制御装置、制御方法及びコンピュータ読み取り可能な記憶媒体を提供することを目的の一つとする。

制御装置の一態様は、
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成する前処理部と、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別する翻訳部と、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する意図検出部と、
を有する制御装置である。

制御方法の一態様は、
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する、
制御方法である。

記憶媒体の一態様は、
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する処理をプロセッサに実行させる命令を記憶した記憶媒体である。

本発明の１つの効果の例として、人の意図を好適に検出し、必要とされる作業上のサポートを提供することができる。

本発明の第１実施形態に係る支援システムの構成を概略的に示したブロック図である。 第１実施形態に係るプロセッサの機能ブロック図である。 図２に示されるプロセッサの機能的な要素により実行される処理間の関係を概略的に示す。 履歴情報のデータフォーマットの一例を概略的に示す。 倉庫の環境での物体移動タスクに関する第１適用例を示す。 プラットフォームロボットがサポートする場所に近づいた後の第１適用例を示す。 火災が発生した時の消防士への支援に関する第２適用例を示す。 制御装置により実行される処理を示すフローチャートの一例である。 第２実施形態に係る支援システムを示す。 第３実施形態に係る制御装置を示す。

（第１実施形態）
（１）システム構成
図１は、本発明の第１実施形態に係る支援システム１００の構成を概略的に示したブロック図である。支援システム１００は、検出されたジェスチャ、イベント、及び状況に基づいて、要求された操作上のサポートを理解するシステムである。図示のように、支援システム１００は、制御装置１と、アクチュエータ５と、センサ６と、データストレージ７と、を有する。

制御装置１は、センサ６から出力される検出信号と、データストレージ７に記憶されているデータとに基づいて、アクチュエータ５を制御する。例えば、時系列の人の行動及び環境から推論された意図に基づいて、制御装置１は、介入タスク（警察、消防隊等）、メンテナンスタスク、物体移動タスクなどのタスクを支援するロボットを制御する。なお、制御装置１により制御される対象となる物体（「被制御物体」とも呼ぶ。）は、ロボットに限られず、被制御物体は部屋の明るさを調整する照明器具などの電化製品であってもよい。

制御装置１は、プロセッサ２と、メモリ３と、インターフェース４と、を含んでいる。

プロセッサ２は、ＣＰＵ(Central Processing Unit)、ＧＰＵ(Graphics Processing Unit)などの１又は複数のプロセッサであり、制御装置１にとって必要な種々の処理を実行する。プロセッサ２は、メモリ３又はデータストレージ７に予め記憶されたプログラムを実行することで、上記の種々の処理を実現する。メモリ３は、典型的にはＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)などを含み、プロセッサ２が実行するプログラムを記憶する。メモリ３は、プロセッサ２による種々の処理の実行時には作業メモリとしても機能する。

インターフェース４は、アクチュエータ５、センサ６、及びデータストレージ７などの外部装置とインターフェース動作を行う。例えば、インターフェース４は、センサ６から出力される検出信号とデータストレージ７から取得されるデータとをプロセッサ２に供給する。また、インターフェース４は、プロセッサ２により生成された制御信号をアクチュエータ５に供給し、プロセッサ２により生成された更新データをデータストレージ７に供給する。

アクチュエータ５は被制御物体の駆動機構であり、制御装置１から供給される制御信号に基づき駆動される。

センサ６は、制御装置１が被制御物体を制御するために必要となる複数のセンサである。センサ６は、 被制御物体に設けられた１又は複数のセンサである第１センサ６１と、被制御物体が存在し、被制御物体がタスクを処理する全体のフィールド（「対象フィールド」とも呼ぶ。）をセンシング可能な１又は複数のセンサである第２センサ６２と、を有する。例えば、第１センサ６１及び第２センサ６２は、カメラなどの撮像装置、ライダ(Light Detection and Ranging or Laser Imaging Detection and Ranging)などの深度センサである。センサ６は、検出信号を制御装置１へ供給する。

データストレージ７は、制御装置１が種々の処理を実行するために必要なデータを記憶する非揮発性のメモリを含んでいる。データストレージ７は、モデル情報７１と、ジェスチャボキャブラリ情報７２と、知識ベース７３と、履歴情報７４とを記憶する。

モデル情報７１は、被制御物体の動作を決定するための異なる複数の型を有するモデルに関する情報である。モデル情報７１は、制御装置１がユーザの介入の影響を推定し、かつ、被制御物体のオペレーションモードを決定するのに用いられる。モデル情報７１は、被制御物体のダイナミクス、環境、及び被制御物体が実行するタスクを考慮して予め用意される。モデル情報７１は、被制御物体の各オペレーションモードで使用されるパラメータを含んでもよい。モデル情報７１は、被制御物体のアクションに対するユーザのフィードバック及び環境に関する入力に基づき更新されてもよい。

ジェスチャボキャブラリ情報７２は、被制御物体による支援を受ける対象者のジェスチャの語彙（ボキャブラリ）を示す。例えば、支援システム１００により識別可能なジェスチャが予め定められており、ジェスチャボキャブラリ情報７２は、それらの各ジェスチャを識別するための各ジェスチャの特徴量（特徴パラメータ）を示す。ここで、「ジェスチャ」(一般化されたジェスチャ)は、被制御物体にタスクの支援をするように指示するための明示的なジェスチャに加えて、支援が必要であることを暗示的に示すジェスチャも含んでいる。ジェスチャは、支援を受ける対象者の姿勢及び動きにより表される。なお、本開示での便宜上、明示的なジェスチャと暗示的（非明示的）なジェスチャとは区別されるものとし、暗示的なジェスチャは、活動自体の情報を含む人体における変化のダイナミクスである。

知識ベース７３は、制御装置１が対象者の意図又は被制御物体のアクションを決定するために使用する情報である。知識ベース７３は、時系列での対象者の挙動及び環境の各パターンと、対応する推論すべき各意図と、を対応付けるルックアップテーブル又はマップを含んでもよい。知識ベース７３は、推論された意図を用いて被制御物体が制御されている間での被制御物体のアクションに対する対象者によるネガティブな反応であるユーザフィードバックによって更新されてもよい。なお、知識ベース７３は、意図検出及び最適化に用いられる。

履歴情報７４は、ジェスチャ、イベント、及び状況の３種類の要素の履歴を示す。ここでの「ジェスチャ」は、支援を受ける対象者の検出された１又は複数のジェスチャであり、「イベント」は、支援に関連する、検出された１又は複数のイベントであり、「状況」は、検出された支援の状況である。履歴情報７４の詳細なデータフォーマットについては後述する。

（２）ブロック図
図２は、プロセッサ２の機能ブロック図を示す。プロセッサ２は、機能的には、前処理部２１と、翻訳部２２と、意図検出部２３と、環境認識部２４と、最適化部２５と、制御部２６とを有する。

前処理部２１は、対象者をセンシングする第１センサ６１（例えば、カメラ）が出力する時系列の検出信号を処理することで、支援を受ける対象者の移動信号(動的信号)「Ｓ１」を生成する。例えば、前処理部２１は、対象者の特定の関節位置を、仮想ポイントとして第１センサ６１が出力する画像から検出し、第１センサ６１から逐次出力される画像に基づいて、各仮想ポイントをトラッキング（追跡）する。時系列の画像に基づいて人の関節の移動信号を生成する種々の方法は既に提案されているため、その詳細な説明はここでは省略する。前処理部２１は、移動信号Ｓ１を翻訳部２２に供給する。なお、前処理部２１は、第１センサ６１が出力する画像中の人物を検出する機能に加えて、支援を受ける対象者の周辺に存在する１又は複数の物体８を検出する機能を追加的に有してもよい。この場合、前処理部２１は、対象者の移動信号に加えて、対象者の周辺の物体８の移動信号をさらに生成する。

翻訳部２２は、ジェスチャボキャブラリ情報７２を参照し、移動信号に基づいて、対象者のジェスチャを識別する。ジェスチャボキャブラリ情報７２は、支援システム１００によって識別可能なジェスチャのボキャブラリを示す。例えば、ジェスチャボキャブラリ情報７２は、ジェスチャごとの人の関節の動きの情報を示す。従って、移動信号Ｓ１をジェスチャボキャブラリ情報７２と照合することで、翻訳部２２は、対象者が実行したジェスチャを識別する。そして、翻訳部２２は、検出されたジェスチャを示すジェスチャ情報「Ｓ２」を、意図検出部２３に供給する。なお、ジェスチャボキャブラリ情報７２は、移動信号Ｓ１に基づいてジェスチャを識別する分類器を構成するためのパラメータであってもよい。この場合、上記パラメータは深層学習やサポートベクターマシーンなどの機械学習によって予め生成される。この場合の分類器が出力するラベルは、例えば、「右の腕／左の腕を上げる、手」などであってもよい。支援を受ける対象者の周辺に存在する物体８を検出する機能を前処理部２１が追加的に有する場合、翻訳部２２は、対象者の動きと物体８の動きとの相関を計算することで、対象者と物体８との間の関係パラメータを導出してもよい。これにより、翻訳部２２は、翻訳部２２がさらなる処理を実行するための関係パラメータに関する情報を取得する。例えば、ある物体８が存在する場合、翻訳部２２は、「腕を上げる」を示す暗示的なジェスチャクラス「Ｇ１」の代わりに、「右腕／左腕を上げる―関係－持つ―物体」を示すジェスチャ記述クラス「Ｇ１５」を認識する。以上述べたように、対象者の移動信号と物体の移動信号に基づいて、翻訳部２２は、物体８に関連する対象者のジェスチャを識別する。

意図検出部２３は、ジェスチャ情報Ｓ２に基づき、対象者の意図を検出する。まず、意図検出部２３は、ジェスチャ情報Ｓ２に基づき、履歴情報７４を更新する。その後、履歴情報７４を参照し、意図検出部２３は、対象者の意図を検出する。例えば、ジェスチャ、イベント、状況の組み合わせの各候補と各候補に対応する適切な意図とを対応付けたルックアップテーブル（マップ）を参照し、意図検出部２３は、履歴情報７４に基づく対象者の意図を決定してもよい。上述のルックアップテーブルは、予め用意され、知識ベース７３としてデータストレージ７又はメモリ３に記憶されている。なお、ジェスチャボキャブラリ情報７２は、移動信号Ｓ１に基づきジェスチャを識別する分類器を構成するためのパラメータであってもよい。この場合、上述のパラメータは、深層学習やサポートベクターマシーンなどの機械学習により予め生成される。

履歴情報７４は、過去に展開された１又は複数のイベントと１又は複数のジェスチャとを検出された状況ごとに示している。よって、意図検出部２３は、状況の前後関係、イベント（前後関係）の展開、及び支援を受ける対象者の行動を総合的に勘案して意図を決定することができる。意図検出部２３は、検出された意図を示す意図情報「Ｓ３」を最適化部２５へ供給する。

また、意図検出部２３は被制御物体のアクションに関するフィードバックを示すジェスチャを検出した場合、意図検出部２３は、知識ベース７３を更新する。フィードバックを示すジェスチャは、例えば、被制御物体によって行われたアクションの拒否を示すジェスチャであってもよく、被制御物体によって行われたアクションに対するその他の否定的なジェスチャであってもよい。例えば、意図検出部２３は、対象者により拒否されたアクションの情報、アクションの決定に用いた一連のイベント、状況、及びジェスチャに基づいて、知識ベース７３を更新する。その後、意図検出部２３は、フィードバックが反映された知識ベース７３に基づき、対象者の意図を決定する。これにより、制御装置１は、同一状況で過去に拒否されたアクションを被制御物体が再び行うことを好適に防ぐことができる。

第２センサ６２から出力された検出信号に基づき、環境認識部２４は、被制御物体が支援を行う対象フィールドにおける環境を認識する。例えば、支援に関連付けられたイベントが発生した場合、又は、対象フィールドでの状況が変化した場合、環境認識部２４は、発生したイベント又は変化した状況を認識する。そして、環境認識部２４は、認識したイベント又は状況を履歴情報７４に記録する。例えば、環境認識部２４が認識すべき候補となるイベント又は状況は予め定められており、当該候補となるイベント又は状況の各々を認識するために必要な情報がデータストレージ７に予め記憶されている。

さらに、環境認識部２４は、認識した環境情報「Ｓ４」を最適化部２５と制御部２６に供給する。環境情報Ｓ４は、被制御物体の近くの障害物に関する情報であってもよく、被制御物体が搬送すべきパッケージに関する情報であってもよく、被制御物体が修理すべき故障個所に関する情報であってもよく、被制御物体が消すべき火災に関する情報であってもよい。環境認識部２４は、モデル情報７１を更新する機能をさらに有してもよい。この機能は、急速に変化する環境下において特に重要となる。例えば、火災現象がどのように展開するかを表現するモデルを用いる場合、最適化及びロボット制御／機械制御のための環境理解とその展開を正確に把握するために、モデル又はモデルのパラメータを更新する必要がある。

意図情報Ｓ３及び環境情報Ｓ４に基づき、最適化部２５は、被制御物体が取るべきアクションを決定する。この場合、最適化部２５は、モデル情報７１を参照し、被制御物体のアクションを決定する。最適化部２５は、支援のよりよいパターンを探索するために、被制御物体のオペレーションモードを散発的に変更する。一般に、意図が明確である場合、最適化及び具体的な支援オペレーションが導き出される。最適化部２５は、最適化が純粋なトライアル・アンド・エラー最適化法に基づかない場合には、モデル情報７１に示される、種々の形式（複数の型）を有するモデルを用いる。最適化部２５は、被制御物体のアクションに対するフィードバックを示すユーザの反応が被制御物体の次のアクションの決定に反映されるように、意図検出部２３から供給されるフィードバック情報に基づいてモデル情報７１を更新する。最適化部２５は、被制御物体の決定されたアクションを示すアクション情報「Ｓ５」（即ちプラン情報）を、制御部２６に供給する。

制御部２６は、アクション情報Ｓ５に基づいて制御信号「Ｓ６」を生成し、制御信号Ｓ６をアクチュエータ５に供給する。この場合、制御部２６は、アクション情報Ｓ５により示されるアクションを被制御物体が実行するための制御信号Ｓ６を生成する。制御部２６は、環境認識部２４から供給される環境情報Ｓ４をさらに勘案して制御信号Ｓ６を生成してもよい。なお、対象者の意図を認識した後の最適化及び被制御物体のオペレーションについては既に種々の方法が存在するため、ここではその説明を省略する。

なお、前処理部２１、翻訳部２２、意図検出部２３、環境認識部２４、最適化部２５、及び制御部２６は、例えば、プロセッサ２がプログラムを実行することによって実現できる。より具体的には、各構成要素は、メモリ３に格納されたプログラムを、プロセッサ２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。以上のことは、後述する他の実施の形態においても同様である。

（３）処理間の関係
図３は、図２に示されるプロセッサ２の要素によって実行される処理間の関係を概略的に示す。プロセッサ２は、主に、意図検出３１、フィードバック解釈３２、環境認識３３、探索３４、最適化３５、及び支援用オペレーション３６を実行する。

意図検出３１は、第１センサ６１による検出結果に基づき実行され、同時に履歴情報７４の更新及び参照も行われる。フィードバック解釈３２は、意図検出３１と並行して実行され、モデル情報７１と知識ベース７３はフィードバック解釈３２の結果に基づいて更新される。なお、センサ６から出力される検出信号からは意図が直接には推論できないことが多いことから、意図検出３１とフィードバック解釈３２を実行する洗練されたモジュールが必要となる。

環境認識３３は、第２センサ６２による検出結果に基づき実行される。環境認識３３の結果は、意図検出３１、フィードバック解釈３２、探索３４、及びモデル情報７１、知識ベース７３、履歴情報７４の更新の各処理で使用される。環境認識３３には、「現場に新たな人物が進入した」などのイベントの検出、及び物体の探索なども含まれる。

探索３４は、より適した支援のパターンを見つけるために散発的に制御装置１のオペレーションモードを変更することを指す。最適化３５は、モデル情報７１と知識ベース７３を参照し、意図検出３１及び探索３４の結果に基づいて実行される。探索３４と最適化３５の結果に基づき、アクチュエータ５を駆動するための支援用オペレーション３６が実行される。上記処理群は繰り返し実行される。

（４）データフォーマット
図４は、履歴情報７４のデータフォーマットの一例を概略的に示す。履歴情報７４に関しては、処理コストを抑制可能なコンパクトかつ効率的な記述が望ましい。第１実施形態では、履歴情報７４のフォーマットとして正規表現が適用される。

履歴情報７４は、状況、イベント、ジェスチャの３種類のデータセットのリストを含む。ここで、”Ｓ＝｛Ｓ₁，Ｓ_２，…，Ｓ_ｌ｝”は、状況の識別記号を示し、”Ｅ＝｛Ｅ_１，Ｅ_２，…，Ｅ_ｍ｝”は、イベントの識別記号を示し、”Ｇ＝｛Ｇ_１，Ｇ_２，…，Ｇ_ｎ｝”は、ジェスチャの識別記号を示す。”ｈ_１，ｈ_２，ｈ_３，…，ｈ_ｎ”は、人の識別記号を示す。リストの要素は、状況毎に分けられていてもよい。

図４によれば、状況Ｓ_２になった後、制御装置１は、イベントＥ_１とイベントＥ_２とを順に検出する。そして、制御装置１は、人物ｈ_１によるジェスチャＧ_５と人物ｈ_３によるジェスチャＧ_３とを実質的に同時に検出し、その後イベントＥ_１を再び検出している。この場合、制御装置１は、履歴情報７４として記憶されるリストに、以下の情報を加える。
｛Ｓ_２ Ｅ_１ Ｅ_２ ［ｈ_１：Ｇ_５，ｈ_３：Ｇ_３］ Ｅ_１｝

これにより、制御装置１は、処理コストを抑制可能なコンパクトかつ効率的な記述となる履歴情報７４を好適に生成することができる。

（５）適用例
図５は、倉庫の環境での物体移動タスクに関する第１適用例を示す。倉庫では、カメラである第１センサ６１と台８とを備えたプラットフォームロボット１Ａと、支援の対象者である作業者１０と、が存在する。プラットフォームロボット１Ａは、制御装置１が内蔵された被制御物体として機能する。プラットフォームロボット１Ａは、第２センサ６２から出力される検出信号を受信する。プラットフォームロボット１Ａは、機械的な実装として自由度が４となっており、プラットフォームロボット１Ａは、ｘ－ｙ平面に沿って移動可能、かつ、自己を軸（θ）として回転可能、かつ、台の高さｚを変更可能である。

第１適用例の状況では、作業者１０は、物体１２の移動を望んでいる。プラットフォームロボット１Ａは台８を必要としている人物１０を、センサが出力する検出信号に基づいて感知する。そして、プラットフォームロボット１Ａは、第１センサ６１が出力する検出信号に基づき、作業者１０の姿勢の検出及びジェスチャの識別を行いつつ、倉庫内でのイベントと状況とを第２センサ６２が出力する検出信号に基づき検出する。そして、プラットフォームロボット１Ａは、棚１１にある物体１２を持ち上げて移動する意図を検出し、サポートする現場に近づく。

図６は、プラットフォームロボット１Ａがサポートする場所に近づいた後の第１適用例を示す。この場合、プラットフォームロボット１Ａは、台８を適切な高さにて提供し、それに応じて作業者１０は、容易に物体１２を台８に移動させることができる。その後、作業者１０が希望する物体１２の目的場所に行き、プラットフォームロボット１Ａは、ジェスチャ（一般化されたジェスチャ）の一種である作業者１０の行動を解釈することで意図を検出し、物体１２を保持して作業者１０の後をついていく。プラットフォームロボット１Ａは、停止又は所定の休憩位置に移動してもい。この適用例では、図３の探索３４を実行する「探索モジュール」が時々作業者１０に対して通常のサイド（例えば左側）と反対側のサイドから支援することを提案し、システムは、作業者１０により通常と異なる上述の支援が歓迎されているかをセンサに基づき評価してもよい。例えば、図２の最適化部２５が上述の探索モジュールとして機能する。

図７は、火災１３が発生した時の消防士への支援に関する第２適用例を示す。この場合、消防士１０Ａは火災１３の消火の最中であり、消防士１０Ｂは、他の関連するタスクに従事している。消防士ロボット１Ｂは、制御装置１が組み込まれた被制御物体として機能する。消防士ロボット１Ｂは、第１センサ６１と、消防用ホース９とを備える。消防士ロボット１Ｂは、第２センサ６２から出力される検出信号を受信する。

第１センサ６１と第２センサ６２とから出力された検出信号に基づいて、消防士ロボット１Ｂは、状況、各種イベント、及び消防士１０Ａ、１０Ｂのジェスチャ(任意の種類の挙動を含む)を検出する。そして、消防士ロボット１Ｂは、消防士ロボット１Ｂが消防士１０Ａの火災１３の消火作業を手伝うべきであると判定し、消防士ロボット１Ｂは、火災１３に近づき、消火ホース９により火災１３に向けて放水を行う。

例えば、検出結果に基づいて、消防士ロボット１Ｂは、次のような履歴情報７４を生成する。
｛Ｓ_０ Ｅ_１ Ｅ_２ Ｇ_１ …｝

状況の識別記号Ｓ_０は、消防士ロボット１Ｂが火災１３の場所に到着した状況を示している。イベントの識別記号Ｅ_１は、一人の消防士（消防士１０Ａ）が火災１３に向かって進むイベントを示している。イベントの識別記号Ｅ_２は、一人の消防士（消防士１０Ｂ）が退却していることを示している。ジェスチャの識別記号Ｇ_１は、一人の消防士（消防士１０Ａ）による、放水すべき特定の場所を指し示すジェスチャを示している。

この場合、履歴情報７４に基づいて、消防士ロボット１Ｂは、消防士１０Ａの意図を検出し、特定の場所に放水するアクションであるアクション「Ａ_１」を消防士ロボット１Ｂが取るべきことを決定する。これに代えて、イベントＥ_２の優先度が高い場合には、消防士ロボット１Ｂは、消防士１０Ｂの退避を手伝うアクションであるアクション「Ａ_２」を消防士ロボット１Ｂが取るべきことを決定してもよい。消防士ロボット１Ｂは、 消防士ロボット１ＢによるアクションＡ_１又はアクションＡ_２への拒絶を示す任意のフィードバックのジェスチャを消防士１０Ａ又は消防士１０Ｂから検出した場合、消防士ロボット１Ｂはモデル情報７１と知識ベース７３を更新し、その後の消防士ロボット１Ｂのアクション又は意図を決定する最適化又は／及び意図検出では、そのフィードバックが考慮される。

（６）処理フロー
図８は、制御装置１により実行されるプロセスを示すフローチャートの一例である。

まず、センサ６から出力される検出信号に基づいて、制御装置１は、対象フィールドにおける環境を認識する（ステップＳ１１）。例えば、制御装置１は、現在の状況と、対象フィールドにて発生しているイベントとを認識する。制御装置１は、状況又は／及びイベントを履歴情報７４に記録する。

そして、センサ６から出力される検出信号に基づいて、制御装置１は、被制御物体による支援を受ける１又は複数の対象者及び対象者の仮想ポイントを検出する（ステップＳ１２）。これにより、制御装置１は、移動信号Ｓ１を生成する。そして、制御装置１は、少なくとも１人の対象者が行ったジェスチャを検出する(ステップＳ１３)。そして、制御装置１は、ジェスチャを示す情報を履歴情報７４に記録する。

次に、制御装置１は、任意の意図が検出されたか否か判定する（ステップＳ１４）。この場合、知識ベース７３と履歴情報７４とを参照し、制御装置１は、意図が検出されたか否か判定を行う。

そして、制御装置１は意図が検出されなかったと判定した場合（ステップＳ１４；Ｎｏ）、制御装置１はステップＳ１１の処理に戻り、環境と各対象者の監視を継続して行う。

意図が検出されたと制御装置１が判定した場合（ステップＳ１４；Ｙｅｓ）、制御装置１は、被制御物体のアクションに関するフィードバックがあったか否かさらに判定する（ステップＳ１５）。そして、被制御物体のアクションに関するフィードバックがあった場合（ステップＳ１５；Ｙｅｓ）、制御装置１は、意図検出や最適化に用いるデータである知識ベース７３及びモデル情報７１などの更新を行う（ステップＳ１６）。

一方、被制御物体のアクションに関するフィードバックがないと制御装置１が判定した場合（ステップＳ１５；Ｎｏ）、又は、ステップＳ１６の処理が完了した場合、制御装置１は、最適化により被制御物体のアクションを決定する（ステップＳ１７）。そして、制御装置１は、アクチュエータ５を作動させる。その後、制御装置１は、被制御物体による支援が完了したか否か判定する（ステップＳ１９）。もし、制御装置１は、支援が完了したと判定した場合（ステップＳ１９；Ｙｅｓ）、制御装置１は、フローチャートの処理を終了する。そして、例えば、制御装置１は、所定のレディポジションに被制御物体を移動させるように被制御物体を駆動させる。一方、制御装置１は、支援がまだ完了していないと判定した場合（ステップＳ１９；Ｎｏ）、制御装置１はステップＳ１１に処理を戻す。

（７）効果
次に、第１実施形態による効果について説明する。

支援システム１００は、特定のタスクに関する支援に対する人のニーズ及び意図を、人の意図の手がかりに基づき理解する。この理解は、以下のように行われる。
・可能な限り煩わしさがない。
・人の一般化されたジェスチャが履歴及び前後関係を考慮して（これにより明示的な指示が必要とされない）解釈される。
・支援システム１００のオペレーションを向上するため、オペレーションを変更するための暗示的なフィードバックが評価される。
・環境の観察に基づいて、実行可能なアクションのセットが決定される。
支援システム１００はモデル情報７１を有するため、支援システム１００は、ユーザの介入の影響を推定し、未知のオペレーションモードを決定する長所も持ち得る。さらに、状況、イベント、ジェスチャの時系列を示す履歴情報７４に対する好適なデータフォーマットが第１実施形態では開示されている。

（第２実施形態）
図９は、第２実施形態に係る支援システム１００Ａを示す。支援システム１００Ａは、サーバ装置１Ｘと、被制御物体１Ｙと、を有する。以後では、第１実施形態と同一の構成要素については第１実施形態と同一の参照番号を付し、その説明を省略する。

サーバ装置１Ｘは、図１における制御装置１として機能し、意図検出、最適化、及び被制御物体１Ｙの制御を行う。サーバ装置１Ｘは、被制御物体１Ｙに設けられている第１センサ６１及び第２センサ６２から出力される検出信号を受信する。そして、サーバ装置１Ｘは、制御信号Ｓ６を生成し、制御信号Ｓ６を被制御物体１Ｙに送信する。サーバ装置１Ｘは、プロセッサ２と、メモリ３と、インターフェース４と、データストレージ７と、通信部９とを有する。サーバ装置１Ｘにおけるプロセッサ２、メモリ３、インターフェース４、及びデータストレージ７は、図１の制御装置１のプロセッサ２、メモリ３、インターフェース４、及びデータストレージ７に夫々相当する。通信部９は、プロセッサ２の制御に基づき、制御信号Ｓ６を被制御物体１Ｙに送信する。プロセッサ２は、機能的には、図２に夫々示される、前処理部２１と、翻訳部２２と、意図検出部２３と、環境認識部２４と、最適化部２５と、制御部２６と、を有する。なお、サーバ装置１Ｘは、複数の装置により構成されてもよい。この場合、複数の装置の各々は、予め割り当てられたタスクを実行するため、互いにデータの授受を行う。

被制御物体１Ｙは、アクチュエータ５と第１センサ６１とを備え、第１センサ６１から出力される検出信号をサーバ装置１Ｘへ供給する。被制御物体１Ｙは、制御信号Ｓ６を受信し、制御信号Ｓ６に基づいてアクチュエータ５を駆動する。

第２実施形態の構成によっても、サーバ装置１Ｘは、人の意図を検出し、人を好適に支援するように被制御物体１Ｙを駆動することができる。

（第３実施形態）
図１０は、第３実施形態に係る制御装置１Ｂを示す。制御装置１Ｂは、前処理部２１Ｂと、翻訳部２２Ｂと、意図検出部２３Ｂとを有する。

前処理部２１Ｂは、支援を受ける対象者１０Ｃをセンシングする第１センサが出力する検出信号「Ｓｄ」を処理することで、対象者１０Ｃの移動信号を生成する。例えば、前処理部２１Ｂは、第１実施形態における前処理部２１とすることができる。

翻訳部２１Ｂは、移動信号に基づき、対象者１０Ｃの動作及び姿勢の少なくとも一方により表される対象者１０Ｃのジェスチャを識別する。例えば、翻訳部２２Ｂは、第１実施形態における翻訳部２２とすることができる。

意図検出部２３Ｂは、支援に関するイベントの履歴と識別されたジェスチャとに基づき、対象者１０Ｃの意図を検出する。「イベントの履歴と識別されたジェスチャ」は、第１実施形態における履歴情報７４によって示される、検出された状況における１又は複数の過去に展開されたイベントと１または複数のジェスチャを含む。例えば、意図検出部２３Ｂは、第１実施形態における意図検出部２３とすることができる。

第３実施形態によれば、制御装置１Ｂは、イベントの履歴及び支援に関連するジェスチャを考慮し、支援を受ける対象者の意図を好適に検出することができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータであるプロセッサ２に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

（付記１）
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成する前処理部と、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別する翻訳部と、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する意図検出部と、
を有する制御装置。

（付記２）
環境をセンシングする第２センサが出力する検出信号に基づき、前記イベントと、前記支援の状況とを認識する環境認識部をさらに有し、
前記意図検出部は、前記状況、前記イベント、及び前記ジェスチャの前記履歴に基づき、前記意図を検出する、
付記１に記載の制御装置。

（付記３）
前記履歴は、前記状況、前記イベント、及び前記ジェスチャの３種類のデータセットを有する正規表現に基づくデータフォーマットを用いて記録される、
付記２に記載の制御装置。

（付記４）
検出された前記意図に基づいて、前記制御装置による制御を受ける被制御物体のアクションを決定する最適化部と、
決定した前記アクションに基づいて、前記被制御物体を制御する制御部と、
をさらに有する、
付記１に記載の制御装置。

（付記５）
前記意図検出部は、前記被制御物体の前記アクションに関するフィードバックを検出し、
前記最適化部は、前記被制御物体を作動させるオペレーションモードを、前記フィードバックに基づいて変化させる、
付記４に記載の制御装置。

（付記６）
前記意図検出部は、知識ベースに基づいて前記意図を検出し、
前記意図検出部は、前記被制御物体のアクションに関するフィードバックを検出した場合に、前記知識ベースを前記フィードバックに基づいて更新する、
付記４に記載の制御装置。

（付記７）
前記前処理部は、前記対象者の周辺に存在する物体の移動信号をさらに生成し、
前記翻訳部は、前記対象者の前記移動信号と前記物体の前記移動信号とに基づいて、前記物体と関連する前記対象者のジェスチャを識別する、
付記１に記載の制御装置。

（付記８）
前記被制御物体は、前記制御装置が生成する制御信号に従い動作するロボットであり、
前記制御装置は、前記ロボットに組み込まれている、
付記１に記載の制御装置。

（付記９）
前記被制御物体は、前記制御装置が生成する制御信号に従い動作するロボットであり、
前記制御装置は、前記ロボットに前記制御信号を送信するサーバ装置である、
付記１に記載の制御装置。

（付記１０）
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する、
制御方法。

（付記１１）
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する処理をプロセッサに実行させる命令を記憶した記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

本発明は、例えば、ロボティクス、支援システム、協調ロボット、電化製品、及びこれらを制御するサーバ装置などのコントローラに利用することができる。

１ 制御装置
１Ａ プラットフォームロボット
１Ｂ 消防士ロボット
１Ｘ サーバ装置
１Ｙ 被制御物体
２ プロセッサ
３ メモリ
４ インターフェース
５ アクチュエータ
６ センサ
７ データストレージ
９ 通信部

制御装置の一態様は、
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成する前処理手段と、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別する翻訳手段と、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する意図検出手段と、
を有する制御装置である。

プログラムの一態様は、
支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する処理をプロセッサに実行させる命令を記憶したプログラムである。

Claims (11)

1. 支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成する前処理部と、
   前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別する翻訳部と、
   前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する意図検出部と、
   を有する制御装置。
2. 環境をセンシングする第２センサが出力する検出信号に基づき、前記イベントと、前記支援の状況とを認識する環境認識部をさらに有し、
   前記意図検出部は、前記状況、前記イベント、及び前記ジェスチャの前記履歴に基づき、前記意図を検出する、
   請求項１に記載の制御装置。
3. 前記履歴は、前記状況、前記イベント、及び前記ジェスチャの３種類のデータセットを有する正規表現に基づくデータフォーマットを用いて記録される、
   請求項２に記載の制御装置。
4. 検出された前記意図に基づいて、前記制御装置による制御を受ける被制御物体のアクションを決定する最適化部と、
   決定した前記アクションに基づいて、前記被制御物体を制御する制御部と、
   をさらに有する、
   請求項１に記載の制御装置。
5. 前記意図検出部は、前記被制御物体の前記アクションに関するフィードバックを検出し、
   前記最適化部は、前記被制御物体を作動させるオペレーションモードを、前記フィードバックに基づいて変化させる、
   請求項４に記載の制御装置。
6. 前記意図検出部は、知識ベースに基づいて前記意図を検出し、
   前記意図検出部は、前記被制御物体のアクションに関するフィードバックを検出した場合に、前記知識ベースを前記フィードバックに基づいて更新する、
   請求項４に記載の制御装置。
7. 前記前処理部は、前記対象者の周辺に存在する物体の移動信号をさらに生成し、
   前記翻訳部は、前記対象者の前記移動信号と前記物体の前記移動信号とに基づいて、前記物体と関連する前記対象者のジェスチャを識別する、
   請求項１に記載の制御装置。
8. 前記被制御物体は、前記制御装置が生成する制御信号に従い動作するロボットであり、
   前記制御装置は、前記ロボットに組み込まれている、
   請求項１に記載の制御装置。
9. 前記被制御物体は、前記制御装置が生成する制御信号に従い動作するロボットであり、
   前記制御装置は、前記ロボットに前記制御信号を送信するサーバ装置である、
   請求項１に記載の制御装置。
10. 支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
    前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
    前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する、
    制御方法。
11. 支援を受ける対象者をセンシングする第１センサが出力する検出信号を処理することで、前記対象者の移動信号を生成し、
    前記移動信号に基づき、前記対象者の動作及び姿勢の少なくとも一方により表される前記対象者のジェスチャを識別し、
    前記支援に関するイベントの履歴と識別された前記ジェスチャとに基づき、前記対象者の意図を検出する処理をプロセッサに実行させる命令を記憶した記憶媒体。

Images