JP5046053B2 - ロボット制御システム及びロボット制御方法 - Google Patents

Description

本発明は、ロボットを制御するためのロボット制御システムとロボット制御方法とに、関する。

近年、掃除等の家事を実行するためのロボットが、一般家庭で使用されるようになってきている。そして、そのような一般的なロボットは、ロボットの制御装置（或いはロボット自体）に設けられている、キーボード、押しボタンスイッチ等の入力装置を操作することにより制御するもの（例えば、特許文献１参照。）となっているが、ユーザがレーザポインタにより指定した物をピックアップしてユーザの近傍まで搬送するロボット（例えば、非特許文献１参照。）も開発されている。

特開２００６−３３１４３４号公報

"A point-and-click interface for the real world: Laser designation of objects for mobile manipulation", Proceedings of 3rd ACM/IEEE International Conference on Human-Robot Interface, pages 241-247, 2008

上記したように、レーザポインタで搬送対象物を指定できるロボットが開発されているのであるが、レーザポインタのような光学的ポインタで、ロボットに実行させる作業（仕事）の種類も指定できるようにしておけば、ロボットに対する各種作業の実行指示をより容易に出せることになる。

そこで、本発明の課題は、光学的ポインタで、ロボットに実行させる作業の種類（ロボットに対して行う制御の種類）を指定できるロボット制御システム及びロボット制御方法を提供することにある。

上記課題を解決するために、本発明のロボット制御システムは、光学的ポインタによる指示点の移動軌跡の形状を検出する形状検出手段と、前記形状検出手段により検出された１つ以上の移動軌跡の形状に基づき、予め定められている複数種類の制御の中のいずれの制御の実行を前記光学的ポインタの操作者が指示しているかを判別し、操作者が指示していると判別した制御を実行するロボット制御手段と、前記光学的ポインタの指示点の移動軌跡と同じ形状を表す図形の画像を、前記指示点が形成される面上に投影する投影手段とを備える。

すなわち、本発明のロボット制御システムは、１つ以上の“光学的ポインタによる指示点の移動軌跡”の形状から、光学的ポインタの操作者が実行を指示している制御を判別（特定）して実行する構成（つまり、ユーザが、光学的ポインタを操作することにより、ロボットに実行させる作業（仕事）の種類を指定できる構成）を有している。従って、このロボット制御システムを用いておけば、ロボットに対する各種作業の実行指示を、容易に（光学的ポインタを操作するだけで）、出せる環境を実現できることになる。

本発明のロボット制御システムの形状検出手段は、光学的ポインタによる指示点の移動
軌跡の形状を、光学的ポインタの各時刻における位置及び姿勢から、検出する手段（指示点の位置を、直接、検出しない手段）であっても良い。ただし、光学的ポインタの各時刻における位置及び姿勢から、光学的ポインタによる指示点の移動軌跡の正確な形状を求めることは困難であるので、形状検出手段は、各時刻における指示点の位置自体を検出することにより、光学的ポインタによる指示点の移動軌跡の形状を検出する手段としておくことが望ましい。

また、本発明のロボット制御システムを実現するに際しては、その一部或いは全ての構成要素をロボットに搭載しておくことが出来る。

また、ユーザ（光学的ポインタの操作者）が、光学的ポインタの操作内容（指示点の移動させ方）が正しいことを確認しながら指示を出せるようにするために、『前記形状検出手段により移動軌跡の形状が検出される度に、検出された形状が、前記ロボットに対して実行すべき制御の内容を指定するための制御内容指定用形状であるか否かを判断し、当該形状が前記制御内容指定用形状であった場合には、その旨を前記ユーザに通知する』ロボット制御手段を採用しておくことも出来る。

なお、上記ロボット制御手段による、その旨（形状検出手段により検出された移動軌跡の形状が制御内容指定用形状である旨）のユーザへの通知法はどのようなものであっても良い。例えば、ロボット制御手段を、『前記指示点が形成される面上に所定図形（全形状について用意されている図形、形状毎に用意されている図形等）を投影することにより、前記形状検出手段により検出された形状が前記制御内容指定用形状であることを前記ユーザに通知する手段』としておくことが出来る。また、ロボット制御手段を、『所定音（全形状について用意されている音、形状毎に用意されている音等）を出力することにより、前記形状検出手段により検出された形状が前記制御内容指定用形状であることを前記ユーザに通知する手段』としておくことも出来る。さらに、ロボット制御手段を、音の出力機能と図形の投影機能とを有する手段としておくことも出来る。

また、本発明のロボット制御システムを、指示点／移動軌跡が形成される場所（面）とは異なる場所でロボットが機能するシステムとして実現しておくことも出来る。ただし、光学的ポインタは、元々、物体や場所の指定が容易なものである。従って、そのような光学的ポインタの特徴を利用できるようにするために、本発明のロボット制御システムは、『前記ロボット制御手段が実行可能な各制御が、前記指示点が形成される面上で前記ロボットが機能することになる制御であり、前記ロボット制御手段が実行可能な前記複数の制御の中に、前記形状検出手段により形状が検出された移動軌跡の位置から特定される物体又は場所に対する作業を前記ロボットに行わせるための制御が含まれる』システムや、『前記ロボットを利用するエリアの状況を示す画像データを生成するための画像データ生成手段を、さらに、備え、前記形状検出手段が、前記エリア内に形成された、前記光学的ポインタによる指示点の移動軌跡の形状を検出する手段であり、前記ロボット制御手段が実行可能な各制御が、前記指示点が形成される面上で前記ロボットが動作することになる制御であって、前記エリア内での前記ロボットの位置を前記画像データ生成手段により生成された画像データから把握する制御であり、前記ロボット制御手段が実行可能な前記複数の制御の中に、前記形状検出手段により形状が検出された移動軌跡の位置から特定される物体又は場所に対する作業を前記ロボットに行わせるための制御が含まれる』システムとして実現しておくことが好ましい。

また、本発明のロボット制御方法では、光学的ポインタによるユーザの指示点の移動軌跡の形状を検出する形状検出ステップと、前記形状検出ステップにより検出された１つ以上の移動軌跡の形状に基づき、予め定められている数種類の制御の中のいずれの制御の実行を前記光学的ポインタの操作者が指示しているかを判別し、操作者が指示していると判別した制御を実行するロボット制御ステップと、投影手段により、前記光学的ポインタの指示点の移動軌跡と同じ形状を表す図形の画像を、前記指示点が形成される面上に投影するステップとによりロボットを制御する。従って、このロボット制御方法によっても、ロボットに対する各種作業の実行指示を容易に出せる環境を実現できることになる。

本発明のロボット制御システム、ロボット制御方法を用いておけば、ロボットに対する各種作業の実行指示を容易に出せる環境を実現できることになる。

本発明の一実施形態に係るロボット制御システムの構成図である。 実施形態に係るロボット制御システムが制御するロボットの外観図である。 ロボット制御システムの制御装置が実行する指示内容把握・ロボット制御処理の流れ図である。 指示内容把握・ロボット制御処理の流れ図である。 指示内容把握・ロボット制御処理の流れ図である。 指示内容把握・ロボット制御処理時に実行されるＬＰ操作監視処理の流れ図である。 選択指示操作の説明図である。 アンドゥー指示操作及びリドゥー指示操作の説明図である。 指示内容把握・ロボット制御処理時に実行されるＬＰ操作・送りボタン押下監視処理の流れ図である。 第１〜第３搬送指示操作及び中止指示操作の説明図である。 制御装置が実行するロボット制御処理の内容を説明するための図である。 中止・再開指示操作の説明図である。 実施形態に係るロボット制御システムの変形例の説明図である。 実施形態に係るロボット制御システムの変形例の説明図である。 実施形態に係るロボット制御システムの変形例の説明図である。 実施形態に係るロボット制御システムの変形例の説明図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

まず、図１及び図２を用いて、本発明の一実施形態に係るロボット制御システムの構成を説明する。

本実施形態に係るロボット制御システム（図１）は、ロボット２１を制御するためのシステムであり、４台の状況監視用カメラ１１、２台の指示点検出用カメラ１２、スピーカー１３、プロジェクタ１４、制御装置１５及びレーザポインタ１６を備えている。

このロボット制御システムが制御するロボット２１は、床上の物体を押すことにより当該物体を搬送する作業のみが可能なロボットである。このロボット２１は、図２に示してあるように、ロボットプラットフォームとして市販されているiRobot Create（iRobot Corporationの商標）の制御コマンド入力用のシリアルポートに、Bluetoothアダプタ３１（Bluetoothは、Bluetooth-SIG Inc.の商標）を取り付けたものとなっている。なお、この
図２に示してあるオブジェクトタグの意味／用途については後ほど説明するが、本実施形態に係るロボット制御システムは、実際の運用に先駆けて、ロボット２１や、ロボット２１に搬送させることがある各物体に、このオブジェクトタグを貼り付けておく必要があるシステムとして構成されている。

ロボット制御システム（図１）が備える各状況監視用カメラ１１は、被写体の状況を示
す画像データを出力可能な装置（ＰＣカメラ、Ｗｅｂカメラ等と称されている装置）である。各状況監視用カメラ１１（以下、単に、カメラ１１とも表記する）は、４台のカメラ１１からの画像データを合成することにより、ロボット２１に各種作業を行わせるエリア（以下、監視対象エリアと表記する）の状況を示す画像データを生成できる位置に、真下を向けた形で、固定されている。

レーザポインタ１６は、ロボット２１に行わせる作業の内容を指定するために、ユーザが使用する機器である。このレーザポインタ１６は、レーザ光の照射を開始／停止させるためのレーザーボタンに加えて、プレゼンテーションソフト等を無線制御するための送りボタン及び戻りボタンを備えたもの（レーザーポインタ内蔵ワイヤレスポインティングデバイス、リモコン付きレーザポインタ等と称されているもの）となっている。

各指示点検出用カメラ１２（以下、単に、カメラ１２とも表記する）は、通常のＰＣカメラ（Ｗｅｂカメラ）のレンズ前に、レーザポインタ１６が出力するレーザ光のみを透過するフィルタを取り付けた装置である。各カメラ１２は、２台のカメラ１２からの画像データを合成することにより監視対象エリア全域の状況を示す画像データを生成できる位置に設置されている。

プロジェクタ１４は、コンピュータ画面等をスクリーンに投影可能なプロジェクタ（コンピュータと接続可能なプロジェクタ）である。このプロジェクタ１４の位置及び姿勢は、監視対象エリアに画像を投影できるように定められている。

制御装置１５は、Bluetoothによる通信機能等を有するコンピュータに、本システム用
のものとして作成（プログラミング）したロボット制御プログラムを、図示せぬ記録媒体からインストールした装置である。この制御装置１５には、上記した４台の状況監視用カメラ１１、２台の指示点検出用カメラ１２、スピーカー１３及びプロジェクタ１４が接続されている。

次に、本ロボット制御システムの機能（ロボット制御プログラム実行時における制御装置１５の動作）を、説明する。

ロボット制御プログラムを実行させると、制御装置１５は、設定受付処理、指示点情報更新処理、オブジェクト位置情報更新処理、及び、指示内容把握・ロボット制御処理を、並列的に行っている状態となる。

以下、各処理の内容を、説明する。なお、以下の説明では、監視対象エリア内の、レーザポインタ１６からのレーザ光が照射されている箇所（ユーザがレーザポインタ１６で指し示している箇所）のことを、指示点と表記する。また、ユーザがレーザポインタ１６に対して行う、指示点を出現させてから消失させるまでの操作のことを、ＬＰ操作と表記する。

設定受付処理は、ロボット制御システム（制御装置１５）の動作モードを、第１動作モード（デフォルトの動作モード）、第２動作モードのいずれとするかを、制御装置１５のキーボード等を操作することにより、ユーザ（或いは、システムの設置者）が設定できる処理である。また、設定受付処理は、キーボード等の操作により、既定収集領域も設定できる処理となっている。なお、既定収集領域とは、各種物体の搬送先としてユーザが選択できる（詳細は後述）、監視対象エリアの一領域のことである。

指示点情報更新処理は、２台の指示点検出用カメラ１２からの画像データに基づき定期的に指示点の有無を判定し、指示点が存在する場合には、指示点情報を当該指示点の位置
を示す情報に変更し、指示点が存在しない場合には、指示点情報をその旨を示す情報に変更する処理である。ここで、指示点情報とは、制御装置１５のＲＡＭ上に記憶されている情報のことである。この指示点情報は、後述する指示内容把握・ロボット制御処理に利用される情報となっている。

なお、既に説明したように、各指示点検出用カメラ１２は、レーザポインタ１６が出力するレーザ光のみを透過するフィルタがレンズ前に取り付けられたものとなっている。そのため、指示点情報更新処理は、２台の指示点検出用カメラ１２からの画像データ中に、明るい部分／領域を表す画素データ群が含まれているか否かを調査し、そのような画素データ群があった場合に、指示点が存在すると判定する処理となっている。

ビデオ信号供給処理は、制御装置１５のＲＡＭ（本実施形態ではＶＲＡＭ）上に記憶されている投影用画像データに応じた内容のビデオ信号をプロジェクタ１４に供給する（供給し続ける）処理である。

オブジェクト位置監視処理は、監視対象エリア内に存在する各オブジェクト（オブジェクトタグが貼り付けられているロボット２１、物体）の現在位置を周期的に検出し、検出結果を、ＲＡＭ上のオブジェクト位置情報テーブルに記憶する処理である。

より具体的には、上記したオブジェクトタグ（図２参照。）には、各オブジェクトタグを識別するための数値情報であるオブジェクトＩＤが割り当てられている。また、制御装置１５のＲＡＭ上には、監視対象エリア内に存在する各オブジェクトの位置を示すオブジェクト位置情報を、各オブジェクトに貼り付けられているオブジェクトタグのオブジェクトＩＤに対応づけた形で管理（記憶）しておくためのオブジェクト位置情報テーブルが用意されている。

そして、オブジェクト位置監視処理は、『各状況監視用カメラ１１からの画像データを解析することにより、監視対象エリア内に存在する各オブジェクトタグのオブジェクト位置情報とオブジェクトＩＤとを特定し、その特定結果に基づき、“各オブジェクトの現在位置を示すオブジェクト位置情報が各オブジェクトのオブジェクトＩＤに対応づけて記憶されているテーブル”となるように、オブジェクト位置情報テーブルの内容を更新する処理』を周期的に繰り返す処理となっている。

なお、このオブジェクト位置監視処理により、オブジェクト位置情報として実際に特定される情報は、オブジェクトタグ上のＩＤマーカーの中心位置のＸ、Ｙ座標値である。また、制御装置１５に、上記内容のオブジェクト位置監視処理を行わせている（オブジェクトの位置自体ではなく、オブジェクトタグ（ＩＤマーカー）の位置を検出させている）のは、そのようにしておけば、各オブジェクトの位置を簡単な内容の処理（ＣＰＵパワーをさほど必要としない処理）で特定できることになるからである。

指示内容把握・ロボット制御処理は、オブジェクト位置情報テーブル及び指示点情報を利用して、投影用画像データの内容変更（プロジェクタ１４に投影させる画像の変更）やロボット２１の制御を行う処理である。第１動作モード時に実行される指示内容把握・ロボット制御処理は、図３〜図５に示した手順の処理となっている。

すなわち、この指示内容把握・ロボット制御処理を開始した制御装置１５は、まず、ＬＰ操作監視処理（ステップＳ１０１）を開始する。

このＬＰ操作監視処理は、図６に示した手順の処理である。すなわち、ＬＰ操作監視処理を開始した制御装置１５は、まず、指示点が出現するのを待機（監視）している状態〔
ステップＳ２０１の処理（判断）を周期的に行っている状態〕となる。より具体的には、制御装置１５は、上記した指示点情報更新処理により、ＲＡＭ上の指示点情報が、指示点の位置を示す情報に変更されるのを待機（監視）している状態となる。

制御装置１５は、指示点が出現した場合（ステップＳ２０１；ＹＥＳ）には、ステップＳ２０２及びＳ２０３のループ処理、つまり、指示点が消失するまで、指示点情報保存処理及び投影用画像データ更新処理を周期的に繰り返すループ処理を開始する。

ここで、指示点情報保存処理とは、現時点（ステップＳ２０２の処理の実行時点）における指示点情報をＲＡＭから読み出して、ＲＡＭ上の所定の指示点情報記憶領域に保存（記憶）する処理のことである。また、投影用画像データ更新処理とは、指示点情報記憶領域上の指示点情報群に基づき、現時点までの指示点軌跡上に当該指示点軌跡と同形状の第１色（本実施形態では、白色）の図形（以下、移動履歴図形と表記する）がプロジェクタ１４によって投影されるように、投影用画像データの内容を変更する（投影用画像データの、指示点に相当する箇所の画素データの値を変更する）処理のことである。

制御装置１５は、指示点が消失したとき（ステップＳ２０３；ＹＥＳ）に、上記ループ処理及びＬＰ操作監視処理を終了する。

ＬＰ操作監視処理（図３：ステップＳ１０１）を終了した制御装置１５は、ＬＰ操作監視処理により収集された指示点情報群に基づき、ユーザが行ったＬＰ操作が、選択指示操作、アンドゥー指示操作、リドゥー指示操作、その他の操作のいずれであるかを判別する処理（ステップＳ１０２）を行う。より具体的には、制御装置１５は、上記指示点情報群から指示点軌跡の形状及び指示点の移動方向を把握し、その把握した形状（及び指示点の移動方向）が、選択指示操作に割り当てられているもの、アンドゥー指示操作に割り当てられているもの、リドゥー指示操作に割り当てられているもの、その他のもののいずれであるかを判別する処理を行う。

なお、選択指示操作とは、ロボット２１に搬送させたい幾つかの物体が存在している領域を囲むように指示点を移動させる操作（ＬＰ操作）のことである。上記したステップＳ１０２の処理は、指示点軌跡が図７（ａ）に示してあるような形状となるＬＰ操作（幾つかの物体が存在する領域をほぼ囲むように指示点を移動させるＬＰ操作）、指示点軌跡が図７（ｂ）に示してあるような形状となるＬＰ操作（幾つかの物体が存在する領域を完全に囲むように指示点を移動させるＬＰ操作）の双方を、選択指示操作として取り扱う処理となっている。

また、アンドゥー指示操作とは、図８（ａ）に模式的に示してあるように指示点を移動させる操作（反時計回りに円を２回描くように指示点を移動させる操作）のことである。そして、リドゥー指示操作とは、図８（ｂ）に模式的に示してあるように指示点を移動させる操作（時計回りに円を２回描くように指示点を移動させる操作）のことである。

詳細は後述するが、上記した３種の操作以外の各操作（その他の操作）は、ＬＰ操作監視処理の実行時点では無効な操作となっている。このため、制御装置１５は、ユーザが行ったＬＰ操作がその他の操作であった場合（ステップＳ１０２；その他）には、ステップＳ１０３にて、投影用画像データの内容を変更することにより、その時点において監視対象エリア上に表示（投影）されている移動履歴図形（以下、第１移動履歴図形と表記する）を消去する処理を行う。また、制御装置１５は、このステップＳ１０３にて、所定のエラー音を出力する処理（スピーカー１３にエラー音を出力させる処理／エラー音用の信号をスピーカー１３に供給する処理）も行う。

要するに、制御装置１５は、行ったＬＰ操作が無効なものであることを、音及び画像（第１移動履歴図形の消去）でユーザに通知するための処理を、ステップＳ１０３にて、行う。

そして、ステップＳ１０３の処理を終えた制御装置１５は、ＬＰ操作監視処理を行っている状態（ＬＰ操作が行われるのを監視している状態）に戻る。

制御装置１５は、ユーザが行ったＬＰ操作が選択指示操作であった場合（ステップＳ１０２；選択指示操作）には、当該選択指示操作で選択された領域（以下、選択領域と表記する）内の各物体が搬送対象として選択されたことを記憶する（ステップＳ１０４）。

より具体的には、このステップＳ１０４において、制御装置１５は、まず、ＬＰ操作監視処理により収集されている指示点情報群に基づき、選択指示操作により選択された選択領域（指示点軌跡の内側の領域：図７参照）を特定する。次いで、制御装置１５は、オブジェクト位置情報テーブルを参照することにより、特定した選択領域内にその時点において存在している各オブジェクトのオブジェクトＩＤを特定する。そして、制御装置１５は、特定した各オブジェクトＩＤを、搬送対象として選択された物体の識別情報として記憶してから、ステップＳ１０４の処理を終了する。

ステップＳ１０４の処理を終了した制御装置１５は、投影用画像データを加工することによって、第１移動履歴図形の色を第２色（本実施形態では、黄色）に変更する（ステップＳ１０５）。また、制御装置１５は、このステップＳ１０５にて、選択指示操作時用の音として予め定められている選択音を出力する処理（選択音用の信号をスピーカー１３に供給する処理）も行う。

なお、動作モードが第２動作モードに設定されている場合、制御装置１５は、このステップＳ１０５にて、第１移動履歴図形の色を第２色に変更する処理ではなく、第１移動履歴図形を消去して選択領域内の各物体にスポットライトを当てる処理（投影用画像データの内容変更により、プロジェクタ１４から監視対象エリアに投影される画像を、第１移動履歴図形が表示されず、選択領域内の各物体にスポットライトが当てられているように見えることになるものに変更する処理）を行う。

ステップＳ１０５の処理を終えた制御装置１５は、ＬＰ操作・送りボタン押下監視処理（ステップＳ１０６）を開始する。

このＬＰ操作・送りボタン押下監視処理は、図９に示した手順の処理である。すなわち、ＬＰ操作・送りボタン押下監視処理を開始した制御装置１５は、まず、レーザポインタ１６の送りボタンが押下されることと、指示点が出現することとを、監視している状態（ステップＳ３０１及びＳ３０２のループ処理を実行している状態）となる。

そして、制御装置１５は、指示点が出現した場合（ステップＳ３０２；ＹＥＳ）には、既に説明したＬＰ操作監視処理（図６）時に行われるものと同内容のループ処理（ステップＳ３０４及びＳ３０５のループ処理）を開始して、指示点が消失したときに（ステップＳ３０５；ＹＥＳ）、当該ループ処理及びＬＰ操作・送りボタン押下監視処理を終了する。

また、制御装置１５は、指示点が出現する前にレーザポインタ１６の送りボタンが押下された場合（ステップＳ３０１；ＹＥＳ）には、送りボタンが押下されたこと（送りボタンの押下に因り処理を終了すること）を記憶（ステップＳ３０２）してから、このＬＰ操作・送りボタン押下監視処理を終了する。

図３に戻って、ＬＰ操作・送りボタン押下監視処理終了後の制御装置１５の動作を説明する。なお、以下の説明では、ＬＰ操作・送りボタン押下監視処理時に投影され始めた移動履歴図形のことを、第２移動履歴図形と表記する。

ＬＰ操作・送りボタン押下監視処理（ステップＳ１０６）を終了した制御装置１５は、ＬＰ操作・送りボタン押下監視処理の終了事由が送りボタンの押下であるか否かを判断する（ステップＳ１０７；ＮＯ）。そして、制御装置１５は、ＬＰ操作・送りボタン押下監視処理の終了事由が送りボタンの押下ではなかった場合（ステップＳ１０７；ＮＯ）には、当該処理により収集されている指示点情報群に基づき、ユーザが行ったＬＰ操作が、第１搬送指示操作、第２搬送指示操作、第３搬送指示操作、中止指示操作、その他の操作のいずれであるかを判別する（ステップＳ１０８）。

ここで、中止指示操作とは、選択指示操作等を行うことにより既に出している指示を取り消したい場合にユーザが行うべき操作のことである。制御装置１５は、図１０（ｄ）に示してあるように指示点を移動させるＬＰ操作、すなわち、選択領域の外側から選択領域の内側まで指示点を移動させるＬＰ操作が、中止指示操作であると判断する装置として構成（プログラミング）されている。

第１搬送指示操作、第２搬送指示操作、第３搬送指示操作とは、それぞれ、図１０（ａ）〜図１０（ｃ）に示してあるように指示点を移動させるＬＰ操作のことである。詳細は後述するが、これらの搬送指示操作は、ロボット２１に行わせたい作業の種類を指定するためのＬＰ操作となっている。

ユーザが行ったＬＰ操作が中止指示操作であった場合（図３：ステップＳ１０８；中止指示操作）、制御装置１５は、ステップＳ１０９にて、投影用画像データを加工する（投影用画像データを、何も投影されないことになるものに変更する）ことにより、監視対象エリア上に表示されている全移動履歴図形（この場合、第１、第２移動履歴図形）を消去する処理を行う。さらに、制御装置１５は、中止指示時用の音として予め定められている中止音を出力する処理も、このステップＳ１０９にて行う。

制御装置１５は、ＬＰ操作・送りボタン押下監視処理の終了事由が送りボタンの押下であった場合（ステップＳ１０７；ＮＯ）にも、中止指示が入力されたものとして、このステップＳ１０９の処理を行う。そして、ステップＳ１０９の処理を終えた制御装置１５は、ステップＳ１０１に戻って、再び、ＬＰ操作監視処理を開始する。

また、上記した４種の操作以外の各操作は、ＬＰ操作・送りボタン押下監視処理の実行時点では無効な操作となっている。このため、制御装置１５は、ユーザが行ったＬＰ操作がその他の操作であった場合（ステップＳ１０８；その他）には、ステップＳ１１０にて、投影用画像データを加工することにより第２移動履歴図形を消去する処理と、エラー音をスピーカー１３に出力させる処理とを行う。そして、ステップＳ１１０の処理を終えた制御装置１５は、ＬＰ操作・送りボタン押下監視処理（ステップＳ１０６）を再び開始する。

ユーザが行ったＬＰ操作が、第１搬送指示操作、第２搬送指示操作又は第３搬送指示操作であった場合（ステップＳ１０９；搬送指示操作）、制御装置１５は、ステップＳ１１５（図４）にて、第２移動履歴図形の色を第３色（本実施形態では青色）に変更する処理（投影用画像データの内容を変更する処理）を行う。また、制御装置１５は、ユーザが、今回、行ったＬＰ操作（第１〜第３搬送指示操作のいずれか）に応じた内容／種類の音（図では、ＬＰ操作対応音）をスピーカー１３に出力させるための処理も、このステップＳ
１１５にて行う。

ステップＳ１１５の処理を終えた制御装置１５は、ユーザが行ったＬＰ操作の種類／内容に応じた内容のロボット制御処理を開始する（ステップＳ１１６）。

具体的には、ユーザが行ったＬＰ操作が、選択領域の内側の一点から選択領域の外側の一点（以下、終点と表記する）まで指示点を移動させる第１搬送指示操作（図１０（ａ）参照）であった場合、制御装置１５は、図１１（ａ）に点線矢印で示したように、ロボット２１に物体を搬送させるためのロボット制御処理を開始する。すなわち、この場合、制御装置１５は、ロボット２１に、選択領域内の各物体（図１１（ａ）では、１個）を終点位置まで搬送させるためのロボット制御処理を開始する。

また、ユーザが行ったＬＰ操作が、選択領域内で円を描くように指示点を移動させる第２搬送指示操作（図１０（ｂ）参照）であった場合、制御装置１５は、図１１（ｂ）に点線矢印で示したように、ロボット２１（図示略）に物体を搬送させるためのロボット制御処理を開始する。すなわち、この場合、制御装置１５は、ロボット２１に、選択領域内の各物体を、第２搬送指示操作により指定された場所（の近傍）まで搬送させるためのロボット制御処理を開始する。

また、制御装置１５は、ユーザが行ったＬＰ操作が、選択領域を横切るように指示点を移動させる第３搬送指示操作（図１０（ｃ）参照）であった場合には、図１１（ｃ）に点線矢印で示したように、ロボット２１（図示略）に物体を搬送させるためのロボット制御処理を開始する。すなわち、この場合、制御装置１５は、ロボット２１に、選択領域内の各物体を、設定受付処理により設定されている既定収集領域内に搬送させるためのロボット制御処理を開始する。

なお、流れ図への表記は省略してあるが、指示内容把握・ロボット制御処理は、ステップＳ１１６におけるロボット制御処理の開始時に、当該ロボット制御処理の内容を示すアンドゥー・リドゥー用情報（各搬送対象物のオブジェクトＩＤ及びロボット制御処理開始時におけるオブジェクト位置情報、搬送先に関する情報等からなる情報；用途は後述）をＲＡＭ上に記憶する処理と、ＲＡＭ上の状況値（用途は後述）をアンドゥー可能であることを示すアンドゥー可提示値に変更する処理とが行われるものとなっている。

また、制御装置１５が実行する各ロボット制御処理は、ロボット２１の現在位置や搬送対象物の現在位置を、各オブジェクトに貼り付けられているオブジェクトタグの位置（オブジェクト位置監視処理によりオブジェクト位置情報テーブルに記憶される各オブジェクト位置情報）から把握するものとなっている。さらに、ロボット制御処理は、制御可能な複数台のロボット２１（制御装置１５との間の通信設定が行われている複数台のロボット２１）が存在する場合、各搬送対処物を、その搬送対象物の最も近くに位置しているロボット２１に搬送させる処理となっている。

ステップＳ１１６の処理を終えた制御装置１５は、ロボット制御処理を行いながら、第１状況監視処理（ステップＳ１２０）を行っている状態となる。

この第１状況監視処理は、レーザポインタ１６の送りボタン又は戻りボタンが押下されることと、中止指示操作（図１０（ｄ））又は休止・再開指示操作が行われることとを、ステップＳ１０６〜Ｓ１０８、Ｓ１１０及びＳ１１５の処理（図３、図４）と同様の手順で監視する処理である。なお、休止・再開指示操作とは、指示点を図１２に示してあるように（Ｖを描くように）移動させるＬＰ操作のことである。

そして、第１状況監視処理は、レーザポインタ１６の送りボタンが押下された場合、及び、中止指示操作が行われた場合には、中止指示が入力されたと判断して終了し、レーザポインタ１６の戻りボタンが押下された場合、及び、休止・再開指示操作が行われた場合には、休止指示が入力されたと判断して終了する処理となっている。さらに、第１状況監視処理は、ロボット制御処理が完了した場合にも終了する処理（ロボット制御処理の完了も監視する処理）となっている。

要するに、ロボット制御処理を開始した制御装置１５は、ロボット制御処理を行いながら、ロボット制御処理が完了することと、中止指示又は休止指示が入力されることとを監視している状態（第１状況監視処理を実行している状態）となる。

そして、制御装置１５は、ロボット制御処理が完了したことを検出した場合（ステップＳ１２１；制御処理完）には、ロボット２１を、元位置（ロボット制御処理開始時におけるロボット２１の位置）まで移動させるための処理（ステップＳ１２３）を行う。その後、制御装置１５は、投影用画像データの内容を変更することにより、監視対象エリア上の全移動履歴図形を消去する処理（ステップＳ１２４）を行ってから、ステップＳ１０１（図３）以降の処理を開始する。

また、制御装置１５は、中止指示が入力されたことを検出した場合（ステップＳ１２１；中止指示入力）には、実行中のロボット制御処理を中止（ステップＳ１２２）してから、ステップＳ１２３以降の処理を開始する。

制御装置１５は、休止指示が入力されたことを検出した場合（ステップＳ１２１；休止指示入力）には、ロボット制御処理を休止（中断）する（ステップＳ１２５）。そして、制御装置１５は、第２状況監視処理（ステップＳ１２６）を開始する。

この第２状況監視処理は、上記した第１状況監視処理（或いは、ステップＳ１０６〜Ｓ１０８、Ｓ１１０及びＳ１１５の処理）と本質的には同内容の処理である。ただし、第２状況監視処理は、ロボット制御処理の完了を監視しない処理であると共に、レーザポインタ１６の戻りボタンが押下された場合、及び、休止・再開指示操作が行われた場合には、再開指示が入力されたと判断して終了する処理となっている。

そのような内容の第２状況監視処理を行うことにより、再開指示が入力されたことを検出した場合（ステップＳ１２７；再開指示）、制御装置１５は、休止（中断）していたロボット制御処理を再開（ステップＳ１２８）してから、再び、第１状況監視処理（ステップＳ１２０）を開始する。

また、制御装置１５は、中止指示が入力されたことを検出した場合（ステップＳ１２７；中止指示）には、ステップＳ１２３以降の処理を開始する。

以下、ユーザが行ったＬＰ操作が、アンドゥー指示操作又はリドゥー指示操作であった場合（図３：ステップＳ１０２；アンドゥー／リドゥー指示操作）における制御装置１５の動作を説明する。

アンドゥー指示操作（図８（ａ）参照）は、選択指示操作等を行うことによりロボット２１に搬送させた各物体を元の位置に戻したい場合に行うべきＬＰ操作である。また、リドゥー指示操作（図８（ａ）参照）は、アンドゥー指示操作により元の位置に戻した各物体をアンドゥー指示操作前の位置に戻したい場合に行うべきＬＰ操作である。

これらの操作は、ＬＰ操作監視処理（図３：ステップＳ１０１）の実行時点でのみ有効
な操作となっている。制御装置１５は、ＬＰ操作監視処理の実行中に、ユーザがアンドゥー指示操作又はリドゥー指示操作を行った場合（ステップＳ１０２；アンドゥー／リドゥー指示操作）には、図５に示してあるように、まず、現在の状況が、ユーザにより実行が指示されている作業（アンドゥー／リドゥー）を実行可能な状況であるか否かを判断する（ステップＳ１３１）。

より具体的には、上記した状況値は、既に説明したアンドゥー可提示値に加えて、リドゥー可能であることを示すリドゥー可提示値と、アンドゥーもリドゥーも不可能であることを示すアンドゥー等不可提示値とを取り得る情報となっている。なお、アンドゥー等不可提示値が、状況値の初期値（ロボット制御プログラムの実行開始直後の値）である。

そして、ステップＳ１３１の処理（判断）は、ユーザが行ったＬＰ操作がアンドゥー指示操作であった場合には、ＲＡＭ上の状況値が、アンドゥー可提示値であるか否かにより、現在の状況が、アンドゥーを実行可能な状況であるか否かを判断する処理となっている、また、ステップＳ１３１の処理は、ユーザが行ったＬＰ操作がリドゥー指示操作であった場合には、状況値が、リドゥー可提示値であるか否かにより、現在の状況が、リドゥーを実行可能な状況であるか否かを判断する処理となっている。

そのような手順の判断により、現在の状況が、ユーザにより実行が指示されている作業が可能な状況ではないと判断した場合（ステップＳ１３１；ＮＯ）、制御装置１５は、移動履歴図形（アンドゥー／リドゥー指示操作による指示点軌跡と同形状の図形）を消去すると共にエラー音を出力するための処理（ステップＳ１３２）を行ってから、ステップＳ１０１（図３）以降の処理を開始する。

一方、現在の状況が、ユーザにより実行が指示されている作業が可能な状況であると判断した場合（ステップＳ１３１；ＮＯ）、制御装置１５は、移動履歴図形の色を第３色に変更し、アンドゥー／リドゥー指示操作時用のものとして予め定められているアンドゥー／リドゥー音を出力するための処理（ステップＳ１３３）を行う。

その後、制御装置１５は、ユーザが行ったＬＰ操作がアンドゥー指示操作であった場合には、ステップＳ１３４にて、アンドゥー用のロボット制御処理を開始する。また、制御装置１５は、ユーザが行ったＬＰ操作がリドゥー指示操作であった場合には、ステップＳ１３４にて、リドゥー用のロボット制御処理を開始する。

より具体的には、ユーザが行ったＬＰ操作がアンドゥー指示操作であった場合、制御装置１５は、ステップＳ１３４にて、まず、ＲＡＭ上のアンドゥー・リドゥー用情報（各搬送対象物のオブジェクトＩＤ及びオブジェクト位置情報、搬送先に関する情報等からなる情報）に基づき、前回のロボット制御処理でロボット２１に搬送させた各物体のオブジェクトＩＤとロボット制御処理実行前の位置とを把握する。そして、制御装置１５は、把握した各オブジェクトＩＤで識別される物体（把握した各オブジェクトＩＤが割り当てられているオブジェクトタグが貼り付けられている物体）を、各物体のロボット制御処理実行前の位置までロボット２１に搬送させるためのロボット制御処理（アンドゥー用のロボット制御処理）を開始する。

また、ユーザが行ったＬＰ操作がリドゥー指示操作であった場合、制御装置１５は、ステップＳ１３３にて、まず、ＲＡＭ上のアンドゥー・リドゥー用情報に基づき、搬送すべき各物体のオブジェクトＩＤと、各物体の搬送先（全物体の搬送先）とを把握する。そして、制御装置１５は、ＲＡＭ上の状況値をアンドゥー可提示値に変更した上で、把握した各オブジェクトＩＤで識別される物体を、把握した搬送先までロボット２１に搬送させるためのロボット制御処理（リドゥー用のロボット制御処理）を開始する。

上記のような手順によりアンドゥー用又はリドゥー用のロボット制御処理を開始した制御装置１５は、ステップＳ１２０〜Ｓ１２８の処理（図４）とそれぞれ同内容のステップＳ１４０〜Ｓ１４８の処理と、ステップＳ１４９の処理（完了したロボット制御処理がアンドゥー用のものであった場合に、状況値をリドゥー可提示値に変更する処理）とからなる処理を開始する。

要するに、制御装置１５は、アンドゥー用のロボット制御処理の完了時に状況値をリドゥー可提示値に変更する点のみが、ステップＳ１２０〜Ｓ１２８の処理と異なる処理を開始する。そして、制御装置１５は、当該処理が終了した場合（ステップＳ１４４の処理が終了した場合）には、ステップＳ１０１に戻って、ＬＰ操作監視処理を開始する。

《変形形態》
上記した実施形態に係るロボット制御システムは、各種の変形を行うことが出来る。例えば、ロボット制御システムを、図１３に模式的に示したように、搬送すべき複数の物体をレーザポインタ１６で１個ずつ指定した後、物体が存在していない場所をレーザポインタ１６で指定すれば、当該場所に各物体を搬送するためのロボット制御処理が開始されるシステムに変形することが出来る。

ロボット制御システムを、図１４や図１５に示したような機能を有するシステムに変形することも出来る。すなわち、ロボット制御システムを、制御対象ロボットが存在する領域をレーザポインタ１６で選択した後、レーザポインタ１６で当該領域内に円を描けば、制御対象ロボットがバッテリステーションに移動するシステム（図１４）に変形することが出来る。また、ロボット制御システムを、レーザポインタ１６で或る領域を選択してから、指示点がその領域内で多数回往復するようにレーザポインタ１６を操作すれば、当該領域内に侵入することがないように制御対象ロボットを制御する状態となるシステム（図１５）に変形することも出来る。

ロボット制御システムを、図１６に示した一連のＬＰ操作、つまり、レーザポインタ１６で領域を選択した後に当該領域と交差するようにレーザポインタ１６でくさび状の図形を描く操作がなされた場合、当該領域内に侵入することがないように制御対象ロボットを制御する状態となるシステムに変形することも出来る。

また、上記したロボット制御システムは、２回のＬＰ操作結果（２つの指示点軌跡の形状）から、制御対象ロボットに対して行うべき制御の内容を把握するシステムであったが、ロボット制御システムを、１回のＬＰ操作結果から、ロボットに対して行うべき制御の内容を把握することや、３回以上のＬＰ操作結果から、制御対象ロボットに対して行うべき制御の内容を把握することがあるシステムに変形することも出来る。

また、ロボット制御システムは、指示点軌跡の形状を把握（検出）するために、指示点の位置を検出するシステムであったが、指示点の位置は、レーザポインタ１６の位置及び姿勢から算出することが出来る。従って、ロボット制御システムを、レーザポインタ１６の各時刻における位置及び姿勢を検出することによって、指示点軌跡の形状を把握するシステムに変形することも出来る。ただし、レーザポインタ１６の各時刻における位置及び姿勢から指示点の正確な位置を求めることは、困難なことなので、指示点軌跡の形状を把握するための構成としては、実施形態の構成を採用しておくことが望ましい。

また、実施形態のロボット制御システムは、制御対象ロボットに各種作業を行わせる場所／面（監視対象エリア）と、指示点を移動させる場所／面とが一致したシステムであったが、例えば、ロボット制御システムを、壁上の指示点軌跡から、制御対象ロボットに対
して行うべき制御内容を把握する機能のみを有するシステムや、当該機能も有するシステムに変形することが出来る。ただし、レーザポインタ１６のような光学的ポインタは、元々、物体や場所の指定が容易なものである。従って、物体や場所の指定が必要な作業をロボットに行わせる場合には、実施形態のような構成を採用することにより、光学的ポインタで物体や場所を直接的に指定できるようにしておくことが望ましい。

また、実施形態のロボット制御システムは、制御対象ロボットとは、全く別のシステムであったが、ロボット制御システムの一部（例えば、制御装置１５）を、制御対象ロボット内に実装しておくことも出来る。また、ロボット制御システムの全てを、制御対象ロボット内に搭載しておくことも出来る。

さらに、ロボット制御システムを、より高機能なロボット（例えば、物体を掴んで運べるロボット）を制御するシステム、把握可能なＬＰ操作の種類（実行可能な制御の種類）がより多いシステム、機能が異なる複数種類のロボット（例えば、掃除ロボットとモップがけロボット）を制御可能なシステム等に変形しても良いことなどは、当然のことである。

１１・・・状況監視用カメラ
１２・・・指示点検出用カメラ
１３・・・スピーカー
１４・・・プロジェクタ
１５・・・制御装置
１６・・・レーザポインタ
２１・・・ロボット
３１・・・Bluetoothアダプタ

Claims (7)

1. ユーザが光学的ポインタを用いて指示した指示点の移動軌跡の形状を検出する形状検出手段と、
   前記形状検出手段により検出された１つ以上の移動軌跡の形状に基づき、予め定められている複数種類の制御の中のいずれの制御の実行を前記光学的ポインタの操作者が指示しているかを判別し、操作者が指示していると判別した制御を実行するロボット制御手段と、
   を備えるロボット制御システムにおいて、
   前記光学的ポインタの指示点の移動軌跡と同じ形状を表す図形の画像を、前記指示点が形成される面上に投影する投影手段をさらに備える
   ことを特徴とするロボット制御システム。
2. 前記ロボット制御手段が、
   前記形状検出手段により移動軌跡の形状が検出される度に、検出された形状が、前記ロボットに対して実行すべき制御の内容を指定するための制御内容指定用形状であるか否かを判断し、当該形状が前記制御内容指定用形状であった場合には、その旨を前記ユーザに通知する通知手段を有する
   ことを特徴とする請求項１に記載のロボット制御システム。
3. 前記通知手段が、
   前記指示点が形成される面上に所定図形を投影することにより、前記形状検出手段により検出された形状が前記制御内容指定用形状であることを前記ユーザに通知する手段である
   ことを特徴とする請求項２記載のロボット制御システム。
4. 前記通知手段が、
   所定音を出力することにより、前記形状検出手段により検出された形状が前記制御内容指定用形状であることを前記ユーザに通知する手段である
   ことを特徴とする請求項２又は請求項３記載のロボット制御システム。
5. 前記ロボット制御手段が実行可能な各制御が、
   前記指示点が形成される面上で前記ロボットが機能することになる制御であり、
   前記ロボット制御手段が実行可能な前記複数の制御の中に、
   前記形状検出手段により形状が検出された移動軌跡の位置から特定される物体又は場所に対する作業を前記ロボットに行わせるための制御が含まれる
   ことを特徴とする請求項１乃至請求項４のいずれかに記載のロボット制御システム。
6. 前記ロボットを利用するエリアの状況を示す画像データを生成するための画像データ生成手段を、さらに、備え、
   前記形状検出手段が、
   前記エリア内に形成された、前記光学的ポインタによる指示点の移動軌跡の形状を検出する手段であり、
   前記ロボット制御手段が実行可能な各制御が、
   前記指示点が形成される面上で前記ロボットが動作することになる制御であって、前記エリア内での前記ロボットの位置を前記画像データ生成手段により生成された画像データから把握する制御であり、
   前記ロボット制御手段が実行可能な前記複数の制御の中に、
   前記形状検出手段により形状が検出された移動軌跡の位置から特定される物体又は場所に対する作業を前記ロボットに行わせるための制御が含まれる
   ことを特徴とする請求項１に記載のロボット制御システム。
7. ロボットを制御するためのロボット制御方法であって、
   光学的ポインタによるユーザの指示点の移動軌跡の形状を検出する形状検出ステップと、
   前記形状検出ステップにより検出された１つ以上の移動軌跡の形状に基づき、予め定められている数種類の制御の中のいずれの制御の実行を前記光学的ポインタの操作者が指示しているかを判別し、操作者が指示していると判別した制御を実行するロボット制御ステップと、を含むロボット制御方法において、
   投影手段により、前記光学的ポインタの指示点の移動軌跡と同じ形状を表す図形の画像を、前記指示点が形成される面上に投影するステップ
   をさらに含むことを特徴とするロボット制御方法。
   

Images