JP3713021B2 - 生活空間用の物品取扱いシステム及びロボット操作装置 - Google Patents
生活空間用の物品取扱いシステム及びロボット操作装置 Download PDFInfo
- Publication number
- JP3713021B2 JP3713021B2 JP2003037949A JP2003037949A JP3713021B2 JP 3713021 B2 JP3713021 B2 JP 3713021B2 JP 2003037949 A JP2003037949 A JP 2003037949A JP 2003037949 A JP2003037949 A JP 2003037949A JP 3713021 B2 JP3713021 B2 JP 3713021B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- robot
- operation screen
- icon
- living space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（以下、これらを総称して生活空間という）においてロボットに物品の取扱い作業を実行させる生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置に関する。
【０００２】
【従来の技術】
従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボットが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持・運搬や、自動化された倉庫での在庫品の運搬・管理等にロボットが利用されており、その例を挙げるときりがない。
【０００３】
こうした産業用のロボットは、扱う物品の形状・大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献１には、物品の荷積み・荷降ろし作業を行うロボットシステムが開示されている。
【０００４】
【特許文献１】
特開平７−２３７１５９号公報
【０００５】
【発明が解決しようとする課題】
今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボットの研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すエンタテイメント用ロボットや、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボットが実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。
【０００６】
さて、家事支援の基本的な作業の一つに、物品の移動作業（運搬作業）が挙げられる。この物品の移動作業を行うロボットシステムの具体的な応用事例としては、物品を把持可能な自走ロボットが、例えば老人等の物品の持ち運びが不自由な人に代わって物品の移動を行うシステムが考えられる。
【０００７】
こうしたシステムの操作インタフェースとして、例えば従来から産業用ロボットにおいて実現されていたように、ロボットの動作を遠隔操作（リモートコントロール操作）することが考えられる。
【０００８】
しかしながら、ロボットが、ある第１の地点に存在する物品を第２の地点まで移動させるには、そのロボットは、１）現在地から第１の地点まで移動する、２）第１の地点に存在する物品を把持する、３）その物品を把持した状態で第２の地点まで移動する、４）第２の地点において把持をしている物品を開放する、の少なくとも４つの動作を行わなければならない。このため、遠隔操作によってロボットに移動作業をさせる場合には、上記の１）〜４）の４つの動作を全て操作しなければならず、極めて煩雑である上に、その遠隔操作の習熟に手間がかかる。
【０００９】
例えば上記の特許文献１に開示されたロボットシステムでは、操作画面上でロボットの作業内容を指定するように構成されている。より具体的にこのシステムでは、直方体形状の荷扱い物品をパレットに積み込む作業をロボットにさせる際に、その荷扱い物品を仮想的に示す仮想物品図を操作画面内に表示すると共に、その操作画面上で上記仮想物品図を所望の位置及び向きに移動させることによって、ロボットに実行させる作業内容を指定するようにしている。
【００１０】
ところがこのシステムでは、ロボットは、所定の位置（例えばコンベア上）に存在する物品を、所定の位置（パレット上）に移動させるだけであり、操作画面上では、パレット上における物品の位置と向きとを指定するだけである。これに対し、例えば一般家庭等の人が活動を行う空間でロボットが物品の移動作業を行う場合には、物品が存在する位置も定まっておらず、さらに、その物品を移動させる位置も定まっていない。
【００１１】
つまり、上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースでは、複雑かつ自由度の高いロボットの作業内容を指定することができないため、一般家庭等で用いられる非産業用のロボットシステムに上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースを利用することはできない。
【００１２】
生活空間用のロボットシステムでは、生活空間内の状況が工場や倉庫等の状況よりもさらに複雑であることから、その複雑な生活空間内の状況を的確にユーザに提示する操作インタフェースが求められる。
【００１３】
また、一般家庭等で用いられることを考慮すれば、その操作インタフェースは、上述した遠隔操作のように、その習熟に手間がかかるものではなく、ロボットに実行させる作業内容を誰もが簡単に指定可能であることが好ましい。
【００１４】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、その生活空間内の状況を的確にユーザに提示すると共に、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
【００１５】
【課題を解決するための手段】
本発明による物品取扱いシステムは、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、前記生活空間内に設置され、前記生活空間を撮像する複数の撮像手段と、前記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段と、ユーザに提示するための操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、前記操作画面を生成する表示制御手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行するものである。そして、前記操作画面は、上記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、ロボットに行わせる作業内容を上記仮想空間上で指定させる。
【００１６】
この構成によると、操作手段の表示部には操作画面が表示される。この表示部に表示される操作画面は生活空間の実状況に則した仮想空間からなる。ここで、仮想空間が生活空間の実状況に則しているとは、仮想空間の状況と生活空間の実状況とが互いに一致していることである。ユーザは入力部を操作することによって、上記操作画面の仮想空間内で、ロボットに実行させる作業内容を指定する。こうして、作業内容が指定されれば、上記ロボットは、その作業内容に基づいて生活空間内で物品の取扱い作業を実行する。
【００１７】
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
【００１８】
さらに本発明では、ロボットの作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボットの作業内容を、容易に指定可能になる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明に係る物品取扱いシステムは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（生活空間）において、その空間内に存在する物品の取扱い作業を作業ロボットに実行させるシステムである。
【００２０】
本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。また、上記作業ロボットが実行する物品の取扱い作業としては種々の作業が考えられるが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。
【００２１】
本システムは、図１に示すように、環境管理サーバ101 （以下、単にサーバと省略することもある）、作業ロボット102 （以下、単にロボットと省略することもある）、及び操作端末103 の大きく分けて３つのサブシステムから構成される。これら３つのサブシステム101 〜103 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
【００２２】
３つのサブシステム101 〜103 はそれぞれ、制御手段110 ，115 ，119 と送受信手段109 とを備えている。ここで、各サブシステム101 〜103 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。
【００２３】
−環境管理サーバの構成−
１番目のサブシステムである環境管理サーバ101 は、環境内の状況を把握するセンシング手段104 と、このセンシング手段104 によって把握した状況のうち、環境内に存在する物品（ロボット102 が取扱い作業可能なもの）と移動体（人や作業ロボット102 等の主として物品の取扱いを行うもの）との状況を管理する物品／移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品／移動体データベース106 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、物品／移動体データベース106 のデータや環境マップ108 のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット102 に対する制御コマンドを送信したりする送受信手段109 と、これらの手段104 ，105 ，107 ，109 をコントロールする制御手段110 とからなる。
【００２４】
上記センシング手段104 は、環境内に存在するありとあらゆる物品や家具、及び環境内に存在する人やロボット102 の位置と状態とを常時監視するものである。上記センシング手段104 は、人やロボット102 によって、環境内に物品が持ち込まれたこと、及び環境外へ物品が持ち出されたことも検出する（このことの詳細は後述する）。
【００２５】
本システムにおいて特徴的な構成要素の一つがこのセンシング手段104 である。つまり、本実施形態に係るシステムでは、対象とする環境は、特定の建物内の一つの部屋に限定をするものの、その環境内で物品の置かれる位置や、その物品を持ち運ぶ移動体の移動経路には制限を加えない。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。
【００２６】
そこで、まず最初に、最も良く使われるセンサの一つである画像センサを使って物品を検出する一般的な方法とその問題点とを簡単に説明する。次に別のセンサである電子タグを使って物品を検出する方法とその問題点とを簡単に説明する。
【００２７】
室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を使って室内の物品等の検出を行うのが一般的である。
【００２８】
ここで、カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法として背景差分法がある。背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。本システムにおけるセンシング手段104 は、環境内の物品や移動体を検出・監視することが目的である。このため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
【００２９】
具体的に、背景差分法による物品の検出方法について、図２を参照しながら説明する。ここで、図２（ａ）はモデル画像の例を示す図であり、図２（ｂ）はある時点でカメラが撮影した画像（入力画像）を示す図であり、図２（ｃ）は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。図２（ｃ）から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる（同図の網掛け部分参照）。このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品を検出することができる。さらに、その画像を画像処理することによって、その物品が何であるかを特定する。このように、背景差分法を用いれば、環境内の物品及び移動体の状況を検出することは可能である。
【００３０】
しかしながらカメラを用いた物品等の検出には、明るさの変化に弱い、解像度が低い、物品が他の物に隠されて見えなくなる、物品が重なっているとそれらが一つの物品として検出されてしまう等、一般的に多くの問題もある。
【００３１】
例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能にすれば解決する。しかしながら死角が無くなるようにカメラを多数設置しただけでは、物品の検出を確実に行い得るとは限らない。つまり、カメラ台数を増やしても解像度の問題及び物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを判断できない（物品を特定できない）のである。
【００３２】
次に、電子タグを使って物品を検出する方法について説明する。近年では電子タグを用いて物品や移動体の位置検出する方法が開発されつつあり、タグによる位置検出が、カメラ画像を使った位置検出に置き換わることも十分に考えられる。
【００３３】
電子タグとはデータを蓄えるＩＣとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタと呼ばれる装置によって電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることができる。
【００３４】
そこで、上記電子タグを各物品に付すと共に、その電子タグにその物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込む。また、移動体（人・ロボット102 ）にも電子タグを付す。人の場合は常時携帯するもの（例えば腕時計等）に電子タグを埋め込んでもよい。移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。一方、環境内には、上記リーダライタを多数設置する。こうすることで、リーダライタが物品及び移動体に付された電子タグの情報を読みとることにより、カメラがなくても、環境内に存在する物品等の検出が可能になる。また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合には、物品の存在を検出することに加えて、電子タグに埋め込まれた物品の形状データを利用して、後述するようにロボット102 による物品の把持が容易になる、製造年月日データを利用して品質期限の管理が可能になる、物品の種類データを利用して捜し物を見つけるのが簡単になる等、ユーザに大きなメリットもたらす。
【００３５】
しかし、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短いのである。電子タグを使った物品検出の問題点の一つはその通信距離の短さにある。また、リーダライタを環境内に多数設置することで、通信距離の問題を解消することも考えられるが、リーダライタはカメラに比べてコストが高く、環境内にカメラのように多数設置することは現実的ではない。
【００３６】
以上、環境内に存在する物品及び移動体を検出する方法として、画像センサを使った方法と、電子タグを使った方法とをそれぞれ示したが、いずれの方法にも一長一短がある。
【００３７】
そこで、画像センサと電子タグとの双方を使った物品の検出方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子タグを使ってその物品を特定するというハイブリッド処理を行うのである。具体的な処理の例を以下に２つ挙げる。
【００３８】
一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット102 にリーダライタを取り付ける。また、各物品及び移動体には電子タグを取り付けておく。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品の近傍に上記ロボット102 を移動させて、そのロボット102 に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
【００３９】
もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置する。このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品に向ける。こうして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。尚、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いることになる。このため、環境内に人がいないことを、例えば背景差分法によって確認した上で行う必要がある。
【００４０】
以上、本システムにおけるセンシング手段104 の具体例として、カメラ及び／又は電子タグを用いた方法について説明したが、本システムにおけるセンシング手段104 はここで説明した以外の方法を採用してもよい。
【００４１】
また、詳しくは後述するが、ドアや窓等の、環境と外部との出入り口には、センシング手段104 としてのリーダライタを設置し、これによって、環境内への物品の持ち込みや持ち出しを検出する。
【００４２】
上記センシング手段104は、物品や移動体を検出したときには、その情報を物品／移動体検索・管理手段105 に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置及び向き等である。
【００４３】
物品／移動体検索・管理手段105 は、センシング手段104 によって検出された環境内に存在する各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）106 に蓄積するものである。このＤＢ106 の詳細は後述するが、ＤＢ106 に蓄積する情報には、少なくとも物品及び移動体の位置が含まれる。
【００４４】
また、物品／移動体検索・管理手段105 は、センシング手段104 からの情報に基づいて、物品の取扱い（物品の移動）を行っている移動体（人・ロボット）を推論し、その推論結果を上記物品／移動体ＤＢ106 に蓄積するように構成されている。
【００４５】
上記物品／移動体検索・管理手段105 は、図３に示すように、物品（物品／移動体ＤＢ106 に登録されている物品）が移動体によって取り扱われていること、ここでは特に移動体によって物品が移動されていることを検出する物品取扱検出手段３１と、上記物品取扱検出手段３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する取扱者特定手段３２とを備えている。
【００４６】
上記物品取扱検出手段３１は、センシング手段104 からの情報に基づいて、物品が移動体によって取り扱われていること（物品取扱状態）を検出する。例えば、上述した背景差分法を利用して物品を検出しているときには、入力画像（カメラ画像）とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出することができる。尚、この方法に代えて、例えば電子タグを利用して、物品が移動体によって取り扱われていることを検出してもよい。
【００４７】
上記取扱者特定手段３２は、上記物品取扱検出手段３１が物品取扱状態を検出したときに、その物品を取り扱っている取扱者を特定し、その取扱者の情報を物品／移動体ＤＢ106 に蓄積する。
【００４８】
上記取扱者の特定は、具体的には次のようにすればよい。つまり、センシング手段104 がカメラを利用しているときには、そのカメラによって物品取扱状態が検出された領域を撮像する。そして、撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。こうして特定された移動体は、取扱いがされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定することができる。ここで、センシング手段104 が利用するカメラは、背景差分法による物品検出に用いられるため、通常、広域を撮影する広角カメラである。この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りないことが多い。そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置、又はロボット102 に設置してもよい。上記物品取扱検出手段３１が物品取扱状態を検出した領域を狭角カメラによって撮像し、その撮像した画像に対して顔認証処理を行うことにより、取扱者を精度よく特定することができる。
【００４９】
尚、物品取扱者の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。また、カメラ画像に対する認証処理を行わなくても、そのカメラ画像自体を物品／移動体ＤＢ106 に蓄積してもよい。これは、認証処理によって移動体を特定することができなかったときに限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。
【００５０】
また、例えばドアや窓等の、環境（部屋）の特定の場所における物品の取扱いを管理する場合、具体的には、環境内への物品の持ち込みや持ち出しを管理する場合は、電子タグとリーダライタとを用いるのがよい。
【００５１】
すなわち、図４に示すように、環境と外部との出入り口である窓５１及びドア５２の開口部それぞれに、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設する。そして、物品及び移動体がこの窓５１やドア５２を通過したときに、その物品及び移動体に取り付けられた電子タグからの情報をリーダライタが読み取り、物品取扱検出手段３１はそれによって、物品が移動体によって取り扱われている（環境内への持ち込み又は環境内からの持ち出し）ことを検出する。また、取扱者特定手段３２は、リーダライタが読み取った情報に基づいて、物品と一緒に窓５１やドア５２を通過した移動体を、物品の取扱者（物品の持ち込みや持ち出しを行う者）と特定し、その取扱者の情報を上記物品／移動体ＤＢ106 に蓄積すればよい。こうすることで、物品の持込者・持出者の管理を自動的に簡単な処理で行なえる。
【００５２】
尚、図４では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
【００５３】
また、このようなリーダライタを窓５１やドア５２に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置する。こうすることで、外側の第１リーダライタが電子タグからの情報を検出した後に、内側の第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第２リーダライタが電子タグからの情報を検出した後に、外側の第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。
【００５４】
このようなリーダライタを用いた、特定の場所における物品の管理は、窓５１やドア５２における物品の管理に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等の物品を収容する物の開口部に同様のリーダライタを設置すれば、冷蔵庫や戸棚内に入れる物品と、その冷蔵庫や戸棚内から取り出される物品との管理が可能になる。
【００５５】
尚、本システムでは、物品の取扱いは人に限らず、後述するように人が操作端末103 において指定した作業内容に応じてロボット102 も物品の取扱いを行う。このようにロボット102 が物品の取扱いを行う場合、その物品取扱者はロボット102 としてもよいし、そのロボット102 を操作する人を物品取扱者としてもよい。例えば、ロボット102 を操作する人を物品取扱者とするときには、ロボット102 の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行ない、その認証結果に基づいて、ロボット102 の操作者（物品取扱者）を特定すればよい。また、ロボット102 の操作の開始時に、操作端末103 においていわゆるＬＯＧＩＮ、ＬＯＧＯＮ処理によるユーザ認証を行なう場合には、そのユーザ情報からロボット102 の操作者（物品取扱者）を特定してもよい。
【００５６】
また、詳しくは後述するが、上記物品／移動体検索・管理手段105 は、制御手段110 から物品／移動体ＤＢ106 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ106 から取り出し、その情報を制御手段110 に送ることも行う。
【００５７】
環境管理サーバ101 の物品／移動体ＤＢ106 は、物品及び移動体の情報を蓄積するＤＢであり、例えば図５及び図６に示すように構成される。すなわち、この物品／移動体ＤＢ106 は、物品を扱う物品データベース（図５）と、移動体を扱う移動体データベース（図６）とからなる。
【００５８】
物品ＤＢは、物品データ、物品履歴データ、及び物品属性データ、の３種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００５９】
１）物品データ：個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、及び物品属性データへのポインタ、が蓄積される。ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるＩＤが割り当てられる。一方、種類が同じ物品は同じ物的属性を持つため、異なるＩＤが割り当てられていても、同じ物品属性データへのポインタを持つ。これにより、データベースの容量を節約する。
【００６０】
２）物品履歴データ：物品が取り扱われた履歴を格納するもので、取り扱われた時刻、取扱内容、取扱者、取扱い後の位置、の４項目からなる。この内、位置データの表し方としては種々の表現が考えられるが、ここでは、図５に示すように、６つのパラメータで位置を表現することとする。つまり、最初の３つのパラメータ（x1 ,y1 ,z1）は物品の位置（重心位置等を用いる）を表し、後の３つのパラメータ（l1,m1,n1）は、物品の向きを表す。また、物品履歴データにおける取扱者は、上記取扱者特定手段３２によって特定された移動体である。
【００６１】
３）物品属性データ：物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図５に示すように、物品の重さ・形状、その外観の画像データが挙げられる。
【００６２】
尚、物品履歴データの一つとして、上述したように、環境における特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。例えば図７は、ドアを介した物品の持ち出し及び持ち込み履歴を格納する持出・持込ＤＢの例である。このＤＢは、取り扱われた時刻、取扱い物品、取扱内容、取扱者、の４項目からなる。ここで、取扱い物品の項目で「物品名＠カバンＣ」とあるのは、その物品が、カバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライタを設置することによって検出可能である。この持出・持込ＤＢにより、時刻ｔ２に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて環境（部屋）から持ち出したことがわかる。
【００６３】
また、持出・持込ＤＢには、そのカバンＣを持ったお父さんの行き先や、目的（例えば出張）を登録しておいてもよい。こうすることで今後は行き先や目的を指定すれば、この持出・持込ＤＢを参照することで、必要な物品（例えば出張に必要な物品）を特定することができ、さらには、ロボット102 にその必要な物品をカバンＣに入れる作業を実行させることも可能になる。
【００６４】
移動体ＤＢは、図６に示すように、移動体リスト、及び移動体履歴データ、の２種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００６５】
１）移動体データ：個々の移動体を区別するためのＩＤ、移動体履歴データへのポインタ、が蓄積される。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
【００６６】
２）移動体履歴データ：移動体の、ある時刻における位置と、その時刻における状態との３項目からなる。ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット102 が環境内を移動するときの障害物となる。このため、移動体の位置はできるだけ現実に則した表し方が望ましい。ここでは、ロボット102 が障害物を避けつつ経路作成が可能となるために必要最小限の情報で移動体の位置を表すべく、床面上で移動体が占めるおおよその領域を円で表すこととする。すなわち、円の中心位置のＸＹ座標（x4 ,y4）と円の半径（r1）で移動体の位置を表す。尚、移動体が占める領域を、さらに厳密に表現してもよい。例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。
【００６７】
また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット102 であれば、「把持」「解放」等のロボット102 が物品に対して行う動作を表す。例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段104 による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。尚、ロボット102 に関する移動体履歴データでは、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」として格納する。具体的には、「kan_small_0001：把持」となる。
【００６８】
ここで、センシング手段104 によって検出された物品や、人及びロボット102 等の移動体の情報が、物品／移動体検索・管理手段105 によって、どのように物品／移動体ＤＢ106 に格納されるか、また、その物品／移動体ＤＢ106 のデータがどのように更新されていくかについて、図５，６，８を参照しながら具体的に説明する。
【００６９】
図８は、環境（部屋）を示す図であって、その環境内に２つの缶ジュース２１，２２持ち込まれると共に、これらの缶ジュース２１，２２が環境内を移動する様子を示す図である。同図において、各缶ジュース２１，２２の移動は矢線によって示され、これらの矢線に付されているt1,t2,t5,t6 の文字は、矢線に従って缶ジュースが移動された時刻を示す。時刻は、t1〜t6の順で進んだものとする。尚、図８に示す環境内には、図示は省略するセンシング手段104 として電子タグのリーダライタが配設されており、各缶ジュース２１，２２、並びに環境内に出入りする人及びロボット102 （図示省略）にはそれぞれ電子タグが取り付けられている。各缶ジュース２１，２２の物品属性データは、電子タグからリーダライタで読みとるものとし、物品／移動体ＤＢ106 の移動体データへの各移動体の登録及び移動体履歴データの初期化はすでに行われているものとする。また、物品／移動体ＤＢ106 の物品データには、何も記録されていない空の状況であるとする。
【００７０】
先ず、移動体であるお父さん（図示省略）が、缶ジュース２１を持って部屋（環境）に入ってくる。センシング手段104 がお父さんと缶ジュース２１とを検出すると、その検出結果は、物品／移動体検索・管理手段105 に送られる。それを受けた物品／移動体検索・管理手段105 は、その缶ジュース２１に[kan_small_0001]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これと共に、その缶ジュース２１の物品属性データを格納する。また、その缶ジュースの移動履歴を格納するための「位置履歴リスト１」を作成する（図５参照）。この時点では位置履歴リスト１の中身はまだ空のままである。一方で、センシング手段104 により検出したお父さんの移動体履歴を更新するために、移動体データにおけるＩＤ「お父さん」の位置履歴を参照することによって、「位置履歴リスト３」が呼び出される（図６参照）。
【００７１】
時刻t1に、お父さんがテーブル近傍の位置P4（x4 ,y4）に座り、持っていた缶ジュース２１をそのテーブル上のP1（x1,y1,z1）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の内容をセットする（図５参照）。具体的には、
時刻：t1
取扱内容：新規
取扱者：お父さん
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の内容をセットする（図６参照）。具体的には、
時刻：t1
位置：(x4 ,y4 ,r1)
状態：座る
をセットする。
【００７２】
時刻t2に、別の移動体である息子（図示省略）が、P1（x1,y1,z1）に置かれた上記の缶ジュース２１を床の上であるP2（x2,y2,z2）に移動させる。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t2
取扱内容：移動
取扱者：息子
取扱後の位置：P2（x2,y2,z2,l2,m2,n2）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、移動されたことを意味する。尚、時刻t2では、息子の位置が変わるため、物品／移動体検索・管理手段105 は、息子の移動体履歴データ（位置履歴リスト４）の内容をセットするが、ここではその図示を省略する。
【００７３】
時刻t3に、お父さんが部屋の外に出る。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の新たな内容をセットする（図６参照）。具体的には、
時刻：t3
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たため、その位置が本システムの管理外になったことを意味する。
【００７４】
また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュース２１を元のテーブルの上P1（x1,y1,z1）に戻すように、操作端末103 を操作してロボット102 に指示をする（このロボット102 に対する指示についての詳細は後述する）。その指示を受けたロボット102 が、缶ジュースの位置P2（x2,y2,z2）まで移動し、時刻t4にその缶ジュースを把持する。物品／移動体検索・管理手段105 は、ロボット102 の移動体履歴データ（位置履歴リスト５）の内容をセットする（図６参照）。具体的には、
時刻：t4
位置：(x2 ,y2 ,r2)
状態：[kan_small_0001]：把持
をセットする。尚、ロボット102 の動作は、センシング手段104 が検出してもよいが、ネットワークを介してサーバ101 が、ロボット102 からの動作情報を受信することによって、ロボット102 の動作を検出してもよい。
【００７５】
時刻t5に、上記ロボット102 が缶ジュースを把持した状態でテーブルの近傍P4（x4,y4）に移動し、テーブルの上P1（x1,y1,z1）でその把持した缶ジュースを解放する。物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト５の新たな内容をセットする（図６参照）。具体的には、
時刻：t5
位置：（x4 ,y4 ,r2）
状態：[kan_small_0001]解放
をセットする。
【００７６】
また、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t5
取扱内容：移動
取扱者：ロボット
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
しばらくして、別の移動体であるお母さんが、新たな缶ジュース２２を持って部屋に入ってくる。センシング手段104 がお母さんと新たな缶ジュース２２とを検出すると、物品／移動体検索・管理手段105 は、その新たな缶ジュース２２に[kan_small_0002]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。この新たな缶ジュースの物品属性データは、上記の缶ジュース２１と同じである。また、その新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図５参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
【００７７】
時刻t6に、お母さんが新たな缶ジュース２２を床の上であるP3（x3,y3,z3）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト２の内容をセットする（図５参照）。具体的には、
時刻：t6
取扱内容：新規
取扱者：お母さん
取扱後の位置：P3（x3,y3,z3,l3,m3,n3）
をセットする。尚、図６では、お母さんの移動体データ及び移動体履歴は省略している。
【００７８】
以上のようにして、物品／移動体検索・管理手段105 は、物品／移動体ＤＢ106 に物品や移動体の情報を格納・更新する。ここでは、データベースの更新を、物品／移動体ＤＢ106 に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。
【００７９】
尚、物品／移動体ＤＢ106 における物品履歴データ及び移動体履歴データは、できるだけ長時間に亘ってデータ蓄積すれば、より過去に遡って履歴を調べることができ望ましい。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積すれば、人やロボット等の移動体の移動経路を管理することができ望ましい。
【００８０】
但し、物品／移動体ＤＢ106 の容量には限界があるため、ある一定の期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
【００８１】
環境管理サーバ101 における環境マップ管理手段107 は、センシング手段104 からの情報に基づいて環境マップ108 を作成すると共に、その作成した環境マップ108 の管理を行うものである。この環境マップ108 は、ロボット102 が環境内を移動する際に利用するものである。ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路計画を立てる。
【００８２】
また、上記環境マップ管理手段107 は、詳しくは後述するが、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。
【００８３】
上記環境マップ108 は、例えば環境の実状況が、図９（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図９（ｂ））を環境マップ108 としてもよい。また、図９（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。さらに、図９（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。すなわち環境マップ108 は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図９（ｂ）に示す環境マップ108 はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。平面モデルからなる環境マップも同様であり、図９（ｃ）に示す作業マップ108 では、テーブル及び本棚を平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化し、ゴミ箱を円領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ108 では、上記２つの矩形領域及び円領域をロボット102 が移動不可能な領域に設定する。
【００８４】
図１０は環境マップに付随する設備データベースの一例を示した図で、このものは、図９に示す環境に対応している。この設備データベースは、設備データと、及び設備属性データとの２種類のデータをそれぞれ蓄積するサブデータベースからなる。
【００８５】
１）設備データ：環境それ自体、及びこの環境内の個々の設備（物品とは異なり環境に固定又は設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤ、設備属性データへのポインタが蓄積される。ここでは、環境（部屋）には「room_0001」のＩＤが付され、環境内に存在するテーブル、本棚、及びゴミ箱にはそれぞれ「table_0001」「bookshelf_0001」「trash_0001」のＩＤが付されている。
【００８６】
２）設備属性データ：環境自体に係る設備属性データには、その環境内の床面データが蓄積される。例えばその環境内に互いに高さの異なる複数の床面が存在するときには、その床面の数だけ床面データが蓄積される（床面１，床面２，…）。この床面データは、例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,2200,0）
ここで、最初の４つの値（座標）は、床面を構成する各頂点の座標（実世界座標での座標）を示し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を示す。また、最後の値（０）は、床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。
【００８７】
設備（家具等）に設備属性データには、その設備を構成する各面のデータ（面１，面２，…）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢が蓄積される。具体的に、設備を構成する面のデータは例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,1,400）
ここで、最初の３つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「１」はその面に物品が載置可能な否かのフラグである。物品が載置可能なときは「１」となり、載置不可能なときは「０」となる。最後の値「４００」は、その面に物品が載置可能であるときに、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときには、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
【００８８】
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。こうした「主な物品の形状と姿勢」のデータは、例えば設備の種類が靴棚であるとき（この場合の主な物品は靴）や、食器乾燥機（この場合の主な物品は食器）の設備属性データに蓄積される。但し、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。設備の種類が例えばテーブルやゴミ箱であるときには、物品の形状及び姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
【００８９】
このように、設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、作業ロボット102 に、例えば本を本棚に移動させる作業を指定したときには、その作業ロボット102 は、このデータを基に指定された本を立てた姿勢で本棚の棚に載置することができるようになる。
【００９０】
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
【００９１】
１）送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段105 や環境マップ管理手段107 にデータの参照要求を出す。
【００９２】
２）上記要求に対して物品／移動体検索管理手段105 又は環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。
【００９３】
３）操作端末103 から送受信手段109 を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット102 に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット102 に送信する。尚、ロボット制御コマンド列については、後述する。
【００９４】
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ106 で管理している物品の一部又は全部の状況や、環境マップ108 の状況を、送受信手段109 を通じてロボット102 やユーザ（操作端末103 ）にブロードキャストする。
【００９５】
例えば、上記１），２）の制御は、ユーザが操作端末103 を操作して物品の検索を行う場合に利用される。この際、サーバ101 に対する問い合わせ内容として、ユーザは例えば「○月△日×時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キーを入力してもよい。
【００９６】
このような問い合わせに対して、環境管理サーバ101 は物品／移動体ＤＢ106 からその物品を検索する。そして、操作端末103 に、例えば「それは、○○さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。
【００９７】
尚、その物品が環境の外に持ち出されているときには、その持出者の情報を出力してもよい。このときに、その持出者が人であるときには、サーバ101 がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ101 が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。
【００９８】
−作業ロボットの構成−
２番目のサブシステムである作業ロボット102 は、環境内で物品の取扱い作業を行うものである。ここでは特に、上記作業ロボット102 は、ユーザに指定された作業内容に従って、環境内で物品の移動させる移動作業を行う。
【００９９】
図１に示すように、ロボット102 はその基本構成として、ロボットの近辺の障害物等を検知する障害物センサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、これらのセンサ111 及び各手段109 ，112 〜114をコントロールする制御手段115 とからなる。
【０１００】
図１１は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 や制御手段115 等を収容する略箱型の本体部１０を備えている。以下、図１１における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【０１０１】
把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部１０の上面に取り付けられている。上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。
【０１０２】
移動手段114 は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段114 を車輪１４で構成したが、移動手段114 の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。
【０１０３】
障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのカメラ11b 、及び衝突センサ11c から構成される。
【０１０４】
上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサは、本体部の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
【０１０５】
上記カメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このカメラ11b は、本体部１０の前部に取り付けられている。
【０１０６】
上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられている。
【０１０７】
移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域（例えば図９（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図９（ｃ）の平面モデルを用いた環境マップ108 を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート（図９（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。
【０１０８】
尚、環境の状況が複雑すぎてロボット102 の移動経路の算出が出来ない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット102 の移動経路を指定するモードを設けてもよい。
【０１０９】
作業ロボット102 の制御手段115 は、主に環境管理サーバ101 から送受信手段109 を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。
【０１１０】
ここで、ロボット制御コマンドとは、物品の把持や、ロボット102 自体の移動の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。
【０１１１】
１）移動：（move,座標）又は（move,設備ＩＤ）
ロボット102 の現在位置から座標で指定された位置、又は設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段113 が計画する。
【０１１２】
また、設備ＩＤで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マップ内の設備属性データを利用する。
【０１１３】
２）把持：（grab,物品ＩＤ）
物品ＩＤで指定された物品を、ハンド12b によって把持するコマンドである。物品の場所は物品ＤＢを参照し、把持計画は把持手段112 が作成する。
【０１１４】
３）解放：（release）
ハンド12b を解放するコマンドである。
【０１１５】
以上、簡単に３種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの３種類に限らず、必要に応じて増やしてもよいことはいうまでもない。
【０１１６】
尚、本実施形態では、作業ロボット102 を、車輪１４によって構成された移動手段114 を有する自走ロボットとしたが、作業ロボット102 は、この構成に限るものではない。例えば上述したアーム12a とハンド12b とからなる把持手段112 を、環境内の天井に取り付けたガイドレールに組み付けることで、作業ロボット102 を構成してもよい。この構成の作業ロボット102 は、上記把持手段112 がガイドレールに案内されて移動することにより、指定された位置に移動することができ、それによって、環境内で指定された物品を指定された位置に移動させる作業を実行することができる。
【０１１７】
また、作業ロボット102 は、複数の把持手段112 （アーム12a とハンド12b とからなるもの）を、環境内の所定の位置にそれぞれ固定設置することによって構成してもよい。この場合、生活空間内に存在する全ての物品がいずれかの把持手段112 によって把持可能となるように、各把持手段112 を配置する。この構成の作業ロボット102 は、指定された物品を指定された位置に移動させるときには、複数の把持手段112 の中から、その物品にハンド12b を届かせることのできる把持手段112 を選択し、その選択した把持手段112 が物品を把持すると共に、そのアーム12a とハンド12b とによって把持した物品を指定された位置に移動させるようにすればよい。尚、指定された位置が、選択した把持手段112 のアーム12a の届かない位置であるときには、複数の把持手段112 間で物品を手渡ししながら、指定された位置まで物品を移動させればよい。
【０１１８】
−操作端末の構成−
３番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
【０１１９】
操作端末103 はその基本構成として、図１に示すように、後述する操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部117 、上記操作画面上でロボット102 に対する作業内容を指定するための例えばポインティングデバイスからなる入力部116 、上記表示部117 に表示される操作画面の作成等の表示制御を行う表示制御手段118 、上記入力部116 にて入力されたロボット102 の作業内容を環境管理サーバ101 に送る送受信手段109 、これらの各手段109 ，116 〜118 をコントロールする制御手段119 からなる。
【０１２０】
この操作端末103 としては、例えば汎用ＰＣを用いることも可能である。この場合、後述する各処理を実行させる制御プログラムをＰＣが読み込むことによって、操作端末103 として用いることが可能になる。
【０１２１】
上記表示制御手段118 は、上記サーバ101 から送信された情報、具体的には、センシング手段104 としてのカメラが環境内を撮像した画像のデータ、物品／移動体データベース106 に蓄積されたデータ、環境マップ108に基づいて、操作画面を作成する。
【０１２２】
ここで、上記表示制御手段118 で作成されて上記表示部117 に表示される操作画面について説明する。図１２は、操作画面の一例を示しており、この操作画面は、環境の実状況に則した仮想空間によって構成されている。
【０１２３】
また、上記仮想空間は、互いに異なる複数の視点を有しており、本実施形態では、図１２（ａ）に示すように、仮想空間を略水平方向に見る視点と、図１２（ｂ）に示すように、仮想空間を見下ろす視点との２つの視点を有している。操作画面を構成する仮想空間の視点は、ユーザが操作端末103 を操作することによって切り替えられる。
【０１２４】
上記操作画面を構成するこれらの仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このように、カメラ画像によって仮想空間の視点を複数にするには、例えば次のような手法が挙げられる。
【０１２５】
一つは、環境内に、複数のカメラを設置することで、各カメラが撮像した画像データによって仮想空間を構成するものである。例えば、環境（部屋）の側壁と天井とのそれぞれにカメラを設置して、側壁に設置したカメラが撮像した画像データによって、図１２（ａ）に示す視点の仮想空間を構成する一方、天井に設置したカメラが撮像した画像データによって、図１２（ｂ）に示す視点の仮想空間を構成するようにしてもよい。
【０１２６】
もう一つは、環境内の適当な場所に少なくとも一つのカメラを設置し、そのカメラ画像を変形合成することによって、任意の視点からの画像（仮想空間）を作成するものである。このようなカメラ画像を用いて任意の仮想的な視点から見た画像を合成する手法は、特許第３２８６３０６号公報に記載されているため、ここではその詳細な説明は省略する。
【０１２７】
本実施形態では、環境内の側壁に、センシング手段104 として設置されたカメラが撮像した画像データ（以下これをカメラ視点画像ともいう）によって、図１２（ａ）に示す仮想空間を構成する一方、上記カメラが撮像した画像データを変形合成した画像データ（以下これを仮想視点画像ともいう）によって、図１２（ｂ）に示す仮想空間を構成することとする。このように、操作画面を構成する仮想空間が有する視点の数と、その仮想空間を構成する画像データを撮像するカメラ視点の数とは一致させる必要はない。
【０１２８】
上記操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコン（図１２では、バナナが物品アイコンである）とを有している。この物品アイコンは、ユーザが物品であることを認識可能なものであればよく、例えば物品をアニメーション化（イラストレーション化）したアイコンで構成したり、物品を撮像したカメラ画像からその物品の部分を自動又は手動で切り出した画像で構成したりすればよい。
【０１２９】
ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによるアイコン操作によってロボットに実行させる作業内容を指定するように構成されている。操作画面上で作業内容を指定する手順については後述するが、本実施形態では、上記物品アイコンは、いわゆるドラッグ操作によって操作画面を構成する仮想空間内を移動させることが可能に構成されており、ロボット102 に物品の移動作業を実行させる場合は、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、仮想空間内の所望の移動先を上記カーソルによって指定することで、移動作業の指定がなされる。尚、環境内に存在する家具等の設備は操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０１３０】
ここで、操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データ、又はその画像データを変形合成した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データ（及び変形合成した画像データ）に加えて、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータは、上記画像データ（仮想空間）に１対１に対応するものである。ここで、「１対１に対応する」とは、両データの座標値が対応しているという意味である。
【０１３１】
図１２には、仮想空間（操作画面）を構成する画像のデータに１対１に対応した画面マスクデータの例を示す。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応して、マスクデータ（同図の網掛け部分参照）が設定されており、このマスクデータの座標には物品データベースの物品データ（図５参照）へのポインタが記載されている。このポインタは、その物品アイコンに係る物品に対応するものであり、これにより、操作画面に含まれる各物品アイコンが、どの物品を表しているかが判断可能になる。
【０１３２】
そして、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。これと共に、物品アイコンの位置が指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。
【０１３３】
操作画面を構成する仮想空間を、センシング手段104 としてのカメラが撮像した画像（図１２（ａ）参照）によって構成する場合は、背景差分画像によって、その仮想空間に１対１に対応する画面マスクデータを作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０１３４】
一方、操作画面を構成する仮想空間を、カメラ画像を変形合成した画像、言い換えると仮想視点画像（図１２（ｂ）参照）によって構成する場合は、それに１対１に対応する画面マスクデータは、次のようにして作成すればよい。
【０１３５】
図１３は仮想視点画像によって構成される操作画面の画像マスクデータを作成するための説明図である。図１３（ｂ）において、Ｏｗを原点としＸ軸、Ｙ軸、Ｚ軸で構成された座標系は実世界座標系である。この座標系において、仮想視点（この仮想視点は環境の天井に対応する）の位置を（x1,y1,z1）で表す。また仮想視点Ｏｅを原点とする仮想視点座標系を設定する。また、図１３（ａ）に示す座標値（x ,y ,z ）は、センシング手段104 によって検出された物品を構成する領域内の任意の１点の実世界座標系における座標値である。さらに図１２（ｂ）に示す座標値（u ,v）は、上記座標値（x ,y ,z ）を仮想視点画像からなる操作画面上に変換したときの座標値である。次式（１）,（２）,（３）はそれぞれ、変換のための式である。
【０１３６】
【数１】
【０１３７】
ここで式（１）におけるＲは、仮想視点座標系を構成する３つの軸周りの回転行列であり、この行列に仮想視点座標系における座標値を乗じることにより、その座標値が実世界座標系における座標値に変換されるように、回転行列の値が設定されている。また式（２），（３）におけるｆは仮想視点の焦点距離を示す。
【０１３８】
さて、仮想視点画像によって構成される操作画面の画面マスクデータの作成を、具体的な処理として言い換えると、センシング手段104 によって得られた物品の占める領域を、仮想視点で見たときに物品の占める領域に変換し、その領域を操作画面上の座標値に変換して、それをマスクデータとするということである。これはすなわち、
１）実世界座標系の座標値で表された物品領域の点（x ,y ,z ）を、式（１）によって仮想視点座標系における座標値（xe,ye,ze）に変換し、
２）上記変換された座標値（xe,ye,ze）を、式（２），（３）によって仮想視点画像からなる操作画面の座標値(u ,v )に変換する
という計算を、実世界座標系の座標値で表された物品領域の全ての点に対して行うことに他ならない。
【０１３９】
上記変換により仮想視点画像からなる操作画面の画面マスクデータを作成することができるが、より正確なマスクデータを作成するには、２）で得られた(u ,v)の座標値をプロットし、それらを囲む最小の多角形領域をマスクデータとしてもかまわない。
【０１４０】
尚、本実施形態では、操作端末103 の表示制御手段118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ101 が作成してもよい。この場合、サーバ101 が作成した操作画面は、ネットワークを介して操作端末103 に送信し、操作端末103 は、受信した操作画面を表示部117 に表示すればよい。また、入力部116 の操作によって、仮想空間の視点の切り替え操作がされたときには、操作端末103 からサーバ101 に、視点切り替え要求信号を送信し、それに応じて上記サーバ101 が視点を切り替えた操作画面を作成し、これを操作端末103 に送信するようにすればよい。
【０１４１】
−ロボットの作業内容の指定手順−
次に、操作端末103 の表示部117 に表示される操作画面上で、ロボット102 に実行させる物品の移動作業を指定する手順について、２つの例を挙げて具体的に説明する。
【０１４２】
先ず、図１４を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの手前側であるＢ２位置に移動させる場合を例に、ロボット102 の移動作業の指定手順を説明する。
【０１４３】
この移動操作の指定は、操作画面上で、バナナ（物品アイコン）を選択する操作と、この選択したバナナアイコンを、仮想空間内の所望の移動先に移動（ドラッグ）させると共に、その移動先位置でバナナアイコンをドロップする、というアイコンのドラッグアンドドロップ操作によって行われる。
【０１４４】
（操作画面の表示ステップ：Ｐ1001）
操作端末103 の表示部117 には、操作画面が表示される。ここでは、操作画面を構成する仮想空間を、カメラが撮像したカメラ視点画像によって構成している。この仮想空間は部屋の実状況に則しているため、操作画面には、部屋内に存在する設備（テーブル等）が表示される。また、部屋内に存在する物品（バナナ等）は、物品アイコンとして仮想空間内に配置されている。
【０１４５】
ユーザは、操作端末103 の入力部116 を操作することにより、操作画面上でカーソルを移動させることができる。このカーソルが物品アイコンを指しているときには、その物品アイコンを強調表示する。具体的に、カーソルがバナナアイコンを指しているときには、そのバナナアイコンの色を変える、また、図１６（ａ）に示すように、バナナアイコンの輪郭を強調して表示する、さらに、図１６（ｂ）に示すように、物品アイコンに対応する物品の名称として、「バナナ」の文字をポップアップ表示する。一方、上記カーソルがテーブル等の設備を指していても、これらは物品アイコンではないため強調表示はされない。こうすることでユーザは、操作画面上で、例えばバナナがロボット102 の取扱い可能な物品であることを認識することができ、ロボットの作業内容の指定が容易になる。その結果、ユーザの利便性が向上する。
【０１４６】
尚、物品の名称をポップアップ表示する場合は、その物品に関する他の情報を併せて表示するようにしてもよい。例えば、その物品が食料品であれば、賞味期限や品質保持期限、購入年月日等の情報をポップアップ表示してもよい。こうすることで、ユーザは、その情報に応じてロボットに対する作業内容を指定することができる（例えばその物品の移動場所を変える等）。また、その物品に関する情報の内容に応じて、その物品に対するお勧めの作業内容をポップアップ表示してもよい。例えばカーソルが指している物品アイコン（物品）が、賞味期限切れ間近の食料品であるときには、「当該物品を冷蔵庫内に移動させる」旨の作業内容をポップアップ表示する、等である。
【０１４７】
また、カーソルが物品アイコンを指しているときに、物品の領域の色を変えたり、物品の領域の輪郭を強調して表示するだけでなく、その物品を拡大表示するようにしてもよい。また、カーソルが物品アイコンを指しているときには、例えば「○○があります」というように、その物品の名称を音声でユーザに報知してもよい。こうすることで、目の不自由なユーザにも使いやすいシステムとなる。
【０１４８】
また、ここでは物品アイコンの表示形態をかえるようにしているが、例えばカーソルが物品アイコンを指しているときには、そのカーソルの形態を変えるようにしてもよい。こうすることでも、そのカーソルが指している物品アイコンが、ロボットが取扱い可能な物品であることを、ユーザに認識させることが可能になる。
【０１４９】
さらに、ここでは、カーソルが物品アイコンを指しているときに、物品アイコンを強調表示するようにしているが、例えば、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。特に、ユーザが操作画面における操作を開始する際に、全ての物品アイコンを所定時間だけ強調表示してもよいし、ユーザの要求操作に応じて、全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることで、ユーザは、仮想空間内の物品アイコン、つまり、ロボット102 が取扱い可能な物品が、環境内のどこに置かれているかを一目で確認することができる。
【０１５０】
（物品の指定操作ステップ：Ｐ1002）
ロボット102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。この物品アイコンの指定操作がされたときには、「対象物品はバナナでよろしいですか？」等の確認を促す表示を行い、ユーザに「ＯＫ／キャンセル」の操作を行わせるようにしてもよい。
【０１５１】
こうして物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンを強調表示する。この強調表示としては種々の表示形態が考えられるが、例えば、図１４に示すように、物品アイコンの色を変える、そのアイコンを塗りつぶす等の、その物品が指定されていることが一目で判るような形態であればどのような表示形態でもよい。但し、対象物品を指定したときの強調表示の形態は、カーソルが物品アイコンを指しているときに行う強調表示とは異ならせることが好ましい。これは、その物品がロボット102 の取扱い可能な物品であることと、その物品がロボット102 の作業対象として指定されたこととを区別するためである。
【０１５２】
（移動先指定ステップ：Ｐ1003）
ロボット102 に移動させる物品を指定すれば、その物品の移動先を指定する。この移動先の指定は、図１４に示すように、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの手前側のＢ２位置）に、ドラッグアンドドロップ操作することによって行う（同図の矢線参照）。この操作が行われたときには、「移動先はここでよろしいですか？」等の確認表示を行ってもよい。こうして、ユーザによる移動作業の指定が完了することになる。
【０１５３】
このように、物品の移動作業は、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって指定されるため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
【０１５４】
次に、図１５を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの奥側であるＢ２位置に移動させる場合を例に、ロボット102 の移動作業の指定手順を説明する。
【０１５５】
（操作画面の表示ステップ：Ｐ2001）
操作画面の表示ステップは、上記のＰ1001と同様であり、カメラ視点画像によって構成された仮想空間からなる操作画面が、操作端末103 の表示部117 に表示される。
【０１５６】
（物品の指定操作ステップ：Ｐ2002）
物品の指定操作ステップも、上記のＰ1002と同様であり、物品アイコンをクリック操作することによってロボット102 に移動させる物品を指定する。これにより、指定された物品アイコンは強調表示される。
【０１５７】
（視点切り替えステップ：Ｐ2003）
ロボット102 に移動させる物品を指定すれば、その物品の移動先を指定する。ここで、本例では、移動先がテーブルの奥側であるＢ２位置であり、カメラ視点画像からなる操作画面にはＢ２位置が表示されていない。そこで、操作画面を構成する仮想空間の視点を切り替える。
【０１５８】
視点の切り替え時には、図１５に示すように、操作画面に視点位置にカメラアイコンが表示される。ユーザは、このカメラアイコンをクリック操作することによって、操作画面を構成する仮想空間の視点を切り替えることが可能である。尚、ここでは、仮想空間の視点が２つであるため、カメラアイコンは一つしか表示されないが、仮想空間の視点が３以上であるときには、各視点位置に対応して、複数のカメラアイコンを操作画面に表示すればよい。
【０１５９】
（移動先指定ステップ：Ｐ2004）
仮想空間の視点を切り替えることにより、操作画面を構成する仮想空間は、カメラ画像を変形合成した仮想視点画像に切り替わる。そして、この新たな操作画面において、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの奥側のＢ２位置）に、ドラッグアンドドロップ操作する（同図の矢線参照）。こうして、ユーザによる移動作業の指定が完了することになる。
【０１６０】
このように、操作画面を構成する仮想空間の視点が複数あることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、一般家庭等の生活空間では、設備の配置や物品の置かれる位置の自由度が高く、カメラ画像に死角が生じやすいが、ユーザは、ロボットに実行させる作業内容を仮想空間からなる操作画面上で的確に指定することができる。
【０１６１】
−ロボットの作業内容の実行制御−
以上のようにして、ユーザが操作端末103 を操作することにより、ロボット102 に実行させる作業内容が指定されれば、操作端末103 は環境管理サーバ101 にその作業内容のメッセージを送信する。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。尚、操作端末103 からサーバ101 に送信する移動先の座標は、操作画面上の座標でもよいし、操作画面上の座標を環境の実世界座標に変換した座標でもよい。
【０１６２】
上記サーバ101 はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット102 に送信する。物品の移動作業は、「（物品の位置への）移動」、「（物品の）把持」、「（移動先への）移動」、「（物品の）開放」という４つの作業単位に分解される。従って、上記の例では、ロボット制御コマンド列は、
move,B1（バナナが置かれている位置Ｂ１にロボットを移動する）
grab,バナナ（Ｂ１の位置にあるバナナを把持する）
move,B2（（バナナを把持した状態で）移動先であるＢ２に移動する）
release（把持しているバナナを解放する）
となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記４つの作業単位を一組として、物品の数だけ並べる。
【０１６３】
図１７は作業ロボット102 の制御手段115 に係るフローチャートを示す。作業ロボット102 の送受信手段109 がサーバ101 から送信された制御コマンド列を受信したときには、上記制御手段115 は、ステップＳ2401〜ステップＳ2403で、いずれの作業単位であるかを判定し、その作業単位に応じた処理を実行する。
【０１６４】
先ずステップＳ2401で作業単位が「移動」であったときには、ステップＳ2404に移行し、指定された位置（ここでは、現在地から位置Ｂ１、又は位置Ｂ１から位置Ｂ２）までの経路を、移動計画作成手段113 に作成させる。
【０１６５】
続くステップＳ2405では、上記移動計画作成手段113 で作成した経路に応じて移動制御コマンドを移動手段114 に送り、上記指定された位置までの移動処理を実行する。
【０１６６】
一方、上記ステップＳ2402で作業単位が「把持」であったときには、ステップＳ2406に移行し、障害物センサ111 によって把持対象物品の姿勢を検出すると共に、続くステップＳ2407で、その検出結果に応じてアーム12a とハンド12b の動作を計算する。そして、ステップＳ2408で、把持制御コマンドを把持手段112 に送り、物品の把持処理を実行する。尚、上記ステップＳ2406では、障害物センサ111 によって物品の姿勢を検知するが、物品の姿勢は、環境管理サーバ101 の物品ＤＢ106 に記録されているため、サーバ101 に物品の姿勢を問い合わせるようにしてもよい。
【０１６７】
上記ステップＳ2403で作業単位が「解放」であったときには、ステップＳ2409に移行し、指定された移動先に物品が設置されるようにアーム12a とハンド12b の動作を計算する。そして、ステップＳ2410で、解放制御コマンドを把持手段112 に送り、物品の解放処理を実行する。
【０１６８】
ステップＳ2411では、移動、把持及び解放の各動作が終了したらその旨をメッセージとして作業指示元（サーバ101 ）に送信する。
【０１６９】
こうして、操作端末103 で指定した作業内容が、ロボット102 によって実行され、位置Ｂ１に置かれたバナナが、位置Ｂ２に移動されることとなる。
【０１７０】
上記ロボット102 が動作をしているときには、操作端末103 の表示部117 に表示される操作画面をカメラ画像と連動させることで、そのロボット102 が作業をしている様子を操作画面において映し出すようにしてもよい。こうすることで、ユーザは、指定した作業内容がロボット102 によって実行されているか否かを操作画面上で確認することができ、例えばロボット102 が間違った作業をしているときには、その作業をすぐに中止させることも可能になる。
【０１７１】
これに対し、ロボット102 が動作をしているときには、上記操作画面をロボット102 の動作開始前のカメラ画像で固定してもよい。こうすることで、新たな作業を指定しようとしても、操作画面内でロボット102 が動作していると指定操作がし難くなる場合があるが、それが解消される。
【０１７２】
これらの表示形態の切り替えは、ユーザの指定に応じて切り替えればよい。また、ロボット102 が動作をしているときには、カメラ画像と連動した操作画面の変更頻度を調節可能にしてもよい。
【０１７３】
以上説明したように、本発明による物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱い作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備え、上記表示部117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボット102 が上記生活空間内で物品の取扱い作業を実行するものである。
【０１７４】
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
【０１７５】
さらに本発明では、ロボット102 の作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボット102 の作業内容を、容易に指定可能になる。
【０１７６】
また、ロボットが実行する作業が、生活空間内での物品の移動作業であるときに、本発明による物品取扱いシステムでは、操作画面を、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有するものとして、物品の移動作業を、上記物品アイコンの操作によって指定する。
【０１７７】
このように、生活空間に存在する物品に対応して物品アイコンを仮想空間内に配置することにより、生活空間内で様々な位置に置かれる物品の中から、ロボットに移動させる物品を容易に指定することが可能になる。また、物品アイコンの操作によってロボット102 の作業内容を指定することで、的確かつ容易に作業内容を指定可能になる。
【０１７８】
また、本発明による物品取扱いシステムでは、物品の移動作業を、所望の物品アイコンを上記仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定する。このためユーザは、物品の移動作業を指定するときには、操作画面の仮想空間内に配置される物品アイコンの中から、所望の物品アイコンを選択すると共に、その選択した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作することになる。この操作によってロボット102 は、指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する生活空間内の位置に移動させる作業を行うことになる。
【０１７９】
このように、指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定されるため、ロボット102 に実行させる作業内容を極めて容易に指定可能になる。
【０１８０】
また、本発明による物品取扱いシステムは、生活空間を撮像する撮像手段（センシング手段104 としてのカメラ）をさらに備えており、操作画面の仮想空間は、上記撮像手段が撮像した画像のデータによって構成される。
【０１８１】
こうすることで、生活空間の実状況に則した仮想空間を簡便に作成可能になる。尚、仮想空間は、例えばコンピュータグラフィックスによって構成してもよい。
【０１８２】
さらに、本発明による物品取扱いシステムでは、操作画面を、仮想空間を構成する画像のデータと、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデータに対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成する。
【０１８３】
すなわち、仮想空間を画像のデータによって構成したときに、操作画面上で物品アイコンを操作するには、その画像のどの領域が物品アイコンに対応するかを特定する必要がある。このため、画像のデータと、物品アイコンと、画面マスクデータとから操作画面を構成することにより、画面マスクデータによって、仮想空間内における物品アイコンの位置が特定され、その結果、画像データから構成される操作画面上で物品アイコンを操作することが可能になる。
【０１８４】
本発明による物品取扱いシステムは、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段104 をさらに備えている。そして、画面マスクデータは、上記センシング手段104 により検出された物品の位置に基づいて作成される。
【０１８５】
センシング手段104 によって生活空間内に存在する物品の位置を検出すれば、その検出した位置に対応する仮想空間内の位置が特定されるため、仮想空間内における物品アイコンの位置を特定する画面マスクデータが作成可能になる。
【０１８６】
本発明による物品取扱いシステムのように、一般家庭等の生活空間を対象とするシステムでは、その生活空間内には種々の物品が存在する。例えばその空間に固定・設置された固定・設置物等も物品である。しかしながら、こうした固定・設置物等は、ロボット102 によって移動させることができない。このように、生活空間内に存在する物品は、ロボット102 が取扱い可能な物品と、取扱い不可能な物品とに分けることができるが、仮想空間からなる操作画面には、ロボット102 が取扱い可能な物品と、取扱い不可能な物品との双方が表示される。
【０１８７】
そこで、本発明による物品取扱いシステムでは、操作画面上でポインタ（カーソル）が、ロボット102 の取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示する、又は、その物品に関する情報を表示する。
【０１８８】
こうすることでユーザは、操作画面内に表示される多数の物品の中から、ロボット102 の取扱い作業可能な物品を容易に特定することができる。それによって、ロボット102 に実行させる作業内容を容易に指定することが可能になる。尚、ロボット102 の取扱い作業可能な物品と、取扱い作業不可能な物品との分別基準は、その取扱い作業の内容によって異なる。例えば物品の移動作業については、ロボット102 が移動させることのできない固定・設置物や、大型物・重量物は、ロボット102 の取扱い作業不可能な物品となり、それ以外の物品はロボット102 の取扱い作業可能な物品となる。
【０１８９】
また、そのシステムにおける作業ロボット102 が変更されたときには、そのロボット102 の変更に伴い取扱い可能な物品が変更される場合がある。ここで、ロボット102 の変更には、例えばロボット102 が新機種に置き換わるというハードウエア上の変更だけでなく、ロボット102 の制御プログラムが変更されるというソフトウエア上の変更も含む。
【０１９０】
このように、ロボット102 の取扱い可能な物品が変更されたときには、そのことをユーザに報知すべく、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることでユーザは、ロボット102 が取扱い可能な物品を、一目で把握することができる。
【０１９１】
本発明による物品取扱いシステムは、ロボット102 の取扱い可能な物品が変更されたときには、そのロボット102 の取扱い可能な物品に対応する全ての物品アイコンを強調表示するように構成してもよい。
【０１９２】
また、本発明による物品取扱いシステムでは、上記操作画面上で物品アイコンが指定されることによりロボット102 の作業対象となる物品が指定されたときには、その物品アイコンを強調表示する。
【０１９３】
こうすることでユーザは、物品アイコンの指定を確認することができ、これにより、ロボット102 が誤って指定された物品の取扱い作業を実行してしまうことが、未然に防止される。
【０１９４】
本発明による物品取扱いシステムは、上述したように、一般家庭、オフィス、ホテル、店舗及び病院等の生活空間における物品取扱いシステムである。このため、その生活空間内には、例えば家具等の固定・設置物が存在していると共に、ロボットの取扱い作業の対象である物品も様々な位置に存在する。
【０１９５】
この場合、操作画面を生活空間の実状況に則した仮想空間から構成するときに、その仮想空間の視点が一つだけに定められていると、例えばその視点からは家具等に隠れて物品が見えない、又は、その物品を所望の移動先に移動させる場合にその移動先が死角になっている、等の問題が生じる。この問題は、工場や倉庫等の産業用のシステムでは通常生じない問題である。なぜなら、産業用のシステムでは、物品が定められた位置に配置されることが多く、さらには、空間の状況を見る視点が一つであっても、死角が生じないようにその空間の状況を予め設定しているためである。
【０１９６】
そこで、本発明による物品取扱いシステムでは、上記操作画面を構成する仮想空間は、その視点を切り替え可能にする。
【０１９７】
仮想空間の複数の視点が相互に切り替え可能であることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、状況が複雑な生活空間での物品取扱いシステムにおいて、ロボット102 に実行させる作業内容を操作画面上で的確に指定することが可能になる。
【０１９８】
また、本発明によるロボット操作装置（操作端末103 ）は、所定の生活空間内に存在する物品の取扱い作業を行うロボット102 の作業内容を指定するための装置である。
【０１９９】
上記ロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させるものである。
【０２００】
この構成により、上述したように、表示部117 には、生活空間の実状況に則した仮想空間からなる操作画面が表示される。これにより、生活空間内の複雑な状況が的確にかつ分かりやすくユーザに提示される。
【０２０１】
また、ロボット102 の作業内容の指定は、その仮想空間からなる操作画面において行われるため、ユーザは、ロボット102 の作業内容を容易に指定可能になる。
【０２０２】
本発明による物品取扱い方法は、所定の生活空間内に存在する物品の移動作業を行うロボット102 を用いた方法である。
【０２０３】
そして、上記物品取扱い方法は、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、上記生活空間内で上記ロボット102 が、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含む。
【０２０４】
本発明による物品取扱い方法は、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含む。この視点を切り替えるステップは、上記実施形態では、仮想空間内の所望の移動先に物品アイコンをドラッグアンドドロップ操作するステップの前としたが、これに代えて、又はこれと併せて、所望の物品アイコンを指定するステップの前としてもよい。
【０２０５】
−他の実施形態−
尚、本実施形態では、環境管理サーバ101 が操作端末103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしたが、例えば、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしてもよい。
【０２０６】
また、本実施形態では、物品取扱いシステムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。
【０２０７】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０２０８】
さらに、本実施形態では、ロボット102 は物品の移動作業を行うものとし、環境の実状況に則した仮想空間からなる操作画面において、物品アイコンのドラッグアンドドロップ操作により、ロボット102 の作業内容を指定するようにした。しかし、仮想空間からなる操作画面において指定するロボット102 の作業内容は、物品の移動作業に限るものではなく、物品の移動を伴わない作業を含め、その他の作業としてもよい。例えば、操作画面上で、ロボット102 に作業をさせる対象となる物品アイコンを指定したときに、ロボット102 が実行し得る作業内容をメニュー形式で操作画面に表示し、そのメニューから作業内容を選択させることによって、ロボット102 に実行させる作業内容を指定するようにしてもよい。
【０２０９】
【発明の効果】
以上説明したように、本発明による生活空間用の物品取扱いシステム及びロボット操作装置では、生活空間の実状況に則した仮想空間からなる操作画面が、操作端末（ロボット操作装置）の表示部に表示される。これによりユーザは、生活空間内の複雑な状況を、的確に把握することができる。また、ユーザはこの操作画面上で、ロボットに実行させる作業内容を指定することができる。例えば物品の移動作業を指定するときには、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを操作することにより、例えば仮想空間内の所望の移動先にドラッグアンドドロップ操作をすることにより、移動作業の指定ができる。このような直感的な操作によって、ロボットに実行させる作業内容が指定できるため、誰もが容易に、作業内容の指定をすることができる。
【０２１０】
また、操作画面上で、カーソルがロボットの取扱い可能な物品アイコンを指しているときには、そのことをユーザに明示する表示がなされるため、ユーザはロボットに作業させる物品の指定を確実に行うことができる。
【０２１１】
さらに、ロボットに作業させる物品（物品アイコン）を指定したときには、操作画面上で、そのことをユーザが認識可能となる表示がされるため、ロボットが誤って指定された物品の取扱い作業を実行してしまうことを、未然に防止することができる。
【０２１２】
加えて、操作画面を構成する仮想空間の視点は切り替え可能に構成されているため、例えば、ある視点からは死角になっている物品を、視点を切り替えることで見ることができ、ある視点からは死角になっている位置を、視点を切り替えることで見ることができる。すなわち、操作端末の表示部に、生活空間の複雑な実状況に則した仮想空間内全てを、確実に表示することができる。
【０２１３】
また、生活空間の実状況に則した仮想空間を、カメラが撮像した画像データによって構成することで、仮想空間を容易に作成することができる。
【図面の簡単な説明】
【図１】本実施形態に係る物品取扱いシステムの全体構成を示すブロック図である。
【図２】背景差分法の原理を示す説明図である。
【図３】物品／移動体検索・管理手段の構成を示すブロック図である。
【図４】ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。
【図５】物品／移動体データベースの内、物品データベースの構成と記載内容例を示す図である。
【図６】物品／移動体データベースの内、移動体データベースの構成と記載内容例を示す図である。
【図７】持出・持込データベースの構成と記載内容例を示す図である。
【図８】環境内で物品が移動する一例を説明する説明図である。
【図９】環境の実状況と、それに対応する環境マップとを示す図である。
【図１０】環境マップに付随する設備データベースの構成と記載内容例を示す図である。
【図１１】作業ロボットの構成の一例を示す概略図である。
【図１２】画像データと、画面マスクデータとからなる操作画面の構成を示す図である。
【図１３】環境内に設定された実世界座標系と仮想視点座標系との関係を示す図である。
【図１４】操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
【図１５】図１４とは異なる物品の移動作業を指定する手順を示す図である。
【図１６】操作画面における物品アイコンの表示形態の例を示す図である。
【図１７】作業ロボットの制御手段に係るフローチャートである。
【符号の説明】
101・・・環境管理サーバ
102・・・作業ロボット
103・・・操作端末（操作手段、ロボット操作装置）
104・・・センシング手段（撮像手段）
106・・・物品／移動体データベース
108・・・環境マップ
110，115，119・・・制御手段
116・・・入力部
117・・・表示部
118・・・表示制御手段
【発明の属する技術分野】
本発明は、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（以下、これらを総称して生活空間という）においてロボットに物品の取扱い作業を実行させる生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置に関する。
【０００２】
【従来の技術】
従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボットが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持・運搬や、自動化された倉庫での在庫品の運搬・管理等にロボットが利用されており、その例を挙げるときりがない。
【０００３】
こうした産業用のロボットは、扱う物品の形状・大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献１には、物品の荷積み・荷降ろし作業を行うロボットシステムが開示されている。
【０００４】
【特許文献１】
特開平７−２３７１５９号公報
【０００５】
【発明が解決しようとする課題】
今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボットの研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すエンタテイメント用ロボットや、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボットが実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。
【０００６】
さて、家事支援の基本的な作業の一つに、物品の移動作業（運搬作業）が挙げられる。この物品の移動作業を行うロボットシステムの具体的な応用事例としては、物品を把持可能な自走ロボットが、例えば老人等の物品の持ち運びが不自由な人に代わって物品の移動を行うシステムが考えられる。
【０００７】
こうしたシステムの操作インタフェースとして、例えば従来から産業用ロボットにおいて実現されていたように、ロボットの動作を遠隔操作（リモートコントロール操作）することが考えられる。
【０００８】
しかしながら、ロボットが、ある第１の地点に存在する物品を第２の地点まで移動させるには、そのロボットは、１）現在地から第１の地点まで移動する、２）第１の地点に存在する物品を把持する、３）その物品を把持した状態で第２の地点まで移動する、４）第２の地点において把持をしている物品を開放する、の少なくとも４つの動作を行わなければならない。このため、遠隔操作によってロボットに移動作業をさせる場合には、上記の１）〜４）の４つの動作を全て操作しなければならず、極めて煩雑である上に、その遠隔操作の習熟に手間がかかる。
【０００９】
例えば上記の特許文献１に開示されたロボットシステムでは、操作画面上でロボットの作業内容を指定するように構成されている。より具体的にこのシステムでは、直方体形状の荷扱い物品をパレットに積み込む作業をロボットにさせる際に、その荷扱い物品を仮想的に示す仮想物品図を操作画面内に表示すると共に、その操作画面上で上記仮想物品図を所望の位置及び向きに移動させることによって、ロボットに実行させる作業内容を指定するようにしている。
【００１０】
ところがこのシステムでは、ロボットは、所定の位置（例えばコンベア上）に存在する物品を、所定の位置（パレット上）に移動させるだけであり、操作画面上では、パレット上における物品の位置と向きとを指定するだけである。これに対し、例えば一般家庭等の人が活動を行う空間でロボットが物品の移動作業を行う場合には、物品が存在する位置も定まっておらず、さらに、その物品を移動させる位置も定まっていない。
【００１１】
つまり、上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースでは、複雑かつ自由度の高いロボットの作業内容を指定することができないため、一般家庭等で用いられる非産業用のロボットシステムに上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースを利用することはできない。
【００１２】
生活空間用のロボットシステムでは、生活空間内の状況が工場や倉庫等の状況よりもさらに複雑であることから、その複雑な生活空間内の状況を的確にユーザに提示する操作インタフェースが求められる。
【００１３】
また、一般家庭等で用いられることを考慮すれば、その操作インタフェースは、上述した遠隔操作のように、その習熟に手間がかかるものではなく、ロボットに実行させる作業内容を誰もが簡単に指定可能であることが好ましい。
【００１４】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、その生活空間内の状況を的確にユーザに提示すると共に、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
【００１５】
【課題を解決するための手段】
本発明による物品取扱いシステムは、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、前記生活空間内に設置され、前記生活空間を撮像する複数の撮像手段と、前記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段と、ユーザに提示するための操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、前記操作画面を生成する表示制御手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行するものである。そして、前記操作画面は、上記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、ロボットに行わせる作業内容を上記仮想空間上で指定させる。
【００１６】
この構成によると、操作手段の表示部には操作画面が表示される。この表示部に表示される操作画面は生活空間の実状況に則した仮想空間からなる。ここで、仮想空間が生活空間の実状況に則しているとは、仮想空間の状況と生活空間の実状況とが互いに一致していることである。ユーザは入力部を操作することによって、上記操作画面の仮想空間内で、ロボットに実行させる作業内容を指定する。こうして、作業内容が指定されれば、上記ロボットは、その作業内容に基づいて生活空間内で物品の取扱い作業を実行する。
【００１７】
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
【００１８】
さらに本発明では、ロボットの作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボットの作業内容を、容易に指定可能になる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明に係る物品取扱いシステムは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（生活空間）において、その空間内に存在する物品の取扱い作業を作業ロボットに実行させるシステムである。
【００２０】
本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。また、上記作業ロボットが実行する物品の取扱い作業としては種々の作業が考えられるが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。
【００２１】
本システムは、図１に示すように、環境管理サーバ101 （以下、単にサーバと省略することもある）、作業ロボット102 （以下、単にロボットと省略することもある）、及び操作端末103 の大きく分けて３つのサブシステムから構成される。これら３つのサブシステム101 〜103 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
【００２２】
３つのサブシステム101 〜103 はそれぞれ、制御手段110 ，115 ，119 と送受信手段109 とを備えている。ここで、各サブシステム101 〜103 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。
【００２３】
−環境管理サーバの構成−
１番目のサブシステムである環境管理サーバ101 は、環境内の状況を把握するセンシング手段104 と、このセンシング手段104 によって把握した状況のうち、環境内に存在する物品（ロボット102 が取扱い作業可能なもの）と移動体（人や作業ロボット102 等の主として物品の取扱いを行うもの）との状況を管理する物品／移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品／移動体データベース106 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、物品／移動体データベース106 のデータや環境マップ108 のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット102 に対する制御コマンドを送信したりする送受信手段109 と、これらの手段104 ，105 ，107 ，109 をコントロールする制御手段110 とからなる。
【００２４】
上記センシング手段104 は、環境内に存在するありとあらゆる物品や家具、及び環境内に存在する人やロボット102 の位置と状態とを常時監視するものである。上記センシング手段104 は、人やロボット102 によって、環境内に物品が持ち込まれたこと、及び環境外へ物品が持ち出されたことも検出する（このことの詳細は後述する）。
【００２５】
本システムにおいて特徴的な構成要素の一つがこのセンシング手段104 である。つまり、本実施形態に係るシステムでは、対象とする環境は、特定の建物内の一つの部屋に限定をするものの、その環境内で物品の置かれる位置や、その物品を持ち運ぶ移動体の移動経路には制限を加えない。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。
【００２６】
そこで、まず最初に、最も良く使われるセンサの一つである画像センサを使って物品を検出する一般的な方法とその問題点とを簡単に説明する。次に別のセンサである電子タグを使って物品を検出する方法とその問題点とを簡単に説明する。
【００２７】
室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を使って室内の物品等の検出を行うのが一般的である。
【００２８】
ここで、カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法として背景差分法がある。背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。本システムにおけるセンシング手段104 は、環境内の物品や移動体を検出・監視することが目的である。このため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
【００２９】
具体的に、背景差分法による物品の検出方法について、図２を参照しながら説明する。ここで、図２（ａ）はモデル画像の例を示す図であり、図２（ｂ）はある時点でカメラが撮影した画像（入力画像）を示す図であり、図２（ｃ）は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。図２（ｃ）から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる（同図の網掛け部分参照）。このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品を検出することができる。さらに、その画像を画像処理することによって、その物品が何であるかを特定する。このように、背景差分法を用いれば、環境内の物品及び移動体の状況を検出することは可能である。
【００３０】
しかしながらカメラを用いた物品等の検出には、明るさの変化に弱い、解像度が低い、物品が他の物に隠されて見えなくなる、物品が重なっているとそれらが一つの物品として検出されてしまう等、一般的に多くの問題もある。
【００３１】
例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能にすれば解決する。しかしながら死角が無くなるようにカメラを多数設置しただけでは、物品の検出を確実に行い得るとは限らない。つまり、カメラ台数を増やしても解像度の問題及び物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを判断できない（物品を特定できない）のである。
【００３２】
次に、電子タグを使って物品を検出する方法について説明する。近年では電子タグを用いて物品や移動体の位置検出する方法が開発されつつあり、タグによる位置検出が、カメラ画像を使った位置検出に置き換わることも十分に考えられる。
【００３３】
電子タグとはデータを蓄えるＩＣとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタと呼ばれる装置によって電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることができる。
【００３４】
そこで、上記電子タグを各物品に付すと共に、その電子タグにその物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込む。また、移動体（人・ロボット102 ）にも電子タグを付す。人の場合は常時携帯するもの（例えば腕時計等）に電子タグを埋め込んでもよい。移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。一方、環境内には、上記リーダライタを多数設置する。こうすることで、リーダライタが物品及び移動体に付された電子タグの情報を読みとることにより、カメラがなくても、環境内に存在する物品等の検出が可能になる。また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合には、物品の存在を検出することに加えて、電子タグに埋め込まれた物品の形状データを利用して、後述するようにロボット102 による物品の把持が容易になる、製造年月日データを利用して品質期限の管理が可能になる、物品の種類データを利用して捜し物を見つけるのが簡単になる等、ユーザに大きなメリットもたらす。
【００３５】
しかし、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短いのである。電子タグを使った物品検出の問題点の一つはその通信距離の短さにある。また、リーダライタを環境内に多数設置することで、通信距離の問題を解消することも考えられるが、リーダライタはカメラに比べてコストが高く、環境内にカメラのように多数設置することは現実的ではない。
【００３６】
以上、環境内に存在する物品及び移動体を検出する方法として、画像センサを使った方法と、電子タグを使った方法とをそれぞれ示したが、いずれの方法にも一長一短がある。
【００３７】
そこで、画像センサと電子タグとの双方を使った物品の検出方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子タグを使ってその物品を特定するというハイブリッド処理を行うのである。具体的な処理の例を以下に２つ挙げる。
【００３８】
一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット102 にリーダライタを取り付ける。また、各物品及び移動体には電子タグを取り付けておく。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品の近傍に上記ロボット102 を移動させて、そのロボット102 に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
【００３９】
もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置する。このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品に向ける。こうして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。尚、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いることになる。このため、環境内に人がいないことを、例えば背景差分法によって確認した上で行う必要がある。
【００４０】
以上、本システムにおけるセンシング手段104 の具体例として、カメラ及び／又は電子タグを用いた方法について説明したが、本システムにおけるセンシング手段104 はここで説明した以外の方法を採用してもよい。
【００４１】
また、詳しくは後述するが、ドアや窓等の、環境と外部との出入り口には、センシング手段104 としてのリーダライタを設置し、これによって、環境内への物品の持ち込みや持ち出しを検出する。
【００４２】
上記センシング手段104は、物品や移動体を検出したときには、その情報を物品／移動体検索・管理手段105 に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置及び向き等である。
【００４３】
物品／移動体検索・管理手段105 は、センシング手段104 によって検出された環境内に存在する各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）106 に蓄積するものである。このＤＢ106 の詳細は後述するが、ＤＢ106 に蓄積する情報には、少なくとも物品及び移動体の位置が含まれる。
【００４４】
また、物品／移動体検索・管理手段105 は、センシング手段104 からの情報に基づいて、物品の取扱い（物品の移動）を行っている移動体（人・ロボット）を推論し、その推論結果を上記物品／移動体ＤＢ106 に蓄積するように構成されている。
【００４５】
上記物品／移動体検索・管理手段105 は、図３に示すように、物品（物品／移動体ＤＢ106 に登録されている物品）が移動体によって取り扱われていること、ここでは特に移動体によって物品が移動されていることを検出する物品取扱検出手段３１と、上記物品取扱検出手段３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する取扱者特定手段３２とを備えている。
【００４６】
上記物品取扱検出手段３１は、センシング手段104 からの情報に基づいて、物品が移動体によって取り扱われていること（物品取扱状態）を検出する。例えば、上述した背景差分法を利用して物品を検出しているときには、入力画像（カメラ画像）とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出することができる。尚、この方法に代えて、例えば電子タグを利用して、物品が移動体によって取り扱われていることを検出してもよい。
【００４７】
上記取扱者特定手段３２は、上記物品取扱検出手段３１が物品取扱状態を検出したときに、その物品を取り扱っている取扱者を特定し、その取扱者の情報を物品／移動体ＤＢ106 に蓄積する。
【００４８】
上記取扱者の特定は、具体的には次のようにすればよい。つまり、センシング手段104 がカメラを利用しているときには、そのカメラによって物品取扱状態が検出された領域を撮像する。そして、撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。こうして特定された移動体は、取扱いがされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定することができる。ここで、センシング手段104 が利用するカメラは、背景差分法による物品検出に用いられるため、通常、広域を撮影する広角カメラである。この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りないことが多い。そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置、又はロボット102 に設置してもよい。上記物品取扱検出手段３１が物品取扱状態を検出した領域を狭角カメラによって撮像し、その撮像した画像に対して顔認証処理を行うことにより、取扱者を精度よく特定することができる。
【００４９】
尚、物品取扱者の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。また、カメラ画像に対する認証処理を行わなくても、そのカメラ画像自体を物品／移動体ＤＢ106 に蓄積してもよい。これは、認証処理によって移動体を特定することができなかったときに限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。
【００５０】
また、例えばドアや窓等の、環境（部屋）の特定の場所における物品の取扱いを管理する場合、具体的には、環境内への物品の持ち込みや持ち出しを管理する場合は、電子タグとリーダライタとを用いるのがよい。
【００５１】
すなわち、図４に示すように、環境と外部との出入り口である窓５１及びドア５２の開口部それぞれに、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設する。そして、物品及び移動体がこの窓５１やドア５２を通過したときに、その物品及び移動体に取り付けられた電子タグからの情報をリーダライタが読み取り、物品取扱検出手段３１はそれによって、物品が移動体によって取り扱われている（環境内への持ち込み又は環境内からの持ち出し）ことを検出する。また、取扱者特定手段３２は、リーダライタが読み取った情報に基づいて、物品と一緒に窓５１やドア５２を通過した移動体を、物品の取扱者（物品の持ち込みや持ち出しを行う者）と特定し、その取扱者の情報を上記物品／移動体ＤＢ106 に蓄積すればよい。こうすることで、物品の持込者・持出者の管理を自動的に簡単な処理で行なえる。
【００５２】
尚、図４では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
【００５３】
また、このようなリーダライタを窓５１やドア５２に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置する。こうすることで、外側の第１リーダライタが電子タグからの情報を検出した後に、内側の第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第２リーダライタが電子タグからの情報を検出した後に、外側の第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。
【００５４】
このようなリーダライタを用いた、特定の場所における物品の管理は、窓５１やドア５２における物品の管理に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等の物品を収容する物の開口部に同様のリーダライタを設置すれば、冷蔵庫や戸棚内に入れる物品と、その冷蔵庫や戸棚内から取り出される物品との管理が可能になる。
【００５５】
尚、本システムでは、物品の取扱いは人に限らず、後述するように人が操作端末103 において指定した作業内容に応じてロボット102 も物品の取扱いを行う。このようにロボット102 が物品の取扱いを行う場合、その物品取扱者はロボット102 としてもよいし、そのロボット102 を操作する人を物品取扱者としてもよい。例えば、ロボット102 を操作する人を物品取扱者とするときには、ロボット102 の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行ない、その認証結果に基づいて、ロボット102 の操作者（物品取扱者）を特定すればよい。また、ロボット102 の操作の開始時に、操作端末103 においていわゆるＬＯＧＩＮ、ＬＯＧＯＮ処理によるユーザ認証を行なう場合には、そのユーザ情報からロボット102 の操作者（物品取扱者）を特定してもよい。
【００５６】
また、詳しくは後述するが、上記物品／移動体検索・管理手段105 は、制御手段110 から物品／移動体ＤＢ106 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ106 から取り出し、その情報を制御手段110 に送ることも行う。
【００５７】
環境管理サーバ101 の物品／移動体ＤＢ106 は、物品及び移動体の情報を蓄積するＤＢであり、例えば図５及び図６に示すように構成される。すなわち、この物品／移動体ＤＢ106 は、物品を扱う物品データベース（図５）と、移動体を扱う移動体データベース（図６）とからなる。
【００５８】
物品ＤＢは、物品データ、物品履歴データ、及び物品属性データ、の３種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００５９】
１）物品データ：個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、及び物品属性データへのポインタ、が蓄積される。ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるＩＤが割り当てられる。一方、種類が同じ物品は同じ物的属性を持つため、異なるＩＤが割り当てられていても、同じ物品属性データへのポインタを持つ。これにより、データベースの容量を節約する。
【００６０】
２）物品履歴データ：物品が取り扱われた履歴を格納するもので、取り扱われた時刻、取扱内容、取扱者、取扱い後の位置、の４項目からなる。この内、位置データの表し方としては種々の表現が考えられるが、ここでは、図５に示すように、６つのパラメータで位置を表現することとする。つまり、最初の３つのパラメータ（x1 ,y1 ,z1）は物品の位置（重心位置等を用いる）を表し、後の３つのパラメータ（l1,m1,n1）は、物品の向きを表す。また、物品履歴データにおける取扱者は、上記取扱者特定手段３２によって特定された移動体である。
【００６１】
３）物品属性データ：物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図５に示すように、物品の重さ・形状、その外観の画像データが挙げられる。
【００６２】
尚、物品履歴データの一つとして、上述したように、環境における特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。例えば図７は、ドアを介した物品の持ち出し及び持ち込み履歴を格納する持出・持込ＤＢの例である。このＤＢは、取り扱われた時刻、取扱い物品、取扱内容、取扱者、の４項目からなる。ここで、取扱い物品の項目で「物品名＠カバンＣ」とあるのは、その物品が、カバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライタを設置することによって検出可能である。この持出・持込ＤＢにより、時刻ｔ２に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて環境（部屋）から持ち出したことがわかる。
【００６３】
また、持出・持込ＤＢには、そのカバンＣを持ったお父さんの行き先や、目的（例えば出張）を登録しておいてもよい。こうすることで今後は行き先や目的を指定すれば、この持出・持込ＤＢを参照することで、必要な物品（例えば出張に必要な物品）を特定することができ、さらには、ロボット102 にその必要な物品をカバンＣに入れる作業を実行させることも可能になる。
【００６４】
移動体ＤＢは、図６に示すように、移動体リスト、及び移動体履歴データ、の２種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００６５】
１）移動体データ：個々の移動体を区別するためのＩＤ、移動体履歴データへのポインタ、が蓄積される。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
【００６６】
２）移動体履歴データ：移動体の、ある時刻における位置と、その時刻における状態との３項目からなる。ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット102 が環境内を移動するときの障害物となる。このため、移動体の位置はできるだけ現実に則した表し方が望ましい。ここでは、ロボット102 が障害物を避けつつ経路作成が可能となるために必要最小限の情報で移動体の位置を表すべく、床面上で移動体が占めるおおよその領域を円で表すこととする。すなわち、円の中心位置のＸＹ座標（x4 ,y4）と円の半径（r1）で移動体の位置を表す。尚、移動体が占める領域を、さらに厳密に表現してもよい。例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。
【００６７】
また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット102 であれば、「把持」「解放」等のロボット102 が物品に対して行う動作を表す。例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段104 による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。尚、ロボット102 に関する移動体履歴データでは、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」として格納する。具体的には、「kan_small_0001：把持」となる。
【００６８】
ここで、センシング手段104 によって検出された物品や、人及びロボット102 等の移動体の情報が、物品／移動体検索・管理手段105 によって、どのように物品／移動体ＤＢ106 に格納されるか、また、その物品／移動体ＤＢ106 のデータがどのように更新されていくかについて、図５，６，８を参照しながら具体的に説明する。
【００６９】
図８は、環境（部屋）を示す図であって、その環境内に２つの缶ジュース２１，２２持ち込まれると共に、これらの缶ジュース２１，２２が環境内を移動する様子を示す図である。同図において、各缶ジュース２１，２２の移動は矢線によって示され、これらの矢線に付されているt1,t2,t5,t6 の文字は、矢線に従って缶ジュースが移動された時刻を示す。時刻は、t1〜t6の順で進んだものとする。尚、図８に示す環境内には、図示は省略するセンシング手段104 として電子タグのリーダライタが配設されており、各缶ジュース２１，２２、並びに環境内に出入りする人及びロボット102 （図示省略）にはそれぞれ電子タグが取り付けられている。各缶ジュース２１，２２の物品属性データは、電子タグからリーダライタで読みとるものとし、物品／移動体ＤＢ106 の移動体データへの各移動体の登録及び移動体履歴データの初期化はすでに行われているものとする。また、物品／移動体ＤＢ106 の物品データには、何も記録されていない空の状況であるとする。
【００７０】
先ず、移動体であるお父さん（図示省略）が、缶ジュース２１を持って部屋（環境）に入ってくる。センシング手段104 がお父さんと缶ジュース２１とを検出すると、その検出結果は、物品／移動体検索・管理手段105 に送られる。それを受けた物品／移動体検索・管理手段105 は、その缶ジュース２１に[kan_small_0001]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これと共に、その缶ジュース２１の物品属性データを格納する。また、その缶ジュースの移動履歴を格納するための「位置履歴リスト１」を作成する（図５参照）。この時点では位置履歴リスト１の中身はまだ空のままである。一方で、センシング手段104 により検出したお父さんの移動体履歴を更新するために、移動体データにおけるＩＤ「お父さん」の位置履歴を参照することによって、「位置履歴リスト３」が呼び出される（図６参照）。
【００７１】
時刻t1に、お父さんがテーブル近傍の位置P4（x4 ,y4）に座り、持っていた缶ジュース２１をそのテーブル上のP1（x1,y1,z1）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の内容をセットする（図５参照）。具体的には、
時刻：t1
取扱内容：新規
取扱者：お父さん
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の内容をセットする（図６参照）。具体的には、
時刻：t1
位置：(x4 ,y4 ,r1)
状態：座る
をセットする。
【００７２】
時刻t2に、別の移動体である息子（図示省略）が、P1（x1,y1,z1）に置かれた上記の缶ジュース２１を床の上であるP2（x2,y2,z2）に移動させる。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t2
取扱内容：移動
取扱者：息子
取扱後の位置：P2（x2,y2,z2,l2,m2,n2）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、移動されたことを意味する。尚、時刻t2では、息子の位置が変わるため、物品／移動体検索・管理手段105 は、息子の移動体履歴データ（位置履歴リスト４）の内容をセットするが、ここではその図示を省略する。
【００７３】
時刻t3に、お父さんが部屋の外に出る。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の新たな内容をセットする（図６参照）。具体的には、
時刻：t3
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たため、その位置が本システムの管理外になったことを意味する。
【００７４】
また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュース２１を元のテーブルの上P1（x1,y1,z1）に戻すように、操作端末103 を操作してロボット102 に指示をする（このロボット102 に対する指示についての詳細は後述する）。その指示を受けたロボット102 が、缶ジュースの位置P2（x2,y2,z2）まで移動し、時刻t4にその缶ジュースを把持する。物品／移動体検索・管理手段105 は、ロボット102 の移動体履歴データ（位置履歴リスト５）の内容をセットする（図６参照）。具体的には、
時刻：t4
位置：(x2 ,y2 ,r2)
状態：[kan_small_0001]：把持
をセットする。尚、ロボット102 の動作は、センシング手段104 が検出してもよいが、ネットワークを介してサーバ101 が、ロボット102 からの動作情報を受信することによって、ロボット102 の動作を検出してもよい。
【００７５】
時刻t5に、上記ロボット102 が缶ジュースを把持した状態でテーブルの近傍P4（x4,y4）に移動し、テーブルの上P1（x1,y1,z1）でその把持した缶ジュースを解放する。物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト５の新たな内容をセットする（図６参照）。具体的には、
時刻：t5
位置：（x4 ,y4 ,r2）
状態：[kan_small_0001]解放
をセットする。
【００７６】
また、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t5
取扱内容：移動
取扱者：ロボット
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
しばらくして、別の移動体であるお母さんが、新たな缶ジュース２２を持って部屋に入ってくる。センシング手段104 がお母さんと新たな缶ジュース２２とを検出すると、物品／移動体検索・管理手段105 は、その新たな缶ジュース２２に[kan_small_0002]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。この新たな缶ジュースの物品属性データは、上記の缶ジュース２１と同じである。また、その新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図５参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
【００７７】
時刻t6に、お母さんが新たな缶ジュース２２を床の上であるP3（x3,y3,z3）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト２の内容をセットする（図５参照）。具体的には、
時刻：t6
取扱内容：新規
取扱者：お母さん
取扱後の位置：P3（x3,y3,z3,l3,m3,n3）
をセットする。尚、図６では、お母さんの移動体データ及び移動体履歴は省略している。
【００７８】
以上のようにして、物品／移動体検索・管理手段105 は、物品／移動体ＤＢ106 に物品や移動体の情報を格納・更新する。ここでは、データベースの更新を、物品／移動体ＤＢ106 に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。
【００７９】
尚、物品／移動体ＤＢ106 における物品履歴データ及び移動体履歴データは、できるだけ長時間に亘ってデータ蓄積すれば、より過去に遡って履歴を調べることができ望ましい。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積すれば、人やロボット等の移動体の移動経路を管理することができ望ましい。
【００８０】
但し、物品／移動体ＤＢ106 の容量には限界があるため、ある一定の期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
【００８１】
環境管理サーバ101 における環境マップ管理手段107 は、センシング手段104 からの情報に基づいて環境マップ108 を作成すると共に、その作成した環境マップ108 の管理を行うものである。この環境マップ108 は、ロボット102 が環境内を移動する際に利用するものである。ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路計画を立てる。
【００８２】
また、上記環境マップ管理手段107 は、詳しくは後述するが、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。
【００８３】
上記環境マップ108 は、例えば環境の実状況が、図９（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図９（ｂ））を環境マップ108 としてもよい。また、図９（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。さらに、図９（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。すなわち環境マップ108 は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図９（ｂ）に示す環境マップ108 はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。平面モデルからなる環境マップも同様であり、図９（ｃ）に示す作業マップ108 では、テーブル及び本棚を平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化し、ゴミ箱を円領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ108 では、上記２つの矩形領域及び円領域をロボット102 が移動不可能な領域に設定する。
【００８４】
図１０は環境マップに付随する設備データベースの一例を示した図で、このものは、図９に示す環境に対応している。この設備データベースは、設備データと、及び設備属性データとの２種類のデータをそれぞれ蓄積するサブデータベースからなる。
【００８５】
１）設備データ：環境それ自体、及びこの環境内の個々の設備（物品とは異なり環境に固定又は設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤ、設備属性データへのポインタが蓄積される。ここでは、環境（部屋）には「room_0001」のＩＤが付され、環境内に存在するテーブル、本棚、及びゴミ箱にはそれぞれ「table_0001」「bookshelf_0001」「trash_0001」のＩＤが付されている。
【００８６】
２）設備属性データ：環境自体に係る設備属性データには、その環境内の床面データが蓄積される。例えばその環境内に互いに高さの異なる複数の床面が存在するときには、その床面の数だけ床面データが蓄積される（床面１，床面２，…）。この床面データは、例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,2200,0）
ここで、最初の４つの値（座標）は、床面を構成する各頂点の座標（実世界座標での座標）を示し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を示す。また、最後の値（０）は、床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。
【００８７】
設備（家具等）に設備属性データには、その設備を構成する各面のデータ（面１，面２，…）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢が蓄積される。具体的に、設備を構成する面のデータは例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,1,400）
ここで、最初の３つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「１」はその面に物品が載置可能な否かのフラグである。物品が載置可能なときは「１」となり、載置不可能なときは「０」となる。最後の値「４００」は、その面に物品が載置可能であるときに、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときには、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
【００８８】
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。こうした「主な物品の形状と姿勢」のデータは、例えば設備の種類が靴棚であるとき（この場合の主な物品は靴）や、食器乾燥機（この場合の主な物品は食器）の設備属性データに蓄積される。但し、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。設備の種類が例えばテーブルやゴミ箱であるときには、物品の形状及び姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
【００８９】
このように、設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、作業ロボット102 に、例えば本を本棚に移動させる作業を指定したときには、その作業ロボット102 は、このデータを基に指定された本を立てた姿勢で本棚の棚に載置することができるようになる。
【００９０】
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
【００９１】
１）送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段105 や環境マップ管理手段107 にデータの参照要求を出す。
【００９２】
２）上記要求に対して物品／移動体検索管理手段105 又は環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。
【００９３】
３）操作端末103 から送受信手段109 を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット102 に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット102 に送信する。尚、ロボット制御コマンド列については、後述する。
【００９４】
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ106 で管理している物品の一部又は全部の状況や、環境マップ108 の状況を、送受信手段109 を通じてロボット102 やユーザ（操作端末103 ）にブロードキャストする。
【００９５】
例えば、上記１），２）の制御は、ユーザが操作端末103 を操作して物品の検索を行う場合に利用される。この際、サーバ101 に対する問い合わせ内容として、ユーザは例えば「○月△日×時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キーを入力してもよい。
【００９６】
このような問い合わせに対して、環境管理サーバ101 は物品／移動体ＤＢ106 からその物品を検索する。そして、操作端末103 に、例えば「それは、○○さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。
【００９７】
尚、その物品が環境の外に持ち出されているときには、その持出者の情報を出力してもよい。このときに、その持出者が人であるときには、サーバ101 がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ101 が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。
【００９８】
−作業ロボットの構成−
２番目のサブシステムである作業ロボット102 は、環境内で物品の取扱い作業を行うものである。ここでは特に、上記作業ロボット102 は、ユーザに指定された作業内容に従って、環境内で物品の移動させる移動作業を行う。
【００９９】
図１に示すように、ロボット102 はその基本構成として、ロボットの近辺の障害物等を検知する障害物センサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、これらのセンサ111 及び各手段109 ，112 〜114をコントロールする制御手段115 とからなる。
【０１００】
図１１は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 や制御手段115 等を収容する略箱型の本体部１０を備えている。以下、図１１における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【０１０１】
把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部１０の上面に取り付けられている。上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。
【０１０２】
移動手段114 は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段114 を車輪１４で構成したが、移動手段114 の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。
【０１０３】
障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのカメラ11b 、及び衝突センサ11c から構成される。
【０１０４】
上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサは、本体部の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
【０１０５】
上記カメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このカメラ11b は、本体部１０の前部に取り付けられている。
【０１０６】
上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられている。
【０１０７】
移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域（例えば図９（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図９（ｃ）の平面モデルを用いた環境マップ108 を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート（図９（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。
【０１０８】
尚、環境の状況が複雑すぎてロボット102 の移動経路の算出が出来ない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット102 の移動経路を指定するモードを設けてもよい。
【０１０９】
作業ロボット102 の制御手段115 は、主に環境管理サーバ101 から送受信手段109 を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。
【０１１０】
ここで、ロボット制御コマンドとは、物品の把持や、ロボット102 自体の移動の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。
【０１１１】
１）移動：（move,座標）又は（move,設備ＩＤ）
ロボット102 の現在位置から座標で指定された位置、又は設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段113 が計画する。
【０１１２】
また、設備ＩＤで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マップ内の設備属性データを利用する。
【０１１３】
２）把持：（grab,物品ＩＤ）
物品ＩＤで指定された物品を、ハンド12b によって把持するコマンドである。物品の場所は物品ＤＢを参照し、把持計画は把持手段112 が作成する。
【０１１４】
３）解放：（release）
ハンド12b を解放するコマンドである。
【０１１５】
以上、簡単に３種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの３種類に限らず、必要に応じて増やしてもよいことはいうまでもない。
【０１１６】
尚、本実施形態では、作業ロボット102 を、車輪１４によって構成された移動手段114 を有する自走ロボットとしたが、作業ロボット102 は、この構成に限るものではない。例えば上述したアーム12a とハンド12b とからなる把持手段112 を、環境内の天井に取り付けたガイドレールに組み付けることで、作業ロボット102 を構成してもよい。この構成の作業ロボット102 は、上記把持手段112 がガイドレールに案内されて移動することにより、指定された位置に移動することができ、それによって、環境内で指定された物品を指定された位置に移動させる作業を実行することができる。
【０１１７】
また、作業ロボット102 は、複数の把持手段112 （アーム12a とハンド12b とからなるもの）を、環境内の所定の位置にそれぞれ固定設置することによって構成してもよい。この場合、生活空間内に存在する全ての物品がいずれかの把持手段112 によって把持可能となるように、各把持手段112 を配置する。この構成の作業ロボット102 は、指定された物品を指定された位置に移動させるときには、複数の把持手段112 の中から、その物品にハンド12b を届かせることのできる把持手段112 を選択し、その選択した把持手段112 が物品を把持すると共に、そのアーム12a とハンド12b とによって把持した物品を指定された位置に移動させるようにすればよい。尚、指定された位置が、選択した把持手段112 のアーム12a の届かない位置であるときには、複数の把持手段112 間で物品を手渡ししながら、指定された位置まで物品を移動させればよい。
【０１１８】
−操作端末の構成−
３番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
【０１１９】
操作端末103 はその基本構成として、図１に示すように、後述する操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部117 、上記操作画面上でロボット102 に対する作業内容を指定するための例えばポインティングデバイスからなる入力部116 、上記表示部117 に表示される操作画面の作成等の表示制御を行う表示制御手段118 、上記入力部116 にて入力されたロボット102 の作業内容を環境管理サーバ101 に送る送受信手段109 、これらの各手段109 ，116 〜118 をコントロールする制御手段119 からなる。
【０１２０】
この操作端末103 としては、例えば汎用ＰＣを用いることも可能である。この場合、後述する各処理を実行させる制御プログラムをＰＣが読み込むことによって、操作端末103 として用いることが可能になる。
【０１２１】
上記表示制御手段118 は、上記サーバ101 から送信された情報、具体的には、センシング手段104 としてのカメラが環境内を撮像した画像のデータ、物品／移動体データベース106 に蓄積されたデータ、環境マップ108に基づいて、操作画面を作成する。
【０１２２】
ここで、上記表示制御手段118 で作成されて上記表示部117 に表示される操作画面について説明する。図１２は、操作画面の一例を示しており、この操作画面は、環境の実状況に則した仮想空間によって構成されている。
【０１２３】
また、上記仮想空間は、互いに異なる複数の視点を有しており、本実施形態では、図１２（ａ）に示すように、仮想空間を略水平方向に見る視点と、図１２（ｂ）に示すように、仮想空間を見下ろす視点との２つの視点を有している。操作画面を構成する仮想空間の視点は、ユーザが操作端末103 を操作することによって切り替えられる。
【０１２４】
上記操作画面を構成するこれらの仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このように、カメラ画像によって仮想空間の視点を複数にするには、例えば次のような手法が挙げられる。
【０１２５】
一つは、環境内に、複数のカメラを設置することで、各カメラが撮像した画像データによって仮想空間を構成するものである。例えば、環境（部屋）の側壁と天井とのそれぞれにカメラを設置して、側壁に設置したカメラが撮像した画像データによって、図１２（ａ）に示す視点の仮想空間を構成する一方、天井に設置したカメラが撮像した画像データによって、図１２（ｂ）に示す視点の仮想空間を構成するようにしてもよい。
【０１２６】
もう一つは、環境内の適当な場所に少なくとも一つのカメラを設置し、そのカメラ画像を変形合成することによって、任意の視点からの画像（仮想空間）を作成するものである。このようなカメラ画像を用いて任意の仮想的な視点から見た画像を合成する手法は、特許第３２８６３０６号公報に記載されているため、ここではその詳細な説明は省略する。
【０１２７】
本実施形態では、環境内の側壁に、センシング手段104 として設置されたカメラが撮像した画像データ（以下これをカメラ視点画像ともいう）によって、図１２（ａ）に示す仮想空間を構成する一方、上記カメラが撮像した画像データを変形合成した画像データ（以下これを仮想視点画像ともいう）によって、図１２（ｂ）に示す仮想空間を構成することとする。このように、操作画面を構成する仮想空間が有する視点の数と、その仮想空間を構成する画像データを撮像するカメラ視点の数とは一致させる必要はない。
【０１２８】
上記操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコン（図１２では、バナナが物品アイコンである）とを有している。この物品アイコンは、ユーザが物品であることを認識可能なものであればよく、例えば物品をアニメーション化（イラストレーション化）したアイコンで構成したり、物品を撮像したカメラ画像からその物品の部分を自動又は手動で切り出した画像で構成したりすればよい。
【０１２９】
ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによるアイコン操作によってロボットに実行させる作業内容を指定するように構成されている。操作画面上で作業内容を指定する手順については後述するが、本実施形態では、上記物品アイコンは、いわゆるドラッグ操作によって操作画面を構成する仮想空間内を移動させることが可能に構成されており、ロボット102 に物品の移動作業を実行させる場合は、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、仮想空間内の所望の移動先を上記カーソルによって指定することで、移動作業の指定がなされる。尚、環境内に存在する家具等の設備は操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０１３０】
ここで、操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データ、又はその画像データを変形合成した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データ（及び変形合成した画像データ）に加えて、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータは、上記画像データ（仮想空間）に１対１に対応するものである。ここで、「１対１に対応する」とは、両データの座標値が対応しているという意味である。
【０１３１】
図１２には、仮想空間（操作画面）を構成する画像のデータに１対１に対応した画面マスクデータの例を示す。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応して、マスクデータ（同図の網掛け部分参照）が設定されており、このマスクデータの座標には物品データベースの物品データ（図５参照）へのポインタが記載されている。このポインタは、その物品アイコンに係る物品に対応するものであり、これにより、操作画面に含まれる各物品アイコンが、どの物品を表しているかが判断可能になる。
【０１３２】
そして、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。これと共に、物品アイコンの位置が指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。
【０１３３】
操作画面を構成する仮想空間を、センシング手段104 としてのカメラが撮像した画像（図１２（ａ）参照）によって構成する場合は、背景差分画像によって、その仮想空間に１対１に対応する画面マスクデータを作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０１３４】
一方、操作画面を構成する仮想空間を、カメラ画像を変形合成した画像、言い換えると仮想視点画像（図１２（ｂ）参照）によって構成する場合は、それに１対１に対応する画面マスクデータは、次のようにして作成すればよい。
【０１３５】
図１３は仮想視点画像によって構成される操作画面の画像マスクデータを作成するための説明図である。図１３（ｂ）において、Ｏｗを原点としＸ軸、Ｙ軸、Ｚ軸で構成された座標系は実世界座標系である。この座標系において、仮想視点（この仮想視点は環境の天井に対応する）の位置を（x1,y1,z1）で表す。また仮想視点Ｏｅを原点とする仮想視点座標系を設定する。また、図１３（ａ）に示す座標値（x ,y ,z ）は、センシング手段104 によって検出された物品を構成する領域内の任意の１点の実世界座標系における座標値である。さらに図１２（ｂ）に示す座標値（u ,v）は、上記座標値（x ,y ,z ）を仮想視点画像からなる操作画面上に変換したときの座標値である。次式（１）,（２）,（３）はそれぞれ、変換のための式である。
【０１３６】
【数１】
ここで式（１）におけるＲは、仮想視点座標系を構成する３つの軸周りの回転行列であり、この行列に仮想視点座標系における座標値を乗じることにより、その座標値が実世界座標系における座標値に変換されるように、回転行列の値が設定されている。また式（２），（３）におけるｆは仮想視点の焦点距離を示す。
【０１３８】
さて、仮想視点画像によって構成される操作画面の画面マスクデータの作成を、具体的な処理として言い換えると、センシング手段104 によって得られた物品の占める領域を、仮想視点で見たときに物品の占める領域に変換し、その領域を操作画面上の座標値に変換して、それをマスクデータとするということである。これはすなわち、
１）実世界座標系の座標値で表された物品領域の点（x ,y ,z ）を、式（１）によって仮想視点座標系における座標値（xe,ye,ze）に変換し、
２）上記変換された座標値（xe,ye,ze）を、式（２），（３）によって仮想視点画像からなる操作画面の座標値(u ,v )に変換する
という計算を、実世界座標系の座標値で表された物品領域の全ての点に対して行うことに他ならない。
【０１３９】
上記変換により仮想視点画像からなる操作画面の画面マスクデータを作成することができるが、より正確なマスクデータを作成するには、２）で得られた(u ,v)の座標値をプロットし、それらを囲む最小の多角形領域をマスクデータとしてもかまわない。
【０１４０】
尚、本実施形態では、操作端末103 の表示制御手段118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ101 が作成してもよい。この場合、サーバ101 が作成した操作画面は、ネットワークを介して操作端末103 に送信し、操作端末103 は、受信した操作画面を表示部117 に表示すればよい。また、入力部116 の操作によって、仮想空間の視点の切り替え操作がされたときには、操作端末103 からサーバ101 に、視点切り替え要求信号を送信し、それに応じて上記サーバ101 が視点を切り替えた操作画面を作成し、これを操作端末103 に送信するようにすればよい。
【０１４１】
−ロボットの作業内容の指定手順−
次に、操作端末103 の表示部117 に表示される操作画面上で、ロボット102 に実行させる物品の移動作業を指定する手順について、２つの例を挙げて具体的に説明する。
【０１４２】
先ず、図１４を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの手前側であるＢ２位置に移動させる場合を例に、ロボット102 の移動作業の指定手順を説明する。
【０１４３】
この移動操作の指定は、操作画面上で、バナナ（物品アイコン）を選択する操作と、この選択したバナナアイコンを、仮想空間内の所望の移動先に移動（ドラッグ）させると共に、その移動先位置でバナナアイコンをドロップする、というアイコンのドラッグアンドドロップ操作によって行われる。
【０１４４】
（操作画面の表示ステップ：Ｐ1001）
操作端末103 の表示部117 には、操作画面が表示される。ここでは、操作画面を構成する仮想空間を、カメラが撮像したカメラ視点画像によって構成している。この仮想空間は部屋の実状況に則しているため、操作画面には、部屋内に存在する設備（テーブル等）が表示される。また、部屋内に存在する物品（バナナ等）は、物品アイコンとして仮想空間内に配置されている。
【０１４５】
ユーザは、操作端末103 の入力部116 を操作することにより、操作画面上でカーソルを移動させることができる。このカーソルが物品アイコンを指しているときには、その物品アイコンを強調表示する。具体的に、カーソルがバナナアイコンを指しているときには、そのバナナアイコンの色を変える、また、図１６（ａ）に示すように、バナナアイコンの輪郭を強調して表示する、さらに、図１６（ｂ）に示すように、物品アイコンに対応する物品の名称として、「バナナ」の文字をポップアップ表示する。一方、上記カーソルがテーブル等の設備を指していても、これらは物品アイコンではないため強調表示はされない。こうすることでユーザは、操作画面上で、例えばバナナがロボット102 の取扱い可能な物品であることを認識することができ、ロボットの作業内容の指定が容易になる。その結果、ユーザの利便性が向上する。
【０１４６】
尚、物品の名称をポップアップ表示する場合は、その物品に関する他の情報を併せて表示するようにしてもよい。例えば、その物品が食料品であれば、賞味期限や品質保持期限、購入年月日等の情報をポップアップ表示してもよい。こうすることで、ユーザは、その情報に応じてロボットに対する作業内容を指定することができる（例えばその物品の移動場所を変える等）。また、その物品に関する情報の内容に応じて、その物品に対するお勧めの作業内容をポップアップ表示してもよい。例えばカーソルが指している物品アイコン（物品）が、賞味期限切れ間近の食料品であるときには、「当該物品を冷蔵庫内に移動させる」旨の作業内容をポップアップ表示する、等である。
【０１４７】
また、カーソルが物品アイコンを指しているときに、物品の領域の色を変えたり、物品の領域の輪郭を強調して表示するだけでなく、その物品を拡大表示するようにしてもよい。また、カーソルが物品アイコンを指しているときには、例えば「○○があります」というように、その物品の名称を音声でユーザに報知してもよい。こうすることで、目の不自由なユーザにも使いやすいシステムとなる。
【０１４８】
また、ここでは物品アイコンの表示形態をかえるようにしているが、例えばカーソルが物品アイコンを指しているときには、そのカーソルの形態を変えるようにしてもよい。こうすることでも、そのカーソルが指している物品アイコンが、ロボットが取扱い可能な物品であることを、ユーザに認識させることが可能になる。
【０１４９】
さらに、ここでは、カーソルが物品アイコンを指しているときに、物品アイコンを強調表示するようにしているが、例えば、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。特に、ユーザが操作画面における操作を開始する際に、全ての物品アイコンを所定時間だけ強調表示してもよいし、ユーザの要求操作に応じて、全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることで、ユーザは、仮想空間内の物品アイコン、つまり、ロボット102 が取扱い可能な物品が、環境内のどこに置かれているかを一目で確認することができる。
【０１５０】
（物品の指定操作ステップ：Ｐ1002）
ロボット102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。この物品アイコンの指定操作がされたときには、「対象物品はバナナでよろしいですか？」等の確認を促す表示を行い、ユーザに「ＯＫ／キャンセル」の操作を行わせるようにしてもよい。
【０１５１】
こうして物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンを強調表示する。この強調表示としては種々の表示形態が考えられるが、例えば、図１４に示すように、物品アイコンの色を変える、そのアイコンを塗りつぶす等の、その物品が指定されていることが一目で判るような形態であればどのような表示形態でもよい。但し、対象物品を指定したときの強調表示の形態は、カーソルが物品アイコンを指しているときに行う強調表示とは異ならせることが好ましい。これは、その物品がロボット102 の取扱い可能な物品であることと、その物品がロボット102 の作業対象として指定されたこととを区別するためである。
【０１５２】
（移動先指定ステップ：Ｐ1003）
ロボット102 に移動させる物品を指定すれば、その物品の移動先を指定する。この移動先の指定は、図１４に示すように、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの手前側のＢ２位置）に、ドラッグアンドドロップ操作することによって行う（同図の矢線参照）。この操作が行われたときには、「移動先はここでよろしいですか？」等の確認表示を行ってもよい。こうして、ユーザによる移動作業の指定が完了することになる。
【０１５３】
このように、物品の移動作業は、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって指定されるため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
【０１５４】
次に、図１５を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの奥側であるＢ２位置に移動させる場合を例に、ロボット102 の移動作業の指定手順を説明する。
【０１５５】
（操作画面の表示ステップ：Ｐ2001）
操作画面の表示ステップは、上記のＰ1001と同様であり、カメラ視点画像によって構成された仮想空間からなる操作画面が、操作端末103 の表示部117 に表示される。
【０１５６】
（物品の指定操作ステップ：Ｐ2002）
物品の指定操作ステップも、上記のＰ1002と同様であり、物品アイコンをクリック操作することによってロボット102 に移動させる物品を指定する。これにより、指定された物品アイコンは強調表示される。
【０１５７】
（視点切り替えステップ：Ｐ2003）
ロボット102 に移動させる物品を指定すれば、その物品の移動先を指定する。ここで、本例では、移動先がテーブルの奥側であるＢ２位置であり、カメラ視点画像からなる操作画面にはＢ２位置が表示されていない。そこで、操作画面を構成する仮想空間の視点を切り替える。
【０１５８】
視点の切り替え時には、図１５に示すように、操作画面に視点位置にカメラアイコンが表示される。ユーザは、このカメラアイコンをクリック操作することによって、操作画面を構成する仮想空間の視点を切り替えることが可能である。尚、ここでは、仮想空間の視点が２つであるため、カメラアイコンは一つしか表示されないが、仮想空間の視点が３以上であるときには、各視点位置に対応して、複数のカメラアイコンを操作画面に表示すればよい。
【０１５９】
（移動先指定ステップ：Ｐ2004）
仮想空間の視点を切り替えることにより、操作画面を構成する仮想空間は、カメラ画像を変形合成した仮想視点画像に切り替わる。そして、この新たな操作画面において、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの奥側のＢ２位置）に、ドラッグアンドドロップ操作する（同図の矢線参照）。こうして、ユーザによる移動作業の指定が完了することになる。
【０１６０】
このように、操作画面を構成する仮想空間の視点が複数あることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、一般家庭等の生活空間では、設備の配置や物品の置かれる位置の自由度が高く、カメラ画像に死角が生じやすいが、ユーザは、ロボットに実行させる作業内容を仮想空間からなる操作画面上で的確に指定することができる。
【０１６１】
−ロボットの作業内容の実行制御−
以上のようにして、ユーザが操作端末103 を操作することにより、ロボット102 に実行させる作業内容が指定されれば、操作端末103 は環境管理サーバ101 にその作業内容のメッセージを送信する。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。尚、操作端末103 からサーバ101 に送信する移動先の座標は、操作画面上の座標でもよいし、操作画面上の座標を環境の実世界座標に変換した座標でもよい。
【０１６２】
上記サーバ101 はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット102 に送信する。物品の移動作業は、「（物品の位置への）移動」、「（物品の）把持」、「（移動先への）移動」、「（物品の）開放」という４つの作業単位に分解される。従って、上記の例では、ロボット制御コマンド列は、
move,B1（バナナが置かれている位置Ｂ１にロボットを移動する）
grab,バナナ（Ｂ１の位置にあるバナナを把持する）
move,B2（（バナナを把持した状態で）移動先であるＢ２に移動する）
release（把持しているバナナを解放する）
となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記４つの作業単位を一組として、物品の数だけ並べる。
【０１６３】
図１７は作業ロボット102 の制御手段115 に係るフローチャートを示す。作業ロボット102 の送受信手段109 がサーバ101 から送信された制御コマンド列を受信したときには、上記制御手段115 は、ステップＳ2401〜ステップＳ2403で、いずれの作業単位であるかを判定し、その作業単位に応じた処理を実行する。
【０１６４】
先ずステップＳ2401で作業単位が「移動」であったときには、ステップＳ2404に移行し、指定された位置（ここでは、現在地から位置Ｂ１、又は位置Ｂ１から位置Ｂ２）までの経路を、移動計画作成手段113 に作成させる。
【０１６５】
続くステップＳ2405では、上記移動計画作成手段113 で作成した経路に応じて移動制御コマンドを移動手段114 に送り、上記指定された位置までの移動処理を実行する。
【０１６６】
一方、上記ステップＳ2402で作業単位が「把持」であったときには、ステップＳ2406に移行し、障害物センサ111 によって把持対象物品の姿勢を検出すると共に、続くステップＳ2407で、その検出結果に応じてアーム12a とハンド12b の動作を計算する。そして、ステップＳ2408で、把持制御コマンドを把持手段112 に送り、物品の把持処理を実行する。尚、上記ステップＳ2406では、障害物センサ111 によって物品の姿勢を検知するが、物品の姿勢は、環境管理サーバ101 の物品ＤＢ106 に記録されているため、サーバ101 に物品の姿勢を問い合わせるようにしてもよい。
【０１６７】
上記ステップＳ2403で作業単位が「解放」であったときには、ステップＳ2409に移行し、指定された移動先に物品が設置されるようにアーム12a とハンド12b の動作を計算する。そして、ステップＳ2410で、解放制御コマンドを把持手段112 に送り、物品の解放処理を実行する。
【０１６８】
ステップＳ2411では、移動、把持及び解放の各動作が終了したらその旨をメッセージとして作業指示元（サーバ101 ）に送信する。
【０１６９】
こうして、操作端末103 で指定した作業内容が、ロボット102 によって実行され、位置Ｂ１に置かれたバナナが、位置Ｂ２に移動されることとなる。
【０１７０】
上記ロボット102 が動作をしているときには、操作端末103 の表示部117 に表示される操作画面をカメラ画像と連動させることで、そのロボット102 が作業をしている様子を操作画面において映し出すようにしてもよい。こうすることで、ユーザは、指定した作業内容がロボット102 によって実行されているか否かを操作画面上で確認することができ、例えばロボット102 が間違った作業をしているときには、その作業をすぐに中止させることも可能になる。
【０１７１】
これに対し、ロボット102 が動作をしているときには、上記操作画面をロボット102 の動作開始前のカメラ画像で固定してもよい。こうすることで、新たな作業を指定しようとしても、操作画面内でロボット102 が動作していると指定操作がし難くなる場合があるが、それが解消される。
【０１７２】
これらの表示形態の切り替えは、ユーザの指定に応じて切り替えればよい。また、ロボット102 が動作をしているときには、カメラ画像と連動した操作画面の変更頻度を調節可能にしてもよい。
【０１７３】
以上説明したように、本発明による物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱い作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備え、上記表示部117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボット102 が上記生活空間内で物品の取扱い作業を実行するものである。
【０１７４】
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
【０１７５】
さらに本発明では、ロボット102 の作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボット102 の作業内容を、容易に指定可能になる。
【０１７６】
また、ロボットが実行する作業が、生活空間内での物品の移動作業であるときに、本発明による物品取扱いシステムでは、操作画面を、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有するものとして、物品の移動作業を、上記物品アイコンの操作によって指定する。
【０１７７】
このように、生活空間に存在する物品に対応して物品アイコンを仮想空間内に配置することにより、生活空間内で様々な位置に置かれる物品の中から、ロボットに移動させる物品を容易に指定することが可能になる。また、物品アイコンの操作によってロボット102 の作業内容を指定することで、的確かつ容易に作業内容を指定可能になる。
【０１７８】
また、本発明による物品取扱いシステムでは、物品の移動作業を、所望の物品アイコンを上記仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定する。このためユーザは、物品の移動作業を指定するときには、操作画面の仮想空間内に配置される物品アイコンの中から、所望の物品アイコンを選択すると共に、その選択した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作することになる。この操作によってロボット102 は、指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する生活空間内の位置に移動させる作業を行うことになる。
【０１７９】
このように、指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定されるため、ロボット102 に実行させる作業内容を極めて容易に指定可能になる。
【０１８０】
また、本発明による物品取扱いシステムは、生活空間を撮像する撮像手段（センシング手段104 としてのカメラ）をさらに備えており、操作画面の仮想空間は、上記撮像手段が撮像した画像のデータによって構成される。
【０１８１】
こうすることで、生活空間の実状況に則した仮想空間を簡便に作成可能になる。尚、仮想空間は、例えばコンピュータグラフィックスによって構成してもよい。
【０１８２】
さらに、本発明による物品取扱いシステムでは、操作画面を、仮想空間を構成する画像のデータと、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデータに対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成する。
【０１８３】
すなわち、仮想空間を画像のデータによって構成したときに、操作画面上で物品アイコンを操作するには、その画像のどの領域が物品アイコンに対応するかを特定する必要がある。このため、画像のデータと、物品アイコンと、画面マスクデータとから操作画面を構成することにより、画面マスクデータによって、仮想空間内における物品アイコンの位置が特定され、その結果、画像データから構成される操作画面上で物品アイコンを操作することが可能になる。
【０１８４】
本発明による物品取扱いシステムは、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段104 をさらに備えている。そして、画面マスクデータは、上記センシング手段104 により検出された物品の位置に基づいて作成される。
【０１８５】
センシング手段104 によって生活空間内に存在する物品の位置を検出すれば、その検出した位置に対応する仮想空間内の位置が特定されるため、仮想空間内における物品アイコンの位置を特定する画面マスクデータが作成可能になる。
【０１８６】
本発明による物品取扱いシステムのように、一般家庭等の生活空間を対象とするシステムでは、その生活空間内には種々の物品が存在する。例えばその空間に固定・設置された固定・設置物等も物品である。しかしながら、こうした固定・設置物等は、ロボット102 によって移動させることができない。このように、生活空間内に存在する物品は、ロボット102 が取扱い可能な物品と、取扱い不可能な物品とに分けることができるが、仮想空間からなる操作画面には、ロボット102 が取扱い可能な物品と、取扱い不可能な物品との双方が表示される。
【０１８７】
そこで、本発明による物品取扱いシステムでは、操作画面上でポインタ（カーソル）が、ロボット102 の取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示する、又は、その物品に関する情報を表示する。
【０１８８】
こうすることでユーザは、操作画面内に表示される多数の物品の中から、ロボット102 の取扱い作業可能な物品を容易に特定することができる。それによって、ロボット102 に実行させる作業内容を容易に指定することが可能になる。尚、ロボット102 の取扱い作業可能な物品と、取扱い作業不可能な物品との分別基準は、その取扱い作業の内容によって異なる。例えば物品の移動作業については、ロボット102 が移動させることのできない固定・設置物や、大型物・重量物は、ロボット102 の取扱い作業不可能な物品となり、それ以外の物品はロボット102 の取扱い作業可能な物品となる。
【０１８９】
また、そのシステムにおける作業ロボット102 が変更されたときには、そのロボット102 の変更に伴い取扱い可能な物品が変更される場合がある。ここで、ロボット102 の変更には、例えばロボット102 が新機種に置き換わるというハードウエア上の変更だけでなく、ロボット102 の制御プログラムが変更されるというソフトウエア上の変更も含む。
【０１９０】
このように、ロボット102 の取扱い可能な物品が変更されたときには、そのことをユーザに報知すべく、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることでユーザは、ロボット102 が取扱い可能な物品を、一目で把握することができる。
【０１９１】
本発明による物品取扱いシステムは、ロボット102 の取扱い可能な物品が変更されたときには、そのロボット102 の取扱い可能な物品に対応する全ての物品アイコンを強調表示するように構成してもよい。
【０１９２】
また、本発明による物品取扱いシステムでは、上記操作画面上で物品アイコンが指定されることによりロボット102 の作業対象となる物品が指定されたときには、その物品アイコンを強調表示する。
【０１９３】
こうすることでユーザは、物品アイコンの指定を確認することができ、これにより、ロボット102 が誤って指定された物品の取扱い作業を実行してしまうことが、未然に防止される。
【０１９４】
本発明による物品取扱いシステムは、上述したように、一般家庭、オフィス、ホテル、店舗及び病院等の生活空間における物品取扱いシステムである。このため、その生活空間内には、例えば家具等の固定・設置物が存在していると共に、ロボットの取扱い作業の対象である物品も様々な位置に存在する。
【０１９５】
この場合、操作画面を生活空間の実状況に則した仮想空間から構成するときに、その仮想空間の視点が一つだけに定められていると、例えばその視点からは家具等に隠れて物品が見えない、又は、その物品を所望の移動先に移動させる場合にその移動先が死角になっている、等の問題が生じる。この問題は、工場や倉庫等の産業用のシステムでは通常生じない問題である。なぜなら、産業用のシステムでは、物品が定められた位置に配置されることが多く、さらには、空間の状況を見る視点が一つであっても、死角が生じないようにその空間の状況を予め設定しているためである。
【０１９６】
そこで、本発明による物品取扱いシステムでは、上記操作画面を構成する仮想空間は、その視点を切り替え可能にする。
【０１９７】
仮想空間の複数の視点が相互に切り替え可能であることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、状況が複雑な生活空間での物品取扱いシステムにおいて、ロボット102 に実行させる作業内容を操作画面上で的確に指定することが可能になる。
【０１９８】
また、本発明によるロボット操作装置（操作端末103 ）は、所定の生活空間内に存在する物品の取扱い作業を行うロボット102 の作業内容を指定するための装置である。
【０１９９】
上記ロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させるものである。
【０２００】
この構成により、上述したように、表示部117 には、生活空間の実状況に則した仮想空間からなる操作画面が表示される。これにより、生活空間内の複雑な状況が的確にかつ分かりやすくユーザに提示される。
【０２０１】
また、ロボット102 の作業内容の指定は、その仮想空間からなる操作画面において行われるため、ユーザは、ロボット102 の作業内容を容易に指定可能になる。
【０２０２】
本発明による物品取扱い方法は、所定の生活空間内に存在する物品の移動作業を行うロボット102 を用いた方法である。
【０２０３】
そして、上記物品取扱い方法は、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、上記生活空間内で上記ロボット102 が、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含む。
【０２０４】
本発明による物品取扱い方法は、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含む。この視点を切り替えるステップは、上記実施形態では、仮想空間内の所望の移動先に物品アイコンをドラッグアンドドロップ操作するステップの前としたが、これに代えて、又はこれと併せて、所望の物品アイコンを指定するステップの前としてもよい。
【０２０５】
−他の実施形態−
尚、本実施形態では、環境管理サーバ101 が操作端末103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしたが、例えば、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしてもよい。
【０２０６】
また、本実施形態では、物品取扱いシステムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。
【０２０７】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０２０８】
さらに、本実施形態では、ロボット102 は物品の移動作業を行うものとし、環境の実状況に則した仮想空間からなる操作画面において、物品アイコンのドラッグアンドドロップ操作により、ロボット102 の作業内容を指定するようにした。しかし、仮想空間からなる操作画面において指定するロボット102 の作業内容は、物品の移動作業に限るものではなく、物品の移動を伴わない作業を含め、その他の作業としてもよい。例えば、操作画面上で、ロボット102 に作業をさせる対象となる物品アイコンを指定したときに、ロボット102 が実行し得る作業内容をメニュー形式で操作画面に表示し、そのメニューから作業内容を選択させることによって、ロボット102 に実行させる作業内容を指定するようにしてもよい。
【０２０９】
【発明の効果】
以上説明したように、本発明による生活空間用の物品取扱いシステム及びロボット操作装置では、生活空間の実状況に則した仮想空間からなる操作画面が、操作端末（ロボット操作装置）の表示部に表示される。これによりユーザは、生活空間内の複雑な状況を、的確に把握することができる。また、ユーザはこの操作画面上で、ロボットに実行させる作業内容を指定することができる。例えば物品の移動作業を指定するときには、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを操作することにより、例えば仮想空間内の所望の移動先にドラッグアンドドロップ操作をすることにより、移動作業の指定ができる。このような直感的な操作によって、ロボットに実行させる作業内容が指定できるため、誰もが容易に、作業内容の指定をすることができる。
【０２１０】
また、操作画面上で、カーソルがロボットの取扱い可能な物品アイコンを指しているときには、そのことをユーザに明示する表示がなされるため、ユーザはロボットに作業させる物品の指定を確実に行うことができる。
【０２１１】
さらに、ロボットに作業させる物品（物品アイコン）を指定したときには、操作画面上で、そのことをユーザが認識可能となる表示がされるため、ロボットが誤って指定された物品の取扱い作業を実行してしまうことを、未然に防止することができる。
【０２１２】
加えて、操作画面を構成する仮想空間の視点は切り替え可能に構成されているため、例えば、ある視点からは死角になっている物品を、視点を切り替えることで見ることができ、ある視点からは死角になっている位置を、視点を切り替えることで見ることができる。すなわち、操作端末の表示部に、生活空間の複雑な実状況に則した仮想空間内全てを、確実に表示することができる。
【０２１３】
また、生活空間の実状況に則した仮想空間を、カメラが撮像した画像データによって構成することで、仮想空間を容易に作成することができる。
【図面の簡単な説明】
【図１】本実施形態に係る物品取扱いシステムの全体構成を示すブロック図である。
【図２】背景差分法の原理を示す説明図である。
【図３】物品／移動体検索・管理手段の構成を示すブロック図である。
【図４】ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。
【図５】物品／移動体データベースの内、物品データベースの構成と記載内容例を示す図である。
【図６】物品／移動体データベースの内、移動体データベースの構成と記載内容例を示す図である。
【図７】持出・持込データベースの構成と記載内容例を示す図である。
【図８】環境内で物品が移動する一例を説明する説明図である。
【図９】環境の実状況と、それに対応する環境マップとを示す図である。
【図１０】環境マップに付随する設備データベースの構成と記載内容例を示す図である。
【図１１】作業ロボットの構成の一例を示す概略図である。
【図１２】画像データと、画面マスクデータとからなる操作画面の構成を示す図である。
【図１３】環境内に設定された実世界座標系と仮想視点座標系との関係を示す図である。
【図１４】操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
【図１５】図１４とは異なる物品の移動作業を指定する手順を示す図である。
【図１６】操作画面における物品アイコンの表示形態の例を示す図である。
【図１７】作業ロボットの制御手段に係るフローチャートである。
【符号の説明】
101・・・環境管理サーバ
102・・・作業ロボット
103・・・操作端末（操作手段、ロボット操作装置）
104・・・センシング手段（撮像手段）
106・・・物品／移動体データベース
108・・・環境マップ
110，115，119・・・制御手段
116・・・入力部
117・・・表示部
118・・・表示制御手段
Claims (8)
- 所定の生活空間内に存在する物品の取扱い作業を行うロボットと、
前記生活空間内に設置され、前記生活空間を撮像する複数の撮像手段と、
前記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段と、
ユーザに提示するための操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
前記操作画面を生成する表示制御手段とを備え、
前記操作画面は、
前記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、
上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、
ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、ロボットに行わせる作業内容を上記仮想空間上で指定し、
上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステム。 - 請求項１において、
ロボットが実行する作業は、生活空間内での物品の移動作業であることを特徴とする物品取扱いシステム。 - 請求項２において、
操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、
物品の移動作業は、上記物品アイコンの操作によって指定されることを特徴とする物品取扱いシステム。 - 請求項３において、
物品の移動作業は、所望の物品アイコンを仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定されることを特徴とする物品取扱いシステム。 - 請求項１において、
操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ユーザが入力部を介して操作を行うポインタとを有し、
上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示することを特徴とする物品取扱いシステム。 - 請求項１において、
操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ユーザが入力部を介して操作を行うポインタとを有し、
上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品に関する情報を表示することを特徴とする物品取扱いシステム。 - 請求項１において、
操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、
上記操作画面上で物品アイコンが指定されることによりロボットの作業対象となる物品が指定されたときには、その物品アイコンを強調表示することを特徴とする物品取扱いシステム。 - 所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に設置され、上記生活空間を撮像する複数の撮像手段と、上記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段とからの情報を受信する受信手段と、
ユーザに提示するための操作画面を表示する表示部と、ユーザが操作をする入力部と、前記操作画面を生成する表示制御手段とを備え、
前記操作画面は、
上記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、
上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、
ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、
ロボットに行わせる作業内容を上記仮想空間上で指定させることを特徴とするロボット操作装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003037949A JP3713021B2 (ja) | 2003-02-17 | 2003-02-17 | 生活空間用の物品取扱いシステム及びロボット操作装置 |
| US11/330,379 US7187998B2 (en) | 2003-02-17 | 2006-01-11 | Article handling system and method and article management system and method |
| US11/330,381 US7209803B2 (en) | 2003-02-17 | 2006-01-11 | Article handling system and method and article management system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003037949A JP3713021B2 (ja) | 2003-02-17 | 2003-02-17 | 生活空間用の物品取扱いシステム及びロボット操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004243499A JP2004243499A (ja) | 2004-09-02 |
| JP3713021B2 true JP3713021B2 (ja) | 2005-11-02 |
Family
ID=33022604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003037949A Expired - Lifetime JP3713021B2 (ja) | 2003-02-17 | 2003-02-17 | 生活空間用の物品取扱いシステム及びロボット操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3713021B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012135858A (ja) * | 2010-12-28 | 2012-07-19 | Toyota Motor Corp | 操作環境モデル構築システム、および操作環境モデル構築方法 |
| CN108724199A (zh) * | 2017-04-17 | 2018-11-02 | 哈工大机器人集团有限公司 | 一种工业级自主回收垃圾废料智能机器人 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006102881A (ja) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | 把持ロボット装置 |
| ATE524784T1 (de) * | 2005-09-30 | 2011-09-15 | Irobot Corp | Begleitroboter für persönliche interaktion |
| JP5028568B2 (ja) * | 2006-01-24 | 2012-09-19 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム |
| JP5158808B2 (ja) * | 2009-02-23 | 2013-03-06 | 独立行政法人科学技術振興機構 | ロボット制御システム及びロボット制御方法 |
| US9579799B2 (en) * | 2014-04-30 | 2017-02-28 | Coleman P. Parker | Robotic control system using virtual reality input |
| JP2015229234A (ja) * | 2014-06-06 | 2015-12-21 | ナブテスコ株式会社 | 作業ロボットの教示データ生成装置及び教示データ生成方法 |
| CN108139754A (zh) | 2015-10-13 | 2018-06-08 | 星船科技私人有限公司 | 用于自主或半自主递送的方法和系统 |
| JP7196894B2 (ja) * | 2020-11-20 | 2022-12-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
| WO2022138724A1 (ja) * | 2020-12-24 | 2022-06-30 | 川崎重工業株式会社 | ロボットシステム及びロボット作業方法 |
| WO2023080230A1 (ja) * | 2021-11-08 | 2023-05-11 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | 管理装置、管理システム、管理方法および管理プログラム |
-
2003
- 2003-02-17 JP JP2003037949A patent/JP3713021B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012135858A (ja) * | 2010-12-28 | 2012-07-19 | Toyota Motor Corp | 操作環境モデル構築システム、および操作環境モデル構築方法 |
| CN108724199A (zh) * | 2017-04-17 | 2018-11-02 | 哈工大机器人集团有限公司 | 一种工业级自主回收垃圾废料智能机器人 |
| CN108724199B (zh) * | 2017-04-17 | 2020-11-03 | 哈工大机器人集团股份有限公司 | 一种工业级自主回收垃圾废料智能机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004243499A (ja) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7191035B2 (en) | Article handling system and method and article management system and method | |
| JP4473849B2 (ja) | 物品取扱いシステムおよび物品取扱いサーバ | |
| US7269479B2 (en) | Article transporting robot | |
| US20060195226A1 (en) | Mobile robot system and program for controlling the same | |
| JP3738256B2 (ja) | 生活空間用の物品移動システム、及びロボット操作装置 | |
| JP3745364B2 (ja) | 物品管理システム、物品管理サーバ | |
| JP3713021B2 (ja) | 生活空間用の物品取扱いシステム及びロボット操作装置 | |
| WO2021219812A1 (en) | Service robot system, robot and method for operating the service robot | |
| JP2005056213A (ja) | 情報提供システム、情報提供サーバ、情報提供方法 | |
| JP7277523B2 (ja) | ロボットを用いた配送方法及びシステム | |
| JP3722806B2 (ja) | 物品管理システムおよびロボット制御装置 | |
| US20230101981A1 (en) | Cleaning robot | |
| JP3738254B2 (ja) | 物品管理システム | |
| CN115151880A (zh) | 机器人 | |
| US20220291696A1 (en) | Transport system, control apparatus, transport method, and program | |
| JP2004323135A (ja) | 物品管理システム | |
| JP2006338059A (ja) | 物品管理システム及びその制御用プログラム並びにその制御方法 | |
| JP2005056066A (ja) | 物品管理システム、物品管理サーバ、物品管理方法 | |
| JP2005018108A (ja) | 生活空間用の物品管理システム、物品管理サーバ、物品管理方法 | |
| JP2004345784A (ja) | 物品管理システム、物品管理サーバ、物品管理方法 | |
| CN115176213A (zh) | 机器人 | |
| JP2005001815A (ja) | 生活空間用の物品管理システム、物品管理サーバ、物品管理方法 | |
| JP7454161B2 (ja) | ロボット制御装置、ロボット制御システム及びロボット制御方法 | |
| CN115904082A (zh) | 多模态交互系统及交互方法 | |
| 表允晳 | Empirical Study on Informationally Structured Environment Platform for Service Robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20050302 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3713021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |