JP3738256B2 - 生活空間用の物品移動システム、及びロボット操作装置 - Google Patents
生活空間用の物品移動システム、及びロボット操作装置 Download PDFInfo
- Publication number
- JP3738256B2 JP3738256B2 JP2003057886A JP2003057886A JP3738256B2 JP 3738256 B2 JP3738256 B2 JP 3738256B2 JP 2003057886 A JP2003057886 A JP 2003057886A JP 2003057886 A JP2003057886 A JP 2003057886A JP 3738256 B2 JP3738256 B2 JP 3738256B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- icon
- robot
- designated
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（以下、これらを総称して生活空間という）においてロボットに物品の移動作業を実行させる生活空間用の物品移動システム、及びロボット操作装置に関する。
【０００２】
【従来の技術】
従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボットが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持・運搬や、自動化された倉庫での在庫品の運搬・管理等にロボットが利用されており、その例を挙げるときりがない。
【０００３】
こうした産業用のロボットは、扱う物品の形状・大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献１には、物品の荷積み・荷降ろし作業を行うロボットシステムが開示されている。
【０００４】
【特許文献１】
特開平７−２３７１５９号公報
【０００５】
【発明が解決しようとする課題】
今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボットの研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すエンタテイメント用ロボットや、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボットが実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。
【０００６】
さて、家事支援の基本的な作業の一つに、物品の移動作業（運搬作業）が挙げられる。この物品の移動作業を行うロボットシステムの具体的な応用事例としては、物品を把持可能な自走ロボットが、例えば老人等の物品の持ち運びが不自由な人に代わって物品の移動を行うシステムが考えられる。
【０００７】
こうしたシステムの操作インタフェースとして、例えば従来から産業用ロボットにおいて実現されていたように、ロボットの動作を遠隔操作（リモートコントロール操作）することが考えられる。
【０００８】
しかしながら、ロボットが、ある第１の地点に存在する物品を第２の地点まで移動させるには、そのロボットは、１）現在地から第１の地点まで移動する、２）第１の地点に存在する物品を把持する、３）その物品を把持した状態で第２の地点まで移動する、４）第２の地点において把持をしている物品を開放する、の少なくとも４つの動作を行わなければならない。このため、遠隔操作によってロボットに移動作業をさせる場合には、上記の１）〜４）の４つの動作を全て操作しなければならず、極めて煩雑である上に、その遠隔操作の習熟に手間がかかる。
【０００９】
例えば上記の特許文献１に開示されたロボットシステムでは、操作画面上でロボットの作業内容を指定するように構成されている。より具体的にこのシステムでは、直方体形状の荷扱い物品をパレットに積み込む作業をロボットにさせる際に、その荷扱い物品を仮想的に示す仮想物品図を操作画面内に表示すると共に、その操作画面上で上記仮想物品図を所望の位置及び向きに移動させることによって、ロボットに実行させる作業内容を指定するようにしている。
【００１０】
ところがこのシステムでは、ロボットは、所定の位置（例えばコンベア上）に存在する物品を、所定の位置（パレット上）に移動させるだけであり、操作画面上では、パレット上における物品の位置と向きとを指定するだけである。これに対し、例えば一般家庭等の人が活動を行う空間でロボットが物品の移動作業を行う場合には、物品が存在する位置も定まっておらず、さらに、その物品を移動させる位置も定まっていない。
【００１１】
つまり、上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースでは、複雑かつ自由度の高いロボットの作業内容を指定することができないため、一般家庭等で用いられる非産業用のロボットシステムに上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースを利用することはできない。また、一般家庭等で用いられることを考慮すれば、その操作インタフェースは、ロボットに実行させる作業内容を誰もが簡単に指定可能であることが好ましい。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の移動作業を実行させる非産業用の物品移動システムにおいて、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
【００１３】
【課題を解決するための手段】
本発明による物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、上記物品の属性情報を有する物品データベースとを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、前記操作画面は、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含み、制御手段は、指定された包括アイコンで包括される生活空間内の複数の場所から、指定された物品アイコンに対応する物品の属性情報に応じて、場所を選択する。または、前記操作画面は、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含み、制御手段は、指定された物品アイコンに対応する物品の属性情報と、指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択する。あるいは、上記操作手段における操作モードとして、場所アイコン操作モードと、作用アイコン操作モードとを有する。
【００１４】
この構成によると、操作画面上で、物品アイコンおよび、包括アイコンまたは作用アイコンが指定された場合、物品アイコンに対応する物品を移動させる場所が、制御手段によって選択される。そして、上記ロボットは生活空間内で、選択された場所への物品の移動作業を実行する。あるいは、場所アイコン操作モードのときは、生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示部に表示され、ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する一方、作用アイコン操作モードのときは、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面が表示部に表示され、ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する。
【００１５】
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、操作画面上で、物品アイコンおよび、包括アイコンまたは作用アイコンを指定するだけで、物品アイコンに対応する物品を移動させる場所が選択され、ロボットが指定された物品を選択された場所に移動させる。あるいは、場所アイコン操作モードでは、ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボットが指定された物品を指定された場所に移動させる一方、作用アイコン操作モードでは、ユーザが所望の物品アイコンと作用アイコンとを指定するだけで、ロボットが指定された物品を選択された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボットの作業内容を指定可能になる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明に係る物品移動システムは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（生活空間）において、その空間内に存在する物品の移動作業を作業ロボットに実行させるシステムである。
【００１７】
本実施形態では、一般家庭等の建物内のある一つの部屋を、物品移動システムの対象空間（以下これを環境と呼ぶ）とする。また、上記作業ロボットは、移動作業に限らず、種々の物品取扱い作業を実行するものとしてもよいが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものに限定する。
【００１８】
本システムは、図１に示すように、環境管理サーバ101 （以下、単にサーバと省略することもある）、作業ロボット102 （以下、単にロボットと省略することもある）、及び操作端末103 の大きく分けて３つのサブシステムから構成される。これら３つのサブシステム101 〜103 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
【００１９】
３つのサブシステム101 〜103 はそれぞれ、制御手段110 ，115 ，119 と送受信手段109 とを備えている。ここで、各サブシステム101 〜103 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。
【００２０】
−環境管理サーバの構成−
１番目のサブシステムである環境管理サーバ101 は、環境内の状況を把握するセンシング手段104 と、このセンシング手段104 によって把握した状況のうち、環境内に存在する物品（ロボット102 が取扱い作業可能なもの）と移動体（人や作業ロボット102 等の主として物品の取扱いを行うもの）との状況を管理する物品／移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品／移動体データベース106 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、物品／移動体データベース106 のデータや環境マップ108 のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット102 に対する制御コマンドを送信したりする送受信手段109 と、これらの手段104 ，105 ，107 ，109 をコントロールする制御手段110 とからなる。
【００２１】
上記センシング手段104 は、環境内に存在するありとあらゆる物品や家具、及び環境内に存在する人やロボット102 の位置と状態とを常時監視するものである。上記センシング手段104 は、人やロボット102 によって、環境内に物品が持ち込まれたこと、及び環境外へ物品が持ち出されたことも検出する（このことの詳細は後述する）。
【００２２】
本システムにおいて特徴的な構成要素の一つがこのセンシング手段104 である。つまり、本実施形態に係るシステムでは、対象とする環境は、特定の建物内の一つの部屋に限定をするものの、その環境内で物品の置かれる位置や、その物品を持ち運ぶ移動体の移動経路には制限を加えない。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。
【００２３】
そこで、まず最初に、最も良く使われるセンサの一つである画像センサを使って物品を検出する一般的な方法とその問題点とを簡単に説明する。次に別のセンサである電子タグを使って物品を検出する方法とその問題点とを簡単に説明する。
【００２４】
室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を使って室内の物品等の検出を行うのが一般的である。
【００２５】
ここで、カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法として背景差分法がある。背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。本システムにおけるセンシング手段104 は、環境内の物品や移動体を検出・監視することが目的である。このため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
【００２６】
具体的に、背景差分法による物品の検出方法について、図２を参照しながら説明する。ここで、図２（ａ）はモデル画像の例を示す図であり、図２（ｂ）はある時点でカメラが撮影した画像（入力画像）を示す図であり、図２（ｃ）は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。図２（ｃ）から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる（同図の網掛け部分参照）。このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品を検出することができる。さらに、その画像を画像処理することによって、その物品が何であるかを特定する。このように、背景差分法を用いれば、環境内の物品及び移動体の状況を検出することは可能である。
【００２７】
しかしながらカメラを用いた物品等の検出には、明るさの変化に弱い、解像度が低い、物品が他の物に隠されて見えなくなる、物品が重なっているとそれらが一つの物品として検出されてしまう等、一般的に多くの問題もある。
【００２８】
例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能にすれば解決する。しかしながら死角が無くなるようにカメラを多数設置しただけでは、物品の検出を確実に行い得るとは限らない。つまり、カメラ台数を増やしても解像度の問題及び物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを判断できない（物品を特定できない）のである。
【００２９】
次に、電子タグを使って物品を検出する方法について説明する。近年では電子タグを用いて物品や移動体の位置検出する方法が開発されつつあり、タグによる位置検出が、カメラ画像を使った位置検出に置き換わることも十分に考えられる。
【００３０】
電子タグとはデータを蓄えるＩＣとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタと呼ばれる装置によって電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることができる。
【００３１】
そこで、上記電子タグを各物品に付すと共に、その電子タグにその物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込む。また、移動体（人・ロボット102 ）にも電子タグを付す。人の場合は常時携帯するもの（例えば腕時計等）に電子タグを埋め込んでもよい。移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。一方、環境内には、上記リーダライタを多数設置する。こうすることで、リーダライタが物品及び移動体に付された電子タグの情報を読みとることにより、カメラがなくても、環境内に存在する物品等の検出が可能になる。また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合には、物品の存在を検出することに加えて、電子タグに埋め込まれた物品の形状データを利用して、後述するようにロボット102 による物品の把持が容易になる、製造年月日データを利用して品質期限の管理が可能になる、物品の種類データを利用して捜し物を見つけるのが簡単になる等、ユーザに大きなメリットもたらす。
【００３２】
しかし、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短いのである。電子タグを使った物品検出の問題点の一つはその通信距離の短さにある。また、リーダライタを環境内に多数設置することで、通信距離の問題を解消することも考えられるが、リーダライタはカメラに比べてコストが高く、環境内にカメラのように多数設置することは現実的ではない。
【００３３】
以上、環境内に存在する物品及び移動体を検出する方法として、画像センサを使った方法と、電子タグを使った方法とをそれぞれ示したが、いずれの方法にも一長一短がある。
【００３４】
そこで、画像センサと電子タグとの双方を使った物品の検出方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子タグを使ってその物品を特定するというハイブリッド処理を行うのである。具体的な処理の例を以下に２つ挙げる。
【００３５】
一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット102 にリーダライタを取り付ける。また、各物品及び移動体には電子タグを取り付けておく。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品の近傍に上記ロボット102 を移動させて、そのロボット102 に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
【００３６】
もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置する。このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品に向ける。こうして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。尚、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いることになる。このため、環境内に人がいないことを、例えば背景差分法によって確認した上で行う必要がある。
【００３７】
以上、本システムにおけるセンシング手段104 の具体例として、カメラ及び／又は電子タグを用いた方法について説明したが、本システムにおけるセンシング手段104 はここで説明した以外の方法を採用してもよい。
【００３８】
また、詳しくは後述するが、ドアや窓等の、環境と外部との出入り口には、センシング手段104 としてのリーダライタを設置し、これによって、環境内への物品の持ち込みや持ち出しを検出する。
【００３９】
上記センシング手段104は、物品や移動体を検出したときには、その情報を物品／移動体検索・管理手段105 に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置及び向き等である。
【００４０】
物品／移動体検索・管理手段105 は、センシング手段104 によって検出された環境内に存在する各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）106 に蓄積するものである。このＤＢ106 の詳細は後述するが、ＤＢ106 に蓄積する情報には、少なくとも物品及び移動体の位置が含まれる。
【００４１】
また、物品／移動体検索・管理手段105 は、センシング手段104 からの情報に基づいて、物品の取扱い（物品の移動）を行っている移動体（人・ロボット）を推論し、その推論結果を上記物品／移動体ＤＢ106 に蓄積するように構成されている。
【００４２】
上記物品／移動体検索・管理手段105 は、図３に示すように、物品（物品／移動体ＤＢ106 に登録されている物品）が移動体によって取り扱われていること、ここでは特に移動体によって物品が移動されていることを検出する物品取扱検出手段３１と、上記物品取扱検出手段３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する取扱者特定手段３２とを備えている。
【００４３】
上記物品取扱検出手段３１は、センシング手段104 からの情報に基づいて、物品が移動体によって取り扱われていること（物品取扱状態）を検出する。例えば、上述した背景差分法を利用して物品を検出しているときには、入力画像（カメラ画像）とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出することができる。尚、この方法に代えて、例えば電子タグを利用して、物品が移動体によって取り扱われていることを検出してもよい。
【００４４】
上記取扱者特定手段３２は、上記物品取扱検出手段３１が物品取扱状態を検出したときに、その物品を取り扱っている取扱者を特定し、その取扱者の情報を物品／移動体ＤＢ106 に蓄積する。
【００４５】
上記取扱者の特定は、具体的には次のようにすればよい。つまり、センシング手段104 がカメラを利用しているときには、そのカメラによって物品取扱状態が検出された領域を撮像する。そして、撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。こうして特定された移動体は、取扱いがされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定することができる。ここで、センシング手段104 が利用するカメラは、背景差分法による物品検出に用いられるため、通常、広域を撮影する広角カメラである。この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りないことが多い。そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置、又はロボット102 に設置してもよい。上記物品取扱検出手段３１が物品取扱状態を検出した領域を狭角カメラによって撮像し、その撮像した画像に対して顔認証処理を行うことにより、取扱者を精度よく特定することができる。
【００４６】
尚、物品取扱者の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。また、カメラ画像に対する認証処理を行わなくても、そのカメラ画像自体を物品／移動体ＤＢ106 に蓄積してもよい。これは、認証処理によって移動体を特定することができなかったときに限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。
【００４７】
また、例えばドアや窓等の、環境（部屋）の特定の場所における物品の取扱いを管理する場合、具体的には、環境内への物品の持ち込みや持ち出しを管理する場合は、電子タグとリーダライタとを用いるのがよい。
【００４８】
すなわち、図４に示すように、環境と外部との出入り口である窓５１及びドア５２の開口部それぞれに、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設する。そして、物品及び移動体がこの窓５１やドア５２を通過したときに、その物品及び移動体に取り付けられた電子タグからの情報をリーダライタが読み取り、物品取扱検出手段３１はそれによって、物品が移動体によって取り扱われている（環境内への持ち込み又は環境内からの持ち出し）ことを検出する。また、取扱者特定手段３２は、リーダライタが読み取った情報に基づいて、物品と一緒に窓５１やドア５２を通過した移動体を、物品の取扱者（物品の持ち込みや持ち出しを行う者）と特定し、その取扱者の情報を上記物品／移動体ＤＢ106 に蓄積すればよい。こうすることで、物品の持込者・持出者の管理を自動的に簡単な処理で行なえる。
【００４９】
尚、図４では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
【００５０】
また、このようなリーダライタを窓５１やドア５２に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置する。こうすることで、外側の第１リーダライタが電子タグからの情報を検出した後に、内側の第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第２リーダライタが電子タグからの情報を検出した後に、外側の第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。
【００５１】
このようなリーダライタを用いた、特定の場所における物品の管理は、窓５１やドア５２における物品の管理に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等の物品を収容する物の開口部に同様のリーダライタを設置すれば、冷蔵庫や戸棚内に入れる物品と、その冷蔵庫や戸棚内から取り出される物品との管理が可能になる。
【００５２】
尚、本システムでは、物品の取扱いは人に限らず、後述するように人が操作端末103 において指定した作業内容に応じてロボット102 も物品の取扱いを行う。このようにロボット102 が物品の取扱いを行う場合、その物品取扱者はロボット102 としてもよいし、そのロボット102 を操作する人を物品取扱者としてもよい。例えば、ロボット102 を操作する人を物品取扱者とするときには、ロボット102 の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行ない、その認証結果に基づいて、ロボット102 の操作者（物品取扱者）を特定すればよい。また、ロボット102 の操作の開始時に、操作端末103 においていわゆるＬＯＧＩＮ、ＬＯＧＯＮ処理によるユーザ認証を行なう場合には、そのユーザ情報からロボット102 の操作者（物品取扱者）を特定してもよい。
【００５３】
また、詳しくは後述するが、上記物品／移動体検索・管理手段105 は、制御手段110 から物品／移動体ＤＢ106 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ106 から取り出し、その情報を制御手段110 に送ることも行う。
【００５４】
環境管理サーバ101 の物品／移動体ＤＢ106 は、物品及び移動体の情報を蓄積するＤＢであり、例えば図５及び図６に示すように構成される。すなわち、この物品／移動体ＤＢ106 は、物品を扱う物品データベース（図５）と、移動体を扱う移動体データベース（図６）とからなる。
【００５５】
物品ＤＢは、物品データ、物品履歴データ、及び物品属性データ、の３種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００５６】
１）物品データ：個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、及び物品属性データへのポインタ、が蓄積される。ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるＩＤが割り当てられる。一方、種類が同じ物品は同じ物的属性を持つため、異なるＩＤが割り当てられていても、同じ物品属性データへのポインタを持つ。これにより、データベースの容量を節約する。
【００５７】
２）物品履歴データ：物品が取り扱われた履歴を格納するもので、取り扱われた時刻、取扱内容、取扱者、取扱い後の位置、の４項目からなる。この内、位置データの表し方としては種々の表現が考えられるが、ここでは、図５に示すように、６つのパラメータで位置を表現することとする。つまり、最初の３つのパラメータ（x1 ,y1 ,z1）は物品の位置（重心位置等を用いる）を表し、後の３つのパラメータ（l1,m1,n1）は、物品の向きを表す。また、物品履歴データにおける取扱者は、上記取扱者特定手段３２によって特定された移動体である。
【００５８】
３）物品属性データ：物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図５に示すように、物品の重さ・形状、その外観の画像データが挙げられる。
【００５９】
尚、物品履歴データの一つとして、上述したように、環境における特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。例えば図７は、ドアを介した物品の持ち出し及び持ち込み履歴を格納する持出・持込ＤＢの例である。このＤＢは、取り扱われた時刻、取扱い物品、取扱内容、取扱者、の４項目からなる。ここで、取扱い物品の項目で「物品名＠カバンＣ」とあるのは、その物品が、カバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライタを設置することによって検出可能である。この持出・持込ＤＢにより、時刻ｔ２に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて環境（部屋）から持ち出したことがわかる。
【００６０】
また、持出・持込ＤＢには、そのカバンＣを持ったお父さんの行き先や、目的（例えば出張）を登録しておいてもよい。こうすることで今後は行き先や目的を指定すれば、この持出・持込ＤＢを参照することで、必要な物品（例えば出張に必要な物品）を特定することができ、さらには、ロボット102 にその必要な物品をカバンＣに入れる作業を実行させることも可能になる。
【００６１】
移動体ＤＢは、図６に示すように、移動体リスト、及び移動体履歴データ、の２種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００６２】
１）移動体データ：個々の移動体を区別するためのＩＤ、移動体履歴データへのポインタ、が蓄積される。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
【００６３】
２）移動体履歴データ：移動体の、ある時刻における位置と、その時刻における状態との３項目からなる。ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット102 が環境内を移動するときの障害物となる。このため、移動体の位置はできるだけ現実に則した表し方が望ましい。ここでは、ロボット102 が障害物を避けつつ経路作成が可能となるために必要最小限の情報で移動体の位置を表すべく、床面上で移動体が占めるおおよその領域を円で表すこととする。すなわち、円の中心位置のＸＹ座標（x4 ,y4）と円の半径（r1）で移動体の位置を表す。尚、移動体が占める領域を、さらに厳密に表現してもよい。例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。
【００６４】
また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット102 であれば、「把持」「解放」等のロボット102 が物品に対して行う動作を表す。例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段104 による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。尚、ロボット102 に関する移動体履歴データでは、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」として格納する。具体的には、「kan_small_0001：把持」となる。
【００６５】
ここで、センシング手段104 によって検出された物品や、人及びロボット102 等の移動体の情報が、物品／移動体検索・管理手段105 によって、どのように物品／移動体ＤＢ106 に格納されるか、また、その物品／移動体ＤＢ106 のデータがどのように更新されていくかについて、図５，６，８を参照しながら具体的に説明する。
【００６６】
図８は、環境（部屋）を示す図であって、その環境内に２つの缶ジュース２１，２２持ち込まれると共に、これらの缶ジュース２１，２２が環境内を移動する様子を示す図である。同図において、各缶ジュース２１，２２の移動は矢線によって示され、これらの矢線に付されているt1,t2,t5,t6 の文字は、矢線に従って缶ジュースが移動された時刻を示す。時刻は、t1〜t6の順で進んだものとする。尚、図８に示す環境内には、図示は省略するセンシング手段104 として電子タグのリーダライタが配設されており、各缶ジュース２１，２２、並びに環境内に出入りする人及びロボット102 （図示省略）にはそれぞれ電子タグが取り付けられている。各缶ジュース２１，２２の物品属性データは、電子タグからリーダライタで読みとるものとし、物品／移動体ＤＢ106 の移動体データへの各移動体の登録及び移動体履歴データの初期化はすでに行われているものとする。また、物品／移動体ＤＢ106 の物品データには、何も記録されていない空の状況であるとする。
【００６７】
先ず、移動体であるお父さん（図示省略）が、缶ジュース２１を持って部屋（環境）に入ってくる。センシング手段104 がお父さんと缶ジュース２１とを検出すると、その検出結果は、物品／移動体検索・管理手段105 に送られる。それを受けた物品／移動体検索・管理手段105 は、その缶ジュース２１に[kan_small_0001]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これと共に、その缶ジュース２１の物品属性データを格納する。また、その缶ジュースの移動履歴を格納するための「位置履歴リスト１」を作成する（図５参照）。この時点では位置履歴リスト１の中身はまだ空のままである。一方で、センシング手段104 により検出したお父さんの移動体履歴を更新するために、移動体データにおけるＩＤ「お父さん」の位置履歴を参照することによって、「位置履歴リスト３」が呼び出される（図６参照）。
【００６８】
時刻t1に、お父さんがテーブル近傍の位置P4（x4 ,y4）に座り、持っていた缶ジュース２１をそのテーブル上のP1（x1,y1,z1）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の内容をセットする（図５参照）。具体的には、
時刻：t1
取扱内容：新規
取扱者：お父さん
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の内容をセットする（図６参照）。具体的には、
時刻：t1
位置：(x4 ,y4 ,r1)
状態：座る
をセットする。
【００６９】
時刻t2に、別の移動体である息子（図示省略）が、P1（x1,y1,z1）に置かれた上記の缶ジュース２１を床の上であるP2（x2,y2,z2）に移動させる。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t2
取扱内容：移動
取扱者：息子
取扱後の位置：P2（x2,y2,z2,l2,m2,n2）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、移動されたことを意味する。尚、時刻t2では、息子の位置が変わるため、物品／移動体検索・管理手段105 は、息子の移動体履歴データ（位置履歴リスト４）の内容をセットするが、ここではその図示を省略する。
【００７０】
時刻t3に、お父さんが部屋の外に出る。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の新たな内容をセットする（図６参照）。具体的には、
時刻：t3
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たため、その位置が本システムの管理外になったことを意味する。
【００７１】
また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュース２１を元のテーブルの上P1（x1,y1,z1）に戻すように、操作端末103 を操作してロボット102 に指示をする（このロボット102 に対する指示についての詳細は後述する）。その指示を受けたロボット102 が、缶ジュースの位置P2（x2,y2,z2）まで移動し、時刻t4にその缶ジュースを把持する。物品／移動体検索・管理手段105 は、ロボット102 の移動体履歴データ（位置履歴リスト５）の内容をセットする（図６参照）。具体的には、
時刻：t4
位置：(x2 ,y2 ,r2)
状態：[kan_small_0001]：把持
をセットする。尚、ロボット102 の動作は、センシング手段104 が検出してもよいが、ネットワークを介してサーバ101 が、ロボット102 からの動作情報を受信することによって、ロボット102 の動作を検出してもよい。
【００７２】
時刻t5に、上記ロボット102 が缶ジュースを把持した状態でテーブルの近傍P4（x4,y4）に移動し、テーブルの上P1（x1,y1,z1）でその把持した缶ジュースを解放する。物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト５の新たな内容をセットする（図６参照）。具体的には、
時刻：t5
位置：（x4 ,y4 ,r2）
状態：[kan_small_0001]解放
をセットする。
【００７３】
また、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t5
取扱内容：移動
取扱者：ロボット
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
しばらくして、別の移動体であるお母さんが、新たな缶ジュース２２を持って部屋に入ってくる。センシング手段104 がお母さんと新たな缶ジュース２２とを検出すると、物品／移動体検索・管理手段105 は、その新たな缶ジュース２２に[kan_small_0002]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。この新たな缶ジュースの物品属性データは、上記の缶ジュース２１と同じである。また、その新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図５参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
【００７４】
時刻t6に、お母さんが新たな缶ジュース２２を床の上であるP3（x3,y3,z3）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト２の内容をセットする（図５参照）。具体的には、
時刻：t6
取扱内容：新規
取扱者：お母さん
取扱後の位置：P3（x3,y3,z3,l3,m3,n3）
をセットする。尚、図６では、お母さんの移動体データ及び移動体履歴は省略している。
【００７５】
以上のようにして、物品／移動体検索・管理手段105 は、物品／移動体ＤＢ106 に物品や移動体の情報を格納・更新する。ここでは、データベースの更新を、物品／移動体ＤＢ106 に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。
【００７６】
尚、物品／移動体ＤＢ106 における物品履歴データ及び移動体履歴データは、できるだけ長時間に亘ってデータ蓄積すれば、より過去に遡って履歴を調べることができ望ましい。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積すれば、人やロボット等の移動体の移動経路を管理することができ望ましい。
【００７７】
但し、物品／移動体ＤＢ106 の容量には限界があるため、ある一定の期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
【００７８】
環境管理サーバ101 における環境マップ管理手段107 は、センシング手段104 からの情報に基づいて環境マップ108 を作成すると共に、その作成した環境マップ108 の管理を行うものである。この環境マップ108 は、ロボット102 が環境内を移動する際に利用するものである。ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路計画を立てる。
【００７９】
また、上記環境マップ管理手段107 は、詳しくは後述するが、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。
【００８０】
上記環境マップ108 は、例えば環境の実状況が、図９（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図９（ｂ））を環境マップ108 としてもよい。また、図９（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。さらに、図９（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。すなわち環境マップ108 は、そのマップの用途や、そのマップ作成に掛かる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図９（ｂ）に示す環境マップ108 はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。平面モデルからなる環境マップも同様であり、図９（ｃ）に示す作業マップ108 では、テーブル及び本棚を平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化し、ゴミ箱を円領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ108 では、上記２つの矩形領域及び円領域をロボット102 が移動不可能な領域に設定する。
【００８１】
図１０は環境マップに付随する設備データベースの一例を示した図で、このものは、図９に示す環境に対応している。この設備データベースは、設備データと、及び設備属性データとの２種類のデータをそれぞれ蓄積するサブデータベースからなる。
【００８２】
１）設備データ：環境それ自体、及びこの環境内の個々の設備（物品とは異なり環境に固定又は設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤ、設備属性データへのポインタが蓄積される。ここでは、環境（部屋）には「room_0001」のＩＤが付され、環境内に存在するテーブル、本棚、及びゴミ箱にはそれぞれ「table_0001」「bookshelf_0001」「trash_0001」のＩＤが付されている。
【００８３】
２）設備属性データ：環境自体に係る設備属性データには、その環境内の床面データが蓄積される。例えばその環境内に互いに高さの異なる複数の床面が存在するときには、その床面の数だけ床面データが蓄積される（床面１，床面２，…）。この床面データは、例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,2200,0）
ここで、最初の４つの値（座標）は、床面を構成する各頂点の座標（実世界座標での座標）を示し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を示す。また、最後の値（０）は、床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。
【００８４】
設備（家具等）の設備属性データには、その設備を構成する各面のデータ（面１，面２，…）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢が蓄積される。具体的に、設備を構成する面のデータは例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,1,400）
ここで、最初の３つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「１」はその面に物品が載置可能な否かのフラグである。物品が載置可能なときは「１」となり、載置不可能なときは「０」となる。最後の値「４００」は、その面に物品が載置可能であるときに、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときには、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
【００８５】
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。こうした「主な物品の形状と姿勢」のデータは、例えば設備の種類が靴棚であるとき（この場合の主な物品は靴）や、食器乾燥機（この場合の主な物品は食器）の設備属性データに蓄積される。但し、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。設備の種類が例えばテーブルやゴミ箱であるときには、物品の形状及び姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
【００８６】
このように、設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、作業ロボット102 に、例えば本を本棚に移動させる作業を指定したときには、その作業ロボット102 は、このデータを基に指定された本を立てた姿勢で本棚の棚に載置することができるようになる。
【００８７】
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
【００８８】
１）送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段105 や環境マップ管理手段107 にデータの参照要求を出す。
【００８９】
２）上記要求に対して物品／移動体検索管理手段105 又は環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。
【００９０】
３）操作端末103 から送受信手段109 を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット102 に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット102 に送信する。尚、ロボット制御コマンド列については、後述する。
【００９１】
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ106 で管理している物品の一部又は全部の状況や、環境マップ108 の状況を、送受信手段109 を通じてロボット102 やユーザ（操作端末103 ）にブロードキャストする。
【００９２】
例えば、上記１），２）の制御は、ユーザが操作端末103 を操作して物品の検索を行う場合に利用される。この際、サーバ101 に対する問い合わせ内容として、ユーザは例えば「○月△日×時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キーを入力してもよい。
【００９３】
このような問い合わせに対して、環境管理サーバ101 は物品／移動体ＤＢ106 からその物品を検索する。そして、操作端末103 に、例えば「それは、○○さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。
【００９４】
尚、その物品が環境の外に持ち出されているときには、その持出者の情報を出力してもよい。このときに、その持出者が人であるときには、サーバ101 がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ101 が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。
【００９５】
−作業ロボットの構成−
２番目のサブシステムである作業ロボット102 は、環境内で物品の取扱い作業を行うものである。ここでは特に、上記作業ロボット102 は、ユーザに指定された作業内容に従って、環境内で物品の移動させる移動作業を行う。
【００９６】
図１に示すように、ロボット102 はその基本構成として、ロボットの近辺の障害物等を検知する障害物センサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、後述する場所アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性に応じて移動場所の選択を行う移動場所選択手段120 、これらのセンサ111 及び各手段109 ，112 〜114 ，120 をコントロールする制御手段115 とからなる。
【００９７】
図１１は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 や制御手段115 等を収容する略箱型の本体部１０を備えている。以下、図１１における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【００９８】
把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部１０の上面に取り付けられている。上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。また、本システムでは、環境内に存在する各物品に電子タグが付されているとして、上記把持手段112 にリーダライタを取り付けている。こうすることで、把持手段112 が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによって、その把持した物品が何であるかを特定することができる。尚、把持手段112 に取り付けるリーダライタは省略してもよい。
【００９９】
移動手段114 は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段114 を車輪１４で構成したが、移動手段114 の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。
【０１００】
障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのカメラ11b 、及び衝突センサ11c から構成される。
【０１０１】
上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサは、本体部の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
【０１０２】
上記カメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このカメラ11b は、本体部１０の前部に取り付けられている。
【０１０３】
上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられている。
【０１０４】
移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域（例えば図９（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図９（ｃ）の平面モデルを用いた環境マップ 108 を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート（図９（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。
【０１０５】
尚、環境の状況が複雑すぎてロボット102 の移動経路の算出が出来ない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット102 の移動経路を指定するモードを設けてもよい。
【０１０６】
作業ロボット102 の制御手段115 は、主に環境管理サーバ101 から送受信手段109 を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。
【０１０７】
ここで、ロボット制御コマンドとは、物品の把持や、ロボット102 自体の移動の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。
【０１０８】
１）移動：（move,座標）又は（move,設備ＩＤ）
ロボット102 の現在位置から座標で指定された位置、又は設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段113 が計画する。
【０１０９】
また、設備ＩＤで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マップ内の設備属性データを利用する。
【０１１０】
２）把持：（grab,物品ＩＤ）
物品ＩＤで指定された物品を、ハンド12b によって把持するコマンドである。物品の場所は物品ＤＢを参照し、把持計画は把持手段112 が作成する。
【０１１１】
３）解放：（release）
ハンド12b を解放するコマンドである。
【０１１２】
以上、簡単に３種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの３種類に限らず、必要に応じて増やしてもよいことはいうまでもない。後述するように、作業内容として、例えばある物品をある場所に移動させる作業が、ユーザにより指定されたときには、その作業は、「（物品の位置Ｂ１への）移動」、「（物品の）把持」、「（移動先Ｂ２への）移動」、「（物品の）開放」という４つの作業単位に分解される。この場合のロボット制御コマンド列は、
move,B1（物品が置かれている位置Ｂ１にロボットを移動する）
grab,物品ＩＤ（Ｂ１の位置にある物品を把持する）
move,B2（（物品を把持した状態で）移動先であるＢ２に移動する）
release（把持している物品を解放する）
となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記４つの作業単位を一組として、物品の数だけ並べられ、制御手段115 は、その順番に従って制御コマンドを順に実行する。
【０１１３】
図２０は作業ロボット102 の制御手段115 に係るフローチャートを示す。作業ロボット102 の送受信手段109 がサーバ101 から送信された制御コマンド列を受信したときには、上記制御手段115 は、ステップＳ2401〜ステップＳ2403で、いずれの作業単位であるかを判定し、その作業単位に応じた処理を実行する。
【０１１４】
先ずステップＳ2401で作業単位が「移動」であったときには、ステップＳ2404に移行し、指定された位置までの経路を、移動計画作成手段113 に作成させる。
【０１１５】
続くステップＳ2405では、上記移動計画作成手段113 で作成した経路に応じて移動制御コマンドを移動手段114 に送り、上記指定された位置までの移動処理を実行する。
【０１１６】
一方、上記ステップＳ2402で作業単位が「把持」であったときには、ステップＳ2406に移行し、障害物センサ111 によって把持対象物品の姿勢を検出すると共に、続くステップＳ2407で、その検出結果に応じてアーム12a とハンド12b の動作を計算する。そして、ステップＳ2408で、把持制御コマンドを把持手段112 に送り、物品の把持処理を実行する。尚、上記ステップＳ2406では、障害物センサ111 によって物品の姿勢を検知するが、物品の姿勢は、環境管理サーバ101 の物品ＤＢ106 に記録されているため、サーバ101 に物品の姿勢を問い合わせるようにしてもよい。
【０１１７】
上記ステップＳ2403で作業単位が「解放」であったときには、ステップＳ2409に移行し、指定された移動先に物品が設置されるようにアーム12a とハンド12b の動作を計算する。そして、ステップＳ2410で、解放制御コマンドを把持手段112 に送り、物品の解放処理を実行する。
【０１１８】
ステップＳ2411では、移動、把持及び解放の各動作が終了したらその旨をメッセージとして作業指示元（サーバ101 ）に送信する。
【０１１９】
こうして、操作端末103 で指定した作業内容が、ロボット102 によって実行されることになる。
【０１２０】
尚、作業ロボット102 の移動場所選択手段120 の構成については、後述する。
【０１２１】
−操作端末の構成−
３番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
【０１２２】
操作端末103 はその基本構成として、図１に示すように、後述する操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部117 、上記操作画面上でロボット102 に対する作業内容を指定するための例えばポインティングデバイスからなる入力部116 、上記表示部117 に表示される操作画面の作成等の表示制御を行う表示制御手段118 、上記入力部116 にて入力されたロボット102 の作業内容を環境管理サーバ101 に送る送受信手段109 、後述する作用アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性とその物品に対する作用とに応じて移動場所を決定する作用／場所変換手段121 、これらの各手段109 ，116 〜118 ，121 をコントロールする制御手段119 からなる。
【０１２３】
この操作端末103 としては、例えば汎用ＰＣを用いることも可能である。この場合、後述する各処理を実行させる制御プログラムをＰＣが読み込むことによって、操作端末103 として用いることが可能になる。
【０１２４】
上記表示制御手段118 は、上記サーバ101 から送信された情報、具体的には、センシング手段104 としてのカメラが環境内を撮像した画像のデータ、物品／移動体データベース106 に蓄積されたデータ、環境マップ108 に基づいて、操作画面を作成する。こうして表示制御手段118 で作成された操作画面が、表示部117 に表示されることになる。
【０１２５】
本システムは、操作端末103 において、ロボットに実行させる作業内容を指定する操作モードとして、１）仮想空間操作モード、２）場所アイコン操作モード、３）作用アイコン操作モード、の３つの操作モードを有している。各操作モードは、ユーザが入力部116 を操作することによって切り替えられる。
【０１２６】
各操作モードは、表示部117 に表示される操作画面上で、ユーザに作業内容を指定させる点は同じであるが、表示部117 に表示される操作画面の構成が、各モードで互いに異なる。以下、上記３つの操作モードそれぞれについて順に説明する。
【０１２７】
（仮想空間操作モード）
図１２は、仮想空間操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。この操作画面は、環境の実状況に則した仮想空間によって構成されている。この操作画面を構成する仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。本実施形態では、上記カメラは、センシング手段104 として環境内の側壁に設置されたカメラとされている。
【０１２８】
この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図１２に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。尚、仮想空間操作モードでは、環境内に存在する家具等の設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０１２９】
この仮想空間操作モードにおける操作画面では、ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによってロボット102 に実行させる作業内容を指定する。ロボット102 に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。このため、物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。図１２の矢線は、空き缶アイコン（kan_small_0001）を、仮想空間内のリサイクル用ゴミ箱531 に、レモンアイコン（lemon_small_0001）、手帳アイコン（note_small_0001）バナナアイコン（banana_small_0001）を、仮想空間内のテーブル551 に、紙くずアイコン（trash_small_0001）を、仮想空間内の一般用ゴミ箱541 にそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０１３０】
ここで、仮想空間操作モードの操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データに加えて、上記画像データ（仮想空間）に１対１に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断するようにしている。また、画面マスクデータにおけるマスクデータの座標には、物品データベースの物品データ（図５参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデータは、背景差分画像によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０１３１】
そして、この操作画面上で物品アイコンのドラッグアンドドロップ操作を行うことにより、物品の移動作業が指定されたときには、操作端末103 から環境管理サーバ101 にその作業内容のメッセージが送信される。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。
【０１３２】
上記サーバ101 はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット102 に送信する。
【０１３３】
ロボット制御コマンド列を受信した作業ロボット102 の制御手段115 は、図２０に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット102 は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行することになる。
【０１３４】
このように、仮想空間操作モードでは、操作端末103 の表示部117 に表示される操作画面が、環境の実状況に則した仮想空間によって構成されると共に、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業が指定される。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
【０１３５】
また、後述する場所アイコン操作モードや、作用アイコン操作モードとは異なり、仮想空間操作モードでは、仮想空間内で、物品の移動先を自由に指定することができる。これにより、ロボットに実行させる作業内容の自由度が高まる。
【０１３６】
（場所アイコン操作モード）
図１３は、場所アイコン操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。
【０１３７】
この操作画面には、物品アイコンと、環境内における物品の移動場所を表す場所アイコンとが含まれている。上記物品アイコンは、センシング手段104 によって環境内で検出された物品に対応するものである。すなわち、操作画面に含まれる物品アイコン（それに対応する物品）は、環境内に実際に存在しているものである。物品アイコンは、物品ＩＤと対応付けた状態でリスト形式に表示されている。図１３に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。こうすることでユーザは、環境内に存在する物品を一目で認識することが可能になる。尚、環境内に存在する物品が多数であり、一画面内に全ての物品アイコンを表示することができないときにはスクロールバーを利用すればよい。また、これとは異なる他の方法としては、環境内に存在する物品を、食品、衣類といったカテゴリー毎に木構造で分類しておき、上位のカテゴリーから下位のカテゴリーに階層をたどることで、物品アイコンが表示されるようにしてもよい。
【０１３８】
また、物品アイコンは、例えば物品の名称順や、指定される頻度の高い順等に並べ替え可能にしてもよい。さらに、物品の内容に応じて、物品アイコンの表示の順序を自動的に設定するようにしてもよい。例えば、上述したように、カテゴリー毎に物品アイコンを表示するときに、そのカテゴリーが食品である場合は、そこに含まれる物品アイコンを賞味期限の早い順番で表示することをデフォルトで設定しておいてもよい。この場合でも、物品アイコンをその他の基準に従って並び替え可能にすることが好ましい。
【０１３９】
また、この物品アイコンは、センシング手段104 としてのカメラによって撮像した、物品の実際の画像によって構成してもよいし、その物品の付された電子タグにアイコンデータが記録されているときには、そのアイコンデータを利用してもよい。
【０１４０】
場所アイコン操作モードの操作画面に含まれる場所アイコンは、上述したように、環境内における物品の移動場所を表すものであり、例えば、物品が頻繁に移動され得る場所として予め指定しておけばよい。図１３に示す操作画面には、場所アイコンとして、ゴミ箱及びテーブルの各アイコンが含まれている。ここで、場所アイコンの一つであるゴミ箱アイコンは、環境内に存在する一般用ゴミ箱とリサイクル用ゴミ箱とを包括する包括アイコンとなっている。この包括アイコンとは、環境内に存在する複数の場所を包括して操作画面上に示すアイコンである。尚、図１３に示す操作画面に含まれる場所アイコンの一つであるテーブルアイコンは、包括アイコンではなく、環境内のテーブルそのものを示す場所アイコンである。
【０１４１】
場所アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと場所アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。このため、物品アイコンと場所アイコンとをそれぞれ指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の場所アイコン（包括アイコン）にドラッグアンドドロップ操作する。これにより、物品と、その物品の移動先が指定される。また、この場所アイコン操作モードにおける操作画面では、複数の物品アイコンを一度に所望の場所アイコンにドラッグアンドドロップ操作可能に構成されている。
【０１４２】
次に、場所アイコン操作モードの操作画面における、作業内容の指定手順について、図１４を参照しながら説明する。ここでは、空き缶と紙くずとをゴミ箱に移動させる（ゴミ箱に捨てる）作業を指定する場合を例に説明する。尚、同図に示す矢線は、カーソルの移動軌跡を示している。
【０１４３】
ロボット102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。ここでは、カーソルを空き缶アイコンの位置に移動させ、その空き缶アイコンをクリック操作する（同図のＰ0001参照）。物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンが強調表示される。これによりユーザは、どのアイコンが指定されたかを一目で認識可能になる。
【０１４４】
ロボット102 に移動させる別の物品を指定するときには、カーソルをその別の物品アイコンの位置に移動させて、その物品アイコンをクリック操作する。ここでは、カーソルを紙くずアイコンの位置に移動させ、その紙くずアイコンをクリック操作する（同図のＰ0002参照）。このときも指定された物品アイコンが強調表示される。従って、ここでは、空き缶アイコンと紙くずアイコンとが、それぞれ強調表示される。尚、さらに別の物品を指定するときには、その物品アイコンをさらにクリック操作すればよい。
【０１４５】
こうして、ロボット102 に移動させる全ての物品アイコンを指定すれば、その指定した物品アイコンを、場所アイコンにドラッグアンドドロップ操作する。このドラッグアンドドロップ操作は、一度行えば指定した全ての物品が操作される。ここでは、空き缶アイコンと紙くずアイコンとを、ゴミ箱アイコンにドラッグアンドドロップ操作する（同図のＰ0003参照）。
【０１４６】
こうして、空き缶と紙くずとをゴミ箱（リサイクル用ゴミ箱又は一般用ゴミ箱）に移動させるという作業内容が指定されることになる。
【０１４７】
このようにしてロボット102 に実行させる作業内容が指定されれば、上述したように、操作端末103 から環境管理サーバ101 にその作業内容のメッセージが送信されると共に、上記サーバ101 から作業ロボット102 にロボット制御コマンド列が送信される。
【０１４８】
そして、上記作業ロボット102 の制御手段115 は、受信したロボット制御コマンドを、図２０に示すフローチャートに従って実行する。これにより、操作画面上で指定した物品が指定した場所に移動される。
【０１４９】
ここで、場所アイコン操作モードでは、物品の移動先が包括アイコン（上記の例ではゴミ箱アイコン）で指定される場合がある。このように移動先が包括アイコンで指定されたときには、作業ロボット102 の移動場所選択手段120 が、指定された物品の実際の移動先を選択する。
【０１５０】
上記作業ロボット102 の移動場所選択手段120 は、ユーザによって指定された物品の属性に応じて、包括アイコンに含まれる移動先の内から、実際の移動先を選択するものである。この移動場所選択手段120 には、移動場所選択知識が記憶されており、移動場所選択手段120 は、この移動場所選択知識に基づいて移動場所の選択を行う。この移動場所選択知識は、例えばif−thenルールを利用して記述することができる。具体的に、上記のリサイクル用ゴミ箱と一般用ゴミ箱とを包括するゴミ箱アイコンの例では、
と記述することができる。これは、「もし移動場所がゴミ箱に指定されたとき、その移動対象の物品（把持手段112 が把持した物品）がリサイクル品であれば、上記移動場所のゴミ箱とはリサイクル用ゴミ箱であり、一方、移動対象の物品（把持手段112 が把持した物品）がリサイクル品でなければ、上記移動場所のゴミ箱とは一般用ゴミ箱である」、という意味である。尚、移動場所選択知識は、if−thenルールに限らず、その他の記述としてもよい。
【０１５１】
本システムでは、上述したように、作業ロボット102 の把持手段112 にリーダライタが取り付けられている。物品の属性（上記の例では、リサイクル品であるか否か）は、把持手段112 が物品を把持したときにその物品に取り付けられた電子タグの情報を読み取って判定する。
【０１５２】
図１４に示すように、空き缶と紙くずとをゴミ箱に移動させる作業が指定されたときには、作業ロボット102 は次のようにして指定された作業を実行する（図１５参照）。尚、上記空き缶には電子タグが付されている一方、紙くずには電子タグが付されていないものとする。
【０１５３】
すなわち、作業ロボット102 の把持手段112 が、指定された２つの物品の内、先ず空き缶２１を把持したとする。このときに、把持手段112 に取り付けられたリーダライタが空き缶２１に取り付けられた電子タグから情報を読み取る。その情報に基づいて、作業ロボット102 の制御手段115 はその空き缶２１がリサイクルゴミであることを認識する。こうして物品の属性が判別されれば、移動場所選択手段120 は移動場所選択知識に基づいて移動先を判断する。ここでは、空き缶２１がリサイクルゴミであるため、移動先としてリサイクル用ゴミ箱５３が選択される。移動先が選択されれば、そのリサイクル用ゴミ箱５３の位置まで、空き缶２１を把持した状態で上記ロボット102 が移動する（同図の番号「１」が付された矢線参照）と共に、その空き缶２１を解放することによって、空き缶２１をリサイクル用ゴミ箱５３に捨てる。
【０１５４】
次に、作業ロボット102 は指定されたもう一つの物品である紙くず２３の位置まで移動し（同図の番号「２」が付された矢線参照）、その紙くず２３を把持する。このときに、把持手段112 に取り付けられたリーダライタが物品に取り付けられた電子タグから情報を読み取るが、紙くず２３には電子タグが取り付けられていないため、情報が得られない。この場合、作業ロボット102 の制御手段115 はその紙くず２３が一般ゴミであると認識する。移動場所選択手段120 は移動場所選択知識に基づいて、紙くず２３の移動先を一般用ゴミ箱５４に選択する。こうして、上記ロボット102 は、一般用ゴミ箱５４の位置まで紙くず２３を把持した状態で移動し（同図の番号「３」が付された矢線参照）、そこで紙くず２３を解放する。こうして、その紙くず２３を一般用ゴミ箱５４に捨てる。
【０１５５】
尚、ここでは、把持手段102 にリーダライタを取り付けて、各物品に取り付けられた電子タグの情報からその物品の属性を判断するようにしたが、例えば物品データベースに蓄積されたデータに基づいて、物品の属性を判断するようにしてもよい。
【０１５６】
このように、場所アイコン操作モードでは、操作画面に、環境内に存在する物品に対応する物品アイコンと環境内の特定の場所を示す場所アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の場所アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。このため、誰もが容易に、ロボットの作業内容を指定することができる。
【０１５７】
また、場所アイコン操作モードでは、複数の物品アイコンを一度にドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、包括アイコンを指定するときには、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
【０１５８】
さらに、場所アイコン操作モードの操作画面には、包括アイコンが含まれるため、この包括アイコンを利用すれば、ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品の属性に適した移動場所に自動的に物品が移動される。特に上述したように、複数のゴミ（空き缶と紙くず）をゴミ箱に捨てるとき等、複数の物品の移動を行いたいときに包括アイコンを利用すれば、一度の操作だけで、各物品の属性を考慮しなくても、属性に応じた移動場所（上記の例ではリサイクル用ゴミ箱と一般用ゴミ箱）に各物品が移動される。こうして、作業内容の指定が、より一層容易になる。また、例えば一般ゴミをリサイクル用ゴミ箱に移動させたり、リサイクルゴミを一般用ゴミ箱に移動させたりする操作ミスがなくなる。
【０１５９】
このような包括アイコンは、上述したように、一般用ゴミ箱とリサイクル用ゴミ箱と包括するゴミ箱アイコンに限らず、その他の場合にも適用可能である。一例を挙げると、冷蔵室と野菜室と冷凍室とを含む冷蔵庫が環境内に設置されている場合において、その冷蔵室、野菜室及び冷凍室の３つの場所を包括する包括アイコンとして、冷蔵庫アイコンを操作画面に表示してもよい。つまり、食品を冷蔵庫に保存する際には、その食品の属性（種類）に応じて、冷蔵室、野菜室及び冷凍室を選択して保存するが、操作画面上に包括アイコンとしての冷蔵庫アイコンを含めておく。このことで、その冷蔵庫アイコンに物品アイコンがドラッグアンドドロップ操作されたときには、その物品アイコンに対応する物品の属性に応じて、移動場所選択手段120 は、その物品が冷凍食品であれば冷凍室を選択し、その物品が野菜であれば野菜室を選択し、その他であれば冷蔵室を選択する。こうして、ユーザが具体的に指定しなくても、物品に適した場所（室）にその物品が保存されることになる。
【０１６０】
尚、上記の場所アイコン操作モードでは、操作画面に包括アイコン（ゴミ箱アイコン）を含めていたが、例えば図１６に示す操作画面のように包括アイコンを用いずに、環境内の実際に場所（リサイクル用ゴミ箱と一般用ゴミ箱）に対応するリサイクル用ゴミ箱アイコンと一般用ゴミ箱アイコンとをそれぞれ、操作画面に含めてもよい。
【０１６１】
この操作画面で、ロボット102 に空き缶と紙くずとをゴミ箱に移動させる作業を指定する場合は、空き缶アイコンをリサイクル用ゴミ箱アイコンにドラッグアンドドロップ操作し、紙くずアイコンを一般用ゴミ箱アイコンにドラッグアンドドロップ操作すればよい（同図の矢印参照）。
【０１６２】
（作用アイコン操作モード）
作用アイコン操作モードは、物品に施す作用を指定するモードであり、これによりロボット102 は、その物品を、指定された作用に応じた移動先に移動する作業を実行する。物品に施す「作用」とは、例えば物品を「捨てる」ということであったり、物品を「片付ける」ということであったり、物品を「保存する」ということであったりする。そして「作用に応じた移動先」とは、具体的に例を挙げて説明すると、物品が「リサイクルゴミ」であり、それに対する作用が「捨てる」であるときには、作用に応じた移動先は「リサイクル用ゴミ箱」となる。また、物品が「食器」であり、それに対する作用が「片付ける」であるときには、作用に応じた移動先は「台所」となる。つまり、「作用に応じた移動先」は、その物品の属性に基づいて決定されることになる。
【０１６３】
図１７は、作用アイコン操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。この操作画面には、物品アイコンと、物品に施す作用を表す作用アイコンとが含まれている。
【０１６４】
上記物品アイコンは、上記場所アイコン操作モードの操作画面（図１３参照）に表示される物品アイコンと同じである。図１７に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、積み木（toy_small_0001）、グラス（glass_small_0001）、Ｔシャツ（tshirts_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。
【０１６５】
作用アイコン操作モードの操作画面に含まれる作用アイコンは、物品に施す作用を表すものである。図１７に示す操作画面には、作用アイコンとして、「捨てる」アイコンと、「片づける」アイコンとが表示されている。
【０１６６】
この作用アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと作用アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。物品の移動作業を指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作する。これにより、物品と、その物品に施す作用とが指定される。
【０１６７】
また、この作用アイコン操作モードにおける操作画面でも、複数の物品アイコンを一度に所望の作用アイコンにドラッグアンドドロップ操作可能に構成されている。これにより、ユーザによる作業内容の指定操作を簡便にしている。
【０１６８】
尚、図１７に示す矢線は、空き缶（kan_small_0001）、紙くず（trash_small_0001）を、「捨てる」アイコンに、積み木（toy_small_0001）、グラス（glass_small_0001）、Ｔシャツ（tshirts_small_0001）を「片づける」アイコンにそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０１６９】
このようにしてロボット102 に実行させる作業内容が指定されれば、上述したように、操作端末103 は環境管理サーバ101 にその作業内容のメッセージを送信するが、作用アイコン操作モードでは、メッセージを送信する前に、操作端末103 の作用／場所変換手段121 が、指定された物品の移動先を、指定された作用に応じて決定する。
【０１７０】
上記作用／場所変換手段121 には、例えば図１８に示すような、作用／場所変換テーブルが保存されており、作用／場所変換手段121 は、この作用／場所変換テーブルに基づいて、指定された物品の移動先を決定する。作用／場所変換テーブルは、作用アイコン名の列、物品属性の列、移動場所の列からなる。
【０１７１】
ここで、この作用／場所変換手段121 における処理を、図１７に示す操作画面上で指定されたように、積み木、グラス及びＴシャツを「片づける」と指定された場合を例に、説明する。
【０１７２】
操作画面上で、物品とそれに対する作用とが指定されれば、上記作用／場所変換手段121 は先ず、作用／場所変換テーブルにおける作用アイコン名の列から、指定された作用アイコンを選択する。尚、指定された作用アイコンがテーブルに存在しないときには、その旨をユーザに報知して処理を終了すればよい。ここでは、物品に対する作用として「片づける」が指定されたため、図１８に示す作用／場所変換テーブルの作用アイコン名の列から、「片づける」の行を選択する。「片づける」は、作用アイコン名の列の上から２行目である。
【０１７３】
次に、指定された物品アイコンに対応する物品の属性を特定し（例えば、物品データベースに蓄積されている情報に基づいて特定すればよい）、作用／場所変換テーブルにおける物品属性の列から、その物品の属性と一致する属性、又はその物品の属性を含む属性（上位概念属性）を選択する。この「物品の属性を含む上位概念属性」とは、具体例を挙げて説明すると、物品の属性が「グラス」のときには、その属性は上位概念属性である「食器」に含まれる、という意味である。こうした上位概念属性と、物品の属性との関係は、例えば、木構造（階層構造）等で構成して、作用／場所変換手段121 に予め記憶しておけばよい。尚、作用／場所変換テーブルにおける物品属性の列に、「＊」と記されているものは、物品の属性を問わない（どんな物品でも良い）ことを示す。ここで指定された物品は「グラス」であるため、物品属性の列から、その「グラス」の上位概念属性である「食器」の行を選択する。
【０１７４】
こうして、作用アイコンと物品属性とが決定されることにより、作用／場所変換テーブルにおける場所の列で、その物品の移動場所が決定されることになる。尚、この場所の列において、「−」と記されているものは、移動場所が決定できない（適当な場所が無い）ことを意味する。この場合は、その旨をユーザに報知して処理を終了すればよい。ここで、場所の列における「食器」の行に対応する行を参照すると「台所」であるため、「食器」の移動先は「台所」に決定される。
【０１７５】
また、指定された別の物品「積み木」を含む上位概念属性は、「玩具」であるため、場所の列において「玩具」の行に対応する行は「押入」であり、「玩具」の移動先は「押入」に決定される。さらに、指定された別の物品「Ｔシャツ」の上位概念属性は「衣類」であるため、場所の列において、その「衣類」の行に対応する行は「洗濯かご」であり、「Ｔシャツ」の移動先は「洗濯かご」に決定される。
【０１７６】
図１８に示す作用／場所変換テーブルは、比較的簡単な構成のものであるが、作用／場所変換テーブルには、例えば図１９に示すように、さらに複雑な条件分岐を入れてもよい。この図１９に示す作用／場所変換テーブルでは「片付ける」という作用を「衣類」に施す場合に、その衣類の移動場所が２つ存在し、その衣類の条件に応じて、移動場所が決定されるように構成されている。具体的には、その衣類が使用後であるときには、物品属性の列において「衣類（使用後）」の行が選択され、それによって、その使用後の衣類の移動場所が「洗濯かご」に決定される。一方、その衣類が使用後でないときには、物品属性の列において「衣類（＊）」の行が選択され（尚、「＊」は衣類に設定されたいずれの条件にも適合しないことを示す）、それによって、その衣類の移動場所が「洋服タンス」に決定される。尚、物品の条件（上記の例では、使用後の衣類であるという条件）は、物品データベースに蓄積されているその物品の物品履歴データを参照することによって判断可能である。
【０１７７】
このようにして作用／場所変換手段121 が、指定された物品の移動先を、指定された作用に応じて決定すれば、操作端末103 からサーバ101 に作業内容のメッセージが送信されると共に、上記サーバ101 から作業ロボット102 にロボット制御コマンド列が送信される。
【０１７８】
そして、上記作業ロボット102 の制御手段115 は、受信したロボット制御コマンドを、図２０に示すフローチャートに従って実行することになる。
【０１７９】
このように、作用アイコン操作モードでは、操作画面に物品アイコンと作用アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品に施す作用を指定するだけでよい。こうすることで、物品の属性と作用とに基づいて、最適な移動場所に自動的に物品が移動されため、誰もが容易に、ロボットの作業内容を指定することができる。
【０１８０】
また、作用アイコン操作モードでも、複数の物品アイコンを一括してドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、作用アイコン操作モードでは、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
【０１８１】
ところで、作用アイコン操作モードでは、物品とそれに対する作用との関係で、適切な移動場所が存在せず、ユーザが指定した作業内容を実行することができない場合も生じ得る。そこで、作用アイコン操作モードでは、その操作画面を次のように構成してもよい。
【０１８２】
すなわち、操作端末103 の表示部117 に表示する操作画面には、先ず、物品アイコンのみを表示し、作用アイコンは表示しない。そして、物品アイコンがユーザの操作により指定されたときに、作用／場所変換手段121 が、作用／場所変換テーブルを参照することにより、その指定された物品アイコン（物品）に対してロボットが行い得る作用を選択し、その選択した作用アイコンを操作画面に表示する。ユーザは、操作画面に表示された作用アイコンに、指定した物品アイコンをドラッグアンドドロップ操作することにより、作業内容の指定を行う。
【０１８３】
またこれとは異なり、操作端末103 の表示部117 に表示する操作画面には、物品アイコンと作用アイコンとの双方を表示する一方で、物品アイコンがユーザの操作により指定されたときに、その指定された物品に対してロボット102 が行い得る作用を表す作用アイコンのみを、操作画面に表示し、ロボット102 が行い得ない作用を表す作用アイコンは、操作画面に表示しないようにしてもよい。また、ロボット102 が実行し得ない作用を表す作用アイコンを、操作画面上で薄暗く表示することで、その作用が選択不可能であることをユーザに報知してもよい。その作用アイコンが選択不可能であることをユーザが認識可能であれば、どのような表示形態であってもよい。ユーザが、ロボット102 が実行し得ない作用を表す作用アイコンに、物品アイコンをドラッグアンドドロップ操作したときには、「操作不可能」等のメッセージを操作画面上に表示してもよい。例えば物品データベースに、各物品について、ロボット102 が施すことの可能な作用を予め蓄積しておくことで、作用アイコンの表示・非表示を行うことが可能になる。
【０１８４】
このようにして、ユーザが指定した作業内容をロボット102 が実行できないということを、未然に防止することができる。
【０１８５】
そして、本システムでは、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有することで、指定する作業内容に応じて、操作モードを使い分けることができ、物品移動システムの利便性が高まる。
【０１８６】
尚、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードは、ユーザの要求に応じて切り替えるとしたが、これら３つの操作モードは選択的に実行しなくてもよい。例えば、仮想空間操作モードで表示される操作画面と、場所アイコン操作モードで表示される操作画面又は作用アイコン操作モードで表示される操作画面とを、操作端末103 の表示部117 に並べて表示してもよい。また、場所アイコン操作モードで表示される操作画面と作用アイコン操作モードで表示される操作画面とを、操作端末103 の表示部117 に並べて表示してもよい。
【０１８７】
尚、本実施形態では、操作端末103 の表示制御手段118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ101 が作成してもよい。この場合、サーバ101 が作成した操作画面は、ネットワークを介して操作端末103 に送信し、操作端末103 は、受信した操作画面を表示部117 に表示すればよい。また、入力部116 の操作によって、操作モードの切り替え操作がされたときには、操作端末103 からサーバ101 に、モード切り替え要求信号を送信し、それに応じて上記サーバ101 が指定された操作モード用の操作画面を作成し、これを操作端末103 に送信するようにすればよい。
【０１８８】
以上説明したように、本発明による物品移動システムは、所定の生活空間（環境）内に存在する物品の移動作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備え、上記表示部117 に操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上で、上記ロボット102 に行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボット102 が上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。
【０１８９】
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボット102 が指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボット102 の作業内容を指定可能になる。
【０１９０】
本発明では、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含むものであり、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボット102 は、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
【０１９１】
生活空間内にリサイクルゴミ用のリサイクル用ゴミ箱と、一般ゴミ用の一般用ゴミ箱との２つのゴミ箱（場所）が存在したときに、操作画面に場所アイコンのみ（リサイクル用ゴミ箱のアイコンと、一般用ゴミ箱のアイコンと）が含まれるときには、例えば、生活空間内のゴミをゴミ箱に捨てる作業をロボット102 に実行させるときに、ユーザは、そのゴミが、リサイクルゴミであるか一般ゴミであるかを判別した上で、リサイクル用ゴミ箱のアイコンか、一般用ゴミ箱のアイコンかのいずれか一方を指定する操作をしなければならない。
【０１９２】
これに対し、これら２つのゴミ箱を包括する包括アイコンとして、ゴミ箱アイコンを操作画面に含める。そして、操作画面上で物品アイコンと、そのゴミ箱アイコンとが指定操作されたときには、その物品の属性に応じて、リサイクルゴミの物品アイコンが操作されたときには、リサイクル用ゴミ箱を選択し、一般ゴミの物品アイコンが操作されたときには、一般用ゴミ箱を選択する。
【０１９３】
こうして、包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択すれば、ロボット102 は、生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
【０１９４】
このように包括アイコンを操作画面に含めることで、ユーザは、ゴミの属性を考慮しなくても、「ゴミをゴミ箱に捨てる（移動させる）」という作業内容を、操作画面上で指定するだけで、ロボット102 が、指定されたゴミを、その属性に応じたゴミ箱に捨てる作業を実行する。このように包括アイコンを用いることで、ユーザによる作業内容の指定が、より一層容易になる。
【０１９５】
本発明による物品移動システムは、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部117 に表示する仮想空間操作モードをさらに有する。
【０１９６】
このように、操作画面を生活空間の実状況に則した仮想空間によって構成することにより、一般家庭等の生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品アイコンが配置される。このことにより、生活空間内で様々な位置に置かれる物品の中から、ロボット102 に移動させる物品を容易に指定することが可能になる。そして、ロボット102 の作業内容をこの仮想空間内で指定することで、複雑な状況下の生活空間内におけるロボット102 の作業内容を、容易に指定可能になる。
【０１９７】
そして、場所アイコン操作モードと、仮想空間操作モードとの２つの操作モードを有することで、ロボット102 に実行させる作業内容に応じて操作モードを使い分け可能になる。その結果、簡単な操作でロボット102 に所望の作業を確実に実行させることが可能になる。
【０１９８】
本発明による物品移動システムは、上記操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部117 に表示する作用アイコン操作モードをさらに有する。すなわち、作用アイコン操作モードの操作画面には、場所アイコン操作モードの操作画面に含まれる場所アイコンに代わって、物品に施す作用を示す作用アイコンが含まれる。
【０１９９】
そして、この作用アイコン操作モードでは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作がされることによって、ロボット102 に扱わせる物品と、その物品に施す作用との指定が行われ、物品と、その物品に施す作用との指定が行われれば、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択する。従って、作用アイコン操作モードでは、例えば、指定された物品が「積み木（玩具）」であり、指定された作用が「片付ける」であったときには、「押入れ」がその移動場所として選択される。また、指定された物品が「グラス（食器）」及び「Ｔシャツ（衣類）」であり、指定された作用が「片付ける」であったときには、「グラス」については「台所」がその移動場所として選択され、「Ｔシャツ」については「洗濯かご」がその移動場所として選択される。さらに、指定された物品が「空き缶（リサイクルゴミ）」であり、指定された作用が「捨てる」であったときには、「リサイクル用ゴミ箱」がその移動場所として選択される。
【０２００】
こうして移動場所が選択されれば、ロボット102 は、指定された物品を、上記選択した場所に移動する作業を実行する。
【０２０１】
このように、作用アイコン操作モードでは、操作画面上で、物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット102 によって選択された移動場所に移動される。このため、ユーザは具体的な移動場所を指定する必要がない。その結果、ユーザによる作業内容の指定が、極めて容易になる。
【０２０２】
そして、場所アイコン操作モードと作用アイコン操作モードとの２つの操作モード、又は場所アイコン操作モードと作用アイコン操作モードと仮想空間操作モードとの３つの操作モードを有することで、ロボット102 に実行させる作業内容に応じた操作モードの使い分けが可能になる。
【０２０３】
また本発明による物品移動システムは、操作画面上で物品アイコンを。他のアイコン（場所アイコン又は作用アイコン）にドラッグアンドドロップ操作することによって、ロボット102 に移動させる物品と、その物品の移動場所又はその物品に施す作用との指定が行われる。このように、物品アイコンのドラッグアンドドロップ操作という、直感的な操作によって、操作画面上でロボット102 の作業内容の指定がなされる。これにより、ロボット102 の作業内容の指定がより一層容易になる。
【０２０４】
さらに仮想空間操作モードを、所望の物品アイコンを仮想空間内の所望の場所にドラッグアンドドロップ操作することによって、ロボット102 に移動させる物品と、その物品の移動場所との指定を行うモードとすることにより、物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定可能になる。このため、ロボット102 に実行させる作業内容を極めて容易に指定可能になる。さらに、場所アイコン操作モードとは異なり、仮想空間操作モードでは、物品を移動させる移動場所の指定を仮想空間内で行うことになるため、移動場所を自由に指定可能になる。
【０２０５】
本発明による物品移動システムでは、場所アイコン操作モードや、作用アイコン操作モードの操作画面は、複数の物品アイコンを一括してドラッグアンドドロップ操作可能に構成される。そして、複数の物品アイコンを、一括して場所アイコンにドラッグアンドドロップ操作したときには、各物品がその場所アイコンで示される場所に移動される。また、複数の物品アイコンを、一括して包括アイコンにドラッグアンドドロップ操作したときには、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。さらに、複数の物品アイコンを、一括して作用アイコンにドラッグアンドドロップ操作したときにも、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。こうして、複数の物品アイコンを一括してドラッグアンドドロップ操作可能にすることにより、ユーザによる作業内容の指定がより簡便化される。
【０２０６】
本発明による他の物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備えるものである。そして、上記物品移動システムは、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボット102 が上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行するものである。
【０２０７】
この構成によると、上述したように、ユーザは、操作画面上で、物品とその物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット102 によって選択された移動場所に移動される。このように、ユーザは具体的な移動場所を指定する必要がないため、ユーザによる作業内容の指定が容易になる。
【０２０８】
本発明による物品移動システムは、生活空間内に存在する物品を検出するセンシング手段104 をさらに備え、操作画面には、上記センシング手段104 により検出された物品に対応する物品アイコンを含めるものである。
【０２０９】
本発明によるロボット操作装置（操作端末103 ）は、所定の生活空間内に存在する物品の移動作業を行うロボット102 の作業内容を指定するための装置であり、上記ロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる場所アイコン操作モードを有するものである。
【０２１０】
これにより、上述したように、ロボット102 の作業内容の指定は、操作画面上で、物品アイコンと場所アイコンとを指定することによって行われるため、誰もが容易に、ロボット102 の作業内容を指定可能になる。
【０２１１】
また、本発明によるロボット操作装置は、その表示部117 に、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させる仮想空間操作モードをさらに有する。
【０２１２】
さらに、本発明によるロボット操作装置は、その表示部117 に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる作用アイコン操作モードをさらに有する。
【０２１３】
本発明による他のロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる作用アイコン操作モードを有するものである。
【０２１４】
この構成により、上述したように、ロボット102 の作業内容の指定は、操作画面上で、物品とその物品に対する作用を指定することだけでよいため、ロボット102 の作業内容が容易に指定可能になる。
【０２１５】
−他の実施形態−
尚、本実施形態では、環境管理サーバ101 が操作端末103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしたが、例えば、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしてもよい。
【０２１６】
また、本実施形態では、物品移動システムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品移動システムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。
【０２１７】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０２１８】
さらに、本システムでは、移動場所選択手段120 を２番目のサブシステムである作業ロボット102 に設けたが、この移動場所選択手段120 は、１番目のサブシステムである環境管理サーバ101 に設けてもよいし、３番目のサブシステムである操作端末103 に設けてもよい。
【０２１９】
また、作用／場所変換手段121 を操作端末103 に設けたが、この作用／場所変換手段121 は、環境管理サーバ101 に設けてもよいし、作業ロボット102 に設けてもよい。
【０２２０】
さらに、本システムでは、操作モードとして、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有しているが、例えば、これら３つの操作モードの内のいずれか２つの操作モードだけを有していてもよいし、場所アイコン操作モード及び作用アイコン操作モードのいずれか一方のみを有していてもよい。
【０２２１】
【発明の効果】
以上説明したように、本発明による生活空間用の物品移動システム、及びロボット操作装置では、操作画面上で、物品アイコンおよび、包括アイコンまたは作用アイコンが指定された場合、物品アイコンに対応する物品を移動させる場所が、制御手段によって選択される。そして、ロボットは生活空間内で、選択された場所への物品の移動作業を実行する。このため、ユーザは、具体的な移動先を指定しなくても、物品の属性に適した移動先に、所望の物品を移動させることができる。
【０２２２】
また、仮想空間操作モードでは、生活空間の実状況に則した仮想空間からなる操作画面が操作端末の表示部に表示され、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、仮想空間内の場所とを指定操作するという、直感的な操作によって、物品とその移動先とを指定することができる。また、仮想空間操作モードでは、物品の移動先を仮想空間内で自由に指定することができる。
【０２２３】
また、操作モードとして、場所アイコン操作モードと、作用アイコン操作モードとを有する。場所アイコン操作モードにおいては操作端末（ロボット操作装置）の表示部に、生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、ロボットに移動させる物品と、その移動先とを指定することができる。このため、誰もが容易に、作業内容の指定をすることができる。一方、作用アイコン操作モードでは、操作端末（ロボット操作装置）の表示部に、物品アイコンと場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、物品と、その物品に施す作用とを指定することができる。そして、指定された作用と、物品の属性とに応じて、その物品が所定の移動先に移動される。これにより、ユーザは作業内容の指定を極めて容易に行うことができる。
【０２２４】
そして、これら複数の操作モードを有することにより、ロボットに実行させる作業内容に応じて操作モードを使い分けることができ、物品移動システムの利便性を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態に係る物品移動システムの全体構成の一例を示すブロック図である。
【図２】背景差分法の原理を示す説明図である。
【図３】物品／移動体検索・管理手段の構成の一例を示すブロック図である。
【図４】ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。
【図５】物品／移動体データベースの内、物品データベースの構成と記載内容例を示す図である。
【図６】物品／移動体データベースの内、移動体データベースの構成と記載内容例を示す図である。
【図７】持出・持込データベースの構成と記載内容例を示す図である。
【図８】環境内で物品が移動する一例を説明する説明図である。
【図９】環境の実状況と、それに対応する環境マップとを示す図である。
【図１０】環境マップに付随する設備データベースの構成と記載内容例を示す図である。
【図１１】作業ロボットの構成の一例を示す概略図である。
【図１２】仮想空間操作モードで表示される操作画面の一例を示す図である。
【図１３】場所アイコン操作モードで表示される操作画面の一例を示す図である。
【図１４】場所アイコン操作モードの操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
【図１５】環境内でロボットが指定された移動作業を実行する様子を示す図である。
【図１６】図１４とは異なる形態の場所アイコン操作モードで表示される操作画面の一例を示す図である。
【図１７】作用アイコン操作モードで表示される操作画面の一例を示す図である。
【図１８】作用／場所変換テーブルの一例を示す図である。
【図１９】条件分岐を含めた作用／場所変換テーブルの一例を示す図である。
【図２０】作業ロボットの制御手段に係るフローチャートである。
【符号の説明】
101・・・環境管理サーバ
102・・・作業ロボット
103・・・操作端末（操作手段、ロボット操作装置）
106・・・物品／移動体データベース
110，115，119・・・制御手段
116・・・入力部
117・・・表示部
118・・・表示制御手段
120・・・移動場所選択手段
121・・・作用／場所変換手段
【発明の属する技術分野】
本発明は、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（以下、これらを総称して生活空間という）においてロボットに物品の移動作業を実行させる生活空間用の物品移動システム、及びロボット操作装置に関する。
【０００２】
【従来の技術】
従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボットが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持・運搬や、自動化された倉庫での在庫品の運搬・管理等にロボットが利用されており、その例を挙げるときりがない。
【０００３】
こうした産業用のロボットは、扱う物品の形状・大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献１には、物品の荷積み・荷降ろし作業を行うロボットシステムが開示されている。
【０００４】
【特許文献１】
特開平７−２３７１５９号公報
【０００５】
【発明が解決しようとする課題】
今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボットの研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すエンタテイメント用ロボットや、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボットが実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。
【０００６】
さて、家事支援の基本的な作業の一つに、物品の移動作業（運搬作業）が挙げられる。この物品の移動作業を行うロボットシステムの具体的な応用事例としては、物品を把持可能な自走ロボットが、例えば老人等の物品の持ち運びが不自由な人に代わって物品の移動を行うシステムが考えられる。
【０００７】
こうしたシステムの操作インタフェースとして、例えば従来から産業用ロボットにおいて実現されていたように、ロボットの動作を遠隔操作（リモートコントロール操作）することが考えられる。
【０００８】
しかしながら、ロボットが、ある第１の地点に存在する物品を第２の地点まで移動させるには、そのロボットは、１）現在地から第１の地点まで移動する、２）第１の地点に存在する物品を把持する、３）その物品を把持した状態で第２の地点まで移動する、４）第２の地点において把持をしている物品を開放する、の少なくとも４つの動作を行わなければならない。このため、遠隔操作によってロボットに移動作業をさせる場合には、上記の１）〜４）の４つの動作を全て操作しなければならず、極めて煩雑である上に、その遠隔操作の習熟に手間がかかる。
【０００９】
例えば上記の特許文献１に開示されたロボットシステムでは、操作画面上でロボットの作業内容を指定するように構成されている。より具体的にこのシステムでは、直方体形状の荷扱い物品をパレットに積み込む作業をロボットにさせる際に、その荷扱い物品を仮想的に示す仮想物品図を操作画面内に表示すると共に、その操作画面上で上記仮想物品図を所望の位置及び向きに移動させることによって、ロボットに実行させる作業内容を指定するようにしている。
【００１０】
ところがこのシステムでは、ロボットは、所定の位置（例えばコンベア上）に存在する物品を、所定の位置（パレット上）に移動させるだけであり、操作画面上では、パレット上における物品の位置と向きとを指定するだけである。これに対し、例えば一般家庭等の人が活動を行う空間でロボットが物品の移動作業を行う場合には、物品が存在する位置も定まっておらず、さらに、その物品を移動させる位置も定まっていない。
【００１１】
つまり、上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースでは、複雑かつ自由度の高いロボットの作業内容を指定することができないため、一般家庭等で用いられる非産業用のロボットシステムに上記特許文献１に開示されているような産業用のロボットシステムの操作インタフェースを利用することはできない。また、一般家庭等で用いられることを考慮すれば、その操作インタフェースは、ロボットに実行させる作業内容を誰もが簡単に指定可能であることが好ましい。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の移動作業を実行させる非産業用の物品移動システムにおいて、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
【００１３】
【課題を解決するための手段】
本発明による物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、上記物品の属性情報を有する物品データベースとを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、前記操作画面は、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含み、制御手段は、指定された包括アイコンで包括される生活空間内の複数の場所から、指定された物品アイコンに対応する物品の属性情報に応じて、場所を選択する。または、前記操作画面は、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含み、制御手段は、指定された物品アイコンに対応する物品の属性情報と、指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択する。あるいは、上記操作手段における操作モードとして、場所アイコン操作モードと、作用アイコン操作モードとを有する。
【００１４】
この構成によると、操作画面上で、物品アイコンおよび、包括アイコンまたは作用アイコンが指定された場合、物品アイコンに対応する物品を移動させる場所が、制御手段によって選択される。そして、上記ロボットは生活空間内で、選択された場所への物品の移動作業を実行する。あるいは、場所アイコン操作モードのときは、生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示部に表示され、ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する一方、作用アイコン操作モードのときは、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面が表示部に表示され、ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する。
【００１５】
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、操作画面上で、物品アイコンおよび、包括アイコンまたは作用アイコンを指定するだけで、物品アイコンに対応する物品を移動させる場所が選択され、ロボットが指定された物品を選択された場所に移動させる。あるいは、場所アイコン操作モードでは、ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボットが指定された物品を指定された場所に移動させる一方、作用アイコン操作モードでは、ユーザが所望の物品アイコンと作用アイコンとを指定するだけで、ロボットが指定された物品を選択された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボットの作業内容を指定可能になる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明に係る物品移動システムは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（生活空間）において、その空間内に存在する物品の移動作業を作業ロボットに実行させるシステムである。
【００１７】
本実施形態では、一般家庭等の建物内のある一つの部屋を、物品移動システムの対象空間（以下これを環境と呼ぶ）とする。また、上記作業ロボットは、移動作業に限らず、種々の物品取扱い作業を実行するものとしてもよいが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものに限定する。
【００１８】
本システムは、図１に示すように、環境管理サーバ101 （以下、単にサーバと省略することもある）、作業ロボット102 （以下、単にロボットと省略することもある）、及び操作端末103 の大きく分けて３つのサブシステムから構成される。これら３つのサブシステム101 〜103 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
【００１９】
３つのサブシステム101 〜103 はそれぞれ、制御手段110 ，115 ，119 と送受信手段109 とを備えている。ここで、各サブシステム101 〜103 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。
【００２０】
−環境管理サーバの構成−
１番目のサブシステムである環境管理サーバ101 は、環境内の状況を把握するセンシング手段104 と、このセンシング手段104 によって把握した状況のうち、環境内に存在する物品（ロボット102 が取扱い作業可能なもの）と移動体（人や作業ロボット102 等の主として物品の取扱いを行うもの）との状況を管理する物品／移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品／移動体データベース106 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、物品／移動体データベース106 のデータや環境マップ108 のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット102 に対する制御コマンドを送信したりする送受信手段109 と、これらの手段104 ，105 ，107 ，109 をコントロールする制御手段110 とからなる。
【００２１】
上記センシング手段104 は、環境内に存在するありとあらゆる物品や家具、及び環境内に存在する人やロボット102 の位置と状態とを常時監視するものである。上記センシング手段104 は、人やロボット102 によって、環境内に物品が持ち込まれたこと、及び環境外へ物品が持ち出されたことも検出する（このことの詳細は後述する）。
【００２２】
本システムにおいて特徴的な構成要素の一つがこのセンシング手段104 である。つまり、本実施形態に係るシステムでは、対象とする環境は、特定の建物内の一つの部屋に限定をするものの、その環境内で物品の置かれる位置や、その物品を持ち運ぶ移動体の移動経路には制限を加えない。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。
【００２３】
そこで、まず最初に、最も良く使われるセンサの一つである画像センサを使って物品を検出する一般的な方法とその問題点とを簡単に説明する。次に別のセンサである電子タグを使って物品を検出する方法とその問題点とを簡単に説明する。
【００２４】
室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を使って室内の物品等の検出を行うのが一般的である。
【００２５】
ここで、カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法として背景差分法がある。背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。本システムにおけるセンシング手段104 は、環境内の物品や移動体を検出・監視することが目的である。このため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
【００２６】
具体的に、背景差分法による物品の検出方法について、図２を参照しながら説明する。ここで、図２（ａ）はモデル画像の例を示す図であり、図２（ｂ）はある時点でカメラが撮影した画像（入力画像）を示す図であり、図２（ｃ）は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。図２（ｃ）から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる（同図の網掛け部分参照）。このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品を検出することができる。さらに、その画像を画像処理することによって、その物品が何であるかを特定する。このように、背景差分法を用いれば、環境内の物品及び移動体の状況を検出することは可能である。
【００２７】
しかしながらカメラを用いた物品等の検出には、明るさの変化に弱い、解像度が低い、物品が他の物に隠されて見えなくなる、物品が重なっているとそれらが一つの物品として検出されてしまう等、一般的に多くの問題もある。
【００２８】
例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能にすれば解決する。しかしながら死角が無くなるようにカメラを多数設置しただけでは、物品の検出を確実に行い得るとは限らない。つまり、カメラ台数を増やしても解像度の問題及び物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを判断できない（物品を特定できない）のである。
【００２９】
次に、電子タグを使って物品を検出する方法について説明する。近年では電子タグを用いて物品や移動体の位置検出する方法が開発されつつあり、タグによる位置検出が、カメラ画像を使った位置検出に置き換わることも十分に考えられる。
【００３０】
電子タグとはデータを蓄えるＩＣとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタと呼ばれる装置によって電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることができる。
【００３１】
そこで、上記電子タグを各物品に付すと共に、その電子タグにその物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込む。また、移動体（人・ロボット102 ）にも電子タグを付す。人の場合は常時携帯するもの（例えば腕時計等）に電子タグを埋め込んでもよい。移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。一方、環境内には、上記リーダライタを多数設置する。こうすることで、リーダライタが物品及び移動体に付された電子タグの情報を読みとることにより、カメラがなくても、環境内に存在する物品等の検出が可能になる。また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合には、物品の存在を検出することに加えて、電子タグに埋め込まれた物品の形状データを利用して、後述するようにロボット102 による物品の把持が容易になる、製造年月日データを利用して品質期限の管理が可能になる、物品の種類データを利用して捜し物を見つけるのが簡単になる等、ユーザに大きなメリットもたらす。
【００３２】
しかし、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短いのである。電子タグを使った物品検出の問題点の一つはその通信距離の短さにある。また、リーダライタを環境内に多数設置することで、通信距離の問題を解消することも考えられるが、リーダライタはカメラに比べてコストが高く、環境内にカメラのように多数設置することは現実的ではない。
【００３３】
以上、環境内に存在する物品及び移動体を検出する方法として、画像センサを使った方法と、電子タグを使った方法とをそれぞれ示したが、いずれの方法にも一長一短がある。
【００３４】
そこで、画像センサと電子タグとの双方を使った物品の検出方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子タグを使ってその物品を特定するというハイブリッド処理を行うのである。具体的な処理の例を以下に２つ挙げる。
【００３５】
一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット102 にリーダライタを取り付ける。また、各物品及び移動体には電子タグを取り付けておく。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品の近傍に上記ロボット102 を移動させて、そのロボット102 に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
【００３６】
もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置する。このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品に向ける。こうして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。尚、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いることになる。このため、環境内に人がいないことを、例えば背景差分法によって確認した上で行う必要がある。
【００３７】
以上、本システムにおけるセンシング手段104 の具体例として、カメラ及び／又は電子タグを用いた方法について説明したが、本システムにおけるセンシング手段104 はここで説明した以外の方法を採用してもよい。
【００３８】
また、詳しくは後述するが、ドアや窓等の、環境と外部との出入り口には、センシング手段104 としてのリーダライタを設置し、これによって、環境内への物品の持ち込みや持ち出しを検出する。
【００３９】
上記センシング手段104は、物品や移動体を検出したときには、その情報を物品／移動体検索・管理手段105 に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置及び向き等である。
【００４０】
物品／移動体検索・管理手段105 は、センシング手段104 によって検出された環境内に存在する各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）106 に蓄積するものである。このＤＢ106 の詳細は後述するが、ＤＢ106 に蓄積する情報には、少なくとも物品及び移動体の位置が含まれる。
【００４１】
また、物品／移動体検索・管理手段105 は、センシング手段104 からの情報に基づいて、物品の取扱い（物品の移動）を行っている移動体（人・ロボット）を推論し、その推論結果を上記物品／移動体ＤＢ106 に蓄積するように構成されている。
【００４２】
上記物品／移動体検索・管理手段105 は、図３に示すように、物品（物品／移動体ＤＢ106 に登録されている物品）が移動体によって取り扱われていること、ここでは特に移動体によって物品が移動されていることを検出する物品取扱検出手段３１と、上記物品取扱検出手段３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する取扱者特定手段３２とを備えている。
【００４３】
上記物品取扱検出手段３１は、センシング手段104 からの情報に基づいて、物品が移動体によって取り扱われていること（物品取扱状態）を検出する。例えば、上述した背景差分法を利用して物品を検出しているときには、入力画像（カメラ画像）とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出することができる。尚、この方法に代えて、例えば電子タグを利用して、物品が移動体によって取り扱われていることを検出してもよい。
【００４４】
上記取扱者特定手段３２は、上記物品取扱検出手段３１が物品取扱状態を検出したときに、その物品を取り扱っている取扱者を特定し、その取扱者の情報を物品／移動体ＤＢ106 に蓄積する。
【００４５】
上記取扱者の特定は、具体的には次のようにすればよい。つまり、センシング手段104 がカメラを利用しているときには、そのカメラによって物品取扱状態が検出された領域を撮像する。そして、撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。こうして特定された移動体は、取扱いがされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定することができる。ここで、センシング手段104 が利用するカメラは、背景差分法による物品検出に用いられるため、通常、広域を撮影する広角カメラである。この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りないことが多い。そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置、又はロボット102 に設置してもよい。上記物品取扱検出手段３１が物品取扱状態を検出した領域を狭角カメラによって撮像し、その撮像した画像に対して顔認証処理を行うことにより、取扱者を精度よく特定することができる。
【００４６】
尚、物品取扱者の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。また、カメラ画像に対する認証処理を行わなくても、そのカメラ画像自体を物品／移動体ＤＢ106 に蓄積してもよい。これは、認証処理によって移動体を特定することができなかったときに限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。
【００４７】
また、例えばドアや窓等の、環境（部屋）の特定の場所における物品の取扱いを管理する場合、具体的には、環境内への物品の持ち込みや持ち出しを管理する場合は、電子タグとリーダライタとを用いるのがよい。
【００４８】
すなわち、図４に示すように、環境と外部との出入り口である窓５１及びドア５２の開口部それぞれに、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設する。そして、物品及び移動体がこの窓５１やドア５２を通過したときに、その物品及び移動体に取り付けられた電子タグからの情報をリーダライタが読み取り、物品取扱検出手段３１はそれによって、物品が移動体によって取り扱われている（環境内への持ち込み又は環境内からの持ち出し）ことを検出する。また、取扱者特定手段３２は、リーダライタが読み取った情報に基づいて、物品と一緒に窓５１やドア５２を通過した移動体を、物品の取扱者（物品の持ち込みや持ち出しを行う者）と特定し、その取扱者の情報を上記物品／移動体ＤＢ106 に蓄積すればよい。こうすることで、物品の持込者・持出者の管理を自動的に簡単な処理で行なえる。
【００４９】
尚、図４では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
【００５０】
また、このようなリーダライタを窓５１やドア５２に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置する。こうすることで、外側の第１リーダライタが電子タグからの情報を検出した後に、内側の第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第２リーダライタが電子タグからの情報を検出した後に、外側の第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。
【００５１】
このようなリーダライタを用いた、特定の場所における物品の管理は、窓５１やドア５２における物品の管理に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等の物品を収容する物の開口部に同様のリーダライタを設置すれば、冷蔵庫や戸棚内に入れる物品と、その冷蔵庫や戸棚内から取り出される物品との管理が可能になる。
【００５２】
尚、本システムでは、物品の取扱いは人に限らず、後述するように人が操作端末103 において指定した作業内容に応じてロボット102 も物品の取扱いを行う。このようにロボット102 が物品の取扱いを行う場合、その物品取扱者はロボット102 としてもよいし、そのロボット102 を操作する人を物品取扱者としてもよい。例えば、ロボット102 を操作する人を物品取扱者とするときには、ロボット102 の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行ない、その認証結果に基づいて、ロボット102 の操作者（物品取扱者）を特定すればよい。また、ロボット102 の操作の開始時に、操作端末103 においていわゆるＬＯＧＩＮ、ＬＯＧＯＮ処理によるユーザ認証を行なう場合には、そのユーザ情報からロボット102 の操作者（物品取扱者）を特定してもよい。
【００５３】
また、詳しくは後述するが、上記物品／移動体検索・管理手段105 は、制御手段110 から物品／移動体ＤＢ106 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ106 から取り出し、その情報を制御手段110 に送ることも行う。
【００５４】
環境管理サーバ101 の物品／移動体ＤＢ106 は、物品及び移動体の情報を蓄積するＤＢであり、例えば図５及び図６に示すように構成される。すなわち、この物品／移動体ＤＢ106 は、物品を扱う物品データベース（図５）と、移動体を扱う移動体データベース（図６）とからなる。
【００５５】
物品ＤＢは、物品データ、物品履歴データ、及び物品属性データ、の３種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００５６】
１）物品データ：個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、及び物品属性データへのポインタ、が蓄積される。ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるＩＤが割り当てられる。一方、種類が同じ物品は同じ物的属性を持つため、異なるＩＤが割り当てられていても、同じ物品属性データへのポインタを持つ。これにより、データベースの容量を節約する。
【００５７】
２）物品履歴データ：物品が取り扱われた履歴を格納するもので、取り扱われた時刻、取扱内容、取扱者、取扱い後の位置、の４項目からなる。この内、位置データの表し方としては種々の表現が考えられるが、ここでは、図５に示すように、６つのパラメータで位置を表現することとする。つまり、最初の３つのパラメータ（x1 ,y1 ,z1）は物品の位置（重心位置等を用いる）を表し、後の３つのパラメータ（l1,m1,n1）は、物品の向きを表す。また、物品履歴データにおける取扱者は、上記取扱者特定手段３２によって特定された移動体である。
【００５８】
３）物品属性データ：物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図５に示すように、物品の重さ・形状、その外観の画像データが挙げられる。
【００５９】
尚、物品履歴データの一つとして、上述したように、環境における特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。例えば図７は、ドアを介した物品の持ち出し及び持ち込み履歴を格納する持出・持込ＤＢの例である。このＤＢは、取り扱われた時刻、取扱い物品、取扱内容、取扱者、の４項目からなる。ここで、取扱い物品の項目で「物品名＠カバンＣ」とあるのは、その物品が、カバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライタを設置することによって検出可能である。この持出・持込ＤＢにより、時刻ｔ２に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて環境（部屋）から持ち出したことがわかる。
【００６０】
また、持出・持込ＤＢには、そのカバンＣを持ったお父さんの行き先や、目的（例えば出張）を登録しておいてもよい。こうすることで今後は行き先や目的を指定すれば、この持出・持込ＤＢを参照することで、必要な物品（例えば出張に必要な物品）を特定することができ、さらには、ロボット102 にその必要な物品をカバンＣに入れる作業を実行させることも可能になる。
【００６１】
移動体ＤＢは、図６に示すように、移動体リスト、及び移動体履歴データ、の２種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００６２】
１）移動体データ：個々の移動体を区別するためのＩＤ、移動体履歴データへのポインタ、が蓄積される。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
【００６３】
２）移動体履歴データ：移動体の、ある時刻における位置と、その時刻における状態との３項目からなる。ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット102 が環境内を移動するときの障害物となる。このため、移動体の位置はできるだけ現実に則した表し方が望ましい。ここでは、ロボット102 が障害物を避けつつ経路作成が可能となるために必要最小限の情報で移動体の位置を表すべく、床面上で移動体が占めるおおよその領域を円で表すこととする。すなわち、円の中心位置のＸＹ座標（x4 ,y4）と円の半径（r1）で移動体の位置を表す。尚、移動体が占める領域を、さらに厳密に表現してもよい。例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。
【００６４】
また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット102 であれば、「把持」「解放」等のロボット102 が物品に対して行う動作を表す。例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段104 による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。尚、ロボット102 に関する移動体履歴データでは、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」として格納する。具体的には、「kan_small_0001：把持」となる。
【００６５】
ここで、センシング手段104 によって検出された物品や、人及びロボット102 等の移動体の情報が、物品／移動体検索・管理手段105 によって、どのように物品／移動体ＤＢ106 に格納されるか、また、その物品／移動体ＤＢ106 のデータがどのように更新されていくかについて、図５，６，８を参照しながら具体的に説明する。
【００６６】
図８は、環境（部屋）を示す図であって、その環境内に２つの缶ジュース２１，２２持ち込まれると共に、これらの缶ジュース２１，２２が環境内を移動する様子を示す図である。同図において、各缶ジュース２１，２２の移動は矢線によって示され、これらの矢線に付されているt1,t2,t5,t6 の文字は、矢線に従って缶ジュースが移動された時刻を示す。時刻は、t1〜t6の順で進んだものとする。尚、図８に示す環境内には、図示は省略するセンシング手段104 として電子タグのリーダライタが配設されており、各缶ジュース２１，２２、並びに環境内に出入りする人及びロボット102 （図示省略）にはそれぞれ電子タグが取り付けられている。各缶ジュース２１，２２の物品属性データは、電子タグからリーダライタで読みとるものとし、物品／移動体ＤＢ106 の移動体データへの各移動体の登録及び移動体履歴データの初期化はすでに行われているものとする。また、物品／移動体ＤＢ106 の物品データには、何も記録されていない空の状況であるとする。
【００６７】
先ず、移動体であるお父さん（図示省略）が、缶ジュース２１を持って部屋（環境）に入ってくる。センシング手段104 がお父さんと缶ジュース２１とを検出すると、その検出結果は、物品／移動体検索・管理手段105 に送られる。それを受けた物品／移動体検索・管理手段105 は、その缶ジュース２１に[kan_small_0001]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これと共に、その缶ジュース２１の物品属性データを格納する。また、その缶ジュースの移動履歴を格納するための「位置履歴リスト１」を作成する（図５参照）。この時点では位置履歴リスト１の中身はまだ空のままである。一方で、センシング手段104 により検出したお父さんの移動体履歴を更新するために、移動体データにおけるＩＤ「お父さん」の位置履歴を参照することによって、「位置履歴リスト３」が呼び出される（図６参照）。
【００６８】
時刻t1に、お父さんがテーブル近傍の位置P4（x4 ,y4）に座り、持っていた缶ジュース２１をそのテーブル上のP1（x1,y1,z1）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の内容をセットする（図５参照）。具体的には、
時刻：t1
取扱内容：新規
取扱者：お父さん
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の内容をセットする（図６参照）。具体的には、
時刻：t1
位置：(x4 ,y4 ,r1)
状態：座る
をセットする。
【００６９】
時刻t2に、別の移動体である息子（図示省略）が、P1（x1,y1,z1）に置かれた上記の缶ジュース２１を床の上であるP2（x2,y2,z2）に移動させる。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t2
取扱内容：移動
取扱者：息子
取扱後の位置：P2（x2,y2,z2,l2,m2,n2）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、移動されたことを意味する。尚、時刻t2では、息子の位置が変わるため、物品／移動体検索・管理手段105 は、息子の移動体履歴データ（位置履歴リスト４）の内容をセットするが、ここではその図示を省略する。
【００７０】
時刻t3に、お父さんが部屋の外に出る。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト３の新たな内容をセットする（図６参照）。具体的には、
時刻：t3
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たため、その位置が本システムの管理外になったことを意味する。
【００７１】
また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュース２１を元のテーブルの上P1（x1,y1,z1）に戻すように、操作端末103 を操作してロボット102 に指示をする（このロボット102 に対する指示についての詳細は後述する）。その指示を受けたロボット102 が、缶ジュースの位置P2（x2,y2,z2）まで移動し、時刻t4にその缶ジュースを把持する。物品／移動体検索・管理手段105 は、ロボット102 の移動体履歴データ（位置履歴リスト５）の内容をセットする（図６参照）。具体的には、
時刻：t4
位置：(x2 ,y2 ,r2)
状態：[kan_small_0001]：把持
をセットする。尚、ロボット102 の動作は、センシング手段104 が検出してもよいが、ネットワークを介してサーバ101 が、ロボット102 からの動作情報を受信することによって、ロボット102 の動作を検出してもよい。
【００７２】
時刻t5に、上記ロボット102 が缶ジュースを把持した状態でテーブルの近傍P4（x4,y4）に移動し、テーブルの上P1（x1,y1,z1）でその把持した缶ジュースを解放する。物品／移動体検索・管理手段105 は、移動体履歴データの位置履歴リスト５の新たな内容をセットする（図６参照）。具体的には、
時刻：t5
位置：（x4 ,y4 ,r2）
状態：[kan_small_0001]解放
をセットする。
【００７３】
また、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t5
取扱内容：移動
取扱者：ロボット
取扱後の位置：P1（x1,y1,z1,l1,m1,n1）
しばらくして、別の移動体であるお母さんが、新たな缶ジュース２２を持って部屋に入ってくる。センシング手段104 がお母さんと新たな缶ジュース２２とを検出すると、物品／移動体検索・管理手段105 は、その新たな缶ジュース２２に[kan_small_0002]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。この新たな缶ジュースの物品属性データは、上記の缶ジュース２１と同じである。また、その新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図５参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
【００７４】
時刻t6に、お母さんが新たな缶ジュース２２を床の上であるP3（x3,y3,z3）に置く。そのことをセンシング手段104 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データの位置履歴リスト２の内容をセットする（図５参照）。具体的には、
時刻：t6
取扱内容：新規
取扱者：お母さん
取扱後の位置：P3（x3,y3,z3,l3,m3,n3）
をセットする。尚、図６では、お母さんの移動体データ及び移動体履歴は省略している。
【００７５】
以上のようにして、物品／移動体検索・管理手段105 は、物品／移動体ＤＢ106 に物品や移動体の情報を格納・更新する。ここでは、データベースの更新を、物品／移動体ＤＢ106 に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。
【００７６】
尚、物品／移動体ＤＢ106 における物品履歴データ及び移動体履歴データは、できるだけ長時間に亘ってデータ蓄積すれば、より過去に遡って履歴を調べることができ望ましい。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積すれば、人やロボット等の移動体の移動経路を管理することができ望ましい。
【００７７】
但し、物品／移動体ＤＢ106 の容量には限界があるため、ある一定の期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
【００７８】
環境管理サーバ101 における環境マップ管理手段107 は、センシング手段104 からの情報に基づいて環境マップ108 を作成すると共に、その作成した環境マップ108 の管理を行うものである。この環境マップ108 は、ロボット102 が環境内を移動する際に利用するものである。ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路計画を立てる。
【００７９】
また、上記環境マップ管理手段107 は、詳しくは後述するが、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。
【００８０】
上記環境マップ108 は、例えば環境の実状況が、図９（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図９（ｂ））を環境マップ108 としてもよい。また、図９（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。さらに、図９（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。すなわち環境マップ108 は、そのマップの用途や、そのマップ作成に掛かる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図９（ｂ）に示す環境マップ108 はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。平面モデルからなる環境マップも同様であり、図９（ｃ）に示す作業マップ108 では、テーブル及び本棚を平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化し、ゴミ箱を円領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ108 では、上記２つの矩形領域及び円領域をロボット102 が移動不可能な領域に設定する。
【００８１】
図１０は環境マップに付随する設備データベースの一例を示した図で、このものは、図９に示す環境に対応している。この設備データベースは、設備データと、及び設備属性データとの２種類のデータをそれぞれ蓄積するサブデータベースからなる。
【００８２】
１）設備データ：環境それ自体、及びこの環境内の個々の設備（物品とは異なり環境に固定又は設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤ、設備属性データへのポインタが蓄積される。ここでは、環境（部屋）には「room_0001」のＩＤが付され、環境内に存在するテーブル、本棚、及びゴミ箱にはそれぞれ「table_0001」「bookshelf_0001」「trash_0001」のＩＤが付されている。
【００８３】
２）設備属性データ：環境自体に係る設備属性データには、その環境内の床面データが蓄積される。例えばその環境内に互いに高さの異なる複数の床面が存在するときには、その床面の数だけ床面データが蓄積される（床面１，床面２，…）。この床面データは、例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,2200,0）
ここで、最初の４つの値（座標）は、床面を構成する各頂点の座標（実世界座標での座標）を示し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を示す。また、最後の値（０）は、床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。
【００８４】
設備（家具等）の設備属性データには、その設備を構成する各面のデータ（面１，面２，…）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢が蓄積される。具体的に、設備を構成する面のデータは例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,1,400）
ここで、最初の３つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「１」はその面に物品が載置可能な否かのフラグである。物品が載置可能なときは「１」となり、載置不可能なときは「０」となる。最後の値「４００」は、その面に物品が載置可能であるときに、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときには、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
【００８５】
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。こうした「主な物品の形状と姿勢」のデータは、例えば設備の種類が靴棚であるとき（この場合の主な物品は靴）や、食器乾燥機（この場合の主な物品は食器）の設備属性データに蓄積される。但し、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。設備の種類が例えばテーブルやゴミ箱であるときには、物品の形状及び姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
【００８６】
このように、設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、作業ロボット102 に、例えば本を本棚に移動させる作業を指定したときには、その作業ロボット102 は、このデータを基に指定された本を立てた姿勢で本棚の棚に載置することができるようになる。
【００８７】
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
【００８８】
１）送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段105 や環境マップ管理手段107 にデータの参照要求を出す。
【００８９】
２）上記要求に対して物品／移動体検索管理手段105 又は環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。
【００９０】
３）操作端末103 から送受信手段109 を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット102 に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット102 に送信する。尚、ロボット制御コマンド列については、後述する。
【００９１】
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ106 で管理している物品の一部又は全部の状況や、環境マップ108 の状況を、送受信手段109 を通じてロボット102 やユーザ（操作端末103 ）にブロードキャストする。
【００９２】
例えば、上記１），２）の制御は、ユーザが操作端末103 を操作して物品の検索を行う場合に利用される。この際、サーバ101 に対する問い合わせ内容として、ユーザは例えば「○月△日×時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キーを入力してもよい。
【００９３】
このような問い合わせに対して、環境管理サーバ101 は物品／移動体ＤＢ106 からその物品を検索する。そして、操作端末103 に、例えば「それは、○○さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。
【００９４】
尚、その物品が環境の外に持ち出されているときには、その持出者の情報を出力してもよい。このときに、その持出者が人であるときには、サーバ101 がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ101 が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。
【００９５】
−作業ロボットの構成−
２番目のサブシステムである作業ロボット102 は、環境内で物品の取扱い作業を行うものである。ここでは特に、上記作業ロボット102 は、ユーザに指定された作業内容に従って、環境内で物品の移動させる移動作業を行う。
【００９６】
図１に示すように、ロボット102 はその基本構成として、ロボットの近辺の障害物等を検知する障害物センサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、後述する場所アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性に応じて移動場所の選択を行う移動場所選択手段120 、これらのセンサ111 及び各手段109 ，112 〜114 ，120 をコントロールする制御手段115 とからなる。
【００９７】
図１１は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 や制御手段115 等を収容する略箱型の本体部１０を備えている。以下、図１１における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【００９８】
把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部１０の上面に取り付けられている。上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。また、本システムでは、環境内に存在する各物品に電子タグが付されているとして、上記把持手段112 にリーダライタを取り付けている。こうすることで、把持手段112 が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによって、その把持した物品が何であるかを特定することができる。尚、把持手段112 に取り付けるリーダライタは省略してもよい。
【００９９】
移動手段114 は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段114 を車輪１４で構成したが、移動手段114 の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。
【０１００】
障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのカメラ11b 、及び衝突センサ11c から構成される。
【０１０１】
上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサは、本体部の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
【０１０２】
上記カメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このカメラ11b は、本体部１０の前部に取り付けられている。
【０１０３】
上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられている。
【０１０４】
移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域（例えば図９（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図９（ｃ）の平面モデルを用いた環境マップ 108 を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート（図９（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。
【０１０５】
尚、環境の状況が複雑すぎてロボット102 の移動経路の算出が出来ない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット102 の移動経路を指定するモードを設けてもよい。
【０１０６】
作業ロボット102 の制御手段115 は、主に環境管理サーバ101 から送受信手段109 を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。
【０１０７】
ここで、ロボット制御コマンドとは、物品の把持や、ロボット102 自体の移動の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。
【０１０８】
１）移動：（move,座標）又は（move,設備ＩＤ）
ロボット102 の現在位置から座標で指定された位置、又は設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段113 が計画する。
【０１０９】
また、設備ＩＤで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マップ内の設備属性データを利用する。
【０１１０】
２）把持：（grab,物品ＩＤ）
物品ＩＤで指定された物品を、ハンド12b によって把持するコマンドである。物品の場所は物品ＤＢを参照し、把持計画は把持手段112 が作成する。
【０１１１】
３）解放：（release）
ハンド12b を解放するコマンドである。
【０１１２】
以上、簡単に３種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの３種類に限らず、必要に応じて増やしてもよいことはいうまでもない。後述するように、作業内容として、例えばある物品をある場所に移動させる作業が、ユーザにより指定されたときには、その作業は、「（物品の位置Ｂ１への）移動」、「（物品の）把持」、「（移動先Ｂ２への）移動」、「（物品の）開放」という４つの作業単位に分解される。この場合のロボット制御コマンド列は、
move,B1（物品が置かれている位置Ｂ１にロボットを移動する）
grab,物品ＩＤ（Ｂ１の位置にある物品を把持する）
move,B2（（物品を把持した状態で）移動先であるＢ２に移動する）
release（把持している物品を解放する）
となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記４つの作業単位を一組として、物品の数だけ並べられ、制御手段115 は、その順番に従って制御コマンドを順に実行する。
【０１１３】
図２０は作業ロボット102 の制御手段115 に係るフローチャートを示す。作業ロボット102 の送受信手段109 がサーバ101 から送信された制御コマンド列を受信したときには、上記制御手段115 は、ステップＳ2401〜ステップＳ2403で、いずれの作業単位であるかを判定し、その作業単位に応じた処理を実行する。
【０１１４】
先ずステップＳ2401で作業単位が「移動」であったときには、ステップＳ2404に移行し、指定された位置までの経路を、移動計画作成手段113 に作成させる。
【０１１５】
続くステップＳ2405では、上記移動計画作成手段113 で作成した経路に応じて移動制御コマンドを移動手段114 に送り、上記指定された位置までの移動処理を実行する。
【０１１６】
一方、上記ステップＳ2402で作業単位が「把持」であったときには、ステップＳ2406に移行し、障害物センサ111 によって把持対象物品の姿勢を検出すると共に、続くステップＳ2407で、その検出結果に応じてアーム12a とハンド12b の動作を計算する。そして、ステップＳ2408で、把持制御コマンドを把持手段112 に送り、物品の把持処理を実行する。尚、上記ステップＳ2406では、障害物センサ111 によって物品の姿勢を検知するが、物品の姿勢は、環境管理サーバ101 の物品ＤＢ106 に記録されているため、サーバ101 に物品の姿勢を問い合わせるようにしてもよい。
【０１１７】
上記ステップＳ2403で作業単位が「解放」であったときには、ステップＳ2409に移行し、指定された移動先に物品が設置されるようにアーム12a とハンド12b の動作を計算する。そして、ステップＳ2410で、解放制御コマンドを把持手段112 に送り、物品の解放処理を実行する。
【０１１８】
ステップＳ2411では、移動、把持及び解放の各動作が終了したらその旨をメッセージとして作業指示元（サーバ101 ）に送信する。
【０１１９】
こうして、操作端末103 で指定した作業内容が、ロボット102 によって実行されることになる。
【０１２０】
尚、作業ロボット102 の移動場所選択手段120 の構成については、後述する。
【０１２１】
−操作端末の構成−
３番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
【０１２２】
操作端末103 はその基本構成として、図１に示すように、後述する操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部117 、上記操作画面上でロボット102 に対する作業内容を指定するための例えばポインティングデバイスからなる入力部116 、上記表示部117 に表示される操作画面の作成等の表示制御を行う表示制御手段118 、上記入力部116 にて入力されたロボット102 の作業内容を環境管理サーバ101 に送る送受信手段109 、後述する作用アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性とその物品に対する作用とに応じて移動場所を決定する作用／場所変換手段121 、これらの各手段109 ，116 〜118 ，121 をコントロールする制御手段119 からなる。
【０１２３】
この操作端末103 としては、例えば汎用ＰＣを用いることも可能である。この場合、後述する各処理を実行させる制御プログラムをＰＣが読み込むことによって、操作端末103 として用いることが可能になる。
【０１２４】
上記表示制御手段118 は、上記サーバ101 から送信された情報、具体的には、センシング手段104 としてのカメラが環境内を撮像した画像のデータ、物品／移動体データベース106 に蓄積されたデータ、環境マップ108 に基づいて、操作画面を作成する。こうして表示制御手段118 で作成された操作画面が、表示部117 に表示されることになる。
【０１２５】
本システムは、操作端末103 において、ロボットに実行させる作業内容を指定する操作モードとして、１）仮想空間操作モード、２）場所アイコン操作モード、３）作用アイコン操作モード、の３つの操作モードを有している。各操作モードは、ユーザが入力部116 を操作することによって切り替えられる。
【０１２６】
各操作モードは、表示部117 に表示される操作画面上で、ユーザに作業内容を指定させる点は同じであるが、表示部117 に表示される操作画面の構成が、各モードで互いに異なる。以下、上記３つの操作モードそれぞれについて順に説明する。
【０１２７】
（仮想空間操作モード）
図１２は、仮想空間操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。この操作画面は、環境の実状況に則した仮想空間によって構成されている。この操作画面を構成する仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。本実施形態では、上記カメラは、センシング手段104 として環境内の側壁に設置されたカメラとされている。
【０１２８】
この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図１２に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。尚、仮想空間操作モードでは、環境内に存在する家具等の設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０１２９】
この仮想空間操作モードにおける操作画面では、ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによってロボット102 に実行させる作業内容を指定する。ロボット102 に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。このため、物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。図１２の矢線は、空き缶アイコン（kan_small_0001）を、仮想空間内のリサイクル用ゴミ箱531 に、レモンアイコン（lemon_small_0001）、手帳アイコン（note_small_0001）バナナアイコン（banana_small_0001）を、仮想空間内のテーブル551 に、紙くずアイコン（trash_small_0001）を、仮想空間内の一般用ゴミ箱541 にそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０１３０】
ここで、仮想空間操作モードの操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データに加えて、上記画像データ（仮想空間）に１対１に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断するようにしている。また、画面マスクデータにおけるマスクデータの座標には、物品データベースの物品データ（図５参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデータは、背景差分画像によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０１３１】
そして、この操作画面上で物品アイコンのドラッグアンドドロップ操作を行うことにより、物品の移動作業が指定されたときには、操作端末103 から環境管理サーバ101 にその作業内容のメッセージが送信される。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。
【０１３２】
上記サーバ101 はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット102 に送信する。
【０１３３】
ロボット制御コマンド列を受信した作業ロボット102 の制御手段115 は、図２０に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット102 は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行することになる。
【０１３４】
このように、仮想空間操作モードでは、操作端末103 の表示部117 に表示される操作画面が、環境の実状況に則した仮想空間によって構成されると共に、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業が指定される。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
【０１３５】
また、後述する場所アイコン操作モードや、作用アイコン操作モードとは異なり、仮想空間操作モードでは、仮想空間内で、物品の移動先を自由に指定することができる。これにより、ロボットに実行させる作業内容の自由度が高まる。
【０１３６】
（場所アイコン操作モード）
図１３は、場所アイコン操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。
【０１３７】
この操作画面には、物品アイコンと、環境内における物品の移動場所を表す場所アイコンとが含まれている。上記物品アイコンは、センシング手段104 によって環境内で検出された物品に対応するものである。すなわち、操作画面に含まれる物品アイコン（それに対応する物品）は、環境内に実際に存在しているものである。物品アイコンは、物品ＩＤと対応付けた状態でリスト形式に表示されている。図１３に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。こうすることでユーザは、環境内に存在する物品を一目で認識することが可能になる。尚、環境内に存在する物品が多数であり、一画面内に全ての物品アイコンを表示することができないときにはスクロールバーを利用すればよい。また、これとは異なる他の方法としては、環境内に存在する物品を、食品、衣類といったカテゴリー毎に木構造で分類しておき、上位のカテゴリーから下位のカテゴリーに階層をたどることで、物品アイコンが表示されるようにしてもよい。
【０１３８】
また、物品アイコンは、例えば物品の名称順や、指定される頻度の高い順等に並べ替え可能にしてもよい。さらに、物品の内容に応じて、物品アイコンの表示の順序を自動的に設定するようにしてもよい。例えば、上述したように、カテゴリー毎に物品アイコンを表示するときに、そのカテゴリーが食品である場合は、そこに含まれる物品アイコンを賞味期限の早い順番で表示することをデフォルトで設定しておいてもよい。この場合でも、物品アイコンをその他の基準に従って並び替え可能にすることが好ましい。
【０１３９】
また、この物品アイコンは、センシング手段104 としてのカメラによって撮像した、物品の実際の画像によって構成してもよいし、その物品の付された電子タグにアイコンデータが記録されているときには、そのアイコンデータを利用してもよい。
【０１４０】
場所アイコン操作モードの操作画面に含まれる場所アイコンは、上述したように、環境内における物品の移動場所を表すものであり、例えば、物品が頻繁に移動され得る場所として予め指定しておけばよい。図１３に示す操作画面には、場所アイコンとして、ゴミ箱及びテーブルの各アイコンが含まれている。ここで、場所アイコンの一つであるゴミ箱アイコンは、環境内に存在する一般用ゴミ箱とリサイクル用ゴミ箱とを包括する包括アイコンとなっている。この包括アイコンとは、環境内に存在する複数の場所を包括して操作画面上に示すアイコンである。尚、図１３に示す操作画面に含まれる場所アイコンの一つであるテーブルアイコンは、包括アイコンではなく、環境内のテーブルそのものを示す場所アイコンである。
【０１４１】
場所アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと場所アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。このため、物品アイコンと場所アイコンとをそれぞれ指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の場所アイコン（包括アイコン）にドラッグアンドドロップ操作する。これにより、物品と、その物品の移動先が指定される。また、この場所アイコン操作モードにおける操作画面では、複数の物品アイコンを一度に所望の場所アイコンにドラッグアンドドロップ操作可能に構成されている。
【０１４２】
次に、場所アイコン操作モードの操作画面における、作業内容の指定手順について、図１４を参照しながら説明する。ここでは、空き缶と紙くずとをゴミ箱に移動させる（ゴミ箱に捨てる）作業を指定する場合を例に説明する。尚、同図に示す矢線は、カーソルの移動軌跡を示している。
【０１４３】
ロボット102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。ここでは、カーソルを空き缶アイコンの位置に移動させ、その空き缶アイコンをクリック操作する（同図のＰ0001参照）。物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンが強調表示される。これによりユーザは、どのアイコンが指定されたかを一目で認識可能になる。
【０１４４】
ロボット102 に移動させる別の物品を指定するときには、カーソルをその別の物品アイコンの位置に移動させて、その物品アイコンをクリック操作する。ここでは、カーソルを紙くずアイコンの位置に移動させ、その紙くずアイコンをクリック操作する（同図のＰ0002参照）。このときも指定された物品アイコンが強調表示される。従って、ここでは、空き缶アイコンと紙くずアイコンとが、それぞれ強調表示される。尚、さらに別の物品を指定するときには、その物品アイコンをさらにクリック操作すればよい。
【０１４５】
こうして、ロボット102 に移動させる全ての物品アイコンを指定すれば、その指定した物品アイコンを、場所アイコンにドラッグアンドドロップ操作する。このドラッグアンドドロップ操作は、一度行えば指定した全ての物品が操作される。ここでは、空き缶アイコンと紙くずアイコンとを、ゴミ箱アイコンにドラッグアンドドロップ操作する（同図のＰ0003参照）。
【０１４６】
こうして、空き缶と紙くずとをゴミ箱（リサイクル用ゴミ箱又は一般用ゴミ箱）に移動させるという作業内容が指定されることになる。
【０１４７】
このようにしてロボット102 に実行させる作業内容が指定されれば、上述したように、操作端末103 から環境管理サーバ101 にその作業内容のメッセージが送信されると共に、上記サーバ101 から作業ロボット102 にロボット制御コマンド列が送信される。
【０１４８】
そして、上記作業ロボット102 の制御手段115 は、受信したロボット制御コマンドを、図２０に示すフローチャートに従って実行する。これにより、操作画面上で指定した物品が指定した場所に移動される。
【０１４９】
ここで、場所アイコン操作モードでは、物品の移動先が包括アイコン（上記の例ではゴミ箱アイコン）で指定される場合がある。このように移動先が包括アイコンで指定されたときには、作業ロボット102 の移動場所選択手段120 が、指定された物品の実際の移動先を選択する。
【０１５０】
上記作業ロボット102 の移動場所選択手段120 は、ユーザによって指定された物品の属性に応じて、包括アイコンに含まれる移動先の内から、実際の移動先を選択するものである。この移動場所選択手段120 には、移動場所選択知識が記憶されており、移動場所選択手段120 は、この移動場所選択知識に基づいて移動場所の選択を行う。この移動場所選択知識は、例えばif−thenルールを利用して記述することができる。具体的に、上記のリサイクル用ゴミ箱と一般用ゴミ箱とを包括するゴミ箱アイコンの例では、
【０１５１】
本システムでは、上述したように、作業ロボット102 の把持手段112 にリーダライタが取り付けられている。物品の属性（上記の例では、リサイクル品であるか否か）は、把持手段112 が物品を把持したときにその物品に取り付けられた電子タグの情報を読み取って判定する。
【０１５２】
図１４に示すように、空き缶と紙くずとをゴミ箱に移動させる作業が指定されたときには、作業ロボット102 は次のようにして指定された作業を実行する（図１５参照）。尚、上記空き缶には電子タグが付されている一方、紙くずには電子タグが付されていないものとする。
【０１５３】
すなわち、作業ロボット102 の把持手段112 が、指定された２つの物品の内、先ず空き缶２１を把持したとする。このときに、把持手段112 に取り付けられたリーダライタが空き缶２１に取り付けられた電子タグから情報を読み取る。その情報に基づいて、作業ロボット102 の制御手段115 はその空き缶２１がリサイクルゴミであることを認識する。こうして物品の属性が判別されれば、移動場所選択手段120 は移動場所選択知識に基づいて移動先を判断する。ここでは、空き缶２１がリサイクルゴミであるため、移動先としてリサイクル用ゴミ箱５３が選択される。移動先が選択されれば、そのリサイクル用ゴミ箱５３の位置まで、空き缶２１を把持した状態で上記ロボット102 が移動する（同図の番号「１」が付された矢線参照）と共に、その空き缶２１を解放することによって、空き缶２１をリサイクル用ゴミ箱５３に捨てる。
【０１５４】
次に、作業ロボット102 は指定されたもう一つの物品である紙くず２３の位置まで移動し（同図の番号「２」が付された矢線参照）、その紙くず２３を把持する。このときに、把持手段112 に取り付けられたリーダライタが物品に取り付けられた電子タグから情報を読み取るが、紙くず２３には電子タグが取り付けられていないため、情報が得られない。この場合、作業ロボット102 の制御手段115 はその紙くず２３が一般ゴミであると認識する。移動場所選択手段120 は移動場所選択知識に基づいて、紙くず２３の移動先を一般用ゴミ箱５４に選択する。こうして、上記ロボット102 は、一般用ゴミ箱５４の位置まで紙くず２３を把持した状態で移動し（同図の番号「３」が付された矢線参照）、そこで紙くず２３を解放する。こうして、その紙くず２３を一般用ゴミ箱５４に捨てる。
【０１５５】
尚、ここでは、把持手段102 にリーダライタを取り付けて、各物品に取り付けられた電子タグの情報からその物品の属性を判断するようにしたが、例えば物品データベースに蓄積されたデータに基づいて、物品の属性を判断するようにしてもよい。
【０１５６】
このように、場所アイコン操作モードでは、操作画面に、環境内に存在する物品に対応する物品アイコンと環境内の特定の場所を示す場所アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の場所アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。このため、誰もが容易に、ロボットの作業内容を指定することができる。
【０１５７】
また、場所アイコン操作モードでは、複数の物品アイコンを一度にドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、包括アイコンを指定するときには、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
【０１５８】
さらに、場所アイコン操作モードの操作画面には、包括アイコンが含まれるため、この包括アイコンを利用すれば、ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品の属性に適した移動場所に自動的に物品が移動される。特に上述したように、複数のゴミ（空き缶と紙くず）をゴミ箱に捨てるとき等、複数の物品の移動を行いたいときに包括アイコンを利用すれば、一度の操作だけで、各物品の属性を考慮しなくても、属性に応じた移動場所（上記の例ではリサイクル用ゴミ箱と一般用ゴミ箱）に各物品が移動される。こうして、作業内容の指定が、より一層容易になる。また、例えば一般ゴミをリサイクル用ゴミ箱に移動させたり、リサイクルゴミを一般用ゴミ箱に移動させたりする操作ミスがなくなる。
【０１５９】
このような包括アイコンは、上述したように、一般用ゴミ箱とリサイクル用ゴミ箱と包括するゴミ箱アイコンに限らず、その他の場合にも適用可能である。一例を挙げると、冷蔵室と野菜室と冷凍室とを含む冷蔵庫が環境内に設置されている場合において、その冷蔵室、野菜室及び冷凍室の３つの場所を包括する包括アイコンとして、冷蔵庫アイコンを操作画面に表示してもよい。つまり、食品を冷蔵庫に保存する際には、その食品の属性（種類）に応じて、冷蔵室、野菜室及び冷凍室を選択して保存するが、操作画面上に包括アイコンとしての冷蔵庫アイコンを含めておく。このことで、その冷蔵庫アイコンに物品アイコンがドラッグアンドドロップ操作されたときには、その物品アイコンに対応する物品の属性に応じて、移動場所選択手段120 は、その物品が冷凍食品であれば冷凍室を選択し、その物品が野菜であれば野菜室を選択し、その他であれば冷蔵室を選択する。こうして、ユーザが具体的に指定しなくても、物品に適した場所（室）にその物品が保存されることになる。
【０１６０】
尚、上記の場所アイコン操作モードでは、操作画面に包括アイコン（ゴミ箱アイコン）を含めていたが、例えば図１６に示す操作画面のように包括アイコンを用いずに、環境内の実際に場所（リサイクル用ゴミ箱と一般用ゴミ箱）に対応するリサイクル用ゴミ箱アイコンと一般用ゴミ箱アイコンとをそれぞれ、操作画面に含めてもよい。
【０１６１】
この操作画面で、ロボット102 に空き缶と紙くずとをゴミ箱に移動させる作業を指定する場合は、空き缶アイコンをリサイクル用ゴミ箱アイコンにドラッグアンドドロップ操作し、紙くずアイコンを一般用ゴミ箱アイコンにドラッグアンドドロップ操作すればよい（同図の矢印参照）。
【０１６２】
（作用アイコン操作モード）
作用アイコン操作モードは、物品に施す作用を指定するモードであり、これによりロボット102 は、その物品を、指定された作用に応じた移動先に移動する作業を実行する。物品に施す「作用」とは、例えば物品を「捨てる」ということであったり、物品を「片付ける」ということであったり、物品を「保存する」ということであったりする。そして「作用に応じた移動先」とは、具体的に例を挙げて説明すると、物品が「リサイクルゴミ」であり、それに対する作用が「捨てる」であるときには、作用に応じた移動先は「リサイクル用ゴミ箱」となる。また、物品が「食器」であり、それに対する作用が「片付ける」であるときには、作用に応じた移動先は「台所」となる。つまり、「作用に応じた移動先」は、その物品の属性に基づいて決定されることになる。
【０１６３】
図１７は、作用アイコン操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。この操作画面には、物品アイコンと、物品に施す作用を表す作用アイコンとが含まれている。
【０１６４】
上記物品アイコンは、上記場所アイコン操作モードの操作画面（図１３参照）に表示される物品アイコンと同じである。図１７に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、積み木（toy_small_0001）、グラス（glass_small_0001）、Ｔシャツ（tshirts_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。
【０１６５】
作用アイコン操作モードの操作画面に含まれる作用アイコンは、物品に施す作用を表すものである。図１７に示す操作画面には、作用アイコンとして、「捨てる」アイコンと、「片づける」アイコンとが表示されている。
【０１６６】
この作用アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと作用アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。物品の移動作業を指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作する。これにより、物品と、その物品に施す作用とが指定される。
【０１６７】
また、この作用アイコン操作モードにおける操作画面でも、複数の物品アイコンを一度に所望の作用アイコンにドラッグアンドドロップ操作可能に構成されている。これにより、ユーザによる作業内容の指定操作を簡便にしている。
【０１６８】
尚、図１７に示す矢線は、空き缶（kan_small_0001）、紙くず（trash_small_0001）を、「捨てる」アイコンに、積み木（toy_small_0001）、グラス（glass_small_0001）、Ｔシャツ（tshirts_small_0001）を「片づける」アイコンにそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０１６９】
このようにしてロボット102 に実行させる作業内容が指定されれば、上述したように、操作端末103 は環境管理サーバ101 にその作業内容のメッセージを送信するが、作用アイコン操作モードでは、メッセージを送信する前に、操作端末103 の作用／場所変換手段121 が、指定された物品の移動先を、指定された作用に応じて決定する。
【０１７０】
上記作用／場所変換手段121 には、例えば図１８に示すような、作用／場所変換テーブルが保存されており、作用／場所変換手段121 は、この作用／場所変換テーブルに基づいて、指定された物品の移動先を決定する。作用／場所変換テーブルは、作用アイコン名の列、物品属性の列、移動場所の列からなる。
【０１７１】
ここで、この作用／場所変換手段121 における処理を、図１７に示す操作画面上で指定されたように、積み木、グラス及びＴシャツを「片づける」と指定された場合を例に、説明する。
【０１７２】
操作画面上で、物品とそれに対する作用とが指定されれば、上記作用／場所変換手段121 は先ず、作用／場所変換テーブルにおける作用アイコン名の列から、指定された作用アイコンを選択する。尚、指定された作用アイコンがテーブルに存在しないときには、その旨をユーザに報知して処理を終了すればよい。ここでは、物品に対する作用として「片づける」が指定されたため、図１８に示す作用／場所変換テーブルの作用アイコン名の列から、「片づける」の行を選択する。「片づける」は、作用アイコン名の列の上から２行目である。
【０１７３】
次に、指定された物品アイコンに対応する物品の属性を特定し（例えば、物品データベースに蓄積されている情報に基づいて特定すればよい）、作用／場所変換テーブルにおける物品属性の列から、その物品の属性と一致する属性、又はその物品の属性を含む属性（上位概念属性）を選択する。この「物品の属性を含む上位概念属性」とは、具体例を挙げて説明すると、物品の属性が「グラス」のときには、その属性は上位概念属性である「食器」に含まれる、という意味である。こうした上位概念属性と、物品の属性との関係は、例えば、木構造（階層構造）等で構成して、作用／場所変換手段121 に予め記憶しておけばよい。尚、作用／場所変換テーブルにおける物品属性の列に、「＊」と記されているものは、物品の属性を問わない（どんな物品でも良い）ことを示す。ここで指定された物品は「グラス」であるため、物品属性の列から、その「グラス」の上位概念属性である「食器」の行を選択する。
【０１７４】
こうして、作用アイコンと物品属性とが決定されることにより、作用／場所変換テーブルにおける場所の列で、その物品の移動場所が決定されることになる。尚、この場所の列において、「−」と記されているものは、移動場所が決定できない（適当な場所が無い）ことを意味する。この場合は、その旨をユーザに報知して処理を終了すればよい。ここで、場所の列における「食器」の行に対応する行を参照すると「台所」であるため、「食器」の移動先は「台所」に決定される。
【０１７５】
また、指定された別の物品「積み木」を含む上位概念属性は、「玩具」であるため、場所の列において「玩具」の行に対応する行は「押入」であり、「玩具」の移動先は「押入」に決定される。さらに、指定された別の物品「Ｔシャツ」の上位概念属性は「衣類」であるため、場所の列において、その「衣類」の行に対応する行は「洗濯かご」であり、「Ｔシャツ」の移動先は「洗濯かご」に決定される。
【０１７６】
図１８に示す作用／場所変換テーブルは、比較的簡単な構成のものであるが、作用／場所変換テーブルには、例えば図１９に示すように、さらに複雑な条件分岐を入れてもよい。この図１９に示す作用／場所変換テーブルでは「片付ける」という作用を「衣類」に施す場合に、その衣類の移動場所が２つ存在し、その衣類の条件に応じて、移動場所が決定されるように構成されている。具体的には、その衣類が使用後であるときには、物品属性の列において「衣類（使用後）」の行が選択され、それによって、その使用後の衣類の移動場所が「洗濯かご」に決定される。一方、その衣類が使用後でないときには、物品属性の列において「衣類（＊）」の行が選択され（尚、「＊」は衣類に設定されたいずれの条件にも適合しないことを示す）、それによって、その衣類の移動場所が「洋服タンス」に決定される。尚、物品の条件（上記の例では、使用後の衣類であるという条件）は、物品データベースに蓄積されているその物品の物品履歴データを参照することによって判断可能である。
【０１７７】
このようにして作用／場所変換手段121 が、指定された物品の移動先を、指定された作用に応じて決定すれば、操作端末103 からサーバ101 に作業内容のメッセージが送信されると共に、上記サーバ101 から作業ロボット102 にロボット制御コマンド列が送信される。
【０１７８】
そして、上記作業ロボット102 の制御手段115 は、受信したロボット制御コマンドを、図２０に示すフローチャートに従って実行することになる。
【０１７９】
このように、作用アイコン操作モードでは、操作画面に物品アイコンと作用アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品に施す作用を指定するだけでよい。こうすることで、物品の属性と作用とに基づいて、最適な移動場所に自動的に物品が移動されため、誰もが容易に、ロボットの作業内容を指定することができる。
【０１８０】
また、作用アイコン操作モードでも、複数の物品アイコンを一括してドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、作用アイコン操作モードでは、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
【０１８１】
ところで、作用アイコン操作モードでは、物品とそれに対する作用との関係で、適切な移動場所が存在せず、ユーザが指定した作業内容を実行することができない場合も生じ得る。そこで、作用アイコン操作モードでは、その操作画面を次のように構成してもよい。
【０１８２】
すなわち、操作端末103 の表示部117 に表示する操作画面には、先ず、物品アイコンのみを表示し、作用アイコンは表示しない。そして、物品アイコンがユーザの操作により指定されたときに、作用／場所変換手段121 が、作用／場所変換テーブルを参照することにより、その指定された物品アイコン（物品）に対してロボットが行い得る作用を選択し、その選択した作用アイコンを操作画面に表示する。ユーザは、操作画面に表示された作用アイコンに、指定した物品アイコンをドラッグアンドドロップ操作することにより、作業内容の指定を行う。
【０１８３】
またこれとは異なり、操作端末103 の表示部117 に表示する操作画面には、物品アイコンと作用アイコンとの双方を表示する一方で、物品アイコンがユーザの操作により指定されたときに、その指定された物品に対してロボット102 が行い得る作用を表す作用アイコンのみを、操作画面に表示し、ロボット102 が行い得ない作用を表す作用アイコンは、操作画面に表示しないようにしてもよい。また、ロボット102 が実行し得ない作用を表す作用アイコンを、操作画面上で薄暗く表示することで、その作用が選択不可能であることをユーザに報知してもよい。その作用アイコンが選択不可能であることをユーザが認識可能であれば、どのような表示形態であってもよい。ユーザが、ロボット102 が実行し得ない作用を表す作用アイコンに、物品アイコンをドラッグアンドドロップ操作したときには、「操作不可能」等のメッセージを操作画面上に表示してもよい。例えば物品データベースに、各物品について、ロボット102 が施すことの可能な作用を予め蓄積しておくことで、作用アイコンの表示・非表示を行うことが可能になる。
【０１８４】
このようにして、ユーザが指定した作業内容をロボット102 が実行できないということを、未然に防止することができる。
【０１８５】
そして、本システムでは、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有することで、指定する作業内容に応じて、操作モードを使い分けることができ、物品移動システムの利便性が高まる。
【０１８６】
尚、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードは、ユーザの要求に応じて切り替えるとしたが、これら３つの操作モードは選択的に実行しなくてもよい。例えば、仮想空間操作モードで表示される操作画面と、場所アイコン操作モードで表示される操作画面又は作用アイコン操作モードで表示される操作画面とを、操作端末103 の表示部117 に並べて表示してもよい。また、場所アイコン操作モードで表示される操作画面と作用アイコン操作モードで表示される操作画面とを、操作端末103 の表示部117 に並べて表示してもよい。
【０１８７】
尚、本実施形態では、操作端末103 の表示制御手段118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ101 が作成してもよい。この場合、サーバ101 が作成した操作画面は、ネットワークを介して操作端末103 に送信し、操作端末103 は、受信した操作画面を表示部117 に表示すればよい。また、入力部116 の操作によって、操作モードの切り替え操作がされたときには、操作端末103 からサーバ101 に、モード切り替え要求信号を送信し、それに応じて上記サーバ101 が指定された操作モード用の操作画面を作成し、これを操作端末103 に送信するようにすればよい。
【０１８８】
以上説明したように、本発明による物品移動システムは、所定の生活空間（環境）内に存在する物品の移動作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備え、上記表示部117 に操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上で、上記ロボット102 に行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボット102 が上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。
【０１８９】
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボット102 が指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボット102 の作業内容を指定可能になる。
【０１９０】
本発明では、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含むものであり、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボット102 は、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
【０１９１】
生活空間内にリサイクルゴミ用のリサイクル用ゴミ箱と、一般ゴミ用の一般用ゴミ箱との２つのゴミ箱（場所）が存在したときに、操作画面に場所アイコンのみ（リサイクル用ゴミ箱のアイコンと、一般用ゴミ箱のアイコンと）が含まれるときには、例えば、生活空間内のゴミをゴミ箱に捨てる作業をロボット102 に実行させるときに、ユーザは、そのゴミが、リサイクルゴミであるか一般ゴミであるかを判別した上で、リサイクル用ゴミ箱のアイコンか、一般用ゴミ箱のアイコンかのいずれか一方を指定する操作をしなければならない。
【０１９２】
これに対し、これら２つのゴミ箱を包括する包括アイコンとして、ゴミ箱アイコンを操作画面に含める。そして、操作画面上で物品アイコンと、そのゴミ箱アイコンとが指定操作されたときには、その物品の属性に応じて、リサイクルゴミの物品アイコンが操作されたときには、リサイクル用ゴミ箱を選択し、一般ゴミの物品アイコンが操作されたときには、一般用ゴミ箱を選択する。
【０１９３】
こうして、包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択すれば、ロボット102 は、生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
【０１９４】
このように包括アイコンを操作画面に含めることで、ユーザは、ゴミの属性を考慮しなくても、「ゴミをゴミ箱に捨てる（移動させる）」という作業内容を、操作画面上で指定するだけで、ロボット102 が、指定されたゴミを、その属性に応じたゴミ箱に捨てる作業を実行する。このように包括アイコンを用いることで、ユーザによる作業内容の指定が、より一層容易になる。
【０１９５】
本発明による物品移動システムは、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部117 に表示する仮想空間操作モードをさらに有する。
【０１９６】
このように、操作画面を生活空間の実状況に則した仮想空間によって構成することにより、一般家庭等の生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品アイコンが配置される。このことにより、生活空間内で様々な位置に置かれる物品の中から、ロボット102 に移動させる物品を容易に指定することが可能になる。そして、ロボット102 の作業内容をこの仮想空間内で指定することで、複雑な状況下の生活空間内におけるロボット102 の作業内容を、容易に指定可能になる。
【０１９７】
そして、場所アイコン操作モードと、仮想空間操作モードとの２つの操作モードを有することで、ロボット102 に実行させる作業内容に応じて操作モードを使い分け可能になる。その結果、簡単な操作でロボット102 に所望の作業を確実に実行させることが可能になる。
【０１９８】
本発明による物品移動システムは、上記操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部117 に表示する作用アイコン操作モードをさらに有する。すなわち、作用アイコン操作モードの操作画面には、場所アイコン操作モードの操作画面に含まれる場所アイコンに代わって、物品に施す作用を示す作用アイコンが含まれる。
【０１９９】
そして、この作用アイコン操作モードでは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作がされることによって、ロボット102 に扱わせる物品と、その物品に施す作用との指定が行われ、物品と、その物品に施す作用との指定が行われれば、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択する。従って、作用アイコン操作モードでは、例えば、指定された物品が「積み木（玩具）」であり、指定された作用が「片付ける」であったときには、「押入れ」がその移動場所として選択される。また、指定された物品が「グラス（食器）」及び「Ｔシャツ（衣類）」であり、指定された作用が「片付ける」であったときには、「グラス」については「台所」がその移動場所として選択され、「Ｔシャツ」については「洗濯かご」がその移動場所として選択される。さらに、指定された物品が「空き缶（リサイクルゴミ）」であり、指定された作用が「捨てる」であったときには、「リサイクル用ゴミ箱」がその移動場所として選択される。
【０２００】
こうして移動場所が選択されれば、ロボット102 は、指定された物品を、上記選択した場所に移動する作業を実行する。
【０２０１】
このように、作用アイコン操作モードでは、操作画面上で、物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット102 によって選択された移動場所に移動される。このため、ユーザは具体的な移動場所を指定する必要がない。その結果、ユーザによる作業内容の指定が、極めて容易になる。
【０２０２】
そして、場所アイコン操作モードと作用アイコン操作モードとの２つの操作モード、又は場所アイコン操作モードと作用アイコン操作モードと仮想空間操作モードとの３つの操作モードを有することで、ロボット102 に実行させる作業内容に応じた操作モードの使い分けが可能になる。
【０２０３】
また本発明による物品移動システムは、操作画面上で物品アイコンを。他のアイコン（場所アイコン又は作用アイコン）にドラッグアンドドロップ操作することによって、ロボット102 に移動させる物品と、その物品の移動場所又はその物品に施す作用との指定が行われる。このように、物品アイコンのドラッグアンドドロップ操作という、直感的な操作によって、操作画面上でロボット102 の作業内容の指定がなされる。これにより、ロボット102 の作業内容の指定がより一層容易になる。
【０２０４】
さらに仮想空間操作モードを、所望の物品アイコンを仮想空間内の所望の場所にドラッグアンドドロップ操作することによって、ロボット102 に移動させる物品と、その物品の移動場所との指定を行うモードとすることにより、物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定可能になる。このため、ロボット102 に実行させる作業内容を極めて容易に指定可能になる。さらに、場所アイコン操作モードとは異なり、仮想空間操作モードでは、物品を移動させる移動場所の指定を仮想空間内で行うことになるため、移動場所を自由に指定可能になる。
【０２０５】
本発明による物品移動システムでは、場所アイコン操作モードや、作用アイコン操作モードの操作画面は、複数の物品アイコンを一括してドラッグアンドドロップ操作可能に構成される。そして、複数の物品アイコンを、一括して場所アイコンにドラッグアンドドロップ操作したときには、各物品がその場所アイコンで示される場所に移動される。また、複数の物品アイコンを、一括して包括アイコンにドラッグアンドドロップ操作したときには、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。さらに、複数の物品アイコンを、一括して作用アイコンにドラッグアンドドロップ操作したときにも、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。こうして、複数の物品アイコンを一括してドラッグアンドドロップ操作可能にすることにより、ユーザによる作業内容の指定がより簡便化される。
【０２０６】
本発明による他の物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備えるものである。そして、上記物品移動システムは、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボット102 が上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行するものである。
【０２０７】
この構成によると、上述したように、ユーザは、操作画面上で、物品とその物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット102 によって選択された移動場所に移動される。このように、ユーザは具体的な移動場所を指定する必要がないため、ユーザによる作業内容の指定が容易になる。
【０２０８】
本発明による物品移動システムは、生活空間内に存在する物品を検出するセンシング手段104 をさらに備え、操作画面には、上記センシング手段104 により検出された物品に対応する物品アイコンを含めるものである。
【０２０９】
本発明によるロボット操作装置（操作端末103 ）は、所定の生活空間内に存在する物品の移動作業を行うロボット102 の作業内容を指定するための装置であり、上記ロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる場所アイコン操作モードを有するものである。
【０２１０】
これにより、上述したように、ロボット102 の作業内容の指定は、操作画面上で、物品アイコンと場所アイコンとを指定することによって行われるため、誰もが容易に、ロボット102 の作業内容を指定可能になる。
【０２１１】
また、本発明によるロボット操作装置は、その表示部117 に、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させる仮想空間操作モードをさらに有する。
【０２１２】
さらに、本発明によるロボット操作装置は、その表示部117 に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる作用アイコン操作モードをさらに有する。
【０２１３】
本発明による他のロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる作用アイコン操作モードを有するものである。
【０２１４】
この構成により、上述したように、ロボット102 の作業内容の指定は、操作画面上で、物品とその物品に対する作用を指定することだけでよいため、ロボット102 の作業内容が容易に指定可能になる。
【０２１５】
−他の実施形態−
尚、本実施形態では、環境管理サーバ101 が操作端末103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしたが、例えば、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしてもよい。
【０２１６】
また、本実施形態では、物品移動システムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品移動システムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。
【０２１７】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０２１８】
さらに、本システムでは、移動場所選択手段120 を２番目のサブシステムである作業ロボット102 に設けたが、この移動場所選択手段120 は、１番目のサブシステムである環境管理サーバ101 に設けてもよいし、３番目のサブシステムである操作端末103 に設けてもよい。
【０２１９】
また、作用／場所変換手段121 を操作端末103 に設けたが、この作用／場所変換手段121 は、環境管理サーバ101 に設けてもよいし、作業ロボット102 に設けてもよい。
【０２２０】
さらに、本システムでは、操作モードとして、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有しているが、例えば、これら３つの操作モードの内のいずれか２つの操作モードだけを有していてもよいし、場所アイコン操作モード及び作用アイコン操作モードのいずれか一方のみを有していてもよい。
【０２２１】
【発明の効果】
以上説明したように、本発明による生活空間用の物品移動システム、及びロボット操作装置では、操作画面上で、物品アイコンおよび、包括アイコンまたは作用アイコンが指定された場合、物品アイコンに対応する物品を移動させる場所が、制御手段によって選択される。そして、ロボットは生活空間内で、選択された場所への物品の移動作業を実行する。このため、ユーザは、具体的な移動先を指定しなくても、物品の属性に適した移動先に、所望の物品を移動させることができる。
【０２２２】
また、仮想空間操作モードでは、生活空間の実状況に則した仮想空間からなる操作画面が操作端末の表示部に表示され、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、仮想空間内の場所とを指定操作するという、直感的な操作によって、物品とその移動先とを指定することができる。また、仮想空間操作モードでは、物品の移動先を仮想空間内で自由に指定することができる。
【０２２３】
また、操作モードとして、場所アイコン操作モードと、作用アイコン操作モードとを有する。場所アイコン操作モードにおいては操作端末（ロボット操作装置）の表示部に、生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、ロボットに移動させる物品と、その移動先とを指定することができる。このため、誰もが容易に、作業内容の指定をすることができる。一方、作用アイコン操作モードでは、操作端末（ロボット操作装置）の表示部に、物品アイコンと場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、物品と、その物品に施す作用とを指定することができる。そして、指定された作用と、物品の属性とに応じて、その物品が所定の移動先に移動される。これにより、ユーザは作業内容の指定を極めて容易に行うことができる。
【０２２４】
そして、これら複数の操作モードを有することにより、ロボットに実行させる作業内容に応じて操作モードを使い分けることができ、物品移動システムの利便性を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態に係る物品移動システムの全体構成の一例を示すブロック図である。
【図２】背景差分法の原理を示す説明図である。
【図３】物品／移動体検索・管理手段の構成の一例を示すブロック図である。
【図４】ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。
【図５】物品／移動体データベースの内、物品データベースの構成と記載内容例を示す図である。
【図６】物品／移動体データベースの内、移動体データベースの構成と記載内容例を示す図である。
【図７】持出・持込データベースの構成と記載内容例を示す図である。
【図８】環境内で物品が移動する一例を説明する説明図である。
【図９】環境の実状況と、それに対応する環境マップとを示す図である。
【図１０】環境マップに付随する設備データベースの構成と記載内容例を示す図である。
【図１１】作業ロボットの構成の一例を示す概略図である。
【図１２】仮想空間操作モードで表示される操作画面の一例を示す図である。
【図１３】場所アイコン操作モードで表示される操作画面の一例を示す図である。
【図１４】場所アイコン操作モードの操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
【図１５】環境内でロボットが指定された移動作業を実行する様子を示す図である。
【図１６】図１４とは異なる形態の場所アイコン操作モードで表示される操作画面の一例を示す図である。
【図１７】作用アイコン操作モードで表示される操作画面の一例を示す図である。
【図１８】作用／場所変換テーブルの一例を示す図である。
【図１９】条件分岐を含めた作用／場所変換テーブルの一例を示す図である。
【図２０】作業ロボットの制御手段に係るフローチャートである。
【符号の説明】
101・・・環境管理サーバ
102・・・作業ロボット
103・・・操作端末（操作手段、ロボット操作装置）
106・・・物品／移動体データベース
110，115，119・・・制御手段
116・・・入力部
117・・・表示部
118・・・表示制御手段
120・・・移動場所選択手段
121・・・作用／場所変換手段
Claims (15)
- 所定の生活空間内に存在する物品の移動作業を行うロボットと、
上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報を有する物品データベースと、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび包括アイコンが指定された場合、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記物品データベースから取得した、上記指定された物品アイコンに対応する上記物品の属性情報に応じて、場所を選択し、
上記ロボットに対して、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御を行う制御手段とを備えることを特徴とする物品移動システム。 - 前記操作手段は少なくとも１つ以上の操作モードを有し、
前記操作モードに対応する操作画面を生成する表示制御手段を更に備え、
前記操作モードとして仮想空間操作モードを有し、
前記仮想空間操作モードの操作画面は、
生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する請求項１記載の物品移動システム。 - 仮想空間操作モードは、操作画面上で物品アイコンと仮想空間内の場所とを指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードである請求項２記載の物品移動システム。
- 前記操作手段は少なくとも１つ以上の操作モードを有し、
前記操作モードに対応する操作画面を生成する表示制御手段を更に備え、
前記操作モードとして作用アイコン操作モードを有し、
前記作用アイコン操作モードの操作画面は、
生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを有する請求項１又は２記載の物品移動システム。 - 作用アイコン操作モードは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作をすることによって、ロボットに扱わせる物品と、その物品に施す作用との指定を行うモードであり、
上記操作画面上で物品アイコンと作用アイコンとの指定操作がされたときには、
上記制御手段は、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択し、
ロボットは、指定された物品を、上記選択した場所に移動する作業を実行する請求項４記載の物品移動システム。 - 操作画面は、物品アイコンを他のアイコンにドラッグアンドドロップ操作可能に構成される請求項５記載の物品移動システム。
- 操作画面は、複数の物品アイコンを一括して他のアイコンにドラッグアンドドロップ操作可能に構成される請求項６記載の物品移動システム。
- 所定の生活空間内に存在する物品の移動作業を行うロボットと、
上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報を有する物品データベースと、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび作用アイコンが指定された場合、
上記物品データベースから取得した上記指定された物品アイコンに対応する物品の上記属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、
上記ロボットに対し、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御を行う制御手段とを備えることを特徴とする物品移動システム。 - 請求項１，２，４及び８のいずれか１項において、
生活空間内に存在する物品を検出するセンシング手段をさらに備え、
表示制御手段は、上記センシング手段により検出された物品に対応する物品アイコンを含む操作画面を生成することを特徴とする物品移動システム。 - 所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび包括アイコンが指定された場合、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報に応じて場所を選択し、上記ロボットに、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御手段とを備えることを特徴とするロボット操作装置。 - 表示部の操作画面を生成する表示制御手段を更に有し、
前記表示制御手段は、表示部に、生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させる仮想空間操作モードをさらに有する請求項１０記載のロボット操作装置。 - 表示部の操作画面を生成する表示制御手段を更に有し、
前記表示制御手段は、表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードをさらに有する請求項１０記載のロボット操作装置。 - 所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび作用アイコンが指定された場合、
物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御手段とを備えることを特徴とするロボット操作装置。 - 所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有し、上記操作画面上で、上記入力部による上記ロボットに行わせる作業内容を指定する操作手段と、
上記操作手段における操作モードとして、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードと、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する作用アイコン操作モードとを有し、
上記場所アイコン操作モードに表示された上記物品アイコン及び上記場所アイコンが指定された場合、上記ロボットに対し、物品データベースから取得した上記指定された物品アイコンに対応する上記生活空間内の属性情報と、上記指定された場所アイコンに対応する場所とに応じて、上記ロボットに対し、上記指定された物品アイコンに対応する物品を上記指定された場所に対応する場所に移動させ、
一方、上記作用アイコン操作モードに表示された上記物品アイコン及び上記作用アイコンが指定された場合、上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する物品を、上記選択した場所に移動させる制御手段とを具備することを特徴とする物品移動システム。 - 所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記表示部の操作画面を生成する表示制御手段と、
上記ロボットに制御指令を送信する送信手段とを備え、
上記表示制御手段は、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードと、
表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードとを生成し、
上記場所アイコン操作モードに表示された上記物品アイコン及び上記場所アイコンが指定された場合、上記ロボットに対し、物品データベースから取得した上記指定された物品アイコンに対応する上記生活空間内の属性情報と、上記指定された場所アイコンに対応する場所とに応じて、上記ロボットに対し、上記指定された物品アイコンに対応する物品を上記指定された場所に対応する場所に移動させる制御指令を送信し、
一方、上記作用アイコン操作モードに表示された上記物品アイコン及び上記作用アイコンが指定された場合、物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットに対し、上記指定された物品アイコンに対応する上記生活空間内の物品を、上記選択した場所に移動させる制御指令を送信することを特徴とするロボット操作装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003057886A JP3738256B2 (ja) | 2003-03-05 | 2003-03-05 | 生活空間用の物品移動システム、及びロボット操作装置 |
| US11/330,381 US7209803B2 (en) | 2003-02-17 | 2006-01-11 | Article handling system and method and article management system and method |
| US11/330,379 US7187998B2 (en) | 2003-02-17 | 2006-01-11 | Article handling system and method and article management system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003057886A JP3738256B2 (ja) | 2003-03-05 | 2003-03-05 | 生活空間用の物品移動システム、及びロボット操作装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004268148A JP2004268148A (ja) | 2004-09-30 |
| JP2004268148A5 JP2004268148A5 (ja) | 2005-09-02 |
| JP3738256B2 true JP3738256B2 (ja) | 2006-01-25 |
Family
ID=33121139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003057886A Expired - Fee Related JP3738256B2 (ja) | 2003-02-17 | 2003-03-05 | 生活空間用の物品移動システム、及びロボット操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3738256B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012135858A (ja) * | 2010-12-28 | 2012-07-19 | Toyota Motor Corp | 操作環境モデル構築システム、および操作環境モデル構築方法 |
| WO2018230761A1 (ko) * | 2017-06-13 | 2018-12-20 | 주식회사 씽크브릿지 | 전시 및 체험장의 컨텐츠를 관리하는 시스템 및 관리 방법 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006141669A (ja) * | 2004-11-19 | 2006-06-08 | Shimadzu Corp | 移動式ｘ線撮影装置 |
| US20070000305A1 (en) * | 2005-06-30 | 2007-01-04 | Qing Ma | Gas phase chemical sensor based on film bulk resonators (FBAR) |
| WO2007041295A2 (en) | 2005-09-30 | 2007-04-12 | Irobot Corporation | Companion robot for personal interaction |
| JP5142243B2 (ja) * | 2006-09-13 | 2013-02-13 | 独立行政法人産業技術総合研究所 | ロボット作業教示システムおよびロボットに対する作業教示方法 |
| US20100179689A1 (en) * | 2009-01-09 | 2010-07-15 | National Taiwan University Of Science And Technology | Method of teaching robotic system |
| JP5892361B2 (ja) | 2011-08-02 | 2016-03-23 | ソニー株式会社 | 制御装置、制御方法、プログラム、及びロボット制御システム |
| JP5892360B2 (ja) | 2011-08-02 | 2016-03-23 | ソニー株式会社 | ロボット指示装置、ロボット指示方法、プログラム、及び通信システム |
| WO2013145499A1 (ja) * | 2012-03-30 | 2013-10-03 | 日本電気株式会社 | 購入情報処理システム、購入情報処理方法及び情報読み取り装置 |
| US9579799B2 (en) * | 2014-04-30 | 2017-02-28 | Coleman P. Parker | Robotic control system using virtual reality input |
| US9975241B2 (en) | 2015-12-03 | 2018-05-22 | Intel Corporation | Machine object determination based on human interaction |
| JP6249247B2 (ja) * | 2016-02-29 | 2017-12-20 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
| WO2018064841A1 (zh) * | 2016-10-09 | 2018-04-12 | 浙江国自机器人技术有限公司 | 一种库存物品管理系统、运载装置及其与被运载物的对接方法 |
| GB2592412B8 (en) | 2020-02-27 | 2022-08-03 | Dyson Technology Ltd | Robot |
-
2003
- 2003-03-05 JP JP2003057886A patent/JP3738256B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012135858A (ja) * | 2010-12-28 | 2012-07-19 | Toyota Motor Corp | 操作環境モデル構築システム、および操作環境モデル構築方法 |
| WO2018230761A1 (ko) * | 2017-06-13 | 2018-12-20 | 주식회사 씽크브릿지 | 전시 및 체험장의 컨텐츠를 관리하는 시스템 및 관리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004268148A (ja) | 2004-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7191035B2 (en) | Article handling system and method and article management system and method | |
| JP4473849B2 (ja) | 物品取扱いシステムおよび物品取扱いサーバ | |
| JP3738256B2 (ja) | 生活空間用の物品移動システム、及びロボット操作装置 | |
| US7269479B2 (en) | Article transporting robot | |
| CN100567098C (zh) | 物品管理系统和物品管理服务器 | |
| JP3713021B2 (ja) | 生活空間用の物品取扱いシステム及びロボット操作装置 | |
| JPWO2005015466A1 (ja) | 生活支援システム及びその制御用プログラム | |
| JP2005056213A (ja) | 情報提供システム、情報提供サーバ、情報提供方法 | |
| US20230101981A1 (en) | Cleaning robot | |
| JP3722806B2 (ja) | 物品管理システムおよびロボット制御装置 | |
| CN115151880A (zh) | 机器人 | |
| JPWO2005011926A1 (ja) | 生活支援システム | |
| JP2004323135A (ja) | 物品管理システム | |
| JP2004326437A (ja) | 物品管理システム及び物品管理方法 | |
| JP2006338059A (ja) | 物品管理システム及びその制御用プログラム並びにその制御方法 | |
| JP2004345784A (ja) | 物品管理システム、物品管理サーバ、物品管理方法 | |
| CN115176213A (zh) | 机器人 | |
| JP2005001815A (ja) | 生活空間用の物品管理システム、物品管理サーバ、物品管理方法 | |
| JP2005056066A (ja) | 物品管理システム、物品管理サーバ、物品管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050309 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20050309 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051031 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3738256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |