JP5071873B2 - タスク指示システム - Google Patents

Description

本発明は、ロボットや家電機器に実行させるタスクを指示する技術に関する。

コンピュータ制御による一般家庭向けのロボットが市場に登場し、例えば掃除ロボット等は多くの家庭で利用されている。また、料理や衣料の折り畳み等の様々な家事を行うロボットの研究も進められている。

家事は、物の移動や家電機器の操作といった異なる複数のタスクのシーケンスや、異なる種類の食器をそれぞれ別の棚に収納するといった同種のタスクの集合として捉えることができる。このような家事を構成するタスクの実行手順や対象物（家電機器や食器等）は、個々の家庭環境によって千差万別である。従って、家事を行うロボットの動作は、ユーザが自分の使用環境に適合するようカスタマイズできることが好ましい。そして、ロボットへの指示には、ユーザの好みのタスクの実行手順や、ユーザ環境における個別具体的な対象物の情報を正確に反映させることができることが望ましい。また、家庭環境の変化によってタスクの実行手順や対象物は容易に変化するので、ロボットへの指示内容の確認や編集を簡単に行うことができることが望ましい。

ユーザがロボットに独自の指示を与える方法は種々提案されている。例えばプログラミング言語を用いる方法が典型的であるが、この方法は習得が難しく、指示内容の確認や編集も容易ではない。アニメーションやアイコンを用いる視覚的なプログラミング環境（例えば、非特許文献１）もあるが、一般的なプログラミングの場合と同様の抽象化の作業が必要であり、実際の対象物の情報をそのまま用いてロボットへの指示を行うことはできない。

自然言語を用いてロボットに指示を与える方法もあるが、ユーザの好みのタスクの実行手順やユーザ環境における個別具体的な対象物といったユーザに固有の情報を自然言語で曖昧さなく表現し伝達することは人間同士のコミュニケーションにおいてさえ容易ではなく、正確な指示を自然言語でロボットに与えることは困難である。人間によるデモンストレーションや写真を用いてロボットに指示を与える方法があるが（例えば、非特許文献２）、複数のタスクのシーケンスを指示することについて考慮されていない。強化学習により複数のタスクのシーケンスをロボットに実行させる方法が提案されているが（例えば、非特許文献３）、この方法では使用環境が変化した場合のロボットの挙動が不明であり、またユーザが指示内容の確認や編集を行うことも容易ではない。

Leifer, L. Van der Loos, M. Lees, D. 1991. Visual language programming: for robot command/control in unstructured environments. In Conf. on Advanced Robotics, 31-36. Hashimoto, S., Ostanin, A., Inami M, and Igarashi, T. Photograph-Based Interaction for Teaching Object Delivery Tasks to Robots. In HRI 2010 Late-Breaking, 153-154. Calinon, S., Guenter, F., and Billard, A. 2007. On Learning, Representing, and Generalizing a Task in a Humanoid Robot. In IEEE Trans. on Systems, Man, and Cybernetics, v. 37, 286-298.

本発明は、ロボットに対して、ユーザの使用環境における個別具体的な対象物の情報を用いて、連続する複数のタスクからなるシーケンシャルタスクを指示することができる技術を提供することを目的とする。また、ロボットに実行させるタスクの内容確認及び編集を容易に行うことができる技術を提供することを目的とする。

上記の課題を解決するために、本発明は、ロボット及び家電機器にタスクを指示するタスク指示システムであって、
撮影部と、
撮影部によって撮影された画像を表示する表示部と、
表示部に表示された画像に写っている物体を認識する認識部と、
一のタスクの内容をユーザに入力させるタスク入力部であって、
タスクに関係する物体を含む画像を撮影部により撮影させるステップと、
撮影された画像において認識部が認識した物体のうちタスクに関係する物体又は家電機器の画像を選択させるステップと、
該選択した物体に対するロボット若しくは家電機器の動作又は該選択した家電機器の動作を入力させるステップと、
を含むタスク入力手続をユーザに行わせて一のタスクの内容を入力させるとともに、一のタスクのタスク入力手続が完了すると次のタスクのタスク入力手続を待機する状態となるタスク入力部と、
タスク入力部において入力されたタスクの内容を表すテキストを生成し、生成したテキストと、タスク入力手続においてユーザが選択した物体又は家電機器が写っている画像と、を含む画像である注釈付き画像を入力されたタスクに関連付けて生成する注釈付き画像生成部と、
注釈付き画像に関連付けられたタスクをロボット又は家電機器に実行させるための制御命令を生成しロボット又は家電機器に送出する制御部と、
を有する。

このタスク指示システムによれば、ユーザは、ユーザ環境における個別具体的な対象物を撮影し、撮影した実際の対象物の画像を選択するという直感的な操作によってロボットや家電機器に実行させるタスクを入力することができる。従って、ユーザ環境に固有の個別具体的な情報を用いてロボットに実行させるタスクを指示することができる。また、複数の一のタスクの入力手続が完了すると続いて次のタスクの入力手続を行うことができるので、複数の連続的なタスクからなるシーケンシャルタスクを簡単に指示することができる。

また、注釈付き画像には、タスクの内容を表すテキスト及びタスクの対象物体が写った画像が含まれるので、ユーザは、注釈付き画像に基づいて、タスクの内容を後からでも容易に確認することができる。

本発明のタスク指示システムにおいて、注釈付き画像生成部は、タスク入力手続においてユーザが選択した物体又は家電機器の名称を表すテキストと、ユーザが入力した動作を表すテキストと、を用いて、所定の規則に従って注釈付き画像のためのテキストを生成することができる。

このようにして生成されるテキストにより、ユーザは、タスクの内容及び対象物体についての情報を曖昧さ無く容易に把握することが可能である。

本発明のタスク指示システムにおいて、タスク入力部において複数のタスクのタスク入力手続が行われた場合、制御部は、該複数のタスクをタスク入力部においてタスク入力手続が行われた順番で順次ロボット又は家電機器に実行させるように制御命令の生成及び送出を行うことができる。

これにより、ロボットに実行させたい順番で複数のタスクを入力していくことによってシーケンシャルタスクを指示することができ、直感的かつ容易にシーケンシャルタスクの指示が可能になる。

本発明のタスク指示システムにおいて、表示部は、表示される画像の選択をユーザがタッチ方式のポインティング操作によって行うことができるタッチパネルディスプレイを有していても良い。

これによりユーザは直感的な操作でタスク入力を行うことが可能になる。

本発明のタスク指示システムは、
撮影部と、表示部と、認識部と、タスク入力部と、注釈付き画像生成部と、を有するタスク入力装置と、
制御部を有し、タスク入力装置、ロボット及び家電機器と通信可能に構成された制御装置と、
を有する構成とすることができる。

この場合、ロボット及び家電機器へのタスクの実行指令は、タスク入力装置とは別体の制御装置によって行われるので、ロボット及び家電機器にタスクを実行させる場合にタスク入力装置は不要になる。制御装置がロボットや家電機器にタスクの実行指令を送信する方法は、制御装置を操作する方法の他、壁のスイッチや他の家電機器の動作状態等をトリガーとしてタスクの実行が開始されるような構成とすることもでき、タスクを実行させる方法の自由度が増す。

本発明のタスク指示システムにおいて、タスク入力部は、動作対象を必要としない家電機器に実行させるタスクのタスク入力手続において、
タスクを実行させる家電機器を含む画像を撮影させるステップと、
撮影された画像において認識部が認識した物体のうち動作を指示する家電機器の画像をユーザに選択させるステップと、
選択した家電機器に実行させる動作を入力させるステップと、
をユーザに行わせ、
注釈付き画像生成部は、タスク入力手続においてユーザが選択した家電機器の名称を表すテキストと、ユーザが入力した動作を表すテキストと、を用いて注釈付き画像のためのテキストを生成することができる。

動作を入力させるステップでは、例えば、指示可能な動作リストを提示してそのうちの一の動作を選択させたり、所望の数値をユーザに入力させたりすることができる。動作対象を必要としない家電機器とは、対象物体の状態に影響を与えない家電機器であり、ランプやラジオ、時計等を例示できる。

本発明のタスク指示システムにおいて、タスク入力部は、動作対象を必要とする家電機器に実行させるタスクのタスク入力手続において、
タスクを実行させる家電機器及びその家電機器の動作対象となり得る物体を含む画像を撮影させるステップと、
撮影された画像において認識部が認識した物体のうち動作を指示する家電機器及びその
家電機器の動作対象となる物体の画像をユーザに選択させるステップと、
選択した家電機器に実行させる動作を入力させるステップと、
をユーザに行わせ、
注釈付き画像生成部は、タスク入力手続においてユーザが選択した家電機器の名称を表すテキストと、その家電機器の動作対象となる物体の名称を表すテキストと、ユーザが入力した動作を表すテキストと、を用いて注釈付き画像のためのテキストを生成することができる。

動作対象を必要とする家電機器とは、対象物体の状態に影響を与える家電機器であり、例えばカップに湯を注ぐ湯沸かし器、カップにコーヒーパウダーを投入するディスペンサー等を例示できる。これらの家電機器が正しく動作するには、適切な動作対象が存在することが必要である。例えばスプーンが動作対象の場合、湯沸かし器の動作は適切とは言えない。撮影させるステップにおいて、家電機器及びその動作対象となり得る物体が写っていない場合には、次の選択させるステップに移行することを許容しないようにすれば、不適切な動作をするタスクが作成されることを抑制できる。

本発明のタスク指示システムにおいて、タスク入力部は、ロボットに実行させる物体の移動タスクのタスク入力手続において、
移動対象の物体を含む画像を撮影させるステップと、
撮影された画像において認識部が認識した移動可能な物体のうちロボットに移動させる物体の画像を選択させるステップと、
移動対象の物体及び移動先の物体を含む画像を撮影させるステップと、
撮影された画像において認識部が認識した移動先として指定可能な物体のうちロボットによる移動先の物体の画像を選択させるステップと、
をユーザに行わせ、
注釈付き画像生成部は、タスク入力手続においてユーザが選択した移動対象の物体の名称を表すテキストと、移動先の物体の名称を表すテキストと、「移動する」という意味のテキストと、を用いて注釈付き画像のためのテキストを生成することができる。

移動タスクの指示においても、不適切な移動タスクが指示されることを抑制するために、移動先を選択させるステップにおいて不適切な移動先が選択されることを禁止するような構成としても良い。例えば、移動対象物体がスプーンの場合、移動先の物体として湯沸かし器は不適切であるから、選択させるステップにおいて湯沸かし器を選択禁止にすると良い。

本発明のタスク指示システムにおいて、タスク入力部は、ロボット又は家電機器に所定のタスクの実行を開始させるトリガーをユーザに設定させるために、
トリガーとなる物体を含む画像を撮影させるステップと、
撮影された画像において認識部が認識したトリガーとして設定可能な物体のうちトリガーに設定する物体の画像を選択させるステップと、
ロボット又は家電機器に所定のタスクの実行を開始させるために選択した物体に関して成立すべき条件を入力させるステップと、
を含むトリガー設定手続をユーザに行わせることができ、
注釈付き画像生成部は、トリガー設定手続においてユーザが選択した物体の名称を表すテキストと、ユーザが入力した条件の成立を意味するテキストと、「待つ」という意味のテキストと、を用い注釈付き画像のためのテキストを生成し、生成したテキストと、トリガー設定手続においてユーザが選択した物体が写っている画像と、を含む画像を注釈付き画像としてトリガー設定に関連付けて生成し、
制御部は、注釈付き画像に関連付けられたトリガー設定に従ってロボット又は家電機器を制御するための制御命令を生成しロボット又は家電機器に送出することができる。

タスクを実行させるために必ず中央制御装置や入力装置の操作が必要な構成では、ユーザの利便性が良くない。トリガー物体を設定することにより、多様な方法でタスクを実行させることが可能になる。上記構成によれば、このようなトリガー物体の設定も、実際のトリガー物体の画像を撮影しながら直感的な方法で行うことができる。また、トリガー設定に対応する注釈付き画像も生成されるので、ユーザはトリガー設定の内容を後から容易に確認することができる。

本発明のタスク指示システムにおいて、タスク入力部は、ロボット又は家電機器にタスクの実行を待機させる時間をユーザに設定させるために、待機時間を入力させるステップを含む待機時間設定手続をユーザに行わせることができ、
注釈付き画像生成部は、待機時間設定手続においてユーザが入力した待機時間の経過を待つ、という意味のテキストを生成し、生成したテキストを含む画像を注釈付き画像として待機時間設定に関連付けて生成し、
制御部は、注釈付き画像に関連付けられた待機時間設定に従ってロボット又は家電機器を制御するための制御命令を生成しロボット又は家電機器に送出することができる。

この構成によれば、待機時間の設定を行う場合には撮影を行う必要はない。つまり、待機時間を指示するために例えば時計の画像を撮影するといった手間を省くことができ、利便性が高い。

本発明のタスク指示システムにおいて、タスク入力部は、既存の注釈付き画像に対応するタスクの内容を、タスク入力手続、トリガー設定手続又は待機時間設定手続をユーザに再度行わせることにより編集させることができる。

これにより、ユーザは、タスク入力時と同様の直感的な操作により、既存のタスクの内容を編集することができる。編集時にも、タスク入力時と同様、ユーザの使用環境に固有の個別具体的な対象物の情報を曖昧さ無く簡単にタスクの内容に反映させることができる。

本発明において、認識部、タスク入力部、注釈付き画像生成部及び制御部は、それぞれ専用のハードウェアとして捉えることができる。また、ＣＰＵが実行することによって各機能部を実現するプログラムとして捉えることができる。

本発明によれば、ロボットに対して、ユーザの使用環境における個別具体的な対象物の情報を用いて、連続する複数のタスクからなるシーケンシャルタスクを指示することができる。また、ロボットに実行させるタスクの内容確認及び編集を容易に行うことができる。

本発明に係るタスク指示システムの一実施形態を含む家事システムの構成を示す図である。 家事システム及び入力装置の機能ブロック図である。 家事システムに備わるデータベースの一例である。 入力装置のライブビュー画像に表示されるアイコンと物体との対応関係を示す図である。 入力装置の動作状態の遷移図である。 入力装置のタスク作成モードにおいて、ユーザによるタスク作成プロセスの開始を待機する入力待機画面のＧＵＩの表示例である。 図７（Ａ）は、移動タスク入力画面のＧＵＩの表示例である。図７（Ｂ）は、移動先指示画面のＧＵＩの表示例である。図７（Ｃ）は、移動タスクを表す注釈付き画像の表示例である。 図８（Ａ）は、家電機器動作入力画面のＧＵＩの表示例である。図８（Ｂ）は、パラメータ設定画面のＧＵＩの表示例である。図８（Ｃ）は、家電機器動作タスクを表す注釈付き画像の表示例である。 図９（Ａ）は、待機時間設定画面のＧＵＩの表示例である。図９（Ｂ）は、待機時間を表す注釈付き画像の表示例である。 図１０（Ａ）は、トリガー設定画面のＧＵＩの表示例である。図１０（Ｂ）は、トリガー設定を表す注釈付き画像の表示例である。 タスク内容確認モードにおいて、既存のタスクの内容を表示するタスク内容表示画面のＧＵＩの表示例である。 入力装置によってユーザがタスクの内容を入力するプロセスを表したフローチャートである。 「コーヒーを入れる」タスクを構成するタスクを示す図である。 図１３の「コーヒーを入れる」タスクを入力装置で入力した場合に得られる注釈付き画像の例である。

以下、本発明の実施の形態について、詳細に説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは、発明の技術的範囲をそれらのみに限定する趣旨のものではない。

＜家事システム＞
図１は本発明に係るタスク指示システムの一実施形態を含む家事システムの構成を示す図である。この家事システムは部屋１１に構築され、天井カメラ１、ロボット２、湯沸かし器３、コーヒーパウダーディスペンサー４、錠剤ディスペンサー５、ランプ６、目覚まし時計７、テーブル８、入力装置９、コンピュータ１０、カップ１２を含む。湯沸かし器３、コーヒーパウダーディスペンサー４、錠剤ディスペンサー５、ランプ６及び目覚まし時計７は本発明における「家電機器」の例であり、それぞれコンピュータ１０から無線又は有線により送信される制御命令によってその動作を制御される。カップ１２は本発明における「移動可能な物体」の例である。

天井カメラ１は部屋１１の天井に設置されたＣＣＤ又はＣＭＯＳ等の撮像素子を備える小型カメラであり、部屋１１の全域を撮影することができる。なお、部屋１１内の家電機器や物体を撮影する装置は、部屋１１内の家電機器や物体のうち家事システムを構成するものを画角におさめることが可能な撮影装置であればどのようなものでもよく、天井カメラに限定されない。

ロボット２、湯沸かし器３、コーヒーパウダーディスペンサー４、錠剤ディスペンサー５、ランプ６、目覚まし時計７、テーブル８及びカップ１２には、天井カメラ１から撮影可能な位置にそれぞれマーカー２３、３３、４３、５３、６３、７３、８３及び１２３が取り付けられている。各マーカーはこれらの物体を識別可能なユニークな図形である。マーカーと物体との対応関係はコンピュータ１０のデータベースに登録されており、コンピュータ１０は天井カメラ１によって撮影されたマーカーの画像に基づいて各物体の認識及び位置の追跡を行うことができる。なお、物体の認識方法及び位置の追跡方法は、このようなマーカーを用いた画像認識に限らず、どのような認識技術を用いることもできる。

ロボット２は、テーブル８上においてカップ１２を移動させるタスクを実行するロボットである。ロボット２は、２つの車輪及び駆動モータからなる移動機構２１と鉤爪状のハ
ンド２２を備える自走式ロボットである。ロボット２は、ハンド２２でカップ１２を掴んで持ち上げ、移動機構２１によって移動し、ハンド２２で掴んでいるカップ１２を降ろして放すことにより、カップ１２を移動させることができる。

ロボット２は、コンピュータ１０から無線又は有線により送信される制御命令によってその動作を制御される。ロボット２には、コンピュータ１０からの制御命令に基づいて移動機構２１及びハンド２２の動作を制御するコントローラ（不図示）を備える。移動機構２１の「前進」「後進」「右回転」「左回転」、ハンド２２の「掴む」「放す」「持ち上げる」「降ろす」等の動作は、コントローラ内に予めプログラムされており、コンピュータ１０から各動作に対応する制御命令を送出することでロボット２の動作を制御することができる。ロボット２の位置は天井カメラ１の撮影画像に基づいてコンピュータ１０により追跡され、テーブル８の境界の情報等に基づいてテーブル８から落下しないように制御されるが、ロボット２にオンボードセンサを備え、ロボット２自ら移動可能領域の判断を行うようにしても良い。

湯沸かし器３は、コンピュータ１０からの制御命令により、「湯を注ぐ」「加熱する」「停止する」等の動作を行わせることができる。「湯を注ぐ」動作については、「１秒間」「２秒間」「３秒間」「注ぎ続ける」等の注ぐ量の制御も可能である。なお、湯沸かし器３は、押下することによって任意の量のお湯を注ぐことが可能に構成された押しボタン等を備え、人や押しボタンを押すことが可能な機構を備えたロボットによる押しボタンの押下により湯を注ぐことが可能に構成されていても良い。この場合、湯沸かし器３によって湯を注ぐ動作は、コンピュータ１０からロボットへ送信される制御命令によって制御することもできる。

コーヒーパウダーディスペンサー４は、コンピュータ１０からの制御命令により、「コーヒーパウダーを入れる」等の動作を行わせることができる。「コーヒーパウダーを入れる」動作については、「１秒間」「２秒間」「３秒間」等の入れる量の制御も可能である。人の操作により任意の量のコーヒーパウダーを入れることが可能な構成を有していても良い点は湯沸かし器３と同様である。

錠剤ディスペンサー５は、コンピュータ１０からの制御命令により、「小サイズの錠剤を入れる」「中サイズの錠剤を入れる」「大サイズの錠剤を入れる」等の動作を行わせることができる。人の操作により任意のサイズの錠剤を入れることが可能な構成を有していても良い点は湯沸かし器３等と同様である。

湯沸かし器３、コーヒーパウダーディスペンサー４及び錠剤ディスペンサー５は、それぞれ本発明における「動作対象を必要とする家電機器」の例である。すなわち、湯沸かし器３はカップ１２等の対象物における湯の量を変更し、コーヒーパウダーディスペンサー４はカップ１２等の対象物におけるコーヒーパウダーの量を変更し、錠剤ディスペンサー５は小皿（不図示）等の対象物における錠剤の量を変更することにより、対象物の状態に変化を生じさせる。

ランプ６は、コンピュータ１０からの制御命令により、「点灯」「消灯」等の動作を行わせることができる。また、「点灯」「消灯」等の状態をコンピュータ１０により検出することができる。目覚まし時計７は、コンピュータ１０からの制御命令により、鳴動時刻や鳴動方法等の動作を制御できる。ランプ６及び目覚まし時計７は、本発明における「動作対象を必要としない家電機器」の例である。すなわち、ランプ６の「点灯」や「消灯」等の動作はランプ６のみで完結し、目覚まし時計７の「鳴動」等の動作は目覚まし時計７のみで完結し、何らかの対象物の状態に変化を生じさせることはない。

以上、家電機器として据え置き型の一般的な家電機器を例示したが、ロボット２のような移行機構やアーム等を備えより複雑高度な動作を行う自動機械も本発明の家電機器となり得る。本発明におけるロボット及び家電機器はいずれもコンピュータ１０からの制御命令に従ってユーザ不在下で自動的に所定の動作を実行する自動機械であり、広義のロボットとして捉えることもできる。

カップ１２は、ロボット２によってその位置を移動可能な物体であり、本発明における「移動可能な物体」の例である。また、湯沸かし器３やコーヒーパウダーディスペンサー４の動作により湯やコーヒーパウダーの量といった状態が変化するため、湯沸かし器３やコーヒーパウダーディスペンサー４の動作対象となり得る物体である。

テーブル８には、ロボット２、湯沸かし器３、コーヒーパウダーディスペンサー４、錠剤ディスペンサー５及びカップ１２が配置されている。テーブル８がロボット２の行動可能範囲として定められている。テーブル８にテーブル８の領域の境界を識別するためのマーカーが取り付け、ロボット２がテーブル８から落ちないような制御を行うようにしても良い。

入力装置９は、タッチパネルディスプレイ９１とカメラ９２を備えたハンドヘルドデバイスである。ユーザが入力装置９において所定の操作を行うことにより、上述したロボット２及び家電機器（湯沸かし器３、コーヒーパウダーディスペンサー４、錠剤ディスペンサー５、ランプ６及び目覚まし時計７）に実行させるタスクの内容を入力することができる。入力装置９に入力されたタスクは、無線又は有線によりコンピュータ１０に送信され、コンピュータ１０においてロボット２や家電機器に送信するための制御命令に変換され、ロボット２や家電機器に送信される。

＜入力装置＞
図２は、家事システム及び入力装置９の機能ブロック図である。図１で説明した構成要素と同等の構成要素には同じ符号及び名称を用いる。図２に示すように、入力装置９は、タッチパネルディスプレイ９１（表示部）、カメラ９２（撮影部）、画像取込部９３、物体認識部９４（認識部）、データベース９５、ＧＵＩ制御部９６、注釈付き画像生成部９７（注釈付き画像生成部）、表示制御部９８及びタスク入力部９９（タスク入力部）を有する。

カメラ９２は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備え、撮影した画像を画像取込部９３に出力する。画像取込部９３はカメラ９２によって撮影された画像を取り込み、物体認識部９４と表示制御部９８に出力する。

物体認識部９４は、カメラ９２によって撮影された画像に写っている物体を各物体に取り付けられている上述のマーカーに基づいて認識する。マーカーの図形と物体との対応関係の情報はデータベース９５に格納されている。なお、入力装置９のカメラ９２によって撮影された画像から物体認識部９４が物体を認識する方法と、家事システムの天井カメラ１によって撮影された画像からコンピュータ１０が物体を認識する方法とは、同一であっても異なっていても良い。家事システムと入力装置とで同一の認識技術を使用する場合には、データベースを入力装置９又はコンピュータ１０のいずれか一方において一元管理し、他方は無線又は有線による通信によって一方のデータベースにアクセスするようにしても良い。画像に写っている物体の認識方法としてはどのような技術を用いることもできる。物体認識部９４は、認識結果の情報をＧＵＩ制御部９６に出力する。

ＧＵＩ制御部９６は、物体認識部９４により認識された物体の名称、物体の種類、ユーザによるタスク内容の入力時に指示可能な動作リスト等の情報をデータベース９５から取
得し、物体の名称を表すテキスト、物体の種類に応じたアイコン、ユーザがタスクの内容の入力を行うためのＧＵＩ（グラフィカル・ユーザ・インターフェース）等を表示制御部９８に出力する。ユーザによるタスクの入力の詳細については後述する。

データベース９５には、この家電システムに登録されている物体の情報が格納されている。図３にデータベースの例を示す。図３に例示するデータベースには、物体毎に、物体の名称、物体の種類、タスク内容の入力時に指示可能な動作のリスト及び動作対象となり得る物体の情報が格納されている。物体の種類は、上述した移動可能な物体、動作対象を必要とする家電機器、動作対象を必要としない家電機器の他、場所という種類もある。ここで、「場所」とは、物体を移動させるタスクにおいて移動先として指定可能な物体であり、テーブルや台所のカウンター等がある。データベース９５には、テーブルや台所カウンターにおいてロボット２による物体の移動先として指定可能な範囲（境界）に関する情報も格納されている。

家電機器に関しては、上述した家電機器毎に定められている動作のリストの他、特に動作対象を必要とする家電機器に関しては、動作対象として指定可能な物体の情報も格納されている。例えば、湯沸かし器の動作対象としては、カップ及びマグカップが登録されているが、皿やスプーンは登録されていない。

図４に物体の種類とアイコンの対応関係の例を示す。ＧＵＩ制御部９６は、データベース９５に問い合わせて取得した物体の種類に応じて、図４に示すアイコンを表示制御部９８に出力する。

「トリガー」のアイコンは、トリガー物体に表示されるアイコンである。トリガー物体とは、所定の条件を満たした場合にロボットや家電機器がタスクの実行を開始するよう設定できる物体である。トリガー物体は、図１には図示しないが、例えば壁のスイッチ等である。壁のスイッチをトリガー物体として設定し、「スイッチが押された」という条件をロボットや家電機器がタスクを実行開始する条件として設定することにより、ユーザは、壁のスイッチを押すことによって、タスクの実行を開始させる指令をロボットや家電機器に送信することができる。つまり、タスクの実行を指示する際に、ユーザは、コンピュータ１０や入力装置９を操作する代わりに、トリガー物体に対してタスク開始条件を満たすような操作をすれば良い。また、目覚まし時計７とトリガー物体とし、「鳴動する」という条件を満たした場合に、ロボットや家電機器に「コーヒーを入れる」というタスクを実行開始させるよう設定すれば、目覚まし時計７が鳴ると自動的にコーヒーを入れるタスクの実行が開始されるようにすることもできる。

「禁止」のアイコンは、後述するユーザによるタスクの入力時に、例えば物体の移動タスクの入力中に移動先として指定不可能な物体や、家電機器の動作タスクの入力中に動作対象として指定不可能な物体に表示されるアイコンである。

図２に戻り、表示制御部９８は、画像取込部９３から出力されるカメラ９２による撮影画像に対して適宜拡大縮小処理等の画像処理を行うとともに、画像処理後の撮影画像における物体認識部９４により認識された物体が写っている位置にＧＵＩ制御部９６から出力されるテキストやアイコンがオーバーレイ表示されるよう合成する。また、ユーザによるタスク入力時には、画像処理後の撮影画像とタスク入力のためのＧＵＩとを合成する。そして、最終的にタッチパネルディスプレイ９１に表示させるための表示画像を生成し、タッチパネルディスプレイ９１に出力する。表示制御部９８は、カメラ９２が現在撮影している画像をリアルタイムに映像としてタッチパネルディスプレイ９１に出力するライブビュー表示を行うことが可能である。また、ユーザが指定した瞬間における撮影画像を静止画像としてタッチパネルディスプレイ９１に出力することも可能である。

タッチパネルディスプレイ９１は、表示制御部９８から出力される表示画像を表示する表示装置と、表示装置に重ねて設けられるタッチパネルと、を備える。タッチパネルは静電容量方式、抵抗膜方式又はマトリクス・スイッチ方式等の種々の方式のものを利用できる。また、入力インターフェースはタッチパネルの代わりにキーボードやポインティングデバイスを用いることもできるし、またこれらの組み合わせでも良い。

タスク入力部９９は、ロボット２や家電機器に指示するタスクの内容をユーザに入力させる処理を行う。ユーザによる入力はタッチパネルディスプレイ９１を介して行われる。ユーザは、タッチパネルディスプレイ９１にライブビュー表示される実際の物体や家電機器の画像を見ながら、タスクに関係する物体や家電機器の画像を撮影し、タッチ操作及びＧＵＩを介してタスクの内容を入力する。タスク入力部９９がユーザに行わせるタスク入力手続の詳細については後述する。

注釈付き画像生成部９７は、タスク入力部９９において入力されたタスクの内容を表すテキストを生成し、生成したテキストと、タスク入力手続においてユーザが撮影した、タスクに関係する物体や家電機器が写っている写真と、を組み合わせた注釈付き画像を生成する。注釈付き画像には、ＧＵＩ制御部９６が出力するアイコンや矢印等の図形も含まれる。注釈付き画像の詳細については後述する。

注釈付き画像は、タスクに関連付けて入力装置９の記憶装置に保存される。注釈付き画像生成部９７は、生成した注釈付き画像を無線又は有線の通信によって家事システムのコンピュータ１０に送信する。コンピュータ１０は、注釈付き画像生成部９７から取得した注釈付き画像に関連付けられたタスクをロボット２や家電機器に実行させるための制御命令を生成する制御部１０１を備える。制御部１０１は、その制御命令を無線又は有線の通信によりロボット２や家電機器に送信する。これにより、注釈付き画像に対応するタスクが実行される。

なお、注釈付き画像からロボット２や家電機器に送信するための制御命令を生成する制御部１０１は、コンピュータ１０ではなく入力装置９に備わっていても良い。そして、入力装置９は制御命令の情報を無線又は有線によりコンピュータ１０に送信し、コンピュータ１０が適切なタイミングでその制御命令をロボット２や家電機器に送信するようにしても良い。或いは、入力装置９自体がロボット２や家電機器に制御命令を送信する機能を有し、コンピュータ１０を介さずに直接制御命令をロボット２や家電機器に無線又は有線により送信する構成でも良い。無線の通信方式としてはＢｌｕｅｔｏｏｔｈや赤外線を例示できる。

入力装置９の機能ブロックのうち、物体認識部９４、データベース９５、ＧＵＩ制御部９６、表示制御部９８及び注釈付き画像生成部９７の機能部は、それぞれ専用のハードウェアにより実装しても良いし、入力装置９のＣＰＵが記憶装置に格納されたプログラムをロードし実行することによって実現することもできる。これらの機能を、カメラ及びタッチパネルディスプレイを有する既存のＰＣやスマートフォン等のデバイスにおいて動作するアプリケーションプログラムとして設計することもできる。この場合、アプリケーションプログラムがそれらのデバイスにおいて動作することによって、そのデバイスが入力装置９として機能することになる。また、画像取込部９３が、天井カメラ１や別途部屋１１に備えられるウェブカメラや監視カメラのような固定カメラによる撮影画像を、有線又は無線の通信によりコンピュータ１０や外部サーバを経由して取得するよう構成することにより、カメラを備えないデバイスを入力装置９として機能させることもできる。

＜タスク入力方法＞
入力装置９によるタスク内容の入力方法について図５〜図１２を参照して説明する。

図５は、入力装置９の動作状態の遷移図である。図６から図１１は、入力装置９のタッチパネルディスプレイ９１に表示されるＧＵＩの例である。図１２は、ユーザが入力装置９を用いてタスクの内容を入力するプロセスを表すフローチャートである。

図５に示すように、入力装置９の状態には大きく分けてタスク作成モードとタスク内容確認モードとの２つの状態がある。タスク作成モードでは、ユーザは新たなタスクを作成することができる。タスク内容確認モードでは、ユーザは既存のタスクの内容確認及び編集をすることができる。タスク作成モードでは、まず、ユーザによるタスク作成プロセスの開始を待機する入力待機画面（図６）が表示され、その中のライブビュー画像に表示される各種の物体のアイコンにタッチすると、タッチした物体に関するタスクを入力するための画面に遷移する。遷移する画面はタッチした物体に応じて異なる。移動可能物体のアイコンにタッチした場合には、移動タスク入力画面（図７）に遷移する。家電機器のアイコンにタッチした場合には、家電機器動作入力画面（図８）に遷移する。トリガー物体のアイコンにタッチした場合には、トリガー設定画面（図１０）に遷移する。待機時間設定ボタンにタッチした場合には、待機時間設定画面（図９）に遷移する。タスク内容確認モードでは、タスク内容を表示する画面（図１１）が表示される。入力待機画面からタスク内容表示画面へは、既存のタスクを表すサムネイル画像にタッチすることによって切り替わる。タスク内容表示画面から入力待機画面へは、ライブビューボタンにタッチすることによって切り替わる。

＜入力待機画面＞
図６は、タスク作成モードにおいて、ユーザによるタスク作成プロセスの開始を待機する入力待機画面のＧＵＩの表示例である。入力待機画面のＧＵＩには、サムネイル画像６０１及び６０２、ライブビューボタン６０３、待機時間設定ボタン６０４、ライブビュー画像６０５が表示される。

サムネイル画像６０１及び６０２は、それぞれのサムネイル画像に対応する既存のタスクの内容確認を行うタスク内容確認モードに移行するためのＧＵＩである。なお、既存のタスクが存在しない場合は、サムネイル画像は表示されない。

ライブビューボタン６０３は、現在のモードがタスク作成モードであることを示すために強調表示される。

待機時間設定ボタン６０４は、ロボットや家電機器にタスクの実行を待機させる時間を入力する待機時間設定画面（図９）に遷移するためのＧＵＩである。

ライブビュー画像６０５には、カメラ９２による撮影画像がリアルタイムに表示される。さらに、撮影画像における、物体認識部９４によって認識された物体の画像には、その物体の名称を表すテキスト及びその物体の種類を表すアイコンがオーバーレイ表示される。ユーザがいずれかの物体のアイコンにタッチして選択すると、選択された物体の種類に応じて、選択された物体に関するタスクを入力する画面に遷移する。

ユーザがライブビュー画像内の移動可能物体のアイコンにタッチすると、移動可能物体がタスク入力対象として選択され、選択した移動可能物体をロボット２により移動させる移動タスクを入力するための移動タスク入力画面（図７）に遷移する。

ユーザがライブビュー画像内の家電機器のアイコンにタッチすると、家電機器がタスク入力対象として選択され、選択した家電機器に実行させる動作を入力するための家電機器
動作入力画面（図８）に遷移する。

ユーザがライブビュー画像内のトリガー物体のアイコンにタッチすると、トリガー物体がトリガー設定対象として選択され、ロボットや家電機器がタスクの実行を開始するためにトリガー物体が満たすべき条件を入力するためのトリガー設定画面（図１０）に遷移する。図６の表示例ではトリガー物体及びアイコンは示していないが、カメラ９２による撮影画像の中にトリガー物体が写れば、移動可能物体や家電機器と同様にトリガー物体のアイコン及びトリガー物体の名称がトリガー物体の画像にオーバーレイ表示される。

図６に例示するライブビュー画像６０５には、湯沸かし器３及びカップ１２が写っており、物体認識部９４の認識結果に従って、湯沸かし器３の画像には「家電機器」を表すアイコン６６２及び「湯沸かし器」という名称がオーバーレイ表示され、カップ１２の画像には「移動可能な物体」表すアイコン６７２及び「カップ」という名称がオーバーレイ表示されている。

＜移動タスク入力画面＞
図７（Ａ）は、移動タスク入力画面のＧＵＩの表示例である。移動タスク入力画面のＧＵＩには、移動先指示ボタン７０１、最終状態指示ボタン７０２、やり直しボタン７０３、全選択ボタン７０４、出発地点の画像７０５が表示される。移動タスク入力画面では、ユーザは２つの方法で移動タスクの入力を行うことができる。移動先を指示する方法と、移動タスクにより達成したい最終的な状態を指示する方法である。

移動先指示ボタン７０１は、移動先を指示する方法により移動タスクの内容を入力するための移動先指示画面に移行するためのＧＵＩである。

最終状態指示ボタン７０２は、最終的な状態を指示する方法により移動タスクの内容を入力するための最終状態指示画面に移行するためのＧＵＩである。

やり直しボタン７０３は、入力待機画面（図６）に戻るためのＧＵＩである。

全選択ボタン７０４は、出発地点の画像７０５に写っている移動可能物体が全て選択するためのＧＵＩである。移動タスク入力画面に移行した時のデフォルトの状態では、入力待機画面のライブビュー画像６０５においてユーザがタッチして選択した移動可能物体が選択された状態になっている。全選択ボタン７０４にタッチしてから移動先の指示をすることにより、複数の移動可能物体を移動させるタスクを簡単に入力することができる。

出発地点の画像７０５は、入力待機画面（図６）において選択された移動可能物体と出発地点の物体又は場所の両方が写っている静止画像である。出発地点の画像７０５は、入力待機画面（図６）においてユーザが移動可能物体のアイコンにタッチした時点でライブビュー画像６０５に表示されていた撮影画像から生成される。

図７（Ａ）の表示例は、図６に例示する入力待機画面の状態（すなわちライブビュー画像６０５にカップ１２及び湯沸かし器３が写っている状態）において、ユーザがカップのアイコン６７２にタッチした場合の移動タスク入力画面の表示例であり、出発地点の画像７０５には、移動対象物体としてカップ１２及び移動の出発地点の物体として湯沸かし器３が写っている。

＜移動先指示画面＞
図７（Ｂ）は、移動先指示画面のＧＵＩの表示例である。移動先指示画面のＧＵＩには、ライブビュー画像７０６、出発地点の画像７０７及びやり直しボタン７０８が表示され
る。

出発地点の画像７０７は、選択された移動対象物体及び出発地点の物体又は場所が写っている静止画像であり、移動タスク入力画面（図７（Ａ））に表示されていた出発地点の画像７０５から生成される。

やり直しボタン７０８は、移動タスク入力画面（図７（Ａ））に戻るためのＧＵＩである。

ライブビュー画像７０６は、カメラ９２によるリアルタイムの撮影画像（映像）である。ユーザは、移動対象物体を移動先に手動で移動させ、その状態をカメラ９２で撮影する。ユーザは、ライブビュー画像７０６を見ながら、移動対象物体及び移動先の物体又は場所の両方がライブビュー画像７０６に写るように撮影し、物体認識部９４により移動対象物体及び移動先の物体又は場所を認識させる。その状態でライブビュー画像７０６の任意の場所にタッチすると、ライブビュー画像７０６において移動対象物体とともに認識されている物体又は場所が移動タスクによる移動先として確定し、移動タスクの指示が完了する。なお、ライブビュー画像７０６には、移動対象物体の移動先として設定不可能な物体には、物体の種類を表すアイコンの代わりに禁止アイコンを表示するようにしても良い。例えば、湯沸かし器３から皿に湯を注ぐことはないので、システムのデータベースにおいて、湯沸かし器３の動作対象物体として皿を登録しない。そして、移動対象物体が皿である移動タスクを入力している場合は、移動先指示画面のライブビュー画像７０６に湯沸かし器３が写ったとしても、湯沸かし器３に禁止アイコンが表示され、皿の移動先として指定できないようにすることができる。

図７（Ｂ）の表示例は、ユーザがカップ１２を移動先であるテーブル８に持って行き、その状態でカップ１２及びテーブル８がライブビュー画像７０６に写るように撮影している状態を示している。ライブビュー画像７０６には、カップのアイコン６７２及びテーブルのアイコン６８２が表示されている。テーブルのアイコン６８２は上述した「場所」のアイコンである。

＜注釈付き画像＞
移動タスクの指示が完了すると、指示された移動タスクの内容を表す注釈付き画像が注釈付き画像生成部９７により生成され、タッチパネルディスプレイ９１に表示される。

図７（Ｃ）は、移動タスクを表す注釈付き画像の表示例である。移動タスクの注釈付き画像には、出発地点の画像７０９、最終状態の画像７１０、矢印図形７１４、テキスト７１１〜７１３、保存ボタン７１５、やり直しボタン７１６が表示される。

出発地点の画像７０９は、入力された移動タスクに係る移動対象物体及び出発地点の物体又は場所が写っている静止画像であり、移動タスク入力画面（図７（Ａ））に表示されていた出発地点の画像７０５から生成される。

最終状態の画像７１０は、入力された移動タスクに係る移動対象物体及び移動先の物体又は場所が写っている静止画像であり、移動先指示画面（図７（Ｂ））においてユーザがライブビュー画像７０６にタッチした時点でライブビュー画像７０６に表示されていた撮影画像から生成される。

矢印図形７１４は、出発地点の画像７０９における移動対象物体の画像と最終状態の画像７１０における移動対象物体の画像とを結び、このタスクが物体を移動させるタスクであることを直感的に表している。

テキスト７１１〜７１３は、入力された移動タスクの内容を表すテキストであり、移動タスク入力画面（図７（Ａ））及び移動先指示画面（図７（Ｂ））におけるユーザの入力内容に基づいて注釈付き画像生成部９７により自動生成される。移動タスクの注釈付き画像のために生成されるテキストは、移動対象物体の名称を表すテキスト７１２、移動先の物体の名称を表すテキスト７１３及び「移動する」という意味のテキスト７１１を含む。

保存ボタン７１５は、生成された注釈付き画像を保存するためのＧＵＩである。ユーザが保存ボタン７１５にタッチすると、移動タスクの入力が終了し、入力待機画面（図６）に戻る。

やり直しボタン７１６は、移動先指定画面（図７（Ｂ））に戻るためのＧＵＩである。移動先指定画面（図７（Ｂ））に戻り、ライブビュー画像７０６を見ながら移動先の物体や場所の撮影をやり直すことができる。

図７（Ｃ）の表示例は、カップ１２を湯沸かし器３からテーブル８へ移動させる移動タスクを表す注釈付き画像であり、出発地点の画像７０９には移動対象物体であるカップ１２と出発地点の物体である湯沸かし器３が写っており、最終状態の画像７１０には移動対象物体であるカップ１２と移動先の場所であるテーブル８が写っており、出発地点の画像７０９のカップ１２の画像と最終状態の画像７１０のカップ１２の画像とが矢印図形７１４により結ばれ、「カップがテーブルに移動する」という意味のテキスト７１１〜７１３が表示されている。注釈付き画像に含まれるテキストは、図７（Ｃ）の表示例のように画像のキャプションやタイトルのような態様で表示されても良いし、箇条書きで表示されても良いし、普通の文の形で表示されても良い。どのような表示態様であっても、実際のタスクの対象となる物体が写った画像と合わせて見ることで、ユーザは、曖昧さ無くタスクの内容を把握することができる。

＜最終状態指示画面＞
ここで、移動タスクにより達成した最終的な状態を指示する方法による移動タスクの指示方法について説明する。

移動タスクにより達成したい最終的な状態とは、例えば、部屋の片付けが完了した状態である。散らかった状態の部屋を撮影して移動タスク入力画面（図７（Ａ））に移行し、全選択ボタン７０４にタッチするか又は移動対象物体を複数選択して、最終状態指示ボタン７０２にタッチする。すると、選択された複数の移動対象物体のそれぞれが全て適切な場所に収納された最終的な状態を指示するための最終状態指示画面（図示省略）に移行する。最終的な状態の指示方法としては、例えば、片付いた状態の部屋の画像をユーザに選択させる方法を例示できる。この画像には、種々の物体とその収納場所との対応関係の情報が付随するような構成とする。ユーザは、最終状態指示画面において、最終的な片付いた状態の部屋の画像を１枚選択することにより、移動タスク入力画面（図７（Ａ））において選択した複数の物体をそれぞれの収納場所に移動させる、というパラレルな複数の移動タスクを一度に指示することができる。ここで、パラレルな複数のタスクとは、順不同に実行可能なタスクの集合である。最終状態を指示する方法によれば、ユーザは、移動先を指示する方法のように移動先の物体や場所まで移動対象物体を手動で持って行って撮影する手間を省ける。最終状態を指示する方法は、収納先が一定であるような定型タスクの指示に適している。なお、移動タスク入力画面（図７（Ａ））において１つの移動可能物体が選択されている状態でも、最終状態を指示する方法による移動タスクの入力は可能である。

＜家電機器動作入力画面＞
図８（Ａ）は、家電機器動作入力画面のＧＵＩの表示例である。家電機器動作入力画面のＧＵＩには、動作リスト８０１、やり直しボタン８０２、家電機器の画像８０３が表示される。

動作リスト８０１は、入力待機画面（図６）において選択された家電機器に指示可能な動作のリストである。家電機器の指示可能な動作リストの情報は、システムのデータベースに格納されている（図３を参照）。ユーザは、指示可能な動作リスト８０１のいずれかにタッチすることにより、タッチした動作を家電機器に実行させる指示をすることができる。

やり直しボタン８０２は、入力待機画面（図６）に戻るためのＧＵＩである。

家電機器の画像８０３は、入力待機画面（図６）において選択された家電機器が写っている静止画像である。選択された家電機器が動作対象物体を必要とする家電機器の場合は、選択された家電機器及びその動作対象物体の両方が写っている静止画像である。家電機器の画像８０３は、入力待機画面（図６）においてユーザが家電機器のアイコンにタッチした時点でライブビュー画像６０５に表示されていた撮影画像から生成される。

図８（Ａ）の表示例は、図６に例示する入力待機画面の状態（すなわちライブビュー画像６０５にカップ１２及び湯沸かし器３が写っている状態）において、ユーザが湯沸かし器のアイコン６６２にタッチした場合の家電機器動作入力画面の表示例であり、家電機器の画像８０３には、湯沸かし器３及び湯沸かし器の動作対象としてのカップ１２が写っている。動作リスト８０１には、湯沸かし器３に指示可能な動作として「注ぐ」「加熱する」「注ぎ続ける」「注ぎ停止」がリストされている。なお、「注ぐ」動作についてはパラメータ設定が可能であり、注ぎ時間を「１秒間」「２秒間」「３秒間」のうちから選択できる。また「加熱する」動作についてもパラメータ設定が可能であり、目標温度を指定できる。

家電機器動作入力画面（図８（Ａ））の動作リスト８０１のうちパラメータ設定が可能な動作のボタンにタッチすると、パラメータ設定画面（図８（Ｂ））に遷移する。パラメータ設定画面のＧＵＩには、設定可能な値リスト８０４、やり直しボタン８０２、家電機器の画像８０３が表示される。家電機器の動作の設定可能なパラメータの値の情報は、システムのデータベースに格納されている（図３を参照）。ユーザは、設定可能な値リスト８０４のいずれかにタッチすることにより、パラメータの値を設定することができる。

図８（Ｂ）の表示例は、図８（Ａ）の動作リスト８０１の「注ぐ」ボタンにタッチした場合に表示されるパラメータ設定画面の表示例であり、設定可能な値として「１秒間」「２秒間」「３秒間」がリストされている。なお、パラメータ設定画面は、このようなリスト選択のＧＵＩの他に、テンキー等のＧＵＩを表示して任意の数値を入力可能なＧＵＩを表示するものがあっても良い。例えば、図８（Ａ）の動作リスト８０１の「加熱する」ボタンにタッチした場合に表示されるパラメータ設定画面は、加熱動作のパラメータとして任意の温度を入力することができるようにテンキーのＧＵＩを表示することができる。

家電機器操作入力画面（図８（Ａ））の動作リスト８０１のいずれかにタッチして家電機器に実行させる動作が確定すると（パラメータ設定が可能な動作の場合は更にパラメータ設定画面（図８（Ｂ））でパラメータの値の設定が確定すると）、家電機器動作タスクの指示が完了する。

＜注釈付き画像＞
家電機器動作タスクの指示が完了すると、指示された家電機器動作タスクの内容を表す
注釈付き画像が注釈付き画像生成部９７により生成され、タッチパネルディスプレイ９１に表示される。

図８（Ｃ）は、家電機器動作タスクを表す注釈付き画像の表示例である。家電機器動作タスクの注釈付き画像には、家電機器の画像８０５、テキスト８０６〜８０９、保存ボタン８１０，やり直しボタン８１１が表示される。

家電機器の画像８０５は、入力された家電機器動作タスクに係る家電機器が写っている静止画像であり、家電機器動作入力画面（図８（Ａ））に表示されていた家電機器の画像８０３から生成される。

テキスト８０６〜８０９は、入力された家電機器動作タスクの内容を表すテキストであり、家電機器動作入力画面（図８（Ａ））やパラメータ設定画面（図８（Ｂ））におけるユーザの入力内容に基づいて注釈付き画像生成部９７により自動生成される。家電機器動作タスクの注釈付き画像のために生成されるテキストは、家電機器の名称を表すテキスト８０６、家電機器の動作を表すテキスト８０７、必要に応じてパラメータの値を表すテキスト８０８、動作対象の物体の名称を表すテキスト８０９を含む。

保存ボタン８１０は、生成された注釈付き画像を保存するためのＧＵＩである。ユーザが保存ボタン８１０にタッチすると、家電機器動作タスクの入力が終了し、入力待機画面（図６）に戻る。

やり直しボタン８１１は、家電機器動作入力画面（図８（Ａ））に戻るためのＧＵＩである。家電機器動作入力画面（図８（Ａ））に戻り、動作リスト８０１からの動作の指定をやり直すことができる。

図８（Ｃ）の表示例は、湯沸かし器３でカップ１２に２秒間湯を注ぐタスクを表す注釈付き画像であり、家電機器の画像８０５には湯沸かし器３及びその動作対象であるカップ１２が写っており、「湯沸かし器でカップに２秒間湯を注ぐ」という意味のテキスト８０６〜８０９が表示されている。テキストの表示態様が図８（Ｃ）の表示例に限らないことは移動タスクの注釈付き画像の場合と同様である。

なお、本実施例の家事システムでは、湯沸かし器３は、動作対象としてカップ１２やマグ等のカップ類を必要とする家電機器として登録されており（図３を参照）、入力待機画面（図６）のライブビュー画像６０５の中に湯沸かし器３とその動作対象となり得る物体（カップ１２その他のカップ類属性の食器等）の両方が写っている場合に限り、家電機器動作入力画面（図８（Ａ））への遷移が許可されるようにしても良い。この場合、入力待機画面（図６）のライブビュー画像６０５の中に湯沸かし器３とともにカップ類属性の食器が写っていない場合には、湯沸かし器のアイコン６６２にタッチしても湯沸かし器３の動作入力画面（図８（Ａ））への遷移は行われない。このとき、「カップを画面内に写して下さい」等のアラート表示を行い、カップ類属性の食器と湯沸かし器３の両方を写すようにユーザを促しても良い。

湯沸かし器３がカップ１２を動作対象として湯を注ぐ動作を行う場合には、カップ１２を湯沸かし器３の注ぎ口の真下まで移動させた上で湯沸かし器３を作動させるべきことは自明である。従って、ユーザが湯沸かし器３の注ぎ口の真下にカップ１２を置いていない状態であっても、１画面内に湯沸かし器３とカップ１２が写っていれば湯沸かし器３の家電機器動作入力画面（図８（Ａ））に移行することを許容し、その状態で湯沸かし器３によってカップ１２に湯を注ぐタスクが入力された場合には、そのタスクには、「カップ１２を湯沸かし器３の注ぎ口の真下まで移動させる」という移動タスクが陰に含まれるよう
にしても良い。こうすれば、家電機器の動作を入力においてユーザが物体を手動で移動させながら画像を撮影する際の手間を軽減できる。

＜待機時間設定画面＞
図９（Ａ）は、待機時間設定画面のＧＵＩの表示例である。待機時間設定画面のＧＵＩには、単位ボタン９０１、数字ボタン９０２、表示部９０３、決定ボタン９０４及びやり直しボタン９０５が表示される。

単位ボタン９０１及び数字ボタン９０２は、ユーザがタッチ操作により数値及び時間の単位を入力するためのＧＵＩである。表示部９０３は、入力された時間を表示するためのＧＵＩである。決定ボタン９０４は、現在表示部９０３に表示されている時間で待機時間を決定するためのＧＵＩである。やり直しボタン９０５は、入力待機画面（図６）に戻るためのＧＵＩである。

待機時間の設定では、移動タスクや家電機器動作タスクを入力する場合のように画像を撮影する必要はない。

＜注釈付き画像＞
待機時間が決定されると、待機時間を表す注釈付き画像が注釈付き画像生成部９７により生成され、タッチパネルディスプレイ９１に表示される。

図９（Ｂ）は、待機時間を表す注釈付き画像の表示例である。待機時間の注釈付き画像には、テキスト９０７〜９０９、保存ボタン９１０及びやり直しボタン９０６が表示される。移動タスクの注釈付き画像や家電機器動作タスクの注釈付き画像と異なり、テキストのみで物体や家電機器の画像は含まない。

保存ボタン９１０は、生成された注釈付き画像を保存するためのＧＵＩである。ユーザが保存ボタン９１０にタッチすると、待機時間の設定が終了し、入力待機画面（図６）に戻る。

やり直しボタン９０６は、待機時間設定画面（図９（Ａ））に戻るためのＧＵＩである。待機時間設定画面（図９（Ａ））に戻り、待機時間の入力をやり直すことができる。

テキスト９０７は、待機時間設定の内容を表すテキストであり、待機時間設定画面（図９（Ａ））におけるユーザの入力内容に基づいて注釈付き画像生成部９７により自動生成される。図９（Ｂ）の表示例では、「時間」を意味するテキスト９０７，設定された待機時間の長さを表すテキスト９０８、「待つ」という意味のテキスト９０９を含む。テキストの表示態様が図９（Ｂ）の表示例に限らないことは移動タスクの注釈付き画像の場合と同様である。

＜トリガー設定画面＞
図１０（Ａ）は、トリガー設定画面のＧＵＩの表示例である。トリガー設定画面のＧＵＩには、トリガー物体の画像１０２、タスク実行条件リスト１０３、やり直しボタン１０４が表示される。

トリガー物体の画像１０２は、入力待機画面（図６）において選択されたトリガー物体が写っている静止画像である。トリガー物体の画像１０２は、入力待機画面（図６）においてユーザがトリガー物体のアイコンにタッチした時点でライブビュー画像６０５に表示されていた撮影画像から生成される。

タスク実行条件リスト１０３は、タスクの実行条件（起動条件）として設定可能なトリガー物体の動作や状態等のリストである。ユーザがタスク実行条件リスト１０３にリストされた条件のいずれかにタッチして選択すると、その条件がタスク実行条件として設定される。

やり直しボタン１０４は、入力待機画面（図６）に戻るためのＧＵＩである。

図１０（Ａ）の表示例は、入力待機画面（図６）のライブビュー画像６０５に目覚まし時計７が写っている状態でユーザが目覚まし時計７のアイコンにタッチした場合のトリガー物体設定画面の表示例であり、トリガー物体の画像１０２にはトリガー物体である目覚まし時計７及びトリガー物体のアイコン１１１が表示されている。タスク実行条件リスト１０３には、タスクの実行条件として設定可能な目覚まし時計の動作や状態として「時刻」「鳴動」がリストされている。ユーザが「時刻」にタッチすると、タスクを実行する時刻を設定するための画面が表示され、目覚まし時計７の指している時刻が設定時刻になった場合にタスクが実行されるようにトリガー設定をすることができる。ユーザが「鳴動」にタッチすると、目覚まし時計７が鳴動した場合にタスクが実行されるようにトリガー設定をすることができる。

トリガー設定画面（図１０（Ａ））のタスク実行条件リスト１０３のいずれかにタッチしてタスク実行条件が確定すると、トリガー設定が完了する。

＜注釈付き画像＞
トリガー設定が完了すると、トリガー設定の内容を表す注釈付き画像が注釈付き画像生成部９７により生成され、タッチパネルディスプレイ９１に表示される。

図１０（Ｂ）は、トリガー設定を表す注釈付き画像の表示例である。トリガー設定の注釈付き画像には、トリガー物体の画像１０５、テキスト１０８〜１１０、保存ボタン１０６、やり直しボタン１０７が表示される。

トリガー物体の画像１０５は、トリガー設定に係るトリガー物体が写っている静止画像であり、トリガー設定画面（図１０（Ａ））に表示されていたトリガー物体の画像１０２から生成される。

テキスト１０８〜１１０は、トリガー設定の内容を表すテキストであり、トリガー設定画面（図１０（Ａ））におけるユーザの入力内容に基づいて注釈付き画像生成部９７により自動生成される。トリガー設定の注釈付き画像のために生成されるテキストは、トリガー物体の名称を表すテキスト１０８、タスク実行条件を表すテキスト１０９、実行されるタスクの内容を表すテキスト１１０を含む。

保存ボタン１０６は、生成された注釈付き画像を保存するためのＧＵＩである。ユーザが保存ボタン１０６にタッチすると、トリガー設定が終了し、入力待機画面（図６）に戻る。

やり直しボタン１０７は、トリガー設定画面（図１０（Ａ））に戻るためのＧＵＩである。トリガー設定画面（図１０（Ａ））に戻り、タスク実行条件リスト１０３からのタスク実行条件の指定をやり直すことができる。

図１０（Ｂ）の表示例は、目覚まし時計７の「鳴動」を「コーヒー入れタスク」の実行条件とするトリガー設定を表す注釈付き画像であり、トリガー物体の画像１０５には目覚まし時計７が写っており、「目覚まし時計が鳴ったらコーヒーを入れる」という意味のテ
キスト１０８〜１１０が表示されている。テキストの表示態様が図１０（Ｂ）の表示例に限らないことは移動タスクの注釈付き画像の場合と同様である。

＜タスク内容確認モード＞
図１１は、タスク内容確認モードにおいて、既存のタスクの内容を表示するタスク内容表示画面のＧＵＩの表示例である。タスク内容表示画面のＧＵＩには、サムネイル画像６０１及び６０２、ライブビューボタン６０３、注釈付き画像６０６、削除ボタン６０７、編集ボタン６０８が表示される。

サムネイル画像６０１及び６０２は、それぞれサムネイル画像に対応する既存のタスクの内容を表示するタスク内容表示画面に遷移するためのＧＵＩである。なお、既存のタスクが存在しない場合には、サムネイル画像は表示されない。図１１の表示例は、サムネイル画像６０２に対応するタスクの内容を表示している状態を示す。この状態でユーザがサムネイル画像６０１にタッチすると、サムネイル画像６０１に対応するタスクの内容が表示される。

ライブビューボタン６０３は、タスク作成モードの入力待機画面（図６）に移行するためのＧＵＩである。

注釈付き画像６０６は、内容表示中のタスクに対応する注釈付き画像である。図１１の表示例では、移動タスクの注釈付き画像が表示されている。

削除ボタン６０７は、内容表示中のタスクを削除するためのＧＵＩである。

編集ボタン６０８は、内容表示中のタスクの編集を行うためのＧＵＩである。編集ボタン６０８にタッチすると、例えば、タスク作成モードの注釈付き画像の表示画面（図７（Ｃ）、図８（Ｃ）、図９（Ｂ）、図１０（Ｂ））においてやり直しボタンにタッチした場合に表示される画面と同様のＧＵＩが表示され、タスクの内容を変更することができる。

＜フローチャート＞
図１２は、入力装置９によってユーザがタスクの内容を入力するプロセスを表したフローチャートである。ユーザは、入力待機画面（図６）からタスク入力を開始する（ステップＳ１０）。ユーザは、これから入力するタスクに係る物体が入力待機画面のライブビュー画像に写るように、入力装置９のカメラ９２で撮影を行う（ステップＳ２０）。

ユーザは、ライブビュー画像に写っている物体のアイコンにタッチすることにより、これから入力するタスクに係る物体を選択する（ステップＳ３０）。タッチパネルディスプレイ９１には、ユーザにより選択された物体の種類に応じたタスク入力画面（図７〜図１０のいずれか）が表示される（ステップＳ４０）。ユーザは、タスク入力画面のＧＵＩに対してタスク内容を入力する操作を行う（ステップＳ５０）。

ユーザによるタスク入力が完了すると、入力されたタスク内容に基づいて注釈付き画像が生成され、タッチパネルディスプレイ９１に表示される（ステップＳ６０）。以上のプロセスにより、１つのタスクを入力することができる。ユーザは、以上のプロセスを繰り返すことにより、連続的に複数のタスクを入力することができる。

複数の連続するタスクからなるシーケンシャルタスクを入力する場合は、シーケンシャルタスクを構成する全てのタスクについて以上のプロセスを繰り返す（ステップＳ７０）。シーケンシャルタスクを構成する全てのタスクの入力が完了すると、シーケンシャルタスクの内容を表す注釈付き画像が作成され、表示される（ステップＳ８０）。シーケンシ
ャルタスクの注釈付き画像は、シーケンシャルタスクを構成する個々のタスクの注釈付き画像をタスクの実行手順に沿って並べた画像である。

以上説明したプロセスによってユーザにタスク内容の入力を行わせる処理は、タスク入力部９９によって制御されている。タスク入力部９９は、ユーザに、タスクに関係する物体を含む画像をカメラ９２により撮影させるステップ（ステップＳ１０及びステップＳ２０）と、ユーザに、撮影された画像において物体認識部９４が認識した物体のうちタスクに関係する物体や家電機器の画像をタッチ操作により選択させるステップ（ステップＳ３０）と、ユーザに、選択した物体に対するロボット２や家電機器の動作、又は、選択した家電機器の動作をＧＵＩ制御部９６が出力するＧＵＩを介して入力させるステップ（ステップＳ４０及びステップＳ５０）と、を含むタスク入力手続を行わせることにより、タスクの内容を入力させる。タスク入力部９９は、ユーザが一のタスクの内容を入力するタスク入力手続を完了すると、次のタスクのタスク入力手続を待機する状態となる。

＜注釈文の生成＞
ここで、注釈付き画像生成部９７が注釈付き画像のために生成するテキストについて説明する。

注釈付き画像生成部９７は、上述したように、タスク入力画面（図７〜図１０）においてユーザが入力したタスク内容に基づいて、タスク内容を表すテキストを自動生成する。注釈付き画像はテキストと画像とを合わせてタスク内容を表現するものであり、ユーザは、画像から、タスク対象の個別具体的な物体や家電機器について多くの情報を得ることができる。従って、テキストは必要最低限の情報を表現できれば十分であり、図７〜図１０に例示した注釈付き画像に含まれるテキストは簡潔な規則に従って自動生成されている。

注釈付き画像に含まれるテキストは、画像に基づいて生成される。画像に写っている物体や家電機器の名称を表す名詞を主語又は目的語、タスク内容を表す動詞を述語として、文を生成する。タスクの内容を表す動詞は、移動タスクであれば「移動する」であり、家電機器動作タスクであれば動作リストからユーザが選択した動作に対応する動詞である。家電機器が動作対象を必要とする場合は、タスクの内容を表す動詞は他動詞となり、動作対象となる物体や家電機器の名称を表す名詞がその目的語となる。家電機器が動作対象を必要としない場合は、タスクの内容を表す動詞は自動詞となる。家電機器の動作がパラメータを設定可能なものである場合、タスクの内容を表す動詞はパラメータを伴う。

注釈付き画像に含まれるテキストは、例えば、次のような文脈自由文法によって記述される。
（１）Ｓ＊＝＞Ｓ｜ＳＳ＊
（２）Ｓ＝＞ subject Ｖ object
（３）Ｓ＝＞ subject Ｖ
（４ａ）Ｖ＝＞ action
（４ｂ）Ｖ＝＞ action parameter

移動可能物体は（２）に従う。「subject」は移動可能物体、「object」は移動先の物
体又は場所、「action」は「（移動先に）移動する」「（最終的な状態に）移動する」である。例えば、「ｓ：カップ、ｖ：移動する、ｏ：テーブル」（ｓはsubject、ｖはaction、ｏはobject）というテキストは、ロボットにカップをテーブルまで移動させる指示を
表現する。

家電機器は（２）又は（３）に従う。他の物体の状態に影響を与える家電機器、すなわち動作対象を必要とする家電機器は、（２）に従う。例えば、「ｓ：湯沸かし器、ｖ：注
ぐ、ｏ：カップ」というテキストは、湯沸かし器にカップの状態を変化させる指示を表現する。他の物体の状態を変化させない家電機器、すなわち動作対象を必要としない家電機器は、（３）に従う。たとえば、「ｓ：ランプ、ｖ：点灯する」というテキストは、ランプに点灯させる指示を表現する。

トリガー物体は（３）に従う。例えば、「ｓ：押しボタン、ｖ：待つ、ｐ：押される」（ｐはparameter）というテキストは、押しボタンが押されたらタスクを実行させるとい
うトリガー指示を表現する。トリガー設定の一種である待機時間設定も（３）に従う。例えば、「ｓ：時間、ｖ：待つ、ｐ：５秒間」というテキストは、次のタスクの実行まで５秒間待機させる指示を表現する。上述したように、待機時間設定では画像を撮影する必要はない。従って、この場合の「時間」という主語は、画像に基づいて決定されるのではなく、入力待機画面（図６）において待機時間設定ボタン６０４がタッチされた場合に使用される。

テキストが複数の主語を有する場合、一つの主語を有する複数のテキストに分解されてロボットへの指示に変換される。例えば、「ｓ：Ａ，Ｂ，Ｃ、ｖ：移動する、ｏ：テーブル」というテキストは、「ｓ：Ａ、ｖ：移動する、ｏ：テーブル」「ｓ：Ｂ、ｖ：移動する、ｏ：テーブル」「ｓ：Ｃ、ｖ：移動する、ｏ：テーブル」という３つのテキストに分解され、ロボットに、物体Ａをテーブルまで移動させるタスクと、物体Ｂをテーブルまで移動させるタスクと、物体Ｃをテーブルまで移動させるタスクと、の３つのタスクを指示する表現となる。

タスク入力画面では、ユーザは、正しい構文のテキストを生成可能な注釈付き画像を作成するよう強制される。すなわち、ロボットや家電機器への指示に必要な全ての要素が画像内に写っているように注釈付き画像を作成する必要がある。例えば、移動タスクの注釈付き画像であれば、出発地点の画像及び移動先の画像の両方に移動対象物体が写っている必要がある。動作対象を必要とする家電機器の動作タスクの注釈付き画像であれば、家電機器及び動作対象物体の両方が写っている必要がある。このような条件が満たされない場合は、上述したように禁止アイコンやアラートによってユーザに修正を促し、適切な構文のテキストが生成されるようにしている。

タスク入力画面では、ユーザは、意味のあるテキストを生成可能な注釈付き画像を作成するよう強制される。すなわち、ロボットや家電機器への指示が意味的に適切な指示となるように注釈付き画像を作成する必要がある。例えば、湯沸かし器の動作タスクであれば、動作対象としてカップは適切だが皿やスプーンは適切でない。従って、湯沸かし器の動作タスクを表すテキストの目的語に皿やスプーンが現れることを禁止するように、タスク入力画面において禁止アイコンやアラートによる警告が行われるようにしている。適切な動作対象や不適切な動作対象の情報は、家電機器や家事システムのデータベースに登録される。

このように、本実施例の家事システムでは、タスク入力部９９が簡易的に構文チェック及び意味チェックを行うことで、ロボットや家電機器への適切な指示を行うことができるようになっている。

＜コーヒー入れタスクの例＞
家事は、物を移動させるタスクと家電機器を作動させるタスクとの２種類のタスクが複数連続するシーケンシャルタスクとして捉えることができる。例えば、「コーヒーを入れる」という家事は、図１３に示すように、（１）カップ１２をコーヒーパウダーディスペンサー４まで移動させる、（２）コーヒーパウダーディスペンサー４を作動させて所望の量のコーヒーパウダーをカップ１２に投入する、（３）カップ１２をコーヒーパウダーデ
ィスペンサー４から湯沸かし器３まで移動させる、（４）次に湯沸かし器３を作動させて所望の量の湯をカップ１２に注ぐ、（５）３分間待機する（入れたては熱いため）、（６）カップ１２を湯沸かし器３からテーブル８まで移動させる、という複数の移動タスク及び家電機器作動タスクのシーケンスに分解することができる。

本実施例の家事システムの入力装置９によれば、ユーザは、図１２のフローチャートに従って、このような複数の連続的なタスクからなるシーケンシャルタスクを簡単に指示することができる。複数のタスクを入力した場合には、タスク入力手続が行われた順番で、入力されたタスクを順次ロボット又は家電機器に実行させるようコンピュータ１０が制御命令を送信するようにする。そして、個々のタスクの指示においては、ユーザは、ユーザの環境にある個別具体的な実際のタスク対象物体の画像を撮影しながら、画像をポインティング操作により指定するという直感的な操作によって、タスクの内容を入力していくことができる。従って、ユーザ環境に固有の対象物体や家電機器の情報を曖昧さ無くタスクの内容に反映させることができる。更に、入力したタスクの内容は、撮影した画像とテキストとを組み合わせた注釈付き画像としてまとめられ、後から容易に確認することができる。図１４は、図１３の「コーヒーを入れるタスク」を構成する６つのタスクを入力して得られる注釈付き画像である。図１４に示すように、シーケンシャルタスクを表す注釈付き画像は、複数の注釈付き画像の列である。図１４（Ａ）〜（Ｆ）は、図１３に示すコーヒー入れタスクを構成する個々のタスク（１）〜（６）に対応している。

図１４に示す注釈付き画像は、抽象的なプログラミング言語によって構築されたタスクとは異なり、実際のタスク対象が写っている画像とタスク内容を表すテキストとを含むので、ユーザは、タスクの内容を直感的に把握することができる。従って、例えば湯沸かし器を買い換えたり、コーヒーの味の好みが変わったりした場合に、それに合わせてコーヒー入れタスクを修正するために、どのタスクをどのように修正すればよいか容易に判断することができる。そして、タスクを編集する場合にも、カメラ９２によって撮影される実際の画像を見ながら直感的にタスクの内容を編集することができる。

その他の家事、例えば料理は、食材をカウンターからフードプロセッサに移動させる、次にフードプロセッサで食材を処理する、次に食材をフードプロセッサから電子レンジへ移動させる、次に電子レンジで食材を加熱する、というように移動タスクと家電機器作動タスクのシーケンスに分解することができる。洗濯、部屋の片付け、物の組み立て等、様々な家事をこのような移動と家電機器の作動の組み合わせに分解することができる。そして、移動タスクと家電機器動作タスクに分解できる家事タスクであれば、本実施例の入力装置９によって実際のタスク対象の物体や家電機器を撮影しながら直感的にタスク内容を入力することができ、注釈付き画像を生成することができる。

本実施例の家事システムでは、移動タスクは、移動対象物体と、出発地点の物体又は場所と、移動先の物体又は場所と、を特定することによって指示する。出発地点及び移動先の「場所」とは、「場所」属性の物体という意味であり、座標ではない。つまり、本実施例では、移動タスクは物体と物体との関係として規定される。このことから、移動タスク作成時と異なる位置に移動対象物体や移動先の物体が置かれている状態でも、天井カメラ１の画像によりコンピュータ１０が各物体の位置を検出可能であれば、移動タスクは正しく実行される。

９ 入力装置
９２ 撮影装置
９４ 物体認識部
９１ タッチパネルディスプレイ
９７ 注釈付き画像生成部
９９ タスク入力部
１０１ 制御部

Claims (11)

1. ロボット及び家電機器にタスクを指示するタスク指示システムであって、
   撮影部と、
   撮影部によって撮影された画像を表示する表示部と、
   表示部に表示された画像に写っている物体を認識する認識部と、
   一のタスクの内容をユーザに入力させるタスク入力部であって、
   タスクに関係する物体を含む画像を撮影部により撮影させるステップと、
   撮影された画像において認識部が認識した物体のうちタスクに関係する物体又は家電機器の画像を選択させるステップと、
   該選択した物体に対するロボット若しくは家電機器の動作又は該選択した家電機器の動作を入力させるステップと、
   を含むタスク入力手続をユーザに行わせて一のタスクの内容を入力させるとともに、一のタスクのタスク入力手続が完了すると次のタスクのタスク入力手続を待機する状態となるタスク入力部と、
   タスク入力部において入力されたタスクの内容を表すテキストを生成し、生成したテキストと、タスク入力手続においてユーザが選択した物体又は家電機器が写っている画像と、を含む画像である注釈付き画像を入力されたタスクに関連付けて生成する注釈付き画像生成部と、
   注釈付き画像に関連付けられたタスクをロボット又は家電機器に実行させるための制御命令を生成しロボット又は家電機器に送出する制御部と、
   を有するタスク指示システム。
2. 請求項１において、
   注釈付き画像生成部は、タスク入力手続においてユーザが選択した物体又は家電機器の名称を表すテキストと、ユーザが入力した動作を表すテキストと、を用いて、所定の規則に従って注釈付き画像のためのテキストを生成するタスク指示システム。
3. 請求項１において、タスク入力部において複数のタスクのタスク入力手続が行われた場合、制御部は、該複数のタスクをタスク入力部においてタスク入力手続が行われた順番で順次ロボット又は家電機器に実行させるように制御命令の生成及び送出を行うタスク指示システム。
4. 請求項１において、
   表示部は、表示される画像の選択をユーザがタッチ方式のポインティング操作によって行うことができるタッチパネルディスプレイを有するタスク指示システム。
5. 請求項１において、
   撮影部と、表示部と、認識部と、タスク入力部と、注釈付き画像生成部と、を有するタスク入力装置と、
   制御部を有し、タスク入力装置、ロボット及び家電機器と通信可能に構成された制御装置と、
   を有するタスク指示システム。
6. 請求項１において、
   タスク入力部は、動作対象を必要としない家電機器に実行させるタスクのタスク入力手続において、
   タスクを実行させる家電機器を含む画像を撮影させるステップと、
   撮影された画像において認識部が認識した物体のうち動作を指示する家電機器の画像をユーザに選択させるステップと、
   選択した家電機器に実行させる動作を入力させるステップと、
   をユーザに行わせ、
   注釈付き画像生成部は、タスク入力手続においてユーザが選択した家電機器の名称を表すテキストと、ユーザが入力した動作を表すテキストと、を用いて注釈付き画像のためのテキストを生成するタスク指示システム。
7. 請求項１において、
   タスク入力部は、動作対象を必要とする家電機器に実行させるタスクのタスク入力手続において、
   タスクを実行させる家電機器及びその家電機器の動作対象となり得る物体を含む画像を撮影させるステップと、
   撮影された画像において認識部が認識した物体のうち動作を指示する家電機器及びその家電機器の動作対象となる物体の画像をユーザに選択させるステップと、
   選択した家電機器に実行させる動作を入力させるステップと、
   をユーザに行わせ、
   注釈付き画像生成部は、タスク入力手続においてユーザが選択した家電機器の名称を表すテキストと、その家電機器の動作対象となる物体の名称を表すテキストと、ユーザが入力した動作を表すテキストと、を用いて注釈付き画像のためのテキストを生成するタスク指示システム。
8. 請求項１において、
   タスク入力部は、ロボットに実行させる物体の移動タスクのタスク入力手続において、
   移動対象の物体を含む画像を撮影させるステップと、
   撮影された画像において認識部が認識した移動可能な物体のうちロボットに移動させる物体の画像を選択させるステップと、
   移動対象の物体及び移動先の物体を含む画像を撮影させるステップと、
   撮影された画像において認識部が認識した移動先として指定可能な物体のうちロボットによる移動先の物体の画像を選択させるステップと、
   をユーザに行わせ、
   注釈付き画像生成部は、タスク入力手続においてユーザが選択した移動対象の物体の名称を表すテキストと、移動先の物体の名称を表すテキストと、「移動する」という意味のテキストと、を用いて注釈付き画像のためのテキストを生成するタスク指示システム。
9. 請求項１において、
   タスク入力部は、ロボット又は家電機器に所定のタスクの実行を開始させるトリガーをユーザに設定させるために、
   トリガーとなる物体を含む画像を撮影させるステップと、
   撮影された画像において認識部が認識したトリガーとして設定可能な物体のうちトリガーに設定する物体の画像を選択させるステップと、
   ロボット又は家電機器に所定のタスクの実行を開始させるために選択した物体に関して成立すべき条件を入力させるステップと、
   を含むトリガー設定手続をユーザに行わせることができ、
   注釈付き画像生成部は、トリガー設定手続においてユーザが選択した物体の名称を表すテキストと、ユーザが入力した条件の成立を意味するテキストと、「待つ」という意味のテキストと、を用い注釈付き画像のためのテキストを生成し、生成したテキストと、トリガー設定手続においてユーザが選択した物体が写っている画像と、を含む画像を注釈付き画像としてトリガー設定に関連付けて生成し、
   制御部は、注釈付き画像に関連付けられたトリガー設定に従ってロボット又は家電機器を制御するための制御命令を生成しロボット又は家電機器に送出するタスク指示システム。
10. 請求項１において、
    タスク入力部は、ロボット又は家電機器にタスクの実行を待機させる時間をユーザに設定させるために、
    待機時間を入力させるステップ
    を含む待機時間設定手続をユーザに行わせることができ、
    注釈付き画像生成部は、待機時間設定手続においてユーザが入力した待機時間の経過を待つ、という意味のテキストを生成し、生成したテキストを含む画像を注釈付き画像として待機時間設定に関連付けて生成し、
    制御部は、注釈付き画像に関連付けられた待機時間設定に従ってロボット又は家電機器を制御するための制御命令を生成しロボット又は家電機器に送出するタスク指示システム。
11. 請求項１において、
    タスク入力部は、既存の注釈付き画像に対応するタスクの内容を、タスク入力手続、トリガー設定手続又は待機時間設定手続をユーザに再度行わせることにより編集させるタスク指示システム。

Images