JP7124280B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

機器の操作には、一般に、専用のリモートコントローラ（以下「リモコン」という）が用意される。各リモコンには、機能別にボタン類が用意されており、ユーザは目的とする動作に応じたボタンを操作している。

特開２００４－１２００６９号公報

機器を操作したい場合、ユーザは、専用のリモコンに用意されている機能別のボタン類を操作する必要がある。

本発明は、操作対象の機器が写った画像を利用して、機器を容易に操作できるようにすることを目的とする。

請求項１に記載の発明は、自機と他の物体を被写体に含む写真を自機の撮像部又は読取部から読み取る受信手段と、前記受信手段で読み取った写真の被写体に自機が含まれ、当該写真に自機の動作を指示する情報の記載がある場合に、当該情報に基づいて自機の動作を制御する制御手段とを有する情報処理装置である。
請求項２に記載の発明は、前記情報は、自機の移動に関する動作を規定する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記移動に関する動作は、自機の移動の方向、経路又は範囲を規定する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記情報は、自機の動作の質を規定する、請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記動作の質はテキストによって与えられる、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記情報は、自機の動作の実行又は非実行を規定する、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記情報は図形の形式で記載されている、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記情報は、自機の処理動作の切り替えを規定する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記情報は、自機で実行中の基本プログラムやアプリケーションの切り替えを規定する、請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、コンピュータに、自機と他の物体を被写体に含む写真を自機の撮像部又は読取部から読み取る機能と、前記機能で読み取った写真の被写体に自機が含まれ、当該写真に自機の動作を指示する情報の記載がある場合に、当該情報に基づいて自機の動作を制御する機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、操作対象の機器が写った写真を利用して、機器を容易に操作できる。
請求項２記載の発明によれば、機器の実空間内における移動を容易に制御できる。
請求項３記載の発明によれば、機器の実空間内における移動を容易に制御できる。
請求項４記載の発明によれば、写真を通じて機器の動作の質を制御できる。
請求項５記載の発明によれば、動作の質を容易に指示できる。
請求項６記載の発明によれば、写真を通じて機器の動作を制御できる。
請求項７記載の発明によれば、図形を用いて機器の動作を制御できる。
請求項８記載の発明によれば、機器の処理動作を制御できる。
請求項９記載の発明によれば、機器で実行されるプログラムを切り替えることができる。
請求項１０記載の発明によれば、操作対象の機器が写った写真を利用して、機器を容易に操作できる。

本実施の形態で使用する画像処理システムの構成例を示す図である。 掃除ロボットのハードウェア構成の一例を示す図である。 実施の形態１における掃除ロボットを構成する制御部の機能構成の一例を示す図である。 コンピュータの操作画面上に表示された静止画像にマウスポインタを用いて掃除の範囲を入力する様子を説明する図である。 写真上にユーザがペンを用いて掃除の範囲を示す囲み線を描画する様子を説明する図である。 実施の形態１で使用する掃除ロボットで実行される処理動作を説明するフローチャートである。 掃除する範囲の特定を説明する図である。 掃除ロボットによる掃除の具体例を説明する図である。 写真を用いた掃除の範囲の他の例を説明する図である。 写真を用いた掃除の範囲の他の例を説明する図である。 音声による掃除の質の指定を説明する図である。 実施の形態２に係る画像処理システムの構成例を示す図である。 画像形成装置のハードウェア構成の一例を示すブロック図である。 画像形成装置を構成する制御部における機能構成の一例を示す図である。 実施の形態２で使用する画像形成装置で実行される処理動作を説明するフローチャートである。 本実施の形態で使用するＪＰＥＧファイルのデータ構造を示す図である。 実施の形態３における掃除ロボットを構成する制御部の機能構成の一例を示す図である。 実施の形態３における制御部によって実行される処理動作の一例を示すフローチャートである。 ワークフロー処理を規定する情報の記録に用いられる情報処理装置を構成する制御部の機能構成の一例を示すブロック図である。 ユーザによるオブジェクトの領域の指定の例を説明する図である。 ワークフロー処理を規定する情報の属性情報への書き込みを説明する図である。（ａ）はＪＰＥＧファイルの属性情報には情報が含まれる前のデータ構造を示し、（ｂ）はＪＰＥＧファイルの属性情報には情報が追加された状態を示す。 属性情報による制御に対応する画像形成装置を構成する制御部の機能構成の一例を示す図である。 画像形成装置を構成する制御部によって実行される処理動作の一例を示すフローチャートである。 写真を用いて空調機の動作を制御する例を説明する図である。（ａ）は空調機を動作させるための記載の例であり、（ｂ）は空調機の動作を停止させるための記載の例である。 地図の表面にペンを用いて飛行経路を描画してドローンの飛行を制御する例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜画像処理システムの構成＞
図１を用いて、実施の形態１に係る画像処理システム１００の構成について説明する。
図１は、本実施の形態で使用する画像処理システム１００の構成例を示す図である。
画像処理システム１００は、静止画像１１１（例えば電子写真）の表示に使用されるノート型のコンピュータ１１０と、静止画像１１１を用紙に印刷した写真１２０と、静止画像１１１の撮影場所に対応する実空間１５０内に存在する機器とで構成されている。
コンピュータ１１０は、実空間１５０と同じ空間に存在してもよいし、異なる空間に存在してもよい。図１ではコンピュータ１１０の外観がノート型のコンピュータの例を示しているが、コンピュータ１１０の外観に関する制限はなく、据え置き型のコンピュータ、スマートフォン、ゲーム機などでもよい。

図１に示す実空間１５０は、屋内の一室を想定している。実空間１５０には機器だけでなく生物や植物も存在している。
実空間１５０には、用紙等の記録材に画像を形成する機能や光学的に原稿の画像を読み取る機能などを有する画像形成装置１５１と、放送番組等を表示する表示装置１５２と、動画像や音（以下「動画像など」という）を記録媒体に記録し又は記録媒体から動画像などを再生する録画再生機１５３と、人１５４と、植木１５５と、空調機１５６と、監視カメラ１５７と、掃除ロボット１５８とが存在している。

以下では、実空間１５０に存在する複数の機器のうち掃除ロボット１５８を代表例として装置構成や動作を説明する。
図２は、掃除ロボット１５８のハードウェア構成の一例を示す図である。
本実施の形態における掃除ロボット１５８は、いわゆる自立型掃除機に分類され、掃除のための機構部分と自走のための機構部分とで構成されている。
掃除ロボット１５８は、装置全体を制御する制御部２０１と、間取り図などの画像データを記憶する記憶部２０２と、ユーザによる操作を受け付けるボタン類や装置の状態をユーザに通知する操作表示部２０３と、塵や埃など（以下「塵」という）を吸引する吸塵部２０４と、走行のための駆動系を有する走行駆動部２０５と、周囲の状況を撮影するカメラ部２０６と、塵の有無や走行に必要な各種の情報を取得するセンサ部２０７と、外部の機器（例えばコンピュータ１１０）と通信するための通信部２０８と、内蔵する電池を充電するための充電部２０９と、を有している。
なお、制御部２０１と各部はバス２１０を介して接続されている。

制御部２０１は、いわゆるコンピュータであり、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）により構成される。ＲＯＭには、ＣＰＵにより実行されるＢＩＯＳ（Basic Input/Output System）やファームウェアが記憶されている。ＲＡＭはプログラムの作業領域として用いられる。
ここでの制御部２０１は、ファームウェアなどの実行を通じて各部の動作を制御する。例えば制御部２０１は、集塵に関する動作や走行に関する動作を制御する。

記憶部２０２は、半導体メモリやハードディスク装置などの不揮発性の書き換え可能な記憶装置により構成されている。
操作表示部２０３は、ユーザの操作を受け付けるボタン類や動作状態を表すＬＥＤ（Light Emitting Diode）インジケータ等で構成される。なお、操作表示部２０３には、液晶ディスプレイや有機ＥＬ（Electro‐Luminescence）ディスプレイを用いてもよい。
吸塵部２０４は、走行路上の床面に存在する塵を空気と一緒に取り込む気流を発生するモータその他の部材で構成されている。吸塵部２０４の構造は、採用する集塵方式によって相違する。
走行駆動部２０５は、本体を移動させる車輪と、車輪を駆動するモータと、操舵機構などを有している。

カメラ部２０６は、周辺の情報やユーザより提示される写真１２０（図１参照）の画像を撮影するイメージセンサで構成される。カメラ部２０６は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどで構成される。撮像された画像は、記憶部２０２に蓄積される。前述した制御部２０１は、記憶部２０２に蓄積されている画像データを読み出して分析する。ここでの分析により、制御部２０１は、例えば実空間１５０の間取り図を生成し、実空間１５０内における自機の位置を検出する。また、制御部２０１は、写真１２０（図１参照）に対応する画像を処理して自機の動作を制御する。この動作の詳細については後述する。

センサ部２０７は、例えば障害物との距離を測定する障害物センサ、障害物との接触を検知する接触センサ、塵を認識する塵センサ、本体の角度を計測するジャイロセンサ、速度を計測する加速度センサ、走行した距離を計測する走行距離センサなどで構成される。
通信部２０８は、例えばいわゆる携帯電話網、無線通信網（ＩｏＴ（Intranet of Things）ネットワーク、ホームネットワークなど）との通信に用いる通信装置で構成され、その通信には例えばWifi（登録商標）、Bluetooth（登録商標）、ZigBee（登録商標）などを使用する。

図３は、実施の形態１における掃除ロボット１５８を構成する制御部２０１の機能構成の一例を示す図である。
図３に示す機能構成は、制御部２０１によるファームウェアの実行を通じて実現される。
本実施の形態における制御部２０１は、外部から画像データを入力する画像受信部２１１と、受信した画像に含まれる情報（動作の内容を指示する情報）の記載を認識する画像認識部２１２と、実空間１５０内における自機の位置を検出する位置検出部２１３と、認識された情報と自機の位置とに基づいて自機の走行を制御する掃除制御部２１４とを有している。

掃除制御部２１４は、画像データを補助する音声データが存在する場合には、音声データも含めて自機の走行を制御する。
ここでの音声データは音データの一例である。また、画像受信部２１１は受信手段の一例であり、画像認識部２１２と位置検出部２１３と掃除制御部２１４は制御手段の一例である。

画像受信部２１１は、カメラ部２０６によって撮影された写真１２０の画像データ、又は、通信部２０８を通じてコンピュータ１１０から受信した画像ファイルの画像データを画像認識部２１２に出力する。
画像認識部２１２は、受信した画像データに自機の動作を指示する記載が含まれる場合、指示の内容を認識して掃除制御部２１４に出力する。例えば画像データに対応する画像（例えば電子写真）に自機が含まれており、自機の移動方向、経路、範囲等の移動範囲を規定する書き込みが認識された場合、画像認識部２１２は、認識された情報を掃除制御部２１４に出力する。

ここでの移動範囲を規定する情報は、動作を規定する情報の一例であるとともに移動に関する情報の一例でもある。
本実施の形態の場合、移動範囲を規定する情報は、手書きの線や図形などで与えられる。掃除の経路や範囲は、操作ボタンによる入力や言葉による指示が難しいためである。
もっとも、手書きの線や図形は、写真１２０（図１参照）に対する書き込みであっても、コンピュータ１１０の操作画面上での書き込み（すなわち静止画像１１１への書き込み）であってもよい。
本実施の形態では、移動範囲を入力する主な手段としてユーザによる手書きを想定しているが、アプリケーションソフトによる経路の生成や与えられた経路の修正を排除する意図ではない。

本実施の形態における動作を規定する情報には、掃除の質を規定する情報も含まれる。掃除の質は動作の質の一例である。本実施の形態の場合、掃除の質には、例えば移動の速度（高速、低速など）や掃除の質（徹底、お手軽など）が含まれる。
掃除の質は、移動範囲を規定する情報とは異なり、ボタン類や音声による指定も容易である。このため、本実施の形態では、掃除の質については、画像データに対応する画像上へのテキストによる書き込みや不図示のマイクを用いた音声での指示も想定する。

位置検出部２１３は、実空間１５０内における自機の位置を検出する機能を提供する。
例えば自機の移動経路の履歴等を用いて実空間１５０の間取り図を生成する機能が掃除ロボット１５８に設けられている場合、位置検出部２１３は、自機で生成した間取り図の情報を用いて自機の位置を検出する。
これに対し、例えば室内用のＧＰＳ（Global Positioning System）の受信部を有する場合、位置検出部２１３は、この受信部の出力信号を使用して実空間１５０内における自機の位置を検出する。
また例えば位置検出部２１３は、実空間１５０に存在する監視カメラ１５７とのＩｏＴ通信を通じて実空間１５０内における自機の画像を取得し、画像認識によって自機の位置を検出する。

掃除制御部２１４は、画像認識部２１２で認識された移動範囲と位置検出部２１３で検出された位置とを比較して、自機による掃除に範囲、掃除の経路、掃除の方向などを決定する。
例えば掃除制御部２１４は、受信した電子写真（写真１２０）を平面図に変換し、内部で生成されている間取り図と位置合わせすることにより、掃除の経路や範囲を具体的に決定する。

掃除制御部２１４は、変換後の平面図から抽出される特徴点（例えば床面と壁との境界や被写体など）と間取り図との間で位置合わせを行う。例えば被写体が位置する場所は、掃除ロボット１５８によって生成された間取り図に含まれない部位（移動できない部位であるので間取り図から除かれている）に対応することを利用する。位置合わせを行えた場合、掃除制御部２１４は、平面図上における掃除の経路や範囲を間取り図上にマッピングされる。

なお、間取り図が、実空間１５０の真ん中に立って部屋の隅を位置入力しながら３６０°撮影することで生成するアプリケーション（例えばMagicPlan（商標））によって生成され、かつ、撮影時に使用した画像を記憶部２０２に記録されている場合には、記録されている画像データと電子写真との照合により間取り図との位置合わせを実現してもよい。
また例えば掃除制御部２１４は、監視カメラ１５７に写っている被写体を特徴点として使用し、当該特徴点と自機の位置との位置関係から掃除の経路や範囲を具体的に決定してもよい。

＜印刷物（電子写真）を用いた経路などの指定の例＞
ここでは、本実施の形態における掃除の経路などの指定の例を説明する。
図４は、コンピュータ１１０（図１参照）の操作画面１１０Ａ上に表示された静止画像１１１にマウスポインタ１１２を用いて掃除の範囲を入力する様子を説明する図である。
操作画面１１０Ａには、実空間１５０（図１参照）を撮影した静止画像１１１が小画面（ウィンドウ）の形式で表示されている。
図４に示す静止画像１１１には、画像形成装置の像３０１、表示装置の像３０２、録画再生機の像３０３、人の像３０４、植木の像３０５、空調機の像３０６、監視カメラの像３０７、掃除ロボットの像３０８が含まれている。
操作画面１１０Ａの下部にはタスクバー１１０Ｂが配置され、起動中の３つのアプリケーションのアイコン１１３と、現在時刻１１４とが表示されている。

静止画像１１１は実空間１５０（図１参照）のある時刻の状態を表している。このため、人の像３０４や掃除ロボットの像３０８の位置は、現在時刻における人１５４（図１参照）や掃除ロボット１５８（図１参照）の位置とは一般には異なる。また、静止画像１１１を撮影した時点と現在時刻とでは実空間１５０に存在する人物も人数も異なっている。

ユーザは、この静止画像１１１のうち掃除ロボット１５８で掃除させたい範囲をマウスポインタ１１２によって描画する。図４の例では、マウスポインタ１１２が移動した軌跡３０９が楕円で示されている。
図４に示す入力手法は、例えば静止画像１１１に軌跡３０９を描画した画像データ（電子写真）をコンピュータ１１０から掃除ロボット１５８に送信する場合に用いられる。

図５は、写真１２０上にユーザ（手３１１）がペン３１２を用いて掃除の範囲を示す囲み線３１３を描画する様子を説明する図である。
図５には図４との対応部分に同一の符号を付して示している。図５に示す写真１２０は静止画像１１１（図４参照）に対応している。
図５に示す入力手法は、囲み線３１３が描画された写真１２０を、ユーザが掃除ロボット１５８（図１参照）のカメラ部２０６（図２参照）の前にかざすことで、掃除ロボット１５８に画像データ（写真画像）を与える場合に用いられる。

＜処理動作の例＞
ここでは、図６を使用して、掃除ロボット１５８（図１参照）で実行される処理動作の例を説明する。
図６は、実施の形態１で使用する掃除ロボット１５８で実行される処理動作を説明するフローチャートである。
まず、制御部２０１（図２参照）は、画像受信部２１１（図３参照）を通じて静止画像１１１（図１参照）又は写真１２０（図１参照）に対応する画像データを受信する（ステップ１）。

次に、制御部２０１は、画像認識部２１２（図３参照）の機能を通じて、画像データに対応する電子写真の被写体に自機が含まれるかを判定する（ステップ２）。この判定には画像認識技術を使用する。画像認識に必要とされる自機の１つ又は複数の画像データは記憶部２０２（図２参照）などに格納されている。もっとも、自機の画像データを記憶部２０２などには持たず、監視カメラ１５７（図１参照）から取得される画像データを用いてもよい。

ステップ２で肯定結果が得られた場合、制御部２０１は、自機の動作を指示する記載があるか否かを判定する（ステップ３）。ここで、制御部２０１は、画像データに一筆書きで表されている曲線や単色で描かれた図形などのパターンが存在する場合、動作を指示する記載があると判定する。例えば軌跡３０９（図４参照）や囲み線３１３（図５参照）は、一筆書きや単色で描かれた図形などのパターンの一例である。記憶部２０２（図２参照）には被写体の動作を指示する記載と判断するために必要な条件やパターンが登録されている。
また、制御部２０１は、軌跡３０９（図４参照）や囲み線３１３（図５参照）で囲まれた領域の内側に自機の像が含まれている場合、自閾が画像データに含まれる被写体の動作を指示する記載の対象であると認識する。
これら２つの条件を満たす場合、制御部２０１は、自機の動作を指示する記載があると判定する。

ステップ２及びステップ３のいずれかで否定結果が得られた場合、制御部２０１は、後述する動作を実行することなく処理を終了する。
一方、ステップ３で肯定結果が得られた場合、制御部２０１は、指示の内容を特定する（ステップ４）。本実施の形態、制御部２０１は、掃除する範囲を特定する。
図７は、掃除する範囲の特定を説明する図である。図７では、掃除ロボット１５８によって事前に生成されている間取り図３５０と、制御部２０１が特定した掃除する範囲３５１（破線で示す）の関係が表されている。掃除する範囲３５１は、軌跡３０９（図４参照）や囲み線３１３（図５参照）に対応している。
なお、図中の丸印で示す記号３５２は、自機（すなわち掃除ロボット１５８（図１参照））の現在位置を示し、網掛けで示す部位は、障害物のために掃除ロボット１５８が移動できない空間を示す。

図６の説明に戻る。
次に、制御部２０１は、特定した動作を予定動作としてユーザに通知する（ステップ５）。この通知は、例えば画像データがコンピュータ１１０（図１参照）から受信された場合に実行され、画像データが写真１２０から取得された場合には実行されない。

ステップ５が実行される場合、制御部２０１は、コンピュータ１１０に対して予定する動作（予定動作）の内容を通知し、コンピュータ１１０からの応答を待つ。ここで、予定動作を了承する応答があった場合（ステップ６で肯定結果が得られた場合）、制御部２０１は、ステップ４で特定した動作を実行する（ステップ７）。本実施の形態では、特定した範囲を対象とする掃除を開始する。
なお、予定動作を了承しない応答があった場合（ステップ６で否定結果が得られた場合）、制御部２０１は、ステップ１に戻り、正しい動作の指示を待ち受ける。
ステップ５を実行しない場合（ユーザに予定動作を通知しない場合）、制御部２０１は、特定した動作を実行する（ステップ７）。
図８は、掃除ロボット１５８による掃除の具体例を説明する図である。掃除ロボット１５８は、ユーザが手書きで入力した範囲３５１（破線で示す楕円の内側）を移動しながら塵を収集する。

＜実施の形態の効果＞
本実施の形態によれば、リモコンによるボタン操作によっては指定が困難な掃除の範囲（２次元空間内の範囲）を容易に掃除ロボット１５８に指示することができる。
すなわち、ユーザは、掃除する範囲を特定する軌跡３０９（図４参照）や囲み線３１３（図５参照）を静止画像１１１や写真１２０上に書き込んで掃除ロボット１５８に与えるだけで指示を終えることができる。

なお、掃除ロボット１５８の移動方向をリモコンで操作する場合には、掃除の間中、掃除ロボット１５８の位置を監視しながら指示を与える必要があるが、本実施の形態の場合には、最初に画像を与えるだけで指示が終了する。
また、ユーザは、掃除ロボット１５８を含めるように掃除の範囲を特定する線を描画するだけで指示の対象が掃除ロボット１５８であることを特定できる。
ここでの掃除ロボット１５８は、操作の対象である特定の機器の一例である。

＜他の指示の例＞
以下では、他の指示の手法について説明する。
図９は、写真１２０を用いた掃除の範囲の他の例を説明する図である。
図９の例では、掃除ロボットの像３０８の上に丸印３７０が描画され、掃除ロボット１５８（図１参照）が指示対象であることが示されている。
また、図９の例では、掃除の範囲を示す２つの図形３７１及び３７２が描画されている。楕円形状の図形３７１は、人の像３０４と画像形成装置の像３０１との間の空間を掃除の範囲として指定し、楕円形状の図形３７２は、人の像３０４と植木の像３０５の間の空間を掃除の範囲として指定している。

なお、図形３７１の内側には文字Ａを丸で囲んだ記号が描画され、図形３７２の内側には文字Ｂを丸で囲んだ記号が描画されている。
ここで、文字Ａ及びＢを丸で囲んでいるのは、ユーザからの指示であることを掃除ロボット１５８が認識できるようにするためである。
図９では、文字が丸で囲まれている記号をユーザからの指示として認識するという規則で制御部２０１（図３参照）が動作する場合であるので、予め定めた他の規則が存在する場合には該当する規則を満たすようにユーザが記述を行う。例えば矩形の図形や星形の図形と数字を組み合わせてもよい。

さらに、図９の例では、写真１２０の余白部分に、掃除の質（動作の質の一例）を規定するテキスト３７３が記述されている。具体的には、「（丸で囲んだ）Ａ→（丸で囲んだ）Ｂ」と「ゆっくり」の記述が認められる。
「（丸で囲んだ）Ａ→（丸で囲んだ）Ｂ」の記述は、掃除ロボット１５８による掃除を図形３７１で囲んだ範囲から開始し、続いて図形３７２で囲んだ範囲で実行すればよいことを指示する。

「ゆっくり」の記述は、掃除ロボット１５８の移動速度として低速モードを指示する。この他に「高速で」、「丁寧に」、「簡易に」などがある。例えば「高速で」は高速モードを指示する場合に使用され、「丁寧に」は吸引力を強めるなどして塵の取り残しを少なくするモードを指示する場合に使用され、「簡易に」は標準的な吸引力を発生して掃除を実行する場合に使用される。

図１０は、写真１２０を用いた掃除の範囲の他の例を説明する図である。
図１０の場合も、掃除ロボットの像３０８の上に丸印３７０が描画され、掃除ロボット１５８（図１参照）が指示対象であることが示されている。
一方、図１０の場合、掃除の経路が一筆書きの軌跡３７５で描画されている。この場合、掃除ロボット１５８は指示された経路に沿うように実空間１５０（図１参照）を移動することになる。

図１１は、音声による掃除の質の指定を説明する図である。
この指定は、前述した画像データを用いた指示を補足する指定の方法である。図１１では、男性が「ゆっくり掃除してください」と、掃除ロボット１５８に対して発声している。図１１に示す掃除ロボット１５８にはマイク３８０が設けられており、マイク３８０で取り込まれた音声に対応する音声データが音声認識された後、掃除制御部２１４（図３参照）に与えられる。
このように、音声を補助的に組み合わせて使用することにより、掃除ロボット１５８に対する指示の内容を全て画像（電子写真）上に記述せずに済み、指示に必要な作業を簡略化できる。

＜実施の形態２＞
本実施の形態では、指示対象である機器を他の機器を通じて間接的に制御する場合について説明する。
図１２を用いて、実施の形態２に係る画像処理システム４００の構成について説明する。
図１２は、実施の形態２に係る画像処理システム４００の構成例を示す図である。
図１２には図１との対応部分に対応する符号を付して示している。
本実施の形態の場合も、制御の対象は掃除ロボット１５８である。

本実施の形態は、静止画像１１１に写っている実空間１５０がプライベートな空間であり、例えば家庭内に存在する機器で構成されるホームネットワーク（家庭内ＬＡＮ）や家庭内に存在するＩｏＴデバイスで構成されるＩｏＴネットワークを通じて他機の情報を収集できる場合を想定する。

本実施の形態が実施家の形態１と異なる点は、画像データＤ又は写真１２０が画像形成装置１５１に対して与えられ、指示対象を認識した画像形成装置１５１によって掃除ロボット１５８の動作が制御される点である。
なお、画像形成装置１５１から掃除ロボット１５８への指示は、無線通信を通じて実現される。

図１３は、画像形成装置１５１のハードウェア構成の一例を示すブロック図である。
画像形成装置１５１は、制御部４４１と、外部との通信に使用される通信インターフェース（通信Ｉ／Ｆ）４４２と、表示部４４４に操作画面等を表示する表示部インターフェース（表示部Ｉ／Ｆ）４４３と、操作部４４６に対するユーザの操作を受け付ける操作部インターフェース（操作部Ｉ／Ｆ）４４５を有している。
ここで、表示部４４４は、例えば液晶ディスプレイや有機ＥＬディスプレイ等で構成される。操作部４４６は、例えば操作ボタン、操作キー、タッチパネル等で構成される。

画像形成装置１５１は、不揮発性の記憶装置の一例であるＨＤＤ（ハードディスク装置）４４７と、例えば電子写真方式やインクジェット方式で画像を印刷する印刷機構４４９を駆動する印刷機構インターフェース（印刷機構Ｉ／Ｆ）４４８と、記録材である用紙を搬送する搬送機構４５１を駆動する搬送機構インターフェース４５０と、写真１２０（図１２参照）から画像を読み取る画像読取機構４５３を駆動する読取機構インターフェース（読取機構Ｉ／Ｆ）４５２も有している。
ここでの画像読取機構４５３は、いわゆるスキャナである。

印刷機構４４９は、イエロー(Ｙ）、マゼンタ(Ｍ）、シアン(Ｃ）、黒(Ｋ）の４色に対応する印刷ユニットを有している。電子写真方式の各ユニットには、感光体ドラムと、感光体ドラムの表面を帯電する帯電器と、帯電後の感光体ドラムにレーザ光を照射して画像を描画する露光部と、描画された画像をトナー像として現像する現像器と、トナー像を用紙Ｐに転写する転写部と、転写後のトナー像を用紙Ｐに定着する定着器が備えられている。
制御部４４１と各部は、バス４５４を通じて接続されている。

図１４は、画像形成装置１５１（図１参照）を構成する制御部４４１における機能構成の一例を示す図である。
本実施の形態における制御部４４１は、外部から画像データを入力する画像受信部４６１と、受信した画像に記載されている動作の内容を指示する情報を認識する画像認識部４６２と、実空間１５０内における制御対象とする掃除ロボット１５８（図１２参照）の位置を検出する位置検出部４６３と、認識された指示に関する情報と掃除ロボット１５８の位置とに基づいて掃除ロボット１５８の走行を制御する走行制御部４６４とを有している。
ここでの画像受信部４６１は受信手段の一例であり、画像認識部４６２と位置検出部４６３と掃除制御部４６４は制御手段の一例である。
なお、走行制御部４６４には掃除ロボット１５８による掃除の質を制御する機能も用意されている。

本実施の形態における画像受信部４６１は、画像読取機構４５３（図１３参照）によって読み取られた写真１２０（図１２参照）の画像データ、又は、通信インターフェース（通信Ｉ／Ｆ）４４２（図１３参照）を通じてコンピュータ１１０（図１２参照）から受信した写真１２０に対応する画像ファイルの画像データを画像認識部４６２に出力する。
画像認識部４６２は、画像データに含まれる特定の被写体の動作を指示する記載が含まれる場合、指示の内容を認識して走行制御部４６４に出力する。本実施の形態の場合、画像認識部４６２は、指示対象である特定の被写体を認識する動作も実行する。

画像認識部４６２は、例えば画像データに対応する画像（例えば電子写真）に自機が含まれ、かつ、他機の移動方向、経路、範囲等の移動範囲を規定する書き込みが認識された場合、認識された情報を走行制御部４６４に出力する。
ここでの画像認識部４６２は、自機や他機の画像データを保持しており、指示の対象である被写体が自機であるか他機であるかを認識することができる。

また、本実施の形態における画像認識部４６２は、監視カメラ１５７（図１２参照）や実空間１５０内の他の機器との通信（例えばＩｏＴ通信）などを通じて、他の機器の画像と各機器との通信に必要な通信アドレスの情報を有している。
画像認識部４６２は、これらの情報を利用して画像（例えば電子写真）に記載された軌跡や囲み線などによる指示の情報や指定対象である機器を認識する。

位置検出部４６３は、指示対象である機器（ここでは掃除ロボット１５８）との通信を通じて、指示対象である機器の位置を検出する。実施の形態１で説明したように、掃除ロボット１５８が間取り図の生成機能や自機の位置を検出する機能を有する場合には、間取り図や掃除ロボット１５８の位置をＩｏＴ通信によって取得する。
また、位置検出部４６３は、掃除ロボット１５８から室内用のＧＰＳの受信部で受信した位置情報を受信してもよい。
また、位置検出部４６３は、実空間１５０に存在する監視カメラ１５７とのＩｏＴ通信を通じて実空間１５０内の画像を取得し、画像認識によって掃除ロボット１５８の位置を検出してもよい。

走行制御部４６４は、画像認識部４６２で認識された移動範囲と位置検出部４６３で検出された位置とを比較して、掃除ロボット１５８（図１２参照）による掃除の範囲、掃除の経路、掃除の方向などを決定する。決定の手法は、実施の形態１の場合と同様である。
なお、掃除ロボット１５８が間取り図を生成する機能を有する場合においては、走行制御部４６４は、掃除の範囲を規定する座標を掃除ロボット１５８に通知してもよい。この場合、掃除ロボット１５８は自機で有する間取り図上の座標と自機で検知した位置の情報とを用いて掃除を実行できる。
また、走行制御部４６４は、自装置の側で検出している掃除ロボット１５８の位置が掃除の範囲を超えないように掃除ロボット１５８の移動方向を逐次制御してもよい。

次に、図１５を使用して、画像形成装置１５１（図１２参照）で実行される処理動作の例を説明する。
図１５は、実施の形態２で使用する画像形成装置１５１で実行される処理動作を説明するフローチャートである。図１５には図６との対応部分に対応する符号が付されている。
まず、制御部４４１（図１４参照）は、画像受信部４６１（図１４参照）を通じて静止画像１１１（図１２参照）又は写真１２０（図１２参照）に対応する画像データを受信する（ステップ１）。

次に、制御部４４１は、画像認識部４６２（図１４参照）の機能を通じて、画像データに対応する電子写真の被写体に自機が含まれるか否かを画像認識により判定する（ステップ２）。
ステップ２で肯定結果が得られた場合、制御部４４１は、他機の動作を指示する記載があるか否かを判定する（ステップ１１）。
ステップ２及びステップ１１のいずれかで否定結果が得られた場合、制御部４４１は、後述する動作を実行することなく処理を終了する。
一方、ステップ１１で肯定結果が得られた場合、制御部４４１は、指示の内容を特定する（ステップ４）。本実施の形態、制御部４４１は、掃除する範囲を特定する。

次に、制御部４４１は、特定した動作を予定動作としてユーザに通知する（ステップ５）。この通知は、例えば画像データがコンピュータ１１０（図１２参照）から受信された場合に実行され、画像データが写真１２０から取得された場合には実行されない。
ステップ５が実行される場合、制御部４４１は、コンピュータ１１０に対して予定する動作（予定動作）の内容を通知し、コンピュータ１１０からの応答を待つ。ここで、予定動作を了承する応答があった場合（ステップ６で肯定結果が得られた場合）、制御部４４１は、該当する機器（例えば掃除ロボット１５８）に対してステップ４で特定した動作の実行を指示する（ステップ１２）。
なお、予定動作が了承しない応答があった場合（ステップ６で否定結果が得られた場合）、制御部４４１は、ステップ１に戻り正しい動作の指示を待ち受ける。
ステップ５の通知を実行しない場合、制御部４４１は、該当する機器に動作の実行を指示する（ステップ１２）。

本実施の形態によれば、画像データに基づいて動作するアプリケーションが掃除ロボット１５８にインストールされていない場合でも、画像形成装置１５１から掃除ロボット１５８への通信を通じて掃除ロボット１５８の動作を制御することができる。

＜実施の形態３＞
前述の実施の形態では、写真１２０（図５参照）や写真１２０に対応する画像データＤに記載されている情報を処理して自機又は他機の動作を制御するためのアプリケーションが予めインストールされている場合について説明した。
本実施の形態では、前述した一連のワークフロー処理を規定する情報が、画像データＤの属性情報として各機器に提供される場合について説明する。なお、画像データＤに対応する静止画像１１１（図４参照）の表面には、実施の形態１の場合と同様に、掃除の範囲などがユーザによって記述されているものとする。

本実施の形態で使用される画像データＤは、便宜的にＪＰＥＧフォーマットに準拠したＪＰＥＧファイルであるものとする。もっとも、画像データＤは、他の画像フォーマットに対応する画像ファイルでもよい。
図１６は、本実施の形態で使用するＪＰＥＧファイル５００のデータ構造を示す図である。ＪＰＥＧファイル５００は、画像ファイルの一例であり、ＪＰＥＧフォーマットに準拠する。

ＪＰＥＧファイル５００は、イメージの開始位置を示すイメージ開始セグメント（Start Of Image segment: SOI）５１１と、Ｅｘｉｆ（Exchangeable image file format）情報などの記述に用いられるタイプ１のアプリケーションセグメント（Application type 1 segment: App1）５１２と、被写体に関連するワークフロー処理を規定する情報の記述に用いられるタイプ１１のアプリケーションセグメント（Application type 11 segment: App11）５１３と、イメージデータ（Image Data: ID）５１４と、イメージの終了位置を示すイメージ終了セグメント（End Of Image segment: EOI）５１５とを有している。

ここで、イメージデータ５１４には静止画像の本体が保存される。
イメージ開始セグメント５１１とイメージ終了セグメント５１５で挟まれた領域はフレームとも呼ばれる。
なお、図１６では表していないが、ＪＰＥＧファイルには、不図示の２つのセグメント、すなわち量子化テーブル定義セグメント（Define Quantization Table segment: DQT）、ハフマンテーブル定義セグメント（Define Huffman Table segment: DHT）も含まれている。これら以外のセグメントは、必要に応じて配置される。
タイプ１のアプリケーションセグメント５１２とタイプ１１のアプリケーションセグメント５１３は、ＪＰＥＧファイル５００の属性情報５１６の一部分である。

アプリケーションセグメント５１３には、ＪＰＥＧファイル５００が作成された静止画像に含まれる被写体に関連するワークフロー処理を規定する情報５１３Ａ、５１３Ｂが記述されている。例えば情報５１３Ａは被写体１に関連するワークフロー処理１に対応する情報であり、情報５１３Ｂは被写体２に関連するワークフロー処理２に対応する情報である。
タイプ１１のアプリケーションセグメント５１３に格納される情報の個数はゼロでもよいし、１個でもよいし、３個以上でもよい。以下では、情報５１３Ａ及び５１３Ｂを区別しない場合には単に情報５１３Ａという。

例えば２つの情報５１３Ａ及び５１３Ｂは、１つの被写体（以下「オブジェクト」という）に対応付けられていてもよい。すなわち、１つの被写体に対して複数の情報が対応付けられていてもよい。
例えば情報５１３Ａは、第１の言語（例えば日本語、第１のＯＳ用）による処理に用いられ、情報５１３Ｂは、第２の言語（例えば英語、第２のＯＳ用）による処理に用いられてもよい。

個々のワークフロー処理には、例えば情報５１３Ａに対応するオブジェクトに関する情報の保存、表示、集計、送信、取得、実空間１５０（図１）に関する情報の取得などが含まれる。
オブジェクトに関する情報は、インターネット上に存在する情報の他、実在する機器に保持されている情報、実在する機器や生物などを撮影した画像などが含まれる。

また、個々のワークフロー処理には、例えば情報５１３Ａが記録されているオブジェクトに対応する機器の動作を制御するための操作パネルの表示、情報５１３Ａで予め定められている実物の機器の動作の制御、被写体に対応する実物の機器等からの情報の取得、取得した実物の機器の状態の画像への反映等が含まれる。
また例えば２つの情報５１３Ａ及び５１３Ｂはいずれも、１つの機器の操作の種類別に設けられていてもよい。例えば情報５１３Ａはテレビジョン受像機のチャンネルの操作用、情報５１３Ｂはテレビジョン受像機の電源ボタンの操作用であってもよい。

例えば情報５１３Ａは、テキストデータの形式で記述される。本実施の形態では、情報５１３Ａの記述にデータ交換フォーマットの一例であるＪＳＯＮ（Java Script Object Notation）を使用する。ＪＳＯＮ（登録商標）は、ＪａｖａＳｃｒｉｐｔ（登録商標）におけるオブジェクトの表記法の一部を構文のベースに使用する言語である。勿論、ワークフロー処理の記述に用いる言語はＪＳＯＮに限らない。

ここでは、実施の形態１の場合と同様に、画像データＤが掃除ロボット１５８（図１参照）に対して与えられる場合について説明する。
図１７は、実施の形態３における掃除ロボット１５８を構成する制御部の機能構成の一例を示す図である。
図１７には図３との対応部分に対応する符号を付して示している。
図１７に示す機能構成は、制御部２０１Ａによるファームウェアの実行を通じて実現される。ここでのファームウェアに要求される機能は、画像データＤの属性情報５１６（図１６参照）からワークフロー処理を規定する情報５１３（図１６参照）を読み出して実行する機能である。

本実施の形態における制御部２０１Ａは、外部から画像データＤを入力する画像受信部２１１と、受信した画像データＤの属性情報５１６を読み出して、被写体として含まれる各機器に対応付けられた情報５１３Ａ（図１６参照）を認識する属性情報認識部２１５と、実空間１５０内における自機の位置を検出する位置検出部２１３と、認識された情報５１３Ａに記述されたワークフロー処理の実行を通じて自機の走行を制御する掃除制御部２１４Ａとを有している。

ここで、掃除制御部２１４Ａは、画像認識技術を使用して、自機の像（オブジェクト）が画像データＤに含まれる場合、自機の像（オブジェクト）に対応する情報５１３Ａが属性情報５１６に含まれるか判定する。該当する情報５１３Ａが属性情報５１６に含まれる場合、掃除制御部２１４Ａは、起動されたワークフロー処理に従って自機の移動を制御する。

図１８は、実施の形態３における制御部２０１Ａ（図１７参照）によって実行される処理動作の一例を示すフローチャートである。
図１８には図６との対応部分に対応する符号を付して示している。
まず、制御部２０１Ａは、画像受信部２１１を通じて画像データＤを受信する（ステップ１）。

次に、制御部２０１Ａは、属性情報認識部２１５の機能を通じて、画像データに対応する電子写真の被写体に自機が含まれるか画像認識により判定する（ステップ２）。ここでの画像認識に必要とされる自機の１つ又は複数の画像データは記憶部２０２（図２参照）などに格納されている。もっとも、自機の画像データを記憶部２０２などには持たず、監視カメラ１５７（図１参照）から取得した画像データと照合してもよい。

ステップ２で肯定結果が得られた場合、制御部２０１Ａは、画像データＤに付属する属性情報５１６を読み込む（ステップ２１）。
続いて、制御部２０１Ａは、属性情報５１６に自機に対応するＪＳＯＮ形式の記述があるか判定する（ステップ２２）。
ステップ２２で肯定結果が得られた場合、制御部２０１Ａは、ＪＳＯＮ形式の記述を解読し、ワークフロー処理を実行する（ステップ２３）。
ここでのワークフロー処理として、実施の形態１と同様の処理を実行する。すなわち、画像データＤに対応する静止画像１１１（図４参照）の表面に自機による掃除の範囲などを指定する情報が記述されていないか判定し、記述されている場合には指定された範囲を掃除する。

なお、ステップ２及びステップ２２のいずれかで否定結果が得られた場合、制御部２０１Ａは、後述する動作を実行することなく処理を終了する。
この動作は、画像データＤの属性情報５１６（図１６参照）の一部に特定のオブジェクトに対応付けられた情報５１３Ａが記録されていることが前提である。以下では、ＪＰＥＧファイル５００（図１６参照）の属性情報５１６に情報５１３Ａを記録するための処理機能について説明する。

図１９は、ワークフロー処理を規定する情報５１３Ａ（図１６参照）の記録に用いられる情報処理装置（例えばコンピュータ１１０）を構成する制御部６００の機能構成の一例を示すブロック図である。
ここでの制御部６００は、ユーザが指定するオブジェクトの領域を検出する位置検出部６０１と、ＪＰＥＧファイル５００（図１６参照）のイメージデータ５１４（図１６参照）から画像処理技術を使用してオブジェクトとして登録する像の領域を検出するオブジェクト検出部６０２と、検出された各領域に対応付けるワークフロー処理の記述を対応付けて属性情報５１６を生成する属性情報生成部６０３として機能する。

図２０は、ユーザによるオブジェクトの領域の指定の例を説明する図である。図２０では、マウスポインタ１１２のドラッグにより、静止画像１１１の像の１つである掃除ロボットの像３０８の表示領域を破線で囲むように領域１１５が設定されている。
図１９の説明に戻る。
位置検出部６０１は、この領域１１５（図２０参照）を規定する座標情報として、例えばドラッグの開始点である左上隅の座標値、ドラッグが終了した時点までに垂直方向に移動した画素数と水平方向に移動した画素数を出力する。

オブジェクト検出部６０２は、情報５１３Ａ（図１６参照）を記録する像の画像（登録画像）が予め登録されている場合に用いられる。
オブジェクト検出部６０２は、ＪＰＥＧファイル５００（図１６参照）に含まれるイメージデータ５１４（図１６参照）と登録画像とのマッチング処理を実行し、登録画像にマッチした像（オブジェクト）が存在する領域を特定する座標情報を位置情報として出力する。

属性情報生成部６０３は、別画面を通じて入力された又は予め用意されたワークフロー処理の記述を各位置情報に関連付ける処理を実行する。この実施の形態でも、ワークフロー処理は、ＪＳＯＮ形式で記述される。
なお、像に対応する実空間の物体が機器である場合には、静止画像１１１を撮像する時点において、ＩｏＴネットワークを通じて各機器を特定する製造番号やＩｏＴネットワーク上のアドレスの情報を収集しておき、静止画像１１１と対応付けるようにすれば、個々の機器の製造番号等を手入力する手間を省くことができる。
なお、実施の形態１で説明したように、各像に対応付ける実空間の物体は、各像に対応する実物である必要はない。

図２１は、ワークフロー処理を規定する情報５１３Ａの属性情報５１６への書き込みを説明する図である。（ａ）はＪＰＥＧファイル５００の属性情報５１６には情報５１３Ａが含まれる前のデータ構造を示し、（ｂ）はＪＰＥＧファイル５００の属性情報５１６には情報５１３Ａが追加された状態を示す。
このように、既存のＪＰＥＧファイル５００にワークフロー処理を規定する情報５１３Ａを後から追記してもよい。

ところで、情報５１３Ａに記述されるワークフロー処理の内容は、ユーザがその都度入力する手法を採用してもよいが、属性情報生成部６０３（図１９参照）が指定された像に応じた内容を与える手法やユーザに提示する手法を採用してもよい。
例えば属性情報生成部６０３は、画像処理を通じて指定された像や像の種別を認識し、認識された情報に応じて情報５１３Ａとして記述するワークフロー処理を決定してもよい。像や像の種別に応じて適用するワークフロー処理の内容がほぼ定まる場合にはユーザの作業量を軽減することができる。

本実施の形態によれば、掃除ロボット１５８（図１参照）に提示された写真１２０（図１参照）や対応する画像データＤに描画されている掃除の範囲についての記載を読み出して実行するアプリケーションプログラムがインストールされていない場合でも、画像データＤの属性情報５１６（図１６参照）を読み出して実行する機能を設けることで、実施の形態１と同等の制御を実現することができる。
すなわち、リモコン等を通じて掃除の範囲を指定する手法では困難な掃除の範囲を容易に掃除ロボット１５８に指示することができる。
また、本実施の形態では、掃除ロボット１５８に実行させたいワークフロー処理の内容をユーザが指定できるため、掃除ロボット１５８に実行させたい動作の指定が容易になる。

＜他の動作例＞
前述の説明では、属性情報５１６（図１６参照）にワークフロー処理を記述する情報５１３Ａ（図１６参照）が記載された画像データＤが制御対象である掃除ロボット１５８（図１参照）に直接与えられる場合について説明したが、実施の形態２の場合と同様に、他の機器を通じて間接的に掃除ロボット１５８を制御する場合にも用いることができる。

図２２は、属性情報による制御に対応する画像形成装置１５１（図１参照）を構成する制御部４４１Ａの機能構成の一例を示す図である。
図２２には図１４及び図１７との対応部分に対応する符号を付して示している。
ここでの制御部４４１Ａは、外部から画像データＤを入力する画像受信部４６１と、受信した画像データＤの属性情報５１６（図１６参照）を読み出して、被写体として含まれる各機器に対応付けられた情報５１３Ａ（図１６参照）を認識する属性情報認識部２１５と、実空間１５０（図１２参照）内における制御対象とする掃除ロボット１５８（図１２参照）の位置を検出する位置検出部４６３と、認識された指示に関する情報と掃除ロボット１５８（図１２参照）の位置とに基づいて掃除ロボット１５８の走行を制御する走行制御部４６４Ａとを有している。

図２３は、画像形成装置１５１（図１参照）を構成する制御部４４１Ａによって実行される処理動作の一例を示すフローチャートである。
図２３には図１８との対応部分に対応する符号を付して示している。
まず、制御部４４１Ａ（図２２参照）は、画像受信部４６１（図２２参照）を通じて画像データＤを受信する（ステップ１）。

次に、制御部４４１Ａは、属性情報認識部２１５（図２２参照）の機能を通じて、画像データに対応する電子写真の被写体に自機が含まれるか画像認識により判定する（ステップ２）。
ステップ２で肯定結果が得られた場合、制御部４４１Ａは、被写体に含まれる他機の動作を指示する記載があるか否かを判定する（ステップ１１）。
ステップ１１で肯定結果が得られた場合、制御部４４１Ａは、画像データＤに付属する属性情報５１６（図１６参照）を読み込む（ステップ２１）。
続いて、制御部４４１Ａは、属性情報５１６に画面上で指定された他機（例えば掃除ロボット１５８）に対応するＪＳＯＮ形式の記述があるか判定する（ステップ３１）。
ステップ３１で肯定結果が得られた場合、制御部４４１Ａは、ＪＳＯＮ形式の記述を解読し、ワークフロー処理を実行する（ステップ２３）。
なお、ステップ２、１１及び３１において否定結果が得られた場合、制御部４４１Ａは処理を終了する。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

例えば前述の実施の形態では、写真１２０（図１参照）等への囲み線３１３（図５参照）の記載によって掃除ロボット１５８（図１参照）の掃除の範囲を指定する場合について説明したが、写真１２０などを用いて実現可能な機器の動作の制御は掃除ロボット１５８の移動の制御に限らない。
図２４は、写真１２０（図１参照）を用いて空調機１５６（図１参照）の動作を制御する例を説明する図である。（ａ）は空調機１５６を動作させるための記載の例であり、（ｂ）は空調機１５６の動作を停止させるための記載の例である。

ここでは、空調機１５６に室内を撮影するカメラが設けられると共に、カメラによって撮影された画像を認識して自機の動作を制御する機能が用意されているものとする。
例えば空調機１５６を動作させたい場合、ユーザは、空調機の像３０６の上に丸印６５０を描いた写真１２０を空調機１５６（図１参照）に向けることで、空調機１５６を動作状態に制御できる。この場合、リモコンの操作は不要である。反対に、空調機１５６の動作を停止したい場合、ユーザは、空調機の像３０６の上にバツ印６５１を描いた写真１２０を空調機１５６（図１参照）に向ければよい。
このように、前述した仕組みは、機器の動作の実行（オン）と非実行（オフ）の指示にも利用できる。

前述の実施の形態の場合には、掃除ロボット１５８（図１参照）のように室内での利用を想定する使用例について説明したが、前述した仕組みは屋外での利用にも便利である。
図２５は、地図７００の表面にペン３１２を用いて飛行経路７０１を描画してドローン７０２の飛行を制御する例を説明する図である。
ここでのドローン７０２は無人飛行機の一例である。ドローン７０２には、飛行に必要なプロペラの他、進行方向を制御する操舵機構、地上などを撮影するカメラ、各部の動作を制御する制御部その他が設けられている。ここでは、ドローン７０２のカメラに地図７００を向けるだけで飛行経路を指示することができる。
なお、制御対象は飛行船でもよいし、無人車両でもよい。図中の破線は、空中でのドローン７０２の飛行経路である。

前述の実施の形態では、ＪＳＯＮ形式を使用してワークフロー処理を属性情報５１６（図１６参照）の一部に記録しているが、音データの形式やＪＳＯＮ以外のテキスト形式で属性情報５１６の一部に記録してもよいし、ＪＰＥＧファイル５００（図１６参照）に関連付けられた別ファイルに記録してもよい。例えば属性情報５１６に割り当てられているデータ領域に制限がある場合には、別ファイルとして記録することが望ましい。

ここで、ワークフロー処理を音データの形式で記録している場合には、音データの再生音を解析して該当するワークフロー処理を実行してもよい。この場合、音データはトーン信号の組み合わせとして記録されていてもよい。また、音データを再生することなく、その周波数成分や波形パターンを解析してワークフロー処理を実行してもよい。

前述の実施の形態においては、情報５１３Ａ（図１６参照）が対応付けられている像が画像上で指定された場合には、対応付けられているワークフロー処理が実行されるだけであるが、ワークフロー処理の実行中におけるユーザの操作を記録し、既存の情報５１３Ａに追記してもよい。この機能があれば、ユーザは、以後は特定の像を指定するだけで、後続する操作を省略できる。

前述の実施の形態では、静止画像１１１（図１参照）を通じて掃除ロボット１５８（図１参照）の動作を制御しているが、動画像を通じて掃除ロボット１５８（図１参照）の動作を制御してもよい。動画像の場合には、時間軸上の複数の区間で異なる指示を与えることもできる。例えば動画像の再生開始から数秒（第１の区間）では掃除の範囲を指示し、続く第２の区間では移動の速度を指示し、更に続く第３の区間では掃除の質を指示してもよい。なお、一度に複数の指示を与えることも可能である。この機能を用いれば、初期は速い速度で通常の吸引力での掃除を指示しつつ、途中からは遅い速度で強い吸引力での掃除を指示することもできる。
このように動作の制御に動画像を用いる場合には、制御の内容を時間の経過に伴って変更することができる。

前述の実施の形態においては、画像を通じて移動経路を制御する場合（付随する機構の制御を含む）、動作の質を制御する場合、動作の実行（オン）と非実行（オフ）を制御する場合について説明したが、開閉機構の開動作と閉動作の制御、電源のオンとオフの制御、プログラムの実行と停止、プログラムの切り替えなどにも用いることができる。
例えばコンピュータの場合であれば、オペレーションシステム（ＯＳ）を表す文字やロゴマークなどを記載した画像（画像データを含む）を提示して起動するオペレーションシステムを切り替えてもよい。ファームウェアで起動する機器の場合も同様である。
また実行するアプリケーションプログラムを表す文字やロゴマークなどを記載した画像（画像データを含む）を提示して実行するアプリケーションプログラムを切り替えてもよい。例えば文書作成プログラム、表計算プログラム、ドローイングプログラムの切り替えに使用してもよい。

なお、前述した画像による指示は、対象の機器に実行させる処理動作の切り替え指示にも用いることができる。例えば対象とする機器がコンピュータの場合には、編集中のファイルの保存、コピー、送信などに用いることもできる。送信の場合、画像内に例えば送信先の宛名、顔写真、アドレスなどを記載すればよい。また、対象とする機器がテレビ等の機器の場合には、表示するチャンネルや再生する番組や映画を指定することもできる。

１００…画像処理システム、１１０…コンピュータ、１１１…静止画像、１２０…写真、１５０…実空間、２０１、２０１Ａ、４４１、４４１Ａ、６００…制御部、２１１、４６１…画像受信部、２１２、４６２…画像認識部、２１３、４６３、６０１…位置検出部、２１４、２１４Ａ…掃除制御部、２１５…属性情報認識部、３０９…軌跡、３１３…囲み線、３５０…間取り図、４６４、４６４Ａ…走行制御部、５００…ＪＰＥＧファイル、５１３…タイプ１１のアプリケーションセグメント、５１３Ａ、５１３Ｂ…ワークフロー処理を規定する情報、６０２…オブジェクト検出部、６０３…属性情報生成部、７０２…ドローン

Claims (10)

1. 自機 と他の物体を被写体に含む写真を自機の撮像部又は読取部から読み取る受信手段と、
   前記受信手段で読み取った写真の被写体に自機が含まれ、当該写真に自機の動作を指示する情報の記載がある場合に、当該情報に基づいて自機の動作を制御する制御手段と
   を有する情報処理装置。
2. 前記情報は、自機の移動に関する動作を規定する、請求項１に記載の情報処理装置。
3. 前記移動に関する動作は、自機の移動の方向、経路又は範囲を規定する、請求項２に記載の情報処理装置。
4. 前記情報は、自機の動作の質を規定する、請求項１に記載の情報処理装置。
5. 前記動作の質はテキストによって与えられる、請求項４に記載の情報処理装置。
6. 前記情報は、自機の動作の実行又は非実行を規定する、請求項１に記載の情報処理装置。
7. 前記情報は図形の形式で記載されている、請求項１に記載の情報処理装置。
8. 前記情報は、自機の処理動作の切り替えを規定する、請求項１に記載の情報処理装置。
9. 前記情報は、自機で実行中の基本プログラムやアプリケーションの切り替えを規定する、請求項１に記載の情報処理装置。
10. コンピュータに、
    自機 と他の物体を被写体に含む写真を自機の撮像部又は読取部から読み取る機能と、
    前記機能で読み取った写真の被写体に自機が含まれ、当該写真に自機の動作を指示する情報の記載がある場合に、当該情報に基づいて自機の動作を制御する機能と、
    を実現させるためのプログラム。

Images