JP6201408B2 - 電子制御装置、制御方法及び制御プログラム - Google Patents

Description

本発明は、電子制御装置、制御方法及び制御プログラムに関する。

電子機器を遠隔操作するリモートコントロール機器（電子制御装置）が、特許文献１に開示されている。

特開２０１１‐２５００２７号公報

しかしながら、特許文献１に開示された電子制御装置は、電子機器を操作する都度、アプリケーションを起動する必要があり、操作性が低いという問題がある。

本発明は、前記の点に鑑みてなされたものであり、操作性が高い電子制御装置、制御方法及び制御プログラムを提供することを目的の一つとする。

本発明の一態様は、ユーザを撮像する撮像部と、前記ユーザに関する情報を認識するユーザ認識部と、電子機器に関する情報を認識する機器認識部と、前記ユーザに関する情報、及び、前記電子機器に関する情報の少なくとも一方に基づいて、前記電子機器を制御するための制御情報と、前記制御情報に対応付けられた画像の表示位置と、を定める制御部と、前記制御部により定められた前記表示位置に、前記画像を出力する出力部と、を備え、前記ユーザに関する情報は、前記ユーザの状態を示す情報を含み、前記電子機器に関する情報は、前記電子機器の状態を示す情報を含み、前記制御部は、前記ユーザの状態と前記電子機器の状態とに基づいて前記制御情報と、前記制御情報に対応する前記画像の表示内容とを定める電子制御装置である。

また、本発明の一態様は、電子制御装置における制御方法であって、ユーザを撮像する工程と、前記ユーザの状態を示す情報を含む前記ユーザに関する情報を認識する工程と、電子機器の状態を示す情報を含む前記電子機器に関する情報を認識する工程と、前記ユーザに関する情報に含まれる前記ユーザの状態を示す情報と前記電子機器に関する情報に含まれる前記電子機器の状態を示す情報とに基づいて、前記電子機器を制御するための制御情報と、前記制御情報に対応付けられた画像の表示位置と、前記画像の表示内容とを定める工程と、定められた前記表示位置に、前記画像を出力する工程と、を有する制御方法である。

また、本発明の一態様は、コンピュータに、ユーザを撮像する手順と、前記ユーザの状態を示す情報を含む前記ユーザに関する情報を認識する手順と、電子機器の状態を示す情報を含む前記電子機器に関する情報を認識する手順と、前記ユーザに関する情報に含まれる前記ユーザの状態を示す情報と前記電子機器に関する情報に含まれる前記電子機器の状態を示す情報とに基づいて、前記電子機器を制御するための制御情報と、前記制御情報に対応付けられた画像の表示位置と、前記画像の表示内容とを定める手順と、定められた前記表示位置に、前記画像を出力する手順と、を実行させるための制御プログラムである。

本発明によれば、電子制御装置、制御方法及び制御プログラムは、操作性が高い。

本発明の一実施形態における、電子制御装置の構成例を示すブロック図である。 本発明の一実施形態における、ユーザの属性情報の例を示すデータテーブルである。 本発明の一実施形態における、画像候補を定めるための情報の例を示すデータテーブルである。 本発明の一実施形態における、表示させる画像を定めるための第１の情報の例を示すデータテーブルである。 本発明の一実施形態における、表示させる画像を定めるための第２の情報の例を示すデータテーブルである。 本発明の一実施形態における、撮像照射装置の構成例を示すブロック図である。 本発明の一実施形態における、電子制御装置の第１の動作例を示す図である。 本発明の一実施形態における、電子制御装置の第２の動作例を示す図である。 本発明の一実施形態における、撮像されたアイコン画像の例を示す図である。 本発明の一実施形態における、電子制御装置の第３の動作例を示す図である。 本発明の一実施形態における、画像を表示させるための動作手順例を示すフローチャートである。

本発明の一実施形態について図面を参照して詳細に説明する。図１には、電子制御装置の構成例が、ブロック図により示されている。電子制御装置１００は、実空間における所定の位置（例えば、部屋の天井）に設置される。電子制御装置１００は、屋内又は屋外のいずれに備えられてもよい。電子制御装置１００は、第１電子機器２００及び第２電子機器３００を制御する。なお、電子制御装置１００は、さらに多くの電子機器を制御してもよい。

電子制御装置１００は、撮像部１１０と、センサ部１２０と、ユーザ認識部１３０と、機器認識部１４０と、制御部１５０と、記憶部１６０と、出力部１７０と、選択認識部１８０と、通信部１９０とを備える。

撮像部１１０は、周囲を撮像する。撮像部１１０は、例えば、可視光の波長帯に感度を有するカメラである。撮像部１１０は、撮像された画像を示す信号を、ユーザ認識部１３０、機器認識部１４０及び選択認識部１８０に出力する。以下、撮像部１１０の位置からは、第１の電子機器（以下、「第１電子機器」という。）と、第２の電子機器（以下、「第２電子機器」という。）と、ユーザとを撮像することが可能であるものとする。また、第１電子機器及び第２電子機器に共通する事項については、第１及び第２を省略して、「電子機器」と表記する。以下、第１電子機器２００は、一例として、洗濯機であるものとし、第２電子機器３００は、一例として、乾燥機であるものとする。

センサ部１２０は、周囲をセンシングし、センシング結果を示す信号を、ユーザ認識部１３０に出力する。センサ部１２０は、例えば、マイクであり、ユーザの音声等を周囲から収音してもよい。

ユーザ認識部１３０には、撮像された画像を示す信号が、撮像部１１０から入力される。また、ユーザ認識部１３０には、センシング結果を示す信号が、センサ部１２０から入力される。ユーザ認識部１３０は、撮像された画像を示す信号、及び、センシング結果を示す信号の少なくとも一方に基づいて、ユーザに関する情報を認識する。

ここで、ユーザに関する情報は、例えば、ユーザが誰であるかを識別した結果を示す情報、ユーザの位置及び状態である。また、ユーザの状態は、ユーザの行動又は姿勢であり、例えば、洗濯かごを両手に持った状態、又は、洗剤を持った状態である。ユーザ認識部１３０は、ユーザに関する情報に基づく認識結果を示す信号を、制御部１５０に出力する。

機器認識部１４０には、撮像された画像を示す信号が、撮像部１１０から入力される。また、機器認識部１４０には、通信部１９０が受信した所定の通信情報を示す信号が、通信部１９０から入力される。ここで、所定の通信情報は、例えば、電子機器の識別番号、電子機器の状態を示す情報、及び、電子機器を制御（操作）するための制御情報（操作情報）である。

機器認識部１４０は、撮像された画像を示す信号、及び、通信情報を示す信号の少なくとも一方に基づいて、電子機器に関する情報を認識する。ここで、電子機器に関する情報は、例えば、電子機器の位置及び状態である。また、電子機器の状態は、例えば、電子機器の形状、ドアが開いているか否か、又は、内部に物が入れられているか否かである。機器認識部１４０は、電子機器に関する情報に基づいて、電子機器の表面における空き空間を認識してもよい。機器認識部１４０は、電子機器に関する情報に基づく認識結果を示す信号を、制御部１５０に出力する。

記憶部１６０は、ユーザの属性情報と、出力部１７０により表示される画像の候補（以下、「画像候補」という。）を定めるための情報と、出力部１７０により表示される画像（例えば、ガイダンス画像、アイコン画像）を定めるための情報とを、予め記憶する。これらの情報は、データテーブル形式により記憶されていてもよい。記憶部１６０は、出力部１７０により表示される画像情報を、予め記憶する。なお、記憶部１６０が記憶する各種の情報は、通信部１９０及び通信回線（インターネット）等を介して、更新されてもよい。例えば、表示される画像は、選択された異なる言語により表示可能となるよう更新されてもよい。

図２には、ユーザの属性情報の例が、データテーブルにより示されている。ユーザの属性情報では、ユーザと属性とが対応付けられている。ここで、属性は、例えば、利き手、性別、年齢、及び視力である。図２では、ユーザ１０には、属性として、利き手「右利き」と、性別「男性」と、年齢「１０」と、視力「１．５」とが、対応付けられている。また、ユーザ２０には、属性として、利き手「左利き」と、性別「女性」と、年齢「３０」と、視力「０．７」とが、対応付けられている。

図３には、画像候補を定めるための情報の例が、データテーブルにより示されている。画像候補は、制御部１５０により制御対象として選択された電子機器、及び、ユーザの状態に基づいて、定められる。図３では、制御対象として選択された第１電子機器２００、及び、ユーザの第１状態（例えば、ユーザが洗濯かごを両手に持った状態）には、画像候補４００が対応付けられている。また、制御対象として選択された第１電子機器２００、及び、ユーザの第２状態（例えば、ユーザが洗剤を持った状態）には、画像候補４１０が対応付けられている。また、制御対象として選択された第１電子機器２００、及び、ユーザの第３状態（例えば、ユーザが手に何も持っていない状態）には、画像候補４４０が対応付けられている。

また、制御対象として選択された第２電子機器３００、及び、ユーザの第１状態には、画像候補４２０が対応付けられている。また、制御対象として選択された第２電子機器３００、及び、ユーザの第２状態には、画像候補４３０が対応付けられている。また、制御対象として選択された第２電子機器３００、及び、ユーザの第３状態には、画像候補４５０が対応付けられている。

なお、図３に示すデータテーブルでは、行方向及び列方向の少なくとも一方向に、同じ画像候補が並んでいてもよい。つまり、選択された電子機器、及び、ユーザの状態の少なくとも一方が定まれば、画像候補が一意に定まるように、画像候補を定めるための情報は定められていてもよい。

図４には、表示させる画像を定めるための第１の情報の例が、データテーブルにより示されている。この第１の情報は、制御対象として第１電子機器２００が選択された場合に用いられる。つまり、制御対象として第１電子機器２００が選択された場合、表示される画像は、画像候補、及び、第１電子機器２００の状態に基づいて定められることになる。

図４では、一例として、画像候補４００、及び、第１電子機器２００の第３状態（例えば、蓋が開いている状態）には、非表面用アイコン画像４０１が対応付けられている。ここで、非表面用アイコン画像とは、電子機器の表面以外の所定の位置に表示されるアイコン画像（操作キー画像）である。また、画像候補４００、及び、第１電子機器２００の第４状態（例えば、蓋が閉まっている状態）には、表面用アイコン画像４０２が対応付けられている。ここで、表面用アイコン画像とは、電子機器の表面の所定の位置に表示されるアイコン画像である。

また、画像候補４１０、及び、第１電子機器２００の第３状態には、表面用アイコン画像４１１が対応付けられている。また、画像候補４１０、及び、第１電子機器２００の第４状態には、表面用アイコン画像４１２と、表面用アイコン画像４１３とが対応付けられている。

図５には、表示させる画像を定めるための第２の情報の例が、データテーブルにより示されている。この第２の情報は、制御対象として第２電子機器３００が選択された場合に用いられる。つまり、制御対象として第２電子機器３００が選択された場合、表示される画像は、画像候補、及び、第２電子機器３００の状態に基づいて定められることになる。

図５では、一例として、画像候補４２０、及び、第２電子機器３００の第５状態（例えば、蓋が開いている状態）には、非表面用ガイダンス画像４３１が対応付けられている。ここで、非表面用ガイダンス画像とは、電子機器の表面以外の所定の位置（例えば、床面）に表示されるガイダンス画像（操作等を案内するための画像）である。ガイダンス画像は、例えば、文字列を表す画像、又は、矢印の画像でもよい。例えば、矢印のガイダンス画像は、洗剤の投入位置を示してもよい。

また、画像候補４２０、及び、第２電子機器３００の第６状態（例えば、蓋が閉まっている状態）には、表面用ガイダンス画像４３２が対応付けられている。ここで、表面用ガイダンス画像とは、電子機器の表面の所定の位置に表示されるガイダンス画像である。また、画像候補４３０、及び、第２電子機器３００の第５状態には、表面用アイコン画像４４１が対応付けられている。また、画像候補４３０、及び、第２電子機器３００の第６状態には、表面用アイコン画像４４２が対応付けられている。

なお、図４及び図５に示す各データテーブルでは、行方向及び列方向の少なくとも一方向に、同じ画像候補が並んでいてもよい。つまり、画像候補、及び、電子機器の状態の少なくとも一方が定まれば、表示される画像が一意に定まるように、表示させる画像を定めるための情報は定められていてもよい。

図１に戻り、電子制御装置の構成例の説明を続ける。制御部１５０は、ユーザに関する情報、及び、電子機器に関する情報の少なくとも一方に基づいて、電子機器を制御するための制御情報と、制御情報に対応付けられた画像の表示位置と、を定める。制御部１５０には、ユーザに関する情報に基づく認識結果を示す信号が、ユーザ認識部１３０から入力される。また、制御部１５０には、電子機器に関する情報に基づく認識結果を示す信号が、機器認識部１４０から入力される。また、制御部１５０は、ユーザの属性情報（図２を参照）を、ユーザに関する情報の一つとして、記憶部１６０から取得する。

制御部１５０は、ユーザに関する情報に基づいて位置を定める場合、その定めた位置にガイダンス画像又はアイコン画像が表示されるよう、出力部１７０を制御する。例えば、制御部１５０は、ユーザの利き手側に（図２を参照）、ガイダンス画像又はアイコン画像が表示されるよう、出力部１７０を制御する。例えば、制御部１５０は、ユーザ１０が右利きである場合（図２を参照）、ガイダンス画像又はアイコン画像がユーザ１０の右側に表示されるよう、出力部１７０を制御する。

また、例えば、制御部１５０は、ユーザが未成年である場合、ユーザの身長が高くないと予想されるので、ガイダンス画像又はアイコン画像が所定の高さよりも低い位置に表示されるよう、出力部１７０を制御する。例えば、制御部１５０は、ユーザ１０が１０歳である場合（図２を参照）、ユーザ１０の身長が高くないと予想されるので、ガイダンス画像又はアイコン画像が所定の高さよりも低い位置に表示されるよう、出力部１７０を制御する。また、この場合、制御部１５０は、平易な文章で表されたガイダンス画像が表示されるよう、そのガイダンス画像を記憶部１６０から取得し、出力部１７０を制御してもよい。

また、例えば、制御部１５０は、ユーザの視力が所定値以下である場合、所定の大きさ以上の文字で表されたガイダンス画像が表示されるよう、ガイダンス画像を記憶部１６０から取得し、出力部１７０を制御する。例えば、制御部１５０は、ユーザ２０の視力が０．７である場合（図２を参照）、所定の大きさ以上の文字で表されたガイダンス画像が表示されるよう、そのガイダンス画像を記憶部１６０から取得し、出力部１７０を制御する。

制御部１５０は、電子機器に関する情報に基づく認識結果を示す信号に基づいて、電子機器から所定の距離内にユーザが位置しているか否かを判定する。電子機器から所定の距離内にユーザが位置している場合、制御部１５０は、制御対象の電子機器として、その電子機器を選択する。制御部１５０は、選択した電子機器に関する情報に基づいて、画像を表示させる位置を定める。例えば、第２電子機器３００よりも第１電子機器２００の近くにユーザが位置している場合、制御部１５０は、制御対象として第１電子機器２００を選択し、表示させる画像を定めるための第１の情報（図４に示すテーブルデータ）に基づいて、表示させる画像を定める。

制御部１５０は、電子機器に関する情報に基づく認識結果を示す信号に基づいて、その電子機器の表面の空き空間（例えば、模様のない平面空間）の所定領域に、画像を表示させる位置を定めてもよい。なお、制御部１５０は、電子機器の表面の模様のある立体空間に、プロジェクション・マッピングにより画像を表示させるよう、出力部１７０を制御してもよい。ここで、制御部１５０は、電子機器の表面の色に対して補色の関係にある色を含む画像の光が照射されるように、出力部１７０を制御してもよい。

制御部１５０は、所定条件に基づいて、画像を表示させる位置を定める。この所定条件は、例えば、予め定められた操作手順を示す条件である。また、この操作手順を示す条件は、例えば、第１電子機器２００に関する情報に基づいて、第２電子機器３００を制御するための制御情報を定める、という操作手順を示す条件でもよい。

出力部１７０は、制御部１５０により定められた位置に、制御情報に対応付けられた画像を出力する。ここで、出力部１７０は、制御情報に対応付けられたガイダンス画像又はアイコン画像を表示させるための光を、ユーザに関する情報に基づいて定められた位置に照射する。また、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、電子機器に関する情報に基づいて定められた位置に照射してもよい。

出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、電子機器の表面に照射してもよい。ここで、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、電子機器の表面の空き空間に定められた位置に照射してもよい。

出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、所定条件（例えば、予め定められた操作手順を示す条件）に基づいて定められた位置に、照射してもよい。また、出力部１７０は、第１電子機器２００に関する情報（例えば、洗濯機が洗濯及び脱水を完了したことを示す情報）に基づいて制御部１５０により定められた、第２電子機器３００を制御するための制御情報（例えば、乾燥機の電源を入れるための制御情報）に対応付けられた画像（例えば、アイコン画像）を照射してもよい。

次に、撮像部１１０及び出力部１７０の構成例を説明する。
撮像部１１０及び出力部１７０は、撮像部１１０の光学系と、出力部１７０の光学系とを共通にした構成であってもよい。以下、光学系が一体に構成された撮像部及び出力部をまとめて、「撮像照射装置」という。

図６には、撮像照射装置の構成例がブロック図により示されている。撮像照射装置Ｃ１は、出力部１７０、入出光分離部Ｃ１３１、光学部Ｃ１３２、及び撮像部１１０を備える。出力部１７０は、光源を有し、制御部１５０からの制御に基づいて、照射する画像を表す光を生成し、生成した光を出力する。

入出光分離部Ｃ１３１は、光学部Ｃ１３２及び出力部１７０の間の光路上であって、光学部Ｃ１３２及び撮像部１１０の間の光路上に備えられる。入出光分離部Ｃ１３１は、撮像照射装置Ｃ１が外部に照射する照射光の光路と、外部から撮像照射装置Ｃ１に入射する入射光の光路とを分離する。例えば、入出光分離部Ｃ１３１は、出力部１７０から入射された光の少なくも一部を透過させ、光学部Ｃ１３２から入射された光の少なくも一部を反射させる。入出光分離部Ｃ１３１は、例えば、ハーフミラーである。

光学部Ｃ１３２は、レンズを有する。レンズは、複数枚でもよい。
撮像部１１０は、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサでもよい。

出力部１７０から出射された光は、入出光分離部Ｃ１３１を透過し、光学部Ｃ１３２を介して、所定の位置に照射される。一方、撮像照射装置Ｃ１の外部から光学部Ｃ１３２に入射した光は、入出光分離部Ｃ１３１で反射され、反射部Ｃ１４０でも反射される。さらに、反射部Ｃ１４０で反射された光は、撮像部１１０に入射し、画像を示す情報に光電変換される。

これにより、撮像照射装置Ｃ１は、照射と撮像に関して、光学部Ｃ１３２を共通にすることができる。また、撮像照射装置Ｃ１は、照射と撮像に関して、光軸を共通にすることができる。制御部１５０は、光軸が共通する構成で撮像された画像により、ユーザ及び電子機器を認識可能なので、照射された光のスポットの調整を、容易に実行することができる。また、撮像照射装置Ｃ１は、光学系を共通にするので、光学系を共通にしない場合と比較して、余分な空間が省かれた筐体内の空間を有することができる。また、撮像照射装置Ｃ１は、コストを下げることができる。また、ユーザは、光学系から光が照射されているので、撮像されていることに気づき難い場合もある。この場合、ユーザは、撮像部（カメラ）で撮影されていることを意識することなく、電子制御装置１００を利用することができる。

なお、撮像照射装置Ｃ１は、照射と撮像とで独立に、焦点を合わせてもよい。例えば、撮像照射装置Ｃ１は、光学部Ｃ１３２及び出力部１７０の間の光路上に、可動レンズを備えていてもよい。また、撮像照射装置Ｃ１は、光学部Ｃ１３２及び撮像部１１０の間の光路上に、可動レンズを備えていてもよい。また、撮像部１１０は、撮像照射装置Ｃ１において、位置が可動でもよい。これにより、撮像照射装置Ｃ１は、照射と撮像とで独立に、焦点を変えることができる。

選択認識部１８０には、撮像された画像を示す信号が、撮像部１１０から入力される。 選択認識部１８０は、制御情報に対応付けられた画像を介してユーザが選択した制御情報を、撮像されたユーザの画像に基づいて認識する。選択認識部１８０は、ユーザが選択した制御情報を示す信号を、通信部１９０に出力する。

通信部１９０には、ユーザが選択した制御情報を示す信号が、選択認識部１８０から入力される。通信部１９０は、選択認識部１８０により認識された制御情報、すなわち、ユーザが選択した制御情報を、制御対象として制御部１５０により選択された電子機器に通信する。通信部１９０は、所定の通信情報を、有線又は無線により電子機器と通信する。通信部１９０は、電子機器から受信した所定の通信情報を示す信号を、機器認識部１４０に転送する。

次に、電子制御装置の動作例を説明する。
図７には、電子制御装置の第１の動作例が示されている。図７では、ユーザ１０は、洗濯かごを両手に持っている（第１状態）。また、ユーザ１０は、第１電子機器２００からＸ１［ｍ］の位置、且つ、第２電子機器３００からＹ１［ｍ］の位置にいる。また、第１電子機器２００の蓋は、開いている。

撮像部１１０（図１を参照）は、周囲を撮像する。この撮像された画像には、ユーザ１０と、第１電子機器２００（洗濯機）と、第２電子機器（乾燥機）とが、撮像されているものとする。

ユーザ認識部１３０は、ユーザ１０を認識したことを示す信号を、制御部１５０に出力する。また、ユーザ認識部１３０は、第１電子機器２００からユーザ１０までの距離がＸ１［ｍ］であることを示す信号と、第２電子機器３００からユーザ１０までの距離がＸ１より長いＹ１［ｍ］であることを示す信号とを、制御部１５０に出力する。また、ユーザ認識部１３０は、ユーザ１０が洗濯かごを両手に持っている（図３に示す第１状態であること）を示す信号を、制御部１５０に出力する。

機器認識部１４０は、撮像された画像を示す信号に基づいて、第１電子機器２００の蓋が開いていること（図４に示す第３状態であること）を認識し、第１電子機器２００の蓋が開いていることを示す信号を、制御部１５０に出力する。また、自機器の状態を示す通信情報を第１電子機器２００が通信部１９０に送信することにより、機器認識部１４０は、通信部１９０が受信したこの通信情報を示す信号に基づいて、第１電子機器２００の蓋が開いていることを認識してもよい。

制御部１５０は、第１電子機器２００からユーザ１０までの距離がＸ１［ｍ］であることを示す信号と、第２電子機器３００からユーザ１０までの距離がＸ１より長いＹ１［ｍ］であることを示す信号とに基づいて、ユーザ１０との距離がより短い第１電子機器２００を、制御対象として選択する。なお、制御部１５０は、第１電子機器２００の次に第２電子機器３００が使われること（所定条件）を示す情報を、記憶部１６０から取得し、この情報に基づいて、第２電子機器３００を制御対象とする前に、第１電子機器２００を制御対象として選択してもよい。

制御部１５０は、画像候補を定めるための情報（図３を参照）を、記憶部１６０から取得する。制御部１５０は、制御対象として選択した第１電子機器２００と、ユーザが第１状態であることとに基づいて、画像候補として画像候補４００を定める。制御部１５０は、第１電子機器２００を制御対象として選択したことに基づいて、表示させる画像を定めるための第１の情報（図４を参照）を、記憶部１６０から取得する。制御部１５０は、画像候補として定めた画像候補４００と、第１電子機器２００が第３状態であることとに基づいて、表示させる画像として非表面用アイコン画像４０１を定める。

表示させる画像として定めた非表面用アイコン画像４０１は、第１電子機器２００の表面に表示させるための画像でない。このため、制御部１５０は、例えば、非表面用アイコン画像４０１がユーザ１０の足元の床面に表示されるように、出力部１７０を制御する。ここで、制御部１５０は、ユーザの属性情報（図２を参照）を参照し、ユーザ１０の属性情報を取得する。制御部１５０は、ユーザ１０が右利きであるため、ユーザ１０の足元の右側に、非表面用アイコン画像４０１を表示させるようにしてもよい。

出力部１７０は、非表面用アイコン画像４０１を表示させるための光を、ユーザ１０の足元の床面に照射する。ユーザ１０は、非表面用アイコン画像４０１が表示されている床面を足で触れることで、非表面用アイコン画像４０１に対応付けられた制御情報を選択する。撮像部１１０は、ユーザ１０が非表面用アイコン画像４０１を足で触れている状態を撮像したとする。選択認識部１８０は、非表面用アイコン画像４０１に対応付けられた制御情報を示す信号を、通信部１９０に出力する。通信部１９０は、非表面用アイコン画像４０１に対応付けられた制御情報を、第１電子機器２００に送信する。第１電子機器２００は、非表面用アイコン画像４０１に対応付けられた制御情報を受信し、受信した制御情報に基づいて動作する。

図８には、電子制御装置の第２の動作例が示されている。この第２の動作例は、第１の動作例（図７を参照）に続けて実行されてもよい。図８では、ユーザ１０は、洗剤を持っている（第２状態）。また、ユーザ１０は、第１電子機器２００からＸ２［ｍ］の位置、且つ、第２電子機器３００からＹ２［ｍ］の位置にいる。また、第１電子機器２００の蓋は、閉まっている。

撮像部１１０（図１を参照）は、周囲を撮像する。この撮像された画像には、ユーザ１０と、第１電子機器２００（洗濯機）と、第２電子機器（乾燥機）とが、撮像されているものとする。

ユーザ認識部１３０は、ユーザ１０を認識したことを示す信号を、制御部１５０に出力する。また、ユーザ認識部１３０は、第１電子機器２００からユーザ１０までの距離がＸ２［ｍ］であることを示す信号と、第２電子機器３００からユーザ１０までの距離がＸ２より長いＹ２［ｍ］であることを示す信号とを、制御部１５０に出力する。また、ユーザ認識部１３０は、ユーザ１０が洗剤を持っている（図３に示す第２状態であること）を示す信号を、制御部１５０に出力する。

機器認識部１４０は、撮像された画像を示す信号に基づいて、第１電子機器２００の蓋が閉まっていること（図４に示す第４状態であること）を認識し、第１電子機器２００の蓋が閉まっていることを示す信号を、制御部１５０に出力する。また、自機器の状態を示す通信情報を第１電子機器２００が通信部１９０に送信することにより、機器認識部１４０は、通信部１９０が受信したこの通信情報を示す信号に基づいて、第１電子機器２００の蓋が閉まっていることを認識してもよい。

制御部１５０は、第１電子機器２００からユーザ１０までの距離がＸ２［ｍ］であることを示す信号と、第２電子機器３００からユーザ１０までの距離がＸ２より長いＹ２［ｍ］であることを示す信号とに基づいて、ユーザ１０との距離がより短い第１電子機器２００を、制御対象として選択する。なお、制御部１５０は、第１電子機器２００の次に第２電子機器３００が使われること（所定条件）を示す情報を、記憶部１６０から取得し、この情報に基づいて、第２電子機器３００を制御対象とする前に、第１電子機器２００を制御対象として選択してもよい。

制御部１５０は、画像候補を定めるための情報（図３を参照）を、記憶部１６０から取得する。制御部１５０は、制御対象として選択した第１電子機器２００と、ユーザが第２状態であることとに基づいて、画像候補として画像候補４１０を定める。制御部１５０は、第１電子機器２００を制御対象として選択したことに基づいて、表示させる画像を定めるための第１の情報（図４を参照）を、記憶部１６０から取得する。制御部１５０は、画像候補として定めた画像候補４１０と、第１電子機器２００が第４状態であることとに基づいて、表示させる画像として、表面用アイコン画像４１２及び４１３を定める。

表示させる画像として定めた表面用アイコン画像４１２及び４１３は、第１電子機器２００の表面に表示させるための画像である。このため、制御部１５０は、表面用アイコン画像４１２及び４１３が第１電子機器２００の表面に表示されるように、出力部１７０を制御する。ここで、制御部１５０は、ユーザの属性情報（図２を参照）を参照し、ユーザ１０の属性情報を取得する。制御部１５０は、ユーザ１０が右利きであるため、第１電子機器２００の表面における、ユーザ１０にとって右側に、表面用アイコン画像４１２及び４１３を表示させるようにしてもよい。

出力部１７０は、表面用アイコン画像４１２及び４１３を表示させるための光を、第１電子機器２００の表面に照射する。ユーザ１０は、表面用アイコン画像４１２が表示されている表面、又は、表面用アイコン画像４１３が表示されている表面に対して、所定の選択動作をすることで、その所定の選択動作の対象となった表面用アイコン画像４１２又は４１３に対応付けられた制御情報を選択する。撮像部１１０は、ユーザ１０が表面用アイコン画像４１３を手で触れている状態を撮像したとする。選択認識部１８０は、表面用アイコン画像４１３に対応付けられた制御情報を示す信号を、通信部１９０に出力する。通信部１９０は、表面用アイコン画像４１３に対応付けられた制御情報を、第１電子機器２００に送信する。第１電子機器２００は、表面用アイコン画像４１３に対応付けられた制御情報を受信し、受信した制御情報に基づいて動作する。

図９には、撮像されたアイコン画像の例が示されている。選択認識部１８０は、制御情報に対応付けられた画像を介してユーザが選択した制御情報を、撮像されたユーザの画像に基づいて認識する。図９では、選択認識部１８０は、表面用アイコン画像４１３を介してユーザ１０が選択した制御情報を、撮像されたユーザ１０の画像に基づいて認識する。

図９では、ユーザ１０は、表面用アイコン画像４１３を介して制御情報を選択するために、表面用アイコン画像４１３が表示されている表面に対して、所定の選択動作をしたとする。ここで、所定の選択動作とは、例えば、アイコン画像が表示されている位置を触れているように、電子制御装置１００に対して見せる動作をユーザがとることで、そのアイコン画像に対応付けられた制御情報をユーザが選択する動作である。例えば、ユーザは、撮像部１１０が撮像した画像において、ユーザの手の見かけ上の大きさを所定量以上に変化させることで、アイコン画像が表示されている位置にユーザの手が触れているように見せてもよい。選択認識部１８０は、このような選択動作の対象となったアイコン画像に基づいて、そのアイコン画像に対応付けられた制御情報、つまり、ユーザが選択した制御情報を認識してもよい。

図１０には、電子制御装置の第３の動作例が示されている。この第３の動作例は、第２の動作例（図８を参照）に続けて実行されてもよい。図１０では、ユーザ１０は、手に何も持っていない（第３状態）。また、第２電子機器３００の蓋は、閉まっている。撮像部１１０（図１を参照）は、周囲を撮像する。この撮像された画像には、ユーザ１０と、第１電子機器２００（洗濯機）と、第２電子機器（乾燥機）とが、撮像されているものとする。

ユーザ認識部１３０は、ユーザ１０を認識したことを示す信号を、制御部１５０に出力する。また、ユーザ認識部１３０は、第１電子機器２００からユーザ１０までの距離がＸ３［ｍ］であることを示す信号と、第２電子機器３００からユーザ１０までの距離がＸ３より短いＹ３［ｍ］であることを示す信号とを、制御部１５０に出力する。また、ユーザ認識部１３０は、ユーザ１０が手に何も持っていない（図３に示す第３状態であること）を示す信号を、制御部１５０に出力する。

機器認識部１４０は、撮像された画像を示す信号に基づいて、第２電子機器３００の蓋が閉まっていること（図５に示す第６状態であること）を認識し、第２電子機器３００の蓋が閉まっていることを示す信号を、制御部１５０に出力する。また、自機器の状態を示す通信情報を第２電子機器３００が通信部１９０に送信することにより、機器認識部１４０は、通信部１９０が受信したこの通信情報を示す信号に基づいて、第２電子機器３００の蓋が閉まっていることを認識してもよい。

制御部１５０は、第１電子機器２００の次に第２電子機器３００が使われること（所定条件）を示す情報を、記憶部１６０から取得するともに、第１電子機器２００の動作が完了したことを示す情報を、通信部１９０を介して第１電子機器２００から取得する。そして、これらの情報に基づいて、第１電子機器２００を制御対象とした次に、第２電子機器３００を制御対象として選択する。なお、制御部１５０は、この所定条件に加えて、電子機器からユーザ１０までの距離に関する条件を組み合わせて、制御対象の電子機器を選択してもよい。例えば、第１電子機器２００からユーザ１０までの距離が、第２電子機器３００からユーザ１０までの距離よりも短く、それらの距離の差が予め定められた値よりも大きい場合、制御部１５０は、たとえ、第１電子機器２００の動作が完了していても、距離に関する条件を優先させて、第１電子機器２００を制御対象として選択する。

制御部１５０は、画像候補を定めるための情報（図３を参照）を、記憶部１６０から取得する。制御部１５０は、制御対象として選択した第２電子機器３００と、ユーザが第３状態であることとに基づいて、画像候補として画像候補４５０を定める。制御部１５０は、第２電子機器３００を制御対象として選択したことに基づいて、表示させる画像を定めるための第２の情報（図５を参照）を、記憶部１６０から取得する。制御部１５０は、画像候補として定めた画像候補４５０と、第２電子機器３００が第６状態であることとに基づいて、表示させる画像として、表面用アイコン画像４４２を定める。

表示させる画像として定めた表面用アイコン画像４４２は、第２電子機器３００の表面に表示させるための画像である。このため、制御部１５０は、表面用アイコン画像４４２が第２電子機器３００の表面に表示されるように、出力部１７０を制御する。ここで、制御部１５０は、ユーザの属性情報（図２を参照）を参照し、ユーザ１０の属性情報を取得する。制御部１５０は、ユーザ１０が右利きであるため、第２電子機器３００の表面における、ユーザにとっての右側に、表面用アイコン画像４４２を表示させるようにしてもよい。

出力部１７０は、表面用アイコン画像４４２を表示させるための光を、第２電子機器３００の表面に照射する。ユーザ１０は、表面用アイコン画像４４２が表示されている表面に対して、所定の選択動作をすることで、その所定の選択動作の対象となった表面用アイコン画像４４２に対応付けられた制御情報を選択する。撮像部１１０は、ユーザ１０が表面用アイコン画像４４２を手で触れている状態を撮像したとする。選択認識部１８０は、表面用アイコン画像４４２に対応付けられた制御情報を示す信号を、通信部１９０に出力する。通信部１９０は、表面用アイコン画像４４２に対応付けられた制御情報を、第２電子機器３００に送信する。第２電子機器３００は、表面用アイコン画像４４２に対応付けられた制御情報を受信し、受信した制御情報に基づいて動作する。

次に、画像を表示させるための動作手順例を説明する。
図１１は、画像を表示させるための動作手順例を示すフローチャートである。
（ステップＳ１）ユーザ認識部１３０は、撮像された画像を示す信号、及び、センシング結果を示す信号の少なくとも一方に基づいて、ユーザの位置及び状態を認識する。
（ステップＳ２）制御部１５０は、ユーザの属性情報（図２を参照）を、記憶部１６０から取得する。
（ステップＳ３）制御部１５０は、ユーザの位置、又は、予め定められた条件に基づいて、電子機器を選択する。例えば、制御部１５０は、ユーザからより近い電子機器を、制御対象として選択する。

（ステップＳ４）機器認識部１４０は、制御部１５０により選択された電子機器の状態を認識する。
（ステップＳ５）制御部１５０は、ユーザの状態、及び、選択された電子機器（図３を参照）に基づいて、表示させる画像の候補を選択する。ここで、画像情報は、記憶部１６０に記憶されていてもよい。
（ステップＳ６）制御部１５０は、選択された電子機器の状態に基づいて、画像の候補から画像を選択する（図４又は図５を参照）。

（ステップＳ７）制御部１５０は、選択された画像が表面用であるか否かを判定する。選択された画像が表面用である場合（ステップＳ７：Ｙｅｓ）、制御部１５０は、ステップＳ８に処理を進める。一方、選択された画像が表面用でない場合（ステップＳ７：Ｎｏ）、制御部１５０は、ステップＳ９に処理を進める。

（ステップＳ８）制御部１５０は、選択された画像を表示させるための光を、選択された電子機器の表面の空き空間に、ユーザの属性に基づいて照射するよう（例えば、ユーザが右利きである場合、ユーザにとって右側に照射するよう）、出力部１７０を制御する。
（ステップＳ９）制御部１５０は、選択された画像を表示させるための光を、所定位置に、ユーザの属性に基づいて照射するよう、出力部１７０を制御する。

表示されたガイダンス画像は、ユーザに操作を案内する。また、表示されたアイコン画像は、ユーザによる操作により選択される。選択認識部１８０は、ユーザにより選択された画像に対応付けられた制御情報を、制御部１５０により選択された電子機器に対し、通信部１９０を介して送信する。

以上のように、電子制御装置１００は、ユーザを撮像する撮像部１１０と、ユーザに関する情報（例えば、ユーザの位置、ユーザの状態）を認識するユーザ認識部１３０と、電子機器に関する情報（例えば、電子機器の位置、状態（動作状況等）、及び機能）を認識する機器認識部１４０と、ユーザに関する情報、及び、電子機器に関する情報の少なくとも一方に基づいて、電子機器を制御するための制御情報と、制御情報に対応付けられた画像の表示位置と、を定める制御部１５０と、制御部１５０により定められた表示位置に、制御情報に対応付けられた画像（例えば、アイコン画像、ガイダンス画像）を出力する出力部１７０と、を備える。

また、制御方法は、電子制御装置１００における制御方法であって、ユーザを撮像する工程と、ユーザに関する情報を認識する工程と、電子機器に関する情報を認識する工程と、ユーザに関する情報、及び、電子機器に関する情報の少なくとも一方に基づいて、電子機器を制御するための制御情報と、制御情報に対応付けられた画像の表示位置と、を定める工程と、制御部により定められた表示位置に、画像を出力する工程と、を有する。

また、制御プログラムは、コンピュータに、ユーザを撮像する手順と、ユーザに関する情報を認識する手順と、電子機器に関する情報を認識する手順と、ユーザに関する情報、及び、電子機器に関する情報の少なくとも一方に基づいて、電子機器を制御するための制御情報を定める手順と、ユーザに関する情報、及び、電子機器に関する情報の少なくとも一方に基づいて、位置を定める手順と、定められた位置に、制御情報に対応付けられた画像を出力する手順と、を実行させる。

この構成により、制御部１５０は、ユーザに関する情報、及び、電子機器に関する情報の少なくとも一方に基づいて、電子機器を制御するための制御情報と、制御情報に対応付けられた画像の表示位置と、を定める。出力部１７０は、制御部１５０により定められた表示位置に、制御情報に対応付けられた画像を出力する。これにより、電子制御装置１００、制御方法及び制御プログラムは、操作性が高い。

つまり、電子制御装置１００、制御方法及び制御プログラムは、電子機器を操作する都度、アプリケーションを起動する必要がなく、操作性が高い。また、電子制御装置１００、制御方法及び制御プログラムは、表示可能な範囲内であれば表示領域の大きさが制限されないので、表示部に表示された画像のページを送るなどの操作が不要であり、操作性が高い。また、電子制御装置１００、制御方法及び制御プログラムは、ガイダンス画像（操作等を案内するための画像）を電子機器に直接表示することができるので、ユーザにとって分かり易く表示することができる。また、電子制御装置１００、制御方法及び制御プログラムは、制御情報を選択するための画像、すなわち、電子機器を操作するためのアイコン画像（操作キー画像）を、必要に応じて、適切な位置及び大きさで、所定の位置に選択可能に表示させる。これにより、電子制御装置１００、制御方法及び制御プログラムは、操作性及び利便性が高い。また、ユーザは、電子機器を直感的に操作することができる。

また、制御部１５０は、ユーザに関する情報に基づいて表示位置（例えば、ユーザの近くの電子機器の表面における位置、ユーザの近くの床面における位置）を定め、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、表示位置に照射（投射）してもよい。
つまり、出力部１７０は、電子機器の動作状況（機能的な状況、物理的な状況）に関連する行動をユーザがとる際、制御情報に対応付けられた画像（アイコン画像又はガイダンス画像）を、そのユーザの周囲に表示させてもよい。
これにより、出力部１７０は、ユーザが、電子機器の動作状況に関連する予め定められた行動をとる際に、必要に応じて、制御情報に対応付けられた画像を表示させることができる。制御部１５０は、制御情報に対応付けられた画像を表示させる位置を、ユーザの位置、行動及び状態に応じて定めることができる。例えば、出力部１７０は、ユーザが洗濯かごを両手で持っている場合、制御情報に対応付けられた画像を、床面に表示させることができる。また、例えば、出力部１７０は、ユーザが右利きの場合、制御情報に対応付けられた画像を、ユーザの右側に表示させることができる。

また、制御部１５０は、電子機器から所定の距離内にユーザが位置している場合、電子機器に関する情報に基づいて表示位置を定め、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、電子機器に関する情報に基づいて定められた表示位置に、照射してもよい。
つまり、出力部１７０は、ユーザが電子機器の近くに位置する場合、制御情報に対応付けられた画像を、そのユーザの周囲に表示させてもよい。例えば、近づいて使用する電子機器（例えば、洗濯機、乾燥機、冷蔵庫又は電子レンジ）をユーザが操作する場合、当該電子機器にユーザが近づいたことをユーザ認識部１３０が認識した際に、出力部１７０は、制御情報に対応付けられた画像を表示させることができる。

また、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、電子機器の表面に照射してもよい。
また、機器認識部１４０は、撮像部１１０により撮像された画像に基づいて、電子機器に関する情報を取得してもよい。また、機器認識部１４０は、通信部１９０による通信に基づいて、電子機器に関する情報を取得してもよい。機器認識部１４０は、センサ部１２０がセンシングした結果に基づいて、電子機器に関する情報を取得してもよい。

また、機器認識部１４０は、電子機器の表面の形状を認識し、その表面の空き空間（例えば、画像を表示させるのに適した平面空間）の位置に、制御情報に対応付けられた画像を表示させてもよい。これにより、出力部１７０は、制御情報に対応付けられた画像を電子機器の表面に表示させることで、どの電子機器を操作しているのかを、ユーザに明確に判らせることができる。また、出力部１７０は、アイコン画像及びガイダンス画像を空き空間に表示させるので、アイコン画像及びガイダンス画像の視認性と操作性とを向上させることができる。

また、機器認識部１４０は、電子機器に関する情報に基づいて、電子機器の表面における空き空間を認識し、制御部１５０は、空き空間の所定領域に表示位置を定め、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、空き空間の所定領域に定められた表示位置に照射してもよい。
つまり、出力部１７０は、制御情報に対応付けられた画像を、空き空間のほぼ全てを占めるような大きさで、表示させてもよい。出力部１７０は、制御情報に対応付けられた画像を可能な限り大きく表示させるので、ユーザは当該画像を見やすく、電子機器を操作しやすい。

また、制御部１５０は、予め定められた操作手順に基づいて表示位置を定め、出力部１７０は、制御情報に対応付けられた画像を表示させるための光を、予め定められた操作手順に基づいて定められた表示位置に照射してもよい。また、出力部１７０は、電子機器の動作状況に応じて、ユーザが次に操作すべきアイコン画像（操作キー）の位置、及び、操作内容を案内するためのガイダンス画像のうち、少なくとも一方を、電子機器の表面における、操作すべき実際の位置に重畳して表示させてもよい。
電子機器の表面にガイダンス画像を、出力部１７０が表示させるので、これにより、制御部１５０は、電子機器の操作手順及び操作内容を、ユーザに直感的に理解させることができる。例えば、洗濯機の蓋が開いている状態、且つ、その洗濯機にユーザが近づいた場合、出力部１７０は、洗剤の投入位置を表す画像、及び、洗剤の量を表す画像のうち、少なくとも一方を、洗剤の実際の投入位置に重畳して表示させる。ガイダンス画像は、洗剤の実際の投入位置の近傍で読みやすい所定位置に表示されてもよい。また、出力部１７０は、洗剤の投入位置を表す画像、及び、洗剤の量を表す画像のうち少なくとも一方を、例えば、ハイライト、輪郭強調、又は矢印により表示させてもよい。通信部１９０は、洗濯物の量を示す情報を、洗濯機から通信により取得してもよい。

また、制御部１５０は、電子機器が複数である場合、第１の電子機器に関する情報に基づいて、第２の電子機器を制御するための制御情報を定め、出力部１７０は、制御部１５０により定められた第２の電子機器を制御するための制御情報に対応付けられた画像を出力してもよい。
つまり、機器認識部１４０は、複数の電子機器（例えば、洗濯機及び乾燥機）の動作状況を認識し、これら複数の電子機器の一方の動作（例えば、洗濯及び脱水の完了）に関連した他方の動作（例えば、乾燥の開始）を制御するための制御情報に対応付けられた画像を、表示させてもよい。複数の電子機器を連動させることで、電子制御装置１００は、より利便性を向上させることができる。

また、制御情報に対応付けられた画像は、電子機器（第１電子機器２００、第２電子機器３００）の操作を示す画像でもよい。

また、電子制御装置１００は、制御情報に対応付けられた画像を介してユーザが選択した制御情報を、撮像されたユーザの画像に基づいて認識する選択認識部１８０と、選択認識部１８０により認識された制御情報を、電子機器（第１電子機器２００、第２電子機器３００）に通信する通信部１９０と、をさらに備えてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、電子機器が電子レンジである場合、制御対象として選択された電子レンジ、及び、ユーザの状態（例えば、ユーザが皿を持った状態）には、画像候補が対応付けられてもよい。出力部１７０は、加熱時間を案内するためのガイダンス画像を、電子レンジの表面に表示させてもよい。

また、例えば、電子機器は、産業用の製造装置でもよい。例えば、産業用の大型の製造装置を駆動させるためにユーザが移動する必要がある場合、電子制御装置１００は、ユーザの位置及び状態と、製造装置の状態とに基づいて、画像を表示させてもよい。また、例えば、産業用の複数の製造装置が連動する製造ラインを駆動させるためにユーザが移動する必要がある場合、電子制御装置１００は、ユーザの位置及び状態と、複数の製造装置の状態とに基づいて、画像を表示させてもよい。

なお、上記に説明した電子制御装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１０…ユーザ、１００…電子制御装置、１１０…撮像部、１２０…センサ部、１３０…ユーザ、認識部、１４０…機器認識部、１５０…制御部、１６０…記憶部、１７０…出力部、１８０…選択認識部、１９０…通信部、２００…第１電子機器、３００…第２電子機器、Ｃ１…撮像照射装置、Ｃ１３１…入出光分離部、Ｃ１３２…光学部、Ｃ１４０…反射部

Claims (11)

1. ユーザを撮像する撮像部と、
   前記ユーザに関する情報を認識するユーザ認識部と、
   電子機器に関する情報を認識する機器認識部と、
   前記ユーザに関する情報、及び、前記電子機器に関する情報の少なくとも一方に基づいて、前記電子機器を制御するための制御情報と、前記制御情報に対応付けられた画像の表示位置と、を定める制御部と、
   前記制御部により定められた前記表示位置に、前記画像を出力する出力部と、
   を備え、
   前記ユーザに関する情報は、前記ユーザの状態を示す情報を含み、
   前記電子機器に関する情報は、前記電子機器の状態を示す情報を含み、
   前記制御部は、前記ユーザの状態と前記電子機器の状態とに基づいて前記制御情報と、前記制御情報に対応する前記画像の表示内容とを定める
   電子制御装置。
2. 前記制御部は、前記ユーザに関する情報に基づいて前記表示位置を定め、
   前記出力部は、前記制御情報に対応付けられた画像を表示させるための光を、前記表示位置に照射する請求項１に記載の電子制御装置。
3. 前記制御部は、前記電子機器から所定の距離内に前記ユーザが位置している場合、前記電子機器に関する情報に基づいて前記表示位置を定め、
   前記出力部は、前記制御情報に対応付けられた画像を表示させるための光を、前記表示位置に照射する請求項１又は請求項２に記載の電子制御装置。
4. 前記出力部は、前記制御情報に対応付けられた画像を表示させるための光を、前記電子機器の表面に照射する請求項３に記載の電子制御装置。
5. 前記機器認識部は、前記電子機器に関する情報に基づいて、前記電子機器の表面における空き空間を認識し、
   前記制御部は、前記空き空間の所定領域に前記表示位置を定め、
   前記出力部は、前記制御情報に対応付けられた画像を表示させるための光を、前記表示位置に照射する請求項４に記載の電子制御装置。
6. 前記制御部は、予め定められた操作手順に基づいて前記表示位置を定め、
   前記出力部は、前記制御情報に対応付けられた画像を表示させるための光を、前記表示位置に照射する請求項３から請求項５のいずれか一項に記載の電子制御装置。
7. 前記制御部は、前記電子機器が複数である場合、第１の前記電子機器に関する情報に基づいて、第２の前記電子機器を制御するための制御情報を定め、
   前記出力部は、前記制御部により定められた第２の前記電子機器を制御するための制御情報に対応付けられた画像を出力する請求項１から請求項６のいずれか一項に記載の電子制御装置。
8. 前記制御情報に対応付けられた画像は、前記電子機器の操作を示す画像である請求項１から請求項７のいずれか一項に記載の電子制御装置。
9. 前記制御情報に対応付けられた画像を介して前記ユーザが選択した前記制御情報を、撮像された前記ユーザの画像に基づいて認識する選択認識部と、
   前記選択認識部により認識された前記制御情報を、前記電子機器に通信する通信部と、
   をさらに備える請求項１から請求項８のいずれか一項に記載の電子制御装置。
10. 電子制御装置における制御方法であって、
    ユーザを撮像する工程と、
    前記ユーザの状態を示す情報を含む前記ユーザに関する情報を認識する工程と、
    電子機器の状態を示す情報を含む前記電子機器に関する情報を認識する工程と、
    前記ユーザに関する情報に含まれる前記ユーザの状態を示す情報と前記電子機器に関する情報に含まれる前記電子機器の状態を示す情報とに基づいて、前記電子機器を制御するための制御情報と、前記制御情報に対応付けられた画像の表示位置と、前記画像の表示内容とを定める工程と、
    定められた前記表示位置に、前記画像を出力する工程と、
    を有する制御方法。
11. コンピュータに、
    ユーザを撮像する手順と、
    前記ユーザの状態を示す情報を含む前記ユーザに関する情報を認識する手順と、
    電子機器の状態を示す情報を含む前記電子機器に関する情報を認識する手順と、
    前記ユーザに関する情報に含まれる前記ユーザの状態を示す情報と前記電子機器に関する情報に含まれる前記電子機器の状態を示す情報とに基づいて、前記電子機器を制御するための制御情報と、前記制御情報に対応付けられた画像の表示位置と、前記画像の表示内容とを定める手順と、
    定められた前記表示位置に、前記画像を出力する手順と、
    を実行させるための制御プログラム。

Images