JP5734810B2 - 機器制御装置、その方法、及び、そのプログラム - Google Patents

Description

本実施形態は、機器制御装置、その方法、及び、そのプログラムに関するものである。

エアコン、テレビ、照明器具などの家電機器やその他の機器（以下、「制御対象機器」という）を遠隔制御するための機器制御装置としてマルチリモコンが普及している。しかし、従来のマルチリモコンでは、機器一覧の中から制御する制御対象機器をユーザが選択する必要があり、ユーザの負担が大きかった。

そのため、制御対象機器から発信されるビーコンの情報などを用いて、ユーザが制御したい制御対象機器の特定を行っているマルチリモコンがある。

特開２０１１−６１２４７号公報

しかし、上記マルチリモコンに関して、制御対象機器からのビーコンの精度では、制御対象機器と、その近くにある機器との区別ができないという問題点があった。

そこで本実施形態は、上記問題点に鑑み、ユーザが制御対象機器を簡単に制御でき、その負担を軽減できる機器制御装置、その方法、及び、そのプログラムを提供することを目的とする。

本実施形態は、制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得部と、（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、を有し、前記認識部が、（１）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から前記類似度を算出し、（２）前記類似度が類似することを示す場合であっても、前記制御対象機器とは異なる前記登録機器を誤認識した場合に、前記登録部は、（１）誤認識した前記画像特徴量を前記登録機器に対応づけて登録し、（２）新たな前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から新たな前記類似度を算出する場合に、前記誤認識した前記画像特徴量を前記認識部に出力しない、機器制御装置である。

実施形態１に係る機器制御装置のブロック図。 機器制御装置の第１のフローチャート。 機器制御装置の第２のフローチャート。 機器制御装置の画像特徴量の抽出方法を示す第１の図。 機器制御装置の画像特徴量の抽出方法を示す第２の図。 制御対象機器を登録モードにおける説明図。 制御対象機器を制御モードにおける説明図。 制御対象機器の選択方法を示す説明図。 実施形態２に係る情報表示メニューを示す図。 機器制御装置のフローチャート。

一実施形態の機器制御装置１０について図面に基づいて説明する。

実施形態１

実施形態１の機器制御装置１０について図１から図８に基づいて説明する。

機器制御装置１０は、制御対象機器１００の登録モードと制御モードの２つのモードを有する。「登録モード」とは、機器の画像を撮像して、この機器を制御対象機器１０として登録するモードである。また、「制御モード」とは、画像に写っている制御対象機器１００に関する制御情報を予め登録した情報から呼び出し、この制御情報に基づいて制御対象機器１００を制御するモードである。なお、図中では、制御対象機器１００としてはエアコンで説明する。

機器制御装置１０の構成について図１に基づいて説明する。図１は機器制御装置１０を示すブロック図である。

機器制御装置１０は、撮像部１２、操作部１４、表示部１６、認識部１８、選択部２０、制御部２２、登録部２４を有する。機器制御装置１０は、例えば、ユーザに対して動画像を提示する液晶パネルなどの表示部１６、この表示部１６に設けられたタッチパネルである操作部１４、動画像を撮像する撮像部１２とを、一つの板状のケースに搭載した携帯型端末（例えば、タブレット型携帯端末、スマートフォンなどである）の形態を有している。

撮像部１２は、イメージセンサなどの撮像素子を用いて、時系列の画像（動画像）を撮像する。

操作部１４は、制御対象機器１００の制御時や登録時に、ユーザの入力を処理する。操作部１４は、例えば、上記したように表示部１６に設けられたタッチパネルである。

表示部１６は、液晶パネルなどより構成され、撮像部１２で撮像した画像、制御対象機器１００の登録時や制御時に必要な制御情報、制御対象機器１００の認識状況などを表示する。

認識部１８は、制御モードにおいて、撮像部１２で撮像された画像中に存在するテレビ、エアコン、照明器具などの制御対象機器１００を認識する。認識部１８が、画像中に制御対象機器１００が存在するか存在しないかを認識するには、画像の画像特徴量を抽出し、抽出した画像特徴量と、登録部２５に予め登録されている機器（以下、「登録機器」という）の画像特徴量との類似度を算出し、この類似度が閾値以上か否かで認識する。画像特徴量を抽出する方法としては、例えば、ＨｏＧ特徴量、ＳＩＦＴ特徴量などのように画素間の輝度差から画像特徴量を抽出する方法がある。

しかし、他の抽出方法としては、図３に示すように、画像の一定領域中の輝度の合計を算出し、領域間の輝度差から画像特徴量を抽出する方法である。この抽出方法であると、画素間の輝度差から画像特徴量を抽出する方法に比べて、制御対象機器１００の見え方の変化にロバストになる。領域間の輝度差から画像特徴量を抽出するには、例えば次の方法で抽出する。

第１の処理として、認識部１８は、図４に示すように、画像中のサンプリング点Ｐの周辺から複数の領域Ａ〜Ｈを選択し、各領域Ａ〜Ｈの輝度の合計を得る。サンプリング点Ｐは、図５に示すように、グリッドサンプリングを用いてもよいし、ＤｏＧ（Difference of Gaussian）の極値を用いてもよい。領域は矩形であって、例えば、サンプリング点Ｐの上領域Ａ、下領域Ｂ、左領域Ｃ、右領域Ｄ、左上領域Ｅ、右上領域Ｆ、左下領域Ｇ、左下領域Ｈを選択する。なお、この領域は、機器本体だけでなく、機器の背景の部分にも設定してもよい。

第２の処理として、認識部１８は、各領域Ａ〜Ｈの輝度の合計の重み付き和から、サンプリング点Ｐの輝度差を得る。各領域Ａ〜Ｈの輝度の合計の重みは、ｙ方向の輝度差を求める場合は、例えば、サンプリング点Ｐの上領域Ａを２、下領域Ｂを−２、左領域Ｃを０、右領域Ｄを０、左上領域Ｅを１、右上領域Ｆを１、左下領域Ｇを−１、右下領域Ｈを−１とする。ｘ方向の輝度差を求める場合は、サンプリング点Ｐの上領域Ａを０、下領域Ｂを０、左領域Ｃを２、右領域Ｄを−２、左上領域Ｅを１、右上領域Ｆを−１、左下領域Ｇを１、右下領域Ｈを−１とする。

第３の処理として、認識部１８は、サンプリング点Ｐの輝度差から、サンプリング点Ｐの輝度方向を判定する。サンプリング点Ｐの輝度方向は、上下左右の４方向、斜め４方向を加えた８方向、又は、方向無し（輝度差なし）を加えた５方向（９方向）でもよい。サンプリング点Ｐの輝度方向の判定は、例えば次の判定方法がある。

第１の判定方法は、ｘ方向の輝度差やｙ方向の輝度差と０との大小から判定する方法である。

第２の判定方法は、ｘ方向の輝度差とｙ方向の輝度差との大小から判定する方法である。

第３の判定方法は、ｘ方向の輝度差やｙ方向の輝度差の絶対値の大きさで判定する方法である。

第４の判定方法は、ｘ方向の輝度差とｙ方向の輝度差から求めた輝度の角度から判定する方法である。

第５の判定方法は、第１〜第４の判定方法を組み合わせて判定する方法である。

第４の処理として、認識部１８は、サンプリング点Ｐの輝度差方向のヒストグラムを一つ以上作成する。ヒストグラムは次の方法で作成する。

第１の作成方法は、全てのサンプリング点Ｐから輝度方向のヒストグラムを一つ作成する。

第２の作成方法は、画像を一定領域毎に分割し、各領域内のサンプリング点Ｐから輝度方向のヒストグラムを作成することで、複数個のヒストグラムを作成する。

第５の処理として、認識部１８は、作成したヒストグラムを画像特徴量として抽出する。

認識部１８は、抽出した画像特徴量と登録部２４に登録されている登録機器の画像特徴量との類似度を、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、正規化相互相関などを用いて算出する。なお、この類似度は抽出した画像特徴量と登録機器の画像特徴量とが類似するほどに高い値となる。

認識部１８は、制御対象機器１００の認識状況をユーザに分かりやすく提示するために、制御対象機器１００を認識しているときは、図７（ａ）に示すように表示部１６の画像上であって認識された制御対象機器１００上に認識マークであるアイコン１０２を表示する。

また、認識部１８は、登録モードにおいて、登録したい機器を撮像部１２で撮像した後、この画像から機器の画像特徴量を上記と同様の方法で抽出する。

選択部２０は、登録モードにおいて、撮像した機器を登録機器として登録部２４に登録するときに、撮像した機器の種類を選択する。登録機器の種類とは、登録機器の識別情報であり、テレビ、エアコンなどの家電機器の型番、又は、製造番号である。

ユーザは、撮像した機器は、図８に示すように機器一覧から選択する。この機器一覧の情報は、機器制御装置１０内に予め登録されている。機器一覧は、登録機器の識別情報と制御情報が対応付けて登録されている。制御情報とは、例えば、テレビ、エアコンなどの機器の制御に必要な赤外線や無線通信のパケット内容、又は、制御に必要なボタンやスライドバーに関する制御パネル１１０の情報である。

選択部２０は、機器を選択するときに、撮像した機器の画像を分かりやすくユーザに提示するために、図６に示すように、登録パネル１０６と登録ボタン１０７を表示すると共に、撮像部１２での撮像を一時停止し、撮像された機器の画像を表示し続ける。

登録部２４は、認識部１８で抽出した登録したい機器の画像特徴量、選択部２０で選択した機器の種類と制御情報を対応付けて、登録機器として登録する。

なお、登録部２４は、登録機器の識別情報、画像特徴量、制御情報の一部又は全部を削除でき、また、変更も可能であり、さらに、登録機器に関する画像特徴量と制御情報を新たに加えることもできる。すなわち、ユーザが、図７（ｂ）に示す確認パネル１１３における登録／変更ボタン１１３を押し、図７（ｃ）に示すように、登録／変更パネル１１７における削除ボタン１１８、変更ボタン１１９を押して、上記のような変更や削除を行う。

制御部２２は、認識部１８で認識した制御対象機器１００を制御するリモコンとしての役割を行う。すなわち、図７に示すように、認識部１８が制御対象機器１００を認識しているときに、ユーザによって決定ボタン１０４が押されると、制御パネル１１０を表示し、制御部２２は、制御対象機器１００に対応した登録機器の制御情報を登録部２４から呼び出し、その制御パネル１１０を表示部１６に表示し、操作部１４の制御に対応した操作を制御対象機器１００に対して行う。

画像上に制御対象機器１００が複数ある場合は、制御部２２は、画像の中心付近の制御対象機器１００を制御対象とする。しかし、制御部２２は、画像の中から制御対象機器１００をユーザが選ぶことができるように選択肢を表示部１６に表示してもよい。

制御部２２は、制御対象機器１００を制御するときに、撮像した制御対象機器１００の画像を分かりやすくユーザに提示するために、撮像部１２での撮像を一時停止し、撮像された制御対象機器１００の画像を表示し続ける。

次に、機器制御装置１０の動作状態について、図２と図３のフローチャートに基づいて説明する。

図２に示すように、ステップＳ００１において、ユーザが、機器制御装置１０の撮像部１２を機器に向けて、この機器を撮像し、表示部１６が撮像された機器を表示し、ステップＳ００２に進む。

ステップＳ００２において、認識部１８が、撮像した画像から機器の画像特徴量を抽出し、ステップＳ００３に進む。

ステップＳ００３において、認識部１８が、抽出した機器の画像特徴量と、登録部２４に予め登録されている登録機器の画像特徴量との類似度を算出し、ステップＳ００４に進む。

ステップＳ００４において、認識部１８は、類似度が閾値以上の場合（すなわち、類似度が類似することを示す場合）にはステップＳ０１４に進んで制御モードに入り（Ｙの場合、図３に移行）、類似度が閾値未満の場合（すなわち、類似度が類似することを示さない場合）にはステップＳ００５に進み登録モードに入る（Ｎの場合）。

ステップＳ００５において、登録モードであるため、図６（ａ）に示すように、選択部２０が表示部１６に決定ボタン１０４を表示し、この決定ボタン１０４がユーザの指により押されればステップＳ００６に進み（Ｙの場合）、決定ボタン１０４が押されなければ処理を終了する（Ｎの場合）。

ステップＳ００６において、図６（ａ）に示すように、選択部２０が、表示部１６に表示されている画像を静止させ、ステップＳ００７に進む。

ステップＳ００７において、選択部２０は、決定ボタン１０４を指で押さえているユーザがその指を離せばステップＳ００８に進み（Ｙの場合）、決定ボタン１０４を引き続き押した状態であればステップＳ００７を継続する（Ｎの場合）。

ステップＳ００８において、図６（ｂ）に示すように、選択部２０は、確認パネル１０５を表示した後、図６（ｃ）に示すように登録パネル１０６を表示部１６に表示し、ステップＳ００９に進む。

ステップＳ００９において、選択部２０は、登録パネル１０６中の登録ボタン１０７が押されればステップＳ０１０に進み（Ｙの場合）、登録ボタン１０７が押されていなければステップＳ００９を継続する。

ステップＳ０１０において、選択部２０は、機器一覧を取得して、図８に示すように表示部１６に機器一覧を表示し、ステップＳ０１１に進む。

ステップＳ０１１において、選択部２０が表示した機器一覧の中からユーザが登録したい画像中の機器を選択すると、ステップＳ０１２に進む。

ステップＳ０１２において、選択部２０は、撮像した機器の画像特徴量と、選択した機器の種類と制御情報を関連付けて登録機器として、登録部２４に登録し、ステップＳ０１３に進む。

ステップＳ０１３において、選択部２０は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、登録モードを終了する。

図３に示すように、ステップＳ０１４において、制御モードであるため、制御部２２は、図７（ａ）に示すように、表示部１６に表示している制御対象機器１００上にアイコン１０４を重畳表示し、また、決定ボタン１０４も表示する。そしてステップＳ０１５に進む。

ステップＳ０１５において、制御部２２は、ユーザによって決定ボタン１０４が押されればステップＳ０１６に進み（Ｙの場合）、決定ボタン１０４が押されなければ制御モードを終了する（Ｎの場合）。

ステップＳ０１６において、制御部２２は、表示部１６で表示している画像を静止させ、ステップＳ０１７に進む。

ステップＳ０１７において、ユーザが決定ボタン１０４から指を離せばステップＳ０１８に進み（Ｙの場合）、決定ボタン１０４から離さなければステップＳ０１７を継続する。

ステップＳ０１８において、制御部２２は、認識部１８が認識した制御対象機器１００の中で最も画像の中心付近の制御対象機器１００を特定し、ステップＳ０１９に進む。

ステップＳ０１９において、制御部２２は、図７（ｂ）に示すように、特定した制御対象機器１００の制御パネル１１０を表示部１６に表示する。この場合に、制御対象機器１００の種類と制御情報は、類似度が閾値以上の登録機器が登録部２４に登録されているため、この登録機器に関する種類と制御情報を登録部２４から呼び出し、制御パネル１１０を表示する。そしてステップＳ０２０に進む。

ステップＳ０２０において、制御部２２は、ユーザによって制御パネル１１０の操作ボタン１１１が押されればステップＳ０２１に進み（Ｙの場合）、操作ボタン１１１が押されなければステップＳ０２４に進む（Ｎの場合）。

ステップＳ０２１において、制御対象機器１００の操作ボタン１１１が押されたため、制御部２２は、その制御内容に従って制御を行いステップＳ０２２に進む。

ステップＳ０２２において、制御部２２は、制御パネル１１０の終了ボタン１１２が押されればステップＳ０２３に進み（Ｙの場合）、終了ボタン１１２が押されなければステップＳ０２１に戻る。

ステップＳ０２３において、制御部２２は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、制御モードを終了する。

ステップＳ０２４において、制御部２２は、終了ボタン１１２が押されれば終了し、終了ボタン１１２が押されなければステップＳ０２０に戻る。

本実施形態によると、制御対象機器１００を機器制御装置１０で撮像するだけで、簡単に制御対象機器１００を登録、及び、制御ができ、ユーザの負担を軽減できる。

実施形態２

実施形態２の機器制御装置１０について図９から図１０に基づいて説明する。

本実施形態の機器制御装置１０と、実施形態１の機器制御装置１０の異なる点は、制御部２２の機能にある。本実施形態の制御部２２は、認識部１８で認識した制御対象機器１００の制御に加えて、その制御対象機器１００の関連情報を取得することができる。

制御対象機器１００の「関連情報」とは、例えば、テレビで放送されている番組の概要、出演者の詳細、出演者の着ている服のブランド名、テレビで紹介されている店の場所、又は、テレビで紹介されている商品の購入方法などである。この関連情報は、テレビのＥＰＧ情報から収集してもよいし、ネットワークにアップロードされているＷｅｂ画面から収集してもよい。

本実施形態の機器制御装置１０の動作状態について図１０のフローチャートに基づいて説明する。

実施形態１と同様に、ユーザが図９（ａ）に示すように機器制御装置１０を制御対象機器１００にかざして、この機器を撮像して、次に、図９（ｂ）に示すように、機器制御装置１０が、この撮像した機器を認識した後に画像の左上に認識している制御対象機器１００を示すアイコン１０２を表示し制御モードに入る。この制御モードにおけるステップＳ００１〜Ｓ０２３までの処理は、実施形態１と同様であるため、その説明は省略する。

ステップＳ１２４において、制御部２２は、操作ボタン１１１が押されず、制御パネル１１０中の情報表示ボタン１１４が押されればステップＳ０２５に進み、情報表示ボタン１１４が押されなければステップＳ０２８に進む（図９（ｃ）参照）。

ステップＳ１２５において、情報表示ボタン１１４が押されたため制御部２２は、制御パネル１１０の代わりに情報表示メニュー１１５を表示し、ステップＳ０２６に進む（図９（ｄ）参照）。

ステップＳ１２６において、制御部２２は、情報表示メニュー１１５の中のメニューボタン（例えば、「服が気になるボタン」である）１１６が押されればステップＳ０２７に進み、メニューボタン１１６が押されなければステップＳ０２６を継続する。

ステップＳ１２７において、制御部２２は、押されたボタン１１６に関する表示部１６にＷｅｂ画面（関連情報）１２１を表示して終了する（図９（ｅ）参照）。

ステップＳ１２８において、操作ボタン１１１も押されず、情報表示ボタン１１４も押されないため、制御部２２は終了ボタン１１２が押されたか否かを判断し、終了ボタン１１２が押されればステップＳ１２９に進み、終了ボタン１１２が押されない場合にはステップＳ０２０に戻る。

ステップＳ１２９において、制御部２２は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、終了する。

本実施形態によると、制御対象機器１００を機器制御装置１０で撮像するだけで、簡単に制御対象機器１００を登録、及び、制御ができ、その上、関連情報を簡単に取得でき、ユーザの負担を軽減できる。

実施形態３

実施形態３の機器制御装置１０について説明する。

本実施形態の機器制御装置１０の認識部１８は、画像特徴量による類似度の算出に加えて、機器制御装置１０に内蔵された加速度センサやジャイロセンサの情報を用いる。これにより、制御対象機器１００や登録機器の認識精度を向上することができる。

例えば、認識部１８が、登録モードにおける登録機器の登録時の加速度センサやジャイロセンサの値と、制御モードにおける制御対象機器１００の認識時の加速度センサやジャイロセンサの値とを比較し、これらセンサのセンサ類似度が閾値以下であれば、画像特徴量から求めた類似度にかかわらず、画像中に機器が存在しないと判断する。

上記センサ類似度としては、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、正規化相互相関などを用いて算出する。

例えば、機器制御装置１０が３軸の加速度センサを有している場合、認識部１８は、３軸の加速度センサの値全てを用いてセンサ類似度を算出してもよいし、一部の値のみを用いて類似度を算出する。

また、認識部１８は、画像特徴量から算出した類似度と、センサ類似度とを重み付き加算した値が閾値以上である場合、画像中に機器が存在すると判定し、閾値未満の場合、画像中に機器が存在しないと認識してもよい。

実施形態４

実施形態４の機器制御装置１０について説明する。

本実施形態では、ユーザが機器制御装置１０を操作しているとき以外は、画像の撮像や認識処理を行わないことで機器制御装置１０の使用電力を抑制する。

例えば、機器制御装置１０に内蔵された加速度センサやジャイロセンサを使って、機器制御装置１０の操作状態を判断できる。機器制御装置１０を床やクレイドルに置いた時のセンサの値と、現時点のセンサの値とのセンサ類似度が閾値以上であれば、ユーザは機器制御装置１０を操作していないと判断し、閾値未満であれば、ユーザは機器制御装置１０を操作していると判断できる。

なお、現時点のセンサの値ではなく、過去数秒間のセンサの値の平均から類似度を算出すれば、より安定した操作状態の認識が可能になる。

変更例

まず、上記実施形態の変更例１について説明する。

上記実施形態では、認識部２２が、（１）制御対象機器１００の画像特徴量と登録機器の画像特徴量から類似度を算出し、（２）この類似度が閾値より高い場合であっても、制御対象機器１００とは異なる登録機器を誤認識する場合がある。

そこで本変更例では、登録部２４は、誤認識した画像特徴量を登録機器に対応づけて登録し、新たな制御対象機器１００の画像特徴量と登録機器の画像特徴量から新たな類似度を算出する場合に、誤認識した画像特徴量を認識部２２に出力しないようにする。これにより、認識部２２による誤認識を減らすことができる。なお、誤認識したか否かは、図７（ｃ）に示すように、登録／変更パネル１１７における誤認識報告１２０をユーザが押すことにより誤認識であることとする。

次に、上記実施形態の変更例２について説明する。上記実施形態では、登録したい機器は、図８に示すように、機器一覧から選択してが、これに代えてビーコンや無線通信などを用いて機器の種類を特定してもよい。

次に、上記実施形態の変更例３について説明する。上記実施形態では、機器一覧の情報は、機器制御装置１０内に予め格納されていたが、ネットワークにアップロードされている機器一覧の情報をダウンロードしてもよいし、周辺の機器との無線通信によって取得してもよい。

なお、機器制御装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、撮像部１２、操作部１４、表示部１６、認識部１８、選択部２０、制御部２２、登録部２４は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現できる。このとき、機器制御装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。例えば、機器制御装置１０が、スマートフォンであって、このスマートフォンに上記プログラムをサーバから配信してもよい。

上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・機器制御装置、１２・・・撮像部、１４・・・操作部、１６・・・表示部、１８・・・認識部、２０・・・選択部、２２・・・制御部、２４・・・登録部

Claims (10)

1. 制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、
   制御を行う対象の制御対象機器が写った画像を取得する画像取得部と、
   （１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、
   特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、
   を有し、
   前記認識部が、（１）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から前記類似度を算出し、（２）前記類似度が類似することを示す場合であっても、前記制御対象機器とは異なる前記登録機器を誤認識した場合に、
   前記登録部は、（１）誤認識した前記画像特徴量を前記登録機器に対応づけて登録し、（２）新たな前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から新たな前記類似度を算出する場合に、前記誤認識した前記画像特徴量を前記認識部に出力しない、
   機器制御装置。
2. 前記認識部は、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、
   前記登録モードにおいて、（１）複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、（２）選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択部をさらに有する、
   請求項１に記載の機器制御装置。
3. 前記選択部は、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、
   請求項２に記載の機器制御装置。
4. 前記認識部は、前記画像中の認識した前記制御対象機器上に認識マークを重畳して表示する、
   請求項１乃至３のいずれか一項に記載の機器制御装置。
5. 前記登録部は、前記登録機器の前記識別情報、前記画像特徴量、又は、前記制御情報の一部又は全部を削除する、
   請求項１乃至４のいずれか一項に記載の機器制御装置。
6. 前記登録部は、前記登録機器の前記画像特徴量、又は、前記制御情報を変更する、
   請求項１乃至５のいずれか一項に記載の機器制御装置。
7. 前記登録部は、前記登録機器に関する前記画像特徴量と前記制御情報を新たに加える、
   請求項１乃至６のいずれか一項に記載の機器制御装置。
8. 前記登録部は、前記機器の画像特徴量に加えて、前記機器の背景の前記画像特徴量も登録する、
   請求項１乃至７のいずれか一項に記載の機器制御装置。
9. 制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録ステップと、
   制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得ステップと、
   （１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識ステップと、
   特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御ステップと、
   を有し、
   前記認識ステップにおいて、（１）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から前記類似度を算出し、（２）前記類似度が類似することを示す場合であっても、前記制御対象機器とは異なる前記登録機器を誤認識した場合に、
   前記登録部において、（１）誤認識した前記画像特徴量を前記登録機器に対応づけて登録し、（２）新たな前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から新たな前記類似度を算出する場合に、前記誤認識した前記画像特徴量を前記認識部に出力しない、
   機器制御方法。
10. 制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録機能と、
    制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得機能と、
    （１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識機能と、
    特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御機能と、
    をコンピュータによって実現させ、
    前記認識機能において、（１）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から前記類似度を算出し、（２）前記類似度が類似することを示す場合であっても、前記制御対象機器とは異なる前記登録機器を誤認識した場合に、
    前記登録機能において、（１）誤認識した前記画像特徴量を前記登録機器に対応づけて登録し、（２）新たな前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から新たな前記類似度を算出する場合に、前記誤認識した前記画像特徴量を前記認識部に出力しない、
    機器制御プログラム。

Images