JP6460322B2

JP6460322B2 - 制御端末装置

Info

Publication number: JP6460322B2
Application number: JP2015019356A
Authority: JP
Inventors: 祐輝福吉
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-02-03
Filing date: 2015-02-03
Publication date: 2019-01-30
Anticipated expiration: 2035-02-03
Also published as: JP2016144065A

Description

本発明は、制御端末装置に関する。

従来から、例えば、リモコン端末など、専用の制御端末装置によって遠隔操作される機器がある。また、例えば、特許文献１で開示された技術のように、複数の制御対象の機器を１台で遠隔操作することができる制御端末装置の技術も開示されている。

特開２０１４−０６４１１５号公報

しかしながら、特許文献１で開示されたような、１台の制御端末装置で複数の制御対象の機器を遠隔操作する技術では、制御対象の機器の特定を、機器の形状（例えば、テレビの場合であれば、フレームの色や幅、スタンドの形状の他、メーカー名、機種名、型番の文字など）を認識することによって行っている。このため、例えば、制御端末装置の使用者が同一機種の機器を複数所持しているなど、同じ制御対象の機器が複数存在する場合には、いずれの機器に対して操作を行うのかを区別することができない。

本発明は、上記の課題に基づいてなされたものであり、制御対象の機器に対する操作を直感的に行うことができる制御端末装置を提供することを目的としている。

上記の課題を解決するため、本発明の制御端末装置は、操作する対象の制御対象機器を含む画像を撮影する撮影手段と、前記制御対象機器に対して行うことができる操作の内容を表す情報を操作情報として取得する操作情報取得手段と、前記画像に含まれる前記制御対象機器および該制御対象機器が設置されている周辺の状態を含む前記画像の範囲を認識範囲として設定し、前記認識範囲の情報と該認識範囲内に含まれる前記制御対象機器に対応する前記操作情報とを紐付ける制御対象機器特定手段と、を備え、前記制御対象機器特定手段は、前記制御対象機器に対して前記操作情報に基づいた操作を仮に実行し、該実行した操作に対する前記制御対象機器からの反応に基づいて、前記認識範囲の情報と前記操作情報とを紐付ける。

本発明によれば、制御対象の機器に対する操作を直感的に行うことができる制御端末装置を提供することができるという効果を奏する。

本発明の第１の実施形態における制御端末装置を利用する概念を示した図である。本第１の実施形態における制御端末装置の概略構成を示したブロック図である。本第１の実施形態における制御端末装置を使用する全体的な処理シーケンスを示したシーケンス図である。本第１の実施形態の制御端末装置において操作する対象の機器の操作情報を取得する処理の処理手順を示したフローチャートである。本第１の実施形態における制御端末装置を使用して操作する対象の機器の操作情報の一例を示した図である。本第１の実施形態の制御端末装置において操作する対象の機器と操作情報とを対応づける処理の処理手順を示したフローチャートである。本第１の実施形態の制御端末装置において操作する対象の機器を認識するための画像の範囲を設定する方法の一例を示した図である。本第１の実施形態の制御端末装置において操作する対象の機器を操作する方法の一例を示した図である。本発明の第２の実施形態における制御端末装置を利用する概念を示した図である。本第２の実施形態の制御端末装置において操作する対象の同一の機器を区別する処理の処理手順を示したフローチャートである。本第２の実施形態の制御端末装置において操作する対象の同一の機器を区別する別の処理の処理手順を示したフローチャートである。本第２の実施形態の制御端末装置において操作する対象の同一の機器を区別する方法の一例を示した図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における制御端末装置を利用する概念を示した図である。以下の説明においては、既存の移動体通信網を利用した携帯電話の機能と、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）の機能とを融合させた、いわゆる、スマートフォンやタブレット端末などの情報端末を、制御端末装置１として利用する場合について説明する。そして、制御端末装置１によって操作する制御対象の機器（以下、「制御対象機器」という）として、冷蔵庫１０、エアコン２０、テレビ３０、およびライト４０が室内に設置されているものとして説明する。なお、図１に示したように、冷蔵庫１０、エアコン２０、テレビ３０、およびライト４０には、それぞれ異なる型番が付与されており、それぞれの機器ごとに対応する操作を行うことができる。例えば、テレビ３０は、型番がＣＣＣであり、電源のオン（ＯＮ）またはオフ（ＯＦＦ）の操作、チャンネル切替の操作を行うことができる。

制御端末装置１は、カメラなどの撮影機能を備えており、制御端末装置１の使用者は、室内の全体が写るように撮影することによって、複数の制御対象機器が設置された状態を撮影する。制御端末装置１は、撮影された画像に含まれるそれぞれの制御対象機器を画像認識によって特定し、特定した制御対象機器に対して行うことができる操作の内容を操作情報として取得する。そして、制御端末装置１は、取得した操作情報に基づいて、それぞれの制御対象機器に対して行うことができる操作を使用者に提示し、使用者によって入力された制御対象機器に対する操作の指示に応じて、それぞれの制御対象機器を操作する。

次に、本第１の実施形態の制御端末装置１の構成について説明する。図２は、本第１の実施形態における制御端末装置１の概略構成を示したブロック図である。制御端末装置１は、制御部１１と、記憶部１２と、表示部１３と、入力部１４と、撮影部１５と、リモコン制御部１６と、赤外線通信部１７と、ネットワーク通信部１８とを備えている。

撮影部１５は、制御端末装置１に備えたカメラなどの撮影装置１５１（以下、「カメラ１５１」ともいう）を制御する。撮影部１５は、撮影装置１５１が撮影した被写体の画像情報を制御部１１に出力し、制御部１１によって画像処理された後の画像データが記憶部１２に記憶される。なお、図１に示した制御端末装置１の構成では、制御端末装置１の外部に撮影装置１５１が配置されている場合を示しているが、撮影装置１５１は、撮影部１５と共に、制御端末装置１内に配置されている構成であってもよい。

表示部１３は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置を備え、制御部１１から入力された、制御端末装置１の使用者に情報を提示するため画像を表示する。
入力部１４は、例えば、押圧センサを備え、制御端末装置１の使用者による各種のタッチ（タップやフリックなど）入力の操作を検出することによって、制御端末装置１への入力を受け付ける。入力部１４は、受け付けた使用者による操作を表す情報を、制御部１１に出力する。なお、入力部１４は、例えば、電源オンオフボタンなど、制御端末装置１の使用者によって操作される操作ボタンを備えていてもよい。また、制御端末装置１では、入力部１４と表示部１３とは、両者のパネルが組み合わされたタッチパネルとして備えられてもよい。

リモコン制御部１６は、制御部１１からの制御に応じて、制御対象機器を操作するための操作コマンドを生成する。そして、リモコン制御部１６は、生成した操作コマンドを、赤外線通信部１７またはネットワーク通信部１８に出力して送信させる。

赤外線通信部１７は、例えば、赤外線センサなどの赤外線発光部および赤外線受光部を備え、制御端末装置１において制御対象機器との間で赤外線通信を行うための通信部である。赤外線通信部１７は、リモコン制御部１６から入力された操作コマンドに応じた赤外光を発光することによって、制御対象機器に赤外線通信信号を送信する。また、赤外線通信部１７は、制御対象機器から送信された赤外線通信信号を受信し、受信した赤外線通信信号に含まれる情報を、リモコン制御部１６または制御部１１に出力する。

ネットワーク通信部１８は、アンテナ１８１および通信回線を介して、制御端末装置１が扱う種々の情報の送受信を行う。例えば、制御端末装置１の電話機能では、移動体通信網を介して音声通話を行い、インターネット機能では、ネットワーク通信網を介してデータ通信を行う。また、ネットワーク通信部１８は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））などの短距離無線通信や、ＷｉＦｉ（登録商標）などの無線通信によって、制御端末装置１と制御対象機器との間で通信を行う通信部でもある。ネットワーク通信部１８は、リモコン制御部１６から入力された操作コマンドに応じた無線通信信号を、アンテナ１８１を介して制御対象機器に送信する。また、ネットワーク通信部１８は、制御対象機器から送信された無線通信信号をアンテナ１８１によって受信し、受信した無線通信信号に含まれる情報を、リモコン制御部１６または制御部１１に出力する。

制御部１１は、制御端末装置１内のそれぞれの構成要素、つまり、制御端末装置１の全体を制御する。制御部１１は、画像認識部１１１、画像合成部１１２、操作情報取得部１１３、および操作情報変換部１１４を含んで構成される。画像認識部１１１は、撮影部１５から入力された被写体の画像情報に基づいて、画像に含まれる制御対象機器を特定する機能（以下、「画像認識機能」という）を実現する。また、画像合成部１１２は、表示部１３に表示している画像に、制御対象機器に対応する操作情報に応じたユーザーインターフェース画像を重畳することによって、それぞれの制御対象機器に対して行うことができる操作の内容を制御端末装置１の使用者に提示するための合成画像を生成する機能（以下、「画像合成機能」という）を実現する。また、操作情報取得部１１３は、制御対象機器に対応する操作情報を、制御対象機器から取得する機能（以下、「操作情報取得機能」という）を実現する。なお、操作情報取得部１１３は、制御対象機器の製造者（メーカー）などのサーバー装置から操作情報を取得することもできる。また、操作情報変換部１１４は、入力部１４が受け付けた使用者による操作の情報を、リモコン制御部１６が操作コマンドを生成するための情報に変換する機能（以下、「操作情報変換機能」という）を実現する。なお、画像認識部１１１、画像合成部１１２、操作情報取得部１１３、および操作情報変換部１１４におけるそれぞれの機能は、例えば、記憶部１２に記憶されたプログラムを実行するソフトウェアによって実現される構成であってもよい。

記憶部１２は、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などの種々のメモリで構成され、制御部１１が処理を実行するためのプログラムや、処理に使用するデータを記憶する。図１に示した制御端末装置１の構成では、記憶部１２に、制御対象機器の操作を行うために用いる情報として、画像データ１２１、操作情報１２２、および認識範囲情報１２３が記憶されている状態を示している。画像データ１２１は、撮影部１５から入力された被写体の画像情報を制御部１１が画像処理して生成した画像のデータである。また、操作情報１２２は、制御部１１が操作情報取得機能によって取得した操作情報である。この操作情報１２２には、制御対象機器を識別するためにそれぞれの制御対象機器に付与された、例えば、ＵＵＩＤ（ＵｎｉｖｅｒｓａｌｌｙＵｎｉｑｕｅＩＤｅｎｔｉｆｉｅｒ）、アドレス、型番などの識別情報が含まれている。また、認識範囲情報１２３は、制御部１１の画像認識機能によって制御対象機器を特定するために必要な画像の範囲（以下、「認識範囲」という）が設定された情報である。なお、認識範囲には、制御対象機器とその周辺、つまり、背景も含まれている。これにより、制御部１１は、画像認識機能によって、制御対象機器の周辺の状態も含めて制御対象機器を特定することができる。

このような構成によって制御端末装置１は、撮影した画像に含まれる制御対象機器を特定し、特定した制御対象機器に対応する操作情報１２２を記憶し、それぞれの制御対象機器に対して行うことができる操作を使用者に提示する。そして、制御端末装置１は、使用者から入力された制御対象機器に対する操作指示に応じた操作コマンドを、制御対象機器が対応している通信方法で送信する。

次に、本第１の実施形態の制御端末装置１を使用して制御対象の機器を操作する処理について説明する。まず、制御端末装置１を使用して制御対象の機器を操作する全体的な流れについて説明する。図３は、本第１の実施形態における制御端末装置１を使用する全体的な処理シーケンスを示したシーケンス図である。以下の説明においては、制御端末装置１と制御対象機器とが同一のネットワーク上に存在するものとし、制御端末装置１がＤＬＮＡ（登録商標）（ＤｉｇｉｔａｌＬｉｖｉｎｇＮｅｔｗｏｒｋＡｌｌｉａｎｃｅ）の仕組みを使用して、制御対象機器の操作情報の取得や操作を、無線通信によって行うものとして説明する。

まず、制御端末装置１の使用者は、制御対象機器に対して行うことができる操作の内容、すなわち、制御対象機器の機能を、操作情報１２２として制御端末装置１に設定する事前設定処理を行う。この事前設定処理では、同一ネットワーク上に存在する制御対象機器を検索して、制御対象機器を操作するための各種の情報を制御対象機器から取得し、取得したそれぞれの情報を操作情報１２２として設定する。

より具体的には、使用者は、制御端末装置１を操作して制御対象機器を検索する（ステップＳ１）。続いて、制御端末装置１は、検索された制御対象機器にＤＬＮＡ（登録商標）における「Ｍ−ＳＥＡＲＣＨ」コマンドを送信する（ステップＳ１１）。これにより、制御対象機器は、「デバイス（Ｄｅｖｉｃｅ）ＵＵＩＤ」および「アドレス」の情報を制御端末装置１に送信する（ステップＳ１２）。続いて、制御端末装置１は、この制御対象機器にＤＬＮＡ（登録商標）における「ＧＥＴＤｅｖｉｃｅＤｅｓｃｒｉｐｔｉｏｎ」コマンドを送信する（ステップＳ１３）。これにより、制御対象機器は、「型番」の情報を制御端末装置１に送信する（ステップＳ１４）。続いて、制御端末装置１は、この制御対象機器にＤＬＮＡ（登録商標）における「ＧＥＴＳｅｒｖｉｃｅＤｅｓｃｒｉｐｔｉｏｎ」コマンドを送信する（ステップＳ１５）。これにより、制御対象機器は、「操作コマンド」の情報を制御端末装置１に送信する（ステップＳ１６）。その後、制御端末装置１は、検索された制御対象機器から送信されてきたそれぞれの情報を、操作情報１２２として記憶部１２に記憶する（ステップＳ１７）。

その後、制御端末装置１の使用者は、制御端末装置１の撮影機能を起動して、検出された制御対象機器と、記憶部１２に記憶された操作情報１２２とを紐付ける紐付け処理を行う。この紐付け処理では、事前設定処理を行った制御対象機器を特定するための認識範囲情報１２３と、この制御対象機器に対応する操作情報１２２との紐付けを行う。

より具体的には、使用者は、制御端末装置１を操作してカメラ１５１を起動する（ステップＳ２）。続いて、使用者は、制御端末装置１によって室内の全体を撮影する（ステップＳ２１）。続いて、制御端末装置１は、カメラ１５１が出力した撮影画像から制御対象機器を特定する（ステップＳ２２）。続いて、制御端末装置１は、制御対象機器の認識範囲を表示し、使用者の操作に応じて認識範囲を設定する（ステップＳ２３）。続いて、制御端末装置１は、設定された認識範囲の情報、つまり、認識範囲情報１２３と記憶部１２に記憶された操作情報１２２とを紐付ける（ステップＳ２４）。続いて、制御端末装置１は、操作情報１２２と対応付けられた認識範囲を含む撮影画像を、画像データ１２１として記憶部１２に記憶（保存）する（ステップＳ２５）。この画像データ１２１には、操作情報１２２と紐付けられた複数の認識範囲情報１２３、つまり、複数の制御対象機器とその周辺、つまり、背景が含まれている。

なお、紐付け処理におけるステップＳ２２〜ステップＳ２４の処理は、例えば、カメラ１５１を起動した後、制御端末装置１の使用者がシャッターボタンを押下して撮影を行う操作を行う前に、撮影する被写体を確認するための動画を表示部１３に表示している状態、いわいる、カメラプレビュー状態のときに行う構成であってもよい。

その後、制御端末装置１の使用者は、制御端末装置１のリモコン機能を起動して、操作情報１２２と紐付けを行った制御対象機器を操作する操作処理を行う。この操作処理では、紐付け処理によって操作情報１２２と紐付けられた制御対象機器の操作を行う。

より具体的には、使用者は、制御端末装置１を操作してリモコン機能を起動する（ステップＳ３）。続いて、制御端末装置１は、記憶部１２に記憶している画像データ１２１の画像、すなわち、複数の制御対象機器を含む撮影画像を表示部１３に表示させる（ステップＳ３１）。なお、記憶部１２に複数の画像データ１２１が記憶されている場合には、それぞれの画像データ１２１の撮影画像を一覧として表示部１３に表示させる。その後、使用者は、表示部１３に表示されている撮影画像の一覧から、今回操作を行う制御対象機器が含まれる撮影画像を選択する（ステップＳ３２）。さらに、使用者は、選択した画像データ１２１の中から、今回操作を行う制御対象機器を選択する（ステップＳ３３）。続いて、制御端末装置１は、選択された制御対象機器に対応する操作情報１２２に基づいて、操作することができる制御対象機器の機能を提示するためのユーザーインターフェース画像を現在表示している撮影画像に重畳した合成画像を生成して表示部１３に表示する（ステップＳ３４）。続いて、使用者は、表示部１３に表示されている合成画像で提示された機能に対して所望の操作を指示する（ステップＳ３５）。続いて、制御端末装置１は、指示された操作に応じた操作コマンドを制御対象機器に送信する（ステップＳ３６）。これにより、制御対象機器は、操作コマンドを受信したことを表す応答を制御端末装置１に送信する（ステップＳ３７）。

このように、制御端末装置１を使用した制御対象機器の操作では、ステップＳ１〜ステップＳ１７の事前設定処理と、ステップＳ２〜ステップＳ２５の操作情報１２２と認識範囲情報１２３との紐付け処理（以下、単に「紐付け処理」という）と、ステップＳ３〜ステップＳ３７の操作処理とに大きく分けた３つの処理によって、制御対象機器を操作する。

ここで、上述した３つの処理について、さらに詳細に説明する。事前設定処理では、上述したように、制御対象機器を操作するための各種の情報を予め制御対象機器から取得し、操作情報１２２として記憶部１２に記憶する。図４は、本第１の実施形態の制御端末装置１において操作する対象の機器（制御対象機器）の操作情報を取得する処理（事前設定処理）の処理手順を示したフローチャートである。なお、以下の説明においては、ネットワーク通信部１８によるＷｉＦｉ（登録商標）などの無線通信で制御対象機器から各種の情報を取得するものとして説明する。

事前設定処理では、まず、制御端末装置１内の制御部１１は、ネットワーク通信部１８を起動し、無線通信で接続された制御対象機器があるか否かを判定する（ステップＳ１０１：図３のステップＳ１参照）。ステップＳ１０１において無線通信で接続された制御対象機器がないと判定した場合（ステップＳ１０１の“ＮＯ”）には、ネットワーク通信部１８を停止して事前設定処理を終了する。また、ステップＳ１０１において無線通信で接続された制御対象機器があると判定した場合（ステップＳ１０１の“ＹＥＳ”）、制御部１１は、無線通信で接続された制御対象機器に対応する操作情報１２２を、記憶部１２内から検索する（ステップＳ１０２）。

そして、制御部１１は、ステップＳ１０２において操作情報１２２を検索した結果から、無線通信で接続された制御対象機器に対応する操作情報１２２があるか否かを判定する（ステップＳ１０３）。ステップＳ１０３において無線通信で接続された制御対象機器に対応する操作情報１２２がある、つまり、操作情報１２２がすでに記憶部１２に記憶されていると判定した場合（ステップＳ１０３の“ＹＥＳ”）には、ネットワーク通信部１８を停止して事前設定処理を終了する。一方、ステップＳ１０３において無線通信で接続された制御対象機器に対応する操作情報１２２がない、つまり、操作情報１２２が記憶部１２に記憶されていないと判定した場合（ステップＳ１０３の“ＮＯ”）、制御部１１は、ネットワーク通信部１８による無線通信によって、接続された制御対象機器から各種の情報を取得する（図３のステップＳ１１〜ステップＳ１６参照）。このとき、制御部１１では、操作情報取得部１１３による操作情報取得機能が動作する。そして、制御部１１は、無線通信で接続された制御対象機器から取得したそれぞれの情報を、操作情報１２２として記憶部１２に記憶（ステップＳ１０４：図３のステップＳ１７参照）し、ネットワーク通信部１８を停止して事前設定処理を終了する。

このように、制御端末装置１では、事前設定処理において、無線通信で接続された制御対象機器に対応する操作情報１２２の有無を確認することによって、制御対象機器が新たに増えた場合などでも、それぞれの制御対象機器に対応する操作情報１２２を事前に取得することができる。図５は、本第１の実施形態における制御端末装置１を使用して操作する対象の機器（制御対象機器）の操作情報の一例を示した図である。図５には、図１に示したそれぞれの制御対象機器に対応する操作情報１２２の一例を示している。

図５に示したように、操作情報１２２には、それぞれの制御対象機器の種別と、それぞれの制御対象機器を識別するためのデバイス（Ｄｅｖｉｃｅ）ＵＵＩＤと、それぞれの制御対象機器に割り当てられたＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）アドレスと、それぞれの制御対象機器の型番および機能と、それぞれの制御対象機器に対して行うことができる操作と、それぞれの制御対象機器が対応している通信方法とが含まれている。例えば、図５に示したように、エアコン２０の操作情報１２２には、ＤｅｖｉｃｅＵＵＩＤ＝「ＢＢＢＢＢＢＢＢＢＢＢＢＢ」、ＩＰアドレス＝「１９２．１６８．１０．ｂｂ」、型番＝「ＢＢＢ」、機能＝「温度設定」は、操作＝「１８℃〜３５℃」、機能＝「モード切替」は、操作＝「暖房」または「冷房」、機能＝「電源」は、操作＝「オン（ＯＮ）」または「オフ（ＯＦＦ）」、通信方法＝「ＷｉＦｉ（登録商標）」および「赤外線」との情報が含まれている。

次に、紐付け処理では、上述したように、撮影された制御対象機器を特定するための認識範囲情報１２３と、記憶部１２に記憶した操作情報１２２との紐付けを行う。図６は、本第１の実施形態の制御端末装置１において操作する対象の機器（制御対象機器）と操作情報１２２とを対応づける処理（紐付け処理）の処理手順を示したフローチャートである。

紐付け処理では、まず、制御端末装置１内の制御部１１は、使用者からの指示に応じて撮影部１５に接続されたカメラ１５１を起動（図３のステップＳ２参照）し、カメラ１５１が撮影した被写体の画像情報を、撮影部１５を介して取得する（ステップＳ２０１：図３のステップＳ２１参照）。その後、制御部１１は、制御端末装置１が操作する対象の制御対象機器を、撮影画像内に写されている被写体から検出する。このとき、制御部１１では、画像認識部１１１による画像認識機能が動作する。

続いて、制御部１１は、制御対象機器を検出したか否かを判定する（ステップＳ２０２）。ステップＳ２０２において制御対象機器を検出したと判定した場合（ステップＳ２０２の“ＹＥＳ”）、制御部１１は、さらに、撮影画像に基づいて制御対象機器を特定することが可能であるか否かを判定する（ステップＳ２０３）。このときも、制御部１１では、画像認識部１１１による画像認識機能が動作している。ステップＳ２０２において制御対象機器を検出していないと判定した場合（ステップＳ２０２の“ＮＯ”）、またはステップＳ２０３において制御対象機器を特定することが不可能であると判定した場合（ステップＳ２０３の“ＮＯ”）、制御部１１は、使用者による手動での制御対象機器の特定の処理を行う（ステップＳ２０４）。

また、ステップＳ２０３において制御対象機器を特定することが可能であると判定した場合（ステップＳ２０３の“ＹＥＳ”）、またはステップＳ２０４における手動での制御対象機器の特定の処理を完了した後（図３のステップＳ２２参照）、制御部１１は、特定した制御対象機器に対応する操作情報１２２が記憶部１２に記憶されているか否かを判定する（ステップＳ２０５）。ステップＳ２０５において特定した制御対象機器に対応する操作情報１２２が記憶部１２に記憶されていないと判定した場合（ステップＳ２０５の“ＮＯ”）、制御部１１は、特定した制御対象機器に対応する操作情報１２２を、制御対象機器や、制御対象機器の製造者（メーカー）などのサーバー装置から取得する（ステップＳ２０６）。このとき、制御部１１では、操作情報取得部１１３による操作情報取得機能が動作する。そして、制御部１１は、取得した操作情報１２２を記憶部１２に記憶する。

また、ステップＳ２０５において特定した制御対象機器に対応する操作情報１２２が記憶部１２に記憶されていると判定した場合（ステップＳ２０５の“ＹＥＳ”）、またはステップＳ２０６における操作情報１２２の取得の処理を完了した後、制御部１１は、制御対象機器を特定するための認識範囲を設定（図３のステップＳ２３参照）し、設定した認識範囲の情報（認識範囲情報１２３）と操作情報１２２とを紐付ける（ステップＳ２０７：図３のステップＳ２４参照）。

続いて、制御部１１は、撮影画像内に写されている全ての制御対象機器に対して認識範囲情報１２３と操作情報１２２との紐付けが完了したか否かを判定する（ステップＳ２０８）。ステップＳ２０８において全ての制御対象機器に対する認識範囲情報１２３と操作情報１２２との紐付けが完了していないと判定した場合（ステップＳ２０８の“ＮＯ”）、制御部１１は、ステップＳ２０２に戻って、ステップＳ２０２〜ステップＳ２０８までの処理を繰り返す。一方、ステップＳ２０８において全ての制御対象機器に対する認識範囲情報１２３と操作情報１２２との紐付けが完了したと判定した場合（ステップＳ２０８の“ＹＥＳ”）、制御部１１は、操作情報１２２と対応付けられた認識範囲を含む撮影画像を、画像データ１２１として記憶部１２に記憶（保存）する（ステップＳ２０９：図３のステップＳ２５参照）。その後、制御部１１は、カメラ１５１を停止して紐付け処理を終了する。

このように、制御端末装置１では、紐付け処理において、撮影画像内に写されている制御対象機器を特定し、特定した制御対象機器の認識範囲情報１２３と操作情報１２２とを紐付ける。このとき、制御端末装置１は、撮影画像に基づいて制御対象機器を特定することができない場合には、上述したように、使用者からの指示に応じた手動の方法で制御対象機器を特定する。図７は、本第１の実施形態の制御端末装置１において操作する対象の機器（制御対象機器）を認識するための画像の範囲（認識範囲）を設定する方法の一例を示した図である。図７には、制御端末装置１に備えた表示部１３に表示された撮影画像の中から制御対象機器であるテレビ３０を特定して認識範囲を設定する、使用者による手動の操作の一例を示している。

制御端末装置１の使用者が手動で制御対象機器を特定する場合、図７（ａ）に示したように、表示部１３に表示された撮影画像に対して、例えば、ピンチアウトの操作を行うことによって、操作する対象の制御対象機器が全体に表示されるように画像の表示範囲を拡大する。そして、使用者は、図７（ｂ）に示したように、例えば、制御対象機器の候補の一覧の中から、表示されている制御対象機器を選択する（ステップＳ２０４参照）。その後、制御部１１は、図７（ｃ）に示したように、制御対象機器の認識範囲を表示することによって確認し、使用者の操作（指示）に応じて表示した認識範囲の情報（認識範囲情報１２３）と操作情報１２２とを紐付けて記憶部１２に記憶する（ステップＳ２０７参照）。

次に、操作処理では、上述したように、制御端末装置１のリモコン機能を起動して、紐付け処理が行われた制御対象機器を操作する。図８は、本第１の実施形態の制御端末装置１において操作する対象の機器（制御対象機器）を操作する方法（操作処理）の一例を示した図である。

操作処理では、まず、使用者が制御端末装置１を操作してリモコン機能を起動し、表示部１３に表示された撮影画像に含まれる制御対象機器の中から、図８（ａ）に示したように、例えば、制御対象機器をタップする、つまり、制御対象機器の認識範囲内をタップすることによって、今回操作する制御対象機器を選択する（図３のステップＳ３〜ステップＳ３３参照）。制御端末装置１は、選択された制御対象機器に対応する操作情報１２２に基づいて生成したユーザーインターフェース画像が重畳された合成画像を表示部１３に表示する（図３のステップＳ３４参照）。このとき、制御部１１では、画像合成部１１２による画像合成機能が動作する。図８（ｂ）には、制御対象機器としてテレビ３０が選択されたことにより、テレビ３０の機能である「電源（Ｐｏｗｅｒ）のオン／オフ」と、「チャンネル（Ｃｈａｎｎｅｌ）切替」との操作（図５参照）を表すユーザーインターフェース画像Ｐ１を重畳した合成画像の一例を示している。

制御端末装置１の使用者が表示部１３に表示されたユーザーインターフェース画像Ｐ１の領域に対して操作を行うと、制御端末装置１は、操作に応じた操作コマンドをテレビ３０に送信する（図３のステップＳ３５〜ステップＳ３７参照）。このとき、制御部１１では、操作情報変換部１１４による操作情報変換機能が動作する。

このように、制御端末装置１では、操作処理において、使用者によって操作された指示に応じた操作コマンドを、選択された制御対象機器に送信する。

このような３つの処理によって制御端末装置１は、撮影した画像に含まれる制御対象機器と、それぞれの制御対象機器に対応する操作情報１２２を事前に記憶部１２に記憶しておき、使用者から入力された制御対象機器に対する操作の指示に応じた操作コマンドを、制御対象機器が対応している通信方法で送信する。

＜第２の実施形態＞
次に、本発明における第２の実施形態について説明する。本第２の実施形態は、例えば、制御端末装置の使用者が同一機種の制御対象機器を複数所持しているなど、同じ制御対象機器が複数存在する場合の実施形態である。なお、本第２の実施形態の制御端末装置の構成は、図２に示した第１の実施形態の制御端末装置１と同様である。また、本第２の実施形態の制御端末装置を使用して制御対象機器を操作する全体的な流れも、図３に示した第１の実施形態の処理シーケンスと同様である。従って、以下の説明においては、本第２の実施形態の制御端末装置も「制御端末装置１」として第１の実施形態と同様の構成や処理に関する詳細な説明は省略し、第１の実施形態と異なる処理を本第２の実施形態の処理として説明する。

図９は、本第２の実施形態における制御端末装置１を利用する概念を示した図である。図９（ａ）および図９（ｂ）には、同一の制御対象機器であるエアコン２０ａとエアコン２０ｂとが異なる部屋に設置されている状態の一例を示している。図９（ａ）に示したエアコン２０ａと、図９（ｂ）に示したエアコン２０ｂとには、それぞれ同じ型番が付与されている制御対象機器である。そして、制御端末装置１には、エアコン２０ａとエアコン２０ｂとをそれぞれの操作するための同様の操作情報１２２が記憶部１２に記憶されている。このため、制御端末装置１では、同一の制御対象機器（図９ではエアコン２０ａとエアコン２０ｂ）を区別して操作する必要がある。なお、記憶部１２に同じ型番の制御対象機器に対する同様の操作情報１２２が複数記憶されている場合でも、それぞれの操作情報１２２に含まれるＤｅｖｉｃｅＵＵＩＤおよびＩＰアドレス、つまり、識別情報は異なっている。

そこで、本第２の実施形態の制御端末装置１では、紐付け処理において、それぞれの制御対象機器を区別してから認識範囲情報１２３と操作情報１２２とを紐付ける。このため、本第２の実施形態の制御端末装置１では、図６に示した紐付け処理におけるステップＳ２０７の処理が、第１の実施形態の制御端末装置１と異なる。図１０は、本第２の実施形態の制御端末装置１において操作する対象の同一の機器（制御対象機器）を区別する処理の処理手順を示したフローチャートである。なお、図１０には、図６に示した紐付け処理において、ステップＳ２０７内で行う処理を示している。

本第２の実施形態の制御端末装置１におけるステップＳ２０７の処理では、まず、制御端末装置１内の制御部１１は、記憶部１２内に同一の操作情報１２２が複数記憶されているか否かを判定する（ステップＳ２７１）。ステップＳ２７１において同一の操作情報１２２が複数記憶されていないと判定した場合（ステップＳ２７１の“ＮＯ”）、制御部１１は、設定された認識範囲の情報（認識範囲情報１２３）と操作情報１２２とを紐付ける（ステップＳ２７４）。

一方、ステップＳ２７１において同一の操作情報１２２が複数記憶されていると判定した場合（ステップＳ２７１の“ＹＥＳ”）、制御部１１は、記憶部１２に記憶された同一の操作情報１２２のいずれかの操作情報１２２に基づいた操作を仮に実行、つまり、操作コマンドを仮に送信する（ステップＳ２７２）。そして、制御部１１は、仮に実行した操作に対して制御対象機器の反応があるか否か、つまり、送信した操作コマンドを受信したことを表す応答の返信が制御対象機器からあったか否かを判定する（ステップＳ２７３）。ステップＳ２７３において仮に実行した操作に対する反応があると判定した場合（ステップＳ２７３の“ＹＥＳ”）、制御部１１は、ステップＳ２７４において、仮に実行した操作が含まれる操作情報１２２と、この制御対象機器を特定するために設定された認識範囲の情報（認識範囲情報１２３）とを紐付ける。また、ステップＳ２７３において仮に実行した操作に対する反応がないと判定した場合（ステップＳ２７３の“ＮＯ”）、制御部１１は、ステップＳ２７２に戻って、記憶部１２に記憶された他のいずれかの操作情報１２２に基づいたステップＳ２７２およびステップＳ２７３の処理を繰り返す。

このように、本第２の実施形態の制御端末装置１では、紐付け処理において、仮に実行した操作に反応があった制御対象機器の認識範囲情報１２３と仮に実行した操作が含まれる操作情報１２２とを紐付ける。これにより、本第２の実施形態の制御端末装置１では、同一の制御対象機器が複数存在する場合でも、それぞれの制御対象機器を区別して、認識範囲情報１２３と操作情報１２２を紐付けることができる。なお、制御対象機器に対する操作を仮に実行する際に、操作コマンドを無線通信によって送信すると、無線通信信号の到達範囲内の複数の制御対象機器が反応することが考えられる。しかし、制御端末装置１の使用者が操作する制御対象機器は、使用者の近くに設置されていると考えられるため、複数の制御対象機器が反応した場合には、返信された無線通信信号の信号強度によって、反応した制御対象機器を区別することができる。

なお、図１０に示した同一の制御対象機器を区別する処理では、制御対象機器に対する仮の操作を順次実行する必要があった。しかし、例えば、それぞれの制御対象機器に、ＬＥＤなどの発光手段を備えている場合には、操作情報１２２に含まれる制御対象機器の機能を動作させるための操作ではなく、それぞれの制御対象機器を認識するための操作によって、同一の制御対象機器を区別することもできる。

図１１は、本第２の実施形態の制御端末装置において操作する対象の同一の機器（制御対象機器）を区別する別の処理の処理手順を示したフローチャートである。なお、図１１には、図６に示した紐付け処理において、ステップＳ２０１の処理を開始する前に、それぞれの制御対象機器に備えたＬＥＤを操作することによって、紐付け処理の事前準備を行う処理を示している。

本第２の実施形態の制御端末装置１における紐付け処理の事前準備処理では、まず、制御端末装置１内の制御部１１は、記憶部１２内に同一の操作情報１２２が複数記憶されているか否かを判定する（ステップＳ２１１）。ステップＳ２１１において同一の操作情報１２２が複数記憶されていないと判定した場合（ステップＳ２１１の“ＮＯ”）、制御部１１は、図６に示した紐付け処理を開始する。なお、図１１には、図６に示した紐付け処理におけるステップＳ２０１のみを示している。

一方、ステップＳ２１１において同一の操作情報１２２が複数記憶されていると判定した場合（ステップＳ２１１の“ＹＥＳ”）、制御部１１は、記憶部１２に記憶された同一の操作情報１２２のそれぞれに、ＬＥＤを異なる色や発光パターンで発光させるためのＬＥＤ発光情報を付加（追加）する（ステップＳ２１２）。続いて、制御部１１は、記憶部１２に記憶された全ての同一の操作情報１２２に対してＬＥＤ発光情報の付加が完了したか否かを判定する（ステップＳ２１３）。ステップＳ２１３において全ての同一の操作情報１２２に対してＬＥＤ発光情報の付加が完了していないと判定した場合（ステップＳ２１３の“ＮＯ”）、制御部１１は、ステップＳ２１２に戻って、ステップＳ２１２およびステップＳ２１３の処理を繰り返す。一方、ステップＳ２１３において全ての同一の操作情報１２２に対してＬＥＤ発光情報の付加の処理が完了したと判定した場合（ステップＳ２１３の“ＹＥＳ”）、制御部１１は、操作情報１２２内にＬＥＤ発光情報が含まれているか否かを判定する（ステップＳ２１４）。

ステップＳ２１４において操作情報１２２内にＬＥＤ発光情報が含まれていないと判定した場合（ステップＳ２１４の“ＮＯ”）、制御部１１は、図６に示した紐付け処理を開始する（ステップＳ２０１）。また、ステップＳ２１４において操作情報１２２内にＬＥＤ発光情報が含まれていると判定した場合（ステップＳ２１４の“ＹＥＳ”）、制御部１１は、操作情報１２２に含まれているＬＥＤ発光情報に応じたＬＥＤの発光をさせるための操作コマンドを制御対象機器に送信する（ステップＳ２１５）。なお、ステップＳ２１５の処理は、複数の制御対象機器（例えば、図９に示したエアコン２０ａおよびエアコン２０ｂ）に対して、対応する操作情報１２２内のＬＥＤ発光情報に応じたＬＥＤの発光を同時に実行させてもよい。これにより、制御対象機器は、ＬＥＤ発光情報に応じてＬＥＤを発光させる。その後、制御部１１は、図６に示した紐付け処理を開始する（ステップＳ２０１）。

このような処理によって、同一の制御対象機器に備えたＬＥＤを異なる色や発光パターンで発光させた状態で図６に示した紐付け処理を行う。図１２は、本第２の実施形態の制御端末装置１において操作する対象の同一の機器（制御対象機器）を区別する方法の一例を示した図である。図１２（ａ）は、図９（ａ）に示したエアコン２０ａに備えたＬＥＤを赤色に発光させた状態の一例を示し、図１２（ｂ）は、図９（ｂ）に示したエアコン２０ｂに備えたＬＥＤを緑色に発光させた状態の一例を示している。このように、同一の制御対象機器を撮影した際に、それぞれの制御対象機器が異なる状態であるようにすることによって、制御対象機器に対する仮の操作を実行することなくそれぞれの制御対象機器を容易に区別することができる。つまり、図６に示した紐付け処理において異なる状態の制御対象機器を撮影することができ、撮影した画像に含まれるＬＥＤの発光に基づいて制御対象機器を特定して、認識範囲情報１２３と操作情報１２２とを紐付けることができる。

上記に述べたとおり、本発明を実施するための形態によれば、制御端末装置１で撮影した画像に基づいて、それぞれの制御対象機器を特定し、特定した制御対象機器に対応する操作情報に基づいて、使用者によって入力された制御対象機器に対する操作の指示に応じた操作を行うことができる。これにより、本発明を実施するための形態では、使用者がそれぞれの制御対象機器を直感的に操作することができる。また、本発明を実施するための形態によれば、同一機種の制御対象機器が複数ある場合でも、それぞれの制御対象機器を区別して操作することができる。

なお、本実施形態では、ＤＬＮＡ（登録商標）の仕組みを使用して制御対象機器の操作情報の取得や操作を無線通信によって行う場合について説明したが、本実施形態の制御端末装置１において制御対象機器の操作情報の取得や操作を行う方法は、本実施形態で説明した方法に限定されるものではなく、他の通信方法においても同様に、本発明の考え方を適用することができる。つまり、本発明では、通信手段、通信方法、プロトコルに関して特に規定しない。

また、本実施形態では、制御端末装置１としてスマートフォンやタブレット端末などの情報端末を利用する場合について説明したが、制御端末装置１として利用する端末装置は、カメラなどの撮影機能を有し、制御対象機器の操作情報の取得や操作を行う機能を有している端末装置であれば、他のいかなる端末装置であっても同様に、本発明の考え方を適用して制御端末装置として利用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

本発明は、携帯電話、スマートフォン、タブレット端末、ウェアラブル端末などの情報端末装置を利用して実施することができる。

１・・・制御端末装置、１１・・・制御部（操作情報取得手段，制御対象機器特定手段，操作提示手段，操作信号送信手段）、１１１・・・画像認識部（制御対象機器特定手段）、１１２・・・画像合成部（操作提示手段）、１１３・・・操作情報取得部（操作情報取得手段，操作信号送信手段）、１１４・・・操作情報変換部（操作情報取得手段，操作信号送信手段）、１２・・・記憶部（制御対象機器特定手段）、１２１・・・画像データ、１２２・・・操作情報、１２３・・・認識範囲情報、１３・・・表示部（表示手段）、１４・・・入力部（入力手段）、１５・・・撮影部（撮影手段）、１５１・・・撮影装置（撮影手段）、１６・・・リモコン制御部（操作情報取得手段，操作信号送信手段）、１７・・・赤外線通信部（操作情報取得手段，操作信号送信手段）、１８・・・ネットワーク通信部（操作情報取得手段，操作信号送信手段）、１８１・・・アンテナ（操作情報取得手段，操作信号送信手段）、１０・・・冷蔵庫（制御対象機器）、２０，２０ａ，２０ｂ・・・エアコン（制御対象機器）、３０・・・テレビ（制御対象機器）、４０・・・ライト（制御対象機器）

Claims

操作する対象の制御対象機器を含む画像を撮影する撮影手段と、
前記制御対象機器に対して行うことができる操作の内容を表す情報を操作情報として取得する操作情報取得手段と、
前記画像に含まれる前記制御対象機器および該制御対象機器が設置されている周辺の状態を含む前記画像の範囲を認識範囲として設定し、前記認識範囲の情報と該認識範囲内に含まれる前記制御対象機器に対応する前記操作情報とを紐付ける制御対象機器特定手段と、
を備え、
前記制御対象機器特定手段は、
前記制御対象機器に対して前記操作情報に基づいた操作を仮に実行し、該実行した操作に対する前記制御対象機器からの反応に基づいて、前記認識範囲の情報と前記操作情報とを紐付ける、
制御端末装置。
入力手段からの入力によって選択された前記制御対象機器に対応する前記操作情報に応じたユーザーインターフェース画像を表示手段に表示された前記画像に重畳することによって、該制御対象機器に対して行うことができる操作を提示する操作提示手段と、
入力手段からの入力によって指示された前記制御対象機器に対する操作に応じて、該制御対象機器を操作するための操作コマンドを該制御対象機器に送信する操作信号送信手段と、
をさらに備える請求項１に記載の制御端末装置。
前記制御対象機器特定手段は、
前記認識範囲内の前記制御対象機器にそれぞれ付与された、前記制御対象機器を区別するための情報を含めて、前記認識範囲の情報と前記操作情報とを紐付ける、
請求項１または２に記載の制御端末装置。
前記制御対象機器特定手段は、
前記制御対象機器を区別するための異なる操作の内容を、それぞれの前記操作情報に追加し、該追加した操作の内容を実行したときの前記制御対象機器の動作に基づいて、前記認識範囲の情報と前記操作情報とを紐付ける、
請求項１または２に記載の制御端末装置。