以下、図面に基づいて各実施例を説明する。
(実施例1)
図1は、本発明の実施例1に係るリモート制御システムの構成を示す図である。本実施例のリモート制御システムは、少なくとも1台の端末装置と複数の電気機器を含む。
端末装置1は、無線通信機能を有しており、インターネット網から各種情報の送受信を行うことができる。更に、電気機器3のリモート制御を行う機能を有しており、ユーザは、端末装置1を用いて、例えば、図1に示す、照明機器3a、エアコン3b、映像表示装置3c、ディスク再生装置3dなどの電気機器3を、後記する無線ルータ4を介してリモート制御することができ、あるいは、無線ルータ4を介さずに直接リモート制御することができる。なお、リモート制御する電気機器として照明機器、エアコン等を例としたが、少なくとも一部の制御に電気を利用する機器であれば何でも良く、ガスストーブやガスコンロのようなガス機器、電気錠、自動車等でも良い。
リモートコントローラ(以降、「リモコン」と呼ぶ)2は、各電気機器3の専用の制御装置であり、赤外線などにより対応する電気機器のリモート制御を行うことができる。例えば、図1の通り、リモコン2aは照明機器3a専用のリモコン、リモコン2bはエアコン3b専用のリモコン、リモコン2cは映像表示装置3c専用のリモコン、リモコン2dはディスク再生装置3d専用のリモコンである。
照明機器3aは、端末装置1やリモコン2aからオン/オフや明るさ設定等ができる。エアコン3bは、端末装置1やリモコン2bからオン/オフ、モード設定や温度設定等ができる。映像表示装置3cは、端末装置1やリモコン2cからオン/オフ、チャンネル設定や音量設定等ができる。
なお、映像表示装置3cは映像コンテンツを受信して表示する装置であり、例えば、放送局から無線、あるいは、有線でテレビジョン信号を受信して、当該テレビジョン信号に基づく映像コンテンツを表示することができる。また、ユーザ等によって指定されたURL(Uniform Resource Locator)のインターネットコンテンツなど、無線ルータ4を介してネットワーク5から受信した映像コンテンツを表示することもできる。ディスク再生装置3dは、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu−ray Disc(登録商標))等から音声や映像を再生し、例えば映像表示装置3cに出力でき、或いは、端末装置1やリモコン2dから再生、停止、選曲等を行うことができる。
無線ルータ4は、Wi−Fi(Wireless Fidelity)などの無線LAN(Local Area Network)機能を備え、通信回線を経由してネットワーク5に接続できる。端末装置1や映像表示装置3cは、無線ルータ4に接続することによりインターネット網から映像コンテンツや各種情報を入手し、表示することができる。
図2は、本発明の実施例1に係る端末装置のハードウェア構成の一例を示す図である。
端末装置1は、携帯電話やスマートホン、タブレット端末、ナビゲーション装置等であっても良いし、PDA(Personal Digital Assistants)やノート型PC(Personal Computer)であっても良い。通信機能を備えた音楽プレーヤやデジタルカメラ、携帯型ゲーム機等、またはその他の携帯用デジタル機器であっても良い。また、通信可能なウェラブルなスマートウォッチ、スマートグラス等でも良い。以下では、端末装置1の一例として、スマートホンを例にとって説明するが、構成は各電子機器に応じて適宜追加・削除・変更可能である。
端末装置1は、例えば、CPU(Central Processing Unit)201、メモリ202、GPS(Global Positioning System)受信デバイス203、地磁気センサ204、加速度センサ205、ジャイロセンサ206、操作デバイス207、表示デバイス208、映像入力デバイス209、音声出力デバイス210、音声入力デバイス211、近距離通信デバイス212、LAN通信デバイス213、移動体通信デバイス214、気圧センサ215、温度センサ216等を適宜用いて構成され、各部がバス200を介して接続される。また、端末装置1は、アプリケーションプログラムをメモリ202に格納しており、CPU201が上記プログラムを実行することで各種機能を実現することができる。なお、各部は一体で構成されていても別体であっても構わない。
端末装置1の各部の制御は、CPU201が行う。CPU201は、任意の制御回路や、ASIC(Application Specific IC)等の専用回路でも良く、所定のプログラムに従って端末装置1全体を制御する。
メモリ202は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュROMなどにより構成され、端末装置1を制御するためのプログラム、地図情報などを格納する。
GPS受信デバイス203は、アンテナ、復号回路等を備え、衛星から電波を受信して端末装置1の地球上の位置情報を算出することができる全地球測位システムの受信デバイスである。
なお、基地局からGPS衛星の補正信号を受信し、GPS情報を補正するDGPS(Differential GPS)により、位置精度を高めることができる。また、地球同期軌道衛星からGPS互換信号、およびGPS補正信号を受信し、GPS情報を補完および補強する準天頂衛星システムQZSS(Quasi−Zenith Satellite System)により、位置精度、標高精度を更に高めることができる。
また、屋内GPS送信機からGPS衛星と互換性のある信号を受信し、位置情報を取得するIMES(Indoor MEssaging system)により、屋内外においてシームレスな測位が可能である。
地磁気センサ204、加速度センサ205、ジャイロセンサ206は端末装置1の筺体の姿勢や動きを検出するためのセンサ群であり、これらのセンサ群により、端末装置1の位置、方位、向き、傾き、動き等の各種情報を検出することが可能となる。
気圧センサ215は、例えばMEMS(Micro Electro Mechanical Systems)技術をベースにした圧力センサ等を利用して、端末装置1の周囲の気圧を計測する。CPU201は、気圧センサ215により検出した気圧を基に、現在位置での端末装置1の標高値を算出することができる。その他のセンサを更に備えていても良い。
温度センサ216は、端末装置1の周囲の温度を計測する。CPU201は、温度センサ部の温度情報を基に、表示部に周囲温度を表示したり、また気圧センサ215の温度依存特性を補正したり、計測した気圧の標高に対する温度特性などを補正することができる。その他のセンサを更に備えていても良い。
操作デバイス207は、例えばタッチパッドであり、ユーザによる操作を受け付け、当該操作に基づく指示をCPU201に伝える。
表示デバイス208は、例えば液晶パネルであり、各種情報を表示する。液晶パネルとタッチパッドを組み合わせて一体化したものは一般にタッチパネルと呼ばれ、本実施例でもタッチパネルを使用した例を記載している。
映像入力デバイス209は、例えばカメラであり、レンズから入力した光を電気信号に変換することにより周囲や対象物の画像データを入力することができる。
音声出力デバイス210は、例えばアンプとスピーカであり、各種音声を出力することができる。
音声入力デバイス211は、例えばマイクロフォンであり、ユーザの声などを音声データに変換して入力することができる。
近距離通信デバイス212は、例えばNFC(Near Field Communication)のような近距離無線通信を行い、他の近距離通信デバイスや電子タグと非接触で各種データの入出力を行うことができる。電子タグはICタグ、NFCタグとも呼ばれ、ICチップとデータ送受信用のアンテナが埋め込まれたタグであり、ICチップに書き込まれたデータの読み出しや書き込みを非接触で行うことができるものである。
LAN通信デバイス213は、例えばWi−Fiなどを使用して、無線ルータ4等を介してインターネット網から各種情報を入手することができる。また、無線ルータ4等を介して電気機器3に制御コマンド、ステータス等を送受信することにより、電気機器3をリモート制御することができる。また、例えばWi−Fi Direct、Bluetoothなどを使用して、無線ルータ4等を介さずに電気機器3と直接制御コマンド、ステータス等を送受信しても良い。更に、LAN通信デバイス213は、各地の無線ルータとの接続状況により、位置情報を算出することもできる。
移動体通信デバイス214は、移動体通信事業者の基地局6を介して、サーバ装置7から各種情報を入手することができる。
なお、近距離通信デバイス212、LAN通信デバイス213、移動体通信デバイス214等は、それぞれアンテナや符号回路、復号回路等を適宜備えるものとする。
図3は、本発明の実施例1に係る端末装置の機能ブロック図である。端末装置1の各機能ブロックは、例えば、図2に示す端末装置1が備えるCPU201により制御されて動作する。
制御部301は、アイコン抽出部322、アプリ起動部324、方位演算部325、方位比較部326、傾き演算部327、傾き比較部328を適宜用いて構成され、ユーザインタフェース部308からの指示に基づき、記憶部302、位置情報取得部303、高さ情報取得部309、筺体方位検出部305、筺体傾き検出部310、近距離無線通信部312、LAN通信部313、等を制御して、リモコン使用前の電気機器3の登録、リモコン使用時の電気機器3の選択、およびリモコン制御を行う。
ユーザインタフェース部308は、例えば、図2に示す表示デバイス208、音声出力デバイス210、等によりユーザに各種情報を示し、操作デバイス207、映像入力デバイス209、音声入力デバイス211、等からのユーザの指示を制御部301に伝える。
位置情報取得部303は、例えば、図2に示すGPS受信デバイス203、加速度センサ205、LAN通信デバイス213、等により位置情報を取得する。高さ情報取得部309は、例えば、図2に示す気圧センサ215、加速度センサ205、等により高さ情報を取得する。筺体方位検出部305は、例えば、図2に示す地磁気センサ204、ジャイロセンサ206、等により筺体の方位を検出する。筺体傾き検出部310は、例えば、図2に示すジャイロセンサ206、加速度センサ205、等により筺体の傾きを検出する。なお、その他のセンサを使用し、あるいは、併用して位置情報、高さ情報、方位、傾きを検出しても良い。
例えば、気圧センサ215、加速度センサ205等により高さ情報を取得する場合は周辺環境の影響を受けるため、例えば海面を基準とした標高値を精度良く求めることは難しい。しかし、本実施例においては、標高値を求めなくても、端末装置1と電気機器3との間の相対的な高さの違いを検出できれば良い。また、気圧をはじめとした周辺環境が変化する前と後で取得された二つの高さ情報については、いずれかの高さ情報を補正することにより、周辺環境の変化の影響を受けることなく相対的な高さの違いを検出することができる。したがって、本実施例における高さ情報取得部309は、必要とする高さ情報を検出することができる。なお、例えばエアコンの室内機のような電気機器は、床面に対する高さが2m程度である場合が多いので、高さ情報のデフォルト値として所定の値を電気機器3が有し、端末装置1に供給するようにしても良い。
近距離無線通信部312は、電気機器3に設けられた近距離無線通信部に近付けることで近距離無線通信を開始し、電気機器3と各種データの入出力を行うことができる。あるいは、NFCタグ等に近付けることで近距離無線通信を開始し、NFCタグから各種データの入力を行うことができる。
リモコン使用前に、制御部301は、電気機器3をリモート制御するために必要な情報を取得し、記憶部302に記録して登録する。まず、近距離無線通信部312を介して電気機器3の種類、型名、製造番号等を表す識別情報やアイコン(表示用画像)、リモコンアプリのURL等を取得し、記憶部302の識別情報リスト334、アイコンリスト332に記憶する。同時に、位置情報取得部303により電気機器3の位置情報を取得し、記憶部302の位置情報リスト331に記憶する。更に、高さ情報取得部309により電気機器3の高さ情報を取得し、記憶部302の高さ情報リスト335に記憶する。電気機器3の高さ情報を取得する際には、高さ情報リスト335から既に登録された電気機器3の高さ情報を読み出し、高さ情報取得部309をキャリブレーションすることで、登録済の電気機器3の高さ情報を基準とし、相対的な高さの違いを精度良く検出することができる。
なお、端末装置1がカメラを搭載している場合には、撮像画像を用いた既知の計測方法により端末装置1と対象となっている電気機器3との距離・方位から電気機器3の位置情報等を算出しても構わない。この場合、単眼カメラに限らず、ステレオカメラにより測定精度を高めた構成を用いても良い。
また、LAN通信部313を介してネットワーク5から前記URLに従ってリモコンアプリを取得し、記憶部302のアプリリスト333に記憶する。なお、リモコンアプリは電気機器3をリモート制御するためのアプリケーションソフトウェアである。また、記憶部302のリストには複数の電気機器3を登録することができ、各々の識別情報に関連付けて位置情報、高さ情報、アイコン、リモコンアプリ等を登録するものとする。
即ち、リモコン使用前に電気機器3をリモート制御するために必要な情報を登録する場合には、前記識別情報、アイコン、リモコンアプリのURL等を、近距離無線通信(NFC)を用いて取得する。電気機器3が端末装置1に対して近距離無線通信の困難な位置にある場合には、後記するような位置に置かれたNFCタグから取得する。これにより、LAN(Wi−Fi)を用いてユーザが各種情報を検索して取得する場合と比較して、各種情報の取得を容易にしている。なお、取得した位置情報や高さ情報等のリストは所定の操作により他の端末装置との間で送受信可能であり、これにより例えば家族の全員が各電気機器から情報を個別に取得する手間を省くことが可能となる。また、リモコンアプリを登録する際にも近距離無線通信を用いて直接取得する方法はあるが、ここではLANを用いることにより、大容量になりやすいリモコンアプリの登録を容易にしている。
リモコン使用時に、制御部301は、記憶部302に登録した電気機器3の中から、リモート制御する電気機器3を選択する。まず、位置情報取得部303により端末装置1の位置情報を取得し、方位演算部325により位置情報リスト331の中の全ての電気機器3の位置情報と比較し、方位(端末装置1から電気機器3への方位角)を算出する。同時に、高さ情報取得部309により高さ情報を取得し、傾き演算部327により高さ情報リスト335の中の全ての電気機器3の位置情報と比較し、傾き(端末装置1から電気機器3への仰角)を算出する。
次に、筺体方位検出部305により、端末装置1の筺体の方位を検出し、方位比較部326により、端末装置1から各々の電気機器3に向かう各々の方位と比較する。同時に、筺体傾き検出部310により、端末装置1の筺体の傾きを検出し、傾き比較部328により、端末装置1から各々の電気機器3に向かう各々の傾きと比較する。
次に、方位比較部326並びに傾き比較部328各々から出力される比較結果に基づき、アイコン抽出部322により、筺体の方位と傾きに一番近い方位と傾きの方向に位置する電気機器3のアイコンを、アイコンリスト332から抽出し、ユーザインタフェース部308に表示する。
そして、ユーザインタフェース部308に表示されたアイコンが、所望の電気機器3のアイコンであれば、ユーザは当該アイコンを選択し、アプリ起動部324は、アプリリスト333の中から当該アイコンに対応するリモコンアプリを起動する。ユーザインタフェース部308に表示されたアイコンが、所望の電気機器3のアイコンでなければ、所望の電気機器3のアイコンが表示されるように、ユーザは端末装置1の筺体の方位や傾きを変える。
このようにして、ユーザは端末装置1を用いて所望の電気機器3をリモート制御することができる。
図4は、本発明の実施例1に係る端末装置の高さ情報取得部の機能ブロック図である。高さ情報取得部309は、気圧情報検出部408と、高さ情報算出部405とを適宜用いて構成される。
気圧情報検出部408は、例えば、図2に示す気圧センサ215、温度センサ216等により端末装置1の周囲の気圧や温度等の気圧情報を計測し、高さ情報算出部405に送る。
高さ情報算出部405は、気圧情報検出部408にて検出した気圧情報により標高値を算出し、高さ情報リスト335に記憶された高さ情報によりキャリブレーションする。
図5は、本発明の実施例1に係る端末装置による電気機器の登録処理を示すフローチャートである。電気機器3のリモート制御を行う前に、端末装置1により当該電気機器3の登録を行う必要がある。このフローチャートは、ランチャーアプリにより端末装置1に電気機器3を登録する処理と、端末装置1をキャリブレーションする処理を示している。
なお、本実施例では、リモコンアプリを呼び出すためのアプリケーションソフトウェアを、リモコンアプリそのものと区別するためにランチャーアプリと呼ぶ。本実施例では、ランチャーアプリを介してリモコンアプリの登録、呼び出しを行うものとする。
本実施例では、ユーザが端末装置1を電気機器3に近付けるだけで登録処理を行うことができる。
ステップS501において、端末装置1は近距離無線通信部312により近距離無線通信の通信圏内に電気機器3が存在するか否かを確認する。通信圏内に電気機器3が存在する場合はランチャーアプリを起動し、電気機器3のリモート制御に必要な各種情報を入手し、当該電気機器3を端末装置1に登録する。
まず、ステップS502において、電気機器3の識別情報を確認する。
次に、ステップS503において、端末装置1は、当該電気機器3が記憶部302に格納されたリストに登録済か否かを確認する。識別情報リスト334に当該電気機器3の識別情報が存在すれば登録済であり、存在しなければ未登録である。当該電気機器3がリストに登録済の場合はステップS521に進み、登録済でない場合はステップS504に進む。
ステップS504において、位置情報取得部303、高さ情報取得部309により端末装置1の現在の位置情報と高さ情報を取得する。この時、当該電気機器3は端末装置1と近距離無線通信可能な通信圏内にあり、端末装置1と同様の位置にあるといえるため、取得した位置情報と高さ情報は当該電気機器3の位置情報と高さ情報となる。
次に、ステップS505において、端末装置1は当該電気機器3のリモコンアプリを取得する。リモコンアプリは当該電気機器3から直接取得する他、当該電気機器3が示すURL(Uniform Resource Locator)に従い、無線ルータ4、ネットワーク5を介して、インターネット網から取得しても良い。更に、製品情報等を取得しても良い。
次に、ステップS506において、リストに登録済の電気機器3があるか否かを確認する。登録済の電気機器3がある場合はステップS507に進み、ない場合はステップS514に進む。
ステップS507において、既に登録済の電気機器3に端末装置1を近付けるように指示し、ステップS508において、端末装置1は近距離無線通信の通信圏内に電気機器3の存在が確認できるまで待つ。通信圏内に電気機器3の存在が確認できたらステップS509に進み、端末装置1は識別情報を確認し、ステップS510において、当該電気機器3がリストに登録済か否かを確認する。リストに登録済の場合はステップS511に進み、未登録の場合はステップS507に戻り、処理を継続する。
ステップS511において、高さ情報リスト335から当該電気機器3の高さ情報を読み出し、ステップS512において、高さ情報取得部309の気圧情報検出部408により気圧情報を検出し、高さ情報算出部405により高さ情報を算出する。そして、高さ情報リスト335から読み出した高さ情報との差分を求め、この差分がなくなるように高さ情報取得部309の高さ情報算出部405をキャリブレーションする。
例えば、気圧センサにより高さ情報を取得する場合、気圧センサにより正確な気圧を測定できたとしても、日時、気温により気圧の高低があるため、正確な高さ情報を取得できない可能性がある。そこで、リストに登録された(過去に高さ情報を取得した)別の電気機器3の位置で気圧を測定して高さ情報を再取得し、その差分により補正すれば正確な高さ情報を取得することができる。
次に、ステップS513において、ステップS504にて取得した未登録の電気機器3の高さ情報を、ステップS512にて算出した差分値により補正する。
次に、ステップS514において、端末装置1は取得した当該電気機器3の識別情報、リモコンアプリ、位置情報、高さ情報、製品情報等を記憶部302のリストに登録して処理を終了する。
なお、電気機器3が照明やエアコンなど高所に設置されている場合、端末装置1を当該電気機器3に近付けることは困難であるため、電気機器3の代わりにNFCタグに近付けて電気機器3を登録しても良い。例えば、各種情報を記録したNFCタグシールを電気機器3の取扱説明書やリモコン2に貼り付けておき、当該電気機器3の直下で端末装置1をNFCタグに近付けて登録することが考えられる。NFCタグの場合は、端末装置1の高さ情報に例えば1m加算して電気機器3の高さ情報を登録するようにしても良い。
また、ステップS503において、当該電気機器3がリストに登録済の場合はステップS521、ステップS522に進み、ステップS511、ステップS512と同様に高さ情報取得部309の高さ情報算出部405をキャリブレーションし、処理を終了する。処理を終了せずに、当該電気機器3のリモコンアプリの起動を行っても良い。
このようにして、ユーザは端末装置1により電気機器3をリモート制御するための登録処理をすることができる。また、リモート制御する前にキャリブレーションすることができる。
図6は、図5に示す登録処理に再登録の確認処理を加えた変形例を示すフローチャートである。
ステップS601〜ステップS602については、ステップS501〜ステップS502と同様な処理であり、端末装置1はユーザに近付けられた電気機器3の識別情報を確認する。
次に、ステップS603において、端末装置1は、当該電気機器3が記憶部302に格納されたリストに登録済か否かを確認する。識別情報リスト334に当該電気機器3の識別情報が存在すれば登録済であり、存在しなければ未登録である。当該電気機器3がリストに登録済の場合はステップS623に進み、登録済でない場合はステップS604に進む。
ステップS623において、当該電気機器3をリストに再登録するか否かを確認する。リストに再登録する場合はステップS604に進み、位置情報、高さ情報等を登録し直す。リストに再登録する必要があるのは、例えば電気機器3の設置位置を移動した場合である。この際、ユーザインタフェース部308に再登録するか否かを問合せる表示を表示しても良く、当初よりユーザが再登録を目的にしている場合には再登録するためのモードを別途設け、当該モード時にはステップS604から開始するようにしても構わない。
ステップS604〜ステップS614については、ステップS504〜ステップS514と同様な処理であり、電気機器3のリモート制御に必要な各種情報を入手し、当該電気機器3を端末装置1に登録する。ステップS604〜ステップS614の詳細については、同様のステップS504〜ステップS514の説明を援用するものとして記載を省略する。
また、ステップS623において、当該電気機器3をリストに再登録しない場合はステップS621、ステップS622に進み、ステップS521、ステップS522と同様に高さ情報取得部309の高さ情報算出部405をキャリブレーションし、処理を終了する。なお、処理を終了せずに、当該電気機器3のリモコンアプリの起動を行っても良い。
このようにして、ユーザは端末装置1により電気機器3をリモート制御するための登録処理をすることができる。また、リモート制御する前にキャリブレーションすることができる。更に、電気機器3を移動した場合に、再び登録処理をすることができる。
図7は、本発明の実施例1に係る端末装置による電気機器の選択処理を示すフローチャートである。このフローチャートは、ランチャーアプリにより所望のリモコンアプリを選択する処理を示している。
ステップS701において、端末装置1は、リモコンランチャー起動ボタンがユーザにより押されるのを待つ。リモコンランチャー起動ボタンは例えば端末装置1のホームボタンのような物理的なスイッチを割り当てても良いし、タッチパネル上のアイコンを割り当てても良い。また、ウェラブルなスマートグラスなどの場合には音声により起動させるように構成しても良い。
図8Aおよび図8Bは、本発明の実施例1に係る端末装置のタッチパネルの表示例である。図8Aは、端末装置1のホーム画面の例であり、タッチパネル上に表示された各種アプリのアイコンの中に“リモコン”ランチャーアイコンが表示されている。ユーザがこのアイコンに触れることは、リモコンランチャー起動ボタンを押すことと同等である。なお、端末装置1が自宅内でのみ、図8Aのように“リモコン”ランチャーアイコンを表示し、自宅外では図8Bのように“リモコン”ランチャーアイコンを表示しないようにしても良い。こうすれば、ユーザが自宅外で誤って“リモコン”ランチャーアイコンに触れてリモコンのランチャーアプリを起動させることがない。あるいは、自宅外でも図8Aのように“リモコン”ランチャーアイコンを表示し、自宅外から電気機器3をリモート制御できるようにしても良い。端末装置1が自宅内か自宅外かは、例えば、端末装置1が無線ルータ4の通信圏内にあるか否かで確認できる。あるいは、GPS等に基づく位置情報からの確認も可能である。
リモコンランチャー起動ボタンが押されたら、制御部301はランチャーアプリを起動し、リモコンアプリを選択して起動する。
まず、ステップS702に進み、制御部301は位置情報取得部303、高さ情報取得部309により端末装置1の位置情報と高さ情報を取得する。取得した位置情報と高さ情報はリモコン起動ボタンが押されたタイミングでの端末装置1の現在位置と高さを示している。
次に、ステップS703において、端末装置1から登録された全ての電気機器3への方位と傾きを算出する。端末装置1から電気機器3への方位と傾きは、位置情報リスト331および高さ情報リスト335に登録された電気機器3の位置情報および高さ情報と、位置情報取得部303および高さ情報取得部309で取得された端末装置1の現在の位置情報および高さ情報により求められる。
例えば、緯度35.6586580、経度139.745433に映像表示装置3c1が設置され、緯度35.6586580、経度139.745423にエアコン3b1が設置されているとする。端末装置1が緯度35.6586570、経度139.745433にある時、上記のように配置された映像表示装置3c1とエアコン3b1の緯度が等しく、端末装置1と映像表示装置3c1の経度が等しいため、端末装置1から映像表示装置3c1への方位は北(方位角0°)、端末装置1からエアコン3b1への方位は北西(方位角315°)となる。また、端末装置1と映像表示装置3c1との距離は約1m、映像表示装置3c1とエアコン3b1との距離は約1m、端末装置1とエアコン3b1との距離は約1.4mである。
例えば、映像表示装置3c1が設置されている高さで端末装置1を保持し、エアコン3b1はそこから更に2.5m上に設置されているとすると、端末装置1から映像表示装置3c1への傾きは水平(仰角0°)、端末装置1からエアコン3b1への傾きは斜め上(仰角60°)となる。なお、ここでは、電気機器3として例示した照明機器3a等が所定の位置に配置された時照明機器3a1等と表記する。
次に、ステップS704において、筺体方位検出部305、筺体傾き検出部310により、端末装置1の筺体の方位と傾きを検出する。端末装置1はリモコン操作したい電気機器3に向けておく。
図9Aおよび図9Bは、本発明の実施例1に係る端末装置の筺体の方位と方位角、傾きと仰角を示す概念図である。図9Aは、端末装置1の筺体の方位と方位角を示す概念図であり、方位と方位角の関係は、北を0°とした時、北東が45°、東が90°、南東が135°、南が180°、南西が225°、西が270°、北西が315°となる。図9Bは、端末装置1の筺体の傾きと仰角を示す概念図であり、傾き(仰角)は、水平を0°とした時、垂直(真上)が90°、垂直(真下)が−90°となる。例えば、図9Bの斜め上30°の矢印の先に電気機器3が存在する場合は、端末装置1から電気機器3への傾き(仰角)は30°になり、端末装置1の筺体の傾き(仰角)が30°付近の時、電気機器3への傾き(仰角)と筺体の傾きが一致する。
次に、ステップS705において、高さ情報取得部をキャリブレーション済か否かで処理を切り換える。キャリブレーション済の場合は、ステップS706に進み、キャリブレーション未済の場合は、ステップS708に進む。
キャリブレーション済とは、例えば、前回キャリブレーションしてから予め定めた所定時間を経過していない場合、気圧や気温の変化が予め定めた値を超えていない場合、取得した高さ情報が正常である場合、等である。キャリブレーション未済とは、例えば、初めてキャリブレーションする場合、前回キャリブレーションしてから予め定めた所定時間を経過した場合、気圧や気温の変化が予め定めた値を超えた場合、取得した高さ情報が正常でない場合、等である。例えば、部屋の床の高さを0m、天井の高さを3mとした時、取得した高さ情報が0〜3mの範囲外であれば、正常な高さ情報ではないと判断できる。
高さ情報取得部をキャリブレーション済の場合は、ステップS706に進み、制御部301はステップS704で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。
例えば、図9Aの45°の矢印の先に電気機器3が存在する場合は、端末装置1から電気機器3への方位は北東(方位角45°)になり、端末装置1の筺体の方位が北東(方位角45°)付近の時、電気機器3への方位(方位角)が一致する。
なお、例えば、端末装置1から電気機器3への方位(方位角)をa、端末装置1から電気機器3への傾き(仰角)をc、端末装置1の筺体の方位(方位角)をb、筺体の傾き(仰角)をdとした時にX=(a−b)2+(c−d)2を算出し、Xが一番小さい電気機器3を求めることで、端末装置1の筺体の方位と傾きに一番近い電気機器3を特定できる。この時、方位の差分、あるいは、傾きの差分に重みを付け、方位と傾きのどちらかを優先しても良い。また、リモコンによる操作対象の履歴情報(日時情報等)を記録しておき、使用頻度の高い電気機器3を優先しても良く、例えば、朝・昼・夜など時間に応じた使用頻度に基づいて優先度を変更するようにしても構わない。
図10A乃至図10Dは、本発明の実施例1に係る端末装置のタッチパネルの表示例である。
図10Aは、端末装置1を照明機器3a1に向けた場合のタッチパネルの表示例である。タッチパネルには照明機器のアイコンが表示されており、端末装置1が向いている方位と傾きの方向に照明機器3a1が存在することを示している。
図10Bは、端末装置1をエアコン3b1に向けた場合のタッチパネルの表示例である。タッチパネルにはエアコンのアイコンが表示されており、端末装置1が向いている方位と傾きの方向にエアコン3b1が存在することを示している。
図10Cは、端末装置1を映像表示装置3c1に向けた場合のタッチパネルの表示例である。タッチパネルには映像表示装置のアイコンが表示されており、端末装置1が向いている方位と傾きの方向に映像表示装置3c1が存在することを示している。
図10Dは、端末装置1をディスク再生装置3d1に向けた場合のタッチパネルの表示例である。タッチパネルにはディスク再生装置のアイコンが表示されており、端末装置1が向いている方位と傾きの方向にディスク再生装置3d1が存在することを示している。
なお、ここではそれぞれのアイコンが画面の下方に表示された例を示しているがこれに限られるものではなく、上方や中央でも良く、重畳表示させるようにしても構わない。また、1つのアイコンのみ表示するだけでなく、アイコンの左右上下に方位や傾きが2番目に近い電気機器3のアイコンを更に表示しても良い。このように表示することで、所望の電気機器3のアイコンを見つけやすくなる。あるいは、一番近い電子機器3だけでなく、方位の差が所定の範囲内(例えば、方位角±45°)や、傾きの差が所定の範囲内(例えば、仰角±45°)の電気機器3のアイコンのみを上下左右に表示しても良い。あるいは、近い方位と傾きの電気機器3をいくつか表示しても良い。このように表示することで、全く異なる方向の電気機器3のアイコンを排除し、所望の電気機器3のアイコンを見つけやすくなる。
なお、ウェアラブルなスマートグラス等の場合でも、同様にアイコン表示しても良いが、特にスマートグラスの場合には、リモコン操作対象となる電気機器3にユーザの目が向いていることとなるため、単なる点滅表示などで向いている先の電気機器がリモコン操作対象候補であることを知らせたり、また、表示ではなく音声でリモコン操作対象候補となっている電気機器を知らせたりするようにしても構わない。
これらのタッチパネルに表示されたアイコンにタッチしたりまたは音声によりリモコン操作することを指示したりすることにより、所望の電気機器3のリモコンアプリを起動し、所望の電気機器3をリモート制御することができる。
図11、図12、図13は、本発明の実施例1に係る部屋の間取り図と端末装置、電気機器の配置の例を示す。図11A、図12A、図13Aは、部屋を真上から見た図、図11B、図12B、図13Bは、部屋を真横から見た図であり、部屋には照明機器3a1、エアコン3b1、映像表示装置3c1、ディスク再生装置3d1が設置されている。ユーザは、端末装置1によりこれらの電気機器3を選択し、リモコン操作を行う。
図11および図11Bと、図12および図12Bと、図13および図13Bとは、部屋の間取りと電気機器3の配置は同じであるが、端末装置1の位置(緯度、経度)や高さが異なる。図11Aおよび図11Bは、端末装置1が映像表示装置3c1の正面に位置する例であり、図12Aおよび図12Bは、端末装置1がディスク再生装置3d1の正面に位置する例である。図11Aおよび図11Bの場合と、図12Aおよび図12Bの場合とでは、端末装置1の位置(緯度、経度)は同じであるが高さが異なる。図11Aおよび図11Bの場合と、図13Aおよび図13Bの場合とでは、端末装置1の高さは同じであるが位置(緯度、経度)が異なる。
図11Aおよび図11Bでは、端末装置1から照明機器3a1への方位は南(方位角180°)、傾き(仰角)は60°、エアコン3b1への方位は北西(方位角315°)、傾き(仰角)は60°、映像表示装置3c1への方位は北(方位角0°)、傾き(仰角)は0°、ディスク再生装置3d1への方位は北(方位角0°)、傾き(仰角)は−30°である。
端末装置1をこの位置で操作する時、例えば、端末装置1の筺体の方位を南(方位角180°)付近、筺体の傾き(仰角)を60°付近にすると照明機器3a1を選択することができ、端末装置1の筺体の方位を北西(方位角315°)付近、筺体の傾き(仰角)を60°付近にするとエアコン3b1を選択することができる。また、端末装置1の筺体の方位を北(方位角0°)付近、筺体の傾き(仰角)を0°付近にすると映像表示装置3c1、筺体の傾き(仰角)を−30°付近にするとディスク再生装置3d1を選択することができる。
図12Aおよび図12Bでは、図11Aおよび図11Bと同様に端末装置1から照明機器3a1への方位は南(方位角180°)、傾き(仰角)は70°、エアコン3b1への方位は北西(方位角315°)、傾き(仰角)は70°、映像表示装置3c1への方位は北(方位角0°)、傾き(仰角)は30°、ディスク再生装置3d1への方位は北(方位角0°)、傾き(仰角)は0°である。
端末装置1をこの位置で操作する時、例えば、端末装置1の筺体の方位を南(方位角180°)付近、筺体の傾き(仰角)を70°付近にすると照明機器3a1を選択することができ、端末装置1の筺体の方位を北西(方位角315°)付近、筺体の傾き(仰角)を70°付近にするとエアコン3b1を選択することができる。また、端末装置1の筺体の方位を北(方位角0°)付近、筺体の傾き(仰角)を30°付近にすると映像表示装置3c1、筺体の傾き(仰角)を0°付近にするとディスク再生装置3d1を選択することができる。
図13Aおよび図13Bでは、端末装置1から照明機器3a1への方位は東南東(方位角120°)、傾き(仰角)は60°、エアコン3b1への方位は北(方位角0°)、傾き(仰角)は60°、映像表示装置3c1への方位は北東(方位角45°)、傾き(仰角)は0°、ディスク再生装置3d1への方位は北東(方位角45°)、傾き(仰角)は−30°である。
端末装置1をこの位置で操作する時、例えば、端末装置1の筺体の方位を東南東(方位角120°)付近、筺体の傾き(仰角)を60°付近にすると照明機器3a1を選択することができ、端末装置1の筺体の方位を北(方位角0°)付近、筺体の傾き(仰角)を60°付近にするとエアコン3b1を選択することができる。また、端末装置1の筺体の方位を北東(方位角45°)付近、筺体の傾き(仰角)を0°付近にすると映像表示装置3c1を選択することができ、筺体の傾き(仰角)を−30°付近にするとディスク再生装置3d1を選択することができる。
図7に戻ってフローチャートの説明を再開する。
次に、ステップS707において、ユーザによりリモコン操作する電気機器3が選択されたらステップS712に進み、選択されなければステップS702に戻り、処理を継続する。
ステップS705において、高さ情報取得部をキャリブレーション済でない場合は、ステップS708に進み、制御部301はステップS704で算出した方位が端末装置1の筺体の方位に近い(所定の範囲内の)電気機器3のアイコンをユーザインタフェース部308に高さ順に表示する。
図14A乃至図14Cは、本発明の実施例1に係る端末装置のタッチパネルの表示例である。
図14Aは、端末装置1を照明機器3a1に向けた場合のタッチパネルの表示例である。タッチパネルには照明機器のアイコンが表示されており、端末装置1が向いている方位の方向に照明機器3a1が存在することを示している。
図14Bは、端末装置1をエアコン3b1に向けた場合のタッチパネルの表示例である。タッチパネルにはエアコンのアイコンが表示されており、端末装置1が向いている方位にエアコン3b1が存在することを示している。
図14Cは、端末装置1を映像表示装置3c1、あるいは、ディスク再生装置3d1に向けた場合のタッチパネルの表示例である。タッチパネルには映像表示装置とディスク再生装置のアイコンが表示されており、端末装置1が向いている方位の方向に映像表示装置3c1とディスク再生装置3d1が存在することを示している。
タッチパネル上でこれらのアイコンにタッチして選択することにより、所望の電気機器3のリモコンアプリを起動し、所望の電気機器3をリモート制御することができる。このように、端末装置1の方位を変えると、それに応じてリモコン操作可能な対象のアイコンを順次切り替えて表示するような構成により、ユーザにとっての使い勝手を向上させることができる。
図11Aおよび図11B、図12Aおよび図12Bにおいて、端末装置1をこの位置で操作する時、例えば、端末装置1の筺体の方位を南(方位角180°)付近にすると、照明機器3a1を選択することができ、端末装置1の筺体の方位を北西(方位角315°)付近にするとエアコン3b1を選択することができる。また、端末装置1の筺体の方位を北(方位角0°)付近にすると映像表示装置3c1、あるいは、ディスク再生装置3d1を選択することができる。この時、筺体の傾き(仰角)は選択に影響を与えない。
ステップS709において、ユーザによりリモコン操作する電気機器3が選択されるとステップS710に進み、選択されなければステップS702に戻り、処理を継続する。
ステップS710において、選択された電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出する。
次に、ステップS711において、高さ情報取得部309の気圧情報検出部408により気圧情報を検出し、高さ情報算出部405により高さ情報を算出する。そして、逆算出した高さ情報との差分を求め、この差分がなくなるように高さ情報取得部309の高さ情報算出部405をキャリブレーションする。
ステップS712において、端末装置1は選択された電気機器3に対応するリモコンアプリを起動する。この時、起動したリモコンアプリに対して、必要に応じて電気機器3の情報を与える。例えば、複数の電気機器3に対応するリモコンアプリには、起動時に電気機器3の機種指定が必要なものがある。この場合は電気機器3の機種の情報を与える。
次に、ステップS713において、ユーザは電気機器3のリモコン操作を行うことができる。リモコン操作を終了したら処理を終了する。リモコン操作の終了は、例えば、端末装置1のホームボタンをユーザが押すことにより若しくは音声により指示することにより行う。なお、一旦ユーザによるリモコン操作を終了しても、操作対象の電気機器3がオンになっている場合には、例えば、テレビなどではチャンネルの変更等、リモコン操作が引続き実行されることが考えられるため、リモコンアプリを起動したままにしていても構わない。
このようにして、ユーザは端末装置1によるリモコン操作対象の電気機器3を絞り込み、リモート制御することができる。高さ情報取得部309をキャリブレーション済か否かで処理を切り換え、キャリブレーション済でない場合は、電気機器3を選択した際に端末装置1の高さ情報を算出し、キャリブレーションすることができる。キャリブレーション済の場合は、リモコン操作対象の電気機器3を更に絞り込むことができる。
なお、本実施例では端末装置1の筺体の姿勢(向き)を縦向きに使用する例を示したが、横向きでも同様に使用できる。
図15は、本発明の実施例1に係る端末装置のタッチパネルの表示例であり、選択された電気機器3のリモコンアプリを起動した際の表示例である。図15Aは、照明機器3aのリモコンアプリ、図15Bは、エアコン3bのリモコンアプリ、図15Cは、映像表示装置3cのリモコンアプリ、図15Dは、ディスク再生装置3d1のリモコンアプリが起動した際のタッチパネルの表示例である。
以上の構成により実施例1では、端末装置1は電気機器3をリモート制御するために必要な情報を事前に電気機器3から取得する。情報の取得は、例えば、近距離無線通信により行い、この時に端末装置1の機能を使って電気機器3の位置情報と高さ情報を取得する。端末装置1はこれらの情報を記憶部に記録して登録する。
そして、端末装置1はリモコンランチャー起動ボタンを押された際に、端末装置自身の位置情報と高さ情報を取得し、登録された電気機器3の位置情報により、各電気機器3への方位と傾きを算出する。これにより、端末装置1が新たな場所に移動された場合でも、新たな場所における各電気機器3への方位と傾きを知ることができる。
更に、端末装置1の筺体の方位と傾きに一番近い方位と傾きの電気機器3のアイコンを、端末装置1の表示デバイスに表示する。ユーザが端末装置1をリモコン操作したい電気機器3に向けることにより、複数の電気機器3の中から所望の電気機器のアイコンを素早く選択することができる。
もしも、端末装置1の高さ情報取得部がキャリブレーション済でない場合は、端末装置1の筺体の方位に近い方位の電気機器3のアイコンを、端末装置1の表示デバイスに表示する。ユーザが端末装置1をリモコン操作したい電気機器3に向けることにより、複数の電気機器3の中から所望の電気機器のアイコンを素早く選択することができる。
アイコンを選択すると、対応するリモコンアプリが起動し、所望の電気機器3をリモート制御することができる。更に、選択した電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出し、高さ情報取得部をキャリブレーションする。
以上述べたように、ユーザは簡易な操作で電気機器を制御することができ、使い勝手を改善した端末装置およびリモート制御方法が提供される。
(実施例2)
実施例2では実施例1に対し、端末装置1と電気機器3との距離を考慮してリモコン制御する対象となる電気機器3を選択する機能が追加されている。
図16は、本発明の実施例2に係る端末装置1の機能ブロック図である。端末装置1の各機能ブロックは、例えば、図2に示す端末装置1が備えるCPU201により制御されて動作する。
制御部341は、図3に示す制御部301に距離演算部342、表示切換部344を追加したものであり、ユーザインタフェース部308からの指示に基づき、記憶部302、位置情報取得部303、高さ情報取得部309、筺体方位検出部305、筺体傾き検出部310、近距離無線通信部312、LAN通信部313、更に追加した筺体姿勢検出部343、等を制御して、リモコン使用前の電気機器3の登録、リモコン使用時の電気機器3の選択、およびリモコン制御を行う。なお、図3と同様の構成はこれを援用するものとして適宜説明を省略する。
また、リモコン使用前の登録処理についても、図3に示す端末装置1の登録処理と同様であるため、これを援用するものとして説明を省略する。
リモコン使用時に、制御部341は、記憶部302に登録した電気機器3の中から、リモート制御する電気機器3を選択する。まず、位置情報取得部303により端末装置1の位置情報を取得し、方位演算部325により位置情報リスト331の中の全ての電気機器3の位置情報と比較し、方位(端末装置1から電気機器3への方位角)を算出し、更に距離演算部342により位置情報リスト331の中の全ての電気機器3の位置情報と比較し、距離(端末装置1と電気機器3と距離)を算出する。同時に、高さ情報取得部309により高さ情報を取得し、傾き演算部327により高さ情報リスト335の中の全ての電気機器3の位置情報と比較し、傾き(端末装置1から電気機器3への仰角)を算出する。
次に、筺体方位検出部305により、端末装置1の筺体の方位を検出し、方位比較部326により前記端末装置1から各々の電気機器3に向かう方位と比較する。同時に、筺体傾き検出部310により、端末装置1の筺体の傾きを検出し、傾き比較部328により前記端末装置1から各々の電気機器3に向かう傾きと比較する。次に、前記比較結果に基づき、アイコン抽出部322により、筺体の方位と傾きに一番近い方位と傾きの方向に位置する電気機器3のアイコンを、アイコンリスト332から抽出し、ユーザインタフェース部308に表示する。あるいは、前記比較結果と前記距離に基づき、アイコン抽出部322により、筺体の方位と傾きに一番近い方位と傾きの方向に位置し、かつ所定の距離内の電気機器3のアイコンを、アイコンリスト332から抽出し、ユーザインタフェース部308に表示する。表示は、筺体姿勢検出部343により端末装置1の筺体の姿勢(向き)を検出して、表示切換部344にて切り換える。
筺体姿勢検出部343は、加速度センサ205等により重力加速度を検出して、端末装置1の筺体の姿勢(向き)を検出する。ジャイロセンサ206を用いた傾き検出を併用しても良く、その他のセンサ類を使用して行っても良い。
図17Aおよび図17Bは、本発明の実施例2に係る端末装置の筺体の姿勢を示す概念図である。端末装置1の筺体の姿勢が、図17Aに例を示すような、縦向き(筺体の短辺端部が長辺端部よりも地表面に近い)か、あるいは、図17Bに例を示すような、横向き(筺体の長辺端部が短辺端部よりも地表面に近い)か、の検出を行う。なお、筺体の姿勢を検出する際は、筺体を必ずしも鉛直に保つ必要はないものとする。
もしも、高さ情報取得部309をキャリブレーションしていない場合は、端末装置1の筺体の方位に近い方位の電気機器3のアイコンを、端末装置1の表示デバイスに表示する。あるいは、端末装置1の筺体の方位に近く、かつ所定の距離内の電気機器3のアイコンを、端末装置1の表示デバイスに表示する。表示は筺体姿勢検出部343が検出した筺体姿勢により、表示切換部344にて切り換える。
そして、ユーザインタフェース部308に表示されたアイコンが、所望の電気機器3のアイコンであれば、ユーザは当該アイコンを選択し、ユーザは端末装置1を用いて所望の電気機器3をリモート制御することができる。ユーザが端末装置1をリモコン操作したい電気機器3に向けることにより、複数の電気機器3の中から所望の電気機器のアイコンを素早く選択することができる。
アイコンを選択すると、対応するリモコンアプリが起動し、所望の電気機器3をリモート制御することができる。
更に、高さ情報取得部309をキャリブレーションしていない場合は、選択した電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出し、高さ情報取得部309をキャリブレーションする。
図18は、本発明の実施例2に係る端末装置による電気機器の選択処理を示すフローチャートである。このフローチャートは、ランチャーアプリにより所望のリモコンアプリを選択する処理を示している。
ステップS1801〜ステップS1802については、図7のステップS701〜ステップS702と同様の処理であり、リモコンランチャー起動ボタンが押されたら、位置情報取得部303と高さ情報取得部309は、端末装置1の位置情報と高さ情報を取得する。
次に、ステップS1815において、距離演算部342は端末装置1と電気機器3との距離を算出する。端末装置1と電気機器3の距離は、登録された電気機器3の位置情報と現在の端末装置1の位置情報により求められる。
ステップS1803〜ステップS1804については、図7のステップS703〜ステップS704と同様の処理であり、方位演算部325と傾き演算部327は、端末装置1から電気機器3への方位と傾きを算出し、筐体方位検出部305と筐体傾き検出部310は、端末装置1の筺体の方位と傾きを検出する。
次に、ステップS1805において、高さ情報取得部をキャリブレーション済か否かで処理を切り換える。高さ情報取得部をキャリブレーション済の場合は、ステップS1816に進み、キャリブレーション済でない場合は、ステップS1818に進む。
高さ情報取得部をキャリブレーション済の場合は、ステップS1816に進み、ユーザインタフェース部308に表示する電気機器3のアイコンを、筺体の姿勢により切り換える。筺体の姿勢が横向きの場合は、ステップS1804で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。筺体の姿勢が縦向きの場合は、ステップS1804で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近く、かつステップS1815で算出した距離が予め定めた所定の距離A内の電気機器3のアイコンをユーザインタフェース部308に表示する。なお、所定の距離Aはユーザにより予め設定することも可能である。
次に、ステップS1807において、ユーザによりリモコン操作する電気機器3が選択されたらステップS1812に進み、選択されなければステップS1802に戻り、処理を継続する。
端末装置1のタッチパネルの表示例は、図10A乃至図10Dと同様である。ユーザがこれらのアイコンに触れることにより、所望の電気機器3のリモコンアプリを起動し、所望の電気機器3をリモート制御することができる。
図19は、本発明の実施例2に係る部屋の間取り図と端末装置、電気機器の配置の例を示す。端末装置1がある部屋には照明機器3a1、エアコン3b1、映像表示装置3c1、ディスク再生装置3d1が設置されており、これらの電気機器3は所定の距離A内に位置している。端末装置1の筺体が縦向きの時、ユーザは所定の距離A内の電気機器3の中から所望の電気機器3を選択し、リモコン操作を行う。
別の部屋には照明機器3a2、エアコン3b2が設置されているが、これらの電気機器3は所定の距離Aの外に位置しており、端末装置1の筺体が縦向きの時は、これらの電気機器3を選択することはできない。端末装置1の筺体が横向きの時は、ユーザは別の部屋の照明機器3a2、エアコン3b2も含め、全ての電気機器3の中から所望の電気機器3を選択することができる。
ステップS1805において、高さ情報取得部をキャリブレーション済でない場合は、ステップS1818に進み、ユーザインタフェース部308に表示する電気機器3のアイコンを、筺体の姿勢により切り換える。筺体の姿勢が横向きの場合は、ステップS1808に進み、ステップS1804で算出した方位が端末装置1の筺体の方位に一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。筺体の姿勢が縦向きの場合は、ステップS1809に進み、ステップS1804で算出した方位が端末装置1の筺体の方位に一番近く、かつステップS1815で算出した距離が予め定めた所定の距離A内の電気機器3のアイコンをユーザインタフェース部308に表示する。
ユーザがタッチパネル上でこれらのアイコンにタッチして選択することにより、所望の電気機器3のリモコンアプリを起動し、所望の電気機器3をリモート制御することができる。
図19において、端末装置1の筺体が縦向きの時、ユーザは所定の距離A内の電気機器3の中から所望の電気機器3を選択し、リモコン操作を行う。端末装置1の筺体が横向きの時は、ユーザは別の部屋の照明機器3a2、エアコン3b2も含め、全ての電気機器3の中から所望の電気機器3を選択することができる。
ステップS1809において、ユーザによりリモコン操作する電気機器3が選択されたらステップS1810に進み、選択されなければステップS1802に戻り、処理を継続する。
ステップS1810〜ステップS1811については、図7のステップS710〜ステップS711と同様の処理であり、選択された電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出し、気圧情報を検出し、高さ情報を算出する。そして、逆算出した高さ情報との差分を求め、この差分がなくなるように高さ情報取得部309をキャリブレーションする。
ステップS1805において、高さ情報取得部をキャリブレーション済である場合は、ステップS1816に進み、ユーザインタフェース部308に表示する電気機器3のアイコンを、筺体の姿勢により切り換える。筺体の姿勢が横向きの場合は、ステップS1807に進み、ステップS1804で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。筺体の姿勢が縦向きの場合は、ステップS1806に進み、ステップS1804で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近く、かつステップS1815で算出した距離が予め定めた所定の距離A内の電気機器3のアイコンをユーザインタフェース部308に表示する。
ステップS1807において、ユーザによりリモコン操作する電気機器3が選択されたらステップS1812に進み、選択されなければステップS1802に戻り、処理を継続する。
ステップS1812〜ステップS1813については、図7のステップS712〜ステップS713と同様の処理であり、ステップS1807、あるいは、ステップS1809で選択した電気機器3に対応するリモコンアプリを起動し、ユーザは電気機器3のリモコン操作を行うことができる。
このようにして、ユーザは端末装置1によるリモコン操作対象の電気機器3を絞り込み、リモート制御することができる。高さ情報取得部309をキャリブレーション済か否かで処理を切り換え、キャリブレーション済でない場合は、電気機器3を選択した際に端末装置1の高さ情報を算出し、キャリブレーションすることができる。キャリブレーション済の場合は、リモコン操作対象の電気機器3を更に絞り込むことができる。更に、筺体の向きが縦向きか横向きかで処理を切り換え、縦向きの場合は所定の距離内の電気機器3のみがリモコン操作対象となり、更に絞り込むことができる。
なお、ステップS1817、ステップS1819における所定の距離Aについては、例えば、電気機器3を設置している部屋の大きさを考慮して決めれば、部屋内の電気機器3のみをユーザインタフェース部308に表示することができる。また、位置情報に応じて所定の距離を変更しても良く、例えば、複数の部屋があり、各部屋の大きさが異なる場合でも、各部屋内の電気機器3のみを表示することができる。更に、リモコン起動ボタンが押された際に、例えば、登録されている一番近くのエアコン3b1までの距離から部屋の大きさを推定し、所定の距離Aを自動的に決定しても良い。また、電気機器3の登録時に設置されている部屋情報も登録し、端末装置1が存在する部屋に配置されている電気機器3のみを表示しても良い。また、電気機器3の専用のリモコン2の赤外線等の到達距離に合わせて、所定の距離Aを決定しても良い。
以上の構成により実施例2では、実施例1と同様の効果を得ることができる。
更に、端末装置1は筺体の向きを変えることにより、予め定めた所定の距離内の電気機器3のアイコンのみを表示デバイスに表示することができる。ある部屋で電気機器3の選択中に別の部屋等の離れた場所の電気機器3のアイコンを表示することがないため、複数の電気機器3のアイコンの中から所望の電気機器3のアイコンを素早く選択することができる。
(実施例3)
実施例3では実施例1に対し、端末装置1をリモコン操作したい電気機器3に向けても所望の電気機器3が表示されない場合に、所望の電気機器3を選択する機能が追加されている。
図20は、本発明の実施例3の端末装置による電気機器の選択処理を示すフローチャートである。このフローチャートは、ランチャーアプリにより所望のリモコンアプリを選択する処理を示している。
ステップS2001〜ステップS2004については、図7のステップS701〜ステップS704と同様の処理であり、リモコンランチャー起動ボタンが押されたら、位置情報取得部303と高さ情報取得部309は、端末装置1の位置情報と高さ情報を取得し、方位演算部325と傾き演算部327は、端末装置1から電気機器3への方位と傾きを算出し、筐体方位検出部305と筐体傾き検出部310は、端末装置1の筺体の方位と傾きを検出する。
次に、ステップS2006において、制御部301はステップS2004で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。
次に、ステップS2020において、ユーザが表示された電気機器3のアイコンをスワイプ操作したかどうかにより処理を切り換える。スワイプ操作とは、画面に触れた状態で指を滑らせる操作のことである。ステップS2004で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザがスワイプ操作した場合は、ステップS2021に進み、端末装置1の筺体の方位に一番近く、傾きが二番目に近い電気機器3のアイコンをユーザインタフェース部308に表示して、ステップS2009に進む。傾きがプラス方向、マイナス方向に電気機器3が存在する場合は、スワイプ操作した方向により、表示するアイコンを切り換える。
ユーザは、端末装置1をリモコン操作したい電気機器3に向けても所望の電気機器3が表示されず、別の電気機器3が表示された場合に、端末装置1の向きや傾きを変えずに、表示された電気機器3のアイコンをスワイプ操作して、所望の電気機器3のアイコンを表示させる。
ステップS2009において、ユーザによりリモコン操作する電気機器3が選択されたらステップS2010に進み、選択されなければステップS2002に戻り、処理を継続する。
ステップS2010〜ステップS2011については、図7のステップS710〜ステップS711と同様の処理であり、選択された電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出し、高さ情報取得部309をキャリブレーションする。更に、位置情報をキャリブレーションしても良い。
ステップS2020において、ユーザがスワイプ操作しなかった場合は、ステップS2007に進む。
ステップS2007において、ユーザによりリモコン操作する電気機器3が選択されたらステップS2012に進み、選択されなければステップS2002に戻り、処理を継続する。
ステップS2012〜ステップS2013については、図7のステップS712〜ステップS713と同様の処理であり、端末装置1は選択された電気機器3に対応するリモコンアプリを起動し、ユーザは電気機器3のリモコン操作を行うことができる。
このようにして、ユーザは端末装置1によるリモコン操作対象の電気機器3を絞り込み、リモート制御することができる。絞り込んだ電気機器3が所望の電気機器3でない場合は、スワイプ操作することで、所望の電気機器3を選択し、高さ情報取得部309をキャリブレーションすることができる。
以上の構成により実施例3では、実施例1と同様の効果を得ることができる。
更に、端末装置1をリモコン操作したい電気機器3に向けても所望の電気機器3が表示されず、別の電気機器3が表示された場合に、端末装置1の向きや傾きを変えずに、表示された電気機器3のアイコンをスワイプ操作して、所望の電気機器3のアイコンを表示させ、選択することができる。また、その際に、高さ情報取得部309をキャリブレーションすることができる。
(実施例4)
実施例4では実施例1に対し、端末装置1をリモコン操作したい電気機器3に向けても所望の電気機器3が表示されない場合に、所望の電気機器3を選択する機能が追加されている。ただし、その内容は第3の実施例とは異なっている。
図21は、本発明の実施例4に係る端末装置による電気機器の選択処理を示すフローチャートである。このフローチャートは、ランチャーアプリにより所望のリモコンアプリを選択する処理を示している。
ステップS2101〜ステップS2104については、図7のステップS701〜ステップS704と同様の処理であり、リモコンランチャー起動ボタンが押されたら、位置情報取得部303と高さ情報取得部309は、端末装置1の位置情報と高さ情報を取得し、方位演算部325と傾き演算部327は、端末装置1から電気機器3への方位と傾きを算出し、筐体方位検出部305と筐体傾き検出部310は、端末装置1の筺体の方位と傾きを検出する。
次に、ステップS2106において、制御部301はステップS2104で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。
次に、ステップS2120において、ユーザが表示された電気機器3のアイコンをロングタップ操作したかどうかにより処理を切り換える。ロングタップ操作とは、一定時間画面に触れてから離す操作のことである。タップに対して、いわゆる長押しに相当する。ステップS2104で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザがロングタップ操作した場合は、電気機器3を選択したままステップS2121に進み、位置情報取得部303と高さ情報取得部309は、端末装置1の位置情報と高さ情報を取得し、ステップS2122に進み、筐体方位検出部305と筐体傾き検出部310は、端末装置1の筺体の方位と傾きを検出する。
ステップS2123において、ロングタップ操作を終了した場合は、ステップS2110に進み、終了していない場合はステップS2121に戻り、処理を継続する。
ユーザは、端末装置1をリモコン操作したい電気機器3に向けても所望の電気機器3が表示されず、別の電気機器3が表示された場合に、端末装置1の向きや傾きを変えて、所望の電気機器3のアイコンを表示させ、ロングタップ操作する。そして、リモコン操作したい電気機器3に向けてからロングタップ操作を終了する。
ステップS2110〜ステップS2111については、図7のステップS710〜ステップS711と同様の処理であり、選択された電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出し、高さ情報取得部309をキャリブレーションする。更に、位置情報をキャリブレーションしても良い。
ステップS2120において、ユーザが表示された電気機器3のアイコンをロングタップ操作していない場合は、ステップS2107に進み、ユーザが表示された電気機器3のアイコンをタップ操作することにより電気機器3を選択したら、ステップS2112に進み、選択していなければステップS2102に戻り、処理を継続する。
ステップS2112〜ステップS2113については、図7のステップS712〜ステップS713と同様の処理であり、端末装置1は選択された電気機器3に対応するリモコンアプリを起動し、ユーザは電気機器3のリモコン操作を行うことができる。
このようにして、ユーザは端末装置1によるリモコン操作対象の電気機器3を絞り込み、リモート制御することができる。絞り込んだ電気機器3が所望の電気機器3でない場合は、ロングタップ操作することで、所望の電気機器3を選択し、高さ情報取得部309をキャリブレーションすることができる。
以上の構成により実施例4では、実施例1と同様の効果を得ることができる。
更に、端末装置1をリモコン操作したい電気機器3に向けても所望の電気機器3が表示さず、別の電気機器3が表示された場合に、端末装置1の向きや傾きを変えて、所望の電気機器3のアイコンを表示させ、ロングタップ操作して選択することができる。また、ロングタップ操作したままリモコン操作したい電気機器3に向け、ロングタップ操作を終了する際に、高さ情報取得部309をキャリブレーションすることができる。
(実施例5)
実施例5では実施例1に対し、端末装置1をリモコン操作したい電気機器3を選択した時に、筺体の傾きが小さい場合のみキャリブレーションする機能が追加されている。
図22は、本発明の実施例5に係る端末装置による電気機器の選択処理を示すフローチャートである。このフローチャートは、ランチャーアプリにより所望のリモコンアプリを選択する処理を示している。
ステップS2201〜ステップS2204については、図7のステップS701〜ステップS704と同様の処理であり、リモコンランチャー起動ボタンが押されたら、位置情報取得部303と高さ情報取得部309は、端末装置1の位置情報と高さ情報を取得し、方位演算部325と傾き演算部327は、端末装置1から電気機器3への方位と傾きを算出し、筐体方位検出部305と筐体傾き検出部310は、端末装置1の筺体の方位と傾きを検出する。
次に、ステップS2206において、制御部301はステップS2004で算出した方位と傾きが端末装置1の筺体の方位と傾きに一番近い電気機器3のアイコンをユーザインタフェース部308に表示する。
次に、ステップS2207において、ユーザによりリモコン操作する電気機器3が選択されたらステップS2215に進み、選択されなければステップS2202に戻り、処理を継続する。
ステップS2215において、端末装置1の筺体の傾きが所定の範囲内か否かで処理を切り換える。端末装置1の筺体の傾きが小さい時は、端末装置1の位置情報の精度が低い場合、あるいは、位置情報を得られない場合でも、精度良く高さ情報を算出することができる。
例えば、端末装置1の筺体の傾きが水平から所定の範囲内(例えば、±5°)の場合は、ステップS2210に進み、所定の範囲内でない場合は、ステップS2210、ステップS2211を経由せずにステップS2212に進む。
ステップS2210〜ステップS2211については、図7のステップS710〜ステップS711と同様の処理であり、選択された電気機器3の位置情報と高さ情報と、端末装置1の位置情報と筺体の傾き(仰角)から、端末装置1の高さ情報を逆算出し、高さ情報取得部309をキャリブレーションする。この時、選択した電気機器3との距離を固定値(例えば、2m)として高さ情報を算出する。更に、位置情報をキャリブレーションしても良い。
ステップS2212〜ステップS2213については、図7のステップS712〜ステップS713と同様の処理であり、端末装置1は選択された電気機器3に対応するリモコンアプリを起動し、ユーザは電気機器3のリモコン操作を行うことができる。
このようにして、ユーザは端末装置1によるリモコン操作対象の電気機器3を絞り込み、リモート制御することができる。所望の電気機器3を選択した際に、筺体の傾きが所定の範囲内の場合のみ、高さ情報取得部309をキャリブレーションすることができる。
以上の構成により実施例5では、実施例1と同様の効果を得ることができる。
更に、端末装置1をリモコン操作したい電気機器3を選択した時に、筺体の傾きが所定の範囲内の場合のみキャリブレーションする。端末装置1の位置情報の精度が低い場合、あるいは、位置情報を得られない場合でも、精度良く高さ情報を算出し、キャリブレーションすることができる。
なお、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。