JP5620287B2 - ユーザインターフェースを変更する携帯端末、方法及びプログラム - Google Patents

ユーザインターフェースを変更する携帯端末、方法及びプログラム Download PDF

Info

Publication number
JP5620287B2
JP5620287B2 JP2011010217A JP2011010217A JP5620287B2 JP 5620287 B2 JP5620287 B2 JP 5620287B2 JP 2011010217 A JP2011010217 A JP 2011010217A JP 2011010217 A JP2011010217 A JP 2011010217A JP 5620287 B2 JP5620287 B2 JP 5620287B2
Authority
JP
Japan
Prior art keywords
electrical appliance
mobile terminal
user interface
appliance
ssid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011010217A
Other languages
English (en)
Other versions
JP2012142907A (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2011010217A priority Critical patent/JP5620287B2/ja
Priority to KR1020110016398A priority patent/KR101204276B1/ko
Publication of JP2012142907A publication Critical patent/JP2012142907A/ja
Application granted granted Critical
Publication of JP5620287B2 publication Critical patent/JP5620287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/34Context aware guidance
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/91Remote control based on location and proximity
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/93Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Description

本発明は、ユーザインターフェースを変更する携帯端末、方法及びプログラムに関し、特に、携帯端末が電化製品の存在を認識して、その電化製品で使用されるユーザインターフェースに携帯端末のユーザインターフェースを変更する技術に関する。
従来より、携帯端末の位置情報を利用して、家庭内の電化製品を制御することが知られている。例えば、携帯端末のGPS(Global Positioning System)を利用して、携帯端末が家庭やオフィスに近づくのを検知すると、家庭内のエアコンやパソコンの電源をオンにすることが知られている(特許文献1)。
特開2001−231083号公報
しかしながら、単に、携帯端末が家に近づいているからといって、予め対応づけられている全ての家庭内の電化製品の電源をオンにすることは現実的ではない。すなわち、携帯端末を保持するユーザが、家に近づく時間や季節によって、制御してほしい電化製品の対象も変わってくる。さらに、携帯端末の位置に適切に反応するように、ピンポイントで電化製品を制御することが求められている。例えば、電化製品がテレビである場合は、ユーザがテレビの前にいる場合に、テレビのリモコンにユーザインターフェースが変わるような制御が行われることが望ましい。しかし、例えば、ユーザが、テレビの前ではなく、家に帰る途中で、携帯端末のユーザインターフェースがテレビリモコンに変わるのは、きめ細かい制御ができていると言い難い。
このような機能を実現すべく、ピンポイントでの携帯端末のユーザインターフェースの制御を行うには、GPSの精度では限界である場合も多い。また、位置情報のみに依存して、ユーザインターフェースを変更するのは、電化製品の置き場所が変更された際などに、最適なユーザインターフェースに変更できないといった課題もある。
本発明は、このような課題に鑑みて、ユーザが意図的にユーザインターフェースを変更させようとしなくても、ユーザが意図する、適切な電化製品のユーザインターフェースに、きめ細かに自動で変更することができる携帯端末、方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、周辺に存在する電化製品を撮影画像又は電波信号により認識する電化製品認識手段と、
前記電化製品に関連したアプリケーションであって、当該電化製品ごとに異なるユーザインターフェースを有するアプリケーションを起動して、当該携帯端末のメモリに常駐するアプリケーション常駐手段と、
前記電化製品認識手段が、所定の電化製品を認識した場合に、当該携帯端末の表示部及び入力部に表示するユーザインターフェースを、当該携帯端末を視認するユーザが視認できるように、前記アプリケーション常駐手段が前記メモリに常駐しているアプリケーションのうち、認識した前記所定の電化製品に対応するアプリケーションのユーザインターフェースに変更するユーザインターフェース変更手段と、を備える携帯端末、を提供する。
第1の特徴に係る発明によれば、携帯端末が、周辺に存在する電化製品を撮影画像又は電波信号により認識し、電化製品に関連したアプリケーションであって、当該電化製品ごとに異なるユーザインターフェースを有するアプリケーションを起動して、当該携帯端末のメモリに常駐する。そして、所定の電化製品を認識した場合に、携帯端末の表示部及び入力部に表示するユーザインターフェースを、携帯端末を視認するユーザが視認できるように、メモリに常駐しているアプリケーションのうち、認識した所定の電化製品に対応するアプリケーションのユーザインターフェースに変更する。
したがって、ユーザが意図的に電化製品に対応したユーザインターフェースをキー操作などで表示させようとしなくても、ユーザが意図すると想定される電化製品のユーザインターフェースに、表示および入力受付けを変更することができる携帯端末を提供することができる。
第1の特徴に係る発明は、発明のカテゴリにおいてユーザ端末のみならず、方法、プログラムにおいても同様の作用・効果を奏する。
第2の特徴に係る発明は、第1の特徴に係る発明であって、前記電化製品認識手段が、前記電化製品を、GPSの電波信号、SSIDの電波信号、近距離無線信号のいずれか少なくとも一つの信号を受信することにより認識する携帯端末、を提供する。
第2の特徴に係る発明によれば、携帯端末は、電化製品を、GPSの電波信号、SSIDの電波信号、近距離無線信号のいずれか少なくとも一つの信号を受信することにより認識する。
したがって、ユーザが意図的に電化製品に対応したユーザインターフェースをキー操作などで表示させようとしなくても、ユーザの位置情報(GPS)又はアクセスポイントであるSSIDに基づいて、ユーザが意図すると想定される電化製品のユーザインターフェースに、表示および入力受付けを変更することができる携帯端末を提供することができる。
第3の特徴に係る発明は、第1の特徴に係る発明であって、
前記電化製品の物理的な位置が位置情報として記憶されている記憶手段と、
当該携帯端末の上面が向いている方向を認識する方向認識手段と、
当該携帯端末の物理的な位置を決定する位置情報決定手段と、
前記位置情報が記憶されている電化製品のうち、当該携帯端末の上面方向の延長線上の経路に存在する電化製品を決定する対象物決定手段と、を備え、
前記ユーザインターフェース変更手段が、前記対象物決定手段が決定した電化製品に対応するアプリケーションのユーザインターフェースに変更する携帯端末、を提供する。
第3の特徴に係る発明によれば、電化製品の物理的な位置が位置情報として記憶されており、当該携帯端末の上面が向いている方向を認識し、当該携帯端末の物理的な位置を決定する。そして、位置情報が記憶されている電化製品のうち、当該携帯端末の上面方向の延長線上の経路に存在する電化製品を決定し、決定した電化製品に対応するアプリケーションのユーザインターフェースに変更する。
したがって、携帯端末がユーザによって向けられた方向に存在する電化製品のユーザインターフェースに、ユーザインターフェースを変更することが可能となる。例えば、携帯端末の周辺に、電化製品が複数存在する場合であっても、携帯端末の上面方向の経路に存在する一の電化製品のユーザインターフェースに変更することができる。
第4の特徴に係る発明は、第3の特徴に係る発明であって、前記方向認識手段は、二以上の位置認識部により認識された位置情報の差から、当該携帯端末の上面が向いている方向を認識する携帯端末、を提供する。
第4の特徴に係る発明によれば、携帯端末は、二以上の位置認識部により認識された位置情報の差から、当該携帯端末の上面が向いている方向を認識する。
したがって、位置認識部(GPSデバイス等)のみで、例えば、電子コンパスや傾斜センサを備えていなくても、携帯端末の上面が向いている方向を認識することが可能である。
第5の特徴に係る発明は、第3の特徴に係る発明であって、前記方向認識手段は、電子コンパス、傾斜センサの少なくとも一つにより当該携帯端末の上面が向いている方向を認識する携帯端末、を提供する。
第5の特徴に係る発明によれば、携帯端末は、電子コンパス、傾斜センサの少なくとも一つにより当該携帯端末の上面が向いている方向を認識する。
第6の特徴に係る発明は、第1の特徴に係る発明であって、無線電波の信号を受信することで、アクセスポイントであるSSIDを識別するSSID識別手段を備え、前記SSID識別手段が、所定のSSIDを識別した際にのみ、前記電化製品認識手段が、前記所定の電化製品が出力する近距離無線信号により電化製品を認識する処理を実行する携帯端末、を提供する。
第6の特徴に係る発明によれば、第1の特徴に係る発明であって、携帯端末は、無線電波の信号を受信することで、SSIDを識別し、所定のSSIDを識別した際にのみ、所定の電化製品が出力する近距離無線信号により電化製品を認識する。
したがって、携帯端末が所定のSSIDを認識した際、すなわち、携帯端末と対応づけられたSSIDの無線電波が受信できる範囲内であるときにのみ、ユーザインターフェースを変更することができる。例えば、自宅や自社に、携帯端末が位置するときにのみ、電化製品のユーザインターフェースに変更させることができる。
第7の特徴に係る発明は、第1の特徴に係る発明であって、前記電化製品認識手段が、当該携帯端末の筐体上面に備えられたカメラにより電化製品を撮影することで得られた撮影画像により、前記電化製品を認識する携帯端末を提供する。
したがって、この携帯端末をユーザが保持した際に、カメラが位置する筐体の上面は、ユーザが自然に保持した際のユーザの前方方向に面が向けられるため、電化製品100が撮影されやすい面となるからである。
第8の特徴に係る発明は、第7の特徴に係る発明であって、前記電化製品認識手段が、当該携帯端末のカメラにより当該電化製品を認識する際に、当該電化製品に付加されたマーカを撮影して得られた撮影画像により認識する携帯端末を提供する。
したがって、電化製品の認識にあたり、電化製品そのものを撮影するのではなく、マーカを撮影することで、電化製品を認識するため、認識率が高くなる可能性がある。すなわち、電化製品そのものを撮影しても、電化製品全体に対して撮影画像が撮影された部分や、電化製品の明暗、色合いなどで、認識率が低くなる可能性が高まるが、撮影対象が、2次元コードなどのマーカであれば、認識率を高める可能性がある。
第9の特徴に係る発明は、第1の特徴に係る発明であって、前記電化製品認識手段は、通信可能に接続されたサーバに、前記SSID識別手段により識別されたSSIDを送信し、当該SSIDと対応づけられたデータであって、電化製品を撮影画像又は電波信号により認識するためのデータを受信することで、前記電化製品の認識を実行する携帯端末を提供する。
したがって、携帯端末がサーバから受信したデータに基づいて、周辺に存在する電化製品を撮影画像又は電波信号により認識することができる。ここで、携帯端末は、SSIDをサーバに送信して、SSIDに対応づけられたデータを受信するため、携帯端末に、認識される可能性がある多くの電化製品を認識するためのデータを記憶しておく必要がなくなるとともに、SSIDに限定された電化製品のみを識別すればよく、識別率の向上と、識別するまでの時間が短縮できる可能性が高まる。
第10の特徴に係る発明は、第1の特徴に係る発明であって、前記電化製品認識手段は、二以上の電化製品を認識した際には、ユーザインターフェース変更手段は、認識した時点での日時に基づいて、前記所定の電化製品のうち一の電化製品に対応するアプリケーションのユーザインターフェースに変更する携帯端末を提供する。
したがって、ユーザが意図的に電化製品に対応したユーザインターフェースをキー操作などで表示させようとしなくても、認識した時点での日時に基づいて、ユーザが意図すると想定される電化製品のユーザインターフェースに、表示および入力受付けを変更することができる携帯端末を提供することができる。
第11の特徴に係る発明は、第1の特徴に係る発明であって、前記電化製品認識手段は、二以上の電化製品を認識した際には、前記ユーザインターフェース変更手段は、予め定められた優先順位に基づいて、前記所定の電化製品のうち一の電化製品に対応するアプリケーションのユーザインターフェースに変更する携帯端末を提供する。
したがって、二以上の電化製品を認識した場合であっても、予め定められた優先順位(過去の操作順や、携帯端末と電化製品の距離が短い順)に基づいて、ユーザインターフェースを変更することが可能となる。
本発明によれば、ユーザが意図的に携帯端末のユーザインターフェースを変更させようとしなくても、ユーザが意図する適切な電化製品のユーザインターフェースに変更することが可能である。
図1は、本発明の好適な実施形態に係るUI変更システム1の全体図である。 図2は、第1基本処理の携帯端末10の機能ブロック図である。 図3は、携帯端末10が実行する第1基本処理フローを示す図である。 図4は、携帯端末10が記憶するUI位置対応テーブルを示す図である。 図5は、携帯端末10の上面が向いている方向を示す模式図である。 図6は、第2基本処理の携帯端末10の機能ブロック図である。 図7は、携帯端末10が実行する第2基本処理フローを示す図である。 図8は、携帯端末10に表示されるユーザインターフェースの画面表示例を示す図である。 図9は、携帯端末10が備えるカメラの位置を示す図である。 図10は、携帯端末10が記憶するUI対応テーブル1を示す図である。 図11は、携帯端末10が記憶するUI対応テーブル2を示す図である。 図12は、携帯端末10が記憶するUI対応テーブル3を示す図である。 図13は、携帯端末10が記憶するUI対応テーブル4を示す図である。 図14は、電化製品100aを画像により認識する際の撮影領域を示す図である。 図15は、電化製品100aを画像により認識する際のマークによる撮影領域を示す図である。 図16は、携帯端末10が記憶するUI対応テーブル5を示す図である。 図17は、携帯端末10が記憶するUI対応テーブル6を示す図である。 図18は、携帯端末10が記憶するUI対応テーブル7を示す図である。 図19は、携帯端末10が実行する第3基本処理フローを示す図である。 図20は、携帯端末10が記憶する、優先順位と対応づけられたUI対応テーブル8を示す図である。 図21は、携帯端末10に表示されるユーザインターフェースの画面表示例を示す図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[UI変更システムの説明]
図1は、好適な実施形態であるUI変更システム1を示す全体図である。UI変更システム1は、携帯端末10と、電化製品100a〜c(以下、単に、「100」とする)と、無線電波の信号を発信する無線機50とから構成される。
図1の携帯端末10に示すように、例えば、携帯端末10を、電化製品100bの周辺に、ユーザが持って行ったときに、携帯端末10の表示部に表示されているユーザインターフェースが、電化製品100bのためのユーザインターフェースに変更される。
電化製品100は、携帯電話、携帯情報端末、コンピュータ(パソコン)、テレビ100a、電話機に加えて、スマートフォン、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ、オーディオコンポ、コンテンツ再生・録画プレーヤ、プリンタ、FAX機、コピー機、スキャナ機、MFP(多機能周辺装置、多機能プリンタ)100c等の情報家電もしくは、冷蔵庫100b、洗濯機、電子レンジ、警備ドア、炊飯器等の家庭電化製品であってよい。なお、電化製品100は、NFC(Near Field Communication)タグであってもよい。
電化製品100は、近距離無線通信規格であるBluetooth準拠等の電波信号を送受信(出入力)可能であることが望ましい。この例では、テレビ100a、MFP100cは、Bluetoothの電波信号を送受信可能なデバイスを有するとして、冷蔵庫100bは、これを有していない。
無線機50は、IEEE802.11準拠等の無線LAN(Local Area Network)の電波信号を、電化製品100と携帯端末10から受信して、これらの端末を相互に通信可能にしたり、公衆回線網であるインターネット網に接続する機能を有する。無線機50ごとに、固有のSSID(Service Set Identifier)を有する。SSIDとは、無線LANのアクセスポイントの識別子である。
携帯端末10は、例えば、携帯電話、携帯情報端末、コンピュータ(パソコン)、テレビ、電話機の子機に加えて、スマートフォン、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ、リモコン、電子辞書等の情報家電であってもよい。
図2に示すように、携帯端末10は、制御部21として、CPU(Central Processing Unit)等の中央演算処理装置と、RAM(Random Access Memory),ROM(Read Only Memory)等のメモリを備える。さらに、通信部として、有線・無線対応通信デバイスの一部であるIEEE802.11等の無線LANデバイス24を備える。
携帯端末10は、GPS(Global Positioning System)信号を受信し、携帯端末10の物理的な位置を決定するGPSデバイスを備えていてもよい。ここで、後述するように、携帯端末10の方向を認識するため、携帯端末10の表面の離れた位置に、複数のデバイス(図2では、第一GPSデバイス22、第二GPSデバイス23)が配置されてもよい。また、携帯端末10の傾斜の程度を検知する傾斜センサ25を備えていてもよい。また、電子コンパス機能を実現するための地磁気センサ26を備えていてもよい。GPSデバイス、傾斜センサ25、地磁気センサ26は、単独で動作してもよいが、方向認識の精度を向上させるために、これらが協働で用いられてもよい。
なお、携帯端末10は、通信部として、Bluetooth準拠の無線デバイスを備えていてもよい。さらに、記憶部として、SSD(Solid State Drive)等を備えてもよい。さらに、画像を表示する液晶モニタ等の表示部と、ユーザからの入力を受付けるタッチパネル等の入力部を備える。携帯端末10は、電化製品100や、後述する機種名、マーカを撮影するカメラを備えてよい。
携帯端末10の制御部は、所定のアプリケーション・プログラム(以下、単に「アプリケーション」とする)が実行可能であり、アプリケーションを起動し、携帯端末10のメモリに常駐することができる。以下の説明では、アプリケーションとは、電化製品100の種類に依存せず、統合された一のアプリケーションであって、電化製品100の種類に応じて、ユーザインターフェースを変更するアプリケーションであるとして説明する。すなわち、一のアプリケーションが、電化製品100ごとに異なるユーザインターフェースを有するとする。しかし、電化製品100の種類によって異なる複数のアプリケーションが常駐し、所定の条件で対応するアプリケーションに切替わることで、ユーザインターフェースが変更される場合であってもよい。
アプリケーションの用途は、例えば、図8に示すように、テレビ100aのアプリケーションであれば、テレビをリモートコントロールする(チャンネルを切替るリモコン)用途のアプリケーションであり、冷蔵庫100bのアプリケーションであれば、冷蔵庫100bの設定を確認するアプリケーションや、説明書の一覧、故障問い合わせ、冷蔵庫のリモコン操作のためのアプリケーションであってよい。
[第1基本処理のフローチャート]
この処理においては、携帯端末10は、電化製品認識手段と、アプリケーション常駐手段と、ユーザインターフェース変更手段と、物理的な位置が位置情報として記憶されている記憶手段と、方向認識手段と、位置情報決定手段と、対象物決定手段と、を備える。これらの手段は、上述の制御部、通信部、記憶部、表示部、入力部のハードウェアの協働により実現される。各手段の機能については、下記のフローチャートで説明する。
図3は、携帯端末10が実行する第1基本処理のフローチャートである。最初に、携帯端末10のアプリケーション常駐手段12が、アプリケーションを起動し、携帯端末10のメモリにアプリケーションを常駐させる(ステップS10)。
携帯端末10の電化製品認識手段は、無線LANによるSSIDを認識したか判断する(ステップS11)。例えば、携帯端末10が、家庭やオフィスに設置された無線機50が発する無線LANの電波信号を受信して、SSIDを認識したかを判断する。
無線LANによるSSIDを認識した場合(ステップS11:「YES」)には、電化製品認識手段は、受信したSSIDに対応する電化製品一覧のテーブルを読み出す(ステップS12)。電化製品一覧のテーブルは、SSIDと、このSSIDを有するLANにおいて接続可能となる一以上の電化製品100が対応付けられたテーブルである。このテーブルは、携帯端末10の記憶部に記憶されているか、携帯端末10と通信可能なサーバに要求してテーブルを受信したり、結果となる電化製品一覧のデータのみを携帯端末10が受信して読み出してもよい。無線LANによるSSIDを認識しない場合(ステップS11:「NO」)は、処理を戻す。
次に、携帯端末10の方向認識手段は、携帯端末10の上面が向いている方向(a,b,c)を認識する処理を行う(ステップS13)。携帯端末10の上面とは、図9の(X)が示す面であり、携帯端末10の筐体の六面体又はこれに相当する立体の面を、上面、下面、表面、裏面、右側面、左側面として、表面に携帯端末の表示部、入力部があるとし、表示部に表示される文字を、ユーザが自然に読める文字の方向において、文字の上下方向の上の面が上面である。
図5に示すように、携帯端末10の上面が向いている方向(Xのマイナス方向)を、電子コンパスとして機能する地磁気センサ26、傾斜センサ25等で認識する。また、第一GPSデバイス22と第二GPSデバイス23との、位置情報の差から方向を認識してもよい。例えば、第一GPSデバイス22が携帯端末10の上部に位置し、第二GPSデバイス23が携帯端末10の下部に位置(両者が離れている)し、かつ、両者が同一平面上に位置している場合には、それぞれGPSデバイスにより検出された位置座標(経度、緯度、高さ)を結ぶ方向ベクトルに基づいて、携帯端末10の上面が向いている方向を認識することが可能である。
次に、対象物決定手段は、方向認識手段が決定した方向から決定される延長経路を決定する(ステップS14)。まず、位置情報決定手段が携帯端末10の物理的な位置を第一GPSデバイス22又は第二GPSデバイス23(又は両者)により決定する。図5の例では、(X0、Y0、Z0)である。(X0、Y0、Z0)は、方向認識手段が決定した方向(a,b,c)と平行であって、携帯端末10の上面の当該方向と直角の線において二等分線上の点であってよいし、携帯端末10の重心であってもよい。
そして、対象物決定手段は、(X0、Y0、Z0)を通り、方向認識手段が決定した方向(傾きが、a,b,c)を有する、3次元直線方程式:a(X―X0)+b(Y―Y0)+c(Z―Z0)=0を生成することで、延長経路を決定する。
次に、対象物決定手段は、先に読みだした電化製品一覧のテーブル内の電化製品100の位置情報を読み出す(ステップS15)。例えば、図4に示すように、UI位置対応テーブルが携帯端末10に記憶されており、対応する電化製品機種名の位置情報を読み出す。ここで、電化製品100の位置情報は、一箇所の点ではなく、(X1〜X2,Y1〜Y2,Z1〜Z3)のように、電化製品100の大きさにあわせて、広がりを持った平面(エリア)としている。
位置情報を読み出すと、対象物決定手段は、携帯端末10の上面方向の延長線上の経路に電化製品100が存在するか判断する(ステップS16)。すなわち、対象物決定手段は、生成した3次元直線方程式と、電化製品の位置エリア(X1〜X2,Y1〜Y2,Z1〜Z3)が交差するか否かを判断することで、該当する電化製品100が存在するか判断する。
携帯端末10の上面方向の延長線上の経路に電化製品100が存在すると判断した場合(ステップS16:「YES」)には、対象物となる電化製品100を決定し、携帯端末10のユーザインターフェース変更手段13は、認識された電化製品100のユーザインターフェースの名前から、対応するユーザインターフェースを選択する(ステップS19)。例えば、位置エリアとして、(X1〜X2,Y1〜Y2,Z1〜Z3)が交差すると判断した場合には、電化製品機種名として、「TV−100」が存在すると判断し、ユーザインターフェースの名前として、「TV−100用UI」を選択する。
携帯端末10の上面方向の延長線上の経路に電化製品100が存在しないと判断した場合(ステップS16:「NO」)には、ユーザが的外れな方向に、携帯端末10を向けていると考えられる。この場合は、先に読みだした電化製品一覧のテーブル内の電化製品100のためのユーザインターフェースを選択させる画面(例えば、図21)を表示し、電化製品100のユーザインターフェースをユーザから手動で受付ける(ステップS18)。ユーザからの入力により、携帯端末10は、そのユーザインターフェースを選択する。
いずれにおいても、携帯端末10が、ユーザインターフェースを選択する(ステップS16)と、ユーザインターフェース変更手段は、このユーザインターフェースを、ユーザが優先的に視認できるように、ユーザインターフェースを変更する(ステップS20)。例えば、携帯端末10のメモリには、TV―100用のアプリケーションと、RZ−001用のアプリケーションと、メールのアプリケーションが常駐しているとする。この場合に、ユーザインターフェースの名前として、「TV−100用UI」が選択されたならば、TV―100用のアプリケーションのユーザインターフェースが、ユーザにとって容易に視認可能になるように、表示される。
なお、第1基本処理において、ステップS11の処理は、携帯端末10がSSIDを認識する処理であるが、携帯端末10がGPS機能により、所定のエリアに位置したことを認識する処理であってもよい。この場合には、ユーザが指定する所定のエリア(家庭内、会社内など)と、ここで認識すべき電化製品100が、電化製品一覧の対応テーブルとして対応付けられている。携帯端末10が、所定のエリアに位置すると、このエリアにおいて、認識すべき一以上の電化製品100が電化製品一覧の対応テーブルから読み出される。
[第2基本処理のフローチャート]
この処理においては、図6に示すように、携帯端末10は、電化製品認識手段11と、アプリケーション常駐手段12と、ユーザインターフェース変更手段13と、SSID識別手段14を備える。これらの手段は、上述の制御部、通信部、記憶部、表示部、入力部のハードウェアの協働により実現される。各手段の機能については、下記のフローチャートで説明する。
図7は、携帯端末10が実行する第2基本処理のフローチャートである。最初に、携帯端末10のアプリケーション常駐手段12が、アプリケーションを起動し、携帯端末10のメモリにアプリケーションを常駐させる(ステップS100)。
次に、携帯端末10のSSID識別手段14が、無線LANによるSSIDを認識したか判断する(ステップS110)。例えば、携帯端末10が、家庭やオフィスに設置された無線機50が発する無線LANの電波信号を受信して、SSIDを認識したかを判断する。この無線機50のSSIDを認識した際に、携帯端末10は、GPS機能を有していなくとも、家庭やオフィスに居ることを認識することができる。
携帯端末10のSSID識別手段14が、無線LANによるSSIDを認識した場合(ステップS110:「YES」)は、SSIDのフラグをオン(ステップS120)として、携帯端末10の無線通信を可能とする。携帯端末10のSSID識別手段14が、無線LANによるSSIDを認識しない場合(ステップS110:「NO」)は、ステップS110をループする。
本処理は、以下の理由により設けられている。例えば、ユーザの家庭やオフィスでない場所の電化製品100のユーザインターフェースが、そのユーザの携帯端末10に表示されることは、望ましくない場合が多い。なぜなら、電化製品100の設定を変更するためのユーザインターフェースを無関係の者に操作可能としてしまうからである。したがって、SSIDをセキュリティ認証として使用するべく、ステップS110の処理が設けられている。
次に、電化製品認識手段11が、Bluetooth等の近距離通信の電波信号を受信することで、電化製品100の存在を認識したか否かを判断する(ステップS130)。例えば、ユーザが携帯端末10をテレビ100aやMFP100cの周辺に持参した場合である。テレビ100aやMFP100cの電化製品100は、近距離通信の電波信号を出力している。この電波到達範囲に、携帯端末10が位置した際には、携帯端末10の電化製品認識手段11が、電波信号を受信して、自らも受信した近距離通信に対応する電波信号を送信する。そして、所定のプロトコルにより、携帯端末10と電化製品100が通信を開始することで、携帯端末10が電化製品100を認識する。
例えば、図10に示すように、近距離通信にて受信した電波の種類と、電化製品の機種名及び、ユーザインターフェースの名前がUI対応テーブル1として対応づけられており、このUI対応テーブル1が携帯端末10に記憶されているとする。この場合に、電化製品100の受信電波として、機器ID「PIN番号555」を受信した場合は、電化製品100の機種名が、「TV−100」であると認識する。
電化製品認識手段11が、電化製品100を認識した場合(ステップS130:「YES」)には、ステップS150に処理を移す。電化製品認識手段11が、電化製品100を認識しない場合(ステップS130:「NO」)には、ステップS140に処理を移す。
次に、電化製品認識手段11は、携帯端末10のカメラを起動し、撮影された画像(撮影画像)により、電化製品100を認識したか否かを判断する(ステップS140)。
例えば、図11に示すように、撮影画像の種類と、電化製品の機種名及び、ユーザインターフェースの名前がUI対応テーブル2として対応づけられており、このUI対応テーブル2が携帯端末10に記憶されているとする。この場合に、携帯端末10のカメラに、撮影画像と同一又は類似した画像が撮影されるとする。この場合に、周知の画像判別のアルゴリズムにより、撮影画像と同一の電化製品100が撮影されているか否かを判断する。撮影画像と同一の電化製品100が撮影されている場合には、図11のUI対応テーブル2と対比させて、電化製品100の機種名が、「TV−100」等であると認識する。
図14に示すように、テレビ100aの撮影範囲として、撮影範囲70のように、テレビ100aの全体を撮影して、テレビ100aを認識してもよいが、機種名の部分である「TV−100」72が、撮影範囲71となって、テレビ100aを認識してもよい。
この場合は、図12に示すように、撮影により認識される文字の種類(認識文字)と、電化製品の機種名及び、ユーザインターフェースの名前がUI対応テーブル3として対応づけられており、このUI対応テーブル3が携帯端末10に記憶されているとする。カメラにて撮影された撮影画像から、文字が認識されて、対応する認識文字となる。なお、認識文字は、機種名のみならず、メーカ名を含んでいてもよいし、シリアル番号、MAC(Media Access Control)アドレス、IPアドレス、電化製品100に付加されている任意の文字であってよい。
さらに、図15に示すように、認識される部分73が、マーカ74であってよい。マーカとは、文字として認識できない図形、記号、画像等であって、図15では、QRコードであるが、このような2次元コードであってもよい。この場合も同様に、撮影により認識されるマーカの種類と、電化製品の機種名及び、ユーザインターフェースの名前がテーブルとして対応づけられており、このテーブルが携帯端末10に記憶されている。
電化製品認識手段11が、撮影画像により、電化製品100を認識した場合(ステップS140:「YES」)には、ステップS150に処理を移す。電化製品認識手段11が、撮影画像により、電化製品100を認識しない場合(ステップS140:「NO」)には、ステップS110に処理を移す。この場合は、電化製品100が携帯端末10の周辺に存在しないということになるので、ステップS110からS140の処理を繰り返す。
次に、携帯端末10のユーザインターフェース変更手段13は、認識された電化製品100のユーザインターフェースの名前から、対応するユーザインターフェースを選択する(ステップS150)。例えば、電化製品機種名として、「TV−100」が認識されると、ユーザインターフェースの名前として、「TV−100用UI」を選択する。
ユーザインターフェースを選択する(ステップS150)と、ユーザインターフェース変更手段13は、このユーザインターフェースを、ユーザが優先的に視認できるように、ユーザインターフェースを変更する(ステップS160)。例えば、携帯端末10のメモリには、TV―100用のアプリケーションと、RZ−001用のアプリケーションと、メールのアプリケーションが常駐しているとする。この場合に、ユーザインターフェースの名前として、「TV−100用UI」が選択されたならば、TV―100用のアプリケーションのユーザインターフェースが、ユーザにとって容易に視認可能になるように、表示される。
ユーザが、変更されたユーザインターフェースを優先的に視認できるとは、この時点で、ユーザが携帯端末10の表示部を見ると、容易に、変更されたユーザインターフェースを視認できる状態である(例えば、図8のように)。
図9は、携帯端末10のカメラの位置を示す図である。一例として、携帯端末10を電化製品100のリモコンのように使用する場合が考えられる。この場合には、(X)の方向から携帯端末10を見たときに明らかとなるが、携帯端末10の筐体の上面(六面体を、上面、下面、表面、裏面、右側面、左側面として、表面に携帯端末の表示部、入力部があるとする。上面の「上」とは、表示部に表示される文字を自然に読める文字の方向において、文字の上部を上とする)に、カメラ200を取り付けることが好適な実施形態である。というのも、携帯端末10をユーザが保持した際に、カメラ200が位置する筐体の上面は、表示部および入力部と略垂直で、かつ、ユーザが自然に保持した際のユーザの前方方向に面が向けられるため、電化製品100が撮影されやすい面となるからである。
[他の実施例]
SSIDと、このSSIDを有するLAN内に接続される電化製品100の機種名が予め対応づけられて、サーバに記憶されていてよい。すなわち、携帯端末10は、ステップS110にて、SSIDを認識すると、このSSIDに対応する電化製品100の種類を、このサーバに問い合わせる。サーバは、電化製品100の種類を通知するとともに、図10から図12までの、機種名、認識対象(近距離受信電波、撮影画像、認識文字)、ユーザインターフェースの名前が対応づけたデータを送信する。この場合には、携帯端末10に図10から図12のようなテーブルを記憶する必要がないため、有用である。さらに、認識するための電化製品100の種類が、SSIDにより限定されるため、電化製品の認識率が高まったり、識別するまでの時間が短縮できる。
なお、携帯端末10がサーバより、データを受信するタイミングは、例えば、カメラを起動したタイミングであってよいし、電化製品100から近距離通信の電波信号を受信したタイミングであってもよい。このようなタイミングで、データを受信したり、カメラを起動することで、常時、電化製品100の識別を行うといった必要がなくなる。
[他の実施形態]
次に、他の実施形態について説明する。携帯端末10がGPSの電波信号の受信や、アクセスポイントであるSSIDの電波信号を受信した際に、電化製品100のユーザインターフェースを変更する。この場合に、略同時に、二以上の電化製品100を携帯端末10が認識する場合がある。この処理について、他の実施形態として、以下で説明する。
図19は、携帯端末10が実行する第3基本処理のフローチャートである。最初に、携帯端末10のアプリケーション常駐手段12が、電化製品100ごとに異なるアプリケーションを起動し、携帯端末10のメモリにアプリケーションを常駐させる(ステップS200)。
次に、電化製品認識手段11が、電波信号を受信することで、電化製品100を認識したか否かを判断する(ステップS210)。すなわち、電化製品認識手段11は、位置情報であるGPSの電波信号を受信したか否か、又は、アクセスポイントであるSSIDの電波信号を受信したか否かを判断する。受信したと判断した場合(ステップS210:「YES」)は、ステップS220に処理を移し、受信していない(ステップS210:「NO」)と判断した場合は、処理をループする。
電化製品認識手段11は、GPSの電波信号を受信したと判断した場合は、受信した電波信号に基づいて、携帯端末10の緯度と経度を算出する、次に、電化製品認識手段11は、図16のような、電化製品機種名と、位置情報(経度、緯度)とユーザインターフェースの名前とが対応づけられたUI対応テーブル5を参照する。このUI対応テーブル5が携帯端末10に記憶されている。電化製品認識手段11は、算出した緯度、経度に基づいて、UI対応テーブル5を参照することで、ユーザインターフェースを選択する。
電化製品認識手段11は、アクセスポイントであるSSIDの電波信号を受信したと判断した場合は、図17のような、電化製品機種名と、SSIDとユーザインターフェースの名前とが対応づけられたUI対応テーブル6を参照する。このUI対応テーブル6が携帯端末10に記憶されている。電化製品認識手段11は、SSIDに基づいて、UI対応テーブル6を参照することで、ユーザインターフェースを選択する。
なお、電化製品認識手段11は、上記の処理に加えて、第2基本処理と同様に、撮影画像により、電化製品100を認識してもよい。
ここで、仮に、電化製品認識手段11は、認識した電化製品が一つであると判断した(ステップS220:「NO」)とすると、ステップS240にて、電化製品認識手段11が選択したユーザインターフェースに、ユーザインターフェース変更手段13が変更する(ステップS240)。
例えば、GPSにより電化製品100を認識し、かつ、SSIDの電波信号により電化製品100を認識した場合は、電化製品認識手段11が、複数の電化製品100を認識する場合がある。この場合には、ステップS220が「YES」として、ステップS230に処理を移す。
電化製品認識手段11は、電化製品認識手段11が認識した電化製品が二以上であると判断した(ステップS220:「YES」)とすると、二以上のユーザインターフェースのうち、どれを優先して表示すべきかの優先順位の決定を行う(ステップS230)。すなわち、電化製品認識手段11は、複数の電化製品100を認識したと判断した場合は、図20のような、優先順位と、電化製品機種名と、ユーザインターフェースの名前とが対応づけられたUI対応テーブル8を参照する。このテーブルが携帯端末10に記憶されている。電化製品認識手段11は、受信した電波信号(GPS又はSSID)や、撮影画像から、図10、図11、図12、図13、図16、図17、図18の各テーブルに基づいて、電化製品機種名を判断する。そして、この電化製品機種名に基づいて、図20のUI対応テーブル8を参照することで、優先順位を判断する。
例えば、「TV−100」、「RZ−001」、「MP500」の複数の電化製品100を略同時に認識した際には、UI対応テーブル8の優先順位に基づいて、1番「RZ−001」、2番「TV−100」、3番「MP500」の順番で、優先順位が決定される。
次に、携帯端末10のユーザインターフェース変更手段13は、優先された電化製品100のユーザインターフェースを順次、表示する(ステップS250)。ここで、ユーザインターフェースを、順次、表示するとは、決定された優先順位順に、ユーザインターフェースを表示するということである。以下に説明するように、携帯端末10において所定の条件が満たされた場合に、順位が次のユーザインターフェースへ変更される。
例えば、携帯端末10に表示されている第1のユーザインターフェースに対して、所定の操作を行った場合に、次の第2のユーザインターフェースへ変更する。この場合は、予め、第1のユーザインターフェースに対してユーザが入力する項目(所定のアイコンを選択したり、キー入力)が記憶されており、この入力項目に対して、入力が完了すると、第2のユーザインターフェースへ変更する。
また、携帯端末10に表示されている第1のユーザインターフェースに対して、所定の表示を行った場合に、次の第2のユーザインターフェースへ変更する。この場合は、予め、第1のユーザインターフェースとして表示する項目(所定のアイコンを表示したり、ウィンドウを切替える)が記憶されており、この表示項目に対して、表示が完了すると、第2のユーザインターフェースへ変更する。
さらに、携帯端末10に表示されている第1のユーザインターフェースが所定時間、表示された後に、次の第2のユーザインターフェースへ変更してもよい。
なお、図20のようなUI対応テーブル8の優先順位は、携帯端末10を操作するユーザの入力履歴より学習により、決定されてもよい。すなわち、複数の電化製品100が認識されたときに、図21のような画面イメージ80を携帯端末10が表示する。この際に、ユーザが複数の電化製品100のうち、一の電化製品「TV−100」を選択操作した後に、次の電化製品「MP500」を選択操作したとする。この場合に、携帯端末10は、優先順位として、1番に電化製品「TV−100」、2番に、電化製品「MP500」と学習する。
なお、この優先順位は、上述のように時間的な優先順位に限られず、図21のように画面イメージ80に表示する位置に適用してもよい。すなわち、携帯端末10の表示部の上方から下方へ、優先順位が高い順序で表示してもよい。
なお、図20のようなUI対応テーブル8が、携帯端末10と通信可能に接続されたサーバに記憶されてもよい。この場合は、携帯端末10は、サーバに対して、UI対応テーブル8の優先順位を問合せて、優先順位を決定する。
なお、図18のUI対応テーブル7に示すように、複数のユーザインターフェースが認識された際に、その認識した時点での日時(曜日、日付、時間)に基づいて、優先的に表示するユーザインターフェースを選択し、変更してもよい。例えば、図18の例では、土曜日の午後7:00前後に複数の電化製品100を認識した場合は、テーブルに基づいて、「RZ―001」のユーザインターフェースを優先する。曜日のみならず、日付の指定であってもよい。
なお、認識した時点での、気温、湿度に基づいて、優先的に表示するユーザインターフェースを選択し、変更してもよい。電化製品100がエアコン等である場合に好適である。
図21は、複数の電化製品100を携帯端末10が認識した際に、携帯端末10に表示される画面イメージ80である。このように複数の電化製品100のいずれかのユーザインターフェースを選択できるように、選択画面が表示される。ここで、メッセージ82のように、表示すべきユーザインターフェースの推薦情報が、あわせて表示されてもよい。
なお、ユーザインターフェースは、撮影画像に撮影された人物、人物の顔、人物の数、動物、動物の数、植物、植物の数、所定の物によっても、変更されてもよい。例えば、撮影された人物の顔(例えば、自分の顔)を認識して、ユーザインターフェースが、デジタルカメラのユーザインターフェースに変更されると、遠隔でその人物(自分)を撮影することもできる。
上述した手段、機能は、コンピュータ(CPU,情報処理装置,各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。アプリケーション・プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からアプリケーション・プログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
10 携帯端末、100 電化製品

Claims (13)

  1. 無線電波の信号を受信することで、アクセスポイントであるSSIDを識別するSSID識別手段を備え、
    周辺に存在する電化製品を撮影画像又は電波信号により認識する電化製品認識手段と、
    前記電化製品に関連したアプリケーションであって、当該電化製品ごとに異なるユーザインターフェースを有するアプリケーションを起動して、当該携帯端末のメモリに常駐するアプリケーション常駐手段と、
    前記電化製品認識手段が、所定の電化製品を認識した場合に、当該携帯端末の表示部及び入力部に表示するユーザインターフェースを、当該携帯端末を視認するユーザが視認できるように、前記アプリケーション常駐手段が前記メモリに常駐しているアプリケーションのうち、認識した前記所定の電化製品に対応するアプリケーションのユーザインターフェースに変更するユーザインターフェース変更手段と、
    を備え、さらに、
    前記電化製品認識手段は、前記SSID識別手段が前記電化製品が接続されている無線LANのSSIDを認識したときに、周辺に存在する前記電化製品を認識する携帯端末。
  2. 前記電化製品認識手段は、GPSにより、前記電化製品の周辺に当該携帯端末が存在することを認識したときに、周辺に存在する前記電化製品を認識する請求項1に記載の携帯端末。
  3. 前記電化製品の物理的な位置が位置情報として記憶されている記憶手段と、
    当該携帯端末の上面が向いている方向を認識する方向認識手段と、
    当該携帯端末の物理的な位置を決定する位置情報決定手段と、
    前記位置情報が記憶されている電化製品のうち、当該携帯端末の上面方向の延長線上の経路に存在する電化製品を決定する対象物決定手段と、を備え、
    前記ユーザインターフェース変更手段が、前記対象物決定手段が決定した電化製品に対応するアプリケーションのユーザインターフェースに変更する請求項1に記載の携帯端末。
  4. 前記方向認識手段は、二以上の位置認識部により認識された位置情報の差から、当該携帯端末の上面が向いている方向を認識する請求項3に記載の携帯端末。
  5. 前記方向認識手段は、電子コンパス、傾斜センサの少なくとも一つにより当該携帯端末の上面が向いている方向を認識する請求項3に記載の携帯端末。
  6. 前記電化製品認識手段が、複数の電化製品を認識したことに応じて、優先順位を決定したテーブルに基づいて、表示するユーザインターフェースを決定する請求項1に記載の携帯端末。
  7. 前記電化製品認識手段が、当該携帯端末に備えられたカメラにより電化製品を撮影することで得られた撮影画像により、前記電化製品を認識する、請求項1に記載の携帯端末。
  8. 前記電化製品認識手段が、当該携帯端末のカメラにより当該電化製品を認識する際に、当該電化製品に付加されたマーカを撮影して得られた撮影画像により、前記電化製品を認識する、請求項7に記載の携帯端末。
  9. 前記電化製品認識手段は、通信可能に接続されたサーバに、前記SSID識別手段により識別されたSSIDを送信し、当該SSIDと対応づけられたデータであって、電化製品を撮影画像又は電波信号により認識するためのデータを受信することで、前記電化製品の認識を実行する請求項2に記載の携帯端末。
  10. 前記ユーザインターフェース変更手段は、認識した時点での日時に基づいて、前記所定の電化製品のうち一の電化製品に対応するアプリケーションのユーザインターフェースに変更する請求項1に記載の携帯端末。
  11. 前記ユーザインターフェース変更手段は、予め定められた優先順位に基づいて、前記所定の電化製品のうち一の電化製品に対応するアプリケーションのユーザインターフェースに変更する請求項1に記載の携帯端末。
  12. 無線電波の信号を受信することで、アクセスポイントであるSSIDを識別するステップと、
    前記SSIDを識別するステップにて、前記電化製品が接続されている無線LANのSSIDを認識したことに応じて、携帯端末の周辺に存在する電化製品を撮影画像又は電波信号により認識するステップと、
    前記電化製品に関連したアプリケーションであって、当該電化製品ごとに異なるユーザインターフェースを有するアプリケーションを起動して、当該携帯端末のメモリに常駐するステップと、
    前記電化製品を認識するステップにて、所定の電化製品を認識した場合に、当該携帯端末の表示部及び入力部に表示するユーザインターフェースを、当該携帯端末を視認するユーザが視認できるように、前記メモリに常駐しているアプリケーションのうち、認識した前記所定の電化製品に対応するアプリケーションのユーザインターフェースに変更するステップと、を備える方法。
  13. 携帯端末に、
    無線電波の信号を受信することで、アクセスポイントであるSSIDを識別するステップ、
    前記SSIDを識別するステップにて、前記電化製品が接続されている無線LANのSSIDを認識したことに応じて、周辺に存在する電化製品を撮影画像又は電波信号により認識するステップ、
    前記電化製品に関連したアプリケーションであって、当該電化製品ごとに異なるユーザインターフェースを有するアプリケーションを起動して、当該携帯端末のメモリに常駐するステップ、
    前記電化製品を認識するステップにて、所定の電化製品を認識した場合に、当該携帯端末の表示部及び入力部に表示するユーザインターフェースを、当該携帯端末を視認するユーザが視認できるように、前記メモリに常駐しているアプリケーションのうち、認識した前記所定の電化製品に対応するアプリケーションのユーザインターフェースに変更するステップ、を実行させるためのプログラム。
JP2011010217A 2010-12-16 2011-01-20 ユーザインターフェースを変更する携帯端末、方法及びプログラム Active JP5620287B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011010217A JP5620287B2 (ja) 2010-12-16 2011-01-20 ユーザインターフェースを変更する携帯端末、方法及びプログラム
KR1020110016398A KR101204276B1 (ko) 2010-12-16 2011-02-24 유저 인터페이스를 변경하는 휴대단말, 방법 및 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010280674 2010-12-16
JP2010280674 2010-12-16
JP2011010217A JP5620287B2 (ja) 2010-12-16 2011-01-20 ユーザインターフェースを変更する携帯端末、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012142907A JP2012142907A (ja) 2012-07-26
JP5620287B2 true JP5620287B2 (ja) 2014-11-05

Family

ID=46233631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011010217A Active JP5620287B2 (ja) 2010-12-16 2011-01-20 ユーザインターフェースを変更する携帯端末、方法及びプログラム

Country Status (3)

Country Link
US (1) US8952779B2 (ja)
JP (1) JP5620287B2 (ja)
CN (1) CN102567240B (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276857B1 (ko) 2011-07-27 2013-06-18 엘지전자 주식회사 가전제품 및 이를 포함하여 이루어지는 온라인 시스템
KR101276861B1 (ko) * 2011-07-27 2013-06-18 엘지전자 주식회사 가전제품 및 이를 포함하여 이루어지는 온라인 시스템
KR101819510B1 (ko) 2011-08-22 2018-01-17 엘지전자 주식회사 세탁장치 및 이를 포함하여 이루어지는 온라인 시스템
JP5647966B2 (ja) * 2011-10-07 2015-01-07 株式会社オプティム 端末修復方法、端末修復システム、及び、端末修復システム用プログラム
JP5734810B2 (ja) * 2011-11-14 2015-06-17 株式会社東芝 機器制御装置、その方法、及び、そのプログラム
WO2014024418A1 (ja) * 2012-08-07 2014-02-13 パナソニック株式会社 情報端末、情報表示方法、制御プログラム及びサーバ
JP6056002B2 (ja) * 2012-08-08 2017-01-11 パナソニックIpマネジメント株式会社 洗濯機通信システム
KR101949737B1 (ko) * 2012-08-28 2019-02-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
KR101797493B1 (ko) 2012-09-06 2017-11-15 엘지전자 주식회사 가전제품 및 이를 포함하여 이루어지는 온라인 시스템
KR20140032262A (ko) 2012-09-06 2014-03-14 엘지전자 주식회사 가전제품 및 이를 포함하여 이루어지는 온라인 시스템
PT2925199T (pt) * 2012-11-29 2017-07-12 Vorwerk Co Interholding Máquina de cozinha
PT2925198T (pt) 2012-11-29 2019-02-06 Vorwerk Co Interholding Robô de cozinha
DE102013113083A1 (de) 2012-11-29 2014-06-05 Vorwerk & Co. Interholding Gmbh Elektrisch betriebene Küchenmaschine
FR3000242A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
WO2014103304A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 制御方法
US10318121B2 (en) 2012-12-28 2019-06-11 Panasonic Intellectual Property Corporation Of America Control method
US20140250397A1 (en) * 2013-03-04 2014-09-04 Honeywell International Inc. User interface and method
JP6157588B2 (ja) * 2013-03-21 2017-07-05 三菱電機株式会社 遠隔制御システム、端末装置、遠隔制御方法及びプログラム
JP6020353B2 (ja) * 2013-05-29 2016-11-02 コニカミノルタ株式会社 情報処理装置、画像形成装置、遠隔操作方法、遠隔制御方法、遠隔操作プログラムおよび遠隔制御プログラム
FR3007860A1 (fr) * 2013-06-27 2015-01-02 France Telecom Procede d'interaction entre un objet numerique, representatif d'au moins un objet reel ou virtuel localise dans un perimetre geographique distant, et un dispositif de pointage local
DE102013219053B4 (de) * 2013-09-23 2021-06-24 BSH Hausgeräte GmbH Verfahren zum Bereitstellen einer graphischen Benutzeroberfläche für einen Benutzer eines Haushaltsgeräts mittels eines tragbaren Kommunikationsendgeräts, Computerprogrammprodukt und tragbares Kommunikationsendgerät
US9933920B2 (en) 2013-09-27 2018-04-03 Sonos, Inc. Multi-household support
US9613202B2 (en) 2013-12-10 2017-04-04 Dell Products, Lp System and method for motion gesture access to an application and limited resources of an information handling system
US20150161452A1 (en) 2013-12-11 2015-06-11 Echostar Technologies, Llc Home Monitoring and Control
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US9769522B2 (en) 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
JP6484914B2 (ja) * 2014-01-14 2019-03-20 船井電機株式会社 情報処理機器および操作システム
US9429925B2 (en) * 2014-01-15 2016-08-30 Haier Us Appliance Solutions, Inc. Method for operating an appliance and a refrigerator appliance
US9163441B1 (en) * 2014-03-14 2015-10-20 John Taylor, III Emergency entry prevention system
US9723393B2 (en) 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
CN104065654A (zh) * 2014-06-12 2014-09-24 苏州佳世达电通有限公司 定位系统
US10298737B2 (en) 2014-07-15 2019-05-21 Maxell, Ltd. Portable terminal apparatus
FR3024267B1 (fr) * 2014-07-25 2017-06-02 Redlime Procedes de determination et de commande d'un equipement a commander, dispositif, utilisation et systeme mettant en œuvre ces procedes
US9621959B2 (en) 2014-08-27 2017-04-11 Echostar Uk Holdings Limited In-residence track and alert
US9824578B2 (en) * 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
US10310704B2 (en) * 2014-09-18 2019-06-04 Ademco Inc. System and method to have location based personalized UI updates on mobile app for connected users in security, video and home automation applications
US9989507B2 (en) 2014-09-25 2018-06-05 Echostar Technologies International Corporation Detection and prevention of toxic gas
KR101770240B1 (ko) * 2014-09-29 2017-08-22 삼성전자주식회사 Ui 제공을 위한 디스플레이 장치, 시스템 및 그 제공 방법
US9983011B2 (en) 2014-10-30 2018-05-29 Echostar Technologies International Corporation Mapping and facilitating evacuation routes in emergency situations
US9511259B2 (en) 2014-10-30 2016-12-06 Echostar Uk Holdings Limited Fitness overlay and incorporation for home automation system
WO2016089832A1 (en) 2014-12-02 2016-06-09 Carrier Corporation Access control system with virtual card data
EP3228098B1 (en) * 2014-12-02 2022-08-17 Carrier Corporation Capturing user intent when interacting with multiple access controls
CN104506397B (zh) * 2014-12-09 2018-08-31 深圳市共进电子股份有限公司 智能设备接入局域网的方法及系统
US9473892B2 (en) * 2014-12-11 2016-10-18 Whirlpool Corporation Appliances that trigger applications on consumer devices based on user proximity to appliance
US9967614B2 (en) 2014-12-29 2018-05-08 Echostar Technologies International Corporation Alert suspension for home automation system
US9729989B2 (en) 2015-03-27 2017-08-08 Echostar Technologies L.L.C. Home automation sound detection and positioning
US9948477B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Home automation weather detection
US9946857B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Restricted access for home automation system
US9632746B2 (en) 2015-05-18 2017-04-25 Echostar Technologies L.L.C. Automatic muting
CN105093949A (zh) * 2015-07-13 2015-11-25 小米科技有限责任公司 一种控制设备的方法及装置
US9960980B2 (en) 2015-08-21 2018-05-01 Echostar Technologies International Corporation Location monitor and device cloning
CN105160854B (zh) * 2015-09-16 2019-01-11 小米科技有限责任公司 设备控制方法、装置和终端设备
CN105204742B (zh) * 2015-09-28 2019-07-09 小米科技有限责任公司 电子设备的控制方法、装置及终端
US9996066B2 (en) 2015-11-25 2018-06-12 Echostar Technologies International Corporation System and method for HVAC health monitoring using a television receiver
KR102409903B1 (ko) * 2015-12-09 2022-06-16 삼성전자주식회사 사용자 정보를 제공하는 전자 장치 및 방법
US10101717B2 (en) 2015-12-15 2018-10-16 Echostar Technologies International Corporation Home automation data storage system and methods
US9798309B2 (en) 2015-12-18 2017-10-24 Echostar Technologies International Corporation Home automation control based on individual profiling using audio sensor data
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
US10073428B2 (en) 2015-12-31 2018-09-11 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user characteristics
US10060644B2 (en) 2015-12-31 2018-08-28 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user preferences
US9628286B1 (en) 2016-02-23 2017-04-18 Echostar Technologies L.L.C. Television receiver and home automation system and methods to associate data with nearby people
CN109074692A (zh) * 2016-04-11 2018-12-21 开利公司 在与多个访问控制装置交互时捕获行为用户意图
US11295563B2 (en) 2016-04-11 2022-04-05 Carrier Corporation Capturing communication user intent when interacting with multiple access controls
WO2017180381A1 (en) 2016-04-11 2017-10-19 Carrier Corporation Capturing personal user intent when interacting with multiple access controls
US9882736B2 (en) 2016-06-09 2018-01-30 Echostar Technologies International Corporation Remote sound generation for a home automation system
US10294600B2 (en) 2016-08-05 2019-05-21 Echostar Technologies International Corporation Remote detection of washer/dryer operation/fault condition
US10049515B2 (en) 2016-08-24 2018-08-14 Echostar Technologies International Corporation Trusted user identification and management for home automation systems
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
EP3589808A1 (en) * 2017-03-02 2020-01-08 Carrier Corporation Access control system with dynamic performance tuning
JP2018182425A (ja) * 2017-04-06 2018-11-15 文化シヤッター株式会社 遠隔操作システム
RU2673464C1 (ru) * 2017-10-06 2018-11-27 Дмитрий Владимирович Клепиков Способ распознавания и управления бытовой техникой мобильным телефоном и мобильный телефон для его реализации
US10620721B2 (en) * 2018-01-29 2020-04-14 Google Llc Position-based location indication and device control
US10559194B2 (en) * 2018-02-23 2020-02-11 Samsung Electronics Co., Ltd. System and method for providing customized connected device functionality and for operating a connected device via an alternate object
JP2020043471A (ja) * 2018-09-11 2020-03-19 本田技研工業株式会社 遠隔操作装置、及び遠隔操作システム
JP7369611B2 (ja) 2019-01-08 2023-10-26 東芝ライフスタイル株式会社 遠隔操作端末、プログラム、遠隔制御装置及び遠隔操作システム
US11626010B2 (en) * 2019-02-28 2023-04-11 Nortek Security & Control Llc Dynamic partition of a security system
US11541305B2 (en) 2020-09-28 2023-01-03 Snap Inc. Context-sensitive remote eyewear controller
JP7061326B1 (ja) 2021-05-10 2022-04-28 ガレージバンク株式会社 情報処理装置、情報処理システムおよび情報処理方法
US20230050526A1 (en) * 2021-08-10 2023-02-16 International Business Machines Corporation Internet of things configuration using eye-based controls
JP2024007209A (ja) * 2022-07-05 2024-01-18 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び画像形成装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001231083A (ja) 2000-02-17 2001-08-24 Mitsubishi Electric Corp 機器の自動制御システム
JP2004166193A (ja) * 2002-09-27 2004-06-10 Matsushita Electric Ind Co Ltd リモコン装置
AU2003900055A0 (en) * 2003-01-06 2003-01-23 Concept Development Pty Ltd A method and system of web site construction
WO2004088934A2 (en) * 2003-04-04 2004-10-14 Philips Intellectual Property & Standards Gmbh Discovering proximate apparatuses and services in a wireless network
JP2005065118A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd リモコン機能付き携帯端末及びリモコンサーバ
JP2005072764A (ja) * 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
KR100580648B1 (ko) * 2004-04-10 2006-05-16 삼성전자주식회사 3차원 포인팅 기기 제어 방법 및 장치
KR100809395B1 (ko) 2005-12-08 2008-03-05 한국전자통신연구원 원격 제어 기능을 구비한 휴대 단말 장치 및 이를 이용한원격 제어 방법
WO2007112763A1 (en) * 2006-04-03 2007-10-11 Aureola Swedish Engineering Ab Method and apparatus for cooling and ventilation
JP2007324926A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 通信装置
JP2008306255A (ja) * 2007-06-05 2008-12-18 Funai Electric Co Ltd 入力切換え装置
DE102008021160A1 (de) * 2008-04-28 2009-10-29 Beckhoff Automation Gmbh Fernbedienung
JP4914414B2 (ja) * 2008-09-22 2012-04-11 株式会社オプティム 携帯機器および実行制御方法
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8285248B2 (en) * 2010-02-26 2012-10-09 Thl Holding Company, Llc Multi-function adjunct device for use with a handheld wireless communication device
US20110298581A1 (en) * 2010-06-08 2011-12-08 Wei Hsu Universal remote controller
US20120068857A1 (en) * 2010-09-22 2012-03-22 Apple Inc. Configurable remote control
US8937534B2 (en) * 2010-12-08 2015-01-20 At&T Intellectual Property I, L.P. Remote control of electronic devices via mobile device

Also Published As

Publication number Publication date
CN102567240B (zh) 2016-08-10
US8952779B2 (en) 2015-02-10
CN102567240A (zh) 2012-07-11
US20120154108A1 (en) 2012-06-21
JP2012142907A (ja) 2012-07-26

Similar Documents

Publication Publication Date Title
JP5620287B2 (ja) ユーザインターフェースを変更する携帯端末、方法及びプログラム
US10028146B2 (en) Management server and method for controlling device, user terminal apparatus and method for controlling device, and user terminal apparatus and control method thereof
US9262913B2 (en) Communication device
KR101465906B1 (ko) 제스쳐 기반의 원격 제어를 위한 방법들 및 장치들
US8560012B2 (en) Communication device
CN110034986B (zh) 在家庭网络系统中用于内容备份的装置和方法
JP6088744B2 (ja) プログラム、携帯端末、情報処理方法、および情報処理システム
USRE45980E1 (en) Communication device
KR101618783B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 이동 단말기를 포함하는 제어시스템
KR101632220B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
EP2620869B1 (en) Portable terminal, method, and program of changing user interface
US10728418B2 (en) Remote control system method, and program for image processing apparatus
CN105577521B (zh) 好友分组方法、装置及系统
KR101549027B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
KR101204276B1 (ko) 유저 인터페이스를 변경하는 휴대단말, 방법 및 프로그램
TWI572201B (zh) 通用存取方法及行動裝置
KR20200026052A (ko) Ap 리스트를 제공하는 전자 장치 및 전자 장치의 동작 방법
CN105867140B (zh) 信息设置方法和装置
KR20160037614A (ko) 홈 오토메이션 시스템 구성 장치 및 그것의 제어 방법
KR101556179B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
JP2012212983A (ja) 情報処理装置、電子機器、情報処理装置の制御方法、電子機器の制御方法、処理実行システム、制御プログラム、及び記録媒体
US20220276822A1 (en) Information processing apparatus and information processing method
JP6310624B1 (ja) コンピュータシステム、設定方法及びプログラム
JPWO2015186405A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110317

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140117

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20140117

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140217

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140405

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140918

R150 Certificate of patent or registration of utility model

Ref document number: 5620287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250