JP6207638B2 - カタログに登録されたスマートデバイスの動作を制御する方法 - Google Patents

カタログに登録されたスマートデバイスの動作を制御する方法 Download PDF

Info

Publication number
JP6207638B2
JP6207638B2 JP2016005198A JP2016005198A JP6207638B2 JP 6207638 B2 JP6207638 B2 JP 6207638B2 JP 2016005198 A JP2016005198 A JP 2016005198A JP 2016005198 A JP2016005198 A JP 2016005198A JP 6207638 B2 JP6207638 B2 JP 6207638B2
Authority
JP
Japan
Prior art keywords
image
smart device
items
item
mobile computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016005198A
Other languages
English (en)
Other versions
JP2017111781A (ja
Inventor
鏗又 王
鏗又 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leadot Innovation Inc
Original Assignee
Leadot Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leadot Innovation Inc filed Critical Leadot Innovation Inc
Publication of JP2017111781A publication Critical patent/JP2017111781A/ja
Application granted granted Critical
Publication of JP6207638B2 publication Critical patent/JP6207638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10881Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices constructional details of hand-held scanners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/281Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9554Retrieval from the web using information identifiers, e.g. uniform resource locators [URL] by using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/284Home automation networks characterised by the type of medium used
    • H04L2012/2841Wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/285Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、スマートデバイスを制御する方法に関し、より具体的には、ユーザが制御したいスマートデバイスを迅速に識別することによってスマートデバイスを直感的に制御する方法に関する。
家庭又はビジネスにおけるスマートデバイスの普及と共に、スマートデバイスを制御する多くの方法が開発されてきている。スマートデバイスを制御する一般的な方法は、モバイルフォン又はタブレットコンピュータ向けに書かれたアプリケーション(アプリ)に依存している。これらアプリは、その対応するアプリを作成した同じ会社によって製造されたスマートデバイスだけ制御することができるように、制限されていることがある。ユーザがいくつかの異なる会社によって作られたスマートデバイスを持っている場合、このユーザは、すべての設置されたスマートデバイスを制御することができるようにするために、いくつかのアプリをインストールする必要があり得る。アプリ間における切り換えは制御方法に対して余分なステップを追加し、このことはユーザに不便さをもたらす可能性がある。
さらに、所与のアプリ内においてユーザが制御したいスマートデバイスの位置を決めることは、アプリの中の多くのメニューを通じて、又はユーザが設置しているスマートデバイスのリストを通じてユーザがナビゲートする必要があり得るため、時に時間がかかる可能性がある。正しいスマートデバイスが1回だけ選択されていると、ユーザはその選択されたスマートデバイスの制御を開始することができる。結果として、この産業は、ユーザがスマートデバイスを迅速に簡便に制御することを可能にするためのより直感的な制御方法を必要としている。
したがって、請求される発明の主な目的の1つは、スマートデバイスを直感的な方式で制御する方法を提供することである。
請求される発明の例示的な一実施形態に従い、カタログに登録された(cataloged)スマートデバイスの動作を制御する方法が開示される。この方法は、モバイルコンピューティングデバイスのカメラを用いてアイテムのイメージを生成することであって、アイテムはスマートデバイスに対応する、ことと、イメージの中のアイテムを識別することと、イメージの中のアイテムを識別することに応答してスマートデバイスに対するリンクを確立することと、スマートデバイスに対するリンクを確立した後、モバイルコンピューティングデバイスを用いてスマートデバイスを制御することとを含む。
利点の1つは、本発明が、ユーザが制御したいスマートデバイスを直感的に選択し及びリンクする方法を提供することである。ユーザは、自身が制御したいスマートデバイスに適切にモバイルコンピューティングデバイスを向けることができ、これにより、ユーザが制御したいスマートデバイスを選択するために広大なメニュー又はリストを通過する必要を回避することができる。
本発明に係る上記及び他の目的が、疑いなく、様々な図及び図面に示される好適な実施形態についての下記の詳細な説明を読んだ当業者に明らかになるであろう。
スマートデバイスを選択し及び制御するアプリケーションを実行することに使用されるモバイルコンピューティングデバイスの機能ブロック図である。 モバイルコンピューティングデバイスのカメラを用いて部屋に対応するイメージを作成することを例示している。 スイッチに関連付けられた1次元バーコードを例示している。 スイッチに関連付けられた2次元バーコードを例示している。 ネットワークを介したモバイルコンピューティングデバイスとスマートデバイスとの間の相互作用を例示する機能ブロック図である。 IDコードの中に複数のフィールドを含むテーブルを例示している。 UID番号の中に複数のフィールドを含むテーブルを例示している。 識別されたスイッチに対応するスマートデバイスに対応する制御ボタンを例示する図である。 識別されたスイッチに対応するスマートデバイスに対応する制御ボタンを例示する図である。 本発明の別の実施形態におけるユーザのスマートランプの制御を示している。 本発明に従ってスマートデバイスを制御する一方法を説明するフローチャートである。 本発明の別の実施形態に従って無線周波数識別(RFID)タグを用いたスマートデバイスの識別を例示している。
図1を参照されたい。図1は、スマートデバイスを選択し及び制御するアプリケーション(アプリ)22を実行することに使用されるモバイルコンピューティングデバイス10の機能ブロック図である。アプリの記述的名称を提供するために、このアプリは下記で直感的制御アプリ(Intuitive Control app)と呼ばれる。
モバイルコンピューティングデバイス10は、好ましくはタッチスクリーンであるディスプレイ12と、カメラ14と、プロセッサ16と、ワイヤレスフィデリティ(Wi−Fi)トランシーバなどのワイヤレストランシーバ18と、記憶装置20とを備える。記憶装置20は、直感的制御アプリ22と、直感的制御アプリ22と連動して使用されるアプリデータ24とを記憶する。記憶装置20は、好ましくは、フラッシュメモリなどの不揮発性メモリである。モバイルコンピューティングデバイス10は、ディスプレイとカメラとの双方を有する任意のモバイルデバイス、例えば、タブレットコンピュータ又はスマートフォンなどであってよいが、ノートブックコンピュータなどの他の装置が同様に使用されてもよい。
直感的制御アプリ22の使用の説明が、下記に与えらえる。図2を参照されたい。図2は、モバイルコンピューティングデバイス10のカメラ14を使用して、部屋30に対応するイメージ32を作成することを例示している。イメージ32は、いくつかの異なる方法のうちの1つにおいて作成することができる。第1に、イメージ32は、モバイルコンピューティングデバイス10のユーザがカメラ14で画像を撮影したとき、作成することができる。結果として生じる画像ファイルを、イメージ32として使用することができる。第2に、イメージ32は、モバイルコンピューティングデバイス10のユーザがカメラ14で動画を捕捉して動画ファイルを作成するとき、作成することができる。動画ファイルからのスクリーンショットを、イメージ32として使用することができる。第3に、イメージ32は、ユーザがカメラ14でプレビューイメージを生成するとき、作成することができる。プレビューイメージは、ユーザがカメラ14で画像を撮影し、あるいは動画を捕捉する前に、ユーザが仮想の「ビューファインダー」の中で画像を見ることを可能にするために作成される。
イメージ32は、モバイルコンピューティングデバイス10のディスプレイ12上に示され、スマートデバイスに対応するスイッチ40を示す。この例において、スマートデバイスは、部屋30の中のライトとすることができ、スイッチ40は、ライトを制御することに使用される。スイッチ40がイメージ32の中に出現するとき、直感的制御アプリ22はスイッチ40を識別し、直感的制御アプリ22とスイッチ40に対応するスマートデバイスとの間のリンクが確立される。いったん直感的制御アプリ22とスイッチ40に対応するスマートデバイスとの間のリンクが確立されると、それから直感的制御アプリ22は該スマートデバイスを制御することができる。
直感的制御アプリ22は、スマートデバイスのためのスイッチ40又は他のスイッチを識別することだけに限定されない。代わって、スマートデバイスを識別する他の方法を用いることができる。図3及び図4を参照されたい。図3は、スイッチ40に関連付けられスイッチ40付近に位置づけられた1次元バーコード42を例示している。図4は、スイッチ40に関連付けられスイッチ40付近に位置づけられた2次元バーコード44を例示している。1次元バーコード42と2次元バーコード44との双方は、同じ方法で機能する。モバイルコンピューティングデバイス10のカメラ14が1次元バーコード42又は2次元バーコード44を含むイメージを作成するとき、直感的制御アプリ22はそのバーコードをスキャンし、対応するスマートデバイスを識別し、直感的制御アプリ22と対応するスマートデバイスとの間にリンクを確立する。それから、直感的制御アプリ22は、1次元バーコード42又は2次元バーコード44に対応するスマートデバイスを制御することができる。
1次元バーコード42又は2次元バーコード44を使用することに加えて、スマートデバイスを識別し、直感的制御アプリ22と対応するスマートデバイスとの間にリンクを確立するために、他の方法が用いられてもよい。例えば、近距離無線通信(NFC)を使用することができる。スマートデバイスがNFCタグ又はNFCデバイスを有することができ、このNFCタグ又はNFCデバイスは、モバイルコンピューティングデバイス10によってスキャンされるとき、直感的制御アプリ22がスマートデバイスを識別し、それからスマートデバイスに対するリンクを確立することを可能にする。無線周波数識別(RFID)テクノロジーや、リンクを提供し又はユーザがリンクを入力してそれによりスマートデバイスに接続することを可能にする任意の他のテクノロジーが、上記と同じ方法で使用されてもよい。
図5を参照されたい。図5は、ネットワーク90を介したモバイルコンピューティングデバイス10とスマートデバイス94との間の相互作用を例示する機能ブロック図である。モバイルコンピューティングデバイス10は、好ましくは、ネットワーク90にワイヤレスに接続され、ワイヤレストランシーバ18を使用してこのワイヤレス接続を確立することができる。ネットワーク90は、ワイヤレスか又は有線接続を通してのいずれかで、スマートデバイス94に接続することができる。スマートデバイス94に対応するアイテムの識別を助けるのに使用される情報を記憶するために、クラウドデータベース92が使用される。例えば、上記の図3及び図4において、クラウドデータベース92は、1次元バーコード42及び2次元バーコード44に対応するデータを記憶することになり、さらに、1次元バーコード42又は2次元バーコード44に対応するスマートデバイス94についてのリンク情報を記憶することになる。すなわち、クラウドデータベース92は、1次元バーコード42か又は2次元バーコード44のいずれかをスキャンするときにデータを読み出し、この読み出されたデータとクラウドデータベース92の中に記憶された複数の事前定義されたデータエントリとを比較し、読み出されたデータがクラウドデータベース92の中に記憶された複数の事前定義されたデータエントリのうち1つにマッチするときに、対応する1次元バーコード42又は2次元バーコード44を識別する。
1次元バーコード42又は2次元バーコード44が使用されないとき、例えば、スイッチ40が識別されている図2に示される例などでは、スイッチ40を囲む環境的特徴が、スイッチ40を識別することに使用される。この場合、イメージ32の中のスイッチ40を囲む環境的特徴が分析されて、環境コードが生成される。それから、生成された環境コードは、クラウドデータベース92の中に記憶された複数の所定環境コードと比較され、生成された環境コードがクラウドデータベース92の中に記憶された複数の所定環境コードのうち1つにマッチするとき、スイッチ40が識別される。
スイッチ40、1次元バーコード42、又は2次元バーコード44を識別する方法に関する情報を記憶することに加えて、クラウドデータベース92は、制御すべき各スマートデバイスに関する記述的情報をさらに記憶する。クラウドデータベース92において、記述的情報には、スマートデバイスの各タイプに割り当てられた識別(ID)コードを含むことができる。IDコードの中のフィールドの各々は、将来ユーザがスマートデバイスについて検索したい事象において、独立して検索可能とすることができる。図6を参照されたい。図6は、IDコードの中に複数のフィールドを含むテーブルを例示している。テーブルは、スマートデバイスのカテゴリタイプを「A0001」として識別している「アイテムタイプコード」と、スマートデバイスのブランド「ABCDEFG」に対応する「ブランドコード」と、スマートデバイスのモデルを示すプロダクトID「HIJKLMNO」に対応する「プロダクトIDコード」とを含む。IDコードは、任意の所与のモデルのスマートデバイスについて、同じである。例えば、ユーザがベッドのいずれの側にもスマートデバイスのマッチングを有する場合、これらスマートデバイスの双方が同じIDコードを有することになる。
IDコードを割り当てられることに加えて、直感的制御アプリ22における各スマートデバイスはその独自の一意の識別(UID)番号を割り当てられ、さらに、この番号はクラウドデータベース92の中に記憶される。図7を参照されたい。図7は、UID番号の中に複数のフィールドを含むテーブルを例示している。各UID番号は、スマートデバイスの位置及びタイプに従って一連のコードを含むことになる。例えば、図6に示されたIDコードを有するスマートデバイスは、下記のコードを割り当てられることができる。UID番号は、下記の情報を含む。すなわち、スマートデバイスが位置する国に対応する「国コード」が「886」であり、スマートデバイスをカタログに登録しているユーザに対応する「ユーザコード」が「ABCDEFGHIJ」であり、スマートデバイスが位置する部屋に対応する「部屋コード」が「001」であり、スマートデバイスが位置する記憶ユニットに対応する「コンテナコード」が「00A」であり、スマートデバイスのカテゴリタイプを識別する「アイテムタイプコード」が「A0001」であり、スマートデバイスのブランドに対応する「ブランドコード」が「ABCDEFG」であり、スマートデバイスのモデルを示すプロダクトIDに対応する「プロダクトIDコード」が「HIJKLMNO」であり、一意のシリアル番号を用いてスマートデバイスを識別している「アイテムシリアル番号」が「0001」であり、UIDの中のコードの残りについてのチェックサムとして使用される「チェックコード」が「9」である。直感的制御アプリ22において、各々の一意のスマートデバイスは、UID番号を付与されることになる。同じ部屋の中の2つの同一のスマートデバイスでも、スマートデバイスシリアル番号が各スマートデバイスについて異なるため、異なるUID番号を有することになる。
いったんスマートデバイス94が識別されると、スマートデバイス94についての制御情報が直感的制御アプリ22の中に取得される。制御情報はネットワーク90を介してクラウドデータベース92からダウンロードすることができ、あるいは、制御情報はモバイルコンピューティングデバイス10の記憶装置20内のアプリデータ24の中に前もって記憶することができる。制御情報を使用して、直感的制御アプリ22の中に制御ボタンを示すことができる。図8及び図9を参照されたい。図8及び図9は、識別されたスイッチ40に対応するスマートデバイスに対応する制御ボタンを例示している図である。スイッチ40が直感的制御アプリ22を用いて識別された後、ユーザは、スイッチ40がユーザが選択したい正しいアイテムであることを確認する機会を与えられることができる。モバイルコンピューティングデバイス10のディスプレイ12上に示されるイメージ32上で、スイッチ40はイメージ32内に示されている。いったんスイッチ40が識別されると、制御メニューがポップアップし、輪郭50を有するスイッチ40の再現されたイメージ52が含まれる。他の識別されたアイテムがイメージ32の中にさらに示される場合、他の識別されたアイテムに対応する輪郭が同様に示されてもよい。ユーザは、識別されたアイテムのうち1つを選択したいとき、輪郭50内に示された再現されたイメージ52上で単にタップすればよい。それから、輪郭50は、このアイテムが選択されているというユーザへの視覚的フィードバックを与えるように見かけを変化させることができる。いったん再現されたイメージ52と輪郭50とが選択されると、直感的制御アプリ22は、スイッチ40に対応するスマートデバイスに対するリンクを確立し、対応する制御ボタン54が出現する。それから、直感的制御アプリ22のユーザは、制御ボタン54を上方又は下方に移動させることによって、スイッチ40に対応するスマートデバイスを制御することができる。図8に示されるように、制御ボタン54を上方に移動させることは、スマートデバイスをオンにすることになる。図9に示されるように、制御ボタン54を下方に移動させることは、スマートデバイスをオフにすることになる。スマートデバイスがライトである場合、この単純な種類の制御ボタン54で、ライトの全機能を制御するのに十分であり得る。スマートデバイスがより複雑な制御機能を有する場合、例えば、スマートテレビジョン又はスマートサーモスタットの制御機能などでは、他の制御ボタン又は制御メニューが出現して、ユーザがスマートデバイスを十分に制御することを可能にする。直感的制御アプリ22を使用してすべてのスマートデバイスを制御することに代わって、直感的制御アプリ22は、特定のスマートデバイスを制御することに使用される他の専用アプリを開くためのリンクをさらに提供することができることに留意されたい。
アイテムに対応するスマートデバイスに対するリンクを確立する前にユーザが識別されるアイテムを選択することに代わって、いったんアイテムが識別され、識別されたアイテムが1つだけである場合、スマートデバイスに対するリンクが直接確立されてもよい。2以上のアイテムが識別されたとき、ユーザは、リンクが確立される前にアイテムを選択すべきである。一方、アイテムが1つだけ識別されるとき、リンクは、いかなる事前選択も必要とされることなく、直接作ることができる。
図8及び図9において、部屋30の中に、別のスマートデバイス、すなわちスマートランプ64がさらに存在する。しかしながら、スマートランプはイメージ32の中に示されておらず、したがって、ユーザが選択に利用することができない。図10を参照されたい。図10は、本発明の別の実施形態においてスマートランプ64をユーザが制御することを示している。モバイルコンピューティングデバイス10のカメラ14が、部屋30に対応するイメージ62を作成する。スマートランプ64はイメージ62の中に示されており、いったんスマートランプ64がその見かけに基づいて識別されると、直感的制御アプリ22がスマートランプ64に対してリンクし、制御ボタン66がイメージ62の中のスマートランプ64のとなりに出現する。それから、ユーザは、制御ボタン66を用いてスマートランプ64を制御する機会を与えらえる。これまでの実施形態とは異なり、スマートランプ64自体が、モバイルコンピューティングデバイス10のディスプレイ12上に示されるイメージ62の中に出現する。イメージ62は、スマートランプ64に対応するスイッチを識別せず、代わって、スマートランプ64を直接識別する。
図11を参照されたい。図11は、本発明に従って直感的制御アプリ22を用いてスマートデバイスを制御する方法を説明するフローチャートである。フローチャートの中のステップは、下記のとおり説明される。
ステップ100:開始。
ステップ102:アイテムのイメージを生成する。例えば、図2に示されるように、スイッチ40を含むイメージ32を生成する。
ステップ104:アイテムを識別する。例えば、スイッチ40が識別される。
ステップ106:アイテムに対応するスマートデバイスに対するリンクを確立する。例えば、スイッチ40に対応するスマートデバイスに対してリンクが確立される。
ステップ108:モバイルコンピューティングデバイスを用いてスマートデバイスを制御する。
ステップ110:終了。
図12を参照されたい。図12は、本発明の別の実施形態に従ってRFIDタグを用いてスマートデバイスを識別することを例示している。図12は、スマートランプ64を一意に識別するためのRFIDタグ70をはり付けられたスマートランプ64をここでは示している。それから、RFIDスキャナ80を使用して、RFIDタグ70をスキャンしてスマートランプ64を識別し、ユーザが直感的制御アプリ22を用いてスマートランプ64を迅速に制御することを可能にすることができる。好ましくは、RFIDスキャナ80は、ハンドヘルドRFIDスキャナである。非限定的な一例として、図12に例示されているRFIDスキャナ80は、ラケット形状のRFIDスキャナであるものとして示されている。
要約すると、本発明は、ユーザが制御したいスマートデバイスを直感的に選択し及びリンクする方法を提供する。ユーザは、自身が制御したいスマートデバイス又はスマートデバイスに対応するアイテムに、適切にモバイルコンピューティングデバイス10を向けることができ、これにより、ユーザが制御したいスマートデバイスを選択するために広大なメニュー又はリストを通過する必要を回避することができる。
当業者は、本発明の教示を保持する間、装置及び方法についての多数の修正及び変更がなされ得ることに容易に気付くであろう。したがって、上記の開示は、別記の請求項に係る境界及び範囲によってのみ限定されるものとみなされるべきである。
10 モバイルコンピューティングデバイス
12 ディスプレイ
14 カメラ
16 プロセッサ
18 ワイヤレストランシーバ
20 記憶装置
22 直感的制御アプリ
24 アプリデータ
30 部屋
32、52、62 イメージ
40 スイッチ
42、44 バーコード
50 輪郭
54、66 制御ボタン
64 スマートランプ
70 RFIDタグ
80 RFIDスキャナ
90 ネットワーク
92 クラウドデータベース
94 スマートデバイス

Claims (9)

  1. カタログに登録されたスマートデバイスの動作を制御する方法であって、
    モバイルコンピューティングデバイスのカメラを用いてイメージを生成するステップであって、前記イメージは1つ以上のアイテムを含み、各アイテムはスマートデバイスに対応する、ステップと、
    前記イメージの中の前記1つ以上のアイテムを識別するステップと、
    前記イメージの中の前記1つ以上のアイテムを識別することに応答して、識別されたアイテムに対応するスマートデバイスに対するリンクを確立するステップと、
    前記スマートデバイスに対するリンクを確立した後、前記モバイルコンピューティングデバイスを用いて前記スマートデバイスを制御するステップと、
    を含み、
    前記イメージの中の前記1つ以上のアイテムを識別することに応答して、識別されたアイテムに対応するスマートデバイスに対するリンクを確立するステップは、
    識別されたアイテムの数が1である場合、前記モバイルコンピューティングデバイスのユーザによる選択なしに前記スマートデバイスに直接リンクすることと、
    識別されたアイテムの数が2以上である場合、前記モバイルコンピューティングデバイスのユーザに複数のマッチングアイテムを示して前記ユーザに前記複数のマッチングアイテムのうち1つを選択させ、前記の選択されたアイテムに対応するスマートデバイスにリンクすることと、
    を含む、
    方法。
  2. 前記イメージを生成するステップは、前記1つ以上のアイテムの画像を撮影して静止画ファイルを作成することと、前記静止画ファイルを前記の生成されるイメージとして使用することとを含む、請求項1に記載の方法。
  3. 前記イメージを生成するステップは、前記1つ以上のアイテムの動画を捕捉して動画ファイルを作成することと、前記動画ファイルのスクリーンショットを前記の生成されるイメージとして使用することとを含む、請求項1に記載の方法。
  4. 前記イメージを生成するステップは、前記モバイルコンピューティングデバイスのカメラでプレビューイメージを生成することと、前記プレビューイメージを前記の生成されるイメージとして使用することとを含む、請求項1に記載の方法。
  5. 前記イメージの中の前記1つ以上のアイテムを識別するステップは、
    前記イメージの中のアイテムの周りの環境的特徴を分析して環境コードを生成することと、
    前記の生成された環境コードを、データベースに記憶された複数の所定環境コードと比較することと、
    前記の生成された環境コードが前記データベースに記憶された前記複数の所定環境コードのうち1つにマッチするとき、前記アイテムを識別することと、
    を含む、請求項1に記載の方法。
  6. 前記イメージの中の前記1つ以上のアイテムを識別するステップは、
    前記イメージの中のアイテムに対応する1次元バーコードをスキャンし、前記1次元バーコード内に含まれるデータを読み出すことと、
    前記1次元バーコード内に含まれるデータを、データベースに記憶された複数の予め定義されたデータエントリと比較することと、
    前記1次元バーコード内に含まれるデータが前記データベースに記憶された前記複数の予め定義されたデータエントリのうち1つにマッチするとき、前記アイテムを識別することと、
    を含む、請求項1に記載の方法。
  7. 前記イメージの中の前記1つ以上のアイテムを識別するステップは、
    前記イメージの中のアイテムに対応する2次元バーコードをスキャンし、前記2次元バーコード内に含まれるデータを読み出すことと、
    前記2次元バーコード内に含まれるデータを、データベースに記憶された複数の予め定義されたデータエントリと比較することと、
    前記2次元バーコード内に含まれるデータが前記データベースに記憶された前記複数の予め定義されたデータエントリのうち1つにマッチするとき、前記アイテムを識別することと、
    を含む、請求項1に記載の方法。
  8. 前記モバイルコンピューティングデバイスを用いて前記スマートデバイスを制御するステップは、前記モバイルコンピューティングデバイスを用いて前記スマートデバイスをオン又はオフにすることを含む、請求項1に記載の方法。
  9. カタログに登録されたスマートデバイスの動作を制御するモバイルコンピューティングデバイスであって、
    当該モバイルコンピューティングデバイスのカメラを用いてイメージを生成することであって、前記イメージは1つ以上のアイテムを含み、各アイテムはスマートデバイスに対応し、
    前記イメージの中の前記1つ以上のアイテムを識別し、
    前記イメージの中の前記1つ以上のアイテムを識別することに応答して、識別されたアイテムに対応するスマートデバイスに対するリンクを確立し、
    前記スマートデバイスに対するリンクを確立した後、当該モバイルコンピューティングデバイスを用いて前記スマートデバイスを制御する
    ように構成され、
    前記イメージの中の前記1つ以上のアイテムを識別することに応答して、識別されたアイテムに対応するスマートデバイスに対するリンクを確立することは、
    識別されたアイテムの数が1である場合、当該モバイルコンピューティングデバイスのユーザによる選択なしに前記スマートデバイスに直接リンクし、
    識別されたアイテムの数が2以上である場合、当該モバイルコンピューティングデバイスのユーザに複数のマッチングアイテムを示して前記ユーザに前記複数のマッチングアイテムのうち1つを選択させ、前記の選択されたアイテムに対応するスマートデバイスにリンクする
    ようにさらに構成される、モバイルコンピューティングデバイス。
JP2016005198A 2015-12-14 2016-01-14 カタログに登録されたスマートデバイスの動作を制御する方法 Active JP6207638B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/967,379 2015-12-14
US14/967,379 US9881191B2 (en) 2015-12-14 2015-12-14 Method of controlling operation of cataloged smart devices

Publications (2)

Publication Number Publication Date
JP2017111781A JP2017111781A (ja) 2017-06-22
JP6207638B2 true JP6207638B2 (ja) 2017-10-04

Family

ID=58017874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005198A Active JP6207638B2 (ja) 2015-12-14 2016-01-14 カタログに登録されたスマートデバイスの動作を制御する方法

Country Status (5)

Country Link
US (1) US9881191B2 (ja)
EP (1) EP3182651B1 (ja)
JP (1) JP6207638B2 (ja)
CN (1) CN107040650A (ja)
TW (1) TWI611718B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947015B1 (en) * 2017-05-05 2018-04-17 Hector A Vildosola Analyzing digital images for authenticating memorabilia items
CN108289165B (zh) * 2017-12-12 2020-08-21 深圳进化动力数码科技有限公司 一种基于手机控制相机的实现方法、装置及终端设备
CN108199935B (zh) * 2018-01-03 2021-01-08 广东美的制冷设备有限公司 配网码显示方法、终端、服务器及计算机可读存储介质
EP3528516A1 (en) * 2018-02-20 2019-08-21 Siemens Schweiz AG Augmented reality device
WO2020117302A1 (en) * 2018-12-03 2020-06-11 Google Llc Efficient control and/or linking of smart devices
US11445107B2 (en) * 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0467275A (ja) * 1990-07-06 1992-03-03 Matsushita Electric Ind Co Ltd 認識方法及び認識装置
EP1158453B1 (en) * 1993-12-10 2008-08-27 Ricoh Company, Ltd. Image extraction method and apparatus, and image recognition method and apparatus, for extracting/recognizing specific image from input image signal
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US6763148B1 (en) * 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
WO2003001435A1 (en) 2001-06-22 2003-01-03 Emblaze Systems, Ltd Image based object identification
US6759946B2 (en) * 2001-12-06 2004-07-06 Mitsubishi Electric Research Laboratories, Inc. Home appliances network
US7224903B2 (en) 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7653212B2 (en) 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
US20060152337A1 (en) * 2004-12-25 2006-07-13 Hon Hai Precision Industry Co., Ltd. Remote control system and method for home items
US20100083338A1 (en) * 2008-10-01 2010-04-01 I-Jen Chiang Remote control device and remote control system
CN101738995A (zh) * 2008-11-12 2010-06-16 Tcl集团股份有限公司 一种自动选择控制对象的智能遥控器及其控制方法
JP5617246B2 (ja) 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
WO2011145709A1 (ja) 2010-05-21 2011-11-24 日本電気株式会社 機器連携システム、操作指示機器、機器ui構成手段、機器連携方法及びプログラム
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
US8929876B2 (en) * 2010-12-22 2015-01-06 Cox Communications, Inc. Mobile to hardware device linking
JP2012147387A (ja) 2011-01-14 2012-08-02 Konica Minolta Business Technologies Inc 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム
US8952987B2 (en) 2011-05-19 2015-02-10 Qualcomm Incorporated User interface elements augmented with force detection
US9143402B2 (en) 2012-02-24 2015-09-22 Qualcomm Incorporated Sensor based configuration and control of network devices
US20130314558A1 (en) * 2012-05-24 2013-11-28 Mediatek Inc. Image capture device for starting specific action in advance when determining that specific action is about to be triggered and related image capture method thereof
TW201408108A (zh) 2012-08-03 2014-02-16 4Ipnet Inc 連線建立方法及其相關連線管理系統、可攜式裝置及其電腦程式產品
TWM451380U (zh) 2012-12-04 2013-04-21 Up Young Cornerstone Corp 行動監控洗烘衣服務之系統
US20140266639A1 (en) * 2013-03-15 2014-09-18 Ebay Inc. Automated mobile device configuration for remote control of electronic devices
TW201519105A (zh) 2013-11-05 2015-05-16 Aegin Inc 利用掃描辨識進行裝置間電性連結之方法及其應用
US9530250B2 (en) * 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
KR102154528B1 (ko) * 2014-02-03 2020-09-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160024427A (ko) * 2014-08-25 2016-03-07 삼성전자주식회사 사용자의 관심 영역을 추출하는 전자 장치 및 관심 영역 추출 방법
KR102234709B1 (ko) * 2014-09-15 2021-04-01 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9723200B2 (en) * 2014-10-15 2017-08-01 Microsoft Technology Licensing, Llc Camera capture recommendation for applications
US20160180441A1 (en) * 2014-12-22 2016-06-23 Amazon Technologies, Inc. Item preview image generation
US9225519B1 (en) * 2015-03-02 2015-12-29 Federico Fraccaroli Method, system, and apparatus for enabling secure functionalities

Also Published As

Publication number Publication date
TWI611718B (zh) 2018-01-11
US20170169266A1 (en) 2017-06-15
CN107040650A (zh) 2017-08-11
EP3182651A1 (en) 2017-06-21
EP3182651B1 (en) 2021-02-17
TW201722192A (zh) 2017-06-16
US9881191B2 (en) 2018-01-30
JP2017111781A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
JP6207638B2 (ja) カタログに登録されたスマートデバイスの動作を制御する方法
US20230230148A1 (en) Intelligent Item Tracking and Expedited Item Reordering by Stakeholders
US11755173B2 (en) Information processing device, information processing method, storage medium, and guide system
US9369823B2 (en) System and method for transferring software applications and data between two mobile devices with different operating systems
CN104303181B (zh) 相机导引的网络浏览
KR102270953B1 (ko) 전자 장치에서 화면을 표시하는 방법 및 이를 위한 전자 장치
US20140245224A1 (en) Method of displaying programs and electronic device therefor
JP6114706B2 (ja) 検索システム及び検索システムの制御方法
CN109997111A (zh) 跨应用的内容处理
KR101937525B1 (ko) 시스템 및 제어 방법
US20140145927A1 (en) Method for Providing Identification Information and Related Electronic Device
KR20180074834A (ko) 도서 대출 시스템
WO2018020608A1 (ja) 在庫管理システム、在庫管理方法、および在庫管理プログラム
KR20150096274A (ko) 웹 브라우저에서 화상형성장치의 주소록을 활용하는 방법 및 이를 수행하기 위한 화상형성장치
KR101602855B1 (ko) 설명서 검색 키워드를 활용한 애프터서비스 요청 방법
CN111242712A (zh) 一种商品展示方法及其装置
US20160353247A1 (en) Device retrieval server, method of retrieving device, and program for device retrieval server
JP6069926B2 (ja) 検索システム、プログラムおよび検索方法
CN105929997A (zh) 终端设备的交互操作处理方法和装置
JP2016031618A (ja) 配達注文受付システム、携帯端末および制御プログラム
CN113448951B (zh) 数据处理方法、装置、设备及计算机可读存储介质
KR102355942B1 (ko) 의류 정리 및 코디 추천 서비스를 제공하는 드레스 미러 시스템
US20230011385A1 (en) Program and Communications System
TW202325053A (zh) 可攜式裝置與呼吸機設備之無線連線配對方法
JP6494974B2 (ja) 情報提供システム、および情報公開装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170905

R150 Certificate of patent or registration of utility model

Ref document number: 6207638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250