JP7160365B2 - スマートスペースのためのシステム及び方法 - Google Patents

スマートスペースのためのシステム及び方法 Download PDF

Info

Publication number
JP7160365B2
JP7160365B2 JP2020104462A JP2020104462A JP7160365B2 JP 7160365 B2 JP7160365 B2 JP 7160365B2 JP 2020104462 A JP2020104462 A JP 2020104462A JP 2020104462 A JP2020104462 A JP 2020104462A JP 7160365 B2 JP7160365 B2 JP 7160365B2
Authority
JP
Japan
Prior art keywords
smart
data
hub
clusters
smart object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020104462A
Other languages
English (en)
Other versions
JP2020184345A (ja
Inventor
ルーカス・マルセロ・フュネス
Original Assignee
ウェビー・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェビー・コーポレーション filed Critical ウェビー・コーポレーション
Publication of JP2020184345A publication Critical patent/JP2020184345A/ja
Priority to JP2022161013A priority Critical patent/JP2023015033A/ja
Application granted granted Critical
Publication of JP7160365B2 publication Critical patent/JP7160365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N5/047—Pattern matching networks; Rete networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H04L12/2834—Switching of information between an external network and a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25011—Domotique, I-O bus, home automation, building automation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25168—Domotique, access through internet protocols
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Description

関連出願への相互参照
本願は、２０１４年１１月１１日に提出された、米国仮出願番号第６２／０７８３３７号からの優先権を主張し、その全体が、参照によってここに組み込まれる。
背景
従来のホームシステムにおいて、ユーザは、ポータブルデバイスを介して、家庭用機器を遠隔で制御して管理することができる。多くの場合において、各家庭用機器は、手動で操作されて制御される。スマートスペースは、さまざまな家庭用機器の制御を統合し得る。スマートスペースは、家庭用機器の制御を統合するために、統合されたワイヤリング技術、ネットワーク通信技術、セキュリティ技術、自動制御技術、ならびに、オーディオ及びビデオ技術を使用する。スマートスペースネットワークは、ホームにおけるさまざまなデバイスや機器やシステムの自動化された制御を提供するために、スマートスペースネットワークが使用する設定や選択やスケジューリング情報を人が入力するのに使用する制御パネルを含み得る。例えば、人は、所望の温度と、人がホームに不在であるときを示すスケジュールを入力し得る。人が在宅であるとき、ホームを所望の温度に暖める又は冷やすために、暖房（ｈｅａｔｉｎｇ）、換気（ｖｅｎｔｉｌａｔｉｏｎ）、及び、空気調和（ａｉｒ ｃｏｎｄｉｔｉｏｎｉｎｇ）（「ＨＶＡＣ」）システムを制御するために、ならびに、人がホームに不在であるとき、電力を消費するＨＶＡＣシステムのコンポーネントをオフにすることによってエネルギーを保存するために、ホームオートメーションシステムは、この情報を使用する。
図１は、本発明の実施形態による、スマートスペースネットワークを示す。 図２は、本発明の実施形態による、スマートスペースネットワークを示す。 図３は、本発明の実施形態による、スマートスペースネットワークを示す。 図４は、本発明の実施形態による、スマートスペースサーバを示す。 図５は、本発明の実施形態による、人工知能（ＡＩ）システムを示す。 図６は、本発明の実施形態による、ホームゲートウェイモジュールのブロックダイヤグラムを示す。 図７Ａは、本発明の実施形態による、ホームゲートウェイモジュールを示す。 図７Ｂは、本発明の実施形態による、ホームゲートウェイモジュールを示す。 図７Ｃは、本発明の実施形態による、ホームゲートウェイモジュールを示す。 図７Ｄは、本発明の実施形態による、ホームゲートウェイモジュールを示す。 図７Ｅは、本発明の実施形態による、ホームゲートウェイモジュールを示す。 図８は、本発明の実施形態による、登録プロセスを示す。 図９は、本発明の実施形態による、マッピングプロセスを示す。 図１０は、本発明の実施形態による、マッピングプロセスを示す。 図１１は、本発明の実施形態による、学習スケジュールと人工知能（ＡＩ）アルゴリズムを示す。 図１２Ａは、本発明の実施形態による、スマートオブジェクトを示す。 図１２Ｂは、本発明の実施形態による、スマートオブジェクトを示す。 図１２Ｃは、本発明の実施形態による、スマートオブジェクトを示す。 図１２Ｄは、本発明の実施形態による、スマートオブジェクトを示す。 図１２Ｅは、本発明の実施形態による、スマートオブジェクトを示す。 図１３は、本発明の実施形態による、機械学習プロセスである。 図１４は、本発明の実施形態による、例外（ａｎｏｍａｌｙ）検出プロセスである。 図１５Ａは、本発明の実施形態による、システムによって集められたデータを示す。 図１５Ｂは、本発明の実施形態による、システムによって集められたデータを示す。 図１６Ａは、本発明の実施形態による、システムによって集められたデータを示す。 図１６Ｂは、本発明の実施形態による、システムによって集められたデータを示す。 図１７は、本発明の実施形態による、デバイス検出プロセスである。 図１８は、本発明の実施形態による、パターン検出プロセスである。 図１９Ａは、本発明の実施形態による、エネルギー監査スクリーンショットである。 図１９Ｂは、本発明の実施形態による、エネルギー監査スクリーンショットである。 図１９Ｃは、本発明の実施形態による、エネルギー監査スクリーンショットである。 図１９Ｄは、本発明の実施形態による、エネルギー監査スクリーンショットである。 図２０Ａ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ａ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｂは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｃ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｃ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｃ－パート３は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｃ－パート４は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｃ－パート５は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｃ－パート６は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｄ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｄ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｄ－パート３は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｄ－パート４は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｄ－パート５は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｄ－パート６は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｅは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｆ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｆ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｇ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｇ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｇ－パート３は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｇ－パート４は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｈ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｈ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｈ－パート３は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｈ－パート４は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｈ－パート５は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｈ－パート６は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｉ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｉ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｉ－パート３は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｊは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｋ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｋ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｌは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｍ－パート１は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｍ－パート２は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｍ－パート３は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｍ－パート４は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｍ－パート５は、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｎは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｏは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｐは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｑは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｒは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２０Ｓは、本発明の実施形態による、ａｐｐスクリーンショットである。 図２１は、本発明の実施形態による、クラスタ生成プロセスである。 図２２は、本発明の実施形態による、例外検出プロセスである。 図２３は、本発明の実施形態による、デバイス検出プロセスである。 図２４は、本発明の実施形態による、合成デバイス検出プロセスである。 図２５－パート１は、本発明の実施形態による、開／閉分類器（ｃｌａｓｓｉｆｉｅｒ）である。 図２５－パート２は、本発明の実施形態による、開／閉分類器（ｃｌａｓｓｉｆｉｅｒ）である。 図２６は、本発明の実施形態による、合成スマートオブジェクト分類器である。 図２７は、本発明の実施形態による、自動化された動作分類器である。 図２８は、本発明の実施形態による、クラスタ化プロセッサである。 図２９は、本発明の実施形態による、シーン生成プロセスである。 図３０は、本発明の実施形態による、監査（ａｕｄｉｔ）プロセスである。 図３１は、本発明の実施形態による、推奨プロセスである。 図３２は、本発明の実施形態による、意向フィードバックプロセスである。 図３３Ａは、本発明の実施形態による、ＴＶユーザインターフェーススクリーンショットである。 図３３Ｂは、本発明の実施形態による、ＴＶユーザインターフェーススクリーンショットである。 図３３Ｃは、本発明の実施形態による、ＴＶユーザインターフェーススクリーンショットである。 図３３Ｄは、本発明の実施形態による、ＴＶユーザインターフェーススクリーンショットである。 図３３Ｅは、本発明の実施形態による、ＴＶユーザインターフェーススクリーンショットである。
いくつかの実施形態の詳細な説明
ここで記述されるシステム及び方法は、家庭用機器制御、及び／又は、他のデバイスの制御のためのスマートスペースを提供して、可能にし得る。これらのシステム及び方法は、学習することができるスマートスペースシステム及び方法を提供するために、進歩的なデータ処理及び／又は人工知能を利用し得る。さらに、これらのシステム及び方法は、既存のインフラストラクチャと、有線及び無線のホームオートメーションネットワークとの内のデバイスを統合して相互接続し得る。ここで記述される機能のいくつかは、例えば、ビッグデータシステム、機械学習及び人工知能アルゴリズム、クラウドコンピューティング技術、及びクラウドサービスを利用し得る。
ここで記述されるシステム及び方法は、１つ以上のコンピュータを備え得る。コンピュータは、演算及び／又は論理の動作を実行できる、任意のプログラム可能な機械又は複数の機械であり得る。いくつかの実施形態において、コンピュータは、プロセッサ、メモリ、データ記憶デバイス、及び／又は、他の一般に知られた又は新規のコンポーネントを備え得る。これらのコンポーネントは物理的に、あるいは、ネットワーク又は無線リンクを通して接続され得る。コンピュータは、前述のコンポーネントの動作を指示し得るソフトウェアも含み得る。コンピュータは、サーバ、ＰＣ、モバイルデバイス、ルータ、スイッチ、データセンター、分散型コンピュータ、及び他の用語のような、関連技術における当業者によって一般に使用される用語によって言及され得る。コンピュータは、ユーザ及び／又は他のコンピュータ間の通信を促進してもよく、データベースを提供してもよく、データの分析及び／又は変換を実行してもよく、ならびに／あるいは、他の機能を実行してもよい。ここで使用されるこれらの用語は、交換可能であり、記述された機能を実行することができる任意のコンピュータが使用され得ることを、当業者は認めよう。例えば、用語「サーバ」が明細書中に現れ得るが、開示される実施形態は、サーバに限定されない。
いくつかの実施形態において、記述されるシステム及び方法において使用されるコンピュータは、特にスマートスペースを提供するために構成された、特殊目的のコンピュータであり得る。例えば、以下でさらに詳細を説明されるようなスマートスペース制御、統合、学習等を実行するために一緒に動作するように構成された、特殊化されたプロセッサ、メモリ、通信コンポーネント等に、サーバは装備され得る。
コンピュータは、ネットワーク又は複数のネットワークを介して互いにリンクされ得る。ネットワークは、完全に又は部分的に相互接続された任意の複数のコンピュータであってもよく、ここにおいてコンピュータのいくつか又はすべては、互いに通信することができる。いくつかの場合では、コンピュータ間の接続は、有線（例えば、イーサネット（登録商標）、同軸、光、又は他の有線接続を介して）であってもよく、又は、無線（例えば、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭａｘ（登録商標）、又は他の無線接続を介して）であり得ることが当業者によって理解されよう。コンピュータ間の接続は、ＴＣＰのような接続指向プロトコル、又は、ＵＤＰのような無接続プロトコルを含む任意のプロトコルを使用し得る。少なくとも２つのコンピュータがデータを交換し得る任意の接続は、ネットワークの基礎となり得る。
ここで記述されるスマートスペースシステム及び方法によって制御され得るシステムの例は、以下、セキュリティ技術、屋内ビデオインターコム、ホーム監視、ホーム侵入アラーム、ホーム及び個室カード、ホーム設備、世帯エネルギー、オーディオ及びビデオ技術、オーディオ及びビデオの集中型分配、バックグラウンドミュージック、ＨＶＡＣシステム、照明システム、アラームシステム、ホームシアター、エンターテインメントシステム、他の機器等を含み得るが、これらに限定されない。
図１は、本発明の実施形態による、スマートスペースネットワーク１０を示す。スマートスペース９０は、ログストア４０及び／又はデータストア／メムキャッシュ（ｍｅｍｃａｃｈｅ）２０と通信する（以下に記述される）システムを含み得る。ログデータ（例えば、以下に議論される、スマートスペース１００使用及び動向についてのデータ）は、ログストア４０中に記憶され得る。Ａｐｐデータ（例えば、ユーザによる入力）は、データストア２０中に記憶され得る。いくつかの実施形態において、データストア２０は、（例えば、Ｃａｓｓａｎｄｒａ、ビッグテーブル、データフロー、Ｒｅｄｉｓ、ＭｏｎｇｏＤＢ、及び／又は、他のシステムのうちの１つ以上を使用する）ｎｏｎ－ＳＱＬデータベース、及び、リアルタイムデータ処理技術であり得る。さらに、ａｐｐデータは、翻訳５０及び／又はサーチ６０機能において使用され得る。ログデータ及び／又はａｐｐデータは、ログストア４０及びデータストア２０によってアクセス可能なクラウド記憶装置３０中にさらに記憶され得る。（以下で記述される）ビッグデータクエリ７０及び／又は予測８０は、いくつかの実施形態において、クラウド記憶装置３０中に記憶されたデータを使用する遠隔サーバによって実行され得る。
図２は、本発明の実施形態による、スマートスペースネットワーク１００を示す。図１が、提供され得る機能に関してネットワーク１０を図示したのに対して、図２は、ハードウェア要素間の関係性を図示する。例えば、ハブ１１０と複数の周辺デバイス１２０は、図示されるように互いに通信し得る。各周辺デバイス１２０は、ハブ１１０によって制御される、及び／又は、ハブ１１０によってデータが集められるデバイスであり得る。例えば、周辺デバイス１１０は、データを集める及び／又は機器を制御するスマートプラグ又はスマートソケットのような、スマート機器及び／又はデバイスであり得る。１つ以上のユーザコンピュータは、ローカル又はワイドネットワーク１４０（例えば、ホームネットワーク又はインターネット）を介して、ユーザがハブ１１０と対話できるようにし得るａｐｐ１３２～１３６に装備され得る。ハブ１１０はまた、スマートＴＶ制御機能（例えば、ストリーミング媒体、ＤＶＲ等）を実行してもよく、（例えば、図３３Ａ～図３３Ｅにおいて示されるように、）ユーザインターフェースをＴＶ上に表示し得る。いくつかの実施形態において、ユーザが、ａｐｐ１３２～１３６を介して別な方法で実行され得るすべてのスマートスペース機能を実行できるように、ハブ１１０とＴＶは共同で機能し得る。実際、ハブ１１０はコンピュータとして機能してもよく、ＴＶはディスプレイとして機能してもよく、ハブ１１０はユーザの使用のためにａｐｐ１３６を提供してもよい。ＴＶ制御（例えば、遠隔制御）、及び／又は、ハブ１１０で提供される遠隔制御を使用して、ユーザは、ここで記述される機能を実行するために、ＴＶとハブを介してａｐｐ１３６と対話し得る。
さらに、第３者ａｐｐｓ１５２／Ｂ２Ｂａｐｐｓ１５４、第３者データベース１５６、及び／又は、第３者ｅコマースプラットフォーム１５８のような外部要素は、ネットワーク１４０を介して、ハブ１１０及び／又はａｐｐ１３２～１３６と通信し得る。システムｅコマースプラットフォーム１６０はまた、ネットワーク１４０を介して、ハブ１１０及び／又はａｐｐ１３２～１３６と通信し得る。システムｅコマースプラットフォーム１６０は、さまざまなデータ（例えば、外部のユーザデータベース１７２、コンテンツ管理システム（ＣＭＳ）１７４、カスタマー関係性マネージャ（ＣＲＭ）１７６）を含み得る。いくつかの実施形態において、例えば、ｅコマースプラットフォーム１６０及び／又は第３者プラットフォーム１５８は、ユーザが、マルチメディアコンテンツを表示するためのアプリケーションをインストールし、ＩｏＴアプリケーションをインストールし、ソーシャルメディアを共有し、及び／又は、スマートホームデバイス及びＩｏＴデバイスからの予測及び推奨を受信するための機能を付加できるようにし得る。
装置は、ａｐｐマーケットプレイスが、将来の新たなサービスやコンテンツプロバイダを提供するために、裏で新たなサービスとアプリケーションを自動インストールして、それらが利用可能になるとき、将来のアプリケーション及び新たなサービスを拡大できるアプリケーションの中でも、新たなデバイスとプロトコルを制御できるようにする。
図３は、ネットワーク１００の要素において含まれ得る特定のプロトコル、ａｐｐ、及び機能を図示して、スマートスペースネットワーク１００の代替的なビューを提供する。
図４は、本発明の実施形態による、スマートスペースサーバ２００を示す。サーバ２００は、例えば、図２のネットワーク１４０内に配置されてもよく、例えば、ハブ１１０及び／又はａｐｐ１３２～１３６と通信し得る。サーバ２００は、機械学習トレーニングモジュール２４０、機械学習（ＭＬ）実行モジュール２５０、及び／又は、機械学習監視モジュール２６０のような、ＡＩ及び予測アルゴリズム／モジュールを含み得る。サーバ２００は、デバイス（例えば、インターネットオブシングス（ＩｏＴ））データストア２１０、機械学習トレーニングデータストア２２０、及び／又は、ＩｏＴビッグデータデータストア２３０のような、さまざまなデータベースも含んでもよい。以下にさらに詳細に記述されるように、周辺デバイス１２０において集められて、ハブ１１０によって収集されたデータは、サーバ２００に送られて、ＩｏＴデータストア２１０において記憶され得る。このようなデータは、（例えば、ＭＬトレーニングデータストア２２０に通されて、ＭＬトレーニングモジュール２４０によって使用される）トレーニング、及び／又は、（例えば、ＭＬ実行モジュール２５０及び／又はＭＬ監視モジュール２６０を介した）解析のために使用され得る。さまざまな通信プロトコル（例えば、ｚｉｇｂｅｅ、ｚ‐ｗａｖｅ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）及び／又は、通信ボードとの対話モジュールは、互いとは別のプロトコルを使用するデバイス間の特有の通信と、データストリームとを可能にし得る。したがって、さまざまなタイプのデバイス、ブランド、コンフィギュレーション等は、（ハブ１１０とサーバ２００を介して）スマートスペース内で対話して、これにより、ここで記述される人工知能と機械学習機能によって制御され得る。サーバ２００は、推奨のようなメッセージ、アラート、及び、ａｐｐ１３２～１３６に対する（及び／又は、ＴＶ３２０上での表示のためのハブ１１０に対する）通知を送るように構成され得る。サーバ２００は、ユーザとの対話フィードバックを集め、フィードバックを記憶し、システムの機械学習アルゴリズムの再トレーニングを助けるために、後の分析においてそれを使用し得る。
スマートスペースを提供するためのシステム及び方法は、居住用及び／又は商業用の環境のさまざまな態様を操作して管理することができ得る。いくつかの実施形態において、システムは、例えば、ハブ１１０、及び／又は、サーバ２００のＭＬモジュール２４０～２６０を備える人工知能（ＡＩ）システムを用いてもよい。図５は、本発明の実施形態によるＡＩシステムを示し、制御／監視されているデバイスと、（例えば、リスト化されたＡＰＩ及び／又は他のものを介した）ハブ１１０とサーバ２００とのデータ処理を図示する。システムは、異なるシナリオとユーザ習慣を学習して適応するように構成され得る。ＡＩシステムは、ユーザのライフスタイル、機器のエネルギー管理能力、及びこれに類するものに基づいた、自動制御であり得る。例えば、システムは、デバイス及びセンサデータを使用して、ユーザの生活スペースとのユーザの対話について学習し得る。収集されたデータを使用して、ＡＩシステムは、安全、快適さ、エネルギー最適化、及びこれに類するものに関して、ユーザに推奨を提供し得る。
いくつかの実施形態は、クラウドベースの、又はそうでなければ、ネットワークアクセス可能な遠隔システムに、スマートスペースを接続し得る。遠隔システムは、ビッグデータを管理して取り扱うことができ得る。システムは、オペレーティング・システム、機械学習アルゴリズム、及び、ユーザの好みに適応するための予測モジュールを含み得る。クラウドベースのシステムは、これらに対する、家庭外での又はオフィス外でのアクセスと、ＡＩシステムに対するデータも提供し得る。
いくつかの実施形態において、システムは、システム、ビッグデータアーキテクチャ、モバイルデバイス、及び通信プロトコルを統合するように構成された統合モジュールを含み得る。さらに、システムは、第３者デバイス、機器、及びこれに類するもののインターオペラビリティを可能にしてもよく、したがって、上のものの途切れない統合を可能にする。いくつかの実施形態において、統合モジュールは、インターオペラビリティに対するオープンスタンダードを使用し得る。例えば、オープンスタンダードは、とりわけ、Ｈｏｍｅ Ｋｉｔ、Ｔｈｒｅａｄ、Ｉｎｓｔｅｏｎ、Ｚｉｇｂｅｅ（登録商標）、Ｚｗａｖｅ、及び、Ｗｉ－Ｆｉからのプロトコルを備え得る。統合モジュールは、第３者スマートスペースシステムと、自動化された居住用デバイスの統合を提供し得る。
いくつかの実施形態において、システムは、スマートシステム（例えば、ＩｏＴデバイス）の完全な一式の組み込みのために、ゲートウェイを提供し得る。例示的なゲートウェイデバイスは、モデム、ルータ、ネットワークスイッチ、デジタル信号デバイスのためのボイスオーバーインターネットプロトコル（ＶｏＩＰ）、アナログ電話アダプタ、又は、無線アクセスポイント、又は、これらの組み合わせを含み得る。ゲートウェイは、デバイス製造者、又はオペレーティング・システム、又はファームウェア等から独立した異なるデバイスに接続するためのメカニズムを提供し得る。例えば、図６は、本発明の実施形態による、ホームゲートウェイモジュール（例えば、ハブ）１１０のブロックダイヤグラムを図示する。ハブ１１０は、ＨＤＭＩ（登録商標）１１５又は他のインターフェースを介して、ＴＶ３２０に接続し得る。いくつかの実施形態において、ハブ１１０は、ＴＶ３２０に統合され得る。さらに、ハブ１１０は、メインのモード／プロセッサ１１１、電源１１２ａ／ｂ、ＳＤカードスロット１１３、ＵＳＢ１１４、イーサネット１１６、ＷｉＦｉ１１７、マルチプロトコル通信ドングル１１８、及び／又は、入力デバイス（例えば、マウス、遠隔制御等）１１９のような要素を含み得る。ハブ１１０は、第３者ホームオートメーションデバイス３１０及び／又はネットワーク１４０と通信し得る。ユーザは、例えば、ＴＶと他のデバイス１２０を制御するために、及び／又は、ハブ１１０からの情報を受信するために、入力デバイス１１９とＴＶ３２０とを使用して、ハブ１１０と対話し得る。
いくつかの実施形態において、ハブ１１０は、パーソナルコンピュータ又は他のデバイスに接続されてもよく、ハブ１１０と対話するためのファームウェア／ソフトウェアは、ハブ１１０の潜在能力をさらに開発するために、コンピュータ上にダウンロードされてインストールされ得る。ハブ１１０は、インジケータ及びユーザインターフェースを含み得る。１つの実施形態において、ハブ１１０に対するソフトウェアは、予め構成されたコマンドをユーザに提供し得る。例えば、予め構成されたコマンドは、ヘルプ、バージョン、リセット、任意のデバイスの取得状態／状況、任意のデバイスの設定状態、バインド、ファクトリーリセット、ネットワーク詳細、ブートモード、日付時間コマンド、及びバインドセットであり得る。
いくつかの実施形態において、ゲートウェイは、スマートボックス又はドングルを使用して提供され得る。いくつかの実施形態において、システムは、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄプラットフォームに基づいたオペレーティング・システムを含み得る。ゲーム制御装置、遠隔制御、及び／又は、モバイルアプリケーションは、例えば、コマンドをシステムに入力するのに使用され得る。いくつかの場合において、スマートボックスは、テレビジョンセットに取り付けられてもよく、ユーザは、例えば、テレビジョンインターフェースを介してシステムと対話してもよい。オプション的に、スマートボックスは、ユーザインターフェースを含む中央独立型ボックスであり得る。システムは、インターネット、ルータ及び／又はＷｉ－Ｆｉで、又はこれらなしで動作し得る。システムは、インストールされたサーバを有してネットワークを作成してもよく、これにより、デバイスは、例えばインターネット又は他の別のネットワークの必要なく、システムと通信し得る。人間の環境とインターフェースのさまざまな態様を操作して管理し得る、ビルトイン・マルチプロトコル・アーキテクチャを介して、スマートボックスは、相互接続されたデバイス及び装置の完全な一式をクラウド学習システムに接続し得る。さらに、システムは、アップグレードを受信して、新たに導入されたデバイス及びこれに類するものをサポートするために、付加的なアプリケーションを追加するように構成され得る。
システムは、インテリジェント発見及びインテリジェントマッピングで、マルチプロトコル第３者デバイスを統合し得る。システムハードウェアは、多くの標準規格と技術を集約する幅広い範囲のデバイスと通信し得る。第３者スマートスペースデバイスとの通信は、マルチプロトコルであり得る通信ドングルの使用で達成され得る。ドングルによってサポートされる通信プロトコルは、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、Ｚｗａｖｅ、Ｔｈｒｅａｄ、Ｈｏｍｅ Ｋｉｔ、及び、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙを含み得る。通信ドングルを通して、システムは第３者デバイスを制御して通信し得る。
システムについての例示的な開示が、図７Ａ～図７Ｅにおいて示される。ケース及びそれが作られる材料の設計は、無線範囲を最適化するように選択され得る。図７Ａは、ボックスに対する底面図を示す。図７Ｂは、システム状況を伝達し得るインジケータ照明を有するボックスの正面図を示す。図７Ｃは、ボックスの等角図を示し、図７Ｄは、左側面図を示し、図７Ｅは、裏側面図を示す。
システムは、プラグを含み、インスタレーション及び初期化機能を果たし得る。プラグ及びシステムのプレイ機能は、インストールされたゲートウェイソフトウェアによって実行され得る。例えば、ユーザが、初めてスマートボックスを電源にプラグ接続するとき、利用可能なネットワークに接続して異なるモジュールを操作可能にするために、システムメモリ中に記憶されたプログラムは、ドライバをロードして自動的にシステムを初期化し得る。例えば、ＺｉｇＢｅｅで、ドライバは、利用可能な最良のＺｉｇＢｅｅ無線チャネルをサーチし、識別されたチャネルにおいてＺｉｇＢｅｅネットワークを作成し、ネットワーク情報を得て、情報をローカルに記憶し、及び／又は、情報をクラウドに自動的にアップロードし得るネットワーク初期化シーケンスを実行し得る。
システムがインターネットに接続されたとき、これは、自動プラグを起動して、登録プロセスを行い得る。システムがインターネット接続能力を有するローカルネットワークに接続するとき、自動的な登録プロセスは開始し得る。図８は、本発明の実施形態による、例示的な登録プロセスを示しており、ここにおいて、ハブ１１０は、サーバ２００に登録してもよく、モバイルａｐｐ１３２／１３４及び／又はｗｅｂ ａｐｐ１３６を介して、スマートスペースに割り当てられ得る。例示的なａｐｐログインについては、図２０Ｋを参照されたい。システムがインターネットに接続した後、これは、クラウドサービスに自動的に接続して、これ自体を登録サーバに自動的に登録し得る。図８において、ハブ１１０は、サーバ２００に登録し得る。モバイルａｐｐ１３２／１３４は、ハブ１１０とサーバ２００に接続するために、ａｐｐがインストールされるデバイスを指示し得る。ｗｅｂ ａｐｐ１３６は、サーバ２００に接続して、アカウントをハブ１１０に関係付けるために、ａｐｐがインストールされるデバイスを指示し得る。登録後、システムは、クラウド中のスペースに追加されるか、又は、追加されないかのいずれかであり得る。ユーザがクラウドスペースにシステムを追加したい場合、ユーザは、ａｐｐを使用してクラウドにログインし得る。ａｐｐ（例えば、モバイルａｐｐ１３２／１３４）を介して、ユーザは、ハブ１１０をスマートスペースに割り当て得る。ログインがシステムと同じネットワークにあるとき、アプリケーションは、ＵＰｎＰを介してシステムを検出してもよく、システムをクラウド中の規定されたスペースに割り当てるために、ユーザにオプションを与えてもよい。オプション的に、システムがＵＰＮＰを介して検出されない場合、モバイルデバイスアプリケーションは、ユーザがシステムＭＡＣアドレスに入るのを可能にする、及び／又は、要求し得る。登録プロセスは、アプリケーションに加えて、システムの確認の際に終了し得る。スペース作成／編集のための例示的なインターフェースについては、図２０Ｌ～図２０Ｍを参照されたい。
図９及び図１０は、本発明の実施形態による、例示的なデバイスマッピングプロセスを図示しており、ここにおいて、ハブ１１０は、デバイス１２０を自動的に発見してもよく、ならびに／あるいは、ユーザは、モバイルａｐｐ１３２／１３４及び／又はｗｅｂ ａｐｐ１３６を介して、デバイス１２０を追加し得る。デバイス１２０を追加するためのユーザインターフェースの例については、図２０Ａを参照されたい。デバイス１２０を編集するためのユーザインターフェースの例については、図２０Ｄを参照されたい。ネットワーク上で互いの存在を途切れなく発見して、データ共有や通信及び／又はエンターテインメントのための、機能的なネットワークサービスを確立するためのパーソナルコンピュータ、プリンタ、インターネットゲートウェイ、ＷｉＦｉアクセスポイント、モバイルデバイス、又は、任意の企業クラスのデバイスのような、ネットワーク化されたデバイスを許可し得るシステムソフトウェア／ファームウェアの一部として、ネットワーキングプロトコルのセットはインストールされ得る。例えば、プロトコルは、ユニバーサルプラグアンドプレイ（ＵＰｎＰ）プロトコルであり得る。
図９において、９０１では、ユーザは、（ａｐｐ１３２～１３６を介して）ハブ１１０に、ｚｗａｖｅデバイスを走査するように指示し得る。９０２において、デバイス１２０は、ハブ１１０に応答してもよく、９０３において、ハブ１１０は、ユーザからのデバイス１２０の確認を要求してもよく、又は、いくつかの場合において、デバイスは、ユーザの対話なしで自動的にセットアップしてもよく、ハブ１１０は、自動的に走査し得る。９０４において、ユーザは、（ａｐｐ１３２～１３６を介して）デバイス１２０が追加されるべきことを、ハブ１１０に確認し得る。追加デバイスプロセスが自動的に実行される場合、ユーザは、ユーザがネットワークにおいて欲しないデバイスを削除することができ得る。９０５において、ハブ１１０は、基本的なデバイス情報と製造者情報を要求して受信して、追加されるべき各デバイス１２０と通信し得る。９０６において、ハブ１１０は、受信された情報をサーバ２００に報告してもよく、これは、ハブがデバイス１２０を制御できるようにして、９０７において、デバイス１２０アクティビティをハブ１１０に戻し得る。さらに、９０８において、サーバ２００は、デバイス１２０に対するユーザインターフェースを生成して、９０９において、ユーザインターフェースをａｐｐ１３２～１３６に送り得る。
図１０において、１００１では、ユーザは、（ａｐｐ１３２～１３６を介して）ハブ１１０に、ＺｉｇＢｅｅデバイスを走査するように指示し得る。１００２において、デバイス１２０は、ハブ１１０に応答してもよく、１００３において、ハブ１１０は、ユーザからのデバイス１２０の確認を要求してもよく、又は、いくつかの場合において、デバイスは、ユーザの対話なしで自動的にセットアップしてもよく、ハブ１１０は、自動的に走査し得る。１００４において、ユーザは、（ａｐｐ１３２～１３６を介して）デバイス１２０が追加されるべきことを、ハブ１１０に確認し得る。追加デバイスプロセスが自動的に実行される場合、ユーザは、ユーザがネットワークにおいて欲しないデバイスを削除することができ得る。１００５において、ハブ１１０は、製造者ＩＤ、製品ＩＤ、アクティブエンドポイント、アクティブエンドポイント入力クラスタ、及び、アクティブエンドポイント出力クラスタを要求して受信して、追加されるべき各デバイス１２０と通信し得る。１００６において、ハブ１１０は、受信された情報をサーバ２００に報告してもよく、これは、ハブがデバイス１２０を制御できるようにして、１００７において、デバイス１２０アクティビティをハブ１１０に戻し得る。さらに、１００８において、サーバ２００は、デバイス１２０に対するユーザインターフェースを生成して、１００９において、ユーザインターフェースをａｐｐ１３２～１３６に送り得る。
システムは、（イーサネット、又は、ＷｉＦｉ、及び、ｕｐｎｐ／ｄｌｎａのような異なるプロトコルを通した）ＬＡＮ、ＺｉｇＢｅｅ、ｚｗａｖｅ、ｔｈｒｅａｄ、Ｈｏｍｅｋｉｔ等のような異なるネットワークにおいて、デバイスを発見することを自動的に開始し得る。システムは、インテリジェント発見及びマッピングプロセスを実行してもよく、これにより、システムは、デバイスをローカルに追加して、その後、クラウドにコンフィギュレーションをプッシュし得る。コンフィギュレーションと自動加入とプログラミングは、クライアントのスマートフォンや、タブレットや、コンピュータ等の中に複製され得る。
ネットワークが、ネットワークデバイスを発見するための特有のセキュリティプロセス（例えば、ｚｗａｖｅドアロック）を必要とするとき、システムは、発見／マッピングプロセスを実行するための安全な接続とプロトコルを確立し得る。マッピング／発見プロセスを仕上げるために、オートメーションの代わりに、イベント（デバイスにおける物理的ボタン、モバイルａｐｐｓ、ｗｅｂ ａｐｐｓ等）トリガがシステムによって要求され得る。
インテリジェントマッピングソフトウェアは、システムと統合するために、第３者ベンダーからのデバイス及び通信プロトコルを発見し得る。例えば、デバイス１２０と通信して、既知のデバイスＡＰＩデータに対して受信されたデータをチェックする、ハブ１１０及びサーバ２００を通して、発見は達成され得る。統合モジュールのインテリジェントマッピングソフトウェアは、デバイスの機能ｄｅｖｉｃｅｓ’ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓを、システムに自動的にロードし得る。さらに、統合モジュールは、データをクラウドに自動的にバックアップし得る。さらに、インテリジェントマッピングソフトウェアは、自動ハードウェアハンドラを生成し得る。これらのハンドルは、これらのデバイスと通信して制御するための異なるモジュールによって、記憶されて使用され得る。
図９は、実施形態による、Ｚｗａｖｅインテリジェントマッピングプロセスを図示する。プロセスは、Ｚｗａｖｅネットワークにおいて利用可能なデバイスを走査して、デバイスをシステムＺｗａｖｅネットワークに追加するために、システムをトリガすることを伴い得る。いったんＺｗａｖｅコンパチブルデバイスがシステムと同じネットワークに追加されると、システムは、デバイスから基本的な情報を得ることがある。
次に、システムは、コマンド「製造者情報を得る」を、「ノードＩＤ」とともに送り得る。これは、ネットワークからの製造者情報応答を戻し得る。プロセスは、検出された新たな各デバイスに対して唯一の識別子を作成し得る。例えば、唯一の識別子は、製品タイプＩＤ及び／又はデバイスのシリアルナンバーを含み得る。Ｚｗａｖｅデバイスから取得された情報は、例えば、シリアルナンバー、製造者情報、及び、デバイスによってサポートされたコマンドを含み得る。機械学習アルゴリズムは、デバイスに対するユーザインターフェースを自動的に生成するために、集められた情報を適用し、デバイスの能力を検出し、自動ユーザインターフェース生成を使用し得る。
図１０は、実施形態による、Ｚｉｇｂｅｅインテリジェントマッピングプロセスを図示する。モバイルデバイスからのトリガ及び／又はＷｅｂアプリケーションは、システムに、Ｚｉｇｂｅｅネットワーク中で利用可能なデバイスを走査して、検出されたデバイスをゲートウェイに追加するように命令し得る。システムは、ＺｉｇＢｅｅコンパチブルデバイスからの製造者識別を問い合わせ得る。データを得た後にデバイスが認識されない場合において、システムは、デバイスのアクティブエンドポイントにクエリを送って、デバイスからのアクティブエンドポイントのリストを受信し得る。デバイスのアクティブエンドポイントのリストを得た後に、各エンドポイントにおけるすべてのクラスタのリストを得るために、システムは、各エンドポイントの入力クラスタ及び出力クラスタに要求を送り得る。これは、デバイスタイプ、エンドポイントの機能性、及び、エンドポイントによってサポートされるコマンドを提供し得る。前述の情報を集めた後に、機械学習アルゴリズムは、情報に適用され得る。機械学習は、デバイスの能力をさらに検出してもよく、デバイスに対するユーザインターフェースを自動的に生成するために、自動ユーザインターフェース生成を使用し得る。
いったんハブ１１０がセットアップされて、デバイス１２０が追加されると、ハブ１１０とサーバ２００は、スマートスペースにおいてデバイス１２０を監視して制御することを開始し得る。図１１は、本発明の実施形態による、学習スケジュールと、ＡＩアルゴリズムを示す。上で記述されたように、ハブ１１０は、初めにセットアップされてもよく、その後、ハブ１１０及びサーバ２００（一括して「システム」）は、デバイス１２０からデータを収集するのを開始し得る。データが入ってくるにつれて、システムは、デバイス１２０の動作のパターンを学習して、モジュール２４０～２６０をトレーニングし得る。ユーザが作成したシーン及びルールも、同様に（例えば、デバイス１２０が動作し得る又は動作し得ないときを規定して、ならびに／あるいは、単独で又は他のデバイス１２０との組み合わせにおいて、デバイス１２０アクティブ化及び／又は非アクティブ化のプログラムされたシーケンスであり得る、「シーン」又は「バトラー」を作成して）入力され得る。シーン又はバトラーを作成するための例示的なインターフェースについては、図２０Ｃを参照されたい。作成されたシーン又はバトラーを使用するための例示的なインターフェース、及び／又は、個々のデバイスについては、図２０Ｅ～Ｊを参照されたい。学習が行われるとき、システムは、スマートスペースの効率に対してなされ得る改善を認識して、（例えば、ａｐｐ１３２～１３６を介して、図２０Ｂ参照）ユーザにアラートを送ることを含む、最適化示唆を提供し（及び／又は、最適化するための動作を行い）得る。時間が経つにつれて、システムは、データ観測及び学習に基づいて、スマートスペース効率及び住みやすさにおける改善に影響し得る。
システムによって制御されるいくつかのオブジェクトは、スマートオブジェクトであり得る。スマートオブジェクトは、デバイスタイプ、機器挙動認識、使用パターン認識、例外検出、ジオロケーション使用、自動化された動作、及び／又は、他の機能についてのデータを提供するためのデータ解析及び要約機能を含み得る。ハブ１１０及び／又はサーバ２００は、スマートデバイスを通して接続される機器の種類を検出し得る。ハブ１１０及び／又はサーバ２００は、アクティビティ、部屋／スペース、及び／又は、ジオロケーション検出を実行して、スマートオブジェクトから検出されたデータのクラスタを形成し得る。ハブ１１０及び／又はサーバ２００は、データクラスタに基づいて、経時的にデバイス使用パターンを検出し得る。ハブ１１０及び／又はサーバ２００は、スマートオブジェクトによって集められたデータ（例えば、使用パターンデータ）に関連する、異なる異常挙動を検出し得る。スマートオブジェクトは、集められたデータをハブ１１０に送信してもよく、ハブ１１０及び／又はサーバ２００は、例えば、使用パターン及び／又は例外検出を実行し得る。スマートオブジェクトは、自動化されたシーン及びバトラー生成も含み得る。
図１２Ａ～図１２Ｅは、本発明の実施形態による、スマートオブジェクトの分解組立図を示す。これらのスマートオブジェクトは、例としてのみ提示されており、当業者は、他のオブジェクト及び／又はコンフィギュレーションが可能であることを認識されたい。
ドア／窓センサ１２１０は、互いの近く（ドア／窓に対して１つと、近くの静的な表面に対して１つ）に据え付けられて、いつドア／窓が開かれる／閉じられるかを感知するように構成された２つのユニットを含み得る。例えば、第１のユニットは、正面プレート１２１１、ファスナ１２１２、回路１２１３、及びハウジング１２１４を含み得る。第２のユニットは、正面プレート１２１５、マグネット１２１６、背面プレート１２１７を含み得る。回路１２１３は、マグネット１２１６の磁気フィールドの存在／不在を検出して、（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、又は他のいくつかの接続を介して）ハブ１１０にこの検出を報告し得る。センサは、開かれて閉じられることができるもの（例えば、ドア、窓、キャビネット、引き出し等）に取り付けられてもよく、これらが開かれるとき、アラートを生成し得る。開／閉センサは、加速度計で動きを検出してもよく、及び／又は、温度や湿度や明るさに対するセンサを含み得る。
スマートプラグ１２２０は、アウトレット１２２１、端末１２２２、１つ以上の回路基板１２２３／１２２４、ハウジング１２２５、ボタン１２２６を含んでもよく、これは、回路基板１２２３／１２２４のうちの１つ以上と接触してもよく、ハウジング１２２５とインレット１２２７／１２２８において据え付けられ得る。回路基板１２２３／１２２４は、アウトレット１２２１にプラグ接続されたデバイスの存在及び／又は電力使用を検出し得る回路を含み、（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、又は、他のいくつかの接続を介して）ハブ１１０にこの検出を報告し得る。スマートプラグは、機器をスマートデバイスに単純にプラグ接続することによって、任意の電気的な機器をスマートデバイスにし得る。スマートプラグは、電力アウトレットとデバイスの間に配置され得る。システムに関連して、スマートプラグは、ユーザが、効率を高め、デバイスをオンとオフにし、及び／又は、どこからでもエネルギー消費を監視して制御できるようにし得る。ユーザは、エネルギー使用を追跡して、スマートプラグが環境において高温を検出した場合、電源供給を自動的に中断することができ得る。スマートプラグがランプにプラグ接続された場合、それは、環境におけるルーメンを検出して、それが暗くなるときにランプをつけ得る。スマートプラグは、ランプの照明を減光し得る。スマートプラグ１２２０は、他のアウトレットをカバーするのを避ける（例えば、スマートプラグ１２２０が、２アウトレットの壁コンセントにおいて、第１のアウトレットにプラグ接続された場合、これは、第２のアウトレットはカバーし得ない）ように構成され得る。
センサユニット又はスマートステーション１２３０は、上部カバー１２３１／１２３２、下部カバー１２３３、正面カバー１２３４、背面カバー、１つ以上のファスナ１２３６／１２３８、電力インレット１２３７、及び回路１２３９を含み得る。回路１２３９は、１つ以上のセンサ（例えば、照明センサ、ガスセンサ、温度センサ、等）を含み得る。回路１２３９は、（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、又は、他のいくつかの接続を介して）ハブ１１０にセンサアウトプットを報告し得る。例えば、スマートステーションは、組み込みカメラ及び／又は他のセンサを含んでもよく、感情、顔検出、空気品質、煙、ＣＯ、温度、気圧、存在、動き、湿度、明るさ等を測定し得る。例えば、スマートステーションは、暗さが検出されたときに、ランプをオンにするのを自動化し得る。スマートステーションは、誤検出を除去するために、加速度計を使用して動きを検出し得る。スマートステーションは、火炎に対して警告してもよく、アラートを送ってＣＯ中毒を防ぐのを助けるために、「空気品質検出」（スマートステーション保護）を含み得る。
スマートソケット１２４０は、下部カバー１２４１、回路１２４２、上部カバー１２４３、及び、ソケットスレッド１２４４を含み得る。ソケットスレッド１２４４は、スマートソケット１２４０に取り付けられる照明に、スマートソケット１２４０が取り付けられるソケットからの電力を供給し得る。回路１２４２は、スマートソケット１２４０に取り付けられたデバイスの存在、及び／又は電力使用を検出して、この検出を（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、又は他のいくつかの接続を介して）ハブ１１０に報告し得る。スマートソケットは、ユーザがエネルギー使用を監視し、照明を減光し、いつどこからでも、それらをオン／オフにし、混雑した家の見た目を提供するためにそれらをランダムなパターンで設定することができるようにし得る。
赤外線スキッパー１２５０は、上部カバー１２５１、１つ以上のファスナ１２５２、回路１２５３、ミドルカバー１２５４、及び、下部カバー１２５５を含み得る。回路１２５３は、赤外線遠隔制御（例えば、テレビジョンと、他のホームシアターコンポーネント等）を使用して、機器を検出し得る赤外線トランシーバを含み得る。回路１２５３は、このような機器を制御するとともに、機器についての情報を検出するように構成され得る。回路１２５３は、（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、又は、他のいくつかの接続を介して）ハブ１１０からコマンドを受信して、ハブ１１０にデータを報告し得る。この例において赤外線が示されるが、いくつかの実施形態において、スキッパー１２５０は、赤外線を介するのに加えて、又は、赤外線を介する代わりに、Ｂｌｕｅｔｏｏｔｈ又は他の接続を介して、機器と通信し得る。スキッパーは、ユニバーサル遠隔制御やＩＲブラスタとして機能し得る。スキッパーは、部屋において配置されてもよく、それは、赤外線技術（例えば、ＡＣ、ＴＶ、ＤＶＲ、及び、オーディオシステム）を有するすべての機器を検出し得る。赤外線接続を使用して、スキッパーは、ユーザがどこからでもデバイスを制御できるようにし得る。
システムは、いくつかの実施形態において、存在タグ（例えば、ハブ１１０と通信し得るＲＦＩＤタグ、及び／又は、上で記述されたもののようなスマートデバイス）も含み得る。存在タグは、タグが指定されたゾーン内から取り外された場合、アラートをトリガし得る。ゾーンは、システムを使用してカスタマイズ可能であり得る。例えば、子供のバックパックがタグ付けされてもよく、タグは、子供が学校から戻ったときに、アラートをトリガし得る。存在タグは、キーチェーン、ペットの首輪等に実装され得る。タグは、システムが、タグが範囲内にあるかどうかを知ることができるようにし得る。オプション的に、存在タグは、ユーザの存在に基づいて、動作を自動的にトリガし得る。例えば、ユーザがリビングルームに足を踏み入れるとき、システムは、お気に入りの音楽を流し、照明をオンにし、又は、他の任意のカスタマイズされた機能を予め形成し得る。
システムはまた、アウトレットを変更する必要なく、任意のソケット又はスイッチを変換し得るスマート壁ユニットを含み得る。それは壁におけるボックスの内部にインストールされてもよく、標準規格電気ボックス（例えば、壁ソケット又はスイッチ）とコンパチブルであってもよい。スマート壁ユニットは、電気ボックス内のハードワイヤードを除いて、スマートプラグ１２２０とスマートソケット１２４０と同様に、他の機能の中でも、オン／オフ切り替え、減光、及びエネルギー監視をできるようにし得る。
システムは、Ｃｅｎｔｒａｌｉｔｅやその他によって製造された、スマートサーモスタット、プラグ、及び、調光器；及び／又は、Ｋｗｉｋｓｅｔやその他によって製造されたドアロック、のような第３者デバイスと通信するようにも構成され得る。
以下は、システム及び人工知能によって使用され得る、スマートオブジェクト分類カテゴリタイプの例示的なセットである。
・機器
・照明
・ドア＆窓
・エンターテインメント
・その他
各カテゴリ内で、例えば以下のような、特定のスマートオブジェクトが提供され得る。
・機器：
・コーヒーメーカー
・トースター
・冷蔵庫
・電子レンジ
・洗濯機
・ドライヤー
・食器洗い機
・冷凍庫
・照明：
・読書灯
・ベッドランプ
・スポットライト
・天井灯
・シャンデリア
・壁照明
・屋外照明
・ドア＆窓：
・玄関ドア
・ガレージドア
・屋外ドア
・屋内ドア
・門
・窓
・エンターテインメント
・ＴＶ
・メディアプレーヤ
・ゲーム機
・音楽プレーヤ
・スピーカ
・コンピュータ
・ＤＶＲ／ＴｉＶｏ
・その他：
・電話機
・ルータ
・ヒータ
・空調
・ＨＶＡＣ
・ファン
・天井ファン
システムは、その環境の異なる態様（例えば、ユーザとデバイス）を学習して、スマートオブジェクト分類を自動的に実行し得る。システムは、特にスマートスペースと、商業システムと、インターネットオブシングスシステムと、アーキテクチャとに適用するために同調された学習アルゴリズムを含み得る。アルゴリズムは、ビッグデータモジュールに関連して動作し得る。ビッグデータモジュールは、イベントを検出して捕捉し得る。例えば、ユーザがスイッチを手動でオンにした場合、ビッグデータモジュールは、そのイベントを捕捉してもよく、又は、電球が切れた場合、ビッグデータモジュールは、１つ以上の例外検出モジュールやその他を通して、そのイベントを捕捉し得る。システムは、エネルギーを保存するための効果的な方法をさらに学習でき得る。ＡＩモジュールは、ユーザ、センサ、アクチュエータ等から収集されたデータから学習して、コストセーブオプションを家庭及び商業環境に提供できる。ＡＩモジュールは、ユーザが機器からのメトリックを取得するのをさらに可能にし、ユーザがまだ適用していないかもしれない機能についての示唆を提供し得る。
システムは、ユーザの作用及び挙動と、プログラム自体とから学習し得る。集められたデータは、クラウド上で更新され得る。例えば、ＡＩモジュールは、機器の全範囲に対して、連続的に、習慣、好み及びスケジュールを学習し得る。学習アルゴリズムとクラウドイベント駆動のアーキテクチャは、ＳＭＳや音声電話やＥメールやプッシュ通知等のような多方向チャネルを通して、アラートと示唆と通知を作成して送るために、ルール、シナリオ、動作、スケジュール、及びトリガについての自動プログラミングを可能にし得る。
学習アルゴリズムは、ＩＦＴＴＴやｅメールサーバ等のような異なるクラウドサービスと対話するためにマルチクラウド第３者ＡＰＩと対話し得る、人工知能アプリケーションプログラミングインターフェース（ＡＰＩ）にも接続され得る。いくつかの例示的な人工知能ＡＰＩが以下でリストにあげられる。
ａｉ．ｄａｔａｓｔｒｅａｍ．ａｄｄ
ａｉ．ｄａｔａｓｔｒｅａｍ．ｄｅｌｅｔｅ
ａｉ．ｄａｔａｓｔｒｅａｍ．ｇｅｔ
ａｉ．ｅｎｅｒｇｙ．ｇｅｔＣｏｎｓｕｍｐｔｉｏｎ
ａｉ．ｅｎｅｒｇｙ．ｇｅｔＳａｖｉｎｇ
ａｉ．ｅｎｅｒｇｙ．ｐｒｅｄｉｃｔＣｏｎｓｕｍｐｔｉｏｎ
ａｉ．ｌｉｆｅｓｔｙｌｅ．ｇｅｔＨａｂｉｔ
ａｉ．ｌｉｆｅｓｔｙｌｅ．ｇｅｔＵｓｅｒＰａｔｔｅｒｎｓ
ａｉ．ｌｉｆｅｓｔｙｌｅ．ｐｒｅｄｉｃｔＳｃｅｎｅ
ａｉ．ｐｒｅｄｉｃｔｉｏｎ．ａｎａｌｙｚｅ
ａｉ．ｐｒｅｄｉｃｔｉｏｎ．ｃｒｅａｔｅ
ａｉ．ｐｒｅｄｉｃｔｉｏｎ．ｄｅｌｅｔｅ
ａｉ．ｐｒｅｄｉｃｔｉｏｎ．ｇｅｔ
ａｉ．ｐｒｅｄｉｃｔｉｏｎ．ｌｉｓｔ
ａｉ．ｐｒｅｄｉｃｔｉｏｎ．ｕｐｄａｔｅ
ａｉ．ｃｌａｓｓｉｆｙＯｐｅｎＣｌｏｓｅ
ａｉ．ｆｅｅｄｂａｃｋＡｎｏｍａｌｙＤｅｔｅｃｔｉｏｎ
ａｉ．ｆｅｅｄｂａｃｋＭｏｏｄＦｅｅｄｂａｃｋ
ａｉ．ｆｅｅｄｂａｃｋＯｐｅｎＣｌｏｓｅＣｌａｓｓｉｆｉｃａｔｉｏｎ
ａｉ．ｇｅｔＢａｓｅｌｉｎｅ
ａｉ．ｇｅｔＲｅｓｕｌｔ
ａｉ．ｉｎｓｅｒｔＡｎｏｍａｌｙＤｅｔｅｃｔｉｏｎＲｅｃｏｍｍｅｎｄａｔｉｏｎ ａｉ．ｉｎｓｅｒｔＭｏｏｄＦｅｅｄｂａｃｋ
ａｉ．ｉｎｓｅｒｔＯｐｅｎＣｌｏｓｅＣｌａｓｓｉｆｉｃａｔｉｏｎＲｅｃｏｍｍｅｎｄａｔｉｏｎ
ａｉ．ｉｓＡｎｏｍａｌｙ
ａｉ．ｓｍａｒｔｏｂｊｅｃｔ．ｇｅｔＤｅｔｅｃｔｅｄＯｂｊ
ａｉ．ｓｍａｒｔｏｂｊｅｃｔ．ｇｅｔＤｅｔｅｃｔｅｄＣｏｍｐｏｕｎｄＯｂｊ
ａｉ．ｓｍａｒｔｏｂｊｅｃｔ．ｇｅｔＨａｂｉｔ
ａｉ．ｓｍａｒｔｏｂｊｅｃｔ．ｇｅｔＡｕｔｏｍａｔｅｄＡｃｔｉｏｎｓ
ａｉ．ｓｅｎｄＲｅｃｏｍｍｅｎｄａｔｉｏｎ
ａｉ．ｓｅｎｄＲｅｃｏｍｍｅｎｄａｔｉｏｎＶ２
ａｉ．ｇｅｔＥｎｖｉｒｏｎｍｅｎｔ
ａｉ．ｇｅｔＥｎｖｉｒｏｎｍｅｎｔＢｙＤｅｖｉｃｅ
ａｉ．ｇｅｔＥｎｖｉｒｏｎｍｅｎｔＤｅｔａｉｌｓＢｙＤｅｖｉｃｅＢｙＨｏｕｒ
学習機能は、システムに対するエネルギー保存及びエネルギー管理能力を可能にし得る。システムは、エネルギー消費デバイス、ユーザデータ、ならびに、センサと、ユーザと、スマートフォンやタブレットやコンピュータや機器や電気デバイス等のようなデバイスとによって収集される環境データを、監視し得る。システムは、１つ以上の動作、ルール、シナリオ、通知、示唆、及び／又は、アラートのセットを自動プログラムするための、人工知能アルゴリズムと機械学習アルゴリズムによって収集されたデータを解析し、多感覚の、無線で通信するスマートＴＶと、スマートＴＶボックスホームゲートウェイとで結合される、家庭やオフィス（又は任意のスペース）における電力使用の戦略的低減を提供するために、異なる動作及びシナリオを実行し得る。
人工知能及び学習アルゴリズムは、エネルギー管理とエネルギー保存機能に対して、効果的な学習を可能にし得る。異なるスケジュール、シナリオ、動作及び／又はルールは、システムにおいて作成されてもよく、即時制御入力に基づいて自動的に生成され得る。人工知能及び機械学習方法は、ユーザの好みと環境に関連するユーザ入力を受信するためにも使用され得る。エネルギー監視及び管理システムはまた、クラウドエネルギー監視及びエネルギー保存システムにおいて実行してもよく、これは、ロケーション又はスペースにおいて、システム及び任意の電気デバイスと対話し得る。
以下で記述される機能のそれぞれは、機械学習を使用し得る。図１３は、本発明の実施形態による、機械学習プロセス１３００である。１３１０において、データは、１つ以上のデバイス１２０から、ハブ１１０において受信され得る。このデータは、サーバ２００に通されてもよく、これは、１３２０において、各デバイス１２０についての最近の履歴データのクラスタを構築し得る。１３３０／１３４０において、システムは、到来する新たなデータを待ち得る。それが到来したとき、１３５０において、ハブ１１０は、クラスタ又は複数のクラスタを保持し得るサーバ２００にデータを通し得る。
学習機能は、例外検出機能を有するシステムを提供してもよく、これは、スマートスペース内でのデバイスのエネルギー消費に関連する異常挙動を識別するのに使用され得る。システムは、異常挙動（例えば、確立された通常挙動のパターンとは異なる挙動）を検出するために、リアルタイム又はほぼリアルタイムで監視されたデバイスからのデータに、フィルタと分類器を適用し得る。システムは、異常挙動が検出されたとき、ユーザに通知し得る。
スマートデバイスから受信されたデータは、オーナー、スペース及びデバイスに関連する履歴データとともに集約するために処理され得る。集約されたデータは、フィルタでフィルタリングされ、関連するデバイスに対して最新の到来するイベントで修正され得る。
収集されたリアルタイムデータは、フィルタと分類器を適合して修正するのに使用され得る。システムのライフサイクルの開始において、又は、異常挙動が検出される度に、測定されたデバイスの信号に対して、データが実際の通常挙動を表すと仮定して、フィルタと分類器は、スマートスペースにおけるデバイスから到来するデータストリームで再トレーニングされ得る。
図２８は、本発明の実施形態による、クラスタ化プロセッサ２８００である。クラスタ化プロセッサ２８００は、シリアル化されたインスタンスローダ２８１０、トレーニング／テストスプリットメーカ（ｔｒａｉｎ／ｔｅｓｔ ｓｐｌｉｔ ｍａｋｅｒ）２８２０、クロス検証フォールドメーカ（ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ ｆｏｌｄ ｍａｋｅｒ）２８３０、増大するＫミーンズ（ｋ－ｍｅａｎｓ）発生器２８４０、シリアル化されたモデルセイバー２８５０、クラスタ性能を評価するもの２８６０、及び、テキストビューア２８７０を含み得る。クラスタ化プロセッサ２８００は、以下に記述される、例外検出、デバイス検出、ユーザアクティビティ検出、シーン発見／生成等に関連するさまざまなプロセスを実行するのに使用され得る。
図１４は、本発明の実施形態による、例外検出プロセス１４００である。１４１０において、到来する信号に基づいて、デバイスの挙動の通常状況を見つけるために、システムは、時間シリーズクラスタ（すなわち、時間ごとに配列される信号値のクラスタ）に基づいて、分類器を構築するために最近収集された履歴データを使用し得る（図１３）。クラスタが決定されたとき、１４２０において、最も近い中心に対する（ハブ１１０によって検出された）任意の新たなイベントの距離が、サーバ２００によって決定され得る。すなわち、この場合において、フィルタは、各クラスタの中心辺りの間隔であり得る。１４３０／１４４０において、距離が通常（例えば、しきい値以下）である場合、データはクラスタに追加され得る。１４５０において、フィルタ外の（例えば、中心から離れた）多くの継続的な（又はほぼ時間内の）イベントがある場合、異常挙動が検出され得る。
本発明の実施形態による、例外検出のためのクラスタ生成プロセス２１００の特定の例が、図２１において示される。２１１０において、シリアル化されたインスタンスローダは、履歴データを受け入れて、データセットを出力し得る。２１２０において、トレーニング／テストスプリットメーカは、データセットを受信して処理し、トレーニングセットを出力し得る。２１３０において、クロス検証フォールドメーカは、トレーニングセットを受信して処理し、トレーニングセットとテストセットを出力し得る。２１４０において、増大するＫミーンズアルゴリズムは、クラスタを生成するために、クロス検証フォールドメーカからのトレーニングセットとテストセットを使用し得る。２１５０において、クラスタは、保存され得る。
図２２は、本発明の実施形態による、例外検出プロセス２２００であり、ここにおいて、図２１のプロセス２１００によって生成されたクラスタは、例外を識別するのに使用され得る。２２１０において、ステップ２１５０から保存されたデータがロードされてもよく、２２２０において、クラスタメンバーシップがデータセットとして決定されて出力され得る。クラスタクラスが、２２３０においてデータセットに対して割り当てられ得る。２２４０において、トレーニング／テストスプリットメーカは、データセットを受信して処理して、トレーニングセットを出力し得る。２２５０において、クロス検証フォールドメーカは、トレーニングセットを受信して処理して、トレーニングセットとテストセットを出力し得る。２２６０において、シリアル化された分類器は、例外を識別するために、出力に対してデータを分類し得る。２２７０において、例外データが保存され得る。
１つの例外検出例において、スマートオブジェクトは、調光器及び／又はオンオフ制御を有する照明（例えば、上述されたスマートソケット、又は、それ自体のスマート通信及びデータギャザリング機能を有する照明）であり得る。フィルタは、観測された履歴デバイスデータに基づいて、デバイスに対して設定され得る。調光器の場合において、クラスタは、頻繁に観測される調光器設定の辺りで形成され得る。例えば、ユーザが、ユーザが仕事から帰宅したときに調光器を２０％に設定し得る。この場合において、フィルタは、時間ウィンドウ中の履歴データストリームの平均辺りの単純な間隔であり得る。（例えば、ウィンドウ時間データストリームに渡って、１１区分（ｐａｒｔｉｔｉｏｎ）の四分位数（ｑｕａｒｔｉｌｅｓ）２と１０）。
スマートオブジェクトのベースラインは、例えば、１１バケット（ｂｕｃｋｅｔｓ）の最低及び最高の第２四分位数（ｔｈｅ ｌｏｗｅｓｔ ａｎｄ ｈｉｇｈｅｓｔ ｓｅｃｏｎｄ ｑｕａｎｔｉｌｅｓ）をとって、最小限及び最大限のサンプルの範囲として計算され得る。データ範囲においてカバーされるサンプルの数が、あるしきい値（ＭＩＮ＿ＲＥＱ＿ＳＡＭＰＬＥ＿ＢＡＳＥＬＩＮＥ）よりも低い場合、ベースラインは捨てられる。
照明デバイスが異常挙動を有するか否かを決定するために、システムは、（最新の２４時間、又は、少なくとも最新のＭＩＮ＿ＲＥＱ＿ＰＯＷＥＲ＿ＳＡＭＰＬＥＳからの）最新のサンプルをとって、どのくらい多くのサンプルがベースライン範囲外にあるかを数えて、どのくらい多くのサンプルが第１の例外の後にあるかを数え得る。最新のサンプル上の異常なサンプルのパーセンテージが、あるしきい値（ＡＮＯＭＡＬＹ＿ＴＯＬ＿ＬＩＭＩＴ）を超える場合、例外は、システムによって登録され得る。
同様の監視が、例えば、エネルギー使用サンプルに基づいて、スマートプラグとアウトレットと他のエネルギー使用デバイスに対して実行されてもよく、ここにおいて、最新のサンプル上の異常なサンプルのパーセンテージが、あるしきい値（ＡＮＯＭＡＬＹ＿ＴＯＬ＿ＬＩＭＩＴ）を超えるとき、例外がシステムによって登録され得る。さらに、スマートプラグ中にプラグ接続されるデバイスのタイプは、変化し得る。ゆえに、異常挙動が検出されたとき、これは、実際の異常挙動が行われているか、又は、接続された機器が変更されたかを示し得る。後者の場合において、システムは、ユーザに変化を通知し得るが、経時的に新たな挙動パターンを学習し、よって、新たなデバイスが接続されたことを認識して、その新たなデバイスでの例外を探し始め得る。
システムは、ユーザ挙動における例外を検出し得る。システムは、ＩｏＴクラウドを通して、任意のデバイスに任意のクライアントとともに任意のユーザによって実行された動作を登録し得る。システムは、デバイス上での動作、又は、イベントの発生／脱落を通して、ユーザ挙動における例外を周期的に探し得る。各種デバイスに対して、システムは、ルールとして成文化された典型的な異常挙動パターンの収集を記憶してもよく、これに対して、現在監視された挙動が評価され得る。異常なユーザ挙動が検出されたとき、事態の重大度に依存して、システムは、安全確認が受信されない場合にデバイスへのアクセスを拒否して、ユーザに問題について通知するか、又は動作の安全確認を要求するような、異なる動作を実行し得る。
システムは、データストリーミングパターンにおける例外を検出し得る。これは、エネルギー例外検出機能の生成である。システムは、信号の挙動の通常状況を見つけるために、最近の履歴データを処理して、時間シリーズに対するクラスタに基づいた分類器を構築し得る。例えば、スマートステーションからのデータ（例えば、温度、湿度、明るさ、及び／又は、アクティビティ／動き頻度）は、頻繁に観測される測定値からの逸脱のために監視され得る。
システムは、異なるジオロケーションからＩｏＴクラウドにアクセスするように試行するユーザの移動における例外を、周期的に探し得る。システムが、遠隔位置から（例えば、ユーザがオフィスにいる間に、ユーザのホームにおけるスマートスペース設定を編集するユーザから）ユーザコマンドを受信する度に、コマンドを含むデバイスから送られたデータは、デバイスのＧＰＳ位置も含み得る。システムは、コマンドを送るデバイスのＧＰＳ位置に対応するマップ上のポイントを配置し得る。いくつかのコマンドがユーザから受信された後、システムは、マップに渡るポイントのクラスタを生成し得る。その後、新たなコマンドが受信されて、よって新たなポイントが出現する度に、システムは、最も近い中心への距離を測定し得る。異常なジオロケーションは、この距離がある限度を超えるときに検出され得る。
異常なユーザジオロケーションが検出されたとき、システムは、ユーザに異常について通知して、安全なログインを要求してもよく、安全なログインが受信されない場合、異常に位置付けされたデバイス／アカウントからのスマートスペース制御へのアクセスは、拒否され得る。
１つの特定の例において、システムは、ユーザの平均的なシャワーの長さ及びシャワー頻度を検出するために、浴室照明スイッチ及び温度センサによって収集されたデータを使用し得る。図１５Ａ～図１５Ｂは、シャワー使用パターンを示す、集められたデータの例を示す。例えば、システムが、ユーザが長いシャワーを浴びることを決定した場合、シャワー時間を低減することに関係付けられた、可能性あるエネルギー保存の表示を含む、より短いシャワー期間を推奨するメッセージを生成し得る。
別の例において、システムは、うまく機能しない照明を検出するための、電力消費報告モジュールに装備されたスマート照明スイッチによって収集されたデータを使用し得る。例えば、システムが、照明がうまく機能していないことを決定した場合、これは、照明電球が交換されることを必要としていることを通知して、設備管理に対するアラートを生成し得る。図１６Ａは、通常の照明挙動の例を示し、図１６Ｂは、図１６Ａの通常の照明挙動と比較されたとき、異常な照明挙動の例を示す。
システムは、独立してシステムを操作する環境を作成し得る。これは、スマートスペースと商業システムとＩｏＴに対するオープンＡＰＩが、開発者に対して友好的な環境を提供するために、システムの能力を利用できるようにし得る。ソフトウェアとハードウェアに対するオープンＡＰＩで、開発者は、第３者ソフトウェアとハードウェアをシステムに統合でき得る。したがって、デバイス１２０は、いくつかの場合において、ハブ１１０と通信する能力とともに予めプログラミングされ得る。しかしながら、他の場合において、システムは、機器検出を自動的に実行し得る。
スマートデバイスは、機器検出を実行するために、さまざまな機器との組み合わせにおいて使用され得る。例えば、スマートプラグは、スマートスペース中にインストールされてもよく、スマートＩｏＴ機能を有し得る又は有し得ない機器は、スマートプラグにプラグ接続されてもよい。スマートプラグは、たとえ機器自体が何らスマート機能を有していなくても、機器のタイプを決定することができ得る。
スマートプラグは、デバイスからのイベントの挙動について、データを収集するように構成されたスマートオブジェクトモジュールを含み得る。エネルギー消費、オン／オフイベントの数、実行支配時間、及び、その他のようなデバイスの信号に基づいて、スマートオブジェクトモジュールは、どの機器が接続されたかを学習し得る。スマートオブジェクトモジュールはまた、同じユーザからの、又は、同じネットワークにおける、多くの異なるデバイス（開／閉、動きセンサ等のような他のデバイスタイプ）間のイベントの相関を測定してもよく、デバイスが同じ部屋にあるかどうかを、又は、デバイスが合成スマートオブジェクトとして一緒に動作しているかどうかを決定し得る。
図１７は、本発明の実施形態による、デバイス検出プロセス１７００である。上述された例外検出と同様に、１７１０において、機器検出は、時間内でスマートオブジェクトの異なる状態を識別するために、リアルタイム又はほぼリアルタイムのデータ上で、一連の時間上のクラスタリングを使用し得る。１７２０において、機器検出は、各状態のウェーブを特徴付けるために、各状態に対するデータに渡って、パターンマッチングと線形回帰を使用し得る。識別されたパターンに基づいて、１７３０において、システムはデバイスを識別し得る（例えば、ブレンダが異なるパターンを有する一方、トースターは１つのパターンを有し得る）。システムはまた、同じユーザから、又は、同じネットワークにおいて、多くの異なるデバイス（開／閉、動きセンサ等のような、他のデバイスタイプ）間のイベントの相関を測定してもよく、これらのデバイスが同じ部屋にあるかどうか、及び／又は、これらのデバイスが合成スマートオブジェクトとして一緒に動作しているかどうかを決定し得る。
図２３は、本発明の実施形態による、デバイス検出プロセス２３００の特定の例である。２３１０において、シリアル化されたインスタンスローダは、履歴データを受け入れて、データセットを出力し得る。２３２０において、ウェーブレットフィルタは、データセットを受信して処理して、入力データに対するウェーブを含むデータセットを出力し得る。２３３０において、ウェーブに対するクラスタメンバーシップは、決定され得る。２３４０において、クラスは、ウェーブとクラスタメンバーシップに基づいて、データに割り当てられ得る。２３５０において、トレーニング／スプリットメーカは、分類されたデータを受信して処理し、トレーニングセットを出力し得る。２３６０において、クロス検証フォールドメーカは、トレーニングセットを受信して処理して、トレーニングセットとテストセットを出力し得る。２３７０において、シリアル化された分類器は、デバイス識別を出力し得る。
例えば、開／閉分類は、開／閉デバイスのための分類器特有であってもよく、十分蓄積されたデータを有し、スマートオブジェクトとして未だタグ付けされていないすべてのデバイスについて、バッチプロセスとして実行してもよい。サンプル分類器２５００は、図２５において示される。分類器は、可能性ある異なるドア／窓クラスの中からデバイスを分類するために、検出された機能（開時間と閉時間の間の差、デバイスにおいて感知された温度の平均、一日の間のイベントの量、及び、その他）を使用し得る。いったん決定がなされると、システムは、自動的にデバイスをタグ付けするか、及び／又は、検出されたドア／窓クラスとともにデバイスをタグ付けするように示唆して、ユーザに通知し得る。一例において、ドア／窓センサは、上述されたように生成される、ドアが開かれるときのパターンに基づいて、正面ドアを検出し得る。例えば、毎日、一日のある時間（例えば、朝と夕）にドアが使用される場合、正面ドアを示唆して、検出されたドア開閉は、ホームに帰る又はホームから出かける居住者に一貫したパターンを明らかにし得る。システムは、例えば、この検出に基づいて、ユーザの典型的な到着時間において、玄関照明アクティブ化トリガを自動的に作成して可能にし得る。システムは、検出された例外に基づいて挙動を変更し得る。例えば、システムは、時間期間の間使用されていないドアに基づいて、ユーザがホームから離れていると決定してもよく、一時的に玄関照明トリガをディセーブルしてもよい。
いくつかの場合において、システムは、合成スマートオブジェクトを自動的に検出し得る。図２６は、本発明の実施形態による、例示的な合成スマートオブジェクト分類器２６００を示す。例えば、システムは、デバイス間の関係性が存在し得るかどうか（例えば、ＴＶと受信機が常に同時であるか）を決定するために、同じ時間期間の間の異なるアクティビティにおける相関を識別し得る。このような組み合わせが検出された場合、システムは、ユーザに、関連されたデバイスでの「合成スマートオブジェクト」を作るように推奨してもよく、又は、合成スマートオブジェクトを自動的に生成してもよい。
図２４は、本発明の実施形態による、合成デバイス検出プロセス２４００である。２４１０において、（例えば、図２３のプロセス２３００において生成されたような）デバイスに対する電子的フットプリントが検索され得る。２４２０において、クラスは、検索されたデータに割り当てられ得る。２４３０において、トレーニング／テストスプリットメーカは、分類されたデータを受信して処理し、トレーニングセットを出力し得る。２４４０において、クロス検証フォールドメーカは、トレーニングセットを受信して処理して、トレーニングセットとテストセットを出力し得る。２４５０において、関係性ツリーは、デバイス間の関係性を規定するように生成され得る。２４６０において、性能を評価するものは、関連するデバイスのアクティビティ／使用を、互いに関連付けし得る。２４７０と２４８０において、これらの関係性を説明する出力は、チャートにおいて、及びテキストにおいて、それぞれ出力され得る。
図１８は、本発明の実施形態による、パターン検出プロセス１８００である。クラスタ化を介して例外とデバイスを自動的に検出することに加えて、システムは、（例えば、クラスタを識別する１８１０において）同様の処理を実行することによって、ユーザパターンも検出し得る。１８２０において、この機能性は、時間内（例えば数週間）で持続するデバイス上でイベントのクラスタを探してもよく、スケジューリングされ得る（例えば、いくつかの日に、およそ特定の時間において実行されたイベント）。その後、１８３０において、システムは、応答においていくつかの動作を行い得る。例えば、システムは、ユーザに、この特定の時間において、この動作に対してスケジュールを設定するように推奨し得る。システムはまた、そのうち典型的に起こるイベントが起こらない場合において、通知を送り得る。自動化された動作機能は、いくつかの動作又はイベントをトリガする状態とルールを検出するために、プランニングシステム、文法誘導プロセス、ランキングアルゴリズム、及び、通知マネージャシステムを含み得る。図２７は、本発明の実施形態による、自動化された動作分類器２７００である。シリーズトランスレータ２７１０は毎回、以前のイベントインスタンスから選択された機能のセットを追加し得る。結果は、現在のイベントと（この例において）３つの以前のイベントとからの機能を有する時間ウィンドウインスタンスを含み得る。
いくつかの場合において、ユーザパターンは、自動化されたシーンを生成するのに使用され得る。したがって、毎日ほぼ同じ時間、ユーザが動作のいくつかの組み合わせを常に実行する場合、上述されたクラスタ化処理がこれを検出してもよく、システムは、動作が自動的に実行させられるように、コマンドを自動的に生成してもよい。例えば、ユーザが、平日の毎日午後７時に、又は、ほぼ午後７時に仕事からホームに到着したとき、いつも照明とラジオをオンにする場合、システムは、ユーザ入力なしで、ハブ１１０に平日の毎日午後７時に照明とラジオをオンにさせる自動化されたシーンを生成し得る。図２９は、本発明の実施形態による、シーン生成プロセス２９００である。ユーザパターンデータ及び／又はスマートオブジェクトパターンデータは、２９１０においてシステムによって受信されてもよく、２９２０においてシステムは、（例えば、頻繁に観測されるクラスタ化されたアクティビティに基づいて）データに関係付けられた、可能性あるシーンを識別し得る。候補は、２９３０において、システムによってランク付けされてもよく、２９４０においてシステムは、ランキングに基づいてシーンを推奨し得る。２９５０において、システムは、ユーザに、同意について推奨を提示し得る。同意された場合、シーンは、将来、自動的に実行され得る。
システムは、エネルギー監査を実行するために、クラスタ化も使用し得る。図３０は、本発明の実施形態による、監査プロセス３０００である。３０１０において、ＣＳＶローダは、エネルギーデータをロードし得る。３０２０において、クラスは、データに割り当てられ得る。３０３０において、トレーニング／テストスプリットメーカは、分類されたデータを処理してもよく、３０４０において、クロス検証フォールドメーカは、データを処理し得る。線形回帰は、３０５０において実行され得る。３０６０において、分類器性能を評価するものは、線形回帰に基づいて、エネルギー性能を評価し得る。３０７０及び３０８０において、テキストデータと性能チャートが、それぞれ出力され得る。例えば、システムは、スペースの熱的分離と、環境を調整するための最良の時間環境を決定するために、スマートオブジェクト挙動からの（例えば、ドア／窓スマートオブジェクト、温度センサ、及びサーモスタットにおける）データを審査し得る。これを行うために、システムは、線形回帰技術を使用して、天気予報を考慮し得る。例えば、とりわけＡｃｃｕｗｅａｔｈｅｒやＷｅａｔｈｅｒ Ｕｎｄｅｒｇｒｏｕｎｄのような外部ＡＰＩを通して、ハブ１１０及び／又はサーバ２００によって天気予報が取得されてもよく、ならびに／あるいは、ハブ１１０及び／又はサーバ２００は、現在位置（例えば、スマートスペースにおける測候所）又は近位置の外部デバイスによって共有されたデータを通して、リアルタイムの天気を考慮してもよい。
これらの決定に基づいて、システムは、天気予報と、ホームからのさまざまなセンサを読み取ることにしたがって、（暖房又は冷房、及び喚起のためのエネルギーを使用して）いつ空気を調整するか、及び、いつ自然換気を使用するかを推奨し得る。スマートオブジェクト（例えば、サーモスタット）は、改良されたエネルギー効率を達成するために、エネルギー監査解析に基づいた最適な時間で動作するようにスケジューリングされ得る。いくつかの場合において、これは厳しいルールと結合され得る。１つの例において、サーモスタットがオンで冷房又は暖房している一方、ドア／窓スマートオブジェクトが開いた状態であるとの検出は、通知をトリガして、コンフィギュレーションによっては、サーモスタットをオフにし得る。別の例において、雨が降っていて自動スプリンクラーが動作している場合、システムは、スプリンクラーをオフにし、及び／又は、ユーザに通知し得る。図３１は、本発明の実施形態による、推奨プロセス３１００である。３１０５において、エネルギー監査解析結果データセットは、ロードされ得る。３１１０において、クラスは、データに割り当てられ得る。３１１５において、クロス検証フォールドメーカは、データを処理し得る。ベイズ処理は、３１２０において実行され得る。３１２５において、ベイズ処理の出力が生成され得る。３１３０において、分類器性能を評価するものは、ベイズデータに基づいて、エネルギー性能を評価し得る。３１４０、３１４５及び３１５０において、コスト利益解析、モデル性能チャート、及び、テキスト報告がそれぞれ出力され得る。３１３５において、予測を付加するものは、調整が最もうまく実行されるときを予測し得る。３１５５及び３１６０において、いつ調整が実行され得るかを規定する、散布図マトリックスが出力され得る。
システムは、収集されたデータに基づいて、環境を要約し得る。スマートスペースにおけるいくつか又はすべてのセンサからの情報は、収集されて、データ分析論にとって有用なデータストラクチャに要約されて、ユーザに表示され得る。データ提示の例示的なスクリーンショットは、図１９Ａ～図１９Ｄにおいて示される。
いくつかの実施形態において、システムは、ユーザの意向についての解釈を実行するために、ユーザについて収集された、リアルタイム又はほぼリアルタイムの（例えば、ユーザパターン、ジオロケーション、スマートオブジェクト、音声認識、ソーシャルネットワーク対話、及び、他のソースから到来する）情報を使用し得る。結果にしたがうと、システムは、アクティビティを示唆すること及び／又は環境を調節することのような、異なる動作を実行し得る。図３２は、本発明の実施形態による、意向フィードバックプロセスである。３２１０において、ＣＳＶローダは、スピーチ認識又は他の意向を表すデータをロードし得る。３２２０において、クラスは、データに割り当てられ得る。いくつかの場合において、クラスは、ユーザに割り当てられ得る（例えば、ユーザは、（示されていない）ユーザ自身の意向を入力し得る）。３２３０において、トレーニング／テストスプリットメーカは、分類されたデータを処理してもよく、３２４０において、クロス検証フォールドメーカは、データを処理し得る。データから意向を抽出するためのＪ４８解析が、３２５０において実行され得る。３２６０において、意向グラフが出力され得る。３２７０において、分類器性能を評価するものは、３２５０における解析の結果に基づいて、意向を評価し得る。３２８０及び３２９０において、テキストデータと性能チャートが、それぞれ出力され得る。出力はまた、スマートスペースにおいて要素を制御し得る。例として、音声認識入力は、感情解析のために処理され得る（例えば、システムは、音声コマンドを、人工知能と機械学習アルゴリズムに入るテキスト単語又はフレーズに変換して、ユーザの意向を検出するために処理され得る。ここで、「愉快な一日だった！」のようなフレーズは、「楽しい」を意味する、等である）。その結果、システムは、アクティビティを示唆すること及び／又は環境を調節すること（例えば、リビング照明の色を緑と青に設定すること、スピーカをオンにしてユーザが聴きたい気分である音楽を演奏すること、窓を開けること、及び、サーモスタットをオフにすること）のような、異なる動作を実行し得る。
システムは、２次元（例えば、間取り図）、及び／又は、３次元（例えば、Ａｗａｙ ３Ｄ、Ｐａｐｅｒ Ｖｉｓｉｏｎ、及び／又は、ＷｅｂＧＬによって生成された３Ｄモデル）の、デバイスとスマートオブジェクトのための仮想表現を、それらの環境内でユーザに与え得る。システムは、ローカルに又は遠隔で、スマートオブジェクトの仮想表現を作成し得る。表現は、上で生成されたデータを使用して、（例えば、デバイスとハブ１１０間の信号強度、デバイスの電力使用、オーディオ音量、温度等を見ることによって）検出され得る。仮想シナリオにおいてスマートオブジェクトを表現することは、システムが、ユーザ対話（例えば、対話の承認と抵抗と下落に対する提示）をほとんどせずに、イベント及び通知の自動化されたプランニング及びスケジューリングを自ら作成できるような人工知能エージェントを作成することを可能にする。人工知能エージェントは、スマートオブジェクトがどのように使用されるかをシステムに教示するために、機械学習及び人工知能アルゴリズムを使用してもよく、ユーザ好みを連続的に学習してもよい。ランプ、照明、又は、プラグのような、スマートでないオブジェクトは、それらを上述されたようなスマートオブジェクトにするように設計された付属物を備えたスマートオブジェクトに変換されてもよく、したがって、システムにおいて同様に、事実上提示され得る。システムにおいて提示されたオブジェクトは、ユーザ好みをより良く学習するための機械学習アルゴリズムに情報を送って、ユビキタスコンピューティングのネットワークを形成する、相互接続されたデバイスのグリッドを形成し得る。
システムは、オプション的に、カスタムユーザインターフェースを自動的に生成するためのユーザインターフェースファクトリ（ＵＩＦ）ソフトウェアを提供し得る。ＵＩＦは、デバイスに対するカスタムユーザインターフェースを生成するためのインテリジェント発見、マッピング、及び／又は、学習アルゴリズムとともに、プラグを使用し、インスタレーション／コンフィギュレーションアーキテクチャを行う。例えば、新たな及び／又は未知のデバイスは、デバイスの機能を検出して、デバイスに対するＵＩを自動的に生成するために、ソフトウェアに自動コマンドを提供するイベントをトリガし得る。これは、システムが、新たなデバイスをサポートするための新たなソフトウェアの介入なしで、任意のデバイス又はブランドを制御できるようにし得る。例えば、Ｚ－ｗａｖｅデバイスが発見されたとき、インテリジェントマッピングは、コマンドクラス（又は、ｚｉｇｂｅｅにおけるクラスタ）を読み取って、発見されたコマンドクラスの機能及び能力にしたがった部品を含むユーザインターフェースを生成し得る。生成されたＵＩは、学習アルゴリズムとＡＩモジュールにフィードバックし得る。ＡＩモジュールは、未知の／新たなデバイスのユーザ対話と好みを捕捉してもよく、ユーザインターフェースに改良を作成し得る。ＵＩファクトリによって生成されたＵＩは、システムから独立して動作し得る。
さまざまな実施形態を上記で説明してきたが、これらは、限定ではなく例として提示されたと理解されるべきである。精神及び範囲から逸脱することなく、形式及び詳細におけるさまざまな変化が、ここにおいてなされ得ることが当業者にとって明らかだろう。実際に、上の説明を読んだ後、どのように代替実施形態を実現するかが当業者にとって明らかとなろう。
さらに、機能及び利点を強調する任意の数字は、例示目的のためだけに提示されると理解されるべきである。開示された方法論及びシステムは、示されたもの以外の方法において利用され得るように、それぞれ十分に柔軟であり構成可能である。
明細書、特許請求の範囲、及び図面において、用語「少なくとも１つ」が使用されることが多いが、明細書、特許請求の範囲、及び図面中の用語「ａ」、「ａｎ」、「ｔｈｅ」、「ｓａｉｄ」等も、「少なくとも１つ」又は「前記少なくとも１つ」を表す。
最後に、「する手段」又は「するステップ」を表わす言葉を含む請求項のみが、３５Ｕ．Ｓ．Ｃ．１１２（ｆ）の下で解釈されるということが出願人の意図である。フレーズ「する手段」又は「するステップ」を明示的に含まない請求項は、３５Ｕ．Ｓ．Ｃ．１１２（ｆ）の下で解釈されるべきではない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
スマートスペースを提供するシステムであって、
前記スマートスペースにおける少なくとも１つのスマートオブジェクトから、データを受信するように構成されたハブと、
前記ハブと通信する人工知能サーバであって、
前記少なくとも１つのスマートオブジェクトのそれぞれから受信された前記データのクラスタを生成し、
前記スマートオブジェクトにおける例外を検出し、前記スマートオブジェクトを識別し、前記スマートオブジェクトを分類し、ユーザ挙動を決定し、ユーザ意向を決定し、エネルギー消費パターンを決定し、又は、自動化された動作を作成するために、あるいはこれらの組み合わせのために、クラスタを使用することを備える処理を実行するように構成された前記人工知能サーバと、
を備えるシステム。
［２］ 前記少なくとも１つのスマートオブジェクトは、ドア／窓センサ、スマートプラグ、センサユニット、スマートソケット、スキッパー、存在タグ、スマート壁ユニット、サーモスタット、プラグ、調光器、テレビジョン、ホームシアターコンポーネント、家庭用機器、又はロック、あるいはこれらの組み合わせを備える、［１］に記載のシステム。
［３］ コマンドは、前記自動化された動作を備える、［１］に記載のシステム。
［４］ クラスタを生成することは、
時間期間に渡って、前記データを取得することと、
前記データにおけるイベント間の時間的な関係性を識別することと、
前記時間的な関係性を示すときに前記クラスタを形成することと、を備える、［１］に記載のシステム。
［５］ 前記例外を検出することは、前記クラスタのいずれかからのしきい値距離内にない、前記データにおける少なくとも１つのイベントを識別することを備える、［１］に記載のシステム。
［６］ 前記スマートオブジェクトを分類することは、オブジェクトタイプを示すパターンを識別するために前記クラスタを解析することを備える、［１］に記載のシステム。
［７］ 前記スマートオブジェクトを分類することは、
複数のオブジェクトタイプを示すパターンを識別するために前記クラスタを解析し、これにより、複数のスマートオブジェクトを識別することと、
前記複数のスマートオブジェクトを互いに合成オブジェクトに関係付けることと、を備える、［１］に記載のシステム。
［８］ 前記ユーザ挙動を決定することは、繰り返されるユーザ動作を示すパターンを識別するために前記クラスタを解析することを備える、［１］に記載のシステム。
［９］ 前記エネルギー消費パターンを決定することは、エネルギー使用に対応する前記データにおけるイベントを識別することと、時間期間に対するエネルギー使用データをコンパイルすることと、を備える、［１］に記載のシステム。
［１０］ 前記エネルギー消費パターンを決定することは、
天気情報を取得することと、
前記天気情報を前記エネルギー使用と互いに関連付けることと、をさらに備える［９］に記載のシステム。
［１１］ 前記自動化された動作を作成することは、アラートを生成することを備える、［１］に記載のシステム。
［１２］ 前記自動化された動作を作成することは、前記スマートオブジェクトに対するコマンドを生成することと、前記サーバから前記ハブに前記コマンドを送ることと、を備える、［１］に記載のシステム。
［１３］ 前記ハブは、前記コマンドを前記スマートオブジェクトに送るように構成された、［１２］に記載のシステム。
［１４］ 前記コマンドは、クラスタに関係付けられた動作を実行するために、前記スマートオブジェクトを制御する、［１２］に記載のシステム。
［１５］ 前記人工知能サーバは、前記少なくとも１つのスマートオブジェクトを、スマートスペースネットワークに関係付けることを備える処理を実行するようにさらに構成された、［１］に記載のシステム。
［１６］ 前記スマートオブジェクトを識別するための処理は、１つ以上の通信プロトコルを介して発見プロセスを実行することを備える、［１］に記載のシステム。
［１７］ 前記処理の結果は、モバイルデバイス、パーソナルコンピュータ、テレビジョン、又はこれらの組み合わせに報告される、［１］に記載のシステム。
［１８］ 前記ハブは、テレビジョンに表示される出力を制御するようにさらに構成された、［１］に記載のシステム。
［１９］ 前記人工知能サーバは、前記ハブにソフトウェアをインストールするようにさらに構成された、［１］に記載のシステム。
［２０］ 前記ハブは、ディスプレイと制御装置と通信しており、
前記ハブは、前記ディスプレイを介して前記スマートスペースの制御のためのユーザインターフェースを提供して、前記制御装置を介してユーザコマンドを受信するようにさらに構成された、［１］に記載のシステム。
［２１］ 前記ディスプレイはテレビジョンである、［２０］に記載のシステム。
［２２］ スマートスペースを提供する方法であって、
ハブにおいて、前記スマートスペースにおける少なくとも１つのスマートオブジェクトから、データを受信することと、
前記ハブと通信する人工知能サーバによって、前記少なくとも１つのスマートオブジェクトのそれぞれから受信された前記データのクラスタを生成することと、
前記サーバによって、前記スマートオブジェクトにおける例外を検出し、前記スマートオブジェクトを識別し、前記スマートオブジェクトを分類し、ユーザ挙動を決定し、ユーザ意向を決定し、エネルギー消費パターンを決定し、又は、自動化された動作を作成するために、あるいはこれらの組み合わせのために、クラスタを使用することを備える処理を実行することと、
を備える方法。
［２３］ 前記少なくとも１つのスマートオブジェクトは、ドア／窓センサ、スマートプラグ、センサユニット、スマートソケット、スキッパー、存在タグ、スマート壁ユニット、サーモスタット、プラグ、調光器、テレビジョン、ホームシアターコンポーネント、家庭用機器、又はロック、あるいはこれらの組み合わせを備える、［２２］に記載の方法。
［２４］ コマンドは、前記自動化された動作を備える、［２２］に記載の方法。
［２５］ クラスタを生成することは、
時間期間に渡って、前記データを取得することと、
前記データにおけるイベント間の時間的な関係性を識別することと、
前記時間的な関係性を示すときに前記クラスタを形成することと、を備える、［２２］に記載の方法。
［２６］ 前記例外を検出することは、前記クラスタのいずれかからのしきい値距離内にない、前記データにおける少なくとも１つのイベントを識別することを備える、［２２］に記載の方法。
［２７］ 前記スマートオブジェクトを分類することは、オブジェクトタイプを示すパターンを識別するために前記クラスタを解析することを備える、［２２］に記載の方法。
［２８］ 前記スマートオブジェクトを分類することは、
複数のオブジェクトタイプを示すパターンを識別するために前記クラスタを解析し、これにより、複数のスマートオブジェクトを識別することと、
前記複数のスマートオブジェクトを互いに合成オブジェクトに関係付けることと、を備える、［２２］に記載の方法。
［２９］ 前記ユーザ挙動を決定することは、繰り返されるユーザ動作を示すパターンを識別するために前記クラスタを解析することを備える、［２２］に記載の方法。
［３０］ 前記エネルギー消費パターンを決定することは、エネルギー使用に対応する前記データにおけるイベントを識別することと、時間期間に対するエネルギー使用データをコンパイルすることと、を備える、［２２］に記載の方法。
［３１］ 前記エネルギー消費パターンを決定することは、
天気情報を取得することと、
前記天気情報を前記エネルギー使用と互いに関連付けることと、をさらに備える［３０］に記載の方法。
［３２］ 前記自動化された動作を作成することは、アラートを生成することを備える、［２２］に記載の方法。
［３３］ 前記自動化された動作を作成することは、前記スマートオブジェクトに対するコマンドを生成することと、前記サーバから前記ハブに前記コマンドを送ることと、を備える、［２２］に記載の方法。
［３４］ 前記ハブによって、前記コマンドを前記スマートオブジェクトに送ることをさらに備える、［３３］に記載の方法。
［３５］ 前記コマンドは、クラスタに関係付けられた動作を実行するために、前記スマートオブジェクトを制御する、［３３］に記載の方法。
［３６］ 前記人工知能サーバによって、前記少なくとも１つのスマートオブジェクトを、スマートスペースネットワークに関係付けることを備える処理を実行することをさらに備える、［２２］に記載の方法。
［３７］ 前記スマートオブジェクトを識別するための処理は、１つ以上の通信プロトコルを介して発見プロセスを実行することを備える、［２２］に記載の方法。
［３８］ 前記処理の結果は、モバイルデバイス、パーソナルコンピュータ、テレビジョン、又はこれらの組み合わせに報告される、［２２］に記載の方法。
［３９］ 前記ハブによって、テレビジョンに表示される出力を制御することをさらに備える、［２２］に記載の方法。
［４０］ 前記人工知能サーバによって、前記ハブにソフトウェアをインストールすることをさらに備える、［２２］に記載の方法。
［４１］ 前記ハブは、ディスプレイと制御装置と通信しており、前記方法は、
前記ハブによって、前記ディスプレイを介して前記スマートスペースの制御のためのユーザインターフェースを提供することと、
前記ハブによって、前記制御装置を介してユーザコマンドを受信することと、をさらに備える、［２２］に記載の方法。
［４２］ 前記ディスプレイはテレビジョンである、［４１］に記載の方法。

Claims (54)

  1. スマートスペースのためのシステムであって、
    人工知能サーバを備え、前記人工知能サーバは
    前記スマートスペースにおける少なくとも１つのスマートオブジェクトから、データを受信することと、
    少なくとも１つの機械学習アルゴリズム、ディープラーニングアルゴリズムまたはそれらの組合せを適用することによって、前記少なくとも１つのスマートオブジェクトのそれぞれから受信された前記データのクラスタを生成することと、各クラスタは、複数の時間期間のうち１つの間に前記少なくとも１つのスマートオブジェクトの１つから受信したデータを含み、ここにおいて、複数のクラスタは、前記少なくとも１つのスマートオブジェクトの各々について生成され、前記少なくとも１つのスマートオブジェクトの各々についての前記複数のクラスタの各々は、異なる時間期間の間に受信したデータを含み、
    前記少なくとも１つのスマートオブジェクトを分類するために前記クラスタを使用することを含む処理を実行することと、前記処理は、
    前記クラスタ間の一貫性を識別するために前記複数のクラスタを評価することと、 前記一貫性を有する前記複数のクラスタを解析することと、前記解析することに基づいて、オブジェクトタイプを示すパターンを識別することと、
    前記識別されたパターンによって示される前記オブジェクトタイプとして前記少なくとも１つのスマートオブジェクトを分類することと、を備え、
    前記処理に基づいて、前記オブジェクトタイプに特有の機能を制御するよう構成されたコマンドを生成および送信し、それにより、前記少なくとも１つのスマートオブジェクトの動作の変化を引き起こすことと、前記コマンドを生成することは、前記オブジェクトタイプによって、前記少なくとも１つのスマートオブジェクトによってサポートされる複数のコマンドを識別すること、および前記サポートされるコマンドのうちの少なくとも１つを前記コマンドとして選択することを備え、前記選択することは、前記オブジェクトタイプによるインテリジェントマッピングに少なくとも部分的に基づく、
    を実行するよう構成された、スマートスペースのためのシステム。
  2. 前記スマートオブジェクトを分類することは、
    複数のオブジェクトタイプを示す少なくとも１つの追加のパターンを識別するために前記クラスタを解析し、それにより複数のスマートオブジェクトを識別することと、
    前記複数のスマートオブジェクトを互いに合成オブジェクトに関係付けることと、
    を含む、請求項１に記載のシステム。
  3. 前記少なくとも１つのスマートオブジェクトを分類することは、前記少なくとも１つのスマートオブジェクトのエネルギー消費パターンを決定することを含む、請求項１に記載のシステム。
  4. 前記エネルギー消費パターンを決定することは、
    エネルギー使用に対応する前記データにおけるイベントを識別することと、時間期間に対するエネルギー使用データをコンパイルすることとを含む、請求項３に記載のシステム。
  5. 前記エネルギー消費パターンを決定することは、
    天気情報を取得することと、
    前記天気情報を前記エネルギー使用と互いに関連付けることと、
    をさらに含む、請求項４に記載のシステム。
  6. 前記処理は、前記少なくとも１つのスマートオブジェクトの機能を含む、請求項１に記載のシステム。
  7. 前記処理は、前記少なくとも１つのスマートオブジェクトの挙動を含む、請求項１に記載のシステム。
  8. 前記少なくとも１つのスマートオブジェクトを分類することは、前記少なくとも１つのスマートオブジェクトとのユーザの対話を決定することを含む、請求項１に記載のシステム。
  9. 前記ユーザの対話を決定することは、繰り返されるユーザ動作を示すパターンを識別するために前記クラスタを解析することを含む、請求項８に記載のシステム。
  10. 前記少なくとも１つのスマートオブジェクトは、ドア／窓センサ、スマートプラグ、センサユニット、スマートソケット、スキッパー、存在タグ、スマート壁ユニット、サーモスタット、プラグ、調光器、テレビジョン、ホームシアターコンポーネント、家庭用機器、ロック、マシン、又はデバイス、あるいはこれらの組み合わせを含む、請求項１に記載のシステム。
  11. 前記コマンドは、自動化された動作を含む、請求項１に記載のシステム。
  12. 前記自動化された動作は、アラートを生成することを含む、請求項１１に記載のシステム。
  13. 前記コマンドを生成することは、
    少なくとも１つのインテリジェントエージェントによって計画される少なくとも１つのイベントにさらに基づく、請求項１に記載のシステム。
  14. 前記少なくとも１つのインテリジェントエージェントは、
    ユーザ入力を受信するよう構成されたドラッグアンドドロップユーザインターフェースを備え、
    前記コマンドを生成することは、前記ユーザ入力にさらに基づく、請求項１３に記載のシステム。
  15. 前記少なくとも１つのインテリジェントエージェントは、人工知能および／または機械学習コンポーネントを含み、
    前記コマンドを生成することは、前記人工知能および／または機械学習コンポーネントにより自動的に生成されたコードにさらに基づく、
    請求項１３に記載のシステム。
  16. クラスタを生成することは、
    時間期間に渡って、前記データを取得することと、
    前記データにおけるイベント間の時間的な関係性を識別することと、
    前記時間的な関係性を示すときに前記クラスタを形成することと、
    を含む、請求項１に記載のシステム。
  17. 前記人工知能サーバは、前記少なくとも１つのスマートオブジェクトをスマートスペースネットワークに関連付けることを含む処理を実行するようにさらに構成される、請求項１に記載のシステム。
  18. 前記スマートオブジェクトを識別するための前記処理は、１つ以上の通信プロトコルを介して発見プロセスを実行することを含む、請求項１に記載のシステム。
  19. 前記処理の結果は、モバイルデバイス、パーソナルコンピュータ、テレビジョン、又はこれらの組み合わせに報告される、請求項１に記載のシステム。
  20. 前記少なくとも１つのスマートオブジェクトから前記データを受信し、前記人工知能サーバに前記データを送信するように構成されたハブをさらに備える、請求項１に記載のシステム。
  21. 前記人工知能サーバの少なくとも一部および前記ハブは組み合わされたシステムの要素である、請求項２０に記載のシステム。
  22. 前記ハブは、テレビジョンに表示される前記処理に関連する出力を制御するようにさらに構成される、請求項２０に記載のシステム。
  23. 前記人工知能サーバは、前記ハブにソフトウェアをインストールするようにさらに構成される、請求項２０に記載のシステム。
  24. 前記ハブは、ディスプレイおよび制御装置と通信し、
    前記ハブは、前記ディスプレイを介して前記スマートスペースを制御し、前記制御装置を介してユーザコマンドを受信するためのユーザインターフェースを提供するようにさらに構成される、請求項２０に記載のシステム。
  25. 前記ディスプレイはテレビジョンである、請求項２４に記載のシステム。
  26. 前記少なくとも１つのスマートオブジェクトを分類することは、前記評価することに基づいて、前記少なくとも１つのスマートオブジェクトによって示される異常を識別することを含む、請求項１に記載のシステム。
  27. スマートスペースのための方法であって、
    人工知能サーバにおいて、前記スマートスペースにおける少なくとも１つのスマートオブジェクトから、データを受信することと、
    少なくとも１つの機械学習アルゴリズム、ディープラーニングアルゴリズムまたはそれらの組合せを前記人工知能サーバに適用することによって、前記少なくとも１つのスマートオブジェクトのそれぞれから受信された前記データのクラスタを生成することと、各クラスタは、複数の時間期間のうち１つの間に前記少なくとも１つのスマートオブジェクトの１つから受信したデータを含み、ここにおいて、複数のクラスタは、前記少なくとも１つのスマートオブジェクトの各々について生成され、前記少なくとも１つのスマートオブジェクトの各々についての前記複数のクラスタの各々は、異なる時間期間の間に受信したデータを含み、
    前記人工知能サーバにより、前記少なくとも１つのスマートオブジェクトを分類するために前記クラスタを使用することを含む処理を実行することと、前記処理は、
    前記クラスタ間の一貫性を識別するために前記複数のクラスタを評価することと、
    前記一貫性を有する前記複数のクラスタを解析することと、前記解析することに基づいて、オブジェクトタイプを示すパターンを識別することと、
    前記識別されたパターンによって示される前記オブジェクトタイプとして前記少なくとも１つのスマートオブジェクトを分類することと、を備え、
    前記処理に基づいて、前記オブジェクトタイプに特有の機能を制御するよう構成されたコマンドを生成および送信し、それにより、前記少なくとも１つのスマートオブジェクトの動作の変化を引き起こすことと、前記コマンドを生成することは、前記オブジェクトタイプによって、前記少なくとも１つのスマートオブジェクトによってサポートされる複数のコマンドを識別すること、および前記サポートされるコマンドのうちの少なくとも１つを前記コマンドとして選択することを備え、前記選択することは、前記オブジェクトタイプによるインテリジェントマッピングに少なくとも部分的に基づく、
    を備える、スマートスペースのための方法。
  28. 前記スマートオブジェクトを分類することは、
    複数のオブジェクトタイプを示す少なくとも１つの追加のパターンを識別するために前記クラスタを解析し、それにより複数のスマートオブジェクトを識別することと、
    前記複数のスマートオブジェクトを互いに合成オブジェクトに関係付けることと、を含む、請求項２７に記載の方法。
  29. 前記少なくとも１つのスマートオブジェクトを分類することは、前記少なくとも１つのスマートオブジェクトのエネルギー消費パターンを決定することを含む、請求項２７に記載の方法。
  30. 前記エネルギー消費パターンを決定することは、エネルギー使用に対応する前記データにおけるイベントを識別することと、時間期間に対するエネルギー使用データをコンパイルすることとを含む、請求項２９に記載の方法。
  31. 前記エネルギー消費パターンを決定することは、
    天気情報を取得することと、
    前記天気情報を前記エネルギー使用と互いに関連付けることと、
    をさらに含む、請求項３０に記載の方法。
  32. 前記処理は、前記少なくとも１つのスマートオブジェクトの機能を含む、請求項２７に記載の方法。
  33. 前記処理は、前記少なくとも１つのスマートオブジェクトの挙動を含む、請求項２７に記載の方法。
  34. 前記少なくとも１つのスマートオブジェクトを分類することは、前記少なくとも１つのスマートオブジェクトとのユーザの対話を決定することを含む、請求項２７に記載の方法。
  35. 前記ユーザの対話を決定することは、繰り返されるユーザ動作を示すパターンを識別するために前記クラスタを解析することを含む、請求項３４に記載の方法。
  36. 前記少なくとも１つのスマートオブジェクトは、ドア／窓センサ、スマートプラグ、センサユニット、スマートソケット、スキッパー、存在タグ、スマート壁ユニット、サーモスタット、プラグ、調光器、テレビジョン、ホームシアターコンポーネント、家庭用機器、ロック、マシン、又はデバイス、あるいはこれらの組み合わせを含む、請求項２７に記載の方法。
  37. 前記コマンドは、自動化された動作を含む、請求項２７に記載の方法。
  38. 前記自動化された動作は、アラートを生成することを含む、請求項３７に記載の方法。
  39. 前記コマンドを生成することは、少なくとも１つのインテリジェントエージェントによって計画された少なくとも１つのイベントにさらに基づく、請求項２７に記載の方法。
  40. 前記少なくとも１つのインテリジェントエージェントは、ユーザ入力を受信するよう構成されたドラッグアンドドロップユーザインターフェースを備え、
    前記コマンドを生成することは、前記ユーザ入力にさらに基づく、請求項３９に記載の方法。
  41. 前記少なくとも１つのインテリジェントエージェントは、人工知能および／または機械学習コンポーネントを含み、
    前記コマンドを生成することは、前記人工知能および／または機械学習コンポーネントにより自動的に生成されたコードにさらに基づく、請求項３９に記載の方法。
  42. クラスタを生成することは、
    時間期間に渡って、前記データを取得することと、
    前記データにおけるイベント間の時間的な関係性を識別することと、
    前記時間的な関係性を示すときに前記クラスタを形成することと、
    を含む、請求項２７に記載の方法。
  43. 前記少なくとも１つのスマートオブジェクトをスマートスペースネットワークに関連付けることを含む処理を前記人工知能サーバにより実行することをさらに備える、請求項２７に記載の方法。
  44. 前記スマートオブジェクトを識別するための前記処理は、
    １つ以上の通信プロトコルを介して発見プロセスを実行することを含む、請求項２７に記載の方法。
  45. 前記処理の結果を、モバイルデバイス、パーソナルコンピュータ、テレビジョン、又はこれらの組み合わせに報告することをさらに備える、請求項２７に記載の方法。
  46. ハブにおいて前記少なくとも１つのスマートオブジェクトから前記データを受信し、前記ハブにより前記人工知能サーバに前記データを送信することをさらに備える、請求項２７に記載の方法。
  47. 前記人工知能サーバの少なくとも一部および前記ハブは組み合わされたシステムの要素である、請求項４６に記載の方法。
  48. 前記ハブによって、テレビジョンに表示される前記処理に関連する出力を制御することをさらに備える、請求項４６に記載の方法。
  49. 前記人工知能サーバによって、前記ハブにソフトウェアをインストールすることをさらに含む、請求項４６に記載の方法。
  50. 前記ハブはディスプレイおよび制御装置と通信し、
    前記ハブによって、前記ディスプレイを介して前記スマートスペースの制御のためのユーザインターフェースを提供することと、
    前記ハブによって、前記制御装置を介してユーザコマンドを受信することと、
    をさらに備える、請求項４６に記載の方法。
  51. 前記ディスプレイはテレビジョンである、請求項５０に記載の方法。
  52. 前記少なくとも１つのスマートオブジェクトを分類することは、前記評価することに基づいて、前記少なくとも１つのスマートオブジェクトによって示される異常を識別することを含む、請求項２７に記載の方法。
  53. 前記機械学習アルゴリズムは、Ｋミーンズアルゴリズムを含む、請求項１に記載のシステム。
  54. 前記機械学習アルゴリズムは、Ｋミーンズアルゴリズムを含む、請求項２７に記載の方法。
JP2020104462A 2014-11-11 2020-06-17 スマートスペースのためのシステム及び方法 Active JP7160365B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022161013A JP2023015033A (ja) 2014-11-11 2022-10-05 スマートスペースのためのシステム及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462078337P 2014-11-11 2014-11-11
US62/078,337 2014-11-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017526071A Division JP6720170B2 (ja) 2014-11-11 2015-11-12 スマートスペースのためのシステム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022161013A Division JP2023015033A (ja) 2014-11-11 2022-10-05 スマートスペースのためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2020184345A JP2020184345A (ja) 2020-11-12
JP7160365B2 true JP7160365B2 (ja) 2022-10-25

Family

ID=55955068

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017526071A Active JP6720170B2 (ja) 2014-11-11 2015-11-12 スマートスペースのためのシステム及び方法
JP2020104462A Active JP7160365B2 (ja) 2014-11-11 2020-06-17 スマートスペースのためのシステム及び方法
JP2022161013A Pending JP2023015033A (ja) 2014-11-11 2022-10-05 スマートスペースのためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017526071A Active JP6720170B2 (ja) 2014-11-11 2015-11-12 スマートスペースのためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022161013A Pending JP2023015033A (ja) 2014-11-11 2022-10-05 スマートスペースのためのシステム及び方法

Country Status (6)

Country Link
US (4) US10168677B2 (ja)
EP (1) EP3218837A4 (ja)
JP (3) JP6720170B2 (ja)
CA (3) CA3216856A1 (ja)
HK (1) HK1244554A1 (ja)
WO (1) WO2016077613A1 (ja)

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
JP5558644B1 (ja) * 2013-02-20 2014-07-23 パナソニック株式会社 携帯情報端末の制御方法及びプログラム
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR102122771B1 (ko) * 2013-10-25 2020-06-26 삼성전자주식회사 인공지능 오디오 장치 및 그 동작 방법
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20170249432A1 (en) * 2014-09-23 2017-08-31 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US10408482B2 (en) 2015-02-11 2019-09-10 Bitfinder, Inc. Managing environmental conditions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10031722B1 (en) * 2015-03-17 2018-07-24 Amazon Technologies, Inc. Grouping devices for voice control
EP3274889A4 (en) * 2015-03-26 2019-01-02 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10655951B1 (en) 2015-06-25 2020-05-19 Amazon Technologies, Inc. Determining relative positions of user devices
US11221596B2 (en) * 2015-06-26 2022-01-11 Electrolux Home Products, Inc. Hub for managing networked household appliances
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10365620B1 (en) 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
US9974015B2 (en) 2015-07-03 2018-05-15 Afero, Inc. Embedded internet of things (IOT) hub for integration with an appliance and associated systems and methods
US10111070B2 (en) * 2015-07-03 2018-10-23 Afero, Inc. Embedded internet of things (IOT) hub slot for an appliance and associated systems and methods
US9847569B2 (en) 2015-07-03 2017-12-19 Afero, Inc. Modular antenna for integration with an internet of things (IOT) hub and associated systems and methods
US9888337B1 (en) * 2015-07-25 2018-02-06 Gary M. Zalewski Wireless coded communication (WCC) devices with power harvesting power sources for WiFi communication
US10181959B2 (en) * 2015-07-27 2019-01-15 International Business Machines Corporation Methods and systems for mindful home automation
US10705679B1 (en) * 2015-08-10 2020-07-07 Mitel Networks, Inc. Automatic configuration of interactive virtual objects implemented on auxiliary devices
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10739737B2 (en) * 2015-09-25 2020-08-11 Intel Corporation Environment customization
KR102395529B1 (ko) * 2015-10-22 2022-06-02 삼성전자주식회사 통신 장치, 및 디스플레이 장치 및 그 제어방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US9860360B2 (en) * 2015-11-17 2018-01-02 Olibra Llc System, device, and method of wirelessly controlling electronic devices and appliances
US10454703B2 (en) * 2015-11-17 2019-10-22 Olibra Llc Device, system, and method of wirelessly controlling electronic devices and appliances
US10673646B1 (en) * 2018-12-09 2020-06-02 Olibra Llc System, device, and method of multi-path wireless communication
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10120353B2 (en) * 2016-04-05 2018-11-06 Schneider Electric USA, Inc. Energy management system and method
CN105847099B (zh) * 2016-05-30 2019-12-06 北京百度网讯科技有限公司 基于人工智能的物联网实现系统和方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10511456B2 (en) 2016-06-12 2019-12-17 Apple Inc. Presenting accessory group controls
US10310725B2 (en) 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US11003147B2 (en) 2016-06-12 2021-05-11 Apple Inc. Automatically grouping accessories
US10498552B2 (en) 2016-06-12 2019-12-03 Apple Inc. Presenting accessory state
US10572530B2 (en) 2016-07-03 2020-02-25 Apple Inc. Prefetching accessory data
FR3053564B1 (fr) * 2016-07-04 2018-07-27 Kerlink Dispositif de communication modulaire
US10938593B2 (en) * 2016-09-24 2021-03-02 Apple Inc. Anomaly detection by resident device
US10469281B2 (en) * 2016-09-24 2019-11-05 Apple Inc. Generating suggestions for scenes and triggers by resident device
US10764153B2 (en) 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers
US10528725B2 (en) 2016-11-04 2020-01-07 Microsoft Technology Licensing, Llc IoT security service
US10972456B2 (en) 2016-11-04 2021-04-06 Microsoft Technology Licensing, Llc IoT device authentication
US20180156483A1 (en) * 2016-12-01 2018-06-07 Bitfinder, Inc. Control of an environmental condition manipulating appliance
USD844593S1 (en) 2017-02-06 2019-04-02 Hunter Douglas, Inc. Automation gateway
US10530864B2 (en) 2017-02-15 2020-01-07 Dell Products, L.P. Load balancing internet-of-things (IOT) gateways
US20180241781A1 (en) * 2017-02-17 2018-08-23 Microsoft Technology Licensing, Llc Security rules including pattern matching for iot devices
US10356096B2 (en) * 2017-02-17 2019-07-16 At&T Intellectual Property I, L.P. Authentication using credentials submitted via a user premises device
US10750252B2 (en) 2017-02-22 2020-08-18 Sense Labs, Inc. Identifying device state changes using power data and network data
US9699529B1 (en) 2017-02-22 2017-07-04 Sense Labs, Inc. Identifying device state changes using power data and network data
US20180268311A1 (en) * 2017-03-14 2018-09-20 Microsoft Technology Licensing, Llc Plausibility-based authorization
US10397259B2 (en) * 2017-03-23 2019-08-27 International Business Machines Corporation Cyber security event detection
US11137161B2 (en) 2017-03-30 2021-10-05 Samsung Electronics Co., Ltd. Data learning server and method for generating and using learning model thereof
KR102393418B1 (ko) * 2017-03-30 2022-05-03 삼성전자주식회사 데이터 학습 서버 및 이의 학습 모델 생성 및 이용 방법
WO2018183075A1 (en) 2017-03-31 2018-10-04 Ideal Impact, Inc. Environmental control management system
EP3622672A1 (en) * 2017-05-08 2020-03-18 Eaton Intelligent Power Limited Lighting control with location based communication
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
WO2018213844A1 (en) * 2017-05-19 2018-11-22 Six Curtis Wayne Smart hub system
US20180349962A1 (en) * 2017-06-05 2018-12-06 International Business Machines Corporation System and method for using electromagnetic noise signal-based predictive analytics for digital advertising
US10482756B2 (en) 2017-07-06 2019-11-19 Qualcomm Incorporated Intelligent alerts in multi-user environment
US10742442B2 (en) * 2017-10-21 2020-08-11 Mordechai Teicher Cluster of smart devices operable in hub-based and hub-less modes
US10897374B2 (en) * 2017-11-06 2021-01-19 Computime Ltd. Scalable smart environment for controlling a plurality of controlled apparatuses using a connection hub to route a processed subset of control data received from a cloud computing resource to terminal units
RU184240U1 (ru) * 2017-11-17 2018-10-18 Общество с ограниченной ответственностью "ИНСАЙТ Электроникс" Микропроцессорное информационно-управляющее устройство "умный дом" для отдельного помещения
US20190187635A1 (en) * 2017-12-15 2019-06-20 Midea Group Co., Ltd Machine learning control of environmental systems
US11836592B2 (en) * 2017-12-15 2023-12-05 International Business Machines Corporation Communication model for cognitive systems
WO2019132052A1 (ko) * 2017-12-26 2019-07-04 엘지전자 주식회사 동작 상황에 기반하여 유관 장치를 제어하는 장치, 이를 제어하는 스케줄 봇 및 서버
US10615995B2 (en) * 2018-02-05 2020-04-07 Chengfu Yu Smart panel device and method
EP3750340B1 (en) * 2018-02-09 2023-01-04 Convida Wireless, LLC Service layer methods for offloading iot application message generation and response handling
TWI663852B (zh) * 2018-03-08 2019-06-21 宏碁股份有限公司 數位看板系統及配對方法
CN108469743A (zh) * 2018-03-12 2018-08-31 广东里田科技有限公司 一种健康小屋管理系统
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10970128B2 (en) * 2018-04-13 2021-04-06 Samsung Electronics Co., Ltd. Server, air conditioner and method for controlling thereof
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10756965B2 (en) * 2018-05-31 2020-08-25 Verizon Patent And Licensing Inc. System and method for managing devices in a local network
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US20200019982A1 (en) * 2018-07-11 2020-01-16 Svm, Lp System and method for marketing incentive offers via the internet of things
AU2019208161B2 (en) * 2018-07-25 2021-12-23 Zimi Innovations Pty Ltd A system for configuring a control application of a mesh network of connected devices
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10586177B1 (en) 2018-10-02 2020-03-10 Sense Labs, Inc. Training a mathematical model for a device using a smart plug
US11126612B2 (en) * 2018-10-29 2021-09-21 EMC IP Holding Company LLC Identifying anomalies in user internet of things activity profile using analytic engine
WO2020131713A1 (en) * 2018-12-17 2020-06-25 Invue Security Products Inc. Inventory tracking systems and methods
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
CN110161869B (zh) * 2019-05-07 2022-08-16 武汉攀升鼎承科技有限公司 一种智能家居的控制方法和设备
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US10565894B1 (en) 2019-05-29 2020-02-18 Vignet Incorporated Systems and methods for personalized digital goal setting and intervention
DK180129B1 (en) * 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
CN111399714A (zh) * 2019-05-31 2020-07-10 苹果公司 用户活动快捷方式建议
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
USD944731S1 (en) 2019-07-11 2022-03-01 Sense Labs, Inc. Electrical current sensor
US11536747B2 (en) 2019-07-11 2022-12-27 Sense Labs, Inc. Current transformer with self-adjusting cores
JP2021033550A (ja) * 2019-08-22 2021-03-01 株式会社Ｌｉｘｉｌ 支援装置及び支援プログラム
US20210124339A1 (en) * 2019-10-23 2021-04-29 Microsoft Technology Licensing, Llc Monitoring of device operation by grouping
FR3102590A1 (fr) * 2019-10-25 2021-04-30 Psa Automobiles Sa Auto-configuration d’une interface homme/machine d’un système par détermination de présence de composants actionnables
US20210124323A1 (en) * 2019-10-28 2021-04-29 Guard Dog Valves LLC Flow monitor and power generator and methods for flow monitoring and power generation
CN112859621B (zh) * 2019-11-26 2023-09-05 Oppo广东移动通信有限公司 智能家居设备管理方法及相关产品
KR20210092071A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4111413A1 (en) * 2020-02-24 2023-01-04 AGT International GmbH Tracking user and object dynamics using a computerized device
CN111541944B (zh) * 2020-04-16 2022-05-13 广东好太太科技集团股份有限公司 一种基于音乐主机的资源共享方法、设备及存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
DE112020006991T5 (de) * 2020-05-28 2023-02-23 Siemens Canada Limited Auf künstlicher Intelligenz basierende Vorrichtungsidentifikation
US11704683B1 (en) 2020-07-09 2023-07-18 Amdocs Development Limited Machine learning system, method, and computer program for household marketing segmentation
US11563858B1 (en) 2020-07-09 2023-01-24 Amdocs Development Limited System, method, and computer program for generating insights from home network router data
US20220012631A1 (en) * 2020-07-09 2022-01-13 Amdocs Development Limited Machine learning system, method, and computer program for managing guest network access in a residential space
US11605027B2 (en) 2020-07-09 2023-03-14 Amdocs Development Limited Machine learning system, method, and computer program for inferring user presence in a residential space
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11650720B2 (en) * 2020-10-06 2023-05-16 International Business Machines Corporation Dynamically adjusting zoom settings by a server in multiple user environments
US20220321662A1 (en) * 2021-03-30 2022-10-06 International Business Machines Corporation Smart device response to event detection
KR20230013379A (ko) * 2021-07-19 2023-01-26 기라성 설치 예술품을 이용한 ai 어시스턴트 시스템 및 방법
US11825583B1 (en) * 2022-04-22 2023-11-21 Mehdi Doorandish Smart lighting management system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005107A1 (en) 2000-02-14 2003-01-02 Adi Dulberg Support network
JP2003256957A (ja) 2001-12-25 2003-09-12 Matsushita Electric Ind Co Ltd 異常検知装置及び異常検知システム
JP2005063069A (ja) 2003-08-08 2005-03-10 Canon Inc 被制御装置、リモート制御装置及びリモート制御システム
JP2006134308A (ja) 2003-05-26 2006-05-25 Matsushita Electric Ind Co Ltd 操作履歴利用システム
JP2007053530A (ja) 2005-08-17 2007-03-01 Kddi Corp 家電機器遠隔操作システムおよびその運用方法
JP2012164208A (ja) 2011-02-08 2012-08-30 Nec Access Technica Ltd ネットワークシステム、ホームゲートウェイ、コンテンツ再生方法、及びネットワーク管理用プログラム
JP2013048326A (ja) 2011-08-29 2013-03-07 Nippon Telegr & Teleph Corp <Ntt> 家電機器制御システムおよび家電機器制御方法
JP2013178933A (ja) 2012-02-28 2013-09-09 Nippon Telegr & Teleph Corp <Ntt> 電池型センサノード、電子機器識別装置、方法、及びプログラム
US20140142724A1 (en) 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Apparatus and method for non-intrusive load monitoring (nilm)
US20140266669A1 (en) 2013-03-14 2014-09-18 Nest Labs, Inc. Devices, methods, and associated information processing for security in a smart-sensored home

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098247A1 (en) 1999-06-04 2014-04-10 Ip Holdings, Inc. Home Automation And Smart Home Control Using Mobile Devices And Wireless Enabled Electrical Switches
US7552030B2 (en) * 2002-01-22 2009-06-23 Honeywell International Inc. System and method for learning patterns of behavior and operating a monitoring and response system based thereon
US20130128118A1 (en) * 2004-12-23 2013-05-23 Kuo-Ching Chiang Smart TV with Multiple Sub-Display Windows and the Method of the Same
NZ580322A (en) * 2007-03-14 2012-11-30 Zonit Structured Solutions Llc Controlling electrical appliances using TCP/IP controlled outlets with power interruption or reduction functions
US8160752B2 (en) * 2008-09-30 2012-04-17 Zome Networks, Inc. Managing energy usage
WO2009081407A2 (en) * 2007-12-26 2009-07-02 Greenlet Technologies Ltd. Reducing power consumption in a network by detecting electrical signatures of appliances
US8255090B2 (en) * 2008-02-01 2012-08-28 Energyhub System and method for home energy monitor and control
US20090307255A1 (en) * 2008-06-06 2009-12-10 Johnson Controls Technology Company Graphical management of building devices
US8204633B2 (en) * 2008-07-01 2012-06-19 Carina Technology, Inc. Water heater demand side management system
US20160372932A9 (en) * 2008-07-29 2016-12-22 Gilbert J. MASTERS Apparatus Using Time-Based Electrical Characteristics to Identify an Electrical Appliance
US9020769B2 (en) * 2009-01-26 2015-04-28 Geneva Cleantech Inc. Automatic detection of appliances
US20100250590A1 (en) * 2009-03-30 2010-09-30 Galvin Brian R System and method for managing energy
US8156055B2 (en) * 2009-05-04 2012-04-10 ThinkEco, Inc. System and method for utility usage, monitoring and management
CA2762163C (en) * 2009-05-18 2017-12-12 Alarm.Com Incorporated Remote device control and energy monitoring
US20110046805A1 (en) 2009-08-18 2011-02-24 Honeywell International Inc. Context-aware smart home energy manager
KR101611301B1 (ko) * 2010-04-21 2016-04-12 엘지전자 주식회사 스마트 서버 및 스마트 디바이스
US20130226320A1 (en) * 2010-09-02 2013-08-29 Pepperdash Technology Corporation Policy-driven automated facilities management system
US8510255B2 (en) * 2010-09-14 2013-08-13 Nest Labs, Inc. Occupancy pattern detection, estimation and prediction
US20120265586A1 (en) * 2010-09-16 2012-10-18 Rutgers, The State University Of New Jersey System and method to measure and control power consumption in a residential or commercial building via a wall socket to ensure optimum energy usage therein
US20120130924A1 (en) * 2010-11-22 2012-05-24 James Patrick W System and method for analyzing energy use
US20120166115A1 (en) * 2010-12-23 2012-06-28 Nexgrid, Llc Platform, system and method for energy profiling
US9588534B2 (en) * 2011-05-16 2017-03-07 Zonit Structured Solutions, Llc Communications protocol for intelligent outlets
US9154001B2 (en) * 2011-05-19 2015-10-06 Honeywell International Inc. Intuitive scheduling for energy management devices
US20110257795A1 (en) * 2011-06-24 2011-10-20 Pvt Solar, Inc. Thermostat method and system for controlling solar energy utilization for efficient energy usage and conservation of energy resources
AU2012344680B2 (en) * 2011-11-29 2017-10-12 Generac Power Systems, Inc. Method and system for forecasting power requirements using granular metrics
KR101933135B1 (ko) * 2012-01-31 2019-03-15 삼성전자주식회사 전기 기기의 에너지 사용 패턴을 분석하여 에너지를 관리하는 에너지 관리 장치 및 방법
JP6267852B2 (ja) * 2012-02-03 2018-01-24 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法
US9046414B2 (en) * 2012-09-21 2015-06-02 Google Inc. Selectable lens button for a hazard detector and method therefor
US9307027B2 (en) * 2013-01-15 2016-04-05 Toyota Jidosha Kabushiki Kaisha Identifying server protocol for translation in smart grid
JP6271209B2 (ja) * 2013-10-10 2018-01-31 三井不動産株式会社 複数の街区のエネルギー需給を調整するためのエネルギー管理システム、及びエネルギー管理方法
US10637682B2 (en) * 2014-02-11 2020-04-28 Oracle International Corporation Smart home learning system including user behavior
US11087420B1 (en) * 2014-03-07 2021-08-10 Alarm.Com Incorporated Energy scoring

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005107A1 (en) 2000-02-14 2003-01-02 Adi Dulberg Support network
JP2003256957A (ja) 2001-12-25 2003-09-12 Matsushita Electric Ind Co Ltd 異常検知装置及び異常検知システム
JP2006134308A (ja) 2003-05-26 2006-05-25 Matsushita Electric Ind Co Ltd 操作履歴利用システム
JP2005063069A (ja) 2003-08-08 2005-03-10 Canon Inc 被制御装置、リモート制御装置及びリモート制御システム
JP2007053530A (ja) 2005-08-17 2007-03-01 Kddi Corp 家電機器遠隔操作システムおよびその運用方法
JP2012164208A (ja) 2011-02-08 2012-08-30 Nec Access Technica Ltd ネットワークシステム、ホームゲートウェイ、コンテンツ再生方法、及びネットワーク管理用プログラム
JP2013048326A (ja) 2011-08-29 2013-03-07 Nippon Telegr & Teleph Corp <Ntt> 家電機器制御システムおよび家電機器制御方法
JP2013178933A (ja) 2012-02-28 2013-09-09 Nippon Telegr & Teleph Corp <Ntt> 電池型センサノード、電子機器識別装置、方法、及びプログラム
US20140142724A1 (en) 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Apparatus and method for non-intrusive load monitoring (nilm)
US20140266669A1 (en) 2013-03-14 2014-09-18 Nest Labs, Inc. Devices, methods, and associated information processing for security in a smart-sensored home

Also Published As

Publication number Publication date
US10983488B2 (en) 2021-04-20
WO2016077613A1 (en) 2016-05-19
US10168677B2 (en) 2019-01-01
US20230350359A1 (en) 2023-11-02
JP2018501550A (ja) 2018-01-18
EP3218837A4 (en) 2018-04-11
US11614721B2 (en) 2023-03-28
HK1244554A1 (zh) 2018-08-10
CA3216868A1 (en) 2016-05-19
JP6720170B2 (ja) 2020-07-08
JP2023015033A (ja) 2023-01-31
CA3216856A1 (en) 2016-05-19
EP3218837A1 (en) 2017-09-20
JP2020184345A (ja) 2020-11-12
CA2967364A1 (en) 2016-05-19
US20190079476A1 (en) 2019-03-14
CA2967364C (en) 2023-12-12
US20210208553A1 (en) 2021-07-08
US20160139575A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
JP7160365B2 (ja) スマートスペースのためのシステム及び方法
US11921477B2 (en) Smart-home automation system that suggests or automatically implements selected household policies based on sensed observations
JP6556734B2 (ja) ネットワーク装置およびリモートセンサ情報を用いて環境を調整するためのシステム、装置および機器
US10601604B2 (en) Data processing systems and methods for smart hub devices
EP3092750B1 (en) System, device, and apparatus for coordinating environments using network devices and remote sensory information
US9872088B2 (en) Monitoring and reporting household activities in the smart home according to a household policy
US9294340B1 (en) Systems and methods for updating data across multiple network architectures
US9875647B1 (en) Systems and methods for presenting security questions via connected security system
US9998803B2 (en) Generation and implementation of household policies for the smart home
US20190238358A1 (en) Automatic device orchestration and configuration
US9524635B2 (en) Smart-home household policy implementations for facilitating occupant progress toward a goal
EP3266189B1 (en) Generation and implementation of household policies for the smart home
CN109196352B (zh) 用于通过使用声学信号来监视对象及其状态的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7160365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150