JP7193180B2 - 家庭電器に制御用ユーザインタフェースを提供する方法及びシステム - Google Patents

家庭電器に制御用ユーザインタフェースを提供する方法及びシステム Download PDF

Info

Publication number
JP7193180B2
JP7193180B2 JP2021518688A JP2021518688A JP7193180B2 JP 7193180 B2 JP7193180 B2 JP 7193180B2 JP 2021518688 A JP2021518688 A JP 2021518688A JP 2021518688 A JP2021518688 A JP 2021518688A JP 7193180 B2 JP7193180 B2 JP 7193180B2
Authority
JP
Japan
Prior art keywords
user
appliance
user interface
images
domestic appliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518688A
Other languages
English (en)
Other versions
JP2022504302A (ja
Inventor
スレシュ・マニ
イ・ファン
ジカイ・ウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Publication of JP2022504302A publication Critical patent/JP2022504302A/ja
Application granted granted Critical
Publication of JP7193180B2 publication Critical patent/JP7193180B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、電器制御分野に関し、特に家庭電器にユーザインタフェースを提供するための方法及びシステムに関する。
（関連出願の相互参照）
本願は、２０１８年１０月０９日に提出された米国特許出願第１６／１５５，６８４号の優先権を要求し、その全ての内容は引用によって本願に結合される。
家庭電器は、家庭ユーザに種々の専用機能を提供する。各電器は、自体の制御用ユーザインタフェースを有する。該ユーザインタフェースは、種々の入力方式で操作され、また、各電器は、種々の出力方式でユーザにフィードバックを提供する。家庭電器とインタラクションを行う時、家庭電器のユーザインタフェースの設計は、使用効率及びユーザ体験を影響するに非常に重要である。
１つの家庭において、異なるユーザは、異なる能力及び需要を持つ可能性があり、また、その特殊の補助需要に応じてカスタマイズされた補助補強特徴から利益を得る。一般的には、ユーザは、家庭電器の設定用ユーザインタフェースを利用して家庭電器の特定の補助補強機能をオン・オフすることができる。例えば、視覚障害者であるユーザは、音声特徴をオンにし、１つのボタン又は２つのボタンを押すことで、逐一読み上げられた機能を聞こえた後、そのうちの１つの機能を選択して電気の制御パネルを操作することがきる。
幾つかの場合、電器の一部の機能は、家庭中の一部のメンバーにとって不安全である。家庭電器の設定用ユーザインタフェースを用いてこれらの機能のアクセス制限をオンにすることができる。例えば、暗号システムを用いて、暗号が与えられていないユーザが電器の一部の機能にアクセスすることを防止することができる。
背景技術において検討したように、補助補強及び／又は機能制御を提供する従来の方法は、設定用ユーザインタフェースにおけるユーザの意図的動作により、補助機能をオン又はオフする。このような方法は、不便だけでなく、大変な手間もかかる。例えば、補助補強特徴をオンにしようとする時、ユーザは、必要な補助補強による補助無しで、設定用ユーザインタフェースを手探りしなければならない。これは、時間がかかる。障害者であるユーザにとって殆ど不可能であることがある。なお、補助補強が一旦オンにされると、設定用ユーザインタフェースを再び用いてそれを明確にオフするまでオン状態が保持される。補助補強は、一般的には、特定の欠陥又は障害タイプに対してカスタマイズされたものであるため、このような欠陥又は障害を有しない他のユーザは、煩わしくて使用しにくいと感じる。補助補強を手動でオフすることも時間がかかり、また、同様な欠陥又は障害を有しないユーザにとって悩ましい。異なる欠陥又は異なる補助補強需要を有するユーザにとって、先にオンされた補助補強を電器の設定用インタフェースによりオフすることは殆ど不可能である。
多くのメンバーを有する家庭又は共通電器共有場所（例えば、共通ランドリー）において、異なる人間は、異なる能力、操作嗜好及び補助補強需要を有する。人々は、電器に提供される補助補強を自動的に調整する方法から利益を受ける。このような方法は、動的で、使用しやすくて多機能型である。本願において、ユーザが電器の近傍範囲内にいることを検出した場合、ユーザの顔画像から種々の特徴を取得する。例えば、ユーザが電器の現在のユーザインタフェースにより直接的に関与する必要がない場合、現在収集されたユーザ顔画像から抽出、推定されたパラメータに基づいて、電器のユーザインタフェース設定を自動的に調整する。電器のユーザインタフェース設定は、どのような補助補強をオン又はオフするか、グラフィカルユーザインタフェースの外観、機器が受けるユーザ入力の主な方式、機器がユーザに提供するフィードバックの主な方式などを含む。幾つかの場合、顔特徴は、ユーザの外貌の一部であり、日々激しく変化するものではない。幾つかの場合、ユーザは、簡単な操作により、電器の現在のユーザインタフェース設定を介して直接的に電器とインタラクションすることなく、電器の画像処理システムが検出した顔特徴を修正し、電器のユーザインタフェース設定を容易、直観的かつ迅速に動的修正することができる。本明細書に開示するように、ユーザの年齢、身分、顔におけるアクセサリが存在するかどうか、一部の顔特徴が遮蔽されているかどうか（例えば、手又は指で顔における眼、耳、鼻、口領域等を遮蔽する）を含むユーザの顔特徴を分析することで、ユーザの意図及び補助補強に対する需要を動的に決定することができる。これにより、電器は、ユーザに大きすぎる負担を与えることなく、異なる需要を有する複数のユーザのために、必要なユーザインタフェース設定で自動的かつシームレスに切り替わることができる。情報が電器に記憶されていないユーザは、電器において、必要なユーザインタフェース設定を迅速にアクティブ化することもできる。
背景技術に記載したように、異なる家庭メンバーは、異なる機能及び／又はアクセス制限を必要とすることがある。一般的には、チャイルドロック又は暗号システムは、親の操作によってロック又は暗号を有効にするが、暗号の漏洩又は忘却が発生しやすいので、ロックが効かなくなり、又は、該機能を利用できるべきである人間がロックアウトされてしまうことがある。
本願に記載するたように、ユーザの年齢及び／又は身分、近傍のもう１つのユーザの存在及び身分を含むユーザの顔特徴を分析することで、異なるアクセス制限を迅速にアクティブ化又は非アクティブ化することができる。例えば、大人がいない場合、むちゃ食い者である年齢の高い子供が冷蔵庫を開けることは、許されないが、大人がいる場合、冷蔵庫を開けることは許される。本願で開示される方法によれば、子供の顔画像を分析することで、子供の存在及び身分を決定する。また、画像における他の顔に対する顔分析により、大人の存在を検出する。大人がいる場合、子供が冷蔵庫を開けようとすると、冷蔵庫を開けることが許される。大人がいない場合、子供が冷蔵庫を開けようとすると、冷蔵庫を開けることが拒否される。
本願で開示される実施例は、コンピュータビジョン及びローカルスマート意思決定により、家庭電器の制御用ユーザインタフェースを提供する従来の方法の一部の欠陥を少なくとも解消する。
本願で開示されているように、幾つかの実施例において、第１家庭電器において制御用ユーザインタフェースを提供する方法は、１つ又は複数のプロセッサ及びメモリを有するコンピューティングシステムにおいて、前記第１家庭電器と一緒に配置された１つ又は複数のカメラにより、前記第１家庭電器の第１閾値範囲内で第１ユーザの存在を検出することと、第１家庭電器の第１範囲内で第１ユーザの存在を検出したことに応答して、１つ又は複数のカメラにより収集された第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像における第１ユーザの顔画像の１つ又は複数の特徴を決定することと、１つ又は複数のカメラにより収集された１つ又は複数の画像において決定された第１ユーザの顔画像の１つ又は複数の特徴に基づいて、第１家庭電器の現在制御用ユーザインタフェース設定の第１変動をトリガするように構成される少なくとも１つの第１パラメータを決定することと、第１家庭電器の第１閾値範囲内で、第１ユーザの存在を継続して検出した場合、第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することと、を含む。
幾つかの実施例において、第１家庭電器は、１つ又は複数のカメラ、電器機能ユニット、１つ又は複数のプロセッサ及び命令を記憶するメモリを備え、該命令は、１つ又は複数のプロセッサにより実行される時、プロセッサに本明細書に記載の如何なる方法を実行させる。幾つかの実施例によれば、電子機器は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するメモリと、を備え、前記１つ又は複数のプログラムは、前記１つ又は複数のプロセッサにより実行されるように構成され、且つ前記１つ又は複数のプログラムは、本明細書で説明されているいずれかの方法の操作を実行するか又はその操作が実行されるようにする命令を含む。幾つかの実施例によれば、コンピュータ読み取り可能な記憶媒体には命令が記憶されており、これらの命令は、電子機器により実行される時、前記機器に、本明細書で説明されているいずれかの方法の操作を実行させるか又はその操作が実行されるようにする。幾つかの実施例によれば、電子機器は、画像を収集する装置と、家庭電器の操作を実行する装置と、本明細書で説明されているいずれかの方法の操作を実行するか又はその操作が実行されるようにする装置と、を備える。
下記の説明によれば、本願の各利点は明らになる。
幾つかの実施例による１つ又は複数の家庭電器の操作環境を示すブロック図である。 幾つかの実施例による例示的な家庭電器を示すブロック図である。 幾つかの実施例による顔画像の画像分析により得られた種々の顔特徴を示す。 幾つかの実施例による家庭電器のユーザインタフェースを提供する方法を示すフローチャートである。 幾つかの実施例によるコンピューティングシステムを示すブロック図である。
以下、図面を参照しながら好適な実施例にについて詳しく説明することによって、開示される技術の上述した特徴及び利点並びにそのさらなる特徴及び利点をより明確に理解する。
本願技術の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に説明する。勿論、下記の図面は、単に本願の技術の一部の実施例のみを示し、且つ当業者は創造的な労力を要することなく、これらの図面から他の図面を得ることができる。
図面の複数の図において、同一の参照符号で対応する部材を示している。
ここに実施例を詳しく説明し、その種々の例が例として添付の図面に示されている。以下の詳細な説明では、本明細書で提出された主旨の詳細な理解を可能にするために多くの具体的な細部を記載する。しかしながら、該主旨は、これらの具体的な細部なしで実行されうることが、当業者には明らかであろう。その他の場合には、よく知られている方法、プログラム、アセンブリ及び回路は、本発明の実施例の態様を不必要に不明瞭にしないように詳細に説明されていない。
以下、本願の実施例の添付図面を参照しながら、本願の実施例による技術的解決手段を明確且つ完全に説明する。勿論、説明される実施例は、本願の実施例の一部に過ぎず、全ての実施例ではない。本願の実施例に基づき、当業者が創造的な労働をしない前提で得られる他の実施例は全て本願の保護範囲に含まれる。
図１は、幾つかの実施例による１つ又は複数の家庭電器の操作環境１００を示すブロック図である。
操作環境１００は、任意選択的に、クライアント－サーバモデルにより実現する。操作環境１００は、スマートホーム環境１２２（例えば、図１にスマートホーム環境のスマートキッチンを示す）と、クラウドネットワーク１１０を介してスマートホーム環境１２２と通信可能に接続するサーバシステム１０８と、を備える。幾つかの実施例において、スマートホーム環境１２２は、１つ又は複数のスマート家庭電器１２４を備える。スマート家庭電器１２４の例として、冷蔵庫１２４（ｃ）、電子レンジ１２４（ｂ）、スマートストーブ１２４（ｄ）、スマートロッカー１２４（ｅ）、スマートエアコン１２４（ａ）、スマートエンターテイメントセンター等を含む。幾つかの実施例において、クライアント環境１００は、ユーザ機器１０４（例えば、スマートフォン、タブレット、パーソナルコンピュータ又は中央通信ハブ）を更に備える。
例として、スマートホーム環境は、例えば、キッチンの、天井に近接する壁に位置するスマートエアコン１２４（ａ）のような第１家庭電器を備える。該スマートホーム環境は、例えば冷蔵庫１２４（ｃ）のような第２家庭電器を更に備える。該第２家庭電器は、例えば、スマートストーブ１２４（ｄ）及びスマート電子レンジ１２４（ｂ）のような別の２つのスマート家庭電器の間に位置する。該３つの家庭電器の全てはいずれも、キッチンの、エアコン１２４（ａ）に対向する壁に近接するように配置される。
幾つかの実施例において、１つ又は複数の電器１２４のうちの各電器は、入力／出力ユーザインタフェースを備える。入力／出力ユーザインタフェースは、任意選択的に、メディアコンテンツを表示可能な１つ又は複数の出力機器を備える。該出力機器は、１つ又は複数のスピーカー及び／又は１つ又は複数のビジュアルディスプレイを備える。入力／出力ユーザインタフェースは任意選択的に、１つ又は複数の入力機器を更に備える。該入力機器は、テンキー、音声命令入力ユニット又はマイクロホン、タッチパネルディスプレイ、触覚入力ボード、ジェスチャー収集カメラ又は他の入力ボタン又はコントロールのような、ユーザによる入力を容易にするユーザインタフェース部材を備える。
幾つかの実施例において、１つ又は複数の電器１２４のうちの各電器は、各電器の環境情報をセンシングするセンサを更に備える。センサは、１つ又は複数の光センサ、カメラ（画像センサとも呼ばれる）、湿度センサ、温度センサ、動きセンサ、重量センサ、スペクトロメータ、赤外センサ及び他のセンサを含むが、これらに限定されない。幾つかの実施例において、種々の電器に関連するセンサは、ユーザ存在情報（例えば、部屋におけるユーザの位置、及びユーザが現在、どの（どれらの）電器とインタラクションするか等）を提供するために用いられる。幾つかの実施例において、センサは、例えば、温度、一日中の時刻、照明、騒音レベル、部屋における動きレベルのような、室内環境に関わる情報を更に提供する。電器の前にいるユーザの顔特徴に加えて、これらの環境情報は更に、電器に適切なユーザインタフェース設定を選択するために用いられる。
幾つかの実施例において、キッチン領域における１つ又は複数の機器及び／又は電器は、対応するカメラ及び対応する動きセンサを備える。これにより、ユーザの存在を検出してユーザの顔画像を収集する。ユーザは、スマートキッチン環境において移動可能であり、また、ユーザの近傍に位置する複数の機器１２４は、ユーザの顔画像を収集し、サーバとの通信チャネルを介して、画像をサーバシステム１０８に独立して伝送することができる。
幾つかの実施例において、サーバシステム１０８は、１つ又は複数の処理モジュール１１４と、データベース及びモデル１１６と、クライアントへのＩ／Ｏインタフェース１１２と、外部サービスへのＩ／Ｏインタフェース１１８と、を備える。クライアントへのＩ／Ｏインタフェース１１２は、サーバシステム１０８からクライアントへの入力及び出力処理に寄与する。例えば、特定の電器により提出された画像によれば、サーバは任意選択的に、該電器に画像処理サービスを提供する。データベース及びモデル１１６は、各ユーザ及び／又はユーザの家庭における種々のユーザデータを含む。例えば、単一のユーザのアカウントデータ（例えば、画像、年齢、性別、特徴など）、ユーザインタフェース設定嗜好及び制限などを含む。１つ又は複数の処理モジュール１１４は、データベース及びモデル１１６を利用して、ユーザの存在及びユーザ顔特徴の動的変化をモニタリングし、ユーザとインタラクションする電器の適切なユーザインタフェース設定を決定する。
幾つかの実施例において、サーバシステム１０８は更に、ネットワーク１１０を介して外部サービス１２０（例えば、ナビゲーションサービス、メッセージ伝達サービス、情報サービス、カレンダーサービス、家庭電器制御サービス、ソーシャルネットワークサービスなど）と通信して、タスクを完了するか又は情報を取得する。外部サービスへのＩ／Ｏインタフェース１１８は、このような通信に寄与する。
幾つかの実施例において、サーバシステム１０８は、少なくとも１つのデータ処理機器及び／又はコンピュータの分散型ネットワークで実行可能である。幾つかの実施例において、サーバシステム１０８は更に、サードパーティサービスプロバイダ（例えば、サードパーティクラウドサービスプロバイダ）の種々の仮想機器及び／又はサービスを利用して、サーバシステム１０８の基本コンピューティングリソース及び／又は基礎施設リソースを提供する。
通信ネットワーク１１０の例は、ローカルエリアネットワーク（ＬＡＮ）及びインターネットのようなワイドエリアネットワーク（ＷＡＮ）を含む。通信ネットワーク１１０は、如何なる既知のネットワークプロトコルにより実現可能である。該ネットワークプロトコルは、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、送電線、グローバル移動体通信システム（ＧＳＭ）、エンハンストデータＧＳＭ環境（ＥＤＧＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、ブルートゥース（登録商標）、Ｗｉ－Ｆｉ、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ－ＭＡＸのような種々の有線又は無線プロトコル又は如何なる他の適切な通信プロトコルを含む。
幾つかの実施例において、本明細書で開示される画像処理機能及びユーザインタフェース設定調整機能は、本明細書に記載されているように、サーバ１０８により遠隔提供されるか又はスマート電器によりローカルで提供され、及び／又はサーバと電器との協働により共同で提供される。
図２に示すように、例示的なスマート電器１２４（例えば、スマートエアコン１２４（ａ）、スマート冷蔵庫１２４（ｃ）、スマートストーブ１２４（ｄ）又はスマート電子レンジ１２４（ｂ））は、１つ又は複数の存在センサ（例えば、１つ又は複数の動き検出器１０１及び１つ又は複数の搭載カメラ１０２）と、電器制御ユニットユニット１０７と、電器操作ユニット１０６と、を備える。幾つかの実施例において、電器１２４は、１つ又は複数のネットワーク１１０（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及び／又はインターネット）を介して遠隔のサーバ１０８と通信するネットワーク通信ユニット１０５を更に備える。幾つかの実施例において、電器制御ユニット１０７は、１つ又は複数の動き検出器１０１及び１つ又は複数のカメラ１０２を、電器１２４の近傍のユーザの存在を検出し、所定の基準を満たすユーザの存在を検出した場合にユーザの画像を収集するように制御する検出ユニット１１３を更に備える。幾つかの実施例において、電器制御ユニット１０７は、電器操作ユニット１０６を制御する電器機能制御ユニット１１７を更に備える。幾つかの実施例において、電器制御ユニット１０７は、ユーザ顔画像の画像分析から導出されたパラメータに基づいて電器１２４のユーザインタフェース設定のリアルタイム調整及び即時調整を提供するユーザインタフェース設定調整ユニット１１９を更に備える。幾つかの実施例において、電器制御ユニット１０７は、協調ユニットを更に備える。該協調ユニットは、互いに関連するか又は物理的に互いに近接する電器の存在検出、画像収集、ユーザインタフェース設定（例えば、調整補助補強特徴及び機能制限）機能を協調して、複数の電器の検出結果、画像収集、分析及び結論を共有、協調可能にして、電力消費を減少させ、分析精度を向上させ、応答時間を減少させ、ほぼ同一の時刻で同一の部屋における複数の電器とインタラクションする時に総合的なユーザ体験を改善する。
幾つかの実施例において、電器制御ユニット１０７は、画像処理ユニット１１５を更に備える。該画像処理ユニット１１５は、１つ又は複数のカメラ１０２からの画像を分析するための複数の機械学習モデルを備え、また、画像に対して実行される画像分析から導出されたパラメータを提供する。該パラメータは例えば、年齢、性別、身分、顔におけるアクセサリの存在及び／又は非存在、ユーザの手がユーザの顔の各部分を遮蔽するか及び／又は遮蔽しないか（例えば、手全体又は指が顔画像の眼領域、鼻領域、耳領域及び／又は口領域を遮蔽する）である。幾つかの実施例において、画像処理ユニット１１５は任意選択的に、電器１２４のローカルエリアにある一部のアセンブリと、遠隔してサーバ１０８にある一部のアセンブリと、を備える。幾つかの実施例において、画像処理ユニット１１５は、完全にサーバ１０８に位置する。
幾つかの実施例において、電器１２４は、ユーザの存在を検出した後にカメラをユーザの顔に焦点合わせするように移動する機構を備える。例えば、該電器は、カメラの取付ブラケットを備え、当該取付ブラケットは、１つ又は複数のモータ及びアクチュエータにより制御され、また、被検ユーザに対するカメラの向き（例えば、カメラの傾斜及びヨーイング）を変更することができる。
幾つかの実施例において、単一のカメラは、電器の前側（例えば、電器のハウジング正面の上縁又は下縁の中心に近接する）に設けられる。幾つかの実施例において、カメラは、１つ又は複数のアクチュエータを有するプラットフォームに取り付けられる。アクチュエータは、参照点（例えば、電器正面の固定点）に対してカメラの向き及び／又は位置を変更する（例えば、カメラの正面平面の傾斜度及びヨー角、又はカメラの固定位置を変更する）ように制御されて（例えば、ユーザにより操作されるリモコンにより制御されるか又は電器制御ユニット１０４により自動的に制御される）、電器１２４に３Ｄイメージング能力を提供する。幾つかの実施例において、２つのカメラは、電器の２つの対向隅（例えば、電器のハウジングの正面の２つの上隅に近接し、ハウジングの正面の対角線の２つの対向隅に近接するなど）に配置され、電器に３Ｄイメージング能力を提供する。幾つかの実施例において、並置された２つの電器のカメラは、電器に３Ｄイメージング能力を提供するために用いられる。
幾つかの実施例において、エアコンに備えられるカメラ１０２は、例えば、赤外センサ、可視光センサ、ナイトビューセンサ、及び／又は動きセンサなどのような、異なる波長及び／又は強度に用いられる画像センサを備える。幾つかの実施例において、カメラは、連続して作動し、連続的な画像フレームストリームを生成する。幾つかの実施例において、幾つかのカメラ（例えば、可視光カメラなど）により収集された画像において、１つ又は複数の予め定義イベントが検出された場合、他のカメラ（例えば、赤外カメラ又は弱光センサ）がアクティブ化されて画像を収集する。例えば、幾つかの実施例において、周囲環境が暗光（例えば、夜）である場合、赤外カメラが予め定義された動きイベント（例えば、熱を発生する物体（例えば、人間）による予め定義された閾値量を超える動き（例えば、間隔がｘ分間未満である間欠的動き）が、予め定義された閾値量の時間を超える（例えば、５分間を超える）こと）を検出した場合のみに、ナイトビューカメラをアクティブ化して画像を収集する。幾つかの実施例において、電器は、ユーザの出現に加えて、画像処理をトリガするようにユーザの動き（例えば、電器へのユーザの接近）も検出する。例えば、ユーザは、キッチンに入ってカウンターの前に座って食事するだけであれば、キッチン電器の画像収集及びユーザインタフェース再設定機能は、キッチン電器近傍のユーザの存在のみを検出したことに応答してアクティブ化する必要がない。
幾つかの実施例において、電器１２４は、ユーザインタフェース１２３を備える。ユーザインタフェースは、種々のモードの入力機器（例えば、キーボード、タッチパネル、マイクロホン、レバー、ノブ、ボタン、動きジェスチャーを収集するためのカメラ、触覚インタフェースなど）及び種々のモードの出力機器（例えば、ディスプレイ、スピーカー、触覚出力発生器、警報器、ランプ、インジゲーターなど）を備える。幾つかの実施例において、ユーザインタフェース１２３は、ユーザインタフェース設定調整ユニット１１９により制御されて、ユーザ入力（例えば、選択、アクティブ化、命令など）を受信して出力（例えば、情報、コンテンツ、入力に対するフィードバック、警報、警告など）をユーザに伝達する。
幾つかの実施例において、電器操作ユニット１０７は、電器の基本的機能を実行するための種々のハードウェア機構及び部材（例えば、エアコンについて、部材は、コンプレッサ、冷媒、蒸発器、凝縮器、膨張弁、ファン、エアフィルタ、１つ又は複数のセンサ（例えば、恒温器、温度センサ、空気流量センサ、弁圧力センサ、タイマーなど）を含む）を備える。
幾つかの実施例において、電器制御ユニット１０７は、１つ又は複数のプロセッサ及びメモリを備える。メモリには命令が記憶していて、当該命令は１つ又は複数のプロセッサにより実行される時、プロセッサに本明細書に記載の機能を実行させて、電器の基本的機能を制御し、電器近傍のユーザの存在及び意図を検出し、電器近傍で収集されたユーザ顔画像に基づいてユーザの顔特徴を決定し、ユーザインタフェース１２３のユーザインタフェース設定を制御し、同一の近傍の複数の電器間で上記機能を協調する。
幾つかの実施例において、電器制御ユニット１０７は、存在検出ユニット１１３を備える。存在検出ユニット１１３は、動き検出器１０１からの入力を受信し、動き検出器１０１の出力に基づいて、動き検出器により検出されたユーザの距離、及びユーザの移動が電器に向かっているかそれとも電器から離れているかを判定する。例えば、動き検出器１０１は、動きを継続して検出し、且つ該動きが動き検出器の検出範囲内で少なくとも１つの閾値時間（例えば２０秒）を持続している場合、存在検出ユニット１１３は、カメラ（１０２）をアクティブ化して電器１２４近傍の画像を収集し始める。幾つかの実施例において、ユーザによってカメラをトリガする閾値範囲は、動き検出器１０１の動き検出範囲と同じである。幾つかの実施例において、電器１２４における異なる位置に配置された２つの動き検出器、又は２つ又は複数の電器により共有されてそれぞれ２つ又は複数の電器に位置する動き検出器は、動き検出器の検出範囲内で検出されたユーザの距離及び進行方向を決定するために用いられる。幾つかの実施例において、ユーザの存在を一旦検出しており、カメラ１０２により画像収集を開始すると、電器制御ユニット１０７は、収集された画像又は収集された画像の一部を画像処理ユニット１１５に送信して顔検出及び／又は顔特徴分析に用いる。
幾つかの実施例において、画像処理ユニット１１５は、電器におけるローカルアセンブリ及び遠隔してサーバにある遠隔アセンブリを備える。幾つかの実施例において、電器１２４の相対的に有限の負荷処理能力で、ローカルに実行される画像処理は、相対的に低レベルである。例えば、画像は、顔検出のみに用いられてもよい。幾つかの実施例において、画像は、二値化され、種々の従来のエッジ検出技術により、二値化された画像からユーザの輪郭を認識する。幾つかの実施例において、画像処理ユニットのローカルアセンブリは、収集された画像の一部を抽出し、画像に対して正規化を行い、ユーザの頭部の画像のみを保留し、それを遠隔のサーバにある遠隔アセンブリに送信する。幾つかの実施例において、サーバ、顔画像の特徴を抽出して表現するための深層学習モデルを複数備える。深層学習モデルの各々は、電器のユーザインタフェース設定を修正するためのパラメータに対応する特徴を認識するように訓練される。幾つかの実施例において、異なる機械学習モデルは、画像を処理して、異なる特徴を認識し、組み合わせた特徴を用いて電器のユーザインタフェース設定を如何に修正するかを決定する。
例えば、異なる機械学習モデルを用いて、顔画像を処理し、顔の異なる部分及び／又は顔アクセサリの存在を認識する。例えば、第１モデルは、顔部の眼部の認識に用いられ、第２モデルは、顔部の鼻部の認識に用いられ、第３モデルは、顔部の口部の認識に用いられ、第４モデルは、顔部の耳部の認識に用いられ、第６モデルは、第１手ジェスチャー（例えば、開いた手。手の甲が外向きである）の認識に用いられ、第７モデルは、第２手ジェスチャー（例えば、握りこぶし。手の甲が外向きである）の認識に用いられ、第８モデルは、第３手ジェスチャー（例えば、握った手。食指が伸び出る）の認識に用いられる。顔部のこれらの部分を一旦認識した場合、顔部の異なる部分と手の位置（検出できれば）の相対的位置を決定し、顔特徴パラメータを生成することができる。幾つかの実施例において、顔画像に基づいてユーザの年齢及び身分を推定するように付加的モデルを訓練する。
幾つかの実施例において、まず、サーバにおいて、モデルの訓練を所定の期間にわたって実行し、その後訓練されたモデルを電器１２４に送信し、画像処理ユニット１１５に、新たに収集された画像をローカルで画像分析させる。これにより、サーバの負荷を減少させ、ユーザに対するプライバシー保護を向上させることができる。
幾つかの実施例において、画像分析結果に基づいて、ユーザインタフェース設定ユニット１１９は、ユーザの需要に適応するために現在のユーザインタフェース設定を修正する必要があるかどうかを決定する。例えば、ユーザインタフェース設定ユニット１１９は任意選択的に、電器の１つ又は複数の補助補強特徴をオン又はオフしたり、電器のユーザインタフェースレイアウトを変更したり、電器の１つ又は複数の機能へのアクセスを制限したり、又は、画像処理ユニット１１５により生成されたパラメータに基づいて、電器の１つ又は複数の機能へのアクセスを許容したりする。
幾つかの実施例において、電器制御ユニット１０７は、協調ユニット１２１を備える。協調ユニット１２１は、複数の電器に分布した複数の動き検出器からの入力に基づいて、動き検出を協調するように構成される。例えば、スマートエアコンの動き検出器の出力、スマートストーブの動き検出器の出力及びスマート冷蔵庫の動き検出器の出力は、複数の電器で共有され、よって、複数の電器のうちの１つの電器が動きを検出した場合、複数の電器のうちの各電器における協調ユニット１２１は、そのローカル存在検出ユニット１１３に通知するようになる。また、該存在検出ユニットは、動きが自己に十分に近接するかに基づいてローカルカメラによる画像収集を決定することができる（例えば、異なる動き検出器のレイアウトは、複数の電器で共有される）。幾つかの実施例において、異なる電器における複数の動き検出器を用いることで、動き検出を早めに実行し、画像収集及びユーザインタフェース再設定中の遅延を低減させ、ユーザ体験を改善することができる。幾つかの実施例において、協調ユニット１２１は、複数の電器に分布した複数のカメラからの画像収集を協調するように構成される。複数の電器が異なる角度で収集した画像によれば、顔正面を収集する確率を向上させる。これは、身分決定及び年齢決定に寄与する。幾つかの実施例において、画像収集時の時間値は、画像に符号化される。これにより、一定の期間内で（例えば、ユーザはキッチン内で移動する場合）部屋における異なる位置にある複数の電器により収集された画像に基づいて、ユーザの移動及びユーザがどの方向を見ているかを決定する。
上記例は単に例示を目的として提供される。以下、図４に示すフローチャートを参照しながら、電器１２４の機能のより多くの細部を説明する。
図３は、幾つかの実施例による顔画像の画像分析により得られた種々の顔特徴を示す。
図３に示すように、画像分析ユニット１１５に入力された画像は、電器の近傍で検出したユーザの顔画像を含む。画像分析ユニット１１５は、種々の画像処理モデルを利用して画像に存在する顔特徴を決定する。幾つかの実施例において、年齢は、画像処理ユニット１１５が利用した画像処理モデルの１つから出力されたパラメータである。また、入力画像から認識されたユーザの年齢群（例えば、高齢者、大人、子供、幼児、嬰児）の結果は、年齢群と利用可能なユーザインタフェース設定との予め設定された対応関係に基づいて、電器のユーザインタフェース設定を調整するために用いられる。幾つかの実施例において、ユーザの身分は、画像処理ユニット１１５が利用した画像処理モデルの１つから出力されたパラメータである。また、得られた身分（例えば、ボブ（Ｂｏｂ）、ジェイン（Ｊａｎｅ）、マリー（Ｍａｒｙ）、ティム（Ｔｉｍ）及びエヴァ（Ｅｖａ））は、ユーザ身分と利用可能なユーザインタフェース設定との予め設定された対応関係に基づいて、電器のユーザインタフェース設定を調整するために用いられる。幾つかの実施例において、各顔特徴に対して特に訓練された異なる画像処理モデルを用いて、入力画像から各顔特徴を認識する。例えば、これらの顔特徴の各々を認識するために訓練された異なる画像処理モデルを用いて、画像から、眼、鼻、耳、口、手、顔アクセサリを個別に認識する。幾つかの実施例において、更に、顔特徴を認識するためのモデルを用いて顔特徴の状態を決定する。例えば、眼の状態は、画像処理ユニット１１５が利用した画像処理モデルの１つから出力されたパラメータである。また、これにより発生した眼状態（例えば、眼を完全に開き、眼を完全に閉じ、左眼を開き、右眼を開く）は、眼状態とユーザインタフェース設定との予め設定された対応関係に基づいて電器のユーザインタフェース設定を調整するために用いられる。例えば、眼を閉じた状態は、視覚障害者であるユーザに補助補強（例えば、文字拡大、音声放送のアクティブ化、音声入力インタフェースのアクティブ化など）を提供するユーザ要求に対応する。左眼を開いた状態は、一組の限られた視覚的補強（例えば、音声放送をオンにするが、ユーザインタフェースの外観を変更しない）を提供するユーザ要求に対応する。右眼を開いた状態は、別の一組の限られた視覚的補強（例えば、音声放送をオフにして、ユーザインタフェースの外観を変更する）を提供するユーザ要求に対応する。
幾つかの実施例において、顔特徴における手の位置及び手ジェスチャーも、顔特徴を認識する各モデルにより決定されたものである。例えば、顔特徴から、１本の指が検出された場合、該顔特徴に対応する補助補強は、オンにされる。例えば、口の前に単一の指が検出された場合、音声ユーザインタフェースをアクティブ化する。口の前に手全体が検出された場合、音声ユーザインタフェースは、無効にされる。眼の前に単一の指が検出された場合、グラフィカルユーザインタフェースを表示すると共に音声入力を無効にする。眼の前に手全体が検出された場合、グラフィカルユーザインタフェースは、無効にされて、且つ音声ユーザインタフェースは、主な入力モードとしてアクティブ化される。耳の部分に単一の指が検出された場合、オーディオ出力インタフェースは、主なフィードバックモードとしてアクティブ化される。耳の部分に手全体が検出された場合、オーディオ出力インタフェースは、無効にされる。
図３に示すパラメータ及び顔特徴は、説明するためのものだけであり、対応するユーザインタフェース設定の変動も説明するためのものだけである。異なる実施例において、他の顔特徴、パラメータ及び対応するユーザインタフェース設定変動が存在してもよい。
図４は、幾つかの実施例による第１家庭電器で制御用ユーザインタフェースを提供する方法４００を示すフローチャートである。幾つかの実施例において、該方法４００は、１つ又は複数のプロセッサ及びメモリを備えるコンピューティングシステム（例えば、電器１２４又はサーバ１０８）により実行される（例えば、該コンピューティングシステムは、第１家庭電器の制御ユニット又は第１家庭電器と通信可能に結合されるサーバ（例えば、第１家庭電器のメーカ又はサードパーティサービスプロバイダにより提供される遠隔サーバ、又はスマートホーム環境のサーバ）である）。
コンピューティングシステムは、第１家庭電器と一緒に配置された１つ又は複数のカメラ（例えば、１つ又は複数のカメラは任意選択的に、第１家庭電器の１つ又は複数の内蔵カメラ、第１家庭電器の近傍に位置する（例えば、同一の部屋内に位置するか又は部屋の同一側に位置するか又は互いに隣接する）第２家庭電器的１つ又は複数の内蔵カメラ、第１家庭電器の近傍に配置される１つ又は複数の外部カメラを含む）により、第１家庭電器の第１閾値範囲内（例えば、腕長、３フィート、１フィート、又は同一の部屋内）で第１ユーザの存在を検出する（４０２）。
コンピューティングシステムは、第１家庭電器の第１閾値範囲内で第１ユーザの存在を検出したことに応答して、１つ又は複数のカメラにより収集された第１ユーザの１つ又は複数の画像に対して画像処理を実行すること（４０４）で（例えば、第１ユーザの存在を検出した時及び／又は第１ユーザの存在を検出した後に、画像処理を直ちに実行する）、１つ又は複数の画像（例えば、１つ又は複数のカメラにより当時収集された画像）における第１ユーザの顔画像の１つ又は複数の特徴を決定する。１つ又は複数の画像は単独で収集された画像であっても良く、又は連続して収集されたビデオの画像フレームであっても良い。幾つかの実施例において、画像は、ユーザの顔部を含めた、最初収集された画像の一部である。幾つかの実施例において、１つ又は複数の画像に対する画像処理は、画像の顔部における動き（例えば、表情）を決定するようにビデオに対して行われる画像処理を含む。
１つ又は複数のカメラにより撮られた１つ又は複数の画像において決定された第１ユーザの顔画像の１つ又は複数の特徴（例えば、特徴抽出ニューラルネットワーク（例えば、畳み込みニューラルネットワーク及び領域生成ネットワーク）により抽出された特徴）に基づいて、コンピューティングシステムは、少なくとも１つの第１パラメータ（例えば、年齢、性別、身分、意図的に遮蔽される顔特徴（例えば、手で口を遮蔽し、手で耳を遮蔽し、手で前額を遮蔽するなど））を決定し（４０６）、該第１パラメータは、第１家庭電器の現在制御用ユーザインタフェース設定の第１変動をトリガするように構成される。
コンピューティングシステムは、第１家庭電器の第１閾値範囲内で第１ユーザの存在を継続して検出した場合、第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化する（４０８）（例えば、第１制御用ユーザインタフェース設定は、変更した入力モード、変更したユーザインタフェースレイアウト、異なる許容機能集合、異なるフィードバックモード、異なる補助補強及び／又は第１ユーザの存在を検出する直前に用いられた現在制御用ユーザインタフェース設定と異なるアクセス制限を有する）。幾つかの実施例において、コンピューティングシステムは、第１ユーザが第１家庭電器の第１閾値範囲内に存在せず、且つ第１閾値範囲外で少なくとも１つの閾値時間量を維持していることに応答して、第１家庭電器のユーザインタフェース設定をデフォルトユーザインタフェース設定に戻す。幾つかの実施例において、コンピューティングシステムは、第１ユーザが第１家庭電器の近傍から離れた後、コンピューティングシステムが第１家庭電器の近傍に、異なるユーザインタフェース設定をトリガする特徴を有するもう１人のユーザを検出するまでユーザインタフェース設定を保持する。
幾つかの実施例において、コンピューティングシステムは、第１家庭電器の制御ユニットであり、第１家庭電器に物理的に内蔵される。例えば、第１家庭電器は、ネットワークを経由して遠隔サーバと接続することなく、ユーザインタフェース設定の調整を行うことができる。幾つかの実施例において、コンピューティングシステムは、スマートホーム又はスマートキッチン環境の中央制御装置であり、該スマートホーム又はスマートキッチン環境に、それぞれコンピューティングシステムに通信可能に接続される複数のスマート電器が含まれる。
幾つかの実施例において、１つ又は複数のカメラは、第１家庭電器に物理的に内蔵される。例えば、第１家庭電器は、１つ又は複数のカメラを備える。第１家庭電器の第１閾値範囲内（例えば、第１家庭電器と１腕長の距離（例えば、５０－１００センチメートル）以内、又は第１家庭電器と同一の部屋内にあるなど）においてユーザの存在を検出した場合、これらのカメラは、ユーザの画像を収集する。
幾つかの実施例において、第１家庭電器は、第１動き検出器及び第１カメラを備える。コンピューティングシステムは、第１家庭電器の第１動き検出器で第１閾値範囲内の、第１ユーザの存在を検出する。コンピューティングシステムは、第１動き検出器で第１閾値範囲内の、第１ユーザの存在を検出したことに応答して、第１家庭電器の第１カメラの画像収集機能をアクティブ化し、第１ユーザの１つ又は複数の画像のうちの少なくとも１つの画像を収集する。例えば、スマートストーブは、スマートストーブの閾値範囲内の動きを継続して検出する内蔵動き検出器を有する。動き検出器が動きを検出した場合（例えば、ユーザは、スマートストーブに向かって行ってスマートストーブとの１メートル範囲内に到達した場合、動き検出器はトリガされる）、スマートストーブの内蔵カメラは、アクティブ化されて、スマートストーブの前の環境のビデオ又は静的画像を収集する。ユーザがスマートストーブの前方に出現すれば、カメラにより収集された第１画像又はビデオ画像シーケンスからユーザの画像を収集する。動き検出器によって画像収集をトリガすることで、ユーザのより多くのプライバシーを保護し、カメラの利用による電力消費を低減させることができる。
幾つかの実施例において、第１家庭電器と第２家庭電器は、一緒に第１閾値範囲内に配置される。第１家庭電器と第２家庭電器は、ローカルエリアネットワークを介して相互接続される。第２家庭電器は、第２動き検出器及び第２カメラを備える。コンピューティングシステムは、第２家庭電器の第２動き検出器で第１閾値範囲内の、第１ユーザの存在を検出する。コンピューティングシステムは、第２動き検出器で第１閾値範囲内の、第１ユーザの存在を検出したことに応答して、第２家庭電器の第２カメラの画像収集機能をアクティブ化し、第１ユーザの１つ又は複数の画像のうちの少なくとも１つの画像を収集する。例えば、キッチンにおいて、スマートストーブとスマート冷蔵庫が相互隣接するように配置されている。ストーブと冷蔵庫は、同一の部屋ローカルエリアネットワークに接続され、また、任意選択的に、スマートホーム又はスマートキッチン環境の中央制御ユニットを有する。スマート冷蔵庫には動き検出器が内蔵される。該動き検出器は、スマートストーブ周囲の空間を含むスマート冷蔵庫の第１範囲内の動きを絶え間なく検出する。例えば、スマート冷蔵庫の動き検出器が動きを検出した場合（例えば、ユーザは、スマート冷蔵庫に向かって行くか又はスマート冷蔵庫を経過した場合、又はキッチンに入った場合、動き検出器はトリガされる）、スマート冷蔵庫の内蔵カメラは、スマート冷蔵庫の近傍環境のビデオ又は静的画像を収集するようにアクティブ化される。ユーザがスマート冷蔵庫の近傍に出現すれば、スマート冷蔵庫のカメラにより収集された第１画像又はビデオ画像シーケンスからユーザの画像を収集する。
幾つかの実施例において、第１家庭電器は、第１カメラを備える。コンピューティングシステムは、第２家庭電器の第２動き検出器で第１閾値範囲内の第１ユーザの存在を検出したことに応答して、第１家庭電器の第１カメラの画像収集機能をアクティブ化して、第１ユーザの１つ又は複数画像のうちの少なくとも１つの画像を収集する。引き続きスマートストーブ及びスマート冷蔵庫を例とすると、スマート冷蔵庫の動き検出器は、冷蔵庫のカメラをトリガしてユーザの画像を収集するに加えて、スマート冷蔵庫の動き検出器がユーザの存在を検出した場合、ストーブのカメラをトリガするように構成される。例えば、ユーザがキッチンに入ったか又はスマート冷蔵庫を経過した場合、スマートストーブ及びスマート冷蔵庫のカメラはいずれも、スマート冷蔵庫の動き検出器によりアクティブ化される。ユーザが冷蔵庫及びストーブの近傍にいる場合、スマートストーブ及びスマート冷蔵庫により収集された画像は、ユーザの顔画像を分析してスマート冷蔵庫及びスマートストーブの制御用ユーザインタフェース設定を決定するために用いられる。
幾つかの実施例において、第１家庭電器と第２家庭電器は、一緒に第１閾値範囲内に配置されている。第１家庭電器と第２家庭電器は、ローカルエリアネットワークを介して相互接続される。第２家庭電器は、第２カメラを備える。コンピューティングシステムは、第１家庭電器の第１動き検出器で第１閾値範囲内の、第１ユーザの存在を検出したことに応答して、第２家庭電器の第２カメラの画像収集機能をアクティブ化し、第１ユーザの１つ又は複数の画像のうちの少なくとも１つの画像を収集する。例えば、キッチンに、スマートストーブとスマート冷蔵庫は相互隣接するように配置されている。ストーブと冷蔵庫は、同一の部屋ローカルエリアネットワークに接続され、また、任意選択的に、スマートホーム又はスマートキッチン環境の中央制御ユニットを有する。スマートストーブには動き検出器が内蔵される。該動き検出器は、スマート冷蔵庫周囲の空間を含むスマートストーブの第１範囲内の動きを絶え間なく検出する。例えば、スマートストーブの動き検出器が動きを検出した場合（例えば、ユーザは、スマートストーブに向かって行くか又はスマートストーブを経過した場合、又はキッチンに入った場合、動き検出器はトリガされる）、スマートストーブの内蔵カメラ及びスマート冷蔵庫の内蔵カメラはいずれも、近傍環境のビデオ又は静的画像を収集するようにアクティブ化される。該２つの電器からの画像は、ユーザ顔画像における特徴を検出するために用いられる。また、結果は、スマートストーブ及びスマート冷蔵庫のユーザインタフェース設定を変更するように制御するために用いられる。幾つかの実施例において、ユーザの体に装着されたウェアラブル機器（例えば、リストバンド）により、スマート電器の近傍でのユーザの存在を検出する。該ウェアラブル機器は、スマート電器の動き検出器により検出され得る。
幾つかの実施例において、１つ又は複数のカメラにより収集された第１ユーザの１つ又は複数の画像に対して画像処理を実行し、１つ又は複数の画像のうちの第１ユーザの顔画像の１つ又は複数の特徴を決定することは、第１ユーザの顔画像に基づいて、第１ユーザの年齢特徴（例えば、カメラにより収集された複数の画像から見付けられた複数の顔画像に基づく）を決定することを含む。幾つかの実施例において、年齢認識は、深層学習モデルにより実行される。該深層学習モデルは、異なる年齢層の人間の顔画像において訓練され、顔画像を、異なる補助補強需要及び／又はアクセス制御需要を有する２つ以上の年齢カテゴリ（例えば、高齢者、大人、青少年、小学生、幼児、嬰児）に分ける。幾つかの実施例において、深層学習モデルを訓練するための訓練画像は、第１ユーザの画像を含まない。例えば、家庭電器は任意選択的に、公共場所における洗濯機又は自動販売機である。第１ユーザは、該公共場所にアクセスする公衆であってもよい。幾つかの実施例において、年齢認識は、深層学習モデルにより実行される。該深層学習モデルは、１つの家庭の１つ又は複数の家庭メンバーの顔画像において訓練され、顔画像を、異なる補助補強需要及び／又はアクセス制御需要を有する２つ以上の年齢カテゴリ（例えば、高齢者、大人、青少年、小学生、幼児、嬰児）に分ける。１つの家庭について、祖父や祖母は、視力が弱く、手と目の協調性が低く、体力が弱く、及び／又は複雑な新規機能に対する理解能力が低いため、種々の家庭電器の制御用ユーザインタフェースに対する補助補強を必要とする可能性がある。青少年について、第１タイプのアクセス制御により、種々の家庭電器に対する危険又は無理な使用を制限する必要がある。小学生が一部の家庭電器を用いる場合、指導を補強する必要がある。幼児について、家庭電器の小部分の安全機能のみを利用できるように制限すると共に、これらの機能に対して補助補強を行う必要がある。単に娯楽目的でユーザインタフェースを嬰児に提供する場合、嬰児が如何なる動作をトリガすることを防止する必要もある（例えば、嬰児は、制御パネルをプレイし、ビープ音を聞こえ、制御パネルにおけるカラー文字を見えることを好む可能性がある）。
幾つかの実施例において、１つ又は複数のカメラにより収集された第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像のうちの第１ユーザの顔画像の１つ又は複数の特徴を決定することは、第１ユーザの１つ又は複数の顔画像に基づいて、第１ユーザの身分特徴を決定することを含む。幾つかの実施例において、身分認識は、深層学習モデルにより実行される。該深層学習モデルは、家庭中の１つ又は複数の家庭メンバーの顔画像において訓練され、顔画像と家庭における異なる補助補強需要及び／又はアクセス制限需要を有する個人（例えば、祖母、祖父、母親、父親、長男、次男、下の娘など）を関連付ける。例を挙げると、家庭中、祖母は、視力が弱く、手と目の協調性が低く、体力が弱く、及び／又は複雑な新規機能に対する理解能力が低いため、種々の家庭電器の制御用ユーザインタフェースに対する補助補強を必要とする可能性がある。祖父は、認知症により認知能力及び判断力が低下したため、幾つかの電器の種々の機能の使用を制限する必要がある。長男について、第１タイプのアクセス制御により、種々の家庭電器に対する危険又は無理な使用を制限する必要がある。次男は、一部の家庭電器の使用時の指導補強を必要とする可能性がある。下の娘について、家庭電器の小部分の安全機能のみを利用できるように制限すると共に、これらの許容される機能に対して補助補強を行う必要がある。メンバーの年齢に基づいたものとは限らない特徴によって、異なるタイプの電器に適用される補助補強及びアクセス制限は異なる可能性がある。例えば、次男は、親の目の届かない場合、食べ過ぎる傾向にあるため、冷蔵庫の開放を制限する必要がある。このような制限は、年齢に基づくものではなく、子供の身分に基づいたものである。もう１つの例において、下の娘は、エアコンに対する補強補助を必要とする可能性がある（例えば、身長が低すぎるため、一般的にはテーブル面に置いているエアコンのリモコンに届けない）。彼／彼女は、エアコンの前に立つ場合、動作ジェスチャー又は音声に基づく制御インタフェースを自動的にアクティブ化する必要がある。このような補強補助は、彼／彼女の年齢又は未熟な認知のためではなく、彼女に固有の他の特徴の故である。
幾つかの実施例において、１つ又は複数のカメラにより収集された第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像のうちの第１ユーザの顔画像の１つ又は複数の特徴を決定することは、第１ユーザの１つ又は複数の顔画像に基づいて、顔画像における予め定義された部分が予め定義された対象により遮蔽されているかどうかを決定することを含む。例えば、幾つかの実施例において、ユーザの年齢及び／又は身分が第１家庭電器の他の補助補強及び／又はアクセス制限に関連しても、第１ユーザは、幾つかの補助補強又はアクセス制御を動的にアクティブ化してほしい可能性がある。例えば、家庭中の大人である親に対して、一般的には、音声命令を主な入力手段として用いる第１ユーザインタフェース設定が提供される。また、タッチ入力は一般的にはオフされ、ユーザが第１家庭電器の表示を明らかにオンするまで継続する。一例示的なシーンにおいて、ユーザは、喉が痛くて話したくないか又は寝ている家族を起こさせたくない場合に、第１電器の前に行って、第１電器のカメラの前に手で口を覆うことができる。コンピューティングシステムは、第１ユーザの顔画像におけるユーザの口部の前に手を検出した場合、現在のユーザインタフェース設定を変更し、音声入力インタフェースを無効にし、タッチ入力検出機能を有するグラフィカルユーザインタフェースを表示する。このような顔画像分析に基づいたユーザインタフェース設定の変動（例えば、好適な入力モード、表示設定の変動（例えば、レイアウト、フォント、色など）、好適なフィードバックモード、制限機能など）は、ユーザにとってより容易、便利かつ直観的である。
幾つかの実施例において、一例において、第１ユーザの視力が低く、また、一般的には、視覚補助補強を有するユーザインタフェース設定に関連する（例えば、大フォント、ユーザインタフェースの複雑性の低下、より大きいボタン、より高いコントラスト、音声放送など）。これらの補強補助特徴は一般的には、第１ユーザに有用である。また、コンピューティングシステムは、第１ユーザが第１家庭電器の近傍に存在しかつメガネをかけていないと確定した場合、これらの補助補強はオンされる。ユーザはメガネをかけていない場合、補助機能は有用であるが、ユーザがメガネをかけていて、補強機能を必要としない場合、補助補強は、煩わしくて注意を逸らすものである。従って、幾つかの実施例において、コンピューティングシステムは、画像分析に基づいて、第１ユーザがメガネをかけていることを検出した場合、第１ユーザに関連する一般的なユーザインタフェース設定を変更し、視覚補助補強特徴を除去し、一般的なレイアウト（例えば、一般的なフォントサイズ及びコントラスト。また、任意選択的に、ユーザインタフェースにより多くのオプションが含まれる）及びフィードバックメカニズム（音声放送がオフされた）を有するグラフィカルユーザインタフェースを表示する。このような顔画像分析に基づいたユーザインタフェース設定の変動（例えば、好適な入力モード、表示設定の変動（例えば、レイアウト、フォント、色など）、好適なフィードバックモード、制限機能など）は、ユーザにとってより容易、便利かつ直観的である。
もう１つの例において、家庭中の大人である親は、コンタクトレンズを装着しており、一般的には、視覚補助補強を有しない第１ユーザインタフェース設定が提供される。ユーザが、ある日、偶然にコンタクトレンズ又はメガネをかけていないと、コンピューティングシステムは、ユーザの遮蔽されていない顔画像から差異を認識することができない。ユーザの画像が第１家庭電器のカメラにより収集された場合、ユーザは、眼を遮ることができる。コンピューティングシステムは、第１ユーザの顔画像におけるユーザの顔の眼部の前に手を検出した場合、現在のユーザインタフェース設定を変更し、音声入力インタフェースを有効にし、及び／又は、補強した視覚補助特徴（例えば、より大きいフォント、より高いコントラスト、より少ないオプション及びより大きいボタン、音声放送の有効化など）を有するグラフィカルユーザインタフェースを表示する。このような顔画像分析に基づいたユーザインタフェース設定の変動（例えば、好適な入力モード、表示設定の変動（例えば、レイアウト、フォント、色など）、好適なフィードバックモード、制限機能など）は、ユーザにとってより容易、便利かつ直観的である。
もう１つの例において、第１家庭電器とインタラクションする場合、家庭中の大人である親は、一般的には、オーディオに基づいたフィードバックをより好む。ユーザは、寝ている家庭メンバーを起こさせたくないか又は家庭中の他のメンバーを邪魔したくない場合、ユーザは、第１家庭電器のカメラが自分の画像を収集した場合に手で耳を覆うことができる。コンピューティングシステムは、第１ユーザの顔画像におけるユーザの耳部に手を検出した場合、現在のユーザインタフェース設定を変更して、第１家庭電器のオーディオフィードバックを無効にし、第１家庭電器の代わりのフィードバックメカニズムを用いる（例えば、第１家庭電器にフィードバックを表示するか又は触覚フィードバックを提供する）。このような顔画像分析に基づいたユーザインタフェース設定の変動（例えば、好適な入力モード、表示設定の変動（例えば、レイアウト、フォント、色など）、好適なフィードバックモード、制限機能など）は、ユーザにとってより容易、便利かつ直観的である。
もう１つの例において、家庭中の大人である親は、一般的には、タッチ入力ユーザインタフェースを有する第１家庭電器を操作することをより好む。ユーザの手が汚れた場合（例えば、ユーザが第１家庭電器に付けたくない油脂又は他の物質により汚染された場合）、ユーザは、他の入力モードを動的にアクティブ化することができる。例えば、ユーザは、第１家庭電器のカメラの前に立って、その両手を胸の前又は顔の前で交差する。コンピューティングシステムは、第１ユーザの顔画像におけるユーザの顔の前に両手を検出した場合、第１家庭電器の、音声又は動きジェスチャーに基づいた入力システムをアクティブ化する。これにより、ユーザは、音声命令及びユーザによる動きジェスチャー（例えば、如何なる入力表面に接触することなく、ユーザの手を移動する）により、第１家庭電器を制御することができる。
幾つかの実施例において、第１家庭電器のユーザインタフェース設定に対して行われる即時変更又はカスタマイズ化（例えば、好適な入力モード、表示設定の変動（例えば、レイアウト、フォント、色など）、好適なフィードバックモード、制限機能など）は、公共場所に配置されている電器に有用である。なぜなら、公共場所で、異なるタイプの入力嗜好、障害、補助需要及びフィードバック嗜好を有する人間は、同一の電器を用いる場合があるためである。ユーザの顔画像に対する分析により、ユーザの嗜好を収集し、ユーザに顔の前に手部位置入力を提供させ、電器の柔軟性を大幅に向上させ、高価なハードウェア改造を必要とすることなく、ユーザ体験を向上させる。
幾つかの実施例において、第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、第１家庭電器の主入力モードを第１主入力モードから第１主入力モードと異なる第２主入力モードに変更することを含む。
幾つかの実施例において、第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、第１家庭電器のグラフィカルユーザインタフェースレイアウトを第１グラフィカルユーザインタフェースレイアウトから第１グラフィカルユーザインタフェースレイアウトと異なる第２グラフィカルユーザインタフェースレイアウトに変更することを含む。
幾つかの実施例において、第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、第１家庭電器における利用可能な一組の許可機能を第１組の許可機能から第１組の許可機能と異なる第２組の許可機能に変更することを含む。
幾つかの実施例において、第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、第１家庭電器の主フィードバックモードを第１フィードバックモードから第１フィードバックモードと異なる第２フィードバックモードに変更することを含む。
幾つかの実施例において、第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、第１ユーザの存在を検出する前に用いられている現在制御用ユーザインタフェース設定の一組のアクティブ化した補助補強特徴を変更することを含む。
幾つかの実施例において、第１パラメータは、ユーザの年齢層及びユーザの身分のうちの１つ又は複数を含む。
幾つかの実施例において、第１パラメータは、手又は物体で遮蔽される第１ユーザの眼部、第１ユーザの耳部、第１ユーザの口部又はユーザの鼻部のうちの１つ（例えば、両手又はユーザの食指により遮蔽される）を含む。
幾つかの実施例において、１つ又は複数のカメラにより収集された第１ユーザの１つ又は複数の画像に対して画像処理を実行する場合、コンピューティングシステムにより検出された１つ又は複数の画像は、第１ユーザと異なる第２ユーザの顔画像を含み、コンピューティングシステムは、１つ又は複数の画像のうちの第２ユーザの顔画像の１つ又は複数の特徴を決定し、コンピューティングシステムは、１つ又は複数のカメラにより収集された１つ又は複数の画像から決定された第２ユーザの顔画像の１つ又は複数の特徴に基づいて、第１家庭電器の現在制御用ユーザインタフェース設定における第１変動と異なる第２変動をトリガするように構成される少なくとも１つの第２パラメータを決定する。第１家庭電器の、第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、第１現在制御用ユーザインタフェース設定の第１変動と第２変動が互換可能な変動であるという要件、又は、第１ユーザが第２ユーザよりも高い優先度を有する（例えば、第１ユーザは大人であり、第２ユーザは、児童である。又は、第１ユーザは、介護者であり、第２ユーザは、第１ユーザにより介護される高齢患者である）という要件のうちの少なくとも１つの要件を満たす上で実行される。
図４に示した操作の特定の順番は例示的なものに過ぎず、本明細書に述べている順番は、操作を実行可能な唯一の順番を示すものではないと理解されるべきである。当業者であれば、本明細書で説明される操作を改めて順序付けするために様々な形態を想到し得る。なお、本明細書で述べている他の方法及び／又は過程に関わる細部も類似の形態で上記方法３００に適用されてもよい。
図５は、例示的な電器１２４を示すブロック図である。電器１２４は、１つ又は複数の処理ユニット（ＣＰＵ）５０２と、１つ又は複数のネットワークインタフェース５０４と、メモリ５０６と、これらのモジュール（チップセットとも呼ばれる）を互いに接続するための１つ又は複数の通信バス５０８と、を備える。電器１２４は、ユーザインタフェース５１０を更に備える。ユーザインタフェース５１０は、メディアコンテンツの表現を実現させる１つ又は複数の出力機器５１２を含み、前記出力機器は、１つ又は複数のスピーカー及び／又は１つ又は複数のビジュアルディスプレイを含む。ユーザインタフェース５１０は、ユーザによる入力を容易にするユーザインタフェースユニットを有する、キーボード、マウス、音声命令入力ユニット又はマイクロホン、タッチパネルディスプレイ、タッチ検知入力パネル、ジェスチャー収集カメラ又は他の入力ボタンやコントロールのような１つ又は複数の入力機器５１４を更に含む。幾つかの実施例において、電器１２４は、電器１２４の操作環境情報をセンシングするセンサを更に備える。センサは、１つ又は複数のマイクロホン、１つ又は複数のカメラ、光センサ、１つ又は複数の加速度計、１つ又は複数のジャイロスコープ、ＧＰＳ測位システム、ブルートゥース（登録商標）又はＢＬＥシステム、温度センサ、湿度センサ、１つ又は複数の動きセンサ、１つ又は複数のバイオセンサ（例えば、電気皮膚抵抗センサ、パルスオキシメータなど）及び他のセンサを含むが、これらに限定されない。なお、電器１２４は、電器操作ユニット１０６を更に備える。メモリ５０６は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステート記憶装置などの高速ランダムアクセスメモリを含む。また、任意選択的に、１つ又は複数の磁気ディスク記憶装置、１つ又は複数の光ディスク記憶装置、１つ又は複数のフラッシュ装置、又は１つ又は複数の他の不揮発性ソリッドステート記憶装置のような不揮発性メモリを含む。任意選択に、メモリ５０６は、１つ又は複数の処理ユニット５０２と遠隔して配置される１つ又は複数の記憶装置を含む。メモリ５０６、又はメモリ５０６内の不揮発性メモリ装置は、非一時的なコンピュータ読み取り可能な記憶媒体を含む。幾つかの実施例において、メモリ５０６又はメモリ５０６の非一時的なコンピュータ読み取り可能な記憶媒体には、オペレーティングシステム５１６と、ネットワーク通信モジュール５１８と、表現モジュール５２０と、入力処理モジュール５２２と、電器制御ユニット１０７のようなプログラム、モジュール及びデータ構造、又はこれらの部分集合又は上位集合が記憶されている
オペレーティングシステム５１６は、様々な基本的なシステムサービスを処理するためのプログラムとハードウェア関連タスクを実行するためのプロセスを含む。
ネットワーク通信モジュール５１８は、１つ又は複数のネットワークインタフェース５０４（有線又は無線）を介して電器１２４を１つ又は複数のネットワークの他のコンピューティング機器（例えばサーバシステム１０８）又は携帯制御機器（例えば、スマートフォン又はタブレット）に接続するためである。
表現モジュール５２０は情報を表現するためである。
入力処理モジュール５２２は、１つ又は複数の入力機器５１４のうちの１つの入力装置からの１つ又は複数のユーザによる入力又はインタラクションを検出し、検出した入力又はインタラクションを解釈するためである。
電器制御ユニット１０７は、存在検出ユニット１１３、電器機能制御ユニット１１７、画像処理ユニット１１５、ユーザインタフェース設定ユニット１１９、協調ユニット１２１及び本明細書に記載の他の機能を実行する他のモジュールを含むがこれらに限定されない電器１２４を制御するためである。
上記に示した各要素は、１つ又は複数の前述の記憶装置に記憶され、上記機能を実行するための一組の命令に対応しても良い。上記に示したモジュール又はプログラム（即ち、命令セット）は、独立したソフトウェアプログラム、プロセス、モジュール又はデータ構造として実現する必要がないため、これらのモジュールの様々な部分集合は、様々な実施例において組み合わせてもよいし、他の方式で再配置してもよい。幾つかの実現形態において、任意選択的には、メモリ５０６には、上記に示したモジュール及びデータ構造の部分集合が記憶されている。なお、任意選択的に、メモリ５０６には、以上に説明されていない付加モジュール及びデータ構造が記憶されている。
以上、特定の実施例を説明したが、本願をこれらの実施例で限定しないと理解されるべきである。むしろ、本願は、特許請求の範囲内に含まれるすべての代替案、修正、および均等物を包含する。本明細書の主旨を徹底的に理解させるために、具体的な詳細が多く述べられているが、これらの具体的な詳細がなくても本主旨が実施可能であることは当業者には明らかであろう。その他の場合によく知られている方法、プログラム、構成要素及び回路は、本発明の実施例の態様を不必要に不明瞭にしないように詳しく説明されていない。
１０１ 検出器
１０２ カメラ
１０５ ネットワーク通信ユニット
１０８ サーバ
１１０ ネットワーク
１１２ Ｉ／Ｏインタフェース
１１３ 検出ユニット
１１４ 処理モジュール
１１６ モデル
１１７ 電器機能制御ユニット
１１８ Ｉ／Ｏインタフェース
１１９ ユーザインタフェース設定ユニット
１２０ 外部サービス
１２１ 協調ユニット
１２２ スマートホーム環境
１２３ ユーザインタフェース
１２４ 電器
５０２ 処理ユニット
５０４ ネットワークインタフェース
５０６ メモリ
５０８ 通信バス
５１０ ユーザインタフェース
５１２ 出力機器
５１４ 入力機器
５１６ オペレーティングシステム
５１８ ネットワーク通信モジュール
５２０ 表現モジュール
５２２ 入力処理モジュール

Claims (12)

  1. 複数の家庭電器のうちの第１家庭電器で制御用ユーザインタフェースを提供する方法であって、
    １つ又は複数のプロセッサ及びメモリを備えるコンピューティングシステムにおいて、
    前記複数の家庭電器のうちの、任意の１つ又は任意の複数の家庭電器に配置された１つ又は複数の動き検出器により、前記第１家庭電器の第１閾値範囲内で第１ユーザの存在を検出することと、
    前記第１家庭電器の第１閾値範囲内で第１ユーザの存在を検出したことに応答して、複数の家庭電器のうちの、任意の１つ又は任意の複数の家庭電器に配置された１つの又は複数のカメラにより収集された前記第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像のうちの前記第１ユーザの顔画像の１つ又は複数の特徴を決定することと、
    前記１つの又は複数のカメラにより収集された１つ又は複数の画像から決定された前記第１ユーザの顔画像の１つ又は複数の特徴に基づいて、前記第１家庭電器の現在制御用ユーザインタフェース設定の第１変動をトリガするように構成される少なくとも１つの第１パラメータの種類と値を決定する、ことと、
    前記第１家庭電器の第１閾値範囲内で、前記第１ユーザの存在を継続して検出した場合、前記第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することと、を含む、第１家庭電器で制御用ユーザインタフェースを提供する方法。
  2. 前記第１家庭電器は、第１動き検出器と、第１カメラと、を備え、前記方法は、
    前記第１家庭電器の前記第１動き検出器で、前記第１閾値範囲内で、前記第１ユーザの存在を検出することと、
    前記第１動き検出器が前記第１閾値範囲内で前記第１ユーザの存在を検出したことに応答して、前記第１家庭電器の前記カメラの画像収集機能をアクティブ化し、前記第１ユーザの前記１つ又は複数の画像のうちの少なくとも１つの画像を収集することと、を含む
    請求項１に記載の方法。
  3. 前記１つの又は複数のカメラにより収集された前記第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像のうちの前記第１ユーザの顔画像の１つ又は複数の特徴を決定することは、
    前記第１ユーザの顔画像に基づいて、前記第１ユーザの年齢特徴を決定することを含む
    請求項１に記載の方法。
  4. 前記１つの又は複数のカメラにより収集された前記第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像のうちの前記第１ユーザの顔画像の１つ又は複数の特徴を決定することは、
    前記第１ユーザの１つ又は複数の顔画像に基づいて、前記第１ユーザの身分特徴を決定することを含む
    請求項１に記載の方法。
  5. 前記１つの又は複数のカメラにより収集された前記第１ユーザの１つ又は複数の画像に対して画像処理を行い、１つ又は複数の画像のうちの前記第１ユーザの顔画像の１つ又は複数の特徴を決定することは、
    前記第１ユーザの１つ又は複数の顔画像に基づいて、前記顔画像における予め定義された部分が予め定義された対象により遮蔽されているかを決定することを含む
    請求項１に記載の方法。
  6. 前記第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、
    前記第１家庭電器の主入力モードを第１主入力モードから前記第１主入力モードと異なる第２主入力モードに変更することを含む
    請求項１に記載の方法。
  7. 前記第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、
    前記第１家庭電器のグラフィカルユーザインタフェースレイアウトを第１グラフィカルユーザインタフェースレイアウトから前記第１グラフィカルユーザインタフェースレイアウトと異なる第２グラフィカルユーザインタフェースレイアウトに変更することを含む
    請求項１に記載の方法。
  8. 前記第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、
    前記第１家庭電器における利用可能な一組の許可機能を第１組の許可機能から前記第１組の許可機能と異なる第２組の許可機能に変更することを含む
    請求項１に記載の方法。
  9. 前記第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、
    前記第１家庭電器の主フィードバックモードを第１フィードバックモードから前記第１フィードバックモードと異なる第２フィードバックモードに変更することを含む
    請求項１に記載の方法。
  10. 前記第１家庭電器の、前記第１パラメータに対応する第１制御用ユーザインタフェース設定をアクティブ化することは、
    前記第１ユーザの存在を検出する前に用いられている現在制御用ユーザインタフェース設定の一組のアクティブ化した補助補強特徴を変更することを含む
    請求項１に記載の方法。
  11. 命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記命令は、第１家庭電器と通信可能に接続されているコンピューティングシステムの１つ又は複数のプロセッサにより実行される時、前記プロセッサに、請求項１乃至請求項１０のいずれか１項に記載の方法を実行させる、コンピュータ読み取り可能な記憶媒体。
  12. 第１家庭電器に結合されるように構成されるコンピューティングシステムであって、
    １つ又は複数のプロセッサと、
    命令を記憶するメモリと、を備え、前記命令は、前記１つ又は複数のプロセッサにより実行される時、前記プロセッサに、請求項１乃至請求項１０のいずれか１項に記載の方法を実行させる、コンピューティングシステム。
JP2021518688A 2018-10-09 2019-03-18 家庭電器に制御用ユーザインタフェースを提供する方法及びシステム Active JP7193180B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/155,684 US10942637B2 (en) 2018-10-09 2018-10-09 Method and system for providing control user interfaces for home appliances
US16/155,684 2018-10-09
PCT/CN2019/078510 WO2020073607A1 (en) 2018-10-09 2019-03-18 Method and system for providing control user interfaces for home appliances

Publications (2)

Publication Number Publication Date
JP2022504302A JP2022504302A (ja) 2022-01-13
JP7193180B2 true JP7193180B2 (ja) 2022-12-20

Family

ID=70051668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518688A Active JP7193180B2 (ja) 2018-10-09 2019-03-18 家庭電器に制御用ユーザインタフェースを提供する方法及びシステム

Country Status (5)

Country Link
US (1) US10942637B2 (ja)
EP (1) EP3847509A4 (ja)
JP (1) JP7193180B2 (ja)
CN (1) CN112771454A (ja)
WO (1) WO2020073607A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020115791A1 (ja) * 2018-12-03 2020-06-11 三菱電機株式会社 設備機器制御装置、設備機器制御方法および学習方法
US11392659B2 (en) * 2019-02-28 2022-07-19 Adobe Inc. Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
US11240058B2 (en) * 2019-03-29 2022-02-01 Qualcomm Incorporated System and method to view occupant status and manage devices of building
KR20210145828A (ko) * 2019-06-27 2021-12-02 엘지전자 주식회사 인공지능 기반의 공기조화기
KR20210058418A (ko) * 2019-11-14 2021-05-24 엘지전자 주식회사 가전기기 및 가전기기 제어 방법
US11089109B1 (en) 2019-11-20 2021-08-10 Sprint Communications Company L.P. Smart device management via a mobile communication device based on privacy preferences
KR20210080993A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 전자 장치 및 그의 동작 방법
JP7485512B2 (ja) * 2019-12-26 2024-05-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
CN114513628A (zh) * 2020-11-17 2022-05-17 广东美的厨房电器制造有限公司 厨房电器系统
DE102021200513A1 (de) * 2021-01-21 2022-07-21 BSH Hausgeräte GmbH Vorrichtung und Verfahren zur Fern-Steuerung eines Hausgeräts
US11106357B1 (en) * 2021-02-15 2021-08-31 University Of Central Florida Research Foundation, Inc. Low latency tactile telepresence
US20220277036A1 (en) * 2021-02-26 2022-09-01 Rovi Guides, Inc. Automatic enabling of accessibility features based on profiling and detection of disability
US11972095B2 (en) * 2021-03-23 2024-04-30 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context and multi-modal input support
US11940211B2 (en) * 2022-02-14 2024-03-26 Haier Us Appliance Solutions, Inc. Refrigerator appliance with smart door alarm

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289850A (ja) 1997-11-27 2004-10-14 Matsushita Electric Ind Co Ltd 制御方法、機器制御装置、及びプログラム記録媒体
JP2013092811A (ja) 2011-09-30 2013-05-16 Toshiba Corp 電子機器およびプログラム
US20140062861A1 (en) 2012-08-31 2014-03-06 Omron Corporation Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
JP2015073286A (ja) 2007-11-21 2015-04-16 クアルコム，インコーポレイテッド デバイスアクセス制御
JP2016186809A (ja) 2016-06-30 2016-10-27 シャープ株式会社 データ入力装置、データ入力方法、及びデータ入力プログラム
WO2018142524A1 (ja) 2017-02-02 2018-08-09 マクセル株式会社 表示装置、及び遠隔操作制御装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69830295T2 (de) * 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
JP5771999B2 (ja) * 2011-01-13 2015-09-02 株式会社ニコン 電子機器および電子機器の制御プログラム
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
KR101241625B1 (ko) * 2012-02-28 2013-03-11 인텔 코오퍼레이션 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9152868B2 (en) * 2012-03-23 2015-10-06 Microsoft Technology Licensing, Llc Personal identification combining proximity sensing with biometrics
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
GB2523345B (en) * 2014-02-20 2018-01-17 Samsung Electronics Co Ltd Detecting user viewing difficulty from facial parameters
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
WO2015062272A1 (en) * 2014-06-06 2015-05-07 Top Electric Appliances Industrial Ltd A network connected coffee maker for processing a coffee product
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
DE102015206566A1 (de) * 2015-04-13 2016-10-13 BSH Hausgeräte GmbH Haushaltsgerät und Verfahren zum Betreiben eines Haushaltsgeräts
US9959728B2 (en) * 2015-06-04 2018-05-01 International Business Machines Corporation Managing a smart appliance with a mobile device
CN105137778B (zh) * 2015-07-30 2018-08-07 四川长虹电器股份有限公司 一种智能家居控制方法及控制中心
CN105278861B (zh) * 2015-11-02 2020-06-16 Oppo广东移动通信有限公司 预设输入模式控制方法及装置
TWI594636B (zh) 2016-01-16 2017-08-01 鴻海精密工業股份有限公司 智慧家電控制系統及方法
CN107886032B (zh) 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
KR102252298B1 (ko) 2016-10-21 2021-05-14 삼성전자주식회사 표정 인식 방법 및 장치
CN107255928A (zh) 2017-06-05 2017-10-17 珠海格力电器股份有限公司 一种设备控制方法、装置及家电设备
US11099540B2 (en) * 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
CN107763961A (zh) * 2017-11-08 2018-03-06 绵阳美菱软件技术有限公司 一种冰箱及其业务实现方法
KR102323656B1 (ko) * 2019-06-04 2021-11-08 엘지전자 주식회사 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289850A (ja) 1997-11-27 2004-10-14 Matsushita Electric Ind Co Ltd 制御方法、機器制御装置、及びプログラム記録媒体
JP2015073286A (ja) 2007-11-21 2015-04-16 クアルコム，インコーポレイテッド デバイスアクセス制御
JP2013092811A (ja) 2011-09-30 2013-05-16 Toshiba Corp 電子機器およびプログラム
US20140062861A1 (en) 2012-08-31 2014-03-06 Omron Corporation Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
JP2014048937A (ja) 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP2016186809A (ja) 2016-06-30 2016-10-27 シャープ株式会社 データ入力装置、データ入力方法、及びデータ入力プログラム
WO2018142524A1 (ja) 2017-02-02 2018-08-09 マクセル株式会社 表示装置、及び遠隔操作制御装置

Also Published As

Publication number Publication date
JP2022504302A (ja) 2022-01-13
CN112771454A (zh) 2021-05-07
EP3847509A4 (en) 2021-11-10
EP3847509A1 (en) 2021-07-14
US10942637B2 (en) 2021-03-09
WO2020073607A1 (en) 2020-04-16
US20200110532A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7193180B2 (ja) 家庭電器に制御用ユーザインタフェースを提供する方法及びシステム
US11017217B2 (en) System and method for controlling appliances using motion gestures
US10310631B2 (en) Electronic device and method of adjusting user interface thereof
EP2923252B1 (en) Method and apparatus to control hardware in an environment
WO2021135432A1 (en) System and method of hand gesture detection
EP0919906B1 (en) Control method
WO2014190886A1 (zh) 智能交互系统及其软件系统
CN108111948A (zh) 在语音接口设备处的服务器提供的视觉输出
US20190250781A1 (en) Smart Mirror System
EP2876907A1 (en) Device control using a wearable device
US20130204408A1 (en) System for controlling home automation system using body movements
EP3133471A1 (en) Play control method, apparatus, terminal, and recording medium
US20140140590A1 (en) Trends and rules compliance with depth video
WO2017166462A1 (zh) 一种环境变化提醒方法、系统与头戴式vr设备
CN113874818A (zh) 交互式厨房显示器
EP3210202A1 (en) Illumination perception augmentation method, computer program products, head-mountable computing device and lighting system
CN113359503B (zh) 设备控制方法及相关装置
CN115857781A (zh) 电子设备的自适应用户登记
CN110822661B (zh) 空调器的控制方法、空调器及存储介质
US20180165099A1 (en) Information processing device, information processing method, and program
CA2792621A1 (en) Emergency detection and response system and method
Rafid et al. BlinkGrid Control: An Eye Gaze Driven Framework for Quadriplegic Patients to Control Home Appliances
CN115718433A (zh) 智能设备的控制方法、装置、智能系统和存储介质
Chang Pervasive Biometric Authentication in the Smart Home Based on Integrated Light Fingerprint Pads
Piccinini et al. Assistive home care system for people with severe disabilities

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7193180

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150