JP7332220B2 - オブジェクト認識に基づく機械制御方法及びそのシステム - Google Patents

オブジェクト認識に基づく機械制御方法及びそのシステム Download PDF

Info

Publication number
JP7332220B2
JP7332220B2 JP2022523669A JP2022523669A JP7332220B2 JP 7332220 B2 JP7332220 B2 JP 7332220B2 JP 2022523669 A JP2022523669 A JP 2022523669A JP 2022523669 A JP2022523669 A JP 2022523669A JP 7332220 B2 JP7332220 B2 JP 7332220B2
Authority
JP
Japan
Prior art keywords
machine
image
feature
local
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022523669A
Other languages
English (en)
Other versions
JP2022554127A (ja
Inventor
ユンケ・ティアン
タン・ハ
ジカイ・ウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Publication of JP2022554127A publication Critical patent/JP2022554127A/ja
Application granted granted Critical
Publication of JP7332220B2 publication Critical patent/JP7332220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Control Of Washing Machine And Dryer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

［関連出願への相互参照］
本願は、２０１９年１１月１１日付けで出願された美国特許出願第１６／６８０，３４７号に対する優先権を主張するものである。先の美国特許出願は、その全文を参照により本願に援用される。
本発明は、オブジェクト認識に基づく機械制御の分野に関し、特に、オブジェクトを検出／認識するための画像処理モデルを開発し、検出／認識されたオブジェクトに基づいて機械を自動的に操作するためのシステム及びその方法に関するものである。
家電製品などの機械は、通常、様々な事前定義された動作設定を有する。例えば、洗濯機には、水温、タンブリング速度、スピン速度などが異なる複数の洗濯サイクル設定がある。電子レンジには、マイクロ波電力レベル及び調理時間が異なる複数の調理設定がある。適切な設定を選択することは、機械のパフォーマンスを最適化するために重要である。例えば、洗濯物の負荷に適する洗濯サイクル設定を選択することは、衣服の損傷（例えば、伸び、縮み又は変色）を防ぎ、最適なクリーニング効果を達成するために非常に重要である。当該機械の適切な設定を手動で選択することは、機械の経験の浅いユーザにとっては困難であり、悪い結果（例えば、衣服の損傷や不適切な調理の食品）をもたらす可能性がある。
畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習モデル及びそれらの変形は、強力な画像処理モデルであり、これは、オブジェクト検出タスクに広く使用されている。これらの機械学習モデルは、通常、エンドツーエンドモデルであり、これらのモデルは、入力として画像を受信し、検出されたオブジェクトタイプを直接出力する。しかしながら、エンドツーエンドの機械学習モデルを訓練するには、大量の注釈付けられたラベル付きデータが必要であり、これらのデータを取得するのに非常に難しい場合がある。さらに、エンドツーエンドの機械学習モデルの訓練は、試行錯誤プロセス（例えば、誤差逆伝搬）で計算された数千個あるいは数百万個のパラメータ（例えば、学習重みやバイアス）を含むことが多いため、困難で時間がかかる。そのため、エンドツーエンド機械学習モデルは、「ブラックボックスモデル」とも呼ばれる。
このために、オブジェクトを検出及び分類するための改良された機械制御及び改良された画像処理モデルが強く望まれる。
場合によっては、機械は、画像処理モデルに依存して、操作対象となる１つ又は複数のオブジェクト（又はオブジェクトのタイプ）（例えば、洗濯機の衣服のタイプ、電子レンジの食物のタイプ）を検出し、検出された１つ又は複数のオブジェクト（又はオブジェクトのタイプ）に従って機械動作設定を自動的に選択する。
背景技術で述べたように、畳み込みニューラルネットワーク（ＣＮＮ）などのエンドツーエンド機械学習モデル及びそれらの変形は、強力な画像処理モデルであり、これは、オブジェクト検出タスクに広く使用されている。しかし、エンドツーエンド機械学習モデルは、大量のデータを使用して訓練する必要があり、試行錯誤プロセスで大量のモデルパラメータを計算するため、訓練や故障排除に困難で時間がかかる。一方、従来のモデル（例えば、エンドツーエンドではない手動モデル）は、（例えば、エンジニアにより）ヒューリスティックを開発して、入力データ（例えば、入力画像）から事前定義された特徴リスト（例えば、手動で選択及び定義された局所特徴）を抽出し、抽出された特徴に従って、オブジェクトのタイプを予測する。エンドツーエンドの機械学習モデルと比較して、従来のモデルは、訓練データをほとんど又はまったく必要とせず、故障をより容易に排除することができる。しかし、従来のモデルを開発するには、局所特徴を定義し、オブジェクト検出用に定義された特徴を抽出するためのカスタマイズされたヒューリスティックを設計するための特別なエンジニアリング知識と専門知識が必要である。
オブジェクト検出タスクの場合、グローバル特徴は、画像全体を記述し、画像全体を単一のベクトルとして表す。一方、局所特徴は、局所画像特性の記述子である。グローバル特徴に基づいて構築された画像処理モデル（例えば、エンドツーエンドモデルなど）と比較して、局所特徴に基づいて構築された画像処理モデルは、通常、雑然としたオブジェクト及び／又は隠されたオブジェクトの検出に優れている。例えば、関心のあるオブジェクトを明確的に分割できない画像（例えば、洗濯機に装填されている変形可能な洗濯物の画像）では、局所特徴に基づいて構築された画像処理モデルは、明らかに、グローバル特徴に基づいて構築された画像処理モデルよりも優れたパフォーマンスを有する。図３、図４及び関連する説明は、局所特徴に基づいて構築された画像処理モデルの訓練及び推論を示している。
これらの理由により、深層学習と従来の手動方法を組み合わせた局所特徴に基づく画像処理モデルを開発し、該画像処理モデルをオブジェクト検出及び分類に適用し、検出及び分類されたオブジェクトに基づいて機械動作設定を自動的に選択するための改良された方法及びシステムは、非常に望まれている。
本発明は、機械（例えば、洗濯機）を制御するためのシステム及び方法について説明する。いくつかの実施例では、１つ又は複数のプロセッサと、カメラと、メモリとを備えた第１機械（例えば、洗濯機）において、第１機械（例えば、洗濯機）は、第１機械（例えば、洗濯機）内の未整理のアイテムコレクション（例えば、衣服）の１つ又は複数の画像を収集する。第１機械（例えば、洗濯機）は、１つ又は複数の画像から、未整理のアイテムコレクションの１つ又は複数のアイテムタイプ（例えば、洗濯物の衣服のタイプ）を決定することは、１つ又は複数の画像における対応する画像を複数のサブ領域に分割することと、対応する画像の対応する複数のサブ領域に対して特徴検出を実行して、対応する複数の領域特徴ベクトルを取得することであって、サブ領域の領域特徴ベクトルは、サブ領域の事前定義された複数の局所アイテム特徴（例えば、局所衣服特徴）の特性を示すことと、対応する複数の領域特徴ベクトルを組み合わせることにより、対応する画像の統合された特徴ベクトルを生成することと、複数のバイナリ分類器を対応する画像の統合された特徴ベクトルに適用することであって、複数のバイナリ分類器のうちの対応するバイナリ分類器は、統合された特徴ベクトルを受信し、対応する画像の統合された特徴ベクトルに基づいて、バイナリ分類器に関連付けられたアイテムタイプ（例えば、衣服タイプ）が対応する画像に存在するかどうかを決定するように構成されることと、を含む。第１機械（例えば、洗濯機）は、未整理のアイテムコレクションで決定された１つ又は複数のアイテムタイプ（例えば、洗濯機内の衣服タイプ）に基づいて、第１機械（例えば、洗濯機）の機械設定を選択する。
いくつかの実施例では、第１機械（例えば、洗濯機）は、１つ又は複数の画像内の対応する１つの画像を収集した後、第１機械内の未整理のアイテムコレクション（例えば、洗濯機内の洗濯物）を移動する。
いくつかの実施例では、事前定義されたアイテム特徴（例えば、衣服特徴）は、手動で識別された複数のアイテム特徴ラベル（例えば、衣服特徴ラベル）を含み、対応する複数のサブ領域に対して特徴検出を実行して、対応する複数の領域特徴ベクトルを取得することは、機械学習モデルを介して、手動で識別された複数のアイテム特徴ラベル（例えば、衣服特徴ラベル）に応じる対応する機械生成の潜在的な特徴を取得することを含む。
いくつかの実施例において、バイナリ分類器は、サポートベクトルマシンであり、前記サポートベクトルマシンは、深層学習モデルによって生成された複数のサブ領域の特徴ベクトルで訓練されたものである。いくつかの実施例において、特徴ベクトルは、深層学習モデルの出力レイヤ以外の深層学習モデルのレイヤから取得されたものである。いくつかの実施例において、深層学習モデルは、次の訓練プロセスで生成されたものであり、前記訓練プロセスは、訓練データセットを受信することと、訓練データセットを複数のサブセットに分割することであって、各サブセットは、前記事前定義された複数の局所アイテム特徴（例えば、局所衣服特徴）のうちの１つ又は複数の局所アイテム特徴に対応し、各サブセットは、対応する１つ又は複数の局所アイテム特徴ラベル（例えば、衣服特徴ラベル）を有することと、対応する局所アイテム特徴ラベル（例えば、衣服特徴ラベル）を有する訓練データセットを使用して、深層学習モデルを訓練することと、を含む。
本明細書に記載の方法及びシステムに基づいて、誤分類されやすいオブジェクトを検出及び分類するための画像処理モデルの使用に関連する様々な問題に対処することができる。
一態様では、いくつかの実施例によれば、計算システムによって実行される方法を開示し、当該計算システムは、家電製品と通信可能に結合され、家電製品の１つ又は複数の機能を制御するように構成される。
いくつかの実施例によれば、計算システムは、プロセッサと、命令が記憶されているメモリとを備え、これらの命令が実行されるときに、１つ又は複数のプロセッサに、本明細書に記載の方法を実行させる。いくつかの実施例によれば、電子機器は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するためのメモリとを備え、１つ又は複数のプログラムは、１つ又は複数のプロセッサによって実行されるように構成され、１つ又は複数のプログラムは、本明細書に記載の任意の方法の動作を実行するための命令又は本明細書に記載の任意の方法の動作を実行させるための命令を含む。いくつかの実施例によれば、非一時的なコンピュータ可読記憶媒体には、電子機器によって実行されると、機器に本明細書に記載の任意の方法の動作を実行させるか、又は本明細書に記載の任意の方法の動作が実行されるようにするための命令が記憶されている。いくつかの実施例によれば、電子機器は、画像を収集するための手段と、本明細書に記載の任意の方法の動作を実行するための手段又は本明細書に記載の任意の方法の動作を実行させるための手段とを備える。
以下の説明に照らして、本発明の様々な追加の利点が明らかである。
開示された技術の前述の特徴および利点、ならびにその追加の特徴および利点は、図面と併せて解釈される好ましい実施形態の詳細な説明によって、以下により明確に理解されるであろう。
本発明の実施例又は先行技術における技術的解決策をより明確に説明するために、以下では、実施例又は先行技術を説明するために必要な添付の図面を簡単に説明する。明らかに、以下の説明の添付の図面は、本発明のいくつかの実施例のみを示しており、当業者は、創造的な努力なしに、これらの添付の図面から他の図面を依然として導き出すことができる。
いくつかの実施例に係る家電製品システムの動作環境のブロック図である。 いくつかの実施例に係る家電製品システムのブロック図である。 いくつかの実施例に係る家電製品システムのブロック図である。 いくつかの実施例に係る、洗濯機に装填された洗濯物の検出された画像に基づいて洗濯サイクル設定を自動的に選択するプロセスを示す概略図である。 いくつかの実施例に係る、深層学習方法と従来の手動方法の組み合わせを使用して、局所特徴抽出器及びサポートベクトルマシンを備えた画像処理モデルを開発するプロセスを示す概略図である。 いくつかの実施例に係る衣服の例示的な局所特徴を示す。 いくつかの実施例に係る、局所特徴抽出器及びサポートベクトルマシンを備えた画像処理モデルを使用して、オブジェクトを検出及び分類するプロセスを示す概略図である。 いくつかの実施例に係る、局所特徴を抽出することにより生成された画像検出及び分類結果に基づいて、自動化された機械設定選択を実行する方法のフローチャートである。 いくつかの実施例に係る例示的な家電製品の概略図である。
同じ参照番号は、図面のいくつかの図面における対応する構成要素を指す。
ここで、実施例を詳しく参照し、その例示は図面に示す。以下の詳細な説明では、本明細書に提示される主題の完全な理解を提供するために、多くの特定の詳細が示されている。しかし、当業者なら自明であるが、当該主題は、これらの特定の詳細なしで実施され得る。他の例では、実施例の態様を不必要に不明瞭にしないように、周知の方法、手順、構成要素、および回路を詳細に説明しない。
以下では、本発明の実施例における技術的解決策を本発明の実施例における図面を参照して明確かつ完全に説明する。説明された実施例は、実施例のすべてではなく、本発明の実施例の一部に過ぎない。本発明の実施例に基づき、創造的な努力なしに当業者が取得した他のすべての実施例は、本発明の保護範囲に含まれるものとする。
図１Ａは、いくつかの実施例に係る家電製品システムの動作環境１００のブロック図である。
家電製品システムの動作環境１００は、１つ又は複数の家電製品（例えば、電気機器Ａ １１０、電気機器Ｂ １１２及び電気機器Ｃ １１４）を含み、前記１つ又は複数の家電製品は１つ又は複数のサーバ（例えば、訓練セットサーバ１２０及び訓練モデルサーバ１２２）に接続され、例示的にネットワーク１９０（例えば、インターネットなどのワイドエリアネットワークや、スマートホームネットワークなどのローカルエリアネットワーク）を介して１つ又は複数のユーザ機器（例えば、ユーザ機器Ａ １１１、ユーザ機器Ｂ １１３及びユーザ機器Ｃ １１５）及び／又は注釈ステーション１２８に接続される。
いくつかの実施例において、１つ又は複数の家電製品（例えば、スマート洗濯機、スマート電子レンジなど）は、生センサデータ（例えば、画像、重量、温度、熱マップデータ等）を収集し、該生センサデータを対応するユーザ機器（例えば、スマートフォン、タブレット機器など）、注釈ステーション１２８（例えば、ワークステーション及びデスクトップコンピュータ）、及び／又は訓練セットサーバ１２０（例えば、家電製品メーカー又はメーカー向けのサードパーティサービスプロバイダによって提供されるサーバ）に送信するように構成される。いくつかの実施例において、１つ又は複数の家電製品は更に、訓練モデルサーバ１２２及び／又は対応するユーザ機器から制御命令を受信するように構成される（例えば、電気機器Ｃ １１４は、訓練モデルサーバ１２２から制御命令を受信して、野菜を焙煎するために電子レンジ温度を４２５°Ｆに設定することができ、電気機器Ａ １１０は、ユーザ機器Ａ １１１から制御命令を受信して、洗濯サイクルを選択することができる）。１つ又は複数の家電製品（例えば、電気機器Ａ １１０、電気機器Ｂ １１２及び電気機器Ｃ １１４）に関する追加の詳細は、本発明の他の部分を参照して詳細に説明される。
いくつかの実施例において、１つ又は複数のユーザ機器は、対応する電気機器から生センサデータを受信するように構成される（例えば、電気機器Ａ １１０に対応するユーザ機器Ａ １１１は、電気機器Ａ １１０から生センサデータを受信するように構成される）。いくつかの実施例において、１つ又は複数のユーザ機器は更に、注釈付きデータを注釈ステーション１２８及び／又は訓練セットサーバ１２０に送信するように構成される。いくつかの実施例において、１つ又は複数のユーザ機器は、制御命令を生成し、制御命令を対応する電気機器に送信するように構成される（例えば、ユーザ機器Ａ １１１は、電気機器Ａ １１０をオン／オフしたり、又は電気機器Ａ １１０上の設定を選択したりするための命令を電気機器Ａ １１０に送信することができる）。いくつかの実施例において、１つ又は複数のユーザ機器は、携帯電話、タブレットコンピュータ、又はコンピュータ機器を含むが、これらに限定されない。いくつかの実施例において、１つ又は複数のユーザ機器は、１つの電気機器に対応することができる（例えば、コンピュータ及び携帯電話は両方とも電気機器Ａ １１０に対応し（例えば、両方とも、電気機器の設定プロセスで電気機器Ａの制御機器として登録される）、これによって、電気機器Ａ １１０は、生センサデータをコンピュータ及び／又は携帯電話に送信することができる）。いくつかの実施例において、ユーザ機器は、１つの電気機器に対応し（例えば、当該電気機器とデータを共有し、及び／又は当該電気機器と通信する）（例えば、ユーザ機器Ａ １１１は電気機器Ａ １１０に対応する）。例えば、電気機器Ａ １１０は、データ（例えば、画像や温度データなどの生センサデータ）を収集し、收集したデータをユーザ機器Ａ １１１に送信して、ユーザがユーザ機器Ａ １１１で、該収集したデータに注釈を付けるようにすることができる。
いくつかの実施例において、注釈ステーション１２８は、１つ又は複数の電気機器（例えば、電気機器１１０、１１２及び１１４）から収集されたデータを受信するように構成され、これによって、専門の注釈担当者は、收集されたデータに注釈を付けることができる。いくつかの実施例において、注釈ステーション１２８は、専門の注釈担当者によるレビュー、編集、及び／又は承認のために、１つ又は複数のユーザ機器（例えば、ユーザ機器１１１、１１３及び１１５）から注釈付きデータを受信するように構成される。いくつかの実施例において、１つ又は複数のユーザ機器からの注釈付きデータが注釈ステーション１２８で承認されると、注釈ステーションは、承認されたデータを訓練セットサーバ１２０に送信して、訓練セットサーバに記憶されている訓練コーパスに含める。いくつかの実施例において、注釈ステーション１２８は、専門の注釈担当者によるレビュー、編集、及び／又は承認のために、サーバ１２０から注釈付きデータを検索する。いくつかの実施例において、注釈ステーション１２８は、専門の注釈担当者による注釈のために、サーバ１２０から、注釈されていないデータを検索する。注釈ステーション１２８で注釈が付けられ、及び／又は承認されたセンサデータは、サーバ１２０に返されて、訓練コーパスに含める。
いくつかの実施例において、訓練セットサーバ１２０は、１つ又は複数の家電製品（例えば、電気機器１１０、１１２及び１１４）から生センサデータを受信し、及び／又は１つ又は複数のユーザ機器（例えば、ユーザ機器１１１、１１３及び１１５）から注釈付きデータを受信するように構成される。いくつかの実施例において、訓練セットサーバ１２０は更に、生データ及び／又は注釈付きデータを注釈ステーション１２８に送信し、注釈ステーション１２８から、注釈付きデータ及び／又は承認された注釈付きデータを受信するように構成される。訓練セットサーバ１２０は、注釈付きデータに対して前処理を実行するように構成され、例えば、訓練モデルサーバ１２２によって採用される訓練モデル及び訓練方法に基づいて、訓練データをグループ化、分割、及び相互関連付け、及び訓練データにインデックスを付けて記憶するように構成される。訓練セットサーバ１２０は、訓練データを要求する特定の訓練モデルに従って、選択された訓練データ（例えば、ステーション１２８で承認された注釈付きデータを含むデータ、又はステーション１２８で承認された注釈付きデータに対応するデータ、又はステーション１２８で承認された注釈付きデータに基づくデータ）を訓練モデルサーバ１２２に送信するように構成される。
いくつかの実施例において、訓練モデルサーバ１２２は、訓練セットサーバ１２０から訓練データを受信するように構成される。訓練モデルサーバは更に、例示的に、１つ又は複数の電気機器及び／又はユーザ機器に、制御命令（例えば、特定の家電製品の制御プロトコルに従って準備された機械命令）、及び／又はテキストデータ（例えば、テキストメッセージ）を送信するように構成される。訓練モデルサーバ１２２は、識別モデル１２３（例えば、オブジェクトを識別及び分類するために使用される）、位置決めモデル１２４（例えば、オブジェクトの位置を決め、オブジェクトの輪郭を描くために使用される）、及び他のモデルを含む。識別モデル１２３は、家電製品によって操作されるオブジェクト（例えば、衣服、食品など）の識別に関連する。位置決めモデル１２４は、家電製品内のアイテムの位置決めに関連する。例えば、位置決めモデル１２４を使用して、スマートオーブンのオーブンラックの左側にある２つの鶏肉及び右側にある４つのクッキーを識別し、スマートオーブンによって収集された画像でそれらの輪郭を描くことができる。訓練モデルサーバ１２２は、訓練セットサーバ１２０から受信した訓練データに基づいて、識別モデル１２３、位置決めモデル１２４、及び／又は他のモデルを訓練する。一旦識別モデル１２３、位置決めモデル１２４及び他のモデルの訓練が十分に完了すると（例えば、精度が閾値レベルに達すると）、訓練セットサーバ１２０は、家電製品によって収集されたセンサデータに基づいてリアルタイムでアイテムのアイデンティティ／位置を決定するために、家電製品からの要求を受信する。いくつかの実施例において、訓練セットサーバ１２０によって決定されたアイテムの状態は、要求している家電製品に戻され、各家電製品が適切な動作を決定するようにし、例えば、決定されたアイテムの状態に基づいて、家電製品の操作を変更し、及び／又はユーザに警告する。
いくつかの実施例において、家電製品（例えば、電気機器１１０、１１２及び１１４）、ユーザ機器（例えば、ユーザ機器１１１、１１３及び１１５）、注釈ステーション１２８、訓練セットサーバ１２０、及び訓練モデルサーバ１２２は、１つ又は複数のネットワーク１９０を介して接続される（例えば、互にデータを共有及び／又は通信する）。１つ又は複数のネットワーク１９０は、有線ネットワーク及び無線ネットワークを含み得、家庭のローカルエリアネットワーク又は広域ネットワーク（例えば、インターネット）であり得る。
図１Ｂは、いくつかの実施例に係る家電製品システム１０１のブロック図である。
いくつかの実施例において、図１Ｂに示されるように、家電製品システム１０１は、家電製品１４０と、家電製品１４０とは個別に実施される計算システム１３０とを含む。家電製品１４０は、図１Ａに示す家電製品１１０、１１２及び１１４のいずれかとして使用されてもよい。いくつかの実施例において、計算システム１３０は、１つ又は複数のネットワーク１９０を介して家電製品１４０と通信する。いくつかの実施例において、計算システム１３０は、（例えば、家電製品を制御し、家電製品と相互作用するためのユーザアプリケーションに関連する）ユーザ機器上で実現される。いくつかの実施例において、計算システム１３０及び電気機器１４０は更に、計算システム１６０と通信して、クライアントサーバ構成に従って、計算システム１３０及び電気機器１４０上でいくつかの機能を遂行する。いくつかの実施例において、計算システム１６０は、家電製品メーカーのサーバ上で（例えば、訓練モデルサーバ１２２上で）実現される。いくつかの実施例において、計算システム１６０は、スタンドアロンコンピュータ上で（例えば、スマートホームのローカルサーバー上で）実現される。
図１Ｂを参照すると、計算システム１３０は、注釈ユーザインターフェイスモジュール１３２、画像化処理モジュール１３４、ネットワーク通信ユニット１３６及び１つ又は複数のデータベース１３８のうちの１つ又は複数を含み、これらは、上記の図１Ａに説明されたユーザ機器（例えば、ユーザ機器１１１、１１３及び１１５）に対応する。いくつかの実施例において、計算システム１３０は、本明細書に記載の家電製品システムは、データ収集及び注釈に加えて、家電製品システムの機械動作進行監視及び電気機器制御を容易にするために、ユーザ側動作進行監視モジュール１４９及びユーザ側電気機器機能制御モジュール１５３を更に含む。
いくつかの実施例において、注釈ユーザインターフェイスモジュール１３２は、計算システム１３０のユーザが、対応する電気機器１４０（例えば、電気機器１１０、１１２又は１１４）から受信した生センサデータを確認及び注釈することができるようにする。例えば、ユーザは、自分のユーザ機器（例えば、ユーザ機器１１１、１１３又は１１５）上のアプリケーションを使用して、対応する電気機器によって記録された画像及び温度データを確認することができる。いくつかの実施例によれば、ユーザは、収集されたデータに注釈及び詳細を追加することができる。
いくつかの実施例において、画像処理モジュール１５５は、電気機器１４０の画像化システムによって収集された画像を取得し、分析のためにこれらの画像を処理する。画像処理モジュール１５４の及び電気機器１４０の画像化システムの機能は、例えば、図３を参照して以下に説明される。
ネットワーク通信ユニット１３６は、計算システム１３０が１つ又は複数のネットワーク１９０を介して電気機器１４０及び／又は計算システム１６０と通信できるようにする。
いくつかの実施例において、データベース１３８は、以前に収集されたオブジェクトの画像又は他の類似する家電製品システムからの画像のデータベースを含む。いくつかの実施例において、データベース１３８は、計算システムがユーザに栄養情報やレシピを提供することを可能にする原料データベース、又は計算システムがユーザに洗濯命令を提供することを可能にする衣服データベースを含む。
いくつかの実施例において、計算システム１３０は、計算システム１６０及び電気機器１４０と併せて、ユーザ側機能（例えば、ユーザ側動作進行監視及び電気機器機能制御）を提供するアプリケーションを含む。
いくつかの実施例において、ユーザ側動作進行監視モジュール１４９は、電気機器１４０によって収集されたリアルタイムのセンサデータに基づいて、機械動作の進行状況を決定するように構成される。
いくつかの実施例において、ユーザ側電気機器機能制御モジュール１５３は、ユーザが電気機器機能（例えば、電気機器のオン／オフ又は電気機器パラメータの設定など）を直接制御するためのユーザインターフェイスを提供し、及び／又は進行監視の結果に基づいて制御命令を自動的に生成するように構成される。いくつかの実施例において、進行監視の結果は、ユーザ側動作進行監視モジュール１４９からユーザ側電気機器機能制御モジュール１５３に提供される。いくつかの実施例において、進行監視の結果は、計算システム１６０からユーザ側電気機器機能制御モジュール１５３に提供される。いくつかの実施例において、進行監視の結果は、電気機器１４０からユーザ側電気機器機能制御モジュール１５３に提供される。
いくつかの実施例において、電気機器１４０は、１つ又は複数の第１センサ（例えば、センサ１４１）、１つ又は複数の加熱ユニット１４３、ディスプレイ１４４、Ｉ／Ｏモジュール１４５、ユーザインターフェイス１４６、ネットワーク通信ユニット１４７、机械ユニット１４８、制御モジュール１５５、画像化システム、及びオプションの電気機器側動作進行監視モジュール１４９’を備える。制御モジュール１５５は、オプションの電気機器側電気機器機能制御ユニット１５３’を含む。
いくつかの実施例において、１つ又は複数の第１センサ１４１は、温度、重量及び／又は湿度などの構造化データを収集するように構成される。本明細書で論じられる構造化データは、温度、湿度、時間、オン／オフ、オーブンモードなどの定量的なデータ又は状態データを指す。例えば、１つ又は複数の第１センサ２１２は、家電製品１４０の温度センサ（例えば、温度計）又は湿度センサ又は重量センサであってもよい。
いくつかの実施例において、１つ又は複数の動作ユニット１４３（例えば、加熱要素、回転要素、ファンなど）は、電気機器の少なくとも一部（例えば、スマートオーブンの調理室を加熱するための加熱コイル、乾燥機に入る空気を加熱するための加熱要素、洗濯機の洗濯槽に入る水を加熱するための加熱要素など）を加熱するように構成される。
いくつかの実施例において、電気機器１４は、ディスプレイ１４４を含み、ディスプレイ１４４は、電気機器１４０に関する情報（例えば、現在選択されている洗濯サイクル）をユーザに提供することができる。いくつかの実施例において、ディスプレイ１４４は、Ｉ／Ｏモジュール１４５及びユーザインターフェイス１４６と統合されて、ユーザが情報を電気機器１４０に入力するか、又は電気機器１４０から情報を読み取ることができるようにする。いくつかの実施例において、ディスプレイ１４４は、Ｉ／Ｏモジュール１４５及びユーザインターフェイス１４６と併せて、推奨、警告及び栄養情報をユーザに提供し、電気機器１４０によって提供されたハードウェア及び／又はソフトウェアインターフェイスなどを介して、ユーザから制御命令を受信する。いくつかの実施例において、ディスプレイ１４４は、タッチスクリーンディスプレイ又はボタンを備えたディスプレイであってもよい。いくつかの実施例において、ディスプレイ１４４は、タッチスクリーン機能を備えていない単純なディスプレイ（例えば、従来のＬＥＤ又はＬＣＤディスプレイなど）であり得、ユーザインターフェイス１４６は、手動で制御可能なハードウェアボタン又はノブであり得る。いくつかの実施例において、ユーザインターフェイス１４６は、例示的に、ディスプレイ、スピーカ、キーボード、タッチスクリーン、音声入力－出力インターフェイスのうちの１つ又は複数を含む。
ネットワーク通信ユニット１４７は、機能においてネットワーク通信ユニット１３７に類似している。ネットワーク通信ユニット１４７は、電気機器１４０が１つ又は複数のネットワーク１９０を介して計算システム１３０及び／又は計算システム１６０と通信することを可能にする。
本明細書に記載の机械ユニット１４８は、電気機器１４０のハードウェア及び対応するソフトウェア及びファームウェアコンポーネントを指し、電気機器１４０のハードウェア及び対応するソフトウェア及びファームウェアコンポーネントは、家電製品１４０の内部感知（例えば、画像化）構成、加熱構成及び／又はレイアウト構成を物理的に変更するように構成される。例えば、１つ又は複数の第１センサ１４１は、机械ユニットに対応し、これによって、１つ又は複数のセンサ１４１は、電気機器１４０内の対応する領域をスキャンするように移動することができる（例えば、モータは、所定の領域全体でデータを収集できるようにセンサを動かすように構成される）。いくつかの実施例において、電気機器１４０の机械ユニット１４８は、家電製品システムの電気機器機能制御ユニット（例えば、電気機器側電気機器機能制御モジュール１５３’、ユーザ側電気機器機能制御モジュール１５３及び／又はサーバ側電気機器機能制御モジュール１５３”）からの命令に従って操作される。
いくつかの実施例において、電気機器側動作進行監視モジュール１４９’は、電気機器１４０の動作進行を監視するように構成される。例えば、電気機器がスマートオーブンである場合、電気機器側動作進行監視モジュール１４９’は、１つ又は複数の第１センサ２１２及び／又は１つ又は複数の第２センサ２１４によって記録された生データに基づいて、食物が中程度の仕上がりに調理されたことを決定することができる。いくつかの実施例において、電気機器側動作進行監視モジュール１４９’は、センサ１４１及び画像化システムによって収集されたリアルタイムのセンサデータに基づいて、計算システム１６０上で訓練済みの食品の位置及び輪郭決定モデル及び食物調理進行レベル決定モデルを用いて、食品の調理進行を決定するように構成される。
いくつかの実施例において、画像化システムは、１つ又は複数の第２センサ１４２を含む。１つ又は複数の第２センサ１４２は、非構造化データを収集するように構成される。非構造化データは、例として、ＲＧＢ画像や、熱画像又は赤外線画像を含む。例えば、電気機器が洗濯機や乾燥機である場合、洗濯機又は乾燥機のドアが閉じられると、洗濯機又は乾燥機は通常の操作（例えば、洗濯サイクル又は乾燥サイクルの開始）に入る前に、洗濯機又は乾燥機は、洗濯機又は乾燥機のドア上のカメラをトリガして、洗濯機又は乾燥機の内部の一連の画像を収集する。いくつかの実施例において、洗濯機又は乾燥機は、異なる角度から衣服の画像を収集するために、洗濯機又は乾燥機のドラムを１回又は複数回回転させて、その内部の衣服を転がす。いくつかの実施例において、洗濯機又は乾燥機は、異なる位置にある複数の懐中電灯を含み、画像を収集するたびに異なる方向から衣服を照らす。例えば、電気機器がスマートオーブンである場合、１つ又は複数の第２センサ１４２は、電気機器の調理室にある食物の静止画像又はビデオを収集又は記録するように構成され得る。いくつかの実施例において、電気機器がスマートオーブンである場合、画像化システムは、データストレージシステムを含み、当該データストレージシステムには、食物調理室の寸法、食物調理室内の参照マーカーの寸法、食物調理室内のカメラと様々な参照マーカーとの間の距離が記憶され、これによって、カメラによって収集された画像を使用して、画像内の食品のサイズや形状を正確に決定することができる。したがって、画像化システムは、画像内に参照マーカーを配置するためにユーザの特別な注意を必要としたり、又は画像内のアイテムのサイズ、位置及び向きの情報を利用せずに画像を使用するという従来の画像化システムの問題を解消する。いくつかの実施例において、画像化システムは、画像収集トリガシステムを含む。例えば、いくつかの実施例において、画像収集トリガシステムがカメラの視野に変化があったことを検出すると、画像収集がトリガされる。例えば、オーブンのドアが開くと、オーブン内の照明条件が変更され、オーブンのドアが開いたことに応答して画像収集がトリガされる。いくつかの実施例において、食物がカメラ視野に現れ始めると、画像収集がトリガされる。いくつかの実施例において、食品がオーブン内に完全に入り、オーブンのドアが閉じられると、画像収集がトリガされる。いくつかの実施例において、画像収集トリガシステムは更に、カメラがオーブンのドアが開かれる直前に、オーブンラックの画像をオーブン内のコンパートメントベースライン画像として収集して記録するように指示する。いくつかの実施例において、ユーザの入力に応答して（例えば、ユーザが食物を食物調理室内に入れた後）画像収集がトリガされる。手動トリガは、実施がより簡単で複雑ではなく、ユーザは、食材認識のために、食品特性を最もよく反映する画像を意図的に収集することができる。いくつかの実施例において、画像処理モジュール１５４は、１つ又は複数の第２センサ１４２によって収集された画像を取得し、食物を入れる前に、収集されたコンパートメントベースライン画像に基づいて画像に対して前処理を実行して、当該画像から背景を除去する。コンパートメントベースライン画像は、家電製品システムの食物調理室内の食物サポートプラットフォームの正確な状態を収集し、背景を除去するための優れたフィルタを、食品を含む画像に提供する。
いくつかの実施例において、制御モジュール１５５は、センサ制御１５１、センサ制御１５２及び電気機器側電気機器機能制御モジュール１５３’を含む。センサ制御１５１は、１つ又は複数の第１センサ１４１を制御及び調整するように構成される。例えば、センサ制御１５１は、命令を送信して、１つ又は複数の第１センサ１４１が１分間隔で温度データを記録するようにすることができる。センサ制御１５２は、１つ又は複数の第２センサ１４２を制御及び調整するように構成される。例えば、センサ制御１５２命令を送信して、１つ又は複数の第２センサ１４２が第１方向に沿って移動するようにし、１つ又は複数の第２センサ１４２が移動する前の開始位置及び移動後の最終位置にあるときに写真を撮るようにすることができる。
電気機器側電気機器機能制御モジュール１５３’は、電気機器１４０の様々な機能を制御及び調整するように構成される。例えば、電気機器側電気機器機能制御モジュール１５３’は、１つ又は複数の加熱ユニットの第１加熱ユニットを活性化するために加熱ユニット１４３に命令を送信することができ、又は机械ユニット１４８の位置を変更するために机械ユニット１４８に命令を送信することができる。いくつかの実施例において、（例えば、電気機器１４０の通常のルーチン機能を実現するために）電気機器側電気機器機能制御モジュール１５３’は、事前構成された操作プロトコルに基づいて制御命令を生成し、該制御命令を電気機器１４０の各構成要素に送信する。いくつかの実施例において、（例えば、事前設定された反応プロトコル又はプログラムに基づいて、ユーザの介入なしに電気機器１４０の機能を自動的に調整するために）電気機器側電気機器機能制御モジュール１５３’は、家電製品内のリアルタイムの動作進行監視に基づいて、制御命令を生成し、電気機器１４０の各構成要素に該制御命令を送信する。いくつかの実施例において、電気機器側電気機器機能制御モジュール１５３’は、ユーザ機器から、又は電気機器１４０のユーザインターフェイス１４６を介して受信したリアルタイムのユーザ命令に基づいて制御命令を生成し、該制御命令を電気機器１４０の各構成要素に送信する。いくつかの実施例において、動作進行監視の結果は、ユーザ側動作進行監視モジュール１４９からユーザ電気機器側電気機器機能制御モジュール１５３’に提供される。いくつかの実施例において、動作進行監視の結果は、計算システム１６０から電気機器側電気機器機能制御モジュール１５３’に提供される。いくつかの実施例において、動作進行監視の結果は、電気機器側動作進行監視モジュール１４９’からユーザ電気機器側電気機器機能制御モジュール１５３’に提供される。
いくつかの実施例において、計算システム１６０は、サーバ側動作進行監視モジュール１４９”及びサーバ側電気機器機能制御モジュール１５３”を含む。いくつかの実施例において、サーバ側動作進行監視モジュール１４９”は、識別モデル１２３、位置決めモデル１２４及び図１Ａに示される他のモデルを用いて、家電製品１４０から受信したリアルタイムのセンサデータに従って、オブジェクトのアイデンティティ、位置、輪郭及び他の条件を（例えば、直接又は計算システム１３０を介して）決定する。いくつかの実施例において、計算システム１６０は、例えば、図１Ａの訓練モデルサーバ１２２によって実現される。
図１Ｂの家電製品システム１０１内の様々なシステムの機能は、単なる例示的なものに過ぎない。機能の他の構成及び分割は可能である。特定のサブシステムのいくつかの機能は、様々な実施例において別のサブシステムで実現することができる。
いくつかの実施例において、図１Ｃに示されたように、家電製品システム１０１は、電気機器１４０’と統合された計算システム１３０’を含む。いくつかの実施例において、計算システム１３０’は、計算システム１６０’と通信して、電気機器１４０’の機能のいくつかを遂行する。いくつかの実施例において、電気機器１４０’は、例示的に、計算システム１６０通信と通信して、電気機器１４０’のいくつかの機能を外部委託する。
図１Ｃを参照すると、電気機器１４０’は、組み込み型の計算システム１３０’を有する。電気機器１４０’は、センサ１４１、加熱ユニット１４３、ディスプレイ１４４、Ｉ／Ｏモジュール１４５、ユーザインターフェイス１４６、ネットワーク通信ユニット１４７、机械ユニット１４８、電気機器側動作進行監視システム１４９'及び画像化システムを含む。電気機器１４０’のこれらのコンポーネントは、電気機器１４０のコンポーネントに対応し、類似する機能を有し、簡潔にするために本明細書では繰り返して説明しない。
いくつかの実施例において、電気機器１４０’内の計算システム１３０’は、制御モジュール１５５’、センサ制御１５１’、電気機器側電気機器機能制御モジュール１５３'''、画像処理システム１５４’、データベース１３８’、及び電気機器側注釈ユーザインターフェイスモジュール１３２’を含む。これらのポーネントの機能は、電気機器１４０内の同じ名称のそれぞれの対応するコンポーネントに対応し（例えば、センサコントロール１５１’は、センサコントロール１５１と同じ機能を有する）、簡潔にするために本明細書では繰り返して説明しない。いくつかの実施例において、注釈ユーザインターフェイスモジュール１３２'''は、ユーザが電気機器１４０とは別のユーザ機器で生ユーザデータを確認及び注釈付けすることを可能にすることができる。これに対して、電気機器側注釈ユーザインターフェイスモジュール１３２’は、ユーザが電気機器１４０’のディスプレイ１４４で生ユーザデータを確認及び注釈付けし、及び／又は音声入力によって画像の動作進行レベルに注釈を付けることを可能にすることができる。
上記例は、説明を目的として提供されたものに過ぎない。以下では、他の図面及び図示された様々なコンポーネントの機能の詳細について説明する。理解できることとして、本明細書に記載の１つ又は複数のコンポーネントは、他のコンポーネントとは独立して使用され得る。
図２は、いくつかの実施例に係る、洗濯機に装填されている洗濯物の検出された画像に基づいて、洗濯サイクル設定を自動的に選択するプロセス２００を示す概略図である。便宜上、プロセス２００は、洗濯機の計算システム（例えば、図１Ｃの電気機器１４０’の計算システム１３０’）によって実行されるものとして説明される。
洗濯機の計算システムは、ユーザによる洗濯サイクル設定の手動選択に依存する代わりに、画像検出及び分類モデルを使用して衣服のタイプを認識し、適切な洗濯サイクル設定を自動的に選択する。いくつかの実施例において、自動的に選択された洗濯サイクル設定は、装填された衣服の検出された特性（例えば、布の質感、色、サイズ、タイプなど）に基づいており、洗濯中に衣服への損傷（例えば、退色、裂け目、伸び）を最小限に抑えるように設定される。いくつかの実施例において、自動的に選択された洗濯サイクルは、洗濯機への損傷を防ぐように設定する。例えば、計算システムが金属部品（例えば、金属ジッパー）を備えた衣服を検出した場合、計算システムは、金属部品が洗濯機のドラムを傷つけないように、タンブリングを減らした洗濯サイクルを選択することができる。いくつかの実施例において、計算システムは、ユーザが洗濯目標（例えば、衣服への損傷を防ぐ、洗浄効果を最大化する、洗濯時間の最小化するなど）に優先順位を付けることを可能にし、計算システムは、ユーザ設定に基づいて、洗濯サイクルを自動的に選択する。いくつかの実施例において、ユーザは、洗濯サイクル設定の自動選択を無効にすることができ、代わりに、洗濯サイクル設定を手動で選択することができる。
洗濯サイクルを自動的に選択するために、洗濯機の計算システムは、先ず、洗濯機に装填された洗濯物の複数の画像を取得する（２０２）。いくつかの実施例において、１つ又は複数のカメラ（例えば、図１Ｂのセンサ１４１又は１４２）は洗濯機に設置され、当該１つ又は複数のカメラの視野は洗濯機のドラムを覆う。例えば、１つ又は複数のカメラは、洗濯機のドアや窓に設置できる。いくつかの実施例において、装填された洗濯物のより代表的で完全な写真を取得するために、洗濯機ドラムは、装填された洗濯物を広げるために、各画像収集セッションの間でわずかにタンブリング（例えば、半回転）する。いくつかの実施例において、１つ又は複数のカメラは、洗濯機をドラムタンブリングするとき、装填された洗濯物のビデオを収集する。いくつかの実施例において、洗濯サイクルの対応する設定に基づいて洗濯サイクルを正式に開始する前に、計算システムは、洗濯機にマシンドラムの回転を開始するように指示し、マシンドラム内の衣服の一連の画像を収集し、これらの画像の各画像を、オブジェクト検出及び分類のための入力画像として使用する。各入力画像からの推論結果を組み合わせることにより、これらの複数の入力画像からの最終的な推論結果を取得する。例えば、いくつかの実施例において、複数の画像の単一の入力画像からの推論結果が、識別された衣服の中で最も厳しい設定要件を有する特定のタイプの衣服が存在していることを示す限り、この特定のタイプの衣服に基づいて、機械設定を変更する。いくつかの実施例において、機械設定の変更をトリガするために、複数の入力画像のうち、閾値数の入力画像における特定のタイプの衣服を検出する必要がある。
１つ又は複数のカメラが、装填された洗濯物の画像の収集を完了すると、計算システムは、前処理（２０３）を実行するために、画像を画像処理モジュール（例えば、図１Ｃの画像処理モジュール１５４’）に送信する。前処理プロセスでは、非構造化画像の生データは、画像処理モデルに送られる前に変換される。前処理は、訓練速度及び分類精度を向上させるのに役立つ。例示的に、前処理技術は、アスペクト比の標準化、画像スケーリング、平均正規化、データ正規化、次元削減、データ拡張などを含む。
次に、特徴検出を実行するために前処理の画像を１つ又は複数の画像処理モデルに送信する（２０４）。いくつかの実施例において、画像処理モデルは、洗濯機の計算システムにローカルに記憶及び実行される。例示的に、画像処理モデルは、ネットワーク（例えば、図１Ａのネットワーク１９０）を介して洗濯機の計算システムに接続された遠隔サーバ（例えば、図１Ａの推論セットサーバ１２９）に記憶されて実行される。画像処理モデルは、洗濯機の耐用年数にわたってネットワークを介して継続的に更新ができる。
いくつかの実施例において、画像処理モデルは、前処理された洗濯物画像を入力として受信し、装填された洗濯物の１つ又は複数の検出された特徴を出力する。画像処理モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、領域ベースのＣＮＮ（ＣＮＮ：Ｒｅｇｉｏｎａｌ－ｂａｓｅｄ ＣＮＮ）、Ｆａｓｔ ａｎｄ Ｆａｓｔｅｒ Ｒ－ＣＮＮ、領域ベースの完全畳み込みネットワーク（Ｒ－ＦＣＮ：Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＹＯＬＯ（Ｙｏｕ－Ｏｎｌｙ－Ｌｏｏｋ－Ｏｎｃｅ）アルゴリズム、シングルショット検出器（ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）などの１つ又は複数の画像検出アルゴリズムを含み得る。画像処理モデルの訓練は高いリソースコストに関するため、いくつかの実施例において、画像処理モデルは、先ず、遠隔計算システム（例えば、図１Ａの訓練モデルサーバ１２２）で訓練され、その後、ネットワーク更新を介して洗濯機のローカル計算システムに送信される。
いくつかの実施例において、各画像処理モデルは、１つのタイプの特徴を検出するように構成される。例えば、個別の画像処理モデルは、衣服のタイプ（２０６）、負荷のサイズ（ｌｏａｄ ｓｉｚｅ）（２０８）、衣服の色（２１０）、泡（２１２）、汚れレベル（２１４）などを検出するように構成される。いくつかの実施例において、画像処理モデルは、特徴検出のために洗濯機に設置されたセンサから追加の入力を受信する。例えば、１つ又は複数の重量計を洗濯機に設置して負荷重量を測定することができる。いくつかの実施例において、各画像処理モデルは、二分類分類器（ｂｉ－ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｌａｓｓｉｆｉｅｒ）である。例えば、画像処理モデルは、画像が「シャツ」を含むかどうかを決定するように構成され得る。あるいは、画像処理モデルは、画像が「赤い衣服」を含むかどうかを決定するように構成され得る。
画像処理モデルを使用して衣服のタイプを検出することに関連する問題は、特定の衣服のタイプは誤分類されやすく、一貫して画像処理モデルにｆａｌｓｅ ｐｏｓｉｔｉｖｅの結果（又は、ｆａｌｓｅ ｎｅｇａｔｉｖｅの結果）が生成させることである。衣服がドラム内の中でねじれたり絡まったりして、その衣服の全特徴が隠されていることが原因である可能性がある。例えば、ねじれたり絡まったりしたシャツは、ブラジャーに非常に似ており、画像処理モデルが、シャツがブラジャーであると誤って判断する可能性がある（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）。画像処理モデルによる再現度を維持しながら（例えば、ｆａｌｓｅ ｎｅｇａｔｉｖｅの結果の数を増やさない）、オブジェクト検出及び分類の精度を向上させる（例えば、ｆａｌｓｅ ｐｏｓｉｔｉｖｅの結果の数を減らす）ために、訓練サーバ（例えば、図１Ａの訓練モデルサーバ１２２）で、改良された機械学習訓練プロセスを実施する。図３を参照して、改良された機械学習訓練プロセスを詳細に説明する。
画像処理モデルが装填された洗濯物を検出及び分類した後、洗濯機の計算システムは、検出結果を対応する洗濯サイクルにマッピングする（２１６）。例示的に、洗濯サイクルは、通常のサイクル（例えば、綿製の衣服の場合）、パーマネントプレスサイクル（例えば、着色された衣服の場合）、デリケートサイクル（例えば、上質の衣服の場合）などを含む。各サイクルは、異なる水温、タンブリング速度、スピン速度及び洗濯時間に関連付けられる。
検出結果から対応する洗濯サイクル設定へのマッピングは事前構成されており、後で遠隔サーバ（例えば、図１Ｂの計算システム１３０）を介して更新され得る。例えば、当該マッピングは、衣服の耐用年数の維持する、洗濯時間の短縮、汚れの除去など、１つ又は複数の洗濯目標を最大化するように構成され得る。当該マッピングは、検出された衣服の素材、織地．、サイズ、数及び色に基づくことができる。例えば、計算システムが、洗濯物にウール製の明るい色の衣服が含まれていることを検出した場合、穏やかな洗濯サイクルを使用することができる。
図２は、本明細書に記載の局所特徴抽出器及びサポートベクトルマシンに基づく画像処理モジュールからのオブジェクト検出及び分類結果に従って、機械設定をどのように制御するかの例である。いくつかの実施例によれば、本明細書に記載の可変設定を有する機械の様々な操作のための方法を使用して、他のタイプの機械（例えば、乾燥機ドラムの画像で識別される様々なタイプの衣服の様々な乾燥設定を有する乾燥機、オーブンチャンバの画像で識別される様々なタイプの食品の様々な調理設定を有するオーブン、及び食器棚内の様々なタイプの食器や容器の様々な洗浄設定を有する食器洗い機など）を任意に制御する。
図３は、いくつかの実施例に係る、深層学習方法と従来の手動方法の組み合わせを使用して、局所特徴抽出器及びサポートベクトルマシンを備えた画像処理モデルを開発するプロセスを示す概略図である。画像処理モデルは、特徴抽出器を使用して、入力画像から、ユーザ定義の局所特徴の特徴ベクトルを識別し、１つ又は複数のサポートベクトルマシンを識別された特徴ベクトルに適用して、オブジェクトを検出及び分類する。便宜上、プロセス３００は、遠隔計算システム（例えば、図１Ａの訓練モデルサーバ１２２）によって実行されるものとして説明されている。プロセス３００は、ローカル計算システム（例えば、図１Ｃの計算システム１３０’）によって記憶及び使用される訓練済みの画像処理モデルを出力する。例示的な実施例において、プロセス３００は、ローカル計算システムによって実行され、同じローカル計算システムによって記憶及び使用される訓練済みの画像処理モデルを出力する。プロセス３００は、一般化された画像処理モデル訓練プロセスであり、図２に記載された衣服のタイプを検出するための訓練画像処理モデルに限定されるものではない。
いくつかの実施例において、プロセス３００は、画像処理モデルを開発（例えば、訓練）するための３つの別個の段階、すなわち、（１）データ削減段階３０１と、（２）局所特徴抽出を実行するための深層学習モデル３１０を訓練するための第１訓練段階３０３と、（３）オブジェクト検出及び分類を実行するためのサポートベクトルマシン３１４を訓練するための第２訓練段階３０５と、を含む。
いくつかの実施例において、データ削減段階３０１では、計算システムは、訓練データセット３０２をフィルタリングして、関心のある局所特徴（例えば、ユーザ定義の局所特徴）を含むフィルタリングされた訓練データ３０８のサブセットを識別する。オブジェクト検出タスクの場合、局所特徴は、オブジェクトの（例えば、ユーザに定義の）局所特性を表す。例えば、衣服を検出及び分類するように構成された画像処理モデルの場合、ユーザは、布の生地、ステッチパターン、レース、ボタン又は他の衣服特性に基づいて、衣服の局所特徴を定義することができる。衣服を検出及び分類するように構成された画像処理モデルのユーザ定義の局所特徴の例については、図４及び関連する説明を参照されたい。フィルタリングされた訓練データ３０８は、初期訓練データ３０２と比較して局所特徴を含む可能性が高いため、データ削減段階３０１は、深層学習モデル３１０（例えば、局所特徴抽出器）の訓練効率を向上させる。データ削減段階３０１は、ユーザがユーザ特徴及び局所特徴を検出するアルゴリズムを定義するには専門知識が必要であるため、従来の手動方法になる。
いくつかの実施例において、データを削減するために、計算システムは、ユーザ定義の局所特徴リスト３０４及び局所特徴を検出するためのユーザ定義アルゴリズム３０６を受信し、訓練データ３０２内の各データポイント（例えば、注釈付き画像）を検査して、データポイントにユーザ定義の任意の局所特徴が存在しているかどうかを決定する。いくつかの実施例において、局所特徴を検出するためのユーザ定義アルゴリズム３０６は、局所特徴の１つ又は複数の特性を検査するためのヒューリスティックを含む。例えば、局所特徴を検出するためのユーザ定義アルゴリズム３０６は、画像上のオブジェクトの輪郭、形状、位置、色又は他の特性を検査するためのヒューリスティックを含み得、これらの特徴は、ユーザ定義の局所特徴リスト３０４からのユーザ定義の局所特徴を指示する。
いくつかの実施例において、深層学習モデル３１０（例えば、局所特徴抽出器）を訓練するための適切な数のフィルタリングされた訓練データ３０８を維持するために、局所特徴を検出するためのユーザ定義アルゴリズム３０６は、ｆａｌｓｅ ｎｅｇａｔｉｖｅｓ（例えば、フィルタリングされた訓練データ３０８から局所特徴を有するデータポイントを誤って除外する）よりも、ｆａｌｓｅ ｐｏｓｉｔｉｖｅｓ結果（例えば、フィルタリングされた訓練データ３０８に局所特徴を有しないデータポイントを誤って含める）を生成する可能性が高いように構成される。いくつかの実施例において、データ削減段階３０１は、局所特徴を検出するためのユーザ定義アルゴリズム３０６及びユーザ定義の局所特徴リスト３０４の代わりに、（例えば、図１Ａの注釈ステーションによって）手動で実行することができる。
計算システムは、次に、第１訓練段階３０３において、フィルタリングされた訓練データ３０８を使用して深層学習モデル３１０を訓練して、ユーザ定義の局所特徴を識別する。例えば、深層学習モデル３１０は、ＣＮＮ、ＲｅｓＮｅｔ、ＹＯＬＯ、ＳＳＤなどのオブジェクト検出用のモデルであり得る。
いくつかの実施例において、フィルタリングされた訓練データ３０８を使用して深層学習モデル３１０を訓練した後、計算システムは、局所特徴抽出を実行するために、初期訓練データを深層学習モデル３１０に提供する。例えば、深層学習モデル３１０は、訓練データ３０２（例えば、画像）を受信し、抽出された特徴ベクトル３１２を出力し、当該特徴ベクトル３１２は、訓練データ３０２にユーザ定義の局所特徴が存在するかどうかを指示する。いくつかの実施例において、訓練データ３０２は画像データを含み、計算システムは、画像データを深層学習モデル３１０に提供する前に、先ず、画像分割３０９を実行して、各画像を複数のサブ画像（例えば、画像グリッド）に分割する。深層学習モデル３１０は、各サブ画像に対して特徴抽出を実行して、対応する特徴ベクトルを生成し、同じ画像に属するすべての特徴ベクトルは、特徴ベクトル連結３１３ステップで統合されて、統合された特徴ベクトルを形成し、該統合された特徴ベクトルは、画像にすべての局所特徴が存在しているかいないかを指示する。
次に、第２訓練段階３０５では、計算システムは、各画像の統合された特徴ベクトルを使用して、１つ又は複数のサポートベクトルマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）３１４を訓練する。ＳＶＭは、回帰分析を使用してデータの二分類を実行する監視学習モデルである。例えば、（例えば、深層学習モデル３１０によって）画像から抽出された特徴ベクトル（例えば、統合された特徴ベクトル）が与えられた場合、各サポートベクトルマシン３１４を使用して、画像に特定のデータタイプが含まれているかどうかを予測することができる。
衣服を検出及び分類するように構成される画像処理モデルのコンテキストでは、訓練データ３０２は、洗濯機から収集された洗濯物の画像を含み得る。ユーザ定義の局所特徴リスト３０４は、衣服の一部である複数の局所特徴（例えば、布の生地、ボタン、ステッチ、レース、襟、ジッパーなど）を含む。ユーザ定義のアルゴリズムは、輪郭、色、コントラスト及びその他の画像特性を検査するなどして、画像に１つ又は複数の局所特徴が存在しているかいないかを推定するためのヒューリスティックである。次に、（例えば、ユーザ定義のアルゴリズムによって決定された）１つ又は複数の局所特徴を含むと見なされる訓練データ３０２のサブセットを使用して、深層学習モデル３１０を訓練して、画像に対応する特徴ベクトルを生成する。特徴ベクトル（又は統合された特徴ベクトル）を複数のサポートベクトルマシンに提供し、各サポートベクトルマシンは、入力特徴ベクトルが与えられた場合、特定のタイプの衣服（例えば、ジーンズ、シャツ、ドレスなど）が存在しているかいないかを検出するように構成される。
図４は、いくつかの実施例に係る衣服の例示的な局所特徴４００を示す。局所特徴は、衣服の局所特性を表し、衣服を検出及び分類するために使用できる。いくつかの実施例において、（例えば、洗濯機内の）衣服が乱雑、遮蔽及び／又は変形されているため、衣服タイプを検出及び分類するために局所特徴を使用することは、グローバル特徴（例えば、画像全体の記述子）を使用するよりも正確であり、局所特徴を使用して衣服タイプを予測するプロセスについては、図５及び関連する説明を参照されたい。図４に示されるように、衣服の局所特徴の例は、ウールテクスチャ（ｗｏｏｌ ｔｅｘｔｕｒｅ）４０２、シャツボタン４０４、ステッチ（ｓｔｉｔｃｈ）４０６、毛皮４０８、レース（ｌａｃｅ）４１０、バンド（ｂａｎｄ）４１２、ジーンズテクスチャ４１４、ジーンズステッチ４１６などを含む。
図５は、いくつかの実施例に係る、局所特徴抽出器及びサポートベクトルマシンを備えた画像処理モデルを使用して、オブジェクトを検出及び分類するプロセス５００を示す概略図である。いくつかの実施例において、オブジェクトは、機械内の未整理のアイテムコレクション（例えば、洗濯機に装填されている衣服、スマートオーブン又は鍋内の食材、スマート冷蔵庫内の食品など）である。便宜上、プロセス５００は、計算システム（例えば、図１Ｃの計算システム１３０’）によって実行されるものとして説明され、洗濯機内に装填されている衣服を検出及び分類するように構成される。
プロセス５００は、２つの別個の段階、すなわち、（１）特徴抽出段階５０３及び（２）オブジェクト分類段階５０５を含む。特徴抽出段階５０３では、深層学習モデル５０６は、衣服を含む画像５０２を入力として受信し、画像（例えば、サブ画像）の異なる部分の局所特徴を指示する特徴ベクトル５０７ａ－５０７ｃを出力する。次に、オブジェクト分類段階５０５では、特徴ベクトル５０７ａ－５０７ｃを連結して、統合された特徴ベクトル５０８を形成し、複数のＳＶＭ ５１０ａ～５１０ｃはそれぞれ、統合された特徴ベクトル５０８を入力として受信し、対応するオブジェクト検出結果を出力する。
いくつかの実施例において、画像５０２は、洗濯機の内部から収集された一連の画像のグレースケール画像又はＲＧＢ画像である。画像５０２は、隠された乱雑な衣服を含む可能性があり、当該一連の画像は、洗濯機のドラムがタンブリングしてドラム内の衣服が広げられている間に収集されたものである。いくつかの実施例において、計算システムは、画像５０２を深層学習モデル５０６に渡す前に、１つ又は複数の前処理ステップ（例えば、画像５０２の色を除去したり、又は画像５０２のサイズを調整したりする）を実行する。
いくつかの実施例において、計算システムは、画像５０２を複数のサブ画像５０４に分割し、特徴抽出を実行するために各サブ画像５０４を深層学習モデル５０６（例えば、残差ニューラルネットワーク）に渡す。例えば、計算システムは、画像５０２を事前定義された画像グリッドのアレイに分割することができる。各サブ画像は、ユーザ定義の局所特徴５０９を含む場合も含まない場合もある。別の例において、計算システムは、各サブ画像が少なくとも１つの局所特徴を含むように画像５０２を分割する。
深層学習モデル５０６は、サブ画像５０４を入力として受信し、対応する特徴ベクトル（例えば、特徴ベクトル５０７ａ）を出力し、当該特徴ベクトルは、サブ画像５０４にユーザ定義の局所特徴５０９が存在しているかどうかを指示する。いくつかの実施例において、深層学習モデル５０６は、図３に記載のプロセスで既に訓練されたものである。いくつかの実施例において、深層学習モデル５０６は、最後のソフトマックス（ｓｏｆｔｍａｘ）レイアが除去された深層学習分類ニューラルネットワークである。
深層学習モデル５０６が画像５０２のサブ画像５０４のそれぞれの特徴ベクトルを生成した後、計算システムは、すべての特徴ベクトルを連結して、統合された特徴ベクトル５０８を生成する。統合された特徴ベクトル５０８は、画像５０２のすべての局所特徴を表す。その後、計算システムは、統合された特徴ベクトル５０８を複数のバイナリ分類器（ＳＶＭ ５１０ ａ－５１０ｃなど）に送信して、分類結果５１２を予測する。いくつかの実施例において、各ＳＶＭは、特徴ベクトルを受信し、特定のタイプのオブジェクト（例えば、衣服のタイプ）が存在しているかどうかを予測するように、（例えば、図３の第２訓練段階３０５により）事前に訓練される。例えば、各ＳＶＭは、特定のタイプの衣服が画像５０２を表す統合された特徴ベクトル５０８に存在する可能性を指示する確率を出力することができる。図５には３つの異なるＳＶＭ（例えば、ＳＶＭ ５１０ａ～５１０ｃ）しか示されていないが、実際の実現では、検出対象となる様々なタイプの衣服の数に対応して、ＳＶＭの数を増減することができる。
図６は、いくつかの実施例に係る、局所特徴を抽出することにより生成された画像検出及び分類結果に基づいて自動化された機械設定選択を実行する方法６００のフローチャートである。便宜上、方法６００は、ネットワークを介して接続された複数のサーバを含む計算システムによって実行されるものとして説明され、ここで、計算システムの各サーバは、特定のタスクを実行する専用のサーバである。例えば、計算システムは、訓練モデルサーバ（例えば、図１Ａの訓練モデルサーバ１２２）及び電気機器サーバ（例えば、図１Ｃの計算システム１３０’）を含み得る。いくつかの実施例において、当該機械は、１つ又は複数のプロセッサと、カメラと、メモリとを備えた第１機械（６０２）（例えば、洗濯機（例えば、清浄機又は乾燥機）、鍋内で様々な食品又は食材を調理するためのスマートオーブン、様々な食品を保管するためのスマート冷蔵庫など）である。
第１のステップとして、計算システムは、第１機械において未整理のアイテム（例えば、限られた空間にランダムに分布し、様々な方式で互に隠されているアイテム）コレクション（例えば、洗濯機内の洗濯物、スマートオーブン又は中華鍋内の食材、スマート冷蔵庫内の食品などの）の１つ又は複数の画像を収集する（６０４）。例えば、計算システムは、機械（例えば、洗濯機、スマートオーブン中華鍋、又はスマート冷蔵庫など）の窓に設置されたカメラを制御して、１つ又は複数の画像を収集することができる。いくつかの実施例において、機械（例えば、洗濯機）は、１つ又は複数の画像のそれぞれを取集した後、機械内の未整理のアイテムコレクション（例えば、洗濯機内の洗濯物、又はスマートオーブン又は中華鍋内の食材）を移動する。例えば、洗濯機は、２つの連続する画像収集セッションの間に、衣服を含むドラムを事前定義された量（例えば、半回転）回転させて、洗濯機内の衣服を相互に移動させ、洗濯機内の衣服の様々なビューを取得する。これにより、衣服タイプの決定結果に基づいて、機械設定を変更する前に、複数の画像の認識精度を向上させることができる。
１つ又は複数の画像を取得した後、計算システムは、１つ又は複数の画像のそれぞれから、未整理のアイテムコレクションの１つ又は複数のアイテムタイプ（例えば、洗濯物の衣服タイプ、オーブン又は中華鍋内の食材タイプ、冷蔵庫内の食品の食品タイプなど）を決定する（６０６）。例えば、衣服タイプは、シャツ、ドレス、ジーンズ、カーキ色の服、ブラウスなどを含み得る。いくつかの実施例において、計算システムは、特徴抽出器及び複数のサポートベクトルマシンを備えた画像処理モデルを使用して、１つ又は複数の衣服タイプを決定する。別の例では、食材のタイプは、チキンキューブ、ポークスライス、ビーフストライプ、ポテトチャンク、レタスの葉、サヤインゲンセグメント、さいの目に切ったタマネギ、砕いたトマトなどを含む。別の例では、食品のタイプは、ジュース、ミルク、ヨーグルト、桃、リンゴ、スイカ、ベーコン、チーズスライス、様々な種類の調味料などを含む。
画像処理モデルの最初のステップとして、計算システムは、１つ又は複数の画像内の対応する画像を、対応する複数のサブ領域に分割する（６０８）。いくつかの実施例において、サブ領域は、画像（例えば、図５のサブ画像５０４）の一部の長方形グリッドである。例えば、計算システムは、対応する画像を対応する複数のサブ領域に均等に分割することができ、又は各サブ領域が少なくとも１つの局所特徴を含むように、ユーザ定義の局所特徴の存在に基づいて、対応する画像を分割することができる。
その後、計算システムは、対応する複数のサブ領域で特徴検出を実行して、対応する複数の領域特徴ベクトル（例えば、図５の特徴ベクトル５０７ａ～５０７ｃ）を取得する（６１０）。領域特徴ベクトルは、画像のサブ領域における事前定義された複数の局所アイテム特徴（例えば、局所の衣服特徴（例えば、毛皮の襟、シャツのボタン、ジーンズのステッチなど）、局所の食材特徴（例えば、様々なタイプの肉繊維、鶏皮、葉脈など）、局所のパッケージ又は食品特徴（例えば、カートンの頂部、蓋、缶、有名な食品の商標など））を指示する。いくつかの実施例において、事前定義された局所アイテム特徴（例えば、局所の衣服特徴、局所の食材特徴、局所の食品特徴等）は、手動で識別された複数の局所アイテム特徴ラベルを含む（衣服特徴ラベル（例えば、ウールテクスチャ、ステッチ、毛皮、レース、バンド、ジーンズの布のパターン、ジーンズステッチ、シャツの角又はシャツボタンなどの存在に対応する特徴ラベル含む）、食材特徴ラベル、食品特徴ラベルなど）。これらの手動で識別されたアイテム特徴ラベル（例えば、衣服特徴ラベル、食材ラベル、食品ラベルなど）のそれぞれは、機械（例えば、洗濯機（例えば、特別な乾燥又は洗浄サイクル、温度など）、スマートオーブン、スマート冷蔵庫など）による特別な処理や取り扱いを必要とする特定のタイプのアイテム（例えば、衣服、食材、食品など）の特性である。これらのアイテム特徴ラベル（例えば、衣服特徴ラベル、食材ラベル、食品ラベルなど）は、人間または専門家にとって簡単に定義でき、これらのアイテム特徴ラベル（例えば、局所の衣服特徴ラベル、局所の食材の特徴ラベル及び局所の食品の特徴ラベル等）に対応する局所特徴（例えば、局所の衣服の特徴、局所の食材の特徴及び局所の食品の特徴など）を有する訓練画像は、特徴抽出モデルの訓練データセットを作成するために、それに対応して人間と専門家によってラベル付けされる。いくつかの実施例において、対応する複数のサブ領域で特徴検出を実行して、これらのアイテム特徴ラベル（例えば、衣服特徴ラベル、食材ラベル及び食品ラベル等）の対応する複数の領域特徴ベクトルを取得することは、機械学習モデルを介して、手動で識別された複数のアイテム特徴ラベルに応じる対応する機械生成の潜在的な特徴を取得することを含む。、機械学習による特徴抽出は、専門家により特徴ベクトルを手動で定義するよりも、各アイテム特徴ラベルの特徴ベクトルを定義するのにはるかに効果的でかつ効率的である。いくつかの実施例において、対応する機械によって生成された領域特徴ベクトルは、画像のサブ領域に局所アイテム特徴（例えば、局所の衣服の特徴（例えば、ウールテクスチャ、ステッチ、毛皮、レース、バンド、ジーンズの布のパターン、ジーンズステッチ、シャツのコーナ又はシャツボタン））が存在しているかどうかを指示することができる。いくつかの実施例において、計算システムは、深層学習画像処理モデル（例えば、図５の深層学習モデル５０６）を使用して特徴検出を実行する。例えば、深層学習画像処理モデルは、残差ニューラルネットワークであってもよい。深層学習画像処理モデルは、図３に示す遠隔計算システムで事前に訓練されることができる。いくつかの実施例において、深層学習モデルは、次の訓練プロセスで生成されたものであり、前記訓練プロセスは、訓練データセット（例えば、洗濯機内の衣服の画像）を受信する（例えば、エンジニアが局所の特徴を定義して、定義された衣服の特徴が鮮明な画像サンプルを取得する）ことと、訓練データセットを複数のサブセットに分割する（例えば、ユーザ定義の特徴検出又は認識モデルを使用するか、又は画像のサブセット又は画像の一部に手動でラベルを付ける）ことであって、各サブセットは、事前定義された複数の局所アイテム特徴（例えば、局所衣服特徴、局所の食材の特徴、局所の食品の特徴など）のうちの１つ又は複数に対応し、各サブセットは、対応する１つ又は複数のアイテム特徴ラベル（例えば、衣服の特徴ラベル、食材のラベル及び食品ラベルなど）を有することと、対応するアイテム特徴ラベルを有する訓練データセットを使用して深層学習モデルを訓練することと、を含む。
対応する画像の対応する複数の領域特徴ベクトルを取得した後、計算システムは、対応する画像の対応する複数の領域特徴ベクトルを組み合わせる（例えば、連結）ことにより、対応する画像の統合された特徴ベクトルを生成する（６１２）。対応する画像の統合された特徴ベクトルは、未整理のアイテムコレクション（例えば、洗濯物、オーブンの内容物、又は冷蔵庫の内容物など）の１つ又は複数の画像における対応する画像に、事前定義された局所アイテム特徴（例えば、局所の衣服の特徴、局所の食材の特徴及び局所の食品の特徴等）が存在しているかどうかを指示する。
その後、計算システムは、複数のバイナリ分類器を、対応する画像の統合された特徴ベクトルに適用する（６１４）。複数のバイナリ分類器における対応するバイナリ分類器は、統合された特徴ベクトルを受信し、対応する画像の統合された特徴ベクトルに基づいて、対応するバイナリ分類器に関連付けられたアイテムタイプ（例えば、衣服タイプ、食材タイプ、食品タイプ等）が対応する画像に存在しているかどうかを決定するように構成される。いくつかの実施例において、各バイナリ分類器は、事前定義された複数の局所アイテム特徴（例えば、局所の衣服の特徴、局所の食材の特徴及び局所の食品の特徴）の特性を示す特徴ベクトル（例えば、各領域特徴ベクトル）を受信し、関連付けられたアイテムタイプ（例えば、衣服タイプ、食材、食品等）が、特徴ベクトルに応じる対応するサブ領域に存在しているかどうかを決定するように構成される。例えば、バイナリ分類器は、（例えば、ユーザ定義の特徴の有無を示す）特徴ベクトルを受信し、特定のタイプのアイテム（例えば、衣服、食材、食品）が該特徴ベクトルを生成するために使用された画像（又は画像の一部）に存在しているかどうかを出力するＳＶＭ（例えば、図５のＳＶＭ ５１０ａ～ＳＶＭ ５１０ｃ）であり得る。いくつかの実施例において、各バイナリ分類器は、サポートベクトルマシンであり、深層学習モデルによって生成された複数のサブ領域の特徴ベクトル（例えば、深層学習モデルにより、手動で定義された複数のアイテム特徴ラベルの対応する１つに応じる対応するタイプの衣服の特徴を含む画像（又は画像の一部）から生成された特徴ベクトル）を使用してサポートベクタマシンを訓練する。いくつかの実施例において、特徴ベクトルは、深層学習モデルの出力レイヤ以外の深層学習モデルのレイヤから取得されたものである（例えば、特徴ベクトルは、深層学習モデルの出力レイヤの直前の１つのレイヤ又は２つのレイヤから取得されたものである）。
最後に、未整理のアイテムコレクションの予測アイテムタイプ（例えば、洗濯物の衣服タイプ、オーブン又は中華鍋の内容物の原料タイプ、冷蔵庫の内容物の食品タイプ）を取得した後、計算システムは、決定された１つ又は複数のアイテムタイプに基づいて機械の機械設定を選択する（６１６）。例えば、計算システムは、衣服への損傷を最小化する設定（例えば、画像処理モデルが洗濯機内にデリケートな衣服があると予測した場合）、洗濯結果を最適化する設定、又は洗濯時間を節約する設定を選択することができる。
本明細書に開示されたように、上記の技術は、洗濯機内の衣服のタイプを高い精度で検出し、限られた訓練データ及び／又は入力データを使用して高い全体的なパフォーマンスを達成するという利点を備える。これは、深層学習方法を使用してオブジェクトを認識する場合と比較すると特に明らかになる。純粋な深層学習方法では、人間の知識（ｈｕｍａｎ ｋｎｏｗｌｅｄｇｅ）の介入はほとんど必要としないが、優れたパフォーマンスを実現するには、大量のラベル付き訓練データと、ラベル付きデータ間のかなりのバリエーションが必要である。現在開示されている技術は、オブジェクトの検出及び認識のために、認識対象又は検出対象となるオブジェクトの局所特徴（例えば、オブジェクトの全体的な特徴ではない）に焦点を当てており、したがって、オブジェクト全体の形状が隠されたり変形されたりしても、当該技術は、モデルの学習及び改善のために、より優れた信頼的な情報を提供する。さらに、深層学習と従来のエンジニアリングアプローチの組み合わせを使用することにより、モデルの学習方向は専門家の知識によって導かれ、これによって、必要な訓練データの量とバリエーションが大幅に削減され、同時に全体的なパフォーマンス及び訓練効率を向上させる。
本明細書で説明されたように、オブジェクト検出／識別モデルの構築及び訓練は、次のステップを含む。（１）準備動作：（ｉ）機械内の同じ又は異なるタイプの衣服の画像を取得し、これらの画像には、衣服のタイプ、局所特徴及び画像における当該局所特徴の位置がラベル付けている。（ｉｉ）異なるタイプの衣服の局所特徴リストを取得する。（２）深層学習モデルの訓練：第１訓練段階に使用される画像の一部（～５０％）を取得し、グリッドを使用して各画像をサブ部分に分割し、各グリッド位置での画像のサブ部分には、画像のサブ部分に存在する局所特徴のラベルが付けられ、深層学習分類ニューラルネットワークを訓練し、ここで、画像のサブ部分を入力とし、画像の局所特徴ラベルを出力とする。最後のｓｏｆｔｍａｘレイアを除去することにより、ネットワークは、特徴抽出器になり、当該特徴抽出器は、画像のサブ部分を取り込んで、画像のサブ部分に存在する特徴を表す特徴ベクトルを出力する。（３）ＳＶＭモデルの訓練：画像の他の部分（～５０％）を第２段階で取得し、各画像について、グリッドに従って画像をサブ部分に分割し、各サブ部分を第１段階の特徴抽出器に入力し、当該特徴抽出器は、各サブ部分の特徴ベクトルを生成する。その後、同じ画像に属するサブ部分の特徴ベクトルと統合された特徴ベクトルを連結し、各衣服タイプについて、入力とした各画像の大きな特徴ベクトルと、そのタイプの服が含まれているかどうかを示すラベルとを使用して、ＳＶＭモデルを訓練する。
構築及び訓練されたモデルを使用して、入力画像に衣服のタイプが存在するかどうかを決定する場合、当該決定には、次の２つの段階が含まれる。（１）画像の統合された特徴ベクトルを取得する。そのためには、先ず、グリッドに従って画像をサブ部分に分割し、各サブ部分を特徴抽出器に入力し、当該特徴抽出器は、そのサブ部分の特徴ベクトルを出力する。その後、サブ部分の特徴ベクトルを連結して、入力画像の統合された特徴ベクトルを形成する。（２）画像が各タイプの衣服を含むかどうかを検出する。そのためには、最初の段階からの統合された特徴ベクトルを、各タイプの衣服に対応するＳＶＭモデルに入力し、その後、各ＳＶＭモデルは、確率で数値（１又は０）を出力し、当該数値は、そのタイプの衣服が画像に存在する可能性を示す。
本明細書に記載の技術の応用例として衣服認識を使用するが、衣服のタイプを他のオブジェクトタイプに置き換えることができ、対応する局所特徴を、他のオブジェクトタイプに対応する局所特徴（食品の一部の食品の形状、質感、デコレーションなど）に置き換えることができる。いくつかの実施例において、異なるグリッドを使用して画像を分割することにより、局所特徴のサイズ又は形状に適合することができる。いくつかの実施例において、異なる深層学習ネットワーク構造の異なる変形を使用して、異なるタイプのオブジェクトの特徴ベクトルを抽出することができる。いくつかの実施例において、異なるアルゴリズムを、オブジェクト認識／検出プロセスの第２段階に使用することができる。
図７は、いくつかの実施例に係る例示的な家電製品７００のブロック図である。例えば、各実施例において、家電製品７００は、電気機器１１０、１１２、１１４、１４０、１４０’、２００、２０１、２０２、２０３、２０４として機能することができる。家電製品７００は、１つ又は複数の処理ユニット（ＣＰＵ）７０２と、１つ又は複数のネットワークインターフェース７０４と、メモリ７０６と、これらのコンポーネントを接続するための１つ又は複数の通信バス７０８（チップセットと呼ばれることもある）とを備える。家電製品７００は更に、ユーザインターフェイス７１０を備える。ユーザインターフェイス７１０は、メディアコンテンツの提示を可能にする１つ又は複数の出力機器７１２を含み、当該出力機器７１２は、１つ又は複数のスピーカ及び／又は１つ又は複数の視覚的ディスプレイを含む。ユーザインターフェイス７１０は更に、１つ又は複数の入力機器７１４を含み、入力機器７１４は、ユーザ入力を容易にするユーザインターフェイスコンポーネント（例えば、キーボード、マウス、音声コマンド入力ユニット又はマイク、タッチスクリーンディスプレイ、タッチセンシティブ入力パッド、ジェスチャ収集カメラ、又は他の入力ボタン又はコントロールなど）を含む。いくつかの実施例において、家電製品７００は更に、家電製品６００の動作環境情報を感知するセンサ（例えば、センサ１４１、１４２）を含む。センサは、１つ又は複数の熱センサ、光センサ、１つ又は複数のカメラ、湿度センサ、１つ又は複数のモーションセンサ、１つ又は複数の生物学的センサ（例えば、電気皮膚抵抗センサ、パルス酸素計など）、重量センサ、分光計、及び他のセンサを含むが、これらに限定されない。さらに、家電製品６００は、家電製品動作ユニット７２６（例えば、電気、感応、ガス、輻射などに基づく加熱手段）を含む。メモリ７０６は、例えば、１つ又は複数の磁気ディスクストレージ機器、１つ又は複数の光ディスクスストレージ機器、１つ又は複数のフラッシュメモリ機器、又は１つ又は複数の他の不揮発性ソリッドステートストレージ機器などの不揮発性メモリを含み、メモリ７０６は、例示的に、１つ又は複数の処理ユニット７０２から遠隔に配置された１つ又は複数のストレージ機器を含む。メモリ６０６又はメモリ７０６内の不揮発性メモリは、非一時的なコンピュータ可読記憶媒体を含む。いくつかの実施形態において、メモリ７０６又はメモリ７０６の非一時的なコンピュータ可読記憶媒体は、以下のプログラム、モジュール及びデータ構造又はそれらのサブセット又はスーパーセットを記憶する。
●オペレーティングシステム７１６は、様々な基本的なシステムサービスを処理し、ハードウェアに関連するタスクを実行するプロセスを含む。
●ネットワーク通信モジュール７１８は、１つ又は複数のネットワークインターフェース７０４（有線又は無線）を介して外部サービスに接続するように構成される。
●提示モジュール７２０は、情報を提示できるように構成される。
●入力処理モジュール７２２は、１つ又は複数の入力機器７１４のうちの１つからの１つ又は複数のユーザ入力又はインタラクションを検出し、検出された入力又はインタラクションを解釈するように構成される。
●家電製品制御ユニット７２４は、家電製品７００を制御するように構成され、家電製品７００は、本明細書に記載の家電製品１４０又は１４０’のモジュールを含むが、これらに限定されない。
上記で識別された要素のそれぞれは、１つ又は複数の上記のストレージ機器に記憶でき、上記の機能を実行するための命令セットに対応する。上記のモジュール又はプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、プロセス、モジュール又はデータ構造として実現する必要がないため、これらのモジュールの様々なサブセットを組み合わせたり、様々な実装で再配置したりすることができる。いくつかの実施形態において、メモリ７０６は、例示的に、上記のモジュール及びデータ構造のサブセットを記憶する。さらに、メモリ７０６は、例示的に、上記に記載されていない追加のモジュール及びデータ構造を記憶する。
以上では特定の実施例が記載されているが、適用をこれらの特定の実施例に限定することを意図していないことを理解されたい。それどころか、本発明は、添付の特許請求の範囲の精神および範囲内にある代替物、修正物、及び同等物を含む。本明細書に提示される主題の完全な理解を提供するために、多数の特定の詳細が示されている。しかし、当業者なら自明であるが、当該主題は、これらの特定の詳細なしで実施され得る。他の例では、実施例の態様を不必要に不明瞭にしないように、周知の方法、手順、構成要素、および回路は詳細に説明されていない。
１００ 家電製品システムの動作環境
１１０ 電気機器Ａ
１１１ ユーザ機器Ａ
１１２ 電気機器Ｂ
１１３ ユーザ機器Ｂ
１１４ 電気機器Ｃ
１１５ ユーザ機器Ｃ
１２０ 訓練セットサーバ
１２２ 訓練モデルサーバ
１２８ 注釈ステーション
１２９ 推論セットサーバ
１９０ ネットワーク

Claims (8)

  1. オブジェクト認識に基づく機械制御方法であって、
    １つ又は複数のプロセッサと、カメラと、メモリとを備えた第１機械において、
    前記第１機械内の未整理のアイテムコレクションの１つ又は複数の画像を収集することと、
    前記１つ又は複数の画像から、前記未整理のアイテムコレクションの１つ又は複数のアイテムタイプを決定することと、
    前記未整理のアイテムコレクションで決定された１つ又は複数のアイテムタイプに基づいて、前記第１機械の動作設定を選択することと、を含み、
    前記１つ又は複数の画像から、前記未整理のアイテムコレクションの１つ又は複数のアイテムタイプを決定することは、
    前記１つ又は複数の画像における対応する画像を対応する複数のサブ領域に分割することと、
    前記対応する画像の前記対応する複数のサブ領域に対して特徴検出を実行して、対応する複数の領域特徴ベクトルを取得することであって、前記サブ領域の領域特徴ベクトルは、前記サブ領域の事前定義された複数の局所アイテム特徴の特性を示すことと、
    前記対応する複数の領域特徴ベクトルを組み合わせることにより、前記対応する画像の統合された特徴ベクトルを生成することと、
    複数のバイナリ分類器を前記対応する画像の前記統合された特徴ベクトルに適用することであって、前記複数のバイナリ分類器における対応するバイナリ分類器は、前記統合された特徴ベクトルを受信し、前記対応する画像の前記統合された特徴ベクトルに基づいて、前記バイナリ分類器に関連付けられたアイテムタイプが前記対応する画像に存在するかどうかを決定するように構成されることと、を含む、
    オブジェクト認識に基づく機械制御方法。
  2. 前記第１機械は、前記１つ又は複数の画像における対応する１つの画像を収集した後、前記第１機械内の前記未整理のアイテムコレクションを移動する、
    請求項１に記載のオブジェクト認識に基づく機械制御方法。
  3. 前記事前定義された局所アイテム特徴は、手動で識別された複数の局所アイテム特徴ラベルを含み、前記対応する複数のサブ領域に対して特徴検出を実行して、前記対応する複数の領域特徴ベクトルを取得することは、機械学習モデルを介して、前記手動で識別された複数の局所アイテム特徴ラベルに応じる対応する機械生成の特徴を取得することを含む、
    請求項１に記載のオブジェクト認識に基づく機械制御方法。
  4. 前記バイナリ分類器は、サポートベクトルマシンであり、前記サポートベクトルマシンは、深層学習モデルによって生成された前記複数のサブ領域の特徴ベクトルで訓練されたものである、
    請求項１に記載のオブジェクト認識に基づく機械制御方法。
  5. 前記特徴ベクトルは、前記深層学習モデルの出力レイヤ以外の前記深層学習モデルのレイヤから取得されたものである、
    請求項４に記載のオブジェクト認識に基づく機械制御方法。
  6. 前記深層学習モデルは、以下の訓練プロセスで生成されたものであり、前記訓練プロセスは、
    訓練データセットを受信することと、
    前記訓練データセットを複数のサブセットに分割することであって、各サブセットは、前記事前定義された複数の局所アイテム特徴のうちの１つ又は複数の局所アイテム特徴に対応し、前記各サブセットは、対応する１つ又は複数の局所アイテム特徴ラベルを有することと、
    対応する局所アイテム特徴ラベルを有する前記訓練データセットを使用して、前記深層学習モデルを訓練することと、を含む、
    請求項４に記載のオブジェクト認識に基づく機械制御方法。
  7. 機械であって、
    １つ又は複数のプロセッサと、
    カメラと、
    命令が記憶されているメモリと、を含み、前記命令が前記１つ又は複数のプロセッサによって実行されるときに、前記プロセッサに、請求項１ないし６のいずれか一項に記載の方法を実行させる、前記機械。
  8. 命令が記憶されているコンピュータ可読記憶媒体であって、
    前記命令が機械の１つ又は複数のプロセッサによって実行されるときに、前記プロセッサに、請求項１ないし６のいずれか一項に記載の方法を実行させる、前記コンピュータ可読記憶媒体。
JP2022523669A 2019-11-11 2020-07-17 オブジェクト認識に基づく機械制御方法及びそのシステム Active JP7332220B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/680,347 US11048976B2 (en) 2019-11-11 2019-11-11 Method and system for controlling machines based on object recognition
US16/680,347 2019-11-11
PCT/CN2020/102857 WO2021093359A1 (en) 2019-11-11 2020-07-17 Method and system for controlling machines based on object recognition

Publications (2)

Publication Number Publication Date
JP2022554127A JP2022554127A (ja) 2022-12-28
JP7332220B2 true JP7332220B2 (ja) 2023-08-23

Family

ID=75846688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022523669A Active JP7332220B2 (ja) 2019-11-11 2020-07-17 オブジェクト認識に基づく機械制御方法及びそのシステム

Country Status (5)

Country Link
US (1) US11048976B2 (ja)
EP (1) EP4028591A4 (ja)
JP (1) JP7332220B2 (ja)
CN (1) CN114466954B (ja)
WO (1) WO2021093359A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210054796A (ko) * 2019-11-06 2021-05-14 엘지전자 주식회사 지능형 디바이스의 도어 오픈 모니터링
US11373095B2 (en) * 2019-12-23 2022-06-28 Jens C. Jenkins Machine learning multiple features of depicted item
CN111507321B (zh) * 2020-07-01 2020-09-25 中国地质大学（武汉） 多输出土地覆盖分类模型的训练方法、分类方法及装置
CN112663277A (zh) * 2020-12-12 2021-04-16 上海电机学院 一种基于图像识别的洗衣系统及控制方法
US11205101B1 (en) * 2021-05-11 2021-12-21 NotCo Delaware, LLC Formula and recipe generation with feedback loop
US20220383037A1 (en) * 2021-05-27 2022-12-01 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
CN114855416B (zh) * 2022-04-25 2024-03-22 青岛海尔科技有限公司 洗涤程序的推荐方法及装置、存储介质及电子装置
CN114627279B (zh) * 2022-05-17 2022-10-04 山东微亮联动网络科技有限公司 一种快餐菜品定位方法
US20230419640A1 (en) * 2022-05-27 2023-12-28 Raytheon Company Object classification based on spatially discriminated parts
US11982661B1 (en) 2023-05-30 2024-05-14 NotCo Delaware, LLC Sensory transformer method of generating ingredients and formulas
US12056443B1 (en) * 2023-12-13 2024-08-06 nference, inc. Apparatus and method for generating annotations for electronic records

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207960A (ja) 2016-05-19 2017-11-24 株式会社リコー 画像解析装置、画像解析方法およびプログラム
CN109213886A (zh) 2018-08-09 2019-01-15 山东师范大学 基于图像分割和模糊模式识别的图像检索方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657424A (en) * 1995-10-31 1997-08-12 Dictaphone Corporation Isolated word recognition using decision tree classifiers and time-indexed feature vectors
JP3530363B2 (ja) * 1997-11-26 2004-05-24 日本電信電話株式会社 認識モデル生成方法および画像認識方法
US7319779B1 (en) * 2003-12-08 2008-01-15 Videomining Corporation Classification of humans into multiple age categories from digital images
JP2010092199A (ja) * 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4906900B2 (ja) * 2009-09-24 2012-03-28 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
US8391602B2 (en) * 2010-04-08 2013-03-05 University Of Calcutta Character recognition
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
US8718362B2 (en) * 2012-03-28 2014-05-06 Mitsubishi Electric Research Laboratories, Inc. Appearance and context based object classification in images
US8873812B2 (en) * 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers
US9600711B2 (en) * 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
EP2929252B1 (en) * 2012-12-04 2018-10-24 Stork genannt Wersborg, Ingo Haet treatment device with monitoring system
US9158992B2 (en) * 2013-03-14 2015-10-13 Here Global B.V. Acceleration of linear classifiers
US9792823B2 (en) * 2014-09-15 2017-10-17 Raytheon Bbn Technologies Corp. Multi-view learning in detection of psychological states
CN106192289A (zh) 2015-04-30 2016-12-07 青岛海尔洗衣机有限公司 洗衣机控制方法及洗衣机
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
US10037456B2 (en) * 2015-09-04 2018-07-31 The Friedland Group, Inc. Automated methods and systems for identifying and assigning attributes to human-face-containing subimages of input images
CN105956512A (zh) 2016-04-19 2016-09-21 安徽工程大学 一种基于机器视觉的空调温度自动调节系统及方法
EP3685235B1 (en) * 2017-12-30 2023-03-29 Midea Group Co., Ltd. Food preparation method and system based on ingredient recognition
US10643332B2 (en) 2018-03-29 2020-05-05 Uveye Ltd. Method of vehicle image comparison and system thereof
CN108385330A (zh) 2018-04-10 2018-08-10 深圳市度比智能技术有限公司 洗衣装置、系统及方法
CN109594288A (zh) 2018-12-03 2019-04-09 珠海格力电器股份有限公司 一种衣物洗涤方法、系统及洗衣机
CN110004664B (zh) * 2019-04-28 2021-07-16 深圳数联天下智能科技有限公司 衣物污渍识别方法、装置、洗衣机及存储介质
CN110331551A (zh) 2019-05-24 2019-10-15 珠海格力电器股份有限公司 洗衣机的洗涤控制方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207960A (ja) 2016-05-19 2017-11-24 株式会社リコー 画像解析装置、画像解析方法およびプログラム
CN109213886A (zh) 2018-08-09 2019-01-15 山东师范大学 基于图像分割和模糊模式识别的图像检索方法及系统

Also Published As

Publication number Publication date
EP4028591A1 (en) 2022-07-20
WO2021093359A1 (en) 2021-05-20
EP4028591A4 (en) 2022-11-02
CN114466954B (zh) 2022-11-29
US11048976B2 (en) 2021-06-29
CN114466954A (zh) 2022-05-10
US20210142110A1 (en) 2021-05-13
JP2022554127A (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
JP7332220B2 (ja) オブジェクト認識に基づく機械制御方法及びそのシステム
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
JP7239782B2 (ja) 目標検出モデルのマルチパストレーニングによる機器設定の調整
CN113194792B (zh) 训练烹饪器具、定位食物以及确定烹饪进度的系统和方法
CN105353634B (zh) 利用手势识别控制操作的家电设备与方法
US11080918B2 (en) Method and system for predicting garment attributes using deep learning
Takagi et al. What makes a style: Experimental analysis of fashion prediction
CN109643448A (zh) 机器人系统中的细粒度物体识别
CN106846122B (zh) 商品数据处理方法和装置
Jiménez Visual grasp point localization, classification and state recognition in robotic manipulation of cloth: An overview
CN107862313B (zh) 洗碗机及其控制方法和装置
CN112817237A (zh) 一种烹饪控制方法、装置、设备及存储介质
Lee et al. Mt-diet: Automated smartphone based diet assessment with infrared images
KR20220011450A (ko) 물품을 식별하는 장치, 서버 및 식별하는 방법
US11790041B2 (en) Method and system for reducing false positives in object detection neural networks caused by novel objects
Morris et al. Inventory Management of the Refrigerator's Produce Bins Using Classification Algorithms and Hand Analysis
Lin et al. A Study of Automatic Judgment of Food Color and Cooking Conditions with Artificial Intelligence Technology. Processes 2021, 9, 1128
US20240133101A1 (en) Electronic device for mapping identification information and custom information, and control method thereof
CN113584847B (zh) 循环扇控制方法、系统、中控设备及存储介质
CN110173866B (zh) 空调器的智能送风方法及装置、空调器
Jiang Towards Future Smart Kitchen Using AI-Driven Approaches with Multimodal Data
CN118015328A (zh) 衣物存放方法、装置、设备及存储介质
Damen et al. You-Do, I-Learn: Unsupervised Multi-User egocentric Approach Towards Video-Based Guidance

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230803

R150 Certificate of patent or registration of utility model

Ref document number: 7332220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150