JP2024522120A - オブジェクトの機械学習分析に基づく画像ベースの異常検出 - Google Patents

Abstract

オブジェクト分析システムが、本明細書に開示される。オブジェクト分析システムは、オブジェクトを描写する入力画像を受信し得る。オブジェクト分析システムは、特徴抽出モデルを使用して、前記入力画像から、前記オブジェクトの１または複数の特徴に関連付けられた第１特徴出力を決定し得る。前記特徴抽出モデルは、前記オブジェクトと同一タイプである参照オブジェクトを描写する参照画像に基づいて、訓練され得る。オブジェクト分析システムは、分類モデルを使用して、前記オブジェクトが異常を含むことを前記オブジェクトの異常状態が示している、と判定し得る。前記分類モデルは、参照画像に基づいて訓練され得る。

Description

品質管理は、製品が特定の品質標準及び／または基準を満たしていることを保証するために、当該製品を分析すること及び／またはレビューすることを含むプロセスである。物理的な製品の場合、当該製品が特定の品質標準及び／または基準を満たすことを妨げ得る、当該製品上の異常または当該製品に関連する異常を識別するために、当該製品の視覚的検査が要求され得る。このような異常の形態は、製品のタイプ（種類）に依存し得て、及び／または、様々な特徴を有するという点で固有であり得る。従って、特定の製品上の固有の異常または特定の製品に関連する固有の異常を検出可能なシステムのニーズが存在する。

幾つかの実装形態において、オブジェクトに関連する異常の検出に関連する方法は、オブジェクトを描写する入力画像を受信する工程と、特徴抽出モデルを使用して前記入力画像を処理して、前記オブジェクトの１または複数の特徴を第１特徴出力に示す工程と、前記１または複数の特徴に基づいて、分類モデルを使用して前記オブジェクトが異常を含むことを前記オブジェクトの異常状態が示していると判定する工程と、前記特徴抽出モデルの第２特徴出力に基づいて前記異常状態に関連する前記異常の位置を判定する工程と、前記異常状態及び前記位置に基づいて前記異常に関連する異常データを生成する工程と、前記異常データをオブジェクト管理システムに提供する工程と、を備え、前記特徴抽出モデルは、前記オブジェクトのタイプに関連付けられた参照画像に基づいて訓練され、前記参照画像は、前記オブジェクトの前記タイプと同一タイプである１または複数の非異常オブジェクトを描写しており、前記分類モデルは、前記第１特徴出力に関連付けられた分類スコアと、当該分類モデルの分類閾値と、に基づいて前記異常状態を判定するように構成されており、前記分類閾値は、前記参照画像を含む類似性分析に基づいて決定され、前記異常の前記位置は、前記参照画像に基づいて訓練される異常位置特定モデルを使用して判定される、ことを特徴とする。

幾つかの実装形態において、デバイスは、１または複数のメモリと、前記１または複数のメモリに結合された１または複数のプロセッサと、を備え、前記１または複数のプロセッサは、オブジェクトを描写する入力画像を受信し、特徴抽出モデルを使用して前記入力画像を処理して、前記オブジェクトの１または複数の特徴に関連する第１特徴出力を生成し、前記第１特徴出力に基づいて、分類モデルを使用して前記オブジェクトの異常状態を判定し、前記オブジェクトが異常を有することを前記入力画像が描写していると示す前記異常状態に基づいて、前記特徴抽出モデルの第２特徴出力に基づいて前記入力画像内の前記異常の位置を判定し、前記異常状態及び前記位置に基づいて前記異常に関連する異常データを生成し、前記異常データに関連付けられた動作を実行する、ように構成されており、前記特徴抽出モデルは、前記オブジェクトのタイプに関連付けられた参照画像に基づいて訓練され、前記分類モデルは、前記参照画像内に描写された非異常オブジェクトに関する類似性分析に基づいて前記異常状態を判定するように訓練され、前記異常の前記位置は、前記参照画像に基づいて訓練される異常位置特定モデルを使用して判定される、ことを特徴とする。

幾つかの実装形態において、指令のセットを記憶する有形の機械可読媒体は、１または複数の指令を含み、前記１または複数の指令は、デバイス内の１または複数のプロセッサによって実行される時、当該デバイスをして、オブジェクトを描写する入力画像を受信し、畳み込みニューラルネットワークエンコーダを使用して、前記入力画像から、前記オブジェクトの１または複数の特徴に関連付けられた第１特徴出力を決定し、サポートベクターマシンを使用して、前記オブジェクトの異常状態が前記オブジェクトが異常を含むことを示していると判定し、畳み込みニューラルネットワークデコーダを使用して、前記畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて、前記入力画像内の前記異常の位置を決定し、前記異常の前記位置に関連付けられた動作を実行する、ようにさせるものであり、前記畳み込みニューラルネットワークエンコーダは、前記オブジェクトと同一タイプの参照オブジェクトを描写する参照画像に基づいて訓練され、前記サポートベクターマシンは、前記参照画像に基づいて訓練され、前記畳み込みニューラルネットワークデコーダは、前記畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて、前記異常の前記位置を決定するように構成されており、前記畳み込みニューラルネットワークデコーダは、前記参照画像に基づいて訓練される、ことを特徴とする。

添付の図面は、以下の詳細な説明と共に、本明細書に組み込まれて本明細書の一部を形成し、本明細書に開示される概念の実装形態を更に説明するのに役立ち、また、それら実装形態の様々な原理及び利点を説明するのに役立つ。添付図面において、同様の参照符号は、別個の図面を通して同一または機能的に類似の要素を指している。

図１は、本明細書に記載されるオブジェクト分析システムの機械学習モデルを訓練することに関する例示的な実装形態の概略図である。

図２は、本明細書に記載されるオブジェクト分析システムに関する画像ベースの異常検出に関する例示的な実装形態の概略図である。

図３は、本明細書に記載される分類モデルに関する例示的な実装形態の概略図である。

図４は、本明細書に記載される異常位置特定モデルに関する例示的な実装形態の概略図である。

図５は、画像ベースの異常検出に関する機械学習モデルの訓練例及び使用例を示す概略図である。

図６は、本明細書に記載されるシステム及び／または方法が実装され得る例示的な環境の概略図である。

図７は、図６の１または複数のデバイスの例示的なコンポーネントの概略図である。

図８は、オブジェクトの機械学習分析に基づく画像ベースの異常検出に関する例示的なプロセスのフローチャートである。

当業者は、図面内の要素は簡潔及び明瞭のために示されていて、必ずしも一定縮尺で描かれていない、ということを理解するであろう。例えば、図面内の幾つかの要素の寸法は、本発明の実装形態の理解を改善することを助けるべく、他の要素と比較して誇張されている可能性がある。

装置及び方法の構成要素は、適切な場合、図面内で従来の符号によって示されており、当該図面は、詳細に関する開示を不明瞭にしないように、本明細書に記載される実装形態を理解することに関連する特定の詳細のみを示しており、当該詳細に関する開示は、本明細書の記載の利益を受ける当業者にとって容易に明らかである。

例示的な実装形態の以下の詳細な説明は、添付の図面を参照する。異なる図面における同一の参照番号は、同一または類似の要素を特定し得る。

異常検出が、画像ベースの分析を利用して実行され得る。例えば、画像処理モデル（例えば、コンピュータビジョンモデル）が、製品、機器、構造物、または、他のタイプの物理的オブジェクト、などのオブジェクト上の異常を識別するために訓練され得る。画像処理モデルは、傷、亀裂、孔、変色、欠落要素、追加要素、または、他のタイプの異常、などの異常を有するオブジェクト（「異常オブジェクト」と呼ばれ得る）を描写する画像を使用して、訓練され得る。しかしながら、様々な異常のタイプ、個々の異常のタイプの様々な特性（例えば、サイズ、形状、位置）、及び／または、時間の経過によって変化する異常の特性の能力（例えば、環境内の未知のまたは予期しない変化に起因し得る）、に起因して、そのような画像処理モデルは比較的不正確である場合があり、その結果、異常の偽陰性検出または偽陽性検出に帰結し得る。例えば、画像処理モデルは、特定のタイプの異常及び／または当該異常についての特定の特性を識別するようには訓練されていないため、画像処理モデルは、オブジェクト上の異常の当該タイプを正確に検出できない場合がある。従って、オブジェクト上のまたはオブジェクトに関連する、固有の異常及び／または未知の異常を、堅牢かつ正確に検出できるオブジェクト分析システムのニーズが存在する。

本明細書に記載される幾つかの実装形態は、オブジェクトの異常を検出、分類及び／または位置特定するための、オブジェクト分析システムを提供する。オブジェクト分析システムは、何らの異常を含まない１または複数の参照オブジェクトを描写する参照画像に基づいて訓練されるモデルの配置を含み得る、及び／または、利用し得る。例えば、オブジェクト分析システムは、オブジェクトを分析して当該オブジェクトが異常を含むか否かを判定するように構成された、特徴抽出モデル、分類モデル、及び、異常位置特定モデルを含み得る。これらのモデルは、１または複数の非異常オブジェクトを描写する参照画像の分析から参照オブジェクトの特徴を識別、分析及び／または検出するように訓練され得る。このようにして、オブジェクト分析システムは、参照オブジェクトと入力画像（例えば、当該オブジェクト分析システムによって分析されているオブジェクトを描写する画像）に描写されたオブジェクトとの比較に基づいて、異常を検出、分類及び／または位置特定し得る。このようにして、特定の異常、または、異常の特定の構成、を描写する画像の訓練を利用して訓練されること無しで、本明細書に記載されるオブジェクト分析システムは、オブジェクト上の異常を堅牢かつ正確に検出、分類及び／または位置特定し得る。更に、オブジェクト分析システムのモデルは、他のシステムよりも少ない訓練データを使用して訓練され得て、それにより、画像ベースの異常検出の堅牢さ及び正確さを他のシステムに対して維持及び／または改善しながら、コンピューティングリソース（例えば、処理リソース、メモリリソース及び／またはストレージリソース）を節約し得る。

図１は、オブジェクト分析システムの機械学習モデルの訓練に関する例示的な実装形態１００の概略図である。図１に示すように、例示的な実装形態１００は、参照データ構造と、特徴抽出モデル及び分類モデルを含む運用管理システムと、を備える。例示的な実装形態１００では、オブジェクト分析システムは、１または複数のオブジェクトを描写する参照画像に基づいてオブジェクト上の異常を検出するために、特徴抽出モデル及び分類モデルを訓練し得る。例示的な実装形態１００は、特定のタイプのオブジェクト上のまたはそれに関する異常を検出及び／または分類するように、特徴抽出モデル及び／または分類モデルを訓練することに関連して説明され得るが、図１に関連して説明される実施例は、複数のタイプのオブジェクト上のまたはそれに関する異常を検出及び／または分類するように、特徴抽出モデル及び／または分類モデルを訓練することに関して同様に適用され得る。

図１に参照符号１１０によって示されるように、オブジェクト分析システムは、オブジェクトタイプに関連付けられた参照画像データを受信し得る。例えば、オブジェクト分析システムは、特徴抽出モデル及び／または分類モデルの訓練に関する訓練期間中に、参照画像データ構造から参照画像データを取得し得る。参照画像データ構造は、１または複数の画像ソース（例えば、１または複数の画像捕捉デバイス、１または複数の画像データベース、及び／または、１または複数のネットワークまたはシステム）から、参照画像を受信及び／または記憶するストレージデバイス及び／またはメモリデバイスを含み得る。参照画像データは、あるタイプのオブジェクト（例えば、オブジェクト分析システムによって異常検出のために分析される対象のオブジェクトのタイプ）を描写する参照画像を含み得る。幾つかの実装形態では、参照画像は、複数のタイプのオブジェクトを描写し得る（例えば、本明細書に記載される実施例に従って、特徴抽出モデル及び／または分類モデルが複数のタイプのオブジェクト上の異常を検出することを許容するため）。

本明細書に記載されるように、特徴抽出モデルが、画像内に描写されたオブジェクトの特徴を識別し、及び／または、識別された特徴に基づいてオブジェクトを異常または非異常として分類する、ことを許容するために、参照画像は非異常オブジェクトを描写し得る。非異常オブジェクトは、異常を含まないオブジェクトであり得る。例えば、本明細書で使用される非異常オブジェクトは、正常なオブジェクト、標準のオブジェクト、または、標準（例えば、業界標準）または公差（例えば、設計公差及び／または製造公差）に対して許容可能なオブジェクト、とみなされ得る。

図１に参照符号１２０によって示されるように、オブジェクト分析システムは、非異常オブジェクトの特徴を抽出する。非異常オブジェクトは、同一のタイプのオブジェクトである参照オブジェクトを描写する参照画像内に描写され得る。例えば、オブジェクト分析システムは、特徴抽出モデルを介して、参照画像データ（及び／または当該参照画像データの参照画像）を分析し得て、あるタイプのオブジェクトの特徴を識別し得る。より具体的には、オブジェクト分析システムは、参照画像データを分析し得て、当該画像データに描写された参照オブジェクトの特徴を識別し得る。このような特徴は、参照画像に共通に描写される一連の特徴であり得る。

幾つかの実装形態では、特徴抽出モデルは、参照画像を前処理して、参照オブジェクトに関連付けられる及び／または参照オブジェクトを描写する参照画像のピクセルを識別及び／または抽出する、ように訓練される画像処理モデルを含み得る、及び／または、それに関連付けられ得る。例えば、画像処理モデルは、オブジェクト検出モデル、セグメンテーションモデル、エッジ検出モデル、及び／または、参照画像内のオブジェクトの描写に関連付けられる境界ボックスを決定するように構成された他のタイプのモデル、を含み得る、及び／または、それに関連付けられ得る。従って、画像処理技術は、参照オブジェクトの特徴を識別する精度及び効率を向上させるために、参照画像内の背景及び／またはノイズを除去し得る。このようにして、特徴抽出モデルは、（例えば、特徴抽出モデルの教師なし学習及び／または教師なし訓練を促進及び／または改善するために）参照オブジェクトの特徴を含むまたは示す参照画像の部分のみを使用して訓練され得る。

特徴抽出モデルは、本明細書の他の場所で説明されるように（例えば、当該オブジェクト分析システム及び／または他のシステムによって）訓練される及び／または使用される機械学習モデルを含み得る、及び／または、それに関連付けられ得る。例えば、オブジェクト分析システムは、あるタイプのオブジェクトに関連付けられている参照画像データの参照画像に基づいて、当該タイプのオブジェクトを分析するための特徴抽出モデルを訓練し得る。幾つかの実装形態では、特徴抽出モデルは、（例えば、特徴抽出モデルの出力層からの第１特徴出力として）特徴のセットを分類モデルに提供するために、当該特徴のセットを識別するように訓練され得る。このようにして、本明細書の他の箇所で説明されるように、当該特徴のセットが、入力画像が異常オブジェクトを描写しているか非異常オブジェクトを描写しているかを判定するように分類モデルを訓練するために利用され得る。

更に図１に参照符号１３０によって示されるように、オブジェクト分析システムは、参照画像に基づいて分類モデルを訓練する。例えば、オブジェクト分析システムは、特徴抽出モデルによって識別及び／または抽出された特徴のセットに基づいて、分類モデルを訓練し得る。オブジェクト分析システムは、画像内に描写されたオブジェクトの異常状態を判定するために分類モデルを訓練し得る。例えば、異常状態は、（例えば、二項分類技術に従って）オブジェクトが異常であるか非異常であるかを示し得る。付加的または代替的に、異常状態は、オブジェクトが異常を含む場合、異常の特定のタイプを示し得る。

分類モデルは、サポートベクターマシンを含み得る、及び／または、それに関連付けられ得る。例えば、オブジェクト分析システム（及び／または他のシステム）は、参照画像データの参照画像に描写されている非異常オブジェクトに対する類似性を決定及び／または予測するように、サポートベクターマシンを訓練し得る。より具体的には、分類モデルは、サポートベクターマシンを介して、前記特徴のセットに基づいて分類スコアを決定し得る。更に、分類モデルは、入力画像に描写されたオブジェクトが異常オブジェクトであるか非異常オブジェクトであるかを判定するための閾値に対して、分類スコアを比較するように訓練され得る。幾つかの実装形態では、当該閾値は、参照画像データから学習される特徴のセットに関係なく設定される固定値（例えば、固定範囲内）などの、固定の閾値であり得る。付加的または代替的に、当該閾値は、特徴抽出モデルによって識別される１または複数の参照オブジェクトの特徴のセットに特有の、カスタマイズされる閾値であり得る。このようなカスタマイズされる閾値は、参照画像に描写されている非異常オブジェクトの特徴の比較的小さな変動や偏差（例えば、標準または公差に従って異常とはみなされないであろう変動や偏差）を考慮するべく、１または複数の分類閾値に更に精製され得る。

更に図１に参照符号１４０によって示されるように、オブジェクト分析システムは、試験データに基づいて分類閾値を特定する。例えば、図１に示されるように、試験データ及び訓練データのセットが、参照画像データから構成及び／または配置され得る。より具体的には、訓練データ及び試験データの第１セットが、使用される残りの画像（Ｉｍａｇｅ＿２～Ｉｍａｇｅ＿Ｎ）と類似性分析を介して比較されるＮ個の画像のセットからの試験データとしての最初の画像（Ｉｍａｇｅ＿１）を含み得て、最初の反復で分類モデルを訓練し得る。類似性分析から、分類モデルは（例えば、サポートベクターマシンを介して）、訓練データ及び試験データの第１セットに対する第１分類スコア（ｓ＿１のサポートベクターマシン（ＳＶＭ）スコアとして示される）を決定し得る。同様に、訓練データ及び試験データの第２セットが、使用される残りの画像（Ｉｍａｇｅ＿１、及び、Ｉｍａｇｅ＿３～Ｉｍａｇｅ＿Ｎ）と類似性分析を介して比較されるＮ個の画像のセットからの試験データとしての２番目の画像（Ｉｍａｇｅ＿１）を含み得て、２番目の反復で分類モデルを訓練し得る。類似性分析から、分類モデルは（例えば、サポートベクターマシンを介して）、訓練データ及び試験データの第２セットに対する第２分類スコア（ｓ＿２のＳＶＭスコアとして示される）を決定し得る。以下同様である。このようにして、分類閾値を決定するために、Ｎ個の分類スコアがＮセットの試験データ及び訓練データから取得され得る。例えば、分類閾値は、特徴抽出モデルによって識別された特徴のセットに従って、分類モデルを訓練することから識別または学習された閾値をシフトすることに基づいて決定され得る。このようにして、参照画像に描写された非異常オブジェクトに関する類似性分析に基づいて、オブジェクト分析システム（及び／または他のシステム）は、分類閾値を特定するように分類モデルを訓練（または精製）し得て、さもなければ参照オブジェクトの特徴の比較的小さな変動または偏差（例えば、特徴の形状、サイズ、色または形態の、無視できる程度の差）によって引き起こされ得るエラーまたは不正確さを低減し得る。

従って、例示的な実装形態１００に関連して説明されるように、オブジェクト分析システム（及び／または他のシステム）は、特徴抽出モデルを訓練し得て、及び／または、当該特徴抽出モデルを使用して分類モデルを訓練し得て、非異常オブジェクトを描写する参照画像に基づいてオブジェクトの異常状態を判定し得る。このようにして、特徴抽出モデル及び分類モデルは、特定の異常のタイプまたは特定の異常の特性を認識するように事前に訓練されること無しで、オブジェクト上の様々な異常を堅牢かつ正確に検出するように協働し得る。特徴抽出モデル及び／または分類モデルは、図５に関連して説明されるように、任意の適切な技術に従って訓練され得る。

前述のように、図１は一例として提供されている。他の例は、図１に関して説明されたものとは異なり得る。図１に示されるデバイスの数及び配置は、一例として提供されている。実際には、図１に示されているものと比較して、追加のデバイスが存在し得て、より少ないデバイスが存在し得て、異なるデバイスが存在し得て、あるいは、異なって配置されるデバイスが存在し得る。更に、図１に示される２またはそれ以上のデバイスが、単一のデバイス内に実装されてもよいし、あるいは、図１に示される単一のデバイスが、複数の分散デバイスとして実装されてもよい。付加的または代替的に、図１に示されるデバイスのセット（例えば、１または複数のデバイス）は、図１に示されるデバイスの他のセットによって実行されるものとして説明される１または複数の機能を実行し得る。

図２は、オブジェクト分析システムに関する画像ベースの異常検出に関連する例示的な実装形態２００の概略図である。図２に示されるように、例示的な実装形態２００は、オブジェクト分析システム、オブジェクト管理システム、及び、ユーザデバイスを含む。例示的な実装形態２００では、オブジェクト分析システムは、特徴抽出モデル、分類モデル、及び、異常位置特定モデルを含む。

特徴抽出モデル及び／または分類モデルは、図１に関連して前述されたのと同様の方法で訓練され得る。例示的な実装形態２００では、特徴抽出モデルは、畳み込みニューラルネットワークエンコーダを含み得るか、または、それに関連付けられ得る。更に、異常位置特定モデルは、畳み込みニューラルネットワークのデコーダに対応し得る。このようにして、特徴抽出モデル及び異常位置特定モデルは、本明細書の他の箇所で説明されるように、畳み込みニューラルネットワークオートエンコーダとして構成され得る。分類モデルは、本明細書の他の箇所で説明されるように、１または複数のサポートベクターマシンを含み得る、及び／または、それに関連付けられ得る。

例示的な実装形態２００では、オブジェクト管理システムは、本明細書で説明されるように、オブジェクトの画像を捕捉及び／または提供するように構成された画像捕捉デバイス（例えば、カメラ）を含み得る、及び／または、それに関連付けられ得る。オブジェクト管理システムは、他の実施例の中でも特に、組立または製造システム、在庫管理システム、及び／または、輸送システムを含み得る。オブジェクト分析システムは、当該オブジェクト分析システムがオブジェクト上の異常（または特定のタイプの異常）を検出したか否かに基づいてオブジェクトの処理を容易化するように、オブジェクト管理システムと関連付けられ得る。幾つかの実装形態では、オブジェクト分析システムは、検出された異常のパターンを示す及び／または識別するように構成され得て、当該異常のパターンは、オブジェクト管理システムの１または複数のコンポーネントまたは要素の問題（例えば、オブジェクトに異常を引き起こしている製造装置の欠陥部分）を示し得る。従って、オブジェクト分析システムは、オブジェクト管理システム及び／またはユーザデバイスに情報を提供し得て、オブジェクト管理システム及び／またはユーザデバイスのユーザが、オブジェクトが異常オブジェクトであると判定されたか否かに基づいてオブジェクト（またはオブジェクト管理システム）を処理及び／または管理することを、許容し得る。

図２に参照符号２１０によって示されるように、オブジェクト分析システムは入力画像を受信する。例えば、オブジェクト分析システムは、画像捕捉デバイスから入力画像を受信し得る。画像捕捉デバイスは、本明細書に記載される実施例に従う画像ベースの異常検出を容易化するために、オブジェクト管理システム内に構成及び／または位置決めされ得る。幾つかの実装形態では、画像捕捉デバイスは、例示的な実装形態１００の特徴抽出モデル及び／または分類モデルを訓練することに関連して前述された参照画像を捕捉するために使用された１または複数の画像捕捉デバイスと同一または類似の位置で、オブジェクト管理システム内に構成され得る。このようにして、入力画像は、前述の参照画像内に非異常オブジェクトが描写されているのと類似の態様で、オブジェクト管理システムによって処理されているオブジェクトを描写し得る。

更に図２に参照符号２２０によって示されるように、オブジェクト分析システムは、オブジェクトの描写された特徴を識別する。例えば、図示されているように、オブジェクト分析システムは、特徴抽出モデルを介して、入力画像に関連付けられた画像データを受信し得て、画像データのピクセル値（例えば、入力画像内のオブジェクトを描写するピクセル値）からオブジェクトの特徴を識別し得る。特徴抽出モデルの畳み込みニューラルネットワークエンコーダは、本明細書の他の箇所で説明されるように、非異常オブジェクトを描写する参照画像に基づいて訓練され得る。幾つかの実装形態では、畳み込みニューラルネットワークエンコーダは、複数の層を有する。例えば、畳み込みニューラルネットワークエンコーダは、画像データを受け取る入力層、画像内に描写された識別された特徴に従って画像データを処理するように訓練される１または複数の中間層、及び、第１特徴出力として特徴データを分類モデルに提供する出力層、を含み得る。このようにして、分類モデルは、特徴抽出モデルが入力画像内で識別した特徴のセットを受信及び／または識別し得て、当該分類モデルがオブジェクトの異常状態を判定することを許容し得る。

幾つかの実装形態では、入力画像の受信に基づいて、オブジェクト分析システムは、本明細書で説明されるように、画像に基づく異常検出を容易化するために、画像に対して１または複数の前処理技術を実行し得る。例えば、オブジェクト分析システムは（例えば、特徴抽出モデルを介して）、画像処理モデル（例えば、オブジェクト検出技術、セグメンテーション技術、及び／または、エッジ検出技術を利用するモデル）を利用し得て、入力画像に描写されたオブジェクトの位置を特定し得る。より具体的には、前処理技術は、ピクセルレベルの分析に基づいて、オブジェクトの周囲を示す、オブジェクトに関連付けられた境界ボックスを識別し得る。従って、オブジェクトを描写する入力画像のピクセルが、オブジェクトの一部を描写しない入力画像のピクセルから、抽出され得る（例えば、入力画像から背景及び／またはノイズを除去するため）。付加的または代替的に、特徴抽出モデル（または分類モデルまたは異常位置特定モデル）がオブジェクトの一部を描写していないピクセルを分析するのにリソースを浪費する必要がないように、オブジェクトのどの部分も描写していないピクセルが固定値（例えば、ゼロ）に設定されてもよい。このようにして、例示的な実装形態２００における画像データは、特徴抽出モデルがオブジェクトの一部である入力画像のピクセルのみを分析するように、オブジェクトを描写する（またはそれに関連付けられる）ピクセルのみを含み得る。

特徴抽出モデルは、異常位置特定モデルに位置特定データを提供し得る。幾つかの実装形態では、特徴抽出モデルは、異常位置特定モデルが（例えば、オブジェクトが異常を含むという判定に基づいて）異常の位置を決定するためにトリガされることに基づいて、位置特定データを提供する（または、異常位置特定モデルがそれを取得することを可能にする）。このようにして、特徴抽出モデルは、本明細書の他の箇所に説明されるように、異常が位置特定されるまで、異常位置特定モデルに位置特定データを提供しなくてもよい。

特徴抽出モデルは、畳み込みニューラルネットワークエンコーダの中間層から、第２特徴出力として位置特定データを提供し得る。従って、第１特徴出力及び第２特徴出力は、特徴抽出モデルの畳み込みニューラルネットワーク（例えば、畳み込みニューラルネットワークエンコーダ）の異なる層からのものであり得る。特徴抽出モデルは、異常を示す特徴を検出する中間層、及び／または、特徴抽出モデル及び／または分類モデルの訓練期間中に学習されなかった特徴などの未知の特徴を検出する中間層、から位置特定データを出力するように訓練され得る。このようにして、特徴抽出モデルは、当該特徴抽出モデルが追加の特徴を識別することと並行して、異常位置特定モデルが異常の位置を決定することを許容し得る。従って、異常位置特定モデルは、本明細書の他の場所で説明されるように、位置特定データが出力層（または特徴データと同一）から提供される場合及び／または異常位置特定モデルが特徴抽出モデルと分類モデルとの間に直列に配置される場合よりも比較的早期に、異常の位置を示し得る。このようにして、分類モデルは、異常に関連付けられた位置情報を受信するのにそれほど長く待つ必要がないため、前述のように、オブジェクト分析システムは、本明細書の他の場所で説明されるように、異常位置特定モデルが特徴抽出モデルの出力層から位置特定データを受け取る場合、及び／または、異常位置特定モデルが特徴抽出モデルと分類モデルとの間に直列である場合、よりも迅速に、異常の位置に従って異常を検出及び／または分類し得る。

更に図２に参照符号２３０によって示されるように、オブジェクト分析システムは、ピクセルエラーに基づいて、異常な特徴を位置特定する。例えば、オブジェクト分析システムの異常位置特定モデルは、特徴抽出モデルから位置特定データ内のピクセルエラーを受信し得て、位置特定データに従って異常な特徴を位置特定し得る。前述のように、異常位置特定モデルは、特徴データを含む特徴抽出モデルの第１特徴出力とは異なる層から、特徴抽出モデルの第２特徴出力として位置特定データを受信し得る。

幾つかの実装形態では、異常位置特定モデルは、入力画像が異常なオブジェクトを描写していることを分類モデルが検出した後で、異常の位置を決定する及び／または位置特定データを取得するように（例えば、分類モデルによって）トリガされ得る。このような場合、異常位置特定モデルは、分類モデルがオブジェクト上の異常を検出するまで、及び／または、（例えば、二値（バイナリ）分類技術に従って）入力画像が異常なオブジェクトを描写していると判定するまで、位置特定データを受信または取得しなくてもよい。このようにして、異常位置特定モデルは、分類モデルによって異常が検出されるまで、特徴抽出モデルからの位置特定データを処理しない場合があり、それによって、非異常の画像を示す入力画像内の（存在しない）異常を位置特定しようとすることで浪費され得るコンピューティングリソースを節約し得る。

異常位置特定モデルの畳み込みニューラルネットワークデコーダは、非異常オブジェクトを描写する参照画像に基づいて訓練され得る。例えば、異常位置特定モデルは、本明細書の他の箇所で説明されているように、特徴抽出モデルと同様の態様で訓練され得る。ピクセルエラーは、入力画像と位置特定データからのオブジェクトの再構成画像とに関する類似性分析（例えば、識別されたピクセルエラーごとの構造類似性指数測定（ＳＳＩＭ）を使用する）に基づいて決定され得る。例えば、再構成画像は、非異常オブジェクトの描写に対応するピクセル値を表し得る。従って、再構成画像のピクセル値に対応する（例えば、ピクセル値の値の指定された範囲内にない）入力画像（及び／または位置特定データ）のピクセル値に関連する信頼レベルを決定する異常位置特定モデルに基づいて、異常位置特定モデルは、（例えば、少なくとも図４に関連して更に説明されるように）オブジェクト上の異常の位置を特定し得る。

異常位置特定モデルは、異常位置情報で位置を示し得る。例えば、異常位置情報は、（例えば、上方部分、下方部分、中央部分、左側部分、右側部分、等の方向識別子を用いて、及び／または、頂面、側面、底面、等の表面識別子を用いて）画像の座標及び／またはオブジェクトに対する相対的な位置情報を識別し得る。幾つかの実装形態では、異常位置特定モデルは、ピクセルエラーの量、ピクセルエラーから決定されるクラスター内のピクセルの量（例えば、識別されたピクセルエラーによって形成される領域または境界内にあるピクセルの群）、及び／または、ピクセルエラーを含む画像の座標、に基づいて異常のサイズを決定し得る。異常位置特定モデルは、異常位置情報で異常のサイズを分類モデルに示し得る。このようにして、オブジェクト分析システムは、異常位置特定モデルを使用して、異常の位置を決定し、及び／または、それをサポートベクターマシンに示し得る。

更に図２に参照符号２４０によって示されるように、オブジェクト分析システムは、特徴に基づいて分類スコアを決定する。例えば、オブジェクト分析システムの分類モデルは、特徴データ及び／または異常位置情報を受信し得て、当該特徴データ及び／または異常位置情報に基づいて、オブジェクトの異常状態を示す分類スコアを決定し得る。幾つかの実装形態では、分類モデルは、特徴抽出モデルの第１特徴出力（例えば、畳み込みニューラルネットワークエンコーダの出力層からの特徴データ）に基づいて、分類スコアを（例えば、サポートベクターマシンを介して）決定し得る。

前述されたように、分類モデルは、異常状態を示す分類スコアを提供するように構成されたサポートベクターマシンを含み得るか、または、それに関連付けられ得る。幾つかの実装形態では、分類モデルのサポートベクターマシンは、本明細書の他の箇所に説明されるように、入力画像に描写されたオブジェクトのタイプを分析するように特別に訓練された単一クラスのサポートベクターマシンであり得る。異常状態は、異常な特徴を含むオブジェクトを示す分類スコアに基づいて、入力画像が異常を有するオブジェクトを描写しているか否か、を示し得る。異常状態は、分類スコアと分類閾値（例えば、異常な（特異な）特徴が異常を示すのか、あるいは、異常を示さないのか、に関連付けられた閾値）との比較に基づいて決定及び／または示され得る。このような場合、分類モデルは、分類閾値に従って（分類スコアが分類閾値を満たすのか満たさないのかに基づいて）二値分類（二項分類）を出力し得る。従って、異常状態は、オブジェクトが異常な特徴を含むのか、あるいは、異常な特徴を含まないのか、を示し得る。幾つかの実装形態では、オブジェクトが異常な特徴を含む場合、異常状態は、当該異常な特徴に関連付けられた特定の異常の特性（例えば、とりわけ、タイプ、位置、及び／または、サイズ）を示し得る。

幾つかの実装形態では、異常位置モデルは、分類モデルに二値分類（例えば、オブジェクトが異常であるか非異常であるかを示す）を提供し得る。このようにして、分類モデルは、異常位置特定モデルからの二値分類を分類モデルのサポートベクターマシン分類（例えば、サポートベクターマシンからの二値分類）と組み合わせて得て、オブジェクトが異常であるのか非異常であるのかを分類スコアが正確に示していることを検証し得る。従って、異常位置特定モデルは、オブジェクトが異常を含むか否かの検出（または予測）に関して、信頼性及び／または精度を改善し得る。幾つかの実装形態では、異常位置特定モデルからの二値分類が分類モデルのサポートベクターマシン分類を（またはその逆を）検証または有効化しない場合、オブジェクト分析システムは、（例えば、ユーザデバイス及び／またはオブジェクト管理システムに）更なる処理が必要であることを示し得る。付加的または代替的に、オブジェクト分析システムは、オブジェクトを描写する他の入力画像を要求または取得し得て（そして、当該他の入力画像に基づく分析を実行し得て）、及び／または、オブジェクトを描写する他の画像を要求または取得する前にオブジェクト管理システムをしてオブジェクトを再構成させ得る。

図２では、分類モデルは、複数のサポートベクターマシンを利用して、オブジェクト上の識別された異常を分類し得る。例えば、分類モデルは、オブジェクトが異常を含むのか、あるいは、異常を含まないのか、を示す二値分類を（例えば、第１分類閾値に従って）決定するように訓練された第１サポートベクターマシンと、識別された異常がスクラッチ（傷）であるのか、あるいは、スクラッチではないのか、を示す二値分類を（例えば、第２分類閾値に従って）決定するように訓練された第２サポートベクターマシンと、異常が変色であるのか、あるいは、変色ではないのか、を示す二値分類を（例えば、第３分類閾値に従って）決定するように訓練された第３サポートベクターマシンと、を含み得る。従って、図示されるように、分類モデルは、第１サポートベクターマシンを介して、オブジェクトが異常を含むこと、及び／または、オブジェクトの２つの識別された特徴が２つの異常（異常１及び異常２）に対応すること、を示す異常データを生成し得る。更に、図示されるように、分類モデルは、第２サポートベクターマシンを介して、第１異常（異常１）がスクラッチであることを示す異常データを生成し得る。更に、分類モデルは、第３サポートベクターマシンを介して、第２異常（異常２）が変色であることを示す異常データを生成し得る。

幾つかの実装形態では、図示されるように、オブジェクト分析システムは、異常位置情報を異常分類と組み合わせて、異常データを生成し得る。例えば、図示されるように、第１異常の異常データは、スクラッチが座標（ｘ１、ｙ１）に示されているようにオブジェクト上に位置していて、３ミリメートルのサイズを有することを示し得る。更に、第２異常の異常データは、変色が座標（ｘ２、ｙ２）に示されているようにオブジェクト上に位置していて、１ミリメートルのサイズを有することを示し得る。幾つかの実装形態では、本明細書の他の場所で説明されるように、異常データは、異常の位置及び／または異常のタイプを示すように入力画像と結合され得る。例えば、オブジェクト分析システムは、入力画像に描写されているオブジェクト上に異常の位置を示す位置インジケータ（例えば、とりわけ、ハイライト、輪郭、矢印、及び／または、上書き（オーバーレイ））を生成し得る。例えば、それは、入力画像上に位置インジケータを上書き（オーバーレイ）すること、及び／または、入力画像内に位置インジケータを埋め込むことによって、行われ得る。

更に図２に参照符号２５０によって示されるように、オブジェクト分析システムは、異常データをユーザデバイスに提供する。例えば、オブジェクト分析システムは、異常データを含む通知、及び／または、オブジェクトが異常を含むことをユーザデバイスのユーザに（例えば、プロンプトまたはメッセージインジケータを介して）警告する通知、をユーザデバイスに提供し得る（例えば、当該ユーザがオブジェクト管理システム内でオブジェクトを識別する及び／またはアドレス指定することを許容するため）。幾つかの実装形態では、オブジェクト分析システムは、異常データに基づいてレポートを生成し得る。例えば、レポートは、本明細書で説明されるように、オブジェクト分析システムが分析した（分析対象とした）一定期間またはオブジェクトのバッチに関連付けられ得る。幾つかの実装形態では、レポートは、検出された異常に関連付けられた統計（例えば、異常を含むと判定されたオブジェクトの量、特定のタイプの異常の量、特定の特性の異常に関連付けられたパターンまたは傾向、等）を示し得る。幾つかの実装形態では、オブジェクト分析システムは、オブジェクトが異常を含むことの検出に基づいて、特定の期間中に分析されたオブジェクトの閾値量が異常を含むことの検出に基づいて、特定の期間中に分析されたオブジェクトの閾値割合が異常を含むことの検出に基づいて、及び／または、オブジェクトの特定の特性の異常に関連付けられた特定の傾向が特定の期間中に発展した（例えば、複数のオブジェクトが同一または類似の異常を有すると判断される（これは、異常を引き起こしているオブジェクト管理システムの１または複数の構成要素に関する問題を示している可能性がある））ことの検出に基づいて、異常データをユーザデバイスに提供し得る。

更に図２に参照符号２６０によって示されるように、オブジェクト分析システムは、オブジェクト処理を容易化する。例えば、オブジェクト分析システムは、オブジェクト管理システムをしてオブジェクトを管理させるために、オブジェクト管理システムに異常データを提供し得る。より具体的には、オブジェクト分析システムは、異常データをオブジェクト管理システムに提供し得て、オブジェクト管理システムをして１または複数のデバイスを制御させ得て、１または複数の動作（操作）に従ってオブジェクトを管理させ得る。例えば、そのような動作（操作）は、オブジェクトを破棄すること（例えば、処理からオブジェクトを除去することによって）、オブジェクトを異常とラベル付けすること（例えば、オブジェクト分析システムのラベリング機構を介して）、及び／または、オブジェクトを異常オブジェクト用に指定された領域（そこで異常オブジェクトは更に点検及び／または修復され得る）へと経路付けすること、を含み得る。幾つかの実装形態では、オブジェクト分析システムは、異常データに従ってオブジェクト管理システムを制御して、オブジェクトに関連付けられた１または複数の動作（操作）を実行し得る。

このようにして、オブジェクトがオブジェクト管理システムから出力されて、現場で使用されて、及び／または、消費者に販売される前に、オブジェクト分析システムは、堅牢（ロバスト）で正確な画像ベースの異常検出モデルを利用して、オブジェクトの管理及び／または処理を容易化し得て、分析されたオブジェクトが特定の基準または基準を満たすこと（例えば、非異常オブジェクトであること）を保証し得る。これにより、特定の基準または標準を満たさないオブジェクト（例えば、異常オブジェクト）からの危険または消費者エクスペリエンスの低下の可能性を軽減または防止し得る。

前述のように、図２は一例として提供されている。他の例は、図２に関して説明されたものとは異なり得る。図２に示されるデバイスの数及び配置は、一例として提供されている。実際には、図２に示されているものと比較して、追加のデバイスが存在し得て、より少ないデバイスが存在し得て、異なるデバイスが存在し得て、あるいは、異なって配置されるデバイスが存在し得る。更に、図２に示される２またはそれ以上のデバイスが、単一のデバイス内に実装されてもよいし、あるいは、図２に示される単一のデバイスが、複数の分散デバイスとして実装されてもよい。付加的または代替的に、図２に示されるデバイスのセット（例えば、１または複数のデバイス）は、図２に示されるデバイスの他のセットによって実行されるものとして説明される１または複数の機能を実行し得る。

図３は、本明細書で説明される分類モデルに関連付けられた例示的な実装形態の概略図である。図３に示されるように、例示的な一実装形態は、サポートベクターマシンの配置の一例を含み、それは、本明細書の他の場所で説明される分類モデル内に含まれ得て、当該分類モデルによって利用され得て、及び／または、当該分類モデルに関連して訓練され得る。この配置は、様々なタイプ（ｔ）の異常に対する、第１サポートベクターマシン及び後続のサポートベクターマシン（ｓＳＶＭ＿ｔ）を含む、複数のサポートベクターマシンのカスケード３００を含み得る。第１サポートベクターマシン及び後続のサポートベクターマシンは、特定の目的のために独立して訓練される個別の単一クラスのサポートベクターマシンであり得る。より具体的には、第１サポートベクターマシンは、受信された入力画像が異常を含むか異常を含まないかの二値分類を提供するように訓練され得る。サポートベクターマシンの閾値は、変動し得て、本明細書の他の箇所で説明されるように、非異常オブジェクトの参照画像に従って決定され得る。更に、カスケード３００内の個々の後続のサポートベクターマシンは、異常が、当該個々の後続のサポートベクターマシンが検出するように訓練された対応するタイプの異常であるか否か、を示す二値分類を提供し得る。

従って、参照符号３０２によって示されるように、第１サポートベクターマシンは、入力画像を分析して、入力画像が非異常なオブジェクトを描写しているか否かを判定し得る。第１サポートベクターマシンが、入力画像が非異常オブジェクトを描写していると判定する場合、当該第１サポートベクターマシンは、参照符号３０４によって示されるように、当該オブジェクトが「ＯＫ」（例えば、非異常を表し得る）であることを示す。第１サポートベクターマシンが、入力画像が異常オブジェクトを描写していると判定する場合、当該第１サポートベクターマシンは、参照符号３０６によって示されるように、異常が検出されたことを示し得る。更に、参照符号３０８によって示されるように、最初の反復において、後続のサポートベクターマシンが、検出された異常がある特定のタイプの異常に対応するか否か、を判定する。後続のサポートベクターマシンが、異常がある特定のタイプの異常であると判定する場合、参照符号３１０によって示されるように、当該特定のタイプが示され得る。後続のサポートベクターマシンが、異常が当該後続のサポートベクターマシンが識別するように訓練されている特定のタイプの異常でないと判定する場合、参照符号３１２によって示されるように、カスケードは、他の異常をチェックするべきか否かを判定する。後続のサポートベクターマシンがカスケード内の最後のサポートベクターマシンである場合、分類分析は終了し得る。それ以外の場合、参照符号３１４によって示されるように、分類モデルは、異常が他のタイプの異常であるか否かを判定するために訓練された他の後続のサポートベクターマシンを用いた分析を反復する。

後続のサポートベクターマシンは、任意の適切な方法でカスケード内に配置され得る。例えば、最も頻繁に検出されるタイプの異常は、カスケード内で第１サポートベクターマシンの最も近くに位置決めされ得る（例えば、カスケードを通じての複数の反復が必要となる可能性を低減するため）。付加的または代替的に、最も単純または最も複雑でないサポートベクターマシン（例えば、これは、サポートベクターマシンの中で最も検出が容易な異常を識別するように構成され得る）が、カスケード内で第１サポートベクターマシンの最も近くに位置決めされ得る（例えば、最も容易に検出可能な異常を最初に分析することを保証するため（これは、相対的に小さな処理電力を要求し得る））。

従って、図３に示されるように、第１サポートベクターマシンは、オブジェクトが異常な特徴を含むことを示す第１の二値分類を出力するように、カスケード内に構成され得る。更に、第２サポートベクターマシン（例えば、後続のサポートベクターマシンのうちの１つ）が、オブジェクトが異常な特徴を含むことを示す第１の二値分類に基づいて、異常がある特定のタイプの異常であるのか、あるいは、異常が当該特定のタイプの異常ではないのか、を示す第２の二値分類を出力するように構成され得る。これに対応して、分類モデルは、第２の二値分類に基づいて、異常が当該特定のタイプの異常であるのか、あるいは、異常が当該特定のタイプの異常ではないのか、を示すラベルを含む異常データを生成し得る。

前述のように、図３は一例として提供されている。他の例は、図３に関して説明されたものとは異なり得る。

図４は、異常位置特定モデル４００に関連付けられた例示的な実装形態の概略図である。図４に示されるように、異常位置特定モデル４００は、本明細書の他の場所で説明される実施例に従って訓練される、エンコーダ（例えば、前述の特徴抽出モデルに関連して説明された畳み込みニューラルネットワークエンコーダに対応する）及びデコーダ（例えば、前述の異常位置特定モデルに関連して説明された畳み込みニューラルネットワークデコーダに対応する）を含む畳み込みニューラルネットワークオートエンコーダを含む。更に、異常位置特定モデル４００は、比較器モジュール、分類器モジュール、及び、クラスタリングモジュール、を含む。

図示されるように、参照符号４０２において、畳み込みニューラルネットワークオートエンコーダが、入力画像を受信する。当該入力画像は、異常を含むことが示されている。エンコーダは、デコーダに提供される入力画像内の特徴を識別する。デコーダは、参照符号４０４に示されるように、当該特徴に基づいて、参照オブジェクト（例えば、畳み込みオートエンコーダが識別するように訓練されているタイプのオブジェクトを表す）の再構成画像を生成する。参照符号４０６において、比較器モジュールは、入力画像と再構成画像とを比較する（例えば、ピクセル当たりのＳＳＩＭエラー分析を使用して）。ピクセル値の比較（及び／または入力画像のピクセルのピクセル値が再構成画像の対応するピクセルのピクセル値に対応することの信頼性レベル）に基づいて、異常を示す可能性のあるピクセルエラーが検出され得る、及び／または、ピクセルエラーの位置が異常の位置に対応し得る。比較器モジュールは、参照符号４０８において異常ヒートマップを生成し得て、これが異常の位置を示すために利用され得る。付加的または代替的に、参照符号４１０において、クラスタリングモジュールがクラスタリング技術（例えば、ｋ平均クラスタリング）を実行し得て、参照符号４１２に示されるように、異常位置情報に含まれるかまたは示される異常の領域及び／または周囲を決定し得る。このようにして、異常位置特定モデルは、異常に関連付けられた位置情報を分類モデルに指示及び／または提供し得て、及び／または、入力画像及び／または入力画像に描写されたオブジェクトに関連付けられた異常データを生成するために使用され得る。

前述のように、図４は一例として提供されている。他の例は、図４に関して説明されたものとは異なり得る。

図５は、画像ベースの異常検出に関連した機械学習モデルの訓練及び使用の例５００を示す概略図である。本明細書で説明される機械学習モデルの訓練及び使用は、機械学習システムを使用して実行され得る。機械学習システムは、本明細書の別の場所でより詳細に説明されるオブジェクト分析システムなどの、コンピューティングデバイス、サーバ、クラウドコンピューティング環境等を含み得て、あるいは、それらに含まれ得る。

参照符号５０５によって示されるように、機械学習モデルが、１セットの観察を使用して訓練され得る。当該１セットの観察は、本明細書で説明される１または複数のプロセス中に収集されるデータなどの、訓練データ（例えば、履歴データ）から取得され得る。幾つかの実装形態では、機械学習システムは、本明細書の他の場所で説明されるように、参照データ構造及び／またはオブジェクト管理システムから（例えば、オブジェクト管理システムの画像捕捉デバイスから）当該１セットの観察を（例えば入力として）受信し得る。

参照符号５１０によって示されるように、１セットの観察は、特徴セットを含む。特徴セットは、１セットの変数を含み得て、変数が特徴と呼ばれ得る。特定の観測は、１セットの変数に対応する１セットの変数値（または特徴値）を含み得る。幾つかの実装形態では、機械学習システムは、参照データ構造及び／またはオブジェクト管理システムから受信された入力に基づいて、１セットの観測の変数値及び／または特定の観測の変数値を決定し得る。例えば、機械学習システムは、構造化データ（例えば、非異常オブジェクトを描写する画像に関連付けられた画像データ）から特徴セット（例えば、１または複数の特徴及び／または特徴値）を抽出することによって、画像処理技術を実行して非構造化データ（例えば、異常オブジェクト及び非異常オブジェクトを描写する画像に関連付けられた画像データ）から特徴セットを抽出することによって、及び／または、オペレータからの入力を受容することによって、特徴セットを識別し得る。

一例として、ある１セットの観察についてのある特徴セットは、輪郭データの第１特徴（例えば、当該オブジェクトの画像内で識別可能であり得るオブジェクトの物理的要素またはアスペクトの表現）、ピクセルデータの第２特徴（例えば、特徴のピクセルの赤、緑、青（ＲＧＢ）の色値）、位置データの第３特徴（例えば、当該観察における当該特徴の位置を識別する座標）、等を含み得る。図示されているように、第１の観測において、第１特徴はＣｏｎｔｏｕｒ＿１の値（例えば、ある特徴タイプの識別子）を有し得て、第２特徴はＲＧＢ＿１の値（例えば、当該観察の当該特徴に関連付けられた１または複数のピクセルの値）を有し得て、第３特徴は（Ｘ₁、Ｙ₁）の値（例えば、オブジェクトの基準点に対する１セットの座標、及び／または、参照画像や画像捕捉デバイスによって捕捉された画像などの当該観察の画像の基準点に対する１セットの座標）を有し得る。これらの特徴及び特徴値は、例として提供されており、他の例では異なり得る。例えば、特徴セットは、サイズデータ（例えば、当該観察の特徴を描写する画像の領域を表すデータ）、形状データ（例えば、オブジェクトの周囲を表すデータ）、ソースデータ（例えば、当該観察に関連付けられたソースデバイスを識別するデータ）、オブジェクトタイプデータ（例えば、当該観察に関連付けられたオブジェクトのタイプを識別するデータ）、オブジェクトサイズデータ（例えば、オブジェクトのサイズを識別するデータ）、等のうちの１または複数を含み得る。

参照符号５１５によって示されるように、１セットの観察は、ターゲット変数に関連付けられ得る。ターゲット変数は、ある数値を有する変数を表し得て、ある数値範囲内にある数値または幾つかの区分できる可能性ある値である数値を有する変数を表し得て、複数の選択肢のうちの１つ（例えば、複数のクラス、分類またはラベルのうちの１つ）から選択可能な変数を表し得て、及び／または、ブール値を持つ変数を表し得る。ターゲット変数は、ターゲット変数値に関連付けられ得て、ターゲット変数値は、観察に固有であり得る。実施例５００では、ターゲット変数は、特徴タイプであり、最初の観察についてはＦｅａｔｕｒｅ＿１の値を有し、２番眼の観察についてはＦｅａｔｕｒｅ＿２の値を有する。Ｆｅａｔｕｒｅ＿１及び／またはＦｅａｔｕｒｅ＿２は、あるオブジェクトタイプに関連付けられた非異常オブジェクトの特徴に対応し得る（例えば、機械学習モデルは、非異常オブジェクトを描写する参照画像を使用して訓練され得るため）。これに対応して、当該特徴（Ｆｅａｔｕｒｅ＿１及びＦｅａｔｕｒｅ＿２）は、機械学習モデルが当該観察に従って識別及び／または（再）構成するように訓練される参照オブジェクトに関連付けられ得る。

ターゲット変数は、機械学習モデルが予測するように訓練されている値を表し得て、特徴セットは、当該ターゲット変数の値を予測するように訓練された機械学習モデルに入力される変数を表し得る。１セットの観測は、（複数の）ターゲット変数値を含み得て、機械学習モデルは、あるターゲット変数値につながる特徴セットのパターンを認識するように訓練され得る。ターゲット変数値を予測するように訓練される機械学習モデルは、教師あり学習モデルと呼ばれ得る。

幾つかの実装形態では、機械学習モデルは、ターゲット変数を含まない１セットの観察に基づいて訓練され得る。これは、教師なし学習モデルと呼ばれ得る。この場合、機械学習モデルは、ラベル付けや教師なしで１セットの観察からパターンを学習し得て、クラスタリング及び／または関連付けを使用して当該１セットの観察内で関連するアイテムの群を識別する等によって、そのようなパターンを示す出力を提供し得る。

参照符号５２０によって示されるように、機械学習システムは、１セットの観察を使用し、及び、回帰アルゴリズム、決定木アルゴリズム、ニューラルネットワークアルゴリズム、ｋ近傍アルゴリズム、サポートベクターマシンアルゴリズム、等の１または複数の機械学習アルゴリズムを使用して、機械学習モデルを訓練し得る。訓練後、機械学習システムは、新しい観察を分析するために使用されるように、訓練された機械学習モデル５２５として当該機械学習モデルを記憶し得る。

参照符号５３０によって示されるように、機械学習システムは、例えば新しい観察を受信して当該新しい観測を訓練された機械学習モデル５２５に入力することによって、訓練された機械学習モデル５２５を新しい観察に適用し得る。図示されているように、新しい観察は、一例として、Ｃｏｎｔｏｕｒ＿Ｎの第１特徴、ＲＧＢ＿Ｎの第２特徴、（Ｘ_N，Ｙ_N）の第３特徴、等を含み得る。機械学習システムは、訓練された機械学習モデル５２５を新しい観察に適用して、出力（例えば、結果）を生成し得る。出力のタイプは、機械学習モデルのタイプ及び／または実行される機械学習タスクのタイプに依存し得る。例えば、教師あり学習が採用される場合等では、出力は、ターゲット変数の予測値を含み得る。付加的または代替的に、教師なし学習が採用される場合等では、出力は、新しい観察が属するクラスタを識別する情報、及び／または、新しい観察と１または複数の他の観察との間の類似度を示す情報、を含み得る。

一例として、訓練された機械学習モデル５２５は、参照符号５３５によって示されるように、新しい観察の特徴タイプのターゲット変数について「異常」の値を予測し得る。例えば、ターゲット変数は、観察が異常オブジェクトに関連付けられていることを示す「異常」を示し得る。訓練された機械学習モデル５２５は、新しい観察の特徴セットが、機械学習モデルが訓練された時に学習された特徴タイプにマッピングされることができない場合に、「異常」の値を予測し得る。この予測に基づいて、機械学習システムは、第１の推奨を提供し得て、第１の推奨を決定するための出力を提供し得て、第１の自動動作（アクション）を実行し得て、及び／または、（例えば、自動動作（アクション）を実行するように別のデバイスに指示することによって）第１の自動動作（アクション）が実行されるようにし得る。第１の推奨は、例えば、ユーザデバイスのユーザが新しい観察のオブジェクトの異常に対処するという推奨、及び／または、異常を含むことに基づいてオブジェクトを管理する（例えば、非異常オブジェクトから当該オブジェクトを並べ替えたり削除したりする）ためのオブジェクト管理システムに対する推奨、を含み得る。第１の自動動作（アクション）は、例えば、新しい観察のオブジェクトが異常を含むことを示すように異常データをユーザデバイスに提供すること、及び／または、異常を含むことに基づいてオブジェクト管理システムに新しい観察のオブジェクトを管理させる（例えば、非異常オブジェクトから当該オブジェクトを並べ替えさせたり削除させたりする）こと、を含み得る。

別の例として、機械学習システムが、特徴タイプのターゲット変数について学習された特徴に関連付けられた値を予測する場合、当該機械学習システムは、第２の（例えば、異なる）推奨（例えば、オブジェクトの使用または出力の推奨、あるいは、オブジェクトの使用または出力を有効化する推奨）を提供し得て、及び／または、第２の（例えば、異なる）自動動作（アクション）（例えば、オブジェクトの使用または出力の有効化）を実行し得るか実行させ得る。

幾つかの実装形態では、訓練された機械学習モデル５２５は、参照符号５４０によって示されるように、新しい観察をあるクラスタに分類（例えば、クラスタ化）し得る。クラスタ内の観察は、類似度の閾値を有し得る。一例として、機械学習システムが新しい観察を第１のクラスタ（例えば、第１のタイプの異常に関連付けられたクラスタ）に分類する場合、当該機械学習システムは、前述の第１の推奨等の、第１の推奨を提供し得る。付加的または代替的に、機械学習システムは、第１のクラスタに新しい観察を分類することに基づいて、前述の第１の自動動作（アクション）等の、第１の自動動作（アクション）を実行し得る、及び／または、（例えば、自動動作（アクション）を実行するように別のデバイスに指示することによって）第１の自動動作（アクション）を実行させ得る。

別の例として、機械学習システムが、新しい観察を第２のクラスタ（例えば、第２のタイプの異常に関連付けられたクラスタ）に分類する場合、当該機械学習システムは、第２の（例えば、異なる）推奨を提供し得る（例えば、第２のタイプの異常が修復不可能なタイプである場合、当該オブジェクトの破壊またはリサイクルを推奨する）、及び／または、当該オブジェクトの破壊などの第２の（例えば、異なる）自動動作（アクション）を実行し得るまたは実行させ得る。

幾つかの実装形態では、新しい観察に関連付けられた推奨及び／または自動動作（アクション）は、特定のラベル（例えば、分類またはカテゴリ化）を有するターゲット変数値に基づき得るし、ターゲット変数値が１または複数の閾値を満たすか否か（例えば、ターゲット変数値がある閾値より大きいか否か、ある閾値より小さいか否か、ある閾値に等しいか否か、ある閾値の範囲内にあるか否か、等）に基づき得るし、及び／または、新しい観測が分類されるクラスタに基づき得る。

このようにして、機械学習システムは、厳密で自動化されたプロセスを適用し得て、オブジェクトに関連付けられた異常を検出及び／または分類し得る。機械学習システムは、数十、数百、数千または数百万の観察に対して、数十、数百、数千または数百万の特徴及び／または特徴値の認識及び／または識別を可能にし、それによって、オブジェクトに関連付けられた異常の検出及び／または分類に関して、精度及び一貫性を向上して遅延を低減し得る（数十人、数百人または数千人のオペレータが特徴または特徴値を利用してオブジェクトに関連付けられた異常を手動で検出及び／または分類するためにコンピューティングリソースが割り当てられることを要求することと比較して）。

前述のように、図５は一例として提供されている。他の例は、図５に関して説明されたものとは異なり得る。

図６は、本明細書に説明されるシステム及び／または方法が実装され得る例示的な環境６００の概略図である。図６に示されるように、環境６００は、オブジェクト分析システム６１０、参照画像データ構造６２０、オブジェクト管理システム６３０、ユーザデバイス６４０、及び、ネットワーク６５０、を含み得る。環境６００のデバイスは、有線接続、無線接続、または、有線接続と無線接続の組合せ、を介して相互接続し得る。

オブジェクト分析システム６１０は、本明細書の他の箇所で説明されるように、機械学習分析に基づく画像ベースの異常検出に関連付けられた情報を、受信する、生成する、記憶する、処理する、提供する、及び／または、ルーティングする、ことが可能な１または複数のデバイスを含む。オブジェクト分析システム６１０は、通信デバイス及び／またはコンピューティングデバイスを含み得る。例えば、オブジェクト分析システム６１０は、アプリケーションサーバ、クライアントサーバ、ウェブサーバ、データベースサーバ、ホストサーバ、プロキシサーバ、仮想サーバ（例えば、コンピューティングハードウェア上で実行される）、または、クラウドコンピューティングシステム内のサーバ、等のサーバを含み得る。幾つかの実装形態では、オブジェクト分析システム６１０は、クラウドコンピューティング環境で使用されるコンピューティングハードウェアを含む。

参照画像データ構造６２０は、本明細書の他の箇所で説明されるように、１または複数のモデルを訓練するために、１または複数のタイプのオブジェクトに関連付けられた参照画像データを、生成する、記憶する、処理する、及び／または、提供する、ことが可能な１または複数のデバイスを含む。例えば、参照画像データ構造６２０は、１または複数の画像ソースから参照画像を受信及び／または記憶するストレージデバイス及び／またはメモリデバイスを含み得る。付加的または代替的に、参照画像データ構造は、参照画像データを受信する、処理する、及び／または、オブジェクト分析システム６１０に提供する、ための通信デバイス及び／またはコンピューティングデバイスを含み得る。

オブジェクト管理システム６３０は、本明細書の他の箇所で説明されるように、オブジェクトを管理することに関連付けられた情報を、受信する、生成する、記憶する、処理する、提供する、及び／または、ルーティングする、ことが可能な１または複数のデバイスを含む。例えば、オブジェクト管理システム６３０は、１または複数のオブジェクトの組み立て、１または複数のオブジェクトの製造、１または複数のオブジェクトの仕分け（並び替え）、１または複数のオブジェクトの分配、１または複数のオブジェクトの輸送、及び／または、１または複数のオブジェクトの保存、を容易化するように構成された１または複数のデバイスを含み得る。オブジェクト管理システム６３０は、通信デバイス、コンピューティングデバイス、センサ、ロボットデバイス、及び／または、特定の産業（例えば、製造、物流、輸送、及び／または、サプライチェーン管理に関連付けられた他の産業）に関連付けられた制御システムの任意の他の適切なデバイス、を含み得る。

ユーザデバイス６４０は、本明細書の他の箇所で説明されるように、オブジェクト分析システム６１０によって分析される、及び／または、オブジェクト管理システム６３０によって管理される、監視中のオブジェクトに関連付けられた情報を、受信する、生成する、記憶する、処理する、及び／または、提供することが可能な１または複数のデバイスを含む。ユーザデバイス６４０は、通信デバイス及び／またはコンピューティングデバイスを含み得る。例えば、ユーザデバイス６４０は、無線通信デバイス、携帯電話、ユーザ機器、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、ゲームコンソール、セットトップボックス、ウェアラブル通信デバイス（例えば、スマート腕時計、スマート眼鏡、ヘッドマウントディスプレイ、仮想現実ヘッドセット）、または、類似のタイプのデバイス、を含み得る。

ネットワーク６５０は、１または複数の有線及び／または無線のネットワークを含む。例えば、ネットワーク６５０は、無線広域ネットワーク（例えば、セルラーネットワーク、または、公衆陸上移動体ネットワーク）、ローカルエリアネットワーク（例えば、有線ローカルエリアネットワーク、または、ＷｉＦｉネットワークのような無線ローカルエリアネットワーク（ＷＬＡＮ））、パーソナルエリアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈネットワーク）、近距離無線通信ネットワーク、電話ネットワーク、プライベートネットワーク、インターネット、及び／または、これら若しくは他のタイプのネットワークの組み合わせ、を含み得る。ネットワーク６５０は、環境６００のデバイス間の通信を可能にする。

図６に示されたデバイス及びネットワークの数及び配置は、一例として提供されている。実際上は、図６に示されたものと比較して、追加のデバイス及び／またはネットワークが存在し得るし、より少ないデバイス及び／またはネットワークが存在し得るし、異なるデバイス及び／またはネットワークが存在し得るし、あるいは、異なって配置されたデバイス及び／またはネットワークが存在し得る。更に、図６に示された２以上のデバイスが、単一のデバイス内に実装されてもよいし、あるいは、図６に示された単一のデバイスが、複数の分散デバイスとして実装されてもよい。追加的または代替的に、環境６００のデバイスのあるセット（例えば、１または複数のデバイス）は、環境６００のデバイスの別のセットによって実行されると説明された１または複数の機能を実行してもよい。

図７は、オブジェクト分析システム６１０、参照画像データ構造６２０、オブジェクト管理システム６３０、及び／または、ユーザデバイス６４０、に対応し得る、デバイス７００の例示的なコンポーネント（構成要素）の概略図である。幾つかの実装形態では、オブジェクト分析システム６１０、参照画像データ構造６２０、オブジェクト管理システム６３０、及び／または、ユーザデバイス６４０は、１または複数のデバイス７００を含み得る、及び／または、デバイス７００の１または複数のコンポーネント（構成要素）を含み得る。図７に示されるように、デバイス７００は、バス７１０、プロセッサ７２０、メモリ７３０、ストレージコンポーネント７４０、入力コンポーネント７５０、出力コンポーネント７６０、及び、通信コンポーネント７７０、を含み得る。

バス７１０は、デバイス７００のコンポーネント（構成要素）間の有線及び／または無線の通信を可能にするコンポーネント（構成要素）を含む。プロセッサ７２０は、中央処理装置（ＣＰＵ）、グラフィックス処理装置、マイクロプロセッサ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、及び／または、別のタイプの処理コンポーネント、を含む。プロセッサ７２０は、ハードウェア、ファームウェア、または、ハードウェアとソフトウェアとの組み合わせ、で実装される。幾つかの実装形態では、プロセッサ７２０は、機能を実行するようにプログラムされることが可能な１または複数のプロセッサを含む。メモリ７３０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、及び／または、別のタイプのメモリ（例えば、フラッシュメモリ、磁気メモリ、及び／または、光メモリ）を含む。

ストレージコンポーネント７４０は、デバイス７００の動作に関連する情報及び／またはソフトウェアを記憶する。例えば、ストレージコンポーネント７４０は、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、ソリッドステートディスクドライブ、コンパクトディスク、デジタルバーサタイルディスク（ＤＶＤ）、及び／または、他のタイプの非一時的なコンピュータ可読媒体、を含み得る。入力コンポーネント７５０は、デバイス７００が、ユーザ入力及び／または感知された入力などの入力を受容することを可能にする。例えば、入力コンポーネント７５０は、タッチスクリーン、キーボード、キーパッド、マウス、ボタン、マイクロフォン、スイッチ、センサ、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／または、アクチュエータ、を含み得る。出力コンポーネント７６０は、デバイス７００が、ディスプレイ、スピーカ、及び／または、１または複数の発光ダイオード、等を介して出力を提供することを可能にする。通信コンポーネント７７０は、デバイス７００が、有線接続及び／または無線接続等を介して他のデバイスと通信することを可能にする。例えば、通信コンポーネント７７０は、受信機、送信機、トランシーバ、モデム、ネットワークインターフェースカード、及び／または、アンテナ、を含み得る。

デバイス７００は、本明細書に記載される１または複数のプロセスを実行し得る。例えば、非一時的なコンピュータ可読媒体（例えば、メモリ７３０及び／またはストレージコンポーネント７４０）が、プロセッサ７２０による実行のための１セットの指令（例えば、１または複数の指令、コード、ソフトウェアコード、及び／または、プログラムコード）を記憶し得る。プロセッサ７２０は、当該１セットの指令を実行し得て、本明細書に記載された１または複数のプロセスを実行し得る。幾つかの実装形態では、１または複数のプロセッサ７２０による１セットの指令の実行が、当該１または複数のプロセッサ７２０及び／またはデバイス７００をして、本明細書に記載された１または複数のプロセスを実行させる。幾つかの実装形態では、ハードワイヤード回路が、指令の代わりにまたは指令と組み合わせて使用され得て、本明細書に記載された１または複数のプロセスを実行し得る。従って、本明細書に記載された実装形態は、ハードウェア回路とソフトウェアとの何らかの特定の組み合わせに限定されない。

図７に示されたコンポーネントの数及び配置は、一実施例として提供されている。図７に示されたものと比較して、デバイス７００は、追加のコンポーネントを含み得るし、より少ないコンポーネントを含み得るし、異なるコンポーネントを含み得るし、あるいは、異なって配置されたコンポーネントを含み得る。追加的または代替的に、デバイス７００のコンポーネントのあるセット（例えば、１または複数のコンポーネント）は、デバイス７００のコンポーネントの別のセットによって実行されると説明された１または複数の機能を実行してもよい。

図８は、オブジェクトの機械学習分析に基づく画像ベースの異常検出に関連付けられた例示的なプロセス８００のフローチャートである。幾つかの実装形態では、図８の１または複数のプロセスブロックが、オブジェクト分析システム（例えば、オブジェクト分析システム６１０）によって実行され得る。幾つかの実装形態では、図８の１または複数のプロセスブロックが、オブジェクト管理システム（例えば、オブジェクト管理システム６３０）及び／またはユーザデバイス（例えば、ユーザデバイス６４０）などの、オブジェクト分析システムとは別個の（またはオブジェクト分析システムを含む）デバイスまたはデバイスの群によって実行され得る。追加的または代替的に、図８の１または複数のプロセスブロックは、プロセッサ７２０、メモリ７３０、ストレージコンポーネント７４０、入力コンポーネント７５０、出力コンポーネント７６０、及び／または、通信コンポーネント７７０、等のデバイス７００の１または複数のコンポーネントによって実行され得る。

図８に示されるように、プロセス８００は、オブジェクトを描写する入力画像を受信する工程を含み得る（ブロック８１０）。例えば、オブジェクト分析システムが、前述のように、オブジェクトを描写する入力画像を受信し得る。

図８に更に示されるように、プロセス８００は、畳み込みニューラルネットワークエンコーダを使用して、入力画像から、オブジェクトの１または複数の特徴に関連付けられる第１特徴出力を決定する工程を含み得る（ブロック８２０）。例えば、オブジェクト分析システムが、畳み込みニューラルネットワークエンコーダを使用して、入力画像から、前述のように、オブジェクトの１または複数の特徴に関連付けられた第１特徴出力を決定し得る。畳み込みニューラルネットワークエンコーダは、オブジェクト分析システムの特徴抽出モデルに関連付けられ得て、及び／または、その中に含まれ得る。

幾つかの実装形態では、畳み込みニューラルネットワークエンコーダは、オブジェクトのタイプである（タイプが同一である）参照オブジェクトを描写する参照画像に基づいて訓練される。参照画像に描写される参照オブジェクトは、本明細書で説明されるように、非異常オブジェクトであり得る。

図８に更に示されるように、プロセス８００は、サポートベクターマシンを使用して、オブジェクトの異常状態がオブジェクトが異常を含むことを示している、と判定する工程を含み得る（ブロック８３０）。例えば、オブジェクト分析システムは、サポートベクターマシンを使用して、前述のように、オブジェクトの異常状態がオブジェクトが異常を含むことを示している、と判定し得る。幾つかの実装形態では、サポートベクターマシンは、参照画像に基づいて訓練される。

サポートベクターマシンは、オブジェクトが異常な特徴を含むことを示す、あるいは、オブジェクトが異常な特徴を含まないことを示す、二値分類を判定するように訓練され得る。サポートベクターマシンは、参照画像に関する類似性分析に基づいて二値分類を判定するために使用される分類閾値を決定するように訓練され得る。

図８に更に示されるように、プロセス８００は、畳み込みニューラルネットワークデコーダを使用して、畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて入力画像内の異常の位置を決定する工程を含み得る（ブロック８４０）。例えば、オブジェクト分析システムが、前述のように、畳み込みニューラルネットワークデコーダを使用して、畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて入力画像内の異常の位置を決定し得る。畳み込みニューラルネットワークデコーダは、オブジェクト分析システムの異常位置特定モデルに関連付けられ得て、及び／または、その中に含まれ得る。

幾つかの実装形態では、畳み込みニューラルネットワークデコーダは、畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて異常の位置を決定するように構成される。幾つかの実装形態では、畳み込みニューラルネットワークデコーダは、参照画像に基づいて訓練される。第１特徴出力は、畳み込みニューラルネットワークエンコーダの出力層からのものであり得て、第２特徴出力は、畳み込みニューラルネットワークエンコーダの中間層からのものであり得る。畳み込みニューラルネットワークエンコーダ及び畳み込みニューラルネットワークデコーダは、参照画像に基づいて訓練される同一の畳み込みニューラルネットワークオートエンコーダに関連付けられ得る。

幾つかの実装形態では、オブジェクト分析システムは、異常データに関連付けられた異常データを生成し得る。例えば、異常データは、オブジェクトの異常状態（例えば、オブジェクトが異常を含むか含まないか）及び／または異常の位置（異常が検出された場合）を識別し得る。付加的または代替的に、異常分類モデルを使用して、当該異常が特定のタイプの異常であることを示す異常データが生成され得る。

図８に更に示されるように、プロセス８００は、異常の位置に関連付けられた動作（アクション）を実行する工程を含み得る（ブロック８５０）。例えば、オブジェクト分析システムが、前述のように、異常の位置に関連付けられた動作（アクション）を実行し得る。幾つかの実装形態では、当該動作（アクション）を実行するために、オブジェクト分析システムが、異常の位置を特定する位置インジケータを生成し得て、当該位置インジケータを入力画像と組み合わせて異常インジケータを形成し得て、当該異常インジケータをユーザデバイスに提供し得る。付加的または代替的に、オブジェクト分析システムは、異常の位置を識別する異常データを（例えば、ユーザデバイスに）提供し得る。異常データは、異常の位置を特定（識別）する位置インジケータ、及び／または、当該位置インジケータと入力画像との組み合わせ、を含み得る。

図８は、プロセス８００の例示的な複数のブロックを示しているが、幾つかの実装形態では、図８に示されたものと比較して、プロセス８００は、追加のブロックを含み得るし、より少ないブロックを含み得るし、異なるブロックを含み得るし、あるいは、異なって配置されたブロックを含み得る。追加的または代替的に、プロセス８００の２以上のブロックが、並行して実行され得る。

前述の開示には、特定の実施形態が記載されている。しかしながら、当業者は、特許請求の範囲に記載されるような本発明の範囲から逸脱することなく、様々な修正及び変更がなされ得る、ということを理解するであろう。従って、本明細書及び図面は、限定的な意味ではなく例示的な意味で理解されるべきであり、そのような全ての修正が、本開示の範囲内に含まれることが意図されている。更に、説明された実施形態／実施例／実装は、相互に排他的であると解釈されるべきではなく、その代わりに、そのような組み合わせが何らかの方法で許容される場合、潜在的に組み合わせ可能であると理解されるべきである。換言すれば、前述の実施例または実装形態のいずれかに開示された任意の特徴が、他の前述の実施例または実装形態のいずれかに含まれてもよい。

本明細書で使用される場合、「コンポーネント（構成要素）」という用語は、ハードウェア、ファームウェア、並びに／または、ハードウェア及びソフトウェアの組み合わせ、として広く解釈されることが意図されている。本明細書で使用される場合、「有形の機械可読媒体」、「非一時的な機械可読媒体」、及び「機械可読記憶装置」という用語の各々は、機械可読指令（命令）（例えば、ソフトウェア及び／またはファームウェアの形態のコード）が記憶され得る記憶媒体（例えば、ハードディスクドライブ（のディスク）、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、等）として明示的に定義される。当該指令（命令）は、任意の好適な期間だけ（例えば、恒久的、長期間（例えば、指令（命令）に関連するプログラムが実行されている間）、または、短期間（例えば、指令（命令）がキャッシュされている間、バッファリングプロセス中、等））、記憶され得る。更に、本明細書で使用される場合、「有形の機械可読媒体」、「非一時的な機械可読媒体」及び「機械可読記憶装置」という用語の各々は、伝播信号（の態様）を除外するものとして明示的に定義される。すなわち、特許請求の範囲で使用される場合、「有形の機械可読媒体」、「非一時的な機械可読媒体」及び「機械可読記憶装置」等の用語は、伝搬信号として実装されるものと解釈されるべきではない。

本明細書で使用される場合、閾値を満たすというのは、文脈に依存して、値が閾値より大きいこと、値が閾値以上であること、値が閾値より小さいこと、値が閾値以下であること、値が閾値に等しいこと、値が閾値に等しくないこと、等に言及するものであり得る。

利益、利点、問題の解決策、及び、何らかの利益、利点ないし解決策を生じさせ得るかまたはより顕著にし得る任意の要素は、特許請求の範囲の請求項のいずれかまたは全てにおいての、重要な、必要な、または本質的な機能または要素として解釈されるべきではない。特許請求される発明は、本出願の係属中になされる補正、及び、発行される請求項の全ての均等物を含んで、添付される請求項によってのみ定義される。

更に、本明細書で使用される場合、第１及び第２、上及び下、等のような関連語は、１つの実体または動作を他の実体または動作から区別するためにのみ用いられている可能性があり、必ずしもそのような実体または動作間の実際のそのような関係または順序を要求したり含意したりしていない可能性がある。用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｓ）」、「有している（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｓ）」、「含有している（ｃｏｎｔａｉｎｉｎｇ）」、あるいは、それらの他のあらゆる変形語は、非排他的な包含をカバーすることが意図されている。要素の列挙（リスト）を、備える、有する、含む、または、含有する、というプロセス、方法、物品、または、装置は、それらの要素のみを含むのではなく、明示的に列挙されていない他の要素や、そのようなプロセス、方法、物品、または、装置に固有の他の要素を含み得る。「を備える（ｃｏｍｐｒｉｓｅｓ ．．．ａ）」、「を有する（ｈａｓ ．．．）」、「を含む（ｉｎｃｌｕｄｅｓ ．．．ａ）」、「を含有する（ｃｏｎｔａｉｎｓ ．．．ａ）」の後に続く要素は、更なる制約条件が無ければ、当該要素を、備える、有する、含む、または、含有する、というプロセス、方法、物品、または、装置、における付加的な同一要素の存在を排除しない。

用語「ａ」及び「ａｎ」は、明示的に他の言及が無い限り、１または複数として定義される。更に、本明細書で使用される場合、冠詞「ｔｈｅ」は、当該冠詞「ｔｈｅ」に関連して参照される１または複数のアイテムを含むことが意図されており、「その１または複数」（のアイテム）と交換可能に使用され得るものである。更に、本明細書で使用される場合、用語「セット」は、１または複数のアイテム（例えば、関連アイテム、非関連アイテム、または、関連アイテムと非関連アイテムとの組み合わせ）を含むことが意図されており、「１または複数」と交換可能に使用され得るものである。１つのアイテムのみが意図されている場合には、「１つだけ」という語句ないし類似の表現が使用される。また、本明細書で使用される場合、用語「有する」は、開放された（制限のない）用語であることが意図されている。更に、「～に基づく」という語句は、特に他の明示がない限り、「少なくとも部分的に～に基づく」を意味することが意図されている。また、本明細書で使用される場合、用語「または」は、直列に使用される際に包括的であることが意図されていて、特に他の明示がない限り（例えば、「いずれか一方」または「いずれか１つのみ」と組み合わせて使用される場合）、「及び／または」と交換可能に使用され得るものである。用語「実質的に」、「本質的に」、「およそ」、「約」、あるいは、それらの他のあらゆる変形語は、当業者に理解されるように、近い状態であるものとして定義され、１つの非限定的な実施形態において、当該用語は、１０％以内、別の実施形態においては５％以内、別の実施形態においては１％以内、及び、別の実施形態において０．５％以内、として定義される。本明細書で用いられる用語「結合された」は、接続されたものとして定義されるが、必ずしも直接的でなくてもよく、また、必ずしも機械的でなくてもよい。ある方式で「構成された」デバイスまたは構造は、少なくとも当該方式で構成されるが、挙げられていない方式で構成されてもよい。

本明細書に記載されたシステム及び／または方法は、異なる形態のハードウェア、ファームウェア、または、ハードウェアとソフトウェアとの組み合わせ、で実装され得ることが明らかであろう。これらのシステム及び／または方法を実装するために使用される実際の具体的な制御ハードウェアまたはソフトウェアコードは、実装を限定するものではない。従って、システム及び／または方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されている－ソフトウェア及びハードウェアは、本明細書の説明に基づいて当該システム及び／または方法を実装するように設計され得ることが理解される。

特徴の特定の組み合わせが、特許請求の範囲に記載され、及び／または、明細書に開示されているが、これらの組み合わせは、様々な実装形態の開示を限定することを意図してはいない。実際、これらの特徴の多くは、特許請求の範囲に具体的には記載されていない態様で、及び／または、明細書に具体的には開示されていない態様で、組み合わせられ得る。以下に列挙された各従属請求項は、１つの請求項のみに直接的に従属する場合もあるが、様々な実装形態の開示は、請求項のセット内のあらゆる他の請求項と組み合わせた各従属請求項を含む。本明細書で使用される場合、アイテム（項目）のリストの「少なくとも１つ」というフレーズ（語句）は、それらのアイテムの任意の組み合わせを指すが、単一のメンバーを含む。一例として、「ａ、ｂまたはｃの少なくとも１つ」は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、及び、ａ－ｂ－ｃ、を包含し、並びに、複数の同一のアイテムを伴う任意の組み合わせをも包含する、ことが意図されている。

本開示の要約は、読者が当該技術的開示の性質を素早く確認することを許容するために提供される。それは、特許請求の範囲の請求項の範囲または意味を解釈または制限するために用いられないという理解と共に提示される。また、前述の説明において、当該開示を円滑にする目的で、様々な実施形態において様々な特徴がまとめてグループ化されていることが認められ得る。この開示方法は、特許請求される実施形態が、各請求項で明示的に記載されている特徴よりも多くの特徴を必要とする、という意図を反映するものとして解釈されるべきでない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施形態の全ての特徴よりも少なく存在する。以下の特許請求の範囲は、ここで詳細な説明に組み入れられ、各請求項は、別個に特許請求される主題として、それ自身独立している。

Claims (20)

1. オブジェクトに関連する異常の検出に関連する方法であって、
   デバイスによって、オブジェクトを描写する入力画像を受信する工程と、
   前記デバイスによって、特徴抽出モデルを使用して前記入力画像を処理して、前記オブジェクトの１または複数の特徴を第１特徴出力に示す工程と、
   前記デバイスによって、前記１または複数の特徴に基づいて、分類モデルを使用して前記オブジェクトが異常を含むことを前記オブジェクトの異常状態が示していると判定する工程と、
   前記デバイスによって、前記特徴抽出モデルの第２特徴出力に基づいて前記異常状態に関連する前記異常の位置を判定する工程と、
   前記デバイスによって、前記異常状態及び前記位置に基づいて前記異常に関連する異常データを生成する工程と、
   前記デバイスによって、前記異常データをオブジェクト管理システムに提供する工程と、
   を備え、
   前記特徴抽出モデルは、前記オブジェクトのタイプに関連付けられた参照画像に基づいて訓練され、
   前記参照画像は、前記オブジェクトの前記タイプと同一タイプである１または複数の非異常オブジェクトを描写しており、
   前記分類モデルは、前記第１特徴出力に関連付けられた分類スコアと、当該分類モデルの分類閾値と、に基づいて前記異常状態を判定するように構成されており、
   前記分類閾値は、前記参照画像を含む類似性分析に基づいて決定され、
   前記異常の前記位置は、前記参照画像に基づいて訓練される異常位置特定モデルを使用して判定される
   ことを特徴とする方法。
2. 前記分類モデルは、
   前記第１特徴出力に基づいて前記分類スコアを決定し、
   前記分類スコアと前記分類閾値との比較に基づいて前記異常状態を示す、
   ように構成されたサポートベクターマシンを含み、
   前記サポートベクターマシンは、前記オブジェクトの前記タイプを分析するように特別に訓練された単一クラスのサポートベクターマシンであり、
   前記異常状態は、前記比較に基づいて判定される二値分類であり、前記オブジェクトが異常な特徴を有することを示すか、あるいは、前記オブジェクトが異常な特徴を有しないことを示す
   ことを特徴とする請求項１に記載の方法。
3. 前記分類モデルは、前記分類閾値に従って第１の二値分類を出力するように構成された第１のサポートベクターマシンを含み、
   前記第１の二値分類は、前記オブジェクトが異常な特徴を含むことを示し、
   前記分類モデルは更に、前記第１の二値分類が前記オブジェクトが異常な特徴を含むことを示すことに基づいて、前記異常が特定のタイプの異常であるか、または、前記異常が前記特定のタイプの異常ではないか、を示す第２の二値分類を出力するように構成された第２のサポートベクターマシンを含み、
   前記異常データは、前記第２の二値分類に基づいて、前記異常が前記特定のタイプの異常であるか、または、前記異常が前記特定のタイプの異常ではないか、を示すラベルを含むように生成される
   ことを特徴とする請求項１に記載の方法。
4. 前記第１特徴出力は、前記特徴抽出モデルの畳み込みニューラルネットワークエンコーダの出力層からのものであり、
   前記第２特徴出力は、前記畳み込みニューラルネットワークエンコーダの中間層からのものである
   ことを特徴とする請求項１に記載の方法。
5. 前記異常位置特定モデルは、前記異常の前記位置を決定するように構成された畳み込みニューラルネットワークデコーダを有する
   ことを特徴とする請求項１に記載の方法。
6. 前記第２特徴出力は、前記特徴抽出モデルの畳み込みニューラルネットワークエンコーダの中間層からのものである
   ことを特徴とする請求項５に記載の方法。
7. 前記異常データを生成する工程は、
   前記異常の前記位置を特定する位置インジケータを生成する工程と、
   前記位置インジケータを前記入力画像と組み合わせる工程と、
   を含むことを特徴とする請求項１に記載の方法。
8. １または複数のメモリと、
   前記１または複数のメモリに結合された、１または複数のプロセッサと、
   を備え、
   前記１または複数のプロセッサは、
   オブジェクトを描写する入力画像を受信し、
   特徴抽出モデルを使用して前記入力画像を処理して、前記オブジェクトの１または複数の特徴に関連する第１特徴出力を生成し、
   前記第１特徴出力に基づいて、分類モデルを使用して前記オブジェクトの異常状態を判定し、
   前記オブジェクトが異常を有することを前記入力画像が描写していると示す前記異常状態に基づいて、前記特徴抽出モデルの第２特徴出力に基づいて前記入力画像内の前記異常の位置を判定し、
   前記異常状態及び前記位置に基づいて前記異常に関連する異常データを生成し、
   前記異常データに関連付けられた動作を実行する
   ように構成されており、
   前記特徴抽出モデルは、前記オブジェクトのタイプに関連付けられた参照画像に基づいて訓練され、
   前記分類モデルは、前記参照画像内に描写された非異常オブジェクトに関する類似性分析に基づいて前記異常状態を判定するように訓練され、
   前記異常の前記位置は、前記参照画像に基づいて訓練される異常位置特定モデルを使用して判定される
   ことを特徴とするデバイス。
9. 前記特徴抽出モデルは、畳み込みニューラルネットワークエンコーダを含む
   ことを特徴とする請求項８に記載のデバイス。
10. 前記分類モデルは、前記オブジェクトが異常な特徴を含むか、または、異常な特徴を含まないか、を示す分類スコアを提供するように構成されたサポートベクターマシンを有しており、
    前記異常状態は、前記オブジェクトが異常な特徴を含むことを前記分類スコアが示すことに基づいて、前記オブジェクトが前記異常を有することを前記入力画像が描写していると示すように構成されている
    ことを特徴とする請求項８に記載のデバイス。
11. 前記類似性分析は、前記オブジェクトが異常な特徴を含むか、または、異常な状態を含まないか、に関連する前記異常状態の二値分類を判定するために、前記分類スコアと比較される前記サポートベクターマシンの分類閾値を決定するように構成されている
    ことを特徴とする請求項１０に記載のデバイス。
12. 前記第１特徴出力及び前記第２特徴出力は、前記特徴抽出モデルの畳み込みニューラルネットワークの異なる層からのものである
    ことを特徴とする請求項８に記載のデバイス。
13. 前記異常データを生成するために、前記１または複数のプロセッサは、
    前記異常の前記位置を特定する位置インジケータを生成し、
    前記位置インジケータを前記入力画像と組み合わせる
    ように構成されている
    ことを特徴とする請求項８に記載のデバイス。
14. 前記動作を実行するために、前記１または複数のプロセッサは、
    前記異常データをユーザデバイスに送信する、または、
    前記異常データに従ってオブジェクト管理システムを制御して、前記オブジェクトに関連付けられた操作を実行する、
    の少なくとも一方を実施するように構成されている
    ことを特徴とする請求項８に記載のデバイス。
15. 指令のセットを記憶する有形の機械可読媒体であって、
    前記指令のセットは、１または複数の指令を含み、
    前記１または複数の指令は、デバイス内の１または複数のプロセッサによって実行される時、当該デバイスをして、
    オブジェクトを描写する入力画像を受信し、
    畳み込みニューラルネットワークエンコーダを使用して、前記入力画像から、前記オブジェクトの１または複数の特徴に関連付けられた第１特徴出力を決定し、
    サポートベクターマシンを使用して、前記オブジェクトの異常状態が前記オブジェクトが異常を含むことを示していると判定し、
    畳み込みニューラルネットワークデコーダを使用して、前記畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて、前記入力画像内の前記異常の位置を決定し、
    前記異常の前記位置に関連付けられた動作を実行する
    ようにさせるものであり、
    前記畳み込みニューラルネットワークエンコーダは、前記オブジェクトと同一タイプの参照オブジェクトを描写する参照画像に基づいて訓練され、
    前記サポートベクターマシンは、前記参照画像に基づいて訓練され、
    前記畳み込みニューラルネットワークデコーダは、前記畳み込みニューラルネットワークエンコーダの第２特徴出力に基づいて、前記異常の前記位置を決定するように構成されており、
    前記畳み込みニューラルネットワークデコーダは、前記参照画像に基づいて訓練される
    ことを特徴とする有形の機械可読媒体。
16. 前記参照画像内に描写された前記参照オブジェクトは、非異常オブジェクトである
    ことを特徴とする請求項１５に記載の有形の機械可読媒体。
17. 前記サポートベクターマシンは、前記オブジェクトが異常な特徴を含むことを示すか、または、前記オブジェクトが異常な特徴を含まないことを示す、二値分類を決定するように訓練され、
    前記サポートベクターマシンは、前記参照画像に関連する類似性分析に基づいて、前記二値分類を決定するために使用される分類閾値を決定するように訓練される
    ことを特徴とする請求項１５に記載の有形の機械可読媒体。
18. 前記第１特徴出力は、前記畳み込みニューラルネットワークエンコーダの出力層からのものであり、
    前記第２特徴出力は、前記畳み込みニューラルネットワークエンコーダの中間層からのものである
    ことを特徴とする請求項１５に記載の有形の機械可読媒体。
19. 前記畳み込みニューラルネットワークエンコーダ、及び、前記畳み込みニューラルネットワークデコーダは、前記参照画像に基づいて訓練される同一の畳み込みニューラルネットワークオートエンコーダに関連付けられる
    ことを特徴とする請求項１５に記載の有形の機械可読媒体。
20. 前記デバイスをして前記動作を実行させる前記１または複数の指令は、前記デバイスをして、
    前記異常の前記位置を特定する位置インジケータを生成し、
    前記位置インジケータを前記入力画像と組み合わせて、異常インジケータを形成し、
    前記異常インジケータをユーザデバイスに提供する
    ようにさせるものである
    ことを特徴とする請求項１５に記載の有形の機械可読媒体。

Images