KR20240001241A - 객체의 머신 학습 분석에 기반한 이미지 기반 이상 검출 - Google Patents

Abstract

객체 분석 시스템이 본 명세서에 개시된다. 객체 분석 시스템은 객체를 묘사하는 입력 이미지를 수신할 수 있다. 객체 분석 시스템은, 특징 추출 모델을 이용하여 그리고 입력 이미지로부터, 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 결정할 수 있다. 특징 추출 모델은 객체의 유형인 참조 객체들을 묘사하는 참조 이미지들에 기반하여 훈련될 수 있다. 객체 분석 시스템은, 분류 모델을 이용하여, 객체의 이상 상태가 객체가 이상을 포함함을 나타낸다고 결정할 수 있다. 분류 모델은 참조 이미지들에 기반하여 훈련될 수 있다.

Description

객체의 머신 학습 분석에 기반한 이미지 기반 이상 검출

품질 제어는 제품이 특정 품질 표준들 및/또는 기준들을 충족시키는 것을 보장하기 위해 제품을 분석 및/또는 검토하는 것을 수반하는 프로세스이다. 물리적 제품들에 대해, 제품의 시각적 검사는 그 제품이 특정 품질 표준들 및/또는 기준들을 충족시키는 것을 방해할 제품 상의 또는 제품과 연관된 이상(anomaly)을 식별하기 위해 요구될 수 있다. 이러한 이상의 형태들은 제품의 유형에 의존할 수 있고/있거나 다양한 특성들을 갖는 것과 관련하여 고유할 수 있다. 따라서, 특정 제품 상의 또는 특정 제품과 연관된 고유한 이상들을 검출할 수 있는 시스템이 필요하다.

일부 구현들에서, 객체와 연관된 이상을 검출하는 것과 연관된 방법은, 객체를 묘사하는 입력 이미지를 수신하는 단계; 특징 추출 모델을 이용하여, 입력 이미지를 처리하여 제1 특징 출력에서 객체의 하나 이상의 특징을 나타내는 단계 - 특징 추출 모델은 객체의 유형과 연관된 참조 이미지들에 기반하여 훈련되고, 참조 이미지들은 객체의 유형과 동일한 유형인 하나 이상의 비-이상 객체를 묘사함 -; 하나 이상의 특징에 기반하여, 분류 모델을 이용하여, 객체의 이상 상태가 객체가 이상을 포함함을 나타낸다고 결정하는 단계 - 분류 모델은 제1 특징 출력과 연관된 분류 스코어 및 분류 모델의 분류 임계치에 기반하여 이상 상태를 결정하도록 구성되고, 분류 임계치는 참조 이미지들을 수반하는 유사성 분석에 기반하여 결정됨 -; 특징 추출 모델의 제2 특징 출력에 기반하여 이상 상태와 연관된 이상의 위치를 결정하는 단계 - 이상의 위치는 참조 이미지들에 기반하여 훈련되는 이상 위치파악 모델(anomaly localization model)을 이용하여 결정됨 -; 이상 상태 및 위치에 기반하여, 이상과 연관되는 이상 데이터를 생성하는 단계; 및 객체 관리 시스템에 이상 데이터를 제공하는 단계를 포함한다.

일부 구현들에서, 디바이스는 하나 이상의 메모리, 및 하나 이상의 메모리에 결합된 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는, 객체를 묘사하는 입력 이미지를 수신하고; 특징 추출 모델을 이용하여, 입력 이미지를 처리하여 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 생성하고 - 특징 추출 모델은 객체의 유형과 연관된 참조 이미지들에 기반하여 훈련됨 -; 분류 모델을 이용하여, 제1 특징 출력에 기반하여 객체의 이상 상태를 결정하고 - 분류 모델은 참조 이미지들에 묘사된 비-이상 객체들을 수반하는 유사성 분석에 기반하여 이상 상태를 결정하도록 훈련됨 -; 입력 이미지가 이상을 갖는 객체를 묘사한다는 것을 나타내는 이상 상태에 기반하여, 특징 추출 모델의 제2 특징 출력에 기반하여 입력 이미지에서의 이상의 위치를 결정하고 - 이상의 위치는 참조 이미지들에 기반하여 훈련되는 이상 위치파악 모델을 이용하여 결정됨 -; 이상 상태 및 위치에 기반하여, 이상과 연관되는 이상 데이터를 생성하고; 이상 데이터와 연관된 액션을 수행하도록 구성된다.

일부 구현들에서, 명령어들의 세트를 저장하는 유형의 머신 판독가능한 매체이며, 명령어들의 세트는 하나 이상의 명령어를 포함하고, 하나 이상의 명령어는, 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 디바이스로 하여금, 객체를 묘사하는 입력 이미지를 수신하게 하고; 컨볼루션 신경망 인코더를 이용하여 그리고 입력 이미지로부터, 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 결정하게 하고 - 컨볼루션 신경망 인코더는 객체의 유형인 참조 객체들을 묘사하는 참조 이미지들에 기반하여 훈련됨 -; 서포트 벡터 머신을 이용하여, 객체의 이상 상태가 객체가 이상을 포함함을 나타낸다고 결정하게 하고 - 서포트 벡터 머신은 참조 이미지들에 기반하여 훈련됨 -; 컨볼루션 신경망 디코더를 이용하여, 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 입력 이미지에서의 이상의 위치를 결정하게 하고 - 컨볼루션 신경망 디코더는 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 이상의 위치를 결정하도록 구성되고, 컨볼루션 신경망 디코더는 참조 이미지들에 기반하여 훈련됨 -; 이상의 위치와 연관된 액션을 수행하게 한다.

아래의 상세한 설명과 함께, 유사한 참조 번호들이 별개의 도면들 전체에 걸쳐 동일하거나 기능적으로 유사한 요소들을 지칭하는 첨부 도면들은 명세서에 통합되어 명세서의 일부를 형성하고, 본 명세서에 개시된 개념들의 구현들을 추가로 예시하고, 그 구현들의 다양한 원리들 및 이점들을 설명하는 역할을 한다.
도 1은 본 명세서에 설명된 객체 분석 시스템의 머신 학습 모델을 훈련시키는 것과 연관된 예시적인 구현의 도면이다.
도 2는 본 명세서에 설명된 객체 분석 시스템을 수반하는 이미지 기반 이상 검출과 연관된 예시적인 구현의 도면이다.
도 3은 본 명세서에 설명된 분류 모델과 연관된 예시적인 구현의 도면이다.
도 4는 본 명세서에 설명된 이상 위치파악 모델과 연관된 예시적인 구현의 도면이다.
도 5는 이미지 기반 이상 검출과 관련하여 머신 학습 모델을 훈련하고 이용하는 예를 나타내는 도면이다.
도 6은 본 명세서에 설명된 시스템들 및/또는 방법들이 구현될 수 있는 예시적인 환경의 도면이다.
도 7은 도 6의 하나 이상의 디바이스의 예시적인 구성요소들의 도면이다.
도 8은 객체의 머신 학습 분석에 기반한 이미지 기반 이상 검출에 관련된 예시적인 프로세스의 흐름도이다.
통상의 기술자들은 도면들 내의 요소들이 단순성 및 명료성을 위해 예시되고 반드시 축척에 맞게 그려지지 않았다는 것을 알 것이다. 예를 들어, 도면들 내의 요소들 중 일부의 치수들은 본 명세서에 설명된 구현들의 이해를 개선하는 것을 돕기 위해 다른 요소들에 비해 과장될 수 있다.
장치 및 방법 요소들은 적절한 경우에 도면들에서 종래의 심볼들에 의해 표현되었고, 본 명세서의 설명의 혜택을 입는 본 기술분야의 통상의 기술자에게 쉽게 명백할 상세들로 본 개시내용을 모호하게 하지 않도록 본 명세서에 설명된 구현들을 이해하는 것과 관련된 그 특정 상세들만을 도시한다.

예시적인 구현들의 다음의 상세한 설명은 첨부 도면들을 참조한다. 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

이상 검출은 이미지 기반 분석을 이용하여 수행될 수 있다. 예를 들어, 이미지 처리 모델(예를 들어, 컴퓨터 비전 모델)은 제품, 장비, 구조체, 또는 다른 유형의 물리적 객체와 같은 객체 상의 이상들을 식별하도록 훈련될 수 있다. 이미지 처리 모델은 스크래치들, 균열들, 구멍들, 변색들, 누락 요소들, 추가 요소들, 또는 다른 유형들의 이상들과 같은 이상들을 갖는 객체들(이는 "이상 객체들"이라고 할 수 있음)을 묘사하는 이미지들을 이용하여 훈련될 수 있다. 그러나, 다양한 유형들의 이상들, 개별 유형들의 이상들의 다양한 특성들(예를 들어, 크기들, 형상들, 위치들), 및/또는 (예를 들어, 환경에서의 미지의 또는 예기치 않은 변화들로 인해) 시간 경과에 따라 변화하는 이상들의 특성들의 능력으로 인해, 이러한 이미지 처리 모델은 비교적 부정확할 수 있고, 이에 의해 이상들의 거짓 부정적 또는 거짓 긍정적 검출들을 야기한다. 예를 들어, 이미지 처리 모델이 특정 유형의 이상 및/또는 특정 특성의 이상을 식별하도록 훈련되지 않았기 때문에, 이미지 처리 모델은 객체 상의 그 유형의 이상을 정확하게 검출할 수 없을 수 있다. 따라서, 객체 상의 또는 객체와 연관된 고유한 이상들 및/또는 미지의 이상들을 강건하고 정확하게 검출할 수 있는 객체 분석 시스템에 대한 필요성이 존재한다.

본 명세서에서 설명된 일부 구현들은 객체 상의 이상을 검출하고, 분류하고/하거나, 찾기 위한 객체 분석 시스템을 제공한다. 객체 분석 시스템은 임의의 이상들을 포함하지 않거나 갖지 않는 하나 이상의 참조 객체를 묘사하는 참조 이미지들에 기반하여 훈련되는 모델들의 배열을 포함하고/하거나 이를 이용할 수 있다. 예를 들어, 객체 분석 시스템은 객체를 분석하여 객체가 이상을 포함하는지를 결정하도록 구성되는 특징 추출 모델, 분류 모델, 및 이상 위치파악 모델을 포함할 수 있다. 모델들은 하나 이상의 비-이상 객체를 묘사하는 참조 이미지들의 분석으로부터 참조 객체의 특징들을 식별, 분석 및/또는 검출하도록 훈련될 수 있다. 이러한 방식으로, 객체 분석 시스템은 참조 객체와 입력 이미지(예컨대, 객체 분석 시스템에 의해 분석되고 있는 객체를 묘사하는 이미지)에 묘사되는 객체의 비교에 기반하여 이상을 검출, 분류 및/또는 찾을 수 있다. 이러한 방식으로, 특정 이상 또는 이상의 특정 구성을 묘사하는 훈련 이미지들을 이용하여 훈련되는 일 없이, 객체 분석 시스템은, 본 명세서에 설명된 바와 같이, 객체 상의 이상을 강건하고 정확하게 검출, 분류, 및/또는 찾을 수 있다. 게다가, 객체 분석 시스템의 모델들이 다른 시스템들보다 더 적은 훈련 데이터를 이용하여 훈련될 수 있고, 이에 의해 다른 시스템들에 비해 이미지 기반 이상 검출 강건성 및 정확도를 유지 및/또는 개선시키면서 컴퓨팅 자원들(예컨대, 처리 자원들, 메모리 자원들, 및/또는 저장 자원들)을 아낄 수 있다.

도 1은 객체 분석 시스템의 머신 학습 모델을 훈련시키는 것과 연관된 예시적인 구현(100)의 도면이다. 도 1에 도시된 바와 같이, 예시적인 구현(100)은 참조 데이터 구조 및 특징 추출 모델 및 분류 모델을 포함하는 동작 관리 시스템을 포함한다. 예시적인 구현(100)에서, 객체 분석 시스템은 하나 이상의 객체를 묘사하는 참조 이미지들에 기반하여 객체 상의 이상을 검출하도록 특징 추출 모델 및 분류 모델을 훈련시킬 수 있다. 예시적인 구현(100)이 특정 유형의 객체 상의 또는 그와 연관된 이상을 검출 및/또는 분류하도록 특징 추출 모델 및/또는 분류 모델을 훈련시키는 것과 관련하여 설명될 수 있지만, 도 1과 관련하여 설명된 예들은 다수의 유형의 객체들 상의 또는 그들과 연관된 이상을 검출 및/또는 분류하도록 특징 추출 모델 및/또는 분류를 훈련시키는 것과 관련하여 유사하게 적용될 수 있다.

도 1에 도시된 바와 같이, 참조 번호(110)에서, 객체 분석 시스템은 객체 유형과 연관된 참조 이미지 데이터를 수신할 수 있다. 예를 들어, 객체 분석 시스템은 특징 추출 모델 및/또는 분류 모델을 훈련시키는 것과 연관된 훈련 기간 동안 참조 이미지 데이터 구조로부터 참조 이미지 데이터를 획득할 수 있다. 참조 이미지 데이터 구조는 하나 이상의 이미지 소스(예를 들어, 하나 이상의 이미지 캡처 디바이스, 하나 이상의 이미지 데이터베이스, 및/또는 하나 이상의 네트워크 또는 시스템)로부터 참조 이미지들을 수신 및/또는 저장하는 저장 디바이스 및/또는 메모리 디바이스를 포함할 수 있다. 참조 이미지 데이터는 객체의 유형(예를 들어, 객체 분석 시스템에 의한 이상 검출을 위해 분석될 객체의 유형)을 묘사하는 참조 이미지들을 포함할 수 있다. 일부 구현들에서, 참조 이미지들은 (예를 들어, 특징 추출 모델 및/또는 분류 모델이 본 명세서에 설명되는 예들에 따라 다수의 유형들의 객체들 상의 이상들을 검출하는 것을 허용하기 위해) 다수의 유형들의 객체들을 묘사할 수 있다.

본 명세서에 설명된 바와 같이, 참조 이미지들은 특징 추출 모델이 이미지에 묘사된 객체의 특징들을 식별하고/하거나 식별된 특징들에 기반하여 객체를 이상 또는 비-이상으로서 분류하는 것을 허용하기 위해 비-이상 객체들을 묘사할 수 있다. 비-이상 객체는 이상을 포함하지 않는 객체일 수 있다. 예를 들어, 비-이상 객체는, 본 명세서에서 이용되는 바와 같이, 정상 객체, 표준 객체, 또는 표준(예를 들어, 산업 표준) 또는 허용오차(예를 들어, 설계 허용오차 및/또는 제조 허용오차)에 대한 허용가능한 객체로 고려될 수 있다.

도 1에 추가로 도시된 바와 같이, 참조 번호(120)에서, 객체 분석 시스템은 비-이상 객체들의 특징들을 추출한다. 비-이상 객체들은 동일한 유형의 객체인 참조 객체들을 묘사하는 참조 이미지들에 묘사될 수 있다. 예를 들어, 객체 분석 시스템은, 특징 추출 모델을 통해, 참조 이미지 데이터(및/또는 참조 이미지 데이터의 참조 이미지들)를 분석하여 객체의 유형의 특징들을 식별할 수 있다. 보다 구체적으로는, 객체 분석 시스템은 이미지 데이터에 묘사된 참조 객체들의 특징들을 식별하기 위해 참조 이미지 데이터를 분석할 수 있다. 이러한 특징들은 참조 이미지들에 일반적으로 묘사되는 특징들의 세트일 수 있다.

일부 구현들에서, 특징 추출 모델은 참조 객체들과 연관되고/되거나 참조 객체들을 묘사하는 참조 이미지들의 픽셀들을 식별 및/또는 추출하기 위해 참조 이미지들을 전처리하도록 훈련되는 이미지 처리 모델을 포함하고/하거나 그와 연관될 수 있다. 예를 들어, 이미지 처리 모델은 객체 검출 모델, 세그먼트화 모델, 에지 검출 모델, 및/또는 참조 이미지들 내의 객체의 묘사들과 연관된 바운딩 박스를 결정하도록 구성되는 다른 유형의 모델을 포함하고/하거나 그와 연관될 수 있다. 따라서, 이미지 처리 기술은 참조 객체들의 특징들을 식별하는 정확도 및 효율을 개선시키기 위해, 참조 이미지들 내의 임의의 배경 및/또는 잡음을 제거할 수 있다. 이러한 방식으로, 특징 추출 모델은 (예를 들어, 특징 추출 모델의 무감독 학습 및/또는 무감독 훈련을 용이하게 하고/하거나 개선시키기 위해) 참조 객체들의 특징들을 포함하거나 나타내는 참조 이미지들의 부분들만을 이용하여 훈련될 수 있다.

특징 추출 모델은 본 명세서의 다른 곳에서 설명된 바와 같이 (예를 들어, 객체 분석 시스템 및/또는 다른 시스템에 의해) 훈련되고/되거나 이용되는 머신 학습 모델을 포함하고/하거나 그와 연관될 수 있다. 예를 들어, 객체 분석 시스템은 객체의 유형과 연관되는 참조 이미지 데이터의 참조 이미지들에 기반하여 객체의 유형을 분석하도록 특징 추출 모델을 훈련시킬 수 있다. 일부 구현들에서, 특징 추출 모델은 (예를 들어, 특징 추출 모델의 출력 계층으로부터의 제1 특징 출력으로서) 특징들의 세트를 분류 모델에 제공하기 위해 특징들의 세트를 식별하도록 훈련될 수 있다. 이러한 방식으로, 본 명세서의 다른 곳에서 설명된 바와 같이, 입력 이미지가 이상 객체를 묘사하는지 또는 비-이상 객체를 묘사하는지를 결정하기 위해 분류 모델을 훈련시키는데 특징들의 세트가 이용될 수 있다.

도 1에 추가로 도시된 바와 같이, 참조 번호(130)에서, 객체 분석 시스템은 참조 이미지들에 기반하여 분류 모델을 훈련시킨다. 예를 들어, 객체 분석 시스템은 특징 추출 모델에 의해 식별 및/또는 추출되는 특징들의 세트에 기반하여 분류 모델을 훈련시킬 수 있다. 객체 분석 시스템은 이미지에 묘사된 객체의 이상 상태를 결정하도록 분류 모델을 훈련시킬 수 있다. 예를 들어, 이상 상태는 (예컨대, 이진 분류 기술에 따라) 객체가 이상 또는 비-이상인지를 나타낼 수 있다. 추가적으로 또는 대안적으로, 이상 상태는 객체가 이상을 포함할 경우에, 특정한 유형의 이상을 나타낼 수 있다.

분류 모델은 서포트 벡터 머신을 포함하고/하거나 이와 연관될 수 있다. 예를 들어, 객체 분석 시스템(및/또는 다른 시스템)은 참조 이미지 데이터의 참조 이미지들에 묘사되는 비-이상 객체들에 대한 유사성을 결정 및/또는 예측하도록 서포트 벡터 머신을 훈련시킬 수 있다. 더 구체적으로, 분류 모델은, 서포트 벡터 머신을 통해, 특징들의 세트에 기반하여 분류 스코어를 결정할 수 있다. 또한, 분류 모델은 입력 이미지에 묘사된 객체가 이상 객체인지 또는 비-이상 객체인지를 결정하기 위해 분류 스코어를 임계치와 비교하도록 훈련될 수 있다. 일부 구현들에서, 임계치는 참조 이미지 데이터로부터 학습된 특징들의 세트에 관계없이 설정되는 고정된 값(예를 들어, 고정된 범위 내)과 같은 고정된 임계치일 수 있다. 추가적으로 또는 대안적으로, 임계치는 특징 추출 모델에 의해 식별된 하나 이상의 참조 객체의 특징들의 세트에 특정된 맞춤화된 임계치일 수 있다. 이러한 맞춤화된 임계치는 참조 이미지들에 묘사된 비-이상 객체들의 특징들의 비교적 사소한 변동들 또는 편차들(예를 들어, 표준 또는 허용오차에 따라 이상으로 고려되지 않을 변동들 또는 편차들)을 고려하기 위해 하나 이상의 분류 임계치로 추가로 정밀화될 수 있다.

도 1에 추가로 도시된 바와 같이, 참조 번호(140)에서, 객체 분석 시스템은 테스트 데이터에 기반하여 분류 임계치를 식별한다. 예를 들어, 도 1에 도시된 바와 같이, 테스트 데이터 및 훈련 데이터의 세트들은 참조 이미지 데이터로부터 구성 및/또는 배열될 수 있다. 더 구체적으로, 훈련 데이터 및 테스트 데이터의 제1 세트는, 유사성 분석을 통해, 제1 반복에서 분류 모델을 훈련시키는데 이용되는 나머지 이미지들(Image_2 내지 Image_N)과 비교되는 N개의 이미지의 세트로부터의 테스트 데이터로서 제1 이미지(Image_1)를 포함할 수 있다. 유사성 분석으로부터, 분류 모델은 (예를 들어, 서포트 벡터 머신을 통해) 훈련 데이터 및 테스트 데이터의 제1 세트에 대한 제1 분류 스코어(s_1의 서포트 벡터 머신(SVM) 스코어로서 도시됨)를 결정할 수 있다. 유사하게, 훈련 데이터 및 테스트 데이터의 제2 세트는, 유사성 분석을 통해, 제2 반복에서 분류 모델을 훈련시키는데 이용되는 나머지 이미지들(Image_1, 및 Image_3 내지 Image_N)과 비교되는 N개의 이미지의 세트로부터의 테스트 데이터로서 제2 이미지(Image_2)를 포함할 수 있다. 유사성 분석으로부터, 분류 모델은 (예를 들어, 서포트 벡터 머신을 통해) 훈련 데이터 및 테스트 데이터의 제1 세트에 대한 제2 분류 스코어(s_2의 SVM 스코어로서 도시됨)를 결정할 수 있는 식이다. 이러한 방식으로, 분류 임계치를 결정하기 위해 N개의 테스트 데이터 및 훈련 데이터 세트로부터 N개의 분류 스코어가 획득될 수 있다. 예를 들어, 분류 임계치는 특징 추출 모델에 의해 식별되는 특징들의 세트에 따라 분류 모델을 훈련시키는 것으로부터 식별되거나 학습된 임계치를 시프트하는 것에 기반하여 결정될 수 있다. 이러한 방식으로, 참조 이미지들에 묘사된 비-이상 객체들을 수반하는 유사성 분석에 기반하여, 객체 분석 시스템(및/또는 다른 시스템)은 분류 모델을 훈련(또는 정밀화)하여 분류 임계치를 식별함으로써, 참조 객체들의 특징들의 비교적 작은 변동들 또는 편차들(예를 들어, 특징들의 형상들, 크기들, 컬러들, 또는 구성들에서의 무시할만한 차이들)에 의해 달리 야기될 수 있는 에러들 또는 부정확성들을 감소시킬 수 있다.

따라서, 예시적인 구현(100)과 관련하여 설명된 바와 같이, 객체 분석 시스템(및/또는 다른 시스템)은 비-이상인 객체들을 묘사하는 참조 이미지들에 기반하여 객체의 이상 상태를 결정하도록 특징 추출 모델을 훈련시키고/시키거나 특징 추출 모델을 이용하여 분류 모델을 훈련시킬 수 있다. 이러한 방식으로, 특징 추출 모델 및 분류 모델은 특정 유형들의 이상들 또는 특정 특성들의 이상들을 인식하도록 사전에 훈련되지 않고 객체 상의 다양한 이상들을 강건하고 정확하게 검출하도록 조정할 수 있다. 특징 추출 모델 및/또는 분류 모델은 도 5와 관련하여 설명된 바와 같이, 임의의 적합한 기술들에 따라 훈련될 수 있다.

전술한 바와 같이, 도 1은 예로서 제공된다. 다른 예들은 도 1과 관련하여 설명된 것과 상이할 수 있다. 도 1에 도시된 디바이스들의 수 및 배열은 예로서 제공된다. 실제로, 추가적인 디바이스들, 더 적은 디바이스들, 상이한 디바이스들, 또는 도 1에 도시된 것들과는 상이하게 배열된 디바이스들이 존재할 수 있다. 또한, 도 1에 도시된 2개 이상의 디바이스들은 단일 디바이스 내에 구현될 수 있거나, 또는 도 1에 도시된 단일 디바이스는 다수의 분산된 디바이스들로서 구현될 수 있다. 추가적으로 또는 대안적으로, 도 1에 도시된 한 세트의 디바이스들(예를 들어, 하나 이상의 디바이스)은 도 1에 도시된 다른 세트의 디바이스들에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행할 수 있다.

도 2는 객체 분석 시스템을 수반하는 이미지 기반 이상 검출과 연관된 예시적인 구현(200)의 도면이다. 도 2에 도시된 바와 같이, 예시적인 구현(200)은 객체 분석 시스템, 객체 관리 시스템, 및 사용자 디바이스를 포함한다. 예시적인 구현(200)에서, 객체 분석 시스템은 특징 추출 모델, 분류 모델, 및 이상 위치파악 모델을 포함한다.

특징 추출 모델 및/또는 분류 모델은 도 1과 관련하여 위에서 설명된 것과 유사한 방식으로 훈련될 수 있다. 예시적인 구현(200)에서, 특징 추출 모델은 컨볼루션 신경망 인코더를 포함하거나 이와 연관될 수 있다. 또한, 이상 위치파악 모델은 컨볼루션 신경망의 디코더에 대응할 수 있다. 이러한 방식으로, 특징 추출 모델 및 이상 위치파악 모델은 본 명세서의 다른 곳에서 설명된 바와 같이, 컨볼루션 신경망 오토인코더로서 배열될 수 있다. 분류 모델은, 본 명세서의 다른 곳에서 설명된 바와 같이, 하나 이상의 서포트 벡터 머신을 포함하고/하거나 이와 연관될 수 있다.

예시적인 구현(200)에서, 객체 관리 시스템은, 본 명세서에 설명된 바와 같이, 객체의 이미지를 캡처 및/또는 제공하도록 구성되는 이미지 캡처 디바이스(예를 들어, 카메라)를 포함하고/하거나 이와 연관될 수 있다. 객체 관리 시스템은 다른 예들 중에서도, 조립체 또는 제조 시스템, 재고 관리 시스템, 및/또는 운송 시스템을 포함할 수 있다. 객체 분석 시스템은 객체 분석 시스템이 객체 상의 이상(또는 특정 유형의 이상)을 검출하는지에 기반하여 객체의 처리를 용이하게 하기 위해 객체 관리 시스템과 연관될 수 있다. 일부 구현들에서, 객체 분석 시스템은 객체 관리 시스템의 하나 이상의 구성요소 또는 요소(예를 들어, 객체들이 이상들을 포함하게 하는 제조 머신의 결함 부분)에 대한 문제를 나타낼 수 있는, 검출된 이상들의 패턴들을 표시 및/또는 식별하도록 구성될 수 있다. 따라서, 객체 분석 시스템은 객체 관리 시스템 및/또는 사용자 디바이스에 정보를 제공하여 객체가 이상 객체인 것으로 결정되는지에 기반하여 객체 관리 시스템 및/또는 사용자 디바이스의 사용자가 객체(또는 객체 관리 시스템)를 처리 및/또는 관리하는 것을 허용할 수 있다.

도 2에 도시된 바와 같이, 참조 번호(210)에서, 객체 분석 시스템은 입력 이미지를 수신한다. 예를 들어, 객체 분석 시스템은 이미지 캡처 디바이스로부터 입력 이미지를 수신할 수 있다. 이미지 캡처 디바이스는 본 명세서에 설명된 예들에 따라 이미지 기반 이상 검출을 용이하게 하기 위해 객체 관리 시스템 내에 구성 및/또는 위치될 수 있다. 일부 구현들에서, 이미지 캡처 디바이스는 예시적인 구현(100)에서 특징 추출 모델 및/또는 분류 모델을 훈련시키는 것과 관련하여 위에서 설명된 참조 이미지들을 캡처하는데 이용된 하나 이상의 이미지 캡처 디바이스와 동일하거나 유사한 위치에서 객체 관리 시스템 내에 구성될 수 있다. 이러한 방식으로, 입력 이미지는 비-이상 객체들이 위에서 설명된 참조 이미지들에서 묘사되는 것과 유사한 방식으로 객체 관리 시스템에 의해 처리되고 있는 객체를 묘사할 수 있다.

도 2에 추가로 도시된 바와 같이, 참조 번호(220)에서, 객체 분석 시스템은 객체의 묘사된 특징들을 식별한다. 예를 들어, 도시된 바와 같이, 객체 분석 시스템은, 특징 추출 모델을 통해, 입력 이미지와 연관된 이미지 데이터를 수신하고 이미지 데이터의 픽셀 값들(예를 들어, 입력 이미지에서 객체를 묘사하는 픽셀 값들)로부터 객체 특징들을 식별할 수 있다. 특징 추출 모델의 컨볼루션 신경망 인코더는 본 명세서의 다른 곳에서 설명된 바와 같이, 비-이상 객체들을 묘사하는 참조 이미지들에 기반하여 훈련될 수 있다. 일부 구현들에서, 컨볼루션 신경망 인코더는 다수의 계층을 갖는다. 예를 들어, 컨볼루션 신경망 인코더는 이미지 데이터를 수신하는 입력 계층, 이미지에 묘사된 식별된 특징들에 따라 이미지 데이터를 처리하도록 훈련되는 하나 이상의 중간 계층, 및 제1 특징 출력으로서 특징 데이터를 분류 모델에 제공하는 출력 계층을 포함할 수 있다. 이러한 방식으로, 분류 모델은 입력 이미지에서 특징 추출 모델이 식별한 특징들의 세트를 수신 및/또는 식별하여 분류 모델이 객체의 이상 상태를 결정하는 것을 허용할 수 있다.

일부 구현들에서, 입력 이미지를 수신하는 것에 기반하여, 객체 분석 시스템은 본 명세서에 설명된 바와 같이, 이미지 기반 이상 검출을 용이하게 하기 위해 이미지에 대해 하나 이상의 전처리 기술을 수행할 수 있다. 예를 들어, 객체 분석 시스템은 (예를 들어, 특징 추출 모델을 통해) 입력 이미지에 묘사된 객체를 찾기 위해 이미지 처리 모델(예를 들어, 객체 검출 기술, 세그먼트화 기술, 및/또는 에지 검출 기술을 이용하는 모델)을 이용할 수 있다. 더 구체적으로, 전처리 기술은 픽셀-레벨 분석에 기반하여 객체의 둘레를 나타내는 객체와 연관된 바운딩 박스를 식별할 수 있다. 따라서, 객체를 묘사하는 입력 이미지의 픽셀들은 (예를 들어, 입력 이미지로부터 배경 및/또는 잡음을 제거하기 위해) 객체의 일부를 묘사하지 않는 입력 이미지의 픽셀들로부터 추출될 수 있다. 추가적으로 또는 대안적으로, 객체의 어떤 부분도 묘사하지 않는 픽셀들은 특징 추출 모델(또는 분류 모델 또는 이상 위치파악 모델)이 객체의 일부를 묘사하지 않는 픽셀들을 분석하는 자원들을 낭비할 필요가 없도록 고정된 값(예를 들어, 0)으로 설정될 수 있다. 이러한 방식으로, 예시적인 구현(200)에서의 이미지 데이터는 특징 추출 모델이 객체의 일부인 입력 이미지의 픽셀들만을 분석하도록 객체를 묘사하는(또는 그와 연관되는) 픽셀들만을 포함할 수 있다.

특징 추출 모델은 이상 위치파악 모델에 위치파악 데이터를 제공할 수 있다. 일부 구현들에서, 특징 추출 모델은 (예를 들어, 객체가 이상을 포함한다고 결정하는 것에 기반하여) 이상의 위치를 결정하도록 트리거링되는 이상 위치파악 모델에 기반하여 위치파악 데이터를 제공한다(또는 이상 위치파악 모델이 위치파악 데이터를 획득하는 것을 가능하게 한다). 이러한 방식으로, 특징 추출 모델은 본 명세서의 다른 곳에서 설명된 바와 같이, 이상이 찾아질 때까지 이상 위치파악 모델에 위치파악 데이터를 제공하지 않을 수 있다.

특징 추출 모델은 컨볼루션 신경망 인코더의 중간 계층으로부터, 제2 특징 출력으로서, 위치파악 데이터를 제공할 수 있다. 따라서, 제1 특징 출력 및 제2 특징 출력은 특징 추출 모델의 컨볼루션 신경망(예를 들어, 컨볼루션 신경망 인코더)의 상이한 계층들로부터의 것일 수 있다. 특징 추출 모델은 이상을 나타내는 특징을 검출하는 중간 계층, 및/또는 특징 추출 모델 및/또는 분류 모델의 훈련 기간 동안 학습되지 않은 특징과 같은 미지의 특징을 검출하는 중간 계층으로부터 위치파악 데이터를 출력하도록 훈련될 수 있다. 이러한 방식으로, 특징 추출 모델은, 특징 추출 모델이 추가적인 특징들을 식별하는 것과 병행하여, 이상 위치파악 모델이 이상의 위치를 결정하게 할 수 있다. 따라서, 이상 위치파악 모델은, 본 명세서의 다른 곳에서 설명된 바와 같이, 위치파악 데이터가 출력 계층으로부터 제공된 경우(또는 특징 데이터와 동일한 경우) 및/또는 이상 위치파악 모델이 특징 추출 모델과 분류 모델 사이에 직렬로 배열된 경우보다 상대적으로 더 빨리 이상의 위치를 나타낼 수 있다. 이러한 방식으로, 분류 모델은 위에서 설명된 바와 같이, 이상과 연관된 위치 정보를 수신할 때까지 기다릴 필요가 없을 수 있기 때문에, 객체 분석 시스템은 본 명세서의 다른 곳에서 설명된 바와 같이, 이상 위치파악 모델이 특징 추출 모델의 출력 계층으로부터 위치파악 데이터를 수신한 경우 및/또는 이상 위치파악 모델이 특징 추출 모델과 분류 모델 사이에 직렬로 있었던 경우보다 더 빠르게, 이상의 위치에 따라 이상을 검출 및/또는 분류할 수 있다.

도 2에 추가로 도시된 바와 같이, 참조 번호(230)에서, 객체 분석 시스템은 픽셀 에러들에 기반하여 이상 특징들을 찾는다. 예를 들어, 객체 분석 시스템의 이상 위치파악 모델은 특징 추출 모델로부터 위치파악 데이터 내의 픽셀 에러들을 수신하고 위치파악 데이터에 따라 이상 특징들을 찾을 수 있다. 위에서 언급된 바와 같이, 이상 위치파악 모델은 특징 데이터를 포함하는 특징 추출 모델의 제1 특징 출력과 상이한 계층으로부터 특징 추출 모델의 제2 특징 출력으로서 위치파악 데이터를 수신할 수 있다.

일부 구현들에서, 이상 위치파악 모델은 입력 이미지가 이상 객체를 묘사하는 것을 분류 모델이 검출한 후에 이상의 위치를 결정하고/하거나 위치파악 데이터를 획득하도록 (예를 들어, 분류 모델에 의해) 트리거링될 수 있다. 이러한 경우에, 이상 위치파악 모델은 분류 모델이 객체 상의 이상을 검출하고/하거나 입력 이미지가 (예를 들어, 이진 분류 기술에 따라) 이상 객체를 묘사한다고 결정할 때까지 위치파악 데이터를 수신 또는 획득하지 않을 수 있다. 이러한 방식으로, 이상 위치파악 모델은 분류 모델에 의해 이상이 검출될 때까지 특징 추출 모델로부터의 위치파악 데이터를 처리하지 않을 수 있고, 이에 의해 비-이상 이미지를 묘사하는 입력 이미지에서 (존재하지 않는) 이상을 찾으려고 시도함으로써 낭비될 컴퓨팅 자원들을 아낄 수 있다.

이상 위치파악 모델의 컨볼루션 신경망 디코더는 비-이상 객체들을 묘사하는 참조 이미지들에 기반하여 훈련될 수 있다. 예를 들어, 이상 위치파악 모델은 본 명세서의 다른 곳에서 설명된 바와 같이, 특징 추출 모델과 유사한 방식으로 훈련될 수 있다. 픽셀 에러들은 입력 이미지 및 위치파악 데이터로부터의 객체의 재구성된 이미지를 수반하는 유사성 분석(예를 들어, 식별된 픽셀 에러마다 구조적 유사성 인덱스 측정(structural similarity index measure)(SSIM)을 이용함)에 기반하여 결정될 수 있다. 예를 들어, 재구성된 이미지는 비-이상 객체의 묘사에 대응하는 픽셀 값들을 나타낼 수 있다. 따라서, 이상 위치파악 모델이 재구성된 이미지의 픽셀 값들에 대응하는(예를 들어, 픽셀 값들의 지정된 값 범위 내에 있지 않은) 입력 이미지(및/또는 위치파악 데이터)의 픽셀 값들과 연관된 신뢰도 레벨을 결정하는 것에 기반하여, 이상 위치파악 모델은 (예를 들어, 적어도 도 4와 관련하여 추가로 설명되는 바와 같이) 객체 상의 이상의 위치를 식별할 수 있다.

이상 위치파악 모델은 이상 위치 정보 내의 위치를 나타낼 수 있다. 예를 들어, 이상 위치 정보는 (예를 들어, 상부 부분, 하부 부분, 중간 부분, 좌측 부분, 우측 부분과 같은 방향 식별자들을 이용하여, 그리고/또는 상단 표면, 측면 표면, 하단 표면 등과 같은 표면 식별자들을 이용하여) 이미지의 좌표들 및/또는 객체에 대한 위치 정보를 식별할 수 있다. 일부 구현들에서, 이상 위치파악 모델은 픽셀 에러들의 양, 픽셀 에러들로부터 결정되는 클러스터에서의 픽셀들의 양(예를 들어, 식별된 픽셀 에러들에 의해 형성되는 영역 또는 경계 내에 있는 픽셀들의 그룹), 및/또는 픽셀 에러들을 포함하는 이미지의 좌표들에 기반하여 이상의 크기를 결정할 수 있다. 이상 위치파악 모델은 이상 위치 정보 내의 이상의 크기를 분류 모델에 나타낼 수 있다. 이러한 방식으로, 객체 분석 시스템은, 이상 위치파악 모델을 이용하여, 서포트 벡터 머신에 대한 이상의 위치를 결정 및/또는 나타낼 수 있다.

도 2에 추가로 도시된 바와 같이, 참조 번호(240)에서, 객체 분석 시스템은 특징들에 기반하여 분류 스코어를 결정한다. 예를 들어, 객체 분석 시스템의 분류 모델은 특징 데이터 및/또는 이상 위치 정보를 수신하고 특징 데이터 및/또는 이상 위치 정보에 기반하여 객체의 이상 상태를 나타내는 분류 스코어를 결정할 수 있다. 일부 구현들에서, 분류 모델은 특징 추출 모델의 제1 특징 출력(예를 들어, 컨볼루션 신경망 인코더의 출력 계층으로부터의 특징 데이터)에 기반하여 (예를 들어, 서포트 벡터 머신을 통해) 분류 스코어를 결정할 수 있다.

위에서 언급된 바와 같이, 분류 모델은 이상 상태를 나타내는 분류 스코어를 제공하도록 구성되는 서포트 벡터 머신을 포함하거나 이와 연관될 수 있다. 일부 구현들에서, 분류 모델의 서포트 벡터 머신은 본 명세서의 다른 곳에서 설명된 바와 같이, 입력 이미지에 묘사된 객체의 유형을 분석하도록 특별히 훈련되는 단일 클래스 서포트 벡터 머신일 수 있다. 이상 상태는 분류 스코어가 객체가 이상 특징을 포함함을 나타내는 것에 기반하여 입력 이미지가 이상을 갖는 객체를 묘사하는지를 나타낼 수 있다. 이상 상태는 분류 스코어와 분류 임계치(예를 들어, 이상 특징이 이상을 나타내는지 또는 이상을 나타내지 않는지와 연관되는 임계치)의 비교에 기반하여 결정 및/또는 표시될 수 있다. 이러한 경우에, 분류 모델은 분류 임계치에 따라(분류 스코어가 분류 임계치를 만족시키는지 또는 만족시키지 않는지에 기반하여) 이진 분류를 출력할 수 있다. 따라서, 이상 상태는 객체가 이상 특징을 포함하는지 또는 이상 특징을 포함하지 않는지를 나타낼 수 있다. 일부 구현들에서, 객체가 이상 특징을 포함하는 경우, 이상 상태는 이상 특징과 연관된 이상의 특정 특성들(예를 들어, 다른 예들 중에서도, 유형, 위치, 및/또는 크기)을 나타낼 수 있다.

일부 구현들에서, 이상 위치파악 모델은 분류 모델에 이진 분류(예를 들어, 객체가 이상인지 또는 비-이상인지를 나타냄)를 제공할 수 있다. 이러한 방식으로, 분류 모델은 이상 위치파악 모델로부터의 이진 분류를 분류 모델의 서포트 벡터 머신 분류(예를 들어, 서포트 벡터 머신로부터의 이진 분류)와 결합하여 분류 스코어가 객체가 이상 또는 비-이상임을 정확하게 나타낸다는 것을 검증할 수 있다. 따라서, 이상 위치파악 모델은 객체가 이상을 갖는지를 검출(또는 예측)하는 것과 관련된 신뢰도 및/또는 정확도를 개선할 수 있다. 일부 구현들에서, 이상 위치파악 모델로부터의 이진 분류가 분류 모델의 서포트 벡터 머신 분류를 검증 또는 유효화하지 않으면(또는 그 반대이면), 객체 분석 시스템은 (예를 들어, 사용자 디바이스 및/또는 객체 관리 시스템에) 추가 처리가 요구된다는 것을 나타낼 수 있다. 추가적으로 또는 대안적으로, 객체 분석 시스템은 객체를 묘사하는 다른 입력 이미지를 요청 또는 획득할 수 있고(그리고 다른 입력 이미지에 기반하여 분석을 수행할 수 있고)/있거나, 객체 관리 시스템으로 하여금 객체를 묘사하는 다른 이미지를 요청 또는 획득하기 전에 객체를 재구성하게 할 수 있다.

도 2에서, 분류 모델은 다수의 서포트 벡터 머신을 이용하여 객체 상의 식별된 이상들을 분류할 수 있다. 예를 들어, 분류 모델은 다른 예들 중에서도, 객체가 이상을 포함하는지 또는 이상을 포함하지 않는지를 나타내는 이진 분류를 (예를 들어, 제1 분류 임계치에 따라) 결정하도록 훈련되는 제1 서포트 벡터 머신, 식별된 이상이 스크래치인지 또는 스크래치가 아닌지를 나타내는 이진 분류를 (예를 들어, 제2 분류 임계치에 따라) 결정하도록 훈련되는 제2 서포트 벡터 머신, 및 이상이 변색인지 또는 변색이 아닌지를 나타내는 이진 분류를 (예를 들어, 제3 분류 임계치에 따라) 결정하도록 훈련되는 제3 서포트 벡터 머신을 포함할 수 있다. 따라서, 도시된 바와 같이, 분류 모델은, 제1 서포트 벡터 머신을 통해, 객체가 이상을 포함한다는 것 및/또는 객체의 2개의 식별된 특징이 2개의 이상(이상 1 및 이상 2)에 대응한다는 것을 나타내는 이상 데이터를 생성할 수 있다. 또한, 도시된 바와 같이, 분류 모델은, 제2 서포트 벡터 머신을 통해, 제1 이상(이상 1)이 스크래치임을 나타내는 이상 데이터를 생성할 수 있다. 더욱이, 분류 모델은, 제3 서포트 벡터 머신을 통해, 제2 이상(이상 2)이 변색임을 나타내는 이상 데이터를 생성할 수 있다.

일부 구현들에서, 도시된 바와 같이, 객체 분석 시스템은 이상 위치 정보를 이상 분류와 결합하여 이상 데이터를 생성할 수 있다. 예를 들어, 도시된 바와 같이, 제1 이상에 대한 이상 데이터는 스크래치가 좌표들 (x1, y1)에 묘사된 바와 같이 객체 상에 위치되고 3 밀리미터의 크기를 갖는다는 것을 나타낼 수 있다. 또한, 제2 이상에 대한 이상 데이터는 변색이 좌표들 (x2, y2)에 묘사된 바와 같이 객체 상에 위치되고 1 밀리미터의 크기를 갖는다는 것을 나타낼 수 있다. 일부 구현들에서, 본 명세서의 다른 곳에서 설명된 바와 같이, 이상 데이터는 이상의 위치 및/또는 이상의 유형을 나타내기 위해 입력 이미지와 결합될 수 있다. 예를 들어, 객체 분석 시스템은, 입력 이미지 상에 위치 표시자를 오버레이함으로써 그리고/또는 입력 이미지 내에 위치 표시자를 임베딩함으로써, 입력 이미지에 묘사된 바와 같은 객체 상의 이상의 위치를 나타내는 위치 표시자(예를 들어, 다른 예들 중에서도, 하이라이트, 윤곽, 화살표, 및/또는 오버레이)를 생성할 수 있다.

도 2에 추가로 도시된 바와 같이, 참조 번호(250)에서, 객체 분석 시스템은 이상 데이터를 사용자 디바이스에 제공한다. 예를 들어, 객체 분석 시스템은 이상 데이터를 포함하고/하거나 (예컨대, 사용자가 객체 관리 시스템 내에서 객체를 식별 및/또는 어드레싱하는 것을 허용하기 위해) 객체가 이상을 포함한다는 것을 사용자 디바이스의 사용자에게 (예컨대, 프롬프트 또는 메시지 표시자를 통해) 경고하는 통지를 사용자 디바이스에 제공할 수 있다. 일부 구현들에서, 객체 분석 시스템은 이상 데이터에 기반하여 보고를 생성할 수 있다. 예를 들어, 보고는, 본 명세서에 설명된 바와 같이, 객체 분석 시스템이 분석한 시간 기간 또는 객체들의 배치와 연관될 수 있다. 일부 구현들에서, 보고는 검출된 이상들과 연관된 통계들(예를 들어, 이상들을 포함하는 것으로 결정된 객체들의 양, 특정 유형들의 이상들의 양, 특정 특성들의 이상들과 연관된 패턴 또는 추세 등)을 나타낼 수 있다. 일부 구현들에서, 객체 분석 시스템은 객체가 이상을 포함함을 검출하는 것에 기반하여, 소정의 시간 기간 동안의 분석된 객체들의 임계 수량이 이상을 포함함을 검출하는 것에 기반하여, 소정의 시간 기간 동안의 분석된 객체들의 임계 백분율이 이상을 포함함을 검출하는 것에 기반하여, 그리고/또는 객체들 상의 이상의 특정한 특성과 연관된 소정의 추세가 소정의 시간 기간에 걸쳐 전개되었다는 것(예컨대, 다수의 객체들이 동일하거나 유사한 이상을 갖는 것으로 결정되고, 이것은 객체 관리 시스템의 하나 이상의 구성요소가 이상들을 야기시키는 문제를 나타낼 수 있음)을 검출하는 것에 기반하여, 이상 데이터를 사용자 디바이스에 제공할 수 있다.

도 2에 추가로 도시된 바와 같이, 참조 번호(260)에서, 객체 분석 시스템은 객체 처리를 용이하게 한다. 예를 들어, 객체 분석 시스템은 객체 관리 시스템으로 하여금 객체를 관리하게 하기 위해 이상 데이터를 객체 관리 시스템에 제공할 수 있다. 보다 구체적으로, 객체 분석 시스템은 객체 관리 시스템으로 하여금 하나 이상의 동작에 따라 객체를 관리하도록 하나 이상의 디바이스를 제어하게 하기 위해 객체 관리 시스템에 이상 데이터를 제공할 수 있다. 예를 들어, 이러한 동작은 다른 예들 중에서도, (예를 들어, 처리로부터 객체를 제거함으로써) 객체를 폐기하는 것, (예를 들어, 객체 분석 시스템의 라벨링 메커니즘을 통해) 객체를 이상으로서 라벨링하는 것, 및/또는 객체를 이상 객체들에 대해 지정된 영역(예를 들어, 이상 객체들이 추가로 검사 및/또는 수리될 수 있는 영역)으로 라우팅하는 것을 포함할 수 있다. 일부 구현들에서, 객체 분석 시스템은 이상 데이터에 따라, 객체와 연관된 하나 이상의 동작을 수행하도록 객체 관리 시스템을 제어할 수 있다.

이러한 방식으로, 객체 분석 시스템은 강건하고 정확한 이미지 기반 이상 검출 모델을 이용하여 객체들의 관리 및/또는 처리를 용이하게 하고, 객체들이 객체 관리 시스템으로부터 출력되고, 현장에서 이용되고/되거나, 소비자들에게 판매되기 전에 분석된 객체들이 특정 기준들 또는 표준들을 만족시키는 것(예를 들어, 비-이상 객체들임)을 보장할 수 있으며, 이에 의해 특정 기준들 또는 표준들을 만족시키지 않는 객체들(예를 들어, 이상 객체들)로부터 위험 또는 저하된 소비자 경험의 가능성을 감소시키거나 방지할 수 있다.

전술한 바와 같이, 도 2는 예로서 제공된다. 다른 예들은 도 2와 관련하여 설명된 것과 상이할 수 있다. 도 2에 도시된 디바이스들의 수 및 배열은 예로서 제공된다. 실제로, 추가적인 디바이스들, 더 적은 디바이스들, 상이한 디바이스들, 또는 도 2에 도시된 것들과는 상이하게 배열된 디바이스들이 존재할 수 있다. 또한, 도 2에 도시된 2개 이상의 디바이스가 단일 디바이스 내에 구현될 수 있거나, 도 2에 도시된 단일 디바이스가 다수의 분산된 디바이스로서 구현될 수 있다. 추가적으로 또는 대안적으로, 도 2에 도시된 한 세트의 디바이스들(예를 들어, 하나 이상의 디바이스)은 도 2에 도시된 다른 세트의 디바이스들에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행할 수 있다.

도 3은 본 명세서에 설명된 분류 모델과 연관된 예시적인 구현의 도면이다. 도 3에 도시된 바와 같이, 예시적인 구현은, 본 명세서의 다른 곳에서 설명된 분류 모델 내에 포함되고, 분류 모델에 의해 이용되고/되거나, 분류 모델과 연관하여 훈련될 수 있는 서포트 벡터 머신들의 배열의 예를 포함한다. 이 배열은 다양한 유형들(t)의 이상들에 대한 제1 서포트 벡터 머신 및 후속 서포트 벡터 머신들(sSVM_t)을 포함하는 다수의 서포트 벡터 머신들의 캐스케이드(300)를 포함할 수 있다. 제1 서포트 벡터 머신 및 후속 서포트 벡터 머신들은 특정 목적을 위해 독립적으로 훈련되는 개별 단일 클래스 서포트 벡터 머신들일 수 있다. 더 구체적으로, 제1 서포트 벡터 머신은 수신된 입력 이미지가 이상을 포함하는지 또는 이상을 포함하지 않는지의 이진 분류를 제공하도록 훈련될 수 있다. 서포트 벡터 머신들의 임계치들은 변할 수 있고, 본 명세서의 다른 곳에서 설명된 바와 같이, 비-이상 객체들의 참조 이미지들에 따라 결정될 수 있다. 또한, 캐스케이드(300) 내의 개별 후속 서포트 벡터 머신들은 이상이 개별 후속 서포트 벡터 머신들이 검출하도록 훈련되는 대응하는 유형의 이상인지를 나타내는 이진 분류를 제공할 수 있다.

따라서, 참조 번호(302)로 나타낸 바와 같이, 제1 서포트 벡터 머신은 입력 이미지를 분석하여 입력 이미지가 비-이상 객체를 묘사하는지를 결정할 수 있다. 제1 서포트 벡터 머신이 입력 이미지가 비-이상 객체를 묘사한다고 결정하면, 제1 서포트 벡터 머신은 참조 번호(304)로 나타낸 바와 같이, 객체가 (예를 들어, 비-이상을 나타낼 수 있는) "Ok"임을 나타낸다. 입력 이미지가 이상 객체를 묘사한다고 제1 서포트 벡터 머신이 결정하면, 참조 번호(306)로 나타낸 바와 같이, 제1 서포트 벡터 머신은 이상이 검출되었음을 나타낼 수 있다. 또한, 참조 번호(308)로 나타낸 바와 같이, 제1 반복에서, 후속 서포트 벡터 머신은 검출된 이상이 특정 유형의 이상에 대응하는지를 결정한다. 참조 번호(310)로 나타낸 바와 같이, 후속 서포트 벡터 머신이 이상이 특정 유형의 이상이라고 결정하는 경우, 특정 유형이 표시될 수 있다. 참조 번호(312)로 나타낸 바와 같이, 후속 서포트 벡터 머신이 이상이 후속 서포트 벡터 머신이 식별하도록 훈련되는 특정 유형의 이상이 아니라고 결정하는 경우, 캐스케이드는 다른 이상에 대해 체크할지를 결정한다. 후속 서포트 벡터 머신이 캐스케이드 내의 마지막 서포트 벡터 머신인 경우, 분류 분석이 종료될 수 있다. 그렇지 않으면, 참조 번호(314)로 나타낸 바와 같이, 분류 모델은 이상이 다른 유형의 이상인지를 결정하도록 훈련되는 다른 후속 서포트 벡터 머신로 분석을 반복하는 식이다.

후속 서포트 벡터 머신들은 임의의 적절한 방식으로 캐스케이드 내에 배열될 수 있다. 예를 들어, 가장 빈번하게 검출된 유형의 이상은 (예를 들어, 캐스케이드를 통한 다수의 반복을 요구할 가능성을 감소시키기 위해) 제1 서포트 벡터 머신에 가장 가까운 캐스케이드 내에 위치될 수 있다. 추가적으로 또는 대안적으로, (예를 들어, 서포트 벡터 머신들 중에서 검출하기 가장 쉬운 이상들을 식별하도록 구성될 수 있는) 가장 간단하거나 가장 덜 복잡한 서포트 벡터 머신이 (예를 들어, 비교적 적은 처리 능력을 요구할 수 있는 가장 쉽게 검출가능한 이상들에 대해 이상이 먼저 분석되는 것을 보장하기 위해) 제1 서포트 벡터 머신에 가장 가까운 캐스케이드 내에 위치될 수 있다.

따라서, 도 3에 도시된 바와 같이, 제1 서포트 벡터 머신은 객체가 이상 특징을 포함함을 나타내는 제1 이진 분류를 출력하도록 캐스케이드 내에 구성될 수 있다. 또한, 제2 서포트 벡터 머신(예를 들어, 후속 서포트 벡터 머신들 중 하나)는 객체가 이상 특징을 포함함을 나타내는 제1 이진 분류에 기반하여, 이상이 특정 유형의 이상이라는 것 또는 이상이 특정 유형의 이상이 아니라는 것을 나타내는 제2 이진 분류를 출력하도록 구성될 수 있다. 이에 대응하여, 분류 모델은, 제2 이진 분류에 기반하여, 이상이 특정 유형의 이상이라는 것 또는 이상이 특정 유형의 이상이 아니라는 것을 나타내는 라벨을 포함하는 이상 데이터를 생성할 수 있다.

전술한 바와 같이, 도 3은 예로서 제공된다. 다른 예들은 도 3과 관련하여 설명된 것과 상이할 수 있다.

도 4는 이상 위치파악 모델(400)과 연관된 예시적인 구현의 도면이다. 도 4에 도시된 바와 같이, 이상 위치파악 모델(400)은, 본 명세서의 다른 곳에서 설명된 예들에 따라 훈련되는 (예를 들어, 전술한 특징 추출 모델과 관련하여 설명된 컨볼루션 신경망 인코더에 대응하는) 인코더 및 (예를 들어, 전술한 이상 위치파악 모델과 관련하여 설명된 컨볼루션 신경망 디코더에 대응하는) 디코더를 포함하는 컨볼루션 신경망 오토인코더를 포함한다. 또한, 이상 위치파악 모델(400)은 비교기 모듈, 분류기 모듈, 및 클러스터링 모듈을 포함한다.

도시된 바와 같이, 참조 번호(402)에서, 컨볼루션 신경망 오토인코더는 입력 이미지를 수신한다. 입력 이미지는 이상을 포함하는 것으로 도시된다. 인코더는 디코더에 제공되는 입력 이미지 내의 특징들을 식별한다. 디코더는, 특징들에 기반하여, 참조 번호(404)로 나타낸 바와 같이, (예를 들어, 컨볼루션 오토인코더가 식별하도록 훈련되는 객체의 유형을 나타내는) 참조 객체의 재구성된 이미지를 생성한다. 참조 번호(406)에서, 비교기 모듈은 (예를 들어, 픽셀 에러마다의 SSIM 분석을 이용하여) 입력 이미지와 재구성된 이미지를 비교한다. 픽셀 값들의 비교(및/또는 입력 이미지의 픽셀들의 픽셀 값들이 재구성된 이미지의 대응하는 픽셀들의 픽셀 값들에 대응하는 신뢰도 레벨)에 기반하여, 이상을 나타낼 수 있는 픽셀 에러들이 검출될 수 있고/있거나, 픽셀 에러들의 위치들이 이상의 위치들에 대응할 수 있다. 비교기 모듈은 참조 번호(408)에서, 이상의 위치를 나타내는데 이용될 수 있는 이상 열지도를 생성할 수 있다. 추가적으로 또는 대안적으로, 참조 번호(410)에서, 클러스터링 모듈은 참조 번호(412)로 나타낸 바와 같이, 이상 위치 정보에 포함되거나 표시될 이상의 면적 및/또는 둘레를 결정하기 위해 클러스터링 기술(예를 들어, k-평균 클러스터링)을 수행할 수 있다. 이러한 방식으로, 이상 위치파악 모델은 이상과 연관되고/되거나 입력 이미지 및/또는 입력 이미지에 묘사된 객체와 연관된 이상 데이터를 생성하는데 이용될 수 있는 위치 정보를 분류 모델에 표시 및/또는 제공할 수 있다.

전술한 바와 같이, 도 4는 예로서 제공된다. 다른 예들은 도 4와 관련하여 설명된 것과 상이할 수 있다.

도 5는 이미지 기반 이상 검출과 관련하여 머신 학습 모델을 훈련하고 이용하는 예(500)를 나타내는 도면이다. 본 명세서에 설명된 머신 학습 모델 훈련 및 이용은 머신 학습 시스템을 이용하여 수행될 수 있다. 머신 학습 시스템은, 본 명세서의 다른 곳에서 보다 상세히 설명되는 객체 분석 시스템과 같은, 컴퓨팅 디바이스, 서버, 클라우드 컴퓨팅 환경 등을 포함할 수 있거나 또는 이에 포함될 수 있다.

참조 번호(505)로 나타낸 바와 같이, 머신 학습 모델은 관찰들의 세트를 이용하여 훈련될 수 있다. 관찰들의 세트는 본 명세서에 설명된 하나 이상의 프로세스 동안 수집된 데이터와 같은 훈련 데이터(예를 들어, 이력 데이터)로부터 획득될 수 있다. 일부 구현들에서, 머신 학습 시스템은, 본 명세서의 다른 곳에서 설명된 바와 같이, 참조 데이터 구조 및/또는 객체 관리 시스템으로부터(예컨대, 객체 관리 시스템의 이미지 캡처 디바이스로부터) 관찰들의 세트를 (예컨대, 입력으로서) 수신할 수 있다.

참조 번호(510)로 나타낸 바와 같이, 관찰들의 세트는 특징 세트를 포함한다. 특징 세트는 변수들의 세트를 포함할 수 있고, 변수는 특징으로서 지칭될 수 있다. 특정 관찰은 변수들의 세트에 대응하는 변수 값들(또는 특징 값들)의 세트를 포함할 수 있다. 일부 구현들에서, 머신 학습 시스템은 참조 데이터 구조 및/또는 객체 관리 시스템으로부터 수신된 입력에 기반하여 관찰들의 세트에 대한 변수들 및/또는 특정 관찰에 대한 변수 값들을 결정할 수 있다. 예를 들어, 머신 학습 시스템은 구조화된 데이터(예를 들어, 비-이상 객체들을 묘사하는 이미지들과 연관된 이미지 데이터)로부터 특징 세트를 추출함으로써, 비구조화된 데이터(예를 들어, 이상 객체들 및 비-이상 객체들을 묘사하는 이미지들과 연관된 이미지 데이터)로부터 특징 세트를 추출하기 위해 이미지 처리 기술을 수행함으로써, 그리고/또는 오퍼레이터로부터 입력을 수신함으로써 특징 세트(예를 들어, 하나 이상의 특징 및/또는 특징 값)를 식별할 수 있다.

예로서, 관찰들의 세트에 대한 특징 세트는 윤곽 데이터의 제1 특징(예를 들어, 객체의 이미지에서 식별가능할 수 있는 객체의 물리적 요소 또는 양태의 표현), 픽셀 데이터의 제2 특징(예를 들어, 특징의 픽셀들의 적색, 녹색, 청색(RGB) 값), 위치 데이터의 제3 특징(예를 들어, 관찰에서의 특징의 위치를 식별하는 좌표들) 등을 포함할 수 있다. 도시된 바와 같이, 제1 관찰에 대해, 제1 특징은 Contour_1의 값(예컨대, 특징 유형의 식별자)을 가질 수 있고, 제2 특징은 RGB_1의 값(예컨대, 관찰에서의 특징과 연관된 하나 이상의 픽셀의 값)을 가질 수 있으며, 제3 특징은 (X₁, Y₁)의 값(예컨대, 객체의 참조점에 대한 좌표들 및/또는, 참조 이미지 또는 이미지 캡처 디바이스에 의해 캡처된 이미지와 같은, 관찰의 이미지의 참조점에 대한 좌표들의 세트)을 가질 수 있는 식이다. 이러한 특징들 및 특징 값들은 예들로서 제공되며, 다른 예들에서 상이할 수 있다. 예를 들어, 특징 세트는 다음의 특징들 중 하나 이상을 포함할 수 있다: 크기 데이터(예를 들어, 관찰의 특징을 묘사하는 이미지의 영역을 나타내는 데이터), 형상 데이터(예를 들어, 객체의 둘레를 나타내는 데이터), 소스 데이터(예를 들어, 관찰과 연관된 소스 디바이스를 식별하는 데이터), 객체 유형 데이터(예를 들어, 관찰과 연관된 객체의 유형을 식별하는 데이터), 객체 크기 데이터(예를 들어, 객체의 크기를 식별하는 데이터) 등.

참조 번호(515)로 나타낸 바와 같이, 관찰들의 세트는 타겟 변수와 연관되어 있을 수 있다. 타겟 변수는 수치 값을 갖는 변수를 나타낼 수 있고, 값들의 범위 내에 있거나 일부 별개의 가능한 값들을 가지는 수치 값을 갖는 변수를 나타낼 수 있고, 다수의 옵션들 중 하나(예를 들어, 다수의 클래스들, 분류들, 또는 라벨들 중 하나)로부터 선택가능한 변수를 나타낼 수 있고/있거나 부울 값을 갖는 변수를 나타낼 수 있다. 타겟 변수는 타겟 변수 값과 연관될 수 있고, 타겟 변수 값은 관찰에 특정적일 수 있다. 예(500)에서, 타겟 변수는, 제1 관찰에 대한 Feature_1 및 제2 관찰에 대한 Feature_2의 값을 갖는, 특징 유형이다. Feature_1 및/또는 Feature_2는 (예를 들어, 머신 학습 모델이 비-이상 객체들을 묘사하는 참조 이미지들을 이용하여 훈련될 수 있기 때문에) 객체 유형과 연관된 비-이상 객체들의 특징들에 대응할 수 있다. 그에 대응하여, 특징들(Feature_1 및 Feature_2)은 머신 학습 모델이 관찰들에 따라 식별 및/또는 구성하도록 훈련되는 참조 객체와 연관될 수 있다.

타겟 변수는 머신 학습 모델이 예측하도록 훈련되고 있는 값을 나타낼 수 있고, 특징 세트는 타겟 변수에 대한 값을 예측하도록 훈련된 머신 학습 모델에 입력되는 변수들을 나타낼 수 있다. 머신 학습 모델이 타겟 변수 값으로 이어지는 특징 세트 내의 패턴들을 인식하도록 훈련될 수 있도록, 관찰들의 세트는 타겟 변수 값들을 포함할 수 있다. 타겟 변수 값을 예측하도록 훈련되는 머신 학습 모델은 감독 학습 모델로서 지칭될 수 있다.

일부 구현들에서, 머신 학습 모델은 타겟 변수를 포함하지 않는 관찰들의 세트에 대해 훈련될 수 있다. 이것은 무감독 학습 모델이라고 지칭될 수 있다. 이 경우, 머신 학습 모델은 라벨링 또는 감독 없이 관찰들의 세트로부터 패턴들을 학습할 수 있고, 예를 들어, 클러스터링 및/또는 연관을 이용하여 관찰들의 세트 내의 관련된 아이템들의 그룹들을 식별함으로써, 이러한 패턴들을 나타내는 출력을 제공할 수 있다.

참조 번호(520)로 나타낸 바와 같이, 머신 학습 시스템은 관찰들의 세트를 이용하여 그리고 회귀 알고리즘, 결정 트리 알고리즘, 신경망 알고리즘, k-최근접 이웃 알고리즘, 서포트 벡터 머신 알고리즘 등과 같은 하나 이상의 머신 학습 알고리즘을 이용하여 머신 학습 모델을 훈련시킬 수 있다. 훈련 이후, 머신 학습 시스템은 새로운 관찰들을 분석하는데 이용될 훈련된 머신 학습 모델(525)로서 머신 학습 모델을 저장할 수 있다.

참조 번호(530)로 나타낸 바와 같이, 머신 학습 시스템은 예컨대 새로운 관찰을 수신하고 새로운 관찰을 훈련된 머신 학습 모델(525)에 입력함으로써, 훈련된 머신 학습 모델(525)을 새로운 관찰에 적용할 수 있다. 도시된 바와 같이, 새로운 관찰은 예로서 Contour_N의 제1 특징, RGB_N의 제2 특징, (X_N, Y_N)의 제3 특징 등을 포함할 수 있다. 머신 학습 시스템은 훈련된 머신 학습 모델(525)을 새로운 관찰에 적용하여 출력(예를 들어, 결과)을 생성할 수 있다. 출력의 유형은 머신 학습 모델의 유형 및/또는 수행되는 머신 학습 작업의 유형에 의존할 수 있다. 예를 들어, 출력은, 감독 학습이 이용될 때와 같이, 타겟 변수의 예측된 값을 포함할 수 있다. 추가적으로 또는 대안적으로, 출력은 새로운 관찰이 속하는 클러스터를 식별하는 정보 및/또는, 무감독 학습이 이용될 때와 같이, 새로운 관찰과 하나 이상의 다른 관찰 간의 유사성의 정도를 나타내는 정보를 포함할 수 있다.

예로서, 훈련된 머신 학습 모델(525)은 참조 번호(535)로 나타낸 바와 같이, 새로운 관찰에 대한 특징 유형의 타겟 변수에 대한 이상의 값을 예측할 수 있다. 예를 들어, 타겟 변수는 관찰이 이상 객체와 연관됨을 나타내는 이상을 표시할 수 있다. 훈련된 머신 학습 모델(525)은 새로운 관찰의 특징 세트가 머신 학습 모델이 훈련되었을 때 학습된 특징 유형에 매핑될 수 없을 때 이상의 값을 예측할 수 있다. 이 예측에 기반하여, 머신 학습 시스템은 다른 예들 중에서도, 제1 추천을 제공할 수 있고, 제1 추천의 결정에 대한 출력을 제공할 수 있고, 제1 자동화된 액션을 수행할 수 있고/있거나, 제1 자동화된 액션이 (예를 들어, 자동화된 액션을 수행하도록 다른 디바이스에 지시함으로써) 수행되게 할 수 있다. 제1 추천은, 예를 들어, 사용자 디바이스의 사용자가 새로운 관찰의 객체 상의 이상을 어드레싱하라는 추천 및/또는 이상을 포함하는 것에 기반하여 객체를 관리하라는(예를 들어, 비-이상 객체들로부터 객체를 정렬 또는 제거하라는) 객체 관리 시스템에 대한 추천을 포함할 수 있다. 제1 자동화된 액션은, 예를 들어, 새로운 관찰의 객체가 이상을 포함한다는 것을 나타내기 위해 사용자 디바이스에 이상 데이터를 제공하는 것 및/또는 객체 관리 시스템으로 하여금 이상을 포함하는 것에 기반하여 새로운 관찰의 객체를 관리하게 하는 것(예를 들어, 비-이상 객체들로부터 객체를 정렬 또는 제거하게 하는 것)을 포함할 수 있다.

다른 예로서, 머신 학습 시스템이 특징 유형의 타겟 변수에 대한 학습된 특징과 연관된 값을 예측한다면, 머신 학습 시스템은 제2(예를 들어, 상이한) 추천(예를 들어, 객체를 이용 또는 출력하라는 추천 또는 객체의 이용 또는 출력을 가능하게 하라는 추천)을 제공할 수 있고/있거나 제2(예를 들어, 상이한) 자동화된 액션(예를 들어, 객체의 이용 또는 출력을 가능하게 함)을 수행하거나 그 수행을 야기할 수 있다.

일부 구현들에서, 훈련된 머신 학습 모델(525)은 참조 번호(540)로 나타낸 바와 같이, 클러스터에서 새로운 관찰을 분류(예를 들어, 클러스터링)할 수 있다. 클러스터 내의 관찰들은 임계 유사도를 가질 수 있다. 예로서, 머신 학습 시스템이 제1 클러스터(예를 들어, 제1 유형의 이상과 연관된 클러스터)에서 새로운 관찰을 분류하면, 머신 학습 시스템은 위에서 설명된 제1 추천과 같은 제1 추천을 제공할 수 있다. 추가적으로 또는 대안적으로, 머신 학습 시스템은 제1 자동화된 액션을 수행할 수 있고/있거나, 위에서 설명된 제1 자동화된 액션과 같이, 제1 클러스터에서 새로운 관찰을 분류하는 것에 기반하여 (예를 들어, 다른 디바이스에게 자동화된 액션을 수행하도록 지시함으로써) 제1 자동화된 액션이 수행되게 할 수 있다.

다른 예로서, 머신 학습 시스템이 제2 클러스터(예를 들어, 제2 유형의 이상과 연관된 클러스터)에서 새로운 관찰을 분류한다면, 머신 학습 시스템은 제2(예를 들어, 상이한) 추천(예를 들어, 제2 유형의 이상이 수리불가능한 유형이라면 객체를 파괴하거나 재활용하라는 추천)을 제공할 수 있고/있거나, 객체를 파괴하는 등의 제2(예를 들어, 상이한) 자동화된 액션을 수행하거나 그 수행을 야기할 수 있다.

일부 구현들에서, 새로운 관찰과 연관된 추천 및/또는 자동화된 액션은 특정 라벨(예를 들어, 분류 또는 카테고리화)을 갖는 타겟 변수 값에 기반할 수 있고, 타겟 변수 값이 하나 이상의 임계치를 만족시키는지(예를 들어, 타겟 변수 값이 임계치보다 큰지, 임계치보다 작은지, 임계치와 동일한지, 임계값들의 범위 내에 있는지 등)에 기반할 수 있고/있거나, 새로운 관찰이 분류되는 클러스터에 기반할 수 있다.

이러한 방식으로, 머신 학습 시스템은 객체와 연관된 이상을 검출 및/또는 분류하기 위해 엄격하고 자동화된 프로세스를 적용할 수 있다. 머신 학습 시스템은 수십, 수백, 수천, 또는 수백만의 특징 및/또는 수십, 수백, 수천, 또는 수백만의 관찰에 대한 특징 값의 인식 및/또는 식별을 가능하게 함으로써, 특징 또는 특징 값을 이용하여 객체와 연관된 이상을 수동으로 검출 및/또는 분류하기 위해 컴퓨팅 자원이 수십, 수백, 또는 수천의 오퍼레이터에 대해 할당될 것을 요구하는 것에 비해, 정확도 및 일관성을 증가시키고 객체와 연관된 이상을 검출 및/또는 분류하는 것과 연관된 지연을 감소시킨다.

전술한 바와 같이, 도 5는 예로서 제공된다. 다른 예들은 도 5와 관련하여 설명된 것과 상이할 수 있다.

도 6은 본 명세서에서 설명되는 시스템들 및/또는 방법들이 구현될 수 있는 예시적인 환경(600)의 도면이다. 도 6에 도시된 바와 같이, 환경(600)은 객체 분석 시스템(610), 참조 이미지 데이터 구조(620), 객체 관리 시스템(630), 사용자 디바이스(640), 및 네트워크(650)를 포함할 수 있다. 환경(600)의 디바이스들은 유선 접속들, 무선 접속들, 또는 유선 및 무선 접속들의 조합을 통해 상호접속할 수 있다.

객체 분석 시스템(610)은, 본 명세서의 다른 곳에서 설명된 바와 같이, 머신 학습 분석에 기반하여 이미지 기반 이상 검출과 연관된 정보를 수신, 생성, 저장, 처리, 제공, 및/또는 라우팅할 수 있는 하나 이상의 디바이스를 포함한다. 객체 분석 시스템(610)은 통신 디바이스 및/또는 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 객체 분석 시스템(610)은, 애플리케이션 서버, 클라이언트 서버, 웹 서버, 데이터베이스 서버, 호스트 서버, 프록시 서버, (예컨대, 컴퓨팅 하드웨어 상에서 실행되는) 가상 서버, 또는 클라우드 컴퓨팅 시스템에서의 서버와 같은, 서버를 포함할 수 있다. 일부 구현들에서, 객체 분석 시스템(610)은 클라우드 컴퓨팅 환경에서 이용되는 컴퓨팅 하드웨어를 포함한다.

참조 이미지 데이터 구조(620)는 본 명세서의 다른 곳에서 설명된 바와 같이, 하나 이상의 모델을 훈련시키기 위해 하나 이상의 유형의 객체와 연관된 참조 이미지 데이터를 생성, 저장, 처리 및/또는 제공할 수 있는 하나 이상의 디바이스를 포함한다. 예를 들어, 참조 이미지 데이터 구조(620)는 하나 이상의 이미지 소스로부터 참조 이미지들을 수신 및/또는 저장하는 저장 디바이스 및/또는 메모리 디바이스를 포함할 수 있다. 추가적으로 또는 대안적으로, 참조 이미지 데이터 구조는 참조 이미지 데이터를 수신, 처리, 및/또는 객체 분석 시스템(610)에 제공하기 위한 통신 디바이스 및/또는 컴퓨팅 디바이스를 포함할 수 있다.

객체 관리 시스템(630)은, 본 명세서의 다른 곳에서 설명된 바와 같이, 객체를 관리하는 것과 연관된 정보를 수신, 생성, 저장, 처리, 제공, 및/또는 라우팅할 수 있는 하나 이상의 디바이스를 포함한다. 예를 들어, 객체 관리 시스템(630)은 하나 이상의 객체의 조립, 하나 이상의 객체의 제조, 하나 이상의 객체의 정렬, 하나 이상의 객체의 분배, 하나 이상의 객체의 운송, 및/또는 하나 이상의 객체의 저장을 용이하게 하도록 구성되는 하나 이상의 디바이스를 포함할 수 있다. 객체 관리 시스템(630)은 통신 디바이스, 컴퓨팅 디바이스, 센서, 로봇 디바이스, 및/또는 특정의 산업(예컨대, 제조, 물류, 운송, 및/또는 공급망 관리와 연관된 다른 산업들)과 연관된 제어 시스템의 임의의 다른 적합한 디바이스를 포함할 수 있다.

사용자 디바이스(640)는, 본 명세서의 다른 곳에서 설명된 바와 같이, 객체 분석 시스템(610)에 의해 분석되고/되거나 객체 관리 시스템(630)에 의해 관리되는 객체들을 모니터링하는 것과 연관된 정보를 수신, 생성, 저장, 처리, 및/또는 제공할 수 있는 하나 이상의 디바이스를 포함한다. 사용자 디바이스(640)는 통신 디바이스 및/또는 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 사용자 디바이스(640)는 무선 통신 디바이스, 모바일 폰, 사용자 장비, 랩톱 컴퓨터, 태블릿 컴퓨터, 데스크톱 컴퓨터, 게임 콘솔, 셋톱 박스, 웨어러블 통신 디바이스(예를 들어, 스마트 손목시계, 한 쌍의 스마트 안경, 헤드 장착 디스플레이, 또는 가상 현실 헤드셋), 또는 유사한 유형의 디바이스를 포함할 수 있다.

네트워크(650)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 예를 들어, 네트워크(650)는 무선 광역 네트워크(예를 들어, 셀룰러 네트워크 또는 공용 육상 모바일 네트워크), 로컬 영역 네트워크(예를 들어, 유선 로컬 영역 네트워크 또는 Wi-Fi 네트워크와 같은 무선 로컬 영역 네트워크(WLAN)), 개인 영역 네트워크(예를 들어, 블루투스 네트워크), 근접장 통신 네트워크, 전화 네트워크, 사설 네트워크, 인터넷, 및/또는 이들 또는 다른 유형들의 네트워크들의 조합을 포함할 수 있다. 네트워크(650)는 환경(600)의 디바이스들 사이의 통신을 가능하게 한다.

도 6에 도시된 디바이스들 및 네트워크들의 수 및 배열은 예로서 제공된다. 실제로, 도 6에 도시된 것들과는 추가적인 디바이스들 및/또는 네트워크들, 더 적은 디바이스들 및/또는 네트워크들, 상이한 디바이스들 및/또는 네트워크들, 또는 상이하게 배열된 디바이스들 및/또는 네트워크들이 있을 수 있다. 게다가, 도 6에 도시된 2개 이상의 디바이스가 단일 디바이스 내에 구현될 수 있거나, 도 6에 도시된 단일 디바이스가 다수의 분산된 디바이스로서 구현될 수 있다. 추가적으로 또는 대안적으로, 환경(600)의 한 세트의 디바이스들(예컨대, 하나 이상의 디바이스)은 환경(600)의 다른 세트의 디바이스들에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행할 수 있다.

도 7은 객체 분석 시스템(610), 참조 이미지 데이터 구조(620), 객체 관리 시스템(630), 및/또는 사용자 디바이스(640)에 대응할 수 있는 디바이스(700)의 예시적인 구성요소들의 도면이다. 일부 구현들에서, 객체 분석 시스템(610), 참조 이미지 데이터 구조(620), 객체 관리 시스템(630), 및/또는 사용자 디바이스(640)는 하나 이상의 디바이스(700) 및/또는 디바이스(700)의 하나 이상의 구성요소를 포함할 수 있다. 도 7에 도시된 바와 같이, 디바이스(700)는 버스(710), 프로세서(720), 메모리(730), 저장 구성요소(740), 입력 구성요소(750), 출력 구성요소(760), 및 통신 구성요소(770)를 포함할 수 있다.

버스(710)는 디바이스(700)의 구성요소들 사이의 유선 및/또는 무선 통신을 가능하게 하는 구성요소를 포함한다. 프로세서(720)는 중앙 처리 유닛, 그래픽 처리 유닛, 마이크로프로세서, 제어기, 마이크로제어기, 디지털 신호 프로세서, 필드 프로그래머블 게이트 어레이, 주문형 집적 회로, 및/또는 다른 유형의 처리 구성요소를 포함한다. 프로세서(720)는 하드웨어, 펌웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 구현들에서, 프로세서(720)는 기능을 수행하도록 프로그래밍될 수 있는 하나 이상의 프로세서를 포함한다. 메모리(730)는 랜덤 액세스 메모리, 판독 전용 메모리, 및/또는 다른 유형의 메모리(예를 들어, 플래시 메모리, 자기 메모리, 및/또는 광학 메모리)를 포함한다.

저장 구성요소(740)는 디바이스(700)의 동작에 관련된 정보 및/또는 소프트웨어를 저장한다. 예를 들어, 저장 구성요소(740)는 하드 디스크 드라이브, 자기 디스크 드라이브, 광학 디스크 드라이브, 솔리드 스테이트 디스크 드라이브, 컴팩트 디스크, 디지털 다기능 디스크, 및/또는 다른 유형의 비일시적 컴퓨터 판독가능한 매체를 포함할 수 있다. 입력 구성요소(750)는 디바이스(700)가 사용자 입력 및/또는 감지된 입력들과 같은 입력을 수신할 수 있게 한다. 예를 들어, 입력 구성요소(750)는 터치 스크린, 키보드, 키패드, 마우스, 버튼, 마이크로폰, 스위치, 센서, 글로벌 포지셔닝 시스템 구성요소, 가속도계, 자이로스코프, 및/또는 액추에이터를 포함할 수 있다. 출력 구성요소(760)는 디바이스(700)가 예컨대 디스플레이, 스피커, 및/또는 하나 이상의 발광 다이오드를 통해 출력을 제공할 수 있게 한다. 통신 구성요소(770)는 디바이스(700)가 유선 접속 및/또는 무선 접속 등을 통해 다른 디바이스들과 통신할 수 있게 한다. 예를 들어, 통신 구성요소(770)는 수신기, 전송기, 트랜시버, 모뎀, 네트워크 인터페이스 카드, 및/또는 안테나를 포함할 수 있다.

디바이스(700)는 본 명세서에 설명된 하나 이상의 프로세스를 수행할 수 있다. 예를 들어, 비일시적 컴퓨터 판독가능한 매체(예를 들어, 메모리(730) 및/또는 저장 구성요소(740))는 프로세서(720)에 의한 실행을 위한 명령어들의 세트(예를 들어, 하나 이상의 명령어, 코드, 소프트웨어 코드, 및/또는 프로그램 코드)를 저장할 수 있다. 프로세서(720)는 본 명세서에 설명된 하나 이상의 프로세스를 수행하기 위해 명령어들의 세트를 실행할 수 있다. 일부 구현들에서, 하나 이상의 프로세서(720)에 의한 명령어들의 세트의 실행은, 하나 이상의 프로세서(720) 및/또는 디바이스(700)로 하여금 본 명세서에 설명된 하나 이상의 프로세스를 수행하게 한다. 일부 구현들에서, 본 명세서에 설명된 하나 이상의 프로세스를 수행하기 위해 명령어들 대신에 또는 명령어들과 조합하여 하드와이어드 회로가 이용될 수 있다. 따라서, 본 명세서에 설명된 구현들은 하드웨어 회로 및 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.

도 7에 도시된 구성요소들의 수 및 배열은 예로서 제공된다. 디바이스(700)는 도 7에 도시된 것들과는 추가적인 구성요소들, 더 적은 구성요소들, 상이한 구성요소들, 또는 상이하게 배열된 구성요소들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(700)의 한 세트의 구성요소들(예를 들어, 하나 이상의 구성요소)은 디바이스(700)의 다른 세트의 구성요소들에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행할 수 있다.

도 8은 객체의 머신 학습 분석에 기반한 이미지 기반 이상 검출과 연관된 예시적인 프로세스(800)의 흐름도이다. 일부 구현들에서, 도 8의 하나 이상의 프로세스 블록은 객체 분석 시스템(예컨대, 객체 분석 시스템(610))에 의해 수행될 수 있다. 일부 구현들에서, 도 8의 하나 이상의 프로세스 블록은, 객체 관리 시스템(예컨대, 객체 관리 시스템(630)), 및/또는 사용자 디바이스(예컨대, 사용자 디바이스(640))와 같은, 객체 분석 시스템과 별개이거나 이를 포함하는 다른 디바이스 또는 디바이스들의 그룹에 의해 수행될 수 있다. 추가적으로 또는 대안적으로, 도 8의 하나 이상의 프로세스 블록은 프로세서(720), 메모리(730), 저장 구성요소(740), 입력 구성요소(750), 출력 구성요소(760) 및/또는 통신 구성요소(770)와 같은 디바이스(700)의 하나 이상의 구성요소에 의해 수행될 수 있다.

도 8에 도시된 바와 같이, 프로세스(800)는 객체를 묘사하는 입력 이미지를 수신하는 것(블록 810)을 포함할 수 있다. 예를 들어, 객체 분석 시스템은, 앞서 설명된 바와 같이, 객체를 묘사하는 입력 이미지를 수신할 수 있다.

도 8에 추가로 도시된 바와 같이, 프로세스(800)는, 컨볼루션 신경망 인코더를 이용하여 그리고 입력 이미지로부터, 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 결정하는 것(블록 820)을 포함할 수 있다. 예를 들어, 객체 분석 시스템은, 컨볼루션 신경망 인코더를 이용하여 그리고 입력 이미지로부터, 전술한 바와 같이, 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 결정할 수 있다. 컨볼루션 신경망 인코더는 객체 분석 시스템의 특징 추출 모델과 연관되고/되거나 그 내부에 포함될 수 있다.

일부 구현들에서, 컨볼루션 신경망 인코더는 객체의 유형인 참조 객체들을 묘사하는 참조 이미지들에 기반하여 훈련된다. 참조 이미지들에 묘사되는 참조 객체들은 본 명세서에 설명되는 바와 같이, 비-이상 객체들일 수 있다.

도 8에 추가로 도시된 바와 같이, 프로세스(800)는 서포트 벡터 머신을 이용하여, 객체의 이상 상태가 객체가 이상을 포함함을 나타낸다고 결정하는 것(블록 830)을 포함할 수 있다. 예를 들어, 객체 분석 시스템은 위에서 설명된 바와 같이, 서포트 벡터 머신을 이용하여, 객체의 이상 상태가 객체가 이상을 포함함을 나타낸다고 결정할 수 있다. 일부 구현들에서, 서포트 벡터 머신은 참조 이미지들에 기반하여 훈련된다.

서포트 벡터 머신은 객체가 이상 특징을 포함한다는 것을 나타내거나 객체가 이상 특징을 포함하지 않는다는 것을 나타내는 이진 분류를 결정하도록 훈련될 수 있다. 서포트 벡터 머신은 참조 이미지들을 수반하는 유사성 분석에 기반하여 이진 분류를 결정하는데 이용되는 분류 임계치를 결정하도록 훈련될 수 있다.

도 8에 추가로 도시된 바와 같이, 프로세스(800)는, 컨볼루션 신경망 디코더를 이용하여, 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 입력 이미지에서의 이상의 위치를 결정하는 것(블록 840)을 포함할 수 있다. 예를 들어, 객체 분석 시스템은 위에서 설명된 바와 같이, 컨볼루션 신경망 디코더를 이용하여, 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 입력 이미지에서의 이상의 위치를 결정할 수 있다. 컨볼루션 신경망 디코더는 객체 분석 시스템의 이상 위치파악 모델과 연관되고/되거나 그 내부에 포함될 수 있다.

일부 구현들에서, 컨볼루션 신경망 디코더는 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 이상의 위치를 결정하도록 구성된다. 일부 구현들에서, 컨볼루션 신경망 디코더는 참조 이미지들에 기반하여 훈련된다. 제1 특징 출력은 컨볼루션 신경망 인코더의 출력 계층으로부터의 것일 수 있고, 제2 특징 출력은 컨볼루션 신경망 인코더의 중간 계층으로부터의 것일 수 있다. 컨볼루션 신경망 인코더 및 컨볼루션 신경망 디코더는 참조 이미지들에 기반하여 훈련되는 동일한 컨볼루션 신경망 오토인코더와 연관될 수 있다.

일부 구현들에서, 객체 분석 시스템은 이상 데이터와 연관된 이상 데이터를 생성할 수 있다. 예를 들어, 이상 데이터는 객체의 이상 상태(예컨대, 객체가 이상을 포함하거나 포함하지 않는 것) 및/또는 (이상이 검출될 경우) 이상의 위치를 식별할 수 있다. 추가적으로 또는 대안적으로, 이상 분류 모델을 이용하여, 이상 데이터는 이상이 특정 유형의 이상이라는 것을 나타내기 위해 생성될 수 있다.

도 8에 추가로 도시된 바와 같이, 프로세스(800)는 이상의 위치와 연관된 액션을 수행하는 것(블록 850)을 포함할 수 있다. 예를 들어, 객체 분석 시스템은, 앞서 설명된 바와 같이, 이상의 위치와 연관된 액션을 수행할 수 있다. 일부 구현들에서, 액션을 수행하기 위해, 객체 분석 시스템은 이상의 위치를 식별하는 위치 표시자를 생성하고, 위치 표시자를 입력 이미지와 결합하여 이상 표시자를 형성하고, 이상 표시자를 사용자 디바이스에 제공할 수 있다. 추가적으로 또는 대안적으로, 객체 분석 시스템은 이상의 위치를 식별하는 이상 데이터를 (예컨대, 사용자 디바이스에) 제공할 수 있다. 이상 데이터는 이상의 위치를 식별하는 위치 표시자 및/또는 위치 표시자와 입력 이미지의 결합을 포함할 수 있다.

도 8이 프로세스(800)의 예시적인 블록들을 도시하지만, 일부 구현들에서, 프로세스(800)는 도 8에 도시된 것들과는 추가적인 블록들, 더 적은 블록들, 상이한 블록들, 또는 상이하게 배열된 블록들을 포함할 수 있다. 추가적으로 또는 대안적으로, 프로세스(800)의 블록들 중 2개 이상은 병렬로 수행될 수 있다.

전술한 개시내용에서, 특정 실시예들이 설명되었다. 그러나, 본 기술분야의 통상의 기술자는 아래의 청구항들에 제시된 바와 같이 본 발명의 범위로부터 벗어나는 것 없이 다양한 수정들 및 변경들이 이루어질 수 있는 것을 알 것이다. 따라서, 명세서 및 도면들은 제한적 의미라기보다는 예시적인 것으로 간주되어야 하며, 모든 이러한 수정들은 본 개시내용들의 범위 내에 포함되는 것으로 의도된다. 추가적으로, 설명된 실시예들/예들/구현들은 상호 배타적인 것으로 해석되지 않아야 하고, 대신에 이러한 결합들이 임의의 방식으로 허용된다면 잠재적으로 결합이능한 것으로 이해되어야 한다. 다시 말해, 전술한 예들 또는 구현들 중 임의의 것에 개시된 임의의 특징은 다른 전술한 예들 또는 구현들 중 임의의 것에 포함될 수 있다.

본 명세서에서 이용될 때, 용어 "구성요소"는 하드웨어, 펌웨어, 및/또는 하드웨어와 소프트웨어의 조합으로서 넓게 해석되도록 의도된다. 본 명세서에서 이용될 때, "유형의 머신 판독가능한 매체", "비일시적 머신 판독가능한 매체" 및 "머신 판독가능한 저장 디바이스"라는 용어들 각각은 머신 판독가능한 명령어들(예로서, 소프트웨어 및/또는 펌웨어 등의 형태의 코드)이 저장될 수 있는 저장 매체(예로서, 하드 디스크 드라이브, 디지털 다기능 디스크, 컴팩트 디스크, 플래시 메모리, 판독 전용 메모리, 랜덤 액세스 메모리 등의 플래터)로서 명확히 정의된다. 명령어들은 임의의 적합한 지속 시간 동안, 예컨대 영구적으로, 연장된 시간 기간 동안(예를 들어, 명령어들과 연관된 프로그램이 실행 중인 동안), 또는 짧은 시간 기간 동안(예를 들어, 명령어들이 캐싱되는 동안, 버퍼링 프로세스 동안 등) 저장될 수 있다. 또한, 본 명세서에서 이용될 때, "유형의 머신 판독가능한 매체", "비일시적 머신 판독가능한 매체" 및 "머신 판독가능한 저장 디바이스"라는 용어들 각각은 전파 신호들을 배제하도록 명확히 정의된다. 즉, 본 명세서에서의 임의의 청구항에서 이용될 때, "유형의 머신 판독가능한 매체", "비일시적 머신 판독가능한 매체", 및 "머신 판독가능한 저장 디바이스" 등은 전파 신호로서 구현되는 것으로 해석되지 않아야 한다.

본 명세서에서 이용될 때, 임계치를 만족시키는 것은, 맥락에 따라, 값이 임계치 초과, 임계치 이상, 임계치 미만, 임계치 이하, 임계치와 동일, 임계치와 동일하지 않은 것 등을 지칭할 수 있다.

이러한 혜택들, 이점들, 문제점들에 대한 해결책들 및 발생할 또는 더욱 표명될 임의의 혜택, 이점 또는 해결책을 초래할 수 있는 임의의 요소(들)가 임의의 또는 모든 청구항들의 중대한, 요구되는 또는 본질적인 특징들 또는 요소들로서 해석되어서는 안 된다. 청구된 발명은 오로지 이 출원의 계류 중에 이루어진 임의의 보정들을 포함하는 첨부된 청구항들 및 허여된 이러한 청구항들의 모든 등가물들에 의해서만 정의된다.

더욱이, 본 명세서에서 이용될 때, 제1 및 제2, 상부 및 하부 등과 같은 관계 용어들은 이러한 엔티티들 또는 액션들 사이에 임의의 실제 이러한 관계 또는 순서를 반드시 요구 또는 암시하지는 않고 하나의 엔티티 또는 액션을 또 다른 엔티티 또는 액션과 구별하기 위해서만 이용될 수 있다. 용어들 "포함한다", "포함하는", "갖는다", "갖는" 또는 그 임의의 다른 변형은, 비배타적인 포함을 커버하는 것으로 의도되어, 요소들의 리스트를 포함하고 갖는 프로세스, 방법, 물품 또는 장치는 단지 이러한 요소들만을 포함하는 것이 아니라, 명확히 열거되지 않거나 이러한 프로세스, 방법, 물품 또는 장치에 내재적인 다른 요소들을 포함할 수 있다. "~을 포함한다", "~을 갖는다" 앞에 언급된 요소는, 더 이상의 제한 없이도, 그 요소를 포함하고 갖는 프로세스, 방법, 물품, 또는 장치의 동일한 추가 요소들의 존재를 제외하지 않는다.

용어들 "a" 및 "an"은 본 명세서에서 명시적으로 달리 언급되지 않는 한 하나 이상으로서 정의된다. 또한, 본 명세서에서 이용될 때, 관사 "the"는 관사 "the"와 관련하여 참조되는 하나 이상의 아이템을 포함하는 것을 의도하며, "the one or more"와 교환가능하게 이용될 수 있다. 또한, 본 명세서에서 이용될 때, 용어 "세트"는 하나 이상의 아이템(예로서, 관련 아이템, 비관련 아이템 또는 관련 및 비관련 아이템들의 조합)을 포함하는 것을 의도하며, "하나 이상"과 교환가능하게 이용될 수 있다. 하나의 아이템만이 의도되는 경우, 문구 "단 하나" 또는 유사한 언어가 이용된다. 또한, 본 명세서에서 이용될 때, 용어들 "갖는다", "갖는" 등은 개방형 용어들인 것을 의도한다. 또한, "기반하여"라는 문구는 명시적으로 달리 언급되지 않는 한 "적어도 부분적으로 기반하여"를 의미하는 것으로 의도된다. 또한, 본 명세서에서 이용될 때, "또는"이라는 용어는, 연속적으로 이용될 때 포괄적인 것으로 의도되고, 명시적으로 달리 언급되지 않는 한(예를 들어, "어느 하나" 또는 "~ 중 하나만"과 조합하여 이용되는 경우), "및/또는"과 교환가능하게 이용될 수 있다. 용어들 "실질적으로", "본질적으로", "대략", "약" 또는 이들의 임의의 다른 버전은 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 가깝게 정의되고, 하나의 비제한적 실시예에서, 이 용어는 10% 범위 내에 있는 것, 다른 실시예에서 5% 범위 내에 있는 것, 또 다른 실시예에서 1% 범위 내에 있는 것, 또 다른 실시예에서 0.5% 범위 내에 있는 것으로 정의된다. 본 명세서에서 이용되는 용어 "결합된"은 반드시 직접적이고 반드시 머신적일 필요는 없지만 접속되는 것으로서 정의된다. 특정 방식으로 "구성되는" 디바이스 또는 구조는 적어도 그 방식으로 구성되지만, 열거되지 않은 방식들로 또한 구성될 수 있다.

본 명세서에 설명된 시스템들 및/또는 방법들은 하드웨어, 펌웨어, 또는 하드웨어와 소프트웨어의 조합의 상이한 형태들로 구현될 수 있다는 것이 명백할 것이다. 이러한 시스템들 및/또는 방법들을 구현하는데 이용되는 실제 특수 제어 하드웨어 또는 소프트웨어 코드는 구현들을 제한하지 않는다. 따라서, 시스템들 및/또는 방법들의 동작 및 거동은 본 명세서에서 특정 소프트웨어 코드를 참조하지 않고 설명되며, 소프트웨어 및 하드웨어는 본 명세서의 설명에 기반하여 시스템들 및/또는 방법들을 구현하도록 설계될 수 있다는 것을 이해한다.

특징들의 특정 조합들이 청구항들에서 인용되고/되거나 본 명세서에 개시되지만, 이러한 조합들은 다양한 구현들의 개시내용을 제한하도록 의도되지 않는다. 실제로, 이러한 특징들 중 다수는 청구항들에서 구체적으로 인용되지 않고/않거나 본 명세서에 개시되지 않은 방식들로 조합될 수 있다. 아래에 열거된 각각의 종속 청구항이 단지 하나의 청구항에 직접 종속할 수 있지만, 다양한 구현들의 개시내용은 청구항 세트 내의 모든 다른 청구항과 조합하여 각각의 종속 청구항을 포함한다. 본 명세서에서 이용될 때, 아이템들의 리스트 "중 적어도 하나"를 언급하는 문구는 단일 멤버를 포함한 이들 아이템들의 임의의 조합을 말한다. 예로서, "a, b 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c 및 a-b-c는 물론, 다수의 동일한 아이템과의 임의의 조합을 커버하는 것을 의도한다.

본 개시내용에 대한 요약서는 독자가 기술적 개시내용의 본질을 신속하게 알아내도록 허용하기 위해 제공된다. 이러한 요약서는 청구항들의 범위 또는 의미를 해석하거나 제한하는데 이용되지는 않을 것이라는 이해 하에 제출된다. 게다가, 전술한 설명에서, 다양한 특징들은 개시내용을 간소화할 목적으로 다양한 실시예들에서 함께 그룹화된다는 것을 알 수 있다. 이러한 개시내용의 방법은 청구되는 실시예들이 각각의 청구항에 명확히 기재된 것보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 주제는 단일의 개시된 실시예의 모든 특징들보다 적은 것에 있을 수 있다. 따라서, 이하의 청구항들은 상세한 설명에 이로써 포함되며, 각각의 청구항은 별개로 청구되는 주제로서 독립적이다.

Claims (20)

1. 객체와 연관된 이상(anomaly)을 검출하는 것과 연관된 방법으로서,
   디바이스에 의해, 상기 객체를 묘사하는 입력 이미지를 수신하는 단계;
   상기 디바이스에 의해 그리고 특징 추출 모델을 이용하여, 상기 입력 이미지를 처리하여 제1 특징 출력에서 상기 객체의 하나 이상의 특징을 나타내는 단계 - 상기 특징 추출 모델은 상기 객체의 유형과 연관된 참조 이미지들에 기반하여 훈련되고, 상기 참조 이미지들은 상기 객체의 유형과 동일한 유형인 하나 이상의 비-이상 객체를 묘사함 -;
   상기 디바이스에 의해 그리고 상기 하나 이상의 특징에 기반하여, 분류 모델을 이용하여, 상기 객체의 이상 상태가 상기 객체가 이상을 포함함을 나타낸다고 결정하는 단계 - 상기 분류 모델은 상기 제1 특징 출력과 연관된 분류 스코어 및 상기 분류 모델의 분류 임계치에 기반하여 상기 이상 상태를 결정하도록 구성되고, 상기 분류 임계치는 상기 참조 이미지들을 수반하는 유사성 분석에 기반하여 결정됨 -;
   상기 디바이스에 의해, 상기 특징 추출 모델의 제2 특징 출력에 기반하여 상기 이상 상태와 연관된 상기 이상의 위치를 결정하는 단계 - 상기 이상의 위치는 상기 참조 이미지들에 기반하여 훈련되는 이상 위치파악 모델(anomaly localization model)을 이용하여 결정됨 -;
   상기 디바이스에 의해 그리고 상기 이상 상태 및 상기 위치에 기반하여, 상기 이상과 연관되는 이상 데이터를 생성하는 단계; 및
   상기 디바이스에 의해 그리고 객체 관리 시스템에, 상기 이상 데이터를 제공하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서, 상기 분류 모델은,
   상기 제1 특징 출력에 기반하여 상기 분류 스코어를 결정하고;
   상기 분류 스코어와 상기 분류 임계치의 비교에 기반하여 상기 이상 상태를 나타내도록
   구성되는 서포트 벡터 머신을 포함하며,
   상기 서포트 벡터 머신은 상기 객체의 유형을 분석하도록 특별히 훈련되는 단일 클래스 서포트 벡터 머신이고,
   상기 이상 상태는 상기 비교에 기반하여 결정되는 이진 분류이고, 상기 객체가 이상 특징을 갖는 것을 나타내거나 상기 객체가 이상 특징을 갖지 않는 것을 나타내는, 방법.
3. 제1항에 있어서, 상기 분류 모델은,
   상기 분류 임계치에 따라 제1 이진 분류를 출력하도록 구성되는 제1 서포트 벡터 머신 - 상기 제1 이진 분류는 상기 객체가 이상 특징을 포함한다는 것을 나타냄 -, 및
   상기 객체가 이상 특징을 포함한다는 것을 나타내는 상기 제1 이진 분류에 기반하여, 상기 이상이 특정 유형의 이상이라는 것 또는 상기 이상이 상기 특정 유형의 이상이 아니라는 것을 나타내는 제2 이진 분류를 출력하도록 구성되는 제2 서포트 벡터 머신 - 상기 이상 데이터는, 상기 제2 이진 분류에 기반하여, 상기 이상이 상기 특정 유형의 이상이라는 것 또는 상기 이상이 상기 특정 유형의 이상이 아니라는 것을 나타내는 라벨을 포함하도록 생성됨 -
   를 포함하는, 방법.
4. 제1항에 있어서,
   상기 제1 특징 출력은 상기 특징 추출 모델의 컨볼루션 신경망 인코더의 출력 계층으로부터의 것이고,
   상기 제2 특징 출력은 상기 컨볼루션 신경망 인코더의 중간 계층으로부터의 것인, 방법.
5. 제1항에 있어서,
   상기 이상 위치파악 모델은 상기 이상의 위치를 결정하도록 구성되는 컨볼루션 신경망 디코더를 포함하는, 방법.
6. 제5항에 있어서,
   상기 제2 특징 출력은 상기 특징 추출 모델의 컨볼루션 신경망 인코더의 중간 계층으로부터의 것인, 방법.
7. 제1항에 있어서, 상기 이상 데이터를 생성하는 단계는,
   상기 이상의 위치를 식별하는 위치 표시자를 생성하는 단계; 및
   상기 위치 표시자를 상기 입력 이미지와 결합하는 단계
   를 포함하는, 방법.
8. 디바이스로서,
   하나 이상의 메모리; 및
   상기 하나 이상의 메모리에 결합된 하나 이상의 프로세서
   를 포함하며, 상기 하나 이상의 프로세서는,
   객체를 묘사하는 입력 이미지를 수신하고;
   특징 추출 모델을 이용하여, 상기 입력 이미지를 처리하여 상기 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 생성하고 - 상기 특징 추출 모델은 상기 객체의 유형과 연관된 참조 이미지들에 기반하여 훈련됨 -;
   분류 모델을 이용하여, 상기 제1 특징 출력에 기반하여 상기 객체의 이상 상태를 결정하고 - 상기 분류 모델은 상기 참조 이미지들에 묘사된 비-이상 객체들을 수반하는 유사성 분석에 기반하여 상기 이상 상태를 결정하도록 훈련됨 -;
   상기 입력 이미지가 이상을 갖는 상기 객체를 묘사한다는 것을 나타내는 상기 이상 상태에 기반하여, 상기 특징 추출 모델의 제2 특징 출력에 기반하여 상기 입력 이미지에서의 상기 이상의 위치를 결정하고 - 상기 이상의 위치는 상기 참조 이미지들에 기반하여 훈련되는 이상 위치파악 모델을 이용하여 결정됨 -;
   상기 이상 상태 및 상기 위치에 기반하여, 상기 이상과 연관되는 이상 데이터를 생성하고;
   상기 이상 데이터와 연관된 액션을 수행하도록
   구성되는, 디바이스.
9. 제8항에 있어서,
   상기 특징 추출 모델은 컨볼루션 신경망 인코더를 포함하는, 디바이스.
10. 제8항에 있어서,
    상기 분류 모델은 상기 객체가 이상 특징을 포함하는 것 또는 이상 특징을 포함하지 않는 것을 나타내는 분류 스코어를 제공하도록 구성되는 서포트 벡터 머신을 포함하며,
    상기 이상 상태는 상기 분류 스코어가 상기 객체가 이상 특징을 포함함을 나타내는 것에 기반하여 상기 입력 이미지가 상기 이상을 갖는 상기 객체를 묘사한다는 것을 나타내도록 구성되는, 디바이스.
11. 제10항에 있어서,
    상기 유사성 분석은 상기 객체가 이상 특징을 포함하는 것 또는 이상 특징을 포함하지 않는 것과 연관되는 상기 이상 상태의 이진 분류를 결정하기 위해 상기 분류 스코어와 비교되는 상기 서포트 벡터 머신의 분류 임계치를 결정하도록 구성되는, 디바이스.
12. 제8항에 있어서,
    상기 제1 특징 출력 및 상기 제2 특징 출력은 상기 특징 추출 모델의 컨볼루션 신경망의 상이한 계층들로부터의 것인, 디바이스.
13. 제8항에 있어서, 상기 하나 이상의 프로세서는, 상기 이상 데이터를 생성하기 위해,
    상기 이상의 위치를 식별하는 위치 표시자를 생성하고;
    상기 위치 표시자를 상기 입력 이미지와 결합하도록
    구성되는, 디바이스.
14. 제8항에 있어서, 상기 하나 이상의 프로세서는, 상기 액션을 수행하기 위해,
    상기 이상 데이터를 사용자 디바이스에 전송하는 것, 또는
    상기 이상 데이터에 따라, 상기 객체와 연관된 동작을 수행하도록 객체 관리 시스템을 제어하는 것
    중 적어도 하나를 수행하도록 구성되는, 디바이스.
15. 명령어들의 세트를 저장하는 유형의 머신 판독가능한 매체로서,
    상기 명령어들의 세트는 하나 이상의 명령어를 포함하며, 상기 하나 이상의 명령어는, 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 디바이스로 하여금,
    객체를 묘사하는 입력 이미지를 수신하게 하고;
    컨볼루션 신경망 인코더를 이용하여 그리고 상기 입력 이미지로부터, 상기 객체의 하나 이상의 특징과 연관되는 제1 특징 출력을 결정하게 하고 - 상기 컨볼루션 신경망 인코더는 상기 객체의 유형인 참조 객체들을 묘사하는 참조 이미지들에 기반하여 훈련됨 -;
    서포트 벡터 머신을 이용하여, 상기 객체의 이상 상태가 상기 객체가 이상을 포함함을 나타낸다고 결정하게 하고 - 상기 서포트 벡터 머신은 상기 참조 이미지들에 기반하여 훈련됨 -;
    컨볼루션 신경망 디코더를 이용하여, 상기 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 상기 입력 이미지에서의 상기 이상의 위치를 결정하게 하고 - 상기 컨볼루션 신경망 디코더는 상기 컨볼루션 신경망 인코더의 제2 특징 출력에 기반하여 상기 이상의 위치를 결정하도록 구성되고, 상기 컨볼루션 신경망 디코더는 상기 참조 이미지들에 기반하여 훈련됨 -;
    상기 이상의 위치와 연관된 액션을 수행하게 하는, 유형의 머신 판독가능한 매체.
16. 제15항에 있어서,
    상기 참조 이미지들에 묘사되는 상기 참조 객체들은 비-이상 객체들인, 유형의 머신 판독가능한 매체.
17. 제15항에 있어서,
    상기 서포트 벡터 머신은 상기 객체가 이상 특징을 포함한다는 것을 나타내거나 또는 상기 객체가 이상 특징을 포함하지 않는다는 것을 나타내는 이진 분류를 결정하도록 훈련되고,
    상기 서포트 벡터 머신은 상기 참조 이미지들을 수반하는 유사성 분석에 기반하여 상기 이진 분류를 결정하는데 이용되는 분류 임계치를 결정하도록 훈련되는, 유형의 머신 판독가능한 매체.
18. 제15항에 있어서,
    상기 제1 특징 출력은 상기 컨볼루션 신경망 인코더의 출력 계층으로부터의 것이고,
    상기 제2 특징 출력은 상기 컨볼루션 신경망 인코더의 중간 계층으로부터의 것인, 유형의 머신 판독가능한 매체.
19. 제15항에 있어서,
    상기 컨볼루션 신경망 인코더 및 상기 컨볼루션 신경망 디코더는 상기 참조 이미지들에 기반하여 훈련되는 동일한 컨볼루션 신경망 오토인코더와 연관되는, 유형의 머신 판독가능한 매체.
20. 제15항에 있어서, 상기 디바이스로 하여금 상기 액션을 수행하게 하는 상기 하나 이상의 명령어는 상기 디바이스로 하여금,
    상기 이상의 위치를 식별하는 위치 표시자를 생성하게 하고;
    상기 위치 표시자를 상기 입력 이미지와 결합하여 이상 표시자를 형성하게 하고;
    상기 이상 표시자를 사용자 디바이스에 제공하게 하는, 유형의 머신 판독가능한 매체.

Images