KR20230147130A - 이미지 세그먼트화 및 이미지 분석을 사용하여 수집물의 이미지를 등급화하기 위한 방법들 및 장치 - Google Patents

Abstract

일부 실시예들에서, 방법은 수집물들의 이미지들의 세트를 증강하여 수집물들의 합성 이미지들의 세트를 생성하는 단계를 포함할 수 있다. 방법은 수집물들의 이미지들의 세트와 수집물들의 합성 이미지들의 세트를 결합하여 훈련 세트를 생성하는 단계를 더 포함할 수 있다. 방법은 훈련 세트에 기초하여 기계 학습 모델들의 세트를 훈련하는 단계를 더 포함할 수 있다. 기계 학습 모델들의 세트로부터의 각각의 기계 학습 모델은 이미지 속성들의 세트로부터의 이미지 속성에 대한 등급을 생성할 수 있다. 이미지 속성들의 세트는 에지, 코너, 센터 또는 표면을 포함할 수 있다. 방법은 훈련 후에 기계 학습 모델들의 세트를 실행하여 훈련 세트에 포함되지 않은 수집물의 이미지에 대한 등급들의 세트를 생성하는 단계를 더 포함할 수 있다.

Description

이미지 세그먼트화 및 이미지 분석을 사용하여 수집물의 이미지를 등급화하기 위한 방법들 및 장치

관련 출원들의 상호 참조

본 출원은 2021년 2월 18일에 출원되고 발명의 명칭이 "METHODS AND APPARATUS FOR GRADING IMAGES OF COLLECTABLES USING MACHINE LEARNING MODELS"인 미국 가특허출원 제63/150,793호에 대한 우선권 및 그 이익을 주장하며, 그 전체 내용은 본 명세서에 참고로 포함된다.

기술 분야

본 개시내용은 "실제" 사물들을 나타내는 이미지들의 이미지 분석에 관한 것으로서, 특히 수집물들의 이미지들을 등급화하기 위해 이미지들의 하나 이상의 세그먼트에 대해 이미지 분석을 수행하기 위한 장치들 및 방법들에 관한 것이다.

수집물들의 이미지들을 등급화하는 것은, 예를 들어 자산들의 가치를 평가하는 데 유용할 수 있다. 수집물들의 이미지들을 등급화하는 것은, 예를 들어 수집물의 코너들 또는 에지들을 나타내는 세그먼트들과 같은 이미지들의 상이한 세그먼트들을 등급화하는 것을 포함할 수 있다. 그러나, 알려진 평가 방법들은 노동 집약적이고 비용이 많이 들 수 있다. 따라서, 수집물들을 정확하고 효율적으로 등급화하기 위한 장치들 및 방법들이 필요하다.

일부 실시예들에서, 방법은 수집물들의 그룹의 이미지들의 세트를 수신하는 단계를 포함할 수 있다. 이미지들의 세트로부터의 각각의 이미지는 적어도 하나의 결함 유형 라벨, 및 수집물들의 그룹으로부터의 수집물의 표면 조건들에 대한 제1 등급 분류 라벨, 수집물의 에지 조건들에 대한 제2 등급 분류 라벨, 수집물의 코너 조건들에 대한 제3 등급 분류 라벨 또는 수집물의 센터링 조건들에 대한 제4 등급 분류 라벨 중 적어도 하나와 연관된다. 방법은 이미지들의 세트로부터의 각각의 이미지에 대해, 해당 이미지에서 수집물을 정의하는 경계를 검출하고, 이미지들의 세트로부터의 해당 이미지에 대한 원근 왜곡 변환을 수행하고 - 해당 이미지에 대한 경계는 미리 결정된 형상을 갖지 않음 -, 수집물을 정의하는 경계 내에 있지 않은 해당 이미지의 부분들을 제거함으로써 이미지들의 세트에 기초하여 전처리된 이미지들의 세트를 생성하는 단계를 더 포함할 수 있다. 방법은 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지, 해당 전처리된 이미지와 연관된 적어도 하나의 결함 유형 라벨, 및 (1) 해당 전처리된 이미지와 연관된 제1 등급 분류 라벨, (2) 해당 전처리된 이미지와 연관된 제2 등급 분류 라벨, (3) 해당 전처리된 이미지와 연관된 제3 등급 분류 라벨 또는 (4) 해당 전처리된 이미지와 연관된 제4 등급 분류 라벨 중 적어도 하나에 기초하여 적어도 하나의 모델을 훈련하는 단계를 더 포함할 수 있다. 방법은 수집물들의 그룹에 포함되지 않은 새로운 수집물의 새로운 이미지에 적어도 하나의 모델을 적용하는 단계를 더 포함할 수 있다. 방법은 새로운 수집물이 결함, 결함의 대략적인 위치 및 결함과 연관된 결함 유형을 포함한다는 것을 나타내는 출력을 디스플레이하는 단계를 더 포함할 수 있다.

일부 실시예들에서, 비일시적 프로세서 판독가능 매체는 프로세서에 의해 실행될 명령어들을 나타내는 코드를 저장한다. 명령어들은 프로세서로 하여금 이미지에서 수집물을 정의하는 경계를 검출하고, 경계가 미리 결정된 형상을 갖게 하는 원근 왜곡 변환을 수행하고, 수집물을 정의하는 경계 내에 있지 않은 이미지의 부분들을 제거함으로써 전처리된 이미지를 생성하기 위해 수집물의 이미지를 전처리하게 하는 코드를 포함한다. 명령어들은 프로세서로 하여금 전처리된 이미지에 기계 학습(ML) 모델을 적용하여 결함 신뢰 레벨들의 그룹을 생성하게 하는 코드를 더 포함할 수 있다. 결함 신뢰 레벨들의 그룹으로부터의 각각의 결함 신뢰 레벨은 (1) 전처리된 이미지의 고유 부분들의 그룹으로부터의 전처리된 이미지의 고유 부분과 연관되고, (2) 전처리된 이미지의 고유 부분 내에 적어도 하나의 결함이 존재할 가능성을 나타낸다. 명령어들은 프로세서로 하여금 전처리된 이미지를 디스플레이 상에 디스플레이하게 하는 코드를 더 포함할 수 있다. 명령어들은 프로세서로 하여금 미리 결정된 범위를 벗어나는 결함 신뢰 레벨들의 그룹으로부터의 결함 신뢰 레벨과 연관된 고유 부분들의 그룹으로부터의 전처리된 이미지의 각각의 고유 부분을 디스플레이 상에 표시하게 하는 코드를 더 포함할 수 있다.

일부 실시예들에서, 장치는 메모리 및 메모리에 동작가능하게 결합된 프로세서를 포함한다. 프로세서는 수집물들의 합성 이미지들의 세트를 생성하기 위해 수집물들의 이미지들의 세트를 증강하도록 구성될 수 있다. 프로세서는 수집물들의 이미지들의 세트와 수집물들의 합성 이미지들의 세트를 결합하여 훈련 세트를 생성하도록 더 구성될 수 있다. 프로세서는 훈련 세트에 기초하여 기계 학습 모델들의 세트를 훈련하도록 더 구성될 수 있다. 기계 학습 모델들의 세트로부터의 각각의 기계 학습 모델은 이미지 속성들의 세트로부터의 이미지 속성에 대한 등급을 생성하도록 구성된다. 이미지 속성들의 세트는 에지, 코너, 센터 또는 표면 중 적어도 하나를 포함한다. 프로세서는 훈련 후에 기계 학습 모델들의 세트를 실행하여 훈련 세트에 포함되지 않은 수집물의 이미지에 대한 등급들의 세트를 생성하도록 더 구성될 수 있다.

도 1은 일 실시예에 따른 등급화 디바이스의 개략적인 블록도이다.
도 2는 일 실시예에 따른 등급화 디바이스를 훈련하는 방법의 흐름도이다.
도 3은 일 실시예에 따른 등급화 디바이스를 사용하는 방법의 흐름도이다.
도 4는 일 실시예에 따른 등급화 디바이스를 훈련하는 방법의 흐름도이다.
도 5는 일 실시예에 따른 등급화에 사용되는 기계 학습 모델의 개략적인 설명이다.
도 6은 일 실시예에 따른 전처리된 이미지들의 세트에 기초하여 모델(들)을 훈련하고 사용하기 위한 방법의 흐름도이다.
도 7은 일 실시예에 따른 모델을 사용하여 결함 신뢰 레벨들을 생성하고 사용하기 위한 방법의 흐름도이다.
도 8은 일 실시예에 따른 합성 이미지들의 세트를 포함하는 훈련 세트를 사용하여 모델을 훈련하기 위한 방법의 흐름도이다.

실시예들의 다양한 양태들 및 변형들의 비제한적인 예들이 본 명세서에 설명되고 첨부 도면들에 예시되어 있다.

본 명세서에 설명된 방법들 및 장치들은 예를 들어 트레이딩 카드(예를 들어, 스포츠 카드, 게임 카드 등), 코인, 화폐 등과 같은 자산들의 등급들을 생성할 수 있다.

도 1은 일 실시예에 따른 등급화 디바이스(101)의 개략적인 블록도이다. 등급화 디바이스(101)(본 명세서에서 '평가 디바이스'라고도 함)는 예를 들어 컴퓨터, 데스크톱, 랩톱, 스마트폰 등과 같은 하드웨어 기반 컴퓨팅 디바이스 및/또는 멀티미디어 디바이스일 수 있거나 이를 포함할 수 있다. 등급화 디바이스(101)는 메모리(102), 통신 인터페이스(103) 및 프로세서(104)를 포함한다. 등급화 디바이스(101)는 수집물(예를 들어, 트레이딩 카드, 스포츠 카드, 수집가능 카드, 코인, 화폐, 미술품, 스탬프, 골동품, 만화책, 장난감, 보석 등)의 이미지에 대한 등급을 공동으로 생성할 수 있는 그레이더 모델들의(105) 세트를 동작시킬 수 있다.

등급화 디바이스(101)의 메모리(102)는 예를 들어 메모리 버퍼, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 드라이브, 플래시 드라이브 등일 수 있다. 메모리(102)는 예를 들어 수집물들의 이미지들의 세트(예를 들어, 트레이딩 카드들의 이미지들의 세트, 수집가 카드들의 이미지들의 세트, 코인들의 이미지들의 세트, 스탬프들의 이미지들의 세트, 미술품의 이미지들의 세트 등), 등급들의 세트(예를 들어, 수치 값들의 세트), 및/또는 프로세서(104)로 하여금 하나 이상의 프로세스 또는 기능(예컨대, 그레이더 모델들의 세트(105))을 수행하게 하는 명령어들을 포함하는 코드(예컨대, C, C++, 파이썬 등으로 작성된 프로그램들)를 저장할 수 있다.

등급화 디바이스(101)의 통신 인터페이스(103)는 등급화 디바이스(101)와 외부 디바이스들(예컨대, 네트워크, 컴퓨팅 디바이스 및/또는 서버; 도시되지 않음) 사이의 데이터 통신을 용이하게 하기 위한 등급화 디바이스(101)의 하드웨어 컴포넌트일 수 있다. 통신 인터페이스(103)는 프로세서(104) 및/또는 메모리(102)에 동작가능하게 결합되고 그에 의해 사용될 수 있다. 통신 인터페이스(103)는 예를 들어 네트워크 인터페이스 카드(NIC), 와이파이® 모듈, 블루투스® 모듈, 광 통신 모듈, 및/또는 임의의 다른 적합한 유선 및/또는 무선 통신 인터페이스일 수 있다.

프로세서(104)는 예를 들어 명령어들의 세트 또는 코드들의 세트를 런(run) 또는 실행하도록 구성된 하드웨어 기반 집적 회로(IC) 또는 임의의 다른 적합한 처리 디바이스일 수 있다. 예를 들어, 프로세서(104)는 범용 프로세서, 중앙 처리 유닛(CPU), 주문형 집적 회로(ASIC), 그래픽 처리 유닛(GPU) 등을 포함할 수 있다. 프로세서(104)는 시스템 버스(예컨대, 어드레스 버스, 데이터 버스, 및/또는 제어 버스; 도시되지 않음)를 통해 메모리(102)에 동작가능하게 결합된다. 프로세서(104)는 그레이더 모델들(105)의 세트를 포함한다. 그레이더 모델들(105)의 세트로부터의 각각의 그레이더 모델은 수집물들의 이미지들의 세트로부터의 수집물의 이미지의 속성 또는 일부를 등급화하도록 구성될 수 있으며, 메모리(102)에 저장되고 프로세서(104)에 의해 실행되는 소프트웨어를 포함할 수 있다. 일부 예들에서, 그레이더 모델들(105)의 세트로부터의 그레이더 모델은 수집물 및/또는 카드 유형 예측기(도시되지 않음) 및/또는 타일 결함 예측기(도시되지 않음)를 포함할 수 있다. 수집물 및/또는 카드 유형 예측기 또는 타일 결함 예측기 각각은 메모리(102)에 저장되고 프로세서(104)에 의해 실행되는 소프트웨어를 포함할 수 있다.

훈련된 모델들의 생성

도 4는 일 실시예에 따른 등급화 디바이스(들)(예컨대, 등급화 디바이스(101))를 훈련하는 방법의 흐름도를 도시한다. 일부 구현들에서, 도 4와 관련하여 논의된 방법은 프로세서(예컨대, 도 1의 프로세서(104))에 의해 수행될 수 있다. 단계 1에서, 훈련 이미지들이 전처리된다. 전처리는 훈련 이미지들 및/또는 훈련 이미지들의 부분들(예컨대, 단지 수집물의 이미지)이 적어도 하나의 양태에서 표준화된 포맷을 갖게 할 수 있다. 전처리는 예를 들어 훈련 이미지들 및/또는 그 부분들을 커팅, 크로핑, 필터링, 재형상화 및/또는 크기 조정하는 것을 포함할 수 있다. 훈련 이미지들 및/또는 전처리된 훈련 이미지들은 센터링 등급, 타일 결함 라벨, 수집물 및/또는 카드 유형 라벨, 플레이어 정보, 캐릭터 정보, 에지 등급, 코너 등급 등과 같은 하나 이상의 라벨 및/또는 등급과 연관될 수 있다. 또한, 본 명세서에서 더 상세히 논의되는 바와 같이, 일부 예들에서, 합성 이미지들이 훈련을 위해 생성될 수 있다.

단계 2에서, 상이한 센터링 등급들을 갖는 수집물들(예를 들어, 카드, 스탬프, 미술품 등)을 비교하여 호모그래피 값들이 생성된다. 단계 7에서 호모그래피 값들, 센터링 등급 라벨들 및/또는 전처리된 훈련 이미지들을 사용하여 센터링 등급 회귀 모델(예를 들어, 신경망)을 훈련하여, 훈련된 센터링 모델을 생성할 수 있다. 일부 구현들에서, 호모그래피 값들 및/또는 전처리된 이미지들은 센터링 등급 회귀 모델에 대한 입력 학습 데이터로 사용될 수 있고, 센터링 등급 라벨들은 센터링 등급 회귀 모델에 대한 타겟 학습 데이터로 사용될 수 있다.

단계 3에서, NxN 표면 타일들이 전처리된 훈련 이미지들 각각에 대해 생성된다. 결함 분류 모델은 결함들을 식별하기 위해(예를 들어, 표면 타일들에 대한 결함 신뢰 레벨들을 생성하기 위해) 표면 타일들, 표면 타일들과 연관될 수 있는 결함 라벨들, 수집물 및/또는 카드 유형 라벨, 플레이어 정보 및/또는 캐릭터 정보를 사용하여 단계 8에서 훈련될 수 있다. 그런 다음, 단계 11에서, 훈련된 결함 분류 모델은 각각의 표면 타일에 대한 결함 신뢰 레벨들을 생성하기 위해 표면 타일들, 결함 라벨들, 수집물 및/또는 카드 유형, 플레이어 정보 및/또는 캐릭터 정보를 사용하여 실행될 수 있다. 단계 12에서, 전처리된 훈련 이미지들, 단계 8에서 훈련된 결함 분류 모델로부터의 전달된 가중치들, 및 단계 11에서 생성된 결함 신뢰 레벨들이 표면 등급 회귀 모델을 훈련하는 데 사용될 수 있다.

단계 4에서, 전처리된 훈련 이미지들을 사용하여 에지 이미지들이 생성된다. 에지 이미지들 및 에지 등급 라벨들은 단계 9에서 에지 등급 회귀 모델을 훈련하고 생성하는 데 사용될 수 있다. 일부 구현들에서, 에지 이미지들은 에지 등급 회귀 모델에 대한 입력 학습 데이터로 사용될 수 있고, 에지 등급 라벨들은 에지 등급 회귀 모델에 대한 타겟 학습 데이터로 사용될 수 있다.

단계 5에서, 전처리된 훈련 이미지들을 사용하여 코너 이미지들이 생성된다. 코너 이미지들 및 코너 등급 라벨들은 단계 10에서 코너 등급 회귀 모델을 훈련하고 생성하는 데 사용될 수 있다. 일부 구현들에서, 코너 이미지들은 코너 등급 회귀 모델에 대한 입력 학습 데이터로 사용될 수 있고, 코너 등급 라벨들은 코너 등급 회귀 모델에 대한 타겟 학습 데이터로 사용될 수 있다.

단계 6에서, 수집물 및/또는 카드 유형/플레이어/캐릭터 분류 모델은 전처리된 훈련 이미지들을 사용하여(예를 들어, 컴퓨터 비전을 사용하여) 훈련 및 생성될 수 있다. 수집물 및/또는 카드 유형/플레이어/캐릭터 분류 모델은 수집물 유형, 카드 유형(예컨대, 세트, 연도 등), 스탬프 유형(예컨대, 연도, 발행량 등), 코인 유형, 플레이어 정보, 캐릭터 정보 및/또는 수집물에 대한 임의의 다른 정보를 식별하도록 훈련될 수 있다. 일부 구현들에서, 단계 6은 단계 8 및 11 이전에 수행되고, 훈련된 수집물 및/또는 카드 유형/플레이어/캐릭터 분류 모델은 단계 8 및 11에서 사용된 수집물 유형, 카드 유형, 플레이어 정보, 스탬프 유형(예를 들어, 연도, 발행량 등), 코인 유형, 캐릭터 정보, 및/또는 수집물에 대한 다른 정보를 출력한다. 일부 구현들에서, 단계 1-12는 임의의 순서로 수행될 수 있다. 일부 구현들에서, 단계 1-12는 직렬, 병렬 또는 이들의 임의의 조합으로 수행될 수 있다.

이미지 전처리

그레이더 모델들(105)의 세트의 훈련에 사용되는 수집물들의 이미지들(예컨대, 스포츠 카드들, 게임 카드들, 수집가 카드들, 코인들, 스탬프들, 미술품 등의 이미지들)의 세트 및/또는 훈련 후에 그레이더 모델들(105)의 세트를 실행할 때 사용되는 수집물의 이미지(수집물들의 이미지들의 세트 중에 있지 않음)는 등급화 디바이스 또는 등급화 디바이스(101)에 동작가능하게 결합되는 디바이스의 이미징 디바이스(예컨대, 카메라, 스캐너 등(도시하지 않음))를 사용하여 촬영될 수 있다. 예를 들어, 수집물들의 이미지들의 세트 및/또는 수집물의 이미지는 스마트폰 카메라 또는 스캐너에 의해 촬영될 수 있다. 따라서, 등급화 디바이스(101)의 프로세서(104)에 의해 처리하기 위한 이미지들은 약간 상이한 각도들에서, 상이한 조명 조건들 하에서 촬영될 수 있고/있거나, 실제 수집물(예컨대, 카드)을 둘러싼 추가 배경을 포함할 수도 있다. 따라서, 이미지 전처리는 그레이더 모델들(105)의 세트를 훈련하는 데 사용되는 이미지들(예를 들어, 수집물들의 이미지들의 세트) 및/또는 (예를 들어, 수집물들의 이미지들을 정규화하기 위해) 그레이더 모델들(105)의 세트에 의해 등급화될 이미지들에 기초하여 전처리된 이미지들을 생성하는 데 사용될 수 있다. 일부 예들에서, 훈련 및/또는 등급화 목적으로 수집물들의 이미지들을 사용하기 위해, 다음의 전처리 단계들 중 하나 이상(예컨대, 도 4의 단계 1)이 임의의 적절한 기술을 사용하여 수행될 수 있다:

1. 수집물들의 이미지들 내의 수집물들의 경계 검출.

2. 불완전한 각도들에서 촬영된 수집물들의 이미지들을 직사각형 형상으로 변환하는 원근 왜곡 변환.

3. 수집물들의 이미지들 내의 수집물 경계들을 둘러싼 외부 영역들의 클리핑에 의한 배경 제거.

4. 그레이더 모델들(105)의 세트로부터의 기계 학습 모델들에 의해 처리하기에 적합한 균일한 크기 및 해상도로의 수집물들의 이미지들의 크기 조정.

일부 구현들에서, 경계 검출 알고리즘을 실질적으로 실시간으로 적용하고 직사각형 형상에 가장 가까운 검출된 경계들을 갖는 프레임을 선택함으로써 (예를 들어, 이미지 디바이스로부터의) 라이브 카메라 비디오 피드 및/또는 레코딩으로부터 수집물의 이미지의 바람직한 샷이 선택될 수 있다. 이렇게 하면 원근 왜곡 변환의 정도를 최소화하고 이미지 품질과 전반적인 등급화 정확도를 개선할 수 있다. 추가적으로 또는 대안적으로, 크기조정 및/또는 해상도 조정을 적용하고 바람직한 크기 및/또는 해상도에 가장 가까운 크기 및/또는 해상도를 갖는 프레임을 선택함으로써 라이브 카메라 비디오 및/또는 레코딩으로부터 수집물의 이미지의 바람직한 샷이 선택될 수 있다. 일부 구현들에서, 수집물에 대해 다수의 이미지(예를 들어, 비디오로부터의 프레임들 및/또는 다수의 정지 이미지들)가 존재할 때, 선택된 바람직한 샷은 수집물에 대한 등급을 생성하는 데 사용될 수 있다.

일부 구현들에서, 광택이 있는 표면들을 갖는 수집물들의 이미지들에 대해, 추가적인 전처리 단계를 수행하여 산만한 반사들, 이미지의 포화 또는 흰색 반점들을 포함하는 비디오의 프레임들을 검출하고 건너뛸 수 있다. 산만한 반사들, 이미지의 포화 또는 흰색 반점들을 검출하고, 수집물들의 이미지들로부터 원하지 않는 프레임들, 픽셀들 등을 필터링하도록 추가적인 기계 학습 모델이 훈련될 수 있다. 일부 구현들에서, 수집된 수집물들의 이미지들 또는 비디오 프레임들의 영향을 받지 않는 부분들을 스티칭함으로써 수집물의 최종 이미지가 생성될 수 있다. 예를 들어, 제1 프레임에서의 수집물의 제1 이미지가 제1 이미지의 상반부에 반사들을 포함하고, (제1 프레임과 상이한) 제2 프레임에서의 수집물의 (제1 이미지와 상이한) 제2 이미지가 제2 이미지의 하반부에 반사들을 포함하는 경우, 제1 이미지의 하반부를 제2 이미지의 상반부와 결합(예를 들어, 함께 스티칭)하여 산만한 반사들을 갖지 않는 최종 이미지를 형성할 수 있다(예를 들어, 상반부가 하반부와 중첩되지 않거나 상반부가 하반부와 부분적으로 중첩됨).

등급화

일부 예들에서, 예를 들어, 자산(예를 들어, 스포츠 카드와 같은 수집물)의 등급화는 수치 범위(예를 들어, 1에서 10까지의 스케일)에서 4개의 점수(또는 등급)를 포함할 수 있다. 점수들은 자산의 표면의 조건, 자산의 에지들의 조건, 자산의 코너들의 조건 및/또는 자산의 센터링의 조건을 나타낼 수 있다. 일부 예들에서, 점수(또는 등급)에 대한 더 높은 값은 (예를 들어, 표면, 에지, 코너 또는 센터링)에 대한 더 좋은 조건을 의미할 수 있다. 자산(또는 수집물)의 각각의 측면은 개별적으로 등급화될 수 있으며, 그 자신의 등급들의 세트를 가질 수 있다. 이 예에서는 4개의 점수가 예시되지만, 다른 구현들에서는 자산의 다양한 양태들 및/또는 속성들에 대한 임의의 수의 점수들이 식별되고 사용될 수 있다.

자산의 등급화는 특정 유형들의 등급들(예를 들어, 표면, 에지, 코너, 센터링 등)을 핸들링하도록 설계된 기계 학습 모델들(예를 들어, 인공 신경망, 컨볼루션 신경망, 순환 신경망, 자기 조직 맵, 볼츠만 기계, 오토인코더 등)의 앙상블을 훈련함으로써 달성될 수 있다. 각각의 유형의 등급은 하나 이상의 지정된 기계 학습 모델(예를 들어, 신경망 모델)을 가질 수 있다. 일부 구현들에서, 2개의 기계 학습 모델을 사용하여 등급들(예를 들어, 표면 등급들)이 식별될 수 있다. 일부 구현들에서, 각각의 등급은 임의의 수의 기계 학습 모델을 사용하여 식별될 수 있다.

일부 구현들에서, 제1 기계 학습 모델은 여러 개의 더 작은 실질적으로 동일한 섹션들(예를 들어, 타일들)로 분할되는 수집물들의 이미지들의 세트의 표면 이미지들 상에서 표면 결함 유형들을 검출하도록 구성 및/또는 훈련될 수 있다. 일부 구현들에서, 수집물들의 표면 이미지들은 실질적으로 동일한 섹션들로 분할되고, 하나 이상의 결함 라벨이 (예를 들어, 사람, 기계 학습 모델, 컴퓨터 비전 알고리즘 등에 의해) (1) 각각의 섹션(결함이 있거나 없는 것들을 포함함)에 할당되거나 (2) 결함을 갖는 섹션들에만 할당될 수 있다. 결함 라벨은 결함이 있음 및/또는 주어진 섹션에서의 결함 유형(예를 들어, 주름, 구김 등)을 나타내는 문자, 단어, 숫자 등일 수 있다. 이어서, 결함 라벨 및 다양한 동일한 섹션들은 제1 기계 학습 모델을 훈련하는 데 사용될 수 있다. 예를 들어, 각각의 섹션은 신경망에 대한 입력 학습 데이터로 사용할 수 있으며, 해당 섹션과 연관된 결함 라벨(들)은 신경망에 대한 출력 학습 데이터로 사용될 수 있다. 제2 기계 학습 모델은 해당 수집물에 대한 제1 기계 학습 모델로부터의 타일 결함 정보와 함께 수집물의 전체 표면 이미지를 사용하여 최종 등급 회귀를 수행할 수 있다. 기계 학습 모델들은 전문적인 사람 그레이더들에 의해 사전 등급화될 수 있는 수집물들의 기존(예를 들어, 수천 개의) 이미지들을 포함하는 훈련 데이터 세트를 사용하여 훈련될 수 있다. 예를 들어, 표면 등급들에 대해, 훈련 데이터 세트는 각각의 수집물 사진에 할당된 등급 라벨들은 물론, 개별 타일들에 할당된 결함 유형 라벨들을 포함할 수 있다.

훈련 프로세스의 입력은 표면에 대한 제1 등급 분류 라벨(예를 들어, 1 내지 10의 정수 값들), 에지들에 대한 제2 등급 분류 라벨(예를 들어, 1 내지 10의 정수 값들), 코너들에 대한 제3 등급 분류 라벨(예를 들어, 1 내지 10의 정수 값들) 및/또는 센터링에 대한 제4 등급 분류 라벨(예를 들어, 1 내지 10의 정수 값들)과 각각 연관된 수집물들의 이미지들의 세트를 제공하는 것을 포함한다. 등급 분류 라벨들은 수집물들의 이미지들의 세트로부터의 각각의 이미지의 앞면 및 뒷면에 대해 개별적으로 각각의 사진에 할당될 수 있다.

표면 등급들에 대해, 등급 라벨들에 더하여, 훈련 세트는 타일들의 N x N 격자에 의해 윤곽이 그려지는 수집물의 이미지의 개별 표면 타일들에 할당된 다양한 결함 유형들에 대한 분류 라벨들을 포함할 수 있다. 타일들의 그리드 내의 각각의 타일은 예를 들어 구김, 주름, 인쇄 결함, 얼룩, 잉크 등과 같은 다수의 유형의 결함 라벨들을 가질 수 있다. 일부 구현들에서, 표면 결함 코드들의 세트(예를 들어, 문자, 숫자 등으로 표현됨)가 타일 결함 유형들을 나타낼 수 있다. 일부 예들에서, 표면 결함 코드들의 세트는 예를 들어 다음을 포함할 수 있다:

C - 구김, 주름, 휨, 접힘 등

H - 구멍, 핀홀, 펀치 등

I - 압인, 스크래치 등

M - 미스컷(miscut)

P - 인쇄, 번짐, 레지스트레이션 등

S - 얼룩

T - 찢어짐, 립(rip), 표면 파손 등

W - 기입, 잉크 등

코너/에지 결함 코드들

X - 코너(1-4)

E - 에지(1-N)

A - 마모(스톡 또는 표면의 라운딩 및/또는 경미한 손실)

B - 구김 또는 들뜸(코너 표면의 구김/휨 또는 들뜸)

Y - 충격(표면 결함 코드로 주목되지 않는 압인, 덴트(dent) 또는 다른 공백)

일부 구현들에서, 수집물 및/또는 카드 유형(예를 들어, 포함된 세트, 제조 연도, 제조사 등), 플레이어 및/또는 캐릭터 정보, 스탬프 유형(예를 들어, 연도, 발행량 등), 코인 유형(예를 들어, 연도, 코인 등의 식별) 및/또는 수집물에 관한 임의의 다른 정보를 검출하도록 추가적인 모델이 훈련될 수 있다. 이 정보는 기본 등급 모델들(예를 들어, 위에서 설명된 기계 학습 모델들)에서 특정 수집물 및/또는 카드 유형들에 특유한 거짓 양성들의 수를 줄이기 위해 사용될 수 있다. 예를 들어, 일부 카드들은 결함들로서 잘못 식별될 수 있는 플레이어의 옷의 주름을 포함할 수 있다. 등급화 모델들의 입력에 카드 유형 및/또는 플레이어/캐릭터 정보(및/또는 수집물에 특유한 다른 정보)를 추가하는 것은 수집물에 특유한 예외들을 사용하여 모델을 훈련함으로써 그러한 거짓 양성들을 제거하는 데 도움이 될 수 있다. 추가적인 모델은 예를 들어 기계 학습 모델, 인공 지능 모델, 분석 모델 또는 수학 모델일 수 있다. 일부 구현들에서, 추가적인 모델은 컴퓨터 비전을 사용하여 수집물 및/또는 카드 유형, 플레이어 정보, 캐릭터 정보, 스탬프 유형(예를 들어, 연도, 발행량 등), 코인 유형(예를 들어, 연도, 코인 등의 식별) 및/또는 수집물과 관련된 임의의 다른 정보를 검출하도록 훈련될 수 있다. 일부 구현들에서, 추가적인 모델은 지도 학습을 사용하여 훈련될 수 있다. 일부 구현들에서, 추가적인 모델은 비지도 학습을 사용하여 훈련될 수 있다. 일부 구현들에서, 추가적인 모델은 수집물(예를 들어, 카드)의 이미지들을 입력 학습 데이터로 사용하고 카드 유형, 플레이어 정보, 캐릭터 정보, 및/또는 해당 수집물에 특유한 특성들을 출력 학습 데이터로 사용하여 훈련된 신경망(예를 들어, 컨볼루션 신경망)이다.

결과적인 훈련된 기계 학습 모델들은 (도 3의 단계 301에 도시된 바와 같이) 수집물들에 대한 등급화를 수행하는 데 사용될 수 있다. 등급화 프로세스 동안, 훈련 단계에서와 동일한 이미지 전처리 단계(단계 302)를 수집물(예를 들어, 훈련 데이터와 연관되지 않은 새로운 수집물)의 입력 이미지에 적용하여 전처리된 이미지를 생성할 수 있다. 그런 다음, 전처리된 이미지는 등급들을 예측하기 위해 (예를 들어, 훈련된 표면 등급 회귀 모델(들)을 포함하는) 그레이더 모델들(105)의 세트에 입력될 수 있다. 그레이더 모델들(105)의 세트는 (단계 303에서) 카드 유형 및/또는 플레이어/캐릭터 정보(또는 수집물에 관한 다른 정보)를 예측할 수 있다. 그레이더 모델들(105)의 세트는 (단계 304에서) 타일 결함들을 추가로 예측할 수 있다. 그레이더 모델들(105)의 세트는 수집물에 대한 정보(예컨대, 카드 유형, 플레이어/캐릭터 정보), 타일 결함들, 및/또는 그레이더 모델들(105)의 세트에 의해 생성된 다른 등급들에 기초하여 (단계 305에서) 등급들을 추가로 예측할 수 있다. 일부 구현들에서, 그레이더 모델들(105)의 세트에 의해 등급들이 계산된 후에, 그레이더 모델(들)의 컨볼루션 계층(들)의 가중치들로부터 추가 오버레이 이미지가 구성될 수 있다. 오버레이 이미지는 결함들이 식별되는 수집물들의 이미지들의 세트로부터의 이미지(예컨대, 카드 이미지)의 특정 영역들을 강조하는 데 사용될 수 있다. 추가적으로 또는 대안적으로, 오버레이 이미지는 결함들이 식별되지 않는 수집물들의 이미지들의 세트로부터의 이미지의 특정 영역들을 강조하는 데 사용될 수 있다.

표면들에 대한 그레이더

그레이더 모델들(105)의 세트는 표면 그레이더 모델을 포함할 수 있다. 일부 구현들에서, 표면 그레이더 모델은 2개의 개별 모델의 앙상블일 수 있거나 이를 포함할 수 있다:

타일 결함 분류 모델

표면 등급 회귀 모델

일부 구현들에서, 타일 결함 분류 모델과 표면 등급 회귀 모델 양자가 기존 기계 학습 모델에 기초하여(예를 들어, 전달 학습을 사용하여) 생성될 수 있다. 예를 들어, 기계 학습 모델은 일반 이미지들의 대규모 데이터 세트(예를 들어, ImageNet 데이터 세트(1,400만개 이상의 실세계 물체를 포함하는 공개적으로 이용가능한 데이터 세트))를 사용하여 훈련되는 사전 훈련된 신경망 모델일 수 있다. 사전 훈련된 신경망 모델을 사용하는 것은 다양한 물체 형상들에 대한 기존 지식을 기계 학습 모델들에 추가할 수 있고, 그레이더 모델들(105)의 세트(예컨대, 타일 결함 분류 모델 및/또는 표면 등급 회귀 모델)가 알려진 물체 형상들과 표면 결함들을 구별하는 데 더욱 효과적이게 할 수 있다. 예를 들어, 일부 구현들에서, VGGNet, ResNet, Inception, Xception 등과 같은 사전 훈련된 ImageNet 기반 모델들이 사용될 수 있다.

타일 결함 분류 모델은 (도 4의 단계 3 및 단계 8에 도시된 바와 같이) 표면 결함 코드들에 의해 분류된 훈련 이미지들의 더 작은 서브세트를 사용하여 훈련될 수 있다. (도 4의 단계 11에 도시된 바와 같이) 타일 결함 분류 모델은 훈련된 후에 훈련 세트 내의 타일들을 분류하고 각각의 타일 상의 가능한 결함들에 대한 신뢰 레벨들을 생성하는 데 사용할 수 있다.

일 실시예에 따른 타일 결함 분류 모델(예를 들어, 신경망)의 계층들의 구조가 도 5에 도시되어 있다. 수집물들의 이미지들에서 타일 결함들을 분류하는 것을 담당하는 추가 계층들이 (예를 들어, 일반 이미지들로 훈련된) 기본 모델에 추가될 수 있다. 드롭아웃 계층들이 모델 오버피팅을 줄이고 신경망에 대한 더 나은 일반화를 제공하는 데 사용할 수 있다. 일부 구현들에서, 지원되는 결함 유형들의 수에 의해 최종 출력 계층의 크기가 결정될 수 있다. 예를 들어, 특정 유형의 수집물들에 대한 등급화 디바이스(101)의 적용에서, 특정 유형의 수집물들에 대해 발생할 수 있는 결함 유형은 N개(예를 들어, 7개, 10개, 100개 등)일 수 있다. 따라서, 타일 결함 분류 모델의 최종 출력 계층의 크기는 N(예를 들어, N개의 정수)일 수 있다. 예를 들어, 타일 결함 분류 모델의 출력은 0.0 내지 1.0 범위의 N개의 신뢰 레벨을 포함할 수 있으며, 여기서 N은 지원되는 결함 유형들의 수이다.

표면 등급 회귀 모델의 계층들의 구조는 타일 결함 분류 모델의 계층들의 구조와 유사할 수 있다. 계층 구조들 간의 차이점은 표면 등급 회귀 모델의 마지막 출력 계층의 크기일 수 있다. 표면 등급 회귀 모델은 회귀 모델이기 때문에, 일부 구현들에서 표면 등급 회귀 모델은 표면 등급의 연속 값을 나타내는 하나의 출력을 갖는다. 마찬가지로, 이러한 구현들에서, 등급은 출력이 라벨인 타일 결함 분류 모델과 달리 10진수(예를 들어, 5.0, 8.5, 9.99)로 표현될 수 있다.

또한, 타일 결함 분류 모델(도 5)로부터의 가중치들은 표면 등급 회귀 모델로 전달되어, 표면 등급 회귀 모델이 타일 결함 분류 모델에 의해 학습된 결함 패턴들을 인식할 수 있게 할 수 있다(도 4의 단계 8 및 단계 12).

에지들 및 코너들에 대한 그레이더

그레이더 모델들(105)의 세트는 에지들 및 코너들에 대한 특수화된 모델들을 포함할 수 있다. 일부 구현들에서, 에지들 및 코너들에 대한 특수화된 모델들은 동일 및/또는 유사한 계층 구조를 가질 수 있다. 일부 예들에서, 에지들 및 코너들에 대한 특수화된 모델들은 최종 계층(출력 계층)의 출력들의 수에 차이가 있는 타일 결함 분류 모델과 유사할 수 있다. 일부 구현들에서, 에지들 및 코너들에 대한 특수화된 모델들은 연속적인 등급 값(예를 들어, 0 내지 10의 값)을 나타내는 하나의 출력을 갖는다. 등급은 에지 및/또는 코너의 조건을 나타낼 수 있으며, 교정 작업이 수행되어야 하는지를 결정하는 데 사용될 수 있다. 예를 들어 등급이 미리 결정된 허용가능 범위를 벗어난 경우, 해당 에지 및/또는 코너는 결함이 있는 것으로 표시될 수 있다.

일부 구현들에서, 전처리된 이미지들로부터 에지 그레이더 모델 및 코너 그레이더 모델에 대한 별개의 입력 이미지들이 추출될 수 있다. 타일 결함 분류 모델 및 표면 등급 회귀 모델과 유사하게, 에지 그레이더 모델 및/또는 코너 그레이더 모델은 각각 에지들 및/또는 코너들에서의 결함들을 강조하기 위해 오버레이 이미지를 생성하는 능력을 제공할 수 있다.

센터링에 대한 그레이더

그레이더 모델들(105)의 세트는 수집물이 어떻게 센터링되는지를 결정하기 위해 수집물들의 이미지들의 센터에 대한 특수화된 모델들을 포함할 수 있다. 일부 구현들에서, 수집물이 카드 스톡 상에 인쇄된 (예컨대, 플레이어 또는 캐릭터의) 이미지를 포함하는 경우, 센터링 등급은 이미지가 카드 스톡 상에 어떻게 센터링되는지를 나타낼 수 있다. 일부 구현들에서, 수집물들의 이미지들의 센터에 대한 등급들은 호모그래피 행렬들의 세트를 입력으로 취하는 센터 회귀 그레이더 모델에 의해 계산될 수 있다. 호모그래피 행렬들의 세트는 (도 4의 단계 2에 도시된 바와 같이) 훈련 세트 내의 전처리된 이미지들을 상이한 센터링 등급들을 갖는 다수의 다른 수집물(예를 들어, 카드)과 비교함으로써 계산될 수 있다. 이러한 접근법은 상이한 센터링 등급들 간의 호모그래피 거리들이 (예를 들어, 컴퓨터 비전을 사용하여) 고려되는 삼각 측량과 유사할 수 있다. 등급은 수집물(들)의 이미지에 대한 센터링의 조건을 나타내고, 교정 작업이 수행되어야 하는지를 결정하는 데 사용될 수 있다. 예를 들어 등급이 미리 결정된 허용가능 범위를 벗어난 경우, 수집물의 이미지의 센터링은 (예를 들어, 센터링 조건이 바람직하지 않음을 나타내는 텍스트 또는 임의의 다른 라벨을 통해) 결함 있는 것으로 표시될 수 있다.

일부 예들에서, 센터 회귀 그레이더 모델은 호모그래피 값들 외에 수집물에 특유한 정보(예를 들어, 카드 유형 및/또는 플레이어/캐릭터 정보)를 입력으로 취할 수 있다. 이렇게 하면 수집물 및/또는 카드 유형에 특유한 바이어스가 회피되는 것을 보장할 수 있다.

불균형 훈련 데이터의 핸들링

일부 예들에서, 등급화 모델들의 세트를 정확하게 만드는 데 있어서 어려운 부분은 제한적이고 불균형한 훈련 데이터 세트를 사용할 때 훈련 세트를 오버피팅하는 문제이다. 도 1의 등급화 디바이스(101)는 각각의 수집물 특유 정보(예컨대, 카드 유형, 플레이어/캐릭터 및 등급 조합)에 대해 많은 수의 샘플을 커버하지 않는 훈련 세트로 정확한 예측 모델들을 훈련할 수 있다. 즉, 등급화 디바이스(101)의 그레이더 모델들(105)의 세트는 수집물들의 이미지들에 기초하여 등급들의 생성을 일반화하도록 개발된다. 따라서, 훈련 세트에 기초하여 훈련된 동일한 그레이더 모델들의 세트는 매우 큰 훈련 세트(예컨대, 수십억개의 이미지)를 유지하지 않고도 훈련 세트의 재사용가능한 수의 이미지(예컨대, 수천개의 이미지)에 기초하여 광범위한 수집물 이미지들(예컨대, 광범위한 스포츠 카드 및/또는 플레이어 세트, 광범위한 스탬프, 광범위한 미술품 등)을 성공적으로 등급화할 수 있다.

일부 구현들에서, 불균형 훈련 데이터의 문제들 중 일부를 피하거나 줄이기 위한 일반화 방법은 예를 들어 다음 중 하나 이상을 포함할 수 있다:

1. 훈련 세트 업샘플링 및 다운샘플링. 이 단계의 목적은 훈련 세트가 모든 등급들에 걸친 샘플들의 수의 비교적 동일한 분포를 갖도록 훈련 세트를 조정하는 것이다. 평균 수보다 많은 샘플들을 갖는 등급들에 대해, 데이터 세트로부터 초과 샘플들을 임의로 폐기함으로써 데이터 세트를 줄일 수 있다(다운샘플링). 평균보다 적은 수의 샘플들을 갖는 등급들에 대해, 수집물들의 추가적인 합성 이미지들을 생성하여 훈련 세트에 추가할 수 있다(업샘플링).

2. 드롭아웃 계층들. 드롭아웃 계층들의 사용은 오버피팅을 줄이고 등급화 모델들에 대한 일반화 에러를 개선하기 위한 계산 비용이 매우 저렴하고 효과적인 정규화 방법을 가능하게 한다.

3. 계층 가중치 정규화기들. 드롭아웃 계층들과 마찬가지로, 가중치 정규화기들은 네트워크 내의 가중치 값들의 범위를 제한하여 기계 학습 모델(예를 들어, 신경망) 오버피팅의 가능성을 줄인다. 일부 예들에서, 일반 이미지 데이터로 훈련된 기본 모델의 계층들을 포함하는 네트워크의 개별 계층들에 가중치 정규화기들이 추가될 수 있다.

4. K-폴드 검증(K-fold validation)을 사용하여 일반화를 개선하고 오버피팅을 줄일 수 있다.

5. 합성 훈련 데이터의 생성에 의한 추가적인 이미지 증강.

일부 예들에서, 드롭아웃 계층들의 수, 드롭아웃 레이트들 및/또는 가중치 정규화기들의 수가 하이퍼파라미터 최적화 단계 동안 결정될 수 있다. 하이퍼파라미터 최적화 단계는 모델(예컨대, 도 1의 그레이더 모델들(105)의 세트로부터의 모델)의 하이퍼파라미터들을 개선, 튜닝 및/또는 최적화할 수 있다. 하이퍼파라미터 최적화에 관한 추가 상세들이 아래에서 논의된다.

합성 훈련 이미지들

일부 구현들에서, 등급화 디바이스(101)는 (수집물들의 이미지들의 세트에 더하여) 합성 이미지들을 생성하여, 적당한 데이터 세트로 훈련된 그레이더 모델들(105)의 세트의 정확성을 더 개선할 수 있다. 일부 예들에서, 이미지 증강 기술들의 세트가 수집물들의 이미지들의 세트에 무작위로 적용되어 추가적인 합성 이미지들로 훈련 세트를 확장할 수 있다. 이미지 증강 기술들의 세트는 수집물의 이미지들의 세트로부터의 하나 이상의 이미지에 대해 회전, 수직 및/또는 수평 시프트, 스케일링, 밝기 및 콘트라스트 조정, 수직 및/또는 수평 뒤집기 등을 포함하여 합성 이미지들의 세트를 생성할 수 있다. 합성 이미지들의 세트는 수집물의 이미지들의 세트에 더하여, 그레이더 모델들(105)의 세트로부터의 하나 이상의 그레이더 모델을 훈련하거나 재훈련하는 데 사용될 수 있다. 일부 구현들에서, 합성 이미지들의 세트는 그레이더 모델들(105)의 세트로부터의 하나 이상의 그레이더 모델을 훈련하는 데 사용되기 전에 전처리(예를 들어, 원근 왜곡 변환, 크기 조정, 배경 크로핑 등)된다.

증강 기술들의 세트는 상이한 능력들(예를 들어, 해상도, 줌, 필터, 깊이 등)을 갖는 카메라들을 사용하여 촬영되고/되거나 상이한 조명 조건들(예를 들어, 각도들)에서 촬영된 수집물들의 이미지들에 대한 일관된 등급화 정확도를 보장할 수 있다. 증강을 사용하면 또한 훈련 세트 내의 샘플 수를 크게 확장할 수 있으며 그레이더 모델들(105)의 세트의 일반화를 개선할 수 있다.

하이퍼파라미터 튜닝

그레이더 모델들(105)의 세트의 하이퍼파라미터들은 다음의 튜닝 알고리즘들: 무작위 검색, 하이퍼밴드, 베이지안 최적화 등 중 하나를 사용하여 최적화될 수 있다. 특정 튜닝 알고리즘의 효과는 훈련 세트 및 다른 인자들에 기초하여 상이할 수 있다. 따라서, 튜닝 알고리즘들을 개별적으로 평가하여 특정 모델들 및 특정 훈련 세트들에 대한 최상의 정확도를 달성할 수 있다.

그레이더 모델들(105)의 세트에 대한 튜닝 가능한 파라미터들 및/또는 하이퍼파라미터들은 예를 들어 다음을 포함할 수 있다:

1. 신경망 파라미터들

계층 크기들

드롭아웃 계층들의 수

드롭아웃 레이트들

가중치 정규화기 유형들

정규화 인자들

ImageNet 기반 모델의 유형

2. 이미지 증강 파라미터들

회전 각도, 시프트, 밝기, 스케일링 및 뒤집기에 대한 범위들.

3. 훈련 파라미터들

최적화기 유형

학습 레이트

묶음 크기

에포크들의 수

결함 시각화

그레이더 모델들(105)의 세트에 의해 식별된 결함들은 원본 수집물 이미지의 오버레이로서 시각화될 수 있다. 오버레이는 일반 이미지 데이터를 사용하여 훈련된 모델의 마지막 컨볼루션 계층의 가중치들로 구성될 수 있다. 예를 들어, 일반 이미지 데이터를 사용하여 훈련된 모델이 VGGNet(Visual Geometry Group Network) 모델인 경우, 마지막 컨볼루션 계층은 block5_conv3일 것이다. 더 큰 가중치 값들은 대응하는 픽셀 또는 픽셀 그룹에서 결함이 검출될 더 높은 신뢰를 나타낸다.

가중치 값들의 범위들은 상이한 오버레이 컬러들 또는 픽셀 강도를 사용하여 표현되어, 히트맵 표현을 효과적으로 생성할 수 있다. 윤곽들을 디스플레이하거나 특정 임계값보다 큰 가중치 값들로 고강도의 클러스터들 주변의 영역들을 강조함으로써 다른 시각적 큐들이 달성될 수 있다. 이러한 시각적 묘사들은 사용자 디바이스(예컨대, 등급화 디바이스(101) 및/또는 등급화 디바이스에 동작가능하게 결합된 디바이스)를 통해 사용자에게 제시 및/또는 디스플레이될 수 있다.

일부 구현들에서, 등급화 디바이스(101)는 네트워크를 통해 데이터(예컨대, 수집물들의 이미지들) 및/또는 분석 모델들을 송신 및/또는 수신하기 위해 네트워크를 통해 컴퓨팅 디바이스(도시되지 않음) 및/또는 서버(도시되지 않음)에 동작가능하게 결합될 수 있다. 일부 예들에서, 컴퓨팅 디바이스 및/또는 서버는 등급화 디바이스(101)에 훈련 데이터를 제공할 수 있다. 일부 예들에서, 컴퓨팅 디바이스 및/또는 서버는 훈련된 기계 학습 모델(들)을 실행하여, 예를 들어, 수집물들과 같은 자산들의 등급화를 수행할 수 있다.

도 6은 일 실시예에 따른, 전처리된 이미지들의 세트에 기초하여 모델을 훈련하고 사용하기 위한 방법(600)의 흐름도이다. 일부 구현들에서, 방법(600)은 프로세서(예컨대, 도 1의 프로세서(104))에 의해 수행될 수 있다. 예를 들어, 프로세서(104)가 방법(600)을 실행하도록 하는 명령어들은 도 1의 메모리(102)에 저장될 수 있다.

602에서, 수집물들의 그룹(예를 들어, 하나의 수집물, 2개의 수집물, 3개의 수집물 등)의 이미지들의 세트가 수신된다. 이미지들의 세트로부터의 각각의 이미지는 적어도 하나의 결함 유형 라벨 및 수집물들의 그룹으로부터의 수집물의 표면 조건들에 대한 제1 등급 분류 라벨, 수집물의 에지 조건들에 대한 제2 등급 분류 라벨, 수집물의 코너 조건들에 대한 제3 등급 분류 라벨, 또는 수집물의 센터링 조건들에 대한 제4 등급 분류 라벨 중 적어도 하나와 연관된다. 일부 구현들에서, 수집물들의 그룹은 단지 트레이딩 카드들, 단지 코인들, 단지 화폐, 단지 미술품, 단지 스탬프들, 단지 골동품들, 단지 만화책들, 단지 장난감들, 단지 보석, 또는 이들의 조합을 포함할 수 있다. 일부 구현들에서, 이미지들의 세트는 수집물들의 그룹의 공통 측면(예컨대, 앞면)의 이미지들이다. 일부 구현들에서, 이미지들의 세트는 수집물들의 그룹의 다양한 상이한 측면들(예를 들어, 앞면 및 뒷면)의 이미지들이다. 일부 구현들에서, 수집물은 수집가에게 관심 있는 아이템을 지칭한다. 일부 구현들에서, 수집물은 수집될 수 있는 무언가를 지칭한다.

604에서, 이미지들의 세트로부터의 각각의 이미지에 대해, 해당 이미지에서 수집물을 정의하는 경계를 검출하고, 이미지들의 세트로부터의 해당 이미지에 대한 원근 왜곡 변환을 수행하고 - 해당 이미지에 대한 경계는 미리 결정된 형상(예를 들어, 정사각형, 직사각형, 평행사변형 등)을 갖지 않음 -, 수집물을 정의하는 경계 내에 있지 않은 해당 이미지의 부분들을 제거함으로써, 이미지들의 세트에 기초하여 전처리된 이미지들의 세트가 생성된다. 일부 구현들에서, 단계 604는 이미지들의 세트의 수신에 응답하여 자동으로(예를 들어, 사람의 입력을 요구하지 않고) 수행된다. 일부 구현들에서, 전처리된 이미지들의 세트를 생성하는 것은 미리 결정된 크기가 아닌 크기를 갖는 이미지들의 세트로부터의 각각의 이미지를 크기 조정하여 해당 이미지가 미리 결정된 크기를 갖도록 하는 것을 더 포함한다. 일부 구현들에서, 전처리된 이미지들의 세트를 생성하는 것은 미리 결정된 해상도 범위 내에 있지 않은 해상도를 갖는 이미지들의 세트로부터의 각각의 이미지를 크기 조정하여 해당 이미지가 미리 결정된 해상도 범위 내의 해상도를 갖도록 하는 것을 더 포함한다.

606에서, 적어도 하나의 모델(예컨대, 도 1에 도시된 그레이더 모델들(105)의 세트)이 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지, 해당 전처리된 이미지와 연관된 적어도 하나의 결함 유형 라벨, 및 (1) 해당 전처리된 이미지와 연관된 제1 등급 분류 라벨, (2) 해당 전처리된 이미지와 연관된 제2 등급 분류 라벨, (3) 해당 전처리된 이미지와 연관된 제3 등급 분류 라벨 또는 (4) 해당 전처리된 이미지와 연관된 제4 등급 분류 라벨 중 적어도 하나에 기초하여 훈련된다. 일부 구현들에서, 적어도 하나의 모델은 오버피팅을 줄이기 위해 적어도 하나의 드롭아웃 계층을 포함한다. 일부 구현들에서, 적어도 하나의 모델은 (1) (a) 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 제1 등급 분류 라벨을 사용하여 훈련된 제1 모델, (2) (a) 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 제2 등급 분류 라벨을 사용하여 훈련된 제2 모델, (3) (a) 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 제3 등급 분류 라벨을 사용하여 훈련된 제3 모델, (4) (a) 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 제4 등급 분류 라벨을 사용하여 훈련된 제4 모델, (5) (a) 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 적어도 하나의 결함 유형 라벨을 사용하여 훈련된 제5 모델을 포함한다.

608에서, 적어도 하나의 모델은 수집물들의 그룹에 포함되지 않은 새로운 수집물의 새로운 이미지에 적용된다. 일부 구현들에서, 적어도 하나의 모델은 (예를 들어, 도 1의 프로세서(104)에 의해) 수신되는 새로운 이미지의 표현에 응답하여 자동으로 새로운 이미지에 적용된다.

610에서, 새로운 수집물이 결함, 결함의 대략적인 위치, 및 결함과 연관된 결함 유형을 포함한다는 것을 나타내는 출력이 디스플레이된다. 일부 구현들에서, 610은 608에서 새로운 이미지에 적어도 하나의 모델을 적용하는 것에 응답하여 자동으로(예를 들어, 사람의 입력을 요구하지 않고) 수행된다. 일부 구현들에서, 출력은 프로세서(예컨대, 프로세서(104))가 유선 및/또는 무선 접속을 통해 프로세서에 동작가능하게 결합된 디스플레이(도 1에 도시되지 않음)에 적어도 하나의 전자 신호를 전송하여 디스플레이로 하여금 새로운 수집물이 (예컨대, 텍스트, 심볼, 컬러 코드, 강조 등을 통해) 결함, (예를 들어, 텍스트, 심볼, 컬러 코드, 강조 등을 통해) 결함의 대략적인 위치 및 (예를 들어, 텍스트, 심볼, 컬러 코드, 강조 등을 통해) 결함과 관련된 결함 유형(예를 들어, 휨, 구김 등)을 포함한다는 것을 표시하게 함으로써 디스플레이된다.

방법(600)의 일부 구현들에서, 이미지들의 세트로부터의 제1 이미지는 제1 조명 조건들 하에서 캡처 또는 촬영되고, 이미지들의 세트로부터의 제2 이미지는 제1 조명 조건과 상이한 제2 조명 조건 하에서 캡처 또는 촬영된다. 조명 조건은 예를 들어 밝기의 양일 수 있다.

방법(600)의 일부 구현들에서, 이미지들의 세트로부터의 제1 이미지는 수집물들의 그룹으로부터의 제1 수집물에 대해 제1 각도에서 캡처되거나 촬영되고, 이미지들의 세트로부터의 제2 이미지는 제1 수집물 또는 제1 수집물과 상이한 수집물들의 그룹으로부터의 제2 수집물 중 하나에 대해 제2 각도에서 촬영된다. 제2 각도는 제1 각도와 상이하다. 제1 이미지와 제2 이미지는 동일한 이미징 디바이스(예를 들어, 단일 공통 카메라) 또는 상이한 이미지 디바이스들(예를 들어, 2개의 상이한 카메라)을 사용하여 캡처되거나 촬영될 수 있다.

방법(600)의 일부 구현들에서, 이미지들의 세트로부터의 제1 이미지는 제1 배경으로 촬영되고, 이미지들의 세트로부터의 제2 이미지는 제1 배경과 상이한 제2 배경으로 촬영된다. 예를 들어, 제1 배경과 제2 배경은 상이한 컬러, 텍스처, 패턴, 형상, 배향, 경치 등일 수 있다.

일부 구현들에서, 방법(600)은 무작위 검색 알고리즘, 하이퍼밴드 알고리즘, 또는 베이지안 최적화 알고리즘 중 적어도 하나를 사용하여 적어도 하나의 모델과 연관된 하이퍼파라미터들을 최적화 및/또는 개선하는 단계를 더 포함한다.

도 7은 일 실시예에 따른, 모델을 사용하여 결함 신뢰 레벨들을 생성하고 사용하기 위한 방법(700)의 흐름도이다. 일부 구현들에서, 방법(700)은 프로세서(예컨대, 도 1의 프로세서(104))에 의해 수행될 수 있다. 예를 들어, 프로세서(104)가 방법(700)을 실행하도록 하는 명령어들은 도 1의 메모리(102)에 저장될 수 있다.

702에서, 이미지에서 수집물을 정의하는 경계를 검출하고, 원근 왜곡 변환을 수행하여 경계가 미리 결정된 형상(예를 들어, 직사각형, 정사각형, 평행사변형 등)을 갖도록 하고, 수집물을 정의하는 경계 내에 있지 않은 이미지의 부분들을 제거함으로써 전처리된 이미지를 생성하기 위해 수집물의 이미지가 전처리된다. 수집물은 예를 들어 트레이딩 카드(예를 들어, 야구 카드, 농구 카드, 축구 카드, Pokemon® 카드 등), 코인, 화폐, 미술품, 스탬프, 골동품, 만화책, 장난감, 보석 등일 수 있다. 이미지는 카메라나 스캐너와 같은 이미징 디바이스에 의해 수집될 수 있다.

704에서, 기계 학습(ML) 모델(예컨대, 도 1의 그레이더 모델들(105)의 세트)이 전처리된 이미지에 적용되어 결함 신뢰 레벨들의 그룹을 생성한다. 결함 신뢰 레벨들의 그룹으로부터의 각각의 결함 신뢰 레벨은 (1) 전처리된 이미지의 고유 부분들의 그룹으로부터의 전처리된 이미지의 고유 부분과 연관되고, (2) 전처리된 이미지의 해당 고유 부분 내에 적어도 하나의 결함이 존재할 가능성을 나타낸다. 일부 구현들에서, 704는 702에서 전처리된 이미지를 생성하는 것에 응답하여 자동으로(예를 들어, 사람의 입력을 요구하지 않고) 수행된다. 일부 구현들에서, 결함 신뢰 레벨 각각은 숫자 값(예를 들어, 0 내지 100, 0% 내지 100%, 1 내지 10 등)과 연관된다. 일부 구현들에서, 결함 신뢰 레벨들 각각은 텍스트 라벨(예를 들어, 깨끗함, 민트 조건, 거의 민트, 우수, 매우 양호, 양호, 나쁨 등)과 연관된다. 일부 구현들에서, 고유 부분들의 그룹으로부터의 각각의 고유 부분은 고유 부분들의 그룹으로부터의 임의의 다른 고유 부분과 중첩되지 않는다(예를 들어, 상반부에 대한 하나의 고유 부분 및 하반부에 대한 다른 고유 부분). 일부 구현들에서, 고유 부분들의 그룹으로부터의 적어도 하나의 고유 부분(예를 들어, 고유 부분들의 그룹으로부터의 하나 내지 모든 고유 부분)은 고유 부분들의 그룹으로부터의 다른 고유 부분(예를 들어, 상반부에 대한 제1 고유 부분, 하반부에 대한 제2 고유 부분 및 상반부 및 하반부의 서브섹션들을 포함하는 센터 부분에 대한 제3 고유 부분)과 중첩된다.

706에서, 전처리된 이미지가 디스플레이 상에 디스플레이된다. 일부 구현들에서, 706은 704에서 신뢰 레벨들의 그룹을 생성하는 것에 응답하여 자동으로(예를 들어, 사람의 입력을 요구하지 않고) 수행된다. 일부 구현들에서, 출력은 프로세서(예컨대, 프로세서(104))가 유선 및/또는 무선 접속을 통해 프로세서에 동작가능하게 결합된 디스플레이(도 1에 도시되지 않음)에 적어도 하나의 전자 신호를 전송하여 디스플레이로 하여금 전처리된 이미지를 디스플레이하게 함으로써 디스플레이 상에 디스플레이된다.

708에서, 미리 결정된 범위를 벗어나는 결함 신뢰 레벨들의 그룹으로부터의 결함 신뢰 레벨과 연관된 고유 부분들의 그룹으로부터의 전처리된 이미지의 각각의 고유 부분이 디스플레이 상에 표시된다. 일부 구현들에서, 708은 706에서 전처리된 이미지가 디스플레이되는 것에 응답하여 자동으로(예를 들어, 사람의 입력을 필요로 하지 않고) 수행된다. 일부 구현들에서, 결함 신뢰 레벨이 미리 결정된 범위 내에 있다는 것은 해당 결함 신뢰 레벨과 연관된 고유 부분이 바람직한(또는 "충분히 양호한") 조건(예를 들어, 깨끗함, 민트, 우수 등)에 있음을 나타내고, 결함 신뢰 레벨이 미리 결정된 범위 밖에 있다는 것은 해당 결함 신뢰 레벨과 연관된 고유 부분이 바람직한 조건이 아님(예를 들어, 양호하지 않음, 불량 등)을 나타낸다. 일부 구현들에서, 미리 결정된 범위는 특정 사용 사례에 대해(즉, 사용자, 고객, 조직, 주문 등에 의해 허용 가능한 조건으로 간주되는 것에 기초하여) (예를 들어, 사용자가 입력하고 프로세서에서 수신된 명령어들을 통해) 조정될 수 있다.

일부 구현들에서, ML 모델은 제1 ML 모델이고, 방법(700)은 수집물의 표면 조건들을 나타내는 제1 점수를 생성하기 위해 전처리된 이미지에 제2 ML 모델을 적용하고, 수집물의 에지 조건들을 나타내는 제2 점수를 생성하기 위해 전처리된 이미지에 제3 ML 모델을 적용하고, 수집물의 코너 조건들을 나타내는 제3 점수를 생성하기 위해 전처리된 이미지에 제4 ML 모델을 적용하고, 수집물의 센터링 조건들을 나타내는 제4 점수를 생성하기 위해 전처리된 이미지에 제5 ML 모델을 적용하는 단계를 더 포함할 수 있다. 방법(700)은 제1 점수, 제2 점수, 제3 점수 및 제4 점수에 기초하여 수집물의 전반적인 조건을 나타내는 적어도 하나의 라벨을 수집물에 할당하는 단계를 더 포함할 수 있다. 일부 구현들에서, 적어도 하나의 라벨은 전반적인 조건이 깨끗함, 민트, 거의 민트/민트, 거의 민트, 우수/거의 민트, 우수, 매우 양호/우수, 매우 양호, 양호, 또는 불량 중 하나임을 나타낼 수 있다. 일부 구현들에서, 제1 점수, 제2 점수, 제3 점수 및/또는 제4 점수의 함수(예를 들어, 합계, 평균, 가중 평균 등)인 숫자 값은 적어도 하나의 라벨에 대응하고(예를 들어, 연관된 숫자 범위 내에 있고), 따라서 숫자 값은 적어도 하나의 라벨을 결정하기 위해 계산 및 사용될 수 있다. 방법(700)은 결함 신뢰 레벨들의 그룹으로부터의 각각의 결함 신뢰 레벨을 해당 결함 신뢰 레벨과 연관된 전처리된 이미지의 고유 부분 상에 중첩되게 디스플레이하는 단계를 더 포함할 수 있다. 예를 들어, 전처리된 이미지가 N개의 고유 부분(예컨대, 타일)을 포함하는 경우, N개의 결함 신뢰 레벨이 디스플레이될 수 있으며, 각각의 신뢰 레벨은 상이한 고유 부분과 연관(예를 들어, 중첩)된다.

일부 구현들에서, 방법(700)은 수집물과 연관된 카드 유형, 플레이어 정보, 캐릭터 정보, 및/또는 다른 정보 중 적어도 하나를 식별하기 위해 전처리된 이미지에 컴퓨터 비전 모델을 적용하는 단계를 더 포함할 수 있으며, 카드 유형, 플레이어 정보, 캐릭터 정보, 및/또는 다른 정보 중 적어도 하나는 결함 신뢰 레벨들의 그룹을 생성하기 위한 제1 ML 모델, 제1 점수를 생성하기 위한 제2 ML 모델, 제2 점수를 생성하기 위한 제3 ML 모델, 제3 점수를 생성하기 위한 제4 ML 모델, 또는 제4 점수를 생성하기 위한 제5 ML 모델 중 적어도 하나에 의해 사용된다. 일부 구현들에서, 제1 ML 모델의 적용은 제2-제5 ML 모델의 적용에 앞서 수행되고, 제2 ML 모델의 적용, 제3 ML 모델의 적용, 제4 ML 모델의 적용 또는 제5 ML 모델의 적용 중 적어도 2개는 병렬로 수행된다. 일부 구현들에서, 제1-제5 ML 모델들은 직렬, 병렬 또는 이들의 임의의 조합으로 적용될 수 있다.

일부 구현들에서, 702에서의 전처리는 이미지를 미리 결정된 크기로 크기 조정하는 것을 더 포함한다. 일부 구현들에서, 702에서의 전처리는 이미지가 미리 결정된 해상도 범위 내의 해상도를 갖도록 하기 위해 이미지를 크기 조정하는 것을 더 포함한다.

일부 구현들에서, 방법(700)은 전처리된 이미지에 대해, 수집물과 연관된 카드 유형, 플레이어 정보, 캐릭터 정보 및/또는 다른 정보 중 적어도 하나를 결정하는 단계를 더 포함한다. ML 모델은 수집물과 연관된 카드 유형, 플레이어 정보, 캐릭터 정보 및/또는 다른 정보 중 적어도 하나에 추가로 적용되어 결함 신뢰 레벨들의 그룹을 생성할 수 있다. 마찬가지로, 결함 신뢰 레벨들의 그룹은 수집물과 연관된 카드 유형, 플레이어 정보, 캐릭터 정보 및/또는 다른 정보 중 적어도 하나에 적어도 부분적으로 기초하여 ML 모델에 의해 생성될 수 있다.

도 8은 일 실시예에 따른, 합성 이미지들의 세트를 포함하는 훈련 세트를 사용하여 모델을 훈련하기 위한 방법(800)의 흐름도이다. 일부 구현들에서, 방법(700)은 프로세서(예컨대, 도 1의 프로세서(104))에 의해 수행될 수 있다. 예를 들어, 프로세서(104)가 방법(700)을 실행하도록 하는 명령어들은 도 1의 메모리(102)에 저장될 수 있다.

802에서, 수집물들(예를 들어, 단지 트레이딩 카드들, 단지 코인들, 단지 화폐, 카드들, 코인들 및/또는 화폐의 조합 등)의 이미지들의 세트가 수집물들의 합성 이미지들의 세트를 생성하기 위해 증강된다. 일부 구현들에서, 802에서의 증강은 이미지들의 세트로부터의 제1 이미지의 회전, 제1 이미지의 수직 시프트, 제1 이미지의 수평 시프트, 제1 이미지의 스케일링, 제1 이미지의 밝기 조정, 제1 이미지의 콘트라스트 조정, 제1 이미지 수직 뒤집기, 또는 제1 이미지 수평 뒤집기 중 적어도 하나를 포함할 수 있다. 804에서, 수집물들의 이미지들의 세트와 수집물들의 합성 이미지들의 세트를 결합하여 훈련 세트를 생성한다. 806에서, 기계 학습 모델들의 세트(예컨대, 도 1의 그레이더 모델들(105)의 세트)가 훈련 세트에 기초하여 훈련된다. 기계 학습 모델들의 세트로부터의 각각의 기계 학습 모델은 이미지 속성들의 세트로부터의 이미지 속성에 대한 등급을 생성하도록 구성된다. 이미지 속성들의 세트는 에지, 코너, 센터 또는 표면 중 적어도 하나를 포함한다. 808에서, 기계 학습 모델들의 세트는 훈련 후, 훈련 세트에 포함되지 않은 수집물의 이미지에 대한 등급들의 세트를 생성하기 위해 실행된다. 일부 구현들에서, 등급들의 세트는 훈련 세트에 포함되지 않은 수집물이 결함이 있음을 결정하기 위해 사용될 수 있고, 적어도 하나의 교정 작업이 발생하게 하기 위해(예를 들어, 이미지에 플래그 지정, 수집물에 플래그 지정, 사용자에게 통지 등) 신호가 전송될 수 있다. 일부 구현들에서, 이미지들의 세트로부터의 적어도 하나의 이미지는 적어도 하나의 제1 카메라 설정을 사용하여 캡처되고, 훈련 세트에 포함되지 않은 수집물의 이미지는 적어도 하나의 제1 카메라 설정과 상이한 제2 카메라 설정을 사용하여 캡처된다.

개시된 실시예들은 청구된 모든 혁신을 나타내는 것은 아님을 이해해야 한다. 따라서, 본 개시내용의 특정 양태들은 본 명세서에서 논의되지 않았다. 혁신의 특정 부분에 대해 대안 실시예들이 제시되지 않았을 수 있다는 것 또는 일부에 대해 추가로 설명되지 않은 대안 실시예들이 이용가능할 수 있다는 것은 그러한 대안 실시예들에 대한 권리포기로 간주되어서는 안 된다. 따라서, 다른 실시예들이 이용될 수 있으며, 본 개시내용의 범위를 벗어나지 않고 기능적, 논리적, 운영적, 조직적, 구조적 및/또는 위상학적 수정들이 이루어질 수 있음을 이해해야 한다. 따라서, 모든 예들 및/또는 실시예들은 본 개시내용 전체에 걸쳐 비제한적인 것으로 간주된다.

본 명세서에 설명된 일부 실시예들은 방법들과 관련된다. 이러한 방법들은 컴퓨터로 구현되는 방법들(예컨대, 메모리에 저장되고 프로세서에서 실행되는 명령어들)일 수 있음을 이해해야 한다. 위에서 설명한 방법들이 특정 이벤트들이 특정 순서로 발생한다는 것을 나타내는 경우, 특정 이벤트들의 순서는 수정될 수 있다. 또한, 특정 이벤트들은 전술한 바와 같이 순차적으로 수행될 뿐만 아니라, 가능한 경우 병렬 프로세스에서 동시에, 반복적으로 수행될 수 있다. 또한, 특정 실시예들은 설명된 하나 이상의 이벤트를 생략할 수 있다.

본 명세서에 설명된 일부 실시예들은 다양한 컴퓨터 구현 동작들을 수행하기 위한 명령어들 또는 컴퓨터 코드를 갖는 비일시적 컴퓨터 판독가능 매체(비일시적 프로세서 판독가능 매체라고도 할 수 있음)를 갖는 컴퓨터 저장 제품에 관한 것이다. 컴퓨터 판독가능 매체(또는 프로세서 판독가능 매체)는 일시적인 전파 신호(예를 들어, 공간 또는 케이블과 같은 전송 매체 상에서 정보를 운반하는 전파 전자기파) 자체를 포함하지 않는다는 점에서 비일시적이다. 매체들 및 컴퓨터 코드(코드라고도 함)는 특정 목적 또는 목적들을 위해 설계 및 구성된 것들일 수 있다. 비일시적 컴퓨터 판독가능 매체들의 예들은 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 저장 매체들; 컴팩트 디스크/디지털 비디오 디스크(CD/DVD), 컴팩트 디스크 판독 전용 메모리(CD-ROM), 홀로그램 디바이스와 같은 광학 저장 매체들; 광 디스크와 같은 광자기 저장 매체들; 반송파 신호 처리 모듈들, 및 주문형 집적 회로(ASIC), 프로그래머블 로직 디바이스(PLD), 판독 전용 메모리(ROM) 및 랜덤 액세스 메모리(RAM) 디바이스와 같이 프로그램 코드를 저장하고 실행하도록 특수하게 구성된 하드웨어 디바이스들을 포함하지만, 이에 한정되지 않는다. 본 명세서에 설명된 다른 실시예들은 컴퓨터 프로그램 제품과 관련되며, 이는 예를 들어 본 명세서에 설명된 명령어들 및/또는 컴퓨터 코드를 포함할 수 있다.

다양한 문제들을 해결하고 기술을 발전시키기 위해, 본 출원 전체(표지, 제목, 머리말, 배경, 요약, 도면의 간략한 설명, 상세한 설명, 청구범위, 초록, 도면, 부록 등을 포함함)는 청구된 혁신이 실시될 수 있는 다양한 실시예를 예시를 통해 보여준다. 본 출원의 장점들 및 특징들은 실시예들의 대표적인 샘플에 불과하며, 포괄적이거나 배타적인 것은 아니다. 이들은 청구된 원리들을 이해하고 가르치는 데 도움을 주기 위해 제시된 것이다.

컴퓨터 코드의 예들은 마이크로 코드 또는 마이크로 명령어들, 컴파일러에 의해 생성되는 기계 명령어들, 웹 서비스를 생성하는 데 사용되는 코드, 및 인터프리터를 사용하여 컴퓨터에 의해 실행되는 상위 레벨 명령어들을 포함하는 파일들을 포함하지만 이에 한정되지 않는다. 예를 들어, 실시예들은 파이썬, 자바, 자바스크립트, C++ 및/또는 다른 프로그래밍 언어, 패키지 및 소프트웨어 개발 도구를 사용하여 구현될 수 있다.

도면들은 주로 예시적인 목적이며, 본 명세서에 설명된 주제의 범위를 제한하기 위한 것이 아니다. 도면들은 반드시 축척으로 그려진 것은 아니며, 일부 예들에서, 본 명세서에 개시된 주제의 다양한 양태들은 상이한 특징들에 대한 이해를 용이하게 하기 위해 도면들에서 과장되거나 확대되어 도시될 수 있다. 도면들에서, 유사 참조 부호들은 일반적으로 유사한 특징들(예를 들어, 기능적으로 유사한 및/또는 구조적으로 유사한 요소들)을 나타낸다.

개시된 방법(들)의 일부로서 수행되는 액트들은 임의의 적절한 방식으로 순서화될 수 있다. 따라서, 프로세스들 또는 단계들이 예시된 것과 상이한 순서로 실행되는 실시예들이 구성될 수 있으며, 이는 예시적인 실시예들에서 순차적인 액트들로 도시되더라도 일부 단계들 또는 프로세스들 동시에 수행하는 것을 포함할 수 있다. 달리 말하면, 이러한 특징들은 반드시 특정 실행 순서로 제한될 필요가 없을 수 있으며, 오히려 본 개시내용에 부합하는 방식으로 직렬로, 비동기적으로, 동시에, 병렬, 동시에, 동기적으로, 기타 등등으로 임의의 수의 스레드, 프로세스, 서비스, 서버 등이 실행될 수 있는 것으로 이해되어야 한다. 따라서, 이러한 특징들 중 일부는 단일 실시예에서 동시에 존재할 수 없다는 점에서 상호 모순될 수 있다. 마찬가지로, 일부 특징들은 혁신의 한 양태에 적용 가능하고 다른 양태들에는 적용 불가능할 수 있다.

본 명세서 및 실시예들에서 사용되는 "및/또는"이라는 문구는 그렇게 결합된 요소들, 즉 일부 경우들에서 결합적으로 존재하고 다른 경우들에서 분리적으로 존재하는 요소들 중 "어느 하나 또는 둘 다"를 의미하는 것으로 이해되어야 한다. "및/또는"으로 나열된 여러 요소는 동일한 방식으로, 즉 그렇게 결합된 요소들 중 "하나 이상"으로 해석되어야 한다. "및/또는"이라는 절에 의해 구체적으로 식별된 요소들 외에 다른 요소들이 선택적으로 존재할 수 있으며, 이는 구체적으로 식별된 요소들과 관련되거나 관련되지 않은 요소들일 수 있다. 따라서, 비제한적인 예로서, "A 및/또는 B"에 대한 참조는 "포함하는"과 같은 개방형 언어와 함께 사용될 때, 일 실시예에서 A만(선택적으로 B 이외의 요소를 포함함), 다른 실시예에서 B만(선택적으로 A 이외의 요소를 포함함), 또 다른 실시예에서 A와 B 둘 다(선택적으로 다른 요소를 포함함) 등을 지칭할 수 있다.

본 명세서 및 실시예들에서 사용되는 바와 같이, "또는"은 위에 정의된 "및/또는"과 동일한 의미를 갖는 것으로 이해되어야 한다. 예를 들어, 목록에서 항목들을 구분할 때, "또는" 또는 "및/또는"은 포괄적인 것으로, 즉 요소들의 수 또는 목록 중 적어도 하나 이상, 뿐만 아니라 하나보다 많은 것, 및 선택적으로는 나열되지 않은 추가 항목을 포함하는 것으로 해석되어야 한다. "오직 하나" 또는 "정확히 하나", 또는 실시예들에서 사용되는 경우 "구성하는"과 같이 반대되는 것으로 명확하게 표시된 용어들만이 요소들의 수 및 목록의 정확히 하나의 요소를 포함하는 것을 나타낼 것이다. 일반적으로, 본 명세서에서 사용되는 "또는"이라는 용어는 "어느 하나", "중 하나", "중 하나만" 또는 "정확히 하나"와 같은 배타성 용어가 앞에 올 때 배타적 대안(즉, "둘 중 하나이지만 둘 다는 아님")을 나타내는 것으로만 해석되어야 한다. 실시예들에서 사용될 때 "본질적으로 구성되는"은 특허법 분야에서 사용되는 바와 같은 그의 통상적인 의미를 갖는다.

Claims (20)

1. 방법으로서,
   복수의 수집물의 이미지들의 세트를 수신하는 단계 - 상기 이미지들의 세트로부터의 각각의 이미지는 적어도 하나의 결함 유형 라벨, 및 상기 복수의 수집물로부터의 수집물의 표면 조건들에 대한 제1 등급 분류 라벨, 상기 수집물의 에지 조건들에 대한 제2 등급 분류 라벨, 상기 수집물의 코너 조건들에 대한 제3 등급 분류 라벨 또는 상기 수집물의 센터링 조건들에 대한 제4 등급 분류 라벨 중 적어도 하나와 연관됨 -;
   상기 이미지들의 세트로부터의 각각의 이미지에 대해, 해당 이미지에서 상기 수집물을 정의하는 경계를 검출하고, 상기 이미지들의 세트로부터의 해당 이미지에 대한 원근 왜곡 변환을 수행하고 - 해당 이미지에 대한 상기 경계는 미리 결정된 형상을 갖지 않음 -, 상기 수집물을 정의하는 상기 경계 내에 있지 않은 해당 이미지의 부분들을 제거함으로써, 상기 이미지들의 세트에 기초하여 전처리된 이미지들의 세트를 생성하는 단계;
   상기 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지, 해당 전처리된 이미지와 연관된 상기 적어도 하나의 결함 유형 라벨, 및 (1) 해당 전처리된 이미지와 연관된 상기 제1 등급 분류 라벨, (2) 해당 전처리된 이미지와 연관된 상기 제2 등급 분류 라벨, (3) 해당 전처리된 이미지와 연관된 상기 제3 등급 분류 라벨 또는 (4) 해당 전처리된 이미지와 연관된 상기 제4 등급 분류 라벨 중 적어도 하나에 기초하여 적어도 하나의 모델을 훈련하는 단계;
   상기 복수의 수집물에 포함되지 않은 새로운 수집물의 새로운 이미지에 상기 적어도 하나의 모델을 적용하는 단계; 및
   상기 새로운 수집물이 결함, 상기 결함의 대략적인 위치 및 상기 결함과 연관된 결함 유형을 포함한다는 것을 나타내는 출력을 디스플레이하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서, 상기 이미지들의 세트로부터의 제1 이미지는 제1 조명 조건 하에서 촬영되었고, 상기 이미지들의 세트로부터의 제2 이미지는 상기 제1 조명 조건과 상이한 제2 조명 조건 하에서 촬영된, 방법.
3. 제1항에 있어서, 상기 이미지들의 세트로부터의 제1 이미지는 상기 복수의 수집물로부터의 제1 수집물에 대해 제1 각도에서 촬영되었고, 상기 이미지들의 세트로부터의 제2 이미지는 상기 제1 수집물 또는 상기 제1 수집물과 상이한 상기 복수의 수집물로부터의 제2 수집물 중 하나에 대해 제2 각도에서 촬영되었으며, 상기 제2 각도는 상기 제1 각도와 상이한, 방법.
4. 제1항에 있어서, 상기 이미지들의 세트로부터의 제1 이미지는 제1 배경으로 촬영되었고, 상기 이미지들의 세트로부터의 제2 이미지는 상기 제1 배경과 상이한 제2 배경으로 촬영된, 방법.
5. 제1항에 있어서, 상기 전처리된 이미지들의 세트를 생성하는 단계는 미리 결정된 크기가 아닌 크기를 갖는 상기 이미지들의 세트로부터의 각각의 이미지를 크기 조정하여 해당 이미지가 상기 미리 결정된 크기를 갖게 하는 단계를 더 포함하는, 방법.
6. 제1항에 있어서, 상기 전처리된 이미지들의 세트를 생성하는 단계는 미리 결정된 해상도 범위 내에 있지 않은 해상도를 갖는 상기 이미지들의 세트로부터의 각각의 이미지를 크기 조정하여 해당 이미지가 상기 미리 결정된 해상도 범위 내의 상기 해상도를 갖게 하는 단계를 더 포함하는, 방법.
7. 제1항에 있어서, 상기 적어도 하나의 모델은 오버피팅을 줄이기 위해 적어도 하나의 드롭아웃 계층을 포함하는, 방법.
8. 제1항에 있어서, 무작위 검색 알고리즘, 하이퍼밴드 알고리즘 또는 베이지안 최적화 알고리즘 중 적어도 하나를 사용하여 상기 적어도 하나의 모델과 연관된 하이퍼파라미터들을 개선하는 단계를 더 포함하는, 방법.
9. 제1항에 있어서, 상기 적어도 하나의 모델은, (1) (a) 상기 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 상기 제1 등급 분류 라벨을 사용하여 훈련된 제1 모델, (2) (a) 상기 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 상기 제2 등급 분류 라벨을 사용하여 훈련된 제2 모델, (3) (a) 상기 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 상기 제3 등급 분류 라벨을 사용하여 훈련된 제3 모델, (4) (a) 상기 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 상기 제4 등급 분류 라벨을 사용하여 훈련된 제4 모델, 및 (5) (a) 상기 전처리된 이미지들의 세트로부터의 각각의 전처리된 이미지 및 (b) 해당 전처리된 이미지와 연관된 상기 적어도 하나의 결함 유형 라벨을 사용하여 훈련된 제5 모델을 포함하는, 방법.
10. 프로세서에 의해 실행될 명령어들을 나타내는 코드를 저장한 비일시적 프로세서 판독가능 매체로서,
    상기 명령어들은 코드를 포함하고, 상기 코드는 상기 프로세서로 하여금:
    수집물의 이미지를 전처리하여, 상기 이미지에서 상기 수집물을 정의하는 경계를 검출하고, 원근 왜곡 변환을 수행하여 상기 경계가 미리 결정된 형상을 갖게 하고, 상기 수집물을 정의하는 상기 경계 내에 있지 않은 상기 이미지의 부분들을 제거함으로써 전처리된 이미지를 생성하게 하며;
    기계 학습(ML) 모델을 상기 전처리된 이미지에 적용하여 복수의 결함 신뢰 레벨을 생성하게 하고 - 상기 복수의 결함 신뢰 레벨로부터의 각각의 결함 신뢰 레벨은 (1) 상기 전처리된 이미지의 복수의 고유 부분으로부터의 상기 전처리된 이미지의 고유 부분과 연관되고, (2) 상기 전처리된 이미지의 고유 부분 내에 적어도 하나의 결함이 존재할 가능성을 나타냄 -;
    상기 전처리된 이미지를 디스플레이 상에 디스플레이하게 하고;
    미리 결정된 범위 밖에 있는 상기 복수의 결함 신뢰 레벨로부터의 결함 신뢰 레벨과 연관된 상기 복수의 고유 부분으로부터의 상기 전처리된 이미지의 각각의 고유 부분을 상기 디스플레이 상에 디스플레이하게 하는, 비일시적 프로세서 판독가능 매체.
11. 제10항에 있어서, 상기 ML 모델은 제1 ML 모델이고, 상기 코드는 상기 프로세서로 하여금:
    상기 전처리된 이미지에 제2 ML 모델을 적용하여 상기 수집물의 표면 조건들을 나타내는 제1 점수를 생성하게 하고;
    상기 전처리된 이미지에 제3 ML 모델을 적용하여 상기 수집물의 에지 조건들을 나타내는 제2 점수를 생성하게 하고;
    상기 전처리된 이미지에 제4 ML 모델을 적용하여 상기 수집물의 코너 조건들을 나타내는 제3 점수를 생성하게 하고;
    상기 전처리된 이미지에 제5 ML 모델을 적용하여 상기 수집물의 센터링 조건들을 나타내는 제4 점수를 생성하게 하고;
    상기 제1 점수, 상기 제2 점수, 상기 제3 점수 및 상기 제4 점수에 기초하여 상기 수집물의 전반적인 조건을 나타내는 적어도 하나의 라벨을 상기 수집물에 할당하게 하고;
    상기 복수의 결함 신뢰 레벨로부터의 각각의 결함 신뢰 레벨을 해당 결함 신뢰 레벨과 연관된 상기 전처리된 이미지의 고유 부분 상에 중첩되게 디스플레이하게 하는
    코드를 더 포함하는, 비일시적 프로세서 판독가능 매체.
12. 제11항에 있어서, 상기 코드는 상기 프로세서로 하여금:
    상기 전처리된 이미지에 컴퓨터 비전 모델을 적용하여 상기 수집물과 연관된 카드 유형, 플레이어 정보, 또는 캐릭터 정보 중 적어도 하나를 식별하게 하는 코드를 더 포함하며, 상기 카드 유형, 상기 플레이어 정보 또는 상기 캐릭터 정보 중 적어도 하나는 상기 복수의 결함 신뢰 레벨을 생성하기 위한 상기 제1 ML 모델, 상기 제1 점수를 생성하기 위한 상기 제2 ML 모델, 상기 제2 점수를 생성하기 위한 상기 제3 ML 모델, 상기 제3 점수를 생성하기 위한 상기 제4 ML 모델, 또는 상기 제4 점수를 생성하기 위한 상기 제5 ML 모델 중 적어도 하나에 의해 사용되는, 비일시적 프로세서 판독가능 매체.
13. 제10항에 있어서, 상기 코드는 상기 프로세서로 하여금:
    상기 전처리된 이미지에 대해, 카드 유형, 플레이어 정보 또는 캐릭터 정보 중 적어도 하나를 결정하게 하는 코드를 더 포함하며, 상기 ML 모델은 상기 복수의 결함 신뢰 레벨을 생성하기 위해 상기 카드 유형, 상기 플레이어 정보 또는 상기 캐릭터 정보 중 적어도 하나에 더 적용되는, 비일시적 프로세서 판독가능 매체.
14. 제10항에 있어서, 상기 전처리는 상기 이미지를 크기 조정하여, 상기 이미지가 미리 결정된 해상도 범위 내의 해상도를 갖게 하는 것을 더 포함하는, 비일시적 프로세서 판독가능 매체.
15. 제10항에 있어서, 상기 미리 결정된 형상은 직사각형 형상인, 비일시적 프로세서 판독가능 매체.
16. 제11항에 있어서,
    상기 제1 ML 모델의 상기 적용은 상기 제2 ML 모델의 상기 적용, 상기 제3 ML 모델의 상기 적용, 상기 제4 ML 모델의 상기 적용 및 상기 제5 ML 모델의 상기 적용 이전에 수행되고,
    상기 제2 ML 모델의 상기 적용, 상기 제3 ML 모델의 상기 적용, 상기 제4 ML 모델의 상기 적용 또는 상기 제5 ML 모델의 상기 적용 중 적어도 2개는 병렬로 수행되는, 비일시적 프로세서 판독가능 매체.
17. 장치로서,
    메모리; 및
    상기 메모리에 동작가능하게 결합된 프로세서
    를 포함하고, 상기 프로세서는:
    수집물들의 이미지들의 세트를 증강하여 수집물들의 합성 이미지들의 세트를 생성하고;
    상기 수집물들의 이미지들의 세트와 상기 수집물들의 합성 이미지들의 세트를 결합하여 훈련 세트를 생성하고;
    상기 훈련 세트에 기초하여 기계 학습 모델들의 세트를 훈련하고 - 상기 기계 학습 모델들의 세트로부터의 각각의 기계 학습 모델은 이미지 속성들의 세트로부터의 이미지 속성에 대한 등급을 생성하도록 구성되고, 상기 이미지 속성들의 세트는 에지, 코너, 센터 또는 표면 중 적어도 하나를 포함함 -;
    훈련 후에, 상기 기계 학습 모델들의 세트를 실행하여 상기 훈련 세트에 포함되지 않은 수집물의 이미지에 대한 등급들의 세트를 생성하도록
    구성되는, 장치.
18. 제17항에 있어서, 상기 증강은 상기 이미지들의 세트로부터의 제1 이미지를 회전시키는 것, 상기 제1 이미지를 수직으로 시프트시키는 것, 상기 제1 이미지를 수평으로 시프트시키는 것, 상기 제1 이미지를 스케일링하는 것, 상기 제1 이미지의 밝기를 조정하는 것, 상기 제1 이미지의 콘트라스트를 조정하는 것, 상기 제1 이미지를 수직으로 뒤집는 것, 또는 상기 제1 이미지를 수평으로 뒤집는 것 중 적어도 하나를 포함하는, 장치.
19. 제17항에 있어서, 상기 이미지들의 세트로부터의 적어도 하나의 이미지는 적어도 하나의 제1 카메라 설정을 사용하여 캡처되고, 상기 훈련 세트에 포함되지 않은 상기 수집물의 이미지는 상기 적어도 하나의 제1 카메라 설정과 상이한 제2 카메라 설정을 사용하여 캡처되는, 장치.
20. 제17항에 있어서, 상기 수집물들은 트레이딩 카드들, 코인들 또는 화폐 중 적어도 하나인, 장치.

Images