KR20190140031A - 이미지 특성의 획득 - Google Patents

이미지 특성의 획득 Download PDF

Info

Publication number
KR20190140031A
KR20190140031A KR1020197034731A KR20197034731A KR20190140031A KR 20190140031 A KR20190140031 A KR 20190140031A KR 1020197034731 A KR1020197034731 A KR 1020197034731A KR 20197034731 A KR20197034731 A KR 20197034731A KR 20190140031 A KR20190140031 A KR 20190140031A
Authority
KR
South Korea
Prior art keywords
image
classification model
class
training
authentication
Prior art date
Application number
KR1020197034731A
Other languages
English (en)
Other versions
KR102252081B1 (ko
Inventor
리핑 캉
Original Assignee
베이징 싼콰이 온라인 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 싼콰이 온라인 테크놀로지 컴퍼니, 리미티드 filed Critical 베이징 싼콰이 온라인 테크놀로지 컴퍼니, 리미티드
Publication of KR20190140031A publication Critical patent/KR20190140031A/ko
Application granted granted Critical
Publication of KR102252081B1 publication Critical patent/KR102252081B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06K9/6217—
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 특성 획득 방법 및 해당 장치에 관한 것이다. 상기 방법의 일 예에 따르면, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하고, 상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하며; 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 상기 비유사 이미지 쌍을 결정하며; 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화한다. 따라서, 최적화된 상기 분류모델을 이용하여 이미지 특성을 획득할 수 있다.

Description

이미지 특성의 획득
본 발명은 이미지 특성의 획득에 관한 것이다.
제품의 이미지 특성은 비즈니스 로직 또는 관련 모델의 트레이닝에 참여하기 위해 사용될 수 있으며, 검색 및 추천과 같은 다양한 서비스에 널리 적용된다. 제품의 이미지 특성을 획득하는 주요 방법은 분류 모델 트레이닝이다. 예를 들어, 분류 모델의 특성 표현층에서 추출된 특성을 이미지 특성으로 간주할 수 있다. 제품 이미지가 속하는 클라스의 수가 많으면, 분류 모델의 정확도가 낮아져 추출된 이미지 특성이 상이한 클라스의 제품 이미지를 표현하는 능력이 약화될 수 있다.
본 출원은 획득된 이미지 특성의 이미지 표현 능력을 최대화하는 방법을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 제 1 양태에 따르면, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하고; 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 비유사 이미지 쌍을 결정하며; 상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하고; 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하며; 상기 최적화된 분류모델을 이용하여 이미지 특성을 획득하는 것을 포함하는 이미지 특성 획득 방법이 제공된다.
본 발명의 제 2 양태에 따르면, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝 하는 분류 모델 트레이닝 모듈; 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 비유사 이미지 쌍을 결정하는 비유사 이미지 쌍 결정 모듈; 상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하는 유사 이미지 쌍 결정 모듈; 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하는 분류모델 최적화 모듈; 최적화된 상기 분류모델을 이용하여 이미지 특성을 획득하는 이미지 특성 획득 모듈;을 포함하는 이미지 특성 획득 장치가 제공된다.
본 발명의 제 3 양태에 따르면, 메모리, 프로세서 및 상기 메모리상에 저장되고 상기 프로세서상에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 장치가 제공되며, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 상기 이미지 특성 획득 방법을 구현한다.
본 발명의 제 4 양태에 따르면, 상술한 이미지 특성 획득 방법의 단계들을 구현하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체가 제공된다.
본 출원의 실시예에 개시된 이미지 특성 획득 방법은,미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하고, 상기 트레이닝 이미지를 이용하여 유사 이미지 쌍을 결정하고; 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 상기 분류 모델이 상대적으로 쉽게 혼동할 수 있는 비유사 이미지 쌍을 결정하며; 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하고, 최적화된 상기 분류모델을 이용하여 이미지 특성을 획득함으로써, 획득된 이미지 특성의 이미지 표현 능력을 효과적으로 향상시킬 수 있다. 예비 트레이닝된 분류모델이 인증 이미지에 대한 분류결과를 기반으로 쉽게 혼동할 수 있는 제품 이미지의 클라스를 결정하고, 쉽게 혼동할 수 있는 제품 이미지 클라스를 기반으로 비유사 이미지 쌍을 구성하여, 유사 이미지 쌍 및 비유사 이미지 쌍은 트레이닝 샘플로서 결합되어 상기 예비 트레이닝된 분류모델을 최적화 함으로써 제품 이미지가 보다 정확한 특성 표현을 획득할 수 있다.
본 발명의 실시예의 기술방안을 보다 명확하게 설명하기 위하여, 실시예에서 사용하는 도면들이 아래에서 간략하게 설명될 것이다. 이하 설명되는 도면은 단지 본 발명의 일 실시예일뿐이며, 당업자들은 창조적인 노력이 필요없이 하기 도면으로부터 다른 도면을 얻기 위해 사용될 수 있다.
도 1은 본 출원의 일 실시예에 따른 이미지 특성 획득 방법의 흐름도이다.
도 2는 본 출원의 일 실시예에 의해 생성된 혼동행렬의 설명도이다.
도 3은 본 출원의 일 실시예에 따른 이미지 특성 획득 장치의 구조 설명도이다.
도 4는 본 출원의 다른 실시예에 따른 이미지 특성 획득 장치의 구조 설명도이다.
이하에서 첨부 도면을 참조하여 본 출원의 실시예의 기술방안을 명확하고 완전하게 설명한다. 설명된 실시예는 모든 실시예가 아니라 본 출원의 실시예의 일부임이 명백하다. 본 출원의 실시예에 기초하여, 당업자들이 창조적인 노력이 없이 획득한 모든 기타 실시예는 본 출원의 범위에 속한다.
본 실시예에 개시된 이미지 특성 획득 방법은 도 1에 도시된 바와 같이, 단계 100 내지 140을 포함 할 수 있다.
단계 100, 미리 설정된 클라스의 트레이닝 이미지에 의해 분류 모델을 트레이닝 한다.
예를 들어, 분류 모델은 심층 합성곱 신경망의 모델을 기반으로 트레이닝 될 수 있다. 분류 모델은 제품 이미지 쌍을 기반으로 제품의 클라스를 식별하는 모델이다. 분류 모델을 트레이닝 할 때, 대량 클라스의 제품 이미지를 트레이닝 이미지로 사용할 수 있다. 상기 제품 이미지는 주문 플랫폼의 메뉴 이미지 또는 의류 판매 플랫폼의 의류 이미지이거나, 여행 컨설팅 플랫폼의 관광명소의 이미지 등 일 수 있다. 심층 합성곱 신경망의 모델에 기초한 트레이닝 이미지의 포맷은 라벨, 이미지（label，image）일 수 있다. 여기서 label은 이미지의 클라스 라벨이고, image는 제품 이미지이다. 심층 합성곱 신경망을 기반으로 상이한 클라스의 이미지를 트레이닝하여 제품 모델의 파라미터를 얻고, 트레이닝 이미지 각각의 최적의 특성 표현을 얻을 수 있다.더 나아가, 트레이닝에 의해 얻어진 분류 모델을 이용하여 기타 식별될 이미지를 분류할 수 있다.
단계110은 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트함으로써 상기 분류 모델이 상대적으로 혼란스러운 비유사 이미지 쌍을 결정한다.
트레이닝하여 얻은 분류 모델은 입력된 제품 이미지를 분류하는데 사용될 수 있다. 그러나 분류 모델을 트레이닝 할 때 사용된 트레이닝 이미지는 수동 설정 클라스 라벨을 사용하거나 사용자가 제품 이미지를 업로드 할 때 클라스 라벨이 설정되므로 라벨이 정확하지 않은 경우가 존재할 수 있다. 또한, 분류 모델을 트레이닝 할 때, 급간분산 최대화만 고려된다. 따라서, 트레이닝을 통해 얻은 분류 모델은 분류가 부정확 할 수 있으며 인증 데이터를 이용하여 분류 모델을 최적화해야 할 필요가 있다.
상기 인증 이미지는 트레이닝 이미지와 동일한 클라스, 예컨대 5000 클라스를 가질 수 있다. 각 클라스에는 복수의 제품 이미지가 포함될 수 있으며, 각 제품 이미지에는 실제 클라스 라벨이 설정될 수 있다. 실제 클라스 라벨이 설정된 인증 이미지는 단계 100에서 트레이닝 된 분류 모델에 입력되고, 상기 분류 모델에 의해 각 인증 이미지의 클라스를 식별한다. 다음, 상기 분류 모델에 의해 출력된 각 클라스의 분류결과를 분석하여 혼동행렬을 구성할 수 있다. 혼동행렬의 각 열은 예측 클라스를 나타내고, 각 열의 총수는 해당 예측 클라스의 제품 이미지의 수량을 나타내며; 각 행은 제품 이미지의 실제 클라스를 나타내고, 각 행의 총수는 해당 실제 클라스에 속하는 제품 이미지의 총수를 나타낸다. 각 열의 수치는 실제 클라스가 해당 예측 클라스로 식별된 수량을 나타낸다. 혼동행렬에는 분류모델이 혼동한 클라스가 기록된다.
더 나아가, 혼동행렬 중의 데이터를 클러스터링 분석함으로써 상기 분류 모델이 혼동되기 쉬운 클라스를 얻을 수 있다. 다음, 상기 분류 모델이 상대적으로 혼동되기 쉬운 클라스에서 이미지를 선택하고, 각각 2개씩 비유사 이미지 쌍을 구성한다. 예를 들어, 비교적 혼란스러운 두 클라스 중의 인증 이미지는 비유사 이미지 쌍을 구성한다.
단계 120, 상기 미리 설정된 클라스의 트레이닝 이미지에 기초하여 유사 이미지 쌍을 결정한다.
분류 모델을 트레이닝 하는데 사용된 트레이닝 이미지에 기초하여 유사 이미지 쌍을 획득할 수 있다. 예를 들어, 각 클라스의 상기 트레이닝 이미지로부터 복수의 이미지가 랜덤으로 선택되고, 2개씩 유사 이미지 쌍을 구성한다.
단계 130, 상기 유사 이미지 쌍 및 상기 비유사 이미지 쌍에 기초하여 상기 분류 모델을 최적화한다.
상기 유사 이미지 쌍 및 상기 비유사 이미지 쌍을 입력으로서, 급간분산 최적화와 급내분산 최소화를 기반으로 상기 분류모델을 최적화 할 수 있다.예를 들어, Inception 및 siamese 네트워크에 기초한 멀티모델을 구성할 수 있으며, 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 이용하여 Inception 네트워크를 기반으로 한 분류 모델의 파라미터를 미세 조정함으로써, 상기 분류모델의 특성 표현 능력을 구비한 각 층을 최적화할 수 있다. 표현층 fc1 또는 클라스 출력층 fc2층을 예로 들 수 있다. 모델 트레이닝 작업이 완료되면, Inception 네트워크의 각 층의 파라미터가 최적화된다. 다시 말해서, Inception 네트워크의 분류 모델에 기초한 특성 표현층(즉, fc1층) 또는 클라스 출력층(즉, fc2층)은 제품 이미지의 특성을 가장 잘 표현할 수있다.
단계 140, 최적화된 상기 분류 모델을 이용하여 이미지 특성을 획득한다.
처리될 이미지, 즉 특성이 추출될 이미지가 최적화된 분류 모델에 입력되면, 상기 분류 모델을 통해 식별 처리를 수행한 후, 분류 모델의 각 층은 대응하는 파라미터를 출력하여 특성 표현 능력을 구비한 특정 층의 파라미터에 따라 상기 처리될 이미지의 이미지 특성을 결정한다.
본 출원의 실시예에 개시된 이미지 특성 획득 방법은, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하고, 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 상기 분류 모델이 상대적으로 쉽게 혼동할 수 있는 비유사 이미지 쌍을 결정하며; 상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하고 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하고, 최적화된 상기 분류모델을 이용하여 이미지 특성을 획득함으로써, 획득된 이미지 특성의 이미지 표현 능력을 효과적으로 향상시킬 수 있다. 예비 트레이닝된 분류모델이 인증 이미지에 대한 분류결과를 기반으로 쉽게 혼동할 수 있는 제품 이미지 클라스를 결정하고, 쉽게 혼동할 수 있는 제품 이미지 클라스를 기반으로 비유사 이미지 쌍을 구성하여, 유사 이미지 쌍 및 비유사 이미지 쌍은 트레이닝 샘플로서 결합되어 상기 예비 트레이닝된 분류모델을 최적화함으로써 제품 이미지가 보다 정확한 특성 표현을 획득할 수 있다.
미리 설정된 클라스의 트레이닝 이미지를 통해 분류 모델을 트레이닝 시키는 단계는, 급간분산 최대화를 기반으로, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 심층 합성곱 신경망에 기초한 분류 모델을 트레이닝하는 것을 포함할 수 있다.
예를 들어, 5000개 클라스의 트레이닝 이미지를 선택하고 각 클라스의 트레이닝 이미지가 각각 10,000개의 제품 이미지를 포함한다. 각각의 제품 이미지에 대해 클라스 라벨을 수동으로 설정한 후, 클라스 라벨이 설정된 제품 이미지를 트레이닝 데이터,예를 들어 （label，image）와 같은 형식으로 생성하여 심층 합성곱 신경망에 대한 입력으로 할 수 있다.
동시에, 급간분산 최대화를 기반으로 심층 합성곱 신경망을 기초로 한 멀티 태스크 모델을 구축하여 분류모델을 트레이닝 할 수 있다. 예를 들면, Inception 딥 러닝 네트워크를 기반으로 하는 멀티 태스크 모델을 적용하여 분류 모델을 트레이닝 할 수 있으며, SoftmaxLoss를 클라스 식별의 손실 함수로 선택하여 급간분산을 증가시키는 관점에서 이미지 특성이 설명된다. 이 경우, 5000개 클라스의 트레이닝 이미지로 구성된 트레이닝 데이터를 입력으로 사용하여 분류 모델을 트레이닝 한다. 각각의 트레이닝 이미지는 해당 분류 모델을 통해 각 층의 파라미터를 얻을 수 있다. 여기서, fc1 층은 특성 표현층이 될 수 있으며, 예를 들면 21841차원 벡터일 수 있고, fc2층은 클래스 출력층이 될 수 있으며, 예를 들면 5000차원 벡터일 수 있다. 각 차원은 해당 트레이닝 이미지가 해당 클라스로 분류될 확률의 크기를 나타낸다. Inception딥 러닝 네트워크의 멀티 태스크 모델을 기초로 분류 모델을 트레이닝 하는 특정 방법에 대해서는, 당업자에게 공지된 임의의 관련 기술을 참조하고, 세부 사항은 여기서 다시 설명하지 않는다.
전술한 단계 110에서, 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트함으로써 상기 분류 모델이 상대적으로 혼동하기 쉬운 비유사 이미지 쌍을 결정하는 단계는 상기 분류 모델을 이용하여 인증 이미지를 분류하여 혼동행렬을 얻고; 혼동행렬에 대해 클러스터링 분석이 수행되어 혼동하기 쉬운 클라스를 결정하며; 상기 결정된 혼동 클라스를 기초로 하여 비유사 이미지 쌍을 구성하는 것을 포함할 수 있다.
상기 분류 모델을 이용하여 인증 이미지를 분류하여 혼동행렬을 획득하는 단계는 상기 분류 모델을 이용하여 인증 이미지를 분류하여 인증 이미지 각각의 예측 클라스를 획득하며; 모든 인증 이미지의 실제 클라스와 예측 클라스에 따라 혼동행렬을 구성하는 것을 포함한다. 여기서, 혼동행렬의 각 행의 각 수치는 해당 행에 대응하는 클라스의 인증 이미지가 상이한 클라스로 분류된 수량이다.
상기 인증 이미지는 트레이닝 이미지의 클라스 수와 동일한 클라스를 포함할 수 있으며, 각각의 클라스는 복수의 제품 이미지를 포함하고, 각 제품에는 실제 클라스 라벨이 포함된다. 5000개의 클라스를 포함하는 트레이닝 이미지를 예로 들면, 인증 이미지는 동일한 5000개의 클라스를 포함하고, 각 클라스에는 40개의 이미지가 있으며, 각 이미지에는 실제 클라스 라벨이 설정된다. 실제 클라스 라벨이 설정된 인증 이미지는 예비 트레이닝된 분류 모델에 입력될 수 있으며, 상기 분류 모델을 통해 각 인증 이미지의 예측 클라스를 식별할 수 있다.
다음으로, 각 클라스의 인증 이미지의 분류 결과를 분석하여 혼동행렬을 구성할 수 있다. 인증 이미지에 N개의 클라스가 포함되는 경우, 상기 혼동행렬은 하나의 N*N의 행렬이다. 혼동행렬의 각 열은 예측 클라스를 나타내며, 각 열의 총 개수는 해당 예측 클라스로 식별된 인증 이미지의 수를 나타내고; 각 행은 인증 이미지의 실제 클라스를 나타내며, 각 행의 총수는 해당 클라스의 인증 이미지의 수를 나타낸다.각 열의 수치는 해당 예측 클라스로 식별된 실제 클라스의 수를 나타낼 수 있다.
인증 이미지가 5000개 클라스를 포함하고 클라스 라벨이 1 내지 5000인 경우를 예로 든다. 각 클라스에 40개의 인증 이미지가 포함되어 있다고 가정하면, 도2에 도시된 바와 같이, 혼동행렬은 하나의 5000*5000의 행렬이다. 그 중, 열 210은 인증 이미지의 실제 클라스 라벨을 나타내고, 행 220은 분류 모델을 통해 인증 이미지를 식별하여 획득한 예측 클라스의 라벨을 나타낸다. 각 클라스마다 총 40개의 인증 이미지가 있으므로 각 행의 합은 40이다. 행렬 요소(230)는 실제 클라스가 1이고, 예측 클라스가 1인 인증 이미지의 수는 25개이다. 혼동행렬은 분류 모델의 혼동 클라스를 기록한다.
혼동 클라스를 결정하기 위해 혼동행렬에 대한 클러스터링 분석을 수행하는 단계는 복수의 클러스터를 얻기 위해 스펙트럼 클러스터링 방법에 의해 상기 혼동행렬을 클러스터링하는 것을 포함할 수 있다. 그 중, 스펙트럼 클러스터링의 기본 사상은 샘플 데이터 간의 유사 행렬(라플라시안 행렬)을 이용하여 특성 분해를 진행한다. 적어도 하나의 클라스가 각 클러스터에 포함되고, 적어도 2개의 클라스를 포함하는 클러스터의 클라스는 서로 혼동되기 쉬운 클라스로 결정될 수 있다.
혼동행렬 F를 예로 들면, 혼동행렬에 대한 클러스터링 분석 과정을 구체적으로 설명하면 다음과 같다. 먼저, 혼동행렬 F를 사용하여 거리 행렬 M을 구성할 수 있으며, 공식은 다음과 같다.
Figure pct00001
여기서, I는 단위 행렬이다.
다음, 거리 행렬 M을 이용하여 라플라시안 행렬（Laplacian Matrix）L을 구성할 수 있다.
라플라시안 행렬 L을 구성할 때, 먼저 거리 행렬 M을 이용하여 다음과 같이 인접 행렬 W를 구성할 수 있다.
Figure pct00002
여기서, t는 거리 행렬 M에서 가장 작은 거리값을 갖는 앞 t 개 위치의 정보이며, 나머지는 모두 0으로 설정된다. 거리값이 작을수록 혼동행렬 F에 대응하는 값이 더 크며, 이는 분류 모델에 의해 혼동될 확률이 더 크다는 것을 의미한다. 예를 들어, 실제 클라스 A가 예측 클라스 B로 식별될 샘플 수가 상대적으로 많아진다.
그리고, 인접 행렬 W의 각 열의 요소를 더하여 N개의 숫자를 얻을 수 있다. 여기서, N은 분류 모델 트레이닝에 사용된 트레이닝 이미지의 클라스의 수량과 같다. N개의 수는 차수 행렬 D의 대각선상에 배치되고, 차수 행렬 D의 다른 위치의 요소는 모두 0으로 설정되어 하나의 N×N의 대각 행렬을 얻는다.
다음으로, 인접 행렬 W와 정도 행렬 D로 라플라시안 행렬 L을 구성할 수 있으며, 공식은 다음과 같다.
Figure pct00003
그 후, 라플라시안 행렬 L은 특성 분해되어, L의 앞 k개의 특성값
Figure pct00004
및 대응되는 특성 벡터
Figure pct00005
를 얻을 수 있다. k개의 특성 벡터는 하나의 N×k의 행렬을 형성하도록 함께 배열되고, 각 행은 k차원 공간의 하나의 벡터로 간주되고, 즉 각 행은 하나의 K차원 벡터로 간주되며, N개의 특성 벡터는 함께 배열되거 N개의 K차원 벡터를 얻을 수 있다. 여기서, N은 라플라시안 행렬 L의 행 수이며, 이는 분류 모델을 트레이닝 하는데 사용되는 트레이닝 이미지의 클라스 수와 동일하다.
라플라시안 행렬에 대한 특성 분해 시에, 차원 축소 방식으로 차원을 줄일 수 있다. 최대 특징값에 대응되는 특성 벡터 방향으로 가장 많은 양의 정보가 포함된다. 만일 일부 특성 벡터 방향의 정보량이 아주 적으면, 차원 축소를 행할 수 있다. 예를 들어, 특성값이 작은 특성 벡터 방향의 데이터는 삭제될 수 있고, 큰 특성값의 특성 벡터 방향의 데이터만이 유보되므로, 유용한 정보의 양은 크게 변하지 않는다. 그런 다음, K-means알고리즘을 이용하여 N개의 K차원 벡터를 클러스터링하여 최초의 N개 클라스를 다른 클러스터에 매핑할 수 있다.
혼동행렬에 대한 스펙트럼 클러스터링 분석을 진행한 후, 혼동하기 쉬운 이미지의 클라스를 하나의 클라스로 그룹화할 수 있다. 클러스터링 결과가 230개 클러스터인 경우를 예로 들면, 클러스터 각각에는 적어도 하나의 클라스가 포함된다. 각 클러스터의 클라스는 제품 이미지를 식별할 때 서로 쉽게 혼동되는 클라스이다. 예를 들면, 어느 한 클러스터에 클라스 1과 클라스 500이 포함된 경우, 클라스 1의 제품 이미지는 분류 모델에 의해 클라스 500으로 인식되기 쉽다.
결정된 혼동하기 쉬운 클라스에 기초하여 비유사 이미지 쌍을 구성한다.
스펙트럼 클러스터링 방법을 이용하여 혼동행렬에 대한 클러스터링 분석을 진행하여 230개 클러스터와 같은 복수 클러스터의 클러스터링 결과를 얻을 수 있다. 클러스터 각각의 클라스는 제품 이미지에 대한 분류 식별시에 쉽게 서로 혼동되는 클라스이므로 동일한 클러스터의 혼동되기 쉬운 클라스에 속하는 인증 이미지를 이용하여 비유사 이미지 쌍을 구성할 수 있다.
클러스터링에 의해 획득된 클러스터는 클러스터 1, 클러스터 2 및 클러스터 3을 포함하고, 클러스터 1은 1개의 클라스를 포함하고, 클러스터 2는 4개의 클라스를 포함하며, 클러스터 3은 5개의 클라스를 포함하는 것을 예로 들면, 비유사 이미지를 구성하면 다음과 같은 2가지 경우가 나타난다.
첫 번째 경우, 클라스 수가 2보다 큰 클러스터는 해당 클러스터에서 서로 다른 클라스의 이미지를 선택하여 비유사 이미지 쌍을 구성할 수 있다. 예를 들어, 먼저 해당 클러스터에서 서로 다른 클라스가 선택되어 클라스 쌍을 구성한 다음, 각 클라스를 위해 적어도 하나의 인증 이미지를 랜덤으로 선택하고, 상이한 클라스의 2개의 인증 이미지가 비유사 이미지 쌍을 구성한다. 클러스터 2에 포함된 4개의 클라스가 클라스 3, 클라스 4, 클라스 7 및 클라스 30인 경우, 클러스터 2에 대해 6개의 클라스 쌍(3, 4), (3, 7), (3, 30), (4, 7), (4, 30) 및 (7, 30)을 얻을 수 있다. 그리고, 얻어진 6 개의 클라스 쌍에 대하여, 각 클라스에 대응하는 적어도 하나의 인증 이미지를 각각 획득하며, 상이한 클라스의 2개의 인증 이미지가 비유사 이미지 쌍을 구성한다. 예를 들어, 클라스 쌍(3, 4)의 경우, 인증 이미지에서 클라스 3의 이미지 1 및 이미지 2, 인증 이미지에서 클라스 4의 이미지 15 및 이미지 8을 취하여 이미지 1 및 이미지 15가 하나의 비유사 이미지 쌍을 구성하고, 이미지 2와 이미지 8이 하나의 비유사 이미지 쌍을 구성한다.
두 번째 경우, 1개 클라스만 포함하는 클러스터의 경우, 해당 클러스터의 클라스와 기타 클러스터에서 랜덤으로 선택된 Q개 클라스의 이미지가 비유사 이미지 쌍을 구성할 수 있다. 여기서, Q는 특정 요구에 따라 결정될 수 있다. 예를 들어, 임의의 한 클러스터가 Q개 클라스 미만인 경우, 해당 클러스터의 모든 클라스를 선택할 수 있다. Q가 10인 경우를 예로 들어, 클러스터 1이 클라스 5를 포함한다고 가정하면, 클러스터 1의 클라스 5의 인증 이미지 및 클러스터 2의 클라스 3, 클라스 4, 클라스 7 및 클라스 30의 인증 이미지는 각각 비유사 이미지 쌍을 구성하도록 선택될 수 있다.
전술한 단계 120에서, 상기 트레이닝 이미지에 기초하여 유사 이미지 쌍이 결정될 때, 상기 각 클라스의 트레이닝 이미지로부터 복수의 이미지가 랜덤으로 선택되어 각각 2개씩 유사 이미지 쌍을 구성할 수 있다. 트레이닝 이미지가 5000개 클라스를 포함하는 것을 예로 들면, 각 클라스에서 60개의 이미지가 랜덤으로 선택되고, 2개씩 유사 이미지 쌍을 구성하며, 각 클라스는 30개의 유사 이미지 쌍을 얻을 수 있다. 5000개 클라스의 트레이닝 이미지를 기반으로, 150000개의 유사 이미지 쌍을 얻을 수 있다.
다음, 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 이용하여 상기 분류 모델을 최적화하고, 최적화된 상기 분류 모델을 통해 이미지 특성을 획득할 수 있다.
전술한 단계 130에서, 상기 유사 이미지 쌍 및 상기 비유사 이미지 쌍에 기초하여 상기 분류 모델을 최적화하는 단계는 상기 유사 이미지 쌍 및 상기 비유사 이미지 쌍을 이용하여, 급간분산 최대화와 급내분산 최소화의 사상을 기반으로 상기 분류모델을 최적화하는 것을 포함할 수 있다. 먼저, 이미지 쌍에 기초한 심층 합성곱 신경망 모델, 예를 들어 Inception과 siamese 네트워크에 기초한 멀티 태스크 모델을 구성할 수 있다. softmaxLoss는 분류에 적용되며, 획득한 예측 클라스와 이미지의 실제 클라스 간의 거리를 가늠할 수 있다. 예를 들어, Inception모델의 초기 파라미터는 상기 분류 모델의 파라미터 일 수 있다. ContrastiveLoss는 siamese네트워크에 적용되며, 이미지 쌍의 예측 클라스 유사성과 실제 유사성 간의 거리를 가늠할 수 있다. Inception 네트워크 모델은 클라스 식별의 손실 함수로 SoftmaxLoss를 사용할 수 있으며, 급간분산의 관점에서 이미지 특성을 설명한다.
Siamese 네트워크 모델의 기본 모델은 여전히 Inception 네트워크이므로, Siamese 네트워크 모델의 일부 층의 초기 파라미터는 Inception 모델의 초기 파라미터와 동일할 수 있으며, siamese 네트워크 모델의 고유한 층의 초기 파라미터는 임의로 초기화될 수 있다. siamese네트워크 모델은 ContrastiveLoss 손실함수를 이용하여 비유사 이미지 쌍의 거리를 가늠할 뿐만 아니라, 유사 이미지 쌍의 거리도 가늠할 수 있다. SoftmaxLoss만을 이용하여 상이한 클라스 간의 이미지 거리를 가늠한 Inception 네트워크 모델과 비교하면, Siamese 네트워크 모델은 급간분산을 감소시키는 관점에서 이미지 간의 유사성을 더 자세히 설명할 수 있다.
상기 분류 모델을 최적화하는 프로세스는 상기 분류 모델에 의해 획득된 각 층의파라미터에 기초하여 2차 트레이닝을 수행하는 프로세스, 즉 상기 분류 모델의 각 층의 파라미터를 추가로 트레이닝 및 최적화하는 과정으로 볼 수 있다. 예를 들어, 각 유사 이미지 쌍 및 각 비유사 이미지 쌍은 각각 포맷（img1, label1; img2, label2; if_similar）과 같은 트레이닝 데이터를 생성하고, Inception 네트워크 및 siamese 네트워크에 기초한 멀티 태스크 모델을 입력할 수 있다. 상기 멀티 태스 모델의 임무는 Inception 네트워크의 손실함수 SoftmaxLoss와 siamese 네트워크의 손실 함수 ContrastiveLoss를 최소화하는 것이다.
모델 트레이닝 작업이 완료되면, Inception 네트워크의 각 층의 파라미터가 최적화될 수 있다. 여기서, Inception 네트워크 모델의 특성 표현층(즉 fc1층)의 파라미터가 최적화될 수 있으며, Inception 네트워크 모델의 특성 표현층에 의해 출력된 특성 벡터가 제품 이미지에 대한 특성 표현 능력이 가장 강함을 나타낼 수 있다. Inception 네트워크 모델의 클라스 출력층(즉, fc2층)의 파라미터가 최적화되며, Inception 네트워크 모델의 클라스 출력층에 의해 출력된 특성 벡터가 표현한 제품 이미지 분류 결과가 최적임을 나타낼 수 있다.
상기 단계 140에서, 최적화된 분류 모델을 이용하여 이미지 특성을 획득하는 단계는, 처리될 이미지를 최적화된 분류 모델의 입력으로 하고, 상기 최적화된 분류 모델에 특성 표현 능력을 갖는 층의 출력을 기반으로 상기 처리될 이미지의 특성을 획득하는 것을 포함한다. 최적화된 상기 분류모델의 특성 표현 능력을 갖는 어느 한 층의 출력에 따라 입력 이미지의 이미지 특성을 결정할 수 있다. 예를 들어, 5000 클라스의 이미지 쌍을 입력으로 사용하는 경우를 예로 들면, 모델 트레이닝 임무가 완료된 후, fc1층의 출력에 따라 입력 이미지의 이미지 기능을 결정하면, Inception 네트워크의 fc1층이 출력한 21841차원의 특성 벡터를 입력 이미지의 이미지 특성으로 할 수 있으며; fc2층의 출력에 따라 입력 이미지의 이미지 기능을 결정하면, fc2층이 출력한 5000차원의 특성 벡터를 입력 이미지의 이미지 특성으로 할 수 있다. 상기 5000차원의 특성 벡터의 각 차원은 입력 이미지가 해당 클라스로 분류될 확률의 크기를 나타낸다. 또한, 특정 비즈니스 요구에 따라, 제품의 이미지 특성은 Inception 네트워크의 fc1층 또는 fc2층의 출력에 기초하여 결정될 수 있다.
본 출원의 실시예에 개시된 이미지 특성 획득 방법은 먼저 대규모 제품 이미지를 이용하여 심층 합성곱 신경망에 기초한 분류모델을 사전 트레이닝함으로써 비교적 큰 급간분산의 이미지 특성 표현을 획득하며; 다음, 사전 트레이닝된 분류 모델이 인증 데이터 집합에서의 분류결과를 이용하여 구성된 혼동행렬에 대한 스펙트럼 클러스터링 분석을 진행하여 혼동되기 쉬운 제품 클라스를 하나의 클러스터로 클러스터링 할 수 있으며, 동일한 클러스터의 혼동하기 쉬운 제품 클라스를 이용하여 비유사 이미지 쌍을 구성할 수 있고, 동일한 클라스의 트레이닝 이미지를 이용하여 유사 이미지 쌍을 구성할 수 있으며; 유사 이미지 쌍과 비유사 이미지 쌍을 이용하여 분류 및 유사성 비교를 위한 멀티 태스크 모델의 연합 최적화를 진행할 수 있다. 이러한 방식으로, 혼동하기 쉬운 클라스의 급간분산을 증대시키는 동시에, 유사 이미지 쌍을 이용하여 심층 합성곱 신경망의 공유 파라미터의 업데이트 러닝을 구현함으로써 급내분산을 효과적으로 감소시키고, 이미지에 대한 분류 모델의 특성 표현 능력을 개선할 수 있다.
본 실시예에 개시된 이미지 특성 획득 장치는 도 3에 도시된 바와 같이, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝 하는 분류 모델 트레이닝 모듈(300); 인증 이미지를 이용하여 상기 분류 모델 트레이닝 모듈이 트레이닝한 분류모델의 분류 결과를 테스트하여 비유사 이미지 쌍을 결정하는 비유사 이미지 쌍 결정 모듈(310); 상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하는 유사 이미지 쌍 결정 모듈(320); 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하는 분류모델 최적화 모듈(330); 최적화된 상기 분류모델을 이용하여 이미지 특성을 획득하는 이미지 특성 획득 모듈(340);을 포함한다.
도 4에 도시된 바와 같이, 상기 비유사 이미지 쌍 결정 모듈(310)은, 상기 분류 모델을 이용하여 인증 이미지를 분류하여 혼동행렬을 획득하도록 구성된 혼동행렬 획득 유닛(3101); 혼동행렬에 대한 클러스터링 분석을 진행하여 혼동하기 쉬운 클라스를 결정하는 혼동 클라스 결정 유닛(3102); 상기 혼동하기 쉬운 클라스에 속하는 인증 이미지를 기반으로 비유사 이미지 쌍을 구성하는 비유사 이미지 쌍 구성 유닛(3103)을 포함한다.
상기 혼동행렬 획득 유닛(3101)은 상기 분류 모델을 이용하여 인증 이미지를 분류하여 인증 이미지 각각의 예측 클라스를 획득하며; 모든 인증 이미지의 실제 클라스와 예측 클라스에 따라 혼동행렬을 구성하며, 여기서, 상기 혼동행렬의 각 행의 각 수치는 해당 행에 대응하는 클라스의 인증 이미지가 상이한 클라스로 분류된 수량이다.
상기 혼동 클라스 결정 유닛(3102)은 상기 혼동행렬을 클러스터링하여 복수의 클러스터를 획득하며, 각 클러스터는 적어도 하나의 클라스를 포함하고; 적어도 2개의 클라스를 포함하는 클러스터의 클라스를 혼동하기 쉬운 클라스로 결정할 수 있다.
상기 분류 모델 최적화 모듈(330)은 상기 유사 이미지 쌍 및 비유사 이미지 쌍을 이용하여 급간분산 최대화 및 급내분산 최소화의 관념하에 상기 분류모델을 최적화한다.
상기 분류 모델 트레이닝 모듈(300)은 급간분산 최대화의 관념하에, 미리 설정된 클라스의 트레이닝 이미지를 이용하여 심층 합성곱 신경망에 기초한 분류 모델을 트레이닝 한다.
상기 이미지 특성 획득 모듈(340)은 처리될 이미지를 최적화된 분류 모델의 입력으로 하고, 상기 최적화된 분류 모델에서 특성 표현 능력을 갖는 층의 출력을 기반으로 상기 처리될 이미지의 특성을 획득한다.
본 출원의 실시예에 개시된 이미지 특성 획득 장치는 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하고, 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 상기 분류 모델이 상대적으로 쉽게 혼동할 수 있는 비유사 이미지 쌍을 결정하며; 상기 트레이닝 이미지를 이용하여 결정한 유사이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하고, 최적화된 상기 분류모델을 이용하여 이미지 특성을 획득함으로써, 획득된 이미지 특성의 이미지 표현 능력을 효과적으로 향상시킬 수 있다.
본 출원의 실시예에 개시된 이미지 특성 획득 장치는 대규모 제품 이미지를 이용하여 심층 합성곱 신경망에 기초한 분류모델을 사전 트레이닝함으로써 비교적 큰 급간분산의 이미지 특성 표현을 획득할 수 있다. 심층 합성곱 신경망에 기초한 분류모델이 인증 데이터 집합에서의 분류결과를 이용하여 구성된 혼동행렬에 대한 스펙트럼 클러스터링 분석을 진행하여 혼동되기 쉬운 제품 클라스를 하나의 클러스터로 클러스터링할 수 있으며, 동일한 클러스터의 혼동하기 쉬운 제품 클라스를 이용하여 비유사 이미지 쌍을 구성할 수 있고, 동일한 클라스의 트레이닝 이미지를 이용하여 구성한 유사 이미지 쌍과 상기 비유사 이미지 쌍을 이용하여 멀티 태스크 모델의 연합 최적화를 진행할 수 있다. 이러한 방식으로, 혼동하기 쉬운 클라스의 급간분산을 증대시키는 동시에 급내분산을 효과적으로 감소시키고, 이미지에 대한 분류 모델의 특성 표현 능력을 개선할 수 있다.
또한, 본 출원은 메모리, 프로세서 및 상기 메모리상에 저장되고 상기 프로세서상에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 장치가 제공되며, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 상기 이미지 특성 획득 방법을 구현한다. 상기 전자 장치는 PC, 이동 단말, PDA, 태블릿 PC 등 일 수 있다.
본 출원은 또한 프로세서에 의해 실행될 때 상술한 이미지 특성 획득 방법의 단계들을 구현하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 저장 매체를 개시한다.
본 명세서의 다양한 실시예는 점진적으로 설명되며, 각 실시예는 다른 실시예와의 차이점에 중점을 둔다. 다양한 실시예들 간의 동일하고 유사한 부분들이 서로 참조될 수 있다. 장치 실시예의 경우, 기본적으로 방법 실시예와 유사하기에, 이에 대한 설명은 비교적 간단하며, 관련 부분은 방법 실시예의 설명을 참조할 수 있다.
이상은 본 출원에서 제공하는 이미지 특징 획득 방법 및 장치에 대한 상세한 설명이며, 본 명세서에서는 구체적인 예을 통해 본 출원의 원리 및 구현예에 대하여 설명했다. 상기 실시예의 설명은 본 출원에 대한 이해를 돕기 위한 것일 뿐이다. 당업자들에게 있어서, 본 출원의 요지에 따라, 특정 실시예 및 적용 범위는 모두 변경될 수 있음이 명백하며, 본 명에서의 내용은 본 발명을 제한하려는 의도로 이해되지 않아야 한다.
상기 실시예들에 대한 설명을 통해, 당업자들은 다양한 실시예들이 소프트웨어 및 필수적인 일반 하드웨어 플랫폼에 의해 구현될 수 있으며, 물론 하드웨어에 의해 구현될 수 있음을 명확하게 이해할 수 있다. 이러한 이해에 기초하여, 상술한 기술방안은 본질적으로 또는 기존 기술에 대해 공헌한 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은 ROM/RAM, 자기 디스크, 광 디스크 등과 같은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 하나의 컴퓨터 장치(개인용 컴퓨터, 서버 또는 네트워크 장치 등 일 수 있음)로 하여금 다양한 실시예 또는 실시예의 일부에서 설명된 방법을 수행하기 위한 다수의 명령이 포함된다.

Claims (10)

  1. 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하는 단계;
    인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 비유사 이미지 쌍을 결정하는 단계;
    상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하는 단계;
    상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하는 단계;
    상기 최적화된 분류모델을 이용하여 이미지 특성을 획득하는 단계를 포함하는 이미지 특성 획득 방법.
  2. 제1항에 있어서,
    상기 인증 이미지를 이용하여 상기 분류 모델의 분류 결과를 테스트하여 비유사 이미지 쌍을 결정하는 단계는
    상기 분류 모델을 이용하여 상기 인증 이미지를 분류함으로써 혼동행렬을 획득하고;
    상기 혼동행렬에 대한 클러스터링 분석에 의해 혼동하기 쉬운 클라스를 결정하며;
    상기 혼동하기 쉬운 클라스에 속하는 상기 인증 이미지를 기반으로 상기 비유사 이미지 쌍을 구성하는 것을 포함하는 것을 특징으로 하는 이미지 특성 획득 방법.
  3. 제2항에 있어서,
    상기 분류 모델을 이용하여 상기 인증 이미지를 분류함으로써 혼동행렬을 획득하는 단계는
    상기 분류 모델을 이용하여 인증 이미지를 분류함으로써 상기 인증 이미지 각각의 예측 클라스를 획득하고;
    상기 인증 이미지 각각의 실제 클라스 및 예측 클라스에 따라 상기 혼동행렬을 구성하는 것을 포함하되,
    상기 혼동행렬의 각 행에 위치한 각 열의 수치는 해당 행에 대응되는 클라스의 인증 이미지가 상이한 클라스에 분류된 수량인 것을 특징으로 하는 이미지 특성 획득 방법.
  4. 제2항에 있어서,
    상기 혼동행렬에 대한 클러스터링 분석에 의해 상기 혼동하기 쉬운 클라스를 결정하는 단계는
    상기 혼동행렬에 대한 클러스터링 분석에 의해 복수의 클러스터를 획득하며, 각 클러스터는 적어도 하나의 클라스를 포함하고;
    적어도 2개의 클라스를 포함하는 클러스터의 클라스를 상기 혼동하기 쉬운 클라스로 결정하는 것을 포함하는 이미지 특성 획득 방법.
  5. 제1항에 있어서,
    상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하는 단계는
    급간분산 최대화 및 급내분산 최소화의 관념하에, 상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 이용하여 상기 분류모델을 최적화하는 것을 포함하는 이미지 특성 획득 방법.
  6. 제1항에 있어서,
    미리 설정된 클라스의 상기 트레이닝 이미지를 이용하여 상기 분류 모델을 트레이닝하는 단계는
    급간분산 최대화의 관념하에, 미리 설정된 클라스의 상기 트레이닝 이미지를 이용하여, 심층 합성곱 신경망에 기초한 분류 모델을 트레이닝하는 것을 포함하는 이미지 특성 획득 방법.
  7. 제1항에 있어서,
    상기 최적화된 분류모델을 이용하여 이미지 특성을 획득하는 단계는
    처리될 이미지를 상기 최적화된 분류 모델의 입력으로 하고,
    상기 최적화된 분류 모델에서 특성 표현 능력을 갖는 층의 출력을 획득하여 상기 처리될 이미지의 특성으로 하는 것을 포함하는 이미지 특성 획득 방법.
  8. 미리 설정된 클라스의 트레이닝 이미지를 이용하여 분류 모델을 트레이닝하는 분류 모델 트레이닝 모듈;
    인증 이미지를 이용하여 상기 분류 모델 트레이닝 모듈에 의해 트레이닝된 분류 모델의 분류 결과를 테스트하여 비유사 이미지 쌍을 결정하는 비유사 이미지 쌍 결정 모듈;
    상기 트레이닝 이미지를 기반으로 유사 이미지 쌍을 결정하는 유사 이미지 쌍 결정 모듈;
    상기 유사 이미지 쌍과 상기 비유사 이미지 쌍을 기반으로 상기 분류모델을 최적화하는 분류모델 최적화 모듈;
    최적화된 상기 분류모델을 이용하여 이미지 특성을 획득하는 이미지 특성 획득 모듈;을 포함하는 이미지 특성 획득 장치.
  9. 메모리, 프로세서 및 상기 메모리상에 저장되고 상기 프로세서상에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 장치에 있어서,
    상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 제1항 내지 제7항 중 임의의 한 항의 이미지 특성 획득 방법을 구현하는 것을 특징으로 하는 전자 장치.
  10. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제7항 중 임의의 한 항의 이미지 특성 획득 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.

KR1020197034731A 2017-07-20 2017-12-20 이미지 특성의 획득 KR102252081B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710598221.7A CN107688823B (zh) 2017-07-20 2017-07-20 一种图像特征获取方法及装置，电子设备
CN201710598221.7 2017-07-20
PCT/CN2017/117447 WO2019015246A1 (zh) 2017-07-20 2017-12-20 图像特征获取

Publications (2)

Publication Number Publication Date
KR20190140031A true KR20190140031A (ko) 2019-12-18
KR102252081B1 KR102252081B1 (ko) 2021-05-14

Family

ID=61152895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034731A KR102252081B1 (ko) 2017-07-20 2017-12-20 이미지 특성의 획득

Country Status (8)

Country Link
US (1) US11282295B2 (ko)
EP (1) EP3657392A4 (ko)
JP (1) JP6862579B2 (ko)
KR (1) KR102252081B1 (ko)
CN (1) CN107688823B (ko)
CA (1) CA3066029A1 (ko)
TW (1) TWI677852B (ko)
WO (1) WO2019015246A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027889A (ko) * 2018-09-05 2020-03-13 주식회사 스트라드비젼 CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
WO2022025568A1 (ko) * 2020-07-27 2022-02-03 옴니어스 주식회사 멀티 태스크 러닝을 이용하여 상품의 속성을 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665441B (zh) * 2018-03-30 2019-09-17 北京三快在线科技有限公司 一种近似重复图像检测方法及装置，电子设备
US11593610B2 (en) * 2018-04-25 2023-02-28 Metropolitan Airports Commission Airport noise classification method and system
CN109029420A (zh) * 2018-06-08 2018-12-18 南京思百易信息科技有限公司 一种多维图像阶段处理的识别定位系统
CN109117862B (zh) * 2018-06-29 2019-06-21 北京达佳互联信息技术有限公司 图像标签识别方法、装置及服务器
CN109189767B (zh) * 2018-08-01 2021-07-23 北京三快在线科技有限公司 数据处理方法、装置、电子设备及存储介质
CN109269493A (zh) * 2018-08-31 2019-01-25 北京三快在线科技有限公司 一种定位方法及装置、移动设备和计算机可读存储介质
CN111008294B (zh) * 2018-10-08 2023-06-20 阿里巴巴集团控股有限公司 交通图像处理、图像检索方法及装置
CN109522939B (zh) * 2018-10-26 2024-05-07 平安科技（深圳）有限公司 图像分类方法、终端设备及计算机可读存储介质
CN111310520B (zh) * 2018-12-11 2023-11-21 阿里巴巴集团控股有限公司 菜品识别方法、收银方法、菜品催单方法及相关装置
CN110276382B (zh) * 2019-05-30 2023-12-22 平安科技（深圳）有限公司 基于谱聚类的人群分类方法、装置及介质
CN110362677B (zh) * 2019-05-31 2022-12-27 平安科技（深圳）有限公司 文本数据类别的识别方法及装置、存储介质、计算机设备
CN110276411B (zh) 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110348537B (zh) 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112464966A (zh) * 2019-09-06 2021-03-09 富士通株式会社 鲁棒性估计方法、数据处理方法和信息处理设备
CN110852194B (zh) * 2019-10-23 2021-02-02 北京三快在线科技有限公司 图像获取方法、装置、电子设备及存储介质
CN112906724A (zh) * 2019-11-19 2021-06-04 华为技术有限公司 一种图像处理装置、方法、介质及系统
CN111163294A (zh) * 2020-01-03 2020-05-15 重庆特斯联智慧科技股份有限公司 一种人工智能目标识别的建筑安全通道监测系统和方法
TWI765250B (zh) * 2020-04-17 2022-05-21 鴻海精密工業股份有限公司 深度學習演算法的選擇方法及深度學習演算法的選擇裝置
CN113537446A (zh) * 2020-04-17 2021-10-22 富泰华工业（深圳）有限公司 深度学习算法的选择方法及深度学习算法的选择装置
CN111461255B (zh) * 2020-04-20 2022-07-05 武汉大学 一种基于间隔分布的Siamese网络图像识别方法及系统
US11681997B2 (en) * 2021-09-30 2023-06-20 Toshiba Global Commerce Solutions Holdings Corporation Computer vision grouping recognition system
CN114155388B (zh) * 2022-02-10 2022-05-13 深圳思谋信息科技有限公司 一种图像识别方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058481A1 (en) * 2010-10-29 2012-05-03 Qualcomm Incorporated Systems and methods to improve feature generation in object recognition

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001016940A1 (en) * 1999-08-31 2001-03-08 Accenture, Llp System, method, and article of manufacture for a voice recognition system for identity authentication in order to gain access to data on the internet
US8311344B2 (en) * 2008-02-15 2012-11-13 Digitalsmiths, Inc. Systems and methods for semantically classifying shots in video
CN102117411B (zh) * 2009-12-30 2015-03-11 日电（中国）有限公司 用于构建多级别分类模型的方法和系统
CN101859326B (zh) 2010-06-09 2012-04-18 南京大学 一种图像检索方法
CN102054178B (zh) * 2011-01-20 2016-08-17 北京联合大学 一种基于局部语义概念的国画图像识别方法
JP5660078B2 (ja) 2012-05-31 2015-01-28 カシオ計算機株式会社 多クラス識別器、方法、およびプログラム
CN103839279A (zh) * 2014-03-18 2014-06-04 湖州师范学院 一种目标检测中基于vibe的粘连目标分割方法
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法
CN105335368B (zh) 2014-06-06 2018-11-16 阿里巴巴集团控股有限公司 一种产品聚类方法及装置
JP6163461B2 (ja) 2014-07-16 2017-07-12 日本電信電話株式会社 クラス分類装置、方法、及びプログラム
CN104268552B (zh) * 2014-09-04 2017-06-13 电子科技大学 一种基于部件多边形的精细类别分类方法
CN104268570B (zh) * 2014-09-19 2017-10-20 北京理工大学 一种基于类内差异的层次化单分类舰船目标虚警剔除方法
CN104680516B (zh) 2015-01-08 2017-09-29 南京邮电大学 一种图像优质特征匹配集的获取方法
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
CN106372564A (zh) 2015-07-23 2017-02-01 株式会社理光 手势识别方法和装置
US9965717B2 (en) * 2015-11-13 2018-05-08 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN106383891B (zh) * 2016-09-22 2019-04-23 重庆理工大学 一种基于深度哈希的医学图像分布式检索方法
CN106897390B (zh) 2017-01-24 2019-10-15 北京大学 基于深度度量学习的目标精确检索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058481A1 (en) * 2010-10-29 2012-05-03 Qualcomm Incorporated Systems and methods to improve feature generation in object recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhicheng Yan 외 6명, 2015 IEEE International Conference on Computer Vision(ICCV), pages 2740-2748, DOI: 10.1109/ICCV.2015.314, (2015.12.07) 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027889A (ko) * 2018-09-05 2020-03-13 주식회사 스트라드비젼 CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
WO2022025568A1 (ko) * 2020-07-27 2022-02-03 옴니어스 주식회사 멀티 태스크 러닝을 이용하여 상품의 속성을 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
JP2020522077A (ja) 2020-07-27
EP3657392A1 (en) 2020-05-27
US11282295B2 (en) 2022-03-22
WO2019015246A1 (zh) 2019-01-24
TWI677852B (zh) 2019-11-21
JP6862579B2 (ja) 2021-04-21
TW201909112A (zh) 2019-03-01
CA3066029A1 (en) 2019-01-24
KR102252081B1 (ko) 2021-05-14
US20200293840A1 (en) 2020-09-17
CN107688823A (zh) 2018-02-13
EP3657392A4 (en) 2020-07-08
CN107688823B (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
KR102252081B1 (ko) 이미지 특성의 획득
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN113657087B (zh) 信息的匹配方法及装置
CN111382283A (zh) 资源类别标签标注方法、装置、计算机设备和存储介质
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN104881684A (zh) 一种立体图像质量客观评价方法
CN111325237A (zh) 一种基于注意力交互机制的图像识别方法
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN111159279B (zh) 一种模型可视化方法、设备及存储介质
CN112733035A (zh) 基于知识图谱的知识点推荐方法、装置、存储介质及电子装置
Gabbay et al. Isolation forests and landmarking-based representations for clustering algorithm recommendation using meta-learning
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备
EP4030347A1 (en) Neural network building method and device, and image processing method and device
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
Goldfarb Understanding deep neural networks using topological data analysis
JP5370267B2 (ja) 画像処理システム
CN113239203A (zh) 一种基于知识图谱的筛选方法及装置
CN112463964A (zh) 文本分类及模型训练方法、装置、设备及存储介质
Roux et al. Graphlet correlation distance to compare small graphs
CN112153370B (zh) 基于群敏感对比回归的视频动作质量评价方法及系统
Grant et al. Predicting and visualizing psychological attributions with a deep neural network
CN117011616B (zh) 一种图像内容审核方法、装置、存储介质和电子设备
Asghar et al. Stacked Support Vector Machine Ensembles for Cross-Culture Emotions Classification
CN117197614A (zh) 一种数据筛选的方法和装置
Criminisi et al. Introduction: The abstract forest model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant