KR101821770B1 - 특징 추출을 위한 기법들 - Google Patents

특징 추출을 위한 기법들 Download PDF

Info

Publication number
KR101821770B1
KR101821770B1 KR1020147005513A KR20147005513A KR101821770B1 KR 101821770 B1 KR101821770 B1 KR 101821770B1 KR 1020147005513 A KR1020147005513 A KR 1020147005513A KR 20147005513 A KR20147005513 A KR 20147005513A KR 101821770 B1 KR101821770 B1 KR 101821770B1
Authority
KR
South Korea
Prior art keywords
patches
portions
patch
edges
edge
Prior art date
Application number
KR1020147005513A
Other languages
English (en)
Other versions
KR20140053259A (ko
Inventor
지유 왕
에드워드 와이. 창
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20140053259A publication Critical patent/KR20140053259A/ko
Application granted granted Critical
Publication of KR101821770B1 publication Critical patent/KR101821770B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

특징 추출을 위한 컴퓨터-구현되는 기법은 객체의 전자 이미지를 획득하는 것 및 전자 이미지 상에 에지 검출 알고리즘을 수행하는 것을 포함한다. 상기 기법은 에지 풀링 알고리즘을 수행하는 것 및 이미지 에지 패치들, 컬러 패치들 및 텍스처 패치들을 샘플링하는 것을 더 포함한다. 패치들의 세트는 에지 패치들의 세트, 컬러 패치들의 세트 및 텍스처 패치들의 세트의 각각에 대하여 패치들의 세트의 i번째 패치로부터 유클리디언 거리에 기초하여 패치들의 세트 내에 존재할 i+1 번째 패치를 선택함으로써 에지 패치들, 컬러 패치들 및 텍스처 패치들로부터 선택된다. 부분 선택 알고리즘 및 부분 풀링 알고리즘은 상기 객체에 등록된 부분들을 획득하기 위해 수행된다.

Description

특징 추출을 위한 기법들{TECHNIQUES FOR FEATURE EXTRACTION}
본 발명은 일반적으로 전자 이미지들로부터 특징 추출에 관한 것이고, 특히, 전자 이미지들 상에서 특징 추출을 수행하는 모델-기반 알고리즘 및 데이터-구동 알고리즘 모두를 이용하는 기법들에 관한 것이다.
본 섹션은 본 발명에 관련하여 반드시 종래 기술은 아닌 배경 정보를 제공한다.
특징 추출은 많은 이미지 처리 작업들, 예를 들어, 이미지 분류 및 객체 인식에 대한 기반을 제공한다. 전통적인 특징 추출 기법들은 모델-기반 접근, 데이터-구동 접근 또는 모델-기반 및 데이터-구동 접근의 일정 조합으로 분류될 수 있다. 통상적으로, 특징 추출의 모델 기반 접근들은 알려지지 않은 이미지들 내의 대상들에 특징들을 맵핑하기 위해 트레이닝 이미지들로부터 획득된 규칙들을 이용한다. 통상적으로, 특징 추출의 데이터-구동 접근들은 특징-대-대상 매핑 예들을 도출하기 위한 것으로부터 상대적으로 많은 수의 트레이닝 이미지들을 이용한다. 조합 또는 "하이브리드(hybrid)" 접근들은 규칙들 및 특징-대-대상 맵핑 예들의 조합을 이용한다.
본 발명은, 예를 들어, 이미지 분류 및 객체 인식에서 개선된 성능을 획득하기 위해 모델-기반 및 데이터-구동 접근들 모두를 이용하는 특징 추출 기법에 대해 제공한다.
본 섹션은 본 발명의 일반적인 요약을 제공하고, 본 발명의 전체적인 범위 또는 본 발명의 모든 특징들의 전반적인 개시는 아니다.
본 발명의 여러 실시예들에서, 컴퓨터로 구현되는 기법이 개시된다. 상기 기법은 객체의 전자 이미지를 획득하는 것 및 상기 객체에 대응하는 제1 세트의 에지들을 획득하기 위해 상기 전자 이미지상에 에지 검출 알고리즘을 수행하는 것을 포함한다. 상기 기법은 상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 획득하기 위해 상기 제1 세트의 에지들 상에 에지 풀링 알고리즘(edge pooling algorithm)을 수행하는 것을 더 포함한다. 상기 전자 이미지는 상기 제2 세트의 에지들에 기초한 에지 패치들의 세트, 컬러 패치들의 세트 및 텍스처 패치들의 세트를 획득하기 위해 샘플링된다. 상기 기법은 패치들의 세트의 i번째 패치와 i+1 번째 패치간 유클리디언 거리(Euclidean Distance)가 상기 i번째 패치와 모든 다른 패치들간 유클리디언 거리 이상일 때 상기 패치들의 세트 내에 존재할 상기 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택하는 것을 또한 포함한다. 부가적으로, 상기 기법은 제1 세트의 부분들을 획득하기 위해 상기 선택된 패치들의 세트 상에 부분 선택 알고리즘을 수행하는 것 및 제2 세트의 부분들을 획득하기 위해 상기 제1 세트의 부분들 상에 부분 풀링 알고리즘을 수행하는 것을 포함한다. 제2 세트의 부분들은 제1 세트의 부분들보다 적다. 상기 부분 풀링 알고리즘은 (i) 상기 제1 세트의 부분들의 각각을 다수의 하위 부분들로 분할하는 것, 및 (ii) 상기 하위 부분들의 각각에서 Max 연산을 수행하는 것을 포함한다. 상기 기법은 상기 제2 세트의 부분들을 상기 객체에 등록하는 것을 더 포함한다.
본 발명의 여러 실시예들에서, 특징 추출이 개시된다. 상기 특징 추출 기법은 전자 이미지의 객체에 대응하는 제1 세트의 에지들을 결정하는 에지 검출 모듈을 포함한다. 상기 특징 추출 기법은 또한 상기 제1 세트의 에지들로부터 상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 결정하는 에지 풀링 모듈을 포함한다. 부가적으로, 상기 특징 추출 기법은 상기 제2 세트의 에지들에 기초한 에지 패치들의 세트를 샘플링하는 에지 패지 샘플링 모듈, 상기 전자 이미지로부터 컬러 패치들의 세트를 샘플링하는 컬러 패치 샘플링 모듈, 및 상기 전자 이미지로부터 텍스처 패치들의 세트를 샘플링하는 텍스처 패치 샘플링 모듈을 포함한다. 상기 특징 추출 기법의 패치 선택 모듈은 패치들의 세트의 i번째 패치와 i+1 번째 패치간 유클리디언 거리가 상기 i번째 패치와 모든 다른 패치들간 유클리디언 거리 이상일 때 상기 패치들의 세트 내에 존재할 상기 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택한다. 상기 특징 추출 기법은 상기 선택된 패치들의 세트에 기초하여 제1 세트의 부분들을 결정하고 선택하는 부분 선택 모듈을 더 포함한다. 또한, 상기 특징 추출 기법은 상기 제1 세트의 부분들에 기초하여 제1 세트의 부분들보다 적은 수의 제2 세트의 부분들을 결정하는 부분 풀링 모듈을 포함하고, 상기 부분 풀링 알고리즘은 (i) 상기 제1 세트의 부분들의 각각을 다수의 하위 부분들로 분할하는 것, 및 (ii) 상기 하위 부분들의 각각에서 Max 연산을 수행하는 것을 포함한다. 부가적으로, 상기 특징 추출 기법은 상기 제2 세트의 부분들을 상기 객체에 등록하는 객체 등록 모듈을 포함한다.
본 발명의 여러 실시예들에서, 컴퓨터로 구현되는 기법이 개시된다. 상기 기법은 객체의 전자 이미지를 획득하는 것 및 상기 객체에 대응하는 제1 세트의 에지들을 획득하기 위해 상기 전자 이미지상에 에지 검출 알고리즘을 수행하는 것을 포함한다. 상기 기법은 또한 상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 획득하기 위해 상기 제1 세트의 에지들 상에 에지 풀링 알고리즘을 수행하는 것을 더 포함한다. 상기 전자 이미지는 상기 제2 세트의 에지들에 기초한 에지 패치들의 세트, 컬러 패치들의 세트 및 텍스처 패치들의 세트를 획득하기 위해 샘플링된다. 부가적으로, 상기 기법은 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트의 각각에 대하여 패치들의 세트의 i번째 패치로부터 유클리디언 거리에 기초하여 상기 패치들의 세트 내에 존재할 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택하는 것을 포함한다. 상기 기법은 또한 제1 세트의 부분들을 획득하기 위해 상기 선택된 패치들의 세트 상에 부분 선택 알고리즘을 수행하는 것, 및 제2 세트의 부분들을 획득하기 위해 상기 제1 세트의 부분들 상에 부분 풀링 알고리즘을 수행하는 것을 포함한다. 제2 세트의 부분들은 제1 세트의 부분들보다 적다. 또한, 상기 기법은 상기 제2 세트의 부분들을 상기 객체에 등록하는 것을 포함한다.
본 발명의 여러 실시예들에서, 특징 추출이 개시된다. 상기 특징 추출 기법은 전자 이미지의 객체에 대응하는 제1 세트의 에지들을 결정하는 에지 검출 모듈을 포함한다. 상기 특징 추출 기법은 또한 상기 제1 세트의 에지들로부터 상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 결정하는 에지 풀링 모듈을 포함한다. 부가적으로, 상기 특징 추출 기법은 상기 제2 세트의 에지들에 기초한 에지 패치들의 세트를 샘플링하는 에지 패지 샘플링 모듈, 상기 전자 이미지로부터 컬러 패치들의 세트를 샘플링하는 컬러 패치 샘플링 모듈, 및 상기 전자 이미지로부터 텍스처 패치들의 세트를 샘플링하는 텍스처 패치 샘플링 모듈을 포함한다. 상기 특징 추출 기법의 패치 선택 모듈은 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트의 각각에 대하여 패치들의 세트의 i번째 패치로부터 유클리디언 거리에 기초하여 상기 패치들의 세트 내에 존재할 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택한다. 상기 특징 추출 기법은 상기 선택된 패치들의 세트에 기초하여 제1 세트의 부분들을 결정하고 선택하는 부분 선택 모듈을 더 포함한다. 또한, 상기 특징 추출 기법은 상기 제1 세트의 부분들에 기초하여 제1 세트의 부분들보다 적은 수의 제2 세트의 부분들을 결정하는 부분 풀링 모듈을 포함한다. 부가적으로, 상기 특징 추출 기법은 상기 제2 세트의 부분들을 상기 객체에 등록하는 객체 등록 모듈을 포함한다.
추가적인 적용가능성의 영역들은 본 명세서에 제공된 서술로부터 명확해질 것이다. 본 요약의 서술 및 구체적인 예들은 단지 예시의 목적들로 의도되고, 본 발명의 범위를 제한하도록 의도되지 않는다.
본 명세서에 도시된 도면들은 단지 선택된 실시예들을 설명할 목적이고, 모든 가능한 구현들은 아니며, 본 발명의 범위를 제한하도록 의도되지 않는다.
도 1은 본 발명의 일부 실시예들에 따른 예시적인 특징 추출 아키텍처를 나타내는 블록도이다.
도 2는 본 발명의 일부 실시예들에 따른 특징 추출 기법이 수행될 예시적인 전자 이미지를 도시한다.
도 3은 본 발명의 여러 실시예들에 따른 예시적인 특징 추출 기법의 흐름도이다.
도 4는 본 발명의 여러 실시예들에 따른 예시적인 특징 추출 기법의 블록도이다.
도 5는 도 4에 도시된 특징 추출 기법의 패치 샘플링 모듈의 예시적인 블록도이다.
대응하는 참조 번호들은 도면들의 여러 관점들을 통해 대응하는 부분들을 나타낸다.
예시적인 실시예들은 첨부된 도면들을 참조하여 이제 충분히 서술될 것이다.
도 1을 참조하면, 본 발명의 일부 실시예들을 따라 예시적인 특징 추출 아키텍처(10)를 나타내는 블록도가 도시된다. 특징 추출 아키텍처(10)는 전자 이미지(40)에 도시된 하나 이상의 객체들로 맵핑되거나 등록되는 특징들의 세트(50)를 획득하기 위해 적어도 하나의 전자 이미지(40) 상에 특징 추출을 수행하는 기법을 제공한다. 예시적인 특징 추출 아키텍처(10)는 에지 선택(10), 에지 풀링(12), 컬러 및 텍스처 패치들(13), 희소성 정규화(sparsity regularization)(14), 부분 선택(15), 부분 풀링(16) 및 지도 학습(supervised-learning)(17)을 포함한다. 에지 선택(11) 및 에지 풀링(12)은 특징 추출을 위한 모델-기반 알고리즘(20)의 일부를 형성하는 반면, 컬러 및 텍스처 패치들(13)은 특징 추출을 위한 데이터-구동 알고리즘(30)을 형성한다. 특징 추출 아키텍처(10)의 요소들의 각각은 아래에서 더 충분하게 서술된다.
도 2를 참조하면, 특징 추출이 수행될 예시적인 전자 이미지(40)가 도시된다. 전자 이미지(40)는, 이 예에서 물 위를 항해하는 요트인 객체(45)의 표현을 포함한다. 특징 추출은 전자 이미지(40)로부터 여러 특징들(에지들, 컬러들, 텍스처들 등)을 검출할 수 있고, 그때, 이 전자 이미지(40)는 객체(45)에 맵핑(또는 등록)될 수 있다. 이후, 이러한 특징들은 여기에 알려지지 않은 객체들을 검출하고 분류하기 위해 알려지지 않은 이미지들 내의 특징들과 비교될 수 있다.
도 3을 참조하면, 본 발명의 여러 실시예들에 따른 예시적인 특징 추출 기법(100)이 도시된다. 특징 추출 기법(100)은 도 4에 도시된 예시적인 특징 추출 기법(200)과 같은 적절하게 구성된 컴퓨터 또는 다른 컴퓨팅 디바이스에 의해 수행될 수 있다. 단계 102에서, 전자 이미지(40)는 획득된다. 전자 이미지(40)는, 예를 들어, 전자 저장 매체(데이터베이스, 하드 드라이브, 플래쉬 메모리 디바이스 등), 디지털 카메라 및/또는 디지털 스캐너로부터 여러 다양한 방법들로 획득될 수 있는 디지털 이미지이다. 전자 이미지(40)는, 기법(100)이 특징들을 등록할 (도 2에 도시된 요트와 같은) 객체(45)의 표현을 포함할 수 있다. 이미지 분류, 객체 인식 등에 대한 기법을 트레이닝하기 위해 사용될 전자 이미지(40)에 대해, 객체(45)는 사용자에 의해 분류될 수 있다. 도 2에서 도시된 전자 이미지(40)의 도시된 예에서, 사용자는 객체(45)를 "요트(sailboat)", "보트(boat)", "배(ship)" 및/또는 다른 적합한 분류로서 분류할 수 있다.
에지 검출 알고리즘은 객체(45)에 대응하는 제1 세트의 에지들을 획득하기 위해 단계 104에서 전자 이미지(40) 상에 수행된다. 여러 에지 검출 알고리즘들의 임의의 하나가 단계 104에서 사용될 수 있다. 단지 예로서, 본 발명의 여러 실시예들에서, 가버 필터(Gabor filter)는 제1 세트의 에지들을 획득하기 위해 사용될 수 있다. 이러한 예들에서, 전자 이미지(40)는 그레이-값 이미지 "I"로 전송된다. 다른 크기들의 가버 필터들은 다음의 수식을 사용하여 그레이-값 이미지 I를 처리하기 위해 컨벌루션 커널(convolution kernel)들로 적용될 수 있다.
Figure 112014020186411-pct00001
여기서,
Figure 112016073671825-pct00002
은 측면비,
Figure 112016073671825-pct00003
은 (값 0°, 45°, 90°및 135°를 갖는) 배향이고,
Figure 112016073671825-pct00004
는 유효 폭이고,
Figure 112016073671825-pct00005
는 파장 길이이고 Fs(x,y)는 위치 (x,y)에서 가버 필터에 의해 형성된 2D 매트릭스의 값이다. 가버 필터에 의해 생성된 매트릭스 크기(s x s)는 2개의 화소들의 간격들에서 7 x 7 화소 내지 37 x 37 화소의 범위에 있다. 에지 검출 알고리즘의 출력(즉, 제1 세트의 에지들)은 다음 수식에 따른 전자 이미지(40) 및 다수의 가버 필터들의 2D 콘벌루션들("conv2")에 의해 생성된다.
Figure 112014020186411-pct00006
여기서,
Figure 112014020186411-pct00007
는 제1 세트의 에지들이고,
Figure 112014020186411-pct00008
및
Figure 112014020186411-pct00009
는 대역들, 스케일들 및 필터들의 수에 대해 고정인 상수들이다.
상기 기법은, 에지 풀링 알고리즘이 객체(45)에 대응하는 제2 세트의 에지들을 획득하기 위해 제1 세트의 에지들 상에 수행되는 단계 106에서 진행된다. 에지 풀링 알고리즘은 제1 세트의 에지들로부터 노이지 에지 및 불필요한 에지를 폐기하기 위해 수행된다. 따라서, 제2 세트의 에지들은, 그와 같은 노이지/불필요한 에지들이 제거되면 제1 세트의 에지들보다 그 수가 적어질 것이다. 여러 실시예들에서, 에지 풀링 알고리즘은 제1 세트의 에지들로부터 제2 세트의 에지들을 획득하기 위해 MAX 연산을 이용한다. 단지 예시로서, MAX 연산은 다음 식을 사용할 수 있다:
Figure 112014020186411-pct00010
여기서, 에지 검출에 대한
Figure 112014020186411-pct00011
스탠드들은 위치 (x, y)에서 발생하고
Figure 112014020186411-pct00012
는 제2 세트의 에지들이다. Max 연산은 동일한 배향의 동일한 공간 이웃 내의 2개의 스케일들로 행해질 수 있다.
전자 이미지(40)는 에지 패치들의 세트(단계 108), 컬러 패치들의 세트(단계 110) 및 텍스처 패치들의 세트(단계 112)를 획득하기 위해 샘플링된다. "패치(patch)"는 다중 해상도들에서 그리고 4개의 배향들로 전자 이미지(40)의 특정 위치에서 샘플링되는 화소들의 영역이다. 전자 이미지(40)로부터 예시적인 패치들(47-1, 47-2 및 47-3)은 도 2에서 표현된다. 객체(45)로부터 충분하게 대표하는 패치들이 샘플링되었다면 객체(45)는 완전히 표시될 수 있다. 단계 114에서, 에지 패치들의 세트, 컬러 패치들의 세트 및 텍스처 패치들의 세트로부터 한 세트의 패치들이 선택된다. 이러한 단계들 108, 110, 112 및 114는 도 1에 도시된 특징 추출 아키텍처(10)의 희소성 정규화(14)에 대응한다. 희소성 정규화(14)는, 특징 추출에 대한 모델-기반(20) 및 데이터-구동(30) 알고리즘이 합쳐지는 곳이다.
임의의 하나 이상의 여러 샘플링 기법들은 에지 패치들, 컬러 패치들 및 텍스처 패치들의 세트를 각각 획득하기 위해 단계들 108, 110 및 112에서 이용될 수 있다. 단지 예시로서, 에지 패치들은 제2 세트의 에지들로부터 샘플링하는 임의의 수의 화소들일 수 있다. 컬러 패치들은 다양한 해상도(저 해상도, 중간 해상도, 고 해상도)에서 샘플링될 수 있고, 컬러, 컬러 히스토그램들, (H, S 및 V 채널에서의) 컬러 수단, (H, S 및 V 채널에서의) 컬러 분산, 및 연장 및 확산 같은 형태 특성들을 포함하지만 이에 제한되지 않는 임의의 양의 컬러 정보 특징들을 포함할 수 있다. 텍스처 패치들은 샘플링될 수 있고, 구조, 크기, 배향, 그리고 연장 및 확산과 같은 형태 특성들을 포함하지만 이에 한정되지 않은 임의의 양의 텍스처 정보를 포함할 수 있다.
여러 실시예들에서, 패치들의 세트를 획득하기 위해 에지 패치들, 컬러 패치들 및 텍스처 패치들의 세트들의 각각으로부터 패치들의 서브세트를 선택하도록 패치들의 세트는 유클리디언 거리(Euclidean Distance)를 사용하는 그리디 알고리즘(greedy algorithm)에 기초하여 선택된다(단계 114). 단지 예시로서, 패치들의 세트가 z 패치들을 포함하면, z 패치들의 제1 패치는 임의적으로 또는 임의의 다른 기법으로 선택될 수 있고 (최대 z번째 패치까지 포함하는) 각각의 후속하는 패치는 이전의 패치로부터 유클리디언 거리에 기초하여 선택할 수 있다(즉, 제2 패치는 제1 패치에 기초하고, 제3 패치는 제2 패치에 기초한다). 일반적으로 이것을 표시하기 위해, 여러 실시예들에서 단계 114는 i번째 패치로부터 유클리디언 거리에 기초한 패치들의 세트 내에 있을 i+1 번째 패치를 선택한다.
일부 실시예들에서, (첫번째를 제외한) 각 패치는, (1) 패치들의 세트에 이미 존재하지 않고 (2) 유클리디언 거리에 따라 바로 앞의 패치로부터 "가장 먼(farthest)" 패치를 결정함으로써 선택될 수 있다. 즉, 일반적으로 이것을 표시하기 위해, i번째 패치와 i+1 번째 패치간 유클리디언 거리가 i번째 패치와 패치들의 세트 내에 이미 존재하지 않는 모든 다른 패치들간 유클리디언 거리이상이라면, 단계 114는 패치들의 세트 내에 있을 i+1 번째 패치를 선택한다.
제1 세트의 부분들을 획득하기 위해 부분 선택 알고리즘이 패치들의 세트 상에서 수행되는 단계 116에서 상기 기법은 계속된다. 제1 세트의 부분들의 각각은 에지 패치들, 컬러 패치들 및 텍스처 패치들보다 큰 객체(45)의 영역들을 묘사할 수 있다. 일부 실시예들에서, 제1 세트의 부분들은 상기 기법을 트레이닝하기 위해 사용되는 복수의 전자 이미지들(40-1, 40-2 ... 40-n)로부터 획득된 패치들의 세트들 각각에 선택된 패치들을 검사함으로써 획득된다. 선택된 패치들이 패치들의 세트들 내에서 충분히 자주 발생하면, 이러한 패치들은 객체(45)를 나타내는 부분들로서 선택될 수 있다. 이러한 검사를 수행하는 한가지 방식은, 검사되고 있는 이미지를 각각 트레이닝하기 위해, 이전에 분석된 트레이닝 이미지들에 대한 모든 저장된 패치들의 세트(들)에 검사되고 있는 이미지의 패치들의 세트를 매칭하는 것을 시도하는 것이다.
일부 실시예들에서, 패치들의 세트로부터 부분들의 선택은 다음의 수식에 기초할 수 있다.
Figure 112014020186411-pct00013
여기서
Figure 112014020186411-pct00014
는 튜닝의 첨예도(sharpness)이고,
Figure 112014020186411-pct00015
는 패치들의 세트 중 하나의 패치들이고,
Figure 112014020186411-pct00016
는
Figure 112014020186411-pct00017
의 크기를 적합하게 하도록 합쳐진 모든 배향들을 가진
Figure 112014020186411-pct00018
의 변형이다. 이러한 예에서, 각각의 프로토타입 패치에 대한 이미지의 측정들
Figure 112014020186411-pct00019
는 획득된다. 따라서, 이러한 부분-선택 단계에서 이뤄지는 측정들의 총 수는 대역들의 수에 의해 곱해진 패치들의 세트
Figure 112014020186411-pct00020
에서 패치들의 수
Figure 112014020186411-pct00021
이다.
단계 118에서, 부분 풀링 알고리즘은 제2 세트들의 부분들을 획득하기 위해 제1 세트의 부분들 상에서 수행된다. 부분 풀링 알고리즘은 제1 세트들의 부분들로부터 노이지 부분 및 불필요한 부분을 폐기하기 위해 수행된다. 따라서, 제2 세트의 부분들은 그와 같은 노이지/불필요한 에지들이 제거되면 제1 세트의 부분들보다 그 수가 적어질 것이다. 상기에서 서술된 에지 풀링 알고리즘에 유사하게(단계 106), 부분 풀링 알고리즘은 제1 세트의 부분들로부터 제2 세트의 부분들을 획득하기 위해 MAX 연산을 이용할 수 있다.
일부 실시예들에서, 제1 세트의 부분들의 각각은 4개의(또는 임의의 수의) 서브파트들로 분할된다. 즉, 제1 세트의 부분들 내의 각각의 부분에 대응하는 매트릭스는 4개의(또는 임의의 수의) 서브 매트릭스들로 분할된다. Max 연산은 이러한 서브파트들 상에서 수행될 수 있고, 이러한 서브파트들은 파트들에 관련된 정보(예를 들어, 공간 정보)의 증가된 보유를 제공한다.
제2 세트의 부분들이 객체(45)에 등록되는(또는 맵핑되는) 단계 120에서 상기 기법은 계속된다. 이 등록(또는 맵핑)은, 이 기법을 트레이닝하기 위해 사용되는 복수의 전자 이미지들(40-1, 40-2, ... 40-n) 내의 객체(45)의 샘플링된 부분들과 제2 세트의 부분들과의 매칭의 정도에 기초할 수 있다. 단지 예시로서, 객체(45)에 대한 제2 세트의 부분들의 등록은, 서포트 벡터 머신("SVM")들 등과 같은 지도 학습에 의해 수행될 수 있다.
예시적인 기법(100)의 이점들 중 하나는, 큰 스케일의 데이터세트들의 처리에서 용이한 확장성이다. 상기에서 서술된 기법(100)에 의해 추출된 특징들은 서로 독립적이다. 따라서, 이러한 추출된 특징들의 분석 및 적용은 분산형 컴퓨팅 환경에서 수행될 수 있다. 더욱이, 부가된 패치들, 부분들 및 다른 정보가 (예를 들어, 추가된 트레이닝 이미지들을 획득하고 분석하는 것으로부터) 획득됨으로써, 이러한 패치들, 부분들 및 정보는 상기 기법의 수행을 향상시키기 위해 패치들, 부분들 등의 세트에 단순히 부가될 수 있다.
도 4 내지 도 5를 참조하면, 본 발명의 여러 실시예들에 따른 예시적인 특징 추출 기법(200)이 도시된다. 특징 추출 기법(200)은 기법 단계 104에 관련하여, 예를 들어, 상기에서 서술된 하나 이상의 기법들에 의해 전자 이미지(40)의 객체(45)에 대응하는 제1 세트의 에지들을 결정하는 에지 검출 모듈(202)을 포함한다. 에지 검출 모듈(202)은 에지 풀링 모듈(204)에 제1 세트의 에지들을 출력한다. 에지 풀링 모듈(204)은 제1 세트의 에지들로부터 제2 세트의 에지들을 결정한다. 에지 풀링 모듈(204)은 상기 단계 106에 관련하여 서술된 것을 포함하는 임의의 여러 에지 풀링 알고리즘들을 수행할 수 있지만, 이에 한정되지 않는다.
패치 샘플링 모듈(206)은 기법(200)을 트레이닝하기 위해 사용되는 복수의 전자 이미지들(40-1, 40-2, ... 40-n)과 함께 에지 풀링 모듈(204)로부터 제2 세트의 에지들을 수신한다. 패치 샘플링 모듈(206)은, 도 5에서 도시된 것처럼, 컬러 패치 샘플링 모듈(270), 텍스처 패치 샘플링 모듈(280) 및 에지 패치 샘플링 모듈(290)을 포함한다. 용이한 설명을 위해, 도 5에서, 화살표(205)는 복수의 전자 이미지들(40-1, 40-2, ... 40-n)의 입력과 함께, 에지 풀링 모듈(204)로부터 패치 샘플링 모듈(208)로 제2 세트의 에지들의 입력을 나타낸다. 컬러 패치 샘플링 모듈(270)은 제2 세트의 에지들에 기초한 전자 이미지(들)(40-1, 40-2, ... 40-n)로부터 색상 패치들의 세트를 샘플링한다. 유사하게, 텍스처 패치 샘플링 모듈(280)은 텍스처 패치들의 세트를 샘플링하고, 에지 패치 샘플링 모듈(290)은 제2 세트의 에지들에 기초한 전자 이미지(들)(40-1, 40-2, ... 40-n)로부터 에지 패치들의 세트를 샘플링한다. 이후, 색상 패치들의 세트, 텍스처 패치들의 세트 및 에지 패치들의 세트는 패치 선택 모듈(208)에 제공된다.
패치 선택 모듈(208)은, 예를 들어, 단계 114에 관련하여 상기에서 서술된 임의의 기법들/알고리즘들에 의해 에지 패치들의 세트, 색상 패치들의 세트 및 텍스처 패치들의 세트로부터 패치들의 세트를 선택한다. 이후, 패치들의 세트는 패치들의 세트에 기초한 제1 세트의 부분들을 결정하는 부분 선택 모듈(210)에 제공된다. 상기에서 서술된 부분 선택의 임의의 기법들(단계 116)은 제1 세트의 부분들을 결정하기 위해 부분 선택 모듈(210)에 의해 이용될 수 있다.
부분 풀링 모듈(212)은 부분 선택 모듈(210)로부터 제1 세트의 부분들을 수신하고, (예를 들어, 단계 118에 관련하여 위에서 서술된 임의의 기법들에 의해) 제1 세트의 부분들에 기초하여 제2 세트의 부분들을 결정한다. 부분 풀링 모듈(212)은 객체 등록 모듈(214)에 제2 세트의 부분들을 출력하고, 객체 등록 모듈(214)은 상기에서 서술한 것처럼 객체(45)에 제2 세트의 부분들을 등록한다. 객체(45)에 제2 세트의 부분들을 관련시키는 등록 정보는 임의의 전자 저장 매체, 예를 들어, 데이터베이스(250) 상에 장래의 사용이 저장될 수 있다. 데이터베이스(250)는 컴퓨팅 디바이스(260)(개인용 컴퓨터, 서버, 서버 뱅크 등)에 동작적으로 접속될 수 있어, 컴퓨팅 디바이스(260)는, 예를 들어, 알려진 이미지들에 대해 이미지 분류 및 객체 인식을 제공하기 위해 데이터베이스(250) 상에 저장된 등록 정보 및 다른 정보를 사용할 수 있다. 또한, 컴퓨팅 디바이스(260)와 별개인 것처럼 도시되고 있지만, 특징 추출 기법(200)은 컴퓨팅 디바이스(260)와 전체적으로 또는 부분적으로 통합될 수 있는 것을, 당업자는 인식할 것이다.
본 발명이 완전해지고, 범위를 당업자에게 전적으로 전달할 수 있도록 예시적인 실시예들이 제공된다. 많은 구체적인 세부사항들은, 본 발명의 실시예들의 완전한 이해를 제공하기 위해 구체적인 구성요소들, 디바이스들 및 기법들의 예들로서 설정된다. 구체적인 세부사항들은 이용될 필요가 없고, 예시적인 실시예들은 많은 다른 형태들로 실시될 수 있으며, 어떤 것도 본 발명의 범위를 제한하도록 해석되지 않아야하는 것이 당업자들에게 자명할 것이다. 일부 예시적인 실시예들에서, 잘 알려진 절차들, 잘 알려진 디바이스 구조들, 및 잘 알려진 기법들은 상세하게 서술되지 않는다.
본 발명에서 사용된 전문 용어들은 단지 특정 예시적인 실시예들을 서술할 목적이고, 제한되도록 의도되지 않는다. 본 발명에서 사용된 것처럼, 단수형 용어 "하나의", 및 "상기"는, 콘텍스트에서 명확하게 다르게 서술하지 않으면, 복수형들을 포함하도록 의도될 수 있다. 용어 "및/또는"는 하나 이상의 관련된 항목들의 아이템들의 임의의 그리고 모든 조합들을 포함한다. 용어 "포함한다", "포함하는", "구비하는" 및 "갖는"은 포괄적이고, 따라서 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 구성요소들의 존재를 명시하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성요소들, 및/또는 그것의 그룹들의 존재 및 부가를 배제하지 않는다. 본 발명에서 서술된 기법 단계들, 프로세스들 및 동작들은, 수행의 순서로서 구체적으로 식별되지 않으면, 논의되거나 예시된 특정 순서로 그것들의 수행을 반드시 요구하는 것으로 해석되지 않는다. 또한, 부가적인 또는 대안적인 단계들은 이용될 수 있을 것으로 이해된다.
용어 제1, 제2, 제3 등은 여러 요소들, 구성요소들, 영역들, 층들 및/또는 섹션들을 서술하기 위해 본 발명에서 사용될 수 있지만, 이러한 요소들, 구성요소들, 영역들, 층들 및/또는 세션들은 이러한 용어들에 의해 제한되지 않아야 한다. 이러한 용어들은 단지 하나의 요소, 구성요소, 영역, 층 또는 섹션을 다른 영역, 층 또는 섹션으로부터 구별하기 위해 사용될 수 있다. 본 명세서에서 사용될 때 "제1", "제2", 및 다른 숫자 용어들은, 콘텍스트에 의해 명확하게 다르게 지시되지 않으면, 시퀀스 또는 순서를 의미하는 것이 아니다. 따라서, 아래에서 논의된 제1 요소, 구성요소, 영역 층 또는 섹션은 예시적인 실시예들의 교시들로부터 벗어나지 않고 제2 요소, 구성요소, 영역, 층 또는 섹션으로 칭해질 수 있다.
본 발명에서 사용된 것처럼, 용어 모듈은 ASIC(응용-특정 집적 회로); 전자 회로; 조합 논리 회로; FPGA(필드 프로그램가능 게이트 어레이); 코드를 실행하는 (공유, 전용, 또는 그룹) 프로세서, 또는 네트워킹된 클러스터들 또는 데이터센터들 내의 저장장치 및 프로세서들의 분산형 네트워크에 의해 실행된 프로세스; 서술된 기능성을 제공하는 다른 적합한 구성요소들; 또는 시스템-온-칩에서와 같이 상기의 일부 또는 모든 것의 조합을 언급하거나 부분이 될 수 있거나 포함할 수 있다. 용어 모듈은 하나 이상의 프로세서들에 의해 실행된 코드를 저장하는 (공유, 전용, 또는 그룹) 메모리를 포함할 수 있다.
상기에서 사용된 용어 코드는 소프트웨어, 펌웨어, 바이트코드 및/또는 마이크로코드를 포함할 수 있고, 프로그램들, 루틴들, 기능들, 클래스들, 및/또는 객체들을 언급할 수 있다. 상기에서 사용된 것처럼, 용어 공유는 다중 모듈들로부터 일부 또는 모든 코드는 단일의 (공유) 프로세서를 사용하여 실행될 수 있다. 부가하여, 다중 모듈들로부터의 일부 또는 모든 코드는 단일의 (공유) 메모리에 의해 저장될 수 있다. 상기에서 사용되는 것처럼, 용어 그룹은 단일 모듈로부터의 일부 또는 모든 코드는 한 그룹의 프로세서들을 사용하여 실행될 수 있다. 부가하여, 단일 모듈로부터의 일부 또는 모든 코드는 한 그룹의 메모리들을 사용하여 저장될 수 있다.
본 발명에서 서술된 기법들은 하나 이상의 프로세서들에 의해 실행된 하나 이상의 컴퓨터 프로그램들에 의해 구현될 수 있다. 컴퓨터 프로그램들은 비일시적인 유형의 컴퓨터 판독가능한 컴퓨터 판독가능한 매체 상에 저장된 프로세서-실행가능한 명령들을 포함한다. 컴퓨터 프로그램들은 또한 저장된 데이터를 포함할 수 있다. 비일시적인 유형의 컴퓨터 판독가능한 매체의 비제한적인 예들은 비휘발성 메모리, 자기 저장장치, 및 광 저장장치이다.
상기 서술의 일부 부분들은 정보에 관한 동작들의 알고리즘들 및 심볼 표현들 면에서 본 발명에 서술된 기법들을 나타낸다. 이러한 알고리즘의 서술들 및 표현들은 다른 당업자들에게 자신들의 저작물의 핵심을 가장 효율적으로 전달하기 위해 데이터 처리 분야의 당업자에 의해 사용된 수단이다. 기능적으로 또는 논리적으로 서술되는 동안 이러한 동작들은 컴퓨터 프로그램들에 의해 구현될 것으로 이해된다. 더욱이, 일반성을 잃지 않은 채, 기능적인 명칭들에 의하거나 모듈들로서 동작들의 이러한 배열들을 언급하는 것은 또한 때로는 편리한 것으로 증명된다.
상기의 논의에서 나타난 것과 특별히 다르게 언급되지 않으면, 상기 서술을 통해, "처리하는" 또는 "산출하는" 또는 "계산하는" 또는 "결정하는" 또는 "디스플레이하는" 등을 사용하는 논의들은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 시스템 디바이스의 활동 및 프로세스들을 언급하고, 이러한 활동 및 프로세서들은 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그와 같은 정보 저장장치, 전송 또는 디스플레이 디바이스들 내의 물리적인 (전자)량들로서 표현된 데이터를 다루고 변형시킨다.
서술된 기법들의 일정 양상들은 알고리즘의 형태로 본 발명에서 서술된 프로세스 단계들 및 명령들은 포함한다. 서술된 프로세스 단계들 및 명령들은 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있고, 소프트웨어로 구현될 때, 실시간 네트워크 동작 시스템들에 의해 사용된 다른 플랫폼들로부터 동작될 수 있거나 상기 다른 플랫폼상에 존재하도록 다운로딩될 수 있다.
본 발명은 또한 본 명세서의 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는 요구된 목적들에 대해 특별히 구성될 수 있거나 컴퓨터에 의해 액세스될 수 있는 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨터를 포함할 수 있다. 그와 같은 컴퓨터 프로그램은 플로피 디스크들, 광 디스크들, CD-ROM들, 자기-광 디스크들, 판독-전용 메모리(ROM)들, 랜덤 액세스 메모리(RAM)들, EPROM들, EEPROM들, 자기 또는 광 카드들, 주문형 반도체(ASIC)들을 포함하는 임의의 타입의 디스크, 또는 전자 명령들을 저장하기에 적합하고, 컴퓨터 시스템 버스에 각각 결합된 임의의 타입의 매체와 같은 유형의 컴퓨터 판독가능한 저장 매체에 저장될 수 있지만, 이에 제한되지는 않는다. 더욱이, 본 명세서에서 언급된 컴퓨터들은 단일의 프로세서를 포함할 수 있거나 증가된 계산 능력에 대해 다수의 프로세서 설계들을 이용하는 아키텍처들일 수 있다.
본 발명에서 표현된 알고리즘들 및 동작들은 임의의 특정 컴퓨터 또는 다른 장치에 내재적으로 관련되지 않는다. 여러 범용 컴퓨터 시스템들은 또한 본 명세서의 교시들에 따른 프로그램들로 사용될 수 있거나, 요청된 기법 단계들을 수행하기 위한 더욱 구체화된 장치들을 구성하는 것이 편리한 것으로 증명될 것이다. 다양한 이러한 시스템들에 대한 요구된 구조는 동등한 변화들에 따라 당업자에게 명백할 것이다. 또한, 본 발명은 임의의 특정한 프로그래밍 언어를 참조하여 서술되지 않는다. 다양한 프로그래밍 언어들은 본 발명에 서술된 본 발명의 교시들을 구현하기 위해 사용될 수 있고, 특정 언어들에 대한 임의의 참조들은 본 발명의 가능 모드 및 최선의 모드의 개시를 위해 제공된다.
본 발명은 많은 토폴로지들에 걸쳐 넓고 다양한 컴퓨터 네트워크 시스템들에 매우 적합하다. 이러한 필드내에서, 큰 네트워크들의 구성 및 관리는 인터넷과 같은 네트워크를 통해 상이한 컴퓨터들 및 저장 디바이스들에 통신가능하게 결합된 컴퓨터들 및 저장 디바이스들을 포함한다.
실시예들의 이전의 서술은 예시 및 서술의 목적으로 제공되고 있다. 이러한 서술은 완전하거나 본 발명을 제한하도록 의도되지 않는다. 일반적으로, 특정 실시예들의 개별적인 요소들 또는 특징들은, 구체적으로 도시되거나 서술되지 않을 경우라도 상호변경가능하거나 선택된 실시예에서 사용될 수 있는 특정 실시예로 제한되지 않지만 선택된 실시예에서 사용될 수 있다. 동일한 것은 또한 많은 방법들로 변할 수 있다. 그와 같은 변형들은 본 발명을 벗어나지 않는 것으로 간주되지 않고, 또한 모든 그와 같은 수정들은 본 발명의 범위 내에 포함되는 것으로 의도된다.

Claims (15)

  1. 컴퓨터로 구현되는 방법에 있어서,
    객체의 전자 이미지를 획득하는 단계와;
    상기 객체에 대응하는 제1 세트의 에지들을 획득하기 위해 상기 전자 이미지상에 에지 검출 알고리즘을 수행하는 단계와;
    상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 획득하기 위해 상기 제1 세트의 에지들 상에 에지 풀링 알고리즘(edge pooling algorithm)을 수행하는 단계와;
    상기 제2 세트의 에지들에 기초한 에지 패치들의 세트를 획득하기 위해 상기 전자 이미지를 샘플링하는 단계와;
    상기 전자 이미지로부터 컬러 패치들의 세트를 획득하기 위해 상기 전자 이미지를 샘플링하는 단계와;
    상기 전자 이미지로부터 텍스처 패치들의 세트를 획득하기 위해 상기 전자 이미지를 샘플링하는 단계와;
    패치들의 세트의 i번째 패치와 i+1 번째 패치간 유클리디언 거리(Euclidean Distance)가 상기 i번째 패치와 모든 다른 패치들간 유클리디언 거리 이상일 때 상기 패치들의 세트 내에 존재할 상기 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택하는 단계와;
    제1 세트의 부분들을 획득하기 위해 상기 선택된 패치들의 세트 상에 부분 선택 알고리즘을 수행하는 단계와;
    상기 제1 세트의 부분들보다 적은 수의 제2 세트의 부분들을 획득하기 위해 상기 제1 세트의 부분들 상에 부분 풀링 알고리즘을 수행하는 단계와, 여기서 상기 부분 풀링 알고리즘은 (i) 상기 제1 세트의 부분들의 각각을 다수의 하위 부분들로 분할하는 것, 및 (ii) 상기 하위 부분들의 각각에서 Max 연산을 수행하는 것을 포함하고; 그리고
    상기 제2 세트의 부분들을 상기 객체에 등록하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  2. 컴퓨터로 구현되는 방법에 있어서,
    객체의 전자 이미지를 획득하는 단계와;
    상기 객체에 대응하는 제1 세트의 에지들을 획득하기 위해 상기 전자 이미지상에 에지 검출 알고리즘을 수행하는 단계와;
    상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 획득하기 위해 상기 제1 세트의 에지들 상에 에지 풀링 알고리즘을 수행하는 단계와;
    상기 제2 세트의 에지들에 기초한 에지 패치들의 세트를 획득하기 위해 상기 전자 이미지를 샘플링하는 단계와;
    상기 전자 이미지로부터 컬러 패치들의 세트를 획득하기 위해 상기 전자 이미지를 샘플링하는 단계와;
    상기 전자 이미지로부터 텍스처 패치들의 세트를 획득하기 위해 상기 전자 이미지를 샘플링하는 단계와;
    상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트의 각각에 대하여 패치들의 세트의 i번째 패치로부터 유클리디언 거리에 기초하여 상기 패치들의 세트 내에 존재할 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택하는 단계와;
    제1 세트의 부분들을 획득하기 위해 상기 선택된 패치들의 세트 상에 부분 선택 알고리즘을 수행하는 단계와;
    상기 제1 세트의 부분들보다 적은 수의 제2 세트의 부분들을 획득하기 위해 상기 제1 세트의 부분들 상에 부분 풀링 알고리즘을 수행하는 단계와; 그리고
    상기 제2 세트의 부분들을 상기 객체에 등록하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  3. 제 2 항에 있어서,
    상기 i번째 패치로부터 상기 유클리디언 거리에 기초하여 상기 i+1 번째 패치를 선택하는 단계는, 상기 i번째 패치와 상기 i+1 번째 패치간 유클리디언 거리가 상기 i번째 패치와 모든 다른 패치들간 유클리디언 거리 이상이면 상기 i+1 번째 패치를 선택하는 것을 포함하는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  4. 제 2 항에 있어서,
    상기 제2 세트의 부분들을 획득하기 위해 상기 제1 세트의 부분들 상에 상기 부분 풀링 알고리즘을 수행하는 단계는 상기 제1 세트의 부분들 상에 MAX 연산을 수행하는 것을 포함하는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  5. 제 4 항에 있어서,
    상기 MAX 연산은 (i) 상기 제1 세트의 부분들의 각각을 다수의 하위 부분들로 분할하는 것, 및 (ii) 상기 하위 부분들의 각각에서 Max 연산을 수행하는 것을 포함하는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  6. 제 5 항에 있어서,
    상기 하위 부분들의 수는 4인 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  7. 제 2 항에 있어서,
    상기 제2 세트의 부분들을 상기 객체에 등록하는 단계는 지도 학습(supervised learning)에 의해 수행되는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  8. 제 2 항에 있어서,
    상기 제2 세트의 에지들을 획득하기 위해 상기 제1 세트의 에지들 상에 상기 에지 풀링 알고리즘을 수행하는 단계는 상기 제1 세트의 에지들 상에 MAX 연산을 수행하는 것을 포함하는 것을 특징으로 하는, 컴퓨터로 구현되는 방법.
  9. 특징 추출 시스템에 있어서,
    전자 이미지의 객체에 대응하는 제1 세트의 에지들을 결정하는 에지 검출 모듈과;
    상기 제1 세트의 에지들로부터 상기 제1 세트의 에지들보다 적은 수의 제2 세트의 에지들을 결정하는 에지 풀링 모듈과;
    상기 제2 세트의 에지들에 기초한 에지 패치들의 세트를 샘플링하는 에지 패치 샘플링 모듈과;
    상기 전자 이미지로부터 컬러 패치들의 세트를 샘플링하는 컬러 패치 샘플링 모듈과;
    상기 전자 이미지로부터 텍스처 패치들의 세트를 샘플링하는 텍스처 패치 샘플링 모듈과;
    상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트의 각각에 대하여 상기 패치들의 세트의 i번째 패치로부터 유클리디언 거리에 기초하여 상기 패치들의 세트 내에 존재할 i+1 번째 패치를 선택함으로써 상기 에지 패치들의 세트, 상기 컬러 패치들의 세트 및 상기 텍스처 패치들의 세트로부터 상기 패치들의 세트를 선택하는 패치 선택 모듈과;
    상기 선택된 패치들의 세트에 기초하여 제1 세트의 부분들을 결정하여 선택하는 부분 선택 모듈과;
    상기 제1 세트의 부분들에 기초하여 상기 제1 세트의 부분들보다 적은 수의 제2 세트의 부분들을 결정하는 부분 풀링 모듈과; 그리고
    상기 제2 세트의 부분들을 상기 객체에 등록하는 객체 등록 모듈을 포함하는 것을 특징으로 하는, 특징 추출 시스템.
  10. 제 9 항에 있어서,
    상기 i번째 패치로부터 상기 유클리디언 거리에 기초하여 상기 i+1 번째 패치를 선택하는 것은, 상기 i번째 패치와 상기 i+1 번째 패치간 상기 유클리디언 거리가 상기 i번째 패치와 모든 다른 패치들간 유클리디언 거리 이상일 때 상기 i+1 번째 패치를 선택하는 것을 포함하는 것을 특징으로 하는, 특징 추출 시스템.
  11. 제 9 항에 있어서,
    상기 제2 세트의 부분들을 획득하기 위해 상기 제1 세트의 부분들 상에 부분 풀링 알고리즘을 수행하는 것은 상기 제1 세트의 부분들 상에 MAX 연산을 수행하는 것을 포함하는 것을 특징으로 하는, 특징 추출 시스템.
  12. 제 11 항에 있어서,
    상기 MAX 연산은 (i) 상기 제1 세트의 부분들의 각각을 다수의 하위 부분들로 분할하는 것, 및 (ii) 상기 하위 부분들의 각각에서 Max 연산을 수행하는 것을 포함하는 것을 특징으로 하는, 특징 추출 시스템.
  13. 제 12 항에 있어서,
    상기 하위 부분들의 수는 4인 것을 특징으로 하는, 특징 추출 시스템.
  14. 제 9 항에 있어서,
    상기 제2 세트의 부분들을 상기 객체에 등록하는 것은 지도 학습에 의해 수행되는 것을 특징으로 하는, 특징 추출 시스템.
  15. 제 9 항에 있어서,
    상기 제2 세트의 에지들을 획득하기 위해 상기 제1 세트의 에지들 상에 상기 에지 풀링 알고리즘을 수행하는 것은 상기 제1 세트의 에지들 상에 MAX 연산을 수행하는 것을 포함하는 것을 특징으로 하는, 특징 추출 시스템.
KR1020147005513A 2011-08-01 2011-08-01 특징 추출을 위한 기법들 KR101821770B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/077855 WO2013016863A1 (en) 2011-08-01 2011-08-01 Techniques for feature extraction

Publications (2)

Publication Number Publication Date
KR20140053259A KR20140053259A (ko) 2014-05-07
KR101821770B1 true KR101821770B1 (ko) 2018-01-24

Family

ID=47628619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147005513A KR101821770B1 (ko) 2011-08-01 2011-08-01 특징 추출을 위한 기법들

Country Status (7)

Country Link
US (1) US9547914B2 (ko)
EP (1) EP2740074B1 (ko)
JP (1) JP5755810B2 (ko)
KR (1) KR101821770B1 (ko)
CN (1) CN103930902B (ko)
IN (1) IN2014CN00655A (ko)
WO (1) WO2013016863A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930250B2 (en) * 2013-09-15 2018-03-27 Mediatek Inc. Method and apparatus for performing image processing operation based on frame/algorithm selection
CN106096411B (zh) * 2016-06-08 2018-09-18 浙江工业大学 一种基于字节码图像聚类的Android恶意代码家族分类方法
CN107145899A (zh) * 2017-04-18 2017-09-08 重庆金山医疗器械有限公司 三通道Narrow‑band感知颜色特征提取用于描述消化道内医学图像的工作方法
WO2020033967A1 (en) * 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020031268A1 (en) * 2001-09-28 2002-03-14 Xerox Corporation Picture/graphics classification system and method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187731A (ja) 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004152087A (ja) * 2002-10-31 2004-05-27 Fuji Photo Film Co Ltd 画像の特徴量を抽出する方法および装置
US20050058350A1 (en) * 2003-09-15 2005-03-17 Lockheed Martin Corporation System and method for object identification
US7733350B2 (en) * 2006-06-30 2010-06-08 Microsoft Corporation Anisometric texture synthesis
US8457400B2 (en) 2008-06-27 2013-06-04 Microsoft Corporation Patch-based texture histogram coding for fast image similarity search
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
CN102708037B (zh) * 2012-04-23 2015-05-20 山东中创软件工程股份有限公司 一种应用程序运行状态的检查方法和检查装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020031268A1 (en) * 2001-09-28 2002-03-14 Xerox Corporation Picture/graphics classification system and method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. Hauptmann et al. Informedia at TRECVID 2003: Analyzing and Searching Broadcast News Video. Proceedings of TREC 2003. Nov. 2003.*
David R. Martin. Learning to Detect Natural Image Boundaries Using Local Brightness, Cololr and Texture Cues. IEEE TRANSACTIONS ON PAMI. May 2004, vol. 26, no.5*
Tianzhong Zhao et al. Feature Selection Based-on Gernetic Algorithm for CBIR. 2008*

Also Published As

Publication number Publication date
WO2013016863A1 (en) 2013-02-07
EP2740074B1 (en) 2019-02-27
US9547914B2 (en) 2017-01-17
KR20140053259A (ko) 2014-05-07
CN103930902A (zh) 2014-07-16
JP5755810B2 (ja) 2015-07-29
EP2740074A4 (en) 2016-03-23
CN103930902B (zh) 2018-03-02
US20140147039A1 (en) 2014-05-29
EP2740074A1 (en) 2014-06-11
IN2014CN00655A (ko) 2015-04-03
JP2014522045A (ja) 2014-08-28

Similar Documents

Publication Publication Date Title
US20180025249A1 (en) Object Detection System and Object Detection Method
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
CN110163294B (zh) 基于降维操作和卷积网络的遥感图像变化区域检测方法
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN110705565A (zh) 淋巴结肿瘤区域识别方法与装置
Xiao et al. Segmentation of multispectral high-resolution satellite imagery using log Gabor filters
CN107145831B (zh) 基于矢量概率扩散和马尔科夫随机场高光谱影像分类方法
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
Hwang et al. A practical algorithm for the retrieval of floe size distribution of Arctic sea ice from high-resolution satellite Synthetic Aperture Radar imagery
KR101821770B1 (ko) 특징 추출을 위한 기법들
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN114897764A (zh) 基于标准化通道注意力的肺结节假阳性排除方法及装置
CN112131969A (zh) 基于全卷积神经网络的遥感图像变化检测方法
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
Sun et al. Marine ship instance segmentation by deep neural networks using a global and local attention (GALA) mechanism
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN115205680A (zh) 基于显著性迁移的雷达目标sar图像联合检测识别方法
Estrada et al. Appearance-based keypoint clustering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant