KR20180055070A - 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치 - Google Patents

재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR20180055070A
KR20180055070A KR1020160152428A KR20160152428A KR20180055070A KR 20180055070 A KR20180055070 A KR 20180055070A KR 1020160152428 A KR1020160152428 A KR 1020160152428A KR 20160152428 A KR20160152428 A KR 20160152428A KR 20180055070 A KR20180055070 A KR 20180055070A
Authority
KR
South Korea
Prior art keywords
texture
region
image
extracting
training
Prior art date
Application number
KR1020160152428A
Other languages
English (en)
Inventor
사공동훈
손민정
장현성
성영훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160152428A priority Critical patent/KR20180055070A/ko
Priority to US15/592,461 priority patent/US10607109B2/en
Priority to EP17177454.0A priority patent/EP3324339B1/en
Priority to CN201710673817.9A priority patent/CN108073942A/zh
Publication of KR20180055070A publication Critical patent/KR20180055070A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/20—
    • G06K9/6212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

재질 인식 및 트레이닝과 관련된 기술이 제공된다. 일 실시예에 따른 재질 트레이닝 장치는, 객체 이미지로부터 질감 속성만을 가지는 질감 이미지를 생성함으로써, 재질과 연관된 트레이닝 데이터를 생성할 수 있다.

Description

재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치{METHOD AND DEVICE TO PERFORM TO TRAIN AND RECOGNIZE MATERIAL}
이하, 재질 인식 및 재질 트레이닝을 수행하는 기술이 제공된다.
최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위하여, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링 한 인공 뉴럴 네트워크(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공 뉴럴 네트워크는 입력 패턴과 출력 패턴들 사이의 사상(mapping)을 생성할 수 있고, 이러한 사상을 생성하는 능력은 인공 뉴럴 네트워크의 학습 능력이라고 표현된다. 또한, 인공 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가진다.
일 실시예에 따르면 재질 인식 방법은 객체를 포함하는 입력 이미지를 획득하는 단계; 상기 입력 이미지에 기초하여, 상기 객체의 질감을 나타내는 질감 이미지를 생성하는 단계; 및 재질 모델을 이용하여, 상기 질감 이미지로부터 재질 정보를 인식하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 입력 이미지로부터 질감 영역을 추출하는 단계; 및 상기 질감 영역을 확장하여 상기 질감 이미지를 생성하는 단계를 포함할 수 있다.
상기 질감 영역을 추출하는 단계는, 상기 입력 이미지로부터 객체 영역을 결정하는 단계; 및 상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는, 상기 결정된 객체 영역의 중심 지점을 포함하는 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는, 상기 객체 영역 내에서 무작위로 미리 정한 크기의 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 질감 영역을 추출하는 단계는, 상기 입력 이미지를 패치들로 분할하는 단계; 상기 분할된 패치들 간의 유사도를 산출하는 단계; 및 상기 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 입력 이미지로부터 추출된 질감 영역을 미리 정한 크기로 확장하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 입력 이미지의 해상도 이상의 해상도를 유지하면서, 상기 입력 이미지로부터 추출된 질감 영역을 확장하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 입력 이미지의 크기 이상으로, 상기 입력 이미지로부터 추출된 질감 영역을 확장하는 단계를 포함할 수 있다.
일 실시예에 따르면 재질 트레이닝 방법은 객체 이미지(object image)로부터 질감 영역(texture region)을 추출(extract)하는 단계; 상기 추출된 질감 영역을 확장하여 질감 이미지(texture image)를 생성하는 단계; 및 상기 질감 이미지에 재질 정보(material information)를 매핑하여 트레이닝 데이터를 생성하는 단계를 포함할 수 있다.
재질 트레이닝 방법은 상기 트레이닝 데이터를 이용하여 상기 질감 이미지 및 상기 객체 이미지 중 하나로부터 상기 재질 정보를 출력하도록, 재질 모델(material model)을 트레이닝시키는 단계를 더 포함할 수 있다.
상기 질감 영역을 추출하는 단계는, 상기 객체 이미지로부터 객체 영역을 결정하는 단계; 및 상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는, 상기 결정된 객체 영역의 중심 지점을 포함하는 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는, 상기 객체 영역 내에서 무작위로 미리 정한 크기의 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 질감 영역을 추출하는 단계는, 상기 객체 이미지를 패치(patch)들로 분할(segment)하는 단계; 상기 분할된 패치들 간의 유사도를 산출하는 단계; 및 상기 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 상기 질감 영역으로서 추출하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 질감 영역을 미리 정한 크기로 확장하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 객체 이미지의 해상도 이상의 해상도를 유지하면서, 상기 질감 영역을 확장하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 상기 객체 이미지의 크기 이상으로, 상기 질감 영역을 확장하는 단계를 포함할 수 있다.
상기 질감 이미지를 생성하는 단계는, 시각적 결함이 배제되도록 상기 질감 영역을 확장하는 단계를 포함할 수 있다.
일 실시예에 따른 재질 인식 장치는, 재질 모델을 저장하는 메모리; 및 객체를 포함하는 입력 이미지를 획득하고, 상기 입력 이미지에 기초하여, 상기 객체의 질감을 나타내는 질감 이미지를 생성하며, 상기 재질 모델을 이용하여, 상기 질감 이미지로부터 재질 정보를 인식하는 프로세서를 포함할 수 있다.
일 실시예에 따른 재질 트레이닝 장치는, 객체 이미지로부터 질감 영역을 추출하고, 상기 추출된 질감 영역을 확장하여 질감 이미지를 생성하며, 상기 질감 이미지에 재질 정보를 매핑하여 트레이닝 데이터를 생성하는 프로세서; 및 상기 트레이닝 데이터를 저장하는 메모리를 포함할 수 있다.
도 1은 일 실시예에 따른 재질 모델을 이용한 재질 인식을 설명하는 도면이다.
도 2는 일 실시예에 따른 뉴럴 네트워크를 설명하는 도면이다.
도 3은 일 실시예에 따른 객체 이미지로부터 질감 이미지를 생성하는 과정을 개략적으로 설명하는 도면이다.
도 4 및 도 5는 일 실시예에 따른 질감 영역의 결정을 설명하는 도면이다.
도 6은 일 실시예에 따른 질감 영역의 확장을 설명하는 도면이다.
도 7은 일 실시예에 따라 트레이닝된 재질 모델을 이용한 재질 인식을 설명하는 도면이다.
도 8 및 도 9는 일 실시예에 따른 재질 트레이닝 방법을 설명한 흐름도이다.
도 10은 일 실시예에 따른 재질 트레이닝 장치의 구성을 설명하는 블록도이다.
도 11 및 도 12는 일 실시예에 따른 재질 인식 방법을 설명한 흐름도이다.
도 13은 일 실시예에 따른 재질 인식 장치의 구성을 설명하는 블록도이다.
도 14는 다른 일 실시예에 따른 재질 트레이닝 장치 및 재질 인식 장치의 구성을 설명하는 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 재질 모델을 이용한 재질 인식을 설명하는 도면이다.
재질 모델(material model)(110)은 객체(object)를 포함하는 객체 이미지(object image)(101)로부터 해당 객체의 재질 정보(material information)(109)를 출력하는데 사용되는 모델을 나타낸다. 예를 들어, 재질 모델(110)은 뉴럴 네트워크(neural network)일 수 있고, 객체 이미지(101)로부터 해당 객체 이미지(101)에 대응하는 재질을 출력하도록 트레이닝될 수 있다.
객체 이미지(101)는 객체를 포함하는 이미지를 나타낼 수 있다. 객체는 이미지에 나타나는 예를 들어, 사람, 동물, 및 물체 등을 포함할 수 있다. 본 명세서에서 객체 이미지(101)는 컬러 이미지를 예로 들어 설명하였으나, 이로 한정하는 것은 아니고, 객체까지의 거리를 지시하는 깊이 이미지, 객체로 투사된 적외선이 반사된 세기를 지시하는 적외선 이미지, 및 객체로 투사된 초음파가 반사된 세기를 지시하는 초음파 이미지 등의 다양한 이미지일 수 있다.
재질 정보(109)는 객체의 재질을 지시하는 정보이다. 재질은 객체 이미지(101)에 나타나는 객체를 구성하는 재료의 성분, 해당 재료의 특성, 해당 재료와 연관된 정보 등을 나타낼 수 있다. 예를 들어, 객체가 나무 의자, 나무 책상, 및 나무 컵 등인 경우, 재질 정보(109)는 재질로서 나무를 지시할 수 있다. 다른 예를 들어, 객체가 금속 의자, 금속 책상, 및 금속 컵 등인 경우 재질 정보(109)는 재질로서 금속(metal)을 지시할 수 있다. 재질은 예를 들어, 나무, 금속, 및 돌 등과 같이 다양한 물질일 수 있다.
재질 트레이닝 장치는 상술한 재질 모델(110)이 트레이닝 입력으로부터 트레이닝 출력을 출력하도록, 재질 모델(110)을 트레이닝시킬 수 있다. 재질 인식 장치는 재질 트레이닝 장치에 의해 트레이닝된 재질 모델(110)을 이용하여, 객체 이미지(101)로부터 재질 정보(109)를 인식할 수 있다. 또한, 재질 트레이닝 장치는 기존 트레이닝 데이터를 증강하여, 재질 특성이 반영된 트레이닝 데이터를 생성할 수 있다. 재질 트레이닝 장치는 불필요한 형태 속성이 배제된 트레이닝 데이터를 증강(augment)할 수 있다. 재질 트레이닝 장치는 형태 속성을 배제함으로써 재질 모델의 인식 성능을 향상시킬 수 있다. 따라서, 재질 트레이닝 장치는 형태 속성에 편향되지 않은 트레이닝 데이터를 다수 확보할 수 있다.
일 실시예에 따른 재질 트레이닝 장치 및 재질 인식 장치는 객체의 재질 속성에 대한 인식을 개선할 수 있다. 재질 트레이닝 장치 및 재질 인식 장치는 입력된 객체의 재질 정보를 자동으로 인식하여 알려주거나, 인식된 재질정보에 따른 부가정보들을 검색 및 추천해주는 어플리케이션들에 적용될 수 있다. 예를 들어, 상품의 모델 정보를 인식하는 어플리케이션에 있어서, 재질 인식 장치는 입력된 객체의 재질 속성 인식에 기초하여, 유사한 재질을 가지는 상품을 추천할 수 있다. 재질 인식 장치는 PC, 서버 및 모바일 디바이스에서 소프트웨어, 웹서비스, chip 형태로 구현되어 제공될 수 있다. 또한, 재질 모델은 단독 뉴럴 네트워크 또는 다중 뉴럴 네트워크를 포함할 수 있다.
하기에서는 재질 트레이닝 장치에 의한 재질 트레이닝 및 재질 인식에 의한 재질 인식을 보다 상세히 설명한다.
도 2는 일 실시예에 따른 뉴럴 네트워크를 설명하는 도면이다.
일 실시예에 따르면 재질 모델은 뉴럴 네트워크(200)를 포함할 수 있다. 뉴럴 네트워크(200)에 기초하여, 재질 인식을 수행하는 방법 및 그 방법을 수행하는 장치(이하, 재질 인식 장치)가 제안되고, 해당 뉴럴 네트워크(200)를 트레이닝시키는 방법 및 장치(이하, 재질 트레이닝 장치)가 제안될 수 있다. 본 명세서에서, 인식(recognition)은 검증(verification) 및 식별(identification)을 포함할 수 있다. 검증은 입력 데이터가 참인지 거짓인지를 판단하는 동작을 나타낼 수 있고, 식별은 복수의 레이블들 중 입력 데이터가 지시하는 레이블을 판단하는 동작을 나타낼 수 있다.
우선, 일 실시예에 따른 복합 인식을 설명하기에 앞서 뉴럴 네트워크(200)의 개략적인 구조에 대해 하기와 같이 설명한다.
일 실시예에 따르면 뉴럴 네트워크(200)는 복수의 노드들로 구성되는 복수의 레이어들을 포함할 수 있다. 또한, 뉴럴 네트워크(200)는 복수의 레이어들의 각각에 포함된 복수의 노드들을 다른 레이어에 포함된 노드에 연결시키는 연결 가중치들을 포함할 수 있다. 재질 트레이닝 장치는 뉴럴 네트워크(200)를 메모리에 저장된 내부 데이터베이스로부터 획득하거나, 통신부를 통해 외부 서버로부터 수신하여 획득할 수 있다.
예를 들어, 뉴럴 네트워크(200)는 연결선(edge)으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 인식 모델을 나타낼 수 있다. 뉴럴 네트워크(200)는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 뉴럴 네트워크(200)는 인공(artificial) 뉴럴 네트워크라고 지칭될 수 있다.
뉴럴 네트워크(200)는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들을 이용한다. 인공 뉴런은 노드(node)라고 지칭될 수 있다. 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 연결 가중치는 연결선이 갖는 특정한 값으로, 시냅스 가중치(synapse weight) 또는 연결 강도라고 지칭될 수 있다.
뉴럴 네트워크(200)는 복수의 레이어들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크(200)는 입력 레이어(input layer)(210), 히든 레이어(hidden layer)(220), 출력 레이어(output layer)(230)을 포함할 수 있다. 입력 레이어(210)는 트레이닝 또는 인식을 수행하기 위한 입력을 수신하여 히든 레이어(220)에 전달할 수 있고, 출력 레이어(230)는 히든 레이어(220)로부터 수신한 신호에 기초하여 뉴럴 네트워크(200)의 출력을 생성할 수 있다. 히든 레이어(220)는 입력 레이어(210)와 출력 레이어(230) 사이에 위치하고, 입력 레이어(210)를 통해 전달된 트레이닝 데이터의 트레이닝 입력을 예측하기 쉬운 값으로 변화시킬 수 있다.
입력 레이어(210), 히든 레이어(220) 및 출력 레이어(230)는 복수 개의 노드들을 포함할 수 있다. 입력 레이어(210)에 포함된 노드는 입력 노드(input node)라고 지칭되고, 히든 레이어(220)에 포함된 노드는 히든 노드(hidden node)라고 지칭되며, 출력 레이어(230)에 포함된 노드는 출력 노드(output node)라고 지칭될 수 있다.
입력 레이어(210)에 포함된 입력 노드들과 히든 레이어(220)에 포함된 히든 노드들은 연결 가중치를 가지는 연결선들을 통해 서로 연결될 수 있다. 히든 레이어(220)에 포함된 히든 노드들과 출력 레이어(230)에 포함된 출력 노드들은 연결 가중치를 가지는 연결선들을 통해 서로 연결될 수 있다.
도면에 도시하지 않았으나, 뉴럴 네트워크는 복수 개의 히든 레이어들을 포함할 수 있다. 복수 개의 히든 레이어들을 포함하는 뉴럴 네트워크는 깊은 뉴럴 네트워크(deep neural network)라고 지칭될 수 있다. 깊은 뉴럴 네트워크를 학습시키는 것은 깊은 학습(deep learning)이라고 지칭될 수 있다. 히든 레이어(220)에 제1 히든 레이어, 제2 히든 레이어, 및 제3 히든 레이어가 포함되는 경우를 가정하면, 제1 히든 레이어에 속한 히든 노드의 출력은 제2 히든 레이어에 속한 히든 노드들에 연결될 수 있다. 제2 히든 레이어에 속한 히든 노드의 출력은 제3 히든 레이어에 속한 히든 노드들에 연결될 수 있다.
예를 들어, 재질 트레이닝 장치 및 재질 인식 장치는, 각 히든 레이어에 이전 히든 레이어에 포함된 이전 히든 노드들의 출력들을 연결 가중치를 가지는 연결선들을 통해 입력할 수 있고, 이전 히든 노드들의 출력들에 연결 가중치가 적용된 값들 및 활성화 함수에 기초하여 히든 레이어에 포함된 히든 노드들의 출력을 생성할 수 있다. 일 예시에 따르면, 다음 히든 노드로 출력를 발화하기 위하여, 활성화 함수의 결과는 현재 히든 노드의 임계 값을 초과해야 한다. 이 경우, 노드는 입력 벡터들을 통하여 특정 임계 활성화 강도에 도달하기 전에는 다음 노드로 신호를 발화하지 않고, 비활성화 상태를 유지할 수 있다.
일 실시예에 따른 재질 트레이닝 장치는 감독 학습(supervised learning)을 통해 뉴럴 네트워크(200)를 트레이닝시킬 수 있다. 재질 트레이닝 장치는 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 감독 학습은 트레이닝 데이터의 트레이닝 입력 그에 대응하는 트레이닝 출력을 함께 뉴럴 네트워크(200)에 입력하고, 트레이닝 데이터의 트레이닝 출력에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 기법이다. 도 2는 뉴럴 네트워크의 구조를 노드 구조로 표현하였으나, 실시예들은 이러한 노드 구조에 국한되지 않는다. 메모리 스토리지에 뉴럴 네트워크를 저장하기 위하여 다양한 데이터 구조가 이용될 수 있다.
일 실시예에 따르면, 재질 트레이닝 장치는 뉴럴 네트워크에 역전파되는 손실 및 뉴럴 네트워크에 포함된 노드들의 출력 값에 기초한 기울기 하강(gradient descent) 기법을 통하여, 노드들의 파라미터를 결정할 수 있다. 예를 들어, 재질 트레이닝 장치는 손실 역 전파 학습(back-propagation learning)을 통해 노드들 사이의 연결 가중치를 업데이트할 수 있다. 손실 역 전파 학습은, 주어진 트레이닝 데이터에 대해 포워드 계산(forward computation)을 통하여 손실을 추정한 후, 출력 레이어(230)에서 시작하여 히든 레이어(220) 및 입력 레이어(210)를 향하는 역 방향으로 추정한 손실을 전파하면서, 손실을 줄이는 방향으로 연결 가중치를 업데이트하는 방법이다. 뉴럴 네트워크(200)의 처리는 입력 레이어(210), 히든 레이어(220), 및 출력 레이어(230)의 방향으로 진행되지만, 손실 역 전파 트레이닝에서 연결 가중치의 업데이트 방향은 출력 레이어(230), 히든 레이어(220), 및 입력 레이어(210)의 방향으로 진행될 수 있다. 하나 또는 그 이상의 프로세서는 뉴럴 네트워크를 원하는 방향으로 처리하기 위하여, 레이어 또는 일련의 계산 데이터를 저장하는 버퍼 메모리를 이용할 수 있다.
재질 트레이닝 장치는 현재 설정된 연결 가중치들이 얼마나 최적에 가까운지를 측정하기 위한 목적 함수(objective function)를 정의하고, 목적 함수의 결과에 기초하여 연결 가중치들을 계속 변경하고, 트레이닝을 반복적으로 수행할 수 있다. 예를 들어, 목적 함수는 뉴럴 네트워크(200)가 트레이닝 데이터의 트레이닝 입력에 기초하여 실제 출력한 출력 값과 출력되기로 원하는 기대 값 사이의 손실을 계산하기 위한 손실 함수일 수 있다. 재질 트레이닝 장치는 손실 함수의 값을 줄이는 방향으로 연결 가중치들을 업데이트할 수 있다.
도 3은 일 실시예에 따른 객체 이미지로부터 질감 이미지를 생성하는 과정을 개략적으로 설명하는 도면이다.
일 실시예에 따르면, 재질 트레이닝 장치는 객체 이미지(310)로부터 질감 이미지(340)를 생성할 수 있다.
우선, 재질 트레이닝 장치는 객체 이미지(310)로부터 객체 영역(320)을 결정할 수 있다. 객체 영역(320)은 객체 이미지(310)에서 객체에 대응하는 영역을 나타낼 수 있다. 재질 트레이닝 장치는 객체 이미지(310)가 복수의 객체를 포함하는 경우, 복수의 객체 중 하나의 객체에 대응하는 영역을 객체 영역(320)으로서 결정할 수도 있다. 예를 들어, 재질 트레이닝 장치는 도 3에 도시된 바와 같이, 객체를 포함하는 바운딩 박스(bounding box)를 객체 영역(320)으로 결정할 수 있다. 다른 예를 들어, 재질 트레이닝 장치는 객체 이미지(310)에 나타나는 객체의 형태를 식별할 수 있고, 객체의 윤곽선에 대응하는 형태를 가지는 영역을 객체 영역(320)으로 결정할 수 있다. 재질 트레이닝 장치는 객체 형태에 대응하는 영역 내에서만 질감 영역을 추출함으로써, 배경 영역을 추출로부터 배제할 수 있다.
재질 트레이닝 장치는 객체 영역(320)으로부터 질감 영역(texture region)(330)을 추출할 수 있다. 질감 영역(330)은 객체의 재질을 대표하는 질감을 가지는 영역을 나타낼 수 있다. 질감은 재질마다 구별되는 고유의 특성을 나타낼 수 있다. 질감 영역(330)의 추출은 하기 도 4 및 도 5에서 설명한다.
재질 트레이닝 장치는 추출된 질감 영역(330)을 확장하여 질감 이미지(340)를 생성할 수 있다. 질감 이미지(340)는 재질(material)이 가지는 질감(texture)을 나타내는 이미지를 나타낼 수 있다. 질감 이미지(340)는 객체 이미지(310)와 동일하거나 그 이상의 해상도(resolution)를 가질 수 있고, 객체 이미지(310)와 동일하거나 그 이상의 크기(size)를 가질 수 있다.
재질 트레이닝 장치는 생성된 질감 이미지(340)에 재질 정보(390)를 매핑할 수 있다. 재질 트레이닝 장치는, 객체 이미지(310)에 나타나는 객체의 재질 정보(390)를 질감 이미지(340)에 매핑함으로써, 트레이닝 데이터를 생성할 수 있다.
본 명세서에서 트레이닝 데이터는 트레이닝 입력 및 트레이닝 출력의 쌍(pair)으로 구성되는 데이터로서, 재질 모델의 트레이닝에 사용될 수 있다. 예를 들어, 재질 트레이닝 장치는 트레이닝 입력으로부터, 해당 트레이닝 입력에 매핑된 트레이닝 출력이 출력되도록 재질 모델을 트레이닝시킬 수 있다. 트레이닝 출력은 재질을 지시하는 레이블(label)로서 재질 정보일 수 있다. 따라서, 트레이닝이 완료된 재질 모델은, 객체 이미지(310)의 입력에 응답하여, 해당 객체 이미지(310)에 대응하는 재질 정보(390)를 출력할 수 있다. 일 실시예에 따라 증강되는 트레이닝 데이터는 재질과 연관된 속성이 주를 이룰 수 있다. 따라서, 재질 트레이닝 장치는 재질 인식의 정확도를 유지하면서도 객체의 형태에 따른 정확도의 변동성을 완화할 수 있다.
다만, 도 3의 동작과 관련하여 재질 트레이닝 장치를 기준으로 설명하였으나, 이로 한정하는 것은 아니고, 재질 인식 장치도 객체 이미지(310)로부터 질감 이미지(340)를 생성할 수도 있다.
도 4 및 도 5는 일 실시예에 따른 질감 영역의 결정을 설명하는 도면이다.
재질 트레이닝 장치는 도 4에서 객체 영역(420)으로부터 임의의 지점을 선택하고, 선택된 지점에 기초하여 질감 영역(430)을 객체 영역(420)으로부터 추출할 수 있다. 일 실시예에 따르면, 재질 트레이닝 장치는 결정된 객체 영역(420)의 중심 지점(431)을 포함하는 영역을 질감 영역(430)으로서 추출할 수 있다. 예를 들어, 재질 트레이닝 장치는 객체 영역(420)의 중심 지점(431) 주변의 미리 정한 크기의 영역(예를 들어, 전체에 대해 일정 비율의 사각형 영역 또는 원형 영역)을 질감 영역(430)으로서 추출할 수 있다. 다만, 이로 한정하는 것은 아니고, 재질 트레이닝 장치는 객체 영역(420) 내에서 무작위로 미리 정한 크기의 영역을 질감 영역(430)으로서 추출할 수도 있다.
재질 트레이닝 장치는 도 5에서 객체 이미지의 객체 영역(520)을 복수의 패치들로 분할하고, 패치들을 분석한 정보에 기초하여 객체 영역(520)으로부터 질감 영역을 추출할 수 있다. 일 실시예에 따르면 재질 트레이닝 장치는 객체 이미지를 패치(patch)들로 분할(segment)할 수 있다. 재질 트레이닝 장치는 분할된 패치들 간의 유사도를 산출할 수 있다.
예를 들어, 재질 트레이닝 장치는 각 패치에 대하여 세기(intensity)와 연관된 히스토그램을 생성할 수 있고, 각 패치의 히스토그램 간의 유사도를 산출할 수 있다. 예를 들어, 각 픽셀의 세기는 해당 픽셀의 밝기 값 또는 해당 픽셀의 RGB 평균 값(예를 들어, 해당 픽셀에 나타난 R 색상 값, G 색상 값, 및 B 색상 값의 평균 값)일 수 있다. 재질 트레이닝 장치는 제1 패치(521)에 대한 세기와 연관된 히스토그램(551)을 산출하고, 제2 패치(522)에 대한 세기와 연관된 히스토그램(552)을 산출할 수 있다. 세기와 연관된 히스토그램은, 도 5에 도시된 바와 같이, x축이 세기, y축이 픽셀 분포로서 패치 내에서 각 세기를 가지는 픽셀의 개수를 나타낼 수도 있다. 다만, 유사도 산출을 위한 히스토그램을 세기에 관한 것으로 한정하는 것은 아니고, 설계에 따라 다른 요소(예를 들어, 픽셀의 RGB 값 등)에 대한 히스토그램이 사용될 수도 있다.
여기서, 재질 트레이닝 장치는 객체 영역(520)의 중심에 위치한 패치를 기준 패치(reference patch)로 결정할 수 있고, 기준 패치와 유사한 패치를 검색할 수 있다. 따라서, 재질 트레이닝 장치는 중심 위치의 패치와 유사한, 내부 영역에 위치하는 패치들을 질감 영역으로서 추출할 수 있다. 객체 이미지의 외곽 영역에 속하는 패치는 객체 이미지의 중심 위치에 위치하는 패치와의 유사도가 낮으므로, 질감 영역 추출로부터 배제될 수 있다.
다른 예를 들어, 재질 트레이닝 장치는 각 패치에 대하여 통계값(예를 들어, 패치 내 픽셀들의 RGB의 평균값 등)을 산출할 수 있고, 각 패치의 통계값 간의 유사도를 산출할 수 있다.
재질 트레이닝 장치는 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 질감 영역으로서 추출할 수 있다. 예를 들어, 재질 트레이닝 장치는 복수의 패치들 중 두 패치의 유사도를 산출할 수 있고, 두 패치의 유사도가 임계 유사도 이상인 경우 두 패치를 포함하는 영역을 질감 영역으로서 추출할 수 있다. 따라서, 재질 트레이닝 장치는 각 패치에 대하여 유사도 산출을 반복함으로써, 유사한 히스토그램을 가지는 패치들을 포함하는 질감 영역을 추출해낼 수 있다. 결과적으로 재질 트레이닝 장치는 배경과 구분되는 질감 영역을 추출해낼 수 있다.
다만, 도 4 및 도 5의 동작과 관련하여 재질 트레이닝 장치를 기준으로 설명하였으나, 이로 한정하는 것은 아니고, 재질 인식 장치도 객체 영역으로부터 질감 영역을 추출할 수 있다.
도 6은 일 실시예에 따른 질감 영역의 확장을 설명하는 도면이다.
재질 트레이닝 장치는 시각적 결함이 배제되도록 질감 영역(630)을 확장할 수 있다. 시각적 결함은 사용자에 의해 시각적으로 인식 가능한 결함으로써, 패치 간 경계선에 대응하는 이음매, 매칭되지 않은 경계(edge), 단순 반복된 패턴 등일 수 있다. 재질 트레이닝 장치는 질감 속성을 유지하면서 질감 영역(630)을 확장할 수 있다. 예를 들어, 재질 트레이닝 장치는 질감 영역(630)을 미리 정한 크기(639)(예를 들어, 원하는 크기)로, 객체 이미지의 해상도 이상의 해상도를 유지하면서, 질감 영역(630)을 확장할 수 있다. 질감 영역(630)이 미리 정한 크기까지 확장된 이미지를 질감 이미지(640)라고 나타낼 수 있다.
예를 들어, 재질 트레이닝 장치는 상술한 도 4 및 도 5에서 추출된 질감 영역(630)을 시드 이미지(seed image)로 결정할 수 있다. 최초에는 시드 이미지가 필링된 픽셀들(filled pixels)을 포함할 수 있고, 시드 이미지 이외의 나머지 영역은 필링되지 않은 픽셀들(unfilled pixels)을 포함할 수 있다. 필링된 픽셀은 컬러 값이 할당된 픽셀을 나타낼 수 있고, 필링되지 않은 픽셀은 컬러 값이 할당되지 않은 픽셀을 나타낼 수 있다. 재질 트레이닝 장치는 필링된 픽셀들을 둘러싸는(border) 필링되지 않은 픽셀마다, 필링되지 않은 픽셀의 주변의 필링된 픽셀들에 가장 닮은 시드 이미지 내의 패치를 검색할 수 있다. 검색하는 패치의 크기가 클수록 큰 구조의 패턴을 확장하는데 유리하므로, 재질 트레이닝 장치는 패턴의 구조 크기를 고려하여 패치의 크기를 결정하여 검색할 수 있다. 재질 트레이닝 장치는 검색된 패치들 중에서 하나의 패치를 무작위로 선택하고, 선택된 패치의 중심으로부터 색상 값(color value)을 필링되지 않은 픽셀에 할당할 수 있다. 재질 트레이닝 장치는 미리 정한 크기(639)까지 필링되지 않은 픽셀들에 색상 값을 할당하는 동작을 반복함으로써, 질감 영역(630)을 확장할 수 있다.
다만, 질감 영역(630)의 확장을 이로 한정하는 것은 아니다. 재질 트레이닝 장치는 질감 영역(630)의 경계에서 이음매(seam)가 드러나지 않도록, 유사한 패턴을 가지는 패치들을 생성하여 질감 영역(630)의 경계에 부가할 수 있다.
또한, 도 6의 동작과 관련하여 재질 트레이닝 장치를 기준으로 설명하였으나, 이로 한정하는 것은 아니고, 재질 인식 장치도 질감 영역(630)을 확장하여 질감 이미지(640)를 생성할 수 있다.
도 7은 일 실시예에 따라 트레이닝된 재질 모델을 이용한 재질 인식을 설명하는 도면이다.
재질 트레이닝 장치는 도 1 내지 도 6에서 상술한 과정을 통해, 객체 이미지로부터, 재질 특성만이 반영된 질감 이미지를 생성할 수 있고, 질감 이미지에 재질 정보를 매핑함으로써 트레이닝 데이터(740)를 생성할 수 있다. 트레이닝 데이터(740)는 질감 이미지에 재질 정보가 매핑된 데이터를 나타낼 수 있다. 재질 트레이닝 장치는 질감 이미지를 트레이닝 입력으로서, 재질 정보를 트레이닝 출력으로서 트레이닝 데이터(740)를 관리할 수 있다. 재질 트레이닝 장치는 트레이닝 입력으로부터 트레이닝 출력이 출력되도록 재질 모델(710)(예를 들어, 뉴럴 네트워크)을 트레이닝시킬 수 있다.
재질 인식 장치는, 재질 모델(710)을 이용하여, 객체를 포함하는 입력 이미지로부터 재질 정보를 출력할 수 있다. 일 실시예에 따른 재질 인식 장치는 형태가 다른 객체에 대해서도, 동일한 재질을 가지는 객체라면 동일한 재질 정보를 산출할 수 있다. 예를 들어, 재질 인식 장치는 재질 모델(710)을 이용하여 제1 객체 이미지(701)(도 7에서는 의자 형태)로부터 재질 정보(708)(예를 들어, 나무 재질)를 산출할 수 있다. 또한, 재질 인식 장치는 재질 모델(710)을 이용하여 제2 객체 이미지(702)(도 7에서는 컵 형태)로부터 상술한 재질 정보(708)와 동일한 재질 정보(709)(예를 들어, 나무 재질)을 산출할 수 있다.
도 8 및 도 9는 일 실시예에 따른 재질 트레이닝 방법을 설명한 흐름도이다.
도 8은 재질 트레이닝 방법을 간략하게 설명한다.
우선, 단계(810)에서 재질 트레이닝 장치는 객체 이미지(object image)로부터 질감 영역(texture region)을 추출(extract)할 수 있다. 재질 트레이닝 장치는 객체 이미지로부터 객체 영역을 결정할 수 있다. 재질 트레이닝 장치는 결정된 객체 영역의 적어도 일부 영역을 질감 영역으로서 추출할 수 있다. 예를 들어, 재질 트레이닝 장치는 결정된 객체 영역의 중심 지점을 포함하는 영역을 질감 영역으로서 추출할 수 있다. 다른 예를 들어, 재질 트레이닝 장치는 객체 영역 내에서 무작위로 미리 정한 크기의 영역을 질감 영역으로서 추출할 수 있다. 또 다른 예를 들어, 재질 트레이닝 장치는 객체 이미지를 패치(patch)들로 분할(segment)할 수 있다. 재질 트레이닝 장치는 분할된 패치들 간의 유사도를 산출할 수 있다. 재질 트레이닝 장치는 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 질감 영역으로서 추출할 수 있다.
그리고 단계(820)에서 재질 트레이닝 장치는 추출된 질감 영역을 확장하여 질감 이미지(texture image)를 생성할 수 있다. 예를 들어, 재질 트레이닝 장치는 질감 영역을 미리 정한 크기로 확장할 수 있다. 재질 트레이닝 장치는 객체 이미지의 해상도 이상의 해상도를 유지하면서, 질감 영역을 확장할 수 있다. 또한, 재질 트레이닝 장치는 트레이닝에 적합한 크기(예를 들어, 객체 이미지의 크기 이상)으로, 질감 영역을 확장할 수 있다. 재질 트레이닝 장치는 시각적 결함이 배제되도록 질감 영역을 확장할 수 있다.
이어서 단계(830)에서 재질 트레이닝 장치는 질감 이미지에 재질 정보(material information)를 매핑하여 트레이닝 데이터를 생성할 수 있다.
그리고 재질 트레이닝 장치는 트레이닝 데이터를 이용하여 질감 이미지 및 객체 이미지 중 하나로부터 재질 정보를 출력하도록, 재질 모델(material model)을 트레이닝시킬 수 있다.
도 9는 재질 트레이닝 방법을 보다 상세히 설명한다.
우선, 단계(910)에서 재질 트레이닝 장치는 초기 트레이닝 데이터를 획득할 수 있다. 예를 들어, 재질 트레이닝 장치는 트레이닝 데이터를 외부로부터 수신하거나 내부 데이터베이스로부터 획득할 수 있다. 초기 트레이닝 데이터는, 예를 들어, 객체 이미지 및 객체 이미지에 매핑된 재질 정보를 포함할 수 있다.
그리고 단계(920)에서 재질 트레이닝 장치는 객체의 형태 속성을 제거할 수 있다. 예를 들어, 재질 트레이닝 장치는 객체 이미지로부터 질감 영역만을 추출함으로써, 질감 속성만을 추출하고, 형태 속성을 제거할 수 있다. 따라서, 재질 트레이닝 장치는 객체 이미지로부터 외곽 영역을 제거하고, 질감을 나타내는 내부 영역만을 남길 수 있다. 또한, 재질 트레이닝 장치는 사용자 입력에 응답하여, 수동으로 형태 속성을 제거할 수도 있다.
이어서 단계(930)에서 재질 트레이닝 장치는 질감을 합성할 수 있다. 예를 들어, 재질 트레이닝 장치는 질감 영역과 유사한 질감을 가지는 패치들을 합성함으로써 질감 이미지를 생성할 수 있다.
그리고 단계(940)에서 재질 트레이닝 장치는 재질 관련 트레이닝 데이터를 생성할 수 있다. 예를 들어, 재질 트레이닝 장치는 질감 이미지에 해당 질감 이미지에 대응하는 재질 정보를 매핑함으로써, 재질 관련 트레이닝 데이터를 생성할 수 있다.
이어서 단계(950)에서 재질 트레이닝 장치는 재질 속성에 대해 뉴럴 네트워크를 트레이닝 시킬 수 있다. 예를 들어, 재질 트레이닝 장치는 트레이닝 입력인 질감 이미지로부터 트레이닝 출력인 재질 정보가 출력되도록, 뉴럴 네트워크를 트레이닝시킬 수 있다.
그리고 단계(960)에서 재질 트레이닝 장치는 트레이닝 종료 조건을 충족하였는지 여부를 판단할 수 있다. 예를 들어, 재질 트레이닝 장치는 뉴럴 네트워크를 이용하여 산출된 출력과 트레이닝 출력 간의 손실이 임계 손실 미만으로 판단되는 경우에 응답하여, 트레이닝 종료 조건을 충족한 것으로 판단할 수 있다. 재질 트레이닝 장치는 트레이닝 종료 조건을 충족한 경우, 트레이닝을 종료할 수 있고, 충족하지 못한 경우 단계(950)으로 돌아가 트레이닝을 계속할 수 있다.
도 10은 일 실시예에 따른 재질 트레이닝 장치의 구성을 설명하는 블록도이다.
재질 트레이닝 장치(1000)는 프로세서(1010) 및 메모리(1020)를 포함한다.
프로세서(1010)는 객체 이미지로부터 질감 영역을 추출하고, 추출된 질감 영역을 확장하여 질감 이미지를 생성하며, 질감 이미지에 재질 정보를 매핑하여 트레이닝 데이터(1040)를 생성할 수 있다. 예를 들어, 프로세서(1010)는 트레이닝 입력(1041)으로부터 트레이닝 출력(1042)이 출력되도록, 재질 모델(1050)을 트레이닝시킬 수 있다.
메모리(1020)는 트레이닝 데이터(1040)를 저장할 수 있다.
다만, 프로세서(1010) 및 메모리(1020)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 9의 동작들과 결합된 동작을 수행할 수도 있다.
도 11 및 도 12는 일 실시예에 따른 재질 인식 방법을 설명한 흐름도이다.
도 11은 재질 인식 방법을 간략하게 설명한다.
우선, 단계(1110)에서 재질 인식 장치는 객체를 포함하는 입력 이미지를 획득할 수 있다. 예를 들어, 재질 인식 장치는 입력 이미지를 외부로부터 통신을 통해 수신하거나, 장치에 장착된 카메라를 통해 촬영하여 획득할 수도 있다.
그리고 단계(1120)에서 재질 인식 장치는 입력 이미지에 기초하여, 객체의 질감을 나타내는 질감 이미지를 생성할 수 있다. 예를 들어, 재질 인식 장치는 입력 이미지로부터 질감 영역을 추출하고, 질감 영역을 확장하여 질감 이미지를 생성할 수 있다. 재질 인식 장치는 입력 이미지로부터 객체 영역을 결정할 수 있다. 재질 인식 장치는 결정된 객체 영역의 적어도 일부 영역을 질감 영역으로서 추출할 수 있다.
예를 들어, 재질 인식 장치는 결정된 객체 영역의 중심 지점을 포함하는 영역을 질감 영역으로서 추출할 수 있다. 다른 예를 들어, 재질 인식 장치는 객체 영역 내에서 무작위로 미리 정한 크기의 영역을 질감 영역으로서 추출할 수 있다. 또한, 재질 인식 장치는 입력 이미지를 패치들로 분할하고, 분할된 패치들 간의 유사도를 산출하며, 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 질감 영역으로서 추출할 수 있다.
재질 인식 장치는 입력 이미지로부터 추출된 질감 영역을 미리 정한 크기로 확장할 수 있다. 재질 인식 장치는 입력 이미지의 해상도 이상의 해상도를 유지하면서, 입력 이미지로부터 추출된 질감 영역을 확장할 수 있다. 또한, 재질 인식 장치는 입력 이미지의 크기 이상으로, 입력 이미지로부터 추출된 질감 영역을 확장할 수 있다.
이어서 단계(1130)에서 재질 인식 장치는 재질 모델을 이용하여, 질감 이미지로부터 재질 정보를 인식할 수 있다. 예를 들어, 재질 인식 장치는 트레이닝 입력으로부터 트레이닝 출력이 출력되도록 트레이닝된 재질 모델을 이용하여, 질감 이미지로부터 재질 정보를 인식할 수 있다. 다만, 재질 인식 장치가 재질 모델을 이용하여 질감 이미지로부터 재질 정보를 산출하는 것으로 설명하였으나, 재질 인식 장치는 재질 모델을 이용하여 입력 이미지로부터 재질 정보를 산출할 수도 있다.
도 12는 재질 인식 방법을 보다 상세히 설명한다.
우선, 단계(1210)에서 재질 인식 장치는 입력 이미지를 획득할 수 있다. 예를 들어, 재질 인식 장치는 외부로부터 입력 이미지를 수신하거나, 카메라를 이용하여 촬영할 수도 있다.
그리고 단계(1220)에서 재질 인식 장치는 객체의 형태 속성을 제거할 수 있다. 예를 들어, 재질 인식 장치는 입력 이미지로부터 질감 영역만을 추출함으로써, 입력 이미지로부터 질감 속성만을 추출하고, 형태 속성을 배제할 수 있다.
이어서 단계(1230)에서 재질 인식 장치는 질감을 합성할 수 있다. 예를 들어, 재질 인식 장치는 질감 영역의 경계에 대해 이음매가 배제되는 패치를 합성함으로써, 질감 이미지를 생성할 수 있다.
그리고 단계(1240)에서 재질 인식 장치는 재질 속성 뉴럴 네트워크를 통해 인식을 수행할 수 있다. 일 실시예에 따르면, 재질 인식 장치는 트레이닝 데이터에 기초하여 트레이닝된 재질 모델을 이용하여, 입력 이미지에 포함된 객체의 재질 정보를 인식할 수 있다. 예를 들어, 재질 인식 장치는 복수의 재질 정보들 중 입력 이미지에 포함된 객체에 매칭하는 재질 정보를 식별(identify)할 수 있다. 다른 예를 들어, 재질 인식 장치는 기 등록된 재질 정보에 입력 이미지에 포함된 객체의 재질 정보가 매칭하는지 여부를 검증(verify)할 수도 있다.
이어서 단계(1250)에서 재질 인식 장치는 인식 결과를 출력할 수 있다. 일 실시예에 따르면, 재질 인식 장치는 재질 모델을 이용하여 입력 이미지로부터 산출된 재질 정보를 출력할 수 있다. 예를 들어, 재질 인식 장치는 외부 장치로 통신을 이용하여 재질 정보를 전달하거나, 디스플레이를 통해 재질 정보를 표시할 수 있다.
도 13은 일 실시예에 따른 재질 인식 장치의 구성을 설명하는 블록도이다.
재질 인식 장치(1300)는 프로세서(1310) 및 메모리(1320)를 포함한다.
프로세서(1310)는 객체를 포함하는 입력 이미지(1301)를 획득하고, 입력 이미지에 기초하여, 객체의 질감을 나타내는 질감 이미지를 생성하며, 재질 모델(1350)을 이용하여, 질감 이미지로부터 재질 정보(1309)를 인식할 수 있다.
메모리(1320)는 재질 모델(1350)을 저장할 수 있다. 예를 들어, 재질 모델(1350)은 도 10에서 트레이닝된 것과 동일한 모델일 수 있다.
다만, 프로레서 및 메모리(1320)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 7, 도 11, 및 도 12의 동작들과 결합된 동작을 수행할 수도 있다.
도 14는 다른 일 실시예에 따른 재질 트레이닝 장치 및 재질 인식 장치의 구성을 설명하는 블록도이다.
도 14에 도시된 장치(1400)는, 재질 인식 장치로서 동작하거나, 재질 트레이닝 장치로서 동작할 수 있다. 도 14에 도시된 장치(1400)는 획득부(1410), 처리부(1420), 저장부(1430), 및 출력부(1440)를 포함할 수 있다.
우선, 재질 인식 장치로서 동작하는 경우를 설명한다.
획득부(1410)는 입력 이미지를 획득할 수 있다. 예를 들어, 획득부(1410)는 외부 공간을 촬영하여 입력 이미지를 획득하는 카메라를 포함할 수 있다. 다른 예를 들어, 획득부(1410)는 외부 장치로부터 입력 이미지를 수신하는 통신부를 포함할 수 있다.
처리부(1420)는 재질 모델을 이용하여 입력 이미지로부터 재질 정보를 산출할 수 있다. 처리부(1420)의 동작은 도 1 내지 도 13에서 상술한 프로세서의 동작과 유사할 수 있다.
저장부(1430)는 재질 모델을 저장할 수 있다. 또한, 저장부(1430)는 도 1 내지 도 13에서 설명한 동작들을 수행하기 위한 명령어들을 포함하는 프로그램을 저장할 수 있다.
출력부(1440)는 처리부(1420)에 의해 산출된 재질 정보를 출력할 수 있다. 예를 들어, 출력부(1440)는 디스플레이를 통해, 산출된 재질 정보를 시각화할 수 있다.
다음으로, 재질 트레이닝 장치로서 동작하는 경우를 설명한다.
획득부(1410)는 트레이닝 입력을 획득할 수 있다. 예를 들어, 획득부(1410)는 저장부(1430)에 저장된 트레이닝 데이터로부터 트레이닝 입력을 로딩할 수 있다.
처리부(1420)는 트레이닝 입력으로부터 트레이닝 출력이 출력되도록 재질 모델을 트레이닝 시킬 수 있다. 처리부(1420)의 동작은 도 1 내지 도 13에서 상술한 프로세서의 동작과 유사할 수 있다.
저장부(1430)는 트레이닝 데이터 및 재질 모델을 저장할 수 있다. 또한, 저장부(1430)는 도 1 내지 도 13에서 설명한 동작들을 수행하기 위한 명령어들을 포함하는 프로그램을 저장할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 객체 이미지
109: 재질 정보
110: 재질 모델

Claims (22)

  1. 재질 인식 방법에 있어서,
    객체를 포함하는 입력 이미지를 획득하는 단계
    상기 입력 이미지에 기초하여, 상기 객체의 질감을 나타내는 질감 이미지를 생성하는 단계; 및
    재질 모델을 이용하여, 상기 질감 이미지로부터 재질 정보를 인식하는 단계
    를 포함하는 재질 인식 방법.
  2. 제1항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 입력 이미지로부터 질감 영역을 추출하는 단계; 및
    상기 질감 영역을 확장하여 상기 질감 이미지를 생성하는 단계
    를 포함하는 재질 인식 방법.
  3. 제2항에 있어서,
    상기 질감 영역을 추출하는 단계는,
    상기 입력 이미지로부터 객체 영역을 결정하는 단계; 및
    상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 인식 방법.
  4. 제3항에 있어서,
    상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는,
    상기 결정된 객체 영역의 중심 지점을 포함하는 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 인식 방법.
  5. 제3항에 있어서,
    상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는,
    상기 객체 영역 내에서 무작위로 미리 정한 크기의 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 인식 방법.
  6. 제2항에 있어서,
    상기 질감 영역을 추출하는 단계는,
    상기 입력 이미지를 패치들로 분할하는 단계;
    상기 분할된 패치들 간의 유사도를 산출하는 단계; 및
    상기 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 인식 방법.
  7. 제1항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 입력 이미지로부터 추출된 질감 영역을 미리 정한 크기로 확장하는 단계
    를 포함하는 재질 인식 방법.
  8. 제1항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 입력 이미지의 해상도 이상의 해상도를 유지하면서, 상기 입력 이미지로부터 추출된 질감 영역을 확장하는 단계
    를 포함하는 재질 인식 방법.
  9. 제1항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 입력 이미지의 크기 이상으로, 상기 입력 이미지로부터 추출된 질감 영역을 확장하는 단계
    를 포함하는 재질 인식 방법.
  10. 객체 이미지(object image)로부터 질감 영역(texture region)을 추출(extract)하는 단계;
    상기 추출된 질감 영역을 확장하여 질감 이미지(texture image)를 생성하는 단계; 및
    상기 질감 이미지에 재질 정보(material information)를 매핑하여 트레이닝 데이터를 생성하는 단계
    를 포함하는 재질 트레이닝 방법.
  11. 제10항에 있어서,
    상기 트레이닝 데이터를 이용하여 상기 질감 이미지 및 상기 객체 이미지 중 하나로부터 상기 재질 정보를 출력하도록, 재질 모델(material model)을 트레이닝시키는 단계
    를 더 포함하는 재질 트레이닝 방법.
  12. 제10항에 있어서,
    상기 질감 영역을 추출하는 단계는,
    상기 객체 이미지로부터 객체 영역을 결정하는 단계; 및
    상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 트레이닝 방법.
  13. 제12항에 있어서,
    상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는,
    상기 결정된 객체 영역의 중심 지점을 포함하는 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 트레이닝 방법.
  14. 제12항에 있어서,
    상기 결정된 객체 영역의 적어도 일부 영역을 상기 질감 영역으로서 추출하는 단계는,
    상기 객체 영역 내에서 무작위로 미리 정한 크기의 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 트레이닝 방법.
  15. 제10항에 있어서,
    상기 질감 영역을 추출하는 단계는,
    상기 객체 이미지를 패치(patch)들로 분할(segment)하는 단계;
    상기 분할된 패치들 간의 유사도를 산출하는 단계; 및
    상기 유사도가 임계 유사도 이상인 패치를 포함하는 영역을 상기 질감 영역으로서 추출하는 단계
    를 포함하는 재질 트레이닝 방법.
  16. 제10항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 질감 영역을 미리 정한 크기로 확장하는 단계
    를 포함하는 재질 트레이닝 방법.
  17. 제1항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 객체 이미지의 해상도 이상의 해상도를 유지하면서, 상기 질감 영역을 확장하는 단계
    를 포함하는 재질 트레이닝 방법.
  18. 제10항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    상기 객체 이미지의 크기 이상으로, 상기 질감 영역을 확장하는 단계
    를 포함하는 재질 트레이닝 방법.
  19. 제10항에 있어서,
    상기 질감 이미지를 생성하는 단계는,
    시각적 결함이 배제되도록 상기 질감 영역을 확장하는 단계
    를 포함하는 재질 트레이닝 방법.
  20. 제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  21. 재질 인식 장치에 있어서,
    재질 모델을 저장하는 메모리; 및
    객체를 포함하는 입력 이미지를 획득하고, 상기 입력 이미지에 기초하여, 상기 객체의 질감을 나타내는 질감 이미지를 생성하며, 상기 재질 모델을 이용하여, 상기 질감 이미지로부터 재질 정보를 인식하는 프로세서
    를 포함하는 재질 인식 장치.
  22. 재질 트레이닝 장치에 있어서,
    객체 이미지로부터 질감 영역을 추출하고, 상기 추출된 질감 영역을 확장하여 질감 이미지를 생성하며, 상기 질감 이미지에 재질 정보를 매핑하여 트레이닝 데이터를 생성하는 프로세서; 및
    상기 트레이닝 데이터를 저장하는 메모리
    를 포함하는 재질 트레이닝 장치.
KR1020160152428A 2016-11-16 2016-11-16 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치 KR20180055070A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160152428A KR20180055070A (ko) 2016-11-16 2016-11-16 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치
US15/592,461 US10607109B2 (en) 2016-11-16 2017-05-11 Method and apparatus to perform material recognition and training for material recognition
EP17177454.0A EP3324339B1 (en) 2016-11-16 2017-06-22 Method and apparatus to perform material recognition and training for material recognition
CN201710673817.9A CN108073942A (zh) 2016-11-16 2017-08-01 执行材料识别和用于材料识别的训练的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160152428A KR20180055070A (ko) 2016-11-16 2016-11-16 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180055070A true KR20180055070A (ko) 2018-05-25

Family

ID=59215565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160152428A KR20180055070A (ko) 2016-11-16 2016-11-16 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10607109B2 (ko)
EP (1) EP3324339B1 (ko)
KR (1) KR20180055070A (ko)
CN (1) CN108073942A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055168A (ko) * 2018-11-06 2020-05-21 포항공과대학교 산학협력단 질감 신호 제공 장치 및 방법
KR102184833B1 (ko) * 2020-07-19 2020-11-30 박헌우 사용자 단말을 이용한 시공 방법
KR102642894B1 (ko) * 2023-05-03 2024-03-04 주식회사 키위스튜디오 그림 이미지를 식별하는 방법, 장치 및 컴퓨터 프로그램

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101463005B1 (ko) * 2013-10-15 2014-11-18 (주)한국해양기상기술 특정 파장에 대한 형광 특성을 갖는 미생물 검사방법
US11055580B2 (en) * 2017-06-05 2021-07-06 Siemens Aktiengesellschaft Method and apparatus for analyzing an image
US10699453B2 (en) * 2017-08-17 2020-06-30 Adobe Inc. Digital media environment for style-aware patching in a digital image
US10672164B2 (en) 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
US10614557B2 (en) 2017-10-16 2020-04-07 Adobe Inc. Digital image completion using deep learning
JP6587195B2 (ja) * 2018-01-16 2019-10-09 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体
US10755391B2 (en) 2018-05-15 2020-08-25 Adobe Inc. Digital image completion by learning generation and patch matching jointly
CN110848745A (zh) * 2018-08-21 2020-02-28 青岛海尔智能技术研发有限公司 燃气灶控制方法及装置、燃气灶、计算机设备、存储介质
JP2020106936A (ja) * 2018-12-26 2020-07-09 オムロン株式会社 画像検査システム設計装置、画像検査システム設計方法及び画像検査システム設計プログラム
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
CN111107264A (zh) * 2019-11-11 2020-05-05 宇龙计算机通信科技(深圳)有限公司 图像处理方法、装置、存储介质以及终端
KR102374840B1 (ko) * 2020-10-20 2022-03-15 두산중공업 주식회사 딥러닝 학습용 결함 이미지 생성 방법 및 이를 위한 시스템
CN112818835A (zh) * 2021-01-29 2021-05-18 南京大学 一种利用机器学习方法快速识别和分析二维材料的方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005006278A2 (en) 2003-06-30 2005-01-20 Honda Motor Co., Ltd. Systems and methods for training component-based object identification systems
KR100963744B1 (ko) 2003-07-31 2010-06-14 엘지전자 주식회사 축구 동영상의 이벤트 학습 및 검출방법
KR20060007901A (ko) 2004-07-22 2006-01-26 삼성전자주식회사 영상으로부터의 중요 객체 추출 장치 및 방법
US7853072B2 (en) 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
US20100104158A1 (en) * 2006-12-21 2010-04-29 Eli Shechtman Method and apparatus for matching local self-similarities
DE602008001607D1 (de) 2007-02-28 2010-08-05 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
KR101030613B1 (ko) 2008-10-08 2011-04-20 아이리텍 잉크 아이이미지에서 관심영역정보 및 인식적 정보획득방법
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
MY174435A (en) * 2009-11-26 2020-04-18 Univ Malaysia Teknologi Methods and system for recognizing wood species
US8565536B2 (en) * 2010-04-01 2013-10-22 Microsoft Corporation Material recognition from an image
US8737725B2 (en) 2010-09-20 2014-05-27 Siemens Aktiengesellschaft Method and system for learning based object detection in medical images
US9171213B2 (en) 2013-03-15 2015-10-27 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
CN104156689B (zh) * 2013-05-13 2017-03-22 浙江大华技术股份有限公司 一种对目标对象的特征信息进行定位的方法和设备
US9317752B2 (en) 2013-06-20 2016-04-19 Xerox Corporation Method for detecting large size and passenger vehicles from fixed cameras
US9355406B2 (en) * 2013-07-18 2016-05-31 GumGum, Inc. Systems and methods for determining image safety
KR102224936B1 (ko) 2014-03-18 2021-03-08 에스케이플래닛 주식회사 식별을 위해 확장된 영역에 대한 특징을 수집하는 학습 장치 및 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101485512B1 (ko) 2014-03-28 2015-01-23 주식회사 성우음향정보통신 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
US9842274B2 (en) 2014-03-28 2017-12-12 Xerox Corporation Extending data-driven detection to the prediction of object part locations
KR102199094B1 (ko) 2014-05-26 2021-01-07 에스케이텔레콤 주식회사 관심객체 검출을 위한 관심영역 학습장치 및 방법
US20160162760A1 (en) 2014-12-08 2016-06-09 Canon Kabushiki Kaisha Devices, systems, and methods for learning and identifying visual features of materials
CN105046191A (zh) * 2015-05-13 2015-11-11 信阳师范学院 一种纹理图像识别方法
EP3115971B1 (en) * 2015-06-02 2020-06-03 Samsung Electronics Co., Ltd. Method and apparatus for providing three-dimensional data of cloth
US9691161B1 (en) * 2015-09-25 2017-06-27 A9.Com, Inc. Material recognition for object identification
DE102016120775A1 (de) * 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055168A (ko) * 2018-11-06 2020-05-21 포항공과대학교 산학협력단 질감 신호 제공 장치 및 방법
KR102184833B1 (ko) * 2020-07-19 2020-11-30 박헌우 사용자 단말을 이용한 시공 방법
KR102642894B1 (ko) * 2023-05-03 2024-03-04 주식회사 키위스튜디오 그림 이미지를 식별하는 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
EP3324339B1 (en) 2024-07-03
US20180107896A1 (en) 2018-04-19
CN108073942A (zh) 2018-05-25
EP3324339A1 (en) 2018-05-23
US10607109B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
KR20180055070A (ko) 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치
US11450063B2 (en) Method and apparatus for training object detection model
CN110168477B (zh) 用于长方体检测的深度学习系统
KR102450374B1 (ko) 데이터 인식 및 트레이닝 장치 및 방법
US10860837B2 (en) Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
CN111738231B (zh) 目标对象检测方法、装置、计算机设备和存储介质
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
KR101362631B1 (ko) 머리 인식 방법
US20210264144A1 (en) Human pose analysis system and method
EP2907082B1 (en) Using a probabilistic model for detecting an object in visual data
KR101930940B1 (ko) 영상 분석 장치 및 방법
KR20150111641A (ko) 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
KR20190128930A (ko) 영상 정규화 장치 및 방법
KR20190126857A (ko) 이미지에서 오브젝트 검출 및 표현
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
KR20160053749A (ko) 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템
TW202141424A (zh) 目標跟蹤方法及裝置、存儲介質
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN115131849A (zh) 图像生成方法以及相关设备
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
KR102665603B1 (ko) 스테레오 매칭을 위한 하드웨어 디스패러티 평가
CN116704264B (zh) 动物分类方法、分类模型训练方法、存储介质及电子设备
Bode et al. Bounded: Neural boundary and edge detection in 3d point clouds via local neighborhood statistics
US20220180548A1 (en) Method and apparatus with object pose estimation
CN111160219B (zh) 对象完整度评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right