KR101906663B1 - 다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치 - Google Patents

다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치 Download PDF

Info

Publication number
KR101906663B1
KR101906663B1 KR1020160049385A KR20160049385A KR101906663B1 KR 101906663 B1 KR101906663 B1 KR 101906663B1 KR 1020160049385 A KR1020160049385 A KR 1020160049385A KR 20160049385 A KR20160049385 A KR 20160049385A KR 101906663 B1 KR101906663 B1 KR 101906663B1
Authority
KR
South Korea
Prior art keywords
color
feature
features
learning
spaces
Prior art date
Application number
KR1020160049385A
Other languages
English (en)
Other versions
KR20170096924A (ko
Inventor
노용만
김형일
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20170096924A publication Critical patent/KR20170096924A/ko
Application granted granted Critical
Publication of KR101906663B1 publication Critical patent/KR101906663B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00221—
    • G06K9/00234—
    • G06K9/00268—
    • G06K9/6202—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 협동 얼굴 컬러 특징 학습 방법은 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출하는 단계; 및 상기 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 단계를 포함하고, 상기 컬러 특징을 추출하는 단계는 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출할 수 있다.

Description

다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치{COLLABORATIVE FACIAL COLOR FEATURE LEARNING METHOD OF MULTIPLE COLOR SPACES FOR FACE RECOGNITION AND APPARATUS THEREFOR}
본 발명은 협동 얼굴 컬러 특징 학습에 관한 것으로서, 보다 상세하게는 다양한 컬러 공간에서의 추출된 컬러 특징들을 학습을 통해 융합함으로써, 융합된 특징을 이용하여 얼굴 인식률을 향상시킬 수 있는 방법 및 장치에 관한 것이다.
얼굴 컬러는 얼굴 인식에서 중요한 요소이고 서로 다른 컬러 공간은 상호 보완적인 정보를 제공한다. 특히, 얼굴 컬러 정보를 이용한 얼굴 인식 정확도는 조도 변화나 저해상도 환경에서 향상된 인식률을 제공한다고 알려져 있다.
많은 얼굴 컬러 기반 얼굴 인식 프레임워크는 수십년간 연구 되었으며, 일 실시예의 기술은 흑백 얼굴 인식 프레임워크를 컬러 얼굴인식 프레임워크로 발전시키고, 다른 일 실시예의 기술은 얼굴 컬러 이미지에서 상호 보완 효과를 최대로 하기 위하여, 지역 컬러 벡터 이진 패턴(LCVBPs)이 서로 다른 스펙트럼 밴드 이미지 사이에 공간적인 상호작용으로부터 얻어진 식별력 있는 텍스쳐(texture) 패턴을 표현하기 위해 제시되기도 하였다.
얼굴인식에서 더 식별력 있는 컬러 공간을 얻기 위해 얼굴 인식 프레임워크에 기반한 컬러 이미지 식별(CID) 공간이 디자인되었으며, RGB 컬러 공간의 R, YIQ 컬러 공간의 Q, YCbCr 컬러 공간의 Cr을 사용하여 RQCr이라고 명명되는 하이브리드 컬러 공간 구성이 제안되기도 하였다.
그러나, 선택된 컬러 공간에 따른 얼굴 인식 정확도는 얼굴 인식 응용 사례와 환경에 따라 달라질 수 있다.
다양한 컬러 공간으로부터 컬러 공간 선택 시 최상의 얼굴 인식률을 구하기 위하여, 컬러-요소 특징을 선택하는 프레임워크가 제시된 바 있으며, 딥 러닝 프레임워크는 높은 영상 인식률을 보여 연구자들 사이에서 많은 주목을 끌고 있고, 딥 러닝 프레임워크를 얼굴인식에 적용시키는 경우 얼굴 인식률이 상당히 증가하였다.
현재, 얼굴 인식 딥 러닝에서 보통은 RGB 컬러 이미지(또는 흑백 이미지)들이 이용되며, 딥 러닝 프레임워크에서 컬러 이용에 관한 연구는 아직 충분히 진행되지 않은 상태이다. 얼굴 컬러의 잘 알려진 장점과 그것의 효용성에도 불구하고 딥 러닝에서 얼굴 컬러의 효과는 여전히 미완성된 문제이다.
따라서, 얼굴 인식률을 향상시킬 수 있는 방법의 필요성이 대두된다.
본 발명의 실시예들은, 다양한 컬러 공간에서의 추출된 컬러 특징들을 학습을 통해 융합함으로써, 융합된 특징을 이용하여 얼굴 인식률을 향상시킬 수 있는 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 얼굴 컬러 특징 학습 방법은 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출하는 단계; 및 상기 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 단계를 포함한다.
상기 컬러 특징을 추출하는 단계는 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출할 수 있다.
상기 융합 특징을 생성하는 단계는 상기 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 상기 융합 특징을 생성할 수 있다.
상기 융합 특징을 생성하는 단계는 상기 추출된 컬러 특징들에 대하여 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성할 수 있다.
상기 DNN은 복수의 완전 연결 레이어(fully connected layer)로 구성될 수 있다.
본 발명의 일 실시예에 따른 얼굴 컬러 특징을 이용한 얼굴 인식 방법은 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출하는 단계; 상기 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 단계; 및 상기 생성된 융합 특징에 기초하여 상기 얼굴 이미지의 얼굴을 인식하는 단계를 포함한다.
상기 컬러 특징을 추출하는 단계는 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출할 수 있다.
상기 융합 특징을 생성하는 단계는 상기 추출된 컬러 특징들에 대하여 복수의 완전 연결 레이어(fully connected layer)로 구성된 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성할 수 있다.
본 발명의 일 실시예에 따른 얼굴 컬러 특징 학습 장치는 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출하는 추출부; 및 상기 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 융합부를 포함한다.
상기 추출부는 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출할 수 있다.
상기 융합부는 상기 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 상기 융합 특징을 생성할 수 있다.
상기 융합부는 상기 추출된 컬러 특징들에 대하여 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성할 수 있다.
상기 DNN은 복수의 완전 연결 레이어(fully connected layer)로 구성될 수 있다.
본 발명의 일 실시예에 따른 얼굴 컬러 특징을 이용한 얼굴 인식 장치는 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출하는 추출부; 상기 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 융합부; 및 상기 생성된 융합 특징에 기초하여 상기 얼굴 이미지의 얼굴을 인식하는 인식부를 포함한다.
상기 추출부는 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출할 수 있다.
상기 융합부는 상기 추출된 컬러 특징들에 대하여 복수의 완전 연결 레이어(fully connected layer)로 구성된 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성할 수 있다.
본 발명의 실시예들에 따르면, 다양한 컬러 공간에서의 추출된 컬러 특징들을 학습을 통해 융합함으로써, 융합된 특징을 이용하여 얼굴 인식률을 향상시킬 수 있다.
도 1은 컬러 공간에서의 기준이 되는 DCNN 구조에 대한 예시도를 나타낸 것이다.
도 2는 서로 다른 공간에서의 학습된 필터 커널의 예들을 나타낸 것이다.
도 3은 본 발명의 실시예에 따른 협동 얼굴 컬러 특징 학습 방법을 설명하기 위한 예시도를 나타낸 것이다.
도 4는 얼굴 이미지의 각 컬러 공간에 대한 제1 컨볼루션 레이어(C1)에서의 특징 맵을 나타낸 것이다.
도 5는 얼굴 이미지의 각 컬러 공간에 대한 제2 컨볼루션 레이어(C2)에서의 특징 맵을 나타낸 것이다.
도 6은 컬러 공간과 테스트 이미지에 대한 2차원 특징 부분 공간에 대한 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 협동 얼굴 컬러 특징 학습 장치에 대한 구성을 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 얼굴 컬러 특징을 이용한 얼굴 인식 장치에 대한 구성을 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, 다양한 컬러 공간에서의 추출된 컬러 특징들을 학습을 통해 융합함으로써, 융합된 특징을 이용하여 얼굴 인식률을 향상시키는 것을 그 요지로 한다.
도 1은 컬러 공간에서의 기준이 되는 DCNN 구조에 대한 예시도를 나타낸 것으로, 도 1에 도시된 바와 같이, 기준이 되는 DCNN은 4개의 컨볼루션 레이어(Convolution Layer)(C1, C2, C3 그리고 C4), 2개의 서브샘플링 레이어(Subsampling Layer)(또는 Max Pooling layer)(S1, S2) 그리고 2개의 완전 연결 레이어(Fully Connected Layer)로 총 8개의 레이어(L=8)로 구성된다.
여기서, 완전 연결 레이어는 F1과 Softmax 함수로 구성된 출력 레이어로 구성될 수 있다
입력 얼굴 이미지의 크기는 32x32 화소로, 3개 컬러 요소에 대해 32개의 특징 맵은 3x3 크기의 32개 커널(kernel)(32@3x3으로 표현됨)과의 컨볼루션(convolution)에 의해 얻어지며, 컨볼루션 연산은 아래 <수학식 1>과 같이 이루어진다.
[수학식 1]
Figure 112016038971885-pat00001
여기서, hj (l)은 l번째 레이어에서 j 번째 특징 맵을 의미하고, nl은 l번째 레이어에서 특징 맵의 개수를 의미하며, wij (l)은 가중치를 의미하고, bj (l)은 바이어스를 의미할 수 있다.
DCNN은 가중치와 바이어스로 학습되며, 컬러 얼굴 이미지의 첫 번째 컨볼루션 레이어는 아래 <수학식 2>와 같이 계산될 수 있다.
[수학식 2]
Figure 112016038971885-pat00002
여기서, Ck={Ck 1, Ck 2, Ck 3}이고, 세 개의 컬러 요소를 의미할 수 있다. 예를 들어, RGB 이미지의 경우 Ck 1는 R, Ck 2는 G, Ck 3는 B를 의미할 수 있다. 즉, 컬러 얼굴 이미지를 입력으로 받는 첫 번째 컨볼루션 레이어에서 컨볼루션은 DCNN의 가중치 파라미터들을 가지는 컬러 요소들의 가중치 합일 수 있다.
DCNN에서 학습된 가중치들은 입력 얼굴 이미지의 컬러 공간에 의하여 다른 모양을 가질 수 있다.
도 2는 서로 다른 공간에서의 학습된 필터 커널의 예들을 나타낸 것으로, RGB(a), La*b*(b), YCbCr(c) 및 HSV(d)의 컬러 공간들에서 학습된 제1 컨볼루션 레이어의 3x3 필터 커널들(DCNN의 가중치들)의 예를 나타낸 것이다.
도 2에 도시된 바와 같이, 가중치들은 서로 다른 모양을 가지고, 이는 각 입력 컬러 얼굴 이미지에 대응되는 활성화 맵(activation map)이 서로 다른 응답 결과를 가지게 된다. 이에 대해 도 5와 도 6에서 설명한다.
서로 다른 컬러 공간에서 학습된 특징들 즉, 히든 레이어들의 출력은 다른 특징 부분 공간(subspace)에 제시될 수 있고, 이는 상호 보완 효과를 낼 수 있다. 이하, 본 발명의 상세한 설명에서 컬러 공간 Ck로 학습된 DCNN을 DCNN-Ck로 표기하여 설명한다.
도 3은 본 발명의 실시예에 따른 협동 얼굴 컬러 특징 학습 방법을 설명하기 위한 예시도를 나타낸 것으로, 협동 얼굴 컬러 특징 학습 프레임워크를 나타낸 것이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 협동 얼굴 컬러 특징 학습 프레임워크는 딥 학습 프레임워크에서 다양한 컬러 공간의 상호 보완 효과에 의해 유도되는 것으로, 1) 다양한 컬러 공간에서 DCNN에 의해 각각의 컬러 특징 추출, 2) DCNN을 이용한 다양한 컬러 특징 융합으로 구성된다.
협동 얼굴 컬러 특징 학습 프레임워크는 입력 얼굴 이미지 예를 들어, RGB 얼굴 이미지로부터 다양한 컬러 공간 예를 들어, RGB, YCbCr
Figure 112016038971885-pat00003
, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 그리고 La*b*을 생성한다. 즉, 입력 얼굴 이미지는 다양한 컬러 공간으로 변형된다. 협동 얼굴 컬러 특징 학습 프레임워크는 생성된 각각의 컬러 공간(DCNN-Ck)에서 DCNN 학습을 통해 각각의 컬러 공간에서의 특징을 담은 정보를 획득할 수 있다. 협동 얼굴 컬러 특징 학습 프레임워크에서 다양한 컬러 특징 융합은 다양한 컬러 공간으로부터 학습된 특징을 한 곳에 모으기 위해 사용된다.
여기서, 다양한 컬러 특징이 융합된 융합 특징은 높은 얼굴 인식률을 얻기 위하여, 다양한 컬러 공간으로부터 모든 특징 벡터들을 연쇄시켜 결합함으로써, 획득될 수 있다. 그러나, 다양한 컬러 공간의 특징 벡터들의 변별 능력(discriminative capabilities)은 상이하고, 따라서 최대 성능이 모든 특징 벡터들은 간단히 연쇄시킨다고 보장되는 것은 아니다. 또한, 증가된 차원에 의한 차원의 문제도 발생할 수 있다.
협동 얼굴 컬러 특징 학습 프레임워크에서의 융합 특징은 복수의 완전 연결 레이어(fully connected layer)로 구성된 DNN(deep neural networks)을 학습함으로써, 생성 또는 획득될 수 있다. 따라서, 협동 얼굴 컬러 특징 학습 프레임워크는 다양한 컬러 공간에서 DCNN-Ck로부터 학습된 특징 벡터를 학습하고 모아서 최종 출력되는 특징 벡터는 필수적인 내용만을 담고 있으며, 이는 학습된 특징의 식별력을 향상시킬 수 있다.
도 4에 대해 조금 더 설명하면, 입력으로 사용되는 컬러 예를 들어, RGB 얼굴 이미지는 다양한 컬러 공간 예를 들어, RGB, YCbCr
Figure 112016038971885-pat00004
, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 그리고 La*b*으로 변형된다. 그리고, 다양한 컬러 공간에서 학습된 DCNN 즉, DCNN-C1, DCNN-C2, DCNN-C3 등으로 명명되는 DCNN으로부터 d-차원의 다양한 특징 벡터들 yc1, yc2, yc3,... , ycn이 추출된다. 이러한 모든 특징 벡터들을 연쇄시키면 (nxd)-차원의 특징 벡터 즉, 융합 특징이 형성된다. 즉,
Figure 112016038971885-pat00005
이 된다. 그 후, 앞단에서 나온 y에 대해, Q(m)과 b(m)을 이용하여 파라미터가 결정되는 DNN이 결합된 특징 벡터를 아래 <수학식 3>과 같이 얻을 수 있다.
[수학식 3]
Figure 112016038971885-pat00006
여기서, Q(m)과 b(m)는 각각 DNN의 m 번째 레이어의 가중치와 바이어스를 의미하고, M은 DNN에서 레이어의 수를 의미하며, f(m)은 m 번째 레이어에서 특징 벡터를 모아 놓은 것을 의미하고, f(0)=y일 수 있다.
DNN 파라미터에 의해 연쇄된 특징 벡터는 낮은 차원의 혼합된 특징 공간으로 맵핑(mapping)될 수 있고, 다양한 컬러 공간으로부터 혼합된 컬러 특징은 압축된 형태로 입력 정보를 묘사할 수 있다. 나아가, 식별력 있는 특징 벡터의 경우 DNN의 학습된 가중치에 의해 강조될 수 있다.
이와 같이, 본 발명의 실시예에 따른 협동 얼굴 컬러 특징 학습 프레임워크는 다양한 컬러 공간에서의 추출된 컬러 특징들을 학습을 통해 융합함으로써, 융합된 특징을 이용하여 얼굴 인식률을 향상시킬 수 있다.
즉, 본 발명은 협동 얼굴 컬러 특징 학습 프레임워크에 의해 학습된 얼굴 이미지에 대한 융합 특징을 이용하여 얼굴 이미지의 얼굴을 인식할 수 있다.
다시 말해, 본 발명의 다른 실시예는, 얼굴 이미지에 대한 다양한 컬러 공간에서의 컬러 특징을 추출하고, 추출된 다양한 컬러 공간에서의 컬러 특징들의 학습에 기초하여 컬러 특징들이 융합된 융합 특징을 생성하며, 생성된 융합 특징에 기초하여 얼굴 이미지의 얼굴을 인식함으로써, 얼굴 인식률을 향상시킬 수 있다.
이러한 본 발명은 다음과 같은 실험을 통해 얼굴 인식률을 증명할 수 있다.
먼저, 본 발명을 증명하기 위하여, RGB 얼굴 이미지로부터 9가지의 서로 다른 컬러 공간인 YCbCr
Figure 112016038971885-pat00007
, YIQ, XYZ, HSV, RIQ, RQCr, YQCr, La*b* 그리고 흑백을 생성한다. 이 때, 실험을 위하여, 조도 변화 아래서 촬영된 Multi-PIE dataset을 사용하며, Dataset은 200개 주제에 대해 14320개의 트레이닝 이미지(training image), 5863개의 프로브(probe) 얼굴 이미지, 137개 주제로부터 137 갤러리 얼굴 이미지(총 주제의 수는 337개)로 구성될 수 있다.
모든 얼굴 이미지는 32x32 픽셀로 사이즈 변환되며, 트레이닝과 테스팅 시 사용되는 사람의 주체 정보(subject 또는 ID)는 서로 다르고, 얼굴 인식률은 갤러리 얼굴 이미지에서 추출된 특징 벡터로부터 프로브 얼굴 이미지에서 추출된 특징 벡터까지 1-최근접 이웃 분류(nearest neighbor classification) 방식으로 산출한다.
본 발명의 DCNN 구조에서 학습률(learning rate) 은 0.01로 설정되고 지수함수로 감쇄하며, 드롭아웃(dropout)의 확률은 Softmax 레이어에서 0.5이고, 두 개의 서브샘플링 레이어에서 0.25이다. DNN 구조에서 두 개의 완전 연결 레이어는 2048개의 유닛과 512개의 유닛 그리고 Softmax 레이어로 구성된다. DNN에서 학습 속도는 0.001이며 드롭아웃 확률은 0.5로 설정된다.
그리고 DCNN-Ck에서, 마지막 Softmax 레이어를 위한 활성화 함수 σ(x)는 시그모이드(sigmoid) 함수이고, σ(x)=1/(1-e-x) 일 수 있다. 그 외 다른 레이어에서 활성화 함수로 ReLU가 사용될 수 있다. 즉,
Figure 112016038971885-pat00008
Figure 112016038971885-pat00009
일 수 있다. 또한, DCNN과 DNN을 모두 학습하기 위해서 크로스 엔트로피 로스(cross-entropy loss)함수가 사용된다.
상술한 실험에 대한 실험 결과에 대하여, 아래 표 1은 다양한 컬러 공간으로 학습된 DCNN-Ck의 얼굴 인식률(FR accuracy)을 보여준다.
Figure 112016038971885-pat00010
표 1을 통해 알 수 있듯이, 전반적으로 컬러 얼굴 이미지의 얼굴 인식률은 흑백 얼굴 이미지의 인식률 보다 높은 것을 알 수 있으며, La*b*
Figure 112016038971885-pat00011
얼굴 이미지의 경우 흑백 이미지와 비교하여 얼굴인식률은 17.05% 더 높고 RGB 얼굴 인식과 비교했을 때 8.27% 높은 것을 알 수 있다. 이는 얼굴 신분 정보가 컬러 공간에 따라 DCNN-Ck에서 다르게 학습됨을 보이고 있다.
예를 들어, 도 5와 도 6은 처음 두 개의 컨볼루션 레이어를 지났을 때의 테스트 얼굴 이미지를 보여주는 것으로, 얼굴 신분 특징 맵은 DCNN-Ck
Figure 112016038971885-pat00012
에 의해 서로 다른 컬러 공간에 서로 다른 모습으로 나타난다. 뿐만 아니라 도 7에 도시된 바와 같이, 특징 서브 공간에 있는 Class1(RGB)와 Class1(Y
Figure 112016038971885-pat00013
CbCr) Class1에 대해 RGB와 YCbCr 특징을 살펴보면 같은 ID를 가짐에도 불구하고 매우 멀리 떨어져 있으며, 심지어 특징 서브 공간에서 클래스간 거리를 넘기도 하는 것을 알 수 이다.
다양한 컬러 공간에서 각각의 특징에 존재하는 상호보완 효과를 분석하기 위해, Fisher의 기준을 기반으로 하여 연쇄된 4,608(512차원 x 9컬러 공간)차원 특징 벡터로부터 일부 특징만을 뽑으며, 4,608 차원 특징벡터로부터 3,000 특징 벡터가 선택될 때, 얼굴 인식률은 약 87%이다. 3,000 특징 벡터는 각각 RGB, YCbCr
Figure 112016038971885-pat00014
, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 그리고 La*b*
Figure 112016038971885-pat00015
컬러 공간으로부터 338, 326, 342, 326, 341, 333, 327, 357, 310개의 특징들로 구성되며, 각각의 컬러 공간에서 기여된 특징들은 약 10퍼센트 정도로 균등한 비율로 존재한다.
상기 표 1에 도시된 바와 같이, 하나의 DCNN-Ck
Figure 112016038971885-pat00016
가 사용된 얼굴 인식 성능 결과로부터 다양한 컬러 공간에서 학습된 특징이 얼굴 인식 결과에서 상호 보완적인 효과를 발생시키는 것을 알 수 있다.
아래 [표 2]는 Multi-PIE dataset으로 제시된 방법(collaborative feature learning)을 이용한 얼굴 인식 성능과 특징-레벨 연쇄 방법(feature-level concatenation)을 이용한 얼굴 인식 성능을 비교한 결과를 나타낸 것이다.
Figure 112016038971885-pat00017
상술한 바와 같이, 9개의 컬러 공간에서 얻어진 특징들을 연쇄적으로 연결하여 이용하는 경우 얼굴 인식 정확도는 87.34%까지 증가한다. 단순히 다양한 특징들을 융합함으로써, 서로 다른 컬러 공간으로부터 매우 식별력있는 결과를 얻을 수 있다. DNN에 제시된 특징 융합 방법이 사용되었을 때, 얼굴 인식 정확도는 더 낮은 특징 차원으로도 향상될 수 있으며, 중요하지 않은 특징들을 제거하면서 여러 개의 DCNN-Ck로부터 상호 보완적인 정보들을 이용하여 특징 융합을 통해 학습을 진행할 수 있다.
이와 같이, 본 발명의 실시예들에 따른 방법은 컬러 얼굴 이미지에서 얼굴 인식이 흑백 얼굴 인식보다 훨씬 높음을 알 수 있으며, 얼굴 인식률은 다양한 컬러 공간에서 학습된 특징들의 선택과 융합에 따라 향상되는 것을 알 수 있다. 특히, 융합된 특징을 기반으로 하는 DNN을 통하여 다양한 컬러 공간에 존재하는 상호 보완적인 정보를 충분히 이용할 수 있으며, 그 결과 얼굴 인식률이 더욱 더 향상될 수 있다.
도 7은 본 발명의 일 실시예에 따른 협동 얼굴 컬러 특징 학습 장치에 대한 구성을 나타낸 것으로, 상술한 협동 얼굴 컬러 특징 학습 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 7을 참조하면, 본 발명의 실시예에 따른 협동 얼굴 컬러 특징 학습 장치(700)는 추출부(710)와 융합부(720)를 포함한다.
추출부(710)는 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출한다.
이 때, 추출부(710)는 컬러 공간들 각각의 DCNN의 특징을 학습함으로써, 컬러 공간들 각각의 컬러 특징을 추출할 수 있다.
이러한 추출부에 대한 내용은 이 외에도 상술한 방법에서 컬러 공간들에서 컬러 특징을 추출하는 모든 내용을 포함할 수 있다.
융합부(720)는 추출된 컬러 특징들의 학습에 기초하여 추출된 컬러 특징들이 융합된 융합 특징을 생성한다.
이 때, 융합부(720)는 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 융합 특징을 생성할 수 있다.
이 때, 융합부(720)는 추출된 컬러 특징들에 대하여 DNN을 학습함으로써, 융합 특징을 생성할 수 있으며, DNN은 복수의 완전 연결 레이어로 구성될 수 있다.
물론, 융합부에 대한 내용은 이 외에도 상술한 방법에서 추출된 컬러 특징들을 융합하여 융합 특징을 생성 또는 출력하는 모든 내용을 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 얼굴 컬러 특징을 이용한 얼굴 인식 장치에 대한 구성을 나타낸 것으로, 도 7의 얼굴 컬러 특징 학습 장치에 의해 융합된 융합 특징을 이용하여 얼굴을 인식하는 장치에 대한 구성을 나타낸 것이다.
도 8을 참조하면, 본 발명의 실시예에 따른 얼굴 인식 장치(800)는 추출부(810), 융합부(820) 및 인식부(830)를 포함한다.
추출부(810)는 얼굴 이미지에 대하여, 미리 결정된 복수의 컬러 공간들 각각으로부터 컬러 특징을 추출한다.
이 때, 추출부(810)는 컬러 공간들 각각의 DCNN의 특징을 학습함으로써, 컬러 공간들 각각의 컬러 특징을 추출할 수 있다.
이러한 추출부에 대한 내용은 이 외에도 상술한 방법에서 컬러 공간들에서 컬러 특징을 추출하는 모든 내용을 포함할 수 있다.
융합부(820)는 추출된 컬러 특징들의 학습에 기초하여 추출된 컬러 특징들이 융합된 융합 특징을 생성한다.
이 때, 융합부(820)는 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 융합 특징을 생성할 수 있다.
이 때, 융합부(820)는 추출된 컬러 특징들에 대하여 DNN을 학습함으로써, 융합 특징을 생성할 수 있으며, DNN은 복수의 완전 연결 레이어로 구성될 수 있다.
물론, 융합부에 대한 내용은 이 외에도 상술한 방법에서 추출된 컬러 특징들을 융합하여 융합 특징을 생성 또는 출력하는 모든 내용을 포함할 수 있다.
인식부(830)는 생성된 융합 특징에 기초하여 얼굴 이미지의 얼굴을 인식한다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 얼굴 이미지에 대하여, 상기 얼굴 이미지를 미리 결정된 복수의 컬러 공간들로 변형하고, 상기 복수의 컬러 공간들 각각에서의 특징을 포함하는 컬러 특징 학습을 통해 상기 복수의 컬러 공간들로 변형된 얼굴 이미지들 각각으로부터 컬러 특징을 추출하는 단계; 및
    상기 복수의 컬러 공간들 각각으로부터 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 단계
    를 포함하고,
    상기 컬러 특징을 추출하는 단계는
    상기 얼굴 이미지를 RGB, YCbCr, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들로 변형하며, 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출하고,
    상기 융합 특징을 생성하는 단계는
    상기 RGB, YCbCr, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들 각각으로부터 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 상기 융합 특징을 생성하며, 상기 추출된 컬러 특징들에 대하여 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성하고, 상기 컬러 공간들 각각으로부터 추출된 컬러 특징들의 상호 보완적인 정보들을 이용하여 상기 융합 특징을 생성하는 얼굴 컬러 특징 학습 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 DNN은
    복수의 완전 연결 레이어(fully connected layer)로 구성되는 것을 특징으로 하는 얼굴 컬러 특징 학습 방법.
  6. 얼굴 이미지에 대하여, 상기 얼굴 이미지를 미리 결정된 복수의 컬러 공간들로 변형하고, 상기 복수의 컬러 공간들 각각에서의 특징을 포함하는 컬러 특징 학습을 통해 상기 복수의 컬러 공간들로 변형된 얼굴 이미지들 각각으로부터 컬러 특징을 추출하는 단계;
    상기 복수의 컬러 공간들 각각으로부터 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 단계; 및
    상기 생성된 융합 특징에 기초하여 상기 얼굴 이미지의 얼굴을 인식하는 단계
    를 포함하고,
    상기 컬러 특징을 추출하는 단계는
    상기 얼굴 이미지를 RGB, YCbCr, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들로 변형하며, 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출하고,
    상기 융합 특징을 생성하는 단계는
    상기 RGB, YCbCr, YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들 각각으로부터 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 상기 융합 특징을 생성하며, 상기 추출된 컬러 특징들에 대하여 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성하고, 상기 컬러 공간들 각각으로부터 추출된 컬러 특징들의 상호 보완적인 정보들을 이용하여 상기 융합 특징을 생성하는 얼굴 컬러 특징을 이용한 얼굴 인식 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 융합 특징을 생성하는 단계는
    복수의 완전 연결 레이어(fully connected layer)로 구성된 상기 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성하는 것을 특징으로 하는 얼굴 컬러 특징을 이용한 얼굴 인식 방법.
  9. 얼굴 이미지에 대하여, 상기 얼굴 이미지를 미리 결정된 복수의 컬러 공간들로 변형하고, 상기 복수의 컬러 공간들 각각에서의 특징을 포함하는 컬러 특징 학습을 통해 상기 복수의 컬러 공간들로 변형된 얼굴 이미지들 각각으로부터 컬러 특징을 추출하는 추출부; 및
    상기 복수의 컬러 공간들 각각으로부터 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 융합부
    를 포함하고,
    상기 추출부는
    상기 얼굴 이미지를 RGB, YCbCr , YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들로 변형하며, 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출하고,
    상기 융합부는
    상기 RGB, YCbCr , YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들 각각으로부터 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 상기 융합 특징을 생성하며, 상기 추출된 컬러 특징들에 대하여 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성하고, 상기 컬러 공간들 각각으로부터 추출된 컬러 특징들의 상호 보완적인 정보들을 이용하여 상기 융합 특징을 생성하는 얼굴 컬러 특징 학습 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 DNN은
    복수의 완전 연결 레이어(fully connected layer)로 구성되는 것을 특징으로 하는 얼굴 컬러 특징 학습 장치.
  14. 얼굴 이미지에 대하여, 상기 얼굴 이미지를 미리 결정된 복수의 컬러 공간들로 변형하고, 상기 복수의 컬러 공간들 각각에서의 특징을 포함하는 컬러 특징 학습을 통해 상기 복수의 컬러 공간들로 변형된 얼굴 이미지들 각각으로부터 컬러 특징을 추출하는 추출부;
    상기 복수의 컬러 공간들 각각으로부터 추출된 컬러 특징들의 학습에 기초하여 상기 추출된 컬러 특징들이 융합된 융합 특징을 생성하는 융합부; 및
    상기 생성된 융합 특징에 기초하여 상기 얼굴 이미지의 얼굴을 인식하는 인식부
    를 포함하고,
    상기 추출부는
    상기 얼굴 이미지를 RGB, YCbCr , YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들로 변형하며, 상기 컬러 공간들 각각의 DCNN(deep convolutional neural networks)의 특징을 학습함으로써, 상기 컬러 특징을 추출하고,
    상기 융합부는
    상기 RGB, YCbCr , YIQ, XYZ, HSV, RIQ, RQCr, YQCr 및 La*b* 컬러 공간들 각각으로부터 추출된 컬러 특징들에 대한 모든 특징 벡터를 연쇄시킴으로써, 상기 융합 특징을 생성하며, 상기 추출된 컬러 특징들에 대하여 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성하고, 상기 컬러 공간들 각각으로부터 추출된 컬러 특징들의 상호 보완적인 정보들을 이용하여 상기 융합 특징을 생성하는 얼굴 컬러 특징을 이용한 얼굴 인식 장치.
  15. 삭제
  16. 제14항에 있어서,
    상기 융합부는
    복수의 완전 연결 레이어(fully connected layer)로 구성된 상기 DNN(deep neural networks)을 학습함으로써, 상기 융합 특징을 생성하는 것을 특징으로 하는 얼굴 컬러 특징을 이용한 얼굴 인식 장치.
KR1020160049385A 2016-02-16 2016-04-22 다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치 KR101906663B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160017575 2016-02-16
KR20160017575 2016-02-16

Publications (2)

Publication Number Publication Date
KR20170096924A KR20170096924A (ko) 2017-08-25
KR101906663B1 true KR101906663B1 (ko) 2018-10-12

Family

ID=59761440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160049385A KR101906663B1 (ko) 2016-02-16 2016-04-22 다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101906663B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102047977B1 (ko) * 2019-08-21 2019-11-22 주식회사 인포웍스 심층 신경망 알고리즘 기반 eo／ir 영상 융합 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168280A1 (ko) * 2018-02-28 2019-09-06 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
KR101942808B1 (ko) * 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR102382760B1 (ko) * 2020-09-18 2022-04-05 건국대학교 산학협력단 얼굴 위변조 검출 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102047977B1 (ko) * 2019-08-21 2019-11-22 주식회사 인포웍스 심층 신경망 알고리즘 기반 eo／ir 영상 융합 시스템 및 방법

Also Published As

Publication number Publication date
KR20170096924A (ko) 2017-08-25

Similar Documents

Publication Publication Date Title
Vig et al. Large-scale optimization of hierarchical features for saliency prediction in natural images
Chen et al. DISC: Deep image saliency computing via progressive representation learning
US10410353B2 (en) Multi-label semantic boundary detection system
Chen et al. Deep Siamese multi-scale convolutional network for change detection in multi-temporal VHR images
CN109840531A (zh) 训练多标签分类模型的方法和装置
CN107145836B (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
KR101906663B1 (ko) 다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치
CN111353531B (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN110059728A (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN105303163B (zh) 一种目标检测的方法及检测装置
Nguyen et al. Satellite image classification using convolutional learning
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
JP2023507248A (ja) 物体検出および認識のためのシステムおよび方法
Demir et al. Clustering-based extraction of border training patterns for accurate SVM classification of hyperspectral images
CN111860124A (zh) 基于空谱胶囊生成对抗网络的遥感图像分类方法
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
CN114037056A (zh) 一种生成神经网络的方法、装置、计算机设备和存储介质
KR101873645B1 (ko) 딥 러닝 구조에서 최적의 성능을 위한 다중 영상 정보 생성 및 처리에 관한 방법 및 장치
Neagoe et al. A new approach for accurate classification of hyperspectral images using virtual sample generation by concurrent self-organizing maps
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备
Pan et al. GRU with spatial prior for hyperspectral image classification
CN111292331A (zh) 图像处理的方法与装置
Bartoli et al. Computer Vision–ECCV 2020 Workshops: Glasgow, UK, August 23–28, 2020, Proceedings, Part VI
Knoche et al. Susceptibility to image resolution in face recognition and trainings strategies

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant