KR20180054414A - 얼굴 영상 분석 방법 및 장치 - Google Patents
얼굴 영상 분석 방법 및 장치 Download PDFInfo
- Publication number
- KR20180054414A KR20180054414A KR1020170097998A KR20170097998A KR20180054414A KR 20180054414 A KR20180054414 A KR 20180054414A KR 1020170097998 A KR1020170097998 A KR 1020170097998A KR 20170097998 A KR20170097998 A KR 20170097998A KR 20180054414 A KR20180054414 A KR 20180054414A
- Authority
- KR
- South Korea
- Prior art keywords
- residual
- network
- product
- facial image
- training
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000004458 analytical method Methods 0.000 title claims abstract description 59
- 230000001815 facial effect Effects 0.000 title claims description 114
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 115
- 238000010191 image analysis Methods 0.000 claims abstract description 38
- 239000002131 composite material Substances 0.000 claims description 53
- 238000011176 pooling Methods 0.000 claims description 28
- 238000003703 image analysis method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 5
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
얼굴 영상 분석 방법 및 장치가 개시된다. 얼굴 영상 분석 장치는, 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하는 잔차 네트워크(Residual network)에 얼굴 영상을 입력하고, 잔차 네트워크를 사용하여 얼굴 영상을 처리하고, 잔차 역합성곱 네트워크(Residual deconvolution network)를 사용하여 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득한다. 여기서, 잔차 네트워크는 N번째 잔차 블록의 출력을 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 잔차 네트워크의 전체 잔차 블록의 수보다 작고, 잔차 역합성곱 네트워크는 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 복수의 잔차 역합성곱 블록은 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응된다.
Description
아래의 설명은 얼굴 영상을 분석하는 장치 및 방법에 관한 것으로, 뉴럴 네트워크의 합성곱 연산 또는 역합성곱 연산을 이용하여 얼굴 영상을 분석하는 기술에 관한 것이다.
컴퓨터 시각 기술은 카메라와 컴퓨터로 사람의 눈을 대체하여 타겟에 대한 식별, 추적과 측량 등의 동작을 자동화하는 기술로서, 영상 처리에 의해 처리된 신호는 사람의 눈 또는 컴퓨터 입력에 적합해진다. 딥 러닝(deep learning)을 사용하여 의미를 분석하는 것은 하나의 영상이 주어질 때 영상 내의 각 픽셀 포인트를 분석하는 것을 말한다. 딥 뉴럴 네트워크(deep neural network)는 입력 영상의 저차원 특징을 훌륭하게 추상화할 수 있다. 그러나 의미를 분석하는 단계에서 뉴럴 네트워크에 의해 특징을 추출하면서, 풀링 레이어(pooling layer)를 이용하여 특징의 해상도를 낮추고, 저차원 고효율의 특징맵을 고차원의 픽셀 레벨의 분석 결과로 전환하는 것은 난제이다.
전술한 배경기술은 발명자가 본 발명의 도출과정에서 보유하거나 습득한 것으로서, 반드시 본 발명의 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다
일 실시예에 따른 얼굴 영상 분석 방법은, 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하는 잔차 네트워크(Residual network)에 얼굴 영상을 입력하는 단계, 상기 잔차 네트워크를 사용하여 얼굴 영상을 처리하는 단계 및 잔차 역합성곱 네트워크(Residual deconvolution network)를 사용하여 상기 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득하는 단계를 포함하고, 상기 잔차 네트워크는 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 상기 잔차 네트워크의 전체 잔차 블록의 수보다 작고, 상기 잔차 역합성곱 네트워크는 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 상기 복수의 잔차 역합성곱 블록은 상기 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응할 수 있다.
상기 얼굴 영상 분석 방법은, 사전정보(prior information) 획득 네트워크를 사용하여 얼굴 영상의 사전정보를 획득하는 단계 및 상기 사전정보와 상기 잔차 역합성곱 네트워크의 출력을 결합하여 분석 결과를 획득하는 단계를 더 포함할 수 있다.
상기 얼굴 영상의 사전정보를 획득하는 단계는, 상기 얼굴 영상에 포함된 얼굴과 복수의 얼굴 영상 분석용 훈련 데이터에 포함된 얼굴들을 비교하여 상기 얼굴 영상에 포함된 얼굴과 가장 유사한 얼굴을 포함하는 얼굴 영상 분석용 훈련 데이터를 선택하고, 상기 가장 유사한 얼굴로부터 획득된 캘리브레이션(Calibration) 정보의 평균값을 상기 얼굴 영상의 사전정보로서 획득하는 단계를 포함할 수 있다.
상기 분석 결과를 획득하는 단계는, 잔차 역합성곱 네트워크로부터 출력된 분석맵과 사전정보를 조합하여 조합맵을 획득하고, 합성곱 커널(convolution kernel)을 이용하여 상기 조합맵에 대해 합성곱을 수행함으로써 사전정보의 공헌도 플롯(contribution plot)을 획득하고, 상기 공헌도 플롯과 상기 분석맵을 엘레먼트 수준(element level)으로 더하여 상기 분석 결과를 획득할 수 있다.
상기 얼굴 영상 분석 방법은, 밀집 조건 랜덤 필드(Dense condition random field) 방식을 이용하여 상기 분석 결과를 개선하는 단계를 더 포함할 수 있다.
상기 분석 결과를 개선하는 단계는, 사전정보 획득 네트워크가 출력한 분석 결과를 밀집 조건 랜덤 필드의 단항(unary term)으로 설정함으로써 분석 결과를 개선할 수 있다.
일 실시예에 따른 얼굴 영상 분석 장치는, 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하는 잔차 네트워크에 얼굴 영상을 입력하는 프로세서, 얼굴 영상을 처리하는 잔차 네트워크 및 상기 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득하는 잔차 역합성곱 네트워크를 포함하고, 상기 잔차 네트워크는 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 상기 잔차 네트워크의 전체 잔차 블록의 수보다 작고, 상기 잔차 역합성곱 네트워크는 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 상기 복수의 잔차 역합성곱 블록은 상기 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응할 수 있다.
일 실시예에 따른 얼굴 영상 분석 장치의 훈련 방법은, 얼굴 식별용 훈련 데이터를 이용하여 잔차 네트워크의 가중치(weight) 파라미터를 조정함으로써 상기 잔차 네트워크를 훈련하는 사전 훈련 단계 및 얼굴 영상 분석용 훈련 데이터를 이용하여 잔차 역합성곱 네트워크의 가중치 파라미터를 조정하고 상기 잔차 네트워크의 가중치 파라미터를 추가로 조정함으로써 상기 잔차 네트워크와 상기 잔차 역합성곱 네트워크를 훈련하는 연합 훈련 단계를 포함하고, 얼굴 영상 분석 장치는 상기 잔차 네트워크 및 상기 잔차 역합성곱 네트워크를 포함하고, 상기 잔차 네트워크는, 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하고, 얼굴 영상을 처리하고, 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 상기 잔차 네트워크의 전체 잔차 블록의 수보다 작고, 상기 잔차 역합성곱 네트워크는 상기 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득하고, 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 상기 복수의 잔차 역합성곱 블록은 상기 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응할 수 있다.
상기 사전 훈련 단계는, 상기 얼굴 식별용 훈련 데이터를 상기 잔차 네트워크에 입력하고 얼굴 식별 동작을 수행하고 상기 잔차 네트워크의 마지막 잔차 블록의 출력에 대하여 평균 풀링(average pooling)을 수행하고, 상기 잔차 네트워크에 대하여 풀조인(full join) 동작을 수행하고 상기 잔차 네트워크의 가중치 파라미터를 조정함으로써 상기 잔차 네트워크를 미리 훈련할 수 있다.
상기 연합 훈련 단계는, 상기 사전 훈련 단계로부터 획득된 가중치 파라미터로 상기 잔차 네트워크의 가중치 파라미터를 초기화하고 상기 잔차 역합성곱 네트워크의 가중치 파라미터를 랜덤으로 초기화하고 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크에 입력하고, 상기 얼굴 영상 분석용 훈련 데이터를 상기 잔차 네트워크에 입력하고 상기 잔차 네트워크와 상기 잔차 역합성곱 네트워크를 이용하여 얼굴 영상 분석 동작을 수행하여 상기 잔차 역합성곱 네트워크의 가중치 파라미터와 상기 잔차 네트워크의 가중치 파라미터를 조정할 수 있다.
상기 사전정보 획득 네트워크 훈련 단계는, 상기 사전정보 획득 네트워크를 훈련하는 제1 훈련 단계 및 상기 잔차 네트워크, 상기 잔차 역합성곱 네트워크 및 상기 사전정보 획득 네트워크를 훈련하는 제2 훈련 단계를 포함하고, 상기 제1 훈련 단계에서, 상기 사전정보 획득 네트워크 내의 가중치 파라미터 이외의 모든 파라미터는 고정되고, 상기 사전정보 획득 네트워크 내의 가중치 파라미터는 조정되고, 상기 제2 훈련 단계에서, 상기 조정된 사전정보 획득 네트워크 내의 가중치 파라미터를 이용하여 사전정보 획득 네트워크는 초기화되고, 상기 사전정보 획득 네트워크 내의 가중치 파라미터 이외의 모든 파라미터는 가변이고, 상기 잔차 네트워크, 상기 잔차 역합성곱 네트워크 및 상기 사전정보 획득 네트워크의 전체에 대해 얼굴 영상 분석용 훈련 데이터를 이용하여 얼굴 영상 분석 동작이 수행됨으로써, 상기 잔차 네트워크 및 상기 잔차 역합성곱 네트워크가 조정되고 상기 사전정보 획득 네트워크 내의 각각의 가중치 파라미터가 추가적으로 조정될 수 있다.
도 1은 일 실시예에 따른 얼굴 영상 분석 장치의 전체적인 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 잔차 네트워크에 대해 사전 훈련을 수행하는 동작을 도시한 흐름도이다.
도 3은 일 실시예에 따른 잔차 네트워크 및 잔차 역합성곱 네트워크에 대해 연합 훈련을 수행하는 동작을 도시한 흐름도이다.
도 4는 일 실시예에 따른 얼굴 영상 분석 방법을 도시한 흐름도이다.
도 5는 다른 실시예에 따른 얼굴 영상 분석 장치의 전체적인 구성을 도시한 도면이다.
도 6은 다른 실시예에 따른 얼굴 영상 분석 장치를 훈련하는 동작을 도시한 흐름도이다.
도 7은 다른 실시예에 따른 얼굴 영상 분석 방법을 도시한 흐름도이다.
도 8a는 일 실시예에 따른 잔차 네트워크의 구성을 도시한 도면이다.
도 8b는 일 실시예에 따른 잔차 네트워크 내의 잔차 블록을 도시한 도면이다.
도 9a는 일 실시예에 따른 잔차 역합성곱 네트워크의 구성을 도시한 도면이다.
도 9b는 일 실시예에 따른 잔차 역합성곱 네트워크 내의 잔차 역합성곱 블록을 도시한 도면이다.
도 10은 다른 실시예에 따른 잔차 역합성곱 네트워크의 결과와 사전정보 획득 네트워크의 결과를 결합하는 구성을 도시한 도면이다.
도 11a는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11b는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11c는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11d는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 2는 일 실시예에 따른 잔차 네트워크에 대해 사전 훈련을 수행하는 동작을 도시한 흐름도이다.
도 3은 일 실시예에 따른 잔차 네트워크 및 잔차 역합성곱 네트워크에 대해 연합 훈련을 수행하는 동작을 도시한 흐름도이다.
도 4는 일 실시예에 따른 얼굴 영상 분석 방법을 도시한 흐름도이다.
도 5는 다른 실시예에 따른 얼굴 영상 분석 장치의 전체적인 구성을 도시한 도면이다.
도 6은 다른 실시예에 따른 얼굴 영상 분석 장치를 훈련하는 동작을 도시한 흐름도이다.
도 7은 다른 실시예에 따른 얼굴 영상 분석 방법을 도시한 흐름도이다.
도 8a는 일 실시예에 따른 잔차 네트워크의 구성을 도시한 도면이다.
도 8b는 일 실시예에 따른 잔차 네트워크 내의 잔차 블록을 도시한 도면이다.
도 9a는 일 실시예에 따른 잔차 역합성곱 네트워크의 구성을 도시한 도면이다.
도 9b는 일 실시예에 따른 잔차 역합성곱 네트워크 내의 잔차 역합성곱 블록을 도시한 도면이다.
도 10은 다른 실시예에 따른 잔차 역합성곱 네트워크의 결과와 사전정보 획득 네트워크의 결과를 결합하는 구성을 도시한 도면이다.
도 11a는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11b는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11c는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11d는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 분석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 분석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 분석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 얼굴 영상 분석 장치의 전체적인 구성을 도시한 도면이다.
일 실시예에 따르면, 얼굴 영상 분석 장치(100)는 프로세서(110), 잔차 네트워크(residual network) (120) 및 잔차 역합성곱 네트워크(residual deconvolution network) (130)를 포함한다.
프로세서(110)는 분석할 입력 영상을 잔차 네트워크(120)에 입력할 수 있다. 입력은 얼굴 영상(101)을 비롯하여 다양한 종류의 영상을 포함할 수 있다. 예를 들어, 입력은 얼굴 영상, 컴퓨터 그래픽에 의해 생성된 가상의 얼굴 또는 동물의 얼굴을 포함할 수 있다.
잔차(residual)는 입력과 예측 값 또는 피팅 값 사이의 차이를 나타낸다. 잔차 네트워크의 출력은 복수의 합성곱 캐스케이드(convolution cascade)의 출력과 입력을 더하는 동작과 수정 선형부(ReLU)를 활성화하는 동작에 의해 획득될 수 있다. 여기서, 합성곱 레이어의 출력과 입력의 위상은 같을 수 있다.
잔차 네트워크(120)는 얼굴 영상을 처리할 수 있다. 잔차 네트워크(120)는 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함할 수 있다. 잔차 네트워크는 N번째 잔차 블록의 출력을 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 잔차 네트워크의 전체 잔차 블록의 수보다 작을 수 있다.
잔차 역합성곱 네트워크(130)는 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵(103)을 획득할 수 있다. 잔차 역합성곱 네트워크(130)는 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 복수의 잔차 역합성곱 블록은 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응할 수 있다.
미리 정한 N번째 잔차 블록이 입력에서 출력방향으로 배열한 순차적으로 결합한 잔차 블록 중에서 마지막 두 번째 잔차 블록인 경우 좋은 분석 결과를 획득할 수 있다. 또한, 미리 정한 N번째 잔차 블록은 입력에서 출력방향으로 배열한 순차적으로 결합한 잔차 블록 중 마지막 세 번째 잔차 블록일 수도 있다.
일 실시예에 따른 얼굴 영상 분석 장치(100)에서 잔차 네트워크(120)는 얼굴 식별 동작으로 사전 훈련이 수행됨으로써 얼굴 특징을 효과적으로 추출할 수 있다. 얼굴 영상 분석 장치(100)의 잔차 역합성곱 네트워크(130)에 대하여 얼굴 영상 분석 동작으로 연합 훈련이 수행됨으로써 고해상도의 특징맵이 생성되고 정확한 분석 결과가 도출될 수 있다. 얼굴 영상 분석 장치(100)는 사전 정보를 이용하여 전체 네트워크 훌륭하게 조정할 수 있다. 얼굴 영상 분석 장치(100)는 밀집 조건 랜덤 필드 방식을 이용하여 분석 결과를 더욱 개선할 수 있다.
도 2는 일 실시예에 따른 잔차 네트워크에 대해 사전 훈련을 수행하는 동작을 도시한 흐름도이다.
일 실시예에 따르면, 잔차 네트워크(120)는 사전 훈련 단계 동안 얼굴 식별 동작을 통해 미리 훈련될 수 있다. 사전 훈련 단계에서 얼굴 식별용 훈련 데이터를 이용하여 잔차 네트워크의 가중치(weight) 파라미터를 조정함으로써 잔차 네트워크는 훈련될 수 있다.
단계(210)에서 잔차 네트워크(120) 내의 합성곱 커널(convolution kernel)의 가중치 파라미터에 대하여 랜덤 초기화가 수행되고, 훈련 데이터 베이스에 저장된 얼굴 식별용 훈련 데이터는 잔차 네트워크(120)에 입력될 수 있다. 얼굴 식별용 훈련 데이터는 복수의 얼굴 영상을 포함할 수 있다.
단계(220)에서 얼굴 식별용 훈련 데이터를 이용하여 얼굴 식별 동작이 수행될 수 있다. 얼굴 식별 동작을 통해 잔차 네트워크에 대해 사전 훈련이 수행될 수 있다. 합성곱 블록과 잔차 블록은 입력된 얼굴 식별용 훈련 데이터에 대하여 얼굴 식별 동작을 수행할 수 있다. 잔차 네트워크(120)의 마지막 잔차 블록의 출력에 대하여 평균 풀링(average pooling)이 수행되고 잔차 네트워크(120)에 대하여 풀조인(full join) 동작이 수행될 수 있다. 잔차 네트워크(120)에 대하여 풀조인 동작이 수행됨으로써 잔차 네트워크(120)의 합성곱 커널의 가중치가 조정되고 소프트맥스(softmax) 함수가 최소화될 수 있다. 여기서 소프트맥스 함수는 손실 함수의 일종이다.
풀조인 동작에 의해 훈련 데이터 베이스 내의 동일 신원의 사람의 수가 풀조인됨으로써 합성곱 커널의 가중치가 조정될 수 있다. 각 얼굴 식별용 훈련 데이터가 입력될 때 스프트맥스 함수의 값이 최소화됨으로써 잔차 네트워크(120)는 각 훈련 데이터의 얼굴로부터 신원을 정확하게 식별하도록 훈련될 수 있다. 예를 들면, 얼굴 식별 동작에 의해 데이터가 훈련되는 경우 훈련 데이터 베이스에 복수의 신원의 사람이 있으면 풀조인 동작에 의해 사람의 수에 상응하는 수가 출력될 수 있다.
단계(230)에서 최적화된 가중치 파라미터가 획득될 수 있다. 이처럼, 잔차 네트워크(120)의 가중치 파라미터를 조정함으로써 잔차 네트워크가 미리 훈련될 수 있다.
도 3은 일 실시예에 따른 잔차 네트워크 및 잔차 역합성곱 네트워크에 대해 연합 훈련을 수행하는 동작을 도시한 흐름도이다.
연합 훈련 단계에서 잔차 네트워크(120)의 마지막 블록은 제거되고, 잔차 역합성곱 네트워크(130)는 잔차 네트워크(120)에 누적적으로 결합되고, 전체 네트워크는 얼굴 영상 분석 동작에 의해 조정될 수 있다.
단계(310)에서 잔차 네트워크(120) 내의 가중치 파라미터는 사전 훈련 단계에서 획득된 가중치 파라미터로 초기화될 수 있다.
단계(320)에서 얼굴 영상 분석용 훈련 데이터는 사전 훈련이 수행된 잔차 네트워크(120)에 입력될 수 있다.
단계(330)에서 특징맵이 획득될 수 있다. 특징맵은 잔차 네트워크(120)의 N번째 잔차 블록의 출력일 수 있다. 예를 들어, 특징맵은 마지막 두 번째 잔차 블록의 출력일 수 있다. 여기서 특징맵의 해상도는 낮을 수 있다.
단계(340)에서 잔차 역합성곱 네트워크(130)는 초기화될 수 있다. 잔차 역합성곱 네트워크(130)의 가중치 파라미터는 랜덤으로 초기화되고, N번째 잔차 블록의 출력은 잔차 역합성곱 네트워크(130)에 입력될 수 있다. 잔차 역합성곱 네트워크(130)는 특징맵에 의해 추가적으로 처리될 수 있다.
단계(350)에서 얼굴 영상 분석용 훈련 데이터를 이용하여 얼굴 영상 분석 동작이 수행됨으로써 잔차 네트워크(120) 및 잔차 역합성곱 네트워크(130)가 연합하여 훈련될 수 있다. 얼굴 영상 분석용 훈련 데이터를 이용하여 잔차 역합성곱 네트워크의 가중치 파라미터를 조정하고 잔차 네트워크의 가중치 파라미터를 추가로 조정함으로써 잔차 네트워크와 잔차 역합성곱 네트워크는 연합하여 훈련될 수 있다.
잔차 역합성곱 네트워크(130) 내의 합성곱 커널의 가중치 파라미터가 최적화되고, 잔차 네트워크(120) 내의 합성곱 커널의 가중치 파라미터는 추가적으로 최적화될 수 있다. 잔차 역합성곱 네트워크(130)의 가중치 파라미터 및 잔차 네트워크(120)의 가중치 파라미터가 조정됨으로써 소프트맥스 함수는 최소화될 수 있다.
사전 훈련 단계 및 연합 훈련 단계에서 사용되는 훈련 데이터는 전처리 단계를 거치지 않은 얼굴 영상일수도 있지만, 랜덤 미러링(random mirroring)이 수행된 훈련 데이터 또는 랜덤 컷 아웃(random cut out)이 수행된 훈련 데이터가 사용될 수도 있다. 랜덤 미러링은 좌우 반전 또는 상하 반전을 의미하고, 랜덤 컷 아웃은 얼굴 영상을 임의의 크기로 편집하는 전처리 동작을 의미할 수 있다. 훈련 데이터에 대하여 전처리 단계가 수행됨으로써 훈련 데이터의 양이 증가할 수 있다. 훈련 데이터는 얼굴 식별용 훈련 데이터 및 얼굴 영상 분석용 훈련 데이터를 포함할 수 있다.
예를 들어, 얼굴 영상은 랜덤 컷 아웃에 의해 224*224 크기와 같은 임의의 크기의 영상으로 편집되거나 랜덤 미러링이 수행될 수 있다. 합성곱 블록에 대한 입력은 훈련 데이터의 원시 영상일 수 있고, 랜덤 미러링의 결과일 수도 있고, 랜덤 컷 아웃의 결과일 수 있고, 랜덤 미러링과 랜덤 컷 아웃이 함께 적용된 결과일 수도 있다. 전처리 단계에 의하면 동일한 영상을 이용하여 복수 번 훈련하는 경우에 발생하는 오버피팅 현상이 완화될 수 있다.
도 4는 일 실시예에 따른 얼굴 영상 분석 방법을 도시한 흐름도이다.
단계(410)에서, 얼굴 영상은 사전 훈련이 수행된 잔차 네트워크에 입력될 수 있다. 단계(420)에서 잔차 네트워크는 얼굴 영상을 처리할 수 있다. 단계(430)에서 잔차 네트워크는 얼굴 영상의 처리 결과로서 특징맵을 출력할 수 있다. 특징맵은 잔차 네트워크의 마지막 두 번째 잔차 블록의 출력일 수 있다. 단계(440)에서 특징맵은 잔차 역합성곱 네트워크에 입력될 수 있다. 단계(450)에서 잔차 역합성곱 네트워크는 분석맵을 출력할 수 있다. 분석맵은 분석 결과로 지칭될 수 있다.
도 5는 다른 실시예에 따른 얼굴 영상 분석 장치의 전체적인 구성을 도시한 도면이다.
다른 실시예에 따르면, 얼굴 영상 분석 장치(100)는 프로세서(110), 잔차 네트워크(120), 잔차 역합성곱 네트워크(130) 및 사전 정보 획득 네트워크(510)를 포함할 수 있다.
잔차 네트워크(120)에 얼굴 영상(101)이 입력될 수 있다. 프로세서(110)는 사전 정보 획득 네트워크(510)의 출력과 잔차 역합성곱 네트워크(130)의 출력을 결합하여 분석 결과(503)를 획득할 수 있다. 프로세서(110)는 밀집 조건 랜덤 필드 방식을 이용하여 분석 결과(503)를 개선할 수 있다. 프로세서(110)는 분석 결과(503)를 밀집 조건 램덤 필드의 단항(unary term)으로 설정하여 더욱 정확한 분석 결과를 획득할 수 있다.
도 6은 다른 실시예에 따른 얼굴 영상 분석 장치를 훈련하는 동작을 도시한 흐름도이다.
얼굴 영상 분석 장치(100)의 잔차 네트워크(120)는 사전 훈련 단계에 의해 훈련되고, 잔차 네트워크(120) 및 잔차 역합성곱 네트워크(130)는 연합 훈련 단계에 의해 훈련될 수 있다. 얼굴 영상 분석 장치(100)는 사전 훈련 단계 및 연합 훈련 단계에 의해 훈련된 잔차 네트워크(120) 및 잔차 역합성곱 네트워크(130)를 이용하여 사전 정보 획득 네트워크(510)를 훈련하고 잔차 네트워크(120) 및 잔차 역합성곱 네트워크(130)를 추가적으로 훈련할 수 있다.
단계(610)에서 훈련 데이터는 잔차 네트워크(120)에 입력될 수 있다. 여기서 훈련 데이터는 얼굴 영상 분석용 훈련 데이터를 포함할 수 있다. 단계(620)에서 잔차 네트워크(120)는 훈련 데이터를 처리할 수 있다. 단계(630)에서 잔차 네트워크(120)는 처리 결과로서 특징맵을 출력할 수 있다. 여기서, 특징맵은 잔차 네트워크(120)의 마지막 두 번째 잔차 블록의 출력일 수 있다. 단계(640)에서 특징맵은 잔차 역합성곱 네트워크(130)에 입력될 수 있다. 단계(650)에서 잔차 역합성곱 네트워크(130)는 분석맵을 출력할 수 있다.
단계(660)에서 사전 정보 획득 네트워크(510)는 훈련 데이터로부터 사전 정보를 획득할 수 있다. 단계(670)에서 사전 정보 및 분석맵은 결합될 수 있다. 단계(680)에서 사전 정보 획득 네트워크(510)에 대하여 제1 훈련 단계가 수행될 수 있다. 단계(690)에서 잔차 네트워크(120), 잔차 역합성곱 네트워크(130) 및 사전 정보 획득 네트워크(510)에 대하여 제2 훈련 단계가 수행될 수 있다.
제1 훈련 단계에서, 사전 정보 획득 네트워크(510) 내의 가중치 파라미터 이외의 모든 파라미터는 고정되고, 사전 정보 획득 네트워크(510) 내의 가중치 파라미터가 조정될 수 있다. 제1 훈련 단계에 의해 최적화된 가중치 파라미터가 획득되고 소프트맥스 함수는 최소화될 수 있다.
제2 훈련 단계에서, 조정된 가중치 파라미터를 이용하여 사전 정보 획득 네트워크(510)는 초기화되고, 사전 정보 획득 네트워크(510) 내의 가중치 파라미터 이외의 모든 파라미터에 대한 고정은 해제될 수 있다. 사전 정보 획득 네트워크(510) 내의 가중치 파라미터 이외의 모든 파라미터는 조정될 수 있다.
제2 훈련 단계에서, 잔차 네트워크, 잔차 역합성곱 네트워크 및 사전정보 획득 네트워크의 전체에 대해 얼굴 영상 분석용 훈련 데이터를 이용하여 얼굴 영상 분석 동작이 수행됨으로써, 잔차 네트워크 및 잔차 역합성곱 네트워크가 조정되고 사전정보 획득 네트워크 내의 각각의 가중치 파라미터가 추가적으로 조정될 수 있다.
사전 정보 획득 네트워크(510)를 포함하는 전체 네트워크를 훈련하기 위한 훈련 데이터로서 전처리 단계를 거치지 않은 얼굴 영상이 사용될 수도 있지만, 랜덤 미러링이 수행된 훈련 데이터 또는 랜덤 컷 아웃이 수행된 훈련 데이터가 사용될 수도 있다. 훈련 데이터에 대하여 전처리 단계가 수행됨으로써 훈련 데이터의 양이 증가할 수 있다. 훈련 데이터는 얼굴 식별용 훈련 데이터 및 얼굴 영상 분석용 훈련 데이터를 포함할 수 있다.
예를 들어, 얼굴 영상은 랜덤 컷 아웃에 의해 224*224 크기와 같은 임의의 크기의 영상으로 편집되거나 랜덤 미러링이 수행될 수 있다. 합성곱 블록에 대한 입력은 훈련 데이터의 원시 영상일 수 있고, 랜덤 미러링의 결과일 수도 있고, 랜덤 컷 아웃의 결과일 수 있고, 랜덤 미러링과 랜덤 컷 아웃이 함께 적용된 결과일 수도 있다. 전처리 단계에 의하면 동일한 영상을 이용하여 복수 번 훈련하는 경우에 발생하는 오버피팅 현상이 완화될 수 있다.
도 7은 다른 실시예에 따른 얼굴 영상 분석 방법을 도시한 흐름도이다.
단계(710)에서 분석될 얼굴 영상이 전체 네트워크에 입력될 수 있다. 단계(720)에서 사전 훈련 및 연합 훈련이 수행된 잔차 네트워크(120)에 의해 입력된 얼굴 영상이 처리될 수 있다. 단계(730)에서, 단계(720)의 처리 결과로서 특징맵이 잔차 네트워크(120)로부터 획득될 수 있다. 단계(740)에서 특징맵은 잔차 역합성곱 네트워크(130)에 입력될 수 있다. 여기서, 잔차 역합성곱 네트워크(130)에 대하여 미리 연합 훈련이 수행될 수 있다. 단계(750)에서 잔차 역합성곱 네트워크(130)로부터 분석맵이 획득될 수 있다.
단계(760)에서 사전 정보는 입력된 얼굴 영상으로부터 사전 정보 획득 네트워크(510)에 의해 획득될 수 있다. 사전 정보는 입력된 영상과 연관된 정보이다. 얼굴 영상 분석 장치(100)는 훈련 데이터 베이스에 저장된 서로 다른 얼굴 영상을 사용할 수 있다. 예를 들어, 캘리브레이션(calibration)을 통하여 각 얼굴 영상의 유형 정보가 표시될 수 있다. 예를 들어, 얼굴 영상 내의 각 부분은 배경, 피부, 머리카락 또는 감각 기관을 의미하는 오관 등으로 표시될 수 있다.
얼굴 영상 분석 장치(100)는 얼굴 영상에 포함된 얼굴과 가장 유사한 얼굴을 포함하는 얼굴 영상 분석용 훈련 데이터를 선택할 수 있다. 얼굴 영상 분석 장치(100)는 분석될 얼굴 영상 내의 얼굴과 훈련 데이터 베이스 안에 저장된 얼굴 영상 내의 얼굴을 비교하여 가장 유사한 얼굴 또는 얼굴의 그룹을 선택할 수 있다. 얼굴 영상 분석 장치(100)는 가장 유사한 얼굴로부터 획득된 캘리브레이션 정보의 평균값을 얼굴 영상의 사전정보로서 획득하거나 선택된 그룹의 평균값을 연산하여 사전정보를 획득할 수 있다.
단계(770)에서 얼굴 영상 분석 장치(100)는 사전 정보와 분석맵을 결합할 수 있다. 단계(780)에서 결합의 결과로서 얼굴 영상 분석 장치(100)는 분석 결과를 획득할 수 있다. 단계(790)에서 분석 결과는 밀집 조건 랜덤 필드 방식에 의해 처리될 수 있다. 단계(800)에서 처리 결과로서 얼굴 영상 분석 장치(100)는 개선된 분석 결과를 획득할 수 있다.
도 8a는 일 실시예에 따른 잔차 네트워크의 구성을 도시한 도면이다.
잔차 네트워크(120)는 입력에서 출력 방향으로 배열된 순차적으로 결합한 잔차 블록을 포함할 수 있다. 예를 들어, 잔차 네트워크(120)는 입력에서 출력 방향으로 합성곱 블록(11) 및 잔차 블록(12) 내지 잔차 블록(16)을 포함할 수 있다. 잔차 네트워크(120)는 첫 번째 잔차 블록 이전에 위치한 합성곱 블록을 포함할 수 있다. 잔차 네트워크(120)는 순차적으로 결합된 잔차 블록 중에서 미리 정해진 N번째 잔차 블록을 잔차 역합성곱 네트워크(130)로 전달할 수 있다. 여기서, N은 자연수이고 잔차 네트워크(120)에 포함된 모든 잔차 블록의 수보다 작다. 예를 들어, 합성곱 블록(15)의 출력은 잔차 역합성곱 네트워크(130)로 전달될 수 있다.
예를 들어, 합성곱 블록(11)은 두 개의 누적된 합성곱 레이어를 포함할 수 있다. 합성곱 레이어 내의 합성곱 커널의 크기는 3*3일 수 있고, 각 합성곱 레이어의 합성곱 커널의 수는 64개일 수 있다. 합성곱 블록(11)은 입력한 데이터를 잔차 블록의 수신에 적합한 형식으로 전환할 수 있다. 상술한 합성곱 커널의 크기 및 수는 예시일 뿐이고 이에 한정되지 않는다.
예를 들어, RGB 3개 채널 및 224*224 크기의 얼굴 영상이 입력되는 경우, 얼굴 영상은 224*224*3으로 표시된다. 합성곱 블록(11)의 첫 번째 합성곱 레이어에 입력된 224*224*3 크기의 얼굴 영상에 대해 64개의 3*3 크기의 합성곱 커널에 의해 합성곱 연산이 수행되어 224*224*64의 중간 영상(801)이 생성될 수 있다. 중간 영상(801)에 대해 64개의 3*3 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행되어 224*224*64의 중간 영상(802)이 생성될 수 있다.
각 잔차 블록들은 최대치 풀링(max pooling)을 통하여 연결될 수 있다. 최대치 풀링은 일정한 크기의 범위 내의 최대치를 해당 범위의 대표로 설정하는 연산이다. 예를 들어 입력 영상에 대하여 2*2의 최대치 풀링이 수행되는 경우, 입력 영상의 각 2*2 범위에서의 최대치가 2*2범위를 대표하도록 설정되고, 기타의 값은 생략될 수 있다. 평균 풀링은 일정한 크기의 범위 내의 평균치를 해당 범위의 대표로 설정하는 연산이다. 예를 들어, 입력 영상에 대하여 7*7의 평균 풀링이 수행되는 경우, 입력 영상의 각 7*7의 범위에서의 평균치가 7*7범위를 대표하도록 설정되고, 기타의 값은 생략될 수 있다.
복수의 잔차 블록 중의 제1 잔차 블록의 출력에 대하여 최대치 풀링 처리가 수행되고, 최대치 풀링 처리가 수행된 결과는 제1 잔차 블록의 다음 레벨의 잔차 블록에 입력될 수 있다.
중간 영상(802)에 대해 최대치 풀링이 수행되면 112*112*64의 중간 영상(803)이 생성될 수 있다. 최대치 풀링에 의해 영상의 크기는 1/2배로 축소될 수 있다. 중간 영상(803)은 잔차 블록(12)에 입력되고, 잔차 블록(12)은 중간 영상(803)의 차원을 증가시켜 112*112*128의 중간 영상(804)을 출력할 수 있다. 이를 통해, 중간 영상(803)의 채널은 64개에서 128개로 증가할 수 있다.
중간 영상(804)에 대하여 최대치 풀링이 수행되고 56*56*128의 중간 영상(805)이 출력될 수 있다. 중간 영상(805)은 장차 블록(13)에 의해 56*56*256로 차원이 증가한 중간 영상(806)으로 변환될 수 있다. 중간 영상(806)에 대하여 최대치 풀링이 수행되고 28*28*256의 중간 영상(807)이 출력될 수 있다. 중간 영상(807)은 잔차 블록(14)에 의해 28*28*512로 차원이 증가한 중간 영상(808)으로 변환될 수 있다. 중간 영상(808)에 대하여 최대치 풀링이 수행되고 14*14*512의 중간 영상(809)이 출력될 수 있다. 중간 영상(809)은 잔차 블록(15)에 의해 14*14*1024로 차원이 증가한 중간 영상(810)으로 변환될 수 있다. 중간 영상(810)에 대하여 최대치 풀링이 수행되고 7*7*1024의 중간 영상(811)이 출력될 수 있다. 중간 영상(811)은 잔차 블록(16)에 의해 7*7*1024의 중간 영상(812)으로 변환될 수 있다. 중간 영상(812)에 대해 평균 풀링이 수행되고 1*1*1024의 중간 영상(813)이 출력될 수 있다.
합성곱 블록(11)의 각 합성곱 레이어 내의 합성곱 커널의 개수(예를 들어, 64)와 잔차 블록에 의해 차원이 증가된 결과로서의 중간 영상의 채널의 수(예를 들어, 128, 256, 512, 1024)로 가중치 파라미터가 설정되는 경우 분석 결과의 정확도는 향상될 수 있다.
도 8b는 일 실시예에 따른 잔차 네트워크 내의 잔차 블록을 도시한 도면이다.
도 8b는 도 8a의 잔차 블록(13)의 구조를 예시적으로 도시한 것이다. 도 8a의 잔차 블록(12) 내지 잔차 블록(16)은 잔차 구조를 포함한다. 잔차 블록(12) 내지 잔차 블록(16)의 구조는 서로 유사하지만 합성곱 커널의 수에서 차이가 있을 수 있다. 잔차 블록의 수는 4개 또는 5개일 수 있다.
예를 들어, 도 8b를 참조하면, 56*56*128(길이*너비*채널수)의 입력 영상(821)이 입력될 수 있다. 입력 영상(821)에 대하여 128개의 1*1 크기의 합성곱 커널에 의해 합성곱 연산이 수행될 수 있다. 해당 연산 결과는 128개의 3*3 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있다. 해당 연산 결과는 256개의 1*1 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있고 56*56*256의 중간 영상(825)이 획득될 수 있다.
입력 영상(821)에 대하여 256개의 1*1 크기의 합성곱 커널에 의해 합성곱 연산이 수행되고 56*56*256의 중간 영상(823)이 획득될 수 있다. 가산기(adder)에 의해 중간 영상(823) 및 중간 영상(825)은 합산될 수 있다.
합산된 결과에 대해 128개의 1*1 크기의 합성곱 커널에 의해 합성곱 연산이 수행될 수 있다. 해당 연산 결과에 대해 128개의 3*3 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있다. 해당 연산 결과에 대해 256개의 1*1 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있고 56*56*256의 중간 영상(827)이 획득될 수 있다.
가산기에 의해 중간 영상(823) 및 중간 영상(825)의 합산 결과와 중간 영상(827)은 다시 합산될 수 있다.
합산된 결과에 대해 128개의 1*1 크기의 합성곱 커널에 의해 합성곱 연산이 수행될 수 있다. 해당 연산 결과에 대해 128개의 3*3 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있다. 해당 연산 결과에 대해 256개의 1*1 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있고 56*56*256의 중간 영상(829)이 획득될 수 있다.
가산기에 의해 이전의 합산 결과와 중간 영상(829)은 다시 합산되고 56*56*256 의 출력 영상(831)이 출력될 수 있다.
도 9a는 일 실시예에 따른 잔차 역합성곱 네트워크의 구성을 도시한 도면이다.
도 9a를 참조하면, 훈련된 잔차 역합성곱 네트워크(130)는 잔차 네트워크(120) 의 N번째 잔차 블록, 예를 들어, 잔차 블록(15)의 출력인 특징맵(901)으로부터 분석맵(913)을 출력할 수 있다.
잔차 역합성곱 네트워크(130)는 순차적으로 결합된 잔차 역합성곱 블록들을 포함한다. 잔차 역합성곱 네트워크(130)는 마지막 잔차 역합성곱 블록 이후에 위치한 역합성곱 블록을 더 포함할 수 있다. 예를 들어, 잔차 역합성곱 네트워크(130)는 잔차 역합성곱 블록(22) 내지 잔차 역합성곱 블록(25)을 포함하고, 잔차 역합성곱 블록(22) 내지 잔차 역합성곱 블록(25)은 잔차 네트워크(120)의 복수의 잔차 블록 중의 첫 번째 잔차 블록(12)에서 N번째 잔차 블록(15)에 각각 대응할 수 있다.
예를 들어, 잔차 역합성곱 네트워크(130)는 입력에서 출력방향으로 결합된 잔차 역합성곱 블록(25) 내지 잔차 역합성곱 네트워크(22) 및 하나의 역합성곱 블록(21)을 포함할 수 있다. 잔차 네트워크(120)와 유사하게, 잔차 역합성곱 네트워크(130)는 3 또는 4개의 잔차 역합성곱 블록을 포함할 수 있지만, 여기에 한정되지 않는다.
복수의 잔차 역합성곱 블록 중의 제1 잔차 역합성곱 블록의 출력에 대하여 최대치 안티 풀링(max anti pooling) 처리가 수행되고, 최대치 안티 풀링 처리가 수행된 결과는 제1 잔차 역합성곱 블록의 다음 레벨의 잔차 역합성곱 블록에 입력될 수 있다.
잔차 블록(15)의 출력은 최대치 풀링이 수행된 후에 잔차 역합성곱 네트워크(130)에 입력되고, 최대치 안티 풀링에 의해 14*14*1024의 중간 영상(902)으로 변환될 수 있다. 중간 영상(902)은 잔차 역합성곱 블록(25)에 의해 14*14*512의 중간 영상(903)으로 변환될 수 있다. 중간 영상(903)은 최대치 안티 풀링에 의해 28*28*512의 중간 영상(904)으로 변환될 수 있다. 중간 영상(904)은 잔차 역합성곱 블록(24)에 의해 28*28*256의 중간 영상(905)으로 변환될 수 있다. 중간 영상(905)은 최대치 안티 풀링에 의해 56*56*256의 중간 영상(906)으로 변환될 수 있다. 중간 영상(906)은 잔차 역합성곱 블록(23)에 의해 56*56*128의 중간 영상(907)으로 변환될 수 있다. 중간 영상(907)은 최대치 안티 풀링에 의해 112*112*128의 중간 영상(908)으로 변환될 수 있다. 중간 영상(908)은 잔차 역합성곱 블록(22)에 의해 112*112*64의 중간 영상(909)으로 변환될 수 있다. 중간 영상(909)은 최대치 안티 풀링에 의해 224*224*64의 중간 영상(910)으로 변환될 수 있다.
중간 영상(910)에 대해 역합성곱 블록(21)에 의해 1*1의 합성곱 연산이 수행되어 분석맵(913)이 획득될 수 있다. 예를 들어, 역합성곱 블록(21) 두 개의 역합성곱 레이어을 포함할 수 있고, 각 역합성곱 레이어는 64개의 3*3의 역합성곱 커널을 포함할 수 있다.
도 9b는 일 실시예에 따른 잔차 역합성곱 네트워크 내의 잔차 역합성곱 블록을 도시한 도면이다.
도 9b는 도 9a의 잔차 역합성곱 블록(23)의 구조를 예시적으로 도시한 것이다. 잔차 역합성곱 블록(22) 내지 잔차 역합성곱 블록(25)의 구조는 서로 유사하지만 역합성곱 커널의 수에서 차이가 있을 수 있다.
잔차 역합성곱 블록들 각각은 밀집기(910), 디테일 학습기(920) 및 차원감소기(930)를 포함할 수 있다. 밀집기(910)는 세 가지 역합성곱 연산을 수행하고, 디테일 학습기(920)는 세 가지 역합성곱 연산 및 합산을 수행 하며, 차원감소기(930)는 네 가지 역합성곱 연산과 합산을 수행할 수 있다.
예를 들어, 56*56*256(길이*너비*채널수)의 입력 영상(901)이 밀집기(910)에 입력되고, 밀집기(910) 내의 128개의 1*1 크기의 역합성곱 커널은 입력 영상(901)에 대하여 역합성곱 연산을 수행할 수 있다. 해당 연산 결과에 대해 128개의 3*3 크기의 역합성곱 커널에 의해 다시 역합성곱 연산이 수행되고, 해당 연산 결과에 대해 256개의 1*1 크기의 역합성곱 커널에 의해 다시 역합성곱 연산이 수행될 수 있다.
디테일 학습기(920)는 잔차 브랜치(residual branch)(922)와 역합성곱 브랜치(deconvolution branch)(923)를 포함할 수 있다. 역합성곱 브랜치(923)는 세 가지의 서로 다른 역합성곱 연산을 포함하고, 역합성곱 브랜치(923)의 연산 결과는 잔차 브랜치(922)로 전달된 밀집기(910)의 연산 결과와 합산될 수 있다.
예를 들어, 밀집기(910)의 연산 결과는 디테일 학습기(920)에 전달되고, 디테일 학습기(920) 내의 128개 1*1 크기의 역합성곱 커널은 밀집기(910)의 연산 결과에 대해 역합성곱 연산을 수행할 수 있다. 해당 연산 결과와 128개의 3*3 크기의 역합성곱 커널에 의해 다시 역합성곱 연산이 수행되고, 해당 연산 결과에 대해 256개의 1*1 크기의 역합성곱 커널에 의해 다시 역합성곱 연산이 수행될 수 있다. 해당 연산 결과는 잔차 브랜치(922)로 전달된 밀집기(910)의 연산 결과와 합산될 수 있다. 합산된 결과는 차원 감소기(930)로 전달될 수 있다. 잔차 브랜치(922)는 그래디언트가 분산되지 않도록 함으로써 잔차 역합성곱 네트워크(130)를 보다 쉽게 최적화시킬 수 있다.
디테일 학습기(920)의 출력은 차원 감소기(930)로 전달될 수 있다. 디테일 학습기(920)의 출력에 대하여 128개의 1*1 크기의 역합성곱 커널에 의해 역합성곱 연산이 수행될 수 있다. 해당 연산 결과는 128개의 3*3 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있다. 해당 연산 결과는 128개의 1*1 크기의 합성곱 커널에 의해 다시 합성곱 연산이 수행될 수 있고 56*56*128의 중간 영상(931)이 획득될 수 있다.
디테일 학습기(920)의 출력에 대하여 128개의 1*1 크기의 합성곱 커널에 의해 합성곱 연산이 수행되고 56*56*128의 중간 영상(932)이 획득될 수 있다. 가산기에 의해 중간 영상(931) 및 중간 영상(932)은 합산되고 56*56*128의 출력 영상이 획득될 수 있다.
도 10은 다른 실시예에 따른 잔차 역합성곱 네트워크의 결과와 사전정보 획득 네트워크의 결과를 결합하는 구성을 도시한 도면이다.
도 10을 참조하면, 잔차 역합성곱 네트워크로부터 출력된 분석맵과 사전정보를 조합하여 조합맵이 획득될 수 있다. 합성곱 커널을 이용하여 상기 조합맵에 대해 합성곱을 수행함으로써 사전정보의 공헌도 플롯(contribution plot)을 획득하고, 공헌도 플롯과 분석맵을 엘레먼트 수준(element level)으로 더하여 분석 결과가 획득될 수 있다.
잔차 역합성곱 네트워크(130)로부터 출력된 분석맵(31)과 사전 정보는 조합될 수 있다. 사전 정보 획득 네트워크(510)로부터 출력된 사전 정보에 대하여 224*224*(3+3)의 합성곱 커널에 의해 합성곱 연산이 수행되고, 해당 연산 결과로서 공헌도 플롯(34)이 출력될 수 있다. 예를 들어, 채널이 N이고 영상의 크기가 W*H이면, 분석맵(31)과 사전 정보의 크기는 W*H*N이고 조합맵의 크기는 W*H*2N일 수 있다. 공헌도 플롯(34)은 각 채널에 대한 공헌도 플롯이고, 그 크기는 W*H*N일 수 있다. 공헌도 플롯(34)과 잔차 역합성곱 네트워크(130)로부터 출력된 분석맵(31)은 엘레먼트 수준으로 합산되고 소프트맥스 함수에 의해 소프트맥스 함수 값(1010)이 출력되고 분석 결과가 획득될 수 있다.
도 11a 내지 도 11d는 일 실시예에 따른 얼굴 영상 분석 장치에 의한 결과와 VGG-역합성곱 결과를 비교한 예시이다.
도 11a 내지 도 11d는 LFW 얼굴 데이터 베이스를 이용한 결과이다. LFW 얼굴 데이터 베이스는 국제적으로 권위 있는 데이터 베이스이다. 도 11a 내지 도 11d의 원시 영상은 처리되지 않은 얼굴 영상을 의미하고, VGG-역합성곱 결과는 종래의 VGG-역합성곱 방식에 의한 결과이며, 얼굴 영상 분석 장치의 결과는 일 실시예에 다른 얼굴 영상 분석 장치(100)에 의한 결과이다. 예를 들면, 도 9C에서, VGG-역합성곱 방식의 결과는 머리카락의 일부와 배경을 함께 분석하지만, 얼굴 영상 분석 장치의 결과는 머리카락과 배경을 정확하게 구분한다.
| 얼굴 영상 분석 장치에 의한 결과 | VGG-역합성곱 방식의 결과 | 리우의 방식의 결과 | |
| 픽셀 정확도 | 97.53% | 97.06% | 95.12% |
| 모델의 크기 | 103M | 960M | 127M |
표 1은 각종 방법의 픽셀 정확도와 모델의 크기를 나타낸다. 종래의 VGG-역합성곱 방식 또는 리우의 방식(Liu's work)과 비교할 때, 얼굴 영상 분석 장치(100)에 의한 픽셀 정확도는 97.53%에 달하고 모델의 크기는 103M에 불과하다. 이처럼, 얼굴 영상 분석 장치(100)는 높은 정확도를 가지면서도 모델의 크기를 줄일 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 분석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
Claims (27)
- 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하는 잔차 네트워크(Residual network)에 얼굴 영상을 입력하는 단계;
상기 잔차 네트워크를 사용하여 얼굴 영상을 처리하는 단계; 및
잔차 역합성곱 네트워크(Residual deconvolution network)를 사용하여 상기 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득하는 단계를 포함하고,
상기 잔차 네트워크는 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 상기 잔차 네트워크의 전체 잔차 블록의 수보다 작고,
상기 잔차 역합성곱 네트워크는 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 상기 복수의 잔차 역합성곱 블록은 상기 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응하는
얼굴 영상 분석 방법. - 제1항에 있어서,
사전정보(prior information) 획득 네트워크를 사용하여 얼굴 영상의 사전정보를 획득하는 단계; 및
상기 사전정보와 상기 잔차 역합성곱 네트워크의 출력을 결합하여 분석 결과를 획득하는 단계
를 더 포함하는, 얼굴 영상 분석 방법. - 제2항에 있어서,
상기 얼굴 영상의 사전정보를 획득하는 단계는,
상기 얼굴 영상에 포함된 얼굴과 복수의 얼굴 영상 분석용 훈련 데이터에 포함된 얼굴들을 비교하여 상기 얼굴 영상에 포함된 얼굴과 가장 유사한 얼굴을 포함하는 얼굴 영상 분석용 훈련 데이터를 선택하고, 상기 가장 유사한 얼굴로부터 획득된 캘리브레이션(Calibration) 정보의 평균값을 상기 얼굴 영상의 사전정보로서 획득하는 단계를 포함하는,
얼굴 영상 분석 방법. - 제2항에 있어서,
상기 분석 결과를 획득하는 단계는,
잔차 역합성곱 네트워크로부터 출력된 분석맵과 사전정보를 조합하여 조합맵을 획득하고, 합성곱 커널(convolution kernel)을 이용하여 상기 조합맵에 대해 합성곱을 수행함으로써 사전정보의 공헌도 플롯(contribution plot)을 획득하고, 상기 공헌도 플롯과 상기 분석맵을 엘레먼트 수준(element level)으로 더하여 상기 분석 결과를 획득하는
얼굴 영상 분석 방법. - 제2항에 있어서,
밀집 조건 랜덤 필드(Dense condition random field) 방식을 이용하여 상기 분석 결과를 개선하는 단계
를 더 포함하는, 얼굴 영상 분석 방법. - 제5항에 있어서,
상기 분석 결과를 개선하는 단계는,
사전정보 획득 네트워크가 출력한 분석 결과를 밀집 조건 랜덤 필드의 단항(unary term)으로 설정함으로써 분석 결과를 개선하는
얼굴 영상 분석 방법. - 제1항에 있어서,
상기 잔차 네트워크는 첫 번째 잔차 블록 이전에 위치한 합성곱 블록을 더 포함하고, 상기 잔차 역합성곱 네트워크는 마지막 잔차 역합성곱 블록 이후에 위치한 역합성곱 블록을 더 포함하는
얼굴 영상 분석 방법. - 제1항에 있어서,
상기 복수의 잔차 블록 중의 제1 잔차 블록의 출력에 대하여 최대치 풀링(max pooling) 처리가 수행되고, 상기 최대치 풀링 처리가 수행된 결과는 상기 제1 잔차 블록의 다음 레벨의 잔차 블록에 입력되고,
상기 복수의 잔차 역합성곱 블록 중의 제1 잔차 역합성곱 블록의 출력에 대하여 최대치 안티 풀링(max anti pooling) 처리가 수행되고, 상기 최대치 안티 풀링 처리가 수행된 결과는 상기 제1 잔차 역합성곱 블록의 다음 레벨의 잔차 역합성곱 블록에 입력되는
얼굴 영상 분석 방법. - 제1항에 있어서,
상기 복수의 잔차 역합성곱 블록은 각각 밀집기, 디테일 학습기 및 차원 감소기를 포함하는
얼굴 영상 분석 방법. - 제9항에 있어서,
상기 디테일 학습 모듈은 잔차 브랜치(residual branch)와 역합성곱 브랜치(deconvolution branch)를 포함하는
얼굴 영상 분석 방법. - 제1항에 있어서,
상기 잔차 네트워크는 4개 또는 5개의 잔차 블록을 포함하고, 상기 잔차 역합성곱 네트워크의 잔차 역합성곱 블록의 수는 상기 잔차 네트워크의 잔차 블록의 수보다 하나 적은
얼굴 영상 분석 방법. - 제1항에 있어서,
상기 잔차 네트워크 내의 합성곱 블록의 각 합성곱 레이어는 64개의 합성곱 커널을 포함하고, 상기 잔차 역합성곱 네트워크 내의 역합성곱 블록의 각 역합성곱 레이어는 64개의 역합성곱 커널을 포함하는,
얼굴 영상 분석 방법. - 제1항에 있어서,
잔차 블록은 입력 데이터의 채널수를 2배로 확장하고, 잔차 역합성곱 블록은 입력 데이터의 채널수를 1/2배로 축소하는
얼굴 영상 분석 방법. - 제1항에 있어서,
상기 미리 정한 N번째 잔차 블록은 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록 중의 마지막으로부터 두 번째 잔차 블록 또는 마지막으로부터 세 번째 잔차 블록을 포함하는,
얼굴 영상 분석 방법. - 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하는 잔차 네트워크에 얼굴 영상을 입력하는 프로세서;
얼굴 영상을 처리하는 잔차 네트워크; 및
상기 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득하는 잔차 역합성곱 네트워크
를 포함하고,
상기 잔차 네트워크는 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 상기 잔차 네트워크의 전체 잔차 블록의 수보다 작고,
상기 잔차 역합성곱 네트워크는 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 상기 복수의 잔차 역합성곱 블록은 상기 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응하는
얼굴 영상 분석 장치 - 제15항에 있어서,
얼굴 영상의 사전정보를 획득하고, 상기 사전정보와 상기 잔차 역합성곱 네트워크의 출력을 결합하여 분석 결과를 획득하는 사전정보 획득 네트워크를 더 포함하는, 얼굴 영상 분석 장치. - 제16항에 있어서,
상기 프로세서는, 밀집 조건 랜덤 필드 방식을 이용하여 상기 분석 결과를 개선하는, 얼굴 영상 분석 장치. - 얼굴 식별용 훈련 데이터를 이용하여 잔차 네트워크의 가중치(weight) 파라미터를 조정함으로써 상기 잔차 네트워크를 훈련하는 사전 훈련 단계; 및
얼굴 영상 분석용 훈련 데이터를 이용하여 잔차 역합성곱 네트워크의 가중치 파라미터를 조정하고 상기 잔차 네트워크의 가중치 파라미터를 추가로 조정함으로써 상기 잔차 네트워크와 상기 잔차 역합성곱 네트워크를 훈련하는 연합 훈련 단계
를 포함하고,
얼굴 영상 분석 장치는 상기 잔차 네트워크 및 상기 잔차 역합성곱 네트워크를 포함하고,
상기 잔차 네트워크는, 입력에서 출력 방향으로 배열된 순차적으로 결합된 복수의 잔차 블록을 포함하고, 얼굴 영상을 처리하고, 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크로 전달하고, N은 자연수이고 상기 잔차 네트워크의 전체 잔차 블록의 수보다 작고,
상기 잔차 역합성곱 네트워크는 상기 복수의 잔차 블록 중의 N번째 잔차 블록의 출력으로부터 분석맵을 획득하고, 순차적으로 결합된 복수의 잔차 역합성곱 블록을 포함하고, 상기 복수의 잔차 역합성곱 블록은 상기 복수의 잔차 블록 중의 첫 번째부터 N번째까지의 잔차 블록에 각각 대응하는,
얼굴 영상 분석 장치의 훈련 방법. - 제18항에 있어서,
상기 사전 훈련 단계는,
상기 얼굴 식별용 훈련 데이터를 상기 잔차 네트워크에 입력하고 얼굴 식별 동작을 수행하고 상기 잔차 네트워크의 마지막 잔차 블록의 출력에 대하여 평균 풀링(average pooling)을 수행하고, 상기 잔차 네트워크에 대하여 풀조인(full join) 동작을 수행하고 상기 잔차 네트워크의 가중치 파라미터를 조정함으로써 상기 잔차 네트워크를 미리 훈련하는,
얼굴 영상 분석 장치의 훈련 방법. - 제19항에 있어서,
상기 사전 훈련 단계는,
상기 잔차 네트워크의 가중치 파라미터를 조정하여 소프트맥스(softmax) 함수를 최소화하는,
얼굴 영상 분석 장치의 훈련 방법. - 제18항에 있어서,
상기 사전 훈련 단계는,
상기 잔차 네트워크 중의 가중치 파라미터를 랜덤으로 초기화하는,
얼굴 영상 분석 장치의 훈련 방법. - 제18항에 있어서,
상기 연합 훈련 단계는,
상기 사전 훈련 단계로부터 획득된 가중치 파라미터로 상기 잔차 네트워크의 가중치 파라미터를 초기화하고 상기 잔차 역합성곱 네트워크의 가중치 파라미터를 랜덤으로 초기화하고 상기 N번째 잔차 블록의 출력을 상기 잔차 역합성곱 네트워크에 입력하고, 상기 얼굴 영상 분석용 훈련 데이터를 상기 잔차 네트워크에 입력하고 상기 잔차 네트워크와 상기 잔차 역합성곱 네트워크를 이용하여 얼굴 영상 분석 동작을 수행하여 상기 잔차 역합성곱 네트워크의 가중치 파라미터와 상기 잔차 네트워크의 가중치 파라미터를 조정하는,
얼굴 영상 분석 장치의 훈련 방법. - 제18항에 있어서,
상기 연합 훈련 단계는,
상기 잔차 역합성곱 네트워크의 가중치 파라미터와 상기 잔차 네트워크의 가중치 파라미터를 조정하여 소프트맥스 함수를 최소화하는,
얼굴 영상 분석 장치의 훈련 방법. - 제18항에 있어서,
상기 얼굴 영상 분석 장치는, 상기 얼굴 영상의 사전정보를 획득하는 사전정보(prior information) 획득 네트워크를 더 포함하고, 상기 사전정보와 상기 잔차 역합성곱 네트워크의 출력을 결합하여 분석 결과를 획득하고,
얼굴 영상 분석 동작에 의해 사전정보 획득 네트워크 내의 가중치 파라미터를 조정함으로써 사전정보 획득 네트워크를 훈련하는 사전정보 획득 네트워크 훈련 단계를 더 포함하는,
얼굴 영상 분석 장치의 훈련 방법. - 제24항에 있어서,
상기 사전정보 획득 네트워크 훈련 단계는,
상기 사전정보 획득 네트워크를 훈련하는 제1 훈련 단계; 및
상기 잔차 네트워크, 상기 잔차 역합성곱 네트워크 및 상기 사전정보 획득 네트워크를 훈련하는 제2 훈련 단계를 포함하고,
상기 제1 훈련 단계에서, 상기 사전정보 획득 네트워크 내의 가중치 파라미터 이외의 모든 파라미터는 고정되고, 상기 사전정보 획득 네트워크 내의 가중치 파라미터는 조정되고,
상기 제2 훈련 단계에서, 상기 조정된 사전정보 획득 네트워크 내의 가중치 파라미터를 이용하여 사전정보 획득 네트워크는 초기화되고, 상기 사전정보 획득 네트워크 내의 가중치 파라미터 이외의 모든 파라미터는 가변이고, 상기 잔차 네트워크, 상기 잔차 역합성곱 네트워크 및 상기 사전정보 획득 네트워크의 전체에 대해 얼굴 영상 분석용 훈련 데이터를 이용하여 얼굴 영상 분석 동작이 수행됨으로써, 상기 잔차 네트워크 및 상기 잔차 역합성곱 네트워크가 조정되고 상기 사전정보 획득 네트워크 내의 각각의 가중치 파라미터가 추가적으로 조정되는,
얼굴 영상 분석 장치의 훈련 방법. - 제25항에 있어서,
상기 사전정보 획득 네트워크 훈련 단계는,
상기 사전정보 획득 네트워크 내의 가중치 파라미터를 조정하여 소프트맥스 함수를 최소화하는,
얼굴 영상 분석 장치의 훈련 방법. - 제18항에 있어서,
상기 얼굴 식별용 훈련 데이터 또는 상기 얼굴 영상 분석용 훈련 데이터에 대한 전처리 단계를 더 포함하고,
상기 전처리 단계는, 상기 얼굴 식별용 훈련 데이터 또는 상기 얼굴 영상 분석용 훈련 데이터를 변경하지 않고 상기 잔차 네트워크에 직접 입력하거나, 상기 얼굴 식별용 훈련 데이터 또는 상기 얼굴 영상 분석용 훈련 데이터에 대하여 랜덤 미러링(random mirroring)을 수행하거나, 상기 얼굴 식별용 훈련 데이터 또는 상기 얼굴 영상 분석용 훈련 데이터에 대하여 랜덤 컷 아웃(random cut out)을 수행하는,
얼굴 영상 분석 장치의 훈련 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/795,677 US10528846B2 (en) | 2016-11-14 | 2017-10-27 | Method and apparatus for analyzing facial image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611025410.7A CN108073876B (zh) | 2016-11-14 | 2016-11-14 | 面部解析设备和面部解析方法 |
| CN201611025410.7 | 2016-11-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180054414A true KR20180054414A (ko) | 2018-05-24 |
| KR102458243B1 KR102458243B1 (ko) | 2022-10-24 |
Family
ID=62160830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170097998A KR102458243B1 (ko) | 2016-11-14 | 2017-08-02 | 얼굴 영상 분석 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102458243B1 (ko) |
| CN (1) | CN108073876B (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143934A (zh) * | 2019-12-26 | 2020-05-12 | 长安大学 | 一种基于时间卷积网络的结构变形预测方法 |
| CN111274987A (zh) * | 2020-02-10 | 2020-06-12 | 广东九联科技股份有限公司 | 人脸表情识别方法及人脸表情识别装置 |
| CN111783792A (zh) * | 2020-05-31 | 2020-10-16 | 浙江大学 | 一种提取b超图像显著纹理特征的方法及其应用 |
| CN112347850A (zh) * | 2020-09-30 | 2021-02-09 | 新大陆数字技术股份有限公司 | 红外图像转换方法、活体检测方法、装置、可读存储介质 |
| CN113344939A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种基于细节保持网络的图像分割方法 |
| CN114202746A (zh) * | 2021-11-10 | 2022-03-18 | 深圳先进技术研究院 | 路面状态识别方法、装置、终端设备及存储介质 |
| CN116758661A (zh) * | 2023-08-16 | 2023-09-15 | 鹿客科技(北京)股份有限公司 | 智能解锁方法、装置、电子设备和计算机可读介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921022A (zh) * | 2018-05-30 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种人体属性识别方法、装置、设备及介质 |
| CN109409198B (zh) * | 2018-08-31 | 2023-09-05 | 平安科技（深圳）有限公司 | Au检测方法、装置、设备及介质 |
| US10438082B1 (en) * | 2018-10-26 | 2019-10-08 | StradVision, Inc. | Learning method, learning device for detecting ROI on the basis of bottom lines of obstacles and testing method, testing device using the same |
| CN110135231B (zh) * | 2018-12-25 | 2021-05-28 | 杭州慧牧科技有限公司 | 动物面部识别方法、装置、计算机设备和存储介质 |
| CN109949223B (zh) * | 2019-02-25 | 2023-06-20 | 天津大学 | 基于反卷积稠密连接的图像超分辨率重构方法 |
| CN109920021B (zh) * | 2019-03-07 | 2023-05-23 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
| CN111768553A (zh) * | 2019-04-02 | 2020-10-13 | 珠海格力电器股份有限公司 | 一种自动售货柜的售货方法及自动售货柜 |
| US11410000B2 (en) * | 2019-08-08 | 2022-08-09 | Beijing Boe Health Technology Co., Ltd. | Computer-implemented method, computer-implemented diagnosis method, apparatus for classifying image, and computer-program product |
| CN111783514A (zh) * | 2019-11-18 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 面部解析方法、装置及计算机可读存储介质 |
| CN112580581A (zh) * | 2020-12-28 | 2021-03-30 | 英特灵达信息技术(深圳)有限公司 | 目标检测方法、装置及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160061856A (ko) * | 2014-11-24 | 2016-06-01 | 삼성전자주식회사 | 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6993204B1 (en) * | 2002-01-04 | 2006-01-31 | Pixon Llc | High speed signal enhancement using pixons |
| US10318575B2 (en) * | 2014-11-14 | 2019-06-11 | Zorroa Corporation | Systems and methods of building and using an image catalog |
| CN107209864B (zh) * | 2015-01-27 | 2018-03-30 | 北京市商汤科技开发有限公司 | 人脸识别方法和装置 |
| CN104866900B (zh) * | 2015-01-29 | 2018-01-19 | 北京工业大学 | 一种反卷积神经网络训练方法 |
| CN107895150B (zh) * | 2016-11-30 | 2021-07-16 | 奥瞳系统科技有限公司 | 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估 |
-
2016
- 2016-11-14 CN CN201611025410.7A patent/CN108073876B/zh active Active
-
2017
- 2017-08-02 KR KR1020170097998A patent/KR102458243B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160061856A (ko) * | 2014-11-24 | 2016-06-01 | 삼성전자주식회사 | 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치 |
Non-Patent Citations (2)
| Title |
|---|
| Residual Deconvolutional Networks for Brain Electron Microscopy Image Segmentation", IEEE Transactions on Medical Imaging, 2015.12 * |
| Residual Deconvolutional Networks for Brain Electron Microscopy Image Segmentation, IEEE Transactions on Medical Imaging, 2017.02. * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143934A (zh) * | 2019-12-26 | 2020-05-12 | 长安大学 | 一种基于时间卷积网络的结构变形预测方法 |
| CN111143934B (zh) * | 2019-12-26 | 2024-04-09 | 长安大学 | 一种基于时间卷积网络的结构变形预测方法 |
| CN111274987B (zh) * | 2020-02-10 | 2023-10-20 | 广东九联科技股份有限公司 | 人脸表情识别方法及人脸表情识别装置 |
| CN111274987A (zh) * | 2020-02-10 | 2020-06-12 | 广东九联科技股份有限公司 | 人脸表情识别方法及人脸表情识别装置 |
| CN111783792A (zh) * | 2020-05-31 | 2020-10-16 | 浙江大学 | 一种提取b超图像显著纹理特征的方法及其应用 |
| CN111783792B (zh) * | 2020-05-31 | 2023-11-28 | 浙江大学 | 一种提取b超图像显著纹理特征的方法及其应用 |
| CN112347850A (zh) * | 2020-09-30 | 2021-02-09 | 新大陆数字技术股份有限公司 | 红外图像转换方法、活体检测方法、装置、可读存储介质 |
| CN112347850B (zh) * | 2020-09-30 | 2024-04-23 | 新大陆数字技术股份有限公司 | 红外图像转换方法、活体检测方法、装置、可读存储介质 |
| CN113344939A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种基于细节保持网络的图像分割方法 |
| CN114202746A (zh) * | 2021-11-10 | 2022-03-18 | 深圳先进技术研究院 | 路面状态识别方法、装置、终端设备及存储介质 |
| CN114202746B (zh) * | 2021-11-10 | 2024-04-12 | 深圳先进技术研究院 | 路面状态识别方法、装置、终端设备及存储介质 |
| CN116758661A (zh) * | 2023-08-16 | 2023-09-15 | 鹿客科技(北京)股份有限公司 | 智能解锁方法、装置、电子设备和计算机可读介质 |
| CN116758661B (zh) * | 2023-08-16 | 2023-10-27 | 鹿客科技(北京)股份有限公司 | 智能解锁方法、装置、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108073876A (zh) | 2018-05-25 |
| CN108073876B (zh) | 2023-09-19 |
| KR102458243B1 (ko) | 2022-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180054414A (ko) | 얼굴 영상 분석 방법 및 장치 | |
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| Jemai et al. | Pyramidal hybrid approach: Wavelet network with OLS algorithm-based image classification | |
| CN110555458A (zh) | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 | |
| US11216910B2 (en) | Image processing system, image processing method and display device | |
| CN110929637B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN109284782B (zh) | 用于检测特征的方法和装置 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| KR102419270B1 (ko) | Mlp 기반 아키텍처를 통한 의료영상 세그먼테이션 장치 및 그 방법 | |
| WO2021179117A1 (zh) | 神经网络通道数搜索方法和装置 | |
| Cristóbal et al. | Texture segmentation through eigen-analysis of the Pseudo-Wigner distribution | |
| Yu et al. | STP-Net: Semi-tensor product neural network for image compressive sensing | |
| CN115953296B (zh) | 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统 | |
| JP2005078579A (ja) | 信号分離方法、信号分離プログラム及びそのプログラムを記録した記録媒体 | |
| Shilna et al. | Reswave-Net: A wavelet based Residual U-Net for Brain Tumour Segmentation and Overall Survival Prediction | |
| CN108932709A (zh) | 多幅图像超分辨率重建的方法 | |
| Dou et al. | A Decoder Structure Guided CNN‐Transformer Network for face super‐resolution | |
| Hadi et al. | Performance of CPU-GPU Parallel Architecture on Segmentation and Geometrical Features Extraction of Malaysian Herb Leaves | |
| CN114663774B (zh) | 一种轻量级的显著性物体检测系统及方法 | |
| Rymarczyk et al. | Comparison of supervised and self-supervised deep representations trained on histological images | |
| CN113569917B (zh) | 一种自监督的图像翻译方法和系统 | |
| Cosserat et al. | A proximal approach to IVA-G with convergence guarantees | |
| Srisomboon et al. | A performance comparison of two PWS filters in different domain for image reconstruction technique under different image types | |
| Dwarakanath et al. | A novel hybrid method using Adaptive Wiener Filter and Example-based Approaches for aerial image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |