KR20180092453A

KR20180092453A - Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법

Info

Publication number: KR20180092453A
Application number: KR1020170018146A
Authority: KR
Inventors: 조태훈; 기철민; 연제선; 한문수; 김지윤
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2017-02-09
Filing date: 2017-02-09
Publication date: 2018-08-20

Abstract

본 발명은 CNN(Convolutional Neural Network)과 스테레오 이미지를 이용한 얼굴 인식 방법에 관한 것으로, 카메라 2대를 이용하여 얼굴의 좌측 및 우측 영상을 촬영하는 단계; 상기 촬영한 두 영상에서 얼굴 영역만을 Haar-like Feature를 이용하여 추출하는 단계; 상기 추출한 두 영상의 얼굴 영역들을 같은 크기로 변경하는 단계; 상기 같은 크기로 변경한 두 영상을 하나의 영상으로 합쳐주는 단계; 및 CNN를 이용하여 학습 및 인식하는 단계;를 포함하는 것을 특징으로 한다.

Description

CNN과 스테레오 이미지를 이용한 얼굴 인식 방법{Face recognition method Using convolutional neural network and stereo image}

본 발명은 얼굴 인식 방법에 관한 것으로, 더욱 상세하게는 CNN과 스테레오 이미지를 이용한 얼굴 인식 방법에 관한 것이다.

컴퓨터비전 분야에서 대표적인 얼굴인식의 방법은 주성분분석을 이용한 얼굴인식의 방법인 Eigenface 방법이 있다. 이는 인식 대상이 되는 사람의 얼굴 샘플 이미지를 모아 주성분분석을 이용하여 샘플들에 대한 복수개의 Eigenface를 구하고, 여기서 나타나는 근사계수를 저장한다. 이후 판별하고자 하는 사람의 이미지를 동일하게 주성분분석을 이용하여 근사계수와 Eigenface를 구하고, 저장해 놓은 개인별 근사계수와 가장 유사한 데이터를 찾아내어 판별한다.

위 방법은 2D 영상 1개에 대한 Eigenface 방법이며, 2D 영상 2개로 이루어진 스테레오 영상을 이용하는 얼굴 인식의 방법과 스테레오 영상으로 추출한 3D 정보를 이용하는 얼굴 인식의 방법 또한 존재하는데, 이는 2D 영상 2개 중 좌측(Left)영상과 두 영상의 시차(Disparity)에서 나타나는 영상을 이용하여 얼굴을 인식하는 방법이며, 각 영상에 주성분분석을 적용하여 Eigenface와 근사계수를 구하는 과정은 동일하게 진행된다. 최종적으로 비교할 영상의 가장 유사한 데이터를 추출할 때 좌측 영상과 시차 영상의 유사도에 가중치를 주어 판별하는 방식이다.

그러나 이러한 종래의 방법들은 학습시킨 영상이 아닌 새로운 영상이 들어왔을 때나 동양인의 얼굴 특성상 나타나는 정확도가 떨어지고, 촬영 거리에 민감하게 반응하는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 얼굴 인식의 정확도를 향상시킨 CNN(Convolutional Neural Network)과 스테레오 이미지를 이용한 얼굴 인식 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 카메라 2대를 이용하여 얼굴의 좌측 및 우측 영상을 촬영하는 단계; 상기 촬영한 두 영상에서 얼굴 영역만을 Haar-like Feature를 이용하여 추출하는 단계; 상기 추출한 두 영상의 얼굴 영역들을 같은 크기로 변경하는 단계; 상기 같은 크기로 변경한 두 영상을 하나의 영상으로 합쳐주는 단계; 및 CNN(Convolutional Neural Network)를 이용하여 학습 및 인식하는 단계;를 포함하는 CNN과 스테레오 이미지를 이용한 얼굴 인식 방법을 제공한다.

상기 CNN(Convolutional Neural Network)를 이용하여 학습하는 단계는, 하나의 뉴럴 네트워크에서 두 개의 영상을 처리하기 위해 뉴럴 네트워크의 구조를 2채널 영상에 맞춰서 뉴런(Neuron)의 연결을 수정하고, 수정한 CNN에서 학습을 진행할 수 있다.

이상과 같이 본 발명에 따르면, CNN(Convolutional Neural Network)과 스테레오 이미지를 이용하여 얼굴 인식의 정확도를 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 CNN과 스테레오 이미지를 이용한 얼굴 인식 방법을 나타낸 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

그러면, 본 발명의 일실시예에 따른 CNN(Convolutional Neural Network)과 스테레오 이미지를 이용한 얼굴 인식 방법에 대하여 설명한다.

도 1을 참조하면, 본 발명의 CNN과 스테레오 이미지를 이용한 얼굴 인식 방법은, 먼저 카메라 2대를 이용하여 촬영 대상인 얼굴의 좌측(Left) 및 우측(Right) 영상을 촬영한다(S100). 이때, 촬영한 두 영상을 묶어서 스테레오 영상이라고 한다.

이어서, 얼굴 영역 검출과정에서는 촬영한 두 영상에서 얼굴 영역만을 추출하기 위해 Haar-like Feature를 이용하여 추출을 진행한다(S200).

여기서, Haar-like Feature는 특징점을 추출하는 방법 중 하나로, 사람의 얼굴에는 특별한 패턴이 있는데, 두 눈은 명암이 어둡고 코는 명암이 밝은 영상의 특성을 이용하여 패턴을 구하는 방법이다.

사람의 얼굴 위에 흑백의 사각형을 겹쳐 놓은 다음 밝은 영역에 속한 픽셀 값들의 평균에서 어두운 영역에 속한 픽셀 값들의 평균의 차이를 구한다. 그 차이가 일정한 임계값을 넘으면 사람 얼굴에 대한 Haar-like Feature가 되는 것이다.

사람의 얼굴은 다양한 모습을 보여주지만 생김새의 패턴은 비슷하기 때문에 임의의 얼굴 위에서 특정 위치, 특정 분포에 따른 명암의 차이는 거이 없을 것이라는 것이 이 알고리즘의 전제조건이다.

얼굴 영역 검출에 타 알고리즘들에 비해 속도가 빠르며, 본 발명에서는 openCV의 Haar Classifer를 사용하여 좌측, 우측 영상의 얼굴 영역을 각각 추출해낸다.

그런 다음, 추출한 스테레오 얼굴 영상들은 촬영 대상의 상태에 따라 영역의 크기가 제각각이기 때문에 두 영상의 얼굴 영역들을 같은 크기로 변경해준다(S300).

이때, 영상의 크기가 너무 크면 이 후에 학습 및 인식과정에서 사용하는 CNN(Convolutional Neural Network)에서 학습을 진행할 때 학습 시간이 상당히 길어질 수 있고, 어느 정도 판별 가능한 영상이면 학습 및 인식이 가능하기 때문에 영상의 크기는 29x29의 영상으로 두 영상 모두 크기변경을 진행한다.

다음으로, 두 영상 모두 한 개의 CNN에서 학습을 진행하기 때문에 하나의 영상으로 합쳐주는 작업을 진행한 후 CNN를 이용하여 학습 및 인식을 진행한다(S400).

이때, 하나의 뉴럴 네트워크(Neural Network)에서 두 개의 영상을 처리하기 위해 뉴럴 네트워크의 구조를 2채널 영상에 맞춰서 뉴런(Neuron)의 연결을 수정하였으며, 수정한 CNN에서 학습을 진행한다.

여기서, 학습 및 인식과정에서 사용한 CNN은 이미지에서 고 수준의 추상화된 정보를 추출하는 등의 다양한 컴퓨터 비전 분야에서 많은 연구가 진행 중인 인공신경망의 한 종류이다.

CNN의 주요 장점은 깊고 계층적인 특징들을 학습할 수 있다는 것이며, 이는 고전적인 알고리즘보다 훨씬 강력하다고 알려져 있다.

CNN과 일반적인 뉴럴 네트워크의 차이는 가중치의 개수를 확연히 줄일 수 있다는 점에서 차이를 보이며, 콘볼루션(Convolution)의 특성을 살린 뉴럴 네트워크 연산을 한다.

CNN은 일반적으로 몇 개의 층으로 이루어져 있으며 기본적으로 3가지의 다른 층을 가지고 있다.

첫 번째 콘볼루션 레이어(Convolution Layer)는 입력한 데이터에 콘볼루션을 적용하여 콘볼루션 특징들을 추출하는 층이다. 이를 다시 말하면 유의미한 자질을 추출하는 층이라고 할 수 있다.

두 번째 Pooling Layer는 콘볼루션 특징들의 크기를 줄이는 과정이다. 컴퓨터 비전 분야에서 CNN은 이미지에 적용되는데 이미지의 특성상 픽셀의 개수가 너무 많고, 이에 따라 연산 횟수가 상당히 많아진다. 그러므로 속도적인 향상과 Topology 변화에 영향을 받지 않도록 영상을 줄이는 과정을 진행하는 층이다.

세 번째는 분류 단계에서 사용되는 피드 포워드 레이어(Feedforward Layer)로 이는 일반적인 뉴럴 네트워크의 구조와 같다. 이는 마지막으로 적용되어 콘볼루션 레이어와 풀링 레이어(Pooling layer)의 반복 구조에서 나온 특징들을 이용하여 분류를 할 때 사용된다.

예로써, 학습 및 인식과정에서의 CNN의 레이어 구성은 첫 번째 CNN에서 5x5의 콘볼루션 커널(Convolution Kernel)을 적용하여 추출한 6개의 25x25의 Convolution Feature Map을 만들고, 풀링 레이어(Pooling layer)에서 2x2의 영역에서 첫 픽셀만을 선택하여 샘플링 작업을 진행하여 13x13의 샘플링된 이미지가 나타난다.

두 번째 콘볼루션 레이어에서도 동일하게 5x5의 Convolution Kernel을 적용하여 50개의 9x9의 Convolution Feature Map을 만들고 두 번째 샘플링 과정에서도 마찬가지로 2x2의 영역에서 첫 번째 값만 선택하여 샘플링을 진행한다.

세 번재 레이어와 네 번째 레이어는 모든 뉴런(Neuron)이 연결된 Fully Connected Layer로 각각 100개, 10개로 구성된다.

최종적으로 크기 변경까지 진행된 스테레오 얼굴 영상을 이용하여 학습을 진행하고, 새로운 이미지가 들어왔을 때 동일하게 진행되는 크기 변경과정까지 거쳐 학습된 CNN에 입력했을 때 최종적인 결과가 나타나게 된다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

카메라 2대를 이용하여 얼굴의 좌측 및 우측 영상을 촬영하는 단계;
상기 촬영한 두 영상에서 얼굴 영역만을 Haar-like Feature를 이용하여 추출하는 단계;
상기 추출한 두 영상의 얼굴 영역들을 같은 크기로 변경하는 단계;
상기 같은 크기로 변경한 두 영상을 하나의 영상으로 합쳐주는 단계; 및
CNN(Convolutional Neural Network)를 이용하여 학습 및 인식하는 단계;를 포함하는 것을 특징으로 하는 CNN과 스테레오 이미지를 이용한 얼굴 인식 방법.
제1항에 있어서,
상기 CNN(Convolutional Neural Network)를 이용하여 학습하는 단계는, 하나의 뉴럴 네트워크에서 두 개의 영상을 처리하기 위해 뉴럴 네트워크의 구조를 2채널 영상에 맞춰서 뉴런(Neuron)의 연결을 수정하고, 수정한 CNN에서 학습을 진행하는 것을 특징으로 하는 CNN과 스테레오 이미지를 이용한 얼굴 인식 방법.