KR20180092494A

KR20180092494A - 학습 이미지 데이터 정제 시스템 및 그 방법

Info

Publication number: KR20180092494A
Application number: KR1020170018228A
Authority: KR
Inventors: 이호재; 조기성
Original assignee: 한국전자통신연구원
Priority date: 2017-02-09
Filing date: 2017-02-09
Publication date: 2018-08-20

Abstract

본 발명은 학습 이미지 데이터 데이터 정제 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 얼굴 인식 기술 분야에서 딥러닝 기반 얼굴 식별에 필요한 학습 데이터를 정제하는 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 학습 이미지 데이터 정제 시스템은 인식 대상의 이미지를 수신하는 이미지 입력부와, 이미지에서 얼굴 영역을 추출하고 얼굴 영역의 일부와 그 주변 영역을 포함하는 학습 이미지 영역을 결정하는 영역 추출부 및 학습 이미지 영역에 해당하는 학습 이미지를 생성하는 학습 이미지 생성부를 포함하는 것을 특징으로 한다.

Description

학습 이미지 데이터 정제 시스템 및 그 방법 {SYSTEM AND METHOD FOR REFINING TRAINING IMAGE}

본 발명은 학습 이미지 데이터 정제 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 얼굴 인식 기술 분야에서 딥러닝 기반 얼굴 식별에 필요한 학습 데이터를 정제하는 시스템 및 그 방법에 관한 것이다.

다양한 미디어 매체를 통해 많은 종류의 영상들이 시청자들에게 소비되고 있고, 주요 관심 객체인 사람에 대한 부가 서비스들을 제공하기 위하여 얼굴 인식 기술의 개발이 활발히 진행되고 있다.

또한, 보안 분야에서도 CCTV같은 영상에서의 주요 관심 객체인 사람을 인식하고 건물 출입 관리 혹은 범죄 예방을 위해 얼굴 인식 기술이 사용된다.

이러한 학습 데이터 기반 영상 인식 기술에서는 대용량 학습 데이터를 확보해야 해당 기술의 성능이 보장된다.

하지만 원하는 대상을 인식할 때마다 해당 대상의 대용량 학습 데이터를 구축하기는 어려운 문제점이 있고, 이는 영상 인식 성능을 보장하지 못하게 되는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 적은 양의 학습 데이터를 가지고도 딥러닝 기반 얼굴 식별 기술의 성능을 보장하는 것이 가능한 학습 이미지 데이터 정제 시스템 및 그 방법을 제공하는 데 그 목적이 있다.

본 발명에 따른 학습 이미지 데이터 정제 시스템은 인식 대상의 이미지를 수신하는 이미지 입력부와, 이미지에서 얼굴 영역을 추출하고 얼굴 영역의 일부와 그 주변 영역을 포함하는 학습 이미지 영역을 결정하는 영역 추출부 및 학습 이미지 영역에 해당하는 학습 이미지를 생성하는 학습 이미지 생성부를 포함하는 것을 특징으로 한다.

본 발명에 따른 학습 이미지 데이터 정제 방법은 인식 대상의 이미지에서 얼굴 영역을 추출하는 단계와, 얼굴 영역을 기준으로 학습 이미지 영역을 결정하는 단계 및 학습 이미지 영역에 해당하는 학습 이미지를 생성하여 동일한 이미지인 인식 대상의 이미지로부터 복수 개의 학습 이미지를 추가 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 학습 이미지 데이터 정제 시스템 및 그 방법은 인식하고자 하는 얼굴 정보가 포함된 이미지에서 정면 얼굴뿐 아니라 그 주변 얼굴까지 크로핑(cropping)하여, 인식 대상 얼굴에 대한 다양한 각도에서의 얼굴 특징점을 학습시켜 학습 데이터양을 증가시킴으로써, 상대적으로 적은 학습 데이터양을 통해서도 딥러닝 기반 얼굴 인식 기술의 성능을 보장하고, 정면 이외의 다양한 각도의 얼굴 인식이 가능한 효과가 있으며, 학습 데이터양을 증가시켜 인공 신경망에서 뚜렷한 특징점 추출을 가능하게 하는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 학습 이미지 데이터 정제 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 얼굴 영역이 입력된 이미지 및 추출된 얼굴 영역 이미지를 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 얼굴 인식을 위하여 추가 생성된 학습 이미지를 나타내는 예시도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 학습 데이터 추가 생성을 위한 얼굴 영역 위치를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 학습 이미지 데이터 정제 방법을 나타내는 순서도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 학습 이미지 데이터 정제 시스템을 나타내는 블록도이다.

본 발명의 실시예에 따른 학습 이미지 데이터 정제 시스템은 이미지 입력부(100)가 수신한 이미지에 대하여, 영역 추출부(200)가 얼굴 영역을 추출하고 그 얼굴 영역의 일부 및 그 주변 영역을 포함하는 복수의 학습 이미지 영역을 결정하여, 학습 이미지 생성부(300)가 학습 이미지 영역에 해당하는 학습 이미지를 생성함으로써, 동일한 이미지를 이용한 복수의 학습 이미지 생성을 통해, 얼굴 인식을 하기에 부족한 학습 이미지를 보충하여 기존 딥러닝 기반 얼굴 인식의 성능을 보장한다.

도 2 (a)는 본 발명의 실시예에 따른 이미지 입력부(100)가 수신하는, 얼굴 영역이 입력된 이미지를 나타내는 예시도이다.

본 발명의 실시예에 따른 영역 추출부(200)는 1차로 얼굴 영역을 추출하고, 2차로 학습 이미지 생성을 위한 전단계로서 추출된 얼굴 영역의 일부와 그 주변 영역을 포함하는 학습 이미지 영역을 결정한다.

도 2(b)은 전술한 영역 추출부(200)가 1차로 추출한 얼굴 영역의 이미지를 나타내는 도면이다.

본 발명의 실시예에 따른 영역 추출부(200)는 얼굴 영역과 동일한 크기의 학습 이미지 영역을 결정하게 되는데, 도 3은 영역 추출부(200)의 학습 이미지 영역 결정에 의해 학습 이미지 생성부(300)가 얼굴 인식을 위해 추가 생성한 학습 이미지들을 나타내는 예시도이다.

도 3에 도시한 학습 이미지들은 후술하는 학습 이미지 영역 결정 방식에 따라 총 8개의 학습 이미지들이 생성된 것으로, 이는 당업자의 이해를 돕기 위한 실시예이며 학습 이미지의 개수는 설계에 따라 변동되는 것이 가능하다.

도 3에 도시한 바와 같이, 본 발명의 실시예에 따르면 동일한 이미지(즉, 이미지 입력부가 수신한 이미지)로부터 복수 개의 학습 이미지를 추가 생성하게 되어, 얼굴 인식을 위해 필요한 학습 이미지 데이터의 양을 보충함으로써, 기존 딥러닝 기반 얼굴 인식의 성능 확보가 가능하다.

이하에서는 도 4 및 도 5를 참고하여, 본 발명의 일 실시예에 따른 학습 이미지 영역 결정 방식에 대하여 서술하기로 한다.

도 4에 도시된 박스(box)는 영역 추출부가 1차로 추출한 얼굴 영역의 경계선을 나타내며, 이러한 얼굴 영역의 중심은 center of image로 도시된다.

본 발명의 실시예에 따른 영역 추출부(200)는 전술한 바와 같이, 얼굴 영역의 크기와 동일한 크기를 가지는 복수 개의 학습 이미지 영역을 결정하게 되는데, 이러한 학습 이미지 영역 각각의 중심은 도 4에 도시한 1 내지 8의 포인트가 된다.

본 발명의 실시예에 따른 영역 추출부(200)는 얼굴 영역의 경계선 위 또는 얼굴 영역 내부에 그 중심을 가지는 학습 이미지 영역을 결정한다.

도 4에 도시한 실시예에 따르면, 얼굴 영역의 꼭지점은 (0, 0), (0, y), (x, y), (x, 0)이 되고, 1 내지 8의 점은 각각 (x/2, y), (x/2, 0), (0, y/2), (x, y/2), (x/4, 3y/4), (x/4, y/4), (3x/4, 3y/4), (3x/4, y/4)의 좌표를 가진다.

즉, 전술한 바와 같이 영역 추출부(200)는 1차로 추출한 얼굴 영역 내부 또는 그 얼굴 영역의 경계선 상의 하나의 포인트를 중심으로 하는 복수 개의 학습 이미지 영역을 추출한다.

도 4는 학습 이미지 영역의 중심이 얼굴 영역 경계선 상의 중점 또는 얼굴 영역을 4분할한 영역의 각각의 중심인 것을 예를 들어 도시한 것이나, 이러한 학습 이미지 영역의 중심에 대한 위치 결정은 그 설계에 따라 변동되는 것이 가능하다.

영역 추출부(200)는 학습 이미지 영역을 결정함에 있어서, 학습 이미지 영역이 이미지 입력부(100)가 수신한 이미지의 전체 영역을 벗어나는 경우, 그 벗어나는 영역을 제외시킨다.

즉, 도 5를 참고하면, 인식 대상 이미지에서 얼굴 영역이 그 전체 이미지의 경계선(이미지의 위쪽 경계선)에 위치할 경우, 전술한 방식에 따르면 예컨대 (x/4, 3y/4) 및 (3x/y, 3y/4)를 중심으로 하는 학습 이미지 영역은 전체 이미지에서 존재하지 않는 외부의 영역을 포함하게 되는 바, 영역 추출부(200)는 이러한 외부의 영역을 제외하여 학습 이미지 영역을 결정한다.

이는 (x/2, y) 및 (x, y)를 각각의 중심으로 하는 학습 이미지 영역에도 동일하게 적용되는 사항으로서, 영역 추출부(200)는 이들을 중심으로 하는 학습 이미지 영역을 결정함에 있어서 전체 이미지 영역을 벗어나는 부분은 포함되는 주변 영역에서 제외시킨다.

즉, 본 발명의 실시예에 따르면 얼굴 영역이 입력된 이미지에서 얼굴 영역을 추출하고, 추출된 얼굴 영역의 일부와 그 주변 영역을 포함하는 복수 개의 학습 이미지 영역을 추출하여 그에 해당되는 학습 이미지를 복수 개 추가 생성함에 있어서, 전체 이미지의 경계를 벗어나는 부분은 학습 이미지 영역에 포함되는 주변 영역에서 제외시킴으로써, 신뢰성 있는 학습 이미지를 추가 생성하게 된다.

본 발명의 실시예에 따른 학습 이미지 생성부(300)는 이미지 입력부(100)가 수신한 하나의 이미지로부터 복수 개의 학습 이미지를 생성함으로써, 정면 이외의 다양한 각도의 얼굴 인식이 가능하도록 지원한다.

도 6은 본 발명의 실시예에 따른 학습 이미지 데이터 정제 방법을 나타내는 순서도이다.

본 발명의 실시예에 따른 학습 이미지 데이터 정제 방법은 인식 대상의 이미지에서 얼굴 영역을 추출하는 단계(S100)와, 얼굴 영역을 기준으로 복수 개의 학습 이미지 영역을 결정하는 단계(S200) 및 학습 이미지 영역에 해당하는 학습 이미지를 생성하여, 동일한 이미지인 인식 대상의 이미지로부터 복수 개의 학습 이미지를 추가 생성하는 단계(S300)를 포함한다.

S100 단계는 도 2(a)에 도시한 얼굴 정보가 입력된 이미지로부터, 도 2 (b)에 도시한 바와 같이 경계선 내의 얼굴 영역을 추출한다.

S200 단계는 얼굴 영역의 일부 및 그 주변 영역을 포함하는 학습 이미지 영역을 결정하되, 얼굴 영역의 내부 또는 얼굴 영역의 경계선 상의 기설정된 위치를 중심으로 가지는 학습 이미지 영역을 결정한다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따르면 S200단계는 (0, 0), (0, y), (x, y), (x, 0)을 꼭지점으로 하는 얼굴 영역에 대하여, (x/2, y), (x/2, 0), (0, y/2), (x, y/2), (x/4, 3y/4), (x/4, y/4), (3x/4, 3y/4), (3x/4, y/4)의 좌표가 각각의 중심이 되는 복수 개의 학습 이미지 영역을 결정한다.

S200단계는 얼굴 영역과 동일한 크기를 가지는 학습 이미지 영역을 복수 개 결정하되, 학습 이미지 영역이 인식 대상의 이미지의 전체 영역을 벗어나는 경우에는 그 벗어나는 영역을 제외시켜 학습 이미지 영역을 결정한다.

즉, 도 5에 도시한 바와 같이, 얼굴 영역이 전체 이미지의 위쪽 경계선에 위치할 경우, 학습 이미지 영역을 결정함에 있어서 전체 이미지에서 존재하지 않는 영역은 제외시키게 된다.

이 때, 도 5에 도시한 바와 같이 전체 이미지의 상단 경계선이 얼굴 영역의 상단 경계선과 동일한 경우, S200 단계는 (x/4, 3y/4) 및 (3x/y, 3y/4) 좌표점을 중심으로 하는 학습 이미지 영역에 대하여, 전체 이미지에서 존재하지 않는 외부 영역은 학습 이미지 영역에 포함될 주변 영역에서 제외시키고, 나머지 주변 영역과 얼굴 영역의 일부를 포함하는 학습 이미지 영역을 결정한다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 이미지 입력부 200: 영역 추출부
300: 학습 이미지 생성부

Claims

인식 대상의 이미지를 수신하는 이미지 입력부;
상기 이미지에서 얼굴 영역을 추출하고, 상기 얼굴 영역의 일부와 그 주변 영역을 포함하는 학습 이미지 영역을 결정하는 영역 추출부; 및
상기 학습 이미지 영역에 해당하는 학습 이미지를 생성하는 학습 이미지 생성부
를 포함하는 학습 이미지 데이터 정제 시스템.
제1항에 있어서,
상기 영역 추출부는 상기 얼굴 영역과 동일한 크기의 상기 학습 이미지 영역을 결정하는 것
인 학습 이미지 데이터 정제 시스템.
제1항에 있어서,
상기 영역 추출부는 얼굴 정보가 입력된 상기 이미지에서, 경계선 내의 얼굴 영역을 추출하는 것
인 학습 이미지 데이터 정제 시스템.
제3항에 있어서, 상기 영역 추출부는 상기 얼굴 영역을 기준으로 기설정된 위치를 중심으로 가지는 상기 학습 이미지 영역을 결정하되, 상기 경계선의 위 및 상기 얼굴 영역 내 중 적어도 어느 하나의 위치에서 각각의 중심을 가지는 복수 개의 상기 학습 이미지 영역을 결정하는 것
인 학습 이미지 데이터 정제 시스템.
제1항에 있어서,
상기 영역 추출부는 상기 중심을 기준으로 학습 이미지 영역을 결정함에 있어서, 그 학습 이미지 영역이 상기 이미지 입력부가 수신한 이미지의 전체 영역을 벗어나는 경우, 그 벗어나는 영역을 상기 주변 영역에서 제외시키는 것
인 학습 이미지 데이터 정제 시스템.
제1항에 있어서,
상기 학습 이미지 생성부는 동일한 이미지인 상기 인식 대상의 이미지로부터 상기 학습 이미지를 복수 개 추가 생성하는 것
인 학습 이미지 데이터 정제 시스템.
(a) 인식 대상의 이미지에서 얼굴 영역을 추출하는 단계;
(b) 상기 얼굴 영역을 기준으로 학습 이미지 영역을 결정하는 단계; 및
(c) 상기 학습 이미지 영역에 해당하는 학습 이미지를 생성하여, 동일한 이미지인 상기 인식 대상의 이미지로부터 복수 개의 상기 학습 이미지를 추가 생성하는 단계
를 포함하는 학습 이미지 데이터 정제 방법.
제7항에 있어서,
상기 (a) 단계는 얼굴 정보가 입력된 상기 이미지에서 경계선 내의 얼굴 영역을 추출하는 것
인 학습 이미지 데이터 정제 방법.
제7항에 있어서,
상기 (b) 단계는 상기 얼굴 영역의 일부와 그 주변 영역을 포함하는 상기 학습 이미지 영역을 결정하되, 상기 얼굴 영역의 내부 또는 상기 얼굴 영역의 경계선 상의 기설정된 위치를 중심으로 가지는 상기 학습 이미지 영역을 결정하는 것
인 학습 이미지 데이터 정제 방법.
제9항에 있어서,
상기 (b) 단계는 상기 얼굴 영역과 동일한 크기로 상기 학습 이미지 영역을 결정하되, 상기 학습 이미지 영역이 상기 인식 대상의 이미지의 전체 영역을 벗어나는 경우에는 그 벗어나는 영역이 제외된 상기 학습 이미지 영역을 결정하는 것
인 학습 이미지 데이터 정제 방법.