KR20230073645A - 신원 확인용 이미지 데이터의 증강 방법 - Google Patents

Abstract

본 명세서에 따른 신원 이미지 데이터 증강 방법은 CAM(Class Activation Map)기술을 사용한다. 증강 이미지 데이터는 신원확인을 하는데 있어서 딥러닝 모델이 의사 결정을 내리는데 사용한 중요 부분을 찾을 수 있다. 스타일 트랜스퍼를 이용하여 위에서 찾은 부분 이외의 영역에서 다양한 스타일의 신원 이미지 생성 하고, 데이터 증강을 통해 다양한 스타일의 고품질 데이터셋 구축 가능하다. 본 발명을 통해 생성한 고품질 데이터셋을 사용하여 얼굴 이미지 보안 기술을 강화할 수 있다.

Description

신원 확인용 이미지 데이터의 증강 방법{IMAGE DATA ARGUMENTATION METHOD FOR IDENTIFICATION}

본 발명은 인공지능 학습에 관한 것이며, 보다 상세하게는 신원 확인용 인공지능의 학습 데이터를 증강하는 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.

최근 사람의 고유한 생체 정보를 활용하는 바이오인식 기술이 활용되고 있다. 바이오인식 기술은 얼굴, 지문 등과 같이 인체의 고유한 식별력을 지닌 특성을 활용하여 대상자의 신원을 확인 하는 기술로서, 출입 통제, 범죄자 식별, 금융권에서의 비대면 인증 등 다양한 분야에서 활용되고 있다.

얼굴 인식을 이용한 인증의 경우, 지문 인식이나 홍채 인식과 같이 카메라 혹은 센서에 접촉 등의 불필요한 작업을 요구하지 않아 대상자에게 거부감 없다. 다만, 정확한 얼굴 인식을 하기 위해서는 대상자의 얼굴을 촬영한 다수의 사진이 필요하다. 또한, 대상자가 안경을 쓰거나, 화장을 하는 경우와 같이 스타일에 변화가 있는 경우에도 인식하기 위해서는 대상자의 다양한 스타일에 대한 학습 데이터가 필요하다.

공개특허공보 제10-2019-0127255호

본 명세서는 신원 확인용 이미지 데이터를 쉽고 다양하게 증강시킬 수 있는 방법을 제공하는 것을 목적으로 한다.

본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 명세서에 따른 이미지 데이터 증강 방법은, (a) 프로세서가 신원 확인 대상자의 얼굴 이미지 데이터(이하 '입력 데이터')를 신원 확인용 모델에 입력하는 단계; (b) 프로세서가 상기 신원 확인용 모델을 거쳐 출력된 값이 입력 데이터와 동일 인물일 때, 상기 신원 확인용 모델에 포함된 적어도 하나 이상의 레이어를 Class Activation Map(CAM)에 입력하는 단계; (c) 프로세서가 상기 CAM에서 출력된 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정하는 단계; 및 (d) 프로세서가 상기 얼굴 영역 내 중요 부위를 제외한 나머지 부위에서 스타일 트랜스퍼를 이용하여 이미지 데이터를 증강하는 단계;를 포함할 수 있다.

본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 프로세서가 미리 선택된 레이어를 Class Activation Map(CAM)에 입력하는 단계일 수 있다.

본 명세서의 다른 실시예에 따르면, 상기 (b) 단계는, 프로세서가 신원 확인용 모델에 포함 모든 레이어를 Class Activation Map(CAM)에 입력하는 단계일 수 있다.

본 명세서의 일 실시예에 따르면, 상기 CAM에서 출력된 히트맵이 2이상일 때, 상기 (c) 단계는, 상기 프로세서가 상기 히트맵을 중첩시켜서 하나의 히트맵을 생성하고, 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정하는 단계일 수 있다.

본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 프로세서가 미리 설정된 기준 이상의 활성도를 가진 영역을 중요 부위로 설정하는 단계일 수 있다.

본 명세서의 다른 실시예에 따르면, 상기 (c) 단계는, 상기 프로세서가 미리 설정된 비율 이상의 활성도를 가진 영역을 중요 부위로 설정하는 단계일 수 있다.

본 명세서에 따른 이미지 데이터 증강 방법은, 컴퓨터에서 이미지 데이터 증강 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.

상술한 과제를 해결하기 위한 본 명세서에 따른 이미지 데이터 증강 장치는, 적어도 한 명 이상의 얼굴 이미지 데이터 및 신원 확인용 모델에 대한 데이터를 저장하는 메모리부; 및 신원 확인 대상자의 얼굴 이미지 데이터(이하 '입력 데이터')를 신원 확인용 모델에 입력하고, 상기 신원 확인용 모델을 거쳐 출력된 값이 입력 데이터와 동일 인물일 때 상기 신원 확인용 모델에 포함된 적어도 하나 이상의 레이어를 Class Activation Map(CAM)에 입력하고, 상기 CAM에서 출력된 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정하며, 상기 얼굴 영역 내 중요 부위를 제외한 나머지 부위에서 스타일 트랜스퍼를 이용하여 이미지 데이터를 증강하는 프로세서;를 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 명세서의 일 측면에 따르면, 신원 확인 대상자의 입력 이미지 데이터의 개수가 적은 경우에도 다양한 스타일 변화가 적용된 이미지 데이터로 증강이 가능하다.

본 명세서의 다른 측면에 따르면, 증강된 이미지 데이터를 통해 신원 확인용 인공지능을 학습시킬 경우, 학습된 인공지능의 신원 확인 정확도가 종래 기술에 비해 향상될 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 명세서에 따른 이미지 데이터 증강 방법의 개략적인 흐름도이다.
도 2는 Class Activation Map에서 출력된 히트맵의 예시도이다.
도 3은 스타일 트랜스퍼를 이용하여 신원 이미지 데이터를 증강하는 참고도이다.

본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 명세서에 따른 이미지 데이터 증강 방법을 설명한다. 본 명세서에 따른 이미지 데이터 증강 방법의 이해 편의를 위해 몇 가지를 먼저 설명하겠다.

본 명세서에서 컴퓨터에서 이하 설명될 이미지 데이터 증강 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현된 것을 가정한다. 그리고 상기 컴퓨터프로그램을 프로세서(processor)가 이하 설명될 다양한 산출 및 제어 로직을 실행하는 것을 설명하겠다. 한편, 상기 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다.

본 명세서에서 '신원 확인용 모델'이란, 딥러닝을 통해 입력 이미지와 가장 높은 유사도를 가진 이미지를 산출할 수 있는 인공지능을 의미한다. 상기 신원 확인용 모델은 적어도 1명 이상의 사람의 얼굴 이미지를 데이터 베이스로 가지고 있다. 그리고 신원 확인 대상자의 얼굴 이미지 데이터가 입력되면, 프로세서는 상기 신원 확인용 모델을 통해서 데이터 베이스에 저장된 얼굴 이미지 중 가장 유사한 얼굴을 식별할 수 있다. 상기 신원 확인용 모델은 데이터 베이스에 저장된 얼굴 이미지를 통해 학습을 거친 상태이며, 합성곱 신경망 (Convolutional Neural Network, CNN)으로 구성된 다수의 레이어로 구성되어 있다. 상기 신원 확인용 모델은 당업자에게 공지의 기술이므로 상세한 설명은 생략한다.

본 명세서에서 'Class Activation Map(CAM)'이란, CNN이 입력으로 들어온 이미지를 분류할 때 "어떤 부분을 보고" 예측을 했는지를 알려주는 알고리즘이다. 역할을 한다. 일 예로, CAM은 입력 이미지에 히트맵을 씌워 주어진 입력을 결과값으로 예측하는 데에 있어 중요한 부분에 가까워질수록 가시광선의 파장에서 파란색에서 빨간색(온도가 높은 = 활성화가 많이 된 = 중요도가 높은)으로 표현한 이미지를 출력할 수 있다. 상기 CAM은 당업자에게 공지의 기술이므로 상세한 설명은 생략한다.

본 명세서에서 '스타일 트랜스퍼(Style Transfer)'란, 원본 이미지의 콘텐츠는 유지하면서, 원본 이미지의 스타일을 변환하는 알고리즘이다. 스타일을 변환할 때에는 참조가 되는 스타일 이미지가 존재한다. 본 명세서에서는 사람 얼굴 이미지를 원본 이미지로 하며, 사람의 다양한 스타일(머리 모양, 머리 색, 안경, 수염, 화장 등)을 반영할 수 있는 스타일 이미지가 구비된 것으로 가정한다. 상기 스타일 트랜스퍼는 당업자에게 공지의 기술이므로 상세한 설명은 생략한다.

도 1은 본 명세서에 따른 이미지 데이터 증강 방법의 개략적인 흐름도이다.

도 1을 참조하면, 단계 S100에서 프로세서는 신원 확인 대상자의 얼굴 이미지 데이터(입력 데이터)를 신원 확인용 모델에 입력할 수 있다. 상기 신원 확인용 모델은 데이터 베이스에 저장된 얼굴 이미지 중 가장 유사한 얼굴이 누구인지 결과값을 출력한다. 이때, 신원 확인용 모델을 거쳐 출력된 값이 입력 데이터와 동일 인물일 때, 프로세스는 다음 단계 S110으로 이행한다.

단계 S110에서 프로세서는 상기 신원 확인용 모델에 포함된 적어도 하나 이상의 레이어를 Class Activation Map(CAM)에 입력할 수 있다.

본 명세서의 일 실시예에 따르면, 프로세서는 미리 선택된 레이어를 Class Activation Map(CAM)에 입력할 수 있다.

본 명세서의 다른 실시예에 따르면, 프로세서는 신원 확인용 모델에 포함 모든 레이어를 Class Activation Map(CAM)에 입력할 수 있다.

도 2는 Class Activation Map에서 출력된 히트맵의 예시도이다.

도 2를 참조하면, 입력 이미지가 신원 확인용 모델에 입력되어 처리되는 과정에서 각 레이어를 거치게 되는 것에 대한 개념도가 도시되어 있다. 이때, 상기 레이어를 CAM에 입력하면, 신원 확인 과정에서 어느 부분이 중요하게 영향을 미쳤는지 보여주는 이미지를 얻을 수 있다. 도 2에 도시된 예시에서는 얼굴의 이마, 코 및 광대뼈 부분이 중요하게 영향을 미친 것으로 확인된다.

다시 도 1을 참조하여, 단계 S120에서, 프로세서는 상기 CAM에서 출력된 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정할 수 있다. 상기 CAM에서 출력된 히트맵가 2이상일 때, 상기 프로세서는 상기 히트맵을 중첩시켜서 하나의 히트맵을 생성하고, 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정할 수 있다. 이미지 내 얼굴이 존재할 경우, 얼굴 영역을 식별하는 기술은 당업자에게 공지의 기술이므로 상세한 설명은 생략한다.

Class activation map을 추출할 때 특정 레이어를 사용하여 activation되는 부분을 가지고 오는데, 단순 특정 레이어만 사용하게 되면 activation되는 부분이 극히 일부가 되는 경우가 있다. 그래서 레이어 여러 개에 해당하는 activation되는 부분을 더해서 평균을 산출하여 사용할 수 있다.

CAM=(

)

또한, 모델 학습시 배치단위로 학습을 진행하기 위해서 정규화를 진행할 때 batch 내의 각 요소별 정규화를 따로 진행할 수 있다.

또한 정규화 과정에서 max값과 min값이 일치하여 infinity값이 되는 경우가 있는데, 이를 방지하기 위해서 분모에 매우 작은 값 episilon을 더하여 사용할 수 도 있다.

본 명세서의 일 실시예에 따르면, 프로세서는 미리 설정된 기준 이상의 활성도를 가진 영역을 중요 부위로 설정할 있다. 본 명세서의 다른 실시예에 따르면, 프로세서는 미리 설정된 비율 이상의 활성도를 가진 영역을 중요 부위로 설정할 수 있다. 예를 들어, 이미지 내 전체 활성도를 0%~100%의 비율로 설정하고, 50%이상의 활성도를 가진 영역을 중요 부위로 설정하는 방법이다.

한편, CAM에서 히트맵을 추출할 때 Relu를 사용해서 데이터를 정제할 때, 음수에 해당하는 부분들이 제거되는 문제가 있을 수 있다. 이 경우, 히트맵의 유의미한 정보가 사라질 수 있는바, LeakyRelu를 사용해서 Relu를 대체하는 것이 바람직하다.

다음 단계 S130에서 프로세서는 상기 얼굴 영역 내 중요 부위를 제외한 나머지 부위에서 스타일 트랜스퍼를 이용하여 이미지 데이터를 증강할 수 있다.

도 3은 스타일 트랜스퍼를 이용하여 신원 이미지 데이터를 증강하는 참고도이다.

도 3을 참조하면, 입력 이미지에서 CAM 히트맵에서 중요 부위로 설정된 부분은 변형시키기 않고, 나머지 부분을 변형시켜가면서 스타일을 변환하는 것을 확인할 수 있다.

추가로, 앞서 산출된 CAM 히트맵을 이미지 사이즈에 맞게 mapping 시키는 작업이 진행될 수 있다. 이 때 주변 픽셀을 기반으로 bilinear interpolation을 통해 작업 수행하고 나온 CAM 히트맵 이미지를 'CAM_map'이라고 한다면, 스타일 트랜스퍼모델에 넣을 때 Model(1-CAM_map)*input_image로 만들어서 넣어준다. 이유는 CAM의 결과가 0에서 1사이의 값인데 activation되는 부분만 해당하는 값을 가지게 되고 그 외의 값에 해당하는 값들이 0을 가지게 되기 때문에 1-CAM_map을 통해서 관심 영역 밖에 해당하는 부분만 activation 되도록 CAM_map을 반전시켜 사용한다. 이렇게 되면 관심 영역의 밖의 부분만 바뀌도록 강제할 수 있다.

본 명세서에 따른 이미지 데이터 증강 방법을 따르면, 하나의 입력 이미지로 다양한 스타일의 이미지로 증강시킬 수 있다. 종래기술은 추가로 신원인식 모델을 따로 두어 학습을 두 번 시켰지만, 신원인식모델을 기존의 discriminator에 증강된 이미지를 입력하여 신원인식에 대한 loss를 산출하고, 이 모델을 사용하여 CAM map을 추출하는 것이 바람직하다. 이 경우, 신원인식모델을 두 번 학습을 시킬 필요 없고, 스타일 트랜스퍼모델의 부산물인 증강 이미지에 대한 데이터들이 신원인식모델의 입력으로 들어가서 정확도를 더 높일 수 있다.

상기 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (8)

1. (a) 프로세서가 신원 확인 대상자의 얼굴 이미지 데이터(이하 '입력 데이터')를 신원 확인용 모델에 입력하는 단계;
   (b) 프로세서가 상기 신원 확인용 모델을 거쳐 출력된 값이 입력 데이터와 동일 인물일 때, 상기 신원 확인용 모델에 포함된 적어도 하나 이상의 레이어를 Class Activation Map(CAM)에 입력하는 단계;
   (c) 프로세서가 상기 CAM에서 출력된 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정하는 단계; 및
   (d) 프로세서가 상기 얼굴 영역 내 중요 부위를 제외한 나머지 부위에서 스타일 트랜스퍼를 이용하여 이미지 데이터를 증강하는 단계;를 포함하는 이미지 데이터 증강 방법.
2. 청구항 1에 있어서,
   상기 (b) 단계는, 프로세서가 미리 선택된 레이어를 Class Activation Map(CAM)에 입력하는 단계인 이미지 데이터 증강 방법.
3. 청구항 1에 있어서,
   상기 (b) 단계는, 프로세서가 신원 확인용 모델에 포함 모든 레이어를 Class Activation Map(CAM)에 입력하는 단계인 이미지 데이터 증강 방법.
4. 청구항 1에서
   상기 CAM에서 출력된 히트맵가 2이상일 때,
   상기 (c) 단계는, 상기 프로세서가 상기 히트맵을 중첩시켜서 하나의 히트맵을 생성하고, 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정하는 단계인 이미지 데이터 증강 방법.
5. 청구항 1에서
   상기 (c) 단계는, 상기 프로세서가 미리 설정된 기준 이상의 활성도를 가진 영역을 중요 부위로 설정하는 단계인 이미지 데이터 증강 방법.
6. 청구항 1에서
   상기 (c) 단계는, 상기 프로세서가 미리 설정된 비율 이상의 활성도를 가진 영역을 중요 부위로 설정하는 단계인 이미지 데이터 증강 방법.
7. 컴퓨터에서 청구항 1 내지 청구항 6 중 어느 한 청구항에 따른 이미지 데이터 증강 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.
8. 적어도 한 명 이상의 얼굴 이미지 데이터 및 신원 확인용 모델에 대한 데이터를 저장하는 메모리부; 및
   신원 확인 대상자의 얼굴 이미지 데이터(이하 '입력 데이터')를 신원 확인용 모델에 입력하고, 상기 신원 확인용 모델을 거쳐 출력된 값이 입력 데이터와 동일 인물일 때 상기 신원 확인용 모델에 포함된 적어도 하나 이상의 레이어를 Class Activation Map(CAM)에 입력하고, 상기 CAM에서 출력된 히트맵 이미지 중 얼굴 영역 내 중요 부위를 설정하며, 상기 얼굴 영역 내 중요 부위를 제외한 나머지 부위에서 스타일 트랜스퍼를 이용하여 이미지 데이터를 증강하는 프로세서;를 포함하는 이미지 데이터 증강 장치.

Images