KR102507149B1

KR102507149B1 - 이미지 처리 방법, 장치, 전자 기기 및 저장 매체

Info

Publication number: KR102507149B1
Application number: KR1020210107383A
Authority: KR
Inventors: 하오 순; 푸 리; 신 리; 티안웨이 린
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-08-20
Filing date: 2021-08-13
Publication date: 2023-03-07
Also published as: US11741684B2; EP3872700A2; JP2021119535A; US20210286975A1; KR20210107566A; EP3872700A3; CN112102154B; CN112102154A; JP7174803B2

Abstract

본 출원은 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 공개하는 바, 컴퓨터 분야에 속하는 것으로서, 구체적으로 인공 지능 중 컴퓨팅 비전, 이미지 처리, 얼굴 인식, 딥 러닝 기술에 관한 것이다. 실시 수단은, 처리할 얼굴 이미지에 대해 피부색을 인식하여, 얼굴 이미지 중 얼굴의 목표 피부색을 결정하고; 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하고, 목표 피부색에 따라, 참조 이미지 중의 목표 영역 중, 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다. 이로써, 처리할 얼굴 이미지 중 얼굴의 목표 피부색에 대응되는 스타일 트랜스폼 모델이 없을 경우, 기존의 스타일 트랜스폼 모델을 이용하여, 다양한 피부색의 사용자에게 스타일 변환 처리를 진행할 수 있어, 응용 범위가 확대된다.

Description

이미지 처리 방법, 장치, 전자 기기 및 저장 매체{IMAGE PROCESSING METHOD, DEVICE, ELECTRONIC EQUIPMENT, AND STORAGE MEDIUM}

본 출원은 컴퓨터 분야에 관한 것으로, 구체적으로 인공 지능 중 컴퓨팅 비전, 이미지 처리, 얼굴 인식, 딥 러닝 기술에 관한 것인 바, 특히 이미지 처리 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.

현재, 이미지 스타일 변환은 비교적 흔한 이미지 처리 방식 중의 하나로서, 예를 들어 실제 인물 이미지를 카툰 이미지로 변환하는 등이다.

관련 기술에서, 현재의 스타일 변환 이미지 트레이닝 데이터가 대부분 연한 피부색이기에, 트레이닝을 거쳐 생성된 모델을 사용하여 얼굴 스타일 변환 처리를 진행할 경우, 생성되는 변환 이미지의 얼굴도 역시 연한 피부색인 바, 즉 현재의 스타일 변환 모델은 피부색이 연한 색 계열의 사용자만 처리할 수 있어, 사용 범위가 제한된다.

본 출원은 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 제공한다.

본 출원의 일 측면에 따르면, 이미지 처리 방법을 제공하는 바,

처리할 얼굴 이미지에 대해 피부색을 인식하여, 상기 얼굴의 목표 피부색을 결정하는 단계;

스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하는 단계;

상기 참조 변환 이미지를 해석하여, 상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득하는 단계;

상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 상기 참조 변환 이미지 중의 목표 영역을 결정하는 단계; 및

상기 목표 피부색에 따라, 상기 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하는 단계; 를 포함한다.

본 출원의 다른 측면에 따르면, 이미지 처리 장치를 제공하는 바,

처리할 얼굴 이미지에 대해 피부색을 인식하여, 상기 얼굴의 목표 피부색을 결정하기 위한 인식 모듈;

스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하기 위한 변환 모듈;

상기 참조 변환 이미지를 해석하여, 상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득하기 위한 해석 모듈;

상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 상기 참조 변환 이미지 중의 목표 영역을 결정하기 위한 제1 결정 모듈; 및

상기 목표 피부색에 따라, 상기 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하기 위한 조정 모듈; 을 포함한다.

본 출원의 다른 측면에 따르면, 전자 기기를 제공하는 바,

적어도 하나의 프로세서; 및

상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리를 포함하고,

상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 의해 상기 일 측면의 실시예에 따른 이미지 처리 방법이 수행되도록 한다.

본 출원의 다른 측면에 따르면, 컴퓨터 명령이 저장된 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하는 바, 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 명령은 컴퓨터가 상기 일 측면에 따른 이미지 처리 방법을 수행하도록 한다.

본 출원의 다른 측면에 따르면, 비 일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 프로그램은 컴퓨터가 상기 일 측면에 따른 이미지 처리 방법을 수행하도록 한다.

상기 선택 가능한 방식이 가지는 다른 효과에 대해서는 아래, 구체적인 실시예를 결부하여 설명하고자 한다.

첨부된 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다.
도 1은 본 출원의 실시예에서 제공되는 이미지 처리 방법의 개략적인 흐름도이다.
도 2는 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.
도 3은 본 출원의 실시예에서 제공되는 프루닝 처리 전후의 효과 개략도이다.
도 4는 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.
도 5는 본 출원의 실시예에서 제공되는 컨벡스 헐 이미지의 개략도이다.
도 6은 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.
도 8은 본 출원의 실시예에서 제공되는 이미지 처리 장치의 구조 개략도이다.
도 9는 본 출원의 실시예에 따른 이미지 처리 방법을 구현하는 전자 기기의 블록도이다.

이하, 첨부된 도면을 결부하여 본 출원의 예시적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본 출원의 실시예들의 다양한 세부 사항들이 포함되는데, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 출원의 기술 분야의 통상의 지식을 가진 자라면 본 출원의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 공지된 기능 및 구조에 대한 설명은 아래 설명에서 생략된다.

이하, 첨부된 도면을 결부하여 본 출원의 실시예의 이미지 처리 방법, 장치, 전자 기기 및 저장 매체에 대해 설명한다.

도 1은 본 출원의 실시예에서 제공되는 이미지 처리 방법의 개략적인 흐름도이다.

본 출원의 실시예의 이미지 처리 방법은, 본 출원의 실시예에서 제공되는 이미지 처리 장치에 의해 수행될 수 있고, 상기 장치는 전자 기기에 배치되어, 처리할 얼굴 이미지 중의 얼굴의 피부색에 기반하여, 참조 변환 이미지 중 목표 영역 내의 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 변환 이미지 중의 얼굴 피부색과 처리할 얼굴 이미지 중의 얼굴 피부색이 매칭되도록 한다.

도 1에 도시된 바와 같이, 상기 이미지 처리 방법은 하기와 같은 단계를 포함한다.

단계101에서, 처리할 얼굴 이미지에 대해 피부색 인식을 수행하여, 얼굴 이미지에 포함된 얼굴의 목표 피부색을 결정한다.

본 실시예에서, 처리할 얼굴 이미지는 전자 기기의 카메라로 촬영한 얼굴 이미지이거나, 또는 촬영된 이미지에서 추출된 얼굴 이미지일 수 있고, 동영상의 동영상 프레임에서 추출된 얼굴 이미지일 수도 있다.

피부색 인식을 수행할 때, 우선 얼굴을 검출하여 얼굴 영역을 결정한 후, 얼굴 영역 중 각 픽셀점의 픽셀값을 획득하고, 얼굴 영역 중 모든 픽셀점의 평균 픽셀값을 계산하고, 그 다음 미리 설정된 다양한 피부색에 대응되는 픽셀값 범위에 따라, 현재 처리할 얼굴 이미지 중의 얼굴 영역 중 모든 픽셀점의 평균 픽셀값, 및 그것이 속하는 픽셀값 범위를 결정함으로써, 그것이 속하는 픽셀값 범위에 대응되는 피부색을, 처리할 얼굴 이미지에 포함된 얼굴의 피부색으로 결정하며, 여기서 목표 피부색이라고 칭한다.

또는, 사용자가 입력한 처리할 얼굴 이미지의 피부색 정보에 따라, 얼굴 이미지에 포함된 얼굴의 목표 피부색을 결정할 수도 있다.

또는, 미리 트레이닝된 피부색 인식 모델을 이용하여, 처리할 얼굴 이미지에 대해 피부색 인식을 수행하여, 얼굴 이미지 중의 얼굴의 목표 피부색을 결정할 수도 있다.

단계102에서, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득한다.

본 실시예에서, 스타일 트랜스폼 모델 세트에는 적어도 하나의 피부색에 대응되는 스타일 트랜스폼 모델이 포함된다. 어느 하나의 피부색에 대응되는 스타일 트랜스폼 모델은 얼굴이 당해 피부색인 얼굴 이미지를 또 다른 스타일이면서 같은 피부색의 이미지로 전환하는 바, 예를 들어 카툰 이미지 등으로 전환한다. 예를 들어, 피부색 A에 대응되는 스타일 트랜스폼 모델은 피부색이 A인 얼굴 이미지를 카툰 이미지로 전환할 수 있고, 상기 카툰 이미지의 피부색은 피부색 A와 같거나 근접하다.

처리할 얼굴 이미지에 포함된 얼굴의 목표 피부색을 획득한 후, 스타일 트랜스폼 모델 세트 중 각 스타일 트랜스폼 모델과 피부색 사이의 대응관계에 따라, 스타일 트랜스폼 모델 중에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되는지 여부를 결정한다. 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함될 경우, 당해 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다. 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 당해 얼굴 이미지에 대응되는 변환 이미지를 획득하며, 여기서 참조 변환 이미지라고 칭한다.

예를 들어, 처리할 얼굴 이미지에 포함된 얼굴의 피부색이 검은 색일 경우, 스타일 트랜스폼 모델 세트에는 검은 색에 대응되는 스타일 트랜스폼 모델이 포함되지 않고, 연한 색 계열의 트레이닝 데이터가 높아, 스타일 트랜스폼 모델에 연한 색 계열에 대응되는 스타일 트랜스폼 모델이 포함될 경우, 연한 색 계열에 대응되는 스타일 트랜스폼 모델을 이용하여 처리할 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 피부색이 연한 색 계열인 참조 변환 이미지를 획득한다.

단계103에서, 참조 변환 이미지를 해석하여, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득한다.

편리한 조정을 위하여, 본 실시예에서, 참조 변환 이미지를 HSV색 공간으로 전환시킨 후, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득할 수 있다. 색조값은 색채를 나타내기 위한 것이고, 채도값은 색깔이 스펙트럼 컬러에 근접하는 정도를 나타내고, 명도값은 색깔의 밝은 정도를 나타내기 위한 것이다.

단계104에서, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 참조 변환 이미지 중의 목표 영역을 결정한다.

실제 응용에서, 피부색이 다른 변환 이미지에 있어서, 눈, 코, 입은 대체로 같기에, 본 실시예에서 얼굴의 피부 및 몸에 노출된 피부색만 조정할 수 있고, 눈, 입, 코 등은 조정하지 않는다.

구체적인 실시형태에 있어서, 얼굴을 검출하여, 눈, 입, 코가 위치한 영역을 결정하고, 얼굴 중 이러한 영역을 제외한 얼굴 영역을 목표 영역으로 할 수 있다.

이로써, 여기서 목표 영역은 참조 변환 이미지 중 눈, 코, 입 등을 제외한 얼굴 영역 및 몸에 노출된 영역 등을 포함할 수 있다.

단계105에서, 목표 피부색에 따라, 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다.

본 실시예에서, 목표 피부색에 따라, 목표 피부색에 대응되는 색조값, 채도값 및 명도값을 결정한 후, 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 목표 피부색에 대응되는 색조값, 채도값 및 명도값으로 조정함으로써, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다.

이로써, 처리할 얼굴 이미지의 피부색에 대응되는 스타일 트랜스폼 모델이 없을 경우, 기존의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 참조 변환 이미지를 획득한 후, 참조 변환 이미지 중의 목표 영역을 조정하여, 처리할 얼굴 이미지의 피부색과 매칭되는 변환 이미지를 획득할 수 있다.

본 출원의 실시예의 이미지 처리 방법은, 우선, 처리할 얼굴 이미지에 대해 피부색 인식을 수행하여, 얼굴 이미지에 포함된 얼굴의 목표 피부색을 결정하고, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득한 후, 참조 변환 이미지를 해석하여, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득하고, 그 다음 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 참조 변환 이미지 중의 목표 영역을 결정하고, 또한 목표 피부색에 따라 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다. 이로써, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 처리할 얼굴 이미지 중 얼굴의 피부색에 기반하여, 기존의 스타일 트랜스폼 모델을 이용하여 획득된 참조 변환 이미지 중의 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 변환 이미지와 처리할 얼굴 이미지 중 얼굴 피부색이 매칭되도록 함으로써, 다양한 피부색의 사용자에게 스타일 변환 처리를 진행할 수 있어, 응용 범위가 확대된다.

목표 영역의 정확성을 향상시키기 위해, 본 출원의 일 실시예에서는, 하기 방식을 이용하여, 참조 변환 이미지 중의 목표 영역을 결정할 수도 있다.

구체적으로, 참조 변환 이미지 중 얼굴 피부색의 색조값에 대응되는 범위를 미리 설정할 수 있되, 여기서 제1 범위, 채도값의 제2 범위와 명도값의 제3 범위라고 지칭한다. 참조 변환 이미지를 획득한 후, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 참조 변환 이미지 중 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있고 명도값이 제3 범위에 있는 픽셀점을 결정하여, 이러한 픽셀점을 목표 영역 내의 픽셀점으로 결정하는 바, 즉 이러한 픽셀점으로 구성된 영역이 목표 영역이다.

또는, 참조 변환 이미지 중 얼굴 피부색에 대응되는 상한 경계의 색조값, 채도값 및 명도값, 및 하한 경계의 색조값, 채도값 및 명도값을 정의하여, 상한 경계와 하한 경계 사이에 있는 영역을 목표 영역으로 할 수 있다. 예를 들어, 상한 경계를 H,S,V=[10, 15, 210]으로 정의하고, 하한 경계를 H,S,V=[25, 95, 255]로 정의하고, 참조 변환 이미지 중 이 두가지 색깔 사이에 있는 영역이 곧 목표 영역이다.

본 출원의 실시예에서, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 참조 변환 이미지 중의 목표 영역을 결정할 때, 참조 변환 이미지 중, 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있으며 명도값이 제3 범위에 있는 픽셀점을 목표 영역 내의 픽셀점으로 결정한다. 이로써, 색조값, 채도값 및 명도값의 범위에 따라 목표 영역을 결정하여, 목표 영역의 정확성을 향상시킨다.

목표 영역의 정확성을 보다 더 향상시키기 위해, 본 출원의 일 실시예에서는, 색조값, 채도값 및 명도값의 범위에 따라, 참조 이미지 중 목표 영역 내에 속하는 픽셀점을 결정한 후, 나아가 목표 영역 내의 픽셀점을 프루닝 처리하여, 보다 더 정확한 목표 영역을 획득할 수 있다. 이하, 도 2를 결부하여 설명하며, 도 2는 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.

도 2에 도시된 바와 같이, 참조 변환 이미지 중, 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있으며 명도값이 제3 범위에 있는 픽셀점을, 목표 영역 내의 픽셀점으로 결정하는 단계 이후에, 하기와 같은 단계를 더 포함한다.

단계201에서, 목표 영역 내의 각 픽셀점의 평균 색조값, 평균 채도값 및 평균 명도값을 획득한다.

본 실시예에서, 목표 영역 내의 각 픽셀점의 색조값에 따라, 목표 영역 내의 모든 픽셀점의 색조값의 합계를 계산한 후, 색조값의 합계를 목표 영역 내의 픽셀점의 개수로 나누어, 목표 영역 내의 각 픽셀점의 평균 색조값을 획득한다.

마찬가지로, 목표 영역 내의 각 픽셀점의 채도값에 따라, 목표 영역 내의 모든 픽셀점의 채도값의 합계를 계산한 후, 채도값의 합계를 목표 영역 내의 픽셀점의 개수로 나누어, 각 픽셀점의 평균 채도값을 획득한다.

마찬가지로, 목표 영역 내의 각 픽셀점의 명도값에 따라, 목표 영역 내의 모든 픽셀점의 명도값의 합계를 계산한 후, 명도값의 합계를 목표 영역 내의 픽셀점의 개수로 나누어, 각 픽셀점의 평균 명도값을 획득한다.

단계202에서, 미리 설정된 오차값, 평균 색조값, 평균 채도값 및 평균 명도값에 따라, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정한다.

본 실시예에서, 하나의 오차값을 미리 설정할 수 있는 바, 상기 오차값은 색조의 오차값, 채도의 오차값 및 명도의 오차값을 포함한다. 그 다음, 색조의 오차값과 평균 색조값에 따라, 목표 색조 범위를 결정하되, 평균 색조값은 목표 색조 범위 내에 있다. 채도의 오차값과 평균 채도값에 따라, 목표 채도 범위를 결정하되, 평균 채도값은 목표 채도 범위 내에 있다. 명도의 오차값과 평균 명도값에 따라, 목표 명도 범위를 결정하되, 평균 명도값은 목표 명도 범위 내에 있다.

평균 색조값, 평균 채도값 및 평균 명도값의 상하 변동 범위는 각자의 오차값에 대응되는 바, 즉 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위의 상한과 하한 사이의 차이값은 대응되는 오차값이다.

일 예시로서, 평균 색조값에서 색조의 2분의 1의 오차값을 뺀 차이값을 목표 색조 범위의 하한으로 할 수 있고, 평균 색조값에 색조의 2분의 1의 오차값을 더한 합을, 목표 색조 범위의 상한으로 할 수 있다. 마찬가지로, 평균 채도값에서 채도의 2분의 1의 오차값을 뺀 차이값을, 목표 채도 범위의 하한으로 할 수 있고, 평균 채도값에 채도의 2분의 1의 오차값을 더한 합을, 목표 채도 범위의 상한으로 할 수 있다. 마찬가지로, 평균 명도값에서 명도의 2분의 1의 오차값을 뺀 차이값을, 목표 명도 범위의 하한으로 할 수 있고, 평균 명도값에 명도의 2분의 1의 오차값을 더한 합을, 목표 명도 범위의 상한으로 할 수 있다.

또 다른 예시로서, 평균 색조값에서 색조의 3분의 2의 오차값을 뺀 차이값을, 목표 색조 범위의 하한으로 할 수 있고, 평균 색조값에 색조의 3분의 1의 오차값을 더한 합을, 목표 색조 범위의 상한으로 할 수 있다.

예를 들어, 미리 설정된 오차값은

이고,

은 색조의 오차값을 나타내고,

은 채도의 오차값을 나타내고,

은 명도의 오차값을 나타내고,

은 평균 색조값을 나타내고,

은 평균 채도값을 나타내고,

은 평균 명도값을 나타낸다. 이로써, 목표 색조의 범위는

이고, 목표 채도 범위는

이고, 목표 명도 범위는

일 수 있다.

또한, 상기 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위의 상한과 하한의 결정 방법은 단지 예시적인 것일 뿐이다.

단계203에서, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 기반하여, 목표 영역 내의 픽셀점을 프루닝 처리한다.

목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정한 후, 목표 영역 내 색조값이 목표 색조 범위에 있고, 채도값이 목표 채도 범위에 있으며 명도값이 목표 명도 범위에 있는 픽셀점을, 새로운 목표 영역 내의 픽셀점으로 할 수 있다. 이로써, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 따라, 목표 영역 내의 일부 픽셀점을 선별하여, 조정이 필요한 새로운 목표 영역을 결정한다.

새로운 목표 영역을 결정한 후, 처리할 얼굴 이미지에 포함된 얼굴의 목표 피부색에 따라, 새로운 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 조정된 목표 변환 이미지 중 얼굴의 피부색과 목표 피부색이 매칭되도록 한다.

실제 응용에서, 참조 변환 이미지 중에서, 얼굴 주변의 머리카락과 얼굴 영역의 조명빛에 의한 그림자 등도 목표 영역에 속할 수 있다. 따라서, 목표 영역을 결정한 후, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정하여, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 기반하여, 목표 영역 내의 픽셀점을 프루닝 처리하고, 보류된 픽셀점이 위치한 영역을 새로운 목표 영역으로 하고, 그 다음 새로운 목표 영역 내의 각 픽셀점의 색조값, 채도값 및 명도값을 조정한다.

도 3은 본 출원의 실시예에서 제공되는 프루닝 처리 전후의 효과 개략도이다. 도 3 중의 좌측은 프루닝 처리전의 얼굴 이미지의 개략도이고, 우측은 프루닝 처리후의 얼굴 이미지의 개략도이다. 도 3에 의하면, 프루닝 처리후 피부색을 조정할 필요가 있는 얼굴 영역을 결정하는 것이 보다 더 정확함을 알 수 있다.

본 출원의 실시예에서, 참조 변환 이미지 중, 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있으며 명도값이 제3 범위에 있는 픽셀점을, 목표 영역 내의 픽셀점으로 결정한 후, 미리 설정된 오차값, 평균 색조값, 평균 채도값 및 평균 명도값에 따라, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정한 후, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 기반하여, 목표 영역 내의 픽셀점을 프루닝 처리한 후, 프루닝 처리후 보류된 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다. 이로써, 목표 영역 내의 픽셀점을 프루닝 처리하여, 보다 더 정확한 피부색을 조정할 필요가 있는 영역을 획득하여 피부색을 조정함으로써, 이미지 처리 효과를 보다 더 향상시킨다.

참조 변환 이미지의 효과를 향상시키기 위해, 본 출원의 일 실시예에서는, 처리할 얼굴 이미지의 컨벡스 헐 이미지를 이용하여, 스타일 트랜스폼 모델을 통해 참조 변환 이미지를 획득할 수 있다. 이하 도 4를 결부하여 설명하고, 도 4는 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.

도 4에 도시된 바와 같이, 상기 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하는 단계는, 하기와 같은 단계를 포함한다.

단계401에서, 얼굴 이미지를 전처리하여, 얼굴 이미지에 대응되는 컨벡스 헐 이미지를 획득한다.

본 실시예에서, 스타일 트랜스폼 모델 세트 중 임의의 스타일 트랜스폼 모델을 이용하여, 처리할 얼굴 이미지를 처리하기 전에, 얼굴 이미지를 전처리할 수 있다.

구체적으로, 얼굴 이미지에 대해 키포인트 검출을 수행하여, 얼굴 중 오관의 키포인트 위치를 획득한 후, 키포인트 위치에 따라 오관의 컨벡스 헐 이미지를 획득하고, 그 다음 컨벡스 헐 이미지에 상이한 색깔을 추가하여, 이미지 한장을 얻게 되는데, 당해 이미지가 컨벡스 헐 이미지이다. 컨벡스 헐 이미지는 오관의 위치와 크기를 나타내는 바, 색깔의 변화에 따라, 눈뜨기, 눈감기, 입벌리기, 입다물기의 상태를 나타낼 수 있다.

도 5는 본 출원의 실시예에서 제공되는 컨벡스 헐 이미지의 개략도이다. 도 5에 의하면, 컨벡스 헐 이미지에 눈썹, 코, 눈, 입 등이 포함되는 것을 알 수 있다.

단계402에서, 임의의 스타일 트랜스폼 모델을 이용하여, 컨벡스 헐 이미지 및 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득한다.

본 실시예에서, 컨벡스 헐 이미지와 얼굴 이미지를 선택된 스타일 트랜스폼 모델에 입력하며, 구체적으로, 컨벡스 헐 이미지와 얼굴 이미지는 모두 RGB 3채널 이미지이고, 두가지 이미지로 형성된 6차원 매트릭스를 스타일 트랜스폼 모델에 입력하고, 스타일 트랜스폼 모델은 컨벡스 헐 이미지를 이용하여 얼굴 이미지 중 얼굴의 오관 위치를 정확히 포지셔닝하여, 스타일 트랜스폼 모델이 얼굴 이미지 중의 오관을 변환시켜, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득한다.

본 출원의 실시예에서, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득할 때, 얼굴 이미지를 전처리할 수 있어, 얼굴 이미지에 대응되는 컨벡스 헐 이미지를 획득한 후, 임의의 스타일 트랜스폼 모델을 이용하여, 컨벡스 헐 이미지 및 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득할 수 있다. 이로써, 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리할 때, 얼굴 이미지에 대응되는 컨벡스 헐 이미지를 결합하여, 컨벡스 헐 이미지에 의해 스타일 트랜스폼 모델이 얼굴 이미지 중 오관의 위치를 정확하게 포지셔닝하도록 도와줌으로써, 스타일 트랜스폼 모델의 처리 효율과 참조 변환 이미지의 효과를 향상시킬 수 있다.

상기 실시예의 설명에 따르면, 스타일 트랜스폼 모델 세트에 어느 하나의 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 우선 스타일 트랜스폼 모델 세트 중 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 참조 변환 이미지를 획득한 후, 참조 변환 이미지에 대해 피부색 조정을 수행하여, 상기 피부색과 매칭되는 목표 변환 이미지를 획득할 수 있다.

얼굴 피부색이 목표 피부색인 얼굴 이미지의 처리효율과 효과를 보다 더 향상시키기 위해, 본 출원의 일 실시예에서는, 상기 방법을 이용하여 목표 피부색의 얼굴 이미지를 처리하여, 대량의 목표 피부색의 변환 이미지를 획득한 후, 이러한 얼굴 이미지와 변환 이미지를 이용하여, 목표 피부색에 대응되는 스타일 트랜스폼 모델을 트레이닝시켜 획득하고, 상기 스타일 트랜스폼 모델을 이용하여 피부색이 목표 피부색인 얼굴 이미지를 처리할 수 있도록 할 수 있다. 이하, 도 6을 결부하여 설명하고, 도 6은 본 출원의 실시예에서 제공하는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.

도 6에 도시된 바와 같이, 목표 피부색과 매칭되는 목표 변환 이미지를 획득하는 단계 이후에, 하기와 같은 단계를 더 포함한다.

단계601에서, 목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 클 경우, 목표 피부색에 대응되는 얼굴 이미지 세트 및 변환 이미지 세트를 획득한다.

본 실시예에서, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한 후, 목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 큰지 여부를 판단할 수 있다. 목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 클 경우, 피부색이 목표 피부색인 얼굴 이미지를 이용하여 얼굴 이미지 세트를 구성하고, 얼굴 이미지에 대응되는 목표 변환 이미지를 이용하여 변환 이미지 세트를 구성한다.

단계602에서, 얼굴 이미지 세트 및 변환 이미지 세트를 이용하여, 초기 스타일 트랜스폼 모델을 트레이닝시켜, 목표 피부색에 대응되는 목표 스타일 트랜스폼 모델을 획득한다.

본 실시예에서, 초기 스타일 트랜스폼 모델은 적대 신경망일 수 있는 바, 생성기와 판별기를 포함한다.

구체적으로 트레이닝할 때, 모델 트레이닝의 어려움을 낮추기 위해, 우선 얼굴 이미지 세트 중의 얼굴 이미지를 전처리하여, 얼굴 이미지에 대응되는 컨벡스 헐 이미지를 획득할 수 있다.

컨벡스 헐 이미지가 오관의 위치와 크기를 나타내고, 색깔의 변화에 따라 눈뜨기, 눈감기, 입벌리기, 입다물기의 상태를 나타낼 수 있는데, 이는 초기 스타일 트랜스폼 모델이 현재의 눈뜨기, 입벌리기 상태를 직접 알 수 있는 것에 해당되므로, 모델이 피동적으로 학습할 필요가 없다. 이러한 방식에 따르면, 모델의 생성 효과와 수렴 속도를 현저하게 향상시킨다.

얼굴 이미지의 컨벡스 헐 이미지를 획득한 후, 컨벡스 헐 이미지와 얼굴 이미지를 생성기에 입력하여, 예를 들어 2차원 이미지 등과 같은 참조 이미지를 생성한다. 그 다음, 참조 이미지를 판별기에 입력하여, 판별기가 참조 이미지가 실제 이미지인 확률을 판별하도록 하고, 이들을 구분하기 위하여 제1 확률이라고 칭한다. 그 다음, 제1 확률과 0의 차이에 따라, 생성기와 판별기를 수정할 수 있다.

참조 이미지가 생성기에 의해 생성된 이미지이므로, 참조 이미지가 실제 이미지에 속하는 확률은 0%이다. 이로써, 제1 확률이 클수록, 참조 이미지가 실제 이미지로 인식되는 확률이 커진다는 것을 설명하지만, 참조 이미지가 생성 이미지일 경우, 이는 현재 판별기의 판단 정확성이 떨어짐을 설명함으로써, 판별기를 수정한다. 제1 확률이 작을수록, 참조 이미지가 실제 이미지로 인식되는 확룔이 떨어지고, 생성기에 의해 생성된 변환 이미지의 효과가 떨어짐을 설명함으로써, 생성기를 수정한다.

아울러, 변환 이미지 세트 중의 변환 이미지를 판별기에 입력할 수 있는데, 판별기에 의해 변환 이미지가 실제인지 생성기에 의해 생성된 것인지 여부를 판별한다. 이를 편리하게 구분하기 위해, 여기서 변환 이미지 세트 중의 변환 이미지를 판별기에 입력하고, 판별기에 의해 출력되는 확률울 제2 확률이라고 칭한다. 그 다음, 제2 확률과 0 사이의 차이에 따라, 판별기를 수정한다. 변환 이미지 세트 중의 이미지가 생성기에 의해 생성된 것으로서, 제2 확률이 클수록, 판별기가 인식하는 판별효과가 떨어짐을 설명하므로, 판별기를 수정한다.

구체적인 실시형태에 있어서, 초기 스타일 트랜스폼 모델을 딥 러닝시켜, 목표 피부색에 대응되는 스타일 트랜스폼 모델을 획득할 수 있다.

목표 피부색에 대응되는 스타일 트랜스폼 모델을 획득한 후, 당해 스타일 트랜스폼 모델을 스타일 트랜스폼 모델 세트에 추가할 수 있는데, 처리할 얼굴 이미지에 포함된 얼굴 피부색이 목표 피부색일 경우, 목표 피부색에 대응되는 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 대응되는 변환 이미지를 획득한다.

예를 들어, 얼굴 이미지 세트와 변환 이미지 세트를 이용하여, 짙은 색 계열 피부색에 대응되는 스타일 트랜스폼 모델을 트레이닝시켜 획득한다. 동영상급 2차원 이미지의 응용 장면에서, 동영상에서 검출된 얼굴 이미지에 대해, 우선 피부색 인식을 수행하여, 검출된 얼굴 이미지 중 얼굴의 피부색을 결정할 수 있는데, 얼굴 피부색이 짙은 색 계열일 경우, 스타일 트랜스폼 모델 세트 중 짙은 색 계열 피부색에 대응되는 스타일 트랜스폼 모델을 호출하여 얼굴 이미지를 처리하여, 짙은 색 계열 피부색의 2차원 이미지를 획득한다. 얼굴 피부색이 연한 색 계열일 경우, 연한 색 계열 피부색에 대응되는 스타일 트랜스폼 모델을 호출하여 얼굴 이미지를 처리하여, 연한 색 계열 피부색에 대응되는 2차원 이미지를 획득한다.

아울러, 검출된 얼굴을 추적하되, 추척하는 시간소모가 아주 작기에, 각 프레임마다 시간 소모가 아주 큰 피부색 인식이 수행되는 것을 방지할 수 있다. 추적이 놓혀버렸을 경우, 검출된 얼굴에 대해 다시 피부색 인식을 수행한 후, 대응되는 모델을 다시 호출하여 처리한다. 이로써, 동영상급 2차원 이미지가 생성될 경우, 적응적으로 피부색을 인식한 후, 대응되는 피부색의 2차원 이미지를 생성할 수 있다.

동영상급 이미지 스타일 변환시, 복수의 스타일 트랜스폼 모델 사이에서 번갈아 전환해야 하기에, 스타일 트랜스폼 모델에 대한 GPU메모리 점용 요구가 더욱 높아진다.

예를 들어, 이전에는 스타일 트랜스폼 모델이 하나만 있어, 메모리 점용이 1G이지만, 두개의 스타일 트랜스폼 모델로 증가된 후에는, 메모리 점용이 2G로 증가된다. 따라서, 메모리 점용을 줄이기 위해, 스타일 트랜스폼 모델에 대해 정밀도를 보다 더 정량화할 수 있는데, 스타일 트랜스폼 모델이 이전에 사용한 것은 float32에 기반한 저장과 계산일 경우, 이를 float16 저장과 계산으로 바꿀 수 있다. 그 다음, float16모델에 기반하여 보다 더 미세하게 다시 조정하여, 이미지 처리 효과가 떨어지지 않도록 확보한다. 이로써, 정밀도에 대한 정량화를 통해, 스타일 트랜스폼 모델은 저장이 1배 줄어들고, 모든 처리는 모두 float16에 기반하여 계산되어, 점용 메모리가 절반 줄어들도록 한다.

본 출원의 실시예에서, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한 후, 목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 클 경우, 목표 피부색에 대응되는 얼굴 이미지 세트 및 변환 이미지 세트를 획득하고, 그 다음 얼굴 이미지 세트 및 변환 이미지 세트를 이용하여, 초기 스타일 트랜스폼 모델을 트레이닝시켜, 목표 피부색에 대응되는 목표 스타일 트랜스폼 모델을 획득한다. 이로써, 처리할 얼굴 이미지의 피부색이 목표 피부색일 때, 목표 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 피부색이 목표 피부색인 변환 이미지를 획득함으로써, 목표 피부색의 얼굴 이미지에 대한 처리 효율과 처리 효과를 향상시킨다.

실제 응용에서, 얼굴 이미지는 일반적으로 일정한 배경이 있는데, 이미지 처리 효과를 향상시키기 위해, 본 출원의 일 실시예에서는, 처리할 얼굴 이미지에 대해 피부색을 인식하기 전에, 얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여, 얼굴 영역과 배경 영역을 획득한 후, 처리할 이미지로부터 처리할 얼굴 영역을 획득할 수 있다.

또는, 얼굴 검출 알고리즘을 이용하여, 처리할 이미지로부터 얼굴 위치를 포지셔닝하여, 얼굴 위치 프레임을 획득한 후, 얼굴 위치 프레임에 따라 얼굴 영역을 처리할 이미지로부터 절단하여, 배경 영역을 없앨 수도 있다.

나아가, 처리할 얼굴 이미지를 획득할 때, 얼굴 영역 사이즈가 미리 설정된 사이즈보다 작은 이미지를 필터링할 수 있다. 스타일 트랜스폼 모델은 일반적으로 처리하는 이미지의 사이즈를 지정하기 때문이다.

예를 들어, 스타일 트랜스폼 모델이 얼굴 이미지를 처리할 때, 얼굴 이미지를 256*256픽셀 크기로 스케일링할 필요가 있어, 얼굴 사이즈가 100보다 작은 얼굴 이미지를 필터링할 수 있되, 얼굴 면적이 너무 작으면, 이미지가 확대된 후 얼굴이 흐려지므로 처리효과에 영향을 주기 때문이다.

이밖에, 처리할 이미지에 대해 얼굴 분할을 수행하기 전에, 이미지 사이즈에 따라 이미지를 선별하여, 사이즈가 요구를 충족하는 처리할 이미지를 획득할 수도 있다.

예를 들어, 이미지가 256*256의 크기로 스케일링된 후, 스타일 트랜스폼 모델에 입력되어 처리해야 하고, 이미지 사이즈가 256보다 작은 이미지를 필터링할 수 있는데, 처리할 이미지 자체가 256보다 작으면, 얼굴 이미지의 면적이 256보다 필연적으로 작아, 처리할 얼굴 이미지를 확대하면 이미지가 흐려져, 모델 처리 효과에 영향을 주게 된다.

본 출원의 실시예에서, 처리할 얼굴 이미지에 대해 피부색을 인식하기 전에, 얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여, 처리할 얼굴 이미지를 획득할 수도 있다. 이로써, 처리할 이미지에 대해 얼굴 분할을 수행하여, 처리할 이미지로부터 배경을 없애고, 얼굴 이미지를 획득하여, 얼굴 이미지만 처리하여, 이미지 처리 효과를 향상시킬 수 있다.

실제 응용에서, 촬영된 얼굴 이미지 중 얼굴이 정면이 아닐 수 있어, 일정한 회전 각도를 갖는다. 간편하게 처리하기 위해, 본 출원의 일 실시예에서는, 얼굴을 분할하여 처리할 이미지로부터 얼굴 이미지를 획득한 후, 회전 각도가 큰 얼굴을 회전 처리할 수도 있다. 이하 도 7을 결부하여 설명하고, 도 7은 본 출원의 실시예에서 제공되는 또 다른 이미지 처리 방법의 개략적인 흐름도이다.

도 7에 도시된 바와 같이, 얼굴 분할 모델을 이용하여, 처리할 이미지에 대한 얼굴 분할을 수행하여 처리할 얼굴 이미지를 획득하는 단계 이후에, 하기와 같은 단계를 더 포함한다.

단계701에서, 얼굴 이미지 중 얼굴의 회전 각도를 결정한다.

실제 응용에서, 사람이 셀카를 찍거나 사진이 찍힐 때, 머리가 왼쪽으로 기울거나 오른쪽으로 기울 수 있어, 얼굴에 일정한 회전 각도가 생기게 된다. 본 실시예에서, 얼굴 이미지 중 얼굴의 중심축이 수직 방향에 대한 회전 각도를 검출할 수 있다.

단계702에서, 회전 각도가 제2 역치보다 크거나 같을 경우, 얼굴을 회전 처리하여, 회전된 얼굴의 회전 각도가 제2 역치보다 작도록 한다.

본 실시예에서, 얼굴 이미지 중 얼굴의 회전 각도가 제2 역치보다 크거나 같은지 여부를 판단한다. 회전 각도가 제2 역치보다 크거나 같을 경우, 얼굴을 수직 방향으로 회전시켜, 회전된 얼굴의 회전 각도가 제2 역치보다 작도록 한다. 구체적으로, 얼굴을 적어도 단계701에서 검출된 얼굴의 회전 각도와 제2 역치의 차이값 만큼의 각도를 회전시킬 수 있다.

제2 역치는 실제 수요에 따라 설정 가능하다.

예를 들어, 제2 역치는 45도이고, 얼굴 이미지 중 얼굴의 회전 각도는 70인 바, 70도-45도=25도이고, 얼굴을 적어도 25도 회전시킬 필요가 있어, 회전된 얼굴의 각도가 45도보다 작도록 한다. 실제 응용에서, 간편하게 처리하기 위해, 회전 처리된 얼굴의 회전 각도가 0으로 되게 한다.

얼굴 이미지 중의 얼굴을 회전 처리한 후, 얼굴 이미지에 대해 피부색 인식을 수행하여, 목표 피부색을 결정하는 등 후속 처리를 수행한다.

본 출원의 실시예에서, 얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여 처리할 얼굴 이미지를 획득한 후, 얼굴 이미지 중 얼굴의 회전 각도를 결정할 수도 있는데, 회전 각도가 제2 역치보다 크거나 같을 경우, 얼굴을 회전 처리하여, 회전된 얼굴의 회전 각도가 제2 역치보다 작도록 한다. 이로써, 얼굴 분할을 거쳐, 처리할 얼굴 이미지를 획득한 후, 얼굴 이미지 중 얼굴의 회전 각도가 클 경우, 얼굴을 회전 처리하여, 회전된 얼굴의 회전 각도가 조건을 충족하고나서, 얼굴 이미지를 처리하여, 이미지 처리 효과를 향상시킨다.

상기 실시예를 구현하기 위해, 본 출원의 실시예에서는 이미지 처리 장치를 더 제공한다. 도 8은 본 출원의 실시예에서 제공되는 이미지 처리 장치의 구조 개략도이다.

도 8에 도시된 바와 같이, 상기 이미지 처리 장치(800)는 인식 모듈(810), 변환 모듈(820), 해석 모듈(830), 제1 결정 모듈(840) 및 조정 모듈(850)을 포함한다.

인식 모듈(810)은, 처리할 얼굴 이미지에 대해 피부색을 인식하여, 얼굴 이미지에 포함된 얼굴의 목표 피부색을 결정한다.

변환 모듈(820)은, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득한다.

해석 모듈(830)은, 참조 변환 이미지를 해석하여, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득한다.

제1 결정 모듈(840)은, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 참조 변환 이미지 중의 목표 영역을 결정한다.

조정 모듈(850)은, 목표 피부색에 따라, 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다.

본 출원의 실시예에서 구현 가능한 일 실시 형태에서, 상기 제1 결정 모듈(840)은, 참조 변환 이미지에서, 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있으며 명도값이 제3 범위에 있는 픽셀점을, 목표 영역 내의 픽셀점으로 결정한다.

본 출원의 실시예에서 구현 가능한 일 실시 형태에서, 상기 장치는,

목표 영역 내의 각 픽셀점의 평균 색조값, 평균 채도값 및 평균 명도값을 획득하기 위한 제1 획득 모듈;

미리 설정된 오차값, 평균 색조값, 평균 채도값 및 평균 명도값에 따라, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정하기 위한 제2 결정 모듈; 및

목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 기반하여, 목표 영역 내의 픽셀점을 프루닝 처리하기 위한 프루닝 모듈; 을 더 포함할 수 있다.

본 출원의 실시예에서 구현 가능한 일 실시 형태에서, 상기 변환 모듈(820)은,

얼굴 이미지를 전처리하여, 얼굴 이미지에 대응되는 컨벡스 헐 이미지를 획득하기 위한 제1 처리 유닛; 및

임의의 스타일 트랜스폼 모델을 이용하여, 컨벡스 헐 이미지 및 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하기 위한 제2 처리 유닛; 을 포함할 수 있다.

목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 클 경우, 목표 피부색에 대응되는 얼굴 이미지 세트 및 변환 이미지 세트를 획득하기 위한 제2 획득 모듈; 및

얼굴 이미지 세트 및 변환 이미지 세트를 이용하여, 초기 스타일 트랜스폼 모델을 트레이닝시켜, 목표 피부색에 대응되는 목표 스타일 트랜스폼 모델을 획득하기 위한 트레이닝 모듈; 을 더 포함할 수 있다.

본 출원의 실시예에서 구현 가능한 일 실시 형태에서, 상기 장치는, 얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여, 처리할 얼굴 이미지를 획득하기 위한 분할 모듈을 더 포함할 수 있다.

얼굴 이미지 중 얼굴의 회전 각도를 결정하기 위한 제3 결정 모듈; 및

회전 각도가 제2 역치보다 크거나 같을 경우, 얼굴을 회전 처리하여, 회전된 얼굴의 회전 각도가 제2 역치보다 작도록 하기 위한 회전 처리 모듈; 을 더 포함할 수 있다.

또한, 전술한 이미지 처리 방법의 실시예에 대한 해석 설명은, 상기 실시예의 이미지 처리 장치에도 적응되어, 여기서 더이상 설명하지 않는다.

본 출원의 실시예의 이미지 처리 장치는, 우선 처리할 얼굴 이미지에 대해 피부색을 인식하여, 얼굴 이미지에 포함된 얼굴의 목표 피부색을 결정하고, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 얼굴 이미지를 처리하여, 얼굴 이미지에 대응되는 참조 변환 이미지를 획득한 후, 참조 변환 이미지를 해석하여, 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득하며, 그 다음 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 참조 변환 이미지 중의 목표 영역을 결정하며, 목표 피부색에 따라, 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 피부색과 매칭되는 목표 변환 이미지를 획득한다. 이로써, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 때, 처리할 얼굴 이미지 중 얼굴의 피부색에 기반하여, 기존의 스타일 트랜스폼 모델을 이용하여 획득된 참조 변환 이미지 중의 목표 영역 중, 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 변환 이미지와 처리할 얼굴 이미지 중 얼굴 피부색이 매칭되도록 함으로써, 다양한 피부색의 사용자에게 스타일 변환 처리를 진행할 수 있어, 응용 범위가 확대된다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.

본 출원의 실시예에 따르면, 본 출원은 비 일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 더 제공하는 바, 상기 컴퓨터 프로그램은 컴퓨터가 상기 실시예에 따른 이미지 처리 방법을 수행하도록 한다.

도 9에 도시된 바와 같이, 도9는 본 출원의 실시예에 따른 이미지 처리 방법을 구현하는 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등의 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 기기는 또한 개인 디지털 프로세서, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에서 나타낸 부품, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 명세서에 기술 및/또는 요구하는 본 출원의 구현을 제한하도록 의도되지 않는다.

도 9에 도시된 바와 같이, 상기 전자 기기는 하나 또는 복수의 프로세서(901), 메모리(902), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부품을 연결하기 위한 인터페이스를 포함한다. 각 부품은 상이한 버스를 이용하여 상호 연결되고, 공동 메인 보드 상에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있고, 외부 입력/출력장치(예를 들어, 인터페이스에 결합된 표시 장치)에 GUI의 그래픽 정보를 표시하도록, 메모리 또는 메모리상에 저장된 명령을 포함한다. 다른 실시방식에서, 필요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는 필요한 일부 동작을 제공할 수 있다(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 멀티 프로세서 시스템). 도 9에서는 하나의 프로세서(901)를 예로 든다.

메모리(902)는 본 출원에 의해 제공된 비 일시적 컴퓨터 판독 가능 저장 매체이다. 적어도 하나의 프로세서에 의해 본 출원에서 제공되는 이미지 처리 방법을 수행하도록, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장된다. 본 출원의 비 일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터로 하여금 본 출원에서 제공되는 이미지 처리 방법을 수행하도록 하는 컴퓨터 명령이 저장된다.

메모리(902)는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하기 위한 것으로, 예를 들어 본 출원의 실시예의 이미지 처리 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 8에 도시된 인식 모듈(810), 변환 모듈(820), 해석 모듈(830), 제1 결정 모듈(840) 및 조정 모듈(850)을 저장한다. 프로세서(901)는 메모리(902)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 실행하는 바, 즉, 상기 방법 실시예의 이미지 처리 방법을 구현한다.

메모리(902)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있고, 여기서 프로그램 저장 영역은 운영 체제 및 적어도 하나의 기능에 필요한 응용 프로그램이 저장될 수 있고; 데이터 저장 영역에는 이미지 처리 방법을 구현하는 전자 기기를 사용하여 생성된 데이터가 저장될 수 있다. 이밖에, 메모리(902)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비 일시적 솔리드 스테이트 저장 장치와 같은 비 일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(902)는 프로세서(901)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 이미지 처리 방법을 수행하는 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 로컬 영역 네트워크, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.

이미지 처리 방법을 수행하는 전자 기기는 입력 장치(903) 및 출력 장치(904)를 더 포함할 수 있다. 프로세서(901), 메모리(902), 입력 장치(903) 및 출력 장치(904)는 버스를 통해 연결되거나 또는 다른 방식으로 연결될 수 있으며, 도 9는 버스를 통한 연결을 예시한 것이다.

입력 장치(903)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 이미지 처리 방법을 수행하는 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있는 바, 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치일 수 있다. 출력 장치(904)는 표시 장치, 보조 조명 장치(예를 들어, LED), 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 표시 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지 않는다. 일부 실시 방식에서, 표시장치는 터치 스크린일 수 있다.

본 명세서에 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에 의해 실시될 수 있고, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에 의해 실행 및/또는 해석될 수 있으며, 상기 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그래밍 가능 프로세서의 기계 명령이 포함되고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계어를 사용하여 이러한 컴퓨팅 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 프로그래밍 가능 프로세서에 기계 명령 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 논리 장치(PLD))를 지칭하며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하기 위한 임의의 신호를 지칭한다.

사용자와의 인터랙션(Interaction)을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있는 바, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 포함하고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력할 수 있다. 다른 종류의 장치를 사용하여 사용자와의 인터랙션을 제공할 수도 있고, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 임의의 형태(음향 입력, 음성 입력 또는 촉각 입력을 포함함)로 사용자로부터의 입력을 수신할 수 있다.

본 명세서에 설명된 시스템 및 기술은 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버) 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버) 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있으며, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 실시방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 LAN(로컬 영역 네트워크), WAN(광역통신망) 및 인터넷이 포함될 수 있다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙션한다. 클라이언트와 서버 간의 관계는 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 발생된다. 서버는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 칭하며, 클라우드 컴퓨팅 서비스 시스템 중의 호스트 제품 중 하나로서, 기존의 물리적 호스트와 VPS（Virtual Private Server, 가상 전용 서버） 서비스에 존재하는 관리 난이도가 높고, 업무 확장성이 약한 단점을 해결하도록 한다.

본 출원의 실시예의 기술적 수단에 따르면, 스타일 트랜스폼 모델 세트에 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 처리할 얼굴 이미지 중 얼굴의 피부색에 기반하여, 기존의 스타일 트랜스폼 모델을 이용하여 획득된 참조 변환 이미지 중의 목표 영역 중, 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 목표 변환 이미지와 처리할 얼굴 이미지 중 얼굴 피부색이 매칭되도록 함으로써, 다양한 피부색의 사용자에게 스타일 변환 처리를 진행할 수 있어, 응용 범위가 확대된다.

상기에 도시된 다양한 형태의 과정을 통해 단계를 재정렬, 추가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계들은 병행, 순차적 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 수단이 원하는 결과를 달성할 수만 있으면, 본 명세서에서는 한정하지 않는다.

상기 구체적인 실시 방식은 본 출원의 보호 범위를 제한하지 않는다. 당업자는 설계 요건 및 다른 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체가 이루어질 수 있다는 것을 이해해야 한다. 본 출원의 사상과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선 등은 모두 본 출원의 청구범위에 포함되어야 한다.

Claims

얼굴 이미지를 획득하고, 얼굴을 검출하여 얼굴 영역을 결정한 후, 처리할 상기 얼굴 영역에 대해 피부색을 인식하여, 상기 얼굴 영역에 포함된 얼굴의 목표 피부색을 결정하는 단계;
적어도 하나의 피부색에 대응되는 스타일 트랜스폼 모델이 포함된 스타일 트랜스폼 모델 세트 중 각 스타일 트랜스폼 모델과 피부색 사이의 대응관계에 따라, 상기 스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되는지 여부를 결정하는 단계;
상기 스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함될 경우, 상기 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하는 단계;
상기 스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하는 단계;
상기 참조 변환 이미지를 해석하여, 상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득하는 단계;
상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 상기 참조 변환 이미지 중의 목표 영역을 결정하는 단계; 및
상기 목표 피부색에 따라, 상기 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하는 단계; 를 포함하는,
것을 특징으로 하는 이미지 처리 방법..
제 1 항에 있어서,
상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 상기 참조 변환 이미지 중의 목표 영역을 결정하는 단계는,
상기 참조 변환 이미지에서, 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있으며 명도값이 제3 범위에 있는 픽셀점을 상기 목표 영역 내의 픽셀점으로 결정하는 단계를 포함하는,
것을 특징으로 하는 이미지 처리 방법.
제 2 항에 있어서,
상기 목표 영역 내의 픽셀점으로 결정하는 단계 이후에,
상기 목표 영역 내의 각 픽셀점의 평균 색조값, 평균 채도값 및 평균 명도값을 획득하는 단계;
미리 설정된 오차값, 상기 평균 색조값, 평균 채도값 및 평균 명도값에 따라, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정하는 단계; 및
상기 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 기반하여, 상기 목표 영역 내의 픽셀점을 프루닝 처리하는 단계; 를 더 포함하는,
것을 특징으로 하는 이미지 처리 방법.
제 1 항에 있어서,
상기 임의의 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하는 단계는,
상기 얼굴 이미지를 전처리하여, 상기 얼굴 이미지에 대응되는 컨벡스 헐(convex hull) 이미지를 획득하는 단계; 및
상기 임의의 스타일 트랜스폼 모델을 이용하여, 상기 컨벡스 헐 이미지 및 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하는 단계; 를 포함하는,
것을 특징으로 하는 이미지 처리 방법.
제 1 항에 있어서,
상기 목표 피부색에 따라 복수의 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하는 단계;
상기 목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 클 경우, 피부색이 상기 목표 피부색인 얼굴 이미지를 이용하여 얼굴 이미지 세트를 획득하고, 얼굴 이미지에 대응되는 목표 변환 이미지를 이용하여 변환 이미지 세트를 획득하는 단계; 및
상기 얼굴 이미지 세트 및 변환 이미지 세트를 이용하여, 초기 스타일 트랜스폼 모델을 트레이닝시켜, 상기 목표 피부색에 대응되는 목표 스타일 트랜스폼 모델을 획득하는 단계; 를 더 포함하는,
것을 특징으로 하는 이미지 처리 방법.
제 1 항에 있어서,
상기 처리할 얼굴 이미지에 대해 피부색을 인식하는 단계 이전에,
얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여, 상기 처리할 얼굴 이미지를 획득하는 단계를 더 포함하는,
것을 특징으로 하는 이미지 처리 방법.
제 6 항에 있어서,
상기 얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여, 상기 처리할 얼굴 이미지를 획득하는 단계 이후에,
상기 얼굴 이미지 중 얼굴의 회전 각도를 결정하는 단계; 및
상기 회전 각도가 제2 역치보다 크거나 같을 경우, 상기 얼굴을 회전 처리하여, 회전된 얼굴의 회전 각도가 상기 제2 역치보다 작도록 하는 단계; 를 더 포함하는,
것을 특징으로 하는 이미지 처리 방법.
획득된 얼굴 이미지에 대해 얼굴을 검출하여 얼굴 영역을 결정하고, 처리할 상기 얼굴 영역에 대해 피부색을 인식하여, 상기 얼굴 영역에 포함된 얼굴의 목표 피부색을 결정하기 위한 인식 모듈;
적어도 하나의 피부색에 대응되는 스타일 트랜스폼 모델이 포함된 스타일 트랜스폼 모델 세트 중 각 스타일 트랜스폼 모델과 피부색 사이의 대응관계에 따라, 상기 스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되는지 여부를 결정하며, 상기 스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함될 경우, 상기 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하고, 상기 스타일 트랜스폼 모델 세트에 상기 목표 피부색에 대응되는 스타일 트랜스폼 모델이 포함되지 않을 경우, 임의의 스타일 트랜스폼 모델을 이용하여 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하기 위한 변환 모듈;
상기 참조 변환 이미지를 해석하여, 상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값을 획득하기 위한 해석 모듈;
상기 참조 변환 이미지 중 각 픽셀점의 색조값, 채도값 및 명도값에 따라, 상기 참조 변환 이미지 중의 목표 영역을 결정하기 위한 제1 결정 모듈; 및
상기 목표 피부색에 따라, 상기 목표 영역 중 각 픽셀점의 색조값, 채도값 및 명도값을 조정하여, 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하기 위한 조정 모듈; 을 포함하는,
것을 특징으로 하는 이미지 처리 장치.
제 8 항에 있어서,
상기 제1 결정 모듈은,
상기 참조 변환 이미지에서, 색조값이 제1 범위에 있고, 채도값이 제2 범위에 있으며 명도값이 제3 범위에 있는 픽셀점을 상기 목표 영역 내의 픽셀점으로 결정하는,
것을 특징으로 하는 이미지 처리 장치.
제 9 항에 있어서,
상기 목표 영역 내의 각 픽셀점의 평균 색조값, 평균 채도값 및 평균 명도값을 획득하기 위한 제1 획득 모듈;
미리 설정된 오차값, 상기 평균 색조값, 평균 채도값 및 평균 명도값에 따라, 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위를 결정하기 위한 제2 결정 모듈; 및
상기 목표 색조 범위, 목표 채도 범위 및 목표 명도 범위에 기반하여, 상기 목표 영역 내의 픽셀점을 프루닝 처리하기 위한 프루닝 모듈; 을 더 포함하는,
것을 특징으로 하는 이미지 처리 장치.
제 8 항에 있어서,
상기 변환 모듈은,
상기 얼굴 이미지를 전처리하여, 상기 얼굴 이미지에 대응되는 컨벡스 헐 이미지를 획득하기 위한 제1 처리 유닛; 및
상기 임의의 스타일 트랜스폼 모델을 이용하여, 상기 컨벡스 헐 이미지 및 상기 얼굴 이미지를 처리하여, 상기 얼굴 이미지에 대응되는 참조 변환 이미지를 획득하기 위한 제2 처리 유닛;,을 포함하는,
것을 특징으로 하는 이미지 처리 장치.
제 8 항에 있어서,
상기 목표 피부색에 따라 복수의 상기 목표 피부색과 매칭되는 목표 변환 이미지를 획득하고, 상기 목표 피부색과 매칭되는 목표 변환 이미지의 개수가 제1 역치보다 클 경우, 피부색이 상기 목표 피부색인 얼굴 이미지를 이용하여 얼굴 이미지 세트를 획득하고, 얼굴 이미지에 대응되는 목표 변환 이미지를 이용하여 변환 이미지 세트를 획득하기 위한 제2 획득 모듈; 및
상기 얼굴 이미지 세트 및 변환 이미지 세트를 이용하여, 초기 스타일 트랜스폼 모델을 트레이닝시켜, 상기 목표 피부색에 대응되는 목표 스타일 트랜스폼 모델을 획득하기 위한 트레이닝 모듈; 을 더 포함하는,
것을 특징으로 하는 이미지 처리 장치.
제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
얼굴 분할 모델을 이용하여, 처리할 이미지에 대해 얼굴 분할을 수행하여, 상기 처리할 얼굴 이미지를 획득하기 위한 분할 모듈을 더 포함하는,
것을 특징으로 하는 이미지 처리 장치.
제 13 항에 있어서,
상기 얼굴 이미지 중 얼굴의 회전 각도를 결정하기 위한 제3 결정 모듈; 및
상기 회전 각도가 제2 역치보다 크거나 같을 경우, 상기 얼굴을 회전 처리하여, 회전된 얼굴의 회전 각도가 상기 제2 역치보다 작도록 하기 위한 회전 처리 모듈; 을 더 포함하는,
것을 특징으로 하는 이미지 처리 장치.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 의해 제 1 항 내지 제 7 항 중 어느 한 항에 따른 이미지 처리 방법이 수행되도록 하는,
것을 특징으로 하는 전자 기기.
컴퓨터 명령이 저장된 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 컴퓨터가 제 1 항 내지 제 7항 중 어느 한 항에 따른 이미지 처리 방법을 수행하도록 하는,
것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
비 일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨터가 제 1 항 내지 제 7항 중 어느 한 항에 따른 이미지 처리 방법을 수행하도록 하는,
것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.