KR20200107957A - 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

Abstract

본 발명의 실시예는 이미지 처리 방법 및 장치, 이미지 기기 및 저장 매체를 개시한다. 상기 이미지 처리 방법은, 제1 얼굴 이미지의 키 포인트를 검출하는 단계; 상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하는 단계; 상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계; 및 상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 출원은 2019년 3월 6일에 중국 특허청에 제출한 출원 번호가 201910169460.X이고, 발명의 명칭이 “이미지 처리 방법 및 장치, 이미지 기기 및 저장 매체”이며, 그 전부 내용은 인용을 통해 본 출원에 결합된다.

본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히 이미지 처리 방법 및 이미지 처리 장치, 이미지 기기 및 저장 매체에 관한 것이다.

휴대폰, 태블릿 컴퓨터 또는 웨어러블 기기 등에는 일반적으로 이미지를 수집할 수 있는 카메라가 장착된다. 그러나 수집된 이미지는 사용자가 원하는 이상적인 이미지일 필요는 없으며, 예를 들어 이미지를 아름답고, 코믹스럽거나, 귀엽게 하는 것과 같이 사용자의 기대를 충족시키도록 조정될 필요가 있을 수 있으며 인물 처리를 예를 들어, 관련 기술에서 이미지의 처리에 대해, 일반적으로 눈, 코 및 얼굴형의 처리로 제한되지만, 다른 부분에 대한 미화 등 처리는 상대적으로 적다. 따라서 관련 기술의 이미지 처리 기술은 최적화되지 않고 완벽하지 않으며, 이미지의 처리 효과는 이상적인 예상 효과에 도달하지 못했다.

이를 고려하여, 본 발명의 실시예는 이미지 처리 방법 및 장치, 이미지 기기 및 저장 매체를 제공한다.

제1 측면에 있어서, 이미지 처리 방법을 제공하며, 상기 이미지 처리 방법은,

제1 얼굴 이미지의 키 포인트를 검출하는 단계;

상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하는 단계;

상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계; 및

상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하기 전에, 상기 이미지 처리 방법은,

상기 제1 얼굴 이미지에서 얼굴의 방향을 결정하는 단계를 더 포함하며;

상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하는 단계는,

상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트는, 눈꼬리 키 포인트, 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;

상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계는,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제1 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제1 중간점을 결정하는 단계; 및

상기 제1 중간점 및 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트는 눈꼬리 키 포인트, 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;

상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계는,

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제2 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제2 중간점을 결정하는 단계; 및

상기 제2 중간점과 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계는,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계는,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제1 방향이라고 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계는,

상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제2 방향 및 제3 방향이라고 결정하는 단계 - 상기 제3 방향은 상기 제2 방향과 상이함 - 를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 제1 방향은, 상기 목표 영역의 제1 중간점이 눈꼬리 키 포인트를 가리키는 방향이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 방향은, 상기 목표 영역의 제2 중간점이 눈꼬리 키 포인트를 가리키는 방향이며;

상기 제3 방향은, 콧방울 키 포인트가 목표 영역을 결정하는 제2 얼굴 윤곽 키 포인트를 가리키는 방향이다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계는,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하는 단계는,

눈꼬리 키 포인트 및 눈머리 키 포인트에 기반하여, 상기 애플존의 최대 이동 거리를 결정하는 단계; 및

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 얼굴 편향각 및 상기 최대 이동 거리에 따라, 상기 제1 얼굴 이미지의 애플존의 실제 이동 거리를 결정하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 방법은,

상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하는 단계를 더 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하는 단계는,

상기 제2 얼굴 이미지로부터 얼굴의 피부색 파라미터를 획득하는 단계;

상기 얼굴 피부색 파라미터에 기반하여, 애플존 브라이트닝 처리를 위한 브라이트닝 파라미터를 결정하는 단계; 및

상기 브라이트닝 파라미터에 기반하여 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 상기 제3 얼굴 이미지를 획득하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하는 단계는,

상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하는 단계; 및

상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하는 단계는,

기설정된 애플존 브라이트닝의 밝은 점, 및 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 상기 밝은 점을 포함한 상기 마스크 이미지를 생성하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하는 단계는,

상기 마스크 이미지의 픽셀 값이 소정의 임계값보다 큰 픽셀을, 상기 제2 얼굴 이미지에 대응하는 위치 픽셀의 제1 픽셀 값과 혼합하여, 혼합된 제2 픽셀 값를 획득하는 단계; 및

상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계를 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 방법은,

제어 파라미터를 획득하는 단계를 더 포함하며;

상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계는,

상기 제어 파라미터, 상기 제2 픽셀 값 및 상기 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 제3 픽셀 값을 획득하는 단계; 및

상기 제3 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계를 포함한다.

제2 측면에 있어서, 이미지 처리 장치를 제공하며,

제1 얼굴 이미지의 키 포인트를 검출하기 위한 검출 유닛;

상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하기 위한 제1 결정 유닛;

상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하기 위한 제2 결정 유닛; 및

상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성하기 위한 조정 유닛을 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 장치는,

상기 제1 얼굴 이미지에서 얼굴의 방향을 결정하기 위한 제3 결정 유닛을 더 포함하며;

상기 제1 결정 유닛은,

상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트는, 눈꼬리 키 포인트, 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;

상기 제2 결정 유닛은,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제1 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제1 중간점을 결정하고;

상기 제1 중간점 및 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트는 눈꼬리 키 포인트, 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;

상기 제1 결정 유닛은,

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제2 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제2 중간점을 결정하고;

상기 제2 중간점과 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 결정 유닛은,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제3 결정 유닛은,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제1 방향이라고 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제3 결정 유닛은 또한,

상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제2 방향 및 제3 방향이라고 결정하기 위한 것이고, 여기서, 상기 제3 방향은 상기 제2 방향과 상이하다.

본 발명의 임의의 실시형태와 결합하면, 상기 제1 방향은, 상기 목표 영역의 제1 중간점이 눈꼬리 키 포인트를 가리키는 방향이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 방향은, 상기 목표 영역의 제2 중간점이 눈꼬리 키 포인트를 가리키는 방향이며;

상기 제3 방향은, 콧방울 키 포인트가 목표 영역을 결정하는 제2 얼굴 윤곽 키 포인트를 가리키는 방향이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 결정 유닛은,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 결정 유닛은,

눈꼬리 키 포인트 및 눈머리 키 포인트에 기반하여, 상기 애플존의 최대 이동 거리를 결정하고;

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 얼굴 편향각 및 상기 최대 이동 거리에 따라, 상기 제1 얼굴 이미지의 애플존의 실제 이동 거리를 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 장치는,

상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하기 위한 브라이트닝 처리 유닛을 더 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛은,

상기 제2 얼굴 이미지로부터 얼굴의 피부색 파라미터를 획득하고;

상기 얼굴 피부색 파라미터에 기반하여, 애플존 브라이트닝 처리를 위한 브라이트닝 파라미터를 결정하며;

상기 브라이트닝 파라미터에 기반하여 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 상기 제3 얼굴 이미지를 획득하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛은,

상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하고;

상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛은,

기설정된 애플존 브라이트닝의 밝은 점, 및 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 상기 밝은 점을 포함한 상기 마스크 이미지를 생성하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛은,

상기 마스크 이미지의 픽셀 값이 소정의 임계값보다 큰 픽셀을, 상기 제2 얼굴 이미지에 대응하는 위치 픽셀의 제1 픽셀 값과 혼합하여, 혼합된 제2 픽셀 값를 획득하고;

상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 장치는,

제어 파라미터를 획득하는 획득 유닛을 더 포함하며;

상기 브라이트닝 처리 유닛은,

상기 제어 파라미터, 상기 제2 픽셀 값 및 상기 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 제3 픽셀 값을 획득하고;

상기 제3 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하기 위한 것이다.

제3 측면에 있어서, 제공된 이미지 기기는,

메모리; 및

상기 메모리에 연결되고, 상기 메모리에 저장된 컴퓨터 실행 가능한 명령어를 실행하여, 제1 측면 및 이의 임의의 실시형태를 구현하기 위한 프로세서를 포함한다.

컴퓨터 실행 가능한 명령어가 저장된 컴퓨터 저장 매체로서, 상기 컴퓨터 실행 가능한 명령어가 실행된 후, 전술한 제1 측면 및 이의 임의의 실시형태를 구현할 수 있다.

본 발명의 실시예에서 제공한 기술 방안은, 제1 얼굴 이미지에 대해 키 포인트 검출을 실행하여, 제1 얼굴 이미지에서의 키 포인트를 획득한 후, 키 포인트에 근거하여 제1 얼굴 이미지에서의 애플존이 위치한 목표 영역을 결정하며, 키 포인트에 기반하여 제1 얼굴 이미지의 애플존을 조정하는 조정 파라미터를 결정하여, 상기 조정 파라미터를 이용하여 상기 목표 영역을 조정하면, 애플존이 조정된 후의 제2 얼굴 이미지를 생성할 수 있다. 이러한 방식으로, 본 발명의 실시예에서 제공한 기술 방안은, 적어도 얼굴 이미지에에서의 애플존을 조정하는 기능을 제공하고, 후속적으로 사용자 요구에 따라 얼굴 이미지에서의 애플존을 조정할 수 있어, 얼굴 이미지에 대해 미화 및 코믹 효과를 향상시킨다.

본 출원의 실시예 또는 배경 기술에서의 기술 방안을 보다 명확하게 설명하기 위해, 본 출원의 실시예 또는 배경 기술을 설명하는데 필요한 도면에 대해 설명한다.
본문의 도면은 본 명세서에 포함되어 본 명세서의 일부을 구성하며, 이 첨부 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술 방안의 설명에 사용된다.
도 1은 본 발명의 실시예에서 제공한 픽셀 좌표계의 모식도이다.
도 2는 본 발명의 실시예에서 제공한 얼굴 이미지의 영역 분할의 모식도이다.
도 3은 본 발명의 실시예에서 제공한 이미지 처리 방법의 흐름 모식도이다.
도 4는 본 발명의 실시예에서 제공한 얼굴 키 포인트의 모식도이다.
도 5는 본 발명의 실시예에서 제공한 다른 이미지 처리 방법의 흐름 모식도이다.
도 6a는 본 발명의 실시예에서 제공한 정면 얼굴 인물의 효과 모식도이다.
도 6b는 본 발명의 실시예에서 제공한 측면 얼굴 인물의 효과 모식도이다.
도 6c는 본 발명의 실시예에서 제공한 다른 측면 얼굴 인물의 효과 모식도이다.
도 7은 본 발명의 실시예에서 제공한 마스크 이미지의 효과 모식도이다.
도 8은 본 발명의 실시예에서 제공한 이미지 처리 장치의 구조 모식도이다.
도 9는 본 발명의 실시예는 제공 이미지 기기의 구조 모식도이다.
도 10은 본 발명의 실시예에서 제공한 이미지 처리 방법의 효과 모식도이다.

아래에 본 명세서의 도면 및 구체적인 실시예를 결합하여 본 발명의 기술 방안에 대해 상세히 설명하고자 한다.

다음의 설명에 앞서, 먼저 본 발명의 실시예에서의 픽셀 좌표계에 대해 정의한다. 도 1에 도시된 바와 같이, 얼굴 이미지(A)의 오른쪽 아래 모서리는 픽셀 좌표계의 원점(o)으로 사용하여, 얼굴 이미지(A)의 행에 평행한 방향은 x축 방향이고, 얼굴 이미지(A)의 열에 평행한 방향은 y축 방향으로 취함으로써, 픽셀 좌표계(xoy)를 구성한다. 필셀 좌표계에서, 가로 좌표는 얼굴 이미지(A)에서 얼굴 이미지(A)에서의 픽셀의 열수를 나타내기 위한 것이고, 세로 좌표는 얼굴 이미지(A)에서 얼굴 이미지(A)에서의 픽셀의 행수를 나타내기 위한 것이며, 가로 좌표 및 세로 좌표의 유닛은 모두 픽셀일 수 있다. 예를 들어, 도 1에서의 픽셀 a의 좌표가 (10, 30)이면, 즉 픽셀 a의 가로 좌표는 10 개의 픽섹이고, 픽셀 a의 세로 좌표는 30 개의 픽셀이며, 픽셀 a는 얼굴 이미지(A)에서의 제10열 제30행의 픽셀이다.

설명의 편의를 위해, 본 발명의 실시예는 얼굴 이미지에서의 얼굴 영역을 왼쪽 얼굴 영역 및 오른쪽 얼굴 영역으로 분할한다. 도 2에 도시된 바와 같이, 얼굴 영역의 대칭 중심선을 기준으로 얼굴 영역을 왼쪽 얼굴 영역 및 오른쪽 얼굴 영역으로 나눈다.

도 3에 도시된 바와 같이, 본 실시예에 제공된 이미지 처리 방법은 다음의 방법을 포함한다.

단계 S110에 있어서, 제1 얼굴 이미지의 키 포인트를 검출한다.

단계 S120에 있어서, 상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정한다.

단계 S130에 있어서, 상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정한다.

단계 S140에 있어서, 상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성한다.

본 실시예에서, 얼굴에서의 애플존은 눈 아래 영역에 위치한 역 삼각형의 조직의 영역으로 이해할 수 있다. 이 영역은 사람이 미소를 짓거나 표정을 지을 때 얼굴 근육의 압박으로 인해 약간 부풀어 오르며, 상기 역 삼각형의 조직이 위치한 영역은 둥글고 광택있는 사과처럼 보이기 때문에, 애플존이라 지칭한다. 본 실시예는 애플존에 대한 조정 방안을 제공하여, 실제 응용에서 또한 사람 얼굴의 다른 부위 또는 만화 캐릭터의 얼굴 부위 또는 동물의 얼굴 부위 등에 적용될 수 있으며, 상기 조정 방안의 기술 개념에 기반하여 상기 얼굴 부위에 대해 조정하며, 본 발명의 실시예의 기술 범위 내인 것으로 간주될 수 있다.

단계 S110에서 뉴럴 네트워크와 같은 딥 러닝 모델 또는 얼굴 키 포인트 검출 알고리즘을 이용하여 제1 얼굴 이미지에 대해 처리를 수행함으로써, 제1 얼굴 이미지에서의 얼굴 키 포인트를 결정한다. 상기 얼굴 키 포인트 검출 알고리즘은, OpenFace, 멀티 태스크 계단식 컨볼루션 네트워크(multi-task cascaded convolutional networks, MTCNN), 트윗된 컨볼루션 뉴럴 네트워크 조정(tweaked convolutional neural networks, TCNN), 또는 작업 제한 딥 컨볼루션 네트워크(tasks-constrained deep convolutional network, TCDCN) 중의 하나일 수 있으며, 본 발명은 얼굴 키 포인트 검출 알고리즘에 대해 한정하지 않는다.

예를 들어, 상기 키 포인트는,

도 4에 도시된 키 포인프(0) 내지 키 포인트(32)인 얼굴 윤곽 키 포인트;

도 4에 도시된 키 포인트(33) 내지 키 포인트(37), 키 포인트(38) 내지 키 포인트(42) 및 키 포인트(64) 내지 키 포인트(71)인 눈썹 키 포인트;

눈 키 포인트;

코 키 포인트; 및

입술 키 포인트 등 키 포인트를 포함하지만 이에 한정되지 않으며, 상기 입술 키 포인트는 도 4의 키 포인트(84) 내지 키 포인트(103)를 참조할 수 있다.

상기 눈 키 포인트는 눈에서의 키 포인트의 분포에 따라 또한,

도 4에 도시된 키 포인트(55) 및 키 포인트(58)와 같은 내안각에 위치한 눈머리 키 포인트;

도 4에 도시된 키 포인트(52) 및 키 포인트(62)와 같은 외안각에 위치한 눈꼬리 키 포인트;

도 4에 도시된 키 포인트(53, 72 및 54), 및 키 포인트(59, 75 및 60)와 같은 상안검에 위치한 상안검 키 포인트;

도 4에 도시된 키 포인트(62, 76 및 63), 및 키 포인트(57, 73 및 56)와 같은 하안검에 위치한 하안검 키 포인트; 및

도 4에 도시된 키 포인트(74 및 104) 및 키 포인트(77 및 105)와 같은 안구에 위치한 안구 키 포인트를 포함할 수 있으며;

상기 코 키 포인트는 코에서의 키 분포에 따라,

도 4에 도시된 키 포인트(43)와 같은 산근에 위치한 키 포인트;

도 4의 키 포인트(44) 및 키 포인트(45)와 같은 콧날에 위치한 콧날 키 포인트;

도 4의 키 포인트(80) 내지 키 포인트(83)와 같은 콧방울에 위치한 콧방울 키 포인트;

도 4의 키 포인트(46)와 같은 코끝에 위치한 코끝 키 포인트; 및

도 4에 도시된 키 포인트(47) 내지 키 포인트(51)와 같은 코밑에 위치한 코밑 키 포인트로 나눌수 있다.

본 실시예에서, 애플존 조정과 관련된 키 포인트는,

도 4에 도시된 얼굴 윤곽 키 포인트에서 광대뼈와 가까운 위치의 키 포인트(4), 키 포인트(5), 키 포인트(28) 및 키 포인트(27);

눈꼬리 키 포인트; 및

눈머리 키 포인트 중 적어도 하나를 포함한다.

단계 S310에서 먼저 키 포인트에서의 하나 또는 복수 개의 키 포인트에 따라, 제1 얼굴 이미지에서 애플존 조정을 수행하기 위한 목표 영역을 표시한다. 상기 영역을 표시한 후 상기 영역 내의 픽셀에 근거하여 애플존의 조정을 구현할 수 있다. 구체적인 실시예에서 상기 얼굴 윤곽 키 포인트는 제1 얼굴 윤곽 키 포인트 및 제2 얼굴 윤곽 키 포인트 중 적어도 하나를 선택할 수 있으므로, 애플존의 조정 파라미터를 결정한다.

본 실시예에서, 상기 목표 영역은 원형 영역 또는 타원형 영역일 수 있다.

단계 S310에서 키 포인트에서의 하나 또는 복수 개의 키 포인트 따라, 애플존의 조정 파라미터를 결정한다. 상기 애플존의 조정 파라미터는,

애플존의 조정 방향;

애플존의 조정 폭; 및

애플존의 그라디언트 중 적어도 하나를 포함하지만 이에 한정되지 않는다.

조정 방향은, 제1 얼굴 이미지에서의 애플존의 이동 방향을 결정하기 위해 사용될 수 있고;

조정 폭은, 제1 얼굴 이미지에서의 애플존의 이동 거리 또는 스케일 비율 등과 같은 변화 척도 등을 결정하기 위해 사용될 수 있으며;

조정 그라디언트는, 여러 번 조정될 경우 상이한 조정 사이의 조정 폭 차이, 또는, 애플존의 구분 영역에 대해 조정이 수행될 경우, 상이한 영역 사이의 조정 폭 차이를 조정하는데 사용될 수 있다. 예를 들어, 원형 또는 타원형의 목표 영역을 내부 영역 및 외부 영역으로 분할하며; 외부 영역은 내부 영역으로 둘러싸여 있고, 애플존에 대해 밝기 조정이 수행될 경우, 내부 영역의 밝기 조정 폭이 외부 영역의 밝기 조정 폭보다 크면, 내부 영역과 외부 영역 사이의 조정 밝기의 차이는 상기 조정 그라디언트를 구성한다. 물론 이는 예일 뿐이고, 복수 개의 특정 구현 방식이 있다.

단계 S310에서 상기 조정 파라미터 및 상기 목표 영역을 결정하기 위한 키 포인트는 동일하거나 상이할 수 있다. 일부 실시예에서, 상기 조정 파라미터 및 상기 목표 영역을 결정하기 위한 키 포인트의 일부는 동일할 수 있다. 예를 들어, 동일한 얼굴 윤곽 키 포인트를 사용하여 상기 조정 파라미터 및 상기 목표 영역을 결정할 수 있다. 다시 예를 들어, 동일한 눈 키 포인트를 동시에 사용하여 상기 조정 파라미터 및 상기 목표 영역을 결정할 수 있다.

단계 S140에서 조정 파라미터에 따라, 제1 얼굴 이미지에서의 위치, 모양, 치수, 또는 색상 중 적어도 하나의 목표 영역을 조정함으로써, 제2 얼굴 이미지를 형성한다.

구체적으로, 상기 단계 S140은,

상기 목표 영역에 대해 이동을 수행하여, 상기 목표 영역의 위치를 조정하는 단계;

상기 목표 영역에 대해 스케일링을 수행하여, 제2 얼굴 이미지에서의 상기 목표 영역의 치수를 조정하는 단계;

상기 목표 영역에 대해 색상 변환을 수행하여, 상기 목표 영역의 색상을 조정함으로써, 얼굴의 하이라이트 영역 또는 그림자 영역 등을 형성하는 단계 ; 및

상기 목표 영역 내에 대해 모양 변화를 수행하여, 상기 목표 영역에 나타낸 모양을 조정함으로써, 얼굴의 얼굴 모양에 적합한 애플존 모양을 이미지화하는 단계 중 적어도 하나를 포함한다. 예를 들어, 상이한 인물은 상이한 얼굴형을 이미지화하며, 예를 들어, 일부는 계란형 얼굴, 일부는 하트형 얼굴, 일부는 둥근 얼굴, 일부는 다이아몬드형 얼굴이다. 애플존의 모양은 대체적으로 역삼각형이지만; 역삼각형의 세 모서리의 각도 또는 정점이 얼굴 이미지에서의 위치가 상이하면, 애플존으로 하여금 상이한 시각적 느낌을 나타내도록 한다. 따라서 일부 실시예어서, 이미지 기기는 또한 목표 영역 내의 픽셀의 위치 등 방식을 조정함으로써, 얼굴형과 일치하도록 애플존으로 하여금 목표 영역 내 또는 이동 후의 목표 영역 내에서 상이한 모양의 얼굴 모양에 알맞는 역삼각형으로 나타내도록 하여, 인물 미화, 또는 코믹 등 처리를 구현할 수 있다.

요컨대, 본 실시예에서 제공된 방법은 얼굴 이미지에서의 애플존에 대해 조정을 수행함으므로써, 얼굴 이미지에서 애플존의 아름답고, 코믹스럽거나, 귀엽게 하거나 또는 상이한 스타일 타입의 애플존을 구현할 수 있으며; 이러한 방식으로, 사용자 요구에 따라 이미지의 애플존 처리를 구현할 수 있음으로써, 사용자의 상이한 이미지 요구를 만족시키며, 사용자 체험, 및 이미지 처리 품질을 향상시킬 수 있다.

일부 실시예에서, 상기 단계 S130에서 상기 조정 파라미터가 생성될 경우, 현재 애플존의 예상 조정 효과에 따라, 상기 조정 파라미터를 생성할 수 있다. 예를 들어, 현재 예상된 조정 효과가 애플존 미화 효과이면, 미화 효과에 따라 애플존으로 하여금 제2 얼굴 이미지에서 제1 얼굴 이미지에서보다 비교적 대중적인 미적 미화 효과를 나타낸다. 다시 예를 들어, 현재 예상된 조정 효과가 코믹 효과이면, 제1 얼굴 이미지에서의 애플존의 조정을 통해, 유머 효과를 나타내면; 상기 조정 파라미터가 생성될 경우, 상기 키 포인트 및 상기 코믹 효과를 결합하여 제2 얼굴 이미지로 하여금 유머 개그 효과를 나타내는 애플존을 생성한다. 요컨대, 일부 실시예에서, 상기 조정 파라미터의 생성은 또한 상기 예상 조정 효과에 따라 결정된다.

본 실시예에서, 애플존에 대한 조정은 이미지 미화 과정에 사용될 수 있으며, 뷰티 애플리케이션에서 사용될 수 있고, 본 발명의 실시예에서 제공한 애플존 조정은 원클릭 인물 뷰티에 사용될 수 있으며, 이러한 방식으로, 애플존 미화는 눈 미화, 코 미화 또는 얼굴형 미화 등과 함께 원클릭 인물 뷰티의 하나의 기능으로서 구현된다.

물론 본 실시예에서 제공한 애플존의 조정은, 전문적인 애플존 미화 기능에도 사용될 수 있다. 예를 들어, 뷰티 애플리케이션에서 애플존 미화 제어가 설정되고, 상기 애플존 미화 제어에 작용하는 사용자의 조작이 검출될 경우, 상기 방법을 사용하여 이미지에서의 애플존에 대해 독립적으로 미화를 수행한다.

요컨대, 본 실시예에서 설명된 이미지 처리 방법은, 애플존의 조정 기능을 가지고, 인물 처리를 수행하는 과정에서 애플존에 대한 조정을 수행할 수 있음으로써, 애플존 조정에 대한 사용자 요구를 만족시키고, 사용자 체험 및 이미지 기기의 지능을 향상시킨다.

다른 일부 실시예에서, 도 5에 도시된 바와 같이, 상기 이미지 처리 방법은 다음의 단계를 포함한다.

단계 S111에 있어서, 상기 제1 얼굴 이미지에서 얼굴의 방향을 결정한다.

상기 단계 S120은 단계 S121을 포함할 수 있으며; 상기 단계 S121은, 상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계를 포함할 수 있다.

본 실시예에서, 또한 제1 얼굴 이미지의 방향을 결정한다. 제1 얼굴 이미지의 방향은 적어도 두 가지 방향으로 나눈다.

첫 번째 방향에 있어서, 정면 얼굴 방향, 즉 제1 얼굴 이미지가 정면 얼굴 이미지인 것으로 나타내며;

두 번째 방향에 있어서, 측면 얼굴 방향, 즉 제1 얼굴 이미지가 측면 얼굴 이미지인 것으로 나타낸다.

상기 제1 얼굴 이미지를 수집하는 촬상 기기의 촬영 방향과 촬영되는 사람의 얼굴 영역의 대칭 중심선 사이의 협각(아래에 얼굴 편향각도로 지칭됨)이 제1 기설정 범위 내에 위치할 경우, 제1 얼굴 이미지의 방향은 정면 얼굴 방향이다.

상기 얼굴 편향각은 촬상 기기의 촬영 방향과 촬영되는 사람의 얼굴 영역의 수직선 사이의 각도를 지칭하며, 촬영되는 사람의 머리 위에서 아래로 내려다 보면, 촬상 기기의 촬영 방향이 촬영되는 사람의 얼굴 영역의 대칭 중심선의 오프셋 방향에 대해 시계 방향인 경우, 얼굴 편향각은 양수이고, 그렇지 않으면, 촬영되는 사람의 머리 위에서 아래로 내려다 보면, 촬상 기기의 촬영 방향이 촬영되는 사람의 얼굴 영역의 대칭 중심선의 오프셋 방향에 대해 시계 반대 방향인 경우, 얼굴 편향각은 음수이다.

상기 제1 얼굴 이미지의 얼굴 편향각이 제2 기설정 범위 내에 위치할 경우, 제1 얼굴 이미지의 방향은 측면 얼굴 방향이다.

상기 제1 기설정 범위와 상기 제2 기설정 범위는 서로에 대해 상보적인 세트이다. 예를 들어, 제1 기설정 범위가 -10도 내지 10도이면, 제2 기설정 범위는 -180도 내지 -10도, 및 10도 내지 180도이다.

얼굴 이미지에서 상기 정면 얼굴 방향 이외의 방향은 모두 측면 얼굴 방향으로 간주될 수 있고, 물론 이때 얼굴을 포함하지 않는 후면 이미지는 제외된다.

도 6a는 정면 얼굴 방향의 얼굴 이미지이고; 도 6b는 측면 얼굴 방향의 얼굴 이미지이며; 도 6c는 다른 측면 얼굴 방향의 얼굴 이미지이다.

일부 실시예에서, 도 6a에 도시된 얼굴 이미지의 얼굴 편향각은 0도이고, 도 6b에 도시된 얼굴 이미지의 얼굴 편향각이 -90도이면, 도 6c에 도시된 얼굴 이미지의 얼굴 편향각은 90도이다.

물론 상기 제1 기설정 범위 및 상기 제2 기설정 범위는 필요에 따라 설정될 수 있다.

정면 얼굴 방향의 얼굴 이미지(이하 정면 얼굴 이미지로 지칭됨)에서의 애플존에 의해 커버되는 영역 및 측면 얼굴 방향의 얼굴 이미지(이하 측면 얼굴 이미지로 지칭됨)에서의 애플존에 의해 커버되는 영역이 상이(애플존이 커버하는 영역의 면적이 상이하고, 애플존이 커버하는 영역의 각도가 상이한 등을 포함함)하기 때문에, 정면 얼굴 이미지 및 측면 얼굴 이미지에 대해 동일한 조정 표준 또는 조정 파라미터를 사용할 경우, 얼굴 이미지에서의 애플존의 조정 효과가 떨어진다(예를 들어, 조정된 후의 애플존 영역의 면적과 얼굴 영역의 면적의 비율는 부적절하고, 다른 예를 들어, 조정된 애플존 영역의 색상 및 얼굴 영역에서 비 애플존 영역의 색상의 차이가 큼). 이를 위해, 본 발명의 실시예는 상이한 방향의 얼굴 이미지에 대해 상이한 방식을 사용하여 조정 파라미터를 결정하여, 얼굴 이미지에 대한 애플존의 조정 효과를 향상시킨다.

이하 목표 영역을 결정할 때의 정면 얼굴 이미지 및 측면 얼굴 이미지의 유사점과 차이점에 대해 각각 소개한다.

정면 얼굴 이미지인 경우, 상기 단계 S120은,

상기 방향이 상기 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 제1 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제1 중간점을 결정하는 단계를 포함할 수 있다.

상기 제1 얼굴 윤곽 키 포인트는 제1 목표 범위내의 세로 좌표의 얼굴 윤곽 키 포인트일 수 있으며, 여기서, 제1 목표 범위는 애플존에 의해 커버되는 영역의 세로 좌표 범위와 제3 기설정 범위의 합이다. 선택적으로, 상기 제3 기설정 범위는 -5 개의 픽셀 내지 5 개의 픽셀이다. 예컨대, 애플존에 의해 커버되는 영역 내의 픽셀의 세로 좌표의 최대값이 35 개의 픽셀이고, 최소값이 16 개의 픽셀이며, 제3 기설정 범위가 -4 개의 픽셀 내지 5 개의 픽셀이면, 세로 좌표는 16-4=12 개의 픽셀보다 크거나 같고, 35+5=40 개의 픽셀보다 작거나 같은 얼굴 윤곽 키 포인트는 제1 얼굴 윤곽 키 포인트이다.

선택적으로, 도 4를 참조하면, 키 포인트 4 및 키 포인트 5는 얼굴 이미지에서 좌측 애플존(즉 왼쪽 얼굴 영역에 위치한 애플존임)을 조정하기 위한 제1 얼굴 윤곽 키 포인트로 사용될 수 있다.

본 실시예에서, 바람직하게 키 포인트 5는 상기 제1 얼굴 윤곽 키 포인트로 사용된다. 상기 콧방울 키 포인트는 세로 좌표와 제1 얼굴 윤곽 키 포인트의 세로 좌표 사이의 차이값이 제4 기설정 범위내에 위치하고, 콧방울 영역(상기 영역은 사용자 요구에 따라 정의됨) 내에 위치하는 키 포인트이다. 예를 들어, 제1 얼굴 윤곽 키 포인트에서의 키 포인트의 세로 좌표의 최대값은 50 개의 픽셀, 최소값은 40 개의 픽셀, 제4 기설정 범위는 10 개의 픽셀이면, 콧방울 키 포인트의 세로 좌표가 30 개의 픽셀보다 크거나 같고 60 개의 픽셀보다 작거나 같은 범위 내의 콧방울 키 포인트이다.

선택적으로, 상기 콧방울 키 포인트는 도 4에 도시된 키 포인트 80 또는 키 포인트 82일 수 있으며, 바람직하게 본 실시예에서 키 포인트 80은 상기 콧방울 키 포인트로 선택된다. 선택적으로, 제1 얼굴 이미지가 정면 얼굴 이미지이면, 도 4에 도시된 키 포인트(5) 및 키 포인트(80)를 각각 우측 애플존(즉 오른쪽 얼굴 영역의 애플존에 위치함)을 조정하기 위한 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트로 선택하며, 조정 효과는 사용자 기대를 더욱 만족시킨다. 도 4에 도시된 키 포인트(27) 및 키 포인트(81)는 각각 왼쪽 얼굴 애플존의 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트로 선택된다.

상기 제1 중간점은, 상기 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트의 중간점(도 4에 도시된 키 포인트(80) 및 키 포인트(82) 사이의 중간점, 키 포인트(81) 및 키 포인트(83) 사이의 중간점)을 포함하지만 이에 한정되지 않는다.

일부 실시예에서, 제1 얼굴 이미지에 의해 나타낸 얼굴 이미지의 얼굴 특징이 상이하면, 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트의 중간점에 기반하여 위치 보정을 수행한 후, 상기 제1 중간점을 획득한다. 예를 들어, 제1 얼굴 이미지가 얼굴(A)을 나타내면, 안구 키 포인트에서 대응 위치까지의 제1 얼굴 윤곽 키 포인트 사이의 거리가 제1 거리라고 가정하고, 안구 키 포인트에서 대응 위치에 있는 콧방울 키 포인트의 중간점까지의 거리가 제2 거리라고 가정한다. 상기 대응 위치에 있는 제1 얼굴 윤곽 키 포인트는, 안구 키 포인트가 얼굴 영역의 왼쪽 얼굴 영역에 위치하고, 안구 키 포인트에 대응하는 제1 얼굴 윤곽 키 포인트는 왼쪽 얼굴 영역의 제1 얼굴 키 포인트에서 안구 키 포인트와 가장 가까운 거리에 위치한 제1 얼굴 윤곽 키 포인트를 의미하며; 안구 키 포인트가 얼굴 영역의 오른쪽 얼굴 영역에 위치하면, 안구 키 포인트에 대응하는 제1 얼굴 윤곽 키 포인트는 오른쪽 얼굴 영역의 제1 얼굴 윤곽 키 포인트에서 안구 키 포인트와 가장 가까운 거리에 위치한 제1 얼굴 윤곽 키 포인트를 의미한다. 상기 대응 위치의 콧방울 키 포인트의 중점은, 안구 키 포인트가 얼굴 영역의 왼쪽 얼굴 영역에 위치하면, 안구 키 포인트에 대응하는 콧방울 키 포인트의 중점은 왼쪽 얼굴 영역의 콧방울 키 포인트에 위치한 중점이며; 안구 키 포인트가 얼굴 영역의 오른쪽 얼굴 영역에 위치하면, 안구 키 포인트에 대응하는 콧방울 키 포인트의 중점은 오른쪽 얼굴 영역의 콧방울 키 포인트에 위치한 중점을 의미한다.

상기 비율에 따라 상기 보정 파라미터를 생성한다. 제1 거리 및 제2 거리의 비율이 1이면, 안구 키 포인트에 대응하는 제1 얼굴 윤곽 키 포인트 및 안구 키 포인트에 대응하는 콧방울 키 포인트의 중점을 상기 제1 중간점으로 한다.

제1 거리 및 제2 거리 사이의 비율이 1보다 크거나 작으면, 안구 키 포인트에 대응하는 제1 얼굴 윤곽 키 포인트 및 안구 키 포인트에 대응하는 콧방울 키 포인트 사이의 연결선 상에서 중점(아래에 확인될 제1 중간점이라고 지칭됨)에서 대칭 중심선으로 이동하거나 얼굴 윤곽선에 대한 오프셋 양을 먼저 결정할 수 있고, 상기 오프셋 양은 횡방향 오프셋 양 및 수직 오프셋 양을 포함한다. 확인될 제1 중간점의 좌표와 오프셋 양의 합에 의해 지점을 결정된 제1 중간점으로 한다.

하나의 가능한 구현 형태에 있어서, 제1 거리가 제2 거리와 동일하지 않으면, 오프셋 양을 통해 확인될 중간점을 얼굴 윤곽선으로 이동할 수 있고, 예를 들어, 안구 키 포인트 및 제1 얼굴 윤곽 키 포인트가 왼쪽 얼굴 영역에 위치하면, 횡방향 오프셋 양은 음의 값을 취하여, 확인될 제1 중간점을 얼굴 윤곽선으로 이동하게 하며; 안구 키 포인트 및 제1 얼굴 윤곽 키 포인트가 왼쪽 얼굴 영역에 위치하면, 횡방향 오프셋 양은 양의 값을 취하여, 확인될 제1 중간점을 대칭 중심선으로 이동하게 하며; 안구 키 포인트 및 제1 얼굴 윤곽 키 포인트가 오른쪽 얼굴 영역에 위치하면, 횡방향 오프셋 양은 양의 값을 취하여, 확인될 제1 중간점을 얼굴 윤곽선으로 이동하게 하며; 안구 키 포인트 및 제1 얼굴 윤곽 키 포인트가 오른쪽 얼굴 영역에 위치하면, 횡방향 오프셋 양은 음의 값을 취하여, 확인될 제1 중간점을 대칭 중심선으로 이동하게 한다.

목표 영역이 원형 영역이면, 사용자에 의해 설정된 목표 영역의 반경 및 제1 중간점에 근거하여 얼굴 영역에서 목표 영역을 결정할 수 있다. 하나의 목표 영역의 반경을 결정하는 구현 방식에 있어서, 목표 영역의 반경은 얼굴 영역의 면적에 따라 결정된다. 다른 하나의 목표 영역의 반경을 결정하는 구현 방식에 있어서, 목표 영역의 반경은 또한 제1 얼굴 이미지에 따른 딥 러닝 모델에 의한 추정에 의해 획득될 수 있다.

또한, 상기 단계 S120은,

상기 제1 중간점 및 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하는 단계를 더 포함한다.

하나의 가능한 구현 형태에 있어서, 선형 보간 알고리즘을 이용하여 제1 얼굴 이미지에서의 제1 중간점 및 눈꼬리 키 포인트의 좌표를 얻음으로써, 목표 영역의 원형 반경 또는 장축 및 단축을 산출한다. 목표 영역이 원형이면, 제1 중간점을 원형 영역의 원심으로 하여, 산출된 목표 영역의 원형 반경을 반경으로 취함으로써, 목표 영역을 구성할 수 있다. 목표 영역이 타원형이면, 제1 중간점은 타원형 영역의 중심이므로, 장축 또는 단축 중 하나를 결정한 다음, 기설정된 장축 및 단축 사이의 비율에 기반하여, 다른 하나의 축도 결정되며, 중심, 장축 및 단축이 모두 결정되면, 타원형의 목표 영역도 따라서 결정된다.

상기는 선형 보간 알고리즘의 예일 뿐이고, 구체적인 구현은 상기 어느 한 항에 한정되지 않는다.

측면 얼굴 이미지에 대해, 상기 단계 S120은,

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제2 중간점을 결정하는 단계를 포함할 수 있다.

애플존 조정이 수행될 경우, 얼굴 방향이 상이하므로, 상이한 키 포인트를 선택하여 목표 영역을 결정할 수 있다.

예를 들어, 측면 얼굴 이미지에서의 제2 얼굴 윤곽 키 포인트는 정면 얼굴 이미지의 제1 얼굴 윤곽 키 포인트와 상이하다. 제2 얼굴 윤곽 키 포인트는 세로 좌표가 제2 목표 범위 내에서의 얼굴 윤곽 키 포인트일 수 있고, 여기서, 제2 목표 범위는 애플존에 의해 커버되는 영역의 세로 좌표 범위와 제5 기설정 범위의 합이고, 제5 기설정 범위는 상기 제3 기설정 범위보다 작다. 선택적으로, 도 4에 도시된 키 포인트 4, 키 포인트 5, 키 포인트 27 및 키 포인트 28은 모두 제2 얼굴 윤곽 키 포인트이다.

본 실시예에서, 상기 콧방울 키 포인트는 정면 얼굴 이미지의 콧방울 키 포인트와 동일하고 도 4 도시된 키 포인트(80) 또는 키 포인트(81)를 선택하여 참조할 수 있다.

본 실시예에서, 상기 제2 중간점은 마찬가지로 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트의 중점(아래에 확인될 제2 중간점으로 지칭됨)일 수 있으며, 또는 정면 참조 얼굴 이미지에서 오프셋 양을 이용하여 상기 확인될 제1 중간점을 이동하여 제1 중간점을 획득하는 방식으로 측면 얼굴 이미지에서의 확인될 제2 중간점을 이동하여 제2 중간점을 획득한다.

제2 중간점은 목표 영역의 중심점일 수 있다.

또한, 상기 단계 S120은, 상기 제2 중간점과 눈꼬리 키 포인트에 기반하여, 상기 목표 영역의 범위를 결정하는 단계를 더 포함할 수 있다.

본 실시예에서, 상기 제2 중간점 및 눈꼬리 키 포인트는 선형 보간 알고리즘에 기반하여 상기 목표 영역의 반경 등 결정 범위의 파라미터를 획득할 수 있음으로써, 상기 제1 얼굴 이미지에서 상기 목표 영역의 범위를 결정한다.

일부 실시예에서, 상기 단계 S130은,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 파라미터를 결정하는 단계를 포함할 수 있다.

애플존의 최적화 조정을 구현하기 위해, 키 포인트 및 방향에 기반하여 구체적인 조정 파라미터를 결정할 수 있다.

상이한 방향에 따라, 애플존의 조정 전략이 상이할 수 있다. 예를 들어, 정면 얼굴 이미지의 조정 및 측면 얼굴 이미지의 조정에 있어서, 조정 방향 및 각도 중 적어도 하나는 상이하며, 대응하는 조정 전략도 상이하다. 다시 예를 들어, 상기 방향이 상이하면, 상기 애플존의 밝기 및 그라디언트 중 적어도 하나에 대한 조정은 상이하다.

예를 들어, 상기 단계 S130은 구체적으로, 상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계를 포함할 수 있다.

상기 방향이 상이하면, 애플존의 조정 방향은 상이하다.

이미지 미화가 수행될 경우, 일반적으로 애플존에 대해 풀업 또는 스웰 조정을 수행할 필요가 있으며, 얼굴 방향이 상이하므로, 풀업의 구체적인 방향 또는 스웰의 구체적인 방향은 상이하다.

일부 실시예에서, 상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계는,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제1 방향이라고 결정하는 단계; 및

상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제2 방향 및 제3 방향이라고 결정하는 단계 - 상기 제3 방향은 상기 제2 방향과 상이함 - 를 포함한다.

일부 실시예에서, 상기 제3 방향은 상기 제2 방향과 상이한 경우, 제3 방향은 상기 제2 방향에 수직되는 것을 포함하지만 이에 한정되지 않는다.

예를 들어, 측면 얼굴 이미지에 대해 목표 영역은 두 방향으로 이동하는데, 하나는 목표 영역을 눈 방향으로 풀업하고, 다른 하나는 목표 영역을 얼굴의 가장자리를 향해 이동시키는 것이며, 선택적으로, 제3 방향은 제2 방향에 수직된다.

그러나 애플존의 조정 효과를 최적화하기 위해, 본 실시예에서, 상기 제1 방향은 상기 제1 중간점이 상기 눈꼬리 키 포인트를 가리키는 방향일 수 있고; 상기 제2 방향은 상기 제2 중간점이 상기 눈꼬리 키 포인트를 가리키는 방향일 수 있으며; 상기 제3 방향은, 제2 얼굴 윤곽 키 포인트가 가리키는 콧방울 키 포인트의 반대 방향(즉, 상기 콧방울 키 포인트로부터 상기 제2 얼굴 윤곽 키 포인트를 가리키는 방향)이다.

얼굴 윤곽 키 포인트 및 눈꼬리 키 포인트는 모두 제1 얼굴 이미지로부터 검출되므로, 분포 자체가 얼굴의 특징을 반영하며, 이러한 방식으로, 얼굴 윤곽 키 포인트 및 눈꼬리 키 포인트에 기반하여, 조정된 제1 방향, 제2 방향 및 제3 방향을 결정하며, 실질적으로 상이한 얼굴에 대해 개별 조정을 수행하고, 애플존의 최적화 조정을 구현할 수 있다.

구체적으로, 상기 단계 S130은,

눈꼬리 키 포인트 및 눈머리 키 포인트에 기반하여, 상기 애플존의 최대 이동 거리를 결정하는 단계를 포함할 수 있다.

상기 눈꼬리 키 포인트 및 눈머리 키 포인트사이의 거리는 실질적으로 제1 얼굴 이미지에서 눈의 길이이며; 예를 들어, 눈꼬리 키 포인트 및 눈머리 키 포인트 사이는 M 개의 픽셀로 격리되면, 상기 최대 거리는 M*A 개의 픽셀일 수 있다. A는 1보다 작은 양수일 수 있다. 또한, 예를 들어, 상기 A의 값은 0.44 내지 0.74 사이의 양수일 수 있다.

일부 실시예에서, 상기 애플존의 실제 이동 거리는 사용자 조작에 기반하여 결정할 수 있으며, 예를 들어, 사용자는 휴먼-머신 인터랙션 인터페이스에 사용자 조작을 입력하고, 사용자 조작에 따라 실제 이동 거리를 결정한다. 사용자 조작에 기반하여 산출된 이동 거리가 상기 최대 이동 거리보다 크면, 상기 최대 이동 거리를 상기 애플존의 실제 이동 거리로 사용하여 애플존에 대해 조정을 수행한다.

일부 실시예에서, 상기 단계 S130은,

상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내면, 얼굴 편향각 및 상기 최대 이동 거리에 따라, 측면 얼굴 이미지의 애플존의 실제 이동 거리를 결정하는 단계를 포함할 수 있다.

본 실시예에서, 키 포인트에 기반하여 애플존의 최대 이동 거리를 결정할 수 있으며, 상기 최대 이동 거리는 목표 영역의 최대 이동 거리이다.

본 실시예에서, 눈의 키 포인트를 상기 키 포인트로 하여, 눈의 치수에 기반하여 애플존의 최대 이동 거리를 결정한다.

하나의 가능한 구현 형태에 있어서, 상기 실제 이동 거리와 측면 얼굴 이미지에서의 얼굴 편향각와 양의 상관 관계를 나타낸다. 예를 들어, 일부 실시예에서, 얼굴 편향각이 90도 또는 -90도일 때, 실제 이동 거리는 상기 최대 이동 거리일 수 있다. 얼굴 편향각이 90도 및 -90도가 아닌 경우, 실제 이동 거리=상기 최대 이동 거리*a이며, 여기서, a는 1보다 작은 양수이다.

물론 상기는 예일 뿐이고, 상기에 한정되지 않는 많은 특정 구현 방식이 존재한다.

일부 실시예에서, 상기 이미지 처리 방법은 아래 단계를 더 포함한다.

단계 S150에 있어서, 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득한다.

제2 얼굴 이미지는 제1 얼굴 이미지에 대해 애플존으로 하여금 얼굴에서 이동하게 한다. 본 실시예에서, 이동된 애플존에 대해 브라이트닝 처리를 수행하여, 애플존으로 하여금 더욱 충만하고 풍성하게 보이도록 한다.

일부 실시예에서, 상기 브라이트닝 처리에서, 애플존에서 상이한 위치에 대한 픽셀의 브라이트닝 수준은 상이하다. 예를 들어, 애플존의 최고점 위치에서 애플존의 주변으로의 브라이트닝 수준은 순차적으로 감소됨으로써, 애플존의 최고점의 위치는 가장 높은 밝기를 가지며, 다음, 밝기는 애플존 주변 피부 픽셀과 동일한 밝기로 점진적으로 천천히 감소하여, 한편으로 애플존으로 하여금 조정된 후 더욱 자연스럽게 보이도록 하는 동시에 애플존의 상이한 위치에서의 밝기 차이를 이용하여 애플존의 입체 효과를 나타낸다.

일부 실시예에서, 상기 이미지 처리 방법은,

상기 제2 얼굴 이미지로부터 얼굴의 피부색 파라미터를 획득하는 단계; 및

상기 얼굴 피부색 파라미터에 기반하여, 애플존 브라이트닝 처리를 위한 브라이트닝 파라미터를 결정하는 단계를 더 포함하며;

상기 단계 S150은, 상기 브라이트닝 파라미터에 기반하여 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 상기 제3 얼굴 이미지를 획득하는 단계를 포함할 수 있다.

한 가지 방식에 있어서, 상이한 얼굴 이미지에 대해 단일한 브라이트닝 파라미터를 사용하여 브라이트닝을 수행함으로써, 원래의 어두운 얼굴 이미지가, 브라이트닝 후 애플존이 매우 부자연스러운 현상이 발생하지만, 원래 피부색이 밝은 얼굴 이미지에 대해, 브라이트닝을 수행한 후의 애플존의 브라이트닝 효과는 불명확하다. 본 실시예에서, 얼굴 이미지의 피부색 파라미터를 획득하고, 상기 피부색 파라미터는,

얼굴 이미지에서 피부 픽셀의 생상 값 및 얼굴 이미지에서 눈 및 입술 사이의 피부 픽셀의 생상 값, 얼굴 이미지에서 피부 픽셀의 그레이 스케일 히스토그램 및 얼굴 이미지에서 눈 및 입술 사이의 피부 픽셀의 생상 값, 얼굴 이미지에서 피부 픽셀의 생상 값 및 얼굴 이미지에서 눈 및 입술 사이의 피부 픽셀의 그레이 스케일 히스토그램, 얼굴 이미지에서 피부 픽셀의 그레이 스케일 히스토그램 및 얼굴 이미지에서 눈 및 입술 사이의 피부 픽셀의 그레이 스케일 히스토그램 중 적어도 하나를 포함하지만 이에 한정되지 않는다.

상기 피부색 파라미터에 기반하여 애플존 및 애플존 주변의 피부의 밝기 평균치 또는 중간 휘도 등을 결정할 수 있어, 상기 평균치 또는 중간 밝기에 기반하여 애플존 영역의 픽셀의 브라이트닝 파라미터를 결정함으로써, 애플존 및 애플존 주변의 피부를 구분하는 동시에 애플존 및 애플존 주변의 피부 차이를 감소시킬 수 있다.

상기 브라이트닝 파라미터는 브라이트닝 폭 및 브라이트닝 비율 중 적어도 하나를 포함하지만 이에 한정되지 않는다.

브라이트닝 애플존의 구체적인 구현 방식은 복수 개가 있으며, 본 실시예에서, 마스크 이미지를 이용하여 브라이트닝을 수행한다.

일부 실시예에서, 상기 애플존을 브라이트닝하는 것은,

상기 브라이트닝 폭에 기반하여 애플존의 원래 픽셀 값에 하나의 대응하는 브라이트닝 폭을 추가하면, 브라이트닝 후의 픽셀 값을 획득할 있으며, 애플존 영역 내 모든 픽셀에 대해 브라이트닝 처리를 완료한 후, 브라이트닝 후의 애플존을 획득하고, 제3 얼굴 이미지를 획득하는 것을 포함할 수 있으며;

다른 일부 실시예에서, 상기 애플존을 브라이트닝하는 것은,

상기 브라이트닝 비율에 기반하여 애플존의 원래 픽셀 값에 상기 브라이트닝 비율을 곱하여 브라이트닝 후의 픽셀 값을 획득할 수 있으며, 애플존 영역 내 모든 픽셀에 대해 브라이트닝 처리를 완료한 후, 브라이트닝 후의 애플존을 획득하고, 제3 얼굴 이미지를 획득하는 것을 포함할 수 있다.

일부 실시예에서, 상기 단계 S150은, 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하는 단계; 및 상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하는 단계를 포함할 수 있다.

상기 단계 S150은,

제2 얼굴 이미지에서의 애플존의 위치를 결정하는 단계;

상기 위치에 기반하여 상기 제2 얼굴 이미지와 동일한 치수를 갖는 하나의 마스크 이미지를 형성하는 단계 - 상기 마스크 이미지는 제2 얼굴 이미지의 위치에서 반투명 브라이트닝 할로를 형성하며; 다른 위치는 투명 영역임 - ; 및

상기 마스크 이미지를 상기 제2 얼굴 이미지에 중첩하여 상기 제3 얼굴 이미지를 생성하는 단계를 포함할 수 있다.

이때, 상기 마스크 이미지에서의 브라이트닝 할로의 밝기 값은 바로 브라이트닝 후의 애플존의 밝기 값이므로, 상기 브라이트닝 파라미터는, 브라이트닝 후의 애플존의 밝기 값을 더 포함할 수 있다.

도 7은 본 실시예에서 제공한 마스크 이미지의 모식도이다. 도 5에서 화이트 할로 영역은 애플존을 브라이트닝하기 위해 조정된 애플존이 위치한 영역과 중첩되는 영역이다.

애플존에 대해 브라이트닝을 수행하는 다른 하나의 방식은, 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하는 단계가,

미리 설정된 애플존 브라이트닝의 밝은 점, 및 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 상기 밝은 점을 포함한 상기 마스크 이미지를 생성하는 단계를 포함하는 것;

및,

상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하는 단계가,

상기 마스크 이미지의 픽셀 값이 소정의 임계값보다 큰 픽셀을, 상기 제2 얼굴 이미지에 대응하는 위치 픽셀의 제1 픽셀 값에 혼합하여, 혼합된 제2 픽셀 값를 획득하는 단계; 및

상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계를 포함하는 것 중 적어도 하나이다.

일부 실시예에서, 애플존의 밝은 점은 미리 결정될 수 있고, 상기 밝은 점의 모양 및 밝기는 모두 미리 결정될 수 있다. 이러한 방식으로, 마스크 이미지의 생성 속도를 가속화할 수 있다.

마스크 이미지에서의 애플존의 밝은 점의 위치는, 제2 얼굴 이미지에서 애플존의 위치에 대응한다. 예를 들어, 제1 얼굴 이미지에서 키 포인트의 검출을 수행하고, 제1 얼굴 이미지 및 제2 얼굴 이미지는 애플존에서만 일부가 변환되지만, 변환은 여전히 얼굴 범위 내에 있고, 큰 움직임이 아니므로, 제2 얼굴 이미지에서 애플존이 위치한 영역은 단계 S110에서 검출된 키 포인트에 따라 결정될 수 있으며; 예를 들어, 단계 S120에서 결정된 목표 영역에 따라; 또는, 목표 영역 및 실제 이동 거리에 기반하여, 제2 얼굴 이미지에서의 애플존이 위치한 영역을 획득하고, 상기 영역에 기반하여 대응하는 상기 밝은 점을 마스크 이미지에 추가한다.

본 실시예에서, 상기 마스크 이미지에서 밝은 점의 위치의 픽셀 값은 상기 소정의 임계값보다 크고, 밝은 점의 위치의 픽셀 값 이외의 픽셀 값은 모두 상기 소정의 임계값보다 작거나 같다. 이러한 방식으로 픽셀 혼합을 수행할 경우, 대량의 연산에 적합한 그래픽 프로세싱 유닛(GPU)과 같은 연산 모듈을 사용할 수 있어, 마스크 이미지에서의 픽셀을 순회할 경우, 픽셀 값을 소정의 임계값과 비교함으로써, 상기 픽셀이 제2 얼굴 이미지에서의 픽셀과 혼합되어야 하는지 여부를 결정한다. 예를 들어, 제2 얼굴 이미지가 RGB 이미지이면, 제2 얼굴 이미지는 3 가지 색상 채널을 포함하며, 이 3 가지 색상 채널의 각 픽셀에는 모두 대응하는 픽셀 값이 있고, 마스크 이미지에서 M 번째 픽셀의 픽셀 값이 상기 소정의 임계값보다 크면, 마스크 이미지에서 M 번째 픽셀의 픽셀 값 및 상기 제2 얼굴 이미지에서 M 번째 픽셀의 3 개 색상 채널의 생상 값에 대해 혼합을 수행한 후, 이 3 가지 색상 채널의 혼합된 값을 결합하여 상기 제2 픽셀 값을 획득한다. 여기서 혼합은, 선형 혼합 또는 비선형 혼합일 수 있다. 본 실시예에서, 상기 마스크 이미지 및 제2 얼굴 이미지의 혼합은 바람직하게 비선형 혼합이고, 이러한 방식으로 획득한 애플존의 브라이트닝 효과는 더 우수하다.

상기 비선형 혼합의 구체적인 함수 관계는 다음과 같을 수 있다.

Sqrt(original color)*(a*mask color-1.0)+b*original color*(c-mask color), 여기서, original color는 제2 얼굴 이미지에서의 제1 픽셀 값이고; mask color는 마스크 이미지에서의 픽셀 값이며; a, b, c는 모두 알려진 계산 파라미터이다. 구체적인 값은 요구에 따라 설정될 수 있다.

Sqrt는 제곱근풀이를 의미하고, Sqrt(original color)는 제1 픽셀 값에 대한 제곱근풀이를 의미한다.

본 실시예에서, 상기 a의 값 및 b의 값은 동일할 수 있고, 예를 들어, original color 및 mask color가 모두 0과 1 사이의 값으로 정규화된 후, 상기 a 및 b의 값은 모두 2.0일 수 있으며; 상기 c의 값은 1.0일 수 있다.

요컨대, 상기 a, b 및 c의 값은 동일하거나, 상이할 수 있다.

일부 실시예에서, 픽셀 값을 혼합하기 전에 픽셀 값 또는 생상 값에 대해 정규화 처리를 수행하여, 획득된 픽셀 값 또는 생상 값은 모두 0과 1 사이에 위치한 데이터이다. 이 경우, 한편으로, 상이한 비트 수의 색상 채널에 의해 형성된 이미지라도, 0과 1 사이에 위치한 동일한 픽셀 값 또는 생상 값을 얻을 수도 있다. 다른 한편으로, 정규화 처리를 통해, 후속 픽셀 혼합 계산에 수반되는 값이 크게 감소되어, 계산을 단순화한다.

일부 실시예에서, 상기 소정의 임계값은 0.4, 0.45, 0.5, 0.55 및 0.6 등 값일 수 있다. 상기 소정의 임계값의 범위는 0.4 내지 0.6일 수 있다.

또한, 상기 이미지 처리 방법은, 제어 파라미터를 획득하는 단계를 더 포함하며;

상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계는,

상기 제어 파라미터, 상기 제2 픽셀 값 및 상기 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 제3 픽셀 값을 획득하는 단계; 및

상기 제3 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계를 포함한다.

본 실시예에서 상기 제어 파라미터는 이미지 기기에 의해 휴먼-머신 인터랙션 인터페이스 또는 다른 기기로부터 수신된 외부 제어 파라미터일 수 있고, 제어 애플존의 브라이트닝 수준을 제어하는데 사용할 수 있으며, 애플존 브라이트닝의 수준 제어 파라미터이다.

제2 필셀 값을 획득한 후, 제어 파라미터와 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 상기 제3 픽셀 값을 획득한다. 예를 들어, 상기 제어 파라미터가 비율 파라미터이면, A(RGB1)+RGB2=RGB3을 기반으로 할 수 있다. 예를 들어, A는 상기 제어 파라미터일 수 있고; 상기 RGB1는 제2 얼굴 이미지의 원래 제1 픽셀 값일 수 있으며; RGB2는 혼합된 상기 제2 픽셀 값일 수 있고; RGB3는 다시 혼합한 후 상기 제3 얼굴 이미지를 형성하는 제3 픽셀 값일 수 있다.

본 실시예에서 상기 제3 얼굴 이미지는 제2 픽셀 값을 직접 이용하여 생성되지 않고, 원래 제2 얼굴 이미지 및 혼합된 제2 픽셀 값을 이용하여 다시 선형 혼합하여, 상기 제3 얼굴 이미지를 획득하며, 이러한 방식으로, 애플존의 브라이트닝은 하여금 더욱 자연스러울 수 있고, 이미지 처리 효과도 더욱 우수하다.

이해해야 할 것은, 본 발명의 실시예는 얼굴 이미지에서의 애플존의 목표 영역 조정에 대해 상세히 설명하고, 실제 응용에서 본 발명의 실시예에서 제공된 기술 방안에 근거하여 이미지에서의 이마 영역, 턱 영역, 광대뼈 영역 등에 대해 조정할 수 있다.

도 8에 도시된 바와 같이, 본 실시예에 의해 제공된 이미지 처리 장치(1)는,

제1 얼굴 이미지의 키 포인트를 검출하기 위한 검출 유닛(11);

상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하기 위한 제1 결정 유닛(12);

상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하기 위한 제2 결정 유닛(13); 및

상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성하기 위한 조정 유닛(14)을 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 장치(1)는,

상기 제1 얼굴 이미지에서 얼굴의 방향을 결정하기 위한 제3 결정 유닛(15)을 더 포함하며;

상기 제1 결정 유닛(12)은,

상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하기 위한 것이다

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트는, 눈꼬리 키 포인트, 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;

상기 제2 결정 유닛(13)은,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제1 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제1 중간점을 결정하고;

상기 제1 중간점 및 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 키 포인트는 눈꼬리 키 포인트, 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;

상기 제1 결정 유닛(12)은,

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제2 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제2 중간점을 결정하고;

상기 제2 중간점과 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 결정 유닛(13)은,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제3 결정 유닛(15)은,

상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제1 방향이라고 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제3 결정 유닛(15)은 또한,

상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제2 방향 및 제3 방향이라고 결정하기 위한 것이고, 여기서, 상기 제3 방향은 상기 제2 방향과 상이하다.

본 발명의 임의의 실시형태와 결합하면, 상기 제1 방향은, 상기 목표 영역의 제1 중간점이 눈꼬리 키 포인트를 가리키는 방향이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 방향은, 상기 목표 영역의 제2 중간점이 눈꼬리 키 포인트를 가리키는 방향이다.

상기 제3 방향은, 콧방울 키 포인트가 목표 영역을 결정하는 제2 얼굴 윤곽 키 포인트를 가리키는 방향이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 결정 유닛(13)은,

상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 제2 결정 유닛(13)은,

눈꼬리 키 포인트 및 눈머리 키 포인트에 기반하여, 상기 애플존의 최대 이동 거리를 결정하고;

상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 얼굴 편향각 및 상기 최대 이동 거리에 따라, 상기 제1 얼굴 이미지의 애플존의 실제 이동 거리를 결정하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 장치(1)는,

상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하기 위한 브라이트닝 처리 유닛(16)을 더 포함한다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛(16)은,

상기 제2 얼굴 이미지로부터 얼굴의 피부색 파라미터를 획득하고;

상기 얼굴 피부색 파라미터에 기반하여, 애플존 브라이트닝 처리를 위한 브라이트닝 파라미터를 결정하며;

상기 브라이트닝 파라미터에 기반하여 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 상기 제3 얼굴 이미지를 획득하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛(16)은,

상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하고;

상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛(16)은,

기설정된 애플존 브라이트닝의 밝은 점, 및 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 상기 밝은 점을 포함한 상기 마스크 이미지를 생성하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 브라이트닝 처리 유닛(16)은,

상기 마스크 이미지의 픽셀 값이 소정의 임계값보다 큰 픽셀을, 상기 제2 얼굴 이미지에 대응하는 위치 픽셀의 제1 픽셀 값과 혼합하여, 혼합된 제2 픽셀 값를 획득하고;

상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하기 위한 것이다.

본 발명의 임의의 실시형태와 결합하면, 상기 이미지 처리 장치(1)는,

제어 파라미터를 획득하기 위한 획득 유닛(17)을 더 포함하며;

상기 브라이트닝 처리 유닛(16)은,

상기 제어 파라미터, 상기 제2 픽셀 값 및 상기 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 제3 픽셀 값을 획득하고;

상기 제3 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하기 위한 것이다.

다음 상기 실시예에 기반하여 두 개의 구체적인 예를 제공한다.

예 1에 있어서,

애플존 조정 방법은 다음의 단계를 포함할 수 있다.

1) 제1 얼굴 이미지에서의 애플존 범위 영역을 위로 당긴다.

2) 제1 얼굴 이미지가 측면 얼굴 이미지일 때 풀업 외에도, 또한 제1 얼굴 이미지의 얼굴 편향각에 따라 이 영역을 바깥쪽으로 확장한다.

3) 마스크(mask) 텍스처를 사용하여 애플존이 위치한 영역을 브라이트닝한다.

도 9에 도시된 바와 같이, 제1 얼굴 이미지의 애플존이 위치한 영역에 대해 애플존 풀업 또는 횡방향 확장 조작을 수행하여, 제2 얼굴 이미지를 획득한다. 도 9에서 제1 얼굴 이미지에 대한 제2 얼굴 이미지의 점선 원형 영역은 상기 애플존이 위치한 목표 영역일 수 있고; 제2 마스크 이미지 및 제2 얼굴 이미지를 합병한 후 애플존이 브라이트닝된 제3 얼굴 이미지를 획득한다.

예 2에 있어서,

제1 얼굴 이미지에서의 왼쪽 얼굴 영역을 예로 들어, 애플존에 의해 조정된 예를 제공하며,다음을 포함한다.

1. 제1 얼굴 이미지가 정면 얼굴 이미지인 경우, 제1 얼굴 이미지에서 애플존 범위의 영역(상기 목표 영역에 대응함)을 끌어 당긴다.

1) 키 포인트 5와 키 포인트 80의 중점을 풀링 영역(원형 영역)의 중간점으로 계산하며, 풀링 영역의 최대 이동 거리는 키 포인트 52 및 키 포인트 55 사이의 거리의 k 배로 설정되고, k는 양의 정수이며, 실제 요구에 기반하여 구성을 수행할 수 있으며;

2) 풀업 방향은 풀링 영역의 중간점에서 키 포인트 52(목표점)로 향하는 방향이며, 풀링 영역의 범위(반경)는 중간점에서 목표점까지의 선형 보간에 의해 획득되며;

2. 제1 얼굴 이미지가 측면 얼굴 이미지인 경우, 애플존이 위치한 영역을 풀업하는 외에도, 또한 제1 얼굴 이미지의 얼굴 편향각에 따라 이 영역을 바깥쪽으로 확장한다.

1) 제1 얼굴 이미지의 얼굴 편향각에 근거하여 하나의 확장 영역을 결정할 수 있고, 키 포인트 4를 확장 영역의 중간점으로 하고, 확장 영역의 최대 이동 거리는 당기는 거리와 동일하며, 동시에 얼굴 편향각과 양의 상관 관계가 있다.

2) 키 포인트 4를 확장 영역의 중간점으로 하고, 확장 방향은 키 포인트 4에서 키 포인트 80으로 향하는 방향과 반대이며, 확장 영역의 범위(반경)는 중간점에서 목표점까지의 선형 보간에 의해 획득된다.

3. 마스크 텍스처를 사용하여 애플존의 영역을 브라이트닝한다.

1) 마지막으로 브라이트닝 처리를 수행하고, 즉 한장의 마스크 텍스처를 사용하고, 상기 무늬는 표준 얼굴 애플존 영역을 강조한 다음, 제1 얼굴 이미지와 색상을 혼합하여, 얼굴의 애플존 영역을 브라이트닝하고, 더 입체적으로 보이게 한다.

도 10에 도시된 바와 같이, 본 실시예에 의해 제공된 이미지 기기는,

메모리; 및

프로세서를 포함하며, 상기 프로세서는 상기 메모리에 연결되어, 상기 메모리에 위치한 컴퓨터 실행 가능한 명령어를 실행하는 것을 통해, 전술한 임의의 기술방안에서 제공된 이미지 처리 방법을 구현하며, 예를 들어, 도 1 및 도 3 중 적어도 하나에 도시된 이미지 처리 방법을 구현하기 위한 것이다.

상기 메모리는 램, 롬, 플래시 메모리 등과 같은 다양한 타입의 메모리일 수 있다. 상기 메모리는 정보, 예를 들어, 컴퓨터 실행 가능한 명령어 등을 저장하기 위한 것이다. 상기 컴퓨터 실행 가능한 명령어는 다양한 프로그램 명령어, 예를 들어, 타겟 프로그램 명령어 및 소스 프로그램 명령어 중 적어도 하나일 수 있다.

상기 프로세서는 중앙 프로세서, 마이크로 프로세서, 디지털 신호 프로세서, 프로그램 가능 어레이, 디지털 신호 프로세서, 애플리케이션 특정 집적 회로 또는 이미지 프로세서와 같은 다양한 유형의 프로세서일 수 있다.

상기 프로세서는 버스를 통해 상기 메모리에 연결된다. 상기 버스는 집적 회로 버스 등일 수 있다.

일부 실시예에 있어서, 상기 이미지 기기는, 통신 인터페이스를 더 포함할 수 있고, 상기 통신 인터페이스는, 네트워크 인터페이스, 예를 들어, 랜 인터페이스, 송수신 안테나 등을 포함할 수 있다. 마찬가지로 상기 통신 인터페이스는 상기 프로세서에 연결되어, 정보의 송수신에 사용될 수 있다.

일부 실시예에 있어서, 상기 이미지 기기는 휴먼-머신 인터랙션 인터페이스를 더 포함하고, 예를 들어, 상기 휴먼-머신 인터랙션 인터페이스는 다양한 입력 출력 기기, 예를 들어, 키보드 및 터치 스크린 등을 포함할 수 있다.

본 발명의 실시예는 컴퓨터 실행 가능한 코드가 저장되어 있는 컴퓨터 저장 매체를 제공하고; 상기 컴퓨터 실행 가능한 명령어가 실행된 후, 이미지 기기, 데이터베이스, 및 제1 사설 네트워크에서 하나 또는 복수 개의 기술 방안에 의해 제공되는 도 1 및 도 2 중 적어도 하나에 도시된 이미지 처리 방안과 같은 이미지 처리 방법에 적용될 수 있다

상기 컴퓨터 저장 매체는 CD, 플로피 디스크, 하드 디스크, 자기 테이프, 광 디스크, U 디스크, 또는 모바일 하드 디스크 다양한 저장 매체와 같은 기록 기능을 갖는 다양한 매체를 포함할 수 있다. 선택적으로 상기 컴퓨터 저장 매체는 비 일시적 저장 매체일 수 있고, 상기 컴퓨터 저장 매체는 프로세서에 의해 판독될 수 있으므로, 컴퓨터 저장 매체에 저장된 컴퓨터 실행 가능한 명령이 제1 프로세서에 의해 획득 및 실행되어, 전술한 임의의 기술 방안에서 제공된 이미지 처리 방법을 구현하며, 예를 들어, 이미지 기기에 적용되는 이미지 처리 방법 또는 애플리케이션 서버에 적용되는 이미지 처리 방법이 실행된다.

본 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램 제품은 컴퓨터 실행 가능한 명령어를 포함하며; 상기 컴퓨터 실행 가능한 명령어가 실행된 후, 전술한 하나 또는 복수 개의 기술 방안에서 제공된 이미지 처리 방법을 구현할 수 있으며, 예를 들어 도 3 및 도 5에 도시된 적어도 하나의 이미지 처리 방법을 포함한다.

상기 컴퓨터 저장 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 발명의 실시예에 제공된 방볍 단계에 대응하는 명령어를 포함할 수 있다.

본 발명에서 제공된 여러 실시예에서, 개시된 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명한 장치 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 응용시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 통합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 나타내거나 논의된 각 구성 부분의 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기, 기계 또는 다른 형태일 수 있다.

상기 분리된 부품으로서 설명된 유닛은 물리적으로 분리되거나 분리되지 않을수 있고, 유닛으로서 디스플레이된 구성 요소는 물리적 유닛일 수 있거나 아닐수도 있으며, 또는 한 장소에 있거나, 복수 개의 너트웨크 유닛에 분포될 수 있으며; 실제 필요에 따라 그 중의 부분 또는 전부 유닛을 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예 중의 각 기능 모듈은 모두 하나의 처리 유닛에 통합될 수 있으며, 각 유닛은 각각 단독적으로 하나의 유닛으로 사용될 수 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

당업자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료될 수 있으며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 수행될 때, 수행은 상기 방법 실시예의 동작을 포함하며; 전술한 저장 매체는 모바일 저장 기기, 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

이상의 설명은 다만 본 발명의 구체적인 실시형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 발명의 보호 범위는 특허청구범위의 보호 범위를 기준으로 해야 한다.

Claims (36)

1. 이미지 처리 방법으로서,
   제1 얼굴 이미지의 키 포인트를 검출하는 단계;
   상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하는 단계;
   상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계; 및
   상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
2. 제1항에 있어서,
   상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하기 전에, 상기 이미지 처리 방법은,
   상기 제1 얼굴 이미지에서 얼굴의 방향을 결정하는 단계를 더 포함하며;
   상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하는 단계는,
   상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
3. 제2항에 있어서,
   상기 키 포인트는, 눈꼬리 키 포인트, 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;
   상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계는,
   상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제1 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제1 중간점을 결정하는 단계; 및
   상기 제1 중간점 및 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
4. 제2항에 있어서,
   상기 키 포인트는 눈꼬리 키 포인트, 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;
   상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하는 단계는,
   상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제2 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제2 중간점을 결정하는 단계; 및
   상기 제2 중간점과 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
5. 제2항 내지 제4항 중 어느 한 항에 있어서,
   상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계는,
   상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
6. 제5항에 있어서,
   상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계는,
   상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제1 방향이라고 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
7. 제5항에 있어서,
   상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하는 단계는,
   상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제2 방향 및 제3 방향이라고 결정하는 단계 - 상기 제3 방향은 상기 제2 방향과 상이함 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
8. 제6항에 있어서,
   상기 제1 방향은, 상기 목표 영역의 제1 중간점이 눈꼬리 키 포인트를 가리키는 방향인 것을 특징으로 하는 이미지 처리 방법.
9. 제7항에 있어서,
   상기 제2 방향은, 상기 목표 영역의 제2 중간점이 눈꼬리 키 포인트를 가리키는 방향이며; 상기 제3 방향은, 콧방울 키 포인트가 목표 영역을 결정하는 제2 얼굴 윤곽 키 포인트를 가리키는 방향인 것을 특징으로 하는 이미지 처리 방법.
10. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하는 단계는,
    상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
11. 제10항에 있어서,
    상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하는 단계는,
    눈꼬리 키 포인트 및 눈머리 키 포인트에 기반하여, 상기 애플존의 최대 이동 거리를 결정하는 단계; 및
    상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 얼굴 편향각 및 상기 최대 이동 거리에 따라, 상기 제1 얼굴 이미지의 애플존의 실제 이동 거리를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 이미지 처리 방법은,
    상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
13. 제12항에 있어서,
    상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하는 단계는,
    상기 제2 얼굴 이미지로부터 얼굴의 피부색 파라미터를 획득하는 단계;
    상기 얼굴 피부색 파라미터에 기반하여, 애플존 브라이트닝 처리를 위한 브라이트닝 파라미터를 결정하는 단계; 및
    상기 브라이트닝 파라미터에 기반하여 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 상기 제3 얼굴 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
14. 제13항에 있어서,
    상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하는 단계는,
    상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하는 단계; 및
    상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
15. 제14항에 있어서,
    상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하는 단계는,
    기설정된 애플존 브라이트닝의 밝은 점, 및 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 상기 밝은 점을 포함한 상기 마스크 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
16. 제14항 또는 제15항에 있어서,
    상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하는 단계는,
    상기 마스크 이미지의 픽셀 값이 소정의 임계값보다 큰 픽셀을, 상기 제2 얼굴 이미지에 대응하는 위치 픽셀의 제1 픽셀 값과 혼합하여, 혼합된 제2 픽셀 값를 획득하는 단계; 및
    상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
17. 제16항에 있어서,
    상기 이미지 처리 방법은,
    제어 파라미터를 획득하는 단계를 더 포함하며;
    상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계는,
    상기 제어 파라미터, 상기 제2 픽셀 값 및 상기 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 제3 픽셀 값을 획득하는 단계; 및
    상기 제3 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
18. 이미지 처리 장치로서,
    제1 얼굴 이미지의 키 포인트를 검출하기 위한 검출 유닛;
    상기 키 포인트에 기반하여, 애플존에 의해 조정된 목표 영역을 결정하기 위한 제1 결정 유닛;
    상기 키 포인트에 기반하여, 애플존의 조정 파라미터를 결정하기 위한 제2 결정 유닛; 및
    상기 조정 파라미터에 기반하여, 상기 목표 영역을 조정하여 제2 얼굴 이미지를 형성하기 위한 조정 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
19. 제18항에 있어서,
    상기 이미지 처리 장치는,
    상기 제1 얼굴 이미지에서 얼굴의 방향을 결정하기 위한 제3 결정 유닛을 더 포함하며;
    상기 제1 결정 유닛은,
    상기 키 포인트 및 상기 방향에 기반하여, 애플존에 의해 조정된 상기 목표 영역을 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
20. 제19항에 있어서,
    상기 키 포인트는, 눈꼬리 키 포인트, 제1 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;
    상기 제2 결정 유닛은,
    상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제1 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제1 중간점을 결정하고;
    상기 제1 중간점 및 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
21. 제19항에 있어서,
    상기 키 포인트는 눈꼬리 키 포인트, 제2 얼굴 윤곽 키 포인트 및 콧방울 키 포인트를 포함하며;
    상기 제1 결정 유닛은,
    상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타내는 것으로 결정될 경우, 상기 제2 얼굴 윤곽 키 포인트 및 상기 콧방울 키 포인트에 기반하여, 상기 목표 영역의 제2 중간점을 결정하고;
    상기 제2 중간점과 상기 눈꼬리 키 포인트에 기반하여, 상기 목표 영역을 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 제2 결정 유닛은,
    상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 방향을 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
23. 제22항에 있어서,
    상기 제3 결정 유닛은,
    상기 방향이 제1 얼굴 이미지가 정면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제1 방향이라고 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
24. 제22항에 있어서,
    상기 제3 결정 유닛은 또한,
    상기 방향이 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 상기 키 포인트에 기반하여 애플존의 조정 방향이 제2 방향 및 제3 방향이라고 결정하기 위한 것이고, 상기 제3 방향은 상기 제2 방향과 상이한 것을 특징으로 이미지 처리 장치.
25. 제23항에 있어서,
    상기 제1 방향은, 상기 목표 영역의 제1 중간점이 눈꼬리 키 포인트를 가리키는 방향인 것을 특징으로 하는 이미지 처리 장치.
26. 제24항에 있어서,
    상기 제2 방향은, 상기 목표 영역의 제2 중간점이 눈꼬리 키 포인트를 가리키는 방향이며; 상기 제3 방향은, 콧방울 키 포인트가 목표 영역을 결정하는 제2 얼굴 윤곽 키 포인트를 가리키는 방향인 것을 특징으로 하는 이미지 처리 장치.
27. 제19항 내지 제22항 중 어느 한 항에 있어서,
    상기 제2 결정 유닛은,
    상기 키 포인트 및 상기 방향에 기반하여, 상기 애플존의 조정 폭을 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
28. 제27항에 있어서,
    상기 제2 결정 유닛은,
    눈꼬리 키 포인트 및 눈머리 키 포인트에 기반하여, 상기 애플존의 최대 이동 거리를 결정하는 단계; 및
    상기 방향이 상기 제1 얼굴 이미지가 측면 얼굴 이미지임을 나타낼 경우, 얼굴 편향각 및 상기 최대 이동 거리에 따라, 상기 제1 얼굴 이미지의 애플존의 실제 이동 거리를 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
29. 제18항 내지 제28항에 있어서,
    상기 이미지 처리 장치는,
    상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 제3 얼굴 이미지를 획득하기 위한 브라이트닝 처리 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
30. 제29항에 있어서,
    상기 브라이트닝 처리 유닛은,
    상기 제2 얼굴 이미지로부터 얼굴의 피부색 파라미터를 획득하고;
    상기 얼굴 피부색 파라미터에 기반하여, 애플존 브라이트닝 처리를 위한 브라이트닝 파라미터를 결정하며;
    상기 브라이트닝 파라미터에 기반하여 상기 제2 얼굴 이미지에서의 애플존에 대해 브라이트닝 처리를 수행하여, 상기 제3 얼굴 이미지를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
31. 제30항에 있어서,
    상기 브라이트닝 처리 유닛은,
    상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 마스크 이미지를 생성하고;
    상기 마스크 이미지에 기반하여, 상기 제2 얼굴 이미지에 대해 상기 애플존의 브라이트닝 처리를 수행하여 상기 제3 얼굴 이미지를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
32. 제31항에 있어서,
    상기 브라이트닝 처리 유닛은,
    기설정된 애플존 브라이트닝의 밝은 점, 및 상기 제2 얼굴 이미지에서의 애플존의 위치에 따라, 상기 밝은 점을 포함한 상기 마스크 이미지를 생성하기 위한 것임을 특징으로 하는 이미지 처리 장치.
33. 제31항 또는 제32항에 있어서,
    상기 브라이트닝 처리 유닛은,
    상기 마스크 이미지의 픽셀 값이 소정의 임계값보다 큰 픽셀을, 상기 제2 얼굴 이미지에 대응하는 위치 픽셀의 제1 픽셀 값과 혼합하여, 혼합된 제2 픽셀 값를 획득하고;
    상기 제2 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하기 위한 것임을 특징으로 하는 이미지 처리 장치.
34. 제33항에 있어서,
    상기 이미지 처리 장치는,
    제어 파라미터를 획득하는 획득 유닛을 더 포함하며;
    상기 브라이트닝 처리 유닛은,
    상기 제어 파라미터, 상기 제2 픽셀 값 및 상기 제1 픽셀 값에 기반하여 선형 혼합을 수행하여, 제3 픽셀 값을 획득하고;
    상기 제3 픽셀 값에 기반하여, 상기 제3 얼굴 이미지를 생성하기 위한 것임을 특징으로 하는 이미지 처리 장치.
35. 이미지 기기로서,
    메모리; 및
    상기 메모리에 연결되고, 상기 메모리에 저장된 컴퓨터 실행 가능한 명령어를 실행하여, 제1 항 내지 제17항 중 어느 한 항에 따른 방법을 구현하기 위한 프로세서를 포함하는 것을 특징으로 하는 이미지 기기.
36. 컴퓨터 실행 가능한 명령어가 저장된 컴퓨터 저장 매체로서,
    상기 컴퓨터 실행 가능한 명령어가 실행된 후, 제1항 내지 제17항 중 어느 한 항에 따른 방법이 구현 가능한 것을 특징으로 하는 컴퓨터 저장 매체.
    

Images