KR20190139264A

KR20190139264A - 이미지 처리 방법과 장치, 전자 기기 및 컴퓨터 저장 매체

Info

Publication number: KR20190139264A
Application number: KR1020197033422A
Authority: KR
Inventors: 주 바오; 준판 린; 차오 동; 주안 린; 하오란 왕; 리젠 다이; 푸롱 자오; 밍양 후앙; 추안준 리; 지넹 린; 송팡 한; 웬퀴 리우
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2017-09-30
Filing date: 2018-09-18
Publication date: 2019-12-17
Also published as: JP6851546B2; US20200128220A1; US10972709B2; KR102225266B1; CN108230331A; WO2019062608A1; SG11202000085RA; JP2020522081A

Abstract

본 발명의 실시예는 이미지 처리 방법과 장치, 전자 기기, 컴퓨터 저장 매체를 개시하였고, 상기 방법은, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계; 상기 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩 이미지를 획득하는 단계; 상기 스무딩 이미지 및 상기 처리될 이미지에 기반하여 고주파 이미지를 획득하는 단계; 상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하는 단계; 및 휘도 채널에서 얼굴 피부톤 마스크 및 기설정된 제1 중첩 강도에 기반하여 상기 고주파 이미지를 중첩하고, 상기 처리될 이미지의 휘도 채널 신호에 대해 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩하여, 제1 처리 이미지를 얻는 단계를 포함한다.

Description

이미지 처리 방법과 장치, 전자 기기 및 컴퓨터 저장 매체

관련 출원의 상호 참조

본 출원은 2017년 9월 30일에 중국 특허청에 제출한 출원 번호가 CN201710928746.2이고, 발명의 명칭이 "이미지 처리 방법과 장치, 전자 기기, 컴퓨터 저장 매체"인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 인용하여 본 출원에 결합하였다.

본 발명의 실시예는, 이미지 처리 기술, 특히 이미지 처리 방법과 장치, 전자 기기, 컴퓨터 저장 매체에 관한 것이지만 이에 한정되지는 않는다.

최근, 인공 지능 기술의 보급 및 발전에 따라, 컴퓨터를 이용해 이미지에 대해 미화 처리를 진행하는 것은 점점 더 많은 시나리오에 응용되고 있다. 예를 들어, 얼굴 미화, 시나리오 미화 등의 응용이며; 여기서, 얼굴 미화는 사용자에게 더 좋은 사용 체험을 제공하므로, 이미지 미화 응용에서 점차 중요한 응용이 되고 있다.

본 발명의 실시예는, 이미지 처리 방법과 장치, 전자 기기, 컴퓨터 저장 매체를 제공한다.

본 발명의 실시예에 따라 제공되는 이미지 처리 방법은,

처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계;

상기 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩(smoothing) 이미지를 획득하는 단계;

상기 스무딩 이미지 및 상기 처리될 이미지에 기반하여 고주파 이미지를 획득하는 단계;

상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하는 단계; 및

상기 처리될 이미지의 휘도 채널 신호에 대해 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩하여, 제1 처리 이미지를 얻는 단계를 포함한다.

본 발명의 실시예의 하나의 측면에 따라 제공되는 이미지 처리 장치는,

처리될 이미지에서의 얼굴 피부톤 영역을 획득하도록 구성되는 영역 획득 유닛;

상기 처리될 이미지에 대해 필터링을 진행하여, 스무딩 이미지를 획득하도록 구성되는 필터링 유닛;

상기 스무딩 이미지 및 상기 처리될 이미지에 기반하여 고주파 이미지를 획득하도록 구성되는 고주파 획득 유닛;

상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하도록 구성되는 피부톤 고주파 유닛; 및

상기 처리될 이미지의 휘도 채널 신호에 대해 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩하여, 제1 이미지를 얻도록 구성되는 신호 중첩 유닛을 포함한다.

본 발명의 실시예의 하나의 측면에 따라 제공되는 전자 기기는, 프로세서를 포함하며, 상기 프로세서는 상기 이미지 처리 장치를 포함한다.

본 발명의 실시예의 하나의 측면에 따라 제공되는 전자 기기는, 실행 가능한 명령어를 저장하기 위한 메모리; 및 상기 실행 가능 명령어를 실행하기 위해 상기 메모리와 통신함으로써 상기 이미지 처리 방법의 단계를 완성하기 위한 프로세서를 포함한다.

본 발명의 실시예의 하나의 측면에 따라 제공되는 컴퓨터 판독 가능 명령어를 저장하기 위한 컴퓨터 저장 매체는, 상기 명령어가 실행될 때 상기 이미지 처리 방법의 단계를 실행한다.

본 발명 상기 실시예에 따라 제공되는 이미지 처리 방법에 기반하여, 처리될 이미지에서의 얼굴 피부톤 영역을 획득함으로써, 이미지에서 다른 부분의 디스플레이 효과에 영향을 미치지 않으면서, 후속적으로 얼굴 영역만을 대상으로 처리할 수 있도록, 처리될 필요가 있는 얼굴 영역을 결정하며; 처리될 이미지에 대해 필터링을 진행하여, 스무딩 이미지를 획득하며; 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며; 고주파 이미지를 통해 얼굴 피부 디테일에 대한 최적화를 구현하며; 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시켜, 맞춤적으로 얼굴 피부 디테일 부분의 휘도를 강화시키고, 얼굴 이미지의 디스플레이 효과를 더욱 입체적이고 두드러지게 한다.

아래에, 첨부된 도면 및 실시예를 참조하여, 본 발명의 기술 방안을 상세히 설명한다.

본 명세서의 일부를 구성하는 도면은 본 발명의 실시예를 설명하고, 본 발명의 원리를 설명과 함께 해석하기 위한 것이다.
도면을 참조하면, 본 발명은 다음의 상세한 설명에 따라, 더욱 명확하게 이해될 수 있다.
도 1은 본 발명의 이미지 처리 방법에 따른 실시예의 흐름도이다.
도 2는 본 발명의 이미지 처리 방법에 따른 다른 실시예의 흐름도이다.
도 3는 본 발명의 이미지 처리 방법에 따른 또 다른 실시예의 흐름도이다.
도 4는 본 발명의 이미지 처리 방법에 따른 또 다른 실시예의 흐름도이다.
도 5는 본 발명의 이미지 처리 장치에 따른 실시예의 구조 모식도이다.
도 6은 본 발명의 이미지 처리 장치에 따른 다른 실시예의 구조 모식도이다.
도 7은 본 출원의 실시예의 단말 기기 또는 서버를 구현하기 위한 전자 기기의 구조 모식도이다.

아래에 첨부 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 업급되지 않는 한, 이러한 실시예에서 제시된 구성 요소, 단계의 상대적 배열, 수치 표현 및 값은 본 발명의 범위를 한정하지 않는다.

동시에, 도면에 도시된 각 부분의 크기는 설명의 편의를 위해 실제 비례 관계에 의해 제작한 것이 아니라는 것을 알아야 한다.

적어도 하나의 예시적인 실시예에 대한 다음의 설명은 실제로 예시적인 것에 불과하며, 본 출원 및 그 응용이나 사용에 대한 어떠한 한정으로도 간주되지 않는다.

관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 기기는 명세서의 일부로 간주되어야 한다.

유의해야 할 것은, 유사한 도면 부호 및 문자는 다음의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.

본 발명의 실시 예는 컴퓨터 시스템 및 서버에 응용될 수 있으며, 이는 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작될 수있다. 컴퓨터 시스템 및 서버와 함께 사용하기에 적합한 잘 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드 헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 메인 프레임 컴퓨터 시스템 및 상기 시스템 중 어느 하나를 포함하는 분산 클라우드 컴퓨팅 기술 환경을 포함하지만 이에 한정되지는 않는다.

컴퓨터 시스템 및 서버는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템 실행 가능 명령어 (예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명 될 수있다. 일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 어셈블리, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템 및 서버는 작업이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산 클라우드 컴퓨팅 환경에서 구현 될 수있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치 할 수있다.

본 발명을 구현하는 과정에서, 발명자는 종래 기술에 적어도 다음과 같은 문제점이 존재한다는 것을 발견한다. 종래 기술에서, 미화 처리된 얼굴 이미지에서, 피부톤은 전체적으로 황색 또는 적색을 띠고, 볼륨감과 촉촉함이 부족하다.

마스크 선택 프레임을 통해 선택 영역으로서 선택 프레임의 내부를 획득한다. "마스크"라는 단어 자체는 실제 응용 프로그램에서 비롯된 것으로서 "위를 덮고 있는 캔버스"의 의미를 갖는다.

도 1은 본 발명의 이미지 처리 방법에 따른 실시예의 흐름도이다. 도 1에 도시된 바와 같이, 상기 실시예의 방법은 아래의 단계를 포함한다.

단계 101에 있어서, 처리될 이미지에서의 얼굴 피부톤 영역을 획득한다.

얼굴 피부톤 영역을 획득하는 방식에는 여러 가지가 있는데, 이미지에서 어느 부위가 피부톤인지를 인식하기만 하면 되고, YCrCb 최적화된 컬러 비디오 신호 공간에서, 색도 및 채도에 기반하여 얼굴 피부톤 영역을 획득할 수 있으며, 또한 뉴럴 네트워크 등 기술을 통해 획득할 수 있다.

여기서, 처리될 이미지에서의 얼굴 피부톤 영역을 획득함으로써, 이미지에서 다른 부분의 디스플레이 효과에 영향을 미치지 않으면서, 후속적으로 얼굴 영역만을 대상으로 처리할 수 있도록, 처리될 필요가 있는 얼굴 영역을 결정한다.

단계 102에 있어서, 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩 이미지를 획득한다.

이미지 필터링은 가능한 한 이미지의 디테일 특징을 유지하는 조건 하에서 목표 이미지의 노이즈를 억제하고, 이미지 전처리에서 없어서는 안 될 동작이며, 그 처리 효과의 좋고 나쁨은 후속 이미지 처리와 분석의 유효성과 신뢰성에 직접적인 영향을 미치며, 본 실시예에서는 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며, 고주파 이미지는 더 많은 피부 디테일을 구현하여, 얼굴 피부의 디테일에 대한 최적화를 구현할 수 있다.

단계 103에 있어서, 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득한다.

단계 104에 있어서, 고주파 이미지 및 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득한다.

일반적으로 미화 처리된 얼굴 이미지의 피부톤은 전체적으로 황색 또는 적색(즉 얼굴 피부톤 마스크)을 띤다. 본 실시예에 있어서, "얼굴 피부톤 마스크 및 얼굴 피부톤 영역"을 연관시켜, 고주파 이미지를 통해 얼굴 피부 디테일에 대한 최적화를 구현한다.

단계 105에 있어서, 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시켜, 제1 이미지를 얻는다.

여기서, 제1 이미지는 이미지의 휘도 채널에서, 처리될 이미지와 얼굴 피부톤 고주파 이미지를 중첩시킴으로써 획득되며, 이와 같이, 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시켜 얻어진 제1 이미지는, 맞춤적으로 얼굴 피부 디테일 부분의 휘도를 강화하여, 얼굴 이미지의 디스플레이 효과를 더욱 입체적이고 두드러지게 한다.

본 발명의 상기 실시예에 따라 제공되는 이미지 처리 방법에 기반하여, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하고, 수신된 처리될 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하며, 최적화된 컬러 비디오 신호 공간에서 처리될 이미지에서의 얼굴 피부톤 마스크를 결정함으로써; 이미지에서 다른 부분의 디스플레이 효과에 영향을 미치지 않으면서, 후속적으로 얼굴 영역 만을 대상으로 처리할 수 있도록, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하며; 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩 이미지를 획득하며; 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며; 고주파 이미지를 통해 얼굴 피부 디테일에 대한 최적화는 고주파 이미지에서 더 많은 피부 디테일을 구현할 수 있고, 얼굴 피부의 최적화를 더욱 정확하게 하며; 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시키는 것은 휘도 채널에서 얼굴 피부톤 마스크 및 기설정된 제1 중첩 강도에 기반하여, 고주파 이미지 및 처리될 이미지를 중첩시키는 것을 통해, 맞춤적으로 얼굴 피부 디테일 부분의 휘도를 강화하여, 얼굴 이미지의 디스플레이 효과를 더욱 입체적이고 두드러지게 한다.

상기 각 실시예의 하나의 예에 있어서, 단계 101은, YCrCb 최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계 - YCrCb 최적화된 컬러 비디오 신호 공간은 휘도 채널, 색도 채널 및 채도 채널을 포함함 - 를 포함하며; 단계 102는, 처리될 이미지에 대해 휘도 채널에서 필터링을 진행하는 단계를 포함한다.

YCrCb 즉 YUV는, 주로 컬러 비디오 신호의 전송을 최적화하기 위한 것이며, 여기서, Y는 휘도(Luminance 또는 Luma), 즉, 그레이 스케일 값을 표시하고, Cr은 색조를 표시하며, Cb는 채도를 표시하며; 얼굴 검출에서는 흔히 YCrCb를 사용하여 컬러 비디오 신호 공간을 최적화하며, 일반적인 이미지는 모두 RGB 공간을 기반으로 하고, RGB 공간에서 얼굴 피부톤은 휘도 영향을 많이 받으므로, 피부톤 포인트는 비-피부톤 포인트로부터 분리해내기 어려우며, 즉, 이 공간이 처리된 후, 피부톤 포인트는 이산 포인트이고, 가운데는 많은 비-피부톤이 삽입되어 있고, 이는 피부톤 영역 경계 설정(얼굴 경계 설정, 눈 등)에 어려움을 가져온다. RGB를 YCrCb 공간으로 전환하면, 이 공간이 휘도 영향을 적게 받고, 피부톤이 잘 클러스터링되기 때문에, Y(휘도)의 영향을 무시할 수 있는데, 이러한 방식으로, 3 차원 공간을 2 차원 CrCb로 다운시키고, 피부톤 포인트는 특정 모양을 형성할 것이며, 예를 들어, 얼굴은 얼굴의 영역을 나타내고, 팔은 팔 모양을 나타내므로, 처리 모드 인식에 매우 유리하다. 따라서, 본 실시예에서, 처리될 이미지를 얼굴 YCrCb 공간으로 전환하여, 피부톤 영역으로서 얼굴 피부톤 마스크를 얻는다.

상기 각 실시예의 하나의 예에 있어서, 단계 101은, 처리될 이미지의 최적화된 컬러 비디오 신호 공간에서의 색도 값 및 채도 값에 기반하여, 처리될 이미지에서의 피부톤 영역을 결정하는 단계; 및 뉴럴 네트워크를 이용하여 처리될 이미지의 얼굴 키 포인트를 획득하고, 얼굴 키 포인트에 따라 처리될 이미지에서의 얼굴 피부톤 영역을 결정하는 단계를 더 포함할 수 있다.

본 실시예에 있어서, 경험에 따르면, YCrCb 공간에서, 어느 포인트의 Cr 색도 값 및 Cb 채도 값이 133≤Cr≤173, 77≤Cb≤127를 만족하면, 이 포인트는 피부톤 포인트로 간주되고, 다른 것은 비-피부톤 포인트이며; 이로써, YCrCb 공간에서 처리될 이미지에서의 피부톤 영역 마스크를 결정할 수 있으며; 얼굴 키 포인트는 훈련된 뉴럴 네트워크에 의해 계산되어 획득할 수 있고, 피부톤 영역 마스크에서, 얼굴 키 포인트를 중첩함으로써 얼굴 피부톤 영역을 결정할 수 있으며, 즉, 후속적으로 처리될 필요가 있는 얼굴 영역을 결정한다.

상기 각 실시예의 하나의 예에 있어서, 단계 102는, 필터에 기반하여 처리될 이미지가 휘도 채널에서의 모든 픽셀 값에 대해 박스 필터링을 진행하는 단계를 포함한다.

본 실시예에 있어서, 필터링을 통해 얼굴 피부 부분의 최적화될 필요가 있는 디테일을 얻고, 처리될 원본 이미지로부터 이러한 최적화될 필요가 있는 디테일을 감산함으로써, 즉, 최적화된 이미지 디테일만을 강조하는 고주파 이미지를 얻으며; 박스 필터링은 먼저 커널을 제공하고, 커널의 각 포인트의 값에 이에 대응되는 이미지 픽셀 값을 곱셈하는 것을 말하며, 필터링 후, 이미지의 가장자리 정보는 손실된다.

상기 각 실시예의 하나의 예에 있어서, 단계 103은, 처리될 이미지의 휘도 채널에서의 모든 픽셀 값으로부터 스무딩 이미지의 휘도 채널에서의 상응하는 위치의 픽셀 값을 감삼함으로써, 고주파 이미지를 얻는 단계를 포함한다.

본 실시예에 있어서, 필터링하여 획득한 스무딩 이미지로부터 노이즈를 제거하고, 휘도 채널에서 스무딩 이미지를 감산함으로써 고주파 이미지를 획득하여 얼굴 피부의 디테일 부분의 휘도를 조정한다.

상기 각 실시예의 하나의 예에 있어서, 단계 104는, 기설정된 제1 중첩 강도에 기반하여, 고주파 이미지 및 얼굴 피부톤 마스크에 대해 요소 곱셈을 진행하여, 얼굴 피부톤 고주파 이미지를 획득하는 단계를 포함한다.

본 실시예에 있어서, 배치된 제1 중첩 강도를 조정하여 얼굴 피부톤 고주파 이미지를 획득함으로써, 인간 피부의 휘도로 하여금 제어 가능한 범위 내에서 조정될 수 있도록 하며, 또한 사용자 요구에 따라 조정을 진행할 수 있다. 본 실시예에 있어서, 고주파 이미지를 원본 처리될 이미지에 직접 중첩시키면, 이미지에서 모든 디테일이 처리될 것이지만, 본 발명은 얼굴 피부톤 부분의 디테일에 대해서만 최적화를 진행할 필요가 있으므로, 중첩 전에, 고주파 이미지 및 얼굴 피부톤 마스크에 대해 점곱 연산을 진행하고, 사용자가 요구하는 최적화된 강도로 설정된 제1 중첩 강도에 따라 얼굴 부분의 디테일로 하여금 최적화되도록 하며; 본 실시예에 있어서 중첩 식은 다음 식 (1)로 표시된다.

Y1 = Y + highpass * mask2 * level1 식 (1);

여기서, Y는 처리될 이미지의 휘도 채널에서의 픽스맵이고, Y1은 제1 이미지의 휘도 채널에서의 픽스맵이며; 박스 필터링에 기반하여 얻은 흐릿해진 이미지는 smooth_Y로 기록되고, 고주파 이미지는 highpass = Y - smooth_Y이며, mask2는 얼굴 피부 마스크이며, level1은 기설정된 제1 중첩 강도이다.

상기 각 실시예의 하나의 예에 있어서, 처리될 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하는 단계를 더 포함한다.

본 실시예에 있어서, 전환 후의 처리될 이미지가 YCrCb 공간에 있는 한, 처리될 이미지의 원래 공간은 제한되지 않으며, 여기서 전환은 한 번의 전환 또는 여러 번의 전환을 통한 것일 수 있으며, 예를 들어, 처리될 이미지는 RGB 공간이든 NV21 포맷이든, 모두 YCrCb 공간으로 직접 전환될 수 있으며; RGB 공간으로부터 YCrCb 공간으로 전환되는 식은 다음과 같다(RGB에서 YcrCb로의 식은 단일하지 않음).

// Y = 0.2990R + 0.5870G + 0.1140B

// Cb = -0.1687R - 0.3313G + 0.5000B + 128

// Cr = 0.5000R - 0.4187G - 0.0813B + 128

상기 각 실시예의 하나의 예에 있어서, 단계 105 전에,

YCrCb 최적화된 컬러 비디오 신호 공간에서의 휘도 채널에 기반하여 처리될 이미지의 휘도 채널 신호를 획득하는 단계; 및

YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 획득하는 단계를 더 포함한다.

본 실시예에 있어서, 처리될 이미지 및 얼굴 피부톤 고주파 이미지가 YCrCb 공간에 있으면, 처리될 이미지 및 얼굴 피부톤 고주파 이미지 각각의 휘도 채널, 색도 채널 및 채도 채널에서의 신호를 획득할 수 있으며, 따라서, YCrCb 공간에서 처리될 이미지 및 얼굴 피부톤 고주파 이미지에 대응되는 휘도 신호를 직접 획득할 수 있다.

도 2는 본 발명의 이미지 처리 방법에 따른 다른 실시예의 흐름도이다. 도 2에 도시된 바와 같이, 상기 실시예의 방법은 아래의 단계를 포함한다.

단계 101에 있어서, YCrCb 최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득한다.

단계 102에 있어서, 처리될 이미지에 대해 휘도 채널에서 필터링을 진행하여, 필터링된 스무딩 이미지를 획득한다.

단계 206에 있어서, 제1 이미지를 삼원색(RGB) 공간으로 전환하고, RGB 공간에 기반하여 제1 이미지에서의 색상 성분을 조정한다.

RGB 색채 모드는 공업계의 표준 색상으로, 빨강(R), 초록(G), 파랑(B)의 3 가지 색상 채널의 변화 및 이들 상호간의 중첩을 통해 다양한 색상을 얻으며, RGB는 빨강, 초록, 파랑의 세 채널의 색상을 나타내며, RGB 공간에서 제1 이미지의 색상을 조정함으로써, 얼굴 피부톤 색상에 대한 조정을 구현한다.

단계 207에 있어서, 색상 성분을 조정한 후의 제1 이미지를 색조- 채도-명도(HSL) 공간으로 전환하고, HSL 공간에 기반하여 색상 성분을 조정한 후의 제1 이미지의 휘도 값을 변하지 않도록 유지하여, 제2 이미지를 얻는다.

여기서, HSL 색채 모드는 공업계의 색상 표준으로, 색조(Hue, H), 채도(Saturation, S), 명도(Lightness, L)의 3 가지 색상 채널의 변화 및 이들 상호간의 중첩을 통해 다양한 색상을 얻으며, HSL은 색조, 채도, 명도의 3 가지 채널의 색상을 나타내며, HSL 공간에서 제1 이미지의 휘도 값이 변하지 않도록 유지함으로써, 제2 이미지를 얻는다. 다시 말하면, 제2 이미지는 제1 이미지에 의해 얻은 것이며, 또한 "특정 조건"을 만족시키며, 이 "특정 조건"은, 제1 이미지에 대해 색상 성분 조정, HSL 공간 전환, 휘도 값을 변화시키지지 않고 유지되는 등 처리를 거쳐 얻어진 이미지이다.

다른 실시예에 있어서, 상기 방법은, 상기 제2 이미지를 YCrCb 공간으로 전환하고, YCrCb 공간에서 휘도 및 색도의 값에 기반하여 상기 제2 이미지에서의 얼굴 영역의 그림자 영역 마스크를 획득하는 단계; 및 상기 그림자 영역 마스크에서의 휘도 값 및 적색 성분 값을 증가시켜, 제4 이미지를 얻는 단계를 더 포함한다. 여기서, 제4 이미지는 제2 이미지로부터 얻고, 제2 이미지는 HSL 공간에 있으며, 제2 이미지를 HSL 공간에서 YCrCb 공간으로 전환한 다음, 휘도 및 색도의 값에 기반하여 제2 이미지로부터 얼굴 영역의 그림자 영역 마스크를 획득하며, 마지막으로, 상기 그림자 영역 마스크에서의 휘도 값 및 적색 성분 값을 증가시킴으로써, 최종적으로 제4 이미지를 얻는다.

본 실시예에서 제공되는 이미지 처리 방법은 RGB 공간에서 제1 이미지에서의 색상 및 색조를 조정함으로써, 종래 기술에서 미화 처리를 거친 후의 피부톤이 전체적으로 황색 또는 적색을 띠는 문제를 극복하여, 피부색으로 하여금 요구에 부합되게 하고, 휘도 조정을 결합하여 얼굴 피부가 투명성을 구비하도록 구현한다.

상기 각 실시예의 하나의 예에 있어서, 단계 206은, RGB 공간에 기반하여 제1 이미지에서의 시안(cyan) 성분 및 마젠타(Magenta) 성분을 증가시키고, 황색 성분을 감소시키는 단계를 포함한다. 본 실시예에 있어서, RGB 공간에서, 시안(cyan)에 대응되는 R, G, B 값은 각각 0, 255, 255이고, 마젠타(Magenta)에 대응되는 R, G, B 값은 각각 255, 0, 255이며, 황색에 대응되는 R, G, B 값은 각각 255, 255, 0이며, 이 3 가지 색상의 성분을 조정하거나, 빨강(R), 초록(G), 파랑(B)의 삼원색의 성분을 조정함으로써, 얼굴 피부톤을 더욱 볼그스름하고 건강하게 할 수 있으며, 더욱 좋은 시각 효과를 얻을 수 있다.

도 3은 본 발명의 이미지 처리 방법에 따른 또 다른 실시예의 흐름도이다. 도 3에 도시된 바와 같이, 상기 실시예의 방법은 다음의 단계를 포함한다.

단계 308에 있어서, 최적화된 컬러 비디오 신호 공간에서 휘도 및 색도의 값에 기반하여 제1 이미지에서의 얼굴 영역의 그림자 영역을 획득하고; 그림자 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제3 이미지를 얻는다.

여기서, 제3 이미지는 제1 이미지에 의해 얻고, 제2 이미지도 제1 이미지에 의해 얻으며, 제3 이미지와 제2 이미지를 비교하면, 제2 이미지는 제1 이미지를 HSL 공간에서 처리를 진행한 후에 얻은 것이며, 제3 이미지는 제1 이미지를 YCrCb 공간에서 처리를 진행한 후에 얻은 것이다.

본 실시예에 있어서, 휘도 및 색도를 통해 얼굴 영역에서의 그림자 영역을 결정할 수 있으며, 그림자 영역에서의 휘도 값 및 적색 성분 값을 조정함으로써, 피부의 볼륨감을 증가시킬 수 있으며, 윤기나고 볼그스름한 효과를 달성할 수 있다.

상기 각 실시예의 하나의 예에 있어서, 그림자 영역에서의 휘도 값을 증가시키는 단계는 다음의 단계를 포함한다.

단계 A1에 있어서, 그림자 영역 마스크 휘도 채널에서의 모든 픽셀 값 및 제1 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제1 휘도 중첩맵을 얻는다.

단계 A2에 있어서, 제1 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 휘도 점곱을 획득한다.

단계 A3에 있어서, 제1 휘도 점곱 및 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 얼굴 그림자 영역의 휘도에 대해서만 조정을 진행하기 위해, 휘도 값을 조정할 때, 먼저 휘도의 중첩 값과 그림자 영역을 점곱하고, 다시 사용자에 의해 기설정된 제2 중첩 강도에 기반하여 휘도 처리 후의 얼굴 그림자 영역을 제1 이미지에 중첩시킴으로써, 제1 이미지에 기반하여 얼굴 그림자 영역의 휘도 조정을 구현하고, 피부의 볼륨감을 증가시킨다.

본 실시예에 있어서, 중첩 식은 식 (2)와 같다.

Y3 = Y1 + Y_add * mask4 * level2 식 (2);

여기서, Y1은 제1 이미지의 휘도 채널에서의 픽스맵이고, Y3은 제3 이미지의 휘도 채널에서의 픽스맵이며; Y_add는 휘도 채널 성분의 중첩 값이고, mask4는 얼굴 그림자 마스크이며, level2는 기설정된 제2 중첩 강도이다.

상기 각 실시예의 하나의 예에 있어서, 그림자 영역에서의 적색 성분 값을 증가시키는 단계는 다음의 단계를 포함한다.

단계 B1에 있어서, 그림자 영역의 색도 채널에서의 모든 픽셀 값 및 제1 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제1 색도 중첩맵을 얻는다.

단계 B2에 있어서, 제1 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 색도 점곱을 획득한다.

단계 B3에 있어서, 제1 색도 점곱 및 제1 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 중첩 식은 식 (3)과 같다.

Cr3 = Cr1 + Cr_add * mask4 * level2 식 (3);

여기서, Cr1은 제1 이미지의 색도 채널에서의 픽스맵이고, Cr3은 제3 이미지의 색도 채널에서의 픽스맵이며; Cr_add는 색도 채널 성분의 중첩 값이고, mask4는 얼굴 그림자 마스크이며, level2는 기설정된 제2 중첩 강도이다.

본 실시예에 있어서, 얼굴 그림자 영역의 색도에 대해서만 조정을 진행하기 위해, 색도 값을 조정할 때, 먼저 색도의 중첩 값과 그림자 영역 마스크를 점곱하고, 다시 사용자에 의해 기설정된 제2 중첩 강도에 기반하여 색도 처리 후의 얼굴 그림자 영역을 제1 이미지에 중첩시킴으로써, 제1 이미지에 기반하여 얼굴 그림자 영역에 대한 색도 조정을 구현하고, 피부의 볼그스름한 감을 증가시킨다.

도 4는 본 발명의 이미지 처리 방법에 따른 또 다른 실시예의 흐름도이다. 도 4에 도시된 바와 같이, 상기 실시예의 방법은 다음의 단계를 포함한다.

단계 207에 있어서, 색상 성분을 조정한 후의 제1 이미지를 색조-채도-명도(HSL) 공간으로 전환하고, HSL 공간에 기반하여 색상 성분을 조정한 후의 제1 이미지의 휘도 값을 변하지 않도록 유지하여, 제2 이미지를 얻는다.

본 실시예에 있어서, 제2 이미지에 기반하여, 휘도 및 색도를 통해 얼굴 영역에서의 그림자 영역 마스크를 결정할 수 있고, 그림자 영역 마스크에서의 휘도 값 및 적색 성분 값을 조정함으로써, 피부의 볼륨감을 증가시킬 수 있으며, 윤기나고 볼그스름한 효과를 달성할 수 있다.

상기 각 실시예의 하나의 예에 있어서, 그림자 영역에서의 휘도 값을 증가시키는 단계는, 그림자 영역 마스크 휘도 채널에서의 모든 픽셀 값 및 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제2 휘도 중첩맵을 얻는 단계 C1; 제2 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 휘도 점곱을 획득하는 단계 C2; 제2 휘도 점곱 및 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계 C3을 포함한다.

본 실시예에 있어서, 얼굴 그림자 영역의 휘도에 대해서만 조정을 진행하기 위해, 휘도 값을 조정할 때, 먼저 휘도의 중첩 값과 그림자 영역 마스크를 점곱하고, 다시 사용자에 의해 기설정된 제2 중첩 강도에 기반하여 휘도 처리 후의 얼굴 그림자 영역을 제2 이미지에 중첩시킴으로써, 제2 이미지에 기반하여 얼굴 그림자 영역의 휘도 조정을 구현하고, 피부의 볼륨감을 증가시킨다.

상기 각 실시예의 하나의 예에 있어서, 그림자 영역에서의 적색 분량 값을 증가시키는 단계는 다음의 단계를 포함한다.

단계 D1에 있어서, 그림자 영역의 색도 채널에서의 모든 픽셀 값 및 제2 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제2 색도 중첩맵을 얻는다.

단계 D2에 있어서, 제2 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 색도 점곱을 획득한다.

단계 D3에 있어서, 제2 색도 점곱 및 제2 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 얼굴 그림자 영역의 색도에 대해서만 조정을 진행하기 위해, 색도 값을 조정할 때, 먼저 색도의 중첩 값과 그림자 영역 마스크를 점곱하고, 다시 사용자에 의해 기설정된 제2 중첩 강도에 기반하여 색도 처리 후의 얼굴 그림자 영역을 제2 이미지에 중첩시킴으로써, 제2 이미지에 기반하여 얼굴 그림자 영역에 대한 색도 조정을 구현하고, 피부의 볼그스름한 감을 증가시킨다.

본 발명 이미지 처리 방법의 또 다른 실시예에 있어서, 상기 도 1, 도 3, 도 4의 실시예에 기반하면, 이 실시예의 방법은, 최적화된 컬러 비디오 신호 공간에 기반하여 휘도 및 색도의 값을 통해 제1 이미지, 제3 이미지 또는 제4 이미지에서 얼굴 영역에서의 입술 영역을 획득하고; 입술 영역에서의 휘도 값 및 적색 분량 값을 증가시켜, 제5 이미지를 얻는다.

여기서, 제5 이미지는 제1 이미지, 제3 이미지 또는 제4 이미지로부터 얻은 것이며, 예를 들어, 제5 이미지는 제1 이미지, 제3 이미지 또는 제4 이미지의 입술 영역에서 휘도 값 및 적색 분량 값을 증가시켜 얻은 것이다.

본 실시예에 있어서, 최적화된 제1 이미지, 제3 이미지 또는 제4 이미지에 대해, YCrCb 공간에서 휘도 및 색도의 값에 기반하여 입술 영역을 결정하고, 입술 영역에서의 휘도 값 및 적색 분량 값을 증가시킴으로써, 빨간 입술과 밝은 입술의 효과를 달성하며, 나아가 사용자의 체험을 향상시킨다.

상기 각 실시예의 하나의 예에 있어서, 입술 영역에서의 휘도 값을 증가시키는 단계는 다음의 단계를 포함한다.

단계 E1에 있어서, 입술 영역의 휘도 채널에서의 모든 픽셀 값 및 제1 이미지, 제3 이미지 또는 제4 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제3 휘도 중첩맵, 제4 휘도 중첩맵 또는 제5 휘도 중첩맵을 얻으며; 단계 E2에 있어서, 제3 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 단계 E3에 있어서, 제4 휘도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 단계 E4에 있어서, 제5 휘도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 실제로 3 가지 예와 동일하며, 여기서, 제1 이미지에 기반한 처리, 제3 이미지에 기반한 처리 및 제4 이미지에 기반한 처리를 포함하며, 사용자에 의해 기설정된 제3 중첩 강도는 이미지가 휘도 채널에서 획득한 입술 영역의 중첩맵을 원본 이미지에 중첩시킴으로써, 입술 영역 마스크에 대한 휘도의 개선을 구현한다.

상기 각 실시예의 하나의 예에 있어서, 입술 영역에서의 적색 분량 값을 증가시키는 단계는 다음 단계를 포함한다.

단계 F1에 있어서, 입술 영역의 색도 채널에서의 모든 픽셀 값 및 제1 이미지, 제3 이미지 또는 제4 이미지의 색도 채널에서의 중첩 값에 대해 점곱 연산을 실행함으로써, 제3 색도 중첩맵, 제4 색도 중첩맵 또는 제5 색도 중첩맵을 얻으며; 단계 F2에 있어서, 제3 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 단계 F3에 있어서, 제4 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 단계 F4에 있어서, 제5 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 실제로 3 가지 예와 동일하며, 여기서, 제1 이미지에 기반한 처리, 제3 이미지에 기반한 처리 및 제4 이미지에 기반한 처리를 포함하며, 사용자에 의해 기설정된 제3 중첩 강도는 이미지가 색도 채널에서 획득한 입술 영역의 중첩맵을 원본 이미지에 중첩시킴으로써, 입술 영역 마스크에 대한 색도의 빨간색이 구현되고, 빨간 입술의 효과를 달성한다.

본 실시예에 있어서, 중첩 식은 식 (4)과 같다.

Y5 = Y i+ Y_add2 * mask5 * level3 식 (4);

여기서, Y i는 제i 이미지의 휘도 채널에서의 픽스맵이고, i의 값은 1, 3 또는 4(아래에 설명된 또 다른 실시예는 i가 2인 경우임)이며, Y5는 제5 이미지의 휘도 채널에서의 픽스맵이며, Y_add2는 휘도 채널 분량의 중첩 값이며, mask5는 입술 영역 마스크이고, level3은 기설정된 제3 중첩 강도이다.

본 발명 이미지 처리 방법의 또 다른 실시예에 있어서, 상기 도 2의실시예에 기반하면, 이 실시예의 방법은, 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하고, 최적화된 컬러 비디오 신호 공간에 기반하여 휘도 및 색도의 값을 통해 제2 이미지에서 얼굴 영역에서의 입술 영역을 획득하는 단계 G1; 입술 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제6 이미지를 얻는 단계 G2를 더 포함한다. 여기서, 제6 이미지는 제4 이미지와 유사하며, 상이한 것은, 제4 이미지는 상기 제2 이미지에서의 얼굴 영역의 그림자 영역 마스크에 관한 것이고, 제6 이미지는 제2 이미지에서 얼굴 영역에서의 입술 영역에 관한 것이다.

본 실시예에 있어서, 제2 이미지의 처리 공간이 HSL공간에 있으므로, 입술 영역을 처리 하기 전에, 먼저 제2 이미지를 YCrCb 공간으로 전환하고, YCrCb 공간에서 휘도 및 색도의 값에 기반하여 입술 영역을 결정하고, 입술 영역에서의 휘도 값 및 적색 성분 값을 증가시킴으로써, 빨간 입술과 밝은 입술의 효과를 달성하며, 사용자의 체험을 향상시킨다.

본 실시예에 있어서, 중첩 식은 식 (5)과 같다.

Cr5 = Cri + Cr_add2 * mask5 * level3 식 (5);

여기서, Cri는 제i 이미지의 색도 채널에서의 픽스맵이고, i의 값은 1, 3 또는 4(아래에 설명된 또 다른 실시예는 i가 2인 경우임)이며, Cr5는 제5 이미지의 색도 채널에서의 픽스맵이며, Cr_add2는색도 채널 분량의 중첩 값이며, mask5는 입술 영역 마스크이고, level3은 기설정된 제3 중첩 강도이다.

단계 H1에 있어서, 입술 영역의 휘도 채널에서의 모든 픽셀 값 및 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제6 휘도 중첩맵을 얻으며; 단계 H2에 있어서, 제6 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 사용자에 의해 기설정된 제3 중첩 강도를 통해 이미지가 휘도 채널에서 획득한 입술 영역의 중첩맵을 원본 이미지에 중첩시킴으로써, 입술 영역에 대한 휘도의 개선을 구현한다.

상기 각 실시예의 하나의 예에 있어서, 입술 영역에서의 적색 분량 값을 증가시키는 단계는 다음의 단계를 포함한다.

단계 J1에 있어서, 입술 영역의 색도 채널에서의 모든 픽셀 값 및 제2 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제6 색도 중첩맵을 얻으며; 단계 J2에 있어서, 제6 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시킨다.

본 실시예에 있어서, 사용자에 의해 기설정된 제3 중첩 강도를 통해 이미지가 색도 채널에서 획득한 입술 영역의 중첩맵을 원본 이미지에 중첩시킴으로써, 입술 영역 마스크에 대한 색도의 빨간색을 구현하고, 빨간 입술의 효과를 달성한다.

도 5는 본 발명의 이미지 처리 장치에 따른 실시예의 구조 모식도이다. 이 실시예의 장치는 본 발명의 상기 각 방법의 실시예를 구현하기 위한 것이다. 도 5에 도시된 바와 같이, 이 실시예의 장치는 다음의 유닛을 포함한다.

영역 획득 유닛(51)은, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하도록 구성된다.

여기서, 얼굴 피부톤 영역을 획득하는 방식에는 여러 가지가 있는데, 이미지에서 어느 부위가 피부톤인지를 인식하면 되고, YCrCb 최적화된 컬러 비디오 신호 공간에서, 색도 및 채도에 기반하여 얼굴 피부톤 영역을 획득할 수 있으며, 또한 뉴럴 네트워크 등 기술을 통해 획득할 수 있다.

필터링 유닛(52)은, 처리될 이미지에 대해 필터링을 진행하여, 스무딩 이미지를 획득하도록 구성된다.

여기서, 이미지 필터링은 가능한 한 이미지의 디테일 특징을 유지하는 조건 하에 목표 이미지의 노이즈를 억제하고, 이미지 전처리에서 없어서는 안될 조작이며, 그 처리 효과의 좋고 나쁨은 후속 이미지 처리와 분석의 유효성과 신뢰성에 직접적인 영향을 미치며, 본 실시예에서는 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며, 고주파 이미지는 더 많은 피부 디테일을 구현하여, 얼굴 피부의 디테일에 대한 최적화를 구현할 수 있다.

고주파 획득 유닛(53)은, 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하도록 구성된다.

피부톤 고주파 유닛(54)은, 고주파 이미지 및 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하도록 구성된다.

신호 중첩 유닛(55)은, 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시켜, 제1 이미지를 얻도록 구성된다.

본 발명 상기 실시예에 따라 제공되는 이미지 처리 장치에 기반하여, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하고, 수신된 처리될 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하며, 최적화된 컬러 비디오 신호 공간에서 처리될 이미지에서의 얼굴 피부톤 마스크를 결정함으로써; 이미지에서 다른 부분의 디스플레이 효과에 영향을 미치지 않으면서, 후속적으로 얼굴 영역만을 대상으로 처리할 수 있도록, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하며; 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩 이미지를 획득하며; 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며; 고주파 이미지를 통해 얼굴 피부 디테일에 대한 최적화는 고주파 이미지에서 더 많은 피부 디테일을 구현할 수 있고, 얼굴 피부의 최적화를 더욱 정확하게 하며; 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시키는 것은 휘도 채널에서 얼굴 피부톤 마스크 및 기설정된 제1 중첩 강도에 기반하여, 고주파 이미지 및 처리될 이미지를 중첩시키는 것을 통해, 맞춤적으로 얼굴 피부 디테일 부분의 휘도를 강화하여, 얼굴 이미지의 디스플레이 효과를 더욱 입체적이고 두드러지게 한다.

상기 각 실시예의 하나의 예에 있어서, 영역 획득 유닛(51)은, YCrCb 최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득하도록 구성되고; YCrCb 최적화된 컬러 비디오 신호 공간은 휘도 채널, 색도 채널 및 채도 채널을 포함한다.

필터링 유닛(52)은, 처리될 이미지에 대해 휘도 채널에서 필터링을 진행하도록 구성된다.

상기 각 실시예의 하나의 예에 있어서, 영역 획득 유닛(51)은, 피부톤 인식 모듈을 포함하며, 처리될 이미지의 최적화된 컬러 비디오 신호 공간에서의 색도 값 및 채도 값에 기반하여 처리될 이미지에서의 피부톤 영역을 결정하도록 구성되고; 영역 인식 모듈은, 뉴럴 네트워크를 이용하여 처리될 이미지의 얼굴 키 포인트를 획득하고, 얼굴 키 포인트에 따라 처리될 이미지에서의 얼굴 피부톤 영역을 결정하도록 구성된다.

상기 각 실시예의 하나의 예에 있어서, 필터링 유닛(52)은, 필터에 기반하여 처리될 이미지의 휘도 채널에서의 모든 픽셀 값에 대해 박스 필터링을 진행하도록 구성된다.

상기 각 실시예의 하나의 예에 있어서, 고주파 획득 유닛(53)은, 처리될 이미지를 휘도 채널에서의 모든 픽셀 값에서 스무딩 이미지의 휘도 채널에서의 상응하는 위치의 픽셀 값을 대응되게 감산하여, 고주파 이미지를 얻도록 구성된다.

상기 각 실시예의 하나의 예에 있어서, 피부톤 고주파 유닛(54)은, 기설정된 제1 중첩 강도에 기반하여, 고주파 이미지 및 얼굴 피부톤 마스크에 대해 요소 곱셈을 진행하여, 얼굴 피부톤 고주파 이미지를 획득하도록 구성된다.

상기 각 실시예의 하나의 예는, 신호 획득 유닛을 더 포함하며, 상기 유닛은 YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 처리될 이미지의 휘도 채널 신호를 획득하고; YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 얼굴 피부톤 고주파 이미지를 획득하도록 구성된다.

상기 각 실시예의 하나의 예는, 처리될 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하도록 구성되는 공간 전환 유닛을 더 포함한다.

도 6은 본 발명의 이미지 처리 장치의 다른 실시예의 흐름도이다. 도 6에 도시된 바와 같이, 이 실시예의 장치는, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하도록 구성되는 영역 획득 유닛(51)을 포함한다.

얼굴 피부톤 영역을 획득하는 방식에는 여러 가지가 있는데, 이미지에서 어느 부위가 피부톤인지를 인식하면 되고, YCrCb 최적화된 컬러 비디오 신호 공간에서, 색도 및 채도에 기반하여 얼굴 피부톤 영역을 획득할 수 있으며, 또한 뉴럴 네트워크 등 기술을 통해 획득할 수 있다.

이미지 필터링은 가능한 한 이미지의 디테일 특징을 유지하는 조건 하에 목표 이미지의 노이즈를 억제하고, 이미지 전처리에서 없어서는 안될 조작이며, 그 처리 효과의 좋고 나쁨은 후속 이미지 처리와 분석의 유효성과 신뢰성에 직접적인 영향을 미치며, 본 실시예에서는 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며, 고주파 이미지는 더 많은 피부 디테일을 구현하여, 얼굴 피부의 디테일에 대한 최적화를 구현할 수 있다.

피부톤 고주파 유닛(54), 고주파 이미지 및 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하도록 구성된다.

성분 조정 유닛(66)은, 제1 이미지를 삼원색(RGB) 공간으로 전환하고, RGB 공간에 기반하여 제1 이미지에서의 색상 성분을 조정하도록 구성된다.

휘도 값 유지 유닛(67)은, 색상 성분을 조정한 후의 제1 이미지를 색조-채도-명도(HSL) 공간으로 전환하고, HSL 공간에 기반하여 색상 성분을 조정한 후의 제1 이미지의 휘도 값을 변하지 않도록 유지하여, 제2 이미지를 얻도록 구성된다.

HSL 색채 모드는 공업계의 색상 표준으로, 색조(Hue, H), 채도(Saturation, S), 명도(Lightness, L)의 3 가지 색상 채널의 변화 및 이들 상호간의 중첩을 통해 다양한 색상을 얻으며, HSL은 색조, 채도, 명도의 3 가지 채널의 색상을 나타내며, HSL 공간에서 제1 이미지의 휘도 값이 변하지 않도록 유지한다.

상기 각 실시예의 하나의 예에 있어서, 성분 조정 유닛(66)은, RGB 공간에 기반하여 상기 제1 이미지에서의 시안(cyan) 성분 및 마젠타(Magenta) 성분을 증가시키고, 황색 성분을 감소시키도록 구성된다.

본 발명의 이미지 처리 장치의 또 다른 실시예에 있어서, 상기 각 실시예에 기반하여, 이 실시예의 장치는, 최적화된 컬러 비디오 신호 공간에서 휘도 및 색도의 값에 기반하여 제1 이미지 또는 제2 이미지에서의 얼굴 영역의 그림자 영역을 획득하도록 구성되는 그림자 획득 유닛; 그림자 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제3 이미지를 얻도록 구성되는 그림자 처리 유닛을 더 포함한다.

상기 각 실시예의 하나의 예에 있어서, 그림자 처리 유닛은, 그림자 영역의 휘도 채널에서의 모든 픽셀 값 및 제1 이미지 또는 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제1 휘도 중첩맵을 얻도록 구성되고; 또는 그림자 영역의 휘도 채널에서의 모든 픽셀 값 및 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제2 휘도 중첩맵을 얻도록 구성되는 그림자 점곱 획득 모듈; 및

제1 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 휘도 점곱을 획득하도록 구성되고; 제1 휘도 점곱 및 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 제2 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 휘도 점곱을 획득하며; 제2 휘도 점곱 및 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 그림자 휘도 중첩 모듈을 포함한다.

상기 각 실시예의 하나의 예에 있어서, 그림자 처리 유닛은,

그림자 영역의 색도 채널에서의 모든 픽셀 값 및 제1 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제1 색도 중첩맵을 얻고; 또는 그림자 영역 마스크의 색도 채널에서의 모든 픽셀 값 및 제2 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제2 색도 중첩맵을 얻도록 구성되는 그림자 색도 중첩 모듈; 및

제1 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 색도 점곱을 획득하고; 제1 색도 점곱 및 제1 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 제2 색도 중첩맵 및 기설정된 제2 중첩 강도점에 대해 점곱 연산을 실행함으로써 제2 색도 점곱을 획득하며; 제2 색도 점곱 및 제2 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 그림자 색도 점곱 모듈을 포함한다.

상기 각 실시예의 하나의 예에 있어서, 그림자 획득 유닛은 제2 이미지를 처리하기 전에 또한, 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하도록 구성된다.

본 발명의 이미지 처리 장치의 또 다른 실시예에 있어서, 상기 각 실시예에 기반하여, 이 실시예의 장치는, 최적화된 컬러 비디오 신호 공간에 기반하여 휘도 및 색도의 값을 통해 제1 이미지, 제2 이미지, 제3 이미지 또는 제4 이미지에서 얼굴 영역에서의 입술 영역을 획득하도록 구성되는 입술 획득 유닛; 입술 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제5 이미지, 제6 이미지, 제7 이미지 또는 제8 이미지를 얻도록 구성되는 입술 처리 유닛을 더 포함한다.

본 실시예에 있어서, 제2 이미지에 기반하여, 휘도 및 색도를 통해 얼굴 영역에서의 그림자 영역 마스크를 결정할 수 있고, 그림자 영역 마스크에서의 휘도 값 및 적색 성분 값을 조정함으로써, 피부의 볼륨감을 증가시킬 수 있으며, 윤기나고 볼그스름한 효과를 달성할 수 있다..

상기 각 실시예의 하나의 예에 있어서, 입술 처리 유닛은,

입술 영역의 휘도 채널에서의 모든 픽셀 값 및 제1 이미지, 제2 이미지, 제3 이미지 또는 제4 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제3 휘도 중첩맵, 제4 휘도 중첩맵, 제5 휘도 중첩맵 또는 제6 휘도 중첩맵을 얻도록 구성되는 입술 휘도 점곱 모듈; 및

제3 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키고; 또는, 제4 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 제5 휘도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 제6 휘도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 입술 휘도 중첩 모듈을 포함한다.

상기 각 실시예의 하나의 예에 있어서, 입술 처리 유닛은,

입술 영역의 색도 채널에서의 모든 픽셀 값 및 제1 이미지, 제2 이미지, 제3 이미지 또는 제4 이미지의 색도 채널에서의 중첩 값에 대해 점곱 연산을 실행함으로써, 제3 색도 중첩맵, 제4 색도 중첩맵, 제5 색도 중첩맵 또는 제6 색도 중첩맵을 얻도록 구성되는 입술 색도 점곱 모듈; 및

제3 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제1 이미지의 휘도 채널에서의 픽셀 값대응되게 중첩시키며; 또는, 제4 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 제5 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 제6 색도 중첩맵, 기설정된 제3 중첩 강도의 점곱 및 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 입술 색도 중첩 모듈을 더 포함한다.

상기 각 실시예의 하나의 예에 있어서, 입술 획득 유닛은 제2 이미지를 처리하기 전에 또한, 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하도록 구성된다.

본 발명의 실시예의 하나의 측면에 따라 제공되는 전자 기기는, 실행 가능한 명령어를 저장하기 위한 메모리; 및

상기 실행 가능한 명령어를 실행하기 위해 상기 메모리와 통신함으로써 상술한 이미지 처리 방법에 따른 단계를 완성하기 위한 프로세서를 포함한다.

본 발명의 실시예는 또한 이동 단말, 개인용 컴퓨터(PC), 태블릿, 서버와 같은 전자 기기를 제공한다. 아래에 도 7을 참조하면, 본 출원의 실시예에 따른 단말기기 또는 서버를 구현하기에 적합한 전자 기기(700)의 구조 모식도이며, 도 5에 도시된 바와 같이, 계산기 시스템(700)은 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는, 예를 들어, 하나 또는 복수 개의 중앙 처리 장치(CPU)(701) 및 하나 또는 복수 개의 그래픽 처리 장치(GPU)(713) 중 적어도 하나이며, 프로세서는 판독 전용 메모리(ROM)(702)에 저장된 실행 가능 명령어 또는 저장 부분(708)으로부터 랜덤 액세스 메모리(RAM)(703)에 로딩된 실행 가능한 명령어에 따라 다양한 적절한 단계 및 처리를 실행할 수 있다. 통신부(712)는 네트워크 카드를 포함할 수 있지만 이에 한정되지 않으며, 상기 네트워크 카드는 인피니밴드(Infiniband, IB) 네트워크 카드를 포함할 수 있지만 이에 한정되지 않으며, 프로세서는 실행 가능한 명령어를 실행하기 위해 판독 전용 메모리(702) 및 랜덤 액세스 메모리(730) 중 적어도 하나에서 통신하며, 버스(704)와 통신부(712)를 연결하고, 통신부(712)를 통해 다른 목표 기기와 통신함으로써, 본 출원의 실시예에서 제공되는 임의의 방법에 대응되는 동작을 완성하며, 예를 들어, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하고; 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩 이미지를 획득하며; 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며; 고주파 이미지 및 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하며; 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시켜, 제1 이미지를 얻는다.

또한, RAM(703)에는 장치의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장될 수 있다. CPU(701), ROM(702) 및 RAM(703)은 통신 버스(704)를 통해 서로 연결된다. RAM(703)이 있는 경우, ROM(702)은 선택적 모듈이다. RAM(703)은 실행 가능 명령어를 저장하고, 또는 작동될 경우, ROM(702)에 실행 가능 명령어를 기록하며, 실행 가능 명령어는 프로세서로 하여금 상기 통신 방법에 대응하는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 연결된다. 통신부(712)는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 랜 카드)을 갖도록 구성될 수 있다.

다음의 구성 요소, 즉 키보드, 마우스 등을 포함하는 입력 부분(706); 음극 선관(CRT), 액정 디스플레이(LCD), 스피커 등을 포함하는 출력 부분(707); 하드웨어 등을 포함하는 저장 부분(708); 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스의 통신 부분(709)은 I/O 인터페이스(705)에 연결된다. 통신 부분(709)은 인터넷과 같은 네트워크를 통해 통신 처리를 실행한다. 드라이버(710)는 필요에 따라 I/O 인터페이스(705)에 연결될 수도 있다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 제거 가능한 매체(711)는 필요에 따라 제거 가능한 매체로부터 판독된 컴퓨터 프로그램이 저장 부분(708)에 설치되도록 필요에 따라 드라이버(710)에 장착된다.

설명해야 할 것은, 도 7에 도시된 아키텍쳐는 다만 선택적인 구현 방식일 뿐, 실천 과정에서, 상기 도 7의 구성 요소의 개수 및 유형은 실제 필요에 따라 선택, 감소, 증가 또는 교체되며; 상이한 기능적 구성 요소 설치에서 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수 있으며, 예를 들어 GPU 및 CPU는 분리 설치되거나 GPU가 CPU에 통합되며, 통신부는 CPU 또는 GPU에 분리 설치 또는 통합 설치될 수 있는 등이다. 이러한 대안적인 실시 형태는 모두 본 발명 개시의 보호 범위에 속한다.

특히, 본원의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현된다. 예를 들어, 본원의 실시예는 컴퓨터 프로그램 제품을 포함하며, 기계 판독 가능 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 출원의 실시예에서 제공되는 방법 단계를 실행하는 것에 대응되는 명령어를 포함할 수 있으며, 예를 들어, 처리될 이미지에서의 얼굴 피부톤 영역을 획득하고; 처리될 이미지에 대해 필터링을 진행하여, 필터링된 스무딩 이미지를 획득하며; 스무딩 이미지 및 처리될 이미지에 기반하여 고주파 이미지를 획득하며; 고주파 이미지 및 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하며; 처리될 이미지의 휘도 채널 신호에 대해 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩시켜, 제1 이미지를 얻는다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신 부분(709)를 통해 네트워크로부터 다운로드 및 설치될 수 있는 것 및 제거 가능한 매체(711)로부터 설치될 수 있는 것 중 적어도 하나이다. 본 출원의 방법에서 정의한 상기 기능은 상기 컴퓨터 프로그램이 중앙 처리 장치(CPU)(501)에 의해 실행될 경우에 실행된다.

본 발명의 방법, 장치 및 기기는 많은 방식으로 구현된다. 예를 들어, 본 발명의 방법, 장치 및 기기는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 구체적으로 언급되지 않는 한, 방법을 위한 상기 단계의 상기 순서는 다만 설명을 위한 것이며, 본 발명의 실시 형태의 방법의 단계를 한정하려는 것은 아니다. 또한, 일부 실시예에 있어서, 본 발명은 기록 매체에 기록된 프로그램으로서 구현될 수도 있으며, 이들 프로그램은 본 발명의 방법을 구현하기 위한 기계 판독 가능 명령어를 포함한다. 따라서, 본 발명은 본 발명에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.

본 발명의 설명은 예시 및 설명의 목적으로 제공되며, 누락되지 않는 방식으로 개시하거나 본 발명을 개시된 형태로 한정하려는 것은 아니다. 많은 보정과 변경이 본 기술분야의 통상의 기술자에게 명백하다. 실시예들은 본 발명의 원리 및 실제 적용을 더 잘 설명하고, 본 기술분야의 통상의 기술자로 하여금 특정 사용에 적용 가능한 다양한 보정들을 갖는 다양한 실시예들을 설계하기 위해 본 발명을 이해하도록 하기 위해 선택되고 설명된다.

Claims

이미지 처리 방법으로서,
처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계;
상기 처리될 이미지에 대해 필터링을 진행하여, 스무딩 이미지를 획득하는 단계;
상기 스무딩 이미지 및 상기 처리될 이미지에 기반하여 고주파 이미지를 획득하는 단계;
상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하는 단계; 및
상기 처리될 이미지의 휘도 채널 신호에 대해 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩하여, 제1 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계는, YCrCb 최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계를 포함하고; 상기 YCrCb 최적화된 컬러 비디오 신호 공간은 휘도 채널, 색도 채널 및 채도 채널을 포함하며;
상기 처리될 이미지에 대해 필터링을 진행하는 단계는,
상기 처리될 이미지에 대해 휘도 채널에서 필터링을 진행하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
YCrCb 최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득하는 단계는,
처리될 이미지의 상기 최적화된 컬러 비디오 신호 공간에서의 색도 값 및 채도 값에 기반하여 상기 처리될 이미지에서의 피부톤 영역을 결정하는 단계; 및
뉴럴 네트워크를 이용하여 상기 처리될 이미지의 얼굴 키 포인트를 획득하고, 상기 얼굴 키 포인트에 따라 상기 처리될 이미지에서의 얼굴 피부톤 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 또는 제3항에 있어서,
상기 처리될 이미지에 대해 휘도 채널에서 필터링을 진행하는 단계는, 필터에 기반하여 상기 처리될 이미지의 휘도 채널에서의 모든 픽셀 값에 대해 박스 필터링을 진행하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 스무딩 이미지 및 상기 처리될 이미지에 기반하여 고주파 이미지를 획득하는 단계는, 상기 처리될 이미지의 휘도 채널에서의 모든 픽셀 값에서 상기 스무딩 이미지의 휘도 채널에서의 상응하는 위치의 픽셀 값을 감산하여, 고주파 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하는 단계는, 기설정된 제1 중첩 강도에 기반하여, 상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 대해 요소 곱셈을 진행하여, 얼굴 피부톤 고주파 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 내지 제6항 중 어느 한 항에 있어서,
상기 처리될 이미지의 휘도 채널 신호에 대해 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩하기 전에,
YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 상기 처리될 이미지의 휘도 채널 신호를 획득하는 단계; 및
YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 내지 제7항 중 어느 한 항에 있어서,
최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득하기 전에, 처리될 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 제1 이미지를 삼원색(RGB) 공간으로 전환하고, 상기 RGB 공간에 기반하여 상기 제1 이미지에서의 색상 성분을 조정하는 단계; 및
색상 성분을 조정한 후의 제1 이미지를 색조-채도-명도(HSL) 공간으로 전환하고, 상기 HSL 공간에 기반하여 상기 색상 성분을 조정한 후의 제1 이미지의 휘도 값을 변하지 않도록 유지하여, 제2 이미지를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제9항에 있어서,
상기 RGB 공간에 기반하여 상기 제1 이미지에서의 색상 성분을 조정하는 단계는, 상기 RGB 공간에 기반하여 상기 제1 이미지에서의 시안 성분 및 마젠타 성분을 증가시키고, 황색 성분을 감소시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
최적화된 컬러 비디오 신호 공간에서 휘도 및 색도의 값에 기반하여 상기 제1 이미지에서의 얼굴 영역의 그림자 영역을 획득하는 단계; 및
상기 그림자 영역에서의 휘도 값 및 적색 성분 값을 증가하여, 제3 이미지를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제11항에 있어서,
상기 그림자 영역에서의 휘도 값을 증가시키는 단계는,
상기 그림자 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제1 처리 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제1 휘도 중첩맵을 얻는 단계;
상기 제1 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 휘도 점곱을 획득하는 단계; 및
상기 제1 휘도 점곱 및 상기 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제11항 또는 제12항에 있어서,
상기 그림자 영역에서의 적색 성분 값을 증가시키는 단계는,
상기 그림자 영역의 색도 채널에서의 모든 픽셀 값 및 상기 제1 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제1 색도 중첩맵을 얻는 단계;
상기 제1 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 색도 점곱을 획득하는 단계; 및
상기 제1 색도 점곱 및 상기 제1 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제9항 또는 제10항에 있어서,
상기 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하고, 최적화된 컬러 비디오 신호 공간에서 휘도 및 색도의 값에 기반하여 상기 제2 이미지에서의 얼굴 영역의 그림자 영역 마스크를 획득하는 단계; 및
상기 그림자 영역 마스크에서의 휘도 값 및 적색 성분 값을 증가시켜, 제4 이미지를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제14항에 있어서,
상기 그림자 영역에서의 휘도 값을 증가시키는 단계는,
상기 그림자 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제2 휘도 중첩맵을 얻는 단계;
상기 제2 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 휘도 점곱을 획득하는 단계; 및
상기 제2 휘도 점곱 및 상기 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제14항 또는 제15항에 있어서,
상기 그림자 영역에서의 적색 성분 값을 증가시키는 단계는,
상기 그림자 영역 마스크의 색도 채널에서의 모든 픽셀 값 및 상기 제2 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제2 색도 중첩맵을 얻는 단계;
상기 제2 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 색도 점곱을 획득하는 단계; 및
상기 제2 색도 점곱 및 상기 제2 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제8항 및 제11항 내지 제13항 중 어느 한 항에 있어서,
최적화된 컬러 비디오 신호 공간에서의 휘도 및 색도의 값에 기반하여, 상기 제1 이미지, 제3 이미지 또는 제4 이미지에서 얼굴 영역에서의 입술 영역을 획득하는 단계; 및
상기 입술 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제5 이미지, 제7 이미지 또는 제8 이미지를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제17항에 있어서,
상기 입술 영역에서의 휘도 값을 증가시키는 단계는,
상기 입술 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제1 이미지, 제3 이미지 또는 제4 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제3 휘도 중첩맵, 제5 휘도 중첩맵 또는 제6 휘도 중첩맵을 얻는 단계;
상기 제3 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계;
상기 제5 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계; 및
상기 제6 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제17항 또는 제18항에 있어서,
상기 입술 영역에서의 적색 성분 값을 증가시키는 단계는,
상기 입술 영역의 색도 채널에서의 모든 픽셀 값 및 상기 제1 이미지, 제3 이미지 또는 제4 이미지의 색도 채널에서의 중첩 값에 대해 점곱 연산을 실행함으로써, 제3 색도 중첩맵, 제5 색도 중첩맵 또는 제6 색도 중첩맵을 얻는 단계;
상기 제3 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계;
상기 제5 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계; 및
상기 제6 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제9항, 제10항 및 제14항 내지 제16항 중 어느 한 항에 있어서,
상기 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하고, 최적화된 컬러 비디오 신호 공간에서의 휘도 및 색도의 값에 기반하여 상기 제2 이미지에서 얼굴 영역에서의 입술 영역을 획득하는 단계; 및
상기 입술 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제6 이미지를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제20항에 있어서,
상기 입술 영역에서의 휘도 값을 증가시키는 단계는,
상기 입술 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제4 휘도 중첩맵을 얻으며; 상기 제4 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제20항 또는 제21항에 있어서,
상기 입술 영역에서의 적색 성분 값을 증가시키는 단계는,
상기 입술 영역의 색도 채널에서의 모든 픽셀 값 및 상기 제2 이미지의 색도 채널에서의 중첩 값에 대해 점곱 연산을 실행함으로써, 제4 색도 중첩맵을 얻으며; 상기 제4 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치로서,
처리될 이미지에서의 얼굴 피부톤 영역을 획득하도록 구성되는 영역 획득 유닛; 상기 처리될 이미지에 대해 필터링을 진행하여, 스무딩 이미지를 획득하도록 구성되는 필터링 유닛; 상기 스무딩 이미지 및 상기 처리될 이미지에 기반하여 고주파 이미지를 획득하도록 구성되는 고주파 획득 유닛; 상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 기반하여 얼굴 피부톤 고주파 이미지를 획득하도록 구성되는 피부톤 고주파 유닛; 및 상기 처리될 이미지의 휘도 채널 신호에 대해 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 중첩하여, 제1 이미지를 얻도록 구성되는 신호 중첩 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제23항에 있어서,
상기 영역 획득 유닛은, YCrCb 최적화된 컬러 비디오 신호 공간에 기반하여 처리될 이미지에서의 얼굴 피부톤 영역을 획득하도록 구성되고; 상기 YCrCb 최적화된 컬러 비디오 신호 공간은 휘도 채널, 색도 채널 및 채도 채널을 포함하며;
상기 필터링 유닛은, 상기 처리될 이미지에 대해 휘도 채널에서 필터링을 진행하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제24항에 있어서,
상기 영역 획득 유닛은,
처리될 이미지의 상기 최적화된 컬러 비디오 신호 공간에서의 색도 값 및 채도 값에 기반하여 상기 처리될 이미지에서의 피부톤 영역을 결정하도록 구성되는 피부톤 인식 모듈; 및
뉴럴 네트워크를 이용하여 상기 처리될 이미지의 얼굴 키 포인트를 획득하고, 상기 얼굴 키 포인트에 따라 상기 처리될 이미지에서의 얼굴 피부톤 영역을 결정하도록 구성되는 영역 인식 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제24항 또는 제25항에 있어서,
상기 필터링 유닛은, 필터에 기반하여 상기 처리될 이미지의 휘도 채널에서의 모든 픽셀 값에 대해 박스 필터링을 진행하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제23항 내지 제26항 중 어느 한 항에 있어서,
상기 고주파 획득 유닛은, 상기 처리될 이미지의 휘도 채널에서의 모든 픽셀 값에서 상기 스무딩 이미지의 휘도 채널에서의 상응하는 위치의 픽셀 값을 감산하여, 고주파 이미지를 얻도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제23항 내지 제27항 중 어느 한 항에 있어서,
상기 피부톤 고주파 유닛은, 기설정된 제1 중첩 강도에 기반하여, 상기 고주파 이미지 및 상기 얼굴 피부톤 마스크에 대해 요소 곱셈을 진행하여, 얼굴 피부톤 고주파 이미지를 획득하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제24항 내지 제28항 중 어느 한 항에 있어서,
YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 상기 처리될 이미지의 휘도 채널 신호를 획득하도록 구성되며; YCrCb 최적화된 컬러 비디오 신호 공간의 휘도 채널에 기반하여 상기 얼굴 피부톤 고주파 이미지의 휘도 채널 신호를 획득하도록 구성되는 신호 획득 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제24항 내지 제29항 중 어느 한 항에 있어서,
처리될 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하도록 구성되는 공간 전환 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제23항 내지 제30항 중 어느 한 항에 있어서,
상기 제1 이미지를 삼원색(RGB) 공간으로 전환하고, 상기 RGB 공간에 기반하여 상기 제1 이미지에서의 색상 성분을 조정하도록 구성되는 성분 조정 유닛; 및 색상 성분을 조정한 후의 제1 이미지를 전환 색조-채도-명도(HSL) 공간으로 전환하고, 상기 HSL 공간에 기반하여 상기 색상 성분을 조정한 후의 제1 이미지의 휘도 값을 변하지 않도록 유지하여, 제2 이미지를 얻도록 구성되는 휘도 값 유지 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제31항에 있어서,
상기 성분 조정 유닛은, 상기 RGB 공간에 기반하여 상기 제1 이미지에서의 시안(cyan) 성분 및 마젠타(Magenta) 성분을 증가시키고, 황색 성분을 감소시키도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제23항 내지 제32항에 있어서,
최적화된 컬러 비디오 신호 공간에서 휘도 및 색도의 값에 기반하여 상기 제1 이미지 또는 제2 이미지에서의 얼굴 영역의 그림자 영역을 획득하도록 구성되는 그림자 획득 유닛; 상기 그림자 영역에서의 휘도 값 및 적색 성분 값을 증가하여, 제3 이미지 또는 제4 이미지를 얻도록 구성되는 그림자 처리 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제33항에 있어서,
상기 그림자 처리 유닛은,
상기 그림자 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제1 이미지 또는 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제1 휘도 중첩맵을 얻도록 구성되며; 또는 상기 그림자 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제2 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제2 휘도 중첩맵을 얻도록 구성되는 그림자 점곱 획득 모듈; 및
상기 제1 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 휘도 점곱을 획득하고; 상기 제1 휘도 점곱 및 상기 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 상기 제2 휘도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 휘도 점곱을 획득하고; 상기 제2 휘도 점곱 및 상기 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 그림자 휘도 중첩 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제33항 또는 제34항에 있어서,
상기 그림자 처리 유닛은,
상기 그림자 영역의 색도 채널에서의 모든 픽셀 값 및 상기 제1 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제1 색도 중첩맵을 얻으며; 또는 상기 그림자 영역 마스크의 색도 채널에서의 모든 픽셀 값 및 상기 제2 이미지의 색도 채널에서의 중첩 값의 점곱에 기반하여, 제2 색도 중첩맵을 얻도록 구성되는 그림자 색도 중첩 모듈; 및
상기 제1 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제1 색도 점곱을 획득하며; 상기 제1 색도 점곱 및 상기 제1 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 상기 제2 색도 중첩맵 및 기설정된 제2 중첩 강도에 대해 점곱 연산을 실행함으로써 제2 색도 점곱을 획득하며; 상기 제2 색도 점곱 및 상기 제2 이미지의 색도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 그림자 색도 점곱 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제33항 내지 제35항 중 어느 한 항에 있어서,
상기 그림자 획득 유닛이 상기 제2 이미지를 처리하기 전에 또한, 상기 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제23항 내지 제36항 중 어느 한 항에 있어서,
최적화된 컬러 비디오 신호 공간에서의 휘도 및 색도의 값에 기반하여 상기 제1 이미지, 제2 이미지, 제3 이미지 또는 제4 이미지에서 얼굴 영역에서의 입술 영역을 획득하도록 구성되는 입술 획득 유닛; 및
상기 입술 영역에서의 휘도 값 및 적색 성분 값을 증가시켜, 제5 이미지, 제6 이미지, 제7 이미지 또는 제8 이미지를 얻도록 구성되는 입술 처리 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제37항에 있어서,
상기 입술 처리 유닛은,
상기 입술 영역의 휘도 채널에서의 모든 픽셀 값 및 상기 제1 이미지, 제2 이미지, 제3 이미지 또는 제4 이미지의 휘도 채널에서의 중첩 값의 점곱에 기반하여, 제3 휘도 중첩맵, 제4 휘도 중첩맵, 제5 휘도 중첩맵 또는 제6 휘도 중첩맵을 얻도록 구성되는 입술 휘도 점곱 모듈; 및
상기 제3 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되고; 또는, 상기 제4 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되고; 또는, 상기 제5 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되며; 또는, 상기 제6 휘도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 입술 휘도 중첩 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제37항 또는 제38항에 있어서,
상기 입술 처리 유닛은,
상기 입술 영역의 색도 채널에서의 모든 픽셀 값 및 상기 제1 이미지, 제2 이미지, 제3 이미지 또는 제4 이미지의 색도 채널에서의 중첩 값에 대해 점곱 연산을 실행함으로써, 제3 색도 중첩맵, 제4 색도 중첩맵, 제5 색도 중첩맵 또는 제6 색도 중첩맵을 얻도록 구성되는 입술 색도 점곱 모듈; 및
상기 제3 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제1 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키고; 또는, 상기 제4 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제2 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 상기 제5 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제3 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키며; 또는, 상기 제6 색도 중첩맵 및 기설정된 제3 중첩 강도의 점곱 및 상기 제4 이미지의 휘도 채널에서의 픽셀 값을 대응되게 중첩시키도록 구성되는 입술 색도 중첩 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제37항 내지 제39항에 있어서,
상기 입술 획득 유닛은 제2 이미지를 처리하기 전에 또한, 상기 제2 이미지를 최적화된 컬러 비디오 신호 공간으로 전환하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
전자 기기로서,
프로세서를 포함하며, 상기 프로세서는 제23항 내지 제40항 중 어느 한 항에 따른 이미지 처리 장치를 포함하는 것을 특징으로 하는 전자 기기.
전자 기기로서,
실행 가능한 명령어를 저장하기 위한 메모리; 및
상기 실행 가능한 명령어를 실행하여 제1항 내지 제22항 중 어느 한 항에 따른 상기 이미지 처리 방법의 단계를 완성하기 위해 상기 메모리와 통신하는 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
컴퓨터 저장 매체로서,
컴퓨터 판독 가능 명령어를 저장하며, 상기 명령어가 실행될 때, 제1항 내지 제22항 중 어느 한 항에 따른 상기 이미지 처리 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 저장 매체.