KR20200044093A

KR20200044093A - 이미지 처리 방법 및 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체

Info

Publication number: KR20200044093A
Application number: KR1020207008877A
Authority: KR
Inventors: 휴안칭 젱
Original assignee: 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date: 2017-10-31
Filing date: 2018-10-22
Publication date: 2020-04-28
Also published as: CN107680128B; US10825150B2; JP2020536457A; EP3477939B1; KR102291081B1; JP7027537B2; WO2019085786A1; US20190130538A1; EP3477939A1; CN107680128A

Abstract

이미지 처리 방법과 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 방법은: 처리될 이미지에 대해 얼굴 인식이 수행되는 동작; 상기 처리될 이미지가 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 촬영 거리가 획득되는 동작; 상기 촬영 거리가 미리 설정된 거리 조건을 충족한다는 판단의 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계가 획득되는 동작; 상기 촬영 거리에 대응하는 뷰티 파라미터는 상기 파라미터 관계에 따라 선택되는 동작; 및 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 뷰티 처리가 수행되는 동작을 포함한다.

Description

이미지 처리 방법 및 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체

본 발명은 이미지 처리(image processing) 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치(image processing method and device), 전자 장치(electronic device) 및 컴퓨터-판독 가능 저장 매체(computer-readable storage medium)에 관한 것이다.

전자 장치가 카메라 등을 통해 인물 사진(portrait)을 획득한 후, 상기 획득된 인물 사진에 대해 뷰티 기술(beauty technology)을 통해 뷰티 처리가 수행될 수 있다. 뷰티 처리(beauty technology)는 화이트닝(whitening), 필터링(filtering), 눈 확대(eye widening), 얼굴-성형(face-lift), 슬리밍(slimming) 등을 포함할 수 있다. 종래의 뷰티 처리 동안, 고정된 뷰티 파라미터들(fixed beauty parameters)이 미리 설정되고, 획득된 각각의 인물 사진은 상기 고정된 뷰티 파라미터들을 통해 통합된 방식(unified manner)으로 처리된다.

본 발명의 실시 예들은 이미지 처리 방법 및 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체를 제공하고, 촬영 거리(shooting distance)에 따라 뷰티 파라미터를 적응적으로 선택하여 뷰티 효과를 개선하고 이미지에 대해 보다 나은 시각적 디스플레이 효과를 얻을 수 있다.

제1측면에 따르면, 본 발명의 상기 실시 예들은 이미지 처리 방법을 제공한다. 상기 이미지 처리 방법은 다음과 같은 동작들을 포함할 수 있다. 처리될 이미지에 대해 얼굴 인식(face recognition)이 수행된다. 상기 처리될 이미지가 인물 사진(portrait)을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 촬영 거리가 획득된다. 상기 촬영 거리가 미리 설정된 거리 조건을 충족하는 것을 판단한 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계(parameter relationship)가 획득된다. 상기 촬영 거리에 해당하는 뷰티 파라미터(beauty parameter)는 상기 파라미터 관계에 따라 선택되고, 상기 뷰티 처리는 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 수행된다.

제2측면에 따르면, 본 발명의 상기 실시 예들은 전자 장치를 제공한다. 상기 전자 장치는 메모리 및 프로세서를 포함할 수 있다. 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 상기 제1측면에 기술된 상기 방법을 구현하게 하는 컴퓨터 프로그램을 저장한다.

제3측면에 따르면, 본 발명의 상기 실시 예들은 컴퓨터 프로그램이 저장될 수 있는 비-일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 컴퓨터 프로그램은 프로세서에 의해 실행되어 상기 제1측면에서 설명된 상기 방법을 구현할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 구조도이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 인물 사진의 촬영 거리를 획득하는 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 얼굴 영역의 비율에 따라 촬영 거리를 획득하는 개략도이다.
도 6은 본 발명의 다른 실시 예에 따른 인물 사진의 촬영 거리를 획득하는 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 거리 정보를 계산하는 모식도이다.
도 8은 본 발명의 일 실시 예에 따른 파라미터 관계를 획득하는 순서도이다.
도 9(a)는 본 발명의 일 실시 예에 따른 상기 촬영 거리가 제1거리 임계 값보다 작은 경우, 뷰티 파라미터들과 촬영 거리들 사이의 파라미터 관계의 모식도이다.
도 9(b)는 본 발명의 일 실시 예에 따른 상기 촬영 거리가 제2거리 임계 값보다 큰 경우, 뷰티 파라미터들과 촬영 거리들 사이의 파라미터 관계의 모식도이다.
도 10은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 이미지 처리 회로의 모식도이다.

본 발명의 목적들, 기술적 해결 수단들 및 이점들을 보다 명확히 하기 위해, 이하, 상기 도면들 및 실시 예들과 함께 본 발명을 더욱 상세하게 설명한다. 본 명세서에 기술된 상기 특정 실시 예들은 본 발명을 설명하기 위해 채택된 것이며 본 발명을 제한하려는 것이 아님을 이해해야 한다.

본 발명에서 사용된 용어 "제1", "제2" 등은 다양한 구성 요소들을 설명하기 위해 채택될 수 있으며, 이들 구성 요소들을 제한하려는 의도가 아님을 이해할 수 있다. 이들 용어들은 단지 제1구성 요소를 다른 구성 요소와 구별하기 위해 채택된 것이다. 예를 들어, 본 발명의 범위를 벗어나지 않으면서, 제1클라이언트는 제2클라이언트로 지칭될 수 있고, 마찬가지로, 제2클라이언트는 제1클라이언트로 지칭될 수 있다. 상기 제1클라이언트와 상기 제2클라이언트는 모두 클라이언트이지만 동일한 클라이언트는 아니다.

본 발명의 상기 실시 예들에 의해 제공되는 상기 이미지 처리 방법과 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체에 따르면, 상기 처리될 이미지가 상기 인물 사진을 포함한다는 것을 검출한 결과로써, 상기 촬영 파라미터가 상기 미리 설정된 거리 조건을 충족시킬 때 상기 인물 사진의 상기 촬영 거리가 획득되며, 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계가 획득되며, 상기 파라미터 관계에 따라 상기 촬영 거리에 대응되는 상기 뷰티 파라미터가 선택되며, 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 뷰티 처리가 수행된다. 따라서, 상기 촬영 거리에 따라 상기 뷰티 파라미터를 적응적으로 선택할 수 있어, 뷰티 효과를 향상시키고, 상기 이미지에 대해 보다 나은 시각적 디스플레이 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다. 도 1을 참조하면, 상기 전자 장치는 프로세서(processor), 메모리(memory), 디스플레이 스크린(display screen) 및 입력 장치(input device)를 포함하고, 이들 모두는 시스템 버스(system bus)를 통해 연결된다. 본 예에서, 상기 메모리는 비 휘발성 저장 매체 및 프로세서를 포함할 수 있다. 상기 전자 장치의 상기 비 휘발성 저장 매체는 운영 체제 및 컴퓨터 프로그램을 저장할 수 있고, 상기 컴퓨터 프로그램은 본 발명의 상기 실시 예들에 의해 제공되는 이미지 처리 방법을 구현하기 위해 상기 프로세서에 의해 실행될 수 있다. 상기 프로세서는 전체 전자 장치의 실행을 지원하기 위한 계산 및 제어 능력을 제공하도록 구성될 수 있다. 상기 전자 장치의 내부 메모리는 상기 비 휘발성 저장 매체에서 상기 컴퓨터 프로그램을 실행하기 위한 환경을 제공할 수 있다. 상기 전자 장치의 상기 디스플레이 스크린은 액정 디스플레이 스크린, 전자 잉크 디스플레이 스크린 등일 수 있다. 상기 입력 장치는 상기 디스플레이 스크린을 커버하는 터치 층일 수 있고, 또한 상기 전자 장치의 하우징 상에 배열된 버튼, 트랙볼 또는 터치 패드일 수 있으며, 또한 외부 키보드, 터치 패드, 마우스 등일 수 있다. 상기 전자 장치는 모바일 폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 웨어러블 기기 등과 같은 단말기일 수 있다. 당업자가 이해할 수 있는 점은, 도 1에 도시된 상기 구조가 본 발명의 상기 해결 수단들과 관련된 구조의 일부의 블록도이며, 본 발명의 상기 해결 수단들이 적용되는 상기 전자 장치를 제한하도록 의도되지 않는다는 것이다. 상기 전자 장치는 구체적으로 도면에 도시된 것보다 많거나 적은 구성 요소들을 포함할 수 있으며, 또는 일부 구성 요소들이 결합되거나 다른 구성 요소 배열들이 채택된다.

도 2는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 구조도이다. 도 2를 참조하면, 전자 장치와 관련된 뷰티 처리(beauty processing)는 3개의 아키텍처 계층들, 즉 특징 계층(feature layer), 적응 계층(adaptation layer) 및 처리 계층(processing layer)을 포함할 수 있다. 상기 특징 계층은 입력 이미지의 얼굴의 특징 정보(facial feature information)를 추출하도록 구성될 수 있고, 상기 얼굴의 특징 정보는 피부 컬러 특징, 피부 유형 특징, 연령 특징, 성별 특징, 메이크업 특징 등을 포함할 수 있지만, 이에 제한되지는 않는다.

상기 적응 계층은 상기 추출된 얼굴의 특징 정보, 획득된 물리적 촬영 파라미터(physical shooting parameter) 등에 따라 뷰티 파라미터를 적응적으로 선택하도록 구성될 수 있다. 본 예에서, 상기 물리적 촬영 파라미터는 촬영 거리(shooting distance), 주변 휘도(ambient brightness), 컬러 온도(color temperature), 노출(exposure) 등을 포함할 수 있지만, 이에 제한되지는 않는다. 적어도 일 실시 예에서, 파라미터 선택 모델(parameter selection model)은 상기 적응 계층에 미리 저장될 수 있고, 상기 얼굴의 특징 정보, 상기 획득된 물리적 촬영 파라미터 등은 상기 파라미터 선택 모델을 통해 분석되어, 상기 얼굴의 특징 정보 및 상기 물리적 촬영 파라미터에 대응하는 상기 뷰티 파라미터를 선택할 수 있다. 상기 파라미터 선택 모델은 딥 머신 러닝(deep machine learning)에 의해 구성될 수 있다. 상기 적응 계층에 의해 선택된 상기 뷰티 파라미터는 화이트닝 파라미터(whitening parameter), 필터링 파라미터(filtering parameter), 눈 확대 파라미터(eye widening parameter), 얼굴 성형 파라미터(face-lift parameter) 등을 포함할 수 있지만, 이에 제한되는 것은 아니다.

상기 처리 계층은 상기 입력 이미지에 대해 뷰티 처리를 수행하기 위해 상기 적응 계층에 의해 선택된 상기 뷰티 파라미터에 따라 대응하는 뷰티 성분을 호출하도록 구성될 수 있다. 뷰티 성분들은 필터링 성분, 화이트닝 성분, 눈 확대 성분, 얼굴-성형 성분, 입술 리터칭 성분 등을 포함할 수 있다. 그러나, 이에 제한되는 것은 아니다. 상이한 뷰티 성분들은 뷰티 파라미터들에 따라 대응하는 처리를 수행할 수 있다. 예를 들어, 상기 필터링 성분은 상기 필터링 파라미터에 따라 상기 입력 이미지에 대한 필터링 처리를 수행할 수 있고, 상기 화이트닝 성분은 상기 화이트닝 파라미터에 따라 상기 입력 이미지에 대해 화이트닝 처리를 수행할 수 있다. 뷰티 성분들은 서로 독립적일 수 있다. 일 실시 예에서, 상기 처리 계층은 각각의 뷰티 성분에 대응하는 플래그 비트(flag bit)를 획득할 수 있다. 본 예에서, 상기 플래그 비트가 제1플래그 비트인 상기 뷰티 성분은 상기 입력 이미지에 대해 뷰티 처리를 수행해야 할 수도 있지만, 상기 플래그 비트가 제2플래그 비트인 상기 뷰티 성분은 상기 입력 이미지에 대해 뷰티 처리를 수행하지 않을 수 있고, 상기 제1플래그 비트 및 상기 제2플래그 비트는 요건에 따라 설정될 수 있다. 예를 들어, 상기 제1플래그 비트는 1이고 상기 제2플래그 비트는 0이며, 본 명세서에서 제한되지 않을 것이다. 상기 입력 이미지에 대해 뷰티 처리를 수행하기 위해 뷰티 성분이 필요한 경우, 상기 뷰티 성분은 상기 대응하는 유형의 상기 뷰티 파라미터를 획득할 수 있고, 상기 뷰티 파라미터에 따라 상기 입력 이미지에 대해 뷰티 처리를 수행할 수 있다. 상기 적응 계층에 의해 선택된 상기 뷰티 파라미터에 따라 상기 입력 이미지에 대해 뷰티 처리를 수행한 후, 상기 처리 계층은 상기 처리된 이미지를 출력하고 상기 처리된 이미지를 디스플레이 스크린 상에 디스플레이 할 수 있다.

도 3을 참조하면, 본 발명의 실시 예에서 이미지 처리 방법이 제공된다. 상기 이미지 처리 방법은 블록들(310 내지 350)에서 다음 동작들을 포함한다.

블록(310)에서, 처리될 이미지에 대해 얼굴 인식이 수행된다.

전자 장치는 상기 처리될 이미지를 획득할 수 있다. 상기 처리될 이미지는 디스플레이 스크린 상에서 미리 보기가 될 수 있는 미리 보기 이미지일 수 있고, 상기 미리 보기 이미지는 카메라와 같은 이미징 장치를 통해 상기 전자 장치에 의해 획득될 수 있다. 상기 처리될 이미지는 또한 생성되어 저장된 이미지일 수 있다. 상기 전자 장치는 상기 처리될 이미지에 대한 얼굴 인식을 수행하여 상기 처리될 이미지가 인물 사진인지 여부를 판단할 수 있다. 상기 전자 장치는 상기 처리될 이미지의 이미지 특징을 추출하고, 미리 설정된 얼굴 인식 모델을 통해 상기 이미지 특징을 분석하여 상기 처리될 이미지가 얼굴을 포함하는지 여부를 판단할 수 있다. 상기 처리될 이미지가 얼굴을 포함한다고 판단하면, 상기 전자 장치는 상기 처리될 이미지가 상기 인물 사진을 포함하는 것으로 판단할 수 있다. 상기 이미지 특징은 형상 특징(shape feature), 공간적 특징(spatial feature), 엣지 특징(edge feature) 등을 포함할 수 있다. 본 예에서, 상기 형상 특징은 상기 처리될 이미지의 일부의 형상을 나타내고, 상기 공간적 특징은 상기 처리될 이미지에서 분할된 다수의 영역들 사이의 공간적 위치 또는 상대적 방향 관계를 나타내며, 상기 엣지 특징은 상기 처리될 이미지에서 2개의 영역들 사이의 경계 픽셀 등을 나타낸다.

일 실시 예에서, 상기 얼굴 인식 모델은 기계 학습(machine learning)을 통해 미리 구성된 의사 결정 모델(decision-making model)일 수 있다. 상기 얼굴 인식 모델이 구성되면, 다수의 샘플 이미지들이 획득될 수 있고, 상기 샘플 이미지들은 얼굴의 이미지들 및 비-인물 사진(no-portrait) 이미지들을 포함한다. 상기 샘플 이미지들은 각각의 샘플 이미지가 얼굴을 포함하는지 여부에 관한 판단에 따라 마킹될 수 있다. 상기 마킹된 샘플 이미지들은 상기 얼굴 인식 모델의 입력으로서 취해지고, 기계 학습을 통해 훈련이 수행되어 얼굴 인식 모델을 획득한다.

블록(320)에서, 상기 처리될 이미지가 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 촬영 거리가 획득된다.

상기 전자 장치가 상기 처리될 이미지에 상기 인물 사진이 포함된 것을 검출하면, 상기 처리될 이미지에 포함된 상기 인물 사진의 상기 촬영 거리가 획득될 수 있다. 상기 촬영 거리는 상기 처리될 이미지가 획득될 때 상기 카메라의 상기 인물 사진과 이미징 평면 사이의 거리를 나타낼 수 있고, 상기 촬영 거리는 또한 상기 처리될 이미지가 획득될 때 상기 인물 사진과 상기 전자 장치 사이의 거리일 수 있다.

일 실시 예에서, 상기 처리될 이미지는 상기 전자 장치에 의해 상기 카메라를 통해 획득된 미리 보기 이미지일 수 있고, 상기 미리 보기 이미지가 상기 디스플레이 스크린 상에 디스플레이될 수 있다. 상기 이미지가 획득되면, 상기 전자 장치는 거리 센서(distance sensor)를 통해 상기 인물 사진의 상기 촬영 거리를 실시간으로 획득할 수 있다. 적어도 일 실시 예에서, 상기 거리 센서가 빛을 외부로 방출 할 수 있고, 상기 인물 사진에 의해 상기 빛이 반사되는 시간을 측정한 다음, 상기 시간에 따라 상기 인물 사진의 상기 촬영 거리를 판단할 수 있다. 상기 전자 장치는 또한 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리를 획득하기 위해 다른 방식을 채택할 수 있으며, 본 명세서에서 제한되지 않을 것이다.

블록(330)에서, 상기 촬영 거리가 미리 설정된 거리 조건을 충족하는지 판단한 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계가 획득된다.

상기 전자 장치는 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 미리 설정된 거리 조건을 만족하는지 판단할 수 있다. 상기 거리 조건은 상기 획득된 이미지가 블러링될 수 있는 거리 범위를 나타낸다. 상기 거리 조건은 필요에 따라 미리 설정될 수 있다. 하나 이상의 거리 조건들이 있을 수 있으며, 각 거리 조건은 특정 거리 범위에 대응할 수 있다. 상기 전자 장치는 상기 처리될 이미지 내의 상기 인물 사진의 상기 촬영 거리를 각각의 거리 조건에 대응하는 상기 거리 범위와 비교할 수 있고, 상기 인물 사진들의 상기 촬영 거리가 상기 거리 범위 내에 있는지 여부를 판단한다. 상기 인물 사진의 상기 촬영 거리가 상기 거리 범위 내에 있다고 판단되면, 상기 전자 장치는 상기 대응하는 거리 조건이 충족된 것으로 판단할 수 있다. 예를 들어, 30센티미터보다 작고 60센티미터보다 큰 두 가지 거리 조건들이 미리 설정될 수 있다. 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 20센티미터인 경우, 30센티미터보다 작은 상기 거리 조건이 충족된다.

일 실시 예에서, 상기 전자 장치가 상기 이미지를 획득하기 위해 상기 카메라를 켜면, 본 시나리오에서 이미지들의 다중 프레임들이 먼저 획득될 수 있고, 상기 획득된 이미지들의 다중 프레임들에서 각각의 샷 피사체의 촬영 거리가 획득될 수 있다. 이어서, 상기 획득된 이미지들의 다중 프레임들에서 각각의 샷 피사체의 샤프니스(sharpness)가 검출될 수 있고, 상기 거리 조건은 상기 샤프니스에 따라 판단된다. 상기 전자 장치는 본 시나리오에서 상기 샤프니스가 미리 설정된 값보다 낮은 상기 샷 피사체를 획득하고, 상기 샷 피사체의 상기 촬영 거리에 따라 상기 거리 조건을 판단할 수 있다. 예를 들어, 본 시나리오에서 상기 전자 장치에 의해 획득된 샷 피사체가 상기 미리 설정된 값보다 샤프니스가 낮고 상기 피사체의 상기 촬영 거리가 25센티미터인 경우, 상기 전자 장치는 상기 거리 조건을 25센티미터보다 작은 것으로 직접 판단할 수 있다. 상기 전자 장치는 또한 상기 샷 피사체의 상기 샤프니스에 따라 플로팅 값(floating value)을 설정할 수 있고, 이어서 상기 플로팅 값 및 상기 샷 피사체의 상기 촬영 거리에 따라 상기 거리 조건을 판단한다. 상기 샤프니스가 낮으면 상기 플로팅 값이 더 클 수 있다. 상기 샤프니스가 높고 상기 미리 설정 값에 더 가까운 경우, 상기 플로팅 값이 더 작을 수 있다. 예를 들어, 본 시나리오에서 상기 전자 장치에 의해 획득된 샷 피사체가 상기 미리 설정된 값보다 샤프니스가 낮고 상기 샷 피사체의 상기 촬영 거리가 25센티미터인 경우, 상기 전자 장치는 상기 샷 피사체의 상기 샤프니스에 따라 상기 플로팅 값을 5센티미터로 설정하고, 상기 거리 조건을 30센티미터보다 작은 것으로 판단할 수 있다.

상이한 거리 조건들은 상이한 파라미터 관계들과 일치할 수 있고, 상기 파라미터 관계는 상기 거리 조건들과 상기 뷰티 파라미터들 사이의 대응 관계를 설명하도록 구성될 수 있다. 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하면, 상기 인물 사진의 상기 촬영 거리가 변경됨에 따라 상기 뷰티 파라미터가 변경될 수 있으며, 상기 뷰티 파라미터의 변경 프로세스는 상기 충족된 거리 조건과 매칭되는 상기 파라미터 관계와 일치할 수 있다. 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하면, 상기 전자 장치는 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계를 획득하고, 상기 매칭되는 파라미터 관계에 따라 상기 촬영 거리에 대응하는 상기 뷰티 파라미터를 선택할 수 있다.

블록(340)에서, 상기 촬영 거리에 대응하는 뷰티 파라미터는 상기 파라미터 관계에 따라 선택된다.

상기 전자 장치는 상기 충족된 거리 조건과 매칭되는 상기 파라미터 관계에 따라 상기 인물 사진의 상기 촬영 거리에 대응되는 상기 뷰티 파라미터를 선택할 수 있다. 본 예에서, 상기 뷰티 파라미터는 화이트닝 파라미터, 필터링 파라미터, 눈 확대 파라미터, 얼굴-성형 파라미터 등을 포함할 수 있지만, 이에 제한되지는 않는다. 일 실시 예에서, 상이한 거리 조건들에서, 상기 인물 사진의 상기 촬영 거리가 상이한 유형들의 상기 뷰티 파라미터들에 영향을 줄 수 있고, 상기 촬영 거리의 영향에 따라 상기 촬영 거리에 의한 영향을 받는 상기 뷰티 파라미터가 변경될 수 있다. 예를 들어, 30센티미터보다 작고 60센티미터보다 큰 두 가지 거리 조건들이 미리 설정될 수 있다. 30센티미터보다 작은 상기 거리 조건은 상기 화이트닝 파라미터, 상기 필터링 파라미터 및 상기 눈 확대 파라미터에 영향을 줄 수 있는 반면, 60센티미터보다 큰 거리 조건은 상기 화이트닝 파라미터 및 상기 필터링 파라미터에 영향을 줄 수 있다. 그러나, 본 명세서에서 별다른 제한이 없다.

상기 미리 설정된 거리 조건에서, 상이한 유형들의 상기 뷰티 파라미터들은 상기 촬영 거리와 상이한 파라미터 관계를 형성할 수 있다. 상기 인물 사진의 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하면, 상기 전자 장치는 먼저 상기 충족된 거리 조건에 대응하는 뷰티 파라미터 유형들을 획득할 수 있고, 그런 다음 상기 뷰티 파라미터 유형들과 매치되는 파라미터 관계들을 획득하며, 상기 획득된 각각의 파라미터 관계에 따라 상기 대응하는 유형의 상기 뷰티 파라미터를 선택할 수 있다. 예를 들어, 상기 처리할 이미지에서 상기 인물 사진의 상기 촬영 거리가 30센티미터보다 작은 상기 거리 조건을 충족하고, 상기 거리 조건 하에서 상기 촬영 거리는 상기 화이트닝 파라미터, 필터링 파라미터 및 눈 확대 파라미터에 영향을 줄 수 있다. 따라서, 상기 전자 장치는 상기 화이트닝 파라미터, 필터링 파라미터 및 눈 확대 파라미터와 각각의 파라미터 관계를 획득하고, 상기 획득된 파라미터 관계에 따라 각각 상기 촬영 거리에 대응하는 뷰티 파라미터들을 선택할 수 있다.

블록(350)에서, 상기 뷰티 처리는 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 수행된다.

상기 전자 장치는 상기 선택된 뷰티 파라미터에 따라 상기 처리될 이미지 내의 상기 인물 사진에 대해 뷰티 처리를 수행할 수 있다. 상기 뷰티 처리는 화이트닝 처리, 필터링 처리, 눈 확대 처리 등을 포함할 수 있지만, 이에 제한되지는 않는다. 본 예에서, 화이트닝 처리는 상기 화이트닝 파라미터에 따라 상기 인물 사진의 피부 영역에서 각 픽셀의 컬러 값을 조절하는 것을 나타낼 수 있고, 상기 컬러 값은 RGB(Red, Green and Blue), Hue, Saturation and Value(HSV), Luma and Chroma(YUV) 등의 컬러 공간에서 상기 픽셀의 값일 수 있으며, 필터링 처리는 타깃 윈도우를 선택하고 상기 타깃 윈도우에 따라 상기 인물 사진의 상기 피부 영역에 대해 필터링 처리를 수행하는 것을 나타낼 수 있으며, 눈 확대 처리는 얼굴의 눈 영역에 부분 확대 처리를 수행하는 것을 나타낼 수 있다. 그러나, 본 명세서에서는 별다른 제한이 없다.

본 실시 예에서, 상기 처리될 이미지가 상기 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 상기 촬영 거리가 획득되며, 상기 촬영 파라미터가 상기 미리 설정된 거리 조건을 충족하면, 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계가 획득된다. 이어서, 상기 촬영 거리에 대응하는 상기 뷰티 파라미터가 상기 파라미터 관계에 따라 선택되고, 뷰티 처리는 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 수행된다. 따라서, 상기 촬영 거리에 따라 상기 뷰티 파라미터를 적응적으로 선택하여 뷰티 효과를 향상시키고 상기 이미지에 대해 보다 나은 시각적 디스플레이 효과를 획득할 수 있다.

도 4를 참조하면, 일 실시 예에서, 상기 인물 사진의 상기 촬영 거리가 획득되는 상기 동작은 블록들(402 및 404)에서의 다음 작업들을 포함한다.

블록(402)에서, 상기 인물 사진의 얼굴 영역이 획득되고, 상기 처리될 이미지에서 상기 얼굴 영역의 비율(proportion)이 계산된다.

상기 전자 장치는 상기 처리될 이미지에 대해 얼굴 인식을 수행하고, 상기 처리될 이미지가 상기 얼굴을 포함하는 것을 검출한 결과로써, 상기 얼굴 영역을 판단할 수 있다. 적어도 일 실시 예에서, 상기 얼굴 영역은 정사각형 또는 직사각형일 수 있다. 상기 전자 장치는 상기 얼굴 영역의 면적을 계산하고, 상기 처리될 이미지의 영역에 대한 상기 얼굴 영역의 상기 면적의 일부를 계산할 수 있다. 상기 얼굴 영역의 면적은 상기 비율을 획득하기 위해 상기 처리될 이미지의 상기 면적에 의해 분할될 수 있다.

블록(404)에서, 상기 비율에 대응하는 상기 촬영 거리는 미리 설정된 대응 관계에 따라 획득된다.

상기 처리될 이미지에서 상기 얼굴 영역의 상이한 비율들은 상이한 촬영 거리들에 대응할 수 있다. 상기 전자 장치는 상기 미리 설정된 대응 관계에 따라 상기 계산된 비율에 대응되는 상기 촬영 거리를 획득할 수 있다. 일 실시 예에서, 상기 미리 설정된 대응 관계가 [표 1]에 도시되어 있다.

비율	90%	80%	60	50%	20%	15%
촬영 거리	10센티미터	20센티미터	35센티미터	50센티미터	1미터	1.5미터

이해할 수 있는 점은, 상기 처리될 이미지의 상기 면적에서 상기 얼굴 영역의 상기 면적의 비율과 상기 촬영 거리 사이의 대응 관계는 [표 1]에 제한되지 않는다. 다른 대응 관계가 있을 수 있으며, 여기에서 제한되지는 않을 것이다.

도 5는 본 발명의 일 실시 예에 따른 얼굴 영역의 비율에 기초하여 촬영 거리를 획득하는 모식도이다. 도 5를 참조하면, 상기 전자 장치가 서로 다른 촬영 거리들에서 상기 카메라를 통해 동일한 인물 사진을 촬영하는 상기 동작을 통해 이미지 A, 이미지 B 및 이미지 C가 획득될 수 있다. 상기 전자 장치는 상기 이미지 A를 획득하고, 상기 이미지 A에 대한 얼굴 인식을 수행하며, 얼굴 영역(502)을 판단하며, 상기 얼굴 영역(502)의 면적을 계산하며, 상기 이미지 A의 면적에서 상기 얼굴 영역(502)의 상기 면적의 비율을 계산할 수 있다. 일 실시 예에서, 상기 이미지 A의 상기 얼굴 영역(502)의 상기 면적 대 상기 이미지 A의 상기 면적의 상기 비율이 80%인 경우, 상기 대응하는 촬영 거리가 20센티미터인 것으로 획득될 수 있다. 상기 전자 장치는 상기 이미지 B를 획득하고, 상기 이미지 B에서 얼굴 인식을 수행하며, 얼굴 영역(504)을 판단하고, 상기 얼굴 영역(504)의 면적을 계산하며, 상기 이미지 B의 면적에서 상기 얼굴 영역(504)의 상기 면적의 비율을 계산할 수 있다. 일 실시 예에서, 상기 이미지 B의 상기 얼굴 영역(504)의 상기 면적 대 상기 이미지 B의 상기 면적의 상기 비율이 40%인 경우, 상기 해당 촬영 거리가 70센티미터인 것으로 획득될 수 있다. 상기 전자 장치는 상기 이미지 C를 획득하고, 상기 이미지 C에서 얼굴 인식을 수행하며, 얼굴 영역(506)을 판단하며, 상기 얼굴 영역(506)의 면적을 계산하고, 상기 이미지 C의 면적에서 얼굴 영역(506)의 상기 면적의 비율을 계산할 수 있다. 일 실시 예에서, 상기 이미지 C의 상기 얼굴 영역(506)의 상기 면적 대 상기 이미지 C의 상기 면적의 상기 비율이 15%인 경우, 상기 해당 촬영 거리가 1.5 미터인 것으로 획득될 수 있다.

일 실시 예에서, 상기 처리될 이미지에서 상기 얼굴 영역의 상기 비율을 계산한 후, 상기 전자 장치는 상기 처리될 이미지를 획득하기 위해 상기 카메라의 초점 길이 정보를 획득하고, 상기 초점 길이 정보와 매치되는 상기 대응하는 관계를 획득하며, 그러고 나서 상기 일치하는 대응 관계에 따라 상기 비율에 대응하는 상기 촬영 거리를 획득할 수 있다. 상기 초점 길이는 광학 시스템에서 빛의 집중 또는 발산을 측정하는 측정 방식이고, 렌즈의 광학 중심으로부터 평행 광의 입사 동안 상기 광이 집중되는 초점까지의 거리를 말한다. 상기 카메라의 상이한 초점 길이 정보는 상이한 촬영 시야각 범위들을 나타낸다. 초점 길이가 상이한 경우, 상기 처리될 이미지의 상기 면적에 대한 상기 얼굴 영역의 상기 면적의 상기 비율과 상기 촬영 거리 사이에는 대응하는 관계가 상이할 수 있다. 상기 처리될 상기 이미지에서 상기 얼굴 영역의 동일한 비율로 상기 초점 길이가 길면 상기 대응하는 촬영 거리가 길어진다. 예를 들어, 상기 처리될 이미지에서 상기 얼굴 영역의 상기 비율은 80%이다. 상기 카메라의 상기 초점 길이 정보가 16밀리미터인 경우, 상기 해당 촬영 거리는 20센티미터이다. 상기 카메라의 초점 길이 정보가 2밀리미터인 경우, 상기 대응하는 촬영 거리는 45센티미터이다.

본 실시 예에서, 상기 인물 사진의 상기 촬영 거리는 상기 처리될 이미지에서 상기 얼굴 영역의 상기 비율에 따라 획득될 수 있고, 따라서 상기 촬영 거리에 따라 상기 뷰티 파라미터의 후속 적응적으로 선택을 용이하게 하기 위해 상기 촬영 거리가 정확하게 획득될 수 있다. 따라서, 상기 뷰티 효과가 향상될 수 있고, 상기 이미지에 대한 보다 나은 시각적 디스플레이 효과가 달성될 수 있다.

도 6을 참조하면, 일 실시 예에서, 상기 인물 사진의 상기 촬영 거리가 획득되는 상기 동작은 블록들(602 내지 606)에서의 다음의 작업들을 포함한다.

블록(602)에서, 상기 처리될 이미지의 거리 정보가 획득된다.

상기 전자 장치는 상기 처리될 이미지 내의 각 픽셀의 거리 정보를 획득할 수 있다. 본 실시 예에서, 상기 거리 정보는 상기 처리될 이미지 내의 각 피사체와 상기 전자 장치 사이의 거리를 나타낼 수 있다. 일 실시 예에서, 상기 전자 장치의 후면에는 제1카메라 및 제2카메라를 포함하는 두 카메라들이 배치될 수 있다. 상기 제1카메라와 상기 제2카메라는 수평 좌우 배열을 형성하기 위해 동일한 수평선 상에 배열될 수 있고, 수직 상하 배열을 형성하기 위해 동일한 수직선 상에 배열될 수도 있다. 본 실시 예에서, 상기 제1카메라와 상기 제2카메라는 해상도들이 상이한 카메라들일 수 있다. 상기 제1카메라는 비교적 높은 해상도를 가지며 주로 이미징을 위해 구성된 카메라일 수 있고, 상기 제2카메라는 비교적 낮은 해상도를 가지며 상기 획득된 이미지의 상기 거리 정보를 획득하도록 구성된 보조 카메라일 수 있다.

더욱이, 상기 전자 장치는 상기 제1카메라를 통해 시나리오의 제1이미지를 획득할 수 있고, 상기 제2카메라를 통해 동일한 시나리오의 제2이미지를 동시에 획득하며, 상기 제1이미지 및 상기 제2이미지를 보정(correct) 및 교정(calibrate)할 수 있다. 이어서, 상기 전자 장치는 상기 보정 및 교정된 제1이미지 및 제2이미지를 합성하여, 상기 처리될 이미지를 획득할 수 있다. 상기 전자 장치는 상기 보정 및 교정된 제1이미지 및 제2이미지에 따라 시차 이미지(parallax image)를 생성한 후 상기 처리될 이미지의 거리 맵(distance map)을 생성할 수 있다. 상기 거리 맵은 상기 처리될 이미지에서 각 픽셀의 거리 정보를 포함할 수 있다. 상기 거리 맵에서, 대략적인 거리 정보를 가지는 영역들은 동일한 컬러로 채워질 수 있고, 컬러 변화는 거리의 변화를 반영할 수 있다. 일 실시 예에서, 상기 전자 장치는 상기 제1카메라와 상기 제2카메라의 광학 중심들 사이의 거리, 수평선 상의 상기 광학 중심들의 높이 차이, 두 카메라들의 렌즈 높이 차이 등에 따라 보정 파라미터를 계산할 수 있고, 상기 보정 파라미터에 따라 상기 제1이미지 및 상기 제2이미지를 보정 및 교정한다.

상기 전자 장치는 상기 제1이미지 및 상기 제2이미지에서 동일한 샷 피사체의 시차를 계산하고, 상기 시차에 따라 상기 처리될 이미지에서 상기 샷 피사체의 거리 정보를 획득한다. 본 예에서, 상기 시차는 동일한 타깃이 두 지점들에서 관찰될 때 형성된 방향 차이를 나타낸다. 도 7은 일 실시 예에 따른 거리 정보를 계산하는 모식도이다. 도 7을 참조하면, 상기 제1카메라와 상기 제2카메라는 동일한 수평선 상에 좌우로 배열되고, 상기 두 카메라의 기본 광학 축들은 평행하며, 상기 제1카메라 및 상기 제2카메라의 상기 광학 중심들은 각각 OL 및 OR이고, 상기 광학 중심들과 대응하는 이미지 표면들 사이의 최단 거리는 초점 길이들 f이다. P가 세계측지계(world coordinate system)의 한 지점이라면, 상기 좌측 위상 표면과 상기 우측 위상 표면 상의 이미징 지점들은 PL 및 PR이고, 상기 PL 및 상기 PR로부터 각각의 이미지 표면들의 좌측 엣지까지의 거리는 각각 XL 및 XR이다. 따라서 P의 시차는 XL-XR 또는 XR-XL이다. 상기 제1카메라의 광학 중심(OL)과 상기 제2카메라의 광학 중심(OR) 사이의 거리는 b이고, 상기 지점(P)의 거리(Z)는 상기 OL과 상기 OR 사이의 상기 거리(b), 상기 초점 길이(f) 및 상기 시차(XL-XR 또는 XR-XL)에 따라 계산될 수 있으며, 그 계산 방법은 다음 공식(1)으로 표현된다:

또는

(1)

상기 전자 장치는 상기 제1이미지 및 상기 제2이미지에 대한 특징점 매칭을 수행하고, 상기 제1이미지의 특징점을 추출하며, 상기 제2이미지의 해당 행(row)으로부터 최적의 매칭 점을 찾을 수 있다. 고려될 수 있는 점은, 상기 제1이미지의 상기 특징점 및 상기 제2이미지의 상기 대응하는 최적 매칭점은 각각 상기 제1이미지 및 상기 제2이미지에서 동일한 이미징 지점들이다. 이어서, 상기 제1이미지의 상기 특징점과 상기 제2이미지의 상기 대응하는 최적의 매칭점 사이의 시차가 계산되어 시차 이미지를 생성할 수 있고, 상기 처리될 이미지 내의 각 픽셀의 상기 거리 정보는 공식(1)에 따라 계산될 수 있다.

다른 실시 예에서, 상기 처리될 이미지의 상기 거리 정보는 또한 다른 방식으로 획득될 수 있다. 예를 들어, 상기 처리될 이미지의 상기 거리 정보는 구조 광(structured light), TOF(Time of Flight) 등의 방식으로 계산될 수 있다. 그러나 이에 제한되지는 않는다.

블록(604)에서, 상기 인물 사진의 상기 얼굴 영역의 평균 거리는 상기 거리 정보에 따라 계산된다.

상기 처리될 이미지의 상기 얼굴 영역을 판단한 후, 상기 전자 장치는 상기 얼굴 영역에서 각 픽셀의 상기 거리 정보(즉, 상기 거리 값 z)를 획득하고, 상기 얼굴 영역의 상기 평균 거리를 계산할 수 있다. 예를 들어, 상기 얼굴 영역에 있는 모든 픽셀들의 거리 값들은 평균적이고, 상기 평균 값은 상기 얼굴 영역의 상기 평균 거리(average distance)로 판단될 수 있다.

블록(606)에서, 상기 인물 사진의 상기 촬영 거리는 상기 평균 거리에 따라 판단된다.

상기 전자 장치는 상기 인물 영역의 상기 평균 거리를 상기 인물 사진의 상기 촬영 거리로 직접 취할 수 있다. 상기 전자 장치는 또한 상기 얼굴 영역의 평균 거리와 인물 사진의 촬영 거리 사이의 대응 관계를 확립할 수 있으며, 상기 대응 관계에 따라 상기 얼굴 영역의 상기 평균 거리에 대응하는 상기 촬영 거리를 획득한다. 예를 들어, 상기 처리될 이미지에서 상기 얼굴 영역의 상기 평균 거리는 50센티미터이고, 상기 인물 사진의 상기 촬영 거리가 50센티미터인 것으로 직접 판단될 수 있다. 다른 예에서, 상기 얼굴 영역의 상기 평균 거리와 상기 인물 사진의 상기 촬영 거리 사이의 상기 대응 관계가 미리 설정되고, 50센티미터의 상기 얼굴 영역의 상기 평균 거리에 대응하는 상기 촬영 거리는 상기 대응하는 관계에 따라 60센티미터일 수 있다. 그러나, 여기에 별다른 제한은 없다.

본 실시 예에서, 상기 인물 사진의 상기 촬영 거리는 상기 처리될 이미지의 상기 거리 정보에 따라 판단되어, 상기 촬영 거리에 따른 상기 뷰티 파라미터의 후속 적응형 선택을 용이하게 한다. 따라서, 상기 뷰티 효과가 향상될 수 있고, 상기 이미지에 대한 보다 나은 시각적 디스플레이 효과가 달성될 수 있다.

도 8을 참조하면, 일 실시 예에서, 블록(330)에서, 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족한다는 판단의 결과로써, 상기 충족된 거리 조건과 매칭되는 상기 파라미터 관계가 획득되는 상기 동작은 블록들(802 및 804)에서의 다음 작업들을 더 포함한다.

블록(802)에서, 상기 촬영 거리가 제1거리 임계 값보다 작은 경우, 상기 촬영 거리들 및 뷰티 파라미터들 사이의 양의 상관 관계를 포함하는 파라미터 관계가 획득된다.

상기 전자 장치는 거리 조건들을 미리 설정하고, 각각의 거리 조건은 특정 거리 범위에 대응할 수 있다. 상기 거리 범위는 거리 임계 값을 포함할 수 있고, 상기 거리 임계 값은 상기 처리될 이미지에서 인물 사진의 상기 촬영 거리가 상기 거리 조건을 충족하는지 여부를 판단하도록 구성될 수 있다. 일 실시 예에서, 상기 전자 장치는 두 개의 거리 조건들을 설정할 수 있으며, 상기 제1거리 조건은 상기 제1거리 임계 값보다 작을 수 있고, 상기 제2거리 조건은 제2거리 임계 값보다 클 수 있다.

상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 제1거리 임계 값보다 작은 경우, 상기 촬영 거리가 상기 제1거리 조건을 충족하고, 상기 제1거리 조건의 파라미터 관계가 획득될 수 있고, 여기서 상기 파라미터 관계는 상기 촬영 거리들과 상기 뷰티 파라미터들 사이의 상기 양의 상관 관계일 수 있다. 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 제1거리 임계 값보다 작은 경우, 촬영 거리가 짧을수록, 상기 획득될 이미지가 더 블러링될 수 있고, 상기 촬영 거리가 감소함에 따라 상기 뷰티 파라미터가 감소될 수 있다.

블록(804)에서, 상기 촬영 거리가 제2거리 임계 값보다 클 경우, 상기 촬영 거리들 및 뷰티 파라미터들 사이의 음의 상관 관계를 포함하는 파라미터 관계가 획득된다.

상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 제2거리 임계 값보다 큰 경우, 상기 촬영 거리가 제2거리 조건을 충족하고, 상기 제2거리 조건의 파라미터 관계가 획득될 수 있으며, 상기 파라미터 관계는 상기 촬영 거리들 및 상기 뷰티 파라미터들 사이의 상기 음의 상관 관계일 수 있다. 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 제2거리 임계 값보다 큰 경우, 상기 촬영 거리가 길어질수록 상기 획득한 이미지를 더 블러링 처리할 수 있고, 상기 촬영 거리가 증가할수록 상기 뷰티 파라미터가 감소할 수 있다. 또한, 상기 제1거리 임계 값 및 상기 제2거리 임계 값에 대응하는 상기 파라미터 관계들은 선형 관계들일 수 있다.

도 9(a)는 본 발명의 실시 예에 따라 상기 촬영 거리가 제1거리 임계 값보다 작은 경우, 뷰티 파라미터들 및 촬영 거리들 사이의 파라미터 관계의 모식도이다. 도 9(a)를 참조하면, 상기 촬영 거리가 상기 제1거리 임계 값보다 작은 경우, 상기 촬영 거리는 상기 제1거리 조건을 충족하고, 상기 촬영 거리는 상기 뷰티 파라미터와 양의 상관 관계를 형성할 수 있으며, 상기 촬영 거리가 감소함에 따라 상기 뷰티 파라미터가 감소될 수 있다. 또한, 상기 양의 상관 관계는 선형 관계일 수 있다.

도 9(b)는 본 발명의 일 실시 예에 따라 상기 촬영 거리가 제2거리 임계 값보다 큰 경우, 뷰티 파라미터들과 촬영 거리들 사이의 파라미터 관계의 모식도이다. 도 9(b)를 참조하면, 상기 촬영 거리가 상기 제2거리 임계 값보다 큰 경우, 상기 촬영 거리가 상기 제2거리 조건을 충족하고, 상기 촬영 거리는 상기 뷰티 파라미터와 상기 음의 상관 관계를 형성할 수 있고, 상기 촬영 거리가 증가할수록 상기 뷰티 파라미터가 감소할 수 있다. 또한, 상기 음의 상관 관계는 선형 관계일 수 있다. 이해할 수 있는 점은, 상기 뷰티 파라미터들과 상기 촬영 거리들 사이의 상기 파라미터 관계는 도 9(a) 및 도 9(b)에 도시된 관계로 제한되지 않고, 또 다른 관계일 수 있다.

일 실시 예에서, 상기 전자 장치는 상기 처리될 이미지를 획득하기 위해 상기 카메라의 상기 초점 길이 정보를 획득하고, 상기 초점 길이 정보에 따라 상기 제1거리 임계 값 및 상기 제2거리 임계 값을 판단할 수 있다. 상기 초점 길이들이 상이한 카메라들의 경우, 촬영 거리들이 상이할 수 있으며, 촬영 샤프니스를 보장할 수 있는 거리 범위 역시 상이하다. 상기 초점 길이가 비교적 큰 경우, 비교적 가까운 피사체는 획득될 때 블러링될 수 있고, 상기 대응하는 제1거리 임계 값 및 제2거리 임계 값은 비교적 클 수 있다. 상기 초점 길이가 비교적 작은 경우, 비교적 멀리 있는 피사체는 획득될 때 블러링될 수 있고, 상기 대응하는 제1거리 임계 값 및 제2거리 임계 값은 비교적 작을 수 있다. 상기 제1거리 임계 값 및 상기 제2거리 임계 값은 상기 이미지를 획득하기 위한 상기 카메라의 초점 길이 정보에 따라 판단될 수 있으므로, 상기 선택된 뷰티 파라미터가 보다 정확할 수 있고 상기 뷰티 효과가 개선될 수 있다.

일 실시 예에서, 상기 미리 설정된 거리 조건을 충족하지 않는 경우 상기 촬영 거리는 상기 카메라의 선명한 이미징 범위에 속하고, 상기 획득된 처리될 이미지에서 상기 인물 사진의 상기 샤프니스가 비교적 높으며, 상기 촬영 거리는 상기 뷰티 파라미터에 영향을 미치지 않을 수 있다. 상기 촬영 거리가 상기 제1거리 임계 값 이상이고 상기 제2거리 임계 값 이하인 경우, 상기 전자 장치는 상기 처리될 이미지의 상기 얼굴 영역을 획득한 후, 상기 얼굴 영역의 상기 얼굴의 특징 정보를 추출할 수 있다. 이어서, 상기 전자 장치는 상기 얼굴의 특징 정보에 따라 상기 뷰티 파라미터를 선택하고, 상기 뷰티 파라미터에 따라 상기 처리될 이미지의 상기 얼굴 영역에 대해 뷰티 처리를 수행할 수 있다. 상기 얼굴의 특징 정보는 피부 컬러 특징, 피부 유형 특징, 얼굴 형태 특징, 5가지 감각 기관의 특징 등을 포함할 수 있지만, 이에 제한되지는 않는다. 본 예에서, 상기 피부 컬러 특징은 상기 얼굴의 상기 피부 영역에서 각 픽셀의 상기 컬러 값, 휘도 값 등의 정보를 포함할 수 있다. 상기 피부 유형 특징은 상기 얼굴의 상기 피부 영역의 텍스쳐 정보, 엣지 정보, 엣지 강도 등을 포함 할 수 있다. 상기 얼굴 형태 특징은 얼굴 윤곽 등을 형성하기 위한 특징점들의 정보를 포함할 수 있다. 상기 5가지 감각 기관의 특징은 상기 5가지 감각 기관 등의 형상들 및 위치들을 나타내는 특징점들의 정보를 포함할 수 있다.

일 실시 예에서, 상기 촬영 거리가 상기 제1거리 임계 값 이상이고 상기 제2거리 임계 값 이하인 경우, 상기 전자 장치는 상기 처리될 상기 이미지의 상기 얼굴 영역을 획득하고 상기 얼굴 영역의 상기 피부 영역을 판단할 수 있다. 이어서, 상기 전자 장치는 상기 피부 영역의 상기 피부 유형 특징을 추출하고, 미리 설정된 분류 모델(classification model)을 통해 상기 피부 유형 특징을 분석하여 피부 유형 레벨을 획득할 수 있다. 상기 전자 장치는 상기 피부 유형 레벨에 대응하는 상기 필터링 파라미터를 획득하고, 상기 필터링 파라미터에 따라 상기 피부 영역에 대한 필터링 처리를 수행할 수 있다. 상기 분류 모델은 기계 학습에 의해 미리 구성될 수 있다. 일 실시 예에서, 상기 전자 장치는 상기 분류 모델을 미리 구성하고, 다수의 샘플 이미지들을 획득할 수 있으며, 피부 유형 레벨은 각각의 샘플 이미지에서 마킹된다. 적어도 일 실시 예에서, 상기 피부 유형 레벨들은 요건에 따라 분할될 수 있다. 얼굴 피부가 비교적 매끄럽고 깨끗하다면 상기 샘플 이미지에서의 상기 얼굴 피부는 상대적으로 낮은 피부 유형 레벨에 대응할 수 있다. 얼굴 피부가 더 많은 기미들, 여드름들 또는 주름들을 포함하고 더 많은 결점들(blemishes)을 가지는 경우 상기 샘플 이미지에서의 얼굴 피부는 비교적 높은 피부 유형 레벨에 대응할 수 있다. 상기 전자 장치는 상기 분류 모델(classification model)의 입력으로 상기 샘플 이미지를 촬영하여 상기 분류 모델을 구성하기 위한 기계 학습 등의 방식으로 훈련할 수 있다.

상기 전자 장치는 상기 피부 유형 레벨에 대응하는 상기 필터링 파라미터를 획득할 수 있다. 상이한 피부 유형 레벨들은 상이한 필터링 파라미터들에 대응할 수 있고, 상기 필터링 파라미터는 윈도우 반경(window radius )과 같은 파라미터를 포함할 수 있다. 상자 전자 장치는 상기 피부 유형 레벨에 대응하는 상기 윈도우 반경을 획득하고, 상기 윈도우 반경에 대응하는 타깃 윈도우를 선택할 수 있으며, 상기 타깃 윈도우에 따라 상기 피부 영역에 대한 필터링 처리를 수행할 수 있다. 상기 필터링 처리는 엣지 보존 평활 필터링(edge-preserving smooth filtering), 양방향 필터링(bilateral filtering), 가우시안 필터링(Gaussian filtering) 등일 수 있다. 상기 필터링 파라미터가 상대적으로 크면, 대응하는 필터링 정도는 상대적으로 높으며, 상기 전자 장치는 필터링 처리를 위해 비교적 큰 윈도우 반경을 가지는 타깃 윈도우를 선택할 수 있다. 이러한 경우 비교적 우수한 평활 효과를 얻을 수 있지만, 정보 손실이 상대적으로 높다. 상기 필터링 파라미터가 상대적으로 작으면, 상기 해당 필터링 정도가 상대적으로 낮으며, 상기 전자 장치는 필터링 처리를 위해 비교적 작은 윈도우 반경을 가지는 타깃 윈도우를 선택할 수 있다. 이러한 경우 더 많은 정보를 예약할 수 있지만, 평활 효과가 상대적으로 저하된다. 상기 필터링 파라미터는 상기 피부 영역의 상기 피부 유형 레벨에 따라 적응적으로 선택되고, 상기 대응하는 필터링 정도는 상기 피부 영역의 실제 상태에 따라 선택될 수 있고, 이로써 지나치게 낮은 필터링 정도에 의해 야기되는 불량한 평활 효과의 상태, 지나치게 높은 필터링 정도에 의해 야기되는 피부 디테일의 손실 등이 감소된다.

본 실시 예에서, 상기 촬영 거리에 대응하는 상기 뷰티 파라미터는 상기 충족된 거리 조건과 매칭되는 상기 파라미터 관계에 따라 선택될 수 있고, 따라서 상기 뷰티 파라미터는 상기 촬영 거리에 따라 적응적으로 선택될 수 있다. 따라서, 상기 뷰티 효과가 향상될 수 있고 상기 이미지에 대한 더 나은 시각적 디스플레이 효과가 달성될 수 있다.

일 실시 예에서, 상기 이미지 처리 방법은 다음 동작을 더 포함한다. 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하면, 상기 촬영 거리에 대응하는 개선 계수(enhancement coefficient)가 획득되고, 상기 개선 계수에 따라 상기 인물 사진에 대해 샤프닝 처리가 수행된다.

상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하면, 상기 전자 장치는 상기 촬영 거리에 대응하는 상기 개선 계수를 획득하고 상기 개선 계수에 따라 상기 인물 사진을 선명하게 하여, 상기 인물 사진의 엣지 디테일들을 향상시키고 상기 인물 사진을 선명하게 할 수 있다. 또한, 상기 전자 장치는 상기 개선 계수에 따라 상기 인물 사진의 상기 얼굴 영역을 선명하게 할 수 있다. 상기 촬영 거리가 상기 제1거리 임계 값보다 작은 경우, 상기 개선 계수는 상기 촬영 거리와 음의 상관 관계를 형성할 수 있다. 상기 촬영 거리가 짧으면, 상기 해당 개선 계수가 더 높을 수 있다. 상기 촬영 거리가 상기 제2거리 임계 값보다 큰 경우, 상기 개선 계수는 상기 촬영 거리와 양의 상관 관계를 형성할 수 있다. 상기 촬영 거리가 길면, 상기 해당 개선 계수가 더 높을 수 있다.

일 실시 예에 따르면, 상기 전자 장치는 상기 촬영 거리가 상기 미리 설정된 거리 조건을 만족하는 경우, 상기 인물 사진의 상기 샤프니스를 획득할 수 있다. 그리고, 상기 전자 장치는 상기 샤프니스에 따라 상기 개선 계수를 선택하고, 상기 개선 계수에 따라 상기 인물 사진에 대해 샤프닝 처리를 수행할 수 있다.

본 실시 예에서, 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 미리 설정된 거리 조건을 만족하는 경우, 상기 이미지의 상기 인물 사진을 선명하게 하기 위해 상기 인물 사진에 대해 샤프닝 처리가 수행될 수 있어, 상기 이미지의 시각적 디스플레이 효과가 향상될 수 있다.

일 실시 예에서, 이미지 처리 방법이 제공된다. 방법은 다음의 동작들을 포함할 수 있다.

동작(1)에서, 상기 처리될 이미지에 대해 얼굴 인식이 수행된다.

단계(2)에서, 상기 처리될 이미지가 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 촬영 거리가 획득된다.

적어도 일 실시 예에서, 상기 인물 사진의 상기 촬영 거리를 획득하는 상기 동작은: 상기 인물 사진의 얼굴 영역이 획득되는 동작, 상기 처리될 이미지에서 상기 얼굴 영역의 비율을 계산하는 동작; 및 상기 비율에 대응하는 상기 촬영 거리를 미리 설정된 대응 관계에 따라 획득하는 동작을 포함한다.

적어도 일 실시 예에서, 상기 인물 사진의 상기 촬영 거리가 획득되는 상기 동작은: 상기 인물 사진의 상기 촬영 거리가 거리 센서를 통해 획득되는 동작을 포함한다.

적어도 일 실시 예에서, 상기 인물의 상기 촬영 거리를 획득하는 상기 동작은: 상기 처리될 이미지의 거리 정보를 획득하는 동작; 상기 인물 사진의 상기 얼굴 영역의 평균 거리를 상기 거리 정보에 따라 계산하는 동작; 및 상기 인물 사진의 상기 촬영 거리를 상기 평균 거리에 따라 판단하는 동작을 포함한다.

동작(3)에서, 상기 촬영 거리가 미리 설정된 거리 조건을 충족한다는 판단의 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계가 획득된다.

적어도 일 실시 예에서, 상기 촬영 거리가 제1거리 임계 값보다 작다는 판단의 결과로써, 상기 촬영 거리들과 뷰티 파라미터들 사이의 양의 상관 관계를 포함하는 파라미터 관계를 획득하고; 및 상기 촬영 거리가 제2거리 임계 값보다 크다는 판단의 결과로써, 촬영 거리들과 뷰티 파라미터들 사이의 음의 상관 관계를 포함하는 파라미터 관계를 획득한다.

적어도 일 실시 예에서, 동작(3) 전에, 상기 방법은: 상기 처리될 이미지를 획득하기 위한 카메라의 초점 길이 정보를 획득하는 동작, 및 상기 제1거리 임계 값 및 상기 제2거리 임계 값을 상기 초점 길이 정보에 따라 판단하는 동작을 포함한다.

동작(4)에서, 상기 촬영 거리에 대응하는 뷰티 파라미터는 상기 파라미터 관계에 따라 선택된다.

동작(5)에서, 상기 뷰티 파라미터는 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 수행된다.

동작(6)에서, 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하는 경우, 상기 촬영 거리에 대응하는 개선 계수를 획득하고, 상기 개선 계수에 따라 상기 인물 사진에 대해 샤프니스 처리를 수행한다.

본 실시 예에서, 상기 처리될 이미지가 상기 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 상기 촬영 거리가 획득된다. 상기 촬영 파라미터가 상기 미리 설정된 거리 조건을 충족하면, 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계가 획득되고, 상기 촬영 거리에 대응하는 상기 뷰티 파라미터는 상기 파라미터 관계에 따라 선택되며, 뷰티 처리는 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 수행된다. 따라서, 상기 촬영 거리에 따라 상기 뷰티 파라미터를 적응적으로 선택할 수 있어, 뷰티 효과를 향상시킬 수 있으며, 상기 이미지에 대해 더 나은 시각적 디스플레이 효과가 달성될 수 있다.

도 10을 참조하면, 본 발명의 실시 예는 이미지 처리 장치(1000)를 제공한다. 상기 이미지 처리 장치(1000)는 인식 모듈(recognition module)(1010), 거리 획득 모듈(distance acquisition module)(1020), 관계 획득 모듈(relationship acquisition module)(1030), 파라미터 선택 모듈(parameter selection module)(1040) 및 처리 모듈(processing module)(1050)을 포함한다.

상기 인식 모듈(1010)은 처리될 이미지에 대해 얼굴 인식을 수행하도록 구성될 수 있다.

상기 거리 획득 모듈(1020)은 상기 처리될 이미지가 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 촬영 거리를 획득하도록 구성될 수 있다.

적어도 일 실시 예에서, 상기 거리 획득 모듈(1020)은 거리 센서를 통해 상기 인물 사진의 상기 촬영 거리를 획득하도록 추가로 구성될 수 있다.

상기 관계 획득 모듈(1030)은, 상기 촬영 거리가 미리 설정된 거리 조건을 충족하는 것을 판단한 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계를 획득하도록 구성될 수 있다.

상기 파라미터 선택 모듈(1040)은 상기 파라미터 관계에 따라 상기 촬영 거리에 대응하는 뷰티 파라미터를 선택하도록 구성될 수 있다.

상기 처리 모듈(1050)은 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 뷰티 처리를 수행하도록 구성될 수 있다.

본 실시 예에서, 상기 처리될 이미지가 상기 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 상기 촬영 거리가 획득된다. 상기 촬영 파라미터가 상기 미리 설정된 거리 조건을 충족하면, 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계가 획득되고, 상기 촬영 거리에 대응하는 상기 뷰티 파라미터는 상기 파라미터 관계에 따라 선택되며, 상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 뷰티 처리가 수행된다. 따라서, 상기 촬영 거리에 따라 상기 뷰티 파라미터를 적응적으로 선택할 수 있어, 뷰티 효과를 향상시키고 상기 이미지에 대해 보다 나은 시각적 디스플레이 효과를 얻을 수 있다.

일 실시 예에서, 상기 거리 획득 모듈(1020)은 비율 계산 유닛(proportion calculation unit) 및 거리 획득 유닛(distance acquisition unit)을 포함할 수 있다.

상기 비율 계산 유닛은 상기 인물 사진의 얼굴 영역을 획득하고, 상기 처리될 이미지에서 상기 얼굴 영역의 비율을 계산하도록 구성될 수 있다.

상기 거리 획득 유닛은 미리 설정된 대응 관계에 따라 상기 비율에 대응하는 상기 촬영 거리를 획득하도록 구성될 수 있다.

본 실시 예에서, 상기 인물 사진의 상기 촬영 거리는 상기 처리될 이미지에서 상기 얼굴 영역의 상기 비율에 따라 획득될 수 있고, 따라서 상기 촬영 거리는 상기 촬영 거리에 따른 상기 뷰티 파라미터의 후속 적응적인 선택을 용이하게 하도록 정확하게 획득될 수 있다. 따라서, 상기 뷰티 효과가 향상될 수 있고, 상기 이미지에 대해 보다 나은 시각적 디스플레이 효과가 달성될 수 있다.

일 실시 예에서, 상기 거리 획득 모듈(1020)은 거리 획득 유닛(distance acquisition unit), 거리 계산 유닛(distance calculation unit) 및 판정 유닛(determination unit)을 포함할 수 있다.

상기 거리 획득 유닛은 상기 처리될 이미지의 거리 정보를 획득하도록 구성될 수 있다. 상기 거리 정보는 상기 처리될 이미지에서 각 피사체와 상기 전자 장치 사이의 거리를 나타낼 수 있다.

상기 거리 계산 유닛은 상기 거리 정보에 따라 상기 인물 사진의 상기 얼굴 영역의 평균 거리를 계산하도록 구성될 수 있다.

상기 판정 유닛은 상기 평균 거리에 따라 상기 인물 사진의 상기 촬영 거리를 판단하도록 구성될 수 있다.

본 실시 예에서, 상기 촬영 거리에 따른 상기 뷰티 파라미터의 후속 적응적인 선택을 용이하게 하기 위해 상기 인물 사진의 상기 촬영 거리는 상기 처리될 이미지의 상기 거리 정보에 따라 판단될 수 있다. 따라서, 상기 뷰티 효과가 향상될 수 있고, 상기 이미지에 대해 보다 나은 시각적 디스플레이 효과가 달성될 수 있다.

일 실시 예에서, 상기 파라미터 선택 모듈(1040)은, 상기 촬영 거리가 제1거리 임계 값보다 작다는 판단의 결과로써, 촬영 거리들과 뷰티 파라미터들 사이의 양의 상관 관계를 포함하는 파라미터 관계를 획득하고, 상기 촬영 거리가 제2거리 임계 값보다 크다는 판단의 결과로써, 촬영 거리들과 뷰티 파라미터들 사이의 음의 상관 관계를 포함하는 파라미터 관계를 획득하도록 구성될 수 있다.

적어도 일 실시 예에서, 상기 이미지 처리 장치(1000)는 상기 인식 모듈(1010), 상기 거리 획득 모듈(1020), 상기 관계 획득 모듈(1030), 상기 파라미터 선택 모듈(1040) 및 상기 처리 모듈(1050) 외에 임계 값 판정 모듈(threshold determination module)을 더 포함한다.

상기 임계 값 판정 모듈은 상기 처리될 이미지를 획득하기 위한 카메라의 초점 길이 정보를 획득하고, 상기 초점 길이 정보에 따라 상기 제1거리 임계 값 및 상기 제2거리 임계 값을 판단하도록 구성될 수 있다.

본 실시 예에서, 상기 촬영 거리에 대응하는 상기 뷰티 파라미터는 상기 충족된 거리 조건과 매칭되는 상기 파라미터 관계에 따라 선택될 수 있어, 상기 뷰티 파라미터가 상기 촬영 거리에 따라 적응적으로 선택될 수 있어서, 뷰티 효과가 개선될 수 있고 상기 이미지에 대해 더 나은 시각적 디스플레이 효과가 달성될 수 있다.

일 실시 예에서, 상기 인식 모듈(1010), 상기 거리 획득 모듈(1020), 상기 관계 획득 모듈(1030), 상기 파라미터 선택 모듈(1040), 상기 처리 모듈(1050) 및 상기 임계 값 판정 모듈 외에, 이미지 처리 장치(1000)는: 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족한다는 판단의 결과로써, 상기 촬영 거리에 대응하는 개선 계수를 획득하고, 상기 개선 계수에 따라 상기 인물 사진에 대해 샤프닝 처리를 수행하도록 구성된 샤프닝 모듈(sharpening module)을 추가로 포함한다.

본 실시 예에서, 상기 처리될 이미지에서 상기 인물 사진의 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하는 경우, 상기 이미지의 상기 인물 사진을 더 선명하게 하기 위해 상기 인물 사진에 대해 샤프닝 처리가 수행될 수 있어, 상기 이미지의 시각적 디스플레이 효과가 개선된다.

본 발명의 실시 예들은 전자 장치를 추가로 제공한다. 상기 전자 장치는 이미지 처리 회로를 포함한다. 상기 이미지 처리 회로는 하드웨어 및/또는 소프트웨어 컴포넌트들에 의해 구현될 수 있고, 이미지 신호 처리(ISP) 파이프 라인을 정의하기 위한 다양한 처리 유닛을 포함할 수 있다. 도 11은 본 발명의 일 실시 예에 따른 이미지 처리 회로의 모식도이다. 도 11을 참조하면, 본 발명의 상기 실시 예와 관련된 이미지 처리 기술의 각 측면은 단지 편의상 설명하기 위해 도시되어 있다.

도 11을 참조하면, 상기 이미지 처리 회로는 ISP 유닛(1140) 및 제어 로직 유닛(1150)을 포함한다. 상기 이미징 장치(1110)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 유닛(1140)에 의해 처리되고, 상기 ISP 유닛(1140)은 이미지 통계 정보를 캡처하기 위해 상기 이미지 데이터를 분석하며, 상기 이미지 통계 정보는 상기 ISP 유닛(1140) 및/또는 상기 이미징 장치(1110)의 하나 이상의 제어 파라미터들을 판단하기 위해 이용 가능하다. 상기 이미징 장치(1110)는 하나 이상의 렌즈(1112) 및 이미지 센서(1114)를 가지는 카메라를 포함할 수 있다. 상기 이미지 센서(1114)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있다. 상기 이미지 센서(1114)는 상기 이미지 센서(1114)의 각각의 이미징 픽셀에 의해 캡처된 광 강도 및 파장 정보를 획득하고, 상기 ISP 유닛(1140)에 의해 처리될 수 있는 원본 이미지 데이터 세트를 제공할 수 있다. 센서(1120)(예를 들어, 자이로스코프)는 상기 센서(1120)의 인터페이스 유형에 기초하여 획득된 이미지를 처리하기 위한 파라미터(예를 들어, 안정화 파라미터)를 상기 ISP 유닛(1140)에 제공할 수 있다. 상기 센서(1120)의 인터페이스는 SMIA(Standard Mobile Imaging Architecture), 다른 직렬 또는 병렬 카메라 인터페이스 또는 이들의 조합을 채택할 수 있다.

게다가, 상기 이미지 센서(1114)는 또한 상기 원본 이미지 데이터를 상기 센서(1120)로 전송할 수 있다. 상기 센서(1120)는 상기 센서(1120)의 상기 인터페이스 유형에 기초하여 상기 원본 이미지 데이터를 상기 ISP 유닛(1140)에 제공하거나, 상기 센서(1120)는 상기 원본 이미지 데이터를 이미지 메모리(1130)에 저장할 수 있다.

상기 ISP 유닛(1140)은 상기 원본 이미지 데이터를 다양한 형식들로 픽셀 단위로 처리한다. 예를 들어, 각각의 이미지 픽셀은 8, 10, 12 또는 14비트들의 비트 깊이를 가질 수 있다. 상기 ISP 유닛(1140)은 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작들을 수행하고, 상기 이미지 데이터에 대한 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작들은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.

상기 ISP 유닛(1140)은 상기 이미지 메모리(1130)로부터 상기 이미지 데이터를 더 수신할 수 있다. 예를 들어, 상기 센서(1120)의 상기 인터페이스는 상기 원본 이미지 데이터를 상기 이미지 메모리(1130)로 전송하고, 상기 이미지 메모리(1130)의 상기 원본 이미지 데이터는 처리를 위해 상기 ISP 유닛(1140)에 제공된다. 상기 이미지 메모리(1130)는 전자 장치의 메모리 장치, 저장 장치 또는 독립적인 전용 메모리의 일부일 수 있으며, DMA(Direct Memory Access) 속성을 포함할 수 있다.

상기 이미지 센서(1114)의 인터페이스 또는 상기 센서(1120)의 상기 인터페이스 또는 상기 이미지 메모리(1130)로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 유닛(1140)은 하나 이상의 이미지 처리 동작들, 예를 들어 시간-도메인 필터링을 수행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 전에 다른 처리를 수행하기 위해 상기 이미지 메모리(1130)로 전송될 수 있다. 상기 ISP 유닛(1140)은 상기 이미지 메모리(1130)로부터 상기 처리된 데이터를 더 수신하고, 상기 처리된 데이터에 대해 원본 도메인 및 RGB 및 YCbCr의 컬러 공간에서 이미지 데이터 처리를 수행할 수 있다. 상기 처리된 이미지 데이터는 사용자가 GPU(Graphics Processing Unit)에 의한 시청 및/또는 다른 처리를 위해 디스플레이(1180)로 출력될 수 있다. 또한, 상기 ISP 유닛(1140)의 출력은 상기 이미지 메모리(1130)로 더 전송될 수 있고, 상기 디스플레이(1180)는 상기 이미지 메모리(1130)로부터 이미지 데이터를 판독할 수 있다. 일 실시 예에서, 상기 이미지 메모리(1130)는 하나 이상의 프레임 버퍼들을 구현하도록 구성될 수 있다. 또한, 상기 ISP 유닛(1140)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(1170)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(1180) 상에 디스플레이되기 전에 압축 해제될 수 있다.

상기 ISP(1140)가 상기 이미지 데이터를 처리하는 상기 동작은: VFE(Video Front End) 처리 및 CPP(Camera Post Processing)가 상기 이미지 데이터에 대해 수행되는 동작을 포함할 수 있다. 상기 이미지 데이터에 대한 상기 VFE 처리는 상기 이미지 데이터의 콘트라스트 또는 휘도의 보정, 디지털 방식으로 기록된 조명 상태 데이터의 변조, 상기 이미지 데이터에 대한 보상 처리(가령, 화이트 밸런스, 자동 이득 제어 및 γ 보정), 상기 이미지 데이터에 대한 필터링 처리 등을 포함할 수 있다. 상기 이미지 데이터 상의 상기 CPP는 이미지의 스케일링 및 각각의 경로에 대한 미리 보기 프레임 및 기록 프레임의 제공을 포함할 수 있다. 본 예에서, 상기 CPP는 상기 미리 보기 프레임 및 상기 기록 프레임을 상이한 코덱들로 처리할 수 있다.

상기 ISP 유닛(1140)에 의해 처리된 상기 이미지 데이터는 디스플레이 되기 전에 상기 이미지에 대한 뷰티 처리를 위해 뷰티 모듈(1160)로 전송될 수 있다. 상기 이미지 데이터에 대해 상기 뷰티 모듈(1160)에 의해 수행되는 상기 뷰티 처리는 화이트닝(whitening), 기미 제거(freckle removing), 필터링(filtering), 얼굴 성형(face-lift), 여드름 제거(acne removing), 눈 확대(eye widening) 등을 포함할 수 있다. 상기 뷰티 모듈(1160)은 상기 전자 장치에서 중앙 처리 장치(CPU), GPU, 코프로세서 등일 수 있다. 상기 뷰티 모듈(1160)에 의해 처리된 상기 데이터는 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(1170)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(1180) 상에 디스플레이되기 전에 압축 해제될 수 있다. 상기 뷰티 모듈(1160)은 또한 상기 코더/디코더(1170)와 상기 디스플레이(1180) 사이에 위치될 수 있으며, 즉 상기 뷰티 모듈은 이미지화된 상기 이미지에 대해 뷰티 처리를 수행한다. 상기 코더/디코더(1170)는 상기 전자 장치에서 CPU, GPU, 코프로세서 등일 수 있다.

상기 ISP 유닛(1140)에 의해 판단된 통계 데이터는 제어 로직 유닛(1150)으로 전송될 수 있다. 예를 들어, 상기 통계 데이터는 이미지 센서(1114)의 자동 노출, 자동 화이트 밸런스, 자동 포커싱, 섬광 검출, 블랙 레벨 보상, 렌즈(1112)의 그림자 보정 등에 대한 통계 정보를 포함한다. 상기 제어 로직 유닛(1150)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하기 위한 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있고, 하나 이상의 루틴들은 상기 수신된 통계 데이터에 따라 상기 이미징 장치(1110)의 제어 파라미터들 및 ISP 유닛(1140)의 제어 파라미터를 판단할 수 있다. 예를 들어, 상기 이미징 장치(1110)의 상기 제어 파라미터는 상기 센서(1120)에 대한 제어 파라미터들(예를 들어, 이득 및 노출 제어를 위한 적분 시간), 카메라 섬광 제어 파라미터, 렌즈(1112)에 대한 제어 파라미터(예를 들어, 포커싱 또는 줌을 위한 초점 길이) 또는 이들 파라미터의 조합을 포함할 수 있다. 상기 ISP 유닛에 대한 상기 제어 파라미터는 이득 레벨, 자동 화이트 밸런스 및 컬러 조절 (예를 들어, RGB 처리 동안)을 위한 컬러 보정 매트릭스 및 상기 렌즈(1112)에 대한 그림자 보정 파라미터를 포함할 수 있다.

본 실시 예에서, 전술한 이미지 처리 방법은 도 11의 상기 이미지 처리 기술을 사용하여 구현될 수 있다.

일 실시 예에서, 전자 장치가 제공된다. 상기 전자 장치는 메모리 및 프로세서를 포함한다. 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 다음 동작들을 실행하게 하는 컴퓨터 프로그램을 저장한다. 처리될 이미지에 대해 얼굴 인식이 수행된다. 상기 처리될 이미지가 인물 사진을 포함하는 것을 검출한 결과로써, 상기 인물 사진의 촬영 거리가 획득된다. 상기 촬영 거리가 미리 설정된 거리 조건을 만족하는지 판단한 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계가 획득된다. 상기 촬영 거리에 대응하는 뷰티 파라미터는 상기 파라미터 관계에 따라 선택되고, 상기 뷰티 파라미터에 따라 인물 사진에서 뷰티 처리가 수행된다.

일 실시 예에서, 상기 프로세서에 의해 실행되고, 상기 인물 사진의 상기 촬영 거리가 획득되는 상기 동작은: 상기 인물 사진의 얼굴 영역이 획득되는 동작; 상기 처리될 이미지에서 상기 얼굴 영역의 비율이 계산되는 동작; 및 상기 계산된 비율에 대응하는 상기 촬영 거리는 상기 얼굴 영역의 비율들과 상기 촬영 거리들 사이의 미리 설정된 대응 관계에 따라 획득되는 동작을 포함할 수 있다.

일 실시 예에서, 상기 프로세서에 의해 실행되고 상기 인물 사진의 상기 촬영 거리가 획득되는 상기 동작은 상기 인물 사진의 상기 촬영 거리가 거리 센서를 통해 획득되는 동작을 포함할 수 있다.

일 실시 예에서, 상기 프로세서에 의해 실행되고, 상기 인물 사진의 상기 촬영 거리가 획득되는 상기 동작은: 상기 처리될 이미지의 거리 정보가 획득되는 동작; 상기 인물 사진의 상기 얼굴 영역의 평균 거리가 상기 거리 정보에 따라 계산되는 동작; 및 상기 인물 사진의 상기 촬영 거리는 상기 평균 거리에 따라 판단되는 동작을 포함할 수 있다.

일 실시 예에서, 상기 프로세서에 의해 실행되는 상기 방법은 다음의 동작들을 포함할 수 있다. 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족한다는 판단의 결과로써, 상기 촬영 거리에 대응하는 개선 계수가 획득된다. 상기 개선 계수에 따라 상기 인물 사진에 대해 샤프닝 처리가 수행된다.

일 실시 예에서, 상기 프로세서에 의해 실행되고, 상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족한다는 판단의 결과로써, 상기 충족된 거리 조건과 매칭되는 상기 파라미터 관계가 획득되는 상기 동작은: 상기 촬영 거리가 제1거리 임계 값보다 작다는 판단의 결과로써, 상기 촬영 거리들과 뷰티 파라미터들 사이의 양의 상관 관계를 포함하는 파라미터 관계가 획득되는 동작; 및 상기 촬영 거리가 제2거리 임계 값보다 크다는 판단의 결과로써, 상기 촬영 거리들과 뷰티 파라미터들 사이의 음의 상관을 포함하는 파라미터 관계가 획득된다. 상기 제1거리 임계 값은 상기 제2거리 임계 값보다 작을 수 있다.

일 실시 예에서, 상기 프로세서에 의해 실행되는 상기 방법은 다음의 동작들을 포함할 수 있다. 상기 촬영 거리가 상기 사전 설정된 거리 조건을 충족하는지 판단의 결과로써, 상기 충족된 거리 조건과 매치되는 파라미터 관계를 획득하기 전에, 상기 처리될 이미지를 획득하기 위한 카메라의 초점 길이 정보가 획득되고, 상기 제1거리 임계 값 및 상기 제2거리 임계 값은 상기 초점 거리 정보에 따라 판단된다.

일 실시 예에서, 상기 프로세서에 의해 실행되는 상기 방법에서, 상기 뷰티 파라미터는 다음: 화이트닝 파라미터, 필터링 파라미터, 눈 확대 파라미터 또는 얼굴 성형 파라미터 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 상기 프로세서에 의해 실행되고 상기 처리될 이미지에 대해 상기 얼굴 인식을 수행하는 상기 동작은: 상기 처리될 이미지의 이미지 특징이 추출되는 동작; 상기 처리될 이미지가 얼굴을 포함하는지 여부를 판단하기 위해 미리 설정된 얼굴 인식 모델을 통해 이미지 특징이 분석되는 동작; 및 상기 처리될 이미지가 얼굴을 포함한다는 판단의 결과로써, 상기 처리될 이미지가 인물 사진을 포함하는 것으로 판단되는 동작을 포함할 수 있다. 이미지 특징은 형상 특징, 공간적 특징 또는 엣지 특징 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 상기 프로세서에 의해 실행되는 상기 방법은 다음의 동작들을 포함할 수 있다. 상기 처리될 이미지에서 상기 얼굴 영역의 상기 비율이 계산된 후에, 상기 처리될 이미지를 획득하기 위한 카메라의 초점 길이 정보가 획득된다. 상기 초점 길이 정보와 매칭되는 대응 관계가 획득되고, 상기 매칭된 대응 관계에 따라 상기 계산된 비율에 대응하는 상기 촬영 거리가 획득된다.

일 실시 예에서, 컴퓨터 프로그램이 저장되는 컴퓨터-판독 가능 저장 매체가 제공된다. 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행되어 전술한 이미지 처리 방법을 구현한다.

일 실시 예에서, 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 상기 전자 장치 상에서 작동하여 상기 전자 장치가 전술한 이미지 처리 방법을 구현하게 한다.

당업자는 전술한 실시 예의 방법에서 상기 순서의 전부 또는 일부가 컴퓨터 프로그램에 의해 지시되는 관련 하드웨어에 의해 완료될 수 있음을 이해할 수 있다. 상기 컴퓨터 프로그램은 비 휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때 상기 각 방법 실시 예의 프로세스가 포함될 수 있다. 예를 들어, 상기 저장 매체는 자기 디스크, 광 디스크, ROM (Read-Only Memory) 등일 수 있다.

본 명세서에서 사용되는 임의의 메모리, 스토리지, 데이터베이스 또는 다른 매체는 비 휘발성 및/또는 비 휘발성 메모리들을 포함할 수 있다. 적절한 비 휘발성 메모리는 ROM, PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 또는 플래시 메모리를 포함할 수 있다. 상기 휘발성 메모리는 랜덤 액세스 메모리(RAM)를 포함할 수 있으며, 외부 고속 버퍼 메모리로 사용된다. 예시적으로 그러나 무제한으로, 상기 RAM은 다양한 형태들로, 예를 들어, 정적 RAM(SRAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트 SDRAM(DDRSDRAM), 강화 SDRAM(ESDRAM), Synchlink DRAM(SLDRAM), 램버스 다이렉트 RAM(RDRAM), 다이렉트 RDRAM(DRDRAM) 및 램버스 동적 RAM(RDRAM) 형태로 획득될 수 있다.

전술한 실시 예의 각각의 기술적 특징은 자유롭게 조합될 수 있다. 간단한 설명을 위해, 전술한 실시 예에서의 기술적 특징의 모든 가능한 조합이 설명되는 것은 아니다. 그러나, 이들 기술적 특징의 임의의 조합은 이들 조합에서 충돌이 없는 한 본 발명의 범위 내에 속한다.

전술한 실시 예들은 본 발명의 일부 구현 모드만을 설명하고 구체적으로 설명되지만, 본 발명의 범위를 제한하는 것으로 이해되어서는 안 된다. 알아야 할 점은, 당업자는 본 발명의 개념으로부터 벗어나지 않고 복수의 변환 및 개선을 추가로 수행할 수 있으며, 이들 모두는 본 발명의 보호 범위 내에 속한다. 그러므로, 특허 발명의 보호 범위는 첨부된 청구 범위에 종속되어야 한다.

Claims

처리될 이미지에 대해 얼굴 인식(face recognition)을 수행하는 동작(310);
상기 처리될 이미지가 인물 사진(portrait)을 포함하는 것을 검출하는 것에 응답하여, 상기 인물 사진의 촬영 거리(shooting distance)를 획득하는 동작(320);
상기 촬영 거리가 미리 설정된 거리 조건(preset distance condition)을 충족하는 것을 판단하는 것에 응답하여, 상기 충족된 거리 조건과 매치되는(matched) 파라미터 관계(parameter relationship)를 획득하는 동작(330);
상기 파라미터 관계에 따라 상기 촬영 거리에 대응하는 뷰티 파라미터(beauty parameter)를 선택하는 동작(340); 및
상기 뷰티 파라미터에 따라 상기 인물 사진에 대해 뷰티 처리(beauty processing)를 수행하는 동작(350);
을 포함하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항에 있어서,
상기 인물 사진의 상기 촬영 거리를 획득하는 동작(320)은:
상기 인물 사진의 얼굴 영역(face region)을 획득하고, 상기 처리될 이미지에서 상기 얼굴 영역의 비율(proportion)을 계산하는 동작(402); 및
상기 얼굴 영역의 비율들과 촬영 거리들 사이의 미리 설정된 대응 관계에 따라 상기 계산된 비율에 대응하는 상기 촬영 거리를 획득하는 동작(404);
을 포함하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항에 있어서,
상기 인물 사진의 상기 촬영 거리를 획득하는 동작(320)은:
거리 센서(distance sensor)를 통해 상기 인물 사진의 상기 촬영 거리를 획득하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항에 있어서,
상기 인물 사진의 상기 촬영 거리를 획득하는 동작(320)은:
상기 처리될 이미지의 거리 정보(distance information)를 획득하는 동작(602);
상기 거리 정보에 따라 상기 인물 사진의 상기 얼굴 영역의 평균 거리(average distance)를 계산하는 동작(604); 및
상기 평균 거리에 따라 상기 인물 사진의 상기 촬영 거리를 판단하는 동작(606);
을 포함하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항에 있어서,
상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하는 것을 판단하는 것에 응답하여, 상기 촬영 거리에 대응하는 개선 계수(enhancement coefficient)를 획득하는 동작; 및
상기 개선 계수에 따라 상기 인물 사진에 대해 샤프닝 처리(sharpening processing)를 수행하는 동작;
을 추가로 포함하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하는 것을 판단하는 것에 응답하여, 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계를 획득하는 동작(330)은:
상기 촬영 거리가 제1거리 임계 값보다 작다고 판단하는 것에 응답하여, 촬영 거리들과 뷰티 파라미터들 사이의 양의 상관 관계를 포함하는 파라미터 관계를 획득하는 단계(802); 및
상기 촬영 거리가 제2거리 임계 값보다 크다고 판단하는 것에 응답하여, 촬영 거리들과 뷰티 파라미터들 사이의 음의 상관 관계를 포함하는 파라미터 관계를 획득하는 단계(804);
를 포함하고,
상기 제1거리 임계 값은 상기 제2거리 임계 값보다 작은 것을 특징으로 하는,
이미지 처리 방법.
제 6 항에 있어서,
상기 촬영 거리가 상기 미리 설정된 거리 조건을 충족하는 것을 판단하는 것에 응답하여, 상기 충족된 거리 조건과 매치되는 상기 파라미터 관계를 획득하는 동작(330) 전에,
상기 처리될 이미지를 획득하기 위해 카메라의 초점 길이 정보(focal length information)를 획득하는 동작; 및
상기 초점 길이 정보에 따라 상기 제1거리 임계 값 및 상기 제2거리 임계 값을 판단하는 동작;
을 추가로 포함하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 뷰티 파라미터는 다음:
화이트닝 파라미터(whitening parameter), 필터링 파라미터(filtering parameter), 눈 확대 파라미터(eye widening parameter) 또는 얼굴-성형 파라미터(face-lift parameter)
중 적어도 하나를 포함하는 것을 특징으로 하는,
이미지 처리 방법.
제 1 항에 있어서,
상기 처리될 이미지에 대해 얼굴 인식을 수행하는 단계(310)는:
상기 처리될 이미지의 이미지 특징(image feature)을 추출하는 단계;
미리 설정된 얼굴 인식 모델(preset face recognition model)을 통해 상기 이미지 특징을 분석하여, 상기 처리될 이미지가 얼굴을 포함하는지를 판단하는 단계;
상기 처리될 이미지가 얼굴을 포함하는 것을 판단한 것에 응답하여, 상기 처리될 이미지가 상기 인물 사진을 포함한다고 판단하는 단계;
를 포함하고,
상기 이미지 특징은 형상 특징(shape feature), 공간적 특징(spatial feature) 또는 엣지 특징(edge feature) 중 적어도 하나를 포함하는 것을 특징으로 하는,
이미지 처리 방법.
하나 이상의 컴퓨터 프로그램들을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 컴퓨터 프로그램을 실행하도록 구성되어, 제 1 항 내지 제 9 항 중 어느 한 항에 따른 상기 이미지 처리 방법을 실행하는 프로세서;
를 포함하는 것을 특징으로 하는,
이미지 처리 장치.
컴퓨터 프로그램을 저장하고,
상기 컴퓨터 프로그램은 프로세서에 의해 실행되어 제 1 항 내지 제 9 항 중 어느 한 항에 따른 상기 방법을 구현하는 것을 특징으로 하는,
컴퓨터 판독 가능 저장 매체.