KR102175164B1

KR102175164B1 - 이미지의 화질 개선을 위한 장치 및 방법

Info

Publication number: KR102175164B1
Application number: KR1020187023777A
Authority: KR
Inventors: 존 더블유. 글로바흐; 이브라힘 이. 페쿠쿡센; 하미드 라힘 셰이크
Original assignee: 삼성전자주식회사
Priority date: 2016-01-30
Filing date: 2016-12-14
Publication date: 2020-11-05
Also published as: US20180330479A1; CN108604293A; EP3384427A1; US10783617B2; US20170221186A1; KR20180096816A; US10055821B2; EP3384427A4; WO2017131343A1; CN108604293B

Abstract

이미지의 화질을 개선하는 방법이 기술된다. 이 방법은 이미지를 수신하는 단계; 피부(skin)를 가진 이미지 영역을 식별하는 단계; 피부를 가진 이미지 영역의 모션 분석을 수행하는 단계; 및 모션이 검출되면, 피부의 텍스처 블러링(blurring)을 피하기 위해 피부를 가진 이미지 영역 내 블렌딩을 제어하는 단계를 포함한다.

Description

이미지의 화질 개선을 위한 장치 및 방법

본 발명의 일 실시예는 일반적으로 집적 회로 소자들에 관한 것으로서, 특히 이미지의 화질을 개선하기 위한 회로 및 방법에 관한 것이다.

디지털 이미지 프로세싱은 여러 분야에서 매우 일반적으로 사용되는 중요한 것이 되었다. 디지털 이미지 프로세싱은 센서로부터 이미지를 획득하여 그 이미지를 볼 수 있는 콘텐츠로 변환한다. 그러나 디지털 이미지들은 다양한 수차(aberration)의 대상이 될 수 있으므로, 그러한 수차를 줄이거나 제거하도록 처리되어야 한다. 그에 따라 처리된 이미지는 높은 화질을 가지게 되고 잡음 및 흐릿함(블러링)과 같은 아티팩트(artifacts)를 최대한으로 피할 수 있다. 포착된 이미지의 화질을 개선하기 위한 종래의 이미지 프로세싱 기법은 다수의 프레임들을 합성한다. 즉, 흔히 줌 동작 중에 관측될 수 있는 아티팩트를 제거하기 위해 한 개 이상의 프레임들이 사용될 수 있다.

특히 일반적인 디지털 이미징 애플리케이션은 디지털 카메라, 스마트폰을 포함한 무선 전화기들, 태블릿 컴퓨터, 또는 카메라를 가진 기타 컴퓨터들과 같이, 카메라를 구비한 소비자 장치를 사용한다. 스마트 폰 및 태블릿과 같은 소비자 장치의 사용자들 다수는 사람 얼굴 사진에 특별한 관심을 가진다. 사람의 얼굴은 매우 일반적인 사진 주제이며, 따라서 수차의 유발 없이 얼굴을 재생하는 것이 매우 중요하다. 수차 없이 사람 얼굴의 이미지를 재생하는 것은 상업용 또는 거주용 보안 시스템에서와 같은 디지털 감시 분야에서도 매우 중요할 수 있다.

따라서, 이미지 화질을 개선하는, 보다 특정하여 말하자면 디지털 이미지에서 흔히 볼 수 있는 수차 없이 개선된 이미지를 제공하는 장치 및 방법이 바람직하다.

이미지의 화질을 개선하는 방법이 기술된다. 이 방법은 이미지를 수신하는 단계; 피부(skin)를 가진 이미지 영역을 식별하는 단계; 상기 피부를 가진 이미지 영역의 모션 분석을 수행하는 단계; 및 모션이 검출되면, 상기 피부의 텍스처 블러링(blurring)을 피하기 위해 상기 피부를 가진 이미지 영역 내 블렌딩을 제어하는 단계를 포함한다.

다른 양태에서, 상기 방법은 기준 프레임 안에 상기 피부를 가진 이미지의 영역과 관련된 특징점을 설정하는 단계를 포함하고, 상기 모션은 상기 기준 프레임 내 상기 특징점의 위치와 비교한 제2프레임 내 특징점의 위치에 기반하여 검출된다.

다른 양태에서, 상기 방법은 로컬 모션 문턱치를 설정하는 단계를 더 포함하며, 로컬 모션은 상기 모션이 상기 로컬 모션 문턱치를 초과하는 경우에 검출된다.

다른 양태에서, 상기 방법은 상기 복수의 프레임들의 프레임들 관련 글로벌 모션을 판단하는 단계를 더 포함한다.

다른 양태에서, 상기 방법은 피부를 가진 상기 이미지 영역 내 모션 분석을 수행하는 단계를 더 포함하며, 글로벌 모션 관련 매트릭스에 기반하여 상기 기준 프레임 상의 특징점을 상기 제2프레임 상의 특징점에 매핑하는 단계를 포함한다.

다른 양태에서, 상기 방법은 상기 제2프레임 내 복수의 지점들의 위치를 상기 기준 프레임 내 복수의 지점들의 위치와 비교함으로써 상기 이미지 영역 내 복수의 지점들에 대한 오차를 판단하는 단계를 더 포함한다.

다른 양태에서, 상기 방법은 상기 블렌딩의 감도를 제어하기 위해 상기 오차에 기반하여 가중 인자를 설정하는 단계를 더 포함한다.

다른 양태에서, 상기 방법은 상기 피부를 가진 이미지 영역의 픽셀 데이터를 제1포맷에서 제2포맷으로 변환하는 단계; 상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하는 단계; 및 상기 복수의 피부 톤 정의들 중 한 피부 톤 정의를 선택하는 단계를 더 포함한다.

다른 양태에서, 상기 방법은 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 상기 제1포맷으로 다시 변환하는 단계를 더 포함한다.

다른 양태에서, 상기 방법은 상기 피부를 가진 이미지의 제2영역을 식별하는 단계, 및 상기 피부를 가진 이미지의 상기 제2영역과 관련된 제2피부 톤 정의를 선택하는 단계를 더 포함하고, 상기 프레임의 피부 톤 정의를 선택하는 단계는 상기 선택된 피부 톤 정의 및 상기 선택된 제2피부 톤 정의에 기반하여 피부 톤 정의를 선택하는 단계를 포함한다.

다른 양태에서, 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 상기 제2포맷으로 변환하는 단계는 상기 픽셀 데이터를 휘도-색차 표현에서 원기둥 좌표 표현으로 변환하는 단계를 포함한다.

다른 양태에서, 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 상기 제2포맷으로 변환하는 단계는 상기 픽셀 데이터를 색조 및 채도 성분들을 가지는 원기둥 좌표 표현으로 변환하는 단계를 포함한다.

다른 양태에서, 상기 방법은 상기 선택된 피부 톤 정의에 기반하여 상기 피부를 가진 이미지 영역의 윤곽선 강조(edge enhancement)를 구현하는 단계를 더 포함한다.

다른 양태에서, 상기 방법은 상기 피부를 가진 이미지 영역에 특정 잡음 필터들을 적용하는 단계; 및 상기 피부를 가진 이미지 영역에 특정 잡음 필터들을 적용한 후 상기 이미지의 나머지 부분들에 대해 이미지 프로세싱을 적용하는 단계를 더 포함한다.

다른 양태에서, 상기 피부를 가진 이미지 영역을 식별하는 단계는 얼굴 영역을 식별하는 단계를 포함한다.

이미지의 화질을 개선하는 다른 방법은 이미지를 수신하되, 상기 이미지의 픽셀이 제1포맷을 가지는 단계; 피부를 가지는 상기 이미지의 영역을 식별하는 단계; 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 제2포맷으로 변환하는 단계; 상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하는 단계; 상기 복수의 피부 톤 정의들 중 한 피부 톤 정의를 선택하는 단계; 및 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 제1포맷으로 다시 변환하는 단계를 포함한다.

이미지의 화질을 개선하는 또 다른 방법은 이미지를 수신하는 단계; 상기 이미지 내 한 객체와 관련된 상기 이미지의 영역을 식별하는 단계; 상기 이미지 내 상기 객체에 대해 제1이미지 프로세싱을 적용하는 단계; 상기 이미지 내 상기 객체에 대해 특정 프로세싱을 적용한 후 상기 이미지의 나머지 부분들에 대해 제2이미지 프로세싱을 적용하는 단계를 포함한다.

이미지의 화질을 개선하는 장치 또한 기술된다. 상기 장치는 이미지와 관련된 프레임에 대해, 제1포맷으로 되어 있는 픽셀 데이터를 수신하고; 피부를 가지는 상기 이미지의 영역을 식별하고; 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 제2포맷으로 변환하고; 상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하고; 상기 복수의 피부 톤 정의들 중 한 피부 톤 정의를 선택하고; 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 제1포맷으로 다시 변환하도록 구성된 프로세서 회로를 포함한다.

이미지의 화질을 개선하기 위해 컴퓨터로 실행될 수 있는 소프트웨어를 나타내는 데이터가 저장되어 있는 컴퓨터 판독가능 저장 매체 또한 개시된다. 상기 컴퓨터 판독가능 저장 매체는 이미지와 관련된 프레임에 대해, 제1포맷으로 되어 있는 픽셀 데이터를 수신하기 위한 명령어들; 피부를 가지는 상기 이미지의 영역을 식별하기 위한 명령어들; 상기 피부를 가진 이미지 영역의 픽셀 데이터를 제1포맷에서 제2포맷으로 변환하기 위한 명령어들; 상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하기 위한 명령어들; 상기 복수의 피부 톤 정의들 중 한 피부 톤 정의를 선택하기 위한 명령어들; 및 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 상기 제1포맷으로 다시 변환하기 위한 명령어들을 포함한다.

이어지는 상세한 설명 및 청구범위를 참고하여 기타 특성들이 인식될 수 있다.

도 1은 이미지의 화질을 개선하기 위한 장치의 블록도이다.
도 2는 이미지의 화질을 개선하기 위한 도 1의 장치에서 구현되는 프로세싱 블록들을 도시한 블록도이다.
도 3은 이미지의 화질을 개선하기 위한 도 1의 장치에서 구현되는 프로세싱 블록들을 도시한 다른 블록도이다.
도 4는 이미지와 관련된 일련의 프레임들이며, 피부를 갖는 이미지 영역의 모션을 검출 가능하게 하는 특징점들 및 거리들을 보여준다.
도 5는 얼굴 국지적(face-localized) 메디안 잡음 필터의 구현을 도시한 블록도이다.
도 6은 이미지의 화질을 개선하는 방법을 도시한 흐름도이다.
도 7은 이미지의 화질을 개선할 수 있도록 로컬 모션의 레벨을 설정하는 방법을 도시한 흐름도이다.
도 8은 이미지의 화질을 개선할 수 있도록 프레임의 피부 톤을 선택하는 방법을 도시한 흐름도이다.
도 9는 이미지와 관련된 한 프레임의 피부 톤을 선택할 수 있도록 이미지와 관련된 데이터를 변환하는 방법을 도시한 흐름도이다.
도 10은 이미지 내 한 대상과 관련된 특정 이미지 프로세싱을 적용함으로써 이미지의 화질을 개선하는 방법을 도시한 흐름도이다.

본 명세서는 신규하다고 간주되는 하나 이상의 발명의 구현예들에 대한 특징들을 규정하는 청구범위를 포함하나, 그 회로들과 방법들은 도면과 연계된 상세한 설명을 참고함으로써 보다 잘 파악될 수 있을 것이다. 다양한 회로들 및 방법들이 개시되어 있으나, 그러한 회로들과 방법들은 단지 다양한 형태로 실시될 수 있는 발명의 구성들에 대한 예일 뿐이다. 따라서, 본 명세서 안에 개시된 특정한 구조 및 기능적 세부사항들은 한정하는 것이 아닌, 청구범위의 근거 및 사실상 적절히 상세화된 구조를 통한 발명의 구성들을 다양하게 이용할 당업자를 가르치기 위한 전형적인 원리로서 해석되어야 한다. 또한, 여기서 사용되는 용어들과 문구는 한정하는 것이라기 보다는 상기 회로들 및 방법들에 대해 이해 가능한 설명을 제공하기 위한 것이다.

이하에서 설명되는 다양한 장치들과 방법들은 촬상된 사진들 내 얼굴을 주제로 아티팩트(artifacts)를 피하고 화질을 개선하도록 하는 특정 프로세싱을 적용한다. 한 장면(scene)의 대상인 어떤 얼굴에 대한 지식을 이용하여, 피부 색을 기록하고 특정 프로세싱이 적용되어야 할 모든 영역들을 식별하기 위한 분석이 수행된다. 피부 색을 가지는 그러한 영역들에서, 기존의 잡음 필터들 및 윤곽선 강조 연산의 파라미터들은 아티팩트를 최소화하도록 제어된다. 예를 들어, 얼굴 영역 내에서 잡음으로부터 아티팩트가 강조되는 것을 피하기 위해 윤곽선 강조를 줄인다. 또한, 여러 피부 톤 선택사항을 가진 테이블을 사용하여, 보다 구체적인 피부 톤 정의들(definitions)을 사용할 수 있어, 얼굴이 아닌 영역들에서의 프로세싱을 피할 수 있다. 또한 특정 프로세싱이 적용되어, 멀티 프레임 캡처 이용의 경우 중, 촬상된 이미지 내 아티팩트를 방지 및 제거할 수 있다. 얼굴 영역의 프레임들 간 로컬 모션 분석이 또한 수행될 수 있다. 로컬 모션이 검출되는 경우, 얼굴 상의 블러링을 피하도록 블렌딩(blending) 파라미터들이 제어된다. 얼굴 영역들에만 맞춤형 잡음 필터가 적용됨으로써, 제어되지 않으면 아티팩트로 이어질 수 있는 높은 진폭의 잡음을 제거할 수 있다.

도 1을 참조하면, 이미지의 화질을 개선하기 위한 장치의 블록도가 도시된다. 특히, 장치(100)는 이미지 센서(104)와 연결된 프로세서 회로(102)를 포함한다. 장치(100)는 디지털 이미지를 캡처(촬상)하도록 된 임의 타입의 장치이거나 장치나 시스템의 집적 회로 같은 구성요소일 수 있다. 이미지 센서(104)는 디지털 카메라, 또는 렌즈나 기타 이미지 센싱 요소와 같은 디지털 카메라의 어떤 부분일 수 있다. 프로세서 회로는 캡처된 이미지를 디스플레이하는, 더 상세히 말하면 개선된 이미지 화질을 가진 디지털 이미지를 디스플레이하기 위한 디스플레이(106)와 연결된다. 이하에서 도 2를 참조하여 보다 상세히 기술하는 바와 같이, 프로세서 회로는 단독으로나 다른 요소들과 결합하여, 개선된 이미지 화질을 가지는 디지털 이미지를 생성할 수 있다.

프로세서 회로(102)는 또한, 이미지의 다양한 프레임들과 관련된 정보, 또는 결과적으로 개선된 이미지 화질을 가지는 디지털 이미지들의 저장을 가능하게 하는 메모리(108)와 연결될 수도 있다. 메모리(108)는 잘 알려진 바와 같이, 프로세서 회로(102)의 일부로서 구현되거나, 프로세서의 어떤 캐시 메모리에 부가되어 구현될 수 있다. 디스플레이에서 분리되거나 그 일부일 수도 있고, 혹은 디스플레이에 반응할 수 있는 사용자 인터페이스(110) 역시 도시되어 있다. 프로세서 회로(102)는 입력을 수신하거나 디지털 이미지를 캡처할 수 있는 다른 요소들과도 연결될 수 있다. 예를 들어, 내부 측정 유닛(IMU)(112)이 기기(100)의 움직임이나 방향과 관련된 다양한 정보를 제공할 수 있다. 프로세서 회로(102)는 또한, 입/출력(I/O) 포트(114)나, 안테나(118)와 연결된 트랜시버(116)를 통해 입력을 수신할 수 있다. 장치(100)의 프로세서 및 다른 요소들에 전력을 공급하기 위한 배터리(120)가 구현될 수 있다.

디지털 촬영 시, 사람의 얼굴을 유지하고 아티팩트 없이 그 사람의 얼굴을 복원하는 것이, 소비자의 화질 인식에 있어 매우 중요하다. 즉, 예컨대 얼굴과 같은 이미지의 피부 수차들(aberrations)이 화질 인식을 크게 저하시킬 수 있다. 사람 얼굴에 대한 통상적 왜곡에는 모션에 따른 블러링, 잔여(residual) 잡음 아티팩트, 및 그러한 잡음 아티팩트들에 대한 과선명화(over-sharpening)가 포함된다. 이하에서 설명되는 상기 장치들 및 방법들은 얼굴에 나타날 수 있는 왜곡을 줄이거나 제거할 수 있고, 그에 따라 개선된 이미지 화질을 제공한다.

상기 장치들 및 방법들은 얼굴 인식 결과들에 따라 카메라 시스템으로부터 이미지들을 획득하고, 피부 톤으로 검출되는 영역들에 적용될 수 있는 잡음 필터링 및 윤곽 강조 파라미터들을 제어한다. 한 이미지 안에 존재할 수 있는 다양하게 가능한 피부 톤들을 커버하기 위해 피부 톤들에 대한 여러 사전적 정의들 또한 제공된다. 그러한 사전에서 한 피부 톤 정의를 선택함으로써, 얼굴이 아닌 영역들에서의 과도한 프로세싱을 방지하도록 잡음 필터 파라미터들이 보다 잘 제어될 수 있다. 많은 장면들(scenes)에서, 컬러만이 식별자로서 사용될 경우 얼굴 아닌 영역들이 피부 톤과 쉽게 혼동된다. 얼굴 영역으로서 검출된 영역의 컬러를 분석하여, 특정 장면의 피부를 규정하는 사전 엔트리들(dictionary entries) 중 하나를 선택할 수 있고, 그에 따라 피부를 가지지 않은 이미지 영역들에 대한 부적절한 프로세싱을 방지한다.

얼굴의 블러링을 피하기 위한 모션 분석은, 검출이 어려운 약간의 모션들이 존재할 때에도, 여러 프레임들이 블렌딩되고 얼굴의 세부사항을 보존할 수 있게 한다. 즉, 모션 블러링 감축 방법은, 얼굴이 약간의 모션을 가지는 경우, 프레임들을 결합할 때 모션 블러링 유입을 피할 수 있게 한다. 또한 특정 잡음 필터가 얼굴 영역들에만 실행되어, 이미지 처리 프로세스 시 다른 곳에서 실행되는 일반적인 잡음 필터들로는 보통 제거되지 않는 유형의 잡음인 고진폭 스파이크(spike) 잡음을 제거한다. 이러한 고진폭 스파이크 잡음을 얼굴 영역에서 제거함으로써, 나머지 잡음이 보다 자연스럽게 보여지고 샤프닝(sharpening) 아티팩트에 덜 민감하게 된다. 특정 잡음 필터들을 얼굴 영역과 같이 피부로 식별되는 영역들에만 적용함으로써, 더 많은 아티팩트들을 제거하여 높은 화질의 이미지를 제공하는 보다 강력한 프로세싱이 가능하게 된다.

도 2에 도시된 바와 같이, 이미지의 화질을 개선하기 위한 도 1의 장치에서 구현되는 프로세싱 블록들의 블록도가 보여진다. 도 2의 프로세싱 장치에 대한 프로세싱 블록들은 예컨대 프로세서 회로(102), 이미지 센서(104) 및 메모리(108)와 같이 도 1의 하나 이상의 구성요소들에서 구현될 수 있다. 예를 들어 이미지 센서(104)로부터 픽셀 데이터를 수신할 수 있는 이미지 생성 블록(202)은 픽셀들의 어레이를 생성할 수 있으며, 여기서 각각의 픽셀은 잘 알려진 바와 같이, 예컨대 빨강, 초록 및 파랑, 또는 3 색(시안(cyan), 마젠타(magenta), 및 노랑) 또는 4 색(빨강, 파랑, 초록 및 노랑)의 다른 조합들과 같은 하나 이상의 컬러들과 관련된 데이터를 가진다. 객체 검출 블록(204) 및 모션 검출 블록(206)은 이미지의 화질을 개선시킬 수 있는 이미지 관련 부가 정보를 제공한다. 이하에 상세히 기술되는 바와 같이, 예를 들어 객체 검출 블록(204)은 이미지 내 피부 부분이나 얼굴과 같은 객체를 검출할 수 있고, 모션 검출 블록(206)은 객체와 관련된 로컬 모션을 검출할 수 있다. 그런 다음, 역시 이하에서 보다 상세히 기술되겠지만, 이미지 처리 블록(208)이 이미지의 화질을 개선하여 수차들을 제거할 수 있다. 이미지 센서에 의해 캡처되어 개선된 화질을 가진 이미지로서 저장되는 이미지의 프레임들을 특정하여 참조하고 있으나, 이하에서 설명되는 다양한 방법들은 이미 캡처되어 저장된 멀티 프레임 이미지들을 포함하는 디지털 이미지들의 화질을 향상하는데에도 사용될 수 있다는 것을 알아야 한다.

도 2의 회로와, 보다 구체적인 도 3의 특정 프로세싱 블록들은 기존의 장치들 및 방법들보다 강력한 멀티 프레임 이미지 처리를 할 수 있다. 사람 얼굴에 대한 통상적 왜곡에는 모션에 따른 블러링, 잔여(residual) 잡음 아티팩트, 및 그러한 잡음 아티팩트들에 대한 과선명화(over-sharpening)가 포함된다. 얼굴 영역과 같이 피부를 가진 영역들에서 그러한 잡음을 제거함으로써, 나머지 잡음이 보다 자연스럽게 보여지고 샤프닝(sharpening) 아티팩트에 덜 민감하게 된다. 모션 블러링 감축 방법은 얼굴이 약간의 모션을 가지는 경우, 프레임들을 결합할 때 모션 블러링 유입을 방지한다. 또한, 얼굴의 블러링을 방지하기 위해 사용되는 모션 분석은, 검출이 어려운 사소한 모션들이 존재할 때에도, 여러 프레임들이 블렌딩되고 얼굴의 디테일들(details)을 보존할 수 있게 한다.

이하에서 도 3을 참조하면, 디지털 카메라가 캡처한 이미지와 같은 이미지의 화질을 개선하기 위한 도 1의 장치에서 구현되는 프로세싱 블록들의 블록도가 도시되어 있다. 도 3의 다양한 프로세싱 블록들은 예컨대 도 1의 프로세서에서와 같이, 도 1의 장치 안에서 구현될 수도 있다. 이미지 검출 블록(302)이 피부 검출 블록(304) 및 모션 검출 블록(306)과 결합되어 이미지와 관련된 프레임들뿐 아니라 프레임들과 관련된 다른 데이터를 제공한다. 피부 검출 및 모션 검출과 관련된 정보가 이미지 프로세싱 블록(308)으로 제공되어, 캡처된 이미지에 기반하는 개선된 이미지를 생성하도록 한다.

이미지 검출 블록(302)은 피부 검출 블록(304) 및 피부 검출 블록(312)으로 제공되는 이미지들의 프레임들을 생성하는 이미지 생성 블록(310)을 포함한다. 이미지와 관련된 각각의 프레임은 프레임의 복수의 픽셀들과 관련된 픽셀 데이터를 포함할 수 있으며, 이때 각각의 픽셀은 픽셀 관련 컬러 정보를 포함할 수 있다. 이하에서 보다 상세히 기술되는 바와 같이, 픽셀 데이터는 RGB 포맷과 같은 제1포맷으로 저장될 수 있고, 보다 쉬운 처리, 보다 구체적으로 보다 쉬운 톤 검출을 위해 색조(hue)를 가지는 포맷과 같은 제2포맷으로 변환될 수 있다. 피부 검출 블록(312)은 피부 검출 블록(304) 및 로컬 모션 블록(306)의 다양한 처리 블록들로 제공되는, 피부와 관련된 이미지의 하나 이상의 영역들을 식별한다. 이미지 프레임들은 도 4에 도시된 바와 같이 이미지에서 검출된 얼굴들의 위치를 표현하는 직사각형들로 제공될 수 있다. 즉, 피부를 참조하고 있지만, 피부 톤 판단 및 피부 영역들과 관련된 특정 프로세싱에 흔히 사용되는 피부의 영역은 얼굴이라는 것을 알아야 한다. 피부 톤 테이블들의 사전으로부터 복수의 엔트리들 중 하나를 뽑기 위해, 그러한 직사각형 영역들 안에서의 컬러 값들이 샘플링되고 결합된다. 보다 구체적으로, 어떤 이미지에 대한 복수의 프레임들이 크로마(chroma) 샘플링 블록(314), 피부 톤 테이블 선택 블록(316), 피부 마스킹 블록(318) 및 피부 검출기 블록(304)의 피부 영역 메디안(median) 필터(320) 각각에 제공된다. 피부 검출 블록(304)의 각각의 처리 블록은 다른 처리 블록으로부터의 정보 및 이미지 자체를 사용하여 정보를 생성한다.

크로마 샘플링 블록(314)은 이미지의 각각의 프레임의 픽셀들과 관련된 크로미넌스(chrominance) 값들(가령, Cb 및 Cr)을 식별하고, 그러한 크로미넌스 값들을 피부 톤 테이블 선택 블록(316)에 제공한다. 피부 검출 블록(312)이 제공하는 피부의 영역과 관련된 좌표들을 이용해, 검출된 모든 피부(가령, 얼굴) 영역들로부터 Cb 및 Cr 값들이 샘플링된다. 한 구현예에 따르면, 이러한 값들은 HSV(hue, saturation and value) 컬러 공간의 색조(hue) 값들로 변환된다. 피부 톤의 사전 정의들(dictionary definitions)이 규정되며, 그 각각은 특정 피부 톤을 포괄하는 상이한 색조 중심을 가진다. 샘플링된 각각의 얼굴 픽셀 및 그 사전 정의 중심들간 유클리드 거리가 산출되어 저장된다. 마지막으로, 최소 메디안 거리를 가지는 사전 정의가 특정 프레임의 피부 톤으로서 선택된다. 이러한 사전 정의들 안에서 피부 톤들은 단일 피부 톤 맵보다 촘촘하게 정의되기 때문에, 얼굴이 아닌 영역들이 보다 성공적으로 거부된다. 피부 마스킹 블록(318)에 의해 피부 마스크가 생성되며, 여기서 피부 마스크는 이미지를 수신하여, 선택된 피부 톤 정의에 매치되는 컬러를 가진 이미지의 영역들을 식별한다. 피부 영역 메디안 필터(320) 또한 피부 마스크를 수신하여 피부가 있는 이미지 부분들에 대해 특정 필터링 연산을 수행하도록 한다. 피부 영역 메디안 필터(320)의 구현예가 도 5를 참조하여 보다 상세하게 도시 및 설명된다.

로컬 모션 분석 블록(322) 및 로컬/글로벌 모션 비교 블록(324)을 가진 모션 검출 블록(306)으로, 피부와 관련된 이미지의 부분들이 제공된다. 블러링 가능성이 있는지를 판단하도록 그러한 영역들에서의 모션 분석을 지시하기 위해 얼굴 위치 데이터가 또한 사용된다. 피부 영역에서의 로컬 모션 분석이, 멀티 프레임 캡처 시스템에서 수행된 글로벌 모션 분석과 일치하지 않는 경우, 이미지 처리는 블렌딩 중에 블렌딩이 에러에 보다 민감하도록 만들어 사소한 모션들에 대해서도 블렌딩을 억제하는 효과를 갖게 한다.

감도 제어 신호를 포함하는 로컬/글로벌 모션 비교 블록(324)의 출력이, 피부 영역들에서 검출되는 로컬 모션의 수준에 따라 피부 영역들의 픽셀들에 대한 블렌딩을 가능하게 하거나 금지하는 멀티 프레임 블렌딩 블록(326)으로 제공된다. 멀티 프레임 캡처 시스템에서, 카메라는 최종 결과 이미지의 화질을 개선하기 위해 둘 이상의 이미지 프레임을 사용한다. 기준 프레임에 대해 모든 프레임들을 정렬시키기 위해 멀티 프레임 캡처 시스템 내에 레지스트레이션(registration) 시스템이 사용된다. 일단 정렬되면, 프레임들은 모션 감응 프로세스를 이용해 블렌딩되어, 모션을 포함하는 영역들에서의 고스트 아티팩트(ghost artifacts) 초래를 방지하도록 한다. 블렌딩은 블렌딩될 현재의 프레임을 기준 프레임과 비교하고, 그 두 프레임들 간 차이가 적을 때 그 프레임들의 평균을 구함으로써 이루어진다. 그러나 그 프레임들 간 차이가 클 때에는 기준 프레임만 사용된다. 사람 얼굴을 가지는 이미지 시퀀스들에서, 얼굴 영역에서의 작은 모션들은 궁극적으로 블렌딩을 억제할 정도의 오차를 발생하지 않는다. 따라서, 얼굴에서 로컬 모션이 검출될 때 블렌딩이 억제될 수 있으나, 그 로컬 모션이 충분히 적다고 판단되면 얼굴 영역들 내 픽셀들의 블렌딩이 수행될 수 있다.

사람 얼굴은 눈, 코, 입, 털 등과 같이, 모션이 검출될 수 있는 여러 특징들을 가진다. 그러한 높은 수준의 특징들 사이에서, 얼굴은 피부 텍스처처럼 보다 미묘한 특징들만을 가진다. 이미지 캡처 중에 얼굴이 움직이면, 그러한 미묘한 특징들은 함께 블러링되고 만다. 즉, 피부 텍스처가 제거되고 부자연스러운 이미지가 만들어진다. 모션이 있을 때 눈, 코, 입처럼 높은 수준의 특징들은 선명하게 유지되지만, 그러한 특징들 사이의 영역들(털이 있는 영역들을 포함)은 블러링될 수 있다. 그러한 낮은 콘트라스트(contrast) 영역들에서의 작은 차이들은 프레임들의 블렌딩을 억제할 정도의 오차를 생성하지 않는다. 이하에서 보다 상세히 논의되겠지만, 로컬 모션은 피부 영역의 움직임에 대한 분석에 기반하여 검출될 수 있다. 얼굴의 블러링을 피하기 위한 모션 분석은, 멀티 프레임 블렌딩 블록(326)을 사용해, 검출이 어려운 사소한 모션들이 존재할 때에도 여러 프레임들이 블렌딩되고 얼굴의 세부사항을 보존할 수 있게 한다.

얼굴 영역에서의 블렌딩을 억제하기 위해서는, 모션 검출 블록이 얼굴 영역에서 글로벌 모션과 다른 모션을 검출한다. 제1단계는 도 4에 도시된 바와 같이 주요 기준 프레임의 얼굴 영역 안에서 특징점들 (x_r, y_r)을 검출하는 것으로, 여기서 기준 지점은 사람 A에 대해 지정된 눈 (x_A1, y_A1)이 된다. 복수의 프레임들을 가진 캡처 집합의 한 추가 프레임을 이용하여, 기준 프레임이 아닌 프레임의 지점들 (x_i, y_i)을 이용하는 얼굴 영역 내에서의 로컬 모션을 캡처하기 위해 그러한 특징점들이 추적된다. 이 두 프레임들의 글로벌 모션은 아핀(affine) 매트릭스 M으로 기술되며, 각각의 출력 픽셀을 찾기 위한 입력 프레임 내 위치를 산출하는데 사용된다. 즉, 아핀 매트릭스 M는 프레임들 간 글로벌 모션 추정치를 나타낸다. 글로벌 모션은 프레임들을 정렬하는데 사용된다. 블렌딩 프로세스의 일환으로서 여러 개의 프레임들을 병합하면서도 계속해서 선명도를 유지하기 위해, 먼저 프레임들을 정렬하는 것이 필요하다. 프레임들에서 로컬 모션을 측정할 때, 아핀 매트릭스 M를 이용해 프레임을 변환함으로써 글로벌 모션을 보상하기 위해 아핀 매트릭스 M이 사용된다.

이하의 수학식 1에 나타낸 바와 같이, 기준 프레임 내 각각의 특징점 (x_r, y_r)은 비기준 프레임 (x_i', y_i') 안의 한 지점으로 매핑된다.

[수학식 1]

이하의 수학식 2에서 나타낸 바와 같이, 매핑된 지점(즉, 특징점의 예상 위치 (x_i, y_i))을 실제의 특징점 위치인 (x_i', y_i')와 비교함으로써 각각의 지점 (x_i', y_i')에 대한 오차가 산출된다.

[수학식 2]

얼굴 영역에서의 모든 특징점들에 대한 평균 오차는 로컬 모션과 관련되며, 이하의 수학식 3에 나타낸 바와 같이 0과 1 사이의 값인 억제 가중치를 결정하는데 사용된다.

[수학식 3]

낮은 값들은 작은 오차들에 대해 블렌딩이 보다 민감하게 만들며, 1에 가까운 값들은 블렌딩의 디폴트 감도를 유지시킨다. 가중치 w는 하나의 파라미터로서 멀티 프레임 블렌딩 블록(326)으로 전달되어 블렌딩의 감도를 제어하도록 한다. 상기 수학식에서 T 및 m은 얼굴 모션의 정도에 대한 알고리즘의 감도를 제어하기 위한 조정 가능한 파라미터들이다. 예로서, T는 2.5에 해당할 수 있고, m은 1.4에 해당할 수 있다.

도 4에 도시된 바와 같이, 일련의 프레임들은 한 이미지와 관련되며, 피부를 갖는 이미지 영역의 모션을 검출 가능하게 하는 특징점들 및 거리들을 보여준다. 얼굴의 한 특징점의 움직임에 기반하여, 얼굴의 일정 부분과 같은 피부와 관련된 로컬 모션이 판단될 수 있다. 즉, 눈이나 코처럼 얼굴의 특징점을 나타내는, 쉽게 식별가능한 부분에 대한 모션이 추적되어, 상술한 바와 같이 프레임들 각각에서 X_r1, Y_r1 로서 지정된 고정 지점을 기준으로 해당 특징점의 움직임을 추적함으로써 얼굴이 움직이는지 여부를 판단할 수 있다. 프레임들 간 (점선 박스로 식별되는) 얼굴 관련 특징점들이 추적되어, 얼굴의 움직임이 로컬 모션에 기반하는지 글로벌 모션에 기반하는지 여부를 판단하도록 할 수 있다. 글로벌 모션은 예컨대 카메라의 움직임에 기반하여 결정될 수 있으며, 이때 이미지의 모든 객체들이 그 카메라 움직임에 기반하여 움직인다. 즉, 글로벌 모션은 도 4에서 (X_r1, Y_r1)라고 지정된 빌딩의 코너 같은 어느 객체를 기준으로 한 이미지 내 여러 객체들의 움직임을 통해 판단될 수 있다. 이와 달리 글로벌 모션은 한 사람의 얼굴이 글로벌 모션과 무관하게 움직이는지 여부에 따라 판단된다. 예를 들어, 사람 A의 눈이라는 특징점( (X_A1, Y _A1)로 지정됨)이 로컬 모션을 판단하기 위해 추적될 수 있다. 상술한 바와 같이, 프레임 3과 같은 기준 프레임이 나머지 프레임들 중 하나 이상과 비교되어, 글로벌 모션 및 로컬 모션 모두를 판단할 수 있다.

도 3을 다시 참조하면, 선택된 피부 톤 정의에 기반하여 필터링 또한 수행된다. 파라미터 제어 블록(328)은 잡음 필터 블록(330) 및 윤곽 강조 블록(332)의 동작 또한 제어한다. 얼굴 복원에 최적화된 잡음 필터 및 윤곽 강조 파라미터가, 피부 톤이라고 검출된 영역들에 적용될 수 있다. 예를 들어, 파라미터 제어 블록(328)은 잡음 필터(330)에 문턱값들을 제공하고, 윤곽 강조 블록(332)에 세기 값들을 제공할 수 있다. 피부 톤은 장면 및 카메라 캡처 파라미터들에 따라 프레임마다 달라지는 경향이 있다는 것을 알아야 한다. 종래의 장치들에서처럼, 피부 톤 정의가 모든 가능한 얼굴 영역들을 커버하기 위해 광범위하게 유지되는 경우, 얼굴 아닌 영역들 또한 포함되어 얼굴 최적화 파라미터들을 사용해 처리될 수 있다. 의도치 않은 영역들을 피부 영역들로서 포함하는 것을 방지하기 위해, 사전 기반(dictionary based) 얼굴 영역 선택이 구현되며, 선택된 피부 톤 정의에 기반하여 잡음 필터 블록(330) 및 윤곽 강조 블록(332)을 제어하는 파라미터들이 선택될 수 있다.

보다 구체적으로, 이미지 안에서의 고화질 얼굴 복원은, 잡음 필터들에 의해 제어되는 것과 같이, 해당 잡음 유형에 대한 우수한 제어를 필요로 한다. 이는 이미지의 모든 부분들에 대해 해당되나, 소비자들은 얼굴 영역에서 선명한 결과를 갖기를 희망한다. 얼굴 영역 안에서, 화질의 다양한 양상들이 타협점(tradeoff)으로서 제어될 수 있다. 예를 들어, 고해상도의 이목구비는 별로 중요하지 않지만 피부 텍스처를 보존하는 것은 중요할 수 있다. 이러한 목표하에서, 어떤 문턱값을 가지는 메디안 잡음 필터(320)가 얼굴 영역의 고진폭 스파이크 잡음을 제거하는데 사용된다. 고진폭 스파이크 잡음은 통상적인 잡음 필터들에 의해 잘 처리되지 못하기 때문에 문제가 되며, 보통 잡음 필터 출력 이미지까지 전달된다. 잡음 필터를 이용하여 얼굴의 잡음을 제거하기 위해서는 문턱치들이 매우 강력하게 설정되어야 하는데, 이렇게 하면 이미지의 다른 모든 부분들의 디테일(detail)이 지나치게 많이 제거될 수 있다. 스파이크 잡음이 얼굴 필터의 잡음을 통해 유지되는 경우, 시스템의 윤곽 강조 시 스파이크 잡음에 부가적 강조를 더하게 된다. 따라서 이미지의 다른 부분들에서의 잡음 필터링 및 윤곽 강조 전에, 중요한 얼굴 영역에서 그러한 유형의 고진폭 잡음을 제거하는 것이 바람직할 것이다.

도 3의 구현예에 따른 이미지 처리 시스템에서 메디안 필터들이 사용되어 고진폭 스파이크 잡음을 제거할 수 있다. 그러나 메디안 필터는 원하는 피부 텍스처를 포함해 얼굴 영역에서 상당한 정도의 디테일을 제거한다는 단점을 가진다. 따라서, 얼굴 영역의 피부 텍스처 디테일 제거를 방지하기 위해, 한 문턱치가 도 3의 구현예에 따른 메디안 필터의 조정 가능 파라미터로서 도입된다. 현재의 픽셀 주변 좁은 이웃들의 메디안(중점)을 산출한 후, 그 메디안을 해당 문턱치와 비교한다. 메디안이 문턱치보다 작으면, 아무 변경도 이루어지지 않으며 출력 픽셀이 입력 픽셀의 값으로 설정된다. 메디안이 문턱치보다 크면, 출력 픽셀이 이웃의 메디안 값으로 설정된다. 메디안 필터에 대한 이러한 문턱치의 사용은 필터가 얼굴 영역의 중요한 피부 텍스처를 제거하는 것을 방지한다. 잡음 필터를 적용함에 따른 부작용에 대한 이차적 제어는, 메디안 필터의 동작이 사람 얼굴과 같이 피부를 포함한다고 판단되는 영역에서만 실행되도록 제한하는 것이다.

도 5는 얼굴에 국한된 메디안 잡음 필터의 일예이며, 피부 영역 메디안 필터(320) 등에서 구현될 수 있다. 이미지와 관련된 3x3 블록 픽셀들이 분석될 수 있는 피부 확률 블록(504)을 가지는 피부 검출부(502)로 입력 이미지와 선택된 피부 정의가 제공된다. 피부 확률 블록(504)의 결정이 문턱 블록(506)으로 제공되며, 문턱 블록(506)은 피부 확률값을 한 문턱치와 비교하여 어느 한 픽셀이 피부로 간주되는지 여부를 판단하며, 그에 따라 어떤 픽셀들을 교체해야 하는지를 판단한다. 피부 확률 블록(504)의 국지화(localization) 경로가 각각의 이웃이 피부일지 비피부일지에 대한 가능성을 산출한다. 영역들과 관련된 바이너리 결정이 이루어진 후, 그러한 결정들을, 침식 다음으로 팽창을 포함하는 형태(morphological) 연산자들을 사용하여 필터링할 수 있다. 잘 알려진 바와 같이, 침식(erosion)은 앞쪽(전경) 픽셀들의 영역의 경계들을 침식시키는 동작으로, 전경 픽셀들의 면적의 크기가 줄어들 수 있게 한다. 딜레이션(dilation)은 잘 알려진 바대로, 배경 픽셀들을 전경으로 변경하는 동작이다. 이러한 필터링 동작들 다음에, 연결된 성분/블롭(blob) 사이즈 테스트 블록(510)에서 피부 영역들의 블롭들을 식별하기 위한 연결된 성분 분석이 뒤따른다. 소정 크기의 블롭들만이 최종 얼굴 영역 마스크의 일부로서 유지된다. 예를 들어, 선택된 피부 톤과 근사한 컬러를 가질 수 있는 이미지 부분들은 그 이미지 부분의 모양의 크기에 기반하여 거부될 수 있다. 즉, 이미지의 한 부분이 얼굴이 되기에는 너무 작다거나 얼굴일 가능성이 없는 모양을 가진다거나 해당 부분에서 특수 처리가 유리할 수 있는 정도의 얼굴 부분이라고 판단될 수 있다. 얼굴 국한 메디안 필터 잡음 필터는 입력 이미지를 수신하여 필터링된 이미지를 생성하도록 구성된 메디안 잡음 필터(512)를 포함한다. 피부 검출부(502)의 결과에 기반하여 선택된 필터링된 이미지의 일부는 메디안 문턱 블록(514)의 메디안 문턱치와 비교되어 출력 이미지를 생성하도록 한다. 즉, 메디안 문턱 블록(514)은 현재의 픽셀 주변 좁은 이웃들의 메디안을 산출하며, 그 메디안은 해당 문턱치와 비교된다. 메디안이 문턱치보다 작으면, 입력 이미지의 픽셀에 대해 아무 변경도 이루어지지 않으며 출력 픽셀이 입력 픽셀의 값으로 설정된다. 메디안이 문턱치보다 크면, 출력 픽셀이 이웃의 메디안 값으로 설정된다. 또한, 메디안 문턱 블록(514)은 피부 검출부(502)에 의해 식별된 영역들의 픽셀들만을 분석한다.

이제 도 6을 참조하면, 이미지의 화질을 개선하는 방법의 흐름도가 도시된다. 도 6의 방법, 및 이하에서 기술될 도 7 내지 10의 방법들은 도 1의 장치, 특히 도 3의 프로세싱 블록들 등에서 구현될 수 있다. 특히, 이미지를 생성하기 위해 복수의 프레임들의 픽셀들이 처리된다(블록 602). 그런 다음, 한 픽셀이 복수의 프레임 중 한 프레임의 피부 영역 안에 있는지 여부가 판단된다(블록 604). 이 판단은 피부 검출 블록(312) 등에 의해 이루어질 수 있다. 픽셀이 피부 영역 안에 없다고 판단되면, 다음 픽셀과 관련된 픽셀 데이터가 수신된다(블록 606). 픽셀 데이터가 피부 영역과 관련되는 것으로 판단되면, 그 피부 영역이 움직이는지를 판단한다(블록 608). 이 판단은 모션 검출 블록(306) 등에 의해 이루어질 수 있다. 피부 영역이 움직이지 않는다고 판단되면, 그 피부 영역 내 픽셀들이 블렌딩된다(블록 610). 피부로 식별된 영역에서만 특정 이미지 프로세싱이 수행될 수 있다(블록 612). 특정 프로세싱의 예들이 잡음 필터링 블록(330) 및 윤곽 강조 블록(332) 등의 동작과 관련하여 기술되었다. 피부 영역이 움직인다고 판단되면(블록 608), 그 피부 영역 내 픽셀들이 블렌딩되고(블록 614) 그런 다음 피부라고 식별된 영역에서만 상기 특정 이미지 프로세싱이 수행된다(블록 612). 그런 다음, 피부 영역들을 식별하기 위해 다른 픽셀들이 분석되어야 하는지 여부가 판단된다(블록 616). 그에 해당하는(분석되어야 하는) 경우, 다음 픽셀이 분석된다(블록 604). 그렇지 않은 경우, 식별된 피부 영역 외부에 있는 이미지의 나머지 부분들에서 이미지 프로세싱이 수행된다.

이제 도 7을 참조하면, 이미지의 화질을 개선할 수 있도록 로컬 모션의 레벨을 설정하는 방법에 대한 흐름도가 도시된다. 로컬 모션의 레벨을 설정하는 방법은 상술한 바와 같이 모션 검출 블록(306)에 따라 구현될 수 있다. 한 프레임에서 피부 영역이 식별되고(블록 704), 그 피부의 로컬 모션이 글로벌 모션과 비교된다(블록 706). 로컬 모션은 상술한 바와 같이 블렌딩같은 프로세싱 특성을 구현하기 위해 사용된다.

이제 도 8을 참조하면, 이미지의 화질을 개선할 수 있도록 프레임의 피부 톤을 선택하는 방법의 흐름도가 도시된다. 특히, 피부 톤 정의들에 대한 사전에서 복수의 피부 톤 정의들이 제공된다(블록 802). 해당 프레임 내에서 하나 이상의 피부 영역들이 식별된다(블록 804). 검출된 영역의 피부 톤이 복수의 피부 톤 정의들과 비교된다(블록 806). 그런 다음, 해당 프레임 내에서 다수의 피부 영역들이 식별되는지 여부가 판단된다(블록 808). 다수의 피부 영역들이 식별되면, 그 프레임의 피부 톤 정의를 선택하기위해 사용될 다수의 피부 영역들이 프레임 내에서 식별되고(블록 810), 프레임 내 다수의 피부 영역들에 기반한 하나의 피부 톤 정의가 선택된다(블록 812). 그렇지 않은 경우, 식별된 하나의 피부 영역에 가장 근접하게 해당하는 피부 톤 정의가 선택된다(블록 814).

이제 도 9를 참조하면, 한 프레임의 피부 톤을 선택할 수 있도록 이미지와 관련된 데이터를 변환하는 방법의 흐름도가 도시된다. 구체적으로, 피부 톤들과 관련된 이미지 부분들이 제1포맷에서 제2포맷으로 변환된다(블록 902). 이미지의 한 부분 내 픽셀의 제2포맷 픽셀 데이터가, 제2포맷 사전 내 정의들과 비교된다(블록 904). 그런 다음, 사전 정의를 결정하기 충분한 픽셀들이 비교되었는지가 판단된다(블록 906). 충분히 비교되었으면, 제2포맷 픽셀 데이터와 가장 가까운 사전 정의가 결정된다(블록 908). 피부 톤들과 관련된 이미지 부분들이 제2포맷에서 제1포맷으로 다시 변환된다(블록 910). 한 프레임에 대한 피부 톤의 선택은 피부 검출 블록(304)에 따라 구현될 수 있다.

이제 도 10을 참조하면, 이미지 내 한 객체와 관련된 특정 이미지 프로세싱을 적용함으로써 이미지의 화질을 개선하는 방법의 흐름도가 도시된다. 구체적으로, 이미지가 수신된다(블록 1002). 이미지 내 한 객체와 관련된 이미지 영역이 식별된다(블록 1004). 이미지 내 객체에 대해 제1이미지 프로세싱이 적용된다(블록 1006). 상기 객체에 대해 특정 잡음 필터들을 적용한 후, 이미지의 나머지 부분들에 대해 제2이미지 프로세싱이 적용된다(블록 1008). 예로서, 이미지 내 하나 이상의 객체들은 사람 또는 동물들일 수 있으며, 이 경우 보다 우수한 해상도를 그 사람 또는 동물들에 제공하기 위해 제1이미지 프로세싱이 그 사람이나 동물들에 대해 수행된다. 즉, 제1이미지 프로세싱은, 사람이나 동물들이 멀리 떨어져 있어 이미지의 다른 부분들과 비교해 일반적으로 이미지 내 다른 객체들보다 작은 경우에도, 그 사람이나 동물들에 대해 보다 선명한 이미지들을 제공할 수 있다.

이미지 화질을 개선하기 위한 신규한 장치 및 방법들이 개시되었음을 알 수 있다. 당업자라면 개시된 발명을 포함하는 수많은 대안들과 균등물이 존재한다는 것을 알 수 있다. 결과적으로 본 발명은 상술한 실시예들에 국한되지 않고 이하의 청구범위를 통해서만 한정된다.

Claims

이미지의 화질을 개선하는 방법으로서,
이미지를 수신하되, 상기 이미지의 픽셀 데이터가 제1포맷을 가지는 단계;
피부를 가지는 상기 이미지의 영역을 식별하는 단계;
상기 식별된 피부를 가진 이미지의 영역에 대한 로컬 모션 분석에 기초하여, 상기 이미지의 영역의 움직임을 결정하는 단계;
상기 결정의 결과에 기초하여, 상기 피부를 가진 이미지의 영역 내 픽셀들에 대한 블렌딩을 제어하는 단계;
상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 제2포맷으로 변환하는 단계;
상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하는 단계;
상기 복수의 피부 톤 정의들 중 하나의 피부 톤 정의를 선택하는 단계; 및
상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 상기 제1포맷으로 변환하는 단계를 포함하는 방법.
제1항에 있어서, 상기 피부를 가진 이미지의 제2영역을 식별하는 단계, 및 상기 피부를 가진 이미지의 상기 제2영역과 관련된 제2피부 톤 정의를 선택하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 상기 제2포맷으로 변환하는 단계는 상기 픽셀 데이터를 휘도-크로미넌스 표현(luminance-chrominance representation)에서 원기둥 좌표 표현(cylindrical coordinate representation)으로 변환하는 단계를 포함하는 방법.
제1항에 있어서, 상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 상기 제2포맷으로 변환하는 단계는 상기 픽셀 데이터를 색조(hue) 및 채도(saturation) 성분들을 가지는 원기둥 좌표 표현으로 변환하는 단계를 포함하는 방법.
제1항에 있어서, 상기 선택된 피부 톤 정의를 이용하여 피부 마스크를 생성하는 단계, 및 상기 피부 마스크 외부의 영역들에 있는 프레임의 픽셀들을 처리하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 로컬 모션 분석을 수행하는 단계를 더 포함하고, 결정된 로컬 모션의 레벨에 기반하여 상기 피부를 가진 이미지 영역 내 멀티 프레임 블렌딩의 레벨이 제어되는 방법.
제1항에 있어서, 상기 선택된 피부 톤 정의에 기반하여 상기 피부를 가진 이미지 영역에서 잡음 필터 및 윤곽선 강조(edge enhancement)를 구현하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 피부를 가진 이미지 영역과 관련된 로컬 모션을 검출하는 단계를 더 포함하고, 로컬 모션이 검출되면 상기 피부의 텍스처 블러링(blurring)을 피하도록 상기 피부를 가진 이미지 영역에서의 블렌딩이 제어되는 방법.
제1항에 있어서, 복수의 피부 톤 정의들 중 한 피부 톤 정의를 선택하는 단계를 더 포함하고, 상기 제2포맷으로 된 상기 복수의 피부 톤 정의들은 색조(hue) 및 채도(saturation) 성분을 포함하는 원기둥 좌표 포맷을 가지는 방법.
이미지의 화질을 개선하는 장치로서,
프로세서 회로를 포함하고, 상기 프로세서 회로는
이미지와 관련된 프레임에 대해 제1포맷으로 되어 있는 픽셀 데이터를 수신하고,
피부를 가지는 상기 이미지의 영역을 식별하고,
상기 식별된 피부를 가진 이미지의 영역에 대한 로컬 모션 분석에 기초하여, 상기 이미지의 영역의 움직임을 결정하고,
상기 결정의 결과에 기초하여, 상기 피부를 가진 이미지의 영역 내 픽셀들에 대한 블렌딩을 제어하고,
상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제1포맷에서 제2포맷으로 변환하고,
상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하고,
상기 복수의 피부 톤 정의들 중 하나의 피부 톤 정의를 선택하고,
상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 상기 제1포맷으로 다시 변환하는 장치.
제10항에 있어서, 상기 프로세서 회로는, 상기 피부를 가진 이미지의 제2영역을 식별하고, 상기 피부를 가진 이미지의 상기 제2영역과 관련된 제2피부 톤 정의를 선택하는 장치.
제11항에 있어서, 상기 프로세서 회로는 상기 선택된 피부 톤 정의 및 상기 선택된 제2피부 톤 정의에 기반하여 상기 프레임의 피부 톤 정의를 선택하는 장치.
제10항에 있어서, 상기 프로세서 회로는 상기 프레임의 픽셀 데이터를 휘도-크로미넌스 표현에서 원기둥 좌표 표현으로 변환하는 장치.
제10항에 있어서, 상기 프로세서 회로는 상기 프레임의 픽셀 데이터를 색조 및 채도 성분들을 가지는 원기둥 좌표 표현으로 변환하는 장치.
이미지의 화질을 개선하기 위해 컴퓨터로 실행될 수 있는 소프트웨어를 나타내는 데이터가 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
이미지와 관련된 프레임에 대해, 제1포맷으로 되어 있는 픽셀 데이터를 수신하기 위한 명령어들;
피부를 가지는 상기 이미지의 영역을 식별하기 위한 명령어들;
상기 식별된 피부를 가진 이미지의 영역에 대한 로컬 모션 분석에 기초하여, 상기 이미지의 영역의 움직임을 결정하기 위한 명령어들;
상기 결정의 결과에 기초하여, 상기 피부를 가진 이미지의 영역 내 픽셀들에 대한 블렌딩을 제어하기 위한 명령어들;
상기 피부를 가진 이미지 영역의 픽셀 데이터를 제1포맷에서 제2포맷으로 변환하기 위한 명령어들;
상기 제2포맷의 픽셀 데이터를 상기 제2포맷의 복수의 피부 톤 정의들(definitions)과 비교하기 위한 명령어들;
상기 복수의 피부 톤 정의들 중 하나의 피부 톤 정의를 선택하기 위한 명령어들; 및
상기 피부를 가진 이미지 영역의 픽셀 데이터를 상기 제2포맷에서 상기 제1포맷으로 다시 변환하기 위한 명령어들을 포함하는 컴퓨터 판독가능 저장 매체.