KR20110007837A - 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 - Google Patents

피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 Download PDF

Info

Publication number
KR20110007837A
KR20110007837A KR1020090065477A KR20090065477A KR20110007837A KR 20110007837 A KR20110007837 A KR 20110007837A KR 1020090065477 A KR1020090065477 A KR 1020090065477A KR 20090065477 A KR20090065477 A KR 20090065477A KR 20110007837 A KR20110007837 A KR 20110007837A
Authority
KR
South Korea
Prior art keywords
pixel
value
mask
skin color
pixels
Prior art date
Application number
KR1020090065477A
Other languages
English (en)
Other versions
KR101590868B1 (ko
Inventor
김승훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090065477A priority Critical patent/KR101590868B1/ko
Priority to US12/837,641 priority patent/US8340417B2/en
Publication of KR20110007837A publication Critical patent/KR20110007837A/ko
Application granted granted Critical
Publication of KR101590868B1 publication Critical patent/KR101590868B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 중심 픽셀로부터 소정의 거리만큼 떨어진 마스크 픽셀들을 이용하여, 잡티 및 주름 등을 제거하기 위한 피부색 보정을 수행하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 상기 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체에 관한 것이다. 본 발명에 따르면 잡티, 주름 등을 효과적으로 제거하면서 에지를 보존할 수 있는 피부색 보정을 수행할 수 있다.

Description

피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체{A image processing method, an image processing apparatus, a digital photographing apparatus, and a computer-readable storage medium for correcting skin color}
본 발명은 입력 영상에 대해 피부색 보정을 수행하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 상기 영상 처리 방법을 수행하기 위한 컴퓨터 판독가능 저장매체에 관한 것이다.
디지털 촬영 장치 및 영상 처리 장치가 널리 보급되면서, 촬영된 영상에서 얼굴을 아름답게 보이도록 하는 기능이 요구되고 있다. 이를 위해 특히 피부의 색상을 밝게 하고, 잡티 등을 제거하여 얼굴을 깨끗하게 보이도록 하기 위한 얼굴 보정 기술에 대한 연구가 진행 중이다. 사용자는 얼굴 보정 기능을 이용하여 간단한 조작만으로 촬영된 얼굴을 아름답게 보이도록 보정할 수 있다.
얼굴 보정 기능 중, 잡티, 주름 등의 제거 기능은 얼굴에 포함된 잡티, 주름 등을 완전히 제거하거나 옅어지게 하는 기능이다. 잡티 제거를 위한 기술에는 예를 들면 가우시안 저역 통과 필터(Gaussian low pass filter)를 이용한 가우시안 스무 딩(Gaussian smoothing) 및 Bilateral 필터 처리 등이 있다.
도 1은 가우시안 저역 통과 필터 또는 Bilateral 필터를 이용하여 처리한 결과 영상을 나타낸다.
가우시안 저역 통과 필터를 이용한 피부 보정은, 자연스러운 피부보정 효과를 기대하기 힘든 문제점이 있다. 가우시안 저역 통과 필터 처리는 잡티 및 주름에 해당하는 잡음이라고 판단되는 픽셀에 주변 픽셀 값과 적절히 섞는 효과를 주어서 잡티 및 주름을 제거한 것 같지만, 실제로는 잡티 및 주름을 제거한 것이 아니라 잡티 등을 넓게 펼치거나 한곳으로 뭉쳐놓은 효과와 같다. 도 1의 두 번째 영상(120)을 참조하면, 입력 영상(110)에 비하여 잡티 등이 블러(Blur)되어 넓게 펼쳐진 것을 확인할 수 있다. 또한 가우시안 저역 통과 필터 처리는 에지(edge)가 블러되는 문제점이 있다. 따라서 가우시안 저역 통과 필터 처리를 이용한 피부색 보정은 에지가 블러되는 문제를 해결하기 위하여 필터 처리 이후에 다른 복잡한 처리 과정들을 거쳐야한다. 그러나 이러한 추가적인 처리를 거치더라도, 도 2에 도시된 가우시안 저역 통과 필터 처리와 추가적인 처리를 거친 결과 영상(220)에 나타나는 바와 같이, 에지부분에 블러 현상이 발생한다. 이처럼 에지에 블러가 발생하면, 촬영된 영상이 초점이 안 맞은 인물사진처럼 보일 수 있다.
한편 Bilateral 필터 처리의 경우, 에지 성분이 블러되는 문제점은 거의 없지만, 잡티가 많은 경우 잡티들을 뭉쳐놓은 것 같은 효과 때문에 도 1의 세 번째 영상(130)에 나타나는 것처럼, 부자연스러운 결과 영상을 얻게 된다.
도 3은 일반적인 필터처리를 위한 컨벌루션(convolution) 연산의 과정을 설 명하기 위한 도면이다.
일반적인 필터 처리는 도 3에 나타난 바와 같이, 입력 영상(310)의 각각의 픽셀들에 대하여 중심 픽셀(322, 324, 326, 및 328)과 인접한 주변 픽셀들을 이용하여 필터링 처리를 한다. 그러나 피부의 잡티는 일반적인 영상 잡음에 비해 크기가 크고, 인접한 주변 픽셀들과의 밝기 차가 크지 않다. 따라서 인접한 주변 픽셀들을 이용한 기존의 컨벌루션 처리는 이러한 피부 잡티의 특성을 고려하였을 때, 잡티 제거에 효과적이지 않다.
피부 보정에 대한 기존 선행 특허에는 다음과 같은 것들이 있다. 미국 특허출원 2002-160421, Method and system for enhancing portrait images는 얼굴에서, 눈, 코, 입, 피부 등 각 영역의 특성을 판별한 후, 각 영역에 적절한 필터를 이용하여 처리함으로써, 에지가 블러되는 문제점을 해결한다. 일본 특허출원 2005-162836은 얼굴에서 얼굴 영역을 확실하게 추출하고, 얼굴을 자연스럽고 효율적으로 보정하기 위한 것이다. 또한, 이밖에 얼굴 보정에 대한 관련 특허출원에는 일본 특허출원 1998-053026, 일본 특허출원 2002-345643 등이 있다. 상기 특허출원들의 내용은 본 명세서에 참조로서 통합된다.
본 발명은 잡티 또는 주름 등을 제거하는 성능을 향상시키면서, 에지를 보존하는 피부색 보정을 수행하기 위한 영상 처리 방법, 장치, 디지털 촬영 장치, 및 이를 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체를 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 입력 영상으로부터 피부색 영역을 검출하는 단계; 상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정하는 단계; 상기 복수의 마스크 픽셀 각각에 대해 상기 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값의 차이값를 산출하는 단계; 상기 픽셀 값의 차이값이 보정 기준값보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하는 단계; 상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값을 구하는 단계; 및 상기 제2 데이터 값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는 단계를 포함한다.
여기서 상기 복수의 마스크 픽셀들을 결정하는 단계는, 상기 중심 픽셀을 중심으로 하고 반경이 마스크 크기 파라미터인 원 또는 타원 상에 위치한 복수의 픽 셀들, 상기 중심 픽셀을 중심으로 하고 상기 마스크 크기 파라미터에 따라 그 크기가 결정되는 사각형 상에 위치한 복수의 픽셀들, 또는 이들의 조합을 상기 복수의 마스크 픽셀들로 결정할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 영상 처리 방법은, 상기 피부색 영역에 대하여, 상기 제2 데이터 값과 상기 중심 픽셀의 픽셀 값의 평균값을 구하는 단계를 더 포함하고, 상기 픽셀 값을 보정하는 단계는, 상기 평균값에 따라 상기 중심 픽셀의 픽셀 값을 보정할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 영상 처리 방법은 상기 피부색 영역의 크기에 따라 상기 마스크 크기 파라미터를 결정하는 단계를 더 포함할 수 있다. 또한 상기 영상 처리 방법은 상기 피부색 영역의 픽셀 값의 평균값에 따라 상기 보정 기준값을 결정하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 피부색 영역을 검출하는 단계는, 상기 입력 영상의 각각의 픽셀들의 색상 성분 값을 피부색 기준값에 비교하여 피부색 영역을 검출하고, 상기 픽셀 값은 픽셀의 휘도 성분 값이다.
본 발명의 일 실시예에 따른 영상 처리 장치는, 입력 영상으로부터 피부색 영역을 검출하는 피부색 영역 검출부; 상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정하는, 마스크 픽셀 결정부; 상기 복수의 마스크 픽셀 각각에 대해 상기 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값의 차이값를 산출하는 차이값 산출부; 상기 픽셀 값의 차이값이 보정 기준값보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데 이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하는 제1 데이터 값 산출부; 상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값을 구하는 제2 데이터 값 산출부; 및 상기 제2 데이터 값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는 보정부를 포함한다.
바람직하게는, 상기 마스크 픽셀 결정부는, 상기 중심 픽셀을 중심으로 하고 반경이 마스크 크기 파라미터인 원 또는 타원 상에 위치한 복수의 픽셀들, 상기 중심 픽셀을 중심으로 하고 상기 마스크 크기 파라미터에 따라 그 크기가 결정되는 사각형 상에 위치한 복수의 픽셀들, 또는 이들의 조합을 상기 복수의 마스크 픽셀들로 결정한다.
본 발명의 다른 실시예에 따르면, 상기 영상 처리 장치는, 상기 피부색 영역에 대하여, 상기 제2 데이터 값과 상기 중심 픽셀의 픽셀 값의 평균값을 구하는 평균값 산출부를 더 포함하고, 상기 보정부는, 상기 평균값 산출부에서 산출된 상기 평균값에 따라 상기 중심 픽셀의 픽셀 값을 보정할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 영상 처리 장치는, 상기 피부색 영역의 크기에 따라 상기 마스크 크기 파라미터를 결정하는 마스크 크기 파라미터 결정부를 더 포함할 수 있다. 또한 상기 영상 처리 장치는, 상기 피부색 영역의 픽셀 값의 평균값에 따라 상기 보정 기준값을 결정하는 보정 기준값 결정부를 더 포함할 수 있다.
또한 본 발명의 다른 측면으로서, 상기 영상 처리 장치를 이용하는 디지털 촬영 장치가 있다.
본 발명의 일 실시예에 컴퓨터 판독가능 저장매체는, 입력 영상으로부터 피부색 영역을 검출하는 코드 부분; 상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정하는 코드 부분; 상기 복수의 마스크 픽셀 각각에 대해 상기 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값의 차이값를 산출하는 코드 부분; 상기 픽셀 값의 차이값이 보정 기준값보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하는 코드 부분; 상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값을 구하는 코드 부분; 및 상기 제2 데이터 값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는 코드 부분을 포함하는 컴퓨터 프로그램을 저장한다.
본 발명에 따르면, 잡티 또는 주름을 효과적으로 제거하면서, 에지가 블러되는 문제점을 해결하는 효과가 있다. 따라서 본 발명에 따른 피부색 보정은 잡티 등을 제거하면서 종래의 피부색 보정 기술들에 비하여 보다 자연스러운 결과 영상을 얻을 수 있는 효과가 있다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
본 발명에 따른 영상 처리 장치는 영상을 입력받고, 입력 영상을 처리할 수 있는 장치라면 어떠한 형태라도 가능하다. 본 발명의 일 실시예에 따르면, 본 발명에 따른 영상 처리 장치는 디지털 촬영 장치의 형태로 구현될 수 있다. 그러나 본 발명이 디지털 촬영 장치에 한정되지 않음은 물론이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
본 발명의 일 실시예에 따른 영상 처리 장치(400)는 광학부(410), 광학 구동부(411), 촬상소자(415), 촬상소자 제어부(416), 조작부(420), 프로그램 저장부(430), 버퍼 저장부(440), 데이터 저장부(450), 디스플레이부(460), 및 디지털 신호 처리부(DSP, 470)를 포함할 수 있다.
광학부(410)는 피사체로부터의 입력된 광학 신호를 촬상 소자(415)로 제공한다. 광학부(410)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어 지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 또한, 상기 광학부(410)는 광량을 조절하는 조리개를 더 포함할 수 있다.
광학 구동부(411)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 또한, 조리개의 개폐를 조절하여 광량을 조절할 수 있다. 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 광학 구동부(411)가 광학부(410)를 제어할 수 있다.
상기 광학부(410)를 투과한 광학 신호는 촬상 소자(415)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(415)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(415)는 촬상소자 제어부(416)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(416)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(415)를 제어할 수 있다.
조작부(420)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(420)는 정해진 시간 동안 촬상 소자(415)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 조작부(420)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
또한, 상기 영상 처리 장치(400)는 상기 디지털 카메라를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(430), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(440), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(450)를 포함한다.
아울러, 상기 영상 처리 장치(400)는 이의 동작 상태 또는 상기 영상 처리 장치(400)에서 촬영한 이미지 정보를 표시하도록 디스플레이부(460)를 포함한다. 상기 디스플레이부(460)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 상기 디스플레이부(460)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.
그리고 상기 영상 처리 장치(400)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(470)를 포함한다.
본 발명의 일 실시예에서, 잡티 등을 제거하기 위한 피부색 보정은 디지털 신호 처리부(470)에서 수행될 수 있다. 이하 디지털 신호 처리부(470)에 대해서 보다 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 디지털 신호 처리부(470)의 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 디지털 신호 처리부(470)는 영상 처리부(502), 피부색 영역 검출부(504), 마스크 픽셀 결정부(506), 차이값 산출부(508), 제1 데이터 값 산출부(510), 제2 데이터 값 산출부(512), 및 보정부(516)를 포함한다.
영상 처리부(502)는 촬상 소자(415)로부터 입력된 영상 신호에 대한 아날로그-디지털 변환을 수행하고, 감마 보정(Gamma Correction), 색좌표 변환, 색온도 조절, 색 필터 배열 보간(color filter array interpolation), 색 향상(color enhancement) 등의 영상 신호 처리를 수행한다.
또한 영상 처리부(502)는 그 기능이 설정된 경우, 자동 화이트 밸런스(Auto white balance), 자동 노출(Auto exposure) 등을 위한 알고리즘을 수행할 수 있다. 나아가, 영상 신호 처리부(502)는 크기 변환, 영상 압축 등의 처리를 수행하여 소정 형식의 이미지 파일을 생성하거나, 미리 저장된 이미지 파일의 압축을 해제하여 소정의 처리를 수행할 수 있다. 또한 본 발명의 일 실시예에 따라 촬영된 영상이 입력되면, 영상 처리부(502)는 라이브뷰 모드에서 실시간으로 입력되는 입력 영상 신호 및 셔터-릴리즈 신호에 의하여 촬영된 입력 영상 신호에 대해 각각의 모드에 적절한 처리들을 수행할 수 있다.
피부색 영역 검출부(504)는 입력 영상 중에서 피부색 영역을 검출한다. 피부색 보정은 피부색을 갖는 영역에 대해서만 수행되고, 머리카락, 눈썹, 눈동자, 및 얼굴 이외의 영역에 대해서는 수행되지 않기 때문에, 피부색 영역 검출부(504)는 이를 위해 피부색 영역을 검출한다. 피부색 영역을 검출하기 위하여, 예를 들면, 입력 영상의 색상 정보를 이용하여, 피부색인지 여부를 판단하고 피부색 영역을 검출할 수 있다. 색상 정보는 예를 들면, YCbCr 좌표계에서 Cb 값 및 Cr 값이다. 피부색 영역을 검출하기 위하여, 피부색 영역 검출부(504)는 피부색에 해당되는 미리 결정된 Cb 및 Cr의 범위를 이용하여, 입력 영상의 픽셀들의 Cb 값 및 Cr 값을 상기 미리 결정된 Cb 및 Cr 범위에 비교하고, 입력 영상의 Cb 값 및 Cr 값이 상기 범위에 포함되면, 해당 픽셀을 피부색 영역으로 결정할 수 있다.
도 6a 및 도 6b는 피부색 영역 검출에 대해 설명하기 위한 도면이다. 도 6a는 입력 영상을 나타내고, 도 6b는 피부색 검출을 수행한 결과 영상을 나타낸다. 피부색 검출이 수행되면, 도 6b에 도시된 바와 같이, 피부색 영역과 머리카락, 눈썹, 눈동자, 안경 등 피부색이 아닌 영역이 구별된다.
마스크 픽셀 결정부(506)는 피부색 영역으로 결정된 픽셀들 각각에 대해 피부색 보정을 수행할 때, 상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정한다. 복수의 마스크 픽셀들은 미리 결정된 마스크 모양에 의하여 결정될 수 있다.
도 7은 본 발명의 일 실시예에 따른 마스크 픽셀의 모양을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 마스크 픽셀 결정부(506)는 중심 픽셀과 소 정의 픽셀만큼 떨어진 픽셀들을 마스크 픽셀로 결정한다. 피부의 잡티 또는 주름 등은 일반적인 영상 잡음에 비해 크기가 크고, 인접한 주변 픽셀들과의 밝기 차이가 크지 않다. 본 발명은 중심 픽셀과 소정의 픽셀만큼 떨어진 픽셀들을 이용하여 피부색 보정을 수행함으로써, 잡티 및 주름 등의 제거를 보다 효과적으로 할 수 있다.
마스크는 마스크 크기 파라미터(radius)에 의하여 그 크기가 정해질 수 있다. 마스크 크기 파라미터(radius)는 미리 결정된 값이거나, 입력 영상에 따라 달리 정해질 수 있다. 마스크는 중심 픽셀을 중심으로 하고 반경이 마스크 크기 파라미터인 원 상에 위치한 복수의 픽셀들(제1 마스크 픽셀), 상기 중심 픽셀을 중심으로 하고 상기 마스크 크기 파라미터에 따라 그 크기가 결정되는 정사각형 상에 위치한 복수의 픽셀들(제2 마스크 픽셀), 또는 제1 마스크 픽셀과 제2 마스크 픽셀의 조합으로 이루어질 수 있다. 또한 마스크는 타원, 직사각형 등 다양한 형태로 정의될 수 있다.
마스크 픽셀 결정부(506)는 도 7에 도시된 마스크 모양 및 마스크 크기 파라미터에 따라 제1 마스크 픽셀, 제2 마스크 픽셀, 또는 이들의 조합에 위치한 주변 픽셀들을 중심 픽셀에 대한 마스크 픽셀들로 결정한다.
마스크 픽셀들이 결정되면, 중심 픽셀에 대하여, 상기 복수의 마스크 픽셀들을 이용하여 수학식 1로 정의되는 필터링 처리가 수행된다.
Figure 112009043702964-PAT00001
여기서 R[y][x]는 처리 결과 픽셀 값인 제2 데이터 값, x 및 y 는 처리중인 픽셀의 위치, p는 마스크 픽셀의 위치,
Figure 112009043702964-PAT00002
는 크기가 마스크 픽셀 파라미터(radius)에 의해 결정되는 마스크의 마스크 픽셀들의 집합,
Figure 112009043702964-PAT00003
는 사용되는 마스크의 마스크 픽셀들의 집합,
Figure 112009043702964-PAT00004
Figure 112009043702964-PAT00005
의 원소인 p,
Figure 112009043702964-PAT00006
는 사용되는 마스크 픽셀들의 개수, s는 입력 영상에서 처리 중인 중심 픽셀의 위치, f(p)는 입력 영상에서 위치 p인 마스크 픽셀의 픽셀 값, f(s)는 입력 영상에 위치 s인 중심 픽셀의 픽셀 값, t는 최대 밝기 값보다 작은 보정 기준값,
Figure 112009043702964-PAT00007
는 중심 픽셀과 마스크 픽셀의 픽셀 값의 차이값의 절대값을 나타낸다.
차이값 산출부(508)는 각각의 마스크 픽셀들에 대해서 상기 중심 픽셀과의 차이값을 구한다. 차이값을 구하기 위하여, 차이값 산출부(508)는 예를 들면 각각의 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값 사이의 뺄셈을 수행한 후, 그 절대값을 구한다. 바람직하게는 상기 픽셀 값은 픽셀의 휘도값, 예를 들면 YCbCr 좌표계에서 Y 값이다.
제1 데이터 값 산출부(510)는 상기 차이값이 보정 기준값(t)보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하여, 제1 데이터 값을 결정한다. 상기 차이값이 보정 기준값(t)보다 작으면, 마스크 픽셀(p)이 피부색을 갖는 것으로 볼 수 있기 때문에, 마스크 픽셀(p)의 픽셀 값(f(p))을 이용하고, 상기 차이값이 보정 기준값(t)보다 크면, 마스크 픽셀(p)이 머리카락 등 피부색 영역이 아닌 것으로 불 수 있기 때문에, 중심 픽셀(s)의 픽셀 값(f(s))을 이용한다. 이러한 구성에 의하여, 에지에서 블러가 발생하는 것을 방지할 수 있다.
제2 데이터 값 산출부(512)는 상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수(
Figure 112009043702964-PAT00008
)로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값(R[y][x])을 구한다.
보정부(516)는 상기 제2 데이터 값(R[y][x])에 따라 상기 중심 픽셀(s)의 픽셀 값(f(s))을 보정한다. 예를 들면 보정부(516)는 중심 픽셀(s)의 픽셀 값(f(s))을 제2 데이터 값(R[y][x])으로 대체한다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치(400)에서 처리된 결과 영상을 나타낸 도면이다. 도 8에 대한 입력 영상인 도 6a와 도 8을 비교해보면, 잡티 및 주름이 효과적으로 제거되면서, 에지는 보존된 것을 확인할 수 있다.
본 발명의 다른 실시예에 따르면, 영상 처리 장치(400)는 평균값 산출부(514)를 더 포함할 수 있다. 평균값 산출부(514)는 제2 데이터 값(R[y][x])과 중심 픽셀의 픽셀 값의 평균값을 산출한다. 이때, 보정부(516)는 평균값 산출부(514)에서 산출된 평균값에 따라 중심 픽셀(s)의 픽셀 값(f(s))을 보정한다.
도 9는 본 발명의 다른 실시예에 따라 처리된 결과 영상을 나타낸 도면이다. 도 9의 영상을 제2 데이터 값으로 보정한 도 8의 영상과 비교해보면, 평균값을 이용하여 보정한 도 9의 영상이 도 8에 비하여 보다 자연스러운 것을 확인할 수 있다. 따라서 본 발명의 다른 실시예에 따르면, 잡티 및 주름을 효과적으로 보정하면서 보다 자연스러운 영상을 얻을 수 있는 효과가 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 신호 처리부(470)는 마스크 크기 파라미터 결정부(518)를 더 포함한다. 마스크 크기 파라미터 결정부(518)는 상기 피부색 영역의 크기에 따라 상기 마스크 크기 파라미터(radius)를 결정한다. 잡티 및 주름의 크기는 입력 영상에서 얼굴의 크기가 커질수록 클 가능성이 높기 때문에, 피부색 영역의 크기에 따라 마스크 크기 파라미터(radius)를 결정함으로써, 잡티 및 주름을 보다 효과적으로 보정할 수 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 신호 처리부(470)는 보정 기준값 결정부(520)를 더 포함한다. 보정 기준값 결정부(520)는 상기 피부색 영역의 픽셀 값의 평균값에 따라 상기 보정 기준값(t)을 결정한다. 바람직하게는 상기 픽셀 값은 휘도값이다. 피부색에 맞춰서 보정 기준값(t)을 결정함으로써, 피부색에 따라 보정 강도를 조절하고, 보다 자연스러운 피부색 보정을 수행할 수 있다. 예를 들 면, 보정 기준값(t)은 피부색 영역의 픽셀 값 평균값이 밝은 값일수록 커질 수 있다.
도 10a 및 도 10b는 종래 기술에 따른 피부색 보정과 본 발명에 따른 피부색 보정의 결과 영상을 비교한 도면이다.
도 10a는 Bilateral 필터 처리의 결과 영상(130)과 본 발명에 따른 처리의 결과 영상(1010)을 나타낸다. 도 10a에서 보는 바와 같이, Bilateral 필터 처리의 결과 영상(130)은 볼, 눈 주변, 입 주변, 코 주변 등의 피부색 영역에서 피부색이 부자연스럽게 연결되고, 눈썹, 팔자 주름 등에서 에지가 과도하게 부각되어 부자연스러운 결과 영상을 얻는데 반하여, 본 발명에 따른 처리의 결과 영상(1010)은 피부색의 연결이 자연스러우면서, 에지도 잘 보존된 것을 확인할 수 있다.
도 10b는 가우시안 저역 통과 필터 처리 및 추가 처리의 결과 영상(220)과 본 발명에 따른 처리의 결과 영상(1020)을 나타낸다. 도 10b에서 보는 바와 같이, 가우시안 저역 통과 필터 처리 및 추가 처리의 결과 영상(220)은 입술, 얼굴 윤곽선 등의 에지에서 블러가 발생하고, 여드름 등의 잡티 제거가 효과적으로 되지 않은데 반하여, 본 발명에 따른 처리의 결과 영상(1020)에서는 여드름 등의 잡티가 효과적으로 제거되면서, 입술, 얼굴 윤곽 등의 에지는 보존된 것을 확인할 수 있다.
도 11a 내지 도 11c는 입력 영상과 각각의 입력 영상에 대한 본 발명에 따른 처리의 결과 영상을 나타낸 도면이다.
도 11a에 도시된 바와 같이, 본 발명에 따른 처리의 결과 영상(1120)에서는 여드름 등의 잡티 및 주름을 효과적으로 제거하여 피부색을 깨끗하게 표현하면서, 에지는 잘 보존된 것을 확인할 수 있다.
도 11b에 도시된 바와 같이, 본 발명에 따른 처리의 결과 영상(1140)에서는 점, 홍조 등을 효과적으로 제거하고 주름을 스무딩(smoothing)하면서, 에지는 잘 보존된 것을 확인할 수 있다.
도 11c에 도시된 바와 같이, 본 발명에 따른 처리의 결과 영상(1160)에서는 피부 결을 깨끗하게 보정하고 주름을 스무딩하면서, 수염, 얼굴 윤곽 등의 에지는 잘 보존된 것을 확인할 수 있다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
본 발명의 일 실시예에 따른 영상 처리 방법은 조작부(420) 등을 통해 입력되는 사용자 입력에 응답하여 수행되거나, 상기 영상 처리 방법을 수행하는 장치의 모드 설정에 의하여 자동적으로 수행될 수 있다.
입력 영상이 입력되면, 본 발명의 일 실시예에 따른 영상 처리 방법은 단계 S1202에서 입력 영상으로부터 피부색 영역을 검출한다. 피부색 영역을 검출하는 방법은 예를 들면, 입력 영상의 색상 정보를 이용하여, 피부색인지 여부를 판단하여 피부색 영역을 검출할 수 있다. 색상 정보는 예를 들면, YCbCr 좌표계에서 Cb 값 및 Cr 값을 이용할 수 있다. 피부색 영역을 검출하기 위하여, 피부색에 해당되는 Cb 및 Cr의 범위를 미리 결정하고, 입력 영상의 픽셀들의 Cb 값 및 Cr 값을 상기 미리 결정된 Cb 및 Cr 범위에 비교하여, 입력 영상의 Cb 값 및 Cr 값이 상기 범위에 포함되면, 해당 픽셀을 피부색 영역으로 결정할 수 있다.
피부색 영역이 검출되면, 단계 1208에서 피부색 영역에 포함되는 각각의 픽셀들을 중심 픽셀(s)로 정하고, 중심 픽셀(s)에 대한 복수의 마스크 픽셀(p)을 결정한다. 복수의 마스크 픽셀들은 미리 결정된 마스크 모양에 의하여 결정될 수 있다. 마스크 모양 및 복수의 마스크 픽셀들에 대한 설명은 도 7 및 이에 대한 설명을 참조한다.
마스크 크기 파라미터(radius)는 미리 결정된 고정된 마스크 크기 파라미터(radius)를 사용할 수 있다. 한편 본 발명의 또 다른 실시예에 따르면, 피부색 영역이 검출되면(S1202), 단계 S1204에서 피부색 영역의 크기에 따라 마스크 크기 파라미터를 결정할 수 있다.
복수의 마스크 픽셀들(p)이 결정되면, 단계 S1210에서 수학식 1을 이용하여 제2 데이터 값(R[y][x])을 산출한다. 제2 데이터 값(R[y][x])을 산출하는 과정에 대해서는 도 13을 이용하여 아래에서 다시 설명한다.
제2 데이터 값(R[y][x])이 산출되면, 단계 S1214에서 제2 데이터 값(R[y][x])에 따라 중심 픽셀(s)의 픽셀 값(f(s))을 보정한다.
한편, 본 발명의 다른 실시예에 따르면, 단계 S1212에서 피부색 영역에 대하여 제2 데이터 값(R[y][x])과 중심 픽셀(s)의 픽셀 값(f(s))의 평균값을 구하고, 상기 평균값에 따라 중심 픽셀(s)의 픽셀 값(f(s))을 보정할 수 있다.
도 13은 중심 픽셀(s)과 복수의 마스크 픽셀들(p)로부터 제2 데이터 값(R(y][x])을 구하는 과정을 도시한 도면이다.
복수의 마스크 픽셀들(p)이 결정되면, 변수 i를 초기화하고(S1301), 각각의 마스크 픽셀들에 대하여, 중심 픽셀(s)과 마스크 픽셀(p)의 차이값(
Figure 112009043702964-PAT00009
)을 구한다(S1302). 여기서
Figure 112009043702964-PAT00010
는 i번째 마스크 픽셀을 나타낸다. 다음으로 단계 S1304에서, 상기 차이값(
Figure 112009043702964-PAT00011
)이 보정 기준값(t)보다 작은지 여부를 판단한다.
보정 기준값(t)은 미리 결정된 값일 수 있다. 본 발명의 또 다른 실시예에 따르면, 영상 처리 방법은 단계 S1206에서 피부색 영역의 픽셀 값의 평균값에 따라 보정 기준값을 결정할 수 있다. 예를 들면, 보정 기준값(t)은 피부색 영역의 픽셀 값 평균값이 밝은 값일수록 커질 수 있다.
차이값(
Figure 112009043702964-PAT00012
)이 보정 기준값(t)보다 작으면, 제1 데이터 값(k i )은 마스크 픽셀의 픽셀 값(f(p))으로 결정되고(S1306), 차이값(
Figure 112009043702964-PAT00013
)이 보정 기준값(t)보다 크거나 같으면, 제1 데이터 값(k i )은 중심 픽셀의 픽셀 값(f(s))으로 결정된다(S1308).
이러한 연산은 하나의 중심 픽셀(s)에 대한 복수의 마스크 픽셀들(p) 모두에 대하여 각각 수행된다(S1310, S1312).
모든 복수의 마스크 픽셀들(p)에 대하여 제1 데이터 값(k i )이 산출되면, 모든 복수의 마스크 픽셀들(p)에 대한 제1 데이터 값(k i )의 합을 구하고, 이를 마스크 픽셀들의 개수(
Figure 112009043702964-PAT00014
)로 나눠서, 제2 데이터 값(R[y][x])을 산출한다(S1314).
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 디지털 신호 처리부(470)에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독 가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 가우시안 저역 통과 필터 또는 Bilateral 필터를 이용하여 처리한 결과 영상을 나타낸다.
도 2는 가우시안 저역 통과 필터 처리와 추가적인 처리를 거친 결과 영상(220)을 나타낸다.
도 3은 일반적인 필터처리를 위한 컨벌루션(convolution) 연산의 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 디지털 신호 처리부(470)의 구조를 나타낸 도면이다.
도 6a 및 도 6b는 피부색 영역 검출에 대해 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 마스크 픽셀의 모양을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치(400)에서 처리된 결과 영상을 나타낸 도면이다.
도 9는 본 발명의 다른 실시예에 따라 처리된 결과 영상을 나타낸 도면이다.
도 10a 및 도 10b는 종래 기술에 따른 피부색 보정과 본 발명에 따른 피부색 보정의 결과 영상을 비교한 도면이다.
도 11a 내지 도 11c는 입력 영상과 각각의 입력 영상에 대한 본 발명에 따른 처리의 결과 영상을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 13은 중심 픽셀(s)과 복수의 마스크 픽셀들(p)로부터 제2 데이터 값(R(y][x])을 구하는 과정을 도시한 도면이다.

Claims (19)

  1. 입력 영상으로부터 피부색 영역을 검출하는 단계;
    상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정하는 단계;
    상기 복수의 마스크 픽셀 각각에 대해 상기 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값의 차이값를 산출하는 단계;
    상기 픽셀 값의 차이값이 보정 기준값보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하는 단계;
    상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값을 구하는 단계; 및
    상기 제2 데이터 값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는 단계를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 복수의 마스크 픽셀들을 결정하는 단계는, 상기 중심 픽셀을 중심으로 하고 반경이 마스크 크기 파라미터인 원 또는 타원 상에 위치한 복수의 픽셀들, 상 기 중심 픽셀을 중심으로 하고 상기 마스크 크기 파라미터에 따라 그 크기가 결정되는 사각형 상에 위치한 복수의 픽셀들, 또는 이들의 조합을 상기 복수의 마스크 픽셀들로 결정하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 피부색 영역의 크기에 따라 상기 마스크 크기 파라미터를 결정하는 단계를 더 포함하는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 영상 처리 방법은, 상기 피부색 영역에 대하여, 상기 제2 데이터 값과 상기 중심 픽셀의 픽셀 값의 평균값을 구하는 단계를 더 포함하고,
    상기 픽셀 값을 보정하는 단계는, 상기 평균값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 피부색 영역의 픽셀 값의 평균값에 따라 상기 보정 기준값을 결정하는 단계를 더 포함하는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 피부색 영역을 검출하는 단계는, 상기 입력 영상의 각각의 픽셀들의 색 상 성분 값을 피부색 기준값에 비교하여 피부색 영역을 검출하고,
    상기 픽셀 값은 픽셀의 휘도 성분 값인, 영상 처리 방법.
  7. 입력 영상으로부터 피부색 영역을 검출하는 피부색 영역 검출부;
    상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정하는, 마스크 픽셀 결정부;
    상기 복수의 마스크 픽셀 각각에 대해 상기 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값의 차이값를 산출하는 차이값 산출부;
    상기 픽셀 값의 차이값이 보정 기준값보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하는 제1 데이터 값 산출부;
    상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값을 구하는 제2 데이터 값 산출부; 및
    상기 제2 데이터 값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는 보정부를 포함하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 마스크 픽셀 결정부는, 상기 중심 픽셀을 중심으로 하고 반경이 마스크 크기 파라미터인 원 또는 타원 상에 위치한 복수의 픽셀들, 상기 중심 픽셀을 중심으로 하고 상기 마스크 크기 파라미터에 따라 그 크기가 결정되는 사각형 상에 위치한 복수의 픽셀들, 또는 이들의 조합을 상기 복수의 마스크 픽셀들로 결정하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 피부색 영역의 크기에 따라 상기 마스크 크기 파라미터를 결정하는 마스크 크기 파라미터 결정부를 더 포함하는, 영상 처리 장치.
  10. 제7항에 있어서,
    상기 영상 처리 장치는, 상기 피부색 영역에 대하여, 상기 제2 데이터 값과 상기 중심 픽셀의 픽셀 값의 평균값을 구하는 평균값 산출부를 더 포함하고,
    상기 보정부는, 상기 평균값 산출부에서 산출된 상기 평균값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는, 영상 처리 장치.
  11. 제7항에 있어서,
    상기 피부색 영역의 픽셀 값의 평균값에 따라 상기 보정 기준값을 결정하는 보정 기준값 결정부를 더 포함하는, 영상 처리 장치.
  12. 제7항에 있어서,
    상기 피부색 영역 검출부는, 상기 입력 영상의 각각의 픽셀들의 색상 성분 값을 피부색 기준값에 비교하여 피부색 영역을 검출하고,
    상기 픽셀 값은 픽셀의 휘도 성분 값인, 영상 처리 장치.
  13. 컴퓨터 프로그램을 저장하는, 컴퓨터 판독가능 저장매체에 있어서, 상기 컴퓨터 프로그램은,
    입력 영상으로부터 피부색 영역을 검출하는 코드 부분;
    상기 피부색 영역에 포함되는 픽셀을 중심 픽셀로 취하고, 상기 중심 픽셀 주변에 위치한 복수의 마스크 픽셀들을 결정하는 코드 부분;
    상기 복수의 마스크 픽셀 각각에 대해 상기 마스크 픽셀의 픽셀 값과 상기 중심 픽셀의 픽셀 값의 차이값를 산출하는 코드 부분;
    상기 픽셀 값의 차이값이 보정 기준값보다 작은 경우, 상기 마스크 픽셀의 픽셀 값을 제1 데이터 값으로 취하고, 상기 픽셀 값의 차이값이 상기 보정 기준값보다 크거나 같은 경우, 상기 중심 픽셀의 픽셀 값을 상기 제1 데이터 값으로 취하는 코드 부분;
    상기 복수의 마스크 픽셀들 각각에 대한 상기 제1 데이터 값들의 합을 산출하고, 상기 마스크 픽셀들의 개수로 상기 제1 데이터 값의 합을 나누어 제2 데이터 값을 구하는 코드 부분; 및
    상기 제2 데이터 값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는 코드 부분을 포함하는, 컴퓨터 판독가능 저장매체.
  14. 제13항에 있어서,
    상기 복수의 마스크 픽셀들을 결정하는 코드 부분은, 상기 중심 픽셀을 중심으로 하고 반경이 마스크 크기 파라미터인 원 또는 타원 상에 위치한 복수의 픽셀들, 상기 중심 픽셀을 중심으로 하고 상기 마스크 크기 파라미터에 따라 그 크기가 결정되는 사각형 상에 위치한 복수의 픽셀들, 또는 이들의 조합을 상기 복수의 마스크 픽셀들로 결정하는, 컴퓨터 판독가능 저장매체.
  15. 제14항에 있어서,
    상기 컴퓨터 프로그램은, 상기 피부색 영역의 크기에 따라 상기 마스크 크기 파라미터를 결정하는 코드 부분을 더 포함하는, 컴퓨터 판독가능 저장매체.
  16. 제13항에 있어서,
    상기 컴퓨터 프로그램은, 상기 피부색 영역에 대하여, 상기 제2 데이터 값과 상기 중심 픽셀의 픽셀 값의 평균값을 구하는 코드 부분을 더 포함하고,
    상기 픽셀 값을 보정하는 코드 부분은, 상기 평균값에 따라 상기 중심 픽셀의 픽셀 값을 보정하는, 컴퓨터 판독가능 저장매체.
  17. 제13항에 있어서,
    상기 컴퓨터 프로그램은, 상기 피부색 영역의 픽셀 값의 평균값에 따라 상기 보정 기준값을 결정하는 코드 부분을 더 포함하는, 컴퓨터 판독가능 저장매체.
  18. 제13항에 있어서,
    상기 피부색 영역을 검출하는 코드 부분은, 상기 입력 영상의 각각의 픽셀들의 색상 성분 값을 피부색 기준값에 비교하여 피부색 영역을 검출하고,
    상기 픽셀 값은 픽셀의 휘도 성분 값인, 컴퓨터 판독가능 저장매체.
  19. 제7항 내지 제12항 중 어느 한 항에 따른 영상 처리 장치를 이용하는 디지털 촬영 장치.
KR1020090065477A 2009-07-17 2009-07-17 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 KR101590868B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090065477A KR101590868B1 (ko) 2009-07-17 2009-07-17 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체
US12/837,641 US8340417B2 (en) 2009-07-17 2010-07-16 Image processing method and apparatus for correcting skin color

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090065477A KR101590868B1 (ko) 2009-07-17 2009-07-17 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체

Publications (2)

Publication Number Publication Date
KR20110007837A true KR20110007837A (ko) 2011-01-25
KR101590868B1 KR101590868B1 (ko) 2016-02-02

Family

ID=43465345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090065477A KR101590868B1 (ko) 2009-07-17 2009-07-17 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체

Country Status (2)

Country Link
US (1) US8340417B2 (ko)
KR (1) KR101590868B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11406157B2 (en) 2016-02-09 2022-08-09 Bauer Hockey, Llc Skate or other footwear
US11826633B2 (en) 2014-10-22 2023-11-28 Bauer Hockey Llc Hockey skate including a one-piece frame with integral pedestals

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2769583A1 (en) * 2009-08-04 2011-02-10 Vesalis Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device
US8731248B2 (en) * 2012-02-16 2014-05-20 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method of performing eye circle correction an image and related computing device
JP6286291B2 (ja) * 2014-06-19 2018-02-28 株式会社Screenホールディングス 画像処理装置、画像取得装置、画像処理方法および画像取得方法
US9390478B2 (en) * 2014-09-19 2016-07-12 Intel Corporation Real time skin smoothing image enhancement filter
US10740959B2 (en) 2017-09-09 2020-08-11 Apple Inc. Techniques for providing virtual light adjustments to image data
CN108346128B (zh) * 2018-01-08 2021-11-23 北京美摄网络科技有限公司 一种美颜磨皮的方法和装置
CN108932493B (zh) * 2018-06-29 2022-01-28 东北大学 一种面部皮肤质量评价方法
US10467803B1 (en) 2018-09-11 2019-11-05 Apple Inc. Techniques for providing virtual lighting adjustments utilizing regression analysis and functional lightmaps
JP7383891B2 (ja) 2019-03-25 2023-11-21 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN110706187B (zh) * 2019-05-31 2022-04-22 成都品果科技有限公司 一种均匀肤色的图像调整方法
CN110751610A (zh) * 2019-10-30 2020-02-04 深圳传音控股股份有限公司 图像处理方法、移动终端及可读存储介质
CN112785533B (zh) * 2019-11-07 2023-06-16 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、电子设备与存储介质
CN111338545B (zh) * 2020-02-24 2024-09-17 北京字节跳动网络技术有限公司 图像处理方法、组件、电子设备及存储介质
CN113808027B (zh) * 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN112862907B (zh) * 2021-01-19 2024-03-19 华中科技大学 显微图像校正方法、装置、设备、存储介质及产品

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106630A (ja) * 1998-09-28 2000-04-11 Matsushita Electric Ind Co Ltd ディジタル画像の雑音除去方法
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
WO2003069557A1 (fr) * 2002-02-12 2003-08-21 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de traitement d'image
JP2003242504A (ja) 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 画像処理装置
KR100850460B1 (ko) 2002-10-10 2008-08-07 삼성테크윈 주식회사 디지털 카메라에서의 얼굴 영상 개선 방법
JP4416724B2 (ja) * 2005-11-07 2010-02-17 キヤノン株式会社 画像処理方法およびその装置
US20080158396A1 (en) * 2006-08-07 2008-07-03 Transchip, Inc. Image Signal Processor For CMOS Image Sensors
JP4946795B2 (ja) * 2007-10-29 2012-06-06 ソニー株式会社 画像処理装置及び画像処理方法
US8135237B2 (en) * 2008-02-25 2012-03-13 Aptina Imaging Corporation Apparatuses and methods for noise reduction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11826633B2 (en) 2014-10-22 2023-11-28 Bauer Hockey Llc Hockey skate including a one-piece frame with integral pedestals
US11406157B2 (en) 2016-02-09 2022-08-09 Bauer Hockey, Llc Skate or other footwear
US11969056B2 (en) 2016-02-09 2024-04-30 Bauer Hockey Llc Skate or other footwear

Also Published As

Publication number Publication date
US20110013829A1 (en) 2011-01-20
US8340417B2 (en) 2012-12-25
KR101590868B1 (ko) 2016-02-02

Similar Documents

Publication Publication Date Title
KR101590868B1 (ko) 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체
US9344636B2 (en) Scene motion correction in fused image systems
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8570429B2 (en) Image processing method and apparatus and digital photographing apparatus using the same
WO2015184408A1 (en) Scene motion correction in fused image systems
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP2019106045A (ja) 画像処理装置、方法及びプログラム
JP6472183B2 (ja) 画像処理装置、その制御方法、プログラム
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
US20120081560A1 (en) Digital photographing apparatus and method of controlling the same
US10929645B2 (en) Image processing apparatus, image processing method, and storage medium
US11069031B2 (en) Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP2019029833A (ja) 撮像装置
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
KR101445613B1 (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP6873816B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
KR101605769B1 (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR101750986B1 (ko) 영상 처리 장치, 방법, 및 컴퓨터 판독가능 저장매체
KR20100098122A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR20100069501A (ko) 영상 처리 방법 및 장치, 및 이를 이용한 디지털 촬영 장치
KR20100117457A (ko) 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체, 및 디지털 영상 신호 처리 장치
JP2006148326A (ja) 撮像装置及び撮像装置の制御方法
CN111047520B (zh) 图像处理装置、图像处理方法以及记录介质
KR20110007836A (ko) 적응적으로 최적의 미백 효과를 설정해주는 디지털 카메라 및 그 제어방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 4