KR20100042916A - 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법 - Google Patents

디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법 Download PDF

Info

Publication number
KR20100042916A
KR20100042916A KR1020080102134A KR20080102134A KR20100042916A KR 20100042916 A KR20100042916 A KR 20100042916A KR 1020080102134 A KR1020080102134 A KR 1020080102134A KR 20080102134 A KR20080102134 A KR 20080102134A KR 20100042916 A KR20100042916 A KR 20100042916A
Authority
KR
South Korea
Prior art keywords
image
face
skin
skin condition
correction
Prior art date
Application number
KR1020080102134A
Other languages
English (en)
Other versions
KR101475684B1 (ko
Inventor
이승윤
장재원
서인석
문태원
Original Assignee
삼성디지털이미징 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디지털이미징 주식회사 filed Critical 삼성디지털이미징 주식회사
Priority to KR1020080102134A priority Critical patent/KR101475684B1/ko
Priority to US12/560,530 priority patent/US8446510B2/en
Priority to DE102009029660A priority patent/DE102009029660A1/de
Priority to GB0916917.8A priority patent/GB2464377B/en
Publication of KR20100042916A publication Critical patent/KR20100042916A/ko
Application granted granted Critical
Publication of KR101475684B1 publication Critical patent/KR101475684B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 중 얼굴에 대한 피부상태를 측정하고 얼굴의 영상을 개선하는 장치 및 방법에 관한 것이다. 디지털 영상 처리기에서 얼굴 영상 개선 장치는 디지털 영상 처리기로서, 영상으로부터 인식된 얼굴의 피부상태를 측정하고, 측정된 피부의 거친부분을 보정하여 디스플레이 하는 디지털 신호 처리수단을 포함한다.
Figure P1020080102134
얼굴인식, 피부상태 측정, 피부상태 보정, 얼굴 영상 개선

Description

디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법{Apparatus and method for improving face image in digital image processing device}
본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 중 얼굴에 대한 피부상태를 측정하고 얼굴의 영상을 개선하는 장치 및 방법에 관한 것이다.
디지털 영상 처리 장치는 이미지 센서로서 CCD나 MOS형 이미지 센서를 사용하고 있다. 이들의 센서는 사람의 눈과는 차이가 있어서, 작고 희미한 반점이나 기미등이 매우 강조되어 촬영된다. 또한 디지털 영상 처리 장치에서는 피사체 피부의 작은 색상 차이도 강조되어 나타나게 되어, 사용자의 영상 출력에 대한 희망적인 요구를 충족시키지 못한다.
이러한 경우 종래에는 전문적인 영상 편집기술자에게 의뢰하거나, 개인용 컴퓨터 등에서 여러 가지 복잡한 수정 작업을 거쳐 사용자가 원하는 영상 결과물을 획득할 수 있었다.
본 발명이 해결하고자 하는 기술적인 과제는 영상 중 얼굴에 대한 피부상태를 측정하고 그에 따라 피부상태를 보정하는 얼굴의 영상을 개선하는 장치 및 방법에 관한 것이다.
본 발명이 해결하고자 하는 기술적인 과제를 해결하기 위한 디지털 영상 처리기에서 얼굴 영상 개선 장치는 디지털 영상 처리기로서, 영상으로부터 인식된 얼굴의 피부상태를 측정하고, 측정된 피부의 거친부분을 보정하여 디스플레이 하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 영상은 촬영을 위한 라이브뷰 영상 또는 촬영 후 저장된 영상일 수 있다.
본 발명에 있어서, 상기 디지털 신호 처리수단은 상기 영상에 대한 얼굴 인식을 수행하여 얼굴을 검출하는 얼굴 인식부; 상기 검출된 얼굴의 피부 상태를 측정하는 피부상태 측정부; 상기 측정된 피부의 거친부분을 보정하는 피부상태 보정부; 및 상기 측정된 피부상태에 따라 보정정도를 조정하고, 상기 영상을 촬영하거나 저장하는 제어부를 포함할 수 있다.
본 발명에 있어서, 상기 제어부는 상기 피부상태 측정 결과를 디스플레이 할 수 있다.
본 발명에 있어서, 상기 제어부는 사용자로부터 상기 보정정도를 수신할 수 있다.
본 발명에 있어서, 상기 제어부는 상기 피부의 거친부분을 보정한 영상 및 보정전 영상을 함께 디스플레이 할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 제1 실시 예에 따른 디지털 영상 처리기에서 얼굴 영상 개선 방법은 디지털 영상 처리기의 동작 방법으로서, (a) 라이브뷰 영상으로부터 얼굴 인식을 수행하여 얼굴을 검출하는 단계; (b) 상기 검출된 얼굴의 피부 상태를 측정하는 단계; (c) 상기 측정된 피부의 거친부분을 보정하는 단계; 및 (d) 상기 피부상태가 보정된 영상을 촬영하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (b)단계 이후 상기 측정된 피부상태를 디스플레이 할 수 있다.
본 발명에 있어서, 상기 (c) 단계에서 사용자로부터 보정정도를 수신할 수 있다.
본 발명에 있어서, 상기 (d) 단계에서 상기 피부의 거친부분을 보정한 영상 및 보정전 영상을 함께 디스플레이 하고, 적어도 어느 한 영상을 촬영할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 제2 실시 예에 따른 디지털 영상 처리기에서 얼굴 영상 개선 방법은 디지털 영상 처리기의 동작 방법으로서, (a) 임의의 재생 영상으로부터 얼굴 인식을 수행하여 얼굴을 검출하는 단계; (b) 상기 검출된 얼굴의 피부 상태를 측정하는 단계; (c) 상기 측정된 피부의 거친부분을 보정하는 단계; 및 (d) 상기 피부상태가 보정된 영상을 재 저장하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (b)단계 이후 상기 측정된 피부상태를 디스플레이 할 수 있다.
본 발명에 있어서, 상기 (c) 단계에서 사용자로부터 보정정도를 수신할 수 있다.
본 발명에 있어서, 상기 (d) 단계에서 상기 피부의 거친부분을 보정한 영상 및 보정전 영상을 함께 디스플레이 하고, 적어도 어느 한 영상을 재 저장할 수 있다.
상술한 바와 같이 본 발명에 따르면, 영상 촬영 시에 또는 촬영된 영상에 대하여 얼굴에 대한 피부상태를 측정하고 그에 따라 피부상태를 보정함으로써 사용자가 원하는 영상을 획득할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 디지털 영상 처리기의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.
셔터-릴리즈 버튼(11)은 정해진 시간 동안 CCD를 빛에 노출시키기 위해 열리고 닫히며, 조리개(미도시)와 연동하여 피사체를 적정하게 노출시켜 CCD에 영상을 기록한다.
셔터-릴리즈 버튼(11)은 촬영자 입력에 의해 제1 및 제2 영상 촬영 신호를 생성한다. 반셔터 신호로써의 제1 셔터-릴리즈 버튼(11)이 입력되면, 디지털 영상 처리기는 포커스를 잡고 빛의 양을 조절하며, 이때 포커스가 맞은 경우 디스플레이부(도 2의 23)에 녹색 불이 켜지게 된다. 제1 셔터-릴리즈 버튼(11)의 입력으로 포커스가 잡히고 빛의 양이 조절되면, 비로소 완전셔터 신호로써의 제2 셔터-릴리즈 버튼(11)을 입력하여 영상을 촬영한다.
전원 버튼(13)은 디지털 영상 처리기에 전원을 공급하여 동작시키기 위해 입력된다.
플래시(15)는 어두운 곳에서 촬영할 경우 밝은 빛을 순간적으로 비추어 밝게 해주는 것으로 플래시 모드에는 자동플래시, 강제발광, 발광금지, 적목감소, 슬로우 싱크로 등이 있다.
보조광(17)은 광량이 부족하거나 야간 촬영 시에 디지털 영상 처리기가 자동으로 포커스를 빠르고 정확하게 잡을 수 있도록 피사체에 광을 공급한다.
렌즈부(19)는 피사체로부터의 빛을 광학적으로 처리한다.
도 2는 도 1에 도시된 디지털 영상 처리기의 뒤쪽 외형을 보여주는 배면도로서, 광각-줌 버튼(21w), 망원-줌 버튼(21t), 디스플레이부(23) 및 터치센서 또는 접점식 스위치가 구비된 입력 버튼들(B1~B14)(이하 버튼들(B1~B14)이라 표기함)을 구비한다.
광각-줌 버튼(21w) 또는 망원-줌 버튼(21t)은 입력에 따라 화각이 넓어지거나, 화각이 좁아지는데, 특히, 선택된 노출영역의 크기를 변경시키고자 할 때 입력한다. 광각-줌 버튼(21w)이 입력되면, 선택된 노출영역의 크기가 작아지고, 망원-줌 버튼(21t)이 입력되면, 선택된 노출영역의 크기가 커진다.
버튼들(B1~B14)은 디스플레이부(23)의 가로 열 및 세로 열에 구비된다. 즉, 버튼들(B1~B14)에는 터치 센서가 구비되어 가로 열의 버튼들(B1~B7) 또는 세로 열의 버튼들(B8~B14)을 터치한 상태에서 상/하/좌/우로 이동하여 주 메뉴 항목 중 임의의 값(예를 들어, 컬러 또는 밝기)을 선택하거나, 주 메뉴 아이콘에 포함된 하위메뉴 아이콘을 활성화 시킬 수 있다.
또한 버튼들(B1~B14)에는 접점식 스위치가 구비되어 있어, 주 메뉴 아이콘 및 하위메뉴 아이콘을 직접 선택하여 해당 기능을 실행시킬 수 있다. 터치 센서는 접점식 스위치 입력에 비해 상대적으로 약한 터치만을 요구하지만, 접점식 스위치 입력은 터치 센서 입력에 비해 상대적으로 강한 터치를 요구한다.
도 3은 본 발명에 따른 디지털 영상 처리기에서 얼굴 영상 개선 장치의 구성을 보이는 블록도로서, 디스플레이부(23), 사용자 입력부(31), 촬상부(33), 영상 처리부(35), 저장부(37) 및 디지털 신호 처리부(39)를 포함한다.
사용자 입력부(31)는 정해진 시간 동안 CCD를 빛에 노출시키기 위해 열리고 닫히는 셔터-릴리즈 버튼(11), 전원을 공급하기 위해 입력하는 전원 버튼(13), 입력에 따라 화각을 넓어지게 하거나, 화각을 좁아지게 하는 광각-줌 버튼(21w) 및 망원-줌 버튼(21t)과, 문자 입력 또는 메뉴 선택 및 실행을 위해 디스플레이부(23) 주변의 가로 및 세로열에 구비된 터치센서 또는 접점식 스위치가 구비된 버튼들(B1~B14)이 있다.
촬상부(33)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 및 ADC를 포함한다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이 때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. 조리개의 개폐 정도는 디지털 신호 처리부(39)에 의해 제어된다.
CCD는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기신호에 맞추어 출력한다. 디지털 영상 처리 장치의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD에 의해 이루어진다. CCD를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터(미도시)를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다.
영상 처리부(35)는 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다. 영상 처리부(35)는 온도변화에 만감한 CCD 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부(35)는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부(35)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부(35)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리 부(35)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(23)에 디스플레이 되고, 저장부(37)에 저장된다. 이와 같은 영상 처리부(35)의 모든 동작은 디지털 신호 처리부(39)의 제어 하에 동작한다.
디지털 신호 처리부(39)는 촬영을 위한 라이브뷰 영상 또는 촬영 후 저장된 영상으로부터 인식된 얼굴의 피부상태를 측정하고, 측정된 피부의 거친부분(기미, 잡티, 점, 주름 등)을 보정한다.
이를 위해 디지털 신호 처리부(39)는 얼굴 인식부(39-1), 피부상태 측정부(39-2), 피부상태 보정부(39-3) 및 제어부(39-4)를 포함한다.
얼굴 인식부(39-1)는 제어부(39-4)의 제어 하에 촬영될 라이브뷰 영상 또는 재생되는 임의의 영상으로부터 얼굴 유/무를 검출한다. 얼굴 인식부(39-1)는 특징 기반 얼굴 검출 방법으로 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾는다. 얼굴의 여러 가지 특징들 중에서 특히 살색은 얼굴의 이동, 회전, 크기 변화 등에 덜 민감한 특성을 가지므로 가장 많이 사용되고 있는 방법이다. 그 이외에 얼굴 인식부(39-1)는 얼굴 형판(template) 기반 검출 방법은 얼굴에 대한 몇 가지의 표준 패턴을 만든 뒤에 패턴을 얼굴 검출을 위해 저장한다. 그런 뒤에 패턴들은 영상의 탐색 윈도우 안에서 영상과 하나씩 비교되어 얼굴이 검출된다. 얼굴 검출의 방법으로 최근에 많이 사용되는 SVM(support vector machine)에 기반을 둔 얼굴 검출방법이 있다. SVM 기반 방법들은 영상으로부터 각기 다른 영역들을 서브 샘플링(sub-sampling)하여 학습기를 통해 얼굴과 비 얼굴 (얼굴이 아닌 부분)에 대해 학습시킨 뒤 입력 영상에서 얼굴을 찾도록 하는 방법이다. 이러한 얼굴 인식부(39-1)의 얼굴 정보 검출에 관한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.
피부상태 측정부(39-2)는 제어부(39-4)의 제어 하에 얼굴 인식부(39-1)가 검출한 얼굴의 피부상태를 측정한다. 피부상태 측정부(39-2)는 검출한 얼굴 면적당 거친부분 즉, 기미, 잡티, 점, 주름 등이 분포된 정보를 산출하여 도 4a에 도시된 바와 같이 피부상태의 거친정도를 디스플레이부(23)에 표시할 수 있다. 피부상태 측정부(39-2)는 얼굴 인식부(39-1)가 검출한 얼굴 전체의 평균 휘도 값을 산출한다. 피부상태 측정부(39-2)는 검출한 얼굴을 소정 개수의 블록으로 나누고, 각 블록의 휘도값을 산출하는데, 거친 부분 즉, 기미, 잡티, 점 주름이 포함된 블록들의 휘도값은 평균 휘도값 보다 낮게 산출된다.
피부상태 보정부(39-3)는 피부상태 측정부(39-2)가 측정한 피부상태 중 거친 부분을 보정한다. 피부상태 측정부(39-2)가 측정한 거친부분이 포함된 블록들의 휘도값이 평균 휘도값 보다 낮게 산출되므로, 피부상태 보정부(39-3)는 거친부분이 포함된 블록의 휘도값을 평균휘도값으로 변환시켜 거친부분을 보정할 수 있다. 또한 피부상태 보정부(39-3)는 반복적인 학습을 통하여 산출된 피부보정용 기준 휘도값을 적어도 하나 이상 저장하고 있다. 피부상태 보정부(39-3)는 거친부분이 포함된 블록의 휘도값을 기준 휘도값으로 변환시켜 거친 부분을 보정할 수 있다.
제어부(39-4)는 피부상태 측정부(39-2)가 측정한 피부상태에 따라 피부상태 보정부(39-3)가 조정할 거친부분의 보정정도를 조정하고, 거친부분이 보정된 영상 을 촬영하거나 저장한다.
도 4b에는 피부상태 보정전 영상이 도시되어 있고, 도 4c에는 피부상태 중 거친 부분이 보정된 영상이 도시되어 있다. 이와 같이 보정 전 영상과 보정 후 영상이 각각 디스플레이 될 수 있고, 도 4d와 같이 보정전 영상 및 보정후 영상이 한 화면에 동시에 디스플레이 될 수도 있다. 이와 같은 영상 디스플레이는 제어부(39-4)의 제어 하에 동작된다.
또한 제어부(39-4)는 사용자로부터 보정정도를 수신할 수 있다. 도 4e에는 피부상태 조정 바(bar)가 디스플레이되고, 사용자는 피부상태 조정 바를 이용하여 원하는 보정정도를 선택할 수 있다. 제어부(39-4)는 사용자로부터 수신한 보정정도에 따라 피부상태 보정부(39-3)를 제어하여 사용자가 원하는 피부상태로 보정하도록 할 수 있다.
이와 같이 영상 촬영 시에 또는 촬영된 영상에 대하여 얼굴에 대한 피부상태를 측정하고 그에 따라 피부상태를 보정함으로써 사용자가 원하는 영상을 획득할 수 있다.
이하, 도 5 및 도 6을 참조하여 본 발명에 따른 디지털 영상 처리기에서 얼굴 영상 개선 방법을 상세히 설명한다. 본 발명에 따른 디지털 영상 처리기에서 얼굴 영상 개선 방법은 도 3에 도시된 바와 같은 디지털 영상 처리기의 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 장치 내의 주변 구성 요소들의 도움을 받아 디지털 신호 처리부(39) 내부에서 수행될 수 있다.
먼저, 도 5를 참조하여 본 발명의 제1 실시 예에 따른 디지털 영상 처리기에 서 얼굴 영상 개선 방법의 동작 방법을 설명한다. 도 5에 개시된 제1 실시 예는 영상 촬영 시에 적용되는 얼굴 영상 개선 방법이다.
먼저, 디지털 신호 처리부(39)는 디스플레이부(23)에 라이브뷰 영상을 디스플레이 한다(501단계).
디스플레이부(23)에 라이브뷰 영상이 디스플레이 되면, 디지털 신호 처리부(39)는 라이브뷰 영상에 대해 얼굴 인식을 수행한다(503단계). 디지털 신호 처리부(39)는 특징 기반 얼굴 검출 방법으로 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾는 방법으로 얼굴인식을 수행할 수 있다. 그 이외에 디지털 신호 처리부(39)는 얼굴 형판 기반 검출 방법 또는 SVM에 기반을 둔 얼굴 검출방법 등을 이용할 수 있으며, 얼굴 검출에 관한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.
라이브뷰 영상으로부터 얼굴이 검출되면, 디지털 신호 처리부(39)는 검출된 얼굴의 피부상태를 측정한다(505단계). 디지털 신호 처리부(39)는 검출한 얼굴 면적당 거친부분 즉, 기미, 잡티, 점, 주름 등이 분포된 정보를 산출하여 도 4a에 도시된 바와 같이 피부상태의 거친정도를 디스플레이부(23)에 표시할 수 있다. 디지털 신호 처리부(39)는 검출한 얼굴 전체의 평균 휘도 값을 산출한다. 디지털 신호 처리부(39)는 검출한 얼굴을 소정 개수의 블록으로 나누고, 각 블록의 휘도값을 산출하는데, 거친 부분 즉, 기미, 잡티, 점 주름이 포함된 블록들의 휘도값은 평균 휘도값 보다 낮게 산출된다.
이어서, 디지털 신호 처리부(39)는 피부상태를 보정할 것인가를 판단하 고(507단계), 피부상태를 보정하고자 하는 경우, 검출한 얼굴 중 거친 피부를 보정한다(509단계). 검출한 얼굴 중 거친부분이 포함된 블록들의 휘도값이 평균 휘도값 보다 낮게 산출되므로, 디지털 신호 처리부(39)는 거친부분이 포함된 블록의 휘도값을 평균휘도값으로 변환시켜 거친부분을 보정할 수 있다. 또한 디지털 신호 처리부(39)는 반복적인 학습을 통하여 산출된 피부보정용 기준 휘도값을 적어도 하나 이상 저장하고 있어서, 거친부분이 포함된 블록의 휘도값을 기준 휘도값으로, 변환시켜 거친 부분을 보정할 수 있다.
거친 피부가 보정이 완료된 후, 사용자로부터 셔터-릴리즈 버튼(11) 입력이 수신되면, 디지털 신호 처리부(39)는 거친 피부가 보정된 라이브뷰 영상을 촬영힌다(511단계).
라이브뷰 상 촬영이 완료되면, 디지털 신호 처리부(39)는 원본 영상 즉, 거친피부 보정전 영상 및 거친피부가 보정된 영상을 동시에 디스플레이 한다(513단계). 도 4b에는 피부상태 보정전 라이브뷰 영상이 도시되어 있고, 도 4c에는 피부상태 중 거친 부분이 보정된 라이브뷰 영상이 도시되어 있다. 이와 같이 보정 전 라이브뷰 영상과 보정 후 라이브뷰 영상이 각각 디스플레이 될 수 있고, 도 4d와 같이 보정전 라이브뷰 영상 및 보정후 라이브뷰 영상이 한 화면에 동시에 디스플레이 될 수도 있다.
이후, 사용자는 원하는 영상을 선택하게 되고, 디지털 신호 처리부(39)는 사용자가 선택한 영상 즉, 보정전 영상 및/또는 보정후 영상을 저장한다(515단계).
다음에, 도 6을 참조하여 본 발명의 제2 실시 예에 따른 디지털 영상 처리기 에서 얼굴 영상 개선 방법의 동작 방법을 설명한다. 도 6에 개시된 제2 실시 예는 저장된 영상 재생 시에 적용되는 얼굴 영상 개선 방법이다.
먼저, 디지털 신호 처리부(39)는 저장부(37)에 저장된 영상 중 선택된 임의의 영상을 재생한다(601단계).
디스플레이부(23)에 임의의 재생 영상이 디스플레이 되면, 디지털 신호 처리부(39)는 재생 영상에 대해 얼굴 인식을 수행한다(603단계). 디지털 신호 처리부(39)는 특징 기반 얼굴 검출 방법으로 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾는 방법으로 얼굴인식을 수행할 수 있다. 그 이외에 디지털 신호 처리부(39)는 얼굴 형판 기반 검출 방법 또는 SVM에 기반을 둔 얼굴 검출방법 등을 이용할 수 있으며, 얼굴 검출에 관한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.
재생 영상으로부터 얼굴이 검출되면, 디지털 신호 처리부(39)는 검출된 얼굴의 피부상태를 측정한다(605단계). 디지털 신호 처리부(39)는 검출한 얼굴 면적당 거친부분 즉, 기미, 잡티, 점, 주름 등이 분포된 정보를 산출하여 도 4a에 도시된 바와 같이 피부상태의 거친정도를 디스플레이부(23)에 표시할 수 있다. 디지털 신호 처리부(39)는 검출한 얼굴 전체의 평균 휘도 값을 산출한다. 디지털 신호 처리부(39)는 검출한 얼굴을 소정 개수의 블록으로 나누고, 각 블록의 휘도값을 산출하는데, 거친 부분 즉, 기미, 잡티, 점 주름이 포함된 블록들의 휘도값은 평균 휘도값 보다 낮게 산출된다.
이어서, 디지털 신호 처리부(39)는 피부상태를 보정할 것인가를 판단하 고(607단계), 피부상태를 보정하고자 하는 경우, 검출한 얼굴 중 거친 피부를 보정한다(609단계). 검출한 얼굴 중 거친부분이 포함된 블록들의 휘도값이 평균 휘도값 보다 낮게 산출되므로, 디지털 신호 처리부(39)는 거친부분이 포함된 블록의 휘도값을 평균휘도값으로 변환시켜 거친부분을 보정할 수 있다. 또한 디지털 신호 처리부(39)는 반복적인 학습을 통하여 산출된 피부보정용 기준 휘도값을 적어도 하나 이상 저장하고 있어서, 거친부분이 포함된 블록의 휘도값을 기준 휘도값으로, 변환시켜 거친 부분을 보정할 수 있다.
거친 피부가 보정이 완료된 후, 디지털 신호 처리부(39)는 원본 영상 즉, 거친피부 보정전 영상 및 거친피부가 보정된 영상을 동시에 디스플레이 한다(611단계). 도 4b에는 피부상태 보정전 재생 영상이 도시되어 있고, 도 4c에는 피부상태 중 거친 부분이 보정된 재생 영상이 도시되어 있다. 이와 같이 보정 전 재생 영상과 보정 후 재생 영상이 각각 디스플레이 될 수 있고, 도 4d와 같이 보정전 재생 영상 및 보정후 재생 영상이 한 화면에 동시에 디스플레이 될 수도 있다.
이후, 사용자는 원하는 영상을 선택하게 되고, 디지털 신호 처리부(39)는 사용자가 선택한 영상 즉, 보정전 영상 및/또는 보정후 영상을 재 저장한다(613단계).
도 1은 디지털 영상 처리기의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.
도 2는 도 1에 도시된 디지털 영상 처리기의 뒤쪽 외형을 보여주는 배면도 이다.
도 3은 본 발명에 따른 디지털 영상 처리기에서 얼굴 영상 개선 장치의 구성을 보이는 블록도 이다.
도 4는 도 3의 장치에서 피부상태 측정 결과, 피부상태 보정전 및 피부상태 보정후 영상을 실시 예를 보이는 도면이다.
도 5는 본 발명의 제1 실시 예에 따른 디지털 영상 처리기에서 얼굴 영상 개선 방법의 동작을 보이는 흐름도 이다.
도 6은 본 발명의 제2 실시 예에 따른 디지털 영상 처리기에서 얼굴 영상 개선 방법의 동작을 보이는 흐름도 이다.

Claims (14)

  1. 디지털 영상 처리기로서,
    영상으로부터 인식된 얼굴의 피부상태를 측정하고, 측정된 피부의 거친부분을 보정하여 디스플레이 하는 디지털 신호 처리수단을 포함하는 얼굴 영상 개선 장치.
  2. 제 1항에 있어서, 상기 영상은
    촬영을 위한 라이브뷰 영상 또는 촬영 후 저장된 영상인 것을 특징으로 하는 얼굴 영상 개선 장치.
  3. 제 2항에 있어서, 상기 디지털 신호 처리수단은
    상기 영상에 대한 얼굴 인식을 수행하여 얼굴을 검출하는 얼굴 인식부;
    상기 검출된 얼굴의 피부 상태를 측정하는 피부상태 측정부;
    상기 측정된 피부의 거친부분을 보정하는 피부상태 보정부; 및
    상기 측정된 피부상태에 따라 보정정도를 조정하고, 상기 영상을 촬영하거나 저장하는 제어부를 포함하는 것을 특징으로 하는 얼굴 영상 개선 장치.
  4. 제 3항에 있어서, 상기 제어부는
    상기 피부상태 측정 결과를 디스플레이 하는 것을 특징으로 하는 얼굴 영상 개선 장치.
  5. 제 3항에 있어서, 상기 제어부는
    사용자로부터 상기 보정정도를 수신하는 것을 특징으로 하는 얼굴 영상 개선 장치.
  6. 제 3항에 있어서, 상기 제어부는
    상기 피부의 거친부분을 보정한 영상 및 보정전 영상을 함께 디스플레이 하는 것을 특징으로 하는 얼굴 영상 개선 장치.
  7. 디지털 영상 처리기의 동작 방법으로서,
    (a) 라이브뷰 영상으로부터 얼굴 인식을 수행하여 얼굴을 검출하는 단계;
    (b) 상기 검출된 얼굴의 피부 상태를 측정하는 단계;
    (c) 상기 측정된 피부의 거친부분을 보정하는 단계; 및
    (d) 상기 피부상태가 보정된 영상을 촬영하는 단계를 포함하는 얼굴 영상 개선 방법.
  8. 제 7항에 있어서, 상기 (b)단계 이후
    상기 측정된 피부상태를 디스플레이 하는 것을 특징으로 하는 얼굴 영상 개선 방법.
  9. 제 7항에 있어서, 상기 (c) 단계에서
    사용자로부터 보정정도를 수신하는 것을 특징으로 하는 얼굴 영상 개선 방법.
  10. 제 7항에 있어서, 상기 (d) 단계에서
    상기 피부의 거친부분을 보정한 영상 및 보정전 영상을 함께 디스플레이 하고, 적어도 어느 한 영상을 촬영하는 것을 특징으로 하는 얼굴 영상 개선 방법.
  11. 디지털 영상 처리기의 동작 방법으로서,
    (a) 임의의 재생 영상으로부터 얼굴 인식을 수행하여 얼굴을 검출하는 단계;
    (b) 상기 검출된 얼굴의 피부 상태를 측정하는 단계;
    (c) 상기 측정된 피부의 거친부분을 보정하는 단계; 및
    (d) 상기 피부상태가 보정된 영상을 재 저장하는 단계를 포함하는 얼굴 영상 개선 방법.
  12. 제 11항에 있어서, 상기 (b)단계 이후
    상기 측정된 피부상태를 디스플레이 하는 것을 특징으로 하는 얼굴 영상 개선 방법.
  13. 제 11항에 있어서, 상기 (c) 단계에서
    사용자로부터 보정정도를 수신하는 것을 특징으로 하는 얼굴 영상 개선 방법.
  14. 제 11항에 있어서, 상기 (d) 단계에서
    상기 피부의 거친부분을 보정한 영상 및 보정전 영상을 함께 디스플레이 하고, 적어도 어느 한 영상을 재 저장하는 것을 특징으로 하는 얼굴 영상 개선 방법.
KR1020080102134A 2008-10-17 2008-10-17 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법 KR101475684B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080102134A KR101475684B1 (ko) 2008-10-17 2008-10-17 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법
US12/560,530 US8446510B2 (en) 2008-10-17 2009-09-16 Method and apparatus for improving face image in digital image processor
DE102009029660A DE102009029660A1 (de) 2008-10-17 2009-09-22 Verfahren und Vorrichtung zum Verbessern eines Bildes eines Gesichts in einem Digitalbildprozessor
GB0916917.8A GB2464377B (en) 2008-10-17 2009-09-25 Method and apparatus for improving face image in digital image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080102134A KR101475684B1 (ko) 2008-10-17 2008-10-17 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100042916A true KR20100042916A (ko) 2010-04-27
KR101475684B1 KR101475684B1 (ko) 2014-12-23

Family

ID=41350425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080102134A KR101475684B1 (ko) 2008-10-17 2008-10-17 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법

Country Status (4)

Country Link
US (1) US8446510B2 (ko)
KR (1) KR101475684B1 (ko)
DE (1) DE102009029660A1 (ko)
GB (1) GB2464377B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
US9118876B2 (en) * 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
JP5981797B2 (ja) * 2012-07-25 2016-08-31 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム
CN103839250B (zh) 2012-11-23 2017-03-01 诺基亚技术有限公司 用于面部图像处理的方法和设备
CN105741256B (zh) * 2014-12-09 2020-08-04 富泰华工业（深圳）有限公司 电子设备及其刮须提示系统与方法
CN108986019A (zh) * 2018-07-13 2018-12-11 北京小米智能科技有限公司 肤色调整方法及装置、电子设备、机器可读存储介质
CN111814520A (zh) * 2019-04-12 2020-10-23 虹软科技股份有限公司 肤质检测方法、肤质等级分类方法及肤质检测装置
CN110826463B (zh) * 2019-10-31 2021-08-24 深圳市商汤科技有限公司 人脸识别方法及装置、电子设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19712434C2 (de) * 1997-03-25 1999-01-28 Zeiss Carl Fa Verfahren zum Abgleich eines Videosignals
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US20020081003A1 (en) * 2000-12-27 2002-06-27 Sobol Robert E. System and method for automatically enhancing graphical images
US6870529B1 (en) * 2002-03-28 2005-03-22 Ncr Corporation System and method for adjusting display brightness levels according to user preferences
US7271838B2 (en) * 2002-05-08 2007-09-18 Olympus Corporation Image pickup apparatus with brightness distribution chart display capability
KR100850460B1 (ko) * 2002-10-10 2008-08-07 삼성테크윈 주식회사 디지털 카메라에서의 얼굴 영상 개선 방법
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP2006071993A (ja) 2004-09-02 2006-03-16 Sony Corp ズームレンズ及び撮像装置
JP2006195068A (ja) 2005-01-12 2006-07-27 Fujinon Corp 防振機能付き変倍光学系および該変倍光学系を搭載した撮像装置
JP4143933B2 (ja) * 2005-03-29 2008-09-03 ソニー株式会社 ズームレンズ及び撮像装置
GB2429385C (en) 2005-09-23 2008-04-24 Astron Clinica Ltd Image processing method and apparatus.
US7515352B2 (en) * 2006-02-17 2009-04-07 Nikon Corporation Zoom lens system and optical device using thereof
JP2007219318A (ja) 2006-02-17 2007-08-30 Nikon Corp ズームレンズとこれを具備する光学装置
EP1826978A1 (en) 2006-02-24 2007-08-29 Nagravision S.A. Method to optimize the data stream between a router and a multimedia unit
CA2635068A1 (en) 2007-09-18 2009-03-18 Parham Aarabi Emulating cosmetic facial treatments with digital images
CN102027505A (zh) * 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰

Also Published As

Publication number Publication date
GB2464377A (en) 2010-04-21
GB0916917D0 (en) 2009-11-11
US20100097485A1 (en) 2010-04-22
KR101475684B1 (ko) 2014-12-23
US8446510B2 (en) 2013-05-21
DE102009029660A1 (de) 2010-07-01
GB2464377B (en) 2014-04-09

Similar Documents

Publication Publication Date Title
KR101431535B1 (ko) 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
US8194177B2 (en) Digital image processing apparatus and method to photograph an image with subject eyes open
KR101436839B1 (ko) 사람 수 체크를 이용한 셀프타이머 촬영 장치 및 방법
KR101475684B1 (ko) 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법
KR20100001272A (ko) 셀프 촬영 안내 기능을 구비한 디지털 영상 처리 장치 및그 동작 방법
KR20090052677A (ko) 포커스 조정 장치 및 방법
KR101613617B1 (ko) 디지털 영상 촬영 장치 및 그 제어 방법
KR20100003918A (ko) 사용자 식별이 가능한 디지털 영상 촬영 장치 및 방법
KR101421939B1 (ko) 얼굴인식 기능을 이용한 디지털 영상 처리 장치 및 방법
KR101396335B1 (ko) 얼굴 인식 장치 및 방법
KR101417807B1 (ko) 디지털 영상 처리 장치에서 얼굴인식에 따른 포커스조정장치 및 방법
KR101417811B1 (ko) 디지털 영상 처리기에서 얼굴인식을 통한 줌-인 장치 및방법
KR101427651B1 (ko) 디지털 영상 처리 장치에서 얼굴인식 처리속도 조정 장치및 방법
KR20090105374A (ko) 디지털 영상 처리기에서 썸네일 영상 생성 장치 및 방법
KR20100024264A (ko) 디지털 영상 처리기에서 뷰티처리 장치 및 방법
KR101427661B1 (ko) 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체
KR101427656B1 (ko) 디지털 영상 처리기에서 인물 촬영 장치 및 방법
KR101445610B1 (ko) 디지털 영상 촬영 장치, 그 제어 방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체
KR101436835B1 (ko) 디지털 영상 처리기에서 광 역광 보정을 수행하기 위한데이터 결정 장치 및 방법
KR101448537B1 (ko) 디지털 영상 처리기에서 얼굴인식을 기반으로 한 브라케팅촬영 장치 및 방법
KR101446941B1 (ko) 고속 촬영 시에 영상을 저장하는 장치 및 방법
KR20100024263A (ko) 디지털 영상 처리기에서 뷰티처리 장치 및 방법
KR101396338B1 (ko) 지도를 생성할 수 있는 디지털 영상 처리 장치 및 그의동작 방법
KR20100018344A (ko) 디지털 영상 처리기에서 선택적인 뷰티처리 장치 및 방법
KR20100001271A (ko) 디지털 영상 처리기에서 영상 저장 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 5