KR102541829B1 - 전자 장치 및 그 제어 방법 - Google Patents
전자 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR102541829B1 KR102541829B1 KR1020160009872A KR20160009872A KR102541829B1 KR 102541829 B1 KR102541829 B1 KR 102541829B1 KR 1020160009872 A KR1020160009872 A KR 1020160009872A KR 20160009872 A KR20160009872 A KR 20160009872A KR 102541829 B1 KR102541829 B1 KR 102541829B1
- Authority
- KR
- South Korea
- Prior art keywords
- skin
- region
- information
- color
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000004891 communication Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 29
- 241000282414 Homo sapiens Species 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 206010000496 acne Diseases 0.000 description 5
- 210000004209 hair Anatomy 0.000 description 5
- 208000002874 Acne Vulgaris Diseases 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000009759 skin aging Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Abstract
전자 장치가 개시된다. 전자 장치는 이미지를 입력받는 입력부 및 이미지로부터 피부 영역을 검출하여 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하고, 피부 영역 중 얼굴 영역에 기초하여 피부 영역의 특성에 관한 정보를 획득하며, 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 피부 영역의 화질을 처리하는 프로세서를 포함한다. 이에 따라, 정량적 요소의 분석만을 기반으로 할 경우 발생하는 피부 영역의 화질 왜곡을 저감시키고 정성적 요소의 분석을 기반으로 하여 피부 영역의 화질 선호도를 향상 시킬 수 있다.
Description
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 디지털 영상의 화질 처리를 수행하기 위한 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 특히, 디스플레이 장치의 화질 처리 개선에 대한 기술이 끊임없이 발전하면서, 화질 처리와 관련하여 다양한 시도가 이루어지고 있다.
구체적으로, 종래에는 디지털 영상에서 눈, 코, 입과 같은 얼굴의 특징이나 색도, 채도, 밝기와 같은 색 특징 등을 기반으로 피부 영역을 분리하여 배경과 별개로 화질 처리를 수행하는 방법이 보편적으로 사용되었다.
이와 같이, 피부 영역에 대하여 별개로 화질 처리를 수행하는 이유는, 피부색은 인간이 일상 생활에서 가장 많이 접하는 색이고, 이에 따라 약간의 변화에도 다른 물체의 색의 변화보다 민감하게 반응하기 때문이다.
다만, 종래에 피부 영역에 대한 화질 처리는 피부 영역의 화소들에 대하여 색도, 밝기, 채도와 같은 정량적 요소를 기반으로 하는 화질 처리였다. 그러나, 정량적 요소 이외에도 정성적 요소를 고려하여 다양한 화질 처리를 수행하고자 하는 요구가 증대되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 피부 영역에 대한 정량적 요소 및 정성적 요소를 분석하여 피부 영역의 화질 처리를 수행하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 이미지를 입력받는 입력부 및 상기 이미지로부터 피부 영역을 검출하여 상기 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하고, 상기 피부 영역 중 얼굴 영역에 기초하여 상기 피부 영역의 특성에 관한 정보를 획득하며, 상기 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 상기 피부 영역의 화질을 처리하는 프로세서를 포함한다.
여기서, 상기 피부 영역의 특성에 관한 정보는, 상기 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한, 상기 픽셀 값에 관한 정보는, 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치는 사용자의 피부색 선호도에 관한 정보를 저장하는 저장부를 더 포함하며, 상기 프로세서는, 상기 피부색 선호도에 관한 정보 중 상기 피부 영역의 특성에 관한 정보에 대응되는 피부색을 결정하고, 상기 결정된 피부색에 따라 상기 피부 영역의 화질을 처리할 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자 장치는 외부 서버와 통신을 수행하는 통신부를 더 포함하며, 상기 프로세서는, 상기 외부 서버로부터 상기 사용자의 피부색 선호도에 관한 정보를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 상기 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치는 사용자의 이미지를 촬영하는 촬상부를 더 포함하며, 상기 프로세서는, 상기 사용자의 이미지 중 얼굴 영역에 기초하여 상기 사용자의 피부 영역의 특성에 관한 정보를 획득하고, 상기 사용자의 피부 영역의 특성에 관한 정보에 기초하여 상기 사용자의 피부색 선호도를 판단하며, 상기 판단된 선호도에 기초하여 상기 이미지에 포함된 피부 영역의 화질을 처리할 수 있다.
여기서, 상기 프로세서는, 기 설정된 복수의 프레임 구간 동안 상기 피부 영역의 화질을 점진적으로 처리할 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자 장치는 디스플레이를 더 포함하며, 상기 프로세서는, 상기 피부 영역의 화질이 처리된 이미지를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 입력된 이미지로부터 피부 영역을 검출하는 단계, 상기 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하는 단계, 상기 피부 영역 중 얼굴 영역에 기초하여 상기 피부 영역의 특성에 관한 정보를 획득하는 단계 및 상기 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 상기 피부 영역의 화질을 처리하는 단계를 포함한다.
여기서, 상기 피부 영역의 특성에 관한 정보는, 상기 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한, 상기 픽셀 값에 관한 정보는, 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한, 상기 피부 영역의 화질을 처리하는 단계는, 기 저장된 사용자의 피부색 선호도에 관한 정보 중 상기 피부 영역의 특성에 관한 정보에 대응되는 피부색을 결정하고, 상기 결정된 피부색에 따라 상기 피부 영역의 화질을 처리할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 외부 서버로부터 상기 사용자의 피부색 선호도에 관한 정보를 수신하는 단계를 더 포함할 수 있다.
여기서, 상기 피부 영역의 특성에 관한 정보를 획득하는 단계는, 상기 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 상기 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출할 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 사용자의 이미지를 촬영하는 단계, 상기 사용자의 이미지 중 얼굴 영역에 기초하여 상기 사용자의 피부 영역의 특성에 관한 정보를 획득하는 단계, 상기 사용자의 피부 영역의 특성에 관한 정보에 기초하여 상기 사용자의 피부색 선호도를 판단하는 단계 및 상기 판단된 선호도에 기초하여 상기 이미지에 포함된 피부 영역의 화질을 처리하는 단계를 더 포함할 수 있다.
여기서, 상기 피부 영역의 화질을 처리하는 단계는, 기 설정된 복수의 프레임 구간 동안 상기 피부 영역의 화질을 점진적으로 처리할 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 상기 피부 영역의 화질이 처리된 이미지를 디스플레이하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 정량적 요소의 분석만을 기반으로 할 경우 발생하는 피부 영역의 화질 왜곡을 저감시키고 정성적 요소의 분석을 기반으로 하여 피부 영역의 화질 선호도를 향상 시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 2는 본 발명의 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 프로세서의 상세한 구성을 도시한 블럭도이다.
도 4는 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 정성적 정보를 검출하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 화질 처리 변수를 연산하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 9는 본 발명의 일 실시 예에 따른 사용자 이미지에 기초하여 화질 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 인간 이외에 동물이 포함된 이미지가 디스플레이되는 경우 화질 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 피부색 선호도 정보를 설정하기 위한 UI를 도시한 도면이다.
도 12는 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 13은 도 1에 도시된 전자 장치의 구체적인 구성을 나타내는 블럭도이다.
도 14는 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 프로세서의 상세한 구성을 도시한 블럭도이다.
도 4는 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 정성적 정보를 검출하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 화질 처리 변수를 연산하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 9는 본 발명의 일 실시 예에 따른 사용자 이미지에 기초하여 화질 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 인간 이외에 동물이 포함된 이미지가 디스플레이되는 경우 화질 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 피부색 선호도 정보를 설정하기 위한 UI를 도시한 도면이다.
도 12는 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 13은 도 1에 도시된 전자 장치의 구체적인 구성을 나타내는 블럭도이다.
도 14는 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 1을 참조하면, 전자 장치(100)는 입력부(110) 및 프로세서(120)를 포함한다.
여기서, 전자 장치(100)는 이미지의 화질 처리 기능을 수행하는 장치라면 한정되지 않고 포함하며, TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북, 셋탑 박스, 스마트 워치, 웨어러블 장치 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
입력부(110)는 이미지를 입력받을 수 있다. 여기서, 이미지는 스틸 이미지 및 동영상 이미지를 포함하며, 문서, 사진, 영상 등으로 구현될 수 있다. 또한, 입력부(110)는 무선 또는 유선 통신을 통해 외부 장치로부터 이미지를 수신하여 입력받을 수도 있고, 전자 장치(100)의 저장부(미도시)로부터 이미지를 입력받을 수도 있으며, 복수의 이미지를 저장하고 있는 저장 장치 예를 들면, USB 메모리, CD, 외장 하드로부터 이미지를 입력받을 수도 있다.
프로세서(120)는 이미지로부터 피부 영역을 검출하여 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득할 수 있다.
구체적으로, 프로세서(120)는 입력부(110)를 통해 입력된 이미지로부터 인간의 피부로 인식되는 피부 영역을 검출할 수 있다. 이미지로부터 인간의 피부로 인식되는 피부 영역을 검출하는 기술로는 예를 들면, 기 저장된 인간의 피부와 관련된 복수의 이미지와 색, 모양 등을 비교하여 피부 영역을 검출하는 기술을 의미할 수 있으며, 이러한 기술은 이미 공지되어 있으므로 자세한 설명은 생략하기로 한다.
또한, 프로세서(120)는 검출된 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득할 수 있다. 구체적으로, 픽셀 값에 관한 정보는 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 포함할 수 있다. 이러한 컬러, 채도, 명암, 밝기 및 색 온도는 수치화될 수 있으며, 이렇게 수치화될 수 있는 정보를 정량적 정보라고 정의하기로 한다.
즉, 프로세서(120)는 검출된 피부 영역에 포함된 픽셀의 픽셀 값을 통해, 피부 영역의 컬러, 채도, 명암, 밝기 및 색 온도와 같은 정량적 정보를 획득할 수 있다. 또한, 픽셀 값에 관한 정보는 상술한 구성 이외에 피부 영역과 관련된 수치화될 수 있는 정보는 모두 포함할 수 있다.
또한, 프로세서(120)는 피부 영역 중 얼굴 영역에 기초하여 피부 영역의 특성에 관한 정보를 획득할 수 있다.
구체적으로, 프로세서(120)는 피부 영역 중에서도 얼굴 영역을 검출할 수 있는데, 예를 들어 기 저장된 얼굴 형태의 복수의 이미지와 비교하여 얼굴 영역을 검출할 수 있다.
또한, 피부 영역의 특성에 관한 정보는 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보를 포함할 수 있다. 이러한 성별, 나이, 인종 및 지역은 픽셀 값과 같이 수치화하여 나타낼 수 있는 정보가 아니며, 이렇게 수치화될 수 없는 정보를 정성적 정보라고 정의하기로 한다.
특히, 프로세서(120)는 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출할 수 있다.
예를 들어, 프로세서(120)는 얼굴 영역에 포함된 모발의 길이, 눈썹의 모양, 코의 형태, 입술의 형태, 얼굴의 형태 등에 기초하여 피부 영역의 성별을 판단할 수 있다.
또한, 프로세서(120)는 얼굴 영역에 포함된 피부의 톤 및 눈동자의 색 등에 기초하여 피부 영역의 인종을 판단할 수 있다.
또한, 프로세서(120)는 얼굴 영역에 포함된 주름의 개수 및 모양, 여드름의 유무, 검버섯의 유무 등과 같은 피부의 노화도를 판단할 수 있는 요소를 분석하여 피부 영역의 나이를 판단할 수 있다.
또한, 프로세서(120)는 전자 장치(100)를 사용하는 사용자의 사용자 계정 정보, 전자 장치(100)의 설정 정보 또는 전자 장치(100)와 연결된 외부 장치의 설정 정보 및, 전자 장치(100) 또는 전자 장치(100)와 연결된 외부 장치에 설정된 사용 언어 등에 기초하여 전자 장치(100)를 사용하는 사용자의 지역을 판단할 수 있다.
여기서, 전자 장치(100)의 설정 정보는 전자 장치(100)의 판매 지역에 따라 변경되는 설정 값에 관한 정보를 포함할 수 있다. 또한, 사용자의 지역이라 함은, 상술한 정보에 기초하여 도출된 국가 또는 대륙을 의미한다.
상술한 프로세서(120)의 피부 영역의 특성에 관한 정보를 획득하는 과정은 성별, 나이, 인종 및 지역별로 카테고리화되어 저장된 복수의 이미지와 개별적으로 비교하여 피부 영역의 성별, 나이, 인종 및 지역을 판단할 수 있다.
그리고, 프로세서(120)는 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 피부 영역의 화질을 처리할 수 있다. 화질 처리에 관한 상세한 설명은 후술하기로 한다.
한편, 도 2는 본 발명의 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 2를 참조하면, 전자 장치(100)는 입력부(110), 프로세서(120) 및 저장부(130)를 포함할 수 있다.
입력부(110) 및 프로세서(120)에 대해서는 이미 설명하였으므로 자세한 설명은 생략하기로 한다.
저장부(130)는 사용자의 피부색 선호도에 관한 정보를 저장한다. 여기서, 사용자의 피부색 선호도에 관한 정보는 성별, 나이, 인종 및 지역 등과 같은 카테고리별로 사용자가 선호하는 피부색에 관한 정보를 의미한다.
예를 들어, 사용자의 피부색 선호도에 관한 정보는, 성별이 여자이고, 나이가 20대이며, 인종이 서양인이고 지역이 미국인 경우 사용자는 밝은 색의 피부색을 선호하는 것과 같은 정보를 포함할 수 있다.
또한, 사용자의 피부색 선호도에 관한 정보는, 성별이 남자이고, 나이가 20대이며, 인종이 동양인이고 지역이 한국인 경우 사용자는 밝은 갈색의 피부색을 선호하는 것과 같은 정보를 포함할 수 있다.
이러한 사용자의 피부색 선호도에 관한 정보는 룩업 테이블 형태로 저장될 수 있다.
여기서, 프로세서(120)는 피부색 선호도에 관한 정보 중 피부 영역의 특성에 관한 정보에 대응되는 피부색을 결정하고, 결정된 피부색에 따라 피부 영역의 화질을 처리할 수 있다.
예를 들어, 프로세서(120)에 의해 획득된 피부 영역의 특성에 관한 정보가 성별은 여자이고, 나이는 30대이며, 인종은 동양인인 경우, 프로세서(120)는 상술한 피부 영역의 특성에 관한 정보를 사용자의 피부색 선호도에 관한 정보와 매칭하여 화질 처리를 위한 피부색을 결정할 수 있다.
구체적으로, 사용자의 피부색 선호도에 관한 정보 중 성별이 여자이고, 나이가 30대이며, 인종은 동양인인 경우에 해당되는 피부색이 밝은 갈색으로 설정된 경우, 프로세서(120)는 입력된 이미지의 피부 영역의 피부색을 밝은 갈색으로 변경하기 위한 화질 처리를 수행할 수 있다.
이때, 프로세서(120)는 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여, 입력된 이미지의 피부 영역의 피부색을 결정된 피부색으로 변경하기 위한 화질 처리를 수행할 수 있다.
예를 들어, 프로세서(120)는 픽셀 값에 관한 정보 중 컬러, 채도, 명암, 밝기 등의 수치를 피부 영역의 특성에 관한 정보인 성별, 나이, 인종, 및 지역 등을 고려하여 어떻게 변경할지를 결정할 수 있다. 이에 대한 자세한 설명은 도면을 통해 후술하기로 한다.
한편, 프로세서(120)는 사용자의 피부색 선호도에 관한 정보를 지속적으로 업데이트하여 빅데이터화할 수도 있다. 즉, 프로세서(120)는 사용자의 입력 및 사용 이력을 고려하여 사용자의 피부색 선호도에 관한 정보를 지속적으로 업데이트할 수 있고, 이러한 사용자의 입력 및 사용 이력에 기초하여 사용자의 피부색 선호도 변화에 관한 데이터를 저장할 수도 있다.
또한, 프로세서(120)는 외부 장치로부터 사용자의 피부색 선호도에 관한 정보를 수신하여 저장부(130)에 저장할 수도 있다.
도 4는 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 4를 참조하면, 전자 장치(100)는 입력부(110), 프로세서(120), 저장부(130) 및 통신부(140)를 포함할 수 있다. 여기서, 입력부(110), 프로세서(120) 및 저장부(130)에 대해서는 이미 설명하였으므로 자세한 설명은 생략하기로 한다.
통신부(140)는 외부 서버와 통신을 수행할 수 있다. 구체적으로, 통신부(140)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 외부 서버와 통신을 수행할 수 있다.
여기서, 프로세서(120)는 외부 서버로부터 사용자의 피부색 선호도에 관한 정보를 수신하도록 통신부(140)를 제어할 수 있다.
특히, 외부 서버로부터 수신되는 사용자의 피부색 선호도에 관한 정보는 해당 전자 장치(100)의 사용자가 외부 서버에 직접 업로드하여 저장한 사용자의 피부색 선호도에 관한 정보를 포함할 수도 있지만, 해당 전자 장치(100)의 사용자뿐만 아니라, 사용자 이외의 다른 제3자가 선호하는 피부색 선호도에 관한 정보도 포함할 수 있다.
또한, 외부 서버는 해당 전자 장치(100)를 사용하는 사용자 이외의 제3자의 피부색 선호도에 관한 정보를 저장하고 데이터베이스화하여 해당 전자 장치(100)를 사용하는 사용자의 연령, 성별, 지역 등을 고려하여 피부색 추천 서비스를 제공할 수도 있고, 전자 장치(100)는 통신부(140)를 통해 외부 서버로부터 수신된 피부색 추천 서비스에 기초하여 자동적으로 화질 처리를 수행할 수도 있다.
한편, 도 3은 본 발명의 일 실시 예에 따른 프로세서의 상세한 구성을 도시한 블럭도이다.
도 3을 참조하면, 프로세서(120)는 skin area detection unit(121), quantiative skin area analysis unit(122), qualitative skin area analysis unit(123), skin image processing parameter calculation unit(124), non-skin image processing unit(125) 및 image processing unit(126)을 포함할 수 있다.
우선 입력 이미지(10)가 전자 장치(100)에 입력되면, skin area detection unit(121)은 입력 이미지(10)로부터 인간의 피부로 인식되는 영역을 검출할 수 있다. 여기서, 입력 이미지(10)는 유선 통신 또는 무선 통신 방식을 통해 전자 장치(100)로 입력될 수도 있고, 전자 장치(100)에 기저장된 이미지일 수도 있으며, USB, 외장 하드와 같은 외부 메모리 장치가 전자 장치(100)에 연결됨으로써 입력될 수도 있다.
구체적으로 입력 이미지(10)가 배경 영역과 복수의 오브젝트를 포함하는 이미지일 경우, skin area detection unit(121)는 배경 영역 및 복수의 오브젝트 각각에 포함된 픽셀 값에 따른 컬러의 연속성 또는 컬러의 변화 강도, 오브젝트의 형태 등을 고려하여 입력 이미지(10)로부터 배경 영역과 복수의 오브젝트를 분리할 수 있다.
그리고, skin area detection unit(121)는 복수의 오브젝트 중 인간에 해당되는 오브젝트를 검출하고, 인간에 해당되는 오브젝트가 검출되면 인간의 피부로 인식되는 영역을 검출할 수 있다.
예를 들어, skin area detection unit(121)는 복수의 인간에 해당되는 오브젝트를 검출하기 위해 인간과 관련된 복수의 이미지(성별에 따라 분류된 인간에 관련된 이미지, 인종에 따라 분류된 인간에 관련된 이미지, 국가별 또는 지역별로 분류된 인간에 관련된 이미지 등)와 복수의 오브젝트를 비교하여 인간의 형태로 판단되는 오브젝트를 검출할 수 있다.
또한, skin area detection unit(121)는 검출된 인간의 형태로 판단된 오브젝트 중에서 피부 영역과 관련된 복수의 이미지(성별에 따라 분류된 피부색 관련 이미지, 인종에 따라 분류된 피부색 관련 이미지, 국가별 또는 지역별로 분류된 피부색 관련 이미지, 피부의 형태와 관련된 이미지, 피부의 표면 상태와 관련된 이미지 등)와 인간의 형태로 판단된 오브젝트를 비교하여 피부 영역을 검출할 수 있다.
그리고, quantiative skin area analysis unit(122)은 skin area detection unit(121)에서 검출된 피부 영역에 포함된 픽셀의 픽셀 값을 분석하여 픽셀 값에 관한 정보를 획득할 수 있으며, 여기서, 픽셀 값에 관한 정보는 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나를 포함할 수 있다. 이러한, 컬러, 채도, 명암, 밝기 및 색 온도와 같은 정보는 수치화되어 표현될 수 있으며, 이러한 정보를 정량적 정보라고 미리 정의한바 있다.
즉, quantiative skin area analysis unit(122)은 검출된 피부 영역에 포함된 픽셀의 픽셀 값을 분석하여, 컬러는 옐로우 브라운 색이고, 채도는 30이며, 명암은 50이고, 밝기는 70이며 색 온도는 50도와 같이 수치화된 정보를 검출할 수 있다.
또한, qualitative skin area analysis unit(123)은 skin area detection unit(121)에서 검출된 피부 영역의 특성에 관한 정보를 획득할 수 있다. 구체적으로, skin area detection unit(121)에서 검출된 피부 영역 중 얼굴 영역을 검출할 수 있고, 검출된 얼굴 영역에 기초하여 피부 영역의 특성에 관한 정보를 획득할 수 있다.
여기서, 피부 영역의 특성에 관한 정보는 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 포함할 수 있다. 이러한, 피부 영역에 관한 성별, 나이, 인종 및 지역과 같은 정보는 수치화될 수 없으며, 이러한 정보를 정성적 정보라고 미리 정의한바 있다.
특히, qualitative skin area analysis unit(123)은 skin area detection unit(121)에서 검출된 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출할 수 있다.
구체적으로, 도 5를 통해 qualitative skin area analysis unit(123)에서 정성적 정보를 검출하는 과정을 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 정성적 정보를 검출하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, qualitative skin area analysis unit(123)은 얼굴 영역에 포함된 눈, 코, 입 등과 얼굴의 형태, 모발의 길이 등에 기초하여 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출할 수 있다.
구체적으로, qualitative skin area analysis unit(123)은 얼굴 영역에 포함된 모발의 길이(550), 입술의 형태(560), 얼굴의 형태(570) 등과 같은 성별을 판단할 수 있는 요소를 분석하여 피부 영역에 관한 성별을 검출할 수 있다.
또한, qualitative skin area analysis unit(123)은 얼굴 영역에 포함된 피부의 톤(510) 및 눈동자의 색(520) 등과 같은 인종을 판단할 수 있는 요소를 분석하여 피부 영역에 관한 인종을 검출할 수 있다.
또한, qualitative skin area analysis unit(123)은 얼굴 영역에 포함된 주름(530)의 개수 및 모양, 여드름 또는 검버섯의 유무 및 위치(540) 등과 같은 피부의 노화도를 판단할 수 있는 요소를 분석하여 피부 영역에 관한 나이를 검출할 수 있다.
또한, qualitative skin area analysis unit(123)은 얼굴 영역에 포함된 눈, 코, 입 등의 사이즈 및 위치, 눈, 코, 입 등의 배치에 따른 전체적인 얼굴 형태, 모발의 색상, 눈동자의 색, 눈썹의 모양, 위치 및 색상, 입술의 모양, 위치 및 색상 등과 같은 전체적인 요소를 분석하여 피부 영역에 관한 지역을 검출할 수 있다.
여기서, qualitative skin area analysis unit(123)은 피부 영역에 관한 성별, 나이, 인종 및 지역을 검출하는데 있어서, 성별을 판단할 수 있는 요소, 인종을 판단할 수 있는 요소, 피부 노화도를 판단할 수 있는 요소 등을 분석하기 위해 각 요소와 관련된 다양한 이미지를 포함하는 데이터베이스를 이용할 수 있으며, 이러한 데이터베이스는 외부 서버에 저장되어 있을 수도 있고, 전자 장치(100) 내의 저장부(130)에 저장되어 있을 수도 있다. 특히, qualitative skin area analysis unit(123)은 상술한 데이터베이스와 얼굴 영역에 포함된 복수의 오브젝트를 비교 및 매칭하고, 그 결과에 따라 성별을 판단할 수 있는 요소, 인종을 판단할 수 있는 요소, 피부 노화도를 판단할 수 있는 요소 등을 분석할 수 있다.
이에 따라, qualitative skin area analysis unit(123)은 도 5의 왼쪽에 배치된 얼굴 영역과 관련하여, 얼굴 영역에 포함된 모발의 길이, 입술의 형태, 얼굴의 형태 등을 고려하여 성별이 남자임을 검출하고, 얼굴 영역에 포함된 피부의 컬러 및 눈동자의 색 등을 고려하여 인종이 백인임을 검출하며, 얼굴 영역에 포함된 주름의 개수, 위치, 모양과 여드름, 검버섯의 존재 유무 등을 고려하여 나이가 50대임을 검출할 수 있고, 전자 장치(100)의 지역 별 설정 값, 사용자 정보 및 사용자 계정 정보 중 적어도 하나를 참조하여 사용자가 미국에 거주하는 미국인임을 판단할 수 있으며, 사용자가 미국인임에 기초하여 상술한 성별, 나이, 인종에 해당되는 영상에 대한 보편적인 선호 피부색에 관한 정보를 검출할 수 있다.
또한, qualitative skin area analysis unit(123)은 도 5의 오른쪽에 배치된 얼굴 영역과 관련하여 얼굴 영역에 포함된 모발의 길이, 입술의 형태, 얼굴의 형태 등을 고려하여 성별이 여자임을 검출하고, 얼굴 영역에 포함된 피부의 컬러 및 눈동자의 색 등을 고려하여 인종이 동양인임을 검출하며, 얼굴 영역에 포함된 주름의 개수, 위치, 모양과 여드름, 검버서의 존재 유무 등을 고려하여 나이가 20대임을 검출할 수 있고, 또한, 전자 장치(100)의 지역 별 설정 값, 사용자 정보 및 사용자 계정 정보 중 적어도 하나를 참조하여 사용자가 한국에 거주하는 한국인임을 판단할 수 있으며, 사용자가 한국인임에 기초하여 상술한 성별, 나이, 인종에 해당되는 영상에 대한 보편적인 선호 피부색에 관한 정보를 검출할 수 있다.
다시, 도 3을 참조하면, skin image processing parameter calculation unit(124)은 quantiative skin area analysis unit(122) 및 qualitative skin area analysis unit(123)으로부터 정량적 정보인 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보 및 정성적 정보인 피부 영역의 특성에 관한 정보를 입력받으면, 입력 이미지(10)의 피부 영역의 화질 처리를 수행하는데 사용되는 화질 처리 변수를 연산할 수 있다. 여기서, 화질 처리 변수라 함은 입력 이미지(10)의 피부 영역의 화질 처리를 수행하는데 있어서, 컬러, 밝기, 채도, 명암 등을 변경하기 위한 변수를 의미한다.
그리고, skin area detection unit(121)에서 입력 이미지(10)에서 인간의 피부로 인식되는 영역이 검출되고 난 후의 남은 영역은 non-skin image processing unit(125)에서 처리될 수 있다.
구체적으로, non-skin image processing unit(125)은 인간의 피부로 인식되는 영역에 대한 화질 처리 변수를 고려하여, 입력 이미지(10)의 전체적인 조화를 위해 입력 이미지(10)에서 인간의 피부로 인식되는 영역이 검출되고 난 후 남은 영역에 대한 보상 처리 변수를 연산할 수 있다.
또한, image processing unit(126)은 skin image processing parameter calculation unit(124)에서 연산된 화질 처리 변수와 non-skin image processing unit(125)에서 연산된 보상 처리 변수를 입력받아 입력 이미지(10)의 피부 영역 또는 피부 영역을 제외한 나머지 영역에 대해 화질 처리를 수행할 수 있다.
그리고, image processing unit(126)은 화질 처리가 수행된 입력 이미지(10)를 추후 설명할 Display Device(160)로 출력할 수 있다.
한편, skin image processing parameter calculation unit(124)에서 연산되는 화질 처리 변수를 연산하는 과정을 도 6 및 도 7을 통해 상세히 설명하기로 한다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 화질 처리 변수를 연산하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 가로축(Cb)는 블루-옐로 컬러를 의미하고, 세로 축(Cr)은 레드-그린 컬러를 의미하며, 피부색으로 표현될 수 있는 전체 영역(600)이 도시되어 있다.
그리고, 제1 영역(620)은 사용자의 피부색 선호도에 관한 정보에 따라 성별이 여성이고, 인종이 아시아인이며, 나이가 20대인 경우에 설정된 피부색의 영역을 의미하고, 제2 영역(630)은 사용자의 피부색 선호도에 관한 정보에 따라 성별이 남성이고, 인종이 백인이며, 나이가 50대인 경우에 설정된 피부색의 영역을 의미한다.
또한, 제3 영역(610)은 입력 이미지(10)에 포함된 피부 영역을 구성하는 복수의 픽셀의 YCbCr 데이터의 분포를 의미한다.
여기서, skin image processing parameter calculation unit(124)은 제3 영역(610)의 YCbCr 데이터의 분포를 분석하여, 입력 이미지(10)에 포함된 피부 영역의 피부색의 YCbCr 색공간 내 중심 좌표를 도출할 수 있다.
그리고, skin image processing parameter calculation unit(124)은 qualitative skin area analysis unit(123)으로부터 입력된 정성적 정보인 피부 영역의 특성에 관한 정보(성별, 나이, 인종 및 지역 중 적어도 하나)에 기초하여 제3 영역(610)을 피부색으로 표현될 수 있는 전체 영역(600) 중 어디에 위치시킬지 결정할 수 있다.
구체적으로, skin image processing parameter calculation unit(124)은 입력 이미지(10)에 포함된 피부 영역의 피부색의 YCbCr 색공간 내 중심 좌표가 피부색으로 표현될 수 있는 전체 영역(600) 중 어디에 위치시킬지 결정할 수 있다.
예를 들어, qualitative skin area analysis unit(123)으로부터 수신된 피부 영역의 특성에 관한 정보가 성별이 남성이고, 인종이 백인이며, 나이가 50대인 경우 제3 영역(610)의 중심 좌표가 제2 영역(630)에 포함되도록 결정할 수 있다.
또한, skin image processing parameter calculation unit(124)은 quantiative skin area analysis unit(122)으로부터 수신된 정량적 정보인 픽셀 값에 관한 정보(컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나)에 기초하여 제3 영역(610)을 결정된 위치로 이동시키는데 있어서, 필요한 픽셀 값에 관한 화질 처리 변수를 연산할 수 있다.
상술한 예에 따라, skin image processing parameter calculation unit(124)은 현재 제3 영역(610)의 픽셀 값에 관한 정보(컬러: 밝은 갈색, 채도: 50, 명암: 60, 밝기: 40 등)에 기초하여, 제3 영역(610)의 중심 좌표를 제2 영역(630)에 포함시키도록 하기 위해 필요한 픽셀 값이 컬러는 옐로우 브라운으로 변경하고, 채도는 10 증가시키며, 명암은 20 감소시키고, 밝기는 10 증가시키는 것과 같은 화질 처리 변수를 연산할 수 있다.
그리고, image processing unit(126)은 skin image processing parameter calculation unit(124)에서 연산된 화질 처리 변수에 기초하여, 제3 영역(610)의 중심 좌표가 제2 영역(630)에 포함되도록 설정된 위치(612)로 이동시킬 수 있다.
또한, qualitative skin area analysis unit(123)으로부터 수신된 피부 영역의 특성에 관한 정보가 성별이 여성이고, 인종이 아시아인이며, 나이가 20대인 경우, image processing unit(126)은 skin image processing parameter calculation unit(124)에서 연산된 화질 처리 변수에 기초하여, 제3 영역(610)의 중심 좌표가 제1 영역(620)에 포함되도록 설정된 위치(611)로 이동시킬 수 있다.
한편, 기존의 기술과 같이 정량적 정보인 픽셀 값에 관한 정보만을 고려하여 화질 처리를 수행할 경우에는 예를 들어, 제3 영역(610)을 일률적으로 제1 영역(620)으로 이동시킬 수밖에 없다. 즉, 기존의 기술에 따르면, 정해진 화질 처리 변수에 따라 한가지 방식으로밖에 처리할 수 없다.
그러나, 상술한 본 발명의 실시 예에 따르면, 정성적 정보인 피부 영역의 특성에 관한 정보를 고려하여, 제3 영역(610)을 제1 영역(620)으로 이동시킬 수도 있고, 제2 영역(630)으로 이동시킬 수도 있다. 즉, 프로세서(120)는 정성적 정보인 피부 영역의 특성에 관한 정보에 따라 다양한 화질 처리 변수를 연산할 수 있으며, 이에 따라, 다양한 방식으로 처리할 수 있다.
한편, 도 6에서는 가로축(Cb)은 블루-옐로 컬러를 의미하고, 세로 축(Cr)은 레드-그린 컬러를 의미하는 것으로 도시함으로써 컬러에 대한 좌표만 설명하고 있으나, 채도, 명암, 밝기에 대해서도 개별적으로 조정이 될 수 있다.
예를 들어, 도 7은 밝기를 조절하는 실시 예를 설명하기 위한 것으로서, 가로축은 컬러를 의미하고, 세로 축은 밝기를 의미하며, 피부색의 밝기와 관련된 전체 영역(700)이 도시되어 있다.
그리고, 제1 영역(730)은 사용자의 피부색 선호도에 관한 정보에 따라 성별이 여성이고, 인종이 아시아인이며, 나이가 20대인 경우에 설정된 피부색의 밝기의 영역을 의미하고, 제2 영역(720)은 사용자의 피부색 선호도에 관한 정보에 따라 성별이 남성이고, 인종이 백인이며, 나이가 50대인 경우에 설정된 피부색의 밝기의 영역을 의미한다.
또한, 제3 영역(710)은 입력 이미지(10)에 포함된 피부 영역을 구성하는 복수의 픽셀의 밝기에 관한 데이터의 분포를 의미한다.
여기서, skin image processing parameter calculation unit(124)은 제3 영역(710)의 밝기에 관한 데이터의 분포를 분석하여, 제3 영역(710)의 중심 좌표를 도출할 수 있다.
그리고, skin image processing parameter calculation unit(124)은 qualitative skin area analysis unit(123)으로부터 입력된 정성적 정보인 피부 영역의 특성에 관한 정보(성별, 나이, 인종 및 지역 중 적어도 하나)에 기초하여 제3 영역(710)을 피부색의 밝기와 관련된 전체 영역(700) 중 어디에 위치시킬지 결정할 수 있다.
구체적으로, skin image processing parameter calculation unit(124)은 제3 영역(710)의 중심 좌표를 피부색의 밝기와 관련된 전체 영역(700) 중 어디에 위치시킬지 결정할 수 있다.
예를 들어, skin image processing parameter calculation unit(124)은 qualitative skin area analysis unit(123)으로부터 수신된 피부 영역의 특성에 관한 정보가 성별이 여성이고, 인종이 아시아인이며, 나이가 20대인 경우 제3 영역(710)의 중심 좌표가 제1 영역(730)에 포함되도록 결정할 수 있다.
또한, skin image processing parameter calculation unit(124)은 quantiative skin area analysis unit(122)으로부터 수신된 정량적 정보인 픽셀 값에 관한 정보(컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나)에 기초하여 제3 영역(710)을 결정된 위치로 이동시키는데 있어서, 필요한 픽셀 값에 관한 화질 처리 변수를 연산할 수 있다.
상술한 예에 따라, skin image processing parameter calculation unit(124)은 현재 제3 영역(710)의 픽셀 값에 관한 정보(컬러: 밝은 갈색, 채도: 50, 명암: 60, 밝기: 40 등)에 기초하여, 제3 영역(710)의 중심 좌표를 제1 영역(730)에 포함시키도록 하기 위해 필요한 픽셀 값이 밝기를 20만큼 증가시키는 것과 같은 화질 처리 변수를 연산할 수 있다.
그리고, image processing unit(126)은 skin image processing parameter calculation unit(124)에서 연산된 화질 처리 변수에 기초하여, 제3 영역(710)의 중심 좌표가 제1 영역(730)에 포함되도록 설정된 위치(711)로 이동시킬 수 있다.
한편, 도 8은 본 발명의 또 다른 실시 예에 따른 전자 장치의 구성을 도시한 블럭도이다.
도 8을 참조하면, 전자 장치(100)는 입력부(110), 프로세서(120) 및 촬상부(150)를 포함한다.
여기서, 입력부(110) 및 프로세서(120)에 대해서는 이미 설명하였으므로, 자세한 설명은 생략하기로 한다.
촬상부(150)는 사용자의 이미지를 촬영할 수 있다. 이러한 촬상부(150)는 카메라, 적외선 센서, 동작 센서 등으로 구현될 수 있다.
그리고, 프로세서(120)는 사용자의 이미지 중 얼굴 영역에 기초하여 사용자의 피부 영역의 특성에 관한 정보를 획득하고, 사용자의 피부 영역의 특성에 관한 정보에 기초하여 사용자의 피부색 선호도를 판단하며, 판단된 선호도에 기초하여 이미지에 포함된 피부 영역의 화질을 처리할 수 있다.
구체적으로, 프로세서(120)는 촬상부(150)를 통해 촬영된 사용자의 이미지로부터 피부 영역을 검출하고, 피부 영역 중 얼굴 영역에 기초하여 사용자의 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보를 판단할 수 있다.
그리고, 프로세서(120)는 판단된 사용자의 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보에 기초하여 사용자가 선호하는 피부색을 결정하고, 결정된 피부색에 따라 입력 이미지(10)의 피부 영역의 화질을 처리할 수 있다.
예를 들어, 20대의 남성 동양인이 사용자인 경우, 프로세서(120)는 피부색 선호도에 관한 데이터베이스에 기초하여 20대의 남성 동양인의 경우 20대 서양 여성에 대해 밝은 피부색을 선호하는 것으로 결정할 수 있고, 이에 따라, 입력 이미지(10)의 피부 영역을 밝은 피부색으로 변경하도록 처리할 수 있다.
여기서, 피부색 선호도에 관한 데이터베이스는 저장부(130)에 저장될 수도 있으나, 외부 서버에 저장될 수도 있으며, 이러한 피부색 선호도에 관한 데이터 베이스는 다양한 사용자의 피부색에 관한 선호도 정보의 지속적인 수집을 통해 업데이트될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 사용자 이미지에 기초하여 화질 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 9를 참조하면, 디스플레이 장치(900)가 영상(920)을 디스플레이하고 있는 상태에서 사용자(930)의 이미지를 촬상부(910)를 통해 촬영하면, 프로세서(120)는 사용자(930)의 이미지로부터 사용자(930)가 남성이고, 10대이며, 동양인이라고 판단할 수 있다.
그리고, 프로세서(120)는 10대의 남성 동양인의 경우 피부색 선호도에 관한 데이터베이스에 기초하여 20대 서양 남성에 대해 남성적인 미가 표현되는 밝은 갈색의 피부색을 선호하는 것으로 결정할 수 있으며, 이에 따라, 디스플레이되는 영상(920)에 포함된 서양 남성의 피부색을 밝은 갈색으로 변경하도록 처리할 수 있다.
한편, 프로세서(120)는 디스플레이되는 이미지에 인간 이외에, 인간이 아닌 오브젝트가 포함된 경우, 인간이 아닌 오브젝트에 대해서는 화질 처리를 수행하지 않을 수 있다.
도 10은 본 발명의 일 실시 예에 따른 인간 이외에 동물이 포함된 이미지가 디스플레이되는 경우 화질 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 디스플레이 장치(1000)가 인간(1011) 및 강아지(1012)를 포함하는 이미지(1010)를 디스플레이하고 있는 상태에서, 프로세서(120)는 인간에 관한 다양한 이미지를 저장하고 있는 데이터베이스에 기초하여 이미지(1010)로부터 인간(1011)만을 검출할 수 있고, 인간(1011)에 대응되는 영역에 기초하여 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보를 획득할 수 있으며, 이에 기초하여 인간(1011)에 대응되는 영역에 포함된 피부 영역의 화질을 처리할 수 있다.
그리고, 프로세서(120)는 인간이 아니라고 판단된 강아지(1012)에 대응되는 영역에 대해서는 화질 처리를 수행하지 않을 수 있다.
한편, 도 11은 본 발명의 일 실시 예에 따른 피부색 선호도 정보를 설정하기 위한 UI를 도시한 도면이다.
도 11을 참조하면, 디스플레이 장치(1100)는 사용자가 직접 피부색 선호도에 관한 정보를 설정할 수 있는 UI(1110)를 디스플레이할 수 있다.
구체적으로, 피부색 선호도에 관한 정보를 설정할 수 있는 UI(1110)는 연령, 성별, 인종, 지역을 설정할 수 있는 항목을 포함하고 있으며, 선택된 연령, 성별, 인종, 지역에 따라 선택될 수 있는 다양한 피부색을 포함하고 있는 컬러 리스트(1111)를 포함하고 있다.
사용자는 컬러 리스트(111)에서 선택 창(1112)을 움직여 선호하는 피부색을 선택할 수 있으며, 프로세서(120)는 선택된 피부색을 반영한 이미지(1113)를 표시하여 사용자에게 보여줄 수 있다.
이에 따라, 사용자는 선택된 피부색을 반영한 이미지(1113)를 실시간으로 확인할 수 있으며 사용자의 피부색 선호도에 관한 정보에 대해 선택된 연령, 성별, 인종, 지역 및 피부색에 관한 정보를 저장할 수 있다.
한편, 도 11과 같이 사용자가 직접 연령, 성별, 인종 등에 관한 정보를 피부색 선호도에 관한 정보를 설정할 수 있는 UI(1110)를 통해 입력하는 경우뿐만 아니라, 프로세서(120)가 자동적으로 사용자의 연령, 성별, 인종 등을 판단하고 난 후, 판단된 사용자의 연령, 성별, 인종 등에 대응되는 선호 피부색을 사용자가 설정하는 경우도 상정해볼 수 있다.
예를 들어, 프로세서(120)는 촬상부(150)를 통해 획득된 사용자의 이미지를 분석하여 사용자의 연령, 성별, 인종 등을 판단할 수 있고, 판단된 사용자의 연령, 성별, 인종 등에 관한 정보를 디스플레이하여 사용자에게 표시할 수 있다. 이후, 사용자는 프로세서(120)에 의해 자동적으로 판단된 사용자의 연령, 성별, 인종 등을 확인한 후 도 11에서 설명한 컬러 리스트(111)를 통해 직접 선호 피부색을 설정할 수 있다.
이에 따라, 프로세서(120)는 사용자의 이미지를 분석하여 판단된 사용자의 연령, 성별, 인종 등에 대해 사용자의 조작에 따라 선택된 선호 피부색을 매칭하여 저장할 수 있다.
예를 들어, 사용자가 20대의 동양 남자인 경우, 프로세서(120)는 촬상부(150)를 통해 획득된 사용자의 이미지를 분석하여 연령이 20대이고, 성별이 남자이며, 인종이 동양인임을 판단할 수 있고, 사용자 조작에 따라 선택된 선호 피부색이 밝은 베이지색인 경우, 20대 동양 남자가 선호하는 피부색에 밝은 베이지색이 매칭된 피부색 선호도에 관한 정보를 생성하여 저장할 수 있다.
그리고, 프로세서(120)는 저장된 피부색 선호도에 관한 정보에 기초하여 추후 입력되는 이미지에 대한 화질 처리를 수행할 수 있으며, 저장된 피부색 선호도에 관한 정보를 서버로 전송할 수도 있다.
이에 따라, 서버는 다양한 연령, 성별, 인종의 사용자가 선호하는 피부색에 관한 정보들을 수신하여 피부색 선호도에 관한 빅데이터를 생성할 수 있으며, 이렇게 생성된 빅데이터에 기초하여 각 사용자에 대한 선호 피부색 추천 서비스, 지역별 전자 장치(100)의 피부색에 관한 자동 설정 서비스 등을 제공할 수도 있다.
한편, 도 12는 본 발명의 또 다른 실시 예에 따른 전자 장치(100)의 구성을 도시한 블럭도이다.
도 12를 참조하면, 전자 장치(100)는 입력부(110), 프로세서(120) 및 디스플레이(160)를 포함할 수 있다.
여기서, 입력부(110) 및 프로세서(120)에 대해서는 미리 설명하였으므로 상세한 설명은 생략하기로 한다.
디스플레이(160)는 다양한 이미지를 디스플레이할 수 있으며, 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
그리고, 프로세서(120)는 피부 영역의 화질이 처리된 이미지를 디스플레이하도록 디스플레이(160)를 제어할 수 있다.
한편, 프로세서(120)는 기 설정된 복수의 프레임 구간 동안 피부 영역의 화질을 점진적으로 처리할 수 있다.
예를 들어, 프로세서(120)는 화질 처리 변수가 컬러는 옐로우 브라운이고, 채도는 20만큼 증가시키며, 명암은 10만큼 증가시키고 밝기는 20만큼 감소시키는 것과 같은 경우, 5개의 프레임 구간 동안 점진적으로 화질 처리를 수행할 수 있다. 즉, 5개의 프레임 각각의 구간 동안 컬러를 옐로우 브라운으로 변경하고, 채도는 4만큼 증가시키며, 명암은 2만큼 증가시키고, 밝기는 4만큼 감소시킬 수 있다.
이에 따라, 프로세서(120)는 재생되는 이미지에서 자연스럽게 피부색을 변화시킬 수 있다.
한편, 도 13은 도 1에 도시된 전자 장치의 구체적인 구성을 나타내는 블럭도이다.
도 13을 참조하면, 전자 장치(100')는 입력부(110), 프로세서(120), 저장부(130), 통신부(140), 촬상부(150), 디스플레이(160), 스피커부(170) 및 마이크부(180)를 포함한다. 도 13에 도시된 구성 중 미리 설명한 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(120)는 전자 장치(100')의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(123)는 저장부(110)에 액세스하여, 저장부(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
특히, 메인 CPU(123)는 입력 이미지(10)로부터 피부 영역을 검출하여 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하고, 피부 영역 중 얼굴 영역에 기초하여 피부 영역의 특성에 관한 정보를 획득할 수 있다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(110)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(110)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
특히, 그래픽 처리부(124)는 메인 CPU(123)에 의해 획득된 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 피부 영역의 화질을 처리할 수 있다.
한편, 상술한 프로세서(120)의 동작은 저장부(110)에 저장된 프로그램에 의해 이루어질 수 있다.
저장부(130)는 전자 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
특히, 저장부(130)는 입력 이미지(10)로부터 피부 영역을 검출하고, 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하며, 피부 영역 중 얼굴 영역에 기초하여 피부 영역의 특성에 관한 정보를 획득하고, 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 피부 영역의 화질을 처리하는 기능을 실행하기 위한 소프트웨어 모듈을 포함할 수 있다.
스피커부(170)는 수신된 방송 신호에 포함된 오디오 신호에 기초하여 음향 신호를 출력하는데 사용될 수 있다. 또한, 저장된 음악 파일, 영상 파일을 재생 시 이에 대응되는 음향 신호를 출력하는데 사용될 수 있다.
또한, 마이크부(180)는 사용자의 발화 음성을 수신하는데 사용될 수 있다. 마이크는 사용자가 발화한 선호하는 피부색에 관한 정보를 수신할 수 있으며, 프로세서(120)는 수신된 정보를 저장하거나, 수신된 정보에 기초하여 입력 이미지(10)의 피부 영역의 화질 처리를 수행할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 14를 참조하면, 저장부(130)에는 피부 영역 검출 모듈(131), 픽셀 값 검출 모듈(132), 피부 영역의 특성 정보 검출 모듈(133) 및 피부 영역의 화질 처리 모듈(134) 등의 프로그램이 저장되어 있을 수 있다.
한편, 상술한 프로세서(120)의 동작은 저장부(130)에 저장된 프로그램에 의해 이루어질 수 있다. 이하에서는 저장부(130)에 저장된 프로그램을 이용한 프로세서(120)의 세부 동작에 대해 자세히 설명하도록 한다.
구체적으로, 피부 영역 검출 모듈(131)은 인간의 피부 영역과 관련된 이미지가 저장된 데이터베이스에 기초하여 입력 이미지(10)로부터 피부 영역을 검출하는 기능을 수행할 수 있다
또한, 픽셀 값 검출 모듈(132)은 검출된 피부 영역에 포함된 픽셀의 픽셀 값을 분석하여 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 검출하는 기능을 수행할 수 있다.
또한, 피부 영역의 특성 정보 검출 모듈(133)은 피부 영역에 관한 성별, 나이, 인종 및 지역 등으로 구분된 다양한 이미지를 저장하는 데이터베이스에 기초하여 검출된 피부 영역 중 얼굴 영역에 기초하여 피부 영역의 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보를 검출하는 기능을 수행할 수 있다.
또한, 피부 영역의 화질 처리 모듈(134)은 픽셀 값 검출 모듈(132) 및 피부 영역의 특성 정보 검출 모듈(133)에서 검출된 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 입력 이미지(10)의 피부 영역의 화질을 처리하는 기능을 수행할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 15에 도시된 전자 장치의 제어 방법은, 입력된 이미지로부터 피부 영역을 검출한다(S1510).
그리고, 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득한다(S1520).
그리고, 피부 영역 중 얼굴 영역에 기초하여 피부 영역의 특성에 관한 정보를 획득한다(S1530).
이후, 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 피부 영역의 화질을 처리한다(S1540).
여기서, 피부 영역의 특성에 관한 정보는, 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나에 관한 정보를 포함한다.
또한, 픽셀 값에 관한 정보는, 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 포함한다.
또한, 피부 영역의 화질을 처리하는 단계는, 기 저장된 사용자의 피부색 선호도에 관한 정보 중 피부 영역의 특성에 관한 정보에 대응되는 피부색을 결정하고, 결정된 피부색에 따라 피부 영역의 화질을 처리할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 외부 서버로부터 사용자의 피부색 선호도에 관한 정보를 수신하는 단계를 더 포함할 수 있다.
또한, 피부 영역의 특성에 관한 정보를 획득하는 단계는, 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출할 수 있다.
또한, 전자 장치의 제어 방법은, 사용자의 이미지를 촬영하는 단계, 사용자의 이미지 중 얼굴 영역에 기초하여 사용자의 피부 영역의 특성에 관한 정보를 획득하는 단계, 사용자의 피부 영역의 특성에 관한 정보에 기초하여 사용자의 피부색 선호도를 판단하는 단계 및 판단된 선호도에 기초하여 이미지에 포함된 피부 영역의 화질을 처리하는 단계를 더 포함할 수 있다.
또한, 피부 영역의 화질을 처리하는 단계는, 기 설정된 복수의 프레임 구간 동안 피부 영역의 화질을 점전적으로 처리할 수 있다.
또한, 전자 장치의 제어 방법은, 피부 영역의 화질이 처리된 이미지를 디스플레이하는 단계를 더 포함할 수 있다.
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 전자 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 전자 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 입력부
120: 프로세서 130: 저장부
140: 통신부 150: 촬상부
160: 디스플레이
120: 프로세서 130: 저장부
140: 통신부 150: 촬상부
160: 디스플레이
Claims (18)
- 이미지를 입력받는 입력부;
성별, 나이 및 지역에 따라 사용자가 선호하는 피부색에 대한 정보를 포함하는 피부색 선호도에 관한 정보가 저장된 저장부; 및
상기 이미지로부터 피부 영역을 검출하여 상기 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하고, 상기 피부 영역 중 얼굴 영역에 기초하여 상기 피부 영역의 특성에 관한 정보를 획득하며, 상기 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 상기 피부 영역의 화질을 처리하는 프로세서;를 포함하며,
상기 픽셀 값에 관한 정보는, 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 포함하고,
상기 피부 영역의 특성에 관한 정보는, 상기 피부 영역에 관한 성별 나이 및 지역에 관한 정보를 포함하며,
상기 프로세서는,
상기 피부색 선호에 대한 정보에 기초하여, 상기 피부 영역에 관한 성별, 나이 및 지역에 대응되는 피부색을 결정하고,
기 설정된 좌표 공간 내에서 상기 피부 영역에 포함된 픽셀의 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 기초하여 상기 피부 영역에 대한 색 공간 데이터 분포에 대응하는 제1 영역을 식별하고, 상기 제1 영역의 중심 좌표를 식별하고,
상기 기 설정된 좌표 공간 내에서 복수의 피부색의 색 공간 데이터 분포에 각각 대응하는 복수의 영역을 식별하고,
상기 식별된 복수의 영역 중 상기 피부색 선호에 대한 정보에 기초하여 결정된 피부색의 데이터 분포에 대응하는 제2 영역을 식별하고,
상기 식별된 제1 영역의 중심 좌표가 상기 제2 영역에 포함되도록, 상기 피부 영역에 포함된 픽셀의 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나를 조절하여, 상기 피부 영역의 화질을 처리하는 전자 장치. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
외부 서버와 통신을 수행하는 통신부;를 더 포함하며,
상기 프로세서는,
상기 외부 서버로부터 상기 사용자의 피부색 선호도에 관한 정보를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치. - 제1항에 있어서,
상기 프로세서는,
상기 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 상기 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출하는 것을 특징으로 하는 전자 장치. - 제1항에 있어서,
사용자의 이미지를 촬영하는 촬상부;를 더 포함하며,
상기 프로세서는,
상기 사용자의 이미지 중 얼굴 영역에 기초하여 상기 사용자의 피부 영역의 특성에 관한 정보를 획득하고, 상기 사용자의 피부 영역의 특성에 관한 정보에 기초하여 상기 사용자의 피부색 선호도를 판단하며, 상기 판단된 선호도에 기초하여 상기 이미지에 포함된 피부 영역의 화질을 처리하는 것을 특징으로 하는 전자 장치. - 제1항에 있어서,
상기 프로세서는,
기 설정된 복수의 프레임 구간 동안 상기 피부 영역의 화질을 점진적으로 처리하는 것을 특징으로 하는 전자 장치. - 제1항에 있어서,
디스플레이;를 더 포함하며,
상기 프로세서는,
상기 피부 영역의 화질이 처리된 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치. - 입력된 이미지로부터 피부 영역을 검출하는 단계;
상기 피부 영역에 포함된 픽셀의 픽셀 값에 관한 정보를 획득하는 단계;
상기 피부 영역 중 얼굴 영역에 기초하여 상기 피부 영역의 특성에 관한 정보를 획득하는 단계; 및
상기 픽셀 값에 관한 정보 및 피부 영역의 특성에 관한 정보에 기초하여 상기 피부 영역의 화질을 처리하는 단계;를 포함하며,
상기 픽셀 값에 관한 정보는, 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 관한 정보를 포함하고,
상기 피부 영역의 특성에 관한 정보는, 상기 피부 영역에 관한 성별, 나이 및 지역에 관한 정보를 포함하며,
상기 피부 영역의 화질을 처리하는 단계는,
기 저장된 사용자의 피부색 선호도에 관한 정보 중 상기 피부 영역에 관한 성별, 나이 및 지역에 대응되는 피부색을 결정하는 단계;
기 설정된 좌표 공간 내에서 상기 피부 영역에 포함된 픽셀의 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나에 기초하여 상기 피부 영역에 대한 색 공간 데이터 분포에 대응하는 제1 영역을 식별하고, 상기 제1 영역의 중심 좌표를 식별하는 단계;
상기 기 설정된 좌표 공간 내에서 복수의 피부색의 색 공간 데이터 분포에 각각 대응하는 복수의 영역을 식별하는 단계;
상기 식별된 복수의 영역 중 상기 피부색 선호에 대한 정보에 기초하여 결정된 피부색의 데이터 분포에 대응하는 제2 영역을 식별하는 단계; 및
상기 식별된 제1 영역의 중심 좌표가 상기 제2 영역에 포함되도록, 상기 피부 영역에 포함된 픽셀의 컬러, 채도, 명암, 밝기 및 색 온도 중 적어도 하나를 조절하여, 상기 피부 영역의 화질을 처리하는 단계를 포함하는, 전자 장치의 제어 방법. - 삭제
- 삭제
- 삭제
- 제10항에 있어서,
외부 서버로부터 상기 사용자의 피부색 선호도에 관한 정보를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 전자 장치의 제어 방법. - 제10항에 있어서,
상기 피부 영역의 특성에 관한 정보를 획득하는 단계는,
상기 피부 영역 중 얼굴 영역에 포함된 적어도 하나의 오브젝트에 기초하여 상기 피부 영역에 관한 성별, 나이, 인종 및 지역 중 적어도 하나를 검출하는 것을 특징으로 하는 전자 장치의 제어 방법. - 제10항에 있어서,
사용자의 이미지를 촬영하는 단계;
상기 사용자의 이미지 중 얼굴 영역에 기초하여 상기 사용자의 피부 영역의 특성에 관한 정보를 획득하는 단계;
상기 사용자의 피부 영역의 특성에 관한 정보에 기초하여 상기 사용자의 피부색 선호도를 판단하는 단계; 및
상기 판단된 선호도에 기초하여 상기 이미지에 포함된 피부 영역의 화질을 처리하는 단계;를 더 포함하는 것을 특징으로 하는 전자 장치의 제어 방법. - 제10항에 있어서,
상기 피부 영역의 화질을 처리하는 단계는,
기 설정된 복수의 프레임 구간 동안 상기 피부 영역의 화질을 점진적으로 처리하는 것을 특징으로 하는 전자 장치의 제어 방법. - 제10항에 있어서,
상기 피부 영역의 화질이 처리된 이미지를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 전자 장치의 제어 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160009872A KR102541829B1 (ko) | 2016-01-27 | 2016-01-27 | 전자 장치 및 그 제어 방법 |
| US15/375,637 US10354124B2 (en) | 2016-01-27 | 2016-12-12 | Electronic apparatus and controlling method for improve the image quality preference of skin area |
| EP16888324.7A EP3360322A4 (en) | 2016-01-27 | 2016-12-28 | Electronic apparatus and controlling method thereof |
| PCT/KR2016/015377 WO2017131348A1 (en) | 2016-01-27 | 2016-12-28 | Electronic apparatus and controlling method thereof |
| CN201710052809.2A CN107016648A (zh) | 2016-01-27 | 2017-01-24 | 电子设备及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160009872A KR102541829B1 (ko) | 2016-01-27 | 2016-01-27 | 전자 장치 및 그 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170089534A KR20170089534A (ko) | 2017-08-04 |
| KR102541829B1 true KR102541829B1 (ko) | 2023-06-09 |
Family
ID=59360532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160009872A KR102541829B1 (ko) | 2016-01-27 | 2016-01-27 | 전자 장치 및 그 제어 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10354124B2 (ko) |
| EP (1) | EP3360322A4 (ko) |
| KR (1) | KR102541829B1 (ko) |
| CN (1) | CN107016648A (ko) |
| WO (1) | WO2017131348A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650225B2 (en) * | 2016-12-27 | 2020-05-12 | Canon Kabushiki Kaisha | Image processing apparatus which determines category to which object in image belongs, method therefor, and object discrimination apparatus |
| DE102017212176A1 (de) * | 2017-07-17 | 2019-01-17 | Henkel Ag & Co. Kgaa | System und Verfahren zum Ermitteln einer Wirksamkeit einer kosmetischen Hautbehandlung |
| CN107465903B (zh) * | 2017-09-08 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像白平衡方法、装置和计算机可读存储介质 |
| CN107580251B (zh) * | 2017-09-15 | 2018-09-21 | 南京陶特思软件科技有限公司 | 信息输入方式自适应选择系统 |
| CN110580676A (zh) * | 2018-06-07 | 2019-12-17 | 富泰华工业（深圳）有限公司 | 人脸漫画形象制作方法、电子装置和存储介质 |
| CN109639981B (zh) * | 2018-12-29 | 2021-12-24 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
| CN110443769B (zh) * | 2019-08-08 | 2022-02-08 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
| CN113551772B (zh) * | 2020-04-07 | 2023-09-15 | 武汉高德智感科技有限公司 | 一种红外测温方法、红外测温系统及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090028434A1 (en) * | 2007-07-29 | 2009-01-29 | Vincent Vanhoucke | System and method for displaying contextual supplemental content based on image content |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4095765B2 (ja) * | 2000-04-14 | 2008-06-04 | 富士通株式会社 | カラー画像処理装置 |
| US7616233B2 (en) | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
| KR100735549B1 (ko) * | 2005-08-08 | 2007-07-04 | 삼성전자주식회사 | 영상의 피부색을 변환하는 영상 처리 방법 및 장치 |
| KR100818983B1 (ko) * | 2005-12-09 | 2008-04-03 | 삼성전자주식회사 | 후보 이미지와 자연어를 이용한 최적 선호색 재현 장치 및 방법, 선호색에 대한 특정 정보 생성 장치 및 방법, 및 상기 방법을 이용한 기록매체 |
| KR100679052B1 (ko) * | 2006-01-04 | 2007-02-06 | 삼성전자주식회사 | 최적 선호색 편집 장치 및 방법 |
| JP5239126B2 (ja) | 2006-04-11 | 2013-07-17 | 株式会社ニコン | 電子カメラ |
| JP4175425B2 (ja) * | 2007-03-15 | 2008-11-05 | オムロン株式会社 | 瞳色補正装置およびプログラム |
| KR20090113075A (ko) | 2008-04-25 | 2009-10-29 | 삼성디지털이미징 주식회사 | 디지털 영상 처리 장치 및 그 제어 방법 |
| JP5547730B2 (ja) | 2008-07-30 | 2014-07-16 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検知を用いた顔及び肌の自動美化 |
| US8525847B2 (en) | 2009-06-01 | 2013-09-03 | Apple Inc. | Enhancing images using known characteristics of image subjects |
| JP2013131077A (ja) | 2011-12-21 | 2013-07-04 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム、画像処理システム |
| KR101743520B1 (ko) * | 2011-04-09 | 2017-06-08 | 에스프린팅솔루션 주식회사 | 색상 변환 장치 및 그 방법 |
| US20130031458A1 (en) * | 2011-07-27 | 2013-01-31 | Microsoft Corporation | Hyperlocal content determination |
| JP2013046374A (ja) | 2011-08-26 | 2013-03-04 | Sanyo Electric Co Ltd | 画像処理装置 |
| US8988686B2 (en) | 2011-09-06 | 2015-03-24 | The Procter & Gamble Company | Systems, devices, and methods for providing products and consultations |
| JP2013242504A (ja) | 2012-05-23 | 2013-12-05 | Sony Corp | 電子鏡装置、電子鏡表示方法および電子鏡プログラム |
| JP2014048936A (ja) * | 2012-08-31 | 2014-03-17 | Omron Corp | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム |
| US20150332345A1 (en) * | 2014-05-14 | 2015-11-19 | International Business Machines Corporation | Advertisement selection and model augmentation based upon physical characteristics of a viewer |
-
2016
- 2016-01-27 KR KR1020160009872A patent/KR102541829B1/ko active IP Right Grant
- 2016-12-12 US US15/375,637 patent/US10354124B2/en active Active
- 2016-12-28 WO PCT/KR2016/015377 patent/WO2017131348A1/en active Application Filing
- 2016-12-28 EP EP16888324.7A patent/EP3360322A4/en active Pending
-
2017
- 2017-01-24 CN CN201710052809.2A patent/CN107016648A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090028434A1 (en) * | 2007-07-29 | 2009-01-29 | Vincent Vanhoucke | System and method for displaying contextual supplemental content based on image content |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017131348A1 (en) | 2017-08-03 |
| US20170213073A1 (en) | 2017-07-27 |
| CN107016648A (zh) | 2017-08-04 |
| KR20170089534A (ko) | 2017-08-04 |
| EP3360322A1 (en) | 2018-08-15 |
| US10354124B2 (en) | 2019-07-16 |
| EP3360322A4 (en) | 2018-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102541829B1 (ko) | 전자 장치 및 그 제어 방법 | |
| US10827126B2 (en) | Electronic device for providing property information of external light source for interest object | |
| US10109092B1 (en) | Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences | |
| US10565763B2 (en) | Method and camera device for processing image | |
| US20190180788A1 (en) | Apparatus and method for editing content | |
| US9179061B1 (en) | Assisted text input for computing devices | |
| EP3345384B1 (en) | Display apparatus and control method thereof | |
| US9706108B2 (en) | Information processing apparatus and associated methodology for determining imaging modes | |
| CN107484034A (zh) | 字幕显示方法、终端及计算机可读存储介质 | |
| US10568562B2 (en) | Electronic apparatus and method for providing skin inspection information thereof | |
| KR20190053675A (ko) | 전자 장치 및 그 동작 방법 | |
| US9799099B2 (en) | Systems and methods for automatic image editing | |
| US11915671B2 (en) | Eye gaze control of magnification user interface | |
| CN113010126A (zh) | 显示控制方法、装置、电子设备及介质 | |
| US11128909B2 (en) | Image processing method and device therefor | |
| CN113822898A (zh) | 图像的智能裁剪 | |
| US20170068512A1 (en) | Electronic apparatus and information processing method thereof | |
| KR102641738B1 (ko) | 영상 처리 방법 및 이를 지원하는 전자 장치 | |
| CN111429551A (zh) | 图像编辑方法、装置、电子设备和存储介质 | |
| CN110246110B (zh) | 图像评估方法、装置及存储介质 | |
| CN109891459B (zh) | 图像处理装置及图像处理方法 | |
| GB2578988A (en) | Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences | |
| CN116057574A (zh) | 色盲辅助技术系统和方法 | |
| CN111610886A (zh) | 触控屏幕亮度的调整方法、设备及计算机可读存储介质 | |
| CN108845779B (zh) | 基于影像灰阶调整亮度的电子装置及其调整亮度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |