KR101854991B1 - 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템 - Google Patents

눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템 Download PDF

Info

Publication number
KR101854991B1
KR101854991B1 KR1020160117234A KR20160117234A KR101854991B1 KR 101854991 B1 KR101854991 B1 KR 101854991B1 KR 1020160117234 A KR1020160117234 A KR 1020160117234A KR 20160117234 A KR20160117234 A KR 20160117234A KR 101854991 B1 KR101854991 B1 KR 101854991B1
Authority
KR
South Korea
Prior art keywords
image
face
pupil
region
color
Prior art date
Application number
KR1020160117234A
Other languages
English (en)
Other versions
KR20180030284A (ko
Inventor
석현정
최하얀
최경아
김성엽
Original Assignee
에스테 로우더, 인코포레이티드
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스테 로우더, 인코포레이티드, 한국과학기술원 filed Critical 에스테 로우더, 인코포레이티드
Priority to KR1020160117234A priority Critical patent/KR101854991B1/ko
Priority to AU2017350177A priority patent/AU2017350177A1/en
Priority to JP2019543160A priority patent/JP2019533269A/ja
Priority to EP17864450.6A priority patent/EP3510559A4/en
Priority to PCT/US2017/016384 priority patent/WO2018080575A1/en
Priority to CN201780069702.7A priority patent/CN110036407B/zh
Priority to US16/346,821 priority patent/US10984281B2/en
Priority to CA3041991A priority patent/CA3041991C/en
Publication of KR20180030284A publication Critical patent/KR20180030284A/ko
Application granted granted Critical
Publication of KR101854991B1 publication Critical patent/KR101854991B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06K9/00281—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

일 실시예에 따른 색을 보정하는 방법은, 이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계; 상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 단계; 상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계; 상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 단계; 및 상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계를 포함할 수 있다.

Description

눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템{SYSTEM AND METHOD FOR CORRECTING COLOR OF DIGITAL IMAGE BASED ON THE HUMAN SCLERA AND PUPIL}
아래의 설명은 이미지 처리 기술에 관한 것으로, 이미지로부터 눈의 흰자위와 동공의 색을 기반으로 피부색을 보정하는 방법 및 시스템에 관한 것이다.
현재 기기를 통한 메이크업과 관련하여 다양한 기술들이 출시되어 있으나, 대다수의 경우, 화장품에 적용될 사용자의 얼굴 피부색 및 조명환경에 대한 고려를 하지 않고 있다. 종래의 기술은 조명의 영향을 받지 않은 실제 피부색 값을 측정하는 방법을 제안하였으나, 스펙트럼 기반의 컬러 정보 측정 장비를 활용해야 하기 때문에 일반 사용자가 간편하게 사용하기 어렵다는 문제점이 있다.
또한, 조명환경을 보다 간편하게 측정하기 위해 표준화된 색상표를 들고 사진을 촬영하는 방법을 제안한 경우도 있었으나 상기 색상표를 인쇄하여 사진을 촬영하는 과정에서 사용자의 번거로움이 발생한다.
추가적으로 Do et al(2012)의 연구에 따르면, 눈의 흰자위를 활용하여 조명을 보정하는 방법을 제안하였으나 피부색의 범위를 너무 광범위하게 추출하여 그림자 및 하이라이트 등이 포함되어 정확한 피부색을 추출하는데 어려움이 있다.
이에 따라 눈의 흰자위와 동공을 활용하여 이미지로부터 얼굴의 정확한 피부색을 추출함으로써 사용자의 편의성을 증대하고 다양한 메이크업 관련 프로그램에 기반이 될 수 있는 기술이 요구된다.
이미지로부터 얼굴 및 눈을 검출하고, 검출된 눈으로부터 흰자위 및 동공을 이용하여 색을 보정하는 방법을 제공할 수 있다. 더욱 상세하게는, 이미지로부터 얼굴 및 눈(eye)을 검출하고, 검출된 눈으로부터 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 이미지를 보정하고, 보정된 이미지로부터 얼굴의 피부색을 추출하는 방법을 제공할 수 있다.
일 실시예에 따르면, 색을 보정하는 방법은, 이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계; 상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 단계; 상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계; 상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 단계; 및 상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계를 포함할 수 있다.
상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계는, 상기 검출된 눈을 오츠 알고리즘과 눈 모양 마스크에 의하여 상기 흰자위와 상기 동공을 분할하며, 상기 흰자위를 조명 임계값에 기초하여 분할함에 따라 기 설정된 밝기 이상의 흰자위 영역을 추출하고, 상기 동공의 원형 윤곽에 따라 상기 동공과 흰자위의 경계를 검출함으로써 기 설정된 밝기 이하의 동공 영역을 추출하는 단계를 포함할 수 있다.
상기 이미지를 보정하는 단계는, 상기 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 상기 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 상기 기준값과 비교함으로써 상기 기준값에 기초하여 상기 이미지의 색을 변환하는 단계를 포함할 수 있다.
상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계는, 상기 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 기 저장된 피부색 측정값과 비교함으로써 상기 보정된 이미지로부터 상기 얼굴의 피부 영역이 탐지되고, 상기 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링되어 상기 피부색을 추출하는 단계를 포함할 수 있다.
상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계는, 상기 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 상기 보정된 이미지로부터 추출된 얼굴의 피부색을 표시하는 단계를 포함할 수 있다.
상기 색 보정 방법은, 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계를 더 포함하고, 상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는, 상기 이미지 보정을 위한 흰자위 및 동공에 대한 이미지 보정 측정값 및 상기 얼굴에 대한 피부색을 측정한 피부색 측정값을 저장하는 단계를 포함할 수 있다.
상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는, 상기 서로 다른 조명 환경에서 촬영된 이미지를 피부색을 포함하는 표준 색상을 기준으로 변환하는 단계를 포함할 수 있다.
상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는, 상기 변환된 이미지로부터 검출된 얼굴에서 이마, 코끝, 턱, 목, 뺨, 광대뼈, 턱을 포함하는 적어도 하나 이상의 부위에 대한 피부색을 측정함에 따른 피부색 측정값을 평균화함으로써 도출된 평균값을 저장하는 단계를 포함할 수 있다.
상기 이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계는, 실시간으로 상기 얼굴 및 눈을 탐지함에 따라 상기 눈이 오픈(open)되어 있는지 여부를 판단하고, 상기 눈이 오픈되어 있음을 판단한 경우 상기 이미지 촬영 모드를 활성화시키는 단계를 포함할 수 있다.
일 실시예에 따르면, 색 보정 방법을 실행시키기 위한 컴퓨터 프로그램에 있어서, 상기 색 보정 방법은, 이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계; 상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 단계; 상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계; 상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 단계; 및 상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계를 포함할 수 있다.
일 실시예에 따르면, 색을 보정하는 시스템은, 이미지가 촬영됨에 따라 상기 이미지를 획득하는 획득부; 상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 검출부; 상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 분리부; 상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 보정부; 및 상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 추출부를 포함할 수 있다.
상기 분리부는, 상기 검출된 눈을 오츠 알고리즘과 눈 모양 마스크에 의하여 상기 흰자위와 상기 동공을 분할하며, 상기 흰자위를 조명 임계값에 기초하여 분할함에 따라 기 설정된 밝기 이상의 흰자위 영역을 추출하고, 상기 동공의 원형 윤곽에 따라 상기 동공과 흰자위의 경계를 검출함으로써 기 설정된 밝기 이하의 동공 영역을 추출할 수 있다.
상기 보정부는, 상기 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 상기 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 상기 기준값과 비교함으로써 상기 기준값에 기초하여 상기 이미지의 색을 변환할 수 있다.
상기 추출부는, 상기 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 기 저장된 피부색 측정값과 비교함으로써 상기 보정된 이미지로부터 상기 얼굴의 피부 영역이 탐지되고, 상기 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링되어 상기 피부색을 추출할 수 있다.
상기 추출부는, 상기 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 상기 보정된 이미지로부터 추출된 얼굴의 피부색을 표시할 수 있다.
상기 색 보정 시스템은, 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 저장부를 더 포함하고, 상기 저장부는, 상기 이미지 보정을 위한 흰자위 및 동공에 대한 이미지 보정 측정값 및 상기 얼굴에 대한 피부색을 측정한 피부색 측정값을 저장할 수 있다.
상기 저장부는, 상기 서로 다른 조명 환경에서 촬영된 이미지를 피부색을 포함하는 표준 색상을 기준으로 변환할 수 있다.
상기 저장부는, 상기 변환된 이미지로부터 검출된 얼굴에서 이마, 코끝, 턱, 목, 뺨, 광대뼈, 턱을 포함하는 적어도 하나 이상의 부위에 대한 피부색을 측정함에 따른 피부색 측정값을 평균화함으로써 도출된 평균값을 저장할 수 있다.
상기 획득부는, 실시간으로 상기 얼굴 및 눈을 탐지함에 따라 상기 눈이 오픈(open)되어 있는지 여부를 판단하고, 상기 눈이 오픈되어 있음을 판단한 경우 상기 이미지 촬영 모드를 활성화시킬 수 있다.
일 실시예에 따른 색 보정 시스템은 안구의 광학적 특성을 활용함으로써 단순한 사진 촬영의 과정으로부터 정확한 피부색을 추출하는 것이 가능하다.
일 실시예에 따른 색 보정 시스템은 흰자위와 동공의 색상을 기준값에 기초하여 보정함으로써 기기 및 조명환경에 관계없이 정확한 피부색을 추출할 수 있으며, 별도의 측정기기 및 도구를 필요로 하지 않으므로 실용적이다.
일 실시예에 따르면, 색 보정 시스템은 인종을 막론하고 같은 색을 가지는 흰자위와 동공을 활용하였기 때문에 한국인뿐만 아니라 다른 인종 및 다른 국가에도 범용적으로 적용이 가능하다.
또한, 색 보정 시스템은 사용자에게 편의성을 제공하고 다인종에 범용적으로 적용이 가능하기 때문에 확장성이라는 우수성을 가지며 통신기술 및 휴대 기기의 발전과 더불어 다양한 어플리케이션 기반의 기술로서 작용할 것으로 기대된다.
도 1은 일 실시예에 따른 색 보정 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 색 보정 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 색 보정 시스템에서 프로세서가 포함할 수 있는 구성 요소의 예를 도시한 블록도이다.
도 4는 일 실시예에 따른 색 보정 시스템에서 데이터를 수집하는 예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 색 보정 시스템에서 눈의 흰자위 및 동공을 이용하여 이미지를 보정하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 일 실시예에 따른 색 보정 시스템에서 색을 보정하는 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 색 보정 시스템의 동작을 설명하기 위한 도면이다.
색 보정 시스템(100)은 PC(personal computer), 노트북 컴퓨터(laptop computer), 랩탑 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿(tablet) 또는 웨어러블 컴퓨터(wearable computer), TV 등에서 프로그램 또는 어플리케이션으로 동작함으로써 실행될 수 있다. 도 1에서는 색 보정 시스템(100)이 구동되고 있다고 가정하여 설명하기로 한다.
단말은 대상(subject)(110), 예를 들면, 사용자를 촬영하는 기능을 포함하고 있을 수 있다. 단말은 사용자를 촬영할 수 있다. 단말은 사용자의 얼굴 및 눈을 탐지함에 따라 눈이 오픈(open)되어 있는지 여부를 판단할 수 있다. 단말은 눈이 오픈되어 있음을 판단한 경우 이미지 촬영 모드를 활성화시킬 수 있다(111). 도한, 단말은 눈이 감겨있음을 판단한 경우, 이미지 촬영 모드를 비활성화시킬 수 있다(112).
단말은 이미지를 촬영함에 따라 이미지를 획득할 수 있고, 이에 따라 이미지로부터 얼굴의 피부색을 추출하기 위한 이미지 보정 처리(120) 과정을 수행할 수 있다. 단말은 눈을 검출함에 따라 눈으로부터 흰자위 및 동공을 분리할 수 있고, 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 기 저장된 기준값에 기초하여 비교함으로써 이미지의 색을 보정할 수 있다. 이미지 보정 처리 과정에 대한 설명은 아래의 실시예들을 통하여 상세히 설명하기로 한다.
이를 통하여 단말은 보정된 이미지(130)로부터 추출된 얼굴의 피부 영역 및 보정된 이미지로부터 추출된 얼굴의 피부색을 추출(140)하여 표시할 수 있다.
도 2는 일 실시예에 따른 색 보정 시스템의 구성을 설명하기 위한 블록도이다.
색 보정 시스템(100)은 프로세서(210), 통신부(220) 및 표시부(230)를 포함할 수 있다. 또한, 색 보정 시스템(100)은 서로 다른 조명 환경에 따른 얼굴의 피부색을 추출하기 위한 데이터를 저장하는 저장부(230)를 더 포함할 수 있다.
프로세서(210)는 색 보정 시스템(100)의 구성 요소들을 관리할 수 있고, 색 보정 시스템(100)이 사용하는 프로그램 또는 어플리케이션을 작동되어 실행될 수 있다. 또한, 프로세서(210)는 프로그램 또는 어플리케이션의 실행 및 데이터의 처리 등에 필요한 연산을 처리할 수 있다.
통신부(220)는 별도의 서버 및 다른 단말에 대해 데이터 및/또는 정보를 전송/수신하는 플레이어의 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.
저장부(230)는 색 보정 시스템(100)의 데이터 또는 정보를 저장하기 위한 장치로서, 메모리 또는 스토리지 장치를 포함할 수 있다. 저장부(230)에는 프로세서(210)가 실행하는 프로그램 또는 어플리케이션 및 이와 관련된 정보가 저장될 수 있다.
표시부(240)는 이미지를 촬영함에 따른 이미지를 출력하고, 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 보정된 이미지로부터 추출된 얼굴의 피부색을 표시할 수 있다.
도 3은 일 실시예에 따른 색 보정 시스템에서 프로세서가 포함할 수 있는 구성 요소의 예를 도시한 블록도이다.
색 보정 시스템에 포함된 프로세서(210)는 획득부(310), 검출부(320), 분리부(330), 보정부(340) 및 추출부(350)를 포함할 수 있다. 이때, 프로세서(210) 및 프로세서(210)의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(210)의 구성요소들은 색 보정 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서(210)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.
획득부(310)는 이미지가 촬영됨에 따라 이미지를 획득할 수 있다. 획득부(310)는 실시간으로 얼굴 및 눈을 탐지함에 따라 눈이 오픈(open)되어 있는지 여부를 판단하고, 눈이 오픈되어 있음을 판단한 경우, 이미지 촬영 모드를 활성화시킬 수 있다.
검출부(320)는 획득된 이미지로부터 얼굴 및 눈을 검출할 수 있다.
분리부(330)는 검출된 눈으로부터 흰자위 및 동공을 분리할 수 있다. 분리부(330)는 검출된 눈을 오츠 알고리즘과 눈 모양 마스크에 의하여 흰자위와 동공을 분할하며, 흰자위를 조명 임계값에 기초하여 분할함에 따라 기 설정된 밝기 이상의 흰자위 영역을 추출하고, 동공의 원형 윤곽에 따라 동공과 흰자위의 경계를 검출함으로써 기 설정된 밝기 이하의 동공 영역을 추출할 수 있다.
보정부(340)는 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 이미지를 보정할 수 있다. 보정부(340)는 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 기준값과 비교함으로써 기준값에 기초하여 이미지의 색을 변환할 수 있다.
추출부(350)는 보정된 이미지로부터 얼굴의 피부색을 추출할 수 있다. 추출부(350)는 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 기 저장된 피부색 측정값과 비교함으로써 보정된 이미지로부터 얼굴의 피부 영역이 탐지되고, 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링되어 피부색을 추출할 수 있다. 추출부(350)는 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 보정된 이미지로부터 추출된 얼굴의 피부색을 표시할 수 있다.
도 4는 일 실시예에 따른 색 보정 시스템에서 데이터를 수집하는 예를 설명하기 위한 도면이다.
색 보정 시스템은 서로 다른 조명 환경에 따른 얼굴의 피부색을 추출하기 위한 데이터를 데이터베이스에 저장할 수 있다. 더욱 상세하게는, 색 보정 시스템은 다양한 조명 환경 하에서 복수의 각기 다른 사용자들의 얼굴을 촬영할 수 있다. 이때, 이미지를 촬영하는 기기에 따라 색깔, 조도, 온도 등이 다양하게 표현되어 이미지가 획득될 수 있으며, 촬영되는 환경에 따라 다양한 조명 환경이 연출될 수도 있다. 예를 들면, 기 설정된 인원 이상(예를 들면, 300명 이상) 및 기 설정된 범위(예를 들면, 17~56세)의 연령대에 속한 사용자들의 얼굴을 촬영함으로써 피부색을 추출하기 위한 데이터를 수집할 수 있다.
색 보정 시스템은 서로 다른 환경에서 촬영된 이미지를 피부색을 포함하는 표준 색상을 기준으로 변환할 수 있다. 예를 들면, 색 보정 시스템은 다양한 조명 환경 하에서 표준 색상표를 들고 촬영한 이미지를 표준 색상표를 기준으로 변환할 수 있다.
색 보정 시스템은 컴퓨터 그래픽 또는 얼굴 검출기(예를 들면, Viola-Jones 얼굴 검출기)를 사용하여 이미지로부터 얼굴과 눈 영역을 탐지할 수 있다. 예를 들면, 색 보정 시스템은 눈 영역에서 오츠 알고리즘과 눈모양 마스크에 기초하여 흰자위와 동공을 분리할 수 있다. 흰자위는 빛을 반사하므로 조명 환경의 특성이 반영된 색으로 촬영되고, 동공은 빛을 흡수하기 때문에 실제로 검정색이지만, 촬영 기기의 보정 과정에 영향을 받는다. 이에 따라 색 보정 시스템은 이미지로부터 눈의 흰자위 및 동공을 분리할 수 있다. 상기 동공 및 흰자위를 분리하는 기술은 상기 알고리즘에 제한되는 것은 아니며, 동공 및 흰자위를 분리하기 위한 다양한 기술이 적용될 수 있다.
색 보정 시스템은 흰자위를 조명 임계값에 기초하여 밝은 영역과 어두운 영역으로 분류함으로써 흰자위 영역을 추출할 수 있다. 색 보정 시스템은 흰자위에서 기 설정된 밝기 이상의 흰자위 영역을 색 보정을 위해 추출할 수 있다. 색 보정 시스템은 추출된 기 설정된 밝기 이상의 흰자위 영역을 혈관이나 점 등의 영향을 받지 않은 흰 영역으로 간주하게 된다.
또한, 색 보정 시스템은 동공을 허프 변환에 기초하여 동공의 원형 윤곽에 따라 동공과 흰자위의 경계를 검출할 수 있다. 색 보정 시스템은 동공과 흰자위의 경계를 검출함에 따라 추출된 동공에서 기 설정된 밝기 이하의 동공 영역을 추출할 수 있다.
이와 같이, 색 보정 시스템은 추출된 기 설정된 밝기 이상의 흰자위 영역 및 기 설정된 밝기 이하의 동공 영역을 데이터베이스에 저장할 수 있다. 예를 들면, 색 보정 시스템은 기 설정된 밝기 이상의 흰자위 영역 및 기 설정된 밝기 이하의 동공 영역에 대한 이미지 보정 측정값을 데이터베이스에 저장할 수 있다. 이때, 이미지 샘플이 추가되거나 삭제될 때마다, 측정된 이미지 보정 측정값이 주기적으로 업데이트될 수 있다.
색 보정 시스템은 표준 색상을 기준으로 변환된 이미지에 포함된 얼굴에서 특정 부위에 대한 피부색 정보를 저장할 수 있다. 색 보정 시스템은 이미지(410)로부터 얼굴의 이마, 코끝, 턱, 목, 뺨, 광대뼈, 턱을 포함하는 적어도 하나 이상의 부위(411~417)에 대한 피부색을 측정할 수 있다. 이때, 색 보정 시스템은 L*a*b 값을 기반으로 측정된 피부색 정보를 기준으로 최종 피부색 범위를 도출할 수 있다.
색 보정 시스템은 적어도 하나 이상의 부위에 대한 피부색을 측정함에 따른 피부색 측정값을 평균화할 수 있다. 색 보정 시스템은 피부색 측정값을 평균화함에 따라 도출된 평균값을 데이터베이스에 저장할 수 있다. 마찬가지로, 이미지 샘플이 추가되거나 삭제될 때마다, 측정된 피부색 측정값이 주기적으로 업데이트될 수 있다.
색 보정 시스템은 데이터베이스에 이미지 보정을 위한 흰자위 및 동공에 대한 이미지 보정 측정값 및 얼굴에 대한 피부색을 측정한 피부색 측정값을 저장할 수 있다. 이를 통하여, 색 보정 시스템은 이미지를 보정하기 위한 흰자위 및 동공에 대한 기준값 및 얼굴의 피부색을 추출하기 위한 기준값을 도출할 수 있다.
일 실시예에 따르면, 색 보정 시스템은 인종을 막론하고 같은 색을 가지는 흰자위와 동공을 활용하였기 때문에 한국인뿐만 아니라 다른 인종 및 국가에도 범용적으로 적용이 가능하다.
일 실시예에 따르면, 색 보정 시스템은 데이터베이스 구축하여 데이터를 표준화함으로써 표준화된 데이터에 기초하여 해당 국가의 피부색을 측정한 후, 목표값 및 실제 피부 범위를 도출할 수 있고, 이에 따른 피부색을 추출할 수 있다.
도 5는 일 실시예에 따른 색 보정 시스템에서 눈의 흰자위 및 동공을 이용하여 이미지를 보정하는 방법을 설명하기 위한 도면이다.
색 보정 시스템은 이미지를 획득할 수 있다(510). 색 보정 시스템은 획득된 이미지로부터 얼굴 및 눈을 탐지할 수 있고, 눈을 검출할 수 있다(520). 색 보정 시스템은 눈을 검출함에 따라 눈으로부터 흰자위 및 동공을 분리할 수 있다(530, 540). 이때, 예를 들면, 색 보정 시스템은 검출된 눈을 오츠 알고리즘과 눈 모양 마스크에 기초하여 흰자위와 동공을 분리할 수 있다.
단계(530~533)에서 색 보정 시스템은 예를 들면, 오츠 알고리즘에 기초하여 피부 픽셀로부터 흰자위를 분할하기 위한 조명 임계값을 찾음으로써 밝은 그룹과 어두운 그룹의 픽셀을 분류할 수 있다. 흰자위를 분할한 후, 눈꺼풀에 의한 음영과 흰자위에 의한 어두운 반점인 혈관의 영향을 제거하기 위하여 기 설정된 밝기 이상의 흰자위 영역이 색 보정을 위하여 추출될 수 있다. 예를 들면, 색 보정 시스템은 흰자위에서 가장 밝은 10% 영역을 추출할 수 있다. 흰자위에서 추출된 가장 밝은 10% 영역에 대한 값이 도출될 수 있다.
또한, 단계(540~534)에서 색 보정 시스템은 동공을 예를 들면, 허프 변환에 의하여 검출할 수 있다. 허프 변환은 원형 윤곽에 따라 동공과 흰자위의 경계를 찾을 수 있다. 색 보정 시스템은 추출된 동공으로부터 기 설정된 밝기 이하의 동공 영역을 추출할 수 있다. 이때, 동공의 기 설정된 밝기 이하의 영역은 각막의 투명한 특성으로 인한 빛의 반사의 영향을 제거하기 위하여 추출될 수 있다. 예를 들면, 색 보정 시스템은 동공에서 가장 어두운 10% 영역을 추출할 수 있다. 동공에서 추출된 가장 어두운 10% 영역에 대한 값이 도출될 수 있다.
색 보정 시스템은 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 기준값과 비교함으로써 기준값에 기초하여 이미지의 색을 변환할 수 있다(550).
도 6 및 도 7은 일 실시예에 따른 색 보정 시스템에서 색을 보정하는 방법을 설명하기 위한 흐름도이다.
단계(610)에서 색 보정 시스템은 실시간으로 사용자의 얼굴 및 눈을 감지할 수 있다. 예를 들면, 색 보정 시스템은 카메라를 통하여 사용자의 얼굴 및 눈을 감지할 수 있다.
단계(620)에서 색 보정 시스템은 사용자의 눈을 감지함에 따라 눈이 오픈되어 있는지 여부를 판단할 수 있다. 예를 들면, 색 보정 시스템은 눈 영역이 기 설정된 크기 범위에 포함될 경우, 눈이 오픈되어 있다고 판단할 수 있다. 이때, 사용자의 눈이 감겨있다고 판단할 경우, 다시 얼굴 및 눈을 감지할 수 있다
단계(630)에서 색 보정 시스템은 사용자의 눈이 오픈되어 있을 경우, 이미지를 촬영할 수 있다. 색 보정 시스템은 카메라를 이용하여 촬영을 할 때, 사용자의 눈이 오픈되어 있는 상태의 얼굴을 촬영할 수 있다.
단계(640)에서 색 보정 시스템은 이미지에 포함된 눈으로부터 동공 및 흰자위를 분리할 수 있다.
단계(650)에서 색 보정 시스템은 동공과 흰자위에 기반하여 이미지를 보정할 수 있다. 색 보정 시스템은 동공과 흰자위를 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 이미지를 보정할 수 있다. 이때, 데이터베이스(670)는 서로 다른 조명 환경에 따른 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장할 수 있다. 예를 들면, 데이터베이스는 이미지 보정을 위한 흰자위 및 동공에 대한 이미지 보정 측정값(671) 및 얼굴에 대한 피부색을 측정한 피부색 측정값(672)을 저장하고 있을 수 있다. 상기 데이터베이스(670)에 대한 설명은 도 4에서 상세히 설명한 바, 도 4를 참고하기로 한다.
도 7을 참고하면, 단계(710)에서 색 보정 시스템은 흰자위에서 기 설정된 밝기 이상의 흰자위 영역을 추출하고, 동공에서 기 설정된 밝기 이하의 동공 영역을 추출할 수 있다. 단계(720)에서 색 보정 시스템은 추출된 흰자위 영역 및 동공 영역에 대한 측정값을 데이터베이스에 저장된 이미지 보정 측정값과 비교할 수 있다. 단계(730)에서 색 보정 시스템은 이미지 보정 측정값에 기초하여 이미지의 색을 변환할 수 있다.
단계(660)에서 색 보정 시스템은 보정된 이미지로부터 피부 영역을 추출할 수 있다. 더욱 상세하게는, 색 보정 시스템은 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 데이터베이스에 저장된 피부색 측정값과 비교함으로써 보정된 이미지로부터 얼굴의 피부 영역을 추출할 수 있고, 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링됨으로써 피부색을 추출할 수 있다. 색 보정 시스템은 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 피부색을 제공할 수 있다.
일 실시예에 따른 색 보정 시스템은 피부색 추정의 정밀도를 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 색을 보정하는 방법에 있어서,
    이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계;
    상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 단계;
    상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계;
    상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 단계; 및
    상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계
    를 포함하고,
    서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계
    를 더 포함하고,
    상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는,
    상기 서로 다른 조명 환경에서 촬영된 이미지를 피부색을 포함하는 표준 색상을 기준으로 변환하는 단계
    를 포함하고,
    상기 이미지를 보정하는 단계는,
    상기 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 상기 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 상기 기준값과 비교함으로써 상기 기준값에 기초하여 상기 이미지의 색을 변환하는 단계
    를 포함하고,
    상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계는,
    상기 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 기 저장된 피부색 측정값과 비교함으로써 상기 보정된 이미지로부터 상기 얼굴의 피부 영역이 탐지되고, 상기 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링되어 상기 피부색을 추출하고, 상기 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 상기 보정된 이미지로부터 추출된 얼굴의 피부색을 표시하는 단계
    를 포함하는 색 보정 방법.
  2. 제1항에 있어서,
    상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계는,
    상기 검출된 눈을 오츠 알고리즘과 눈 모양 마스크에 의하여 상기 흰자위와 상기 동공을 분할하며, 상기 흰자위를 조명 임계값에 기초하여 분할함에 따라 기 설정된 밝기 이상의 흰자위 영역을 추출하고, 상기 동공의 원형 윤곽에 따라 상기 동공과 흰자위의 경계를 검출함으로써 기 설정된 밝기 이하의 동공 영역을 추출하는 단계
    를 포함하는 색 보정 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는,
    상기 이미지 보정을 위한 흰자위 및 동공에 대한 이미지 보정 측정값 및 상기 얼굴에 대한 피부색을 측정한 피부색 측정값을 저장하는 단계
    를 포함하는 색 보정 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는,
    상기 변환된 이미지로부터 검출된 얼굴에서 이마, 코끝, 턱, 목, 뺨, 광대뼈, 턱을 포함하는 적어도 하나 이상의 부위에 대한 피부색을 측정함에 따른 피부색 측정값을 평균화함으로써 도출된 평균값을 저장하는 단계
    를 포함하는 색 보정 방법.
  9. 제1항에 있어서,
    상기 이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계는,
    실시간으로 상기 얼굴 및 눈을 탐지함에 따라 상기 눈이 오픈(open)되어 있는지 여부를 판단하고, 상기 눈이 오픈되어 있음을 판단한 경우 상기 이미지 촬영 모드를 활성화시키는 단계
    를 포함하는 색 보정 방법.
  10. 컴퓨터로 구현되는 색 보정 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 색 보정 방법은,
    이미지가 촬영됨에 따라 상기 이미지를 획득하는 단계;
    상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 단계;
    상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 단계;
    상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 단계; 및
    상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계
    를 포함하고,
    서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계
    를 더 포함하고,
    상기 서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 단계는,
    상기 서로 다른 조명 환경에서 촬영된 이미지를 피부색을 포함하는 표준 색상을 기준으로 변환하는 단계
    를 포함하고,
    상기 이미지를 보정하는 단계는,
    상기 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 상기 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 상기 기준값과 비교함으로써 상기 기준값에 기초하여 상기 이미지의 색을 변환하는 단계
    를 포함하고,
    상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 단계는,
    상기 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 기 저장된 피부색 측정값과 비교함으로써 상기 보정된 이미지로부터 상기 얼굴의 피부 영역이 탐지되고, 상기 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링되어 상기 피부색을 추출하고, 상기 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 상기 보정된 이미지로부터 추출된 얼굴의 피부색을 표시하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  11. 색을 보정하는 시스템에 있어서,
    이미지가 촬영됨에 따라 상기 이미지를 획득하는 획득부;
    상기 획득된 이미지로부터 얼굴 및 눈(eye)을 검출하는 검출부;
    상기 검출된 눈으로부터 흰자위(sclera) 및 동공(pupil)을 분리하는 분리부;
    서로 다른 조명 환경에 따른 상기 얼굴의 피부색을 추출하기 위한 기준값을 데이터베이스에 저장하는 저장부;
    상기 흰자위 및 동공을 분리함에 따라 추출된 흰자위 영역 및 동공 영역을 데이터베이스에 저장된 기준값에 기초하여 비교함으로써 상기 이미지를 보정하는 보정부; 및
    상기 보정된 이미지로부터 상기 얼굴의 피부색을 추출하는 추출부
    를 포함하고,
    상기 저장부는,
    상기 서로 다른 조명 환경에서 촬영된 이미지를 피부색을 포함하는 표준 색상을 기준으로 변환하는 것
    을 포함하고,
    상기 보정부는,
    상기 흰자위에서 추출된 기 설정된 밝기 이상의 흰자위 영역 및 상기 동공에서 추출된 기 설정된 밝기 이하의 동공 영역을 상기 기준값과 비교함으로써 상기 기준값에 기초하여 상기 이미지의 색을 변환하는 것
    을 포함하고,
    상기 추출부는,
    상기 보정된 이미지에서 얼굴 중심 영역을 기준으로 피부 영역을 추출한 후, 추출된 피부 영역을 기 저장된 피부색 측정값과 비교함으로써 상기 보정된 이미지로부터 상기 얼굴의 피부 영역이 탐지되고, 상기 얼굴의 피부 영역이 L*a*b 값의 측정 범위에 기초하여 필터링되어 상기 피부색을 추출하고, 상기 보정된 이미지로부터 추출된 얼굴의 피부 영역 및 상기 보정된 이미지로부터 추출된 얼굴의 피부색을 표시하는
    색 보정 시스템.
  12. 제11항에 있어서,
    상기 분리부는,
    상기 검출된 눈을 오츠 알고리즘과 눈 모양 마스크에 의하여 상기 흰자위와 상기 동공을 분할하며, 상기 흰자위를 조명 임계값에 기초하여 분할함에 따라 기 설정된 밝기 이상의 흰자위 영역을 추출하고, 상기 동공의 원형 윤곽에 따라 상기 동공과 흰자위의 경계를 검출함으로써 기 설정된 밝기 이하의 동공 영역을 추출하는
    것을 특징으로 하는 색 보정 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제11항에 있어서,
    상기 저장부는,
    상기 이미지 보정을 위한 흰자위 및 동공에 대한 이미지 보정 측정값 및 상기 얼굴에 대한 피부색을 측정한 피부색 측정값을 저장하는
    것을 특징으로 하는 색 보정 시스템.
  17. 삭제
  18. 제11항에 있어서,
    상기 저장부는,
    상기 변환된 이미지로부터 검출된 얼굴에서 이마, 코끝, 턱, 목, 뺨, 광대뼈, 턱을 포함하는 적어도 하나 이상의 부위에 대한 피부색을 측정함에 따른 피부색 측정값을 평균화함으로써 도출된 평균값을 저장하는
    것을 특징으로 하는 색 보정 시스템.
  19. 제11항에 있어서,
    상기 획득부는,
    실시간으로 상기 얼굴 및 눈을 탐지함에 따라 상기 눈이 오픈(open)되어 있는지 여부를 판단하고, 상기 눈이 오픈되어 있음을 판단한 경우 상기 이미지 촬영 모드를 활성화시키는
    것을 특징으로 하는 색 보정 시스템.
KR1020160117234A 2016-09-12 2016-09-12 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템 KR101854991B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020160117234A KR101854991B1 (ko) 2016-09-12 2016-09-12 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템
AU2017350177A AU2017350177A1 (en) 2016-09-12 2017-02-03 System and method for correcting color of digital image based on the human sclera and pupil
JP2019543160A JP2019533269A (ja) 2016-09-12 2017-02-03 人間の強膜および瞳孔に基づいてデジタル画像の色を補正するシステムおよび方法
EP17864450.6A EP3510559A4 (en) 2016-09-12 2017-02-03 SYSTEM AND METHOD FOR CORRECTING THE COLOR OF A DIGITAL IMAGE BASED ON THE HUMAN SCLERA AND PUPIL
PCT/US2017/016384 WO2018080575A1 (en) 2016-09-12 2017-02-03 System and method for correcting color of digital image based on the human sclera and pupil
CN201780069702.7A CN110036407B (zh) 2016-09-12 2017-02-03 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法
US16/346,821 US10984281B2 (en) 2016-09-12 2017-02-03 System and method for correcting color of digital image based on the human sclera and pupil
CA3041991A CA3041991C (en) 2016-09-12 2017-02-03 System and method for correcting color of digital image based on the human sclera and pupil

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160117234A KR101854991B1 (ko) 2016-09-12 2016-09-12 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180030284A KR20180030284A (ko) 2018-03-22
KR101854991B1 true KR101854991B1 (ko) 2018-05-08

Family

ID=61901251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160117234A KR101854991B1 (ko) 2016-09-12 2016-09-12 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템

Country Status (8)

Country Link
US (1) US10984281B2 (ko)
EP (1) EP3510559A4 (ko)
JP (1) JP2019533269A (ko)
KR (1) KR101854991B1 (ko)
CN (1) CN110036407B (ko)
AU (1) AU2017350177A1 (ko)
CA (1) CA3041991C (ko)
WO (1) WO2018080575A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632535A (zh) * 2018-07-26 2018-10-09 维沃移动通信有限公司 一种图像处理方法及移动终端
KR102075389B1 (ko) * 2018-09-13 2020-02-10 인천대학교 산학협력단 애니메이션 내 등장 인물에 대한 채색을 수행하는 전자 장치 및 그의 동작 방법
CN109978848B (zh) * 2019-03-19 2022-11-04 电子科技大学 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
US20220101405A1 (en) * 2020-09-30 2022-03-31 Revieve Oy System and method for determining a skin tone
CN112911148B (zh) * 2021-01-28 2022-10-14 维沃移动通信有限公司 图像处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257087A (ja) * 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法
KR100794114B1 (ko) * 2007-04-09 2008-01-10 (주)케이티에프테크놀로지스 휴대용 단말기 및 이에 있어서 눈동자 코드를 이용하여사진 촬영하는 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128600A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 画像処理方法及び被写体撮影システム
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
JP2008160279A (ja) * 2006-12-21 2008-07-10 Sanyo Electric Co Ltd 撮像装置および撮像方法
US8768014B2 (en) * 2009-01-14 2014-07-01 Indiana University Research And Technology Corp. System and method for identifying a person with reference to a sclera image
JP5529660B2 (ja) * 2010-07-20 2014-06-25 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
CN101930543B (zh) * 2010-08-27 2012-06-27 南京大学 一种自拍视频中眼睛图像的调正方法
IL215883A0 (en) * 2011-10-24 2012-03-01 Iriss Medical Technologies Ltd System and method for indentifying eye conditions
JP2013207721A (ja) 2012-03-29 2013-10-07 Fujifilm Corp 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム
KR102013275B1 (ko) * 2013-02-27 2019-08-23 동국대학교 산학협력단 동공 검출 장치 및 동공 검출 방법
CN103491312B (zh) * 2013-09-29 2016-06-15 武汉虹识技术有限公司 一种用于虹膜识别的自动曝光控制方法及装置
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
JP6327071B2 (ja) * 2014-09-03 2018-05-23 オムロン株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257087A (ja) * 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法
KR100794114B1 (ko) * 2007-04-09 2008-01-10 (주)케이티에프테크놀로지스 휴대용 단말기 및 이에 있어서 눈동자 코드를 이용하여사진 촬영하는 방법

Also Published As

Publication number Publication date
EP3510559A1 (en) 2019-07-17
KR20180030284A (ko) 2018-03-22
US10984281B2 (en) 2021-04-20
US20200065609A1 (en) 2020-02-27
EP3510559A4 (en) 2019-10-30
CA3041991A1 (en) 2018-05-03
CN110036407A (zh) 2019-07-19
CN110036407B (zh) 2023-07-11
WO2018080575A1 (en) 2018-05-03
CA3041991C (en) 2022-07-12
JP2019533269A (ja) 2019-11-14
AU2017350177A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
KR101854991B1 (ko) 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템
JP6544244B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
TWI694809B (zh) 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置
US9858680B2 (en) Image processing device and imaging apparatus
KR102469720B1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
KR100922653B1 (ko) 눈동자색 보정 장치 및 기록 매체
CN107077596A (zh) 用于产生针对所选择识别文档的符合的面部图像的系统
CN107346419B (zh) 虹膜识别方法、电子装置和计算机可读存储介质
CN104063709B (zh) 视线检测装置及方法、图像捕获装置及其控制方法
KR102207650B1 (ko) 열상 카메라 시스템의 온도 교정 방법
CN109661668A (zh) 用于虹膜识别的图像处理方法和系统
KR102205605B1 (ko) 열상 이미지의 온도 표시 방법
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN107403133A (zh) 确定设备和确定方法
CN113298753A (zh) 敏感肌的检测方法、图像处理方法、装置及设备
CN107273847B (zh) 虹膜采集方法及设备、电子装置和计算机可读存储介质
KR102581989B1 (ko) 열상 카메라 시스템에서 온도 교정기를 자동으로 인식하는 방법
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023048153A1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
CN116782826A (zh) 骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型
CN118097764A (zh) 应用于裂隙灯的左右眼识别系统、方法、电子设备及存储介质
CN114761999A (zh) 图像处理方法、图像处理装置以及图像处理程序
Quinn et al. IREX III:.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right