KR102411237B1 - 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램 - Google Patents

얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램 Download PDF

Info

Publication number
KR102411237B1
KR102411237B1 KR1020197001921A KR20197001921A KR102411237B1 KR 102411237 B1 KR102411237 B1 KR 102411237B1 KR 1020197001921 A KR1020197001921 A KR 1020197001921A KR 20197001921 A KR20197001921 A KR 20197001921A KR 102411237 B1 KR102411237 B1 KR 102411237B1
Authority
KR
South Korea
Prior art keywords
component
face image
removal rate
blemish
wrinkle
Prior art date
Application number
KR1020197001921A
Other languages
English (en)
Other versions
KR20190021360A (ko
Inventor
카오루 아라카와
후미히코 츠키야마
Original Assignee
각코호진 메이지다이가쿠
가부시키가이샤 코세
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 각코호진 메이지다이가쿠, 가부시키가이샤 코세 filed Critical 각코호진 메이지다이가쿠
Publication of KR20190021360A publication Critical patent/KR20190021360A/ko
Application granted granted Critical
Publication of KR102411237B1 publication Critical patent/KR102411237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Abstract

얼굴 화상 처리 시스템은, 얼굴 화상을 나타내는 얼굴 화상 정보를 입력하고, 상기 얼굴 화상 정보로부터 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 추출하는 성분 추출 수단과, 이 성분 추출 수단에 의해 추출된 주름 성분, 기미 성분 및 모공 성분에 대해 각각의 제거율을 조정하는 제거율 조정 수단과, 상기 제거율을 기억하는 기억 수단과, 상기 제거율 조정 수단에 의해서 조정된 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 합성하여 얼굴 화상을 생성하는 합성 수단과, 상기 합성 수단에 의해 합성된 얼굴 화상 정보를 출력하는 출력 수단을 구비한다.

Description

얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램
본 발명은, 얼굴 화상 정보를 입력하고 화상 처리를 행하여 출력하는 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램에 관한 것이다.
사람의 얼굴 화상을 나타내는 얼굴 화상 정보를 입력하고, 이 얼굴 화상 정보에 대하여 화상 처리를 행하여 실제의 얼굴 화상과는 다르게 보이도록 처리한 얼굴 화상을 출력하는 얼굴 화상 합성 장치가 알려져 있다(예를 들면, 특허문헌 1 참조). 이 얼굴 화상 합성 장치는, 예를 들면 다음과 같이 화상 처리를 실시하고 있다.
얼굴 화상 합성 장치는, 복수인의 얼굴 화상으로부터 기미 또는 주름을 검출하고, 연령 또는 연령층에 대응하는 연령 형상 특징을 생성하며, 복수인의 기미 또는 주름으로부터 연령 또는 연령층에 대응하는 기미 모델 또는 주름 모델을 작성한다. 한편, 대상자의 얼굴 화상으로부터 기미 또는 주름을 가지지 않는 얼굴 형상이 추출되고, 이 얼굴 형상이 연령 형상 특징에 기초하여 변형된다.
또한, 기미 모델 또는 주름 모델 중 지정된 연령 또는 연령층에 대응하는 기미 모델 또는 주름 모델이 변형된 얼굴 형상에 합치하도록 변형되고, 이 변형된 기미 모델 또는 주름 모델이 대상자의 얼굴 화상에 적용된다. 이와 같은 처리에 의해, 대상자의 얼굴 형상을 지정된 연령 또는 연령층에 대응하는 얼굴 형상에 연령 조작할 수 있고, 대상자의 얼굴 화상을 원하는 연령 또는 연령층에 대응하는 자연스러운 얼굴 화상에 연령 조작할 수 있다.
일본 특허공보 특허 제4682373호
그러나, 상술한 종래 기술의 얼굴 화상 합성 장치에서는, 복수인의 얼굴 화상에 기초하여 제작된 연령 형상 특징이나 기미 모델 또는 주름 모델을, 대상자의 얼굴 화상으로부터 추출된 기미 또는 주름이 없는 얼굴 형상에 적용함으로써 얼굴 화상을 합성하고 있다. 이 때문에, 순수하게 대상자가 추구하고 있는 이상으로 하는 자연스러운 얼굴 화상을 제공하고 있다고는 말하기 어려웠다.
본 발명은 상기 사정에 비추어 이루어진 것이므로, 대상자에게 있어서 이상으로 하는, 보다 자연스러운 얼굴 화상을 자유자재로 생성할 수 있는 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램을 제공하는 것을 목적으로 한다.
본 발명에 따른 얼굴 화상 처리 시스템은, 얼굴 화상을 나타내는 얼굴 화상 정보를 입력하고, 상기 얼굴 화상 정보로부터 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 추출하는 성분 추출 수단과, 이 성분 추출 수단에 의해 추출된 주름 성분, 기미 성분 및 모공 성분에 대하여 각각의 제거율을 조정하는 제거율 조정 수단과, 상기 제거율을 기억하는 기억 수단과, 상기 제거율 조정 수단에 의해 조정된 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 합성하여 얼굴 화상을 생성하는 합성 수단과, 상기 합성 수단에 의해 합성된 얼굴 화상 정보를 출력하는 출력 수단을 구비한 것을 특징으로 한다.
본 발명의 한 실시형태에서는, 입력된 화상 정보에 포함되는 입력 얼굴 화상의 눈의 영역, 코의 영역 및 입의 영역 중 적어도 하나를 제외한 얼굴 영역을 나타내는 상기 얼굴 화상을 추출하는 얼굴 영역 추출 수단을 마련한다.
본 발명의 다른 실시형태에서는, 상기 성분 추출 수단은, 상기 입력된 상기 얼굴 화상을 나타내는 얼굴 화상 정보를, 진폭-주파수 공간에서 제1 성분, 제2 성분, 제3 성분, 제4 성분 및 제5 성분으로 분할하고, 상기 제4 성분을 추출하는 필터 수단과, 상기 필터 수단에 의해 추출된 상기 제4 성분에 기초하여, 상기 얼굴 화상 내의 주름 성분, 기미 성분 및 모공 성분을 인식하고, 이들 각 성분의 상기 얼굴 화상 내에서의 출현 위치 및 형상을 판별하는 성분 인식 수단을 구비한다.
본 발명의 또 다른 실시형태에서는, 상기 제거율 조정 수단은, 상기 주름 성분, 기미 성분 및 모공 성분에 대하여 가중치를 부여하여 상기 각 성분의 상기 얼굴 화상 내에서의 제거율을 조정한다.
본 발명의 또 다른 실시형태에서는, 상기 합성 수단은, 상기 기억 수단에 기억된 제거율에 기초한 상기 주름 성분, 기미 성분 및 모공 성분에 대응하는 상기 제4 성분과, 상기 필터 수단에 의해 분할된 상기 제1 성분, 제2 성분, 제3 성분 및 제5 성분을 합성한다. 혹은, 합성 수단은, 상기 기억 수단에 기억된 제거율에 기초한 상기 주름 성분, 기미 성분 및 모공 성분과 입력된 상기 얼굴 화상 정보(입력 얼굴 화상 정보(x(n)))를 합성할 수 있다.
본 발명의 또 다른 실시형태에서는, 상기 합성 수단의 후단에, 상기 얼굴 화상 정보의 휘도 및 색 정보 중 적어도 하나가 소정의 범위인 피부색 영역을 추출하는 피부색 추출 수단과, 상기 피부색 추출 수단에 의해 추출된 피부색 영역 내의 피부색의 색조를 변화시키는 색조 조정 수단을 가지는 얼굴색 처리 수단을 구비한다.
본 발명의 또 다른 실시형태에서는, 상기 출력 수단으로부터 출력되는 얼굴 화상 정보는 복수개 생성되며, 상기 출력 수단은 복수개 생성된 얼굴 화상 정보에 기초한 복수개의 후보 얼굴 화상을 표시 수단의 표시 화면 상에 표시하고, 상기 표시된 복수개의 후보 얼굴 화상 중에서, 사용자에 의해 지정된 원하는 후보 얼굴 화상의 선택 지시 및 최종적인 후보 얼굴 화상의 결정 지시 중 어느 하나를 접수하는 입력 수단과, 상기 입력 수단에 의해 상기 후보 얼굴 화상의 선택 지시가 접수된 경우에, 선택된 후보 얼굴 화상을 나타내는 얼굴 화상 정보에 기초하여 상기 성분 추출 수단, 상기 제거율 조정 수단 및 상기 얼굴색 처리 수단에서의 각 처리의 파라미터를, 유전(遺傳)적 알고리즘에 기초한 교차 처리 및 돌연변이 처리를 실시하여 인터랙티브 진화 계산에 의해 설정되는 연산 수단을 구비하고, 상기 성분 추출 수단, 상기 제거율 조정 수단 및 상기 얼굴색 처리 수단은, 상기 연산 수단에 의해 설정된 파라미터에 기초한 얼굴 화상 정보의 생성을, 상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수될 때까지 반복하여 실시한다.
본 발명의 또 다른 실시형태에서는, 상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수된 경우에, 상기 기억 수단은, 결정된 후보 얼굴 화상을 나타내는 얼굴 화상 정보를 생성하는 상기 파라미터를 기준 파라미터로서 기억한다.
본 발명에 따른 얼굴 화상 처리 방법은, 성분 추출 수단, 제거율 조정 수단, 기억 수단, 합성 수단 및 출력 수단을 구비한 얼굴 화상 처리 시스템에서의 얼굴 화상 처리 방법으로서, 상기 성분 추출 수단에 의해, 입력된 얼굴 화상을 나타내는 얼굴 화상 정보로부터 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 추출하는 공정과, 상기 제거율 조정 수단에 의해, 추출된 주름 성분, 기미 성분 및 모공 성분에 대하여 각각의 제거율을 조정하는 공정과, 상기 기억 수단에 의해 상기 제거율을 기억하는 공정과, 상기 합성 수단에 의해, 상기 제거율을 조정하는 공정에서 조정된 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 합성하여 얼굴 화상을 생성하는 공정과, 상기 출력 수단에 의해, 합성된 얼굴 화상 정보를 출력하는 공정을 구비한 것을 특징으로 한다.
본 발명에 따른 얼굴 화상 처리 프로그램은, 성분 추출 수단, 제거율 조정 수단, 기억 수단, 합성 수단 및 출력 수단을 구비한 컴퓨터를 가지는 얼굴 화상 처리 시스템에서 얼굴 화상 처리를 실행시키기 위한 얼굴 화상 처리 프로그램으로서, 상기 컴퓨터에, 입력된 얼굴 화상을 나타내는 얼굴 화상 정보로부터 상기 성분 추출 수단에 의해 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 추출시키는 단계와, 추출된 주름 성분, 기미 성분 및 모공 성분에 대하여 각각의 제거율을 상기 제거율 조정 수단에 의해 조정시키는 단계와, 상기 기억 수단에 상기 제거율을 기억시키는 단계와, 상기 제거율을 조정시키는 단계에서 조정된 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 상기 합성 수단에 의해 합성하여 얼굴 화상을 생성시키는 단계와, 합성된 얼굴 화상 정보를 상기 출력 수단에 의해 출력시키는 단계를 실행시키는 것을 특징으로 한다.
본 발명에 의하면, 대상자에게 있어서 이상으로 하는 것보다 자연스러운 얼굴 화상을 자유자재로 생성할 수 있다.
도 1은 본 발명의 제1 실시형태에 따른 얼굴 화상 처리 시스템의 전체 구성을 나타내는 블록도이다.
도 2는 도 1의 얼굴 화상 처리 시스템의 연산 수단의 구성을 나타내는 블록도이다.
도 3은 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부의 내부 구성을 나타내는 블록도이다.
도 4는 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 비선형(非線形) 함수의 예를 나타내는 도면이다.
도 5는 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 ε-필터 및 선형 저영역 통과 필터의 진폭-주파수 공간의 분할예를 나타내는 도면이다.
도 6은 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 ε-필터 뱅크의 구성을 나타내는 도면이다.
도 7은 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 ε-필터 뱅크에 의한 진폭-주파수 공간에서의 얼굴 화상 정보의 각 성분의 분할예를 나타내는 도면이다.
도 8은 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에 입력되는 얼굴 화상 정보에 의해 나타내지는 얼굴 화상 처리 전의 얼굴 화상의 예를 나타내는 도면이다.
도 9는 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 성분 인식부에서의 주름 성분, 기미 성분 및 모공 성분의 인식 판별 방법을 설명하기 위한 도면이다.
도 10은 도 1의 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 성분 인식부에서 판별된 각 성분을 추출 표시한 얼굴 화상을 나타내는 도면이다.
도 11은 도 1의 얼굴 화상 처리 시스템에서의 표시 화면 상에 표시된 후보 얼굴 화상의 표시 양태를 나타내는 도면이다.
도 12는 본 발명의 제2 실시형태에 따른 얼굴 화상 처리 방법에 의한 화상 처리 순서를 나타내는 플로우 차트이다.
도 13은 도 12의 얼굴 화상 처리 방법에 의한 화상 처리 순서의 일부의 처리 내용을 나타내는 플로우 차트이다.
도 14는 본 발명의 제3 실시형태에 따른 얼굴 화상 처리 시스템의 전체 구성을 나타내는 블록도이다.
도 15는 도 14의 얼굴 화상 처리 시스템의 얼굴색 처리부의 내부 구성을 나타내는 블록도이다.
도 16은 도 14의 얼굴 화상 처리 시스템에 의한 화상 처리 순서를 나타내는 플로우 차트이다.
이하, 첨부의 도면을 참조하여, 본 발명의 실시형태에 따른 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램을 상세하게 설명한다. 단, 이하의 실시형태는 각 청구항에 따른 발명을 한정하는 것이 아니라, 또한 실시형태 중에서 설명되어 있는 특징의 조합의 모두가 발명의 해결 수단에 필수라고는 할 수 없고, 많은 변형이 본 발명의 기술적 사상의 범위 내에 당 분야에서 통상의 지식을 가짐으로써 가능하다.
도 1은 본 발명의 제1 실시형태에 따른 얼굴 화상 처리 시스템의 전체 구성을 나타내는 블록도이다. 또한, 도 2는 이 얼굴 화상 처리 시스템의 연산 수단의 구성을 나타내는 블록도이다. 더욱이, 도 3은 이 얼굴 화상 처리 시스템의 얼굴 화상 처리부의 내부 구성을 나타내는 블록도이고, 도 4는 이 얼굴 화상 처리부에서의 비선형 함수의 예를 나타내는 도면이다.
도 1에 나타내는 바와 같이, 제1 실시형태에 따른 얼굴 화상 처리 시스템은 컴퓨터나 워크스테이션 등의 하드웨어인 연산 수단(2) 상에서 실현되는 것이다. 또한, 얼굴 화상 처리 시스템은, 입력 수단(1)과, 출력 수단(3)과, 기억 수단(4)을 구비한다. 입력 수단(1)은, 수치나 문자 혹은 각종의 지시 등의 조작 입력에 이용될 수 있는 복수개의 조작 키를 가지는 키보드, 마우스, 터치 패널 및 리모트 컨트롤러 등의 입력 디바이스, 그리고 디지털 카메라나 스캐너 등의 화상 정보를 취득하여 입력하는 화상 입력 디바이스 등으로부터 이루어진다.
출력 수단(3)은, 각종 정보와 함께 얼굴 화상 정보에 기초한 얼굴 화상을 표시 화면 상에 표시하는 디스플레이 등의 화상 출력 디바이스나, 얼굴 화상 정보에 기초한 얼굴 화상을 매체 상에 인쇄 출력하는 화상 인쇄 디바이스 등으로부터 이루어진다. 기억 수단(4)은, 각종의 정보나 파라미터 등을 저장하는 RAM이나 ROM과 함께 SSD, 자기디스크 드라이브, 광디스크 드라이브, 메모리 카드 등의 기억 디바이스 및 기억 매체로부터 이루어진다.
한편, 연산 수단(2)은 도 2에 나타내는 바와 같이, 예를 들면 입력된 입력 얼굴 화상 정보(x(n))에 포함되는 대상자(사용자)의 얼굴 화상(이하, "대상 얼굴 화상"이라고 부른다.)을 나타내는 입력 얼굴 화상으로부터, 그 눈의 영역, 코(또는 콧구멍)의 영역 및 입의 영역 중 적어도 하나(이하, "제외 영역"이라고 부른다.)를 제외한 얼굴 영역을 나타내는 얼굴 화상(이하, "얼굴 영역 화상"이라고 부른다.)을 추출하는 얼굴 영역 추출부(5)로서 기능할 수 있다. 또한, 연산 수단(2)은 입력 얼굴 화상과 함께 이 얼굴 영역 화상이나 제외 영역을 나타내는 제외 영역 화상(화상 데이터)을 입력하고, 이들에 기초하여 각종 화상 처리를 실시하는 얼굴 화상 처리부(10)로서도 기능할 수 있다.
우선, 얼굴 영역 추출부(5)는, 입력 얼굴 화상 정보(x(n))의 입력 얼굴 화상으로부터, 이 얼굴 화상에 포함되는 대상자의 대상 얼굴 화상을 인식한다. 입력 얼굴 화상 정보(x(n))는, 예를 들면 BMP, JPEG, GIF, PNG, RAW 등의 화상 포맷으로부터 이루어진다. 대상 얼굴 화상의 인식에는, 예를 들면 라플라시안 필터 등의 윤곽 검출 필터를 이용할 수 있다.
그 후, 얼굴 영역 추출부(5)는, 공지의 얼굴 부분 특징점 추출법 등에 의해, 인식한 대상 얼굴 화상을 나타내는 입력 얼굴 화상의 제외 영역을 인식하고, 이 제외 영역을 제외한 얼굴 영역 화상을 추출한다. 한편, 본 실시형태에서는 눈의 영역, 코의 영역 및 입의 영역을 모두 제외 영역으로 하도록 하고 있다. 이와 같은 제외 영역은, 주름, 기미 및 모공 등의 성분으로서 추출될 수 있지만, 미리 입력 얼굴 화상으로부터 제외해두면 얼굴 화상 처리 부하가 경감되기 때문이다. 그 외에, 제외 영역은 상기의 것 이외에도, 임의로 설정하는 것이 가능하다. 그리고, 얼굴 영역 추출부(5)는, 예를 들면 얼굴 영역 화상과 함께 제외 영역 화상을 얼굴 화상 처리부(10)에 출력한다.
한편, 얼굴 영역 추출부(5)는 얼굴 화상 처리 시스템에 필수적인 구성이 아니기 때문에 생략하는 것도 가능하다. 단, 얼굴 영역 추출부(5)를 생략했을 경우는, 후단의 얼굴 화상 처리부(10)에서의 얼굴 화상에 관한 처리의 태스크가 증가하고 부하가 늘어나는 경우가 있다. 또한, 얼굴 영역 추출부(5)에서 제외 영역을 제외했을 경우이어도, 도 2 및 도 3에 나타내는 바와 같이, 얼굴 화상 처리부(10)에서 얼굴 영역 화상과 함께 제외 영역 화상이 처리되도록 해도 된다.
얼굴 화상 처리부(10)는, 도 3에 나타내는 바와 같이, 입력된 입력 얼굴 화상과 함께, 얼굴 영역 추출부(5)로부터의 얼굴 영역 화상(및 제외 영역 화상)에 기초하여, 대상 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 추출하는 성분 추출부(16)를 구비한다. 또한, 이 성분 추출부(16)에서 추출된 주름 성분, 기미 성분 및 모공 성분에 대한 각각의 제거율을 조정하는 제거율 조정부(13a, 13b, 13c)를 가지는 성분 조정부(13)를 구비한다.
또한, 얼굴 화상 처리부(10)는 성분 조정부(13)에서의 각 제거율 조정부(13a~13c)에서 조정된 제거율에 의해 각각 증폭 혹은 쇠퇴한 주름 성분, 기미 성분 및 모공 성분을, 입력 얼굴 화상, 혹은 그 구조 성분이나 소정 성분, 얼굴 영역 화상, 제외 영역 화상 등과 함께 합성하고 출력하는 얼굴 화상(이하, "출력 얼굴 화상"이라고 부른다.)을 생성하는 합성부(14)를 구비한다. 한편, 성분 조정부(13)에서의 각 제거율 조정부(13a~13c)의 제거율은, 입력 수단(1)을 통해 대상자에 의해 선택 또는 지정되며 기억 수단(4)에 기억된다. 이 제거율은, 예를 들면 양의 값에서 증폭 방향의, 또한 음의 값에서 쇠퇴 방향의 각 성분의 표현(부가나 제거)의 비율을 나타내고 있다. 또한, 합성부(14)에 의해 합성된 출력 얼굴 화상을 나타내는 출력 얼굴 화상 정보(y(n))는, 출력 수단(3)에 의해 출력된다.
얼굴 화상 처리부(10)의 성분 추출부(16)는, 입력된 입력 얼굴 화상 정보(x(n))를 진폭-주파수 공간에서 소정의 성분으로 분할하고 추출하는 필터 수단인 ε-필터 뱅크 A(11a) 및 ε-필터 뱅크 B(11b)(이하, 특별히 명기하지 않는 한 이들을 정리하여 "ε-필터 뱅크(11)"로 칭한다.)와 이 ε-필터 뱅크(11)에 의해 추출된 소정의 성분에 기초하여, 대상 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 판별하여 인식하는 성분 인식부 A(12a) 및 성분 인식부 B(12b)(이하, 특별히 명기하지 않는 한 이들을 정리하여 "성분 인식부(12)라고 칭한다.)를 구비한다.
ε-필터 뱅크(11)는 필터 수단으로서 기능하고, 구체적으로는 입력 얼굴 화상 정보(x(n))를 진폭-주파수 공간에서, 예를 들면 얼굴 화상의 구조 성분을 나타내는 제1 성분(yl(n)) 및 제2 성분(y2(n)), 얼굴 화상의 피부의 소정 성분을 나타내는 제3 성분(y3(n)), 제4 성분(y4(n)), 그리고 제5 성분(y5(n))으로 분할한다.
그리고, 본 실시형태에서는 ε-필터 뱅크(11)는 제4 성분을 추출하고 성분 인식부(12)에 출력함과 함께, 제1 성분, 제2 성분, 제3 성분 및 제5 성분을 합성부(14)에 출력한다. 성분 인식부(12)는, 추출되어 입력된 제4 성분에 기초하여, 대상 얼굴 화상 내의 주름 성분, 기미 성분 및 모공 성분을 인식하고, 이들 각 성분의 대상 얼굴 화상 내에서의 출현 위치 및 형상을 판별한다.
구체적으로는, ε-필터 뱅크 A(11a)는 입력 얼굴 화상 정보(x(n))로부터 제4 성분을 추출하고 성분 인식부 A(12a)에 출력한다. 성분 인식부 A(12a)는, 제4 성분과 함께 얼굴 영역 화상을 입력하고 주름 성분을 상기한 바와 같이 인식하여 판별하고, 이 주름 성분을 출력한다. 또한, ε-필터 뱅크 B(11b)는, 가감 산기(6)에 입력된 입력 얼굴 화상 정보(x(n))에서 성분 인식부 A(12a)로부터의 주름 성분을 감한 것에서부터 다시 제4 성분을 추출하여 성분 인식부 B(12b)에 출력한다. 성분 인식부 B(12b)는, 제4 성분과 함께 얼굴 영역 화상을 입력하여 기미 성분과 모공 성분을 상기한 바와 같이 인식하여 판별하고, 이들 기미 성분 및 모공 성분을 출력한다.
그리고, 후단의 성분 조정부(13)의 제거율 조정부(13a)는 성분 인식부 A(12a)로부터 출력된 주름 성분에 대해 가중치를 부여하여 주름 성분의 얼굴 화상 내에서의 제거율을 조정한다. 또한, 제거율 조정부(13b)는 성분 인식부 B(12b)로부터 출력된 기미 성분에 대해 가중치를 부여하여 기미 성분의 얼굴 화상 내에서의 제거율을 조정한다. 더욱이, 제거율 조정부(13c)는 성분 인식부 B(12b)로부터 출력된 모공 성분에 대해 가중치를 부여하여 모공 성분의 얼굴 화상 내에서의 제거율을 조정한다. 한편, 가중치는 제거율 조정 방식의 일례이기 때문에 이에 한정되는 것이 아니다. 또한, 성분 조정부(13)에서 조정된 각각의 제거율은, 기억 수단(4)에 기억된다.
그리고, 합성부(14)는 ε-필터 뱅크(11)로부터 출력된 얼굴 화상의 구조 성분인 제1 및 제2 성분(y1(n), y2(n)), 제3 성분(y3(n)) 그리고 제5 성분(y5(n)) 및/또는 입력 얼굴 화상 정보(x(n))를 입력함과 함께, 기억 수단(4)에 기억된 제거율에 기초하여 성분 조정부(13)의 각 제거율 조정부(13a~13c)에서, 예를 들면 제거율에 의해 각각 증감하여 조정된 주름 성분, 기미 성분 및 모공 성분을 입력한다. 이와 같이, 합성부(14)는 입력한 제1, 제2, 제3, 제5 성분, 및/또는 입력 얼굴 화상 정보(x(n))와, 주름 성분, 기미 성분 및 모공 성분을 가산(합성)할 수 있음과 함께, 예를 들면 얼굴 영역 추출부(5)에서 추출된 얼굴 영역 화상이나 제외된 제외 영역 화상을 가산(합성)하여 출력 얼굴 화상을 생성하고, 이 얼굴 화상을 나타내는 출력 얼굴 화상 정보(y(n))를 출력한다.
한편, ε-필터 뱅크(11)는 보다 구체적으로는 ε-분리형 비선형 필터 뱅크에 의해 구성된다. 그리고, 필터 수단은, ε-필터 뱅크(11)의 외에도 여러가지의 비선형 필터를 이용한 필터 뱅크에 의해 구성할 수 있다. 여기서, 우선은 ε-필터 뱅크(11)에서 이용되는 ε-필터의 원리에 대해 설명한다.
본 실시형태에 따른 얼굴 화상 처리 시스템의 얼굴 화상 처리부(10)에서, 우선 예를 들면 각각 제n 시점에서의 입력된 입력 얼굴 화상 정보를 입력 신호(x(n))로 하고, 출력되는 출력 얼굴 화상 정보를 출력 신호(y(n))로 한다. 그리고 ε-필터는, 다음 식 (1)로부터 이루어지는 비재귀형 저영역 통과 필터에 비선형 함수 F를 도입함으로써 실현되고, 다음 식 (2)와 같이 나타내진다.
Figure 112019006955672-pct00001
Figure 112019006955672-pct00002
한편, 상기의 식 (1), (2)에서, ai는 총계가 1이 되는 비재귀형 저영역 통과 필터 계수이고, F는 도 4에 나타내는 바와 같은 비선형 함수로서, 그 절대값은 소정의 값(ε) 이하로 제한되어 있다. 이 때, 입력 신호(x(n))와 출력 신호(y(n))의 차이는, 다음 식 (3)과 같이 소정의 값(ε') 이하로 제한된다.
Figure 112019006955672-pct00003
또한, 이 때 특히 모든 ai를 양으로 하면, ε'=ε 이다. 진폭이 충분히 작은 가법성 고주파 잡음이 입력 신호에 포함되어 있는 경우는, ε을 잡음의 진폭 피크·피크 값 정도로 설정하면, 그 잡음은 상기의 식 (1)에 의해 나타내지는 저영역 통과 필터로 평활된다. 또한, 출력 신호는 입력 신호(±ε) 이내가 되므로, 큰 진폭 변화를 유지하면서 잡음의 제거를 실시하는 것이 가능하다.
도 5는, 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 ε-필터 및 선형 저영역 통과 필터의 진폭-주파수 공간의 분할예를 나타내는 도면이다. 이와 같은 ε-필터에서는, 도시한 바와 같이, 출력 신호(y(n))로서는 입력에서의 저주파수 성분 또는 대진폭 성분이 얻어지며, 그에 대해 진폭(ε) 이하의 소진폭 고주파수 성분은, x(n)-y(n)로서 얻어진다.
따라서, x(n)-y(n)를 u(n)로 나타내면, 이 ε-필터는, 입력 신호(x(n))에 대하여, 그 진폭-주파수 공간을 도 5의 (a)에 나타내는 바와 같이 나눈다. 한편, 통상의 선형 저영역 통과 필터는, 그 진폭-주파수 공간을 도 5의 (b)에 나타내는 바와 같이 나누는 것에 상당하다.
도 6은, 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 ε-필터 뱅크의 구성을 나타내는 도면이다. 상기한 바와 같은 ε-필터를 필터 뱅크상(狀)에 조합하면, 그 입력 신호(x(n))를 그 진폭-주파수에 따라 복수개의 영역으로 분할할 수 있다. 여기서, 도 6에 나타내는 바와 같이, ε-필터 뱅크(11(lla, 1lb))는, 선형 저영역 통과 필터와 ε-필터를 조합한 구조로부터 이루어진다.
이 ε-필터 뱅크(11)에서, 도 6에 나타내는 L은 선형 저영역 통과 필터이고, E1, E2, E3은 ε-필터이다. 이들 각 필터는 이차원 필터, 또는 수평·수직 방향 일차원 필터의 조합으로 하고, n은 이차원 평면에서의 화소의 위치(i, j)를 나타내는 것으로 한다.
한편, 각 출력 신호(y1(n), y2(n), y3(n), y4(n), y5(n))의 총계는 입력 신호(x(n))와 동일하게, 선형 저영역 통과 필터(L)와 ε-필터(E2)의 창문 사이즈는 동일하게 wO으로 하고, 더욱이 ε-필터(E1, E3)의 창문 사이즈도 동일하게 w1로 할 수 있다. 또한, 각 ε-필터(E1, E2, E3)의 값(ε)(이를 순서대로 ε1, ε2, ε3로 한다.)은, ε1>ε2>ε3의 관계에 있다고 할 수 있다.
도 7은, 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 ε-필터 뱅크에 의한 진폭-주파수 공간에서의 얼굴 화상 정보의 각 성분의 분할예를 나타내는 도면이다. 또한, 도 8은, 얼굴 화상 처리 시스템의 얼굴 화상 처리부에 입력되는 얼굴 화상 정보에 의해 나타내지는 얼굴 화상 처리 전의 얼굴 화상의 예를 나타내는 도면이다.
한편, 도 8 이후의 얼굴 화상에서는, 화상 내의 양 눈 부분을 덮은 표시로 되어 있지만, 실제로는 양 눈 부분이 표시되어 있어도 되고, 더욱이 도시의 예에서는 상술한 제외 영역의 부분도 모두 포함한 상태에서 표시가 이루어지고 있는 것으로 한다. 상기한 바와 같이 구성된 ε-필터 뱅크(11)는, 입력 신호(x(n))의 진폭-주파수 공간을, 예를 들면 도 7에 나타내는 바와 같은 각 영역으로 분할한다.
또한, 도 8에 나타내는 바와 같은 입력 얼굴 화상(30)을 나타내는 얼굴 화상 정보에서는, 예를 들면 눈, 코, 입, 눈썹 등의 얼굴의 주요 부분(즉, 눈의 영역, 코의 영역 및 입의 영역 등)은, 일반적으로 대진폭 신호로서 나타내지는 것이 알려져 있다. 또한, 얼굴의 베이스(구조) 부분(예를 들면, 볼 등)은 저주파수 신호로서 나타내진다.
더욱이, 얼굴의 피부의 주름(특히, 잔주름) 부분이나 기미 부분 등의 피부의 미관을 손상시키는 요인이 될 수 있는 부분은, 비교적 소진폭으로 주파수가 높은 신호로서 나타내진다. 더욱이 또한, 얼굴 피부의 자연스러운 요철인 모공 성분은 보다 진폭이 작은 고주파수 신호로서 나타내진다. 따라서, 본 실시형태에 따른 얼굴 화상 처리 시스템의 얼굴 화상 처리부(10)에서, ε-필터 뱅크(11)는, 입력 신호(x(n))를 예를 들면 도 7에 나타내는 바와 같은 진폭-주파수 공간에서 분할한다.
즉, ε-필터 뱅크(11)는 입력 신호(x(n))를, 얼굴 화상의 구조 성분을 나타내는 제1 성분(y1(n)) 및 제2 성분(y2(n))과, 얼굴 화상의 피부의 소정 성분을 나타내는 제3 성분(y3(n)), 제4 성분(y4(n)), 제5 성분(y5(n))으로 분할한다.
그리고, 얼굴 화상의 피부의 소정 성분을 나타내는 제4 성분(y4(n))을 추출한다. 한편, 추출한 제4 성분(y4(n))에 기초하여, 예를 들면 ε-필터 뱅크 A(11a)를 통과한 단계에서 원래의 입력 얼굴 화상(30)으로부터 피부의 주름 성분을 추출하고 표시할 수 있는 주름 성분 추출 표시 얼굴 화상을 구성(생성)할 수 있다. 또한, ε-필터 뱅크 B(11b)를 통과한 단계에서 원래의 입력 얼굴 화상(30)으로부터 피부의 기미 성분 및 모공 성분을 각각 추출하고 표시할 수 있는 기미 성분 추출 표시 얼굴 화상 및 모공 성분 추출 표시 얼굴 화상을 각각 나타내는 얼굴 화상 정보를 구축(생성)할 수 있다.
구체적으로는, 도 6에 나타낸 ε-필터 뱅크(11)에서, 선형 저영역 통과 필터(L) 및 ε-필터(El, E2, E3)의 창문 사이즈(wO, w1)와, ε-필터(El, E2, E3)의 값(ε1, ε2, ε3)을, 각각 적절한 값으로 설정한다. 그렇게 하면, 도 7에 나타내는 바와 같이, 제1 및 제2 성분(y1(n), y2(n))을 얼굴의 주요 부분 및 베이스(구조) 부분으로 하고, 제3 성분(y3(n)), 제4 성분(y4(n)), 제5 성분(y5(n))을 피부의 소정 성분으로 할 수 있다.
여기서, 창문 사이즈(wO)는 제3 성분(y3(n))과 제1 성분(y1(n))의 주파수 대역을 나누는 것으로 하고, 창문 사이즈(w1)는 제3 성분(y3(n))과 제5 성분(y5(n))의 주파수 대역을 나누는 것으로 한다. 또한, ε-필터(E1)의 ε의 값(ε1)은, 제4 성분(y4(n))의 진폭(피크-피크)의 최댓값 정도로 하고, ε-필터(E2)의 ε의 값(ε2)은, 제3 성분(y3(n))의 진폭(피크-피크)의 최댓값 정도로 하며, ε-필터(E3)의 ε의 값(ε3)은 제5 성분(y5(n))의 진폭(피크-피크)의 최댓값 정도로 한다.
이와 같이 구성된 ε-필터 뱅크 A(11a)에서는, 상술한 바와 같이 입력 신호(x(n))로부터의 얼굴 화상의 주요 부분 및 베이스(구조) 부분을 나타내는 제1 및 제2 성분(y1(n), y2(n))은, 분할된 뒤에 합성부(14)에 입력된다. 또한, ε-필터 뱅크 A(11a)에서는, 입력 신호(x(n))로부터 얼굴 화상의 피부의 소정 성분을 나타내는 제3, 제4 및 제5 성분(y3(n), y4(n), y5(n))이 분할되며, 제4 성분(y4(n))이 추출되어 성분 추출부(16)의 성분 인식부 A(12a)에 입력됨과 함께, 제3 및 제5 성분(y3(n), y5(n))은 합성부(14)에 입력된다.
또한, ε-필터 뱅크 B(11b)에서는 상술한 바와 같이 가감산기(6)에서 입력 얼굴 화상으로부터 주름 성분을 감한 입력 신호(x(n))로부터의 얼굴 화상의 제1~제5 성분(y1(n)~y5(n))은 분할된 뒤에, 제1, 제2, 제3, 제5 성분(y1(n), y2(n), y3(n), y5(n))이 합성부(14)에 입력됨과 함께, 제4 성분(y4(n))이 추출되어 성분 추출부(16)의 성분 인식부 B(12b)에 입력된다.
성분 인식부 A(12a)는, 우선 입력된 제4 성분(y4(n))에 기초하고, 얼굴 화상 내의 주름 성분을 인식한다. 그 후, 성분 인식부 B(12b)는, 입력된 제4 성분(y4(n))에 기초하여, 얼굴 화상 내의 기미 성분 및 모공 성분을 인식한다.
즉, 이들 각 성분은, 성분 인식부(12)에서, 예를 들면 제4 성분(y4(n)) 및 얼굴 영역 화상이 구성하는 얼굴 화상의 전면 화소를 주사(走査)하고, 휘도 값이 마이너스가 되는 흑색 부분으로서 인식된다. 그리고, 각 성분으로서 인식된 부분은, 예를 들면 그 부분의 화소 수의 덩어리인 화소 집단(화소군)의 면적 및 화소의 분산 분포에 의해, 모공 성분, 기미 성분, 주름 성분으로 나누어지고, 이들 각 성분의 얼굴 화상 내에서의 출현 위치 및 형상이 판별된다.
도 9는, 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 성분 인식부에서의 주름 성분, 기미 성분 및 모공 성분의 인식 판별 방법을 설명하기 위한 도면이다. 도 9에 나타내는 바와 같이, 예를 들면 모공 성분과 기미 성분의 판별은, 화소군의 면적에 기초하여 실시된다. 즉, 흑색 부분으로서 인식된 각 성분 중, 모공 성분과 주름 성분을 비교했을 경우, 화소군의 면적이 도시한 바와 같이 비교적 작은 것은 모공 성분으로 판별하고, 화소군의 면적이 도시한 바와 같이 비교적 큰 것은 기미 성분으로 판별한다.
한편, 예를 들면 기미 성분과 주름 성분의 판별은, 화소군의 중심점으로부터의 분산 분포의 크기에 기초하여 실시된다. 즉, 흑색 부분으로서 인식된 각 성분 중, 기미 성분과 주름 성분을 비교했을 경우, 화소군의 중심점(P2)으로부터의 분산 분포가 작은 것은 기미 성분으로 판별하고, 화소군의 중심점(P1)으로부터의 분산 분포가 큰 것은 주름 성분으로 판별한다.
한편, 기미 성분으로 판별된 부분에 대해서는, 더욱이 소정의 임계값 등과 비교함으로써, 예를 들면 큰 기미 성분 및 작은 기미 성분으로 분할하도록 해도 된다. 각 성분의 얼굴 화상 내에서의 출현 위치 및 형상은, 판별시에 자동적으로 인식된다. 이렇게 하여 인식 판별된 각 성분을 추출 표시한 추출 표시 얼굴 화상은, 다음과 같이 된다.
도 10은, 얼굴 화상 처리 시스템의 얼굴 화상 처리부에서의 성분 인식부에서 판별된 각 성분을 추출 표시한 얼굴 화상을 나타내는 도면이다. 성분 인식부(12)에서 각 성분을 각각 추출 표시한 얼굴 화상을, 예를 들면 출력 수단(3)의 하나인 디스플레이의 표시 화면 상에 표시하면, 각 얼굴 화상은 다음과 같이 표시된다.
즉, 주름 성분을 추출 표시한 "주름 화상"인 주름 성분 추출 표시 얼굴 화상(30a)은, 도 10의 (a)에 나타내는 바와 같이 된다. 또한, 모공 성분을 추출 표시한 "모공 화상"인 모공 성분 추출 표시 얼굴 화상(30b)은, 도 10의 (b)에 나타내는 바와 같이 된다. 더욱이, 기미 성분을 추출 표시한 "기미 화상"인 기미 성분 추출 표시 얼굴 화상(30c)은, 도 10의 (c)에 나타내는 바와 같이 된다.
한편, 도시는 생략하지만 상기 각 성분의 인식 판별의 즈음의 정밀도 향상 방법으로 하고, 본 실시형태의 얼굴 화상 처리 시스템에서는 다음과 같은 방법을 채용할 수 있다. 우선 ε-필터 뱅크 A(11a)와 ε-필터 뱅크 B(11b)에서 파라미터를 다르게 하여, ε-필터 뱅크 B(11b)에 의해 추출되는 제4 성분(y4(n)) 쪽이 낮은 주파수를 포함하도록 한다. 그리고, 성분 인식부 A(12a)와 성분 인식부 B(12b)에서 다음과 같은 처리를 실시한다.
즉, 우선 성분 인식부 A(12a)에서는, 얼굴 영역 화상에서의 처리 대상 영역에서, (1) 제4 성분(y4(n))이 소정의 임계값 TH1 이하인 화소를 흑으로 하고, 그 이외의 화소를 백으로 한다. 그 후, (2) 흑의 화소의 덩어리를 라벨링한다. 그리고, (3) 라벨(L)의 덩어리의 화소 수를 nL로 하고, 공간 분산을 vL로 한다. 마지막으로, vL/nL이 소정의 임계값 TH2보다 크면, 라벨(L)에 대응하는 제4 성분(y4(n))의 신호를 주름 성분으로서 인식하고, 출현 위치 및 형상을 판별하여 주름 성분을 추출한다. 이로써, 입력 얼굴 화상으로부터 주름 성분을 완전히 추출한 주름 성분 추출 표시 얼굴 화상을 생성할 수 있다.
그리고, 주름 성분을 추출한 얼굴 화상을 입력 얼굴 화상 정보(x(n))로부터 빼므로써 주름 성분 제거 표시 얼굴 화상을 생성할 수 있고, 예를 들면 이것을 ε-필터 뱅크 B(11b)에 입력하며 재해석을 실시한다. 그 후, 성분 인식부 B(12b)에서는, 얼굴 영역 화상에서의 처리 대상 영역에서, (1) 제4 성분(y4(n))이 소정의 임계값 TH3 이하인 화소를 흑으로 하고, 그 이외의 화소를 백으로 한다. 그 후, (2) 흑의 화소의 덩어리를 라벨링한다. 그리고, (3) 라벨(L)의 덩어리의 화소 수를 nL로 하고, 공간 분산을 vL로 한다.
더욱이, (4-1) nL이 소정의 임계값 TH4보다 크면서, vL/nL이 소정의 임계값 TH5보다 작으면, 라벨(L)에 대응하는 제4 성분(y4(n))의 신호를 기미 성분으로서 인식하고, 출현 위치 및 형상을 판별하며 기미 성분을 추출한다. 이로써, 입력 얼굴 화상으로부터 기미 성분을 완전히 추출한 기미 성분 추출 표시 얼굴 화상을 생성할 수 있다. 또한, 기미 성분을 추출한 얼굴 화상을 입력 얼굴 화상 정보(x(n))로부터 빼므로써 기미 성분 제거 표시 얼굴 화상을 생성할 수 있다.
한편, (4-2) nL이 1 이상이면서 소정의 임계값 TH6보다 작으면서, vL/nL이 소정의 임계값 TH7보다 작으면, 라벨(L)에 대응하는 제4 성분(y4(n))의 신호를 모공 성분으로서 인식하고, 출현 위치 및 형상을 판별하여 모공 성분을 추출한다. 이로써, 입력 얼굴 화상으로부터 모공 성분을 완전히 추출한 모공 성분 추출 표시 얼굴 화상을 생성할 수 있다. 또한, 모공 성분을 추출한 얼굴 화상을 입력 얼굴 화상 정보(x(n))로부터 빼므로써 모공 성분 제거 표시 얼굴 화상을 생성할 수 있다.
이와 같이, 주름 성분을 먼저 추출한 후에 기미 성분 및 모공 성분을 추출하도록 처리하면, 각 성분의 인식 판별의 정밀도를 보다 향상시킬 수 있고, 각 성분을 보다 정밀하게 추출 표시한 각 추출 표시 얼굴 화상(30a~30c) 등을 생성하는 것이 가능해진다. 단, 상술한 바와 같은 주름 성분, 기미 성분 및 모공 성분의 인식·추출 순서는 일례이기 때문에, 각 성분의 인식·추출 순서는 적절히 변경할 수 있다.
이렇게 하여, 성분 인식부(12)에서 얼굴 화상 내의 성분으로서 인식 판별된 주름 성분, 기미 성분 및 모공 성분은, 성분 조정부(13)에 출력되며, 각 제거율 조정부(13a~13c)에서 예를 들면 가중치가 부여되고, 얼굴 화상 내에서의 제거율이 각각 조정된다. 성분 조정부(13)에서는, 예를 들면 임의 혹은 랜덤으로 각 성분의 제거율이 조정되며, 그 제거율이 기억 수단(4)에 기억된다.
그리고, 제거율이 조정된 주름 성분, 기미 성분 및 모공 성분은 합성부(14)에 입력되며, 이 합성부(14)에서 각 성분의 제거율에 의해 각각 증감한 주름 성분, 기미 성분, 모공 성분이, 입력 얼굴 화상 정보(x(n)) 또는 제1, 제2, 제3 및 제5 성분과 함께 합성된다. 이로써, 최종적으로 주름 성분, 기미 성분 및 모공 성분의 각 성분이 임의 혹은 랜덤으로 제거율에 따라 표현(제거나 부가)된 복수개의 후보 얼굴 화상이 생성된다. 한편, 얼굴 화상 처리가 스타트하여 최초로 생성된 복수개의 후보 얼굴 화상은, 예를 들면 제1 세대의 후보 얼굴 화상으로서, 디스플레이의 표시 화면 상에 표시될 수 있다.
도 11은, 얼굴 화상 처리 시스템에서의 표시 화면 상에 표시된 후보 얼굴 화상의 표시 양태를 나타내는 도면이다. 도 11에 나타내는 바와 같이, 표시 화면 상의 윈도우 프레임(20) 내에는, 예를 들면 주름, 기미 및 모공의 각 성분이 랜덤으로 표현된 제1 세대의 복수개(여기서는, 10개)의 후보 얼굴 화상(31, 32, 33, 34, 35, 36, 37, 38, 39, 40)이 표시된다. 또한, 윈도우 프레임(20)의 오른쪽 단부(端部)에는, 패널 표시부(20a)가 표시된다. 이 패널 표시부(20a)에는, 예를 들면 OK 버튼(21, 22)과, 선택 메시지 표시란(23a, 23b)과, 후보 얼굴 화상 번호 표시란(25)과, 돌아가기 버튼(26, 27)이 표시된다. 후보 얼굴 화상 번호 표시란(25)에는, 후보 얼굴 화상(31~40)에 대응하는 번호(1~10)가 표시된다. 또한, 선택 메시지 표시란(23a)에는, "10장 중에서 3장을 골라주십시오"라는 텍스트 메시지가 표시된다. 더욱이, 선택 메시지 표시란(23b)에는, "최종 후보 결정?"이라는 텍스트 메시지가 표시된다.
한편, 사용자에 의해 입력 수단(1)의 하나인 키보드나 마우스 등을 이용하여 선택 프레임(24) 또는 후보 얼굴 화상 번호 표시란(25)에 의해 선택된 후보 얼굴 화상은, 예를 들면 선택 프레임(24)에 의해 둘러싸인 상태로 표시됨과 함께, 후보 얼굴 화상 번호 표시란(25)에서 해당하는 후보 얼굴 화상 번호가 둥근 테두리 상태로 표시된다. 즉, 후보 얼굴 화상의 선택은, 마우스 등에 의해 사용자가 선택 프레임(24)을 움직여 선택할지, 후보 얼굴 화상 번호 표시란(25) 내의 후보 얼굴 화상 번호를 선택할지에 의해 실시된다. 도 11에 나타내는 예에서는, 선택 프레임(24) 및 후보 얼굴 화상 번호 표시란(25)에 의해, 후보 얼굴 화상(33, 38, 39)의 3개가 사용자에게 선발된 상태인 것이 나타내지고 있다. 이 상태에서, OK 버튼(21)을 선택하여 누르면, 후보 얼굴 화상 3장이 선택된 것이 된다. 한편, 선택 프레임(24) 등에 의해 최종적인 후보 얼굴 화상을 예를 들면 하나 선택한 상태에서 OK 버튼(22)을 선택하여 누르면, 최종적인 후보 얼굴 화상이 선택하여 결정된 것이 된다. 한편, 돌아가기 버튼(26, 27)은, 전(前) 화면이나 전 처리로 돌아갈 때에 선택하여 눌러진다.
그리고, OK 버튼(21)을 선택하여 눌러 후보 얼굴 화상의 선택이 이루어지면, 사용자에 의해 선택된 후보 얼굴 화상(33, 38, 39)에 기초하여 차세대의 후보 얼굴 화상의 생성이 실시된다. 한편, 이 경우, 성분 추출부(16)에서의 성분 추출 처리, 성분 조정부(13)에서의 제거율 조정 처리 등의 각 처리에서 이용되는 상술한 제거율의 파라미터나, 창문 사이즈(w0, w1, ε)의 값(ε1, ε2, ε3) 등의 각종의 파라미터는, 예를 들면 공지의 유전적 알고리즘(Genetic Algorithm: GA)을 이용한 인터랙티브 진화 계산(IEC)에 의해 최적값이 설정될 수 있다.
한편, 이와 같은 최적값의 설정은, 유전적 알고리즘을 이용한 인터랙티브 진화 계산에 의한 것에 한정되는 것이 아니라, 그 외 다양한 계산 방식으로 설정되어도 된다. 여기서, 공지의 유전적 알고리즘을 이용한 인터랙티브 진화 계산에 기초한 교차 처리 및 돌연변이 처리에 대해 간단히 설명한다.
본 실시형태의 얼굴 화상 처리 시스템에서의 GA를 이용한 IEC에서는, 우선 전제로서, 예를 들면 상기 제거율의 파라미터나, 창문 사이즈(wO, w1, ε)의 값(ε1, ε2, ε3), 그 외의 각종 파라미터를 연결하여 이진수 표현한다. 그리고, 연결한 것을 하나의 염색으로 하고, 그 염색체가 하나의 개체를 나타내는 것으로 한다.
그 후, 이렇게 하여 나타낸 개체에 대해 GA를 적용한다. 우선, 교차 처리에 대해서는, 선택된 3개의 후보 얼굴 화상(33, 38, 39)에 대해서, 예를 들면 랜덤으로 2개의 화상을 교차하는 것을 복수회(여기서는, 2회) 실시하고, 결과적으로 복수개(여기서는, 4개)의 교차 후의 후보 얼굴 화상을 생성한다. 이로써, 각각의 화상의 기호성(취향)을 곱한 교차 후의 후보 얼굴 화상이 생성된다. 한편, 교차 후의 후보 얼굴 화상은, 본 실시형태에서는 제2 세대(차세대)가 된다.
그 후, 돌연변이 처리에 대해서는, 상기한 바와 같이 선택된 3개의 후보 얼굴 화상(33, 38, 39)과 함께 교차 처리에서 생성된 4개의 후보 얼굴 화상 중에서, 윈도우 프레임(20) 내에 표시되는 10개의 후보 얼굴 화상을 맞추기 위해, 예를 들면 랜덤으로 선택된 3개의 후보 얼굴 화상에서의 각각의 유전자 배열의 1점을 변화시키는 것을 실행하고, 3개의 돌연변이 후의 후보 얼굴 화상을 생성한다.
한편, 돌연변이 처리는, 다음과 같은 요구에 따르기 위해서도 필요하다. 즉, 돌연변이 처리가 없고 교차 처리만이 실시되고, 그 결과의 후보 얼굴 화상만이 윈도우 프레임(20) 내에 표시되는 경우는, 만일 제1 세대의 후보 얼굴 화상(31~40) 중에 사용자의 기호성(취향)에 합치한 얼굴 화상이 존재하지 않는다고 하면, 제2 세대에서 취향이 아닌 얼굴 화상의 조합에서의 유전자 교차가 되어버린다. 이와 같은 경우는, 사용자의 기호성에 가까운 얼굴 화상을 선택할 수 없게 된다고 하는 오류가 발생해버리는 것이 된다. 따라서, 이와 같은 오류를 방지하기 위해서도, 교차 처리와 함께 돌연변이 처리도 실시해야 할 것이다.
그리고, 이와 같이 교차 처리 및 돌연변이 처리를 거쳐 생성된 복수개의 후보 얼굴 화상은, 제2 세대(차세대)의 후보 얼굴 화상으로서, 제1 세대(전 세대) 중에서 선택된 3개의 후보 얼굴 화상(33, 38, 39)과 함께, 출력 수단(3)의 하나인 디스플레이의 표시 화면 상의 윈도우 프레임(20) 내에 표시된다.
이렇게 하여 제2 세대의 후보 얼굴 화상이 표시된 후, 예를 들면 선택 프레임(24)에 의해, 하나의 후보 얼굴 화상을 사용자가 선택하여 선택 메시지 표시란(23b)의 아래쪽의 OK 버튼(22)을 선택하여 누르면, 최종 후보를 결정할 수 있다. 또한, 제2 세대의 후보 얼굴 화상 중에서, 상술한 바와 같이 다시 3장의 후보 얼굴 화상을 선택하여 선택 메시지 표시란(23a)의 아래쪽의 OK 버튼(21)을 선택하여 누른 경우는, 더욱이 차세대의 후보 얼굴 화상이 생성되어 표시된다. 이와 같이, 표시 화면 상의 윈도우 프레임(20) 내에서 표시된 후보 얼굴 화상 중, 사용자가 기호성에 합치한 것을 하나 결정했을 경우는, 그 결정한 후보 얼굴 화상이 최종적으로 출력되는 출력 얼굴 화상이 된다.
한편, 이 경우, 사용자가 최종적으로 하나 결정한 후보 얼굴 화상은, 예를 들면 표시 화면 상의 다른 윈도우 프레임 내에 주름, 기미 및 모공의 각 성분의 제거율과 함께 표시되어도 된다. 이 때, 각 성분의 제거율과 함께, 최종적으로 결정된 후보 얼굴 화상을 나타내는 얼굴 화상 정보를 생성하는 각종의 파라미터는, 사용자의 기준 파라미터로서 기억 수단(4)에 기억될 수 있다. 한편, 사용자가 기호성에 합치한 것을 하나 결정하지 않은 경우는, 상술한 바와 같이 반복하여 제3 세대, 제4 세대와, 후보 얼굴 화상이 최종적으로 결정될 때까지 복수개의 후보 얼굴 화상의 생성이 반복될 수 있다.
이와 같이, 제1 실시형태에 따른 얼굴 화상 처리 시스템에 의하면, 얼굴 화상 처리에서 사용자의 얼굴 화상 바로 그것에 포함되는 주름 성분, 기미 성분 및 모공 성분의 제거율을 조정하고 얼굴 화상을 생성할 수 있다. 따라서, 사용자에게 있어서 이상으로 하는, 보다 자연스러운 얼굴 화상을 자유자재로 생성할 수 있다.
한편, 이와 같은 본 실시형태의 얼굴 화상 처리 시스템의 활용법으로서는, 예를 들면 다음과 같은 것을 들 수 있다. 즉, 일례로서, 본 얼굴 화상 처리 시스템을 화장품 판매점에 도입한다. 그리고, 내점한 사용자의 민낯 화상을 나타내는 얼굴 화상 정보를 얼굴 화상 처리 시스템에 입력한다.
그 후, 예를 들면 (1) 얼굴 화상 처리부(10)에 의해 사용자의 취향의 파운데이션의 도포 후의 얼굴 화상을 생성하고, 이들의 얼굴 화상을 비교하여 주름 성분, 기미 성분 및 모공 성분의 각 성분의 파운데이션에 의한 은폐 효과를 평가한다. 혹은, (2) 다른 파운데이션의 도포 후의 얼굴 화상을 생성하고, 이들 파운데이션의 차이에 의한 각 성분의 은폐 효과나 은폐 성능을 평가한다.
또한, (3) 파운데이션의 도포 후의 얼굴 화상에서의 경시(經時) 변화에 따른 각 성분의 은폐 효과나 은폐 성능의 변화를 확인하고, 시간 경과에 따른 화장의 지속성을 평가한다. 또는, 이들의 평가 결과, 및 그에 따른 얼굴 화상 정보나 기준 파라미터 등에 기초하고, (4) 새로운 메이크업 제품(파운데이션, BB(Blemish Balm), 컨실러 등의 메이크업 제품)의 개발을 실시한다.
그리고, 파운데이션 등의 외에, (5) 각종의 스킨케어 제품의 주름, 기미, 모공 등 각 성분의 개선 효과 등을 평가한다. 이와 같이, 본 얼굴 화상 처리 시스템은, 예를 들면 상기 (1)~(5) 등에 유효하게 활용할 수도 있다. 그 후, 본 얼굴 화상 처리 시스템에서 실시되는 얼굴 화상 처리 방법에 의한 화상 처리 순서에 대해 설명한다.
도 12는, 본 발명의 제2 실시형태에 따른 얼굴 화상 처리 방법에 의한 화상 처리 순서를 나타내는 플로우 차트이다. 또한, 도 13은, 이 얼굴 화상 처리 방법에 의한 화상 처리 순서의 일부의 처리 내용을 나타내는 플로우 차트이다. 한편, 이후에서는 이미 설명한 부분이나 구성 요소와 동일 또는 상당한 부분이나 구성 요소에 대해서는, 동일한 부호를 첨부하여 설명을 생략하는 경우가 있다.
본 실시형태에 따른 얼굴 화상 처리 방법은, 예를 들면 미리 준비된 얼굴 화상 처리 프로그램을 얼굴 화상 처리 시스템의 컴퓨터(연산 수단(2))에 설치하여 실행시킴으로써 실현된다. 한편, 이 컴퓨터는, CPU나 RAM, ROM, HDD, SSD 등의 각종 연산 장치나 기억 장치(기억 수단(4))를 구비하는 본체와, 각종의 정보를 표시 화면 상에 표시하는 디스플레이(출력 수단(3))와, 접수된 정보를 CPU 등에 입력하는 입력 인터페이스(입력 I/F) 및 키보드나 마우스 등의 입력 장치(입력 수단(1))를 구비한 일반적인 구성에 의해 실현되고 있다. 이하, 처리의 주체는 특별히 명기하지 않는 한 컴퓨터인 것으로 한다.
도 12에 나타내는 바와 같이, 우선, 도 8에 나타내는 바와 같은 사용자의 대상 얼굴 화상을 포함하는 입력 얼굴 화상의 화상 정보(화상 데이터)를 입력 I/F를 통해 입력한다(단계(S100)). 그리고, 입력된 화상 정보에 기초하여, 컴퓨터에 의해 상술한 바와 같은 얼굴 영역 추출 처리(단계(S101A))가 실시된다. 이로써, 제외 영역이 제외된 얼굴 영역 화상을 나타내는 얼굴 화상 정보가 생성된다. 한편, 얼굴 영역의 추출이 실시되지 않는 경우는, 이 단계(S101A)의 얼굴 영역 추출 처리는 생략된다.
그 후, 컴퓨터에 의해 상술한 성분 추출 인식 처리(단계(S101B)) 및 성분 제거율 조정 처리(단계(S101C))가 실시되고, 초기(제1 세대)의 복수개의 후보 얼굴 화상이 생성되며(단계(S102)), 이들의 후보 얼굴 화상을 디스플레이 상에 표시한다(단계(S104)).
여기서, 초기의 후보 얼굴 화상은, 예를 들면 상술한 바와 같은 각 성분의 제거율이나, w0, w1, ε1, ε2, ε3 등의 파라미터 등의 각종의 파라미터 값이나 수치의 세트를 랜덤으로 M대로 작성하고, 각종의 파라미터 값이나 수치의 세트마다 하나의 처리 화상을 구함으로써, 결과적으로 M개의 출력 화상(후보 얼굴 화상)을 생성함으로써 얻어진다. 이들을 디스플레이 상에 표시하면, 사용자는 주름 성분, 기미 성분 및 모공 성분의 제거율이 각각 다른 M개의 후보 얼굴 화상을 시인(視認)하는 것이 가능해진다.
이렇게 하여 표시된 복수개의 후보 얼굴 화상 중에서, 예를 들면 사용자가 주관적으로 가장 바람직하다고 생각되는 주름, 기미 및 모공의 표시 양태의 최종적인 얼굴 화상이 발견되지 않았을 경우는, 사용자가 마우스 등의 입력 장치를 이용하고, 예를 들면 윈도우 프레임(20) 내의 선택 프레임(24) 등에 의해 표시된 후보 얼굴 화상을 선택하는 등에 의해, 원하는 S개의 후보 얼굴 화상의 선택 지시를 실시한다.
따라서, 컴퓨터는 입력 장치로부터의 정보에 기초하여, 최종적인 얼굴 화상이 결정된 것인지 여부를 판단한다(단계(S106)). 최종적인 얼굴 화상의 결정 지시가 접수되어 출력하는 얼굴 화상이 결정되었을 경우(단계(S106)의 Yes)는, 그 얼굴 화상을 나타내는 얼굴 화상 정보를 컴퓨터에서 생성하는 제거율이나 데이터의 파라미터를 포함하는 각종의 파라미터를 결정하고(단계(S108)), 이 결정된 파라미터를 기준 파라미터로서 기억 장치에 기억한다(단계(S109)). 그리고, 최종적인 얼굴 화상을 나타내는 얼굴 화상 정보를 출력하고(단계(S110)), 본 플로우 차트에 의한 일련의 얼굴 화상 처리를 종료한다.
한편, 상기 단계(S110)에서의 얼굴 화상 정보의 출력은, 화상 데이터를 다른 컴퓨터 등에 대하여 데이터 출력하거나, 디스플레이 상에 표시 출력하거나, 지면(紙面) 상에 인쇄 출력하거나 하는 다양한 출력 형태가 포함된다. 또한, 상기의 각종 파라미터나 기준 파라미터를 기억 장치에 기억하는 때에, 최종적인 얼굴 화상을 나타내는 얼굴 화상 정보와 관련지어 기억하도록 하면, 최종적인 얼굴 화상을 나타내는 얼굴 화상 정보와 함께 이들의 파라미터도 출력할 수 있다.
한편, 상기 단계(S106)에서, 최종적인 얼굴 화상이 결정되지 않았던 경우(단계(S106)의 NO)는 GA를 이용한 IEC를 실시하고(단계(S120)), 차세대의 후보 얼굴 화상을 복수개 생성한다. 그 후, 생성된 복수개의 후보 얼굴 화상의 각종의 파라미터를 기억 장치에 일시적으로 기억하고(단계(S120)), 차세대의 후보 얼굴 화상을 생성한 뒤에(단계(S132)) 상기 단계(S104)로 이행하고 차세대의 후보 얼굴 화상을 표시하며, 이후의 처리를 반복한다.
여기서, 상기 단계(S120)에서의 IEC는, 예를 들면 도 13에 나타내는 바와 같이 실시된다. 즉, 상기 단계(S106)에서 최종적인 얼굴 화상이 결정되지 않았던 경우는, 사용자에 의해 원하는 후보 얼굴 화상의 선택 지시가 이루어진 것이 되므로, 컴퓨터는 사용자에 의해 지정된 후보 얼굴 화상의 선택을 접수한다(단계(S122)). 그리고, 접수된 후보 얼굴 화상에 적용된 각종의 파라미터 값이나 수치에 기초하여 교차 처리(단계(S124)) 및 돌연변이 처리(단계(S126))를 실시한다.
즉, GA를 이용한 IEC에서, 컴퓨터는 예를 들면 상술한 바와 같이 디스플레이 상에 표시된 초기(전 세대)의 M개의 후보 얼굴 화상(단계(S104)) 중에서, 사용자에 의해 선택된 S개의 후보 얼굴 화상(예를 들면, 단계(S106의 No 및 S122))을 나타내는 얼굴 화상 정보에 적용된 각종의 파라미터 값, 즉 각 성분의 제거율이나, 창문 사이즈(wO, w1, ε)의 값(ε1, ε2, ε3) 등을 다시 연결하여 이진수 표현의 염색체로 간주한다.
이렇게 하여, 선택된 S개의 개체에 대하여 상술한 바와 같은 교차 처리(단계(S124))를 실시하고, T1개의 개체를 새롭게 생성한다. 또한, 선택된 S개의 개체와 생성된 T1개의 개체에 대하여, 돌연변이 처리(단계(S126))를 실시하고, 새롭게 T2개의 개체를 생성한다. 이들 T1개 및 T2개의 개체는, 차기(차세대)의 후보 얼굴 화상이 된다. 한편, S개＋Tl개＋T2개는 예를 들면 M개와 동일한 값으로 한다.
이들 교차 처리 및 돌연변이 처리로 얻어진 S개＋Tl개＋T2개의 개체가 각각 나타내는 각종의 파라미터 값, 창문 사이즈(wO, w1, ε)의 값(ε1, ε2, ε3) 등을 이용하고, 후보 얼굴 화상을 나타내는 얼굴 화상 정보를 생성한다. 즉, 이로써 S개＋Tl개＋T2개의 얼굴 화상(후보 얼굴 화상)을 출력할 수 있는 것이 된다.
이렇게 하여 얻어진 S개＋T1개＋T2개의 후보 얼굴 화상을 다시 디스플레이 상에 표시하고(단계(S130 및 S132)의 뒤의 단계(S104)), 사용자가 가장 바람직하다고 주관적으로 생각할 수 있는 얼굴 화상이 있으면 그것을 최종적인 얼굴 화상으로서 결정하고, 그렇지 않으면 다시 원하는 얼굴 화상을 S개 선택시킨다.
그 후, 다시 컴퓨터는 S개의 개체에 기초하여 교차 처리나 돌연변이 처리를 실시한다. 이와 같은 처리를, 사용자가 만족하는 최종적인 얼굴 화상이 결정될(단계(S106)의 Yes) 때까지 반복한다. 이와 같이 얼굴 화상 처리를 실시함으로써, 주름 성분, 기미 성분 및 모공 성분의 표시 양태를 사용자의 취향에 근접한, 즉 사용자에게 있어서 이상으로 하는 것보다 자연스러운 얼굴 화상을 생성하는 것이 가능해진다. 또한, 생성된 얼굴 화상을 나타내는 얼굴 화상 정보를 각종의 파라미터 값이나 수치, 기준 파라미터와 함께 다양한 분야에 유효하게 이용하는 것이 가능해진다.
도 14는 본 발명의 제3 실시형태에 따른 얼굴 화상 처리 시스템의 전체 구성을 나타내는 블록도이고, 도 15는 이 얼굴 화상 처리 시스템의 얼굴색 처리부의 내부 구성을 나타내는 블록도이다. 또한, 도 16은, 이 얼굴 화상 처리 시스템에 의한 화상 처리 순서를 나타내는 플로우 차트이다. 제3 실시형태에 따른 얼굴 화상 처리 시스템은, 상술한 얼굴 화상 처리부(10)의 구성의 일부에 얼굴색 처리부(15)를 구비한 점이, 얼굴 화상 처리부(10)가 얼굴색 처리부(15)를 구비하지 않은 구성의 제1 실시형태에 따른 얼굴 화상 처리 시스템과 상이하고 있다.
얼굴색 처리부(15)는, 도 14에 나타내는 바와 같이, 합성부(14)의 후단에 마련되어 있다. 이 얼굴색 처리부(15)는, 도 15에 나타내는 바와 같이, 예를 들면 합성부(14)로부터의 출력 얼굴 화상을 나타내는 얼굴 화상 정보의 휘도 및 색 정보 중 적어도 하나가 소정의 범위인 피부색 영역을, 출력 얼굴 화상으로부터 추출하는 피부색 추출부(15a)와, 추출된 피부색 영역 내의 피부색의 색조를 변화시키는 색조 조정부(15b)를 가지고 구성되어 있다.
여기서, 색 정보로서는, 예를 들면 RGB 값, CMYK 값, CIELAB(L*a*b*) 값, 먼셀 표시 값, CIEXYZ 값, 필터로 얻어진 농도 값이나, 분광 화상, 분광 반사 파형, 혹은 반사 투과율, 적외 파장, 자외 파장 또는 X선 파장 등을 들 수 있다. 예를 들면, L*a*b* 표색계(表色系)에서는, L*은 명도를 나타내고, 색상과 채도를 a*b*을 사용하여 색조로서 나타내는 것도 가능하다.
한편, 얼굴색 처리부(15)는, 예를 들면 미리 기억 수단(4)에 기억된 휘도 및 색 정보 중 적어도 하나의 파라미터의 값이 소정의 범위가 되는 복수개의 프리셋 패턴이나, 각종의 파라미터 값을 이용한다. 이들 각 프리셋 패턴이나 각종의 파라미터 값은, 얼굴색 처리부(15)에 저장되어 있어도 된다.
각 프리셋 패턴은, 예를 들면 인종별, 성별, 주거환경(위도, 경도, 지역)별, 계절별, 시각별 등으로 종류 구분되어 미리 설정되어 있다. 그리고, 피부색 추출부(15a)는, 예를 들면 사용자가 지정한 프리셋 패턴에 기초하고, 휘도 및 색 정보 중 적어도 하나의 파라미터의 값이 그 프리셋 패턴으로 지정되어 있는 소정의 범위내가 되는 피부색 영역을 추출한다. 한편, 피부색 추출부(15a)는, 예를 들면 입력된 출력 얼굴 화상의 얼굴 영역 전체의 피부색 영역을 추출한다.
또한, 색조 조정부(15b)는 피부색 추출부(15a)에 의해 추출된 피부색 영역 내의 색 정보, 예를 들면 각 화소의 색상이나 휘도를, 다음 식 (4) 및 (5)를 이용하여 변화시킨다. 한편, 식 중의 변수 X, Y는, 각각 Q≤X<16, Q≤Y<16의 값을 취할 수 있다.
Figure 112019006955672-pct00004
Figure 112019006955672-pct00005
즉, 색조 조정부(15b)는, 도 15에 나타내는 바와 같이, 예를 들면 피부색 추출부(15a)로부터의 피부색 영역의 RGB의 색 정보를 HLS(HSL) 색 공간에 전개하고, 색상(H)을 상기 식 (4)에 의해 변경하여 hold로부터 hnew로 한다. 또한, 휘도(L)를 상기 식 (5)에 의해 변경하여 Lold로부터 Lnew로 한다. 그리고 이들 변경된 색상(H)과 휘도(L)를 변경하지 않은 채도(S)와 합성하여 피부색 영역의 RGB의 색 정보로 변환하고, 색조를 조정한 피부색 영역의 RGB의 색 정보를 포함하는 출력 얼굴 화상을 생성한 뒤에, 출력 얼굴 화상 정보(y(n))를 출력한다.
한편, 색조 조정부(15b)는, 상기 식 (4) 및 (5)를 이용하지 않고 색조를 조정할 수도 있지만, 그 경우는 랜덤으로 색이 변화되어버리는 경우가 있기 때문에, 피부색 영역의 피부색이 바람직하지 못한 피부색이 되는 케이스가 확인되었기 때문에 알맞지 않다. 그리고, 얼굴색 처리부(15)에서의 얼굴색의 데이터나 각 처리의 파라미터 값은, 수시 기억 수단(4)에 기억되며 얼굴색 처리에 이용될 수 있다.
이렇게 하여 피부색 영역 내의 피부색을 변화시킨 출력 얼굴 화상을 나타내는 출력 얼굴 화상 정보(y(n))는, 도 14에 나타내는 경우는 도시하지 않은 출력 수단(3)에 출력된다. 한편, 후보 얼굴 화상의 생성·표시에서의 피부색의 변화에 대해서는, 예를 들면 GA를 이용한 IEC에 의해 최종적인 후보를 결정하도록 해도 된다. 이 경우는, 사용자가 최종적으로 결정한 후보 얼굴 화상의 피부색이 이상의 얼굴색으로서, 피부색을 결정하는 각종의 파라미터 값과 함께 얼굴색 데이터로서 기억 수단(4)에 기억된다.
이 제3 실시형태에 따른 얼굴 화상 처리 시스템에 의한 화상 처리 순서는, 예를 들면 도 16에 나타내는 바와 같이 된다. 즉, 상술한 제2 실시형태의 화상 처리 순서에서, 단계(S101C)의 제거율 조정 처리의 후단에 상술한 바와 같은 얼굴색 처리부(15)에 의한 얼굴색 처리(단계(S101D))가 실시된다. 이로써, 초기의 후보 얼굴 화상의 생성 시(단계(S102))에는 얼굴색(피부색 영역의 피부색)도 변경시킨 후보 얼굴 화상을 생성하고, 다음 단계(S104)에서 표시하는 것이 가능해진다.
이와 같이, 제3 실시형태에 따른 얼굴 화상 처리 시스템에 의하면, 얼굴 화상 처리에서 주름, 기미 및 모공 성분의 각 성분의 제거율을 조정할 뿐만 아니라, 얼굴색을 조정하여 얼굴 화상을 생성할 수 있으므로, 보다 사용자가 이상으로 하는 자연스러운 얼굴 화상을 자유자재로 생성하여 출력할 수 있다. 한편, 본 실시형태의 얼굴 화상 처리 시스템은, 얼굴색 처리부(15)의 처리를 메인 스트림으로 하여 동작하도록 해도 된다. 즉, 제1 실시형태에서의 주름 성분, 기미 성분 및 모공 성분에 관한 처리는 실시하지 않고, 얼굴색에 관하여 다양한 변화를 보이는 후보 얼굴 화상을 생성하도록 해도 된다.
얼굴색의 처리에 특화된 경우, 본 실시형태의 얼굴 화상 처리 시스템은, 예를 들면 화장품 판매점에서, (1) 사용자의 이상으로 하는 얼굴색의 출력 얼굴 화상을 나타내는 얼굴 화상 정보로부터 각종의 파라미터 값이나 얼굴색의 데이터를 취득하고, 이들에 매칭하는 파운데이션을 검색하거나, 제공하거나 함으로써 활용할 수 있다. 또한, 이와 같은 각종의 파라미터 값이나 얼굴색의 데이터를 이용하면, 예를 들면 (2) 화장품 판매점의 스태프와의 카운슬링 등을 통하지 않더라도, 사용자가 직접 인터넷 상에서 자신의 기호에 맞는 화장품 등을 검색하거나 구입하거나 할 수 있게 된다.
그리고, 제3 실시형태에 따른 얼굴 화상 처리 시스템은, 상기 (1), (2)의 활용의 외에, 예를 들면 모든 기능을 이용가능하게 구성하면, 사용자의 주름 성분, 기미 성분 및 모공 성분의 각 성분이나 피부색의 휘도, 색 정보를 사용자에게 있어서 이상화한 얼굴 화상을 생성하여 출력하는 것이 가능한 미안화(美顔化) 시스템으로서 기능시킬 수 있다.
예를 들면, 이와 같은 미안화 시스템을 인터넷 상에서 상호 이용가능하게 구성하면, 상기와 같은 카운슬링을 받을 수 없는 지역에 거주하는 사용자, 언어가 다른 사용자, 발음에 핸디캡이 있는 사용자 등의 다양한 사용자에 대하여, 얼굴색, 주름, 기미, 모공 등을 조정한 사용자의 이상으로 하는 얼굴과 매칭하는 바와 같은 다양한 화장품을 제안하는 것이 가능해진다.
더욱이, 각종의 파라미터 값이나 데이터를 이용함으로써 사용자의 이상의 얼굴을 만들어내는 파운데이션을 3D 프린터로 출력하거나, 이들의 데이터 등을 완전 오더 메이드의 화장품을 제작하거나 함으로써 이용할 수도 있고, 생성된 이상으로 하는 얼굴 화상에 기초하여 사용자의 얼굴에 실제로 메이크업을 하는 3D 메이크업 장치에 적용하는 것도 가능해진다.
한편, 제2 실시형태에서 설명한 얼굴 화상 처리 방법은, 상기한 바와 같이 미리 준비된 얼굴 화상 처리 프로그램을 컴퓨터에서 실행함으로써 실현될 수 있을 뿐만아니라, HD, CD-ROM, DVD, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체에 기록된 얼굴 화상 처리 프로그램을, 컴퓨터에 의해 읽어내고 실행함으로써 실현되도록 해도 된다. 얼굴 화상 처리 프로그램은, 인터넷 등의 네트워크를 통해 배포 가능한 전송 매체이어도 된다.
이상, 본 발명의 몇 개의 실시형태를 설명했지만, 이들의 실시형태는, 예로서 제시한 것이고, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들의 신규인 실시형태는, 그 외의 여러가지 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서 다양한 생략, 치환, 변경을 실시할 수 있다. 이들 실시형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허청구범위에 기재된 발명과 그 균등한 범위에 포함된다.
예를 들면, 상술한 실시형태에서는, 성분 추출부(16)의 ε-필터 뱅크(11)에서 추출된 피부의 소정 성분을 나타내는 제3, 제4 및 제5 성분(y3(n), y4(n), y5(n)) 중, 제4 성분(y4(n))에만 기초하여 주름 성분, 기미 성분 및 모공 성분을 인식·판별하도록 구성했지만, 이에 한정되는 것이 아니다.
즉, 필터의 창문 사이즈나 필터 값을 조정하고, 얼굴 화상의 피부의 소정 성분을 나타내는 제3~제5 성분(y3(n)~y5(n)) 모두를 이용하고, 예를 들면 피부의 기미 성분을 제3 성분(y3(n))으로 나타내고, 피부의 주름 성분을 제4 성분(y4(n))으로 나타내며, 더욱이 피부의 자연스러운 요철인 모공 성분을 제5 성분(y5(n))으로 나타내도록 구성해도 된다.
이 경우는, 입력 얼굴 화상 정보(x(n))를 ε-필터 뱅크(11)에서 제1~제5 성분(y1(n)~y5(n))으로 분할한 후, 얼굴 화상의 구조 성분을 나타내는 제1 및 제2 성분(yl(n), y2(n))을 합성부(14)에 출력함과 함께, 제3~제5 성분(y3(n)~y5(n))을 성분 인식부(12)에 출력한다.
그리고, 성분 인식부(12)에서, 제3~제5 성분(y3(n)~y5(n))에 기초하여, 기미 성분, 주름 성분 및 모공 성분을 인식·판별하고, 성분 조정부(13)에서 각 성분의 제거율을 조정하도록 하면 된다. 이와 같은 구성에 의해서도, 상술한 실시형태와 동일한 작용 효과를 발휘하고, 사용자에게 있어서 이상으로 하는, 보다 자연스러운 얼굴 화상을 자유자재로 생성하는 것이 가능하다.
1: 입력 수단 2: 연산 수단
3: 출력 수단 4: 기억 수단
5: 얼굴 영역 추출부 10: 얼굴 화상 처리부
11: ε-필터 뱅크 12: 성분 인식부
13: 성분 조정부 13a~13c: 제거율 조정부
14: 합성부 15: 얼굴색 처리부
16: 성분 추출부 20: 윈도우 프레임

Claims (10)

  1. 얼굴 화상을 나타내는 얼굴 화상 정보를 입력하고, 상기 얼굴 화상 정보로부터 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 각각 추출하는 성분 추출 수단과,
    이 성분 추출 수단에 의해 추출된 주름 성분, 기미 성분 및 모공 성분에 대하여 각각의 제거율을 각각 조정하는 제거율 조정 수단과,
    상기 제거율 조정 수단에 의해 조정된 주름 성분의 제거율, 기미 성분의 제거율 및 모공 성분의 제거율을 기억하는 기억 수단과,
    상기 제거율 조정 수단에 의해 조정된 상기 주름 성분의 제거율, 상기 기미 성분의 제거율 및 상기 모공 성분의 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 합성하여 얼굴 화상을 생성하는 합성 수단과,
    상기 합성 수단에 의해 합성된 얼굴 화상 정보를 출력하는 출력 수단을 구비하고,
    상기 출력 수단으로부터 출력되는 얼굴 화상 정보는 상기 주름 성분, 기미 성분 및 모공 성분의 제거율을 각각 다르게 하여 복수개 생성되며,
    상기 출력 수단은 복수개 생성된 얼굴 화상 정보에 기초한 복수개의 후보 얼굴 화상을 표시 수단의 표시 화면 상에 표시하고,
    상기 표시된 복수개의 후보 얼굴 화상 중에서 사용자에 의해 지정된 원하는 후보 얼굴 화상의 선택 지시 및 최종적인 후보 얼굴 화상의 결정 지시 중 어느 하나를 접수하는 입력 수단을 더 가지며,
    상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수된 경우에 상기 최종적인 얼굴 화상 정보와 함께 상기 주름 성분, 기미 성분 및 모공 성분의 제거율을 상기 표시 수단에 표시하는 것을 특징으로 하는 얼굴 화상 처리 시스템.
  2. 제1항에 있어서,
    입력된 화상 정보에 포함되는 입력 얼굴 화상의 눈의 영역, 코의 영역 및 입의 영역 중 적어도 하나를 제외한 얼굴 영역을 나타내는 상기 얼굴 화상을 추출하는 얼굴 영역 추출 수단을 마련한 것을 특징으로 하는 얼굴 화상 처리 시스템.
  3. 제1항에 있어서,
    상기 성분 추출 수단은,
    상기 입력된 상기 얼굴 화상을 나타내는 얼굴 화상 정보를, 진폭-주파수 공간에서 제1 성분, 제2 성분, 제3 성분, 제4 성분 및 제5 성분으로 분할하고, 상기 제4 성분을 추출하는 필터 수단과,
    상기 필터 수단에 의해 추출된 상기 제4 성분에 기초하여, 상기 얼굴 화상 내의 주름 성분, 기미 성분 및 모공 성분을 인식하고, 이들 각 성분의 상기 얼굴 화상 내에서의 출현 위치 및 형상을 판별하는 성분 인식 수단을 구비한 것을 특징으로 하는 얼굴 화상 처리 시스템.
  4. 제3항에 있어서,
    상기 제거율 조정 수단은, 상기 주름 성분, 기미 성분 및 모공 성분에 대하여 가중치를 부여하여 상기 각 성분의 상기 얼굴 화상 내에서의 제거율을 조정하는 것을 특징으로 하는 얼굴 화상 처리 시스템.
  5. 제3항에 있어서,
    상기 합성 수단은, 상기 기억 수단에 기억된 제거율에 기초한 상기 주름 성분, 기미 성분 및 모공 성분에 대응하는 상기 제4 성분과, 상기 필터 수단에 의해 분할된 상기 제1 성분, 제2 성분, 제3 성분 및 제5 성분 또는 입력된 상기 얼굴 화상 정보를 합성하는 것을 특징으로 하는 얼굴 화상 처리 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 합성 수단의 후단에,
    상기 얼굴 화상 정보의 휘도 및 색 정보 중 적어도 하나가 소정의 범위인 피부색 영역을 추출하는 피부색 추출 수단과,
    상기 피부색 추출 수단에 의해 추출된 피부색 영역 내의 피부색의 색조를 변화시키는 색조 조정 수단을 가지는 얼굴색 처리 수단을 구비한 것을 특징으로 하는 얼굴 화상 처리 시스템.
  7. 제6항에 있어서,
    상기 입력 수단에 의해 상기 후보 얼굴 화상의 선택 지시가 접수된 경우에, 선택된 후보 얼굴 화상을 나타내는 얼굴 화상 정보에 기초하여 상기 성분 추출 수단, 상기 제거율 조정 수단 및 상기 얼굴색 처리 수단에서의 각 처리의 파라미터를, 유전(遺傳)적 알고리즘에 기초한 교차 처리 및 돌연변이 처리를 실시하여 인터랙티브 진화 계산에 의해 설정하는 연산 수단을 더 구비하며,
    상기 성분 추출 수단, 상기 제거율 조정 수단 및 상기 얼굴색 처리 수단은, 상기 연산 수단에 의해 설정된 파라미터에 기초한 얼굴 화상 정보의 생성을, 상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수될 때까지 반복하여 실시하는 것을 특징으로 하는 얼굴 화상 처리 시스템.
  8. 제7항에 있어서,
    상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수된 경우에, 상기 기억 수단은, 결정된 후보 얼굴 화상을 나타내는 얼굴 화상 정보를 생성하는 상기 파라미터를 기준 파라미터로서 기억하는 것을 특징으로 하는 얼굴 화상 처리 시스템.
  9. 성분 추출 수단, 제거율 조정 수단, 기억 수단, 합성 수단 및 출력 수단을 구비한 얼굴 화상 처리 시스템에서의 얼굴 화상 처리 방법으로서,
    상기 성분 추출 수단에 의해, 입력된 얼굴 화상을 나타내는 얼굴 화상 정보로부터 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 각각 추출하는 공정과,
    상기 제거율 조정 수단에 의해, 추출된 주름 성분, 기미 성분 및 모공 성분에 대하여 각각의 제거율을 각각 조정하는 공정과,
    상기 기억 수단에 의해 상기 주름 성분의 제거율. 기미 성분의 제거율 및 모공 성분의 제거율을 기억하는 공정과,
    상기 합성 수단에 의해, 상기 제거율을 조정하는 공정에서 조정된 주름 성분의 제거율, 기미 성분의 제거율 및 모공 성분의 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 합성하여 얼굴 화상을 생성하는 공정과,
    상기 출력 수단에 의해, 합성된 얼굴 화상 정보를 출력하는 공정을 구비하고,
    상기 출력 수단으로부터 출력되는 얼굴 화상 정보는 상기 주름 성분, 기미 성분 및 모공 성분의 제거율을 각각 다르게 하여 복수개 생성되며,
    복수개 생성된 얼굴 화상 정보에 기초한 복수개의 후보 얼굴 화상을 표시 수단의 표시 화면 상에 표시하고,
    상기 얼굴 화상 처리 시스템은 상기 표시된 복수개의 후보 얼굴 화상 중에서 사용자에 의해 지정된 원하는 후보 얼굴 화상의 선택 지시 및 최종적인 후보 얼굴 화상의 결정 지시 중 어느 하나를 접수하는 입력 수단을 더 가지며,
    상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수된 경우에 상기 최종적인 얼굴 화상 정보와 함께 상기 주름 성분, 기미 성분 및 모공 성분의 제거율을 상기 표시 수단에 표시하는 것을 특징으로 하는 얼굴 화상 처리 방법.
  10. 성분 추출 수단, 제거율 조정 수단, 기억 수단, 합성 수단 및 출력 수단을 구비한 컴퓨터를 가지는 얼굴 화상 처리 시스템에서 얼굴 화상 처리를 실행시키기 위한 얼굴 화상 처리 프로그램이 기록된 기록 매체로서,
    상기 컴퓨터에,
    입력된 얼굴 화상을 나타내는 얼굴 화상 정보로부터 상기 성분 추출 수단에 의해 상기 얼굴 화상의 주름 성분, 기미 성분 및 모공 성분을 각각 추출시키는 단계와,
    추출된 주름 성분, 기미 성분 및 모공 성분에 대하여 각각의 제거율을 상기 제거율 조정 수단에 의해 각각 조정시키는 단계와,
    상기 기억 수단에 상기 주름 성분의 제거율, 기미 성분의 제거율 및 모공 성분의 제거율을 기억시키는 단계와,
    상기 제거율을 조정시키는 단계에서 조정된 상기 주름 성분의 제거율, 상기 기미 성분의 제거율 및 상기 모공 성분의 제거율에 의해 각각 증감한 주름 성분, 기미 성분 및 모공 성분을 상기 합성 수단에 의해 합성하여 얼굴 화상을 생성시키는 단계와,
    합성된 얼굴 화상 정보를 상기 출력 수단에 의해 출력시키는 단계를 실행시키고,
    상기 출력 수단으로부터 출력되는 얼굴 화상 정보는 상기 주름 성분, 기미 성분 및 모공 성분의 제거율을 각각 다르게 하여 복수개 생성되며,
    복수개 생성된 얼굴 화상 정보에 기초한 복수개의 후보 얼굴 화상을 표시 수단의 표시 화면 상에 표시하고,
    상기 얼굴 화상 처리 시스템은 상기 표시된 복수개의 후보 얼굴 화상 중에서 사용자에 의해 지정된 원하는 후보 얼굴 화상의 선택 지시 및 최종적인 후보 얼굴 화상의 결정 지시 중 어느 하나를 접수하는 입력 수단을 더 가지며,
    상기 입력 수단에 의해 상기 후보 얼굴 화상의 결정 지시가 접수된 경우에 상기 최종적인 얼굴 화상 정보와 함께 상기 주름 성분, 기미 성분 및 모공 성분의 제거율을 상기 표시 수단에 표시하는 것을 특징으로 하는 얼굴 화상 처리 프로그램이 기록된 기록 매체.
KR1020197001921A 2016-06-30 2017-06-23 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램 KR102411237B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016129615A JP6872742B2 (ja) 2016-06-30 2016-06-30 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JPJP-P-2016-129615 2016-06-30
PCT/JP2017/023264 WO2018003711A1 (ja) 2016-06-30 2017-06-23 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

Publications (2)

Publication Number Publication Date
KR20190021360A KR20190021360A (ko) 2019-03-05
KR102411237B1 true KR102411237B1 (ko) 2022-06-21

Family

ID=60786991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001921A KR102411237B1 (ko) 2016-06-30 2017-06-23 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램

Country Status (6)

Country Link
US (1) US10810719B2 (ko)
JP (1) JP6872742B2 (ko)
KR (1) KR102411237B1 (ko)
CN (1) CN109416827A (ko)
TW (1) TWI727065B (ko)
WO (1) WO2018003711A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203969A1 (de) 2018-03-15 2019-09-19 Conti Temic Microelectronic Gmbh Automobile Kamera mit Rohbildsignalschnittstelle
JP2019208906A (ja) * 2018-06-05 2019-12-12 カシオ計算機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7108127B2 (ja) 2018-08-21 2022-07-27 ザ プロクター アンド ギャンブル カンパニー 毛穴の色を特定する方法
CN110349079B (zh) * 2019-06-04 2023-04-18 南京掌心互动网络科技有限公司 一种基于用户习惯及大数据的影像修正方法及其系统
US11216922B2 (en) * 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
CN113536871A (zh) * 2020-04-17 2021-10-22 纽顿医学美容集团有限公司 图像预处理方法、面部皮肤年龄估计方法及电子设备
EP4147199A1 (en) * 2020-05-08 2023-03-15 The Procter & Gamble Company Methods for identifying dendritic pores
CN113808027B (zh) 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN111767846A (zh) 2020-06-29 2020-10-13 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
KR102445257B1 (ko) * 2022-02-23 2022-09-23 주식회사 룰루랩 인공신경망에 기반하여 모공을 검출하고 검출된 모공을 시각화하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196270A (ja) * 2003-12-26 2005-07-21 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2012238135A (ja) * 2011-05-11 2012-12-06 Meiji Univ 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4682373A (en) 1982-08-23 1987-07-28 Abram Baran Collapsible hat construction
JP3319727B2 (ja) * 1999-10-20 2002-09-03 日本放送協会 画像処理装置
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US7324668B2 (en) * 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
US20030063102A1 (en) * 2001-10-01 2003-04-03 Gilles Rubinstenn Body image enhancement
JP2004000341A (ja) * 2002-05-31 2004-01-08 Omron Corp 相性判定方法、相性判定サーバ、相性判定プログラム、および該プログラムを記録した記録媒体
DE10309873A1 (de) * 2002-07-09 2004-01-29 RIC Co. Ltd. Digitale-Zoom-Hautdiagnosevorrichtung
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
US7336810B2 (en) * 2003-06-11 2008-02-26 KOSé CORPORATION Skin evaluation method and image simulation method
US9692964B2 (en) * 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8254674B2 (en) * 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP2005084980A (ja) * 2003-09-09 2005-03-31 Fuji Photo Film Co Ltd 顔画像付きカード用データ生成装置および方法並びにプログラム
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
US7376270B2 (en) * 2003-12-29 2008-05-20 Canon Kabushiki Kaisha Detecting human faces and detecting red eyes
US20080270175A1 (en) * 2003-12-31 2008-10-30 Klinger Advanced Aesthetics, Inc. Systems and methods using a dynamic expert system to provide patients with aesthetic improvement procedures
JP4396387B2 (ja) * 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP2006053821A (ja) * 2004-08-13 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP4585253B2 (ja) * 2004-08-16 2010-11-24 富士フイルム株式会社 認証システム
CN101083940B (zh) * 2004-10-22 2010-06-16 株式会社资生堂 皮肤状况诊断系统和美容咨询系统
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8131029B2 (en) * 2005-09-20 2012-03-06 Brightex Bio-Photonics Llc Systems and methods for automatic skin-based identification of people using digital images
JP4682373B2 (ja) 2005-11-01 2011-05-11 株式会社国際電気通信基礎技術研究所 顔画像合成装置、顔画像合成方法および顔画像合成プログラム
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US20100228180A1 (en) * 2006-01-26 2010-09-09 Power Paper Ltd Power Source Electrode Treatment Device
US7653221B2 (en) * 2006-01-31 2010-01-26 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection and removal
US8620038B2 (en) * 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
FR2913128B1 (fr) * 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
US8073287B1 (en) * 2007-02-26 2011-12-06 George Mason Intellectual Properties, Inc. Recognition by parts using adaptive and robust correlation filters
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009059257A (ja) * 2007-09-03 2009-03-19 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8211477B2 (en) * 2007-10-17 2012-07-03 Biova, L.L.C. Solubilized protein composition obtained from eggshell membrane
US20090135177A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for voice personalization of video content
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US8597667B2 (en) * 2008-05-09 2013-12-03 Elc Management Llc Targeted and individualized cosmetic delivery
US9053524B2 (en) * 2008-07-30 2015-06-09 Fotonation Limited Eye beautification under inaccurate localization
US8520089B2 (en) * 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
GB0817936D0 (en) * 2008-09-30 2008-11-05 Intrinsiq Materials Global Ltd Porous materials
TWI417811B (zh) * 2008-12-31 2013-12-01 Altek Corp The Method of Face Beautification in Digital Image
US20100233128A1 (en) * 2009-03-13 2010-09-16 Mci Media Capital Inc. Natural Skin Products Containing Dairy and Processes
JP5544764B2 (ja) * 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
US9317970B2 (en) * 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
JP2011221812A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP4768869B1 (ja) 2010-08-25 2011-09-07 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
CN101916370B (zh) * 2010-08-31 2012-04-25 上海交通大学 人脸检测中非特征区域图像处理的方法
EP2453383A1 (en) * 2010-11-12 2012-05-16 ST-Ericsson SA Facial features detection
JP4998637B1 (ja) * 2011-06-07 2012-08-15 オムロン株式会社 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
JP5755046B2 (ja) * 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
KR101874494B1 (ko) * 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US9842358B1 (en) * 2012-06-19 2017-12-12 Brightex Bio-Photonics Llc Method for providing personalized recommendations
US20140079319A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for enhancing images and apparatuses using the same
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CA2893487A1 (en) * 2012-12-02 2014-06-05 Rodan & Fields, Llc Tools and methods for interactive professional-level, at-home skin care
US9235782B1 (en) * 2012-12-24 2016-01-12 Google Inc. Searching images and identifying images with similar facial features
JP2014140097A (ja) * 2013-01-21 2014-07-31 Sony Corp 画像表示装置及び画像表示方法
JP6008323B2 (ja) * 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6026655B2 (ja) * 2013-06-07 2016-11-16 富士フイルム株式会社 透明感評価装置、透明感評価装置の作動方法、透明感評価方法および透明感評価プログラム
EP3000386B1 (en) * 2013-06-28 2021-01-20 Panasonic Intellectual Property Corporation of America Skin function evaluation device and skin evaluation method
CN105393528B (zh) * 2013-07-22 2018-11-02 松下电器（美国）知识产权公司 信息处理装置、信息处理装置的控制方法以及记录介质
US9875394B2 (en) * 2013-07-31 2018-01-23 Panasonic Intellectual Property Corporation Of America Skin analysis method, skin analysis device, and method for controlling skin analysis device
US9105088B1 (en) * 2013-10-04 2015-08-11 Google Inc. Image blur with preservation of detail
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及系统
US10664686B2 (en) * 2014-11-04 2020-05-26 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
WO2016159150A1 (ja) * 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
KR102507567B1 (ko) * 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN105069007B (zh) * 2015-07-02 2018-01-19 广东欧珀移动通信有限公司 一种建立美颜数据库的方法及装置
CN105354810B (zh) * 2015-12-07 2019-02-12 厦门美图之家科技有限公司 一种图像祛斑处理的方法、系统及拍摄终端
KR20170095632A (ko) * 2016-02-15 2017-08-23 한국전자통신연구원 얼굴인식방법
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
KR20190020779A (ko) * 2016-06-23 2019-03-04 가부시키가이샤 가이아 시스템 솔루션 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치
CN109195481B (zh) * 2016-06-30 2021-06-01 松下知识产权经营株式会社 图像处理装置以及图像处理方法
TWI657799B (zh) * 2016-09-29 2019-05-01 麗寶大數據股份有限公司 電子裝置與其提供膚質檢測資訊的方法
CN109890245A (zh) * 2016-10-24 2019-06-14 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理程序
WO2018096661A1 (ja) * 2016-11-25 2018-05-31 日本電気株式会社 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体
US10842242B2 (en) * 2016-12-22 2020-11-24 Johnson & Johnson Consumer Inc. System for targeted application of topical agents to an isolated body part
CN108229279B (zh) * 2017-04-14 2020-06-02 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108229278B (zh) * 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
US20180308276A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
JP2020519642A (ja) * 2017-05-12 2020-07-02 シャクリー コーポレイション 美容利用のための局所マスカダイン配合物
US10664716B2 (en) * 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence
US10896318B2 (en) * 2017-09-09 2021-01-19 Apple Inc. Occlusion detection for facial recognition processes
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
US10503970B1 (en) * 2017-12-11 2019-12-10 State Farm Mutual Automobile Insurance Company Method and system for identifying biometric characteristics using machine learning techniques
US10943156B2 (en) * 2018-01-05 2021-03-09 L'oreal Machine-implemented facial health and beauty assistant
JP6981277B2 (ja) * 2018-01-26 2021-12-15 富士フイルムビジネスイノベーション株式会社 検出装置、及び検出プログラム
TWI711980B (zh) * 2018-02-09 2020-12-01 國立交通大學 表情辨識訓練系統及表情辨識訓練方法
US11062494B2 (en) * 2018-03-06 2021-07-13 Didimo, Inc. Electronic messaging utilizing animatable 3D models
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
JP7199849B2 (ja) * 2018-06-27 2023-01-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20200020173A1 (en) * 2018-07-16 2020-01-16 Zohirul Sharif Methods and systems for constructing an animated 3d facial model from a 2d facial image
RU2697627C1 (ru) * 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
TWI676136B (zh) * 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
US20200082158A1 (en) * 2018-09-10 2020-03-12 Algomus, Inc. Facial image makeup transfer system
US11042726B2 (en) * 2018-11-05 2021-06-22 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
KR102321851B1 (ko) * 2019-07-11 2021-11-05 엘지전자 주식회사 인공 지능을 이용하여, 사용자의 피부를 관리하는 광 출력 기기 및 그의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196270A (ja) * 2003-12-26 2005-07-21 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2012238135A (ja) * 2011-05-11 2012-12-06 Meiji Univ 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kaoru Arakawa 외1, ε-separating nonlinear filter bank and its application to face image beautification, Electronics and Communications in Japan, [online], 2006년 12월 13일, [2021년 10월 23일 검색]*

Also Published As

Publication number Publication date
KR20190021360A (ko) 2019-03-05
TW201810178A (zh) 2018-03-16
CN109416827A (zh) 2019-03-01
US10810719B2 (en) 2020-10-20
JP2018005434A (ja) 2018-01-11
TWI727065B (zh) 2021-05-11
JP6872742B2 (ja) 2021-05-19
US20190244334A1 (en) 2019-08-08
WO2018003711A1 (ja) 2018-01-04

Similar Documents

Publication Publication Date Title
KR102411237B1 (ko) 얼굴 화상 처리 시스템, 얼굴 화상 처리 방법 및 얼굴 화상 처리 프로그램
CN106682632B (zh) 用于处理人脸图像的方法和装置
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
TW201027456A (en) Image processing device, method, and program
Gerstner et al. Pixelated image abstraction
CN108549836B (zh) 照片的翻拍检测方法、装置、设备及可读存储介质
JP2006085678A (ja) 画像作成方法および装置並びにプログラム
JP6473401B2 (ja) 肌の光沢評価装置、光沢評価方法および光沢評価プログラム
TW200830217A (en) Image processing device and method by using differences of different scaled images as layered images
JP2015154194A (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体
JP2014016688A (ja) 顕著性マップを利用した非写実変換プログラム、装置及び方法
CN104427157B (zh) 图像处理装置和图像处理方法
JP2016058018A (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP2009171158A (ja) モザイク画像生成装置、方法及びプログラム
JP2001195579A (ja) 画像評価装置
US20180116582A1 (en) Elasticity evaluation apparatus, elasticity evaluation method, and elasticity evaluation program
WO2021235223A1 (ja) 画像処理装置、画像処理方法、学習装置、生成方法、およびプログラム
JP4123485B2 (ja) 画像圧縮システムおよび画像圧縮方法および画像圧縮用プログラムおよび記録媒体
KR20220012784A (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
CN111274946A (zh) 一种人脸识别方法和系统及设备
JP2012048344A (ja) 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
KR101024954B1 (ko) 색채와 감정 간의 관계에 기초한 영상의 색 변환 방법
JP6287102B2 (ja) 画像調整装置
KR20170099632A (ko) 유전자 정보를 이용한 게임 캐릭터 생성시스템
KR102610818B1 (ko) 사용자의 주관적 기호를 반영한 객체 생성 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant