KR20020014298A - 캐리커처 영상 생성 장치 및 방법 - Google Patents

캐리커처 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20020014298A
KR20020014298A KR1020000047501A KR20000047501A KR20020014298A KR 20020014298 A KR20020014298 A KR 20020014298A KR 1020000047501 A KR1020000047501 A KR 1020000047501A KR 20000047501 A KR20000047501 A KR 20000047501A KR 20020014298 A KR20020014298 A KR 20020014298A
Authority
KR
South Korea
Prior art keywords
face
feature information
image
caricature
models
Prior art date
Application number
KR1020000047501A
Other languages
English (en)
Other versions
KR100387236B1 (ko
Inventor
이성욱
황의현
최정일
문영수
기석철
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR10-2000-0047501A priority Critical patent/KR100387236B1/ko
Publication of KR20020014298A publication Critical patent/KR20020014298A/ko
Application granted granted Critical
Publication of KR100387236B1 publication Critical patent/KR100387236B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

얼굴 영상에서 얼굴의 각 부위에 대한 정보를 검출 및 분석하여 캐리커처 영상을 자동으로 생성해 낼 수 있는 캐리커처 영상 생성 장치 및 방법이 개시된다. 캐리커처 영상 생성 장치는, 얼굴 영상을 전 처리하여 정규화하는 전 처리부와, 정규화된 얼굴 영상으로부터 얼굴의 각 부위에 대한 특징 정보인 제1 특징 정보를 검출하는 얼굴 특징 검출부와 , 얼굴의 각 부위에 대한 모델들 각각에 대한 특징 정보인 제2 특징 정보와 모델들을 사전 저장하는 데이타 저장부와, 제1 특징 정보를 제2 특징 정보와 비교 및 매칭하고, 그 결과를 매칭 정보로서 출력하는 특징 정보 매칭부 및 데이타 저장부에 저장된 모델들중 해당하는 모델들을 매칭 정보에 응답하여 독출하고, 독출된 모델들을 합성하고, 합성된 결과를 캐리커처 영상으로서 출력하는 캐리커처 합성부를 포함한다.

Description

캐리커처 영상 생성 장치 및 방법{Method and apparatus for generating caricature image}
본 발명은 영상 합성에 관한 것으로서, 특히, 얼굴의 각 부위에 대한 특징을 과장 또는 희화하여 얼굴영상을 합성한 캐리커처 영상을 생성하는 캐리커처 영상 생성 장치 및 방법에 관한 것이다.
영상 처리 기술이 발전함에 따라, 영상을 촬영 및 이용하는 다양한 기술이 개발되었고 또한 개발중에 있다. 이러한 영상 처리 기술은, 입력되는 얼굴 영상을 검출 및 분석함으로써 사용자를 확인 및 인증하는 시스템 및 얼굴 이미지를 합성하는 시스템에 이용되고 있는데, 종래와 같이 단순히 촬영된 영상을 그대로 표현하는 기술 뿐만 아니라, 입력된 영상 데이터를 토대로 과장되거나 단순화된 얼굴 영상을 생성하는 영상 기술이 개발되었다.
이와 같은 영상 기술들중 하나로서, 1998년에 발간된 'Annual Meeting of Engineers in Tokai Branch'와 1993년 8월에 발간된 IPSJ Vol134, No10, 페이지 2106∼2116 쪽에 개시된 바 있는 일본 Chunkyo 대학의 연구 시스템인 PICASSO를 예로 들수 있다. 이 PICASSO 시스템은 2차원 영상을 대상으로 하거나, 3차원을 영상을 대상으로 하여 과장된 얼굴 이미지를 생성한다. 이들 중, 2차원 시스템은 평균 얼굴에 대한 데이터와 입력된 얼굴 데이터의 차이를 비교 및 분석하여, 차이 신호에 대한 과장된 만화적 표현을 통해 단선 영상의 캐리커처를 생성한다. 여기서, 평균 얼굴이란, 특정 부류의 집단이 갖는 얼굴을 합성하여 얻은 얼굴을 의미한다. 또한, 3차원 시스템은 깊이 정보를 이용하여 레인지 이미지(range image)를 입력으로 눈, 코, 입등을 검출한 후 2차원에서와 같이 평균 얼굴과의 차이를 계산하고 이를강조하여 과장된 얼굴 영상을 생성한다.
다른 영상 기술로서, "System and Method for Creating a Digitized Likeness of Persons" 란 제목으로 허여된 미국특허 제5,960,099호에 개시된 바와 같이, 정면과 측면의 2장의 얼굴 영상을 이용하여 얼굴의 특징, 즉 얼굴의 각 부위의 위치를 통계적 자료를 통하여 추정하고, 이에 따라 표정이 변화된 초상화를 생성하는 기술이 있다.
또 다른 영상 기술로서, "Model Based Image Editing and Correction" 란 제목으로 허여된 미국특허 제5,990,901호에 개시된 바와 같이, 영상의 포즈를 외부에서 지정한 다음, 지정된 포즈별 모델과 외부에서 입력된 영상을 합성하여 원하는 부분 영상을 검출하는 기술이 있다. 이 기술은 수동으로 모든 제어 포인트를 지정하여 사용자가 원하는 형상으로 원래의 영상을 변형하며 성형 수술등을 위하여 넓게 응용되고 있다.
전술한 종래의 영상 처리 기술들은 원 영상을 그대로 표현하는 것이 아니라 원 영상에서 과장되거나 희화된 영상을 생성하며 다음과 같은 문제점들을 갖는다.
첫째, 상술한 PICASSO 시스템은 평균얼굴 영상과의 차이를 과장 및 강조하여 표현하기 때문에, 실제 원 영상이 갖고 있는 특징을 과장 및 강조된 영상에 충분히 반영할 수 없는 문제점이 있다. 둘째, 미국특허 제5,960,099호에 개시된 기술은 정면과 측면의 얼굴 영상을 이용하여 표정이 변화된 초상화를 만들어줄 때 통계적 자료를 통하여 얼굴 특징을 추정하기 때문에 원 영상의 얼굴 특징을 정확히 찾아낼 수 없는 문제점을 갖는다. 마지막으로, 미국특허 제5,990,901호에 개시된 기술은수동으로 제어 포인트를 설정하여 사용자가 원하는 형상으로 얼굴 영상을 생성하기 때문에, 원영상의 특징을 생성된 얼굴 영상에 충분히 반영할 수 없을 뿐만 아니라 수동으로 작업이 이루어지기 때문에 번거로운 문제점을 갖는다.
결국, 전술한 종래의 영상 처리 기술들은 원 영상을 기초로 다른 영상을 생성하기는 하나, 원 영상의 얼굴 특징을 충분히 반영한 과장 또는 희화된 영상을 생성하기에 부적합하고 자동으로 작업을 수행할 수 없는 문제점도 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 얼굴 영상으로부터 얼굴의 각 부위에 대한 특징정보를 검출 및 분석하여 캐리커처 영상을 자동으로 생성해 낼 수 있는 캐리커처 영상 생성 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 얼굴 영상에서 얼굴의 각 부위에 대한 특징정보를 검출 및 분석하여 캐리커처 영상을 자동으로 생성해 낼 수 있는 캐리커처 영상 생성 방법을 제공하는 데 있다.
도 1은 본 발명에 의한 캐리커처 영상 생성 장치의 블럭도이다.
도 2a는 액티브 모양 모델 기법을 이용하여 입술을 검출하는 과정을 설명하기 위한 도면이다.
도 3a ∼ c들은 데이타 저장부에 저장되는 눈과 눈썹의 세부적인 모델들을 나타내는 도면들이다.
도 4a ∼ c들은 앞 머리 및 뒷 머리에 대한 모델들을 나타내는 도면들이다.
도 5a ∼ c들은 앞 머리의 모델과 뒷 머리의 모델을 조합하여 합성된 머리형의 예들을 나타내는 도면들이다.
도 6은 입력된 얼굴 영상으로부터 머리 영역 세그멘테이션에 따른 머리형을 매칭하는 과정을 나타내는 도면이다.
도 7은 캐리커처 영상의 합성례를 나타내는 도면이다.
도 8은 본 발명에 의한 캐리커처 영상 생성 방법을 설명하기 위한 플로우차트이다.
상기 과제를 이루기 위해, 얼굴을 촬상하여 획득한 얼굴 영상으로부터 상기 얼굴의 캐리커처 영상을 생성하는 본 발명에 의한 캐리커처 영상 생성 장치는, 상기 얼굴 영상을 전 처리하여 정규화하고, 정규화된 얼굴 영상을 출력하는 전 처리부와, 상기 정규화된 얼굴 영상으로부터 얼굴의 각 부위에 대한 특징 정보인 제1 특징 정보를 검출하는 얼굴 특징 검출부와, 얼굴의 각 부위에 대한 모델들 각각에 대한 특징 정보인 제2 특징 정보와 상기 모델들을 사전 저장하는 데이타 저장부와,상기 제1 특징 정보를 상기 제2 특징 정보와 비교 및 매칭하고, 그 결과를 매칭 정보로서 출력하는 특징 정보 매칭부 및 상기 데이타 저장부에 저장된 모델들중 해당하는 모델들을 상기 매칭 정보에 응답하여 독출하고, 독출된 상기 모델들을 합성하여 캐리커처 영상으로서 출력하는 캐리커처 합성부를 포함한다.
상기 다른 과제를 이루기 위해, 얼굴을 촬상하여 획득한 얼굴 영상으로부터 상기 얼굴에 대한 캐리커처인 캐리커처 영상을 생성하는 본 발명에 의한 캐리커처 영상 생성 방법은, 상기 얼굴 영상을 전 처리하여 정규화하는 단계와, 상기 정규화된 얼굴 영상으로부터 얼굴의 각 부위에 대한 특징 정보인 제1 특징 정보를 구하는 단계와, 얼굴의 각 부위에 대한 모델들 및 상기 모델들 각각에 대해 미리 구한 특징 정보인 제2 특징 정보를 상기 제1 특징 정보와 비교 및 매칭하여 매칭 정보를 구하는 단계 및 상기 모델들중 해당하는 모델들을 상기 매칭 정보에 상응하여 선택하고, 선택된 모델들을 합성하여 상기 캐리커처 영상을 생성하는 단계로 이루어지는 것이 바람직하다.
이하, 본 발명에 의한 캐리커처 영상 생성 장치의 구성 및 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 캐리커처 영상 생성 장치의 블럭도로서, 전 처리부(10), 얼굴 특징 검출부(12), 특징 정보 매칭부(14), 데이타 저장부(16) 및 캐리커처 합성부(18)를 포함한다.
도 1에 도시된 전 처리부(10)는 입력단자(IN)을 통해 입력되는 얼굴 영상을 전 처리하여 정규화하고, 정규화된 얼굴 영상 데이타를 생성하여 얼굴 특징검출부(12)로 출력한다. 여기서, 입력 얼굴 영상은 카메라등과 같은 영상 촬영 장치(미도시)를 통해 얼굴을 촬상함으로서 획득된다.
전 처리부(10)는 전술한 기능을 위해, 예를 들면 가버 필터 응답(Gabor Filter Response)을 이용할 수 있다. 즉, 전 처리부(10)는 가버 필터 응답을 이용한 탐색 방법으로 입력 얼굴 영상에서 얼굴 영역을 찾아내고 두 눈의 중심점을 검출한 다음, 이를 바탕으로 정규화된 얼굴 영상을 만들고, 정규화된 얼굴 영상을 가지고 스킨 칼라 필터링(Skin Color Filtering)을 실행한다.
한편, 얼굴 특징 검출부(12)는 전 처리부(10)로부터 출력되는 정규화된 얼굴 영상으로부터 얼굴의 각 부위인 눈, 눈썹, 코, 입술, 얼굴 윤곽, 머리형등에 대한 특징을 검출하고, 검출된 특징을 제1 특징 정보로서 특징 정보 매칭부(14)로 출력한다. 이를 위해, 예를 들면, 얼굴 특징 검출부(12)는 액티브 모양 모델(ASM:Active Shape Model)기법을 사용할 수 있다. ASM기법이란, 얼굴의 각 부위마다 각기 다양한 형태의 대표 모델들 및 그 형태적 변화의 특징을 추출해 내는 기법이다.
본 발명의 이해를 돕기 위해, 얼굴 특징 검출부(12)가 ASM 기법을 사용하여 얼굴의 부위들중 입술에 대한 다양한 형태의 대표 모델들 및 그 형태적 변화의 특징을 추출해가는 과정을 첨부한 도면을 참조하여 설명하면 다음과 같다.
도 2a는 ASM 기법을 이용하여 입술을 검출하는 과정을 설명하기 위한 도면으로서, 도 2a는 정규화된 얼굴 영상을 나타내고, 도 2b는 입술의 대표 모델을 얻기 위한 학습 패턴 과정을 나타내는 도면이고, 도 2c는 학습 패턴을 통해 얻어진 입술의 대표 모델(20)의 평균 좌표와 대상 입술의 관계를 나타내는 도면이고, 도 2d는 입술의 검출을 보여주는 도면이다.
먼저, 도 2b에 도시된 바와 같은 다양한 형태의 입술 형태들을 학습 패턴으로 사용하여 입술의 대표 모델, 평균 위치 좌표 및 입술의 형태적 변화의 특징 등을 얻는다. 이 때, 얼굴 특징 검출부(12)는 전 처리부(10)로부터 도 2a에 도시된 정규화된 얼굴 영상이 입력되면, 사전에 얻어진 평균 좌표에 입술 대표 모델(20)을 적용하고 학습된 형태적 변화의 특징을 고려해 입력된 얼굴의 입술윤곽을 찾아낸다. 그러므로, 피부색과 입술색이 비슷하여 입술의 경계 즉, 입술 윤곽이 불분명하더라도 학습으로 인해 얻어진 통계적인 정보를 통해, 도 2d에 도시된 바와 같이 입술 윤곽이 잘 검출될 수 있다. 이와 같은 방법으로 얼굴의 다른 부위들에 대한 특징 정보들로 검출될 수 있으며, 검출된 특징정보는 제1 특징 정보로서 특징 정보 매칭부(14)로 출력된다.
도 1에 도시된 데이타 저장부(16)는 얼굴의 각 부위 즉, 머리형, 얼굴형, 눈, 눈썹, 코, 입 등에 대한 다수의 모델들 및 이 모델들에 대한 특징 정보들인 제2 특징 정보들을 데이타 베이스(DB:Data Base) 형태로서 미리 저장하고 있다. DB 구성의 기본 원칙은 각 얼굴 부위에 대해 가장 많이 나타나는 유형을 순위별로 나누고 그 유형의 특징을 잘 반영하면서도 미려해 보이도록 모델을 구성하는 것이다.
예를 들어, 데이타 저장부(16)에 저장되는 모델들중에서 사람의 인상에 가장 큰 영향을 미치는 눈과 눈썹의 모델들을 살펴보면 다음과 같다.
도 3a ∼ c들은 데이타 저장부(16)에 저장되는 눈과 눈썹의 세부적인 모델들을 나타내는 도면들이다.
도 3a ∼ c 각각에는 일반적으로 가장 많이 나타나는 눈이 7가지의 종류로 분류되어 도시되 있다. 도 3a는 눈꼬리가 보통인 눈의 모델들을 나타내고, 도 3 b는 눈꼬리가 올라간 눈의 모델들을 나타내고, 도 3c는 눈꼬리가 내려간 눈의 모델들을 각각 나타내며, 도 3a∼ c들에서, 열 A, B 및 C는 보통 크기의 눈, 쌍거풀인 눈 및 작은 눈을 각각 나타낸다. 따라서, 7*3*3 = 63 종류의 눈 모델들이 DB로 구성될 수 있다. 그러나, 데이타 저장부(16)는, 도 3a∼ c들에 도시된 바와 같이, 이러한 모델들중에서 현실로 나타나지지 않는 9가지의 경우를 제외한 54 가지의 상세 모델만을 DB화하여 저장한다. 한편, 눈썹은 48가지로 분류되는데, 먼저 남녀에 따라 나타나는 서로 다른 9가지 모양을 꼬리가 올라간 형, 내려간 형, 보통형으로 나누어 DB화되고, 다시 눈썹의 진하기에 따라 두가지로 나누어 DB화된다.
다른 예로서, 데이타 저장부(16)에 저장되는 모델들중에서 머리형에 대한 모델들을 살펴보면 다음과 같다.
도 4a ∼ c들은 앞머리 및 뒷머리에 대한 모델들을 나타내는 도면들로서, 도 4a는 남자 앞 머리형에 대한 모델들을 나타내고, 도 4b는 여자 앞 머리형에 대한 모델들을 나타내고, 도 4c는 뒷 머리형에 대한 모델들을 각각 나타낸다.
도 4a ∼ c들에 도시된 앞 머리형 모델들 및 뒷 머리형 모델들은 데이타 저장부(16)에 저장되며, 특정 집단 즉, 10대, 20대 및 30대의 머리 스타일로부터 추출될 수도 있다.
또 다른 예로서, 데이타 저장부(16)에 저장되는 모델들중에서 얼굴형에 대한모델들(미도시)은 크게 갸름한형, 보통형, 통통한형의 3가지로 구성되어 저장될 수 있다. 이때, 호감도가 떨어지는 사각터나 뾰족턱은 저장할 모델들에서 제외된다. 또한, 데이타 저장부(16)에 저장될 입술에 대한 모델들(미도시)은 모양에 따라 10가지 내외로 구성될 수 있으며, 다시 보편적인 립스틱 칼라 및 4가지의 자연색으로 구성되어 DB화된다.
결국, 데이타 저장부(16)는 상술한 바와 같은 얼굴 각 부위에 대한 모델들 및 그 모델들 각각에 대한 매칭에 사용될 제2 특징 정보들을 사전 저장하며, 제2 특징 정보들을 특징 정보 매칭부(14) 및 캐리커처 합성부(18)로 출력한다. 데이타 저장부(16)에 저장되는 모델들 및 제2 특징 정보에 대한 구성 및 내용은 사용자의 요구에 따라 갱신될 수도 있다.
한편, 특징 정보 매칭부(14)는 얼굴 특징 검출부(12)에서 검출되어 제공되는 제1 특징 정보를 분석하고, 데이타 저장부(16)에 저장된 제2 특징 정보를 독출하여 분석된 제1 특징 정보와 비교 및 매칭시키고, 그 결과를 매칭 정보로서 캐리커처 합성부(18)로 출력한다. 이를 위해, 예를 들면 특징 정보 매칭부(14)는 경계 정보들에 대한 퓨리에 디스크립터(Fourier Descriptor)를 계산하여 얼굴 각 부위에 대한 제1 특징 정보와 데이타 저장부(16)에 저장된 제2 특징 정보를 매칭시킬 수 있다. 이러한 매칭이 이루어지면, 특징 정보 매칭부(14)는 매칭된 결과인 매칭 정보를 캐리커처 합성부(18)로 출력한다.
한편, 도 1에 도시된 캐리커처 합성부(18)는 데이타 저장부(16)에 저장된 모델들중 캐리커처 영상을 위해 합성할 해당하는 모델들을 특징 정보 매칭부(14)로부터 출력된 매칭 정보에 따라 독출하고, 독출된 모델들을 합성하며, 합성된 결과를 캐리커처 영상으로 출력단자(OUT)를 통해 출력한다.
캐리커처 합성부(18)에서 캐리커처 영상의 머리형 부분을 합성하는 과정을 살펴보면 다음과 같다.
도 5a ∼ c들은 도 4a 또는 b에 도시된 앞 머리의 모델과 도 4c에 도시된 뒷 머리의 모델을 조합하여 합성된 머리형의 례들을 나타내는 도면들이다.
캐리커처 합성부(18)는 도 4a 또는 b에 도시된 앞 머리형 모델들중 하나와 도 4c에 도시된 뒷 머리형 모델들중 하나를 매칭 정보를 이용하여 데이타 저장부(16)로부터 독출하고, 독출된 모델들을 합성하여 도 5a ∼ c들에 도시된 바와 같은 캐리커처 영상의 머리형 모델을 생성할 수 있다. 부연하여, 캐리커처 영상의 머리형 모델이 생성되는 과정을 설명하면 다음과 같다.
도 6은 입력된 얼굴 영상으로부터 머리 영역 세그멘테이션에 따른 머리형을 매칭하는 과정을 나타내는 도면이다.
도 6을 참조하면, 도 1에 도시된 전 처리부(10)는 입력단자(IN)을 통해 얼굴 영상(30)을 입력하여 정규화하고, 정규화된 얼굴 영상(40)을 얼굴 특징 검출부(12)로 출력한다. 이 때, 얼굴 특징 검출부(12)는 정규화된 얼굴 영상(40)을 입력하여 머리형 및 눈에 대한 제1 특징 정보를 검출하고, 검출된 제1 특징 정보를 특징 정보 매칭부(14)로 출력한다. 특징 정보 매칭부(14)는 데이타 저장부(16)에 저장된 제2 특징 정보와 이와 같이 구해진 제1 특징 정보를 매칭하여 매칭 정보를 검출한다. 이때, 캐리커처 합성부(18)는 캐리커처 영상의 머리형 부분을 합성할 때, 영역확장(Region Growing)방식을 이용하여 머리 영역 분할(Hair region Segmentation)(50)한다. 즉, 머리형 후보 영역에 대한 히스토그램 분석을 통해 영역 확장을 위한 시드(seed)를 발견하고 영역 확장을 통해 머리형을 분할하게 된다. 다음으로, 캐리커처 합성부(18)는 분할된 머리영역을 하나의 템플릿(template)으로 하고 데이타 저장부(16)에 저장된 도 4a ∼ c에 도시된 머리형 모델들과 템플릿 매칭을 하여 매칭된 머리형 모델(60)을 생성한다.
도 7은 캐리커처 영상의 합성례를 나타내는 도면이다.
캐리커처 합성부(18)는 전술한 방법으로 합성된 캐리커처를 후처리하여 실제 얼굴의 형태와 유사하게 얼굴 형태를 변형 및 피부색, 안경 착용 여부에 대해 조정함으로써 캐리커처 영상의 합성을 완료한 다음, 예를 들면 도 7에 도시된 바와 같은 완성된 캐리커처 영상을 출력단자(OUT)를 통해 출력한다.
이하, 본 발명에 의한 캐리커처 영상 생성 방법을 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 8은 본 발명에 의한 캐리커처 영상 생성 방법을 설명하기 위한 플로우차트로서, 입력 얼굴 영상을 전 처리한 후 제1 특징 정보를 검출하는 단계(제70 및 제72 단계) 및 제1 특징 정보와 제2 특징 정보를 이용하여 캐리커처 영상을 합성하는 단계(제74 및 제76 단계)로 이루어진다.
먼저, 전술한 바와 같이, 외부의 영상 촬영 장치에서 얼굴을 촬상하여 획득한 얼굴 영상을 전 처리부(10)는 전 처리하여 정규화함으로서 정규화된 얼굴 영상을 구한다(제70 단계). 제70 단계후에, 얼굴 특징 검출부(12)는 제70 단계에서 구한 정규화된 얼굴 영상으로부터 얼굴의 각 부위에 해당하는 특징 정보인 제1 특징 정보를 전술한 ASM 기법 따위를 사용하여 검출한다(제72 단계).
제72 단계후에, 특징 정보 매칭부(14)는 제72 단계에서 구한 제1 특징 정보를 분석하고, 경계 정보들에 대한 퓨리에 디스크립터를 계산함으로서, 미리 저장된 얼굴 각 부위들에 대한 특징 정보인 제2 특징 정보와 분석된 얼굴의 제1 특징 정보를 비교 및 매칭시켜 매칭 정보를 구한다(제74 단계). 제74 단계후에, 캐리커처 합성부(18)는 제74 단계에서 구한 매칭 정보에 따라 데이타 저장부(16)로부터 선택한 얼굴 각 부위의 모델들을 합성하여 캐리커처 영상을 구한다(제76 단계).
제70 ∼ 제76 단계들 각각의 세부적인 내용은 각 단계가 수행되는 도 1에 도시된 각 부(10, 12, 14 및 18)의 기능과 동일하므로 그 설명을 생략한다.
이상에서 설명한 바와 같이, 본 발명에 의한 캐리커처 생성 장치 및 방법은 실제로 촬상된 원래의 얼굴에 대한 얼굴 영상과 미리 저장하고 있던 얼굴 각 부위의 모델들을 매칭하고, 이를 통해 캐리커처를 합성하기 때문에 원래의 얼굴 영상의 특징을 충분히 반영한 캐리커처 영상을 얻을 수 있도록 한다. 또한, 입력되는 얼굴 영상으로부터 원래의 영상에 가까운 캐리커처 영상을 자동으로 생성할 수 있을 뿐만 아니라, 데이타 저장부(16)에 모델들 및 그의 제2 특징 정보들을 사용자가 원하는 대로 저장할 수 있기 때문에 자유롭게 캐리커처를 합성시킬 수도 있는 효과가 있다.

Claims (12)

  1. 얼굴을 촬상하여 획득한 얼굴 영상으로부터 상기 얼굴의 캐리커처 영상을 생성하는 캐리커처 영상 생성 장치에 있어서,
    상기 얼굴 영상을 전 처리하여 정규화하고, 정규화된 얼굴 영상을 출력하는 전 처리부;
    상기 정규화된 얼굴 영상으로부터 얼굴의 각 부위에 대한 특징 정보인 제1 특징 정보를 검출하는 얼굴 특징 검출부;
    얼굴의 각 부위에 대한 모델들 각각에 대한 특징 정보인 제2 특징 정보와 상기 모델들을 사전 저장하는 데이타 저장부;
    상기 제1 특징 정보를 상기 제2 특징 정보와 비교 및 매칭하고, 그 결과를 매칭 정보로서 출력하는 특징 정보 매칭부; 및
    상기 데이타 저장부에 저장된 모델들중 해당하는 모델들을 상기 매칭 정보에 응답하여 독출하고, 독출된 상기 모델들을 합성하여 캐리커처 영상으로서 출력하는 캐리커처 합성부를 포함하는 것을 특징으로 하는 캐리커처 영상 생성 장치.
  2. 제1 항에 있어서, 상기 전 처리부는 가버 필터 응답(Gaber Filter Response)을 사용한 얼굴 탐색 방법으로 상기 얼굴 영상을 정규화하는 것을 특징으로 하는 캐리커처 영상 생성 장치.
  3. 제1 항에 있어서, 상기 얼굴 특징 검출부는 액티브 모양 모델(Active ShapeModel)기법을 사용하여 상기 제1 특징 정보를 검출하는 것을 특징으로 하는 캐리커처 영상 생성 장치.
  4. 제3 항에 있어서, 상기 얼굴 특징 검출부는
    히스토그램 분석을 통한 영역 확장 방법을 사용하여 머리형을 분할하고, 상기 제1 특징 정보들중 머리형에 대한 특징 정보를 분할된 결과로부터 검출하는 캐리커처 영상 생성 장치.
  5. 제1 항에 있어서, 상기 데이타 저장부는 상기 얼굴의 각 부위중 앞 및 뒷 머리형들에 대한 모델들 및 상기 앞 및 상기 뒷 머리형들에 대한 모델들 각각에 대한 특징 정보를 저장하고,
    상기 캐리커처 합성부는 상기 매칭 정보에 응답하여 상기 데이타 저장부로부터 독출한 상기 앞 머리형에 대한 모델과 상기 뒷 머리형에 대한 모델을 합성하고, 합성된 결과를 상기 캐리커처 영상의 머리형 부분으로서 출력하는 것을 특징으로 하는 캐리커처 영상 생성 장치.
  6. 제1 항에 있어서, 상기 특징 정보 매칭부는 상기 제1 및 상기 제2 특징 정보들로부터 경계 정보들에 대한 퓨리에 디스크립터(Fourier Descriptor)를 계산하고, 계산된 결과에 응답하여 상기 매칭 정보를 생성하는 것을 특징으로 하는 캐리커처 영상 생성 장치.
  7. 얼굴을 촬상하여 획득한 얼굴 영상으로부터 상기 얼굴에 대한 캐리커처 영상을 생성하는 캐리커처 영상 생성 방법에 있어서,
    (가) 상기 얼굴 영상을 전 처리하여 정규화하는 단계;
    (나) 상기 정규화된 얼굴 영상으로부터 얼굴의 각 부위에 대한 특징 정보인 제1 특징 정보를 구하는 단계;
    (다) 얼굴의 각 부위에 대한 모델들 및 상기 모델들 각각에 대한 특징 정보인 사전 저장된 제2 특징 정보를 상기 제1 특징 정보와 비교 및 매칭하여 매칭 정보를 구하는 단계; 및
    (라) 상기 모델들중 해당하는 모델들을 상기 매칭 정보에 상응하여 선택하고, 선택된 모델들을 합성하여 상기 캐리커처 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 캐리커처 영상 생성 방법.
  8. 제 7 항에 있어서, 상기 (가) 단계는 가버 필터 응답(Gaber Filter Response)을 사용한 얼굴 탐색 방법으로 상기 얼굴 영상을 전 처리하여 정규화하는 것을 특징으로 하는 캐리커처 영상 생성 방법.
  9. 제 7 항에 있어서, 상기 (나) 단계는 액티브 모양 모델(Active Shape Model)기법을 사용하여 상기 제 1 특징 정보를 구하는 것을 특징으로 하는 캐리커처 영상 생성 방법.
  10. 제 9 항에 있어서, 상기 (나) 단계는 히스토그램 분석을 통한 영역 확장 방법을 사용하여 머리형을 분할하고, 분할된 머리형을 이용하여 상기 제1 특징 정보들중 머리형에 대한 특징 정보를 구하는 캐리커처 영상 생성 방법.
  11. 제 7 항에 있어서, 상기 (다) 단계는 상기 제1 및 상기 제2 특징 정보들로부터 경계 정보들에 대한 퓨리에 디스크립터(Fourier Descriptor)를 계산하고, 계산된 결과를 이용하여 상기 매칭 정보를 구하는 것을 특징으로 하는 캐리커처 영상 생성 방법.
  12. 제 7 항에 있어서, 상기 (라) 단계는,
    상기 매칭 정보에 상응해서 선택된 앞 머리형에 대한 모델과 뒷 머리형에 대한 모델을 합성하여 상기 캐리커처 영상의 머리형 부분을 구하는 것을 특징으로 하는 캐리커처 영상 생성 방법.
KR10-2000-0047501A 2000-08-17 2000-08-17 캐리커처 영상 생성 장치 및 방법 KR100387236B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0047501A KR100387236B1 (ko) 2000-08-17 2000-08-17 캐리커처 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0047501A KR100387236B1 (ko) 2000-08-17 2000-08-17 캐리커처 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20020014298A true KR20020014298A (ko) 2002-02-25
KR100387236B1 KR100387236B1 (ko) 2003-06-12

Family

ID=19683529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0047501A KR100387236B1 (ko) 2000-08-17 2000-08-17 캐리커처 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100387236B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073322A1 (en) * 2002-02-28 2003-09-04 Virtualmedia Co., Ltd. Apparatus and method for generating character images using mobile machine
KR100647322B1 (ko) * 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR100889854B1 (ko) * 2007-07-16 2009-03-24 연세대학교 산학협력단 캐리커처 비디오 생성 방법 및 장치
US7535469B2 (en) * 2002-05-03 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method for creating three-dimensional caricature
KR101141643B1 (ko) * 2005-03-07 2012-05-04 엘지전자 주식회사 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2857750B2 (ja) * 1996-06-18 1999-02-17 株式会社淀川製鋼所 開閉式溝蓋
JP2000155836A (ja) * 1998-11-19 2000-06-06 Design Network:Kk 似顔絵画像形成システム及び形成方法
KR20000049421A (ko) * 2000-03-06 2000-08-05 강석령 캐리커쳐 제작 시스템 및 시스템을 이용한 캐리커쳐제작방법
KR20010091743A (ko) * 2000-03-17 2001-10-23 박호성 자동캐리커처 생성방법
KR20010092618A (ko) * 2000-03-22 2001-10-26 이민호 이미지 정보를 이용한 인물의 캐리커쳐 자동 생성 방법,생성 장치 및 출력 장치
KR20000037042A (ko) * 2000-04-06 2000-07-05 김정렬 자동 캐릭터 제작시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073322A1 (en) * 2002-02-28 2003-09-04 Virtualmedia Co., Ltd. Apparatus and method for generating character images using mobile machine
US7535469B2 (en) * 2002-05-03 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method for creating three-dimensional caricature
KR100647322B1 (ko) * 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
KR101141643B1 (ko) * 2005-03-07 2012-05-04 엘지전자 주식회사 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR100889854B1 (ko) * 2007-07-16 2009-03-24 연세대학교 산학협력단 캐리커처 비디오 생성 방법 및 장치

Also Published As

Publication number Publication date
KR100387236B1 (ko) 2003-06-12

Similar Documents

Publication Publication Date Title
KR101190686B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체
JP3984191B2 (ja) 仮想化粧装置及びその方法
US6920236B2 (en) Dual band biometric identification system
JP4435809B2 (ja) 仮想化粧装置及びその方法
JP6874772B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
Sablatnig et al. Hierarchical classification of paintings using face-and brush stroke models
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
US20080309662A1 (en) Example Based 3D Reconstruction
EP1039417A1 (en) Method and device for the processing of images based on morphable models
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
Eckert et al. Facial cosmetics database and impact analysis on automatic face recognition
US6975763B2 (en) Shade component removing apparatus and shade component removing method for removing shade in image
JP2000357221A (ja) 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
Graf et al. Face analysis for the synthesis of photo-realistic talking heads
JP2000311248A (ja) 画像処理装置
KR20220026252A (ko) 이동 단말기, 서버 및 뷰티 스타일의 합성 방법
EP4239573A1 (en) Method for detecting and segmenting the lip region
Lee et al. Facial expression recognition using image processing techniques and neural networks
KR100387236B1 (ko) 캐리커처 영상 생성 장치 및 방법
JP2005250712A (ja) 人物属性識別方法およびそのシステム
JPH1185988A (ja) 顔画像認識システム
JP5419777B2 (ja) 顔画像合成装置
Bourbakis et al. Skin-based face detection-extraction and recognition of facial expressions
Varshovi Facial makeup detection using HSV color space and texture analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120423

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee