KR101081494B1 - 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템 - Google Patents

얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템 Download PDF

Info

Publication number
KR101081494B1
KR101081494B1 KR1020080084591A KR20080084591A KR101081494B1 KR 101081494 B1 KR101081494 B1 KR 101081494B1 KR 1020080084591 A KR1020080084591 A KR 1020080084591A KR 20080084591 A KR20080084591 A KR 20080084591A KR 101081494 B1 KR101081494 B1 KR 101081494B1
Authority
KR
South Korea
Prior art keywords
face
facial
avatar
image
information
Prior art date
Application number
KR1020080084591A
Other languages
English (en)
Other versions
KR20100025862A (ko
Inventor
이응주
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020080084591A priority Critical patent/KR101081494B1/ko
Publication of KR20100025862A publication Critical patent/KR20100025862A/ko
Application granted granted Critical
Publication of KR101081494B1 publication Critical patent/KR101081494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

본 발명은 인터넷 웹 카메라 및 모바일 카메라로 입력되는 실시간 얼굴 영상으로부터 사용자의 얼굴 영역 검출, 얼굴특징 추출 및 얼굴을 인식하는 기술을 개발하고 인식된 얼굴 정보를 기반으로 인터넷과 모바일 상에서 사용자의 얼굴관상을 자동적으로 해석하여 이를 인터넷으로 서비스 제공하며 인터넷 접속자의 얼굴에 가장 유사한 얼굴 아바타를 자동 생성하는 시스템에 관한 것이다.
본 발명은 이를 위하여 다음의 핵심 기술 개발을 통해, 웹 카메라와 모바일 카메라로부터 입력된 실시간 얼굴 정보로부터 얼굴 영역을 실시간으로 추적, 검출하고 얼굴을 인식할 뿐만 아니라 얼굴 특징자 들을 세부 분류하여 개인의 얼굴 신체 정보를 해석하는 실시간 얼굴인식해석 및 얼굴아바타자동생성 시스템이다.
제1 관점으로 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법에 있어서, 단말기(600)가 영상입력수단을 이용하여 영상을 입력받는 1단계와; 단말기가 서버(100)에 통신망을 이용하여 상기 영상을 전달하는 2단계와; 서버(100)에서 상기 영상에서 얼굴특징자를 추출하고, 상기 얼굴특징자를 이용하여 얼굴관상정보 및 아바타를 생성하는 3단계와; 서버(100)에서 상기 얼굴관상정보와 아바타를 단말기(600)에 전달하는 4단계를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법이 제시된다.
또한, 제 2 관점으로서, 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템에 있어서, 영상입력수단을 구비하고 상기 영상입력수단을 이용하여 영상 을 입력받아 서버(100)에 전송하는 단말기(600)와; 상기 영상에서 얼굴특징자를 추출하여 상기 얼굴특징자를 이용하여 얼굴관상정보와 아바타를 생성하여 단말기에 전달하는 서버(100)와; 아바타 정보를 저장하는 아바타 데이터베이스(300)와; 관상정보를 저장하는 관상 데이터베이스(400)와; 아바타를 워핑 및 모핑시키는 왑서버(200)를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템이 제시된다.
얼굴 특징자, 관상정보, 아바타, 모핑, 워핑

Description

얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템{facial physiognomic judgment of fortune and face avatar generation method using a face recognition and system thereof}
본 발명은 온라인 및 모바일 상에서의 실시간 영상 처리기술을 이용하여 사용자의 얼굴 특징점을 추출하여, 얼굴 아바타를 자동으로 생성하고 관상정보와 얼굴 아바타 변형 기술인 워핑과 모핑을 제공하여, 새로운 형태의 컨텐츠 서비스를 온라인에서 제공할 수 있는 인터페이스 방법 및 시스템에 관한 것이다.
일반적으로, 멀티미디어 컨텐츠의 주를 이루는 아바타는 사용자의 얼굴정보를 바탕으로 만들어진다. 이러한 얼굴 정보를 찾기 위해서는 얼굴의 특징점 검출을 통하여 이루어진다. 아바타 자동 생성을 위한 얼굴 특징점은 눈썹, 눈, 코, 입과 12개의 특징점을 이용한 얼굴 전체의 윤곽을 획득할 수 있고, 이 특징점과 가장 비슷한 형태의 아바타를 자동 생성해준다.
온라인 및 모바일 상에서 실시간 영상처리기술을 이용하여 사용자의 얼굴특징점을 추출하는데 목적이 있다. 또한 상기 사용자의 얼굴특징점을 이용하여 관상정보와 아바타를 생성하는데 목적이 있다. 그리고 아바타 변형기술인 워핑 및 모핑을 이용하여 아바타를 꾸미는 방법 및 그 시스템을 제공하는 데 목적이 있다.
상기 과제를 해결하기 위해서, 제1 관점으로 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법에 있어서, 단말기(600)가 영상입력수단을 이용하여 영상을 입력받는 1단계와; 단말기가 서버(100)에 통신망을 이용하여 상기 영상을 전달하는 2단계와; 서버(100)에서 상기 영상에서 얼굴특징자를 추출하고, 상기 얼굴특징자를 이용하여 얼굴관상정보 및 아바타를 생성하는 3단계와; 서버(100)에서 상기 얼굴관상정보와 아바타를 단말기(600)에 전달하는 4단계를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법이 제시된다.
상기 제 1 관점에 있어서,
상기 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법은,
단말기(600)에서 상기 아바타를 왑서버(200)에 전송하는 5단계와; 왑서버(200)에서 상기 아바타를 워핑 및 모핑시키는 6단계와; 왑서버(200)에서 워핑 및 모핑된 아바타를 단말기(600)로 전송하는 7단계를 더 포함하는 것을 특징으로 하고,
상기 제 1 관점에 있어서,
상기 3단계는,
얼굴특징자추출부(110)가 상기 영상에서 얼굴특징자를 추출하는 a단계와; 얼굴관상해석부(120)가 상기 얼굴특징자를 이용하여 관상데이터베이스(400)에서 얼굴관상정보를 추출하는 b단계와; 아바타생성부(130)에서 상기 얼굴특징자를 이용하여 아바타 데이터베이스(300)에서 아바타 정보를 추출 후 아바타를 생성하는 c단계로 구성된 것을 특징으로 하고,
상기 제 1 관점에 있어서,
상기 단말기는,
휴대폰, 노트북, PC, PDA 중 어느 하나인 것을 특징으로 한다.
제 2 관점으로서, 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템에 있어서, 영상입력수단을 구비하고 상기 영상입력수단을 이용하여 영상을 입력받아 서버(100)에 전송하는 단말기(600)와; 상기 영상에서 얼굴특징자를 추출하여 상기 얼굴특징자를 이용하여 얼굴관상정보와 아바타를 생성하여 단말기에 전달하는 서버(100)와; 아바타 정보를 저장하는 아바타 데이터베이스(300)와; 관상정보를 저장하는 관상 데이터베이스(400)와; 아바타를 워핑 및 모핑시키는 왑서버(200)를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템이 제시된다.
상기 제 2 관점에 있어서,
상기 서버(100)는,
단말기(600)로부터 전송된 상기 영상으로부터 아바타 생성시 및 관상정보를 얻기 위해 필요한 얼굴특징자를 추출하는 얼굴특징자추출부(110)와; 상기 얼굴특징자를 이용하여 관상 데이터베이스(400)를 조회하여 얼굴관상정보를 추출하는 얼굴관상해석부(120)와; 상기 얼굴특징자를 이용하여 아바타 데이터베이스(300)를 조회하여 아바타를 생성하는 아바타생성부(130)로 구성된 것을 특징으로 하고,
상기 제 2 관점에 있어서,
상기 단말기(600)는,
휴대폰, 노트북, PC, PDA 중 어느 하나인 것을 특징으로 한다.
이상에서와 같이 본 발명을 적용하게 될 경우, 생체인증시스템과 관련 응용시스템의 활성화를 위하여 초고속인터넷과 멀티미디어 인프라에 탑재할 수 있는 보다 사용자 중심적인 생체인증 기술과 이를 이용한 멀티미디어 컨텐츠에 응용할 수 있으며, 또한 얼굴인식해석 기술을 적용한 응용분야는 사용자들의 다양한 요구에 따라 디지털보안장치, 범죄예방장치, 영화나 게임의 컴퓨터그래픽 기술, 컴퓨터나 인터넷상의 영상처리를 위한 디지털 영상편집 기술, 인터넷상의 얼굴 사진 아바타 생성이나 개인운세 서비스기술 등에 이르기까지 폭넓게 응용할 수 있다.
이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.
도 57은 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템의 구성 도를 도시하고 있다. 단말기에서 전송되어온 영상에서 얼굴특징자를 추출하여 얼굴관상정보와 아바타를 생성하여 단말기에 전달하는 서버(100)와 아바타 정보를 저장하는 아바타 데이터베이스(300)와 관상정보를 저장하는 관상 데이터베이스(400)와 아바타를 워핑 및 모핑시키는 왑서버(200)와 영상입력수단을 구비하고 상기 영상입력수단을 이용하여 영상을 입력받아 서버(100)에 전송하는 단말기(600)로 구성된다. 그리고 서버(100)는 얼굴특징자추출부(110)와 얼굴관상해석부(120)와 아바타생성부(130)으로 구성된다. 얼굴특징자추출부(110)는 단말기(600)로부터 전송된 영상으로부터 아바타 생성시 및 관상정보를 얻기 위해 필요한 얼굴특징자를 추출한다. 얼굴관상해석부(120)는 얼굴특징자를 이용하여 관상 데이터베이스(400)를 조회하여 얼굴관상정보를 추출한다. 아바타생성부(130)는 얼굴특징자를 이용하여 아바타 데이터베이스를 조회하여 아바타를 생성한다. 또한 단말기(600)는 휴대폰, 노트북, PC, PDA 등으로 구성될 수 있다.
도 58은 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법을 도시하고 있다. 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법은 단말기(600)가 영상입력수단을 이용하여 영상을 입력받는 1단계(S110)와 단말기(600)가 서버(100)에 통신망을 이용하여 상기 영상을 전달하는 2단계(S120)와 얼굴특징자추출부(110)가 상기 영상에서 얼굴특징자를 추출하는 3단계(S130)와 얼굴관상해석부(120)가 상기 얼굴특징자를 이용하여 관상 데이터베이스(400)에서 얼굴관상정보를 추출하는 4단계(S140)와 아바타생성부(130)에서 상기 얼굴특징자를 이용하여 아바타 데이터베이스(300)에서 아바타 정보를 추출 후 아바타를 생성하는 5단 계(S150)와 서버(100)에서 상기 얼굴관상정보와 아바타를 단말기(600)에 전달하는 6단계(S160)와 단말기(600)에서 상기 아바타를 왑서버(200)에 전송하는 7단계(S170)와 왑서버(200)에서 상기 아바타를 워핑 및 모핑시키는 8단계(S180)와 왑서버(200)에서 워핑 및 모핑된 아바타를 단말기(600)로 전송하는 9단계(S190)로 구성된다. 또한 단말기(600)는 휴대폰, 노트북, PC, PDA 등으로 구성될 수 있다.
이하에서는 서버(100)에서 단말기(600)에서 전송되어온 영상을 이용하여 얼굴특징자를 추출하고, 상기 얼굴특징자를 이용하여 아바타 및 얼굴관상정보를 생성하는 것을 설명한다.
일반적으로 객체와 간단한 배경은 도 1(a)에서 관찰한 바와 같이 히스토그램에서 분명한 경계선을 가지고 있다. 그러나 배경의 복잡성이 증가함에 따라 경계선은 점점 더 혼잡 될 것이며(도 1(b)에 나타낸 바와 같이), 이러한 혼잡성은 배경으로부터 객체를 분리하는데 사용되는 문턱치값(Threshold value)을 결정하는데 어려움을 준다. 그러나 도 1(c)에서 관찰한 바와 같이, 만약 배경이 작은 조각들로 세분화되고, 세분화된 객체가 영역의 각 조각에 충분히 담을 수 있다면, 배경은 단일영상과 유사해진다. 이러한 경우, 객체와 배경 사이의 경계선을 히스토그램으로 명확하게 알아볼 수 있다. 그리하여 객체는 배경으로부터 정확하게 추출할 수 있다. 이러한 방식의 절차는 도 2에서 나타낸 바와 같이 피라미드 접근 방식과 매우 유사하다. 필요로 하는 가장 작은 객체를 찾을 때까지 우선적으로 전체 이미지에서 몇 가지 독립적인 객체를 발견하며, 그 다음으로 각각의 객체 부위에서 작은 객체를 찾는다. 눈이나 코, 입과 같은 작은 객체를 찾는데 특히 좋다.
그러나 객체에 대하여 우리는 부위가 위치한 곳을 대충 알아야 하며, 그렇게 함으로써 탐색 범위를 감소시켜야 한다. 그것은 바뀔 수 없는 지식에 바탕을 둔 것이다. 그렇게 하여 우리는 객체를 찾는 규칙을 만들 수 있다. 인간의 얼굴에는 우리가 알 수 있는 것처럼, 만약 정면에서 바라본다면, 눈은 항상 입 위에 위치해야하며, 얼굴의 왼쪽에는 왼쪽 눈이, 얼굴 오른쪽에는 오른쪽 눈이 위치해야하며, 코는 항상 수직 방향으로 눈과 입 사이에 위치해야한다. 우리는 이러한 규칙을 알고 있으며. 다음과 같이 좀 더 분명하게 정리된다.
a) 입, 눈, 눈썹, 그리고 코는 항상 얼굴의 안쪽에 위치한다.
b) 왼쪽 눈은 얼굴 왼쪽 위에 있다.
c) 왼쪽 눈썹과 왼쪽 눈 사이의 거리는 왼쪽 눈썹과 기타 다른 부위 사이에 서의 거리보다 가장 단거리이다. 또한 오른쪽 눈썹과 오른쪽 눈 사이의 거리는 가장 단거리이다.
d) 코는 수직 방향으로 항상 눈과 입 사이에 위치한다.
이러한 규칙에 따라서, 그리고 YCbCr 색 공간의 얼굴 외양과 연결함에 따라서 우리는 얼굴 영역과 각각의 얼굴 특징을 검출할 수 있다. 얼굴 영역에 있어서 Cr의 gray 이미지가 사용될 것이다. 왜냐하면, 도 3에서 어떤 종류의 사람(백인, 흑인, 황인)이든 간에 문제가 되지 않는다는 사실을 관찰할 수 있기 때문이다. 그들의 얼굴 부위에는 Cr 공간에서 강력하고 독립적인 캐릭터가 나타나 있다. 그래서 얼굴 부위의 문턱치 값은 히스토그램에서 쉽게 확인할 수 있다.
도 3은 얼굴 영역과 히스토그램의 3가지 Cr 이미지(첫번째 이미지는 원 이미 지; 두 번째는 Cr sub-color 영역의 이미지; 세 번째는 Cr gray 값을 나타내는 히스토그램)를 도시하고 있다. (a)는 백인종 (b)는 흑인종 (c)는 황인종이다.
식 (1),(2),(3)은 마스크 결과와 얼굴 부위를 얻기 위한 운영 절차를 나타낸 것이다.
Figure 112008061488728-pat00001
(1)
Figure 112008061488728-pat00002
(2)
Figure 112008061488728-pat00003
(3)
여기에서 ImMask는 마스크 이미지를 위한 심볼이며, 그리고 ImOrig는 원 이미지를 위한 심볼이며, ImFace는 얼굴 영역 이미지를 위한 심볼이다. w는 서로 다른 피부색을 위한 중량값이며, 황인종의 중량값은 0.6과 0.7 사이이며, 백인종의 중량값은 0.2와 0.4 사이이며, 흑인종의 중량값은 0.5와 0.6 사이임을 관찰하였다. 얼굴 부위 검출 결과는 도 4에 도시되어 있다. 도 4는 얼굴 영역 검출 후 결과(첫 번째는 원 이미지 ; 두 번째는 Cr sub-color 이미지 ; 세 번째는 검출된 얼굴 영역)를 도시하고 있다. (a)는 백인종 (b)는 흑인종 (c)는 황인종이다.
얼굴 영역 검출을 끝냈을 때, 두 번째 단계는 입 포지션과 윤곽의 특징을 검출하는 것이다. 사람의 입(황인종이든 백인종이든 흑인종이든 간에)이 더 많은 붉 은색 성분을 포함한다는 사실을 알 수 있었다. 그러나 입은 다른 얼굴 영역보다 좀 더 미약한 파란색 성분을 포함하고 있다는 사실도 알 수 있었다. 그래서 입 부위의 YCbCr 색 공간의 Cr값은 얼굴의 다른 영역보다 더 크며, Cb 값은 더 낮다. 왜냐하면, 이러한 입 부위의 gray level 역시 다른 얼굴 영역보다 더 낮다. 그래서 입 영역을 검출하기 위한 캐릭터를 활용할 수 있다. 식 (4),(5),(6),(7)은 마스크 결과와 입 영역을 얻기 위한 운영 절차를 나타내었다.
Figure 112008061488728-pat00004
(4)
Figure 112008061488728-pat00005
(5)
Figure 112008061488728-pat00006
(6)
Figure 112008061488728-pat00007
(7)
여기에서, ImCr 2 와 ImCb 2 는[0,255] 범위에서 표준화되었다. 그리고 M, N은 얼굴 넓이와 높이다. 파라미터 φ1는 Cr의 평균값으로 견적 되었으며, φ2는 Cb의 평 균값이며, φ3는 Cr과 Cb의 평균값이다. 도 5는 운용 결과 이미지를 도시하고 있는데, 입의 특징 이미지 및 사전 조작 이미지를 도시하고 있다. (a)는 얼굴 영역 이미지 (b)는 얼굴영역 Cr 이미지 (c)는 얼굴 영역 Cb 이미지 (d)는 전처리 된 입의 특징 이미지이다.
전처리 된 입의 특징 이미지에 있어서 스캔한 영역의 절대값을 계산함에 따라 입의 영역을 스캔하기 위하여 스캔 윈도우를 채택할 수 있으며, 또한 입을 담고 있는 최대 윈도우를 선택할 수 있다. 여기서 스캔 윈도우 사이즈를 1/6의 넓이와 1/14분의 높이로 지정하였다. 왼쪽 꼭대기에서 오른쪽 바닥까지 윈도우를 움직인다. 식 (8)이 이를 보여주고 있다.
Figure 112008061488728-pat00008
(8)
눈이 항상 입의 최상단에 위치해 있고, 왼눈은 항상 왼쪽에 위치하며, 오른눈은 항상 오른쪽에 위치한다는 규칙이 제시되었기 때문에, 검출된 얼굴 영역 마스크 이미지는 왼눈과 눈썹을 똑바로 담기 위하여 잘라낼 수 있었다. 눈의 마스크 이미지는 식 (9),(10),(11)에 나타낸 바와 같이 얻을 수 있었다.
Figure 112008061488728-pat00009
(9)
Figure 112008061488728-pat00010
(10)
Figure 112008061488728-pat00011
(11)
LeftImMask는 규칙에 따라 잘라낼 마스크 이미지이며, 또한 M, N은 얼굴의 나머지 영역의 사이즈이다. LeftEyeTh는 눈과 눈썹의 문턱치 값이다. 결국 마스크 이미지는 눈 영역과 눈썹 부위 이 두 가지를 담고 있다. 왜냐하면, 이들 특징과 거리가 너무 가깝기 때문이다. 그래서 그것들을 분리할 수 없다. 더구나 운 좋게 그러한 마스크 부위는 연결되지 않으며, 규칙 c)에 기초한 것이며, 우리는 기하학적 수단을 이용하여 그것들로부터 입까지 각각의 거리를 얻을 수 있다. 또한 최소한의 거리에 있는 부위, 즉, 왼쪽 눈 부위를 선택할 수 있다. 도 6은 왼쪽 눈 검출 결과를 도시하고 있다. (a)는 잘라낸 왼쪽 눈의 Cr 영역 (b)는 잘라낸 Y축의 역방향 영역 (c)는 눈 영역 마스크 이미지이다.
오른쪽 눈에 있어서도 왼쪽 눈 검색하는 방법과 유사하다.
규칙 c)를 기반으로 하여, 눈썹은 얼굴 전체 특징 중에서 눈까지 가장 가까운 거리에 있으며, 눈썹은 항상 눈의 상단에 위치한다. 그래서 기하학적인 방법을 사용하였으며, 우리는 왼쪽 눈썹과 왼눈 사이의 거리를 얻을 수 있으며, 또한 오른쪽 눈썹과 오른 눈 사이의 거리를 얻을 수 있었고, 눈썹 영역에 대한 최소한의 거 리를 선택할 수 있었다. 도 7은 눈썹 검출 결과를 도시하고 있다.
코의 마스크 이미지는 식 (12)에 나타낸 바와 같이 얻을 수 있다. 도 8은 결과를 도시하고 있다.
Figure 112008061488728-pat00012
(12)
도 8은 코 검출 결과를 도시하고 있다. (a)는 잘라낸 코 영역의 gray 이미지 (b)는 검출된 결과이다.
서로 다른 얼굴 특징을 지닌 사람들을 분석하고 분류하기 위하여 각 얼굴의 형태적 특징을 키포인트로 사용하였다. 이러한 포인트의 관련성으로 특징을 분류하는 패턴을 설명할 수 있다. 아바타를 생성하고 특징 정보를 충분히 묘사하기 위해서 각 얼굴 특징과 그들의 포지션의 양을 다음과 같이 규정하였다.
1) 얼굴 윤곽 : 12곳의 위치
2) 입 윤곽 : 4곳의 위치
3) 눈 윤곽 : 4곳의 위치
4) 눈썹 윤곽 : 4곳의 위치
5) 코 윤곽 : 4곳의 위치
얼굴 이미지로부터 12개의 포인트를 지정한 후 각 포인트 간의 거리를 가지고 얼굴 형태를 검출하며, 얼굴형태가 나누어지는 부분은 턱과 볼 간의 거리를 가지고 나누어지게 된다.
도 9는 얼굴특징자 포인트를 도시하고 있다. 도 9를 예로 들면 P9와 P3의 거리를 기준으로 P8과 P4의 거리와 P7과 P5의 거리를 비교하여 아바타의 얼굴을 생성하게 되는 것이다. 관상학적으로 남자는 9개 여자는 8개의 얼굴 형태로 나누어지게 된다.
입 모양은 위 그림과 같이 상하 좌우로 4개의 포인트를 지정하여 거리를 비교하여 입술형태를 구분하게 된다. 관상학적으로 9개의 입술 모양으로 구분된다. 도 10은 입 모양 특징자 포인트를 도시하고 있다.
눈의 모양은 위 그림과 같이 상하 좌우 4개의 포인트를 지정하여 거리를 비교하여 눈의 형태를 구분하게 된다. 관상학적으로 9개의 입술 모양으로 구분된다. 도 11은 눈 모양의 특징자 포인트를 도시하고 있다.
눈썹 모양 역시 4개의 포인트를 정해서 각 포인트 간의 거리를 비교하여 눈썹 모형을 나타내게 되며 관상학적으론 12개의 형태로 구분된다. 도 12는 눈썹모양의 특징자 포인트를 도시하고 있다.
코 모양 역시 4개의 포인트를 가지고 각 포인트의 거리로 코의 모양을 구분하게 된다. 도 13은 코 모양의 특징자 포인트를 도시하고 있다.
많은 얼굴 데이터를 통하여 우리는 세상에서 총 7종류의 남성 얼굴 형태와 7종류의 여성 얼굴 형태를 결론지었다. 이러한 형태를 도 14에 나타냈다. 우리는
Figure 112008061488728-pat00013
,
Figure 112008061488728-pat00014
,
Figure 112008061488728-pat00015
,
Figure 112008061488728-pat00016
,
Figure 112008061488728-pat00017
의 거리 관련성을 사용하여 식별할 수 있다. 도표에서 우리들이 관찰한 바와 같이, 만약 큰 턱 을 가진 사람이라면,
Figure 112008061488728-pat00018
는
Figure 112008061488728-pat00019
보다 더 크며, 만약 작은 턱을 가진 사람이라면,
Figure 112008061488728-pat00020
는
Figure 112008061488728-pat00021
보다 더 작다. 그래서 우리는 이러한 거리를 활용하여 얼굴 형태를 분류할 수 있었다. 도 14는 얼굴 형태 분류 요소를 나타낸 것이다.
여기서 서로 다른 얼굴 형태가 존재한다는 곳을 도 14에서 보고 알 수 있었으며, 식별할 수는 없으나 실험을 통하여 서로 다른 특정 값들을 관찰할 수 있었고, 따라서 문턱치값은 상세하게 이러한 얼굴 형태를 식별하기 위한 두 번째 단계에서 사용할 수 있었다. 얼굴 아바타는 도 15에서 보여주는 것처럼 구할 수 있다.
도 15는 얼굴 특징점 검출 및 아바타 생성 결과를 도시하고 있다. (a)는 남성 (b)는 여성의 예를 도시하고 있다.
입 아바타를 생성하기 위하여, 3종류의 입 형태를 규정하였다. 다음과 같이 입 꼬리에 의해 식별될 수 있다.(꼭대기까지의 꼬리, 중간까지의 꼬리 또는 바닥까지의 꼬리) 또한 우리는 3종류의 입술 모양을 규정하였다.(부채꼴, 중간, 얇음) 각각의 입술 형태는 다음과 같이 3종류의 크기를 규정하였다.(좁음, 중간, 넓음. 입) 아바타 형태는 도 16에 도시된 바와 같다.
관찰한 바와 같이, P1 및 P3은 입 영역을 분리하기 위하여 수평을 가다듬었으며, 입이 꼬리에서 위쪽으로 이어져 있는 경우, 라인 위쪽의 화소 값이 아래쪽보다 더 크다. 반대일 경우, 라인 위쪽의 화소 값이 더 낮다. 우리는 실험을 통하여 문턱치 값의 한계치를 설정할 수 있었다. 만약 위와 아래의 화소 값이 서로 다르다면, 한계치 안에 있으며, 우리는 입 꼬리가 중간에 위치한 것으로 생각할 수 있다. 이러한 접근은 도 18에 나타낸 바와 같다.
입술 스타일(부채꼴, 중간형, 얇은 형)을 분류함에 있어서, 우리는 P2에서 P4까지 거리를 사용하였으며, 그것을 얼굴 영역의 높이와 비교하였다. 큰 비율 값을 지닌 부채꼴 입술, 작은 비율 값을 지닌 얇은 입술에서, 우리는 이 유형들을 식별하기 위하여 문턱치 값을 설정할 수 있었다. 입 사이즈를 분류하기 위하여, 유사한 접근법을 사용하였다. 도 17은 입 꼬리 형태 분류 흐름도를 도시하고 있다. 여기에서 Th1은 입꼬리와 관련된 문턱치 값을 나타내고, Th2는 입모양과 관련된 문턱치 값을 나타낸다. 도 18은 입술 형태 분류와 아바타 생성 결과를 나타낸 것이다. (a)는 남성 (b)는 여성이다.
도 19에서 나타낸 바와 같이 9종류의 눈 아바타 형태를 규정하였다.눈 특징을 분류하는 방식은 입과 유사하다. 도 20은 눈 모양 분류 및 아바타 생성 결과를 도시하고 있고 (a)는 남성 (b)는 여성이다.
눈썹 아바타 형태는 도 21에 규정되어있고 눈썹 아바타 형태를 도시하고 있다. 결과는 도 22에 나타낸 바와 같다. 도 22는 눈썹 모양 분류 및 아바타 생성 결과를 도시하고 있고 (a)는 남성 (b)는 여성이다.
우리는 도 23에서 나타낸 바와 같이 코 아바타 형태를 규정하였으며, 또한 코 넓이를 확인하기 위하여 P1에서 P3까지 거리를 사용하였으며, 코 높이를 확인하기 위하여 P0에서 P2까지의 거리를 사용하였다. 도 23은 코 아바타 형태를 도시하 고 있다. 또한 코 아바타 생성 결과는 도 24에 나타낸 바와 같다. 도 24는 코 모양 분류 및 아바타 생성 결과를 도시하고 있고 (a)는 남성 (b)는 여성이다.
위에서 설명한 얼굴 특징을 이용한 얼굴 아바타 생성 알고리즘 방법에 의해 생성된 각 영역별 아바타의 분류를 도 25에서 보여준다. 이 분류를 기반으로 하여, 생성된 아바타를 각 영역별로 소개하려 한다.
남성의 얼굴 분류는 도 26에 도시되어 있다. 관상학적으로 남성의 얼굴은 도 26과 같이 9가지의 형태로 분류된다. 여성의 얼굴 분류는 도 27에 도시되어 있다. 관상학적으로 여성의 얼굴은 도 27과 같이 8가지의 형태로 분류된다.
입 모양은 도 10에서와 같이 상하 좌우로 4개의 특징점을 지정하여 거리를 비교하여 입술의 형태를 구분하게 된다. 관상학적으로 9개의 입술 모양으로 도 28과 같이 구분된다. 이것을 기반으로 남자와 여자 각 27개의 입술 아바타를 생성한다. 남자 입술 모양은 도 29에 도시되어 있다. 그리고 여자의 입술모양은 도 30에 도시되어 있다.
눈의 모양은 도 11과 같이 상하 좌우 4개의 포인트를 지정하여 거리를 비교하여 눈의 형태를 구분하게 된다. 관상학적으론 9개의 눈 형태로 구분을 짓는다. 관상학적으로 도 31과 같이 9개의 형태로 구분 짓게 된다. 도 31은 관상학적으로 분류된 9가지 눈 형태를 도시하고 있다. 도 32는 남자의 경우 9개의 눈 모양으로 분류되는 것을 도시하고 있다. 도 33은 여자의 경우 9개의 눈 모양으로 분류되는 것을 도시하고 있다.
눈썹의 모양은 도 12와 같이 4개의 포인트를 정해서 각 지점간의 거리를 비 교하여 관상학적으론 도 34와 같이 12개의 형태로 구분 짓게 된다. 도 34는 관상학적으로 분류된 12가지 눈썹 형태를 도시하고 있다. 도 35는 남자의 경우 15개의 눈썹 형태로 분류되는 것을 도시하고 있다. 도 36은 여자의 경우 12개의 눈썹 형태로 분류되는 것을 도시하고 있다.
코의 모양은 도 13과 같이 4개의 포인트를 가지고 각 포인트의 거리로 코의 모양을 구분한다. P0과 P2의 길이에 따라 큰 모양과 작은 모양으로 구분이 되며 P1과 P3의 길이로 넓은 모양, 작은 코로 구분된다. 도 37은 남자의 경우 9개의 코 형태로 분류되는 것을 도시하고 있다. 도 38은 여자의 경우 9개의 코 형태로 분류된다. 위에서 설명한 얼굴 특징을 이용한 얼굴 아바타 생성 알고리즘 방법을 적용하여 그 결과를 도 39에서 보여준다.
다음으로 워핑 및 모핑에 대해서 설명한다. 워핑은 화소 별로 이동 정도를 다르게 할 수 있어서 고무판 위에 그려진 영상을 임의대로 구부리는 것과 같은 효과를 낼 수 있다. 이러한 왜곡을 가져올 수 있는 워핑은 어파인 변환을 나타내는 식 (13)에 x2,y2,x3,y3등과 같은 더 높은 차수 항을 첨가한 일반화된 다항식으로 표현된다. 워핑은 다항식 중의 가장 높은 차수에 따라 대개 몇 차 워핑이라고 부르며 차수가 높을수록 왜곡의 정도가 심해진다.
Figure 112008061488728-pat00022
(13)
예를 들어, 식(14)와 같은 다항식은 2차 워핑에 해당하며 직선을 곡선으로 구부리는 것과 같은 더 복잡한 왜곡을 만든다. 워핑을 하기 위해서는 먼저 입력 영상을 출력 영상으로 어떻게 변형할 것인지를 제어점이나 제어선 등으로 기술해야 한다. 따라서 많은 워핑 기술은 입력과 출력 영상으로 정합시켜 나간다. 예를 들어, 2차 워핑의 경우 결정해야 할 미지수가 12개가 있기 때문에, 여섯 개의 제어 점 좌표와 변위 정보를 식 (13)에 대입해 이 연립 방정식의 해를 구하는 식에 사용된 계수들을 결정할 수 있다.
Figure 112008061488728-pat00023
(14)
대부분의 경우 다항식 워핑은 너무 천천히 변하고 간단하기 때문에 만들고자 하는 복잡한 왜곡을 모델링하기 어렵다. 대안으로서 국부적으로 서로 다른 간단한 변환을 적용하는 구분 워핑을 쓰면 좋다. 이 방법의 장점은 영상의 어느 부분은 왜곡을 주지 않는 반면 다른 부분은 큰 폭으로 왜곡을 줄 수 있다.
모핑은 변형(metamorphosis)이라는 단어로부터 변형된 용어로서 워핑과 두 영상의 크로스-디졸브(cross-dissolve)로 구성된다. 워핑은 영상의 중요한 특징들을 좀 더 가깝게 정렬하기 위해 사용된다. 크로스-리졸브는 영상들이 서로 자연스럽게 융합하도록 도와준다. 모핑은 워핑되고, 융합된 영상들의 순차(sequence)로 구성된다. 중간 영상은 모핑 순차가 얼마나 좋은가를 보여주는 좋은 안내자이다. 만일 중간 영상이 좋으면 전체적인 순차가 좋게 보일 것이다. 모핑이라는 용어는 형태학(morphology)이라는 단어와 혼동하지 말아야 한다. 모핑은 앞에서 언급했던 대로 다른 영상과의 결합이다. 형태학은 영상 내의 객체들의 구조를 수정하기 위해 사용되는 연산들로 구성된 영상 처리의 한 분야이다.
2차원 모핑에는 두 가지 기본적인 방법이 있다. 전이 모핑과 왜곡 모핑이다. 전이 모핑은 한 영상을 두 번째 영상으로 모핑 하는데, 두 번째 영상을 목표로 하는 중간 영상들을 만들어 냄으로써 변형시킨다. 일반적으로 목표 영상은 입력된 첫 번째 영상과 전혀 다르다. 왜곡 모핑은 오직 한 영상만을 필요로 하고, 그 영상은 마치 고무종이 위에 그려진 것처럼 잡아당길 수도 있고, 밀어 넣을 수도 있다. 출력 영상은 원래 영상과 비슷하다.
메쉬 워프 알고리즘은 두 단계 알고리즘 부류에 속한다. 이러한 알고리즘은 첫 번째 단계에서 영상의 매행(row)을 따라 처리하며, 두 번째 단계에서 영상의 배열(column)을 따라 처리함으로써 결과를 획득한다. 하드웨어로 수행하는 많은 영상처리 알고리즘은 분리되어, 두 단계 알고리즘으로 수행된다. 이 알고리즘의 입력은 입력 영상과 출력 영상의 대응되는 조각(mesh)들 또한 제어 점의 배열을 요구한다. 입력 배열과 출력 배열은 1 대 1 정합을 하기 위해 같은 크기로 구성된다. 배열로 된 제어점들은 x와 y좌표로 구성된다.
워핑 처리 중에 입력 배열과 출력 배열간의 보간법에 의해 새로운 제어점 배열들이 만들어진다. 이러한 중간 배열들은 각각 워핑에 대해 목적 제어점으로 제공된다. 워핑 처리중에 자료점들은 제어점들 사이에서 보간 된다. 보간법은 간단한 선형 보간법에서부터 보다 복잡한 스플라인 함수까지 다양하다. 스플라인 함수는 점들을 보간하기 위한 다항식을 사용하지만, 여기서는 보간함수 보다는 스플라인이 라는 용어를 사용한다.
첫 번째 단계는 적절한 출력 열로 각 입력 화소를 이동시킨다. 이 처리의 첫 번째 단계는 제어점들의 각 열의 x좌표 값들에 대한 보간 함수를 적용시키는 것이다. 한 열에 한 가지 수직 스플라인을 적용하여 행해진다. 보간 함수를 사용함으로써 제어점들간의 중간점들이 생성될 수 있다. 이 좌표값들은 메쉬의 너비와 영상의 높이로 된 새로운 배열에 저장된다. 즉, 보간점의 y 좌표는 스플라인과 교차하는 각 행의 y좌표가 되고 x좌표는 제어점들의 x좌표 값과 스플라인 함수 값에 의하여 결정된다. 이 처리는 입력 메쉬와 출력 메쉬에 대해 수행된다. 새로운 배열을 생성하기 위해 여러 형태의 보간 함수가 사용될 수 있다. 많은 모핑 프로그램은 지역적 제어를 제공하는 Catmull-Rom 스플라인을 사용한다. 이 방법은 스플라인보다 간단하고 빠르다.
지금 매행마다 각 수직 제어선(제어점들의 열)과 일치하는 x좌표를 가지고 있다. 다음 단계는 입력 영상의 행을 재추출하는 것이다. 재추출은 출력 영상내의 각 화소의 각 화소에 대해 계산된 크기 요소에 의해 제어된다. 이러한 요소들은 다른 보간법에 의해 계산된다. 보간 함수에 대한 입력 값들은 입력 메쉬와 중간 메쉬로부터 계산된 x값이다. 입력 메쉬의 x좌표들은 독립변수로 그리고 중간 메쉬의 x좌표들을 종속 변수로 취급한다. 새로운 값들은 행 내의 각 화소들에서 보간 된다. 이렇게 새롭게 계산된 값들은 행을 재추출할 때, 크기 요소를 결정하기 위해 사용될 것이다.
재추출은 Fant 알고리즘을 사용하는데, 이 알고리즘은 행 또는 열만을 계산 하는 분리 알고리즘이다. 하나 또는 여러 개의 크기 요소가 제공되면, 알고리즘은 모든 입력 화소를 사용하여 입력 스트림을 재추출한다. 이것은 aliasing 문제를 감소시킨다. 이 알고리즘은 매우 간단하고, 간단한 크기 변화와 축적처리를 해준다. 입력 영상의 모든 행을 재추출하여 중간 영상이 생성되고 첫 번째 단계를 완성한다. 두 번째 단계는 첫 번째 단계와 매우 비슷하지만 행보다는 열에서 수행된다. 보간 스플라인은 입력과 출력 제어점들의 y값에 대해 적용된다. 보간된 좌표값들은 영상의 너비와 메쉬의 높이를 가진 배열에 저장된다. 이 두 배열은 열 내의 각 화소에 대한 규모 요소를 생성시키기 위한 보간함수에 대한 입력값으로 사용된다. 출력 영상의 각 열은 중간 영상으로부터 재추출된다.
워핑하는 각 프레임에 대해 우리는 마지막 영상으로 크로스-디졸브 할 필요가 있다. 이것은 중간 프레임 내의 화소와 마지막 프레임 내의 대응되는 화소를 가중치 평균함으로써 수행된다. 그 가중치들은 모핑의 완성도에 따라 계산된다. 입력 영상과 목표 영상으로 처리를 시작하므로, 필요한 가중치 집합의 수는 모핑 내의 프레임 수에서 2를 뺀 값이 된다.
이것은 전체적인 모핑 순서를 통해 일관적인 조화를 원하기 때문이다. 때때로 크로스-디졸브는 가운데 영상들에서만 수행된다. 입력 영상과 출력 영상간의 차이가 클 경우에는 중간 영상만을 크로스-디졸브 하는 것이 보다 좋은 결과를 가져올 것이다.
모핑시, 좀 더 부드러운 처리를 위해서 고려할 사항이 몇 가지 있다. 입력 영상과 목표 영상이 서로 비슷하다면 보다 쉽게 모핑을 할 수 있게 된다. 따라서 시작하기 전에 같은 방향으로 머리를 향하도록 하는 미러링 작업을 요구할 수 있다. 왜냐하면 두 개의 서로 다른 복잡한 영상에 대한 모핑은 매우 어렵기 때문이다. 입력 영상과 목표 영상은 비슷한 크기여야 하고, 따라서 모핑 전에 크기 조정 작업을 요구하게 된다. 모핑을 시작하기 전에 두 영상의 배경을 비슷하게 한다. 영상 편집을 통하여 배경을 완전히 제거하거나 두 영상 내의 배경을 같도록 만든다. 두 영상을 작업하는데 가장 쉬운 방법은 두 영상의 배경을 둘 다 제거하는 것이다. 그리고 원하는 배경을 선택하고 배경없이 모핑을 처리하고 결과 프레임에 선택된 배경을 재생시킨다.
일반적으로 보다 많은 제어점들(삼각형, 메쉬점, 기타)은 모핑 중에 사용되고, 이것들은 모핑을 좀 더 부드럽게 할 것이다.
본 발명은 위에서 설명한 얼굴특징 포인트 추출을 통한 자동 얼굴 아바타 생성 및 워핑 시스템 방법을 적용하여 그 결과를 보여준다.
모바일 시스템은 핸드폰으로 촬영된 사진을 특징자 별로 분석하여 사진에 맞는 아바타와 관상정보를 모바일 기기 이용자에게 제공하는 것이 모바일 부분의 궁극적인 목표이다. 특징자별 분석방법은 PC기반의 프로그램과 동일한 방법으로 얼굴형태, 눈썹, 눈, 코, 입 총 5개의 특징자로 구분하여 분석을 하며, 분석된 정보를 토대로 아바타 및 관상 정보를 모바일 기기 이용자에게 제공을 한다.
우선 모바일 기기에서 사진을 아바타 및 관상정보를 생성하는 서버에 전달 하고 전달받은 사진을 특징별로 분석, 분석된 정보를 이용하여 아바타 및 관상정보데이터베이스를 참조하여 아바타 및 관상 정보를 생성한 후 모바일 기기 이용자에 게 전달을 한다.
단순히 아바타 및 관상정보만 생성하기보다 아바타를 꾸미는 기능을 첨가하였다. 워핑 및 모핑 기능을 첨가하였는데. 모바일 기기에서 본 기능을 처리하기엔 많은 리소스의 필요로 별도의 왑 서버에 접속하여 아바타를 워핑 및 모핑을 할 수 있도록 하였다.
본 발명의 모바일 기반 전체 시스템 구성은 도 40과 같이 구성을 하였다.
시스템의 동작 상태는 정리하면 다음과 같다.
1. 모바일 기기로 사진을 촬영
2. 사진을 서버로 전달
3. 사진의 특징자 별로 분석
4. 특징자 분석 결과로 아바타 생성
5. 특징자 정보를 가지고 관상데이터 생성
6. 모바일 기기로 전달
7. 아바타의 워핑 및 모핑은 왑서버에 접속하여 이용
8. 워핑 및 모핑된 아바타를 모바일로 전송
으로 구성된다.
WIPI(Wireless Internet Platform for Interoperability)는 한국형 무선 인터넷 플랫폼이다. 무선 인터넷 플랫폼은 이동전화 단말기에서 퍼스널 컴퓨터의 운영체계와 같은 역할을 하는 기본 소프트웨어를 말한다. 즉, 핸드폰에 탑재되어 있는 OS위에서 다양한 컨텐츠를 구동시킬 수 있는 OS 같은 역할을 담당하는 소프트웨 어 WIPI는 세계의 각종 무선 인터넷 기술들을 벤치마킹하여 각종 무선 인터넷 플랫폼들의 장점을 포괄한 것이다. 현재 국내에 모든 핸드폰 기기는 WIPI 탑재가 의무가 되어 있다. WIPI의 플랫폼 구조는 도 41과 같이 구성되어 있다. WIPI 플랫폼은 도 41과 같이 구성이 되어 있으나 각 통신사별 별도의 API 및 기능이 추가되어 조금씩 다른 플랫폼을 가지고 있다. 본 발명에선 SKT-WIPI 플랫폼 기반으로 구현을 하였다. SKT-WIPI의 플랫폼은 도 42와 같은 구성으로 되어 있다.
WAP(Wireless Application Protocol)이란 무선으로 언제나 어디서나 인터넷을 접속할 수 있도록 해주는 서비스를 말한다. 초기 이동통신망에서 인터넷 서비스를 제공하기 위하여 Unwierd Planet 사에서는 HDTO, HDNK, Nokia에서는 TTML, Ericsson에서는 ITTP를 개발하는 등 업체마다 자체 기술을 개발하여 서로 호환이 되지 않았다. 이런 문제점을 해결하기 위해서 1997년 6월 Ericsson, Motorola, Nokia, Unwired Planet 4개사가 공통 규격을 제정하기로 하고 WAP 포럼을 결성하였다.
WAP은 WML(Wilress Markup Language)라는 XML을 기반으로 하는 마크업 언어를 기본으로 문서를 작성한다. WAP 모델은 일반 홈페이지 프로토콜인 HTTP와 유사하다. 하지만 휴대 단말기와 인터넷 서버 사이에 WAP gateway가 존재한다. WAP gateway는 WAP 프로토콜과 인터넷 TCP/IP 프로토콜을 중간에 변환해준다. 즉, 모든 단말기의 인터넷 서비스 요구는 WAP gateway를 거치도록 되어 있고, Gateway는 WAP 프로토콜에 따라 요청받은 서비스를 기존 인터넷 유선망을 통해 다시 서버에 요청한다. 이어서 Gateway가 인터넷 서버로부터 응답을 받고 다시 서비스를 최초 요청 했던 단말기에게 WAP 프로토콜로 전송함으로써 모든 과정이 이루어진다. WAP Gateway는 WAP 프로토콜인 WSP를 HTTP로 변환하고, 데이터를 부호화해서 서버에게 넘기고 복호화해서 클라이언트에 넘기고, 특정 서비스에 접속 못하게 하는 접근 제어 및 보안 설정 작업을 담당한다. Gateway의 변환과정을 통해 종단간의 보안이 떨어진다. 도 43은 WAP 서비스 동작 상태를 도시하고 있다. 도 44는 왑으로 구현된 구글의 화면을 도시하고 있다.
아바타 및 관상 데이터 생성 프로그램의 시스템 구성은 도 40과 같이 구성이 되며, 시스템 구성으론 휴대폰 단말기, 아바타 및 관상 데이터를 생성하는 서버, 아바타 데이터베이스, 관상 데이터베이스, 왑서버로 구성이 된다. 여러 개의 서버로 분산하여 구성하기에 복잡성 때문에 아바타 및 관상 정보를 생성하는 서버에 아바타 데이터베이스와 관상 데이터베이스, 왑서버를 같이 구성을 하였으며, 현재 CP 권한을 갖지 못하여 핸드폰 단말기를 대신하여 SKT SDK인 XCE사의 WIPI 2.0 SDK와 카메라 테스트를 위하여 KTF의 SDK를 같이 이용하여 본 프로그램을 개발 하였다. 도 45는 아바타 생성 프로그램 메뉴를 도시하고 있다.
핸드폰에 탑재될 모바일 프로그램은 WIPI 기반의 Jlet으로 개발이 되었으며, 크게 4가지의 메뉴로 나누어진다. 각각의 메뉴별 기능은 다음과 같다.
1. 사진 찍기 - 핸드폰에 내장된 카메라를 이용하여 사진을 찍음
2. 관상정보 보기 - 사진을 서버에 전송, 생성된 관상데이터를 보여줌
3. 아바타 보기 - 서버에서 전송된 아바타 갤러리
4. 아바타 꾸미기 - 서버에서 전송된 아바타를 워핑 & 모핑
위 4가지의 메뉴의 기능을 위하여 핸드폰 내의 카메라 컨트롤이 되어야 하고, 서버와 사진을 주고 받아야 하기 때문에 네트워크 환경이 되어야된다. 그리고 서버에서 수신된 아바타를 보기 위해선 데이터베이스를 검색 및 색출해야되며 아바타 꾸미기를 위해선 왑 서버에 접속하여 사전에 등록된 사진으로 생성된 아바타를 워핑 및 모핑을 하고 이를 핸드폰에 다운로드 할 수 있다. 이와 같이 워핑과 모핑은 핸드폰 자체에서 이루어지기엔 핸드폰의 리소스 문제로 왑 서버에서 이루어지도록 설계되었다.
우선 핸드폰에서 아바타의 크기가 얼마의 크기일 때 최적의 환경에서 보여지게 되는지 실험을 하였다. 아바타 크기 테스트는 도 46과 같이 5가지의 경우의 크기로 하여 핸드폰에 직접 넣어서 확인해 보았다. 아바타 크기는 각각 240x320, 192x256, 175x233, 144x192, 120x160 크기로 테스트해 보았다. 도 46은 아바타의 핸드폰에 가장 적합한 해상도 실험을 도시하고 있다. 이 실험으로 모바일에서 가장 적합한 해상도는 144x192 크기를 사용하기로 결정하였다. 웹서비스는 192x256 사이즈의 아바타를 이용하기로 하였다.
핸드폰 카메라를 이용하기 위해선 각 단말기마다 서로 다른 카메라가 설치되어 있고 각 회사별로 다른 OEM API를 제공한다. 우선 SKT 기반의 API를 사용하기 위해선 CP 등급이 필요하여, 범용적인 일반 컴퓨터 캠을 이용하기로 하였다. 컴퓨터로 캠을 사용하여 캠의 영상이 나오는 것을 확인할 수 있는 SDK는 현재 KTF의 SDK만 지원이 되어 이 실험은 KTF WIPI1.2 SDK를 이용하여 실험을 하였다.
카메라를 이용하기 위해서 가장 기본적으로 카메라를 초기화하고 카메라의 동작이 시작되면 카메라의 영상을 확인하기 위해서 미리 보기가 되어야 한다. 그리고 사진을 촬영 및 저장할 수 있도록 하였다. 카메라에서 지원되는 사진 포맷은 Jpeg로 선언하였다. 이 파일을 서버에 전달하면 서버에선 영상 분을 위해 BMP 형식으로 변환하여 특징자 별로 추출을 한다. 도 47에서 결과를 보여준다. 도 47은 캠 영상을 에뮬레이터에서 보여주는 실험을 도시하고 있다.
서버와 통신이 이루어지기 위하여 WIPI에선 도 48에서와 같이 다양한 프로토콜을 제공한다. 하지만 데이터 무결성을 보장하기 위하여 TCP 프로토콜을 이용하여 서버와 연결하도록 하였다. 도 48은 통신 방식 및 접속 문자열을 도시하고 있다. 통신 접속 단계는 도 49와 같이 1단계에서 7단계로 나누어진다. 도 49는 통신 접속 단계를 도시하고 있다.
WIPI상에서의 데이터베이스는 MIDlet의 RMS의 문제점을 보완하였으며, 데이터베이스 생성시 레코드 크기를 지정하여, 항상 동일한 레코드가 증가할 수 있다. 또 RMS와 달리 삭제된 레코드 ID를 재사용할 수 있으며, RFS를 효율적으로 사용한다. 실제 레코드에 들어가는 데이터는 byte Array 형태로 나타나며 대부분은 MIDlet의 RMS와 동일한 특성을 가진다. 도 50은 WIPI상의 레코드 저장 구조를 도시하고 있다. 하지만 이런 데이터베이스 방식으로 방대한 아바타의 정보와 관상정보를 관리할 수 없고 단순히 어떤 정보를 열람했는지 만을 알 수 있어 관상정보와 아바타 정보는 따로 서버를 두어 서버에 접속하여 따로 데이터를 열람할 수 있도록 하였다.
워핑과 모핑을 위해 PC기반의 아바타 추출 홈페이지를 기반으로 기능을 간략 화하여 왑서버를 구현하였다. Windows 2003 Server 운영체제에 IIS 서버를 올려 왑이 구현 되도록 연동을 하였다. 왑 페이지의 워핑이나 모핑 기능을 PHP로 구현을 하였다. 도 51은 IIS 설정 화면이고 도 52는 IIS에 PHP 설정화면이다. 왑 서버를 구축한 후 왑 에뮬레이터 상에서 정상적으로 서비스되는지 확인을 하였다. 왑 서버 페이지는 3페이지로 구성을 하였으며 왑 에뮬레이터에서의 동작 화면은 도 53에 도시되어 있다. 도 53은 왑 에뮬레이터에서 왑 페이지 구현 화면을 도시하고 있다. 도 54는 얼굴 특징점 추출을 이용하여 아바타 생성과 관상정보를 보여주는 것을 도시하고 있다. 도 55는 생성된 아바타에 워핑을 적용한 결과를 도시하고 있다. 도 56은 두 영상에 모핑을 적용한 결과를 도시하고 있다.
이상에서 설명한 내용을 통해 본업에 종사하는 당업자라면 본 발명의 기술사상을 이탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능한 것을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 실시 예에 기재된 내용만으로 한정되는 것이 아니라 특허청구범위에 의하여 정해져야 한다.
도 1은 서로 다른 배경의 객체（첫 번째 이미지는 원 이미지 ; 두 이미지는 Cr sub-Color 이미지, 세 번째 이미지는 Cr - gray 값의 히스토그램이다.)를 도시하고 있고 (a)는 간단한 배경 (b)는 복합 배경 (c)는 작게 분리된 배경의 객체를 도시하고 있다.
도 2는 알고리즘 처리 모델링을 도시하고 있다.
도 3은 얼굴 영역과 히스토그램의 3가지 Cr 이미지(첫번째 이미지는 원 이미지; 두 번째는 Cr sub-color 영역의 이미지; 세 번째는 Cr gray 값을 나타내는 히스토그램)를 도시하고 있다. (a)는 백인종 (b)는 흑인종 (c)는 황인종이다.
도 4는 얼굴 영역 검출 후 결과(첫 번째는 원 이미지 ; 두 번째는 Cr sub-color 이미지 ; 세 번째는 검출된 얼굴 영역)를 도시하고 있다. (a)는 백인종 (b)는 흑인종 (c)는 황인종이다.
도 5는 입의 특징 이미지 및 사전 조작 이미지를 도시하고 있다. (a)는 얼굴 영역 이미지 (b)는 얼굴영역 Cr 이미지 (c)는 얼굴 영역 Cb 이미지 (d)는 전처리된 입의 특징 이미지이다.
도 6은 왼쪽 눈 검출 결과를 도시하고 있다. (a)는 잘라낸 왼쪽 눈의 Cr 영역 (b)는 잘라낸 Y축의 역방향 영역 (c)는 눈 영역 마스크 이미지이다.
도 7은 눈썹 검출 결과를 도시하고 있다.
도 8은 코 검출 결과를 도시하고 있다.
도 9는 얼굴특징자 포인트를 도시하고 있다.
도 10은 입 모양 특징자 포인트를 도시하고 있다.
도 11은 눈 모양의 특징자 포인트를 도시하고 있다.
도 12는 눈썹모양의 특징자 포인트를 도시하고 있다.
도 13은 코 모양의 특징자 포인트를 도시하고 있다.
도 14는 얼굴 형태 분류 요소를 도시하고 있다.
도 15는 얼굴 특징점 검출 및 아바타 생성 결과를 도시하고 있다. (a)는 남성 (b)는 여성의 예를 도시하고 있다.
도 16은 입의 아바타 형태를 도시하고 있다.
도 17은 입 꼬리 형태 분류 흐름도를 도시하고 있다.
도 18은 입술 형태 분류와 아바타 생성 결과를 나타낸 것이다. (a)는 남성 (b)는 여성이다.
도 19는 눈 아바타 형태를 도시하고 있다.
도 20은 눈 모양 분류 및 아바타 생성 결과를 도시하고 있고 (a)는 남성 (b)는 여성이다.
도 21은 눈썹 아바타 형태를 도시하고 있다.
도 22는 눈썹 모양 분류 및 아바타 생성 결과를 도시하고 있고 (a)는 남성 (b)는 여성이다.
도 23은 코 아바타 형태를 도시하고 있다.
도 24는 코 모양 분류 및 아바타 생성 결과를 도시하고 있고 (a)는 남성 (b)는 여성이다.
도 25는 각 영역별 아바타의 분류를 도시하고 있다.
도 26은 남성의 얼굴 분류를 도시되어 있다.
도 27은 여성의 얼굴 분류가 도시되어 있다.
도 28은 관상학적으로 분류된 입술 모양을 도시하고 있다.
도 29는 남자의 입술모양의 아바타를 도시하고 있다.
도 30은 여자의 입술모양의 아바타를 도시하고 있다.
도 31은 관상학적으로 분류된 눈형태를 도시하고 있다.
도 32는 남자의 눈모양의 아바타를 도시하고 있다.
도 33은 여자의 눈모양의 아바타를 도시하고 있다.
도 34는 관상학적으로 분류된 12가지 눈썹 형태를 도시하고 있다.
도 35는 남자의 눈썹 형태의 아바타를 도시하고 있다.
도 36은 여자의 눈썹 형태의 아바타를 도시하고 있다.
도 37은 남자의 코 형태의 아바타를 도시하고 있다.
도 38은 여자의 코 형태의 아바타를 도시하고 있다.
도 39는 특징자 포인트 추출후 아바타 생성과정을 도시하고 있다.
도 40은 본 발명의 모바일 기반 전체 시스템 구성을 도시하고 있다.
도 41은 WIPI의 플랫폼 구조를 도시하고 있다.
도 42는 SKT-WIPI의 플랫폼의 구조를 도시하고 있다.
도 43은 WAP 서비스 동작 상태를 도시하고 있다.
도 44는 왑으로 구현된 구글의 화면을 도시하고 있다.
도 45는 아바타 생성 프로그램 메뉴를 도시하고 있다.
도 46은 아바타의 핸드폰에 가장 적합한 해상도 실험을 도시하고 있다.
도 47은 캠영상을 에뮬레이터에서 보여주는 실험을 도시하고 있다.
도 48은 통신 방식 및 접속 문자열을 도시하고 있다.
도 49는 통신 접속단계를 도시하고 있다.
도 50은 WIPI상의 레코드 저장 구조를 도시하고 있다.
도 51은 IIS 설정 화면을 도시하고 있다.
도 52는 IIS에 PHP 설정화면을 도시하고 있다.
도 53은 왑 에뮬레이터에서 왑 페이지 구현 화면을 도시하고 있다.
도 54는 얼굴 특징점 추출을 이용하여 아바타 생성과 관상정보를 보여주는 것을 도시하고 있다.
도 55는 생성된 아바타에 워핑을 적용한 결과를 도시하고 있다.
도 56은 두 영상에 모핑을 적용한 결과를 도시하고 있다.
도 57은 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템의 구성도를 도시하고 있다.
도 58은 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법을 도시하고 있다.
< 도면의 주요 부호에 대한 설명 >
100 : 서버
110 : 얼굴특징자추출부
120 : 얼굴관상해석부
130 : 아바타생성부
200 : 왑서버
300 : 아바타 데이터베이스
400 : 관상 데이터베이스
500 : 통신망
600 : 단말기

Claims (7)

  1. 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법에 있어서,
    단말기가 영상입력수단을 이용하여 얼굴영상을 입력받는 단계와;
    상기 단말기가 서버에 통신망을 이용하여 상기 얼굴영상을 전달하는 단계와;
    상기 서버에서 상기 얼굴영상에서 얼굴구성요소의 위치 규칙과 YCbCr 색공간의 Cr의 그레이 이미지를 사용하고, 피부색별로 각각 다른 중량값을 적용하여 얼굴영역을 검출하는 단계와;
    상기 서버에서 검출된 상기 얼굴영역에서 얼굴의 기하학적 형태를 분석하여 YCbCr 색공간 중 Cr 영역을 이용하여 눈, 눈썹, 코, 입 및 얼굴형태 등을 포함하는 얼굴구성요소의 얼굴특징자들을 추출하는 단계와;
    상기 서버에서 추출된 상기 얼굴특징자들의 형태를 영상처리 알고리즘을 이용하여 분류하는 단계와;
    상기 서버에서 분류된 얼굴특징자들의 특징자 형태를 분석하여 얼굴정보를 인식하고 저장하는 단계와;
    상기 서버에서 저장된 상기 얼굴정보와 미리 저장되어 있는 관상 데이터베이스를 비교하여 얼굴구성요소 분포에 따른 얼굴관상정보를 추출하는 단계와;
    상기 서버에서 상기 얼굴 관상정보와 관련된 얼굴 아바타를 생성하는 단계를 포함하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법.
  2. 청구항 1에 있어서,
    상기 서버에서 얼굴관상정보와 생성된 아바타를 상기 단말기로 전송하는 단계와;
    상기 단말기에서 상기 아바타를 왑서버에 전송하는 단계와;
    상기 왑서버에서 상기 아바타를 워핑 및 모핑시키는 단계와;
    상기 왑서버에서 워핑 및 모핑된 아바타를 단말기로 전송하는 단계를 더 포함하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법.
  3. 청구항 1 또는 2에 있어서,
    상기 얼굴영역을 검출하는 단계는, 식 (1), (2) 및 (3)을 이용하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법.
    Figure 112011024645670-pat00086
    (1)
    Figure 112011024645670-pat00087
    (2)
    Figure 112011024645670-pat00088
    (3)
    여기에서 ImMask는 마스크 이미지를 위한 심볼, ImOrig는 원 이미지를 위한 심볼, ImFace는 얼굴 영역 이미지를 위한 심볼을 의미하고, w는 서로 다른 피부색을 위한 중량값임
  4. 청구항 1 또는 2에 있어서,
    상기 단말기는,
    휴대폰, 노트북, PC, PDA 중 어느 하나인 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성방법.
  5. 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템에 있어서,
    영상입력수단을 구비하고 상기 영상입력수단을 이용하여 얼굴영상을 입력받기 위한 단말기와;
    상기 단말기로부터 전송되는 상기 얼굴영상에서 얼굴구성요소의 위치 규칙과 YCbCr 색공간의 Cr의 그레이 이미지를 사용하고, 피부색별로 각각 다른 중량값을 적용하여 얼굴영역을 검출하고, 검출된 상기 얼굴영역에서 얼굴의 기하학적 형태를 분석하여 YCbCr 색공간 중 Cr 영역을 이용하여 눈, 눈썹, 코, 입 및 얼굴형태 등을 포함하는 얼굴구성요소의 얼굴특징자들을 추출하기 위한 얼굴특징자추출부와, 상기 얼굴특징자추출부에서 추출된 상기 얼굴특징자들의 형태를 영상처리 알고리즘을 이용하여 분류하고, 분류된 얼굴특징자들의 특징자 형태를 분석하여 얼굴정보를 인식하고, 인식된 얼굴 정보를 관상데이터베이스에서 조회하여 얼굴관상정보를 추출하기 위한 얼굴관상해석부와, 상기 얼굴관상정보를 기초로 아바타를 생성하기 위한 아바타 생성부를 포함하고 상기 추출된 얼굴관상정보 및 생성된 아바타를 상기 단말기로 전송하기 위한 서버와;
    상기 서버에 접속되고, 아바타 정보를 저장하는 아바타 데이터베이스와;
    상기 서버에 접속되고, 관상정보를 저장하는 관상 데이터베이스와;
    상기 단말기로부터 상기 아바타를 수신하여 워핑 및 모핑시키는 왑서버를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템.
  6. 청구항 5에 있어서,
    상기 얼굴특징자추출부는,
    식 (1),(2) 및 (3)을 이용하여 얼굴영역을 추출하는 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템.
    Figure 112011024645670-pat00089
    (1)
    Figure 112011024645670-pat00090
    (2)
    Figure 112011024645670-pat00091
    (3)
    여기에서 ImMask는 마스크 이미지를 위한 심볼, ImOrig는 원 이미지를 위한 심볼, ImFace는 얼굴 영역 이미지를 위한 심볼을 의미하고, w는 서로 다른 피부색을 위한 중량값임
  7. 청구항 5에 있어서,
    상기 단말기는,
    휴대폰, 노트북, PC, PDA 중 어느 하나인 것을 특징으로 하는 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템.
KR1020080084591A 2008-08-28 2008-08-28 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템 KR101081494B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080084591A KR101081494B1 (ko) 2008-08-28 2008-08-28 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080084591A KR101081494B1 (ko) 2008-08-28 2008-08-28 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템

Publications (2)

Publication Number Publication Date
KR20100025862A KR20100025862A (ko) 2010-03-10
KR101081494B1 true KR101081494B1 (ko) 2011-11-09

Family

ID=42177275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080084591A KR101081494B1 (ko) 2008-08-28 2008-08-28 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템

Country Status (1)

Country Link
KR (1) KR101081494B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198850A1 (ko) * 2018-04-13 2019-10-17 라인플러스 주식회사 사람의 얼굴을 이용한 동물 형상의 아바타를 생성하는 방법 및 시스템
KR20230091504A (ko) 2021-12-16 2023-06-23 (주)에이알씨엔에스 환자의 임상정보를 이용한 가상환자 아바타 자동 생성 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110257985A1 (en) * 2010-04-14 2011-10-20 Boris Goldstein Method and System for Facial Recognition Applications including Avatar Support
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR101445263B1 (ko) * 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
KR102136311B1 (ko) * 2020-01-03 2020-07-21 주식회사 젤리펀치 스마트 미러 양방향 인터랙티브 인포메이션 시스템
KR102647730B1 (ko) 2021-07-26 2024-03-14 서울대학교병원 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
KR20230082776A (ko) * 2021-12-02 2023-06-09 주식회사 행파이브 관상 정보 기반 사용자 선택 컨텐츠 정보 제공방법, 그 서버 및 어플리케이션
KR102543427B1 (ko) * 2022-05-19 2023-06-14 박정신 안면의 특징점을 이용한 안면 분석 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198850A1 (ko) * 2018-04-13 2019-10-17 라인플러스 주식회사 사람의 얼굴을 이용한 동물 형상의 아바타를 생성하는 방법 및 시스템
US11574430B2 (en) 2018-04-13 2023-02-07 LINE Plus Corporation Method and system for creating animal type avatar using human face
KR20230091504A (ko) 2021-12-16 2023-06-23 (주)에이알씨엔에스 환자의 임상정보를 이용한 가상환자 아바타 자동 생성 방법

Also Published As

Publication number Publication date
KR20100025862A (ko) 2010-03-10

Similar Documents

Publication Publication Date Title
KR101081494B1 (ko) 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
US11410457B2 (en) Face reenactment
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
US7764828B2 (en) Method, apparatus, and computer program for processing image
Baskan et al. Projection based method for segmentation of human face and its evaluation
KR102124466B1 (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
US20220351390A1 (en) Method for generating motion capture data, electronic device and storage medium
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN101098241A (zh) 虚拟形象实现方法及其系统
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN110555896A (zh) 一种图像生成方法、装置以及存储介质
KR102316165B1 (ko) 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
JP2000207489A (ja) 文字抽出方法、装置および記録媒体
CN115115740A (zh) 思维导图识别方法、装置、设备、介质及程序产品
KR102118937B1 (ko) 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN112866577A (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN112101479B (zh) 一种发型识别方法及装置
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN115082992A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
KR20070095112A (ko) 윤곽선 추출을 통한 캐리커쳐 생성 시스템 및 방법
JP2022522429A (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法
KR20070096621A (ko) 음영판을 이용한 캐리커쳐 생성 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161101

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 7