KR101733512B1 - 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 - Google Patents

얼굴 특징 기반의 가상 체험 시스템 및 그 방법 Download PDF

Info

Publication number
KR101733512B1
KR101733512B1 KR1020100132549A KR20100132549A KR101733512B1 KR 101733512 B1 KR101733512 B1 KR 101733512B1 KR 1020100132549 A KR1020100132549 A KR 1020100132549A KR 20100132549 A KR20100132549 A KR 20100132549A KR 101733512 B1 KR101733512 B1 KR 101733512B1
Authority
KR
South Korea
Prior art keywords
face
feature point
virtual
face region
user
Prior art date
Application number
KR1020100132549A
Other languages
English (en)
Other versions
KR20120070985A (ko
Inventor
나승원
박주리
강형모
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100132549A priority Critical patent/KR101733512B1/ko
Publication of KR20120070985A publication Critical patent/KR20120070985A/ko
Application granted granted Critical
Publication of KR101733512B1 publication Critical patent/KR101733512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하고, 사용자에 의해 선택된 가상 객체를 얼굴 영역에 정합하고 사용자에 의해 결정된 가상 객체의 속성에 따라 정합된 가상 객체를 렌더링 함으로써 사용자의 조작 없이도 최적의 가상 체험 영상을 생성할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것이다.

Description

얼굴 특징 기반의 가상 체험 시스템 및 그 방법{VIRTUAL EXPERIENCE SYSTEM BASED ON FACIAL FEATURE AND METHOD THEREFORE}
본 발명은 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자에 의해 선택된 가상 객체 및 가상 객체의 속성에 따라 가상 객체의 속성이 적용된 가상 객체를 사용자 영상의 얼굴 영역에 정합 및 렌더링 하여 가상 체험 영상을 생성할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것이다.
사용자는 휴대 단말기를 이용하여 음성 통신을 수행할 뿐만 아니라 무선 인터넷(Wireless Internet)에 접속하여 다양한 멀티미디어 데이터 서비스를 제공받고 있다.
무선 인터넷의 발전에 따라 휴대 단말기를 이용한 가상 체험 서비스가 확대되고 있다. 가상 체험 서비스에는 얼굴 및 패턴 추출 기반의 각종 추천 서비스, 뷰티(Beauty) 서비스, 맵(Map) 정보가 연계된 증강현실 서비스 등이 있다.
종래 가상 체험 서비스를 제공 받을 때, 사용자는 수동으로 사용자 영상이나 가상 객체의 위치 또는 방향을 조정하거나 크기를 변경해야 자신에게 맞는 가상 체험 영상을 얻을 수 있었다. 따라서 자신에게 맞는 가상 체험 서비스를 받기 위해서 사용자가 많은 시간과 노력을 소비해야 하는 문제점이 있었다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 가상 체험 서비스를 받을 때 사용자의 특별한 조작 없이도 간단하고 편리하게 사용자에게 최적화된 가상 체험 서비스를 제공할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
이를 위하여, 본 발명의 제1 측면에 따른 시스템은 사용자 영상을 통신망을 통해 전송하고 가상 객체 및 가상 객체의 속성을 선택하는 사용자 단말과, 상기 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하고 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 정합하고 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 장치를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따른 장치는 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부; 상기 사용자 단말에 의해 선택된 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부; 및 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따른 사용자 단말은 사용자를 촬영하여 사용자 영상을 획득하고 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기; 상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기; 및 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기를 포함하는 것을 특징으로 한다.
본 발명의 제4 측면에 따른 방법은 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 것을 특징으로 한다.
본 발명의 제5 측면에 따른 사용자 단말에서의 방법은 사용자를 촬영하여 사용자 영상을 획득하는 사용자 영상 획득 단계; 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 선택된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 사용자가 가상 체험 서비스를 받을 때 특별한 조작 없이도 간단하고 편리하게 최적화된 가상 체험 서비스를 받을 수 있는 효과가 있다.
또한 본 발명에 따르면, 얼굴 특징 기반의 가상 체험 서비스를 받을 때 사용자 영상과 가상 객체가 자동 정합 및 렌더링 됨으로써 사용자 입장에서 단순히 원하는 가상 객체를 선택하는 동작만으로 최적의 가상 체험 영상을 제공 받을 수 있는 효과가 있다.
도 1은 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템의 구성도.
도 2는 본 발명에 따른 얼굴 특징 기반의 가상 체험 과정에 대한 설명도.
도 3은 본 발명에 따른 얼굴 영역 검출 과정에 대한 설명도.
도 4는 본 발명에 따른 가상 체험 서비스의 사용자 인터페이스를 나타낸 도면.
도 5는 본 발명에 따른 얼굴 특징 기반의 가상 체험을 위한 사용자 단말의 구성도.
도 6은 본 발명에 따른 얼굴 특징 기반의 가상 체험 방법의 순서도.
도 7은 본 발명에 따른 사용자 단말에서의 얼굴 특징 기반의 가상 체험 과정의 순서도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명의 실시 예를 설명하기에 앞서 본 발명의 실시 예에서 사용되는 용어를 다음과 같이 정의하기로 한다.
가상 객체란 사용자 영상에 정합되어 렌더링 되는 객체를 의미한다. 가상 객체는 사용자에 의해 선택된다. 가상 객체에는 헤어 스타일 객체 또는 메이크업 객체가 포함될 수 있다. 헤어 스타일 객체는 롱 헤어 스타일 객체, 미디엄 헤어 스타일 객체, 쇼트 헤어 스타일 객체 등을 포함할 수 있다. 메이크업 객체는 블러셔 객체, 아이새도우 객체, 파운데이션 객체, 립라이너 객체 등을 포함할 수 있다.
가상 객체의 속성이란 헤어 스타일 객체 또는 메이크업 객체의 색상을 말한다.
가상 체험 영상이란 사용자에 의해 선택된 가상 객체가 얼굴 영역에 정합되어 렌더링 된 영상을 말한다. 가상 체험 영상에 포함된 가상 객체 또는 가상 객체의 속성은 사용자에 의해 결정될 수 있다.
정합이란 사용자 영상에서 가상 객체의 위치나 크기 등을 얼굴 영역의 얼굴 특징점에 맞게 위치시키는 과정을 말한다.
렌더링이란 사용자 영상에 정합된 가상 객체를 실제 위치시켜 가상 체험 영상을 생성하는 과정을 말한다.
도 1은 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템의 구성도이다.
도 1에 도시된 바와 같이, 가상 체험 시스템(10)은 사용자 단말(101)과 통신망에 연결된 가상 체험 장치(100)를 포함한다. 가상 체험 장치(100)는 얼굴 검출부(110), 얼굴 특징점 추출부(120), 가상 피팅부(130), 가상 체험 영상 생성부(140), 얼굴 DB(150), 헤어 DB(160), 메이크업 DB(170) 등을 포함한다.
이하, 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.
사용자 단말(101)은 사용자를 촬영하여 사용자 영상을 획득하고, 그 획득된 사용자 영상을 통신망을 통해 가상 체험 장치(100)로 전송한다. 사용자 단말(101)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정되는 것은 아니다. 영상 촬영 모듈은 컴퓨터 등의 기기에 연결되는 카메라 또는 웹 캠(web-cam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.
사용자 단말(101)은 가상 객체를 선택하고 가상 객체의 속성을 결정한다. 사용자 단말(101)은 가상 체험 장치(100)로부터 가상 체험 영상을 수신하여 사용자에게 표시한다. 사용자 단말(101)은 헤어 DB(160)에 저장된 헤어 스타일 객체 또는 메이크업 DB(170)에 저장된 메이크업 객체를 선택하고, 헤어 스타일 객체 또는 메이크업 객체의 속성을 결정할 수 있다.
가상 체험 장치(100)는 사용자 단말(101)로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.
가상 체험 장치(100)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하고, 사용자 단말(101)에 의해 결정된 가상 객체의 속성에 따라 가상 체험 영상을 생성하여 사용자 단말(101)로 전송한다.
가상 체험 장치(100)의 구성요소 각각에 대하여 상세하게 살펴보기로 한다.
얼굴 검출부(110)는 사용자 단말(101)로부터 수신한 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다.
얼굴 특징점 추출부(120)는 얼굴 검출부(110)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.
가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 추출부(120)에서 추출된 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다.
가상 체험 영상 생성부(140)는 사용자 단말(101)에 의해 결정된 가상 객체의 속성에 따라 상기 가상 피팅부(130)에서 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성한다.
얼굴 DB(150)는 얼굴 검출 파라미터, 얼굴 영역 정보 및 얼굴 특징점 정보를 저장한다.
헤어 DB(160)는 헤어 스타일 객체 및 헤어 스타일 객체의 속성을 저장한다. 헤어 스타일 객체 및 속성은 주기적으로 갱신될 수 있다.
메이크업 DB(170)는 메이크업 객체 및 메이크업 객체의 속성을 저장한다. 메이크업 객체 및 속성은 주기적으로 갱신될 수 있다.
도 2는 본 발명에 따른 얼굴 특징 기반의 가상 체험 과정을 나타낸 것이다.
도 2를 참조하면, 얼굴 검출부(110)는 사용자 단말(101)로부터 수신된 사용자 영상(201)에서 피부색, 동공, 윤곽선, 배경 등과 관련된 얼굴 검출 파라미터를 추출하고 그 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출한다(S10). 도면부호 202는 사용자 영상(201)에서 얼굴 영역을 검출한 것을 나타낸다.
얼굴 특징점 추출부(120)는 얼굴 검출부(110)에서 검출된 얼굴 영역에서 에지 정보, 색상 정보, 꼭지점 정보 등의 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S20). 얼굴 특징점 정보에는 눈 특징점, 눈썹 특징점, 얼굴 윤곽선 특징점, 코 특징점, 입 특징점, 턱 특징점 등이 포함될 수 있다. 도면부호 203은 얼굴 영역에서 얼굴 특징점 정보를 추출한 것을 나타낸 것이다. 얼굴 영역에서 추출되는 얼굴 특징점 정보에 대해서는 도 4에서 보다 상세히 설명하기로 한다.
가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 헤어 스타일 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S30). 가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 헤어 스타일 객체를 렌더링 하여 가상 체험 영상을 생성한다. 도면부호 205는 헤어 스타일 객체가 적용된 가상 체험 영상을 나타낸 것이다.
가상 체험 영상 생성부(140)는 사용자 단말(101)로부터 헤어 스타일 객체의 속성을 입력 받아 헤어 스타일 객체의 속성이 적용된 가상 체험 영상을 생성한다. 도면 부호 206은 헤어 컬러가 적용된 가상 체험 영상을 나타낸 것이다.
가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 메이크업 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S40). 가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 메이크업 객체를 렌더링 하여 가상 체험 영상을 생성한다. 도면부호 207은 메이크업 객체가 적용된 가상 체험 영상을 나타낸 것이다.
사용자 단말(101)이 메이크업 객체를 구성하는 블러셔 객체, 아이새도우 객체, 파운데이션 객체, 립라이너 객체 중 어느 하나를 선택하면 가상 피팅부(130)는 해당 객체를 얼굴 영역에 정합시키고, 가상 체험 영상 생성부(140)는 정합된 해당 객체와 그 속성에 따라 가상 체험 영상을 생성한다.
도 3은 본 발명에 따른 얼굴 영역 검출 과정을 설명하기 위한 것이다.
도 3을 참조하면, 얼굴 검출부(110)는 얼굴 영역을 검출하기 위하여 사용자 영상(201)에서 얼굴 검출 파라미터를 추출한다.
얼굴 검출부(110)는 피부색 파라미터, 동공 파라미터, 윤곽선 파라미터 또는 배경 파라미터를 추출하여 얼굴 영역을 검출할 수 있다.
이를 위해, 얼굴 검출부(110)는 사용자 영상(201)에서 차이 영상(Difference Image) 분석(301), 노이즈 필터링(Noise Filtering)(302), X-Y 축 프로텍션(X-Y Axis Protection)(303), 휴 도메인(Hue Domain) 분석(304), 히스토그램 스트레칭(Histogram Stretching)(305), 연결 컴포넌트 분석(Connected Component Analysis)(306), 사이즈(Size)/조명(Luminance)/ 회전(Rotation) 분석(307) 등을 수행하여 사용자의 얼굴 검출 파라미터를 추출할 수 있다.
도 4는 본 발명에 따른 가상 체험 서비스의 사용자 인터페이스를 나타낸 것이다.
도 4에 도시된 바와 같이, 가상 체험 장치(100)는 사용자 영상(201)의 확대 및 축소 기능, 헤어 스타일 숨기기 기능, 이전(Before) 사진 비교 기능, 모두 지우기 기능, 사진 바꾸기 기능, 마이 앨범 저장 기능, 이메일 보내기 기능, 소셜네트워킹 기능, 헤어 스타일 결정 기능, 메이크업 결정 기능 등을 포함하는 사용자 인터페이스를 사용자 단말(101)에 제공할 수 있다. 사용자 단말(101)은 사용자 인터페이스를 통해 헤어 스타일 및 헤어 색상을 결정하거나 가상 메이크업 및 메이크업 색상을 결정할 수 있다.
도 4의 사용자 인터페이스에서, 사용자 영상(201)의 얼굴 영역에 눈 특징점(401), 눈썹 특징점(402), 얼굴 윤곽선 특징점(403), 코 특징점(404), 입 특징점(405), 턱 특징점(406) 등이 표시되어 있다.
얼굴 특징점 추출부(120)는 사용자 영상(201)의 얼굴 영역에서 동공의 RGB 색상 정보와 눈 주변의 에지 정보로부터 눈 특징점(401)을 추출할 수 있다.
얼굴 특징점 추출부(120)는 피부와 대비되는 눈썹의 검은 색상에 대응하는 RGB 색상 정보를 이용하여 눈썹 특징점(402)을 추출할 수 있다.
얼굴 특징점 추출부(120)는 얼굴 옆면의 에지정보를 검출하여 얼굴 윤곽선 특징점(403)을 추출할 수 있다.
얼굴 특징점 추출부(120)는 눈 특징점(401)을 중심으로 하여 콧구멍의 색상 정보와 양측의 꼭지점 정보로부터 코 특징점(404)을 추출할 수 있다.
얼굴 특징점 추출부(120)는 아래 입술의 붉은 영역과 피부색의 차이를 검출하여 입 특징점(405)을 추출할 수 있다.
얼굴 특징점 추출부(120)는 목의 색상과 대비되는 턱의 영역을 차례대로 검출하여 턱 특징점(406)을 추출할 수 있다.
눈 특징점(401), 눈썹 특징점(402), 얼굴 윤곽선 특징점(403), 코 특징점(404), 입 특징점(405) 또는 턱 특징점(406)은 사용자 단말(101)에 의해 전체적인 특징점이 수정되거나 각 특징점의 세부 위치가 수정될 수 있다.
이와 같이 얼굴 특징점 정보가 추출되면, 사용자는 헤어스타일 결정 탭을 선택하여 헤어 DB(160)에 저장된 롱 헤어 객체, 미디엄 헤어 객체(411) 또는 쇼트 헤어 객체 중에서 사용자가 원하는 헤어 스타일 객체를 선택할 수 있다. 도 4의 사용자 인터페이스에서는 헤어 스타일 객체 선택 창과 함께 헤어 편집 기능, 좌우 반전 기능, 편집 취소 기능 등과 같은 다양한 기능을 사용자에게 제공할 수 있다. 헤어 스타일 모양은 특정 헤어 스타일 모양에 한정되지 않으며 다양한 형태로 구성될 수 있다.
사용자가 미디엄 헤어 객체(411)를 선택하면 사용자 영상(201)에 미디엄 헤어 객체(411)가 적용된 가상 체험 영상이 표시된다.
사용자 인터페이스는 헤어 컬러 선택 창을 표시할 수 있다. 헤어 컬러 선택 창에는 브라운 색상, 블랙 색상(421), 블루블랙 색상, 옐로우 색상 등의 색상이 표시되어 사용자는 헤어 스타일 객체의 색상을 결정할 수 있다.
사용자가 블랙 색상(421)을 선택하면 상기 선택된 미디엄 헤어 객체(411)에 블랙이 적용되어, 블랙의 미디엄 헤어 스타일이 적용된 가상 체험 영상이 표시된다.
마찬가지로 사용자가 메이크업 결정 탭을 선택하면 메이크업 객체 선택창과 메이크업 컬러 선택창이 표시될 수 있다. 사용자는 선택창을 통해 메이크업 DB(170)에 저장된 메이크업 객체 중에서 사용자가 원하는 메이크업 객체 및 메이크업 객체의 색상을 선택할 수 있다. 가상 메이크업 종류로는 블러셔, 아이새도우, 파운데이션 또는 립라이너 등이 있으며, 메이크업 종류는 다양하게 존재할 수 있다.
도 5는 본 발명에 따른 얼굴 특징 기반의 가상 체험을 위한 사용자 단말의 구성도이다. 도 5에 도시된 사용자 단말은 얼굴 특징 기반의 가상 체험 서비스가 단말 자체에서 수행될 수 있는 자립형(stand-alone) 단말을 나타낸 것이다.
사용자 단말(101)은 사용자 단말(101)은 영상 획득기(510), 얼굴 검출기(520), 얼굴 특징점 추출기(530), 가상 피팅기(540), 가상 체험 영상 생성기(550), 메모리(560) 등을 포함한다.
만약 사용자 단말(101)이 네트워크 기반으로 가상 체험 장치(100)로부터 가상 체험 서비스를 제공 받는 경우 사용자 단말(101)는 그 성능에 따라 얼굴 검출기(520), 얼굴 특징점 추출기(530), 가상 피팅기(540), 가상 체험 영상 생성기(550) 중의 일부를 포함하지 않을 수 있다.
예를 들어, 사용자 단말(101)이 얼굴 검출기(520)만을 구비하는 경우 사용자 단말(101)은 사용자 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역을 가상 체험 장치(100)에 전송한다. 이 경우 사용자 단말(101)은 도 3의 얼굴 영역 검출 과정을 수행한다.
사용자 단말(101)이 얼굴 검출기(520) 및 얼굴 특징점 추출기(530)를 구비하는 경우, 사용자 단말(101)은 얼굴 영역을 검출하고 검출된 얼굴 영역에서 얼굴 특징점 정보를 추출한 후 얼굴 특징점 정보를 가상 체험 장치(100)에 전송한다.
메모리(560)는 얼굴 영역 정보, 얼굴 특징점 정보, 헤어 스타일 객체 및 속성, 메이크업 객체 및 속성 등을 저장한다. 메모리(560)에 저장된 각종 정보는 업데이트될 수 있다.
영상 획득기(510)는 영상 촬영 모듈을 구비하여 가상 체험 대상이 되는 사용자를 촬영하여 사용자 영상을 획득한다.
얼굴 검출기(520)는 영상 획득기(510)에서 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다.
얼굴 특징점 추출기(530)는 얼굴 검출기(520)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.
가상 피팅기(540)는 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다.
가상 체험 영상 생성기(550)는 정합된 가상 객체와 가상 객체의 속성을 근거로 가상 객체를 렌더링 하여 가상 체험 영상을 생성한다.
도 6은 본 발명에 따른 얼굴 특징 기반의 가상 체험 방법에 대한 순서도를 나타낸 것이다.
도 6을 참조하면, 먼저 가상 체험 장치(100)는 사용자 단말(101)로부터 사용자 영상을 수신한다(S602).
사용자 단말(101)로부터 사용자 영상이 수신되면 얼굴 검출부(110)는 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다(S604).
얼굴 특징점 추출부(120)는 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S606).
이후 사용자 단말(101)이 사용자 인터페이스를 통해 가상 객체를 선택하여 가상 체험 장치(100)에 전달한다(S608).
가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S610).
이후 사용자 단말(101)이 사용자 인터페이스를 통해 가상 객체의 속성을 결정하여 가상 체험 장치(100)에 전달한다(S612).
가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 가상 객체를 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성한다(S614). 가상 체험 장치(100)는 가상 체험 영상 생성부(140)에서 생성된 가상 체험 영상을 사용자 단말(101)로 전송한다.
도 7은 본 발명에 따른 사용자 단말에서의 얼굴 특징 기반의 가상 체험 방법에 대한 순서도이다.
도 7을 참조하면, 먼저 사용자 단말(101)의 영상 획득기(510)는 사용자를 촬영하여 사용자 영상을 획득한다(S702).
얼굴 검출기(520)는 영상 획득기(510)에서 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다(S704).
얼굴 특징점 추출기(530)는 얼굴 검출기(520)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S706).
가상 피팅기(540)는 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S708). 사용자는 사용자 인터페이스를 통해 가상 객체를 선택할 수 있다.
이후 사용자는 사용자 인터페이스를 통해 선택된 가상 객체의 속성을 결정한다(S710).
가상 체험 영상 생성기(550)는 얼굴 영역에 정합된 가상 객체를 상기 선택된 가상 객체의 속성에 따라 렌더링 하여 최종의 가상 체험 영상을 생성한다(S712).
사용자 단말(101)은 생성한 가상 체험 영상을 표시기를 통해 사용자에게 표시한다(S714).
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명은 사용자 영상과 가상 객체가 자동 정합 및 렌더링 됨으로써 사용자 입장에서 단순히 원하는 가상 객체를 선택하는 동작만으로 최적의 가상 체험 영상을 제공받을 수 있기 때문에, 얼굴 특징 기반의 가상 체험 서비스 분야에 널리 사용될 수 있다.
10: 가상 체험 시스템 100: 가상 체험 장치
101: 사용자 단말 110: 얼굴 검출부
120: 얼굴 특징점 검출부 130: 가상 피팅부
140: 가상 체험 영상 생성부 150: 얼굴 DB
160: 헤어 DB 170: 메이크업 DB
510: 영상 획득기 520: 얼굴 검출기
530: 얼굴 특징점 추출기 540: 가상 피팅기
550: 가상 체험 영상 생성기 560: 메모리

Claims (15)

  1. 삭제
  2. 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출부;
    상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부; 및
    상기 사용자 단말에 의해 선택된 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부를 포함하며,
    상기 얼굴 특징점 추출부는,
    상기 사용자 영상으로부터 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.
  3. 제 2 항에 있어서,
    상기 얼굴 검출부는,
    상기 수신된 사용자 영상에서 상기 피부색, 동공, 윤곽선 또는 배경에 관련된 얼굴 검출 파라미터를 추출하고 상기 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출하며,
    상기 얼굴 특징점 추출부는,
    상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 중 적어도 하나를 기반으로 상기 얼굴 특징점 정보를 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.
  4. 제 2 항에 있어서,
    상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.
  5. 제 2 항에 있어서,
    상기 얼굴 특징점 추출부는,
    상기 검출된 얼굴 영역에서 상기 얼굴 특징점 정보로 눈 특징점, 눈썹 특징점, 코 특징점, 입 특징점, 턱 특징점 중 적어도 하나를 포함하는 상기 특정 특징점과, 얼굴 윤곽선 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.
  6. 제 2 항에 있어서,
    상기 가상 피팅부는 상기 가상 객체 중에서 상기 사용자 단말에 의해 선택된 헤어 스타일 객체 또는 메이크업 객체를 상기 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.
  7. 제 6 항에 있어서,
    상기 헤어 스타일 객체 및 상기 헤어 스타일 객체의 속성을 저장하는 헤어 DB; 및
    상기 메이크업 객체 및 상기 메이크업 객체의 속성을 저장하는 메이크업 DB를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.
  8. 사용자를 촬영하여 사용자 영상을 획득하고 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기;
    상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기; 및
    상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기를 포함하며,
    상기 얼굴 특징점 추출기는,
    상기 사용자 영상으로부터 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험을 위한 사용자 단말.
  9. 제 8 항에 있어서,
    상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기; 및
    헤어 스타일 객체 및 메이크업 객체를 저장하는 메모리를 더 포함하고,
    상기 메모리에 저장된 각종 정보는 주기적으로 업데이트 되는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험을 위한 사용자 단말.
  10. 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계;
    상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 및
    상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계를 포함하며,
    상기 얼굴 특징점 정보 추출 단계는,
    상기 사용자 영상으로부터 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.
  11. 제 10 항에 있어서,
    상기 얼굴 영역 검출 단계는,
    상기 수신된 사용자 영상에서 상기 피부색, 동공, 윤곽선 또는 배경에 관련된 얼굴 검출 파라미터를 추출하고 상기 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출하며,
    상기 얼굴 특징점 정보 추출 단계는,
    상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 중 적어도 하나를 기반으로 상기 얼굴 특징점 정보를 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.
  12. 제 10 항에 있어서,
    상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.
  13. 제 10 항에 있어서,
    상기 얼굴 특징점 추출 단계는,
    상기 검출된 얼굴 영역에서 상기 얼굴 특징점 정보로 눈 특징점, 눈썹 특징점, 코 특징점, 입 특징점, 턱 특징점 중 적어도 하나를 포함하는 상기 특정 특징점과, 얼굴 윤곽선 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.
  14. 제 10 항에 있어서,
    상기 가상 피팅 단계는 상기 가상 객체 중에서 상기 사용자 단말에 의해 선택된 헤어 스타일 객체 또는 메이크업 객체를 상기 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.
  15. 사용자를 촬영하여 사용자 영상을 획득하는 사용자 영상 획득 단계;
    상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계;
    상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계;
    상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 및
    상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 선택된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하며,
    상기 얼굴 특징점 정보 추출 단계는,
    상기 사용자 영상으로부터 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 사용자 단말에서의 얼굴 특징 기반의 가상 체험 방법.
KR1020100132549A 2010-12-22 2010-12-22 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 KR101733512B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132549A KR101733512B1 (ko) 2010-12-22 2010-12-22 얼굴 특징 기반의 가상 체험 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132549A KR101733512B1 (ko) 2010-12-22 2010-12-22 얼굴 특징 기반의 가상 체험 시스템 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052370A Division KR101827998B1 (ko) 2017-04-24 2017-04-24 얼굴 특징 기반의 가상 체험 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120070985A KR20120070985A (ko) 2012-07-02
KR101733512B1 true KR101733512B1 (ko) 2017-05-10

Family

ID=46706137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132549A KR101733512B1 (ko) 2010-12-22 2010-12-22 얼굴 특징 기반의 가상 체험 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101733512B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230080940A (ko) 2021-11-30 2023-06-07 최진은 머신러닝을 이용한 반영구 눈썹화장 추천시스템 및 시술방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013928B1 (ko) 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
KR101827550B1 (ko) 2014-01-31 2018-02-08 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨 매니저
WO2015116186A1 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Evaluation of augmented reality skins
JP6334715B2 (ja) 2014-01-31 2018-05-30 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実スキンの評価
JP6205498B2 (ja) 2014-01-31 2017-09-27 エンパイア テクノロジー ディベロップメント エルエルシー 対象者選択式拡張現実スキン
KR102066892B1 (ko) * 2018-02-01 2020-01-16 주식회사 엘지생활건강 메이크업 평가 시스템 및 그의 동작 방법
US11113511B2 (en) 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
KR102330368B1 (ko) * 2018-02-01 2021-11-23 주식회사 엘지생활건강 메이크업 평가 시스템 및 그의 동작 방법
KR102435893B1 (ko) * 2020-08-10 2022-08-24 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템
KR102372523B1 (ko) * 2020-08-10 2022-03-10 주식회사 타키온비앤티 메이크업 이펙트가 선택적으로 적용된 이미지의 포스팅에 대한 리워드 제공 시스템
KR102372522B1 (ko) * 2020-08-10 2022-03-10 주식회사 타키온비앤티 코스메틱 오브젝트의 소싱을 통한 선택적 메이크업 이펙팅 적용 시스템
KR102372524B1 (ko) * 2020-08-18 2022-03-10 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
KR102372521B1 (ko) * 2020-08-18 2022-03-10 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 웨어링 이펙트 실시간 반영 시스템
CN112132979B (zh) * 2020-09-29 2022-04-22 支付宝(杭州)信息技术有限公司 一种虚拟资源的选取方法、装置及设备
WO2023054736A1 (ko) * 2021-09-28 2023-04-06 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템
CN117392330B (zh) * 2023-12-11 2024-03-08 江西省映尚科技有限公司 一种元宇宙虚拟数字人制作方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213623A (ja) * 2002-07-08 2007-08-23 Toshiba Corp 仮想化粧装置及びその方法
JP2008040710A (ja) * 2006-08-04 2008-02-21 Sony Corp 顔検出装置、撮像装置および顔検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213623A (ja) * 2002-07-08 2007-08-23 Toshiba Corp 仮想化粧装置及びその方法
JP2008040710A (ja) * 2006-08-04 2008-02-21 Sony Corp 顔検出装置、撮像装置および顔検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230080940A (ko) 2021-11-30 2023-06-07 최진은 머신러닝을 이용한 반영구 눈썹화장 추천시스템 및 시술방법

Also Published As

Publication number Publication date
KR20120070985A (ko) 2012-07-02

Similar Documents

Publication Publication Date Title
KR101733512B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
CN108765273B (zh) 人脸拍照的虚拟整容方法和装置
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
CN109690617B (zh) 用于数字化妆镜的系统和方法
US8983152B2 (en) Image masks for face-related selection and processing in images
KR101190686B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체
US9142054B2 (en) System and method for changing hair color in digital images
CN106682632B (zh) 用于处理人脸图像的方法和装置
EP2615577B1 (en) Image-processing device, image-processing method, and control program
EP2615576B1 (en) Image-processing device, image-processing method, and control program
KR20200014889A (ko) 이미지 비 식별을 위한 시스템 및 방법
JP5991536B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9691136B2 (en) Eye beautification under inaccurate localization
KR101827998B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
US20150262403A1 (en) Makeup support apparatus and method for supporting makeup
JP2002175538A (ja) 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2008243059A (ja) 画像処理装置及び画像処理方法
CN110866139A (zh) 一种化妆处理方法、装置及设备
US20130216136A1 (en) Image processing apparatus, image processing method, storage medium and image processing system
CN114187166A (zh) 图像处理方法、智能终端及存储介质
KR101507410B1 (ko) 모바일 단말의 라이브 메이크업 촬영 방법 및 장치
KR100950138B1 (ko) 얼굴 이미지에서의 눈동자 검출 방법
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent