KR20150129248A - Providing apparatus for actual image emoticon and method - Google Patents

Providing apparatus for actual image emoticon and method Download PDF

Info

Publication number
KR20150129248A
KR20150129248A KR1020140055712A KR20140055712A KR20150129248A KR 20150129248 A KR20150129248 A KR 20150129248A KR 1020140055712 A KR1020140055712 A KR 1020140055712A KR 20140055712 A KR20140055712 A KR 20140055712A KR 20150129248 A KR20150129248 A KR 20150129248A
Authority
KR
South Korea
Prior art keywords
face
character
facial expression
accessory
conversion
Prior art date
Application number
KR1020140055712A
Other languages
Korean (ko)
Inventor
조관순
이효영
Original Assignee
조관순
이효영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조관순, 이효영 filed Critical 조관순
Priority to KR1020140055712A priority Critical patent/KR20150129248A/en
Publication of KR20150129248A publication Critical patent/KR20150129248A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an apparatus and method for providing an emoticon of a realistic character, which comprises: a face guide line DB for storing a face guide line overlaid with a face in a picture photographed through a camera; a face generation storing DB for storing a shape and a color of every part of the face to generate the face of a realistic character based on the face guide line; a face information obtaining unit for obtaining face information through the face guide line; a realistic character generation unit for extracting and composing data stored in the face generation storing DB based on the face information obtained in the face information obtaining unit to generate the realistic character; and a memory for storing the face information and the realistic character. Accordingly, the emoticon of the realistic character which is very similar with the face in the picture can be provided.

Description

실사캐릭터 이모티콘 제공장치 및 방법 {PROVIDING APPARATUS FOR ACTUAL IMAGE EMOTICON AND METHOD}TECHNICAL FIELD [0001] The present invention relates to an apparatus and method for providing an emoticon,

본 발명은 실사캐릭터 이모티콘 제공장치 및 방법에 관한 것으로서, 좀더 자세하게는 사진에 촬영된 얼굴에 대응하는 형상의 캐릭터를 이모티콘화하여 제공하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing an emoticon of a real character, and more particularly, to an apparatus and method for emoting a character having a shape corresponding to a face photographed in a photograph.

영상기술과 유무선 통신환경의 발전에 따라, 개개인의 사용자가 자신의 개성을 나타낼 수 있는 영상 캐릭터(Avatar)의 사용이 일반화되었으며, 이동통신단말기 상에서도 아바타 기능을 지원하여 사용자가 원하는 캐릭터를 생성할 수 있도록 하고 있다.With the development of video technology and wired / wireless communication environment, the use of a video character which can express individuality of each user is generalized, and also the avatar function can be supported on a mobile communication terminal to generate a character desired by the user .

종래의 이동통신단말기에서 제공하는 아바타 기능은 얼굴형/눈/코/입 등의 얼굴 구성요소를 애니메이션 형식으로 제공하여 각각의 목록에서 선택하여 조합할 수 있도록 하는 방법으로서, 예를 들면, 얼굴형의 경우, 1. 둥근형, 2.사각형, 3.계란형 등 텍스트 보기에서 사용자가 원하는 얼굴형을 키패드의 '1', '2', '3' 등의 숫자를 선택함으로써 얼굴형을 결정하게 된다.The avatar function provided by the conventional mobile communication terminal provides a face component such as a face type, an eye, a nose, and a mouth in an animation format, and can select and combine them from the respective lists. For example, 1. Face type is selected by selecting the number of '1', '2', '3' on the keypad for the face type desired by the user in the text view such as 1. round shape, 2. rectangle shape, 3. egg shape shape and the like.

나머지 얼굴구성요소에 대한 선택방식에 있어서도 상기와 동일한 방법을 사용하여 캐릭터를 생성하게 된다. 그러나, 이러한 종래의 캐릭터 생성방법의 경우 캐릭터 생성을 위해 제공할 수 있는 아이템의 종류는 한정되어 있어 사용자 고유의 캐릭터를 생성하는 데에는 한계가 있으며, 애니메이션 형식으로 제공되고 있어 사용자의 실재 외향을 표현하는 것은 불가능하다는 문제점이 있다.In the selection method for the remaining face components, a character is generated using the same method as described above. However, in the case of such a conventional character generating method, the types of items that can be provided for character creation are limited, and there are limitations in generating a user's own character, and they are provided in an animation format, There is a problem that it is impossible.

KR 10-2007-11006KR 10-2007-11006

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 실사 사진을 이용하여 실사와 유사한 실사캐릭터로 이루어진 실사캐릭터 이모티콘을 제공할 수 있는 장치 및 방법을 제공하기 위함이 그 목적이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an apparatus and method for providing a real-life character emoticons composed of real-life characters similar to actual realities using real-life photographs.

또, 실사캐릭터 이모티콘의 표정을 다양하게 변화하여 제공할 수 있으며, 이에 더하여 실사캐릭터 이모티콘에 악세사리를 추가할 수 있는 장치 및 방법을 제공하기 위함이 다른 목적이다.Another object of the present invention is to provide an apparatus and a method for adding an accessory to a real-life character emoticons, in addition to variously changing expressions of real-life character emoticons.

전술한 목적을 달성하기 위한 본 발명의 장치는, 카메라를 통해 촬영된 사진의 얼굴에 오버레이되는 얼굴가이드 라인이 저장되는 얼굴 가이드라인 DB; 상기 얼굴 가이드라인을 기반으로 실사 캐릭터의 얼굴이 생성되도록 얼굴의 부위별 형태 및 색상이 저장되는 얼굴생성 저장 DB; 상기 얼굴 가이드라인을 통해 얼굴정보를 획득하는 얼굴정보 획득부; 상기 얼굴정보 획득부에 획득된 얼굴정보를 기반으로 상기 얼굴생성 저장 DB에 저장된 데이터를 추출해서 합성하여 상기 실사 캐릭터를 생성하는 실사캐릭터 생성부; 및 상기 얼굴정보 및 상기 실사 캐릭터가 저장되는 메모리;를 포함한다.According to an aspect of the present invention, there is provided an apparatus comprising: a face guide line DB in which a face guide line overlaid on a face of a photograph taken through a camera is stored; A face generation DB storing a shape and a color of each part of the face so that a face of the real face character is generated based on the face guide line; A face information obtaining unit for obtaining face information through the face guide line; A live-action character generation unit for generating the live-action character by extracting and combining data stored in the face-generation storage DB on the basis of the face information acquired in the face information acquisition unit; And a memory in which the face information and the real life character are stored.

상기 실사캐릭터의 표정을 변환시켜서 표정변환 캐릭터를 생성하는 표정변환 캐릭터 생성부;를 더 포함하며, 상기 표정변환 캐릭터 생성부는, 상기 표정변환 캐릭터의 변환된 표정들이 분류되어 저장된 표정분류부; 상기 표정변환 캐릭터의 변환된 표정에 필요한 변환값을 산출하는 변환값 산출부; 및 상기 산출된 변환값을 입력하여 상기 변환값에 대응하는 형태의 변환 표정을 맵핑하는 변환표정 맵핑부;를 포함한다.And a facial expression conversion character generation unit for converting a facial expression of the real face character to generate a facial expression conversion character, wherein the facial expression conversion character generation unit comprises: a facial expression classification unit for classifying and converting converted facial expressions of the facial expression conversion character; A conversion value calculation unit for calculating a conversion value required for the converted facial expression character; And a conversion expression mapping unit for inputting the calculated conversion value and mapping the conversion expression of the type corresponding to the conversion value.

상기 실사캐릭터에 악세사리를 추가하여 데코레이션하는 데코레이션부;를 더 포함하며, 상기 데코레이션부는, 상기 실사캐릭터에 추가될 악세사리를 생성하는 악세사리 생성엔진; 상기 악세사리 생성엔진에서 생성된 악세사리가 저장되는 악세사리 DB; 및 상기 악세사리 DB에 저장된 악세사리를 상기 실사캐릭터에 합성하는 악세사리 합성부;를 포함한다.And a decoration unit for adding and decorating an accessory to the live-action character, wherein the decoration unit comprises: an accessory generation engine for generating an accessory to be added to the live-action character; An accessory DB for storing accessories created by the accessory creation engine; And an accessory synthesizer for synthesizing the accessory stored in the accessory DB to the real image character.

본 발명에 의한 방법은, 카메라를 통해 촬영된 얼굴 사진을 통해 얼굴정보를 획득하는 얼굴정보 획득단계; 및 상기 획득된 얼굴정보를 기반으로 실사캐릭터를 생성하는 실사캐릭터 생성단계;를 포함한다.A method according to the present invention includes: a face information acquiring step of acquiring face information through a face photograph taken through a camera; And a live-action character generation step of generating live-action characters based on the obtained face information.

상기 얼굴정보 획득단계는, 상기 카메라의 뷰파인더에 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된 얼굴 가이드라인을 상기 뷰파인더에 현시된 얼굴에 오버레이하여 얼굴의 기준위치를 설정하는 기준위치 설정단계; 상기 기준위치가 설정되면 상기 얼굴 가이드라인을 보정하여 얼굴의 세부위치를 설정하는 세부위치 설정단계; 및 상기 세부위치가 설정되어 상기 가이드라인이 오버레이된 상기 사진을 통해 얼굴정보를 설정하는 얼굴정보 설정단계;를 포함한다.Wherein the face information acquiring step includes a step of acquiring face information on the face displayed on the viewfinder by overlaying a face guide line made up of a first line made up of a face outline including a hair outline and a second line made up of an outline- A reference position setting step of setting a reference position of the reference position; Setting a detailed position of the face by correcting the face guide line when the reference position is set; And a face information setting step of setting face information through the photograph on which the detailed position is set and the guide line is overlaid.

이와 달리, 상기 얼굴정보 획득단계는, 상기 사진에 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된 얼굴 가이드라인을 상기 뷰파인더에 현시된 얼굴에 오버레이하여 얼굴의 기준위치를 설정하는 기준위치 설정단계; 상기 기준위치가 설정되면 상기 얼굴 가이드라인을 보정하여 얼굴의 세부위치를 설정하는 세부위치 설정단계; 및 상기 세부위치가 설정되어 상기 가이드라인이 오버레이된 상기 사진을 통해 얼굴정보를 설정하는 얼굴정보 설정단계;를 포함한다.Alternatively, the face information acquiring step may include a step of acquiring the face information by superimposing a face guide line made up of a first line composed of a face contour including a hair contour and a second line composed of an outline contour on the photograph to a face displayed on the viewfinder, A reference position setting step of setting a reference position of the reference position; Setting a detailed position of the face by correcting the face guide line when the reference position is set; And a face information setting step of setting face information through the photograph on which the detailed position is set and the guide line is overlaid.

상기 세부위치 설정단계는, 상기 얼굴 가이드라인의 상기 제2라인이 조각형태로 이동됨에 따라 각각의 조각을 현시된 얼굴의 정위치에 이동시켜서 세부위치를 설정하는 것을 특징으로 한다.And the detailed position setting step sets the detailed position by moving each piece to the correct position of the face as the second line of the face guide line is moved in a piece form.

상기 얼굴정보 설정단계는, 상기 설정된 세부위치의 좌표를 통해 얼굴정보를 설정하는 것을 특징으로 한다.The face information setting step sets face information through coordinates of the set detailed position.

상기 실사캐릭터 생성단계는, 상기 획득된 얼굴정보를 기반으로 머리카락을 포함하는 얼굴의 형태 및 이목구비의 형태를 형성하는 형태 형성단계; 및 상기 형성된 형태에 색상을 맵핑하는 색상 맵핑단계;를 포함한다.Wherein the real-life character generating step comprises: a morphing step of forming a shape of a face including a hair and a shape of a face based on the obtained face information; And a color mapping step of mapping a color to the formed shape.

상기 실사캐릭터 생성단계에서 생성된 실사캐릭터의 표정을 변환시켜서 표정변환 캐릭터를 생성하는 표정변환 캐릭터 생성단계;를 더 포함한다.And a facial expression conversion character generation step of converting a facial expression of the live-action character generated in the live-action character generation step to generate a facial expression conversion character.

상기 표정변환 캐릭터 생성단계는, 상기 실사캐릭터에 표정제어점을 설정하는 표정제어점 설정단계; 상기 표정변환 캐릭터의 변환될 표정을 설정하는 변환표정 설정단계; 상기 표정제어점을 기반으로 변환값을 산출하는 변환값 산출단계; 및 상기 산출된 변환값을 입력하여 실사캐릭터의 표정을 입력된 변환값에 대응하는 형태의 표정을 맵핑시켜서 표정변환 캐릭터를 생성하는 변환값 맵핑단계;를 포함한다.The facial expression conversion character generating step may include: a facial expression control point setting step of setting a facial expression control point in the live-action character; A conversion facial expression setting step of setting a facial expression to be converted of the facial expression conversion character; A conversion value calculation step of calculating conversion values based on the facial expression control points; And a conversion value mapping step of inputting the calculated conversion value to generate a facial expression conversion character by mapping a facial expression corresponding to the input conversion value to the facial expression of the real image character.

상기 실사캐릭터에 악세서리를 추가하여 데코레이션하는 악세서리 추가단계;를 더 포함하며, 상기 악세서리 추가단계는, 상기 실사캐릭터에 추가되는 악세서리를 생성하여 저장하는 악세서리 생성단계; 및 상기 악세서리를 다운로드하여 상기 실사캐릭터에 합성하는 악세서리 합성단계;를 포함한다.Further comprising the steps of adding an accessory to the live-action character and decorating the accessory, wherein the accessory adding step includes an accessory creating step of creating and storing an accessory to be added to the live-action character; And an accessory synthesis step of downloading the accessories and synthesizing them with the real life character.

전술한 바와 같은 본 발명은, 실사 사진을 이용하여 실사와 유사한 실사캐릭터로 이루어진 실사캐릭터 이모티콘을 제공할 수 있으므로 자신을 좀더 확실하게 표현할 수 있다.The present invention as described above can provide a real-life character emoticons composed of real-life characters similar to actual real-life by using real-life photographs, and thus can express itself more reliably.

또, 실사캐릭터 이모티콘의 표정이 다양하게 변화된 표정변환 캐릭터를 통해 다양한 표현이 가능하며, 이에 더하여 실사캐릭터 이모티콘에 악세사리가 추가됨에 따라 더욱 다양한 표현이 가능하다.In addition, various expressions can be made through the expression conversion character in which the expressions of the real-life character emoticons are variously changed, and in addition, as the accessories are added to the real-life character emoticons, more expressions are possible.

도 1은 본 발명의 실시예에 의한 실사캐릭터 이모티콘 제공방법을 도시한 블럭도;
도 2는 도 1에 도시된 제공방법의 개념도;
도 3 및 도 4는 도 1에 도시된 제공방법에 의한 실사캐릭터 이모티콘을 도시한 도면;
도 5는 도 1에 도시된 제공방법에 의한 악세사리의 적용을 도시한 도면; 및
도 6 내지 도 9는 도 1에 도시된 제공방법에 의한 실사캐릭터 이모티콘의 적용사례를 도시한 도면.
1 is a block diagram showing a method for providing a live-action character emoticons according to an embodiment of the present invention;
2 is a conceptual diagram of the providing method shown in Fig. 1;
FIG. 3 and FIG. 4 are diagrams showing live-action character emoticons according to the providing method shown in FIG. 1; FIG.
FIG. 5 illustrates application of an accessory by the providing method shown in FIG. 1; FIG. And
6 to 9 are views showing application examples of live-action character emoticons according to the providing method shown in FIG. 1;

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 의한 실사캐릭터 이모티콘 제공장치 및 방법을 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an apparatus and method for providing a live-action character emoticons according to an embodiment of the present invention will be described with reference to the accompanying drawings.

본 발명의 실시예에 의한 실사캐릭터 이모티콘의 제공장치는, 카메라를 통해 촬영된 사진의 얼굴에 오버레이되는 얼굴가이드 라인이 저장되는 얼굴 가이드라인 DB; 상기 얼굴 가이드라인을 기반으로 실사 캐릭터의 얼굴이 생성되도록 얼굴의 부위별 형태 및 색상이 저장되는 얼굴생성 저장 DB; 상기 얼굴 가이드라인을 통해 얼굴정보를 획득하는 얼굴정보 획득부; 상기 얼굴정보 획득부에 획득된 얼굴정보를 기반으로 상기 얼굴생성 저장 DB에 저장된 데이터를 추출해서 합성하여 상기 실사 캐릭터를 생성하는 실사캐릭터 생성부; 및 상기 얼굴정보 및 상기 실사 캐릭터가 저장되는 메모리;를 포함한다.An apparatus for providing a live-action character emoticons according to an embodiment of the present invention includes a face guide line DB in which a face guide line overlaid on a face of a photograph photographed through a camera is stored; A face generation DB storing a shape and a color of each part of the face so that a face of the real face character is generated based on the face guide line; A face information obtaining unit for obtaining face information through the face guide line; A live-action character generation unit for generating the live-action character by extracting and combining data stored in the face-generation storage DB on the basis of the face information acquired in the face information acquisition unit; And a memory in which the face information and the real life character are stored.

상기 얼굴 가이드라인은 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된다. 그리고, 상기 얼굴정보는 전술한 얼굴 가이드라인에 의해 획득되는 얼굴(머리카락 포함)의 윤곽 및 이목구비의 윤곽이다.The face guide line is composed of a first line made up of a face contour including a hair contour and a second line composed of a contouring contour. The face information is an outline of a face (including a hair) and an eye contour ratio obtained by the above-mentioned face guide line.

본 발명의 실시예는, 상기 실사캐릭터의 표정을 변환시켜서 표정변환 캐릭터를 생성하는 표정변환 캐릭터 생성부;를 더 포함한다. 즉, 본 발명의 실시에는 다양한 표정을 갖는 실사캐릭터 이모티콘을 제공할 수 있다.The embodiment of the present invention further includes a facial expression conversion character generation unit for converting a facial expression of the real face character to generate a facial expression conversion character. That is, the present invention can provide a live-action character emoticons having various facial expressions.

상기 표정변환 캐릭터 생성부는 예컨대, 표정변환 캐릭터의 변환된 표정들이 분류되어 저장된 표정분류부; 상기 표정변환 캐릭터의 변환된 표정에 필요한 변환값을 산출하는 변환값 산출부; 및 상기 산출된 변환값을 입력하여 상기 변환값에 대응하는 형태의 변환 표정을 맵핑하는 변환표정 맵핑부;를 포함하여 구성할 수 있다.The facial expression conversion character generation unit may include, for example, a facial expression classification unit in which converted facial expressions of a facial expression conversion character are classified and stored; A conversion value calculation unit for calculating a conversion value required for the converted facial expression character; And a conversion expression mapping unit for inputting the calculated conversion value and mapping the conversion expression of the type corresponding to the conversion value.

상기 표정분류부는 희노애락에 각각 관련된 표정으로 분류된 데이터가 저장된다. 그리고, 상기 변환값 산출부는 얼굴의 이목구비가 희노애락을 표현하도록 변환되는 변환값을 산출한다. 상기 변환표정 맵핑부는 희노애락에 대응하는 표정을 실사캐릭터에 맵핑하여 실사캐릭터를 표정변환 캐릭터로 변환시킨다.The facial expression classifying section stores data classified into facial expressions related to the irritability. Then, the conversion value calculation unit calculates a conversion value to be converted such that the face-to-face ratio of the face expresses the hilariousness. The conversion facial expression mapping unit maps a facial expression corresponding to the irritability to a real face character to convert the real face character into a facial expression conversion character.

본 발명의 실시예는, 상기 실사캐릭터에 악세사리를 추가하여 데코레이션하는 데코레이션부;를 더 포함한다. 여기서, 상기 악세사리는 의류나 소품 등으로 구성할 수 있으며, 다양한 문구의 텍스트나 스티커형태의 감정표현으로 구성할 수 있다.The embodiment of the present invention further includes a decoration unit for adding and decorating an accessory to the live-action character. Here, the accessory can be composed of clothes, small items, etc., and can be composed of texts of various phrases or emotional expressions in the form of stickers.

상기 데코레이션부는 예컨대, 상기 실사캐릭터에 추가될 악세사리를 생성하는 악세사리 생성엔진; 상기 악세사리 생성엔진에서 생성된 악세사리가 저장되는 악세사리 DB; 및 상기 악세사리 DB에 저장된 악세사리를 상기 실사캐릭터에 합성하는 악세사리 합성부;를 포함하여 구성할 수 있다.The decorating unit may include, for example, an accessory creation engine for creating an accessory to be added to the live-action character; An accessory DB for storing accessories created by the accessory creation engine; And an accessory synthesizer for synthesizing the accessory stored in the accessory DB to the real face character.

상기 악세사리 생성엔진은 전술한 의류나 소품 또는 텍스트나 감정표현에 해당하는 데이터가 입력되면 이에 대응하는 아이템을 생성하여 상기 악세사리 DB에 저장한다. 상기 악세사리 합성부는 상기 아이템을 상기 실사캐릭터에 합성하여 상기 실사캐릭터에 일체화된 형상으로 제공한다.The accessory creation engine creates an item corresponding to the clothing, the small article, or text or emotional expression, and stores the item in the accessory DB. The accessory synthesizing unit synthesizes the item with the live-action character and provides the combined information to the live-action character in an integrated form.

이상과 같은 실사캐릭터 이모티콘 제공장치에 의한 제공방법을 설명하면 다음과 같다.Hereinafter, a method for providing the real-time character emoticons by the device will be described.

먼저, 도 3의 사진찍기와 같은 방식으로 카메라를 통해 얼굴을 촬영하고, 촬영된 사진을 통해 얼굴정보를 획득한다. 상기 얼굴정보는, 상기 카메라의 뷰파인더에 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된 얼굴 가이드라인을 상기 뷰파인더에 현시된 얼굴에 오버레이하여 얼굴의 기준위치를 설정하고, 상기 기준위치가 설정되면 상기 얼굴 가이드라인을 보정하여 얼굴의 세부위치를 설정하며, 상기 세부위치가 설정되어 상기 가이드라인이 오버레이된 상기 사진을 통해 얼굴정보를 설정한다. 이때, 얼굴정보는 얼굴의 윤곽(테두리) 및 이목구비의 위치를 의미한다. 그리고, 상기 세부위치 설정은 상기 얼굴 가이드라인의 제1라인 및 제2라인을 이동시켜서 상기 사진에 현시된 얼굴의 윤곽 및 이목구비에 대응시키는 것을 의미한다. First, the face is photographed through the camera in the same manner as the photographing of FIG. 3, and the face information is obtained through the photographed photograph. Wherein the face information includes a face guide line composed of a first line composed of a face contour including a hair contour and a second line composed of a contour contour on a viewfinder of the camera, And sets the detailed position of the face by correcting the face guide line when the reference position is set, and sets the face information through the photograph on which the detailed position is set and the guide line is overlaid. At this time, the face information means the outline (border) of the face and the position of the eyeball. The detailed position setting means moving the first line and the second line of the face guide line to correspond to the outline and contour ratio of the face displayed on the photograph.

이를 좀더 자세히 설명하면, 세부위치 설정은 상기 얼굴 가이드라인의 상기 제1라인 및 상기 제2라인이 조각형태로 이동됨에 따라 각각의 조각을 현시된 얼굴의 정위치에 이동시켜서 세부위치를 설정한다. 즉, 상기 제1라인 및 제2라인은 다수의 선으로 구성되어 이동가능하게 설정 및 구현되고, 이목구비의 형태로 각각 구성되어 이동가능하게 설정 및 구현된다. 따라서, 상기 제1 및 제2라인은 각각의 조각이 뷰파인더에 현시된 얼굴의 윤곽을 따라 위치하고, 이목구비의 위치에 대응하도록 위치한다. 따라서, 얼굴정보는 실제 얼굴의 정확한 윤곽 및 이목구비의 위치가 좌표로 설정된다.In more detail, the detailed position setting is performed by shifting the pieces of the first and second lines of the face guide line in a piece-like form to a predetermined position of the face, thereby setting the detailed position. That is, the first line and the second line are constituted by a plurality of lines and are set and implemented so as to be movable, respectively, and are configured and implemented so as to be movable in the form of contour ratios. Thus, the first and second lines are located so that each piece is located along the contour of the face displayed in the viewfinder and corresponds to the position of the eye piece ratio. Therefore, the face information is set to the coordinates of the exact contour of the actual face and the position of the eyeball.

이와 달리, 상기 얼굴정보는, 상기 카메라에 의해 생성된 상기 사진을 이용하여 획득할 수도 있다. 이를 위해, 상기 사진에 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된 얼굴 가이드라인을 상기 뷰파인더에 현시된 얼굴에 오버레이하여 얼굴의 기준위치를 설정하고, 상기 기준위치가 설정되면 상기 얼굴 가이드라인을 보정하여 얼굴의 세부위치를 설정하며, 상기 세부위치가 설정되어 상기 가이드라인이 오버레이된 상기 사진을 통해 얼굴정보를 설정한다. 이때, 상기 세부위치 설정 및 얼굴정보 설정은 전술한 바와 동일하므로 그 자세한 설명은 생략한다.Alternatively, the face information may be obtained using the photograph generated by the camera. To this end, a face guide line composed of a first line composed of a face contour including a hair contour and a second line composed of a contour contour is overlaid on a face displayed on the viewfinder to set a reference position of a face, When the reference position is set, the face guide line is corrected to set the detailed position of the face, and the detailed position is set, and the face information is set through the photograph on which the guide line is overlaid. At this time, since the detailed position setting and the face information setting are the same as those described above, detailed description thereof will be omitted.

한편, 상기 얼굴정보가 획득되면, 획득된 상기 얼굴정보를 기반으로 실사캐릭터를 생성한다. 이를 위해, 먼저 상기 획득된 얼굴정보를 기반으로 머리카락을 포함하는 얼굴의 형태 및 이목구비의 형태를 형성하고, 상기 형성된 형태에 색상을 맵핑한다. 이때, 얼굴의 형태 및 이목구비의 형태, 그리고 색상은 전술한 얼굴생성 저장 DB에 저장된 얼굴의 부위별 형태 및 색상을 이용한다. 예를 들어, 이목구비의 형태를 형성하기 위해서는, 전술한 얼굴정보에 대응하는 형상과 유사한 형상의 이목구비를 의미하며, 이러한 이목구비를 얼굴정보의 해당하는 좌표에 매칭시킨다. 그리고, 얼굴의 윤곽 내부에 색상을 합성하여 실사캐릭터를 생성한다.On the other hand, when the face information is acquired, a live-action character is created based on the obtained face information. To this end, a shape of a face including a hair is formed based on the obtained face information, and a color is mapped to the formed shape. At this time, the shape of the face, the shape of the eyeball, and the color of the face are stored in the face creation DB. For example, in order to form the shape of the eyeball, it means an eyeball ratio having a shape similar to the shape corresponding to the above-described face information, and this eyeball ratio is matched to the corresponding coordinates of the face information. Then, a color is synthesized inside the outline of the face to create a live-action character.

필요시, 실사캐릭터 생성단계에서 생성된 실사캐릭터의 표정을 도 4 내지 도 7에 도시된 바와 같이 변환시켜서 표정변환 캐릭터를 생성한다. 상기 표정변환 캐릭터를 생성하기 위해서는, 상기 실사캐릭터에 표정제어점을 설정하고, 상기 표정변환 캐릭터의 변환될 표정을 설정한 후, 상기 표정제어점을 기반으로 변환값을 산출한 다음, 상기 산출된 변환값을 입력하여 실사캐릭터의 표정을 입력된 변환값에 대응하는 형태의 표정을 맵핑시켜서 표정변환 캐릭터를 생성한다. 이때, 변환값은 표정제어점을 중심으로 가감되는 수치이다. 예를 들어, 변환값은 화가난 표정의 경우 눈꼬리를 상방으로 늘리기 위한 수치이다. 이렇게, 변환값이 설정되어 이에 대응하는 표정이 실사캐릭터에 맵핑될 경우 눈꼬리가 치켜올라간 변환표정 실사캐릭터가 생성된다.If necessary, the expression of the live-action character generated in the live-action character generation step is transformed as shown in Figs. 4 to 7 to generate a facial expression conversion character. In order to generate the facial expression conversion character, a facial expression control point is set in the real image character, a facial expression of the facial expression conversion character is set, a conversion value is calculated on the basis of the facial expression control point, And a facial expression corresponding to the input conversion value is mapped to generate a facial expression conversion character. At this time, the conversion value is a value which is added or subtracted around the facial control point. For example, the conversion value is an amount to increase the eye tail upward for an angry facial expression. In this way, when the conversion value is set and the corresponding facial expression is mapped to the real face character, the converted facial expression real face character whose eye tail is raised is generated.

한편, 상기 실사캐릭터에 악세서리를 추가하여 도 4에 도시된 바와 같이 데코레이션할 수 있다. 이를 위해, 상기 실사캐릭터에 추가되는 악세서리를 생성하여 저장하고, 상기 악세서리를 다운로드하여 상기 실사캐릭터에 합성한다. 이러한 악세사리는 전술한 바와 같은 의류나 소품 또는 텍스트나 감정표현이며, 전술한 악세사리 생성엔진을 통해 생성된다.On the other hand, accessories can be added to the live-action character to decorate it as shown in FIG. To this end, an accessory to be added to the real life character is created and stored, and the accessory is downloaded and synthesized to the real life character. Such an accessory is a garment or a props or a text or emotional expression as described above, and is created through the above-described accessory creation engine.

여기서, 전술한 상기 사진은 도 1에 도시된 바와 같이 촬영된 후 송부할 수 있으며, 이와 달리 기 저장된 것을 송부할 수 있다. 이때, 유저는 사진의 송부 전 실사캐릭터의 존재여부를 확인한 후 송부한다. 그리고, 상기 사진은 전술한 실사캐릭터 제공장치에 의해 실사캐릭터로 제조된 후 유저에게 확인이 가능하도록 도 2에 도시된 바와 같이 서버에 업로드되어 제공된다. 이후, 유저는 확인된 실사캐릭터 또는 기 저장된 실사캐릭터를 그대로 사용할 수 있으나, 도 1에 도시된 바와 같이 전술한 악세사리를 적용하여 캐릭터 꾸미기를 실시할 수 있다. 유저는 악세사리가 적용된 실사캐릭터 이모티콘을 저장하여 MMS나 공유 또는 카톡 등을 통해 다른 유저에게 송부할 수 있다.Here, the above-described photograph can be photographed after being photographed as shown in FIG. 1, and previously stored can be transmitted. At this time, the user confirms the existence of the real-life character before sending the picture and sends it. The photograph is prepared and uploaded to the server as shown in FIG. 2 so as to be confirmed to the user after it is manufactured as a live-action character by the live-action-character providing apparatus. After that, the user can use the confirmed live-action character or pre-stored live-action character as it is, but the user can decorate the character by applying the above-mentioned accessory as shown in FIG. The user can store the emoticon of the real character to which the accessory is applied, and send it to another user through the MMS, the sharing, or the CATTOK.

한편, 관리자는 실사캐릭터 이모티콘을 필요로 하는 유저에게 비용을 과금하고, 비용이 결재되면 실사캐릭터 이모티콘 또는 악세사리를 제공한다. 이와 달리, 관리자는 광고를 유저에게 제공하여 광고비용을 통해 비용을 절충할 수도 있다.On the other hand, the manager charges the user who needs the emoticon of the real character character, and provides the real character emoticon or the accessory when the cost is paid. Alternatively, the administrator may provide advertisements to the user to compromise the costs through advertising costs.

이상과 같은 본 발명의 실시예는, 도 3에 도시된 바와 같은 실사 사진의 얼굴을 도 4에 도시된 바와 같이 실사와 거의 유사한 실사캐릭터 이모티콘으로 생성할 수 있고, 도 6 및 도 7에 도시된 바와 같이 다양한 표정으로 변환된 표정변환 실사캐릭터 이모티콘을 제공할 수 있다. 이러한 실사캐릭터는 도 7에 도시된 바와 같이 메신저에 활용하거나, 도 8에 도시된 바와 같이 컬러링화면 또는 도 9에 도시된 바와 같이 PPL 등으로 활용될 수 있다.As described above, the embodiment of the present invention can generate a face of a real photograph as shown in Fig. 3 by a real-life character emoticon similar to a real face as shown in Fig. 4, The emoticon of the facial expression conversion real-life character converted into various facial expressions can be provided. Such a live-action character can be used in a messenger as shown in FIG. 7, or as a coloring screen as shown in FIG. 8 or a PPL as shown in FIG.

전술한 실시예는 본 발명의 바람직한 실시예를 설명한 것에 불과하므로 본 발명의 적용 범위는 이와 같은 것에 한정되지 않으며, 본질적 특징이 충족될 수 있을 경우 동일 사상의 범주내에서 적절한 변형(구조나 구성의 변경이나 부분적 생략 또는 보완)이 가능하다. 또한, 전술한 실시예들은 특징의 일부 또는 다수가 상호 간에 조합될 수도 있다. 따라서, 본 발명의 실시예에 나타난 각 구성 요소의 구조 및 구성은 변형이나 조합에 의해 실시할 수 있으므로 이러한 구조 및 구성의 변형이나 조합이 첨부된 본 발명의 특허청구범위에 속함은 당연한 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to be illustrative of the present invention and are not intended to limit the scope of the present invention. Change, partial omission, or supplement). In addition, the above-described embodiments may combine some or many of the features with each other. Therefore, the structure and configuration of each component shown in the embodiments of the present invention can be implemented by modifications or combinations, and it goes without saying that modifications and combinations of these structures and configurations fall within the scope of the appended claims of the present invention.

Claims (12)

카메라를 통해 촬영된 사진의 얼굴에 오버레이되는 얼굴가이드 라인이 저장되는 얼굴 가이드라인 DB;
상기 얼굴 가이드라인을 기반으로 실사 캐릭터의 얼굴이 생성되도록 얼굴의 부위별 형태 및 색상이 저장되는 얼굴생성 저장 DB;
상기 얼굴 가이드라인을 통해 얼굴정보를 획득하는 얼굴정보 획득부;
상기 얼굴정보 획득부에 획득된 얼굴정보를 기반으로 상기 얼굴생성 저장 DB에 저장된 데이터를 추출해서 합성하여 상기 실사 캐릭터를 생성하는 실사캐릭터 생성부; 및
상기 얼굴정보 및 상기 실사 캐릭터가 저장되는 메모리;를 포함하는 실사캐릭터 이모티콘 제공장치.
A face guide line DB in which a face guide line overlaid on a face of a photograph photographed through a camera is stored;
A face generation DB storing a shape and a color of each part of the face so that a face of the real face character is generated based on the face guide line;
A face information obtaining unit for obtaining face information through the face guide line;
A live-action character generation unit for generating the live-action character by extracting and combining data stored in the face-generation storage DB on the basis of the face information acquired in the face information acquisition unit; And
And a memory in which the face information and the real life character are stored.
제 1 항에 있어서,
상기 실사캐릭터의 표정을 변환시켜서 표정변환 캐릭터를 생성하는 표정변환 캐릭터 생성부;를 더 포함하며,
상기 표정변환 캐릭터 생성부는,
상기 표정변환 캐릭터의 변환된 표정들이 분류되어 저장된 표정분류부;
상기 표정변환 캐릭터의 변환된 표정에 필요한 변환값을 산출하는 변환값 산출부; 및
상기 산출된 변환값을 입력하여 상기 변환값에 대응하는 형태의 변환 표정을 맵핑하는 변환표정 맵핑부;를 포함하는 실사캐릭터 이모티콘 제공장치.
The method according to claim 1,
And a facial expression conversion character generation unit for converting a facial expression of the real face character to generate a facial expression conversion character,
Wherein the facial expression conversion character generation unit comprises:
A facial classifying unit for classifying and storing converted facial expressions of the facial expression converting character;
A conversion value calculation unit for calculating a conversion value required for the converted facial expression character; And
And a conversion expression mapping unit for inputting the calculated conversion value and mapping a conversion expression of a type corresponding to the conversion value.
제 1 항에 있어서,
상기 실사캐릭터에 악세사리를 추가하여 데코레이션하는 데코레이션부;를 더 포함하며,
상기 데코레이션부는,
상기 실사캐릭터에 추가될 악세사리를 생성하는 악세사리 생성엔진;
상기 악세사리 생성엔진에서 생성된 악세사리가 저장되는 악세사리 DB; 및
상기 악세사리 DB에 저장된 악세사리를 상기 실사캐릭터에 합성하는 악세사리 합성부;를 포함하는 실사캐릭터 이모티콘 제공장치.
The method according to claim 1,
And a decoration unit for adding and decorating an accessory to the live-action character,
The decorating unit,
An accessory creation engine for creating an accessory to be added to the live-action character;
An accessory DB for storing accessories created by the accessory creation engine; And
And an accessory synthesizer for synthesizing an accessory stored in the accessory DB to the real life character.
카메라를 통해 촬영된 얼굴 사진을 통해 얼굴정보를 획득하는 얼굴정보 획득단계; 및
상기 획득된 얼굴정보를 기반으로 실사캐릭터를 생성하는 실사캐릭터 생성단계;를 포함하는 실사캐릭터 이모티콘 제공방법.
A face information acquiring step of acquiring face information through a face photograph photographed through a camera; And
And a live-action character generation step of generating live-action characters based on the obtained face information.
제 4 항에 있어서, 상기 얼굴정보 획득단계는,
상기 카메라의 뷰파인더에 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된 얼굴 가이드라인을 상기 뷰파인더에 현시된 얼굴에 오버레이하여 얼굴의 기준위치를 설정하는 기준위치 설정단계;
상기 기준위치가 설정되면 상기 얼굴 가이드라인을 보정하여 얼굴의 세부위치를 설정하는 세부위치 설정단계; 및
상기 세부위치가 설정되어 상기 가이드라인이 오버레이된 상기 사진을 통해 얼굴정보를 설정하는 얼굴정보 설정단계;를 포함하는 실사캐릭터 이모티콘 제공방법.
5. The method according to claim 4,
A face guide line composed of a first line made up of a face contour including a hair outline and a second line made up of a contour outline on the viewfinder of the camera is overlaid on a face displayed on the viewfinder, Position setting step;
Setting a detailed position of the face by correcting the face guide line when the reference position is set; And
And a face information setting step of setting face information through the photograph in which the detailed position is set and the guide line is overlaid.
제 4 항에 있어서, 상기 얼굴정보 획득단계는,
상기 사진에 머리카락 윤곽을 포함하는 얼굴윤곽으로 이루어진 제1라인 및 이목구비 윤곽으로 이루어진 제2라인으로 구성된 얼굴 가이드라인을 상기 뷰파인더에 현시된 얼굴에 오버레이하여 얼굴의 기준위치를 설정하는 기준위치 설정단계;
상기 기준위치가 설정되면 상기 얼굴 가이드라인을 보정하여 얼굴의 세부위치를 설정하는 세부위치 설정단계; 및
상기 세부위치가 설정되어 상기 가이드라인이 오버레이된 상기 사진을 통해 얼굴정보를 설정하는 얼굴정보 설정단계;를 포함하는 실사캐릭터 이모티콘 제공방법.
5. The method according to claim 4,
A reference position setting step of setting a reference position of a face by overlaying a face guide line made up of a first line made of a face contour including a hair contour and a second line made of a contour contour on the photograph, ;
Setting a detailed position of the face by correcting the face guide line when the reference position is set; And
And a face information setting step of setting face information through the photograph in which the detailed position is set and the guide line is overlaid.
제 5 항 또는 제 6 항에 있어서,
상기 세부위치 설정단계는,
상기 얼굴 가이드라인의 상기 제2라인이 조각형태로 이동됨에 따라 각각의 조각을 현시된 얼굴의 정위치에 이동시켜서 세부위치를 설정하는 것을 특징으로 하는 실사캐릭터 이모티콘 제공방법.
The method according to claim 5 or 6,
Wherein the detailed positioning step includes:
Wherein the second line of the face guide line is moved in a piece form so that each piece is moved to the correct position of the face to set the detailed position.
제 5 항 또는 제 6 항에 있어서,
상기 얼굴정보 설정단계는,
상기 설정된 세부위치의 좌표를 통해 얼굴정보를 설정하는 것을 특징으로 하는 실사캐릭터 이모티콘 제공방법.
The method according to claim 5 or 6,
Wherein the face information setting step comprises:
Wherein face information is set through coordinates of the set detailed position.
제 4 항에 있어서, 상기 실사캐릭터 생성단계는,
상기 획득된 얼굴정보를 기반으로 머리카락을 포함하는 얼굴의 형태 및 이목구비의 형태를 형성하는 형태 형성단계; 및
상기 형성된 형태에 색상을 맵핑하는 색상 맵핑단계;를 포함하는 실사캐릭터 이모티콘 제공방법.
5. The method according to claim 4,
Forming a shape of a face including a hair on the basis of the obtained facial information and a shape of a facial feature; And
And a color mapping step of mapping colors to the formed shapes.
제 4 항에 있어서,
상기 실사캐릭터 생성단계에서 생성된 실사캐릭터의 표정을 변환시켜서 표정변환 캐릭터를 생성하는 표정변환 캐릭터 생성단계;를 더 포함하는 실사캐릭터 이모티콘 제공방법.
5. The method of claim 4,
And a facial expression conversion character generation step of converting a facial expression of the real face character generated in the real face character generation step to generate a facial expression conversion character.
제 10 항에 있어서, 상기 표정변환 캐릭터 생성단계는,
상기 실사캐릭터에 표정제어점을 설정하는 표정제어점 설정단계;
상기 표정변환 캐릭터의 변환될 표정을 설정하는 변환표정 설정단계;
상기 표정제어점을 기반으로 변환값을 산출하는 변환값 산출단계; 및
상기 산출된 변환값을 입력하여 실사캐릭터의 표정을 입력된 변환값에 대응하는 형태의 표정을 맵핑시켜서 표정변환 캐릭터를 생성하는 변환값 맵핑단계;를 포함하는 실사캐릭터 이모티콘 제공방법.
The method according to claim 10, wherein the facial expression conversion character generation step comprises:
A facial expression control point setting step of setting a facial expression control point in the live-action character;
A conversion facial expression setting step of setting a facial expression to be converted of the facial expression conversion character;
A conversion value calculation step of calculating conversion values based on the facial expression control points; And
And a conversion value mapping step of inputting the calculated conversion value and mapping the facial expression of the real image character to the facial expression corresponding to the input conversion value to generate a facial expression conversion character.
제 4 항에 있어서,
상기 실사캐릭터에 악세서리를 추가하여 데코레이션하는 악세서리 추가단계;를 더 포함하며,
상기 악세서리 추가단계는,
상기 실사캐릭터에 추가되는 악세서리를 생성하여 저장하는 악세서리 생성단계; 및
상기 악세서리를 다운로드하여 상기 실사캐릭터에 합성하는 악세서리 합성단계;를 포함하는 실사캐릭터 이모티콘 제공방법.
5. The method of claim 4,
And adding an accessory to the live-action character to decorate the live-action character,
In the accessory adding step,
An accessory creation step of creating and storing an accessory to be added to the real life character; And
And an accessory synthesis step of downloading the accessories and synthesizing the accessories into the live-action character.
KR1020140055712A 2014-05-09 2014-05-09 Providing apparatus for actual image emoticon and method KR20150129248A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140055712A KR20150129248A (en) 2014-05-09 2014-05-09 Providing apparatus for actual image emoticon and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140055712A KR20150129248A (en) 2014-05-09 2014-05-09 Providing apparatus for actual image emoticon and method

Publications (1)

Publication Number Publication Date
KR20150129248A true KR20150129248A (en) 2015-11-19

Family

ID=54843407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140055712A KR20150129248A (en) 2014-05-09 2014-05-09 Providing apparatus for actual image emoticon and method

Country Status (1)

Country Link
KR (1) KR20150129248A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062005A (en) * 2017-11-28 2019-06-05 강동우 Method for making emoticon during chatting
WO2023008668A1 (en) * 2021-07-27 2023-02-02 주식회사 다날엔터테인먼트 Emoticon generation device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062005A (en) * 2017-11-28 2019-06-05 강동우 Method for making emoticon during chatting
WO2023008668A1 (en) * 2021-07-27 2023-02-02 주식회사 다날엔터테인먼트 Emoticon generation device

Similar Documents

Publication Publication Date Title
US9911220B2 (en) Automatically determining correspondences between three-dimensional models
KR101514327B1 (en) Method and apparatus for generating face avatar
CN113287118A (en) System and method for face reproduction
KR20220017903A (en) An entertaining mobile application that animates a single image of the human body and applies effects
KR20010056965A (en) Method for creating human characters by partial image synthesis
KR20200055841A (en) Learning data set generating apparatus and method for machine learning
KR100935482B1 (en) System and method for providing synthetic images
WO2013120851A1 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
KR20210119440A (en) Systems and methods for creating personalized videos with custom text messages
KR20080050336A (en) A mobile communication terminal having a function of the creating 3d avata model and the method thereof
US20240087204A1 (en) Generating personalized videos with customized text messages
CN111530086B (en) Method and device for generating expression of game role
CN108668050A (en) Video capture method and apparatus based on virtual reality
JP2017512116A (en) How to provide user-customized nail decoration deposits
CN106447604A (en) Method and device for transforming facial frames in videos
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
JP2013226286A (en) Method for synthesizing hair style, device for synthesizing hair style, and program for synthesizing hair style
JP2017010578A (en) Portable terminal device, terminal program, augmented reality system, and clothing
KR20150129248A (en) Providing apparatus for actual image emoticon and method
KR20200029968A (en) Modeling method of automatic character facial expression using deep learning technology
JP5894505B2 (en) Image communication system, image generation apparatus, and program
KR20060082984A (en) Method for generating 3d avatar from 2d image on mobile communication terminal
KR102063728B1 (en) Method for making emoticon during chatting
CN113302659B (en) System and method for generating personalized video with customized text messages
KR20150135591A (en) Capture two or more faces using a face capture tool on a smart phone, combine and combine them with the animated avatar image, and edit the photo animation avatar and server system, avatar database interworking and transmission method , And photo animation on smartphone Avatar display How to display caller

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination