KR102109818B1 - Method and apparatus for processing face image - Google Patents

Method and apparatus for processing face image Download PDF

Info

Publication number
KR102109818B1
KR102109818B1 KR1020180079628A KR20180079628A KR102109818B1 KR 102109818 B1 KR102109818 B1 KR 102109818B1 KR 1020180079628 A KR1020180079628 A KR 1020180079628A KR 20180079628 A KR20180079628 A KR 20180079628A KR 102109818 B1 KR102109818 B1 KR 102109818B1
Authority
KR
South Korea
Prior art keywords
face
mesh data
data
standard
facial expression
Prior art date
Application number
KR1020180079628A
Other languages
Korean (ko)
Other versions
KR20200005964A (en
Inventor
한진용
김시균
신승호
송형주
임국찬
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180079628A priority Critical patent/KR102109818B1/en
Publication of KR20200005964A publication Critical patent/KR20200005964A/en
Application granted granted Critical
Publication of KR102109818B1 publication Critical patent/KR102109818B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • G06K9/00268
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계, 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계, 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계, 표준 얼굴 메시 데이터와 개인 얼굴 메시 데이터간 변형 정보를 기초로 표정 데이터를 보정하는 단계를 포함한다.The face image processing method performed in the disclosed face image processing apparatus comprises: modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data, and targeting an image for an arbitrary user Extracting a plurality of feature points present in the face region in the image, transforming standard face mesh data based on the plurality of feature points to generate personal face mesh data, and transforming information between the standard face mesh data and the personal face mesh data And correcting facial expression data based on the.

Description

얼굴 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING FACE IMAGE}METHOD AND APPARATUS FOR PROCESSING FACE IMAGE}

본 발명은 얼굴 영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 내 얼굴의 표정을 변화시키는 얼굴 영상 처리 방법 및 장치에 관한 것이다.The present invention relates to a face image processing method and apparatus, and more particularly, to a face image processing method and apparatus for changing a facial expression in an image.

인간의 커뮤니케이션(communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.There are many methods of human communication. One of them is facial expression. The other party in communication can grasp the speaker's emotions or intentions from the speaker's facial expression.

얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다. 나아가, 캐릭터의 얼굴 부위를 관람객의 얼굴 영상으로 대체하여 서비스를 제공할 수 있으며, 이 경우에는 자신의 얼굴이 영화나 애니메이션에 등장하기 때문에 그만큼 관람객의 몰입도가 향상된다.The communication method using facial expressions can be applied to virtual characters appearing in movies or animations. That is, the viewer can grasp information such as the emotion or intention of the character or the surrounding situation from the facial expression of the character. Furthermore, a service can be provided by replacing the face part of the character with the face image of the spectator, and in this case, the immersion of the spectator is improved as the face of the character appears in the movie or animation.

그런데, 이처럼 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체할 경우에는 일반적인 리타게팅(retargeting) 기법과는 다르게, 영상물 내에 삽입되는 얼굴 영상의 표정을 자연스럽게 변화시킬 수 있는 기술이 요구된다.However, in the case of replacing the face portion of a character in a video object such as a movie or animation with a face image of an arbitrary user, unlike the general retargeting technique, the expression of the face image inserted in the video object can be naturally changed. Technology is required.

대한민국 공개특허공보 제10-2018-0070688호, 공개일자 2018년 06월 26일.Republic of Korea Patent Publication No. 10-2018-0070688, published date of June 26, 2018.

본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성을 고려하여 영상 내 얼굴의 표정을 보정하는 얼굴 영상 처리 방법 및 장치를 제공한다.According to an embodiment of the present invention, there is provided a face image processing method and apparatus for correcting a facial expression in an image in consideration of personal characteristics of a face to be serviced.

또, 영상 내 얼굴의 표정을 부위별로 보정하는 얼굴 영상 처리 방법 및 장치를 제공한다.In addition, a face image processing method and apparatus for correcting a facial expression in an image for each region are provided.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those having ordinary knowledge to which the present invention belongs from the following description.

본 발명의 제 1 관점에 따라 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계; 상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계; 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계를 포함한다.According to a first aspect of the present invention, a face image processing method performed in a face image processing apparatus includes modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data. ; Extracting a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user; Generating personal face mesh data by modifying the standard face mesh data based on the plurality of feature points; And correcting the facial expression data based on deformation information between the standard face mesh data and the personal face mesh data.

본 발명의 제 2 관점에 따른 컴퓨터 프로그램은 상기 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가 컴퓨터 판독가능 기록매체에 기록된다.In the computer program according to the second aspect of the present invention, instructions for performing each step according to the face image processing method are recorded on a computer-readable recording medium.

본 발명의 제 3 관점에 따른 얼굴 영상 처리 장치는, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 모델링부; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 개인화 처리부를 포함한다.A face image processing apparatus according to a third aspect of the present invention includes a modeling unit for modeling a standard face to generate standard face mesh data including a plurality of meshes, and to generate facial expression data for the standard face mesh data; An image processing unit for extracting a plurality of feature points present in a face region in the image, for an image for an arbitrary user; And a personalization processing unit that generates personal face mesh data by transforming the standard face mesh data based on the plurality of feature points, and corrects the facial expression data based on deformation information between the standard face mesh data and the personal face mesh data. do.

본 발명의 실시예에 의하면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는 효과가 있다.According to an exemplary embodiment of the present invention, the facial expression in the image may be corrected for each part by considering personal characteristics of the face to be serviced or corrected for each part, thereby preventing an expression distortion caused by a characteristic difference between the standard face and the service face.

도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에서 얼굴 영상 처리 방법을 수행함에 따라 제공할 수 있는 얼굴 메시 데이터 및 서비스 대상 얼굴 영상의 다양한 예를 보인 것이다.
1 is a block diagram of a facial image processing apparatus according to an embodiment of the present invention.
2 to 4 are flowcharts for explaining a face image processing method using a face image processing apparatus according to an embodiment of the present invention.
5 to 11 illustrate various examples of face mesh data and service target face images that can be provided by performing a face image processing method in the face image processing apparatus according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only these embodiments allow the disclosure of the present invention to be complete, and have ordinary knowledge in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.1 is a block diagram of a facial image processing apparatus according to an embodiment of the present invention.

도 1에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)를 포함한다.As shown in FIG. 1, the facial image processing apparatus 100 according to an embodiment includes a modeling unit 110, an image processing unit 120, and a personalization processing unit 130.

모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 복수의 블렌드 쉐이프(Blend Shape)를 제작하여 표정 데이터를 생성할 수 있다. 블렌드 쉐이프는 메시 안에서 정점이 이동해야 하는 타깃의 거리 및 방향(Displacement) 값이다.The modeling unit 110 models standard faces to generate standard face mesh data including a plurality of meshes. In addition, the modeling unit 110 may generate facial expression data for standard face mesh data. For example, the modeling unit 110 may generate a plurality of blend shapes to generate facial expression data. The blend shape is the distance and direction values of the target that the vertices should move within the mesh.

영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다.The image processing unit 120 extracts a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user. For example, the image processing unit 120 may use a known facial landmark detection algorithm.

개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성한다. 그리고, 개인화 처리부(130)는 개인 얼굴 메시 데이터를 기초로 서비스 대상 얼굴이 포함된 영상에서 얼굴 부위를 분리한다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 여기서, 개인화 처리부(130)는 개인 얼굴 메시 데이터의 표정 데이터를 생성할 때에, 표정 왜곡을 방지하기 위해 표준과 개인간 변형 정보를 획득한다. 즉, 표준 얼굴 메시 데이터를 개인 얼굴 메시 데이터로 변형시킬 때에 두 개의 얼굴 메시 데이터 사이의 차이값을 의미하는 변형 정보를 획득한다. 이어서, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 표준과 개인간 변형 정보를 기초로 변형 정보만큼 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 변형 정보에 비례하여 블렌드 쉐이프가 보정되는 것이다.The personalization processing unit 130 generates personal face mesh data by transforming the standard face mesh data based on a plurality of feature points extracted by the image processing unit 120. Then, the personalization processing unit 130 separates the face portion from the image including the face to be serviced based on the personal face mesh data. In addition, the personalization processing unit 130 may generate facial expression data of the personal facial mesh data based on facial expression data of the standard facial mesh data. Here, when generating facial expression data of personal face mesh data, the personalization processing unit 130 acquires deformation information between the standard and the individual to prevent facial expression distortion. That is, when transforming the standard face mesh data into personal face mesh data, deformation information indicating a difference value between two face mesh data is acquired. Subsequently, the personalization processing unit 130 generates facial expression data corrected by the deformation information based on the deformation information between the standard and the individual in generating the facial expression data of the personal facial mesh data based on the facial expression data of the standard facial mesh data. That is, the blend shape is corrected by the personalization processing unit 130 in proportion to the deformation information between the standard and the individual.

또한, 개인화 처리부(130)는 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성할 때에, 표준 얼굴 메시 데이터의 메시를 구성하는 정점들을 임의 사용자에 대한 영상에서 추출된 복수의 특징점의 위치로 이동시켜서 개인 얼굴 메시 데이터를 생성할 수도 있으며, 표준 얼굴 메시 데이터에 복수의 얼굴구성점을 포함하는 얼굴뼈를 리깅(rigging)한 후 복수의 얼굴구성점을 복수의 특징점의 위치로 이동시켜서 개인 얼굴 메시 데이터를 생성할 수도 있다. 이 때, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅할 수 있다.Further, the personalization processing unit 130 moves the vertices constituting the mesh of the standard face mesh data to positions of a plurality of feature points extracted from an image for an arbitrary user when the standard face mesh data is modified to generate the personal face mesh data. Personal face mesh data can also be generated by rigging a face bone including a plurality of face construction points in the standard face mesh data, and then moving the plurality of face construction points to the locations of the plurality of feature points to thereby generate the personal face mesh data. You can also generate data. In this case, the personalization processing unit 130 may rig the vertices of the standard face mesh data to at least one face configuration point of the plurality of face configuration points, thereby generating standard face mesh data with face bones rigged. For example, the number of vertices and the number of face construction points included in the standard face mesh data may be the same, but is not limited thereto. In addition, the personalization processing unit 130 may rig at least two to four or less facial constituent points among a plurality of facial constituent points included in the facial bone.

위와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)를 구성하는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)는 각각 마이크로프로세서(Microprocessor)를 포함할 수 있으며, 이들의 동작은 아래에서 좀 더 자세히 설명하기로 한다.As described above, the modeling unit 110, the image processing unit 120, and the personalization processing unit 130 constituting the facial image processing apparatus 100 according to an embodiment may each include a microprocessor, and their operations Will be explained in more detail below.

도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다. 이들 흐름도에서는 표정 데이터로서 블렌드 쉐이프를 제작하는 실시예를 나타나게 했다.2 to 4 are flowcharts for explaining a face image processing method using a face image processing apparatus according to an embodiment of the present invention. In these flowcharts, an example in which a blend shape is produced as facial expression data is shown.

도 2 내지 도 4에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계(S201), 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계(S203), 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계(S205), 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계(S207), 표준 얼굴 메시 데이터와 개인 얼굴 메시 데이터간 변형 정보를 획득하는 단계(S209), 획득된 변형 정보를 기초로 표정 데이터를 보정하는 단계(S211)를 포함한다.As shown in FIGS. 2 to 4, the face image processing method according to an embodiment includes modeling a standard face to generate standard face mesh data including a plurality of meshes (S201), and facial expressions for the standard face mesh data Generating data (S203), extracting a plurality of feature points present in a face portion of the image for an image for an arbitrary user (S205), modifying standard face mesh data based on the plurality of feature points to personal face The method includes generating mesh data (S207), obtaining deformation information between standard face mesh data and personal face mesh data (S209), and correcting facial expression data based on the obtained deformation information (S211).

여기서, 표준과 개인간 변형 정보를 획득할 때에, 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 획득할 수 있고, 표정 데이터를 보정할 때에, 얼굴 외곽 크기간 변화율에 비례하여 표정 데이터를 보정할 수 있다. 또는, 표준과 개인간 변형 정보를 획득할 때에, 표준 얼굴 메시 데이터 및 개인 얼굴 메시 데이터를 복수의 부분으로 분할(S301)한 뒤, 복수의 부분별로 변형 정보를 획득(S303)하고, 표정 데이터를 보정할 때에, 획득된 복수의 부분별 변형 정보를 기초로 복수의 부분별로 표정 데이터를 보정(S305)할 수 있다.Here, when acquiring deformation information between the standard and the individual, it is possible to obtain a rate of change between the size of the face outline of the standard face mesh data and the size of the face outline of the personal face mesh data, and when correcting the facial expression data, the rate of change between the face outline sizes Facial expression data can be corrected proportionally. Alternatively, when acquiring the deformation information between the standard and the individual, the standard face mesh data and the personal face mesh data are divided into a plurality of parts (S301), and then the deformation information is obtained for each of the plurality of parts (S303), and facial expression data is corrected. At this time, facial expression data may be corrected for each of a plurality of parts based on the obtained deformation information for each part (S305).

또한, 개인 얼굴 메시 데이터를 생성할 때에, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 표준 얼굴 메시 데이터에 리깅(S401)하고, 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 개인 얼굴 메시 데이터로 변형(S403)할 수 있다.In addition, when generating personal face mesh data, face bones including a plurality of face construction points are generated and rigged in the standard face mesh data (S401), and the plurality of face construction points are moved based on the plurality of feature points to move the individual It can be transformed into face mesh data (S403).

이하, 도 1에 나타낸 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 도 2 내지 도 4에 나타낸 바와 같은 얼굴 영상 처리 방법을 수행하는 과정들에 대해, 도 5 내지 도 11에 나타낸 다양한 예를 참조하여 자세히 살펴보기로 한다.Hereinafter, the processes of performing the face image processing method as shown in FIGS. 2 to 4 in the face image processing apparatus 100 according to an embodiment of the present invention shown in FIG. 1 are illustrated in FIGS. 5 to 11 Let's take a closer look with reference to various examples.

먼저, 얼굴 영상 처리 장치(100)의 모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 이러한 모델링부(110)는 도 5에 예시한 바와 같이 적어도 세 개의 정점이 하나의 메시를 이루는 표준 얼굴 메시 데이터(501)를 생성할 수 있다(S201).First, the modeling unit 110 of the face image processing apparatus 100 models a standard face to generate standard face mesh data including a plurality of meshes. As illustrated in FIG. 5, the modeling unit 110 may generate standard face mesh data 501 in which at least three vertices form one mesh (S201).

그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 도 5에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다(S203).In addition, the modeling unit 110 may generate facial expression data for standard face mesh data. For example, the modeling unit 110 may generate a plurality of blend shapes 502, 503, 504, and 505 as illustrated in FIG. 5 to generate facial expression data (S203).

얼굴 영상 처리 장치(100)의 영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 이러한 영상 처리부(120)는 도 6에 예시한 바와 같이 서비스 대상 얼굴이 포함된 영상(601)이 입력되면 서비스 대상 얼굴이 갖는 복수의 특징점(602)을 추출할 수 있다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. 이러한 얼굴 특징점 검출 알고리즘은 딥러닝 기반의 이미지 프로세싱 기술로서, 얼굴의 눈, 코, 입, 턱 등의 특징점을 분석하여 약 68개의 특징점을 추출할 수 있다(S205).The image processing unit 120 of the face image processing apparatus 100 extracts a plurality of feature points present in a face portion of the image, targeting an image for a random user. As illustrated in FIG. 6, the image processing unit 120 may extract a plurality of feature points 602 of the service target face when the image 601 including the service target face is input. For example, the image processing unit 120 may use a known facial landmark detection algorithm. The facial feature point detection algorithm is a deep learning-based image processing technology, and can extract about 68 feature points by analyzing feature points such as the eyes, nose, mouth, and chin of the face (S205).

얼굴 영상 처리 장치(100)의 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 6에 예시한 바와 같이 표준 얼굴 메시 데이터(501)를 이용하여 개인 얼굴 메시 데이터(603)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터(507)의 메시를 구성하는 정점들을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(501)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S207).The personalization processing unit 130 of the face image processing apparatus 100 generates personal face mesh data in which standard face mesh data is modified based on a plurality of feature points extracted by the image processing unit 120. The personalization processing unit 130 may generate personal face mesh data 603 using standard face mesh data 501 as illustrated in FIG. 6. For example, an individual face in which the standard face mesh data 501 is transformed by moving and transforming vertices constituting the mesh of the standard face mesh data 507 to a plurality of feature point positions of the image 601 including the face to be serviced. The mesh data 603 may be generated (S207).

그리고, 개인화 처리부(130)는 앞서 설명한 바와 같이 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성한 바 있기 때문에, 이러한 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 앞서 도 5를 참조하여 설명한 바와 같이 모델링부(110)는 표준 얼굴 메시 데이터(501)에 대한 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다. 이 경우에, 개인화 처리부(130)는 도 6에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 개인 얼굴 메시 데이터(603)에 적용함으로써, 복수의 블렌드 쉐이프(502, 503, 504, 505)에 각각 대응하는 서비스 대상 얼굴의 특정 표정 영상(604)를 포함하는 복수의 표정 영상을 생성할 수 있다.In addition, since the personalization processing unit 130 has generated facial expression data for the standard facial mesh data as described above, facial expression data of the personal facial mesh data may be generated based on the facial expression data of the standard facial mesh data. . As described above with reference to FIG. 5, the modeling unit 110 may generate facial expression data by manufacturing a plurality of blend shapes 502, 503, 504, and 505 for the standard face mesh data 501. In this case, the personalization processing unit 130 applies a plurality of blend shapes 502, 503, 504, and 505 to the personal face mesh data 603, as illustrated in FIG. 6, thereby blending the plurality of blend shapes 502, 503. , 504 and 505, a plurality of facial expression images including specific facial expression images 604 of the service target faces, respectively.

그런데, 서비스 대상이 되는 사람들은 얼굴의 모양이 동일하지 않을 뿐만 아니라 많은 차이를 갖는다. 사람에 따라 얼굴의 크기가 서로 다르고, 얼굴을 구성하는 세부 부위인 눈, 코, 입 등의 크기 또한 다양하다. 그러므로, 표준 얼굴에서 생성한 표정 데이터를 개인 얼굴에 그대로 적용하면 희망하는 표정이 제대로 표현되지 않을 수 있다. 특히, 눈 부위와 입 부위처럼 다른 세부 부위보다 메시를 구성하는 정점들의 밀도가 상대적으로 높은 부위에서는 얼굴 표정의 왜곡이 발생할 가능성이 높다. 도 7에 예시한 바와 같이 정상적인 개인 얼굴 메시 데이터(701)와 비정상적인 개인 얼굴 메시 데이터(702)를 비교하여 보면 눈 부위가 일그러지는 현상(703)이 발생하여 표정이 왜곡된 것을 알 수 있다.However, not only the shape of the face is not the same, but there are many differences. Different people have different face sizes, and the size of the eyes, nose, and mouth, which are the parts that make up the face, also varies. Therefore, if the expression data generated from the standard face is applied to the personal face as it is, the desired expression may not be properly expressed. In particular, there is a high possibility of distortion of facial expressions in areas where the density of the vertices constituting the mesh is relatively higher than other detailed areas such as the eye area and the mouth area. As illustrated in FIG. 7, when the normal personal face mesh data 701 and the abnormal personal face mesh data 702 are compared, it can be seen that a distorted phenomenon 703 occurs in the eye region, and thus the facial expression is distorted.

그러므로, 개인화 처리부(130)는 표정 왜곡을 방지하기 위해 단계 S207에서 개인 얼굴 메시 데이터를 생성할 때에, 표준과 개인간 변형 정보를 획득한다. 즉, 표준 얼굴 메시 데이터를 개인 얼굴 메시 데이터로 변형시킬 때에 두 개의 얼굴 메시 데이터 사이의 차이값을 의미하는 변형 정보를 획득한다. 예를 들어, 개인화 처리부(130)는 도 8에 예시한 바와 같이 표준 얼굴 메시 데이터(801)의 얼굴 외곽 크기와 개인 얼굴 메시 데이터(802)의 얼굴 외곽크기간 변화율을 변형 정보로서 획득할 수 있다. 예컨대, 얼굴의 폭(width)과 높이(height)를 비교하여 얼굴 외곽크기간 변화율을 획득할 수 있다(S209).Therefore, the personalization processing unit 130 acquires standard and interpersonal deformation information when generating personal face mesh data in step S207 to prevent facial expression distortion. That is, when transforming the standard face mesh data into personal face mesh data, deformation information indicating a difference value between two face mesh data is acquired. For example, as illustrated in FIG. 8, the personalization processing unit 130 may obtain the size of the face outline of the standard face mesh data 801 and the rate of change of the face outline size period of the personal face mesh data 802 as deformation information. . For example, it is possible to obtain the rate of change in the outer contour period of the face by comparing the width and height of the face (S209).

이어서, 개인화 처리부(130)는 단계 S203에서 생성한 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 단계 S209에서 획득한 표준과 개인간 변형 정보를 기초로 변형 정보만큼 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 변형 정보에 비례하여 블렌드 쉐이프가 보정되는 것이다. 예를 들어, 표준 얼굴 메시 데이터의 얼굴 폭 및 얼굴 높이를 기준으로 하여 개인 얼굴 메시 데이터의 얼굴 폭이 90%이고 얼굴 높이가 70%인 경우, 각 포지션의 블렌드 쉐이프 타깃 포지션을 가로 10% 및 세로 30%씩 감소시킬 수 있다(S211).Subsequently, in generating the facial expression data of the personal face mesh data based on the facial expression data generated in step S203, the personalization processing unit 130 corrects the facial expression data corrected by the deformation information based on the standard and interpersonal deformation information obtained in step S209. To create. That is, the blend shape is corrected by the personalization processing unit 130 in proportion to the deformation information between the standard and the individual. For example, if the face width of the personal face mesh data is 90% and the face height is 70% based on the face width and face height of the standard face mesh data, the blend shape target position of each position is 10% horizontally and vertically It can be reduced by 30% (S211).

또한, 개인화 처리부(130)는 단계 S211과 같이 표정 데이터를 보정할 때에, 얼굴을 복수의 부분으로 분할한 후에 각 부분별로 표정 데이터를 보정할 수 있다. 예를 들어, 개인화 처리부(130)는 얼굴의 세부 부위 중 눈 부위와 입 부위를 별도의 부분으로 분할할 수 있다. 이 때, 개인 얼굴 메시 데이터의 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 눈 부위 및 입 부위를 분할할 수 있다. 예컨대, 눈 부위와 입 부위는 다른 부위에 비해 메시의 밀도가 높기 때문에 정정들의 밀도가 기설정된 기준값보다 높은 부위만을 분리하면 눈 부위 및 입 부위를 분할할 수 있다. 그리고, 개인화 처리부(130)는 도 9에 예시한 바와 같이 표준 얼굴 메시 데이터의 눈 부위(901)와 개인 얼굴 메시 데이터의 눈 부위(902)간 크기 변화율을 표준과 개인간 변형 정보로서 획득할 수 있고, 표준 얼굴 메시 데이터의 입 부위(903)와 개인 얼굴 메시 데이터의 눈 부위(904)간 크기 변화율을 표준과 개인간 변형 정보로서 획득할 수 있다. 예컨대, 눈 부위와 입 부위의 폭(width)과 높이(height)를 비교하여 크기 변화율을 획득할 수 있다(S303). 이어서, 개인화 처리부(130)는 단계 S203에서 생성한 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 단계 S303에서 획득한 표준과 개인간의 복수의 부분별 변형 정보를 기초로 각각의 부분별 변형 정보만큼 각 부분별로 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 복수의 부분별 변형 정보에 비례하여 각 부분별로 보정된 블렌드 쉐이프가 제작되는 것이다. 예를 들어, 표준 얼굴 메시 데이터의 눈 부위 폭 및 눈 부위 높이를 기준으로 하여 개인 얼굴 메시 데이터의 눈 부위 폭이 95%이고 눈 부위 높이가 90%인 경우, 해당 영역 내 각 포지션의 블렌드 쉐이프 타깃 포지션을 가로 5% 및 세로 10%씩 감소시킬 수 있다(S305).In addition, the personalization processing unit 130 may correct the facial expression data for each part after dividing the face into a plurality of parts when correcting the facial expression data as in step S211. For example, the personalization processing unit 130 may divide the eye portion and the mouth portion of the detailed parts of the face into separate parts. In this case, the eye region and the mouth region may be divided based on a result of comparing the density of vertices constituting the mesh of the personal face mesh data with a preset reference value. For example, since the density of the mesh is higher than that of other regions, the eye region and the mouth region can be divided by separating only the region where the density of corrections is higher than a predetermined reference value. And, as illustrated in FIG. 9, the personalization processing unit 130 may obtain the rate of change in size between the eye region 901 of the standard face mesh data and the eye region 902 of the personal face mesh data as deformation information between the standard and the individual. , The rate of change in size between the mouth region 903 of the standard face mesh data and the eye region 904 of the personal face mesh data may be obtained as the standard and individual deformation information. For example, a size change rate may be obtained by comparing the width and height of the eye region and the mouth region (S303). Subsequently, the personalization processing unit 130 generates the facial expression data of the personal face mesh data based on the facial expression data generated in step S203, based on the standard obtained in step S303 and the plurality of partial deformation information between the individual parts. Facial expression data corrected for each part is generated as much as the transformation information for each star. That is, a blend shape corrected for each part is produced by the personalization processing unit 130 in proportion to the deformation information of a plurality of parts between the standard and the individual. For example, if the eye area width of the personal face mesh data is 95% and the eye area height is 90% based on the eye area width and the eye area height of the standard face mesh data, the blend shape target of each position in the area The position may be reduced by 5% horizontally and 10% vertically (S305).

도 10은 표준 얼굴 메시 데이터의 블렌드 쉐이프를 개인 얼굴 메시 데이터에 그대로 반영한 얼굴 표정(1001), 표준과 개인간의 얼굴 외곽크기 변화율을 기초로 보정해 반영한 얼굴 표정(1002), 표준과 개인간의 눈 부위 크기 변화율 및 입 부위 크기 변화율을 기초로 부분별로 보정해 반영한 얼굴 표정(1003)를 비교한 것이다. 얼굴 표정(100)에서는 표정 일그러짐이 발생하지만, 얼굴 표정(1002) 및 얼굴 표정(1003)에서는 표정 일그러짐이 발생하지 않는 것을 알 수 있다. 얼굴 표정(1003)은 얼굴 표정(1002)에 비해 상대적으로 표정 변화가 더 부드럽게 나타나는 것을 알 수 있다.10 is a facial expression 1001 reflecting the blend shape of the standard face mesh data as it is in the personal face mesh data, a facial expression 1002 corrected and reflected based on the rate of change of the outer contour size between the standard and the individual, and the eye region between the standard and the individual It is a comparison of facial expressions 1003 reflected and corrected for each part based on the rate of change in size and the rate of change in size of the mouth. It can be seen that facial expression distortion occurs in the facial expression 100, but facial expression distortion does not occur in the facial expression 1002 and the facial expression 1003. It can be seen that the facial expression 1003 exhibits a smoother facial expression change than the facial expression 1002.

한편, 개인화 처리부(130)는 단계 S207에서 개인 얼굴 메시 데이터를 생성할 때에 얼굴뼈를 표준 얼굴 메시 데이터에 리깅(rigging)한 후에 이를 변형하여 개인 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 개인화 처리부(130)는 도 11에 예시한 바와 같이 표준 얼굴 메시 데이터에 복수의 얼굴구성점(1101)을 포함하는 얼굴뼈를 리깅한다. 여기서, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점(1101) 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(1102)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점(1101)의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점(1101) 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅한다. 예를 들어, 표준 얼굴 메시 데이터의 하나의 정점을 얼굴뼈에 포함된 세 개의 얼굴구성점(1101)에 리깅한다는 것은 해당 정점이 세 개의 얼굴구성점에 의존한다는 것이다. 하나의 정점이 복수의 얼굴구성점 중 어떤 얼굴구성점에 얼마만큼 의존하는 가는 가중치로 나타낼 수 있고, 하나의 정점이 가지는 가중치의 합은 1이다. 예컨대, 하나의 정점을 얼굴뼈의 3개의 얼굴구성점 또는 4개의 얼굴구성점에 리깅함으로써, 얼굴뼈에 의한 폴리곤 변형이 부드럽게 나타나게 하면서 폴리곤이 겹쳐지는 현상이 발생하기 않도록 함과 아울러 연산량이 과도하게 상승하지 않도록 할 수 있다(S401).Meanwhile, when the personalized face mesh data is generated in step S207, the personalization processing unit 130 may generate personalized face mesh data by rigging face bones to standard facial mesh data and then deforming it. For example, the personalization processing unit 130 rigs a facial bone including a plurality of facial constitution points 1101 in standard facial mesh data as illustrated in FIG. 11. Here, the personalization processing unit 130 may rig the vertices of the standard face mesh data to at least one face configuration point of the plurality of face configuration points 1101 to generate standard face mesh data 1102 with face bones rigged. have. For example, the number of vertices included in the standard face mesh data and the number of face construction points 1101 may be the same, but are not limited thereto. Also, the personalization processing unit 130 rigs at least two to four or less facial configuration points among the plurality of facial configuration points 1101 included in the facial bones. For example, rigging one vertex of the standard face mesh data to three facial construct points 1101 included in the facial bone means that the vertex depends on three facial construct points. How much one vertex depends on which facial constituent point among the plurality of facial constituent points can be represented by a weight, and the sum of the weights of one vertex is 1. For example, by rigging one vertex to three facial or four facial constituent points of the facial bone, the polygon deformation caused by the facial bone is smoothly displayed while the overlapping of polygons does not occur and the computation amount is excessive. It may be made not to rise (S401).

그리고, 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 11에 예시한 바와 같이 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(1102)를 이용하여 개인 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터의 복수의 얼굴구성점을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(1102)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S403).Then, the personalization processing unit 130 moves the plurality of facial configuration points based on the plurality of feature points extracted by the image processing unit 120 to generate personal face mesh data in which standard face mesh data is modified. As illustrated in FIG. 11, the personalization processing unit 130 may generate personal face mesh data using standard face mesh data 1102 rigged with face bones. For example, the personal face mesh data in which the standard face mesh data 1102 is transformed by moving and transforming a plurality of face constituting points of the standard face mesh data to a plurality of feature point positions of the image 601 including the face to be serviced ( 603) may be generated (S403).

지금까지 설명한 바와 같은 본 발명의 일 실시예에 의하면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는다.According to an embodiment of the present invention as described so far, facial expression in the image is distorted by taking into account the personal characteristics of the face to be serviced or correcting for each part, thereby causing facial expression distortion due to a characteristic difference between the standard face and the face to be serviced. I never do that.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.The combination of each block in the block diagram and each step of the flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that instructions executed through a processor of a computer or other programmable data processing equipment may be used in each block or flowchart of the block diagram. In each step, means are created to perform the functions described. These computer program instructions can also be stored in computer readable or computer readable memory that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that computer readable or computer readable memory The instructions stored in it are also possible to produce an article of manufacture containing instructions means for performing the functions described in each step of each block or flowchart of the block diagram. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so a series of operational steps are performed on a computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step can represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments it is possible that the functions mentioned in blocks or steps occur out of order. For example, two blocks or steps shown in succession may in fact be executed substantially simultaneously, or it is also possible that the blocks or steps are sometimes performed in reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical thoughts within the equivalent range should be interpreted as being included in the scope of the present invention.

본 발명의 실시예에 따르면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는다.According to an embodiment of the present invention, the facial expression in the image does not occur due to a characteristic difference between a standard face and a service target face by considering the personal characteristics of the service target face or by correcting each face.

이러한 본 발명은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하여 서비스하는 기술 분야에 적용할 수 있다.The present invention can be applied to a technical field of service by replacing a face portion of an appearance in a video object such as a movie or animation with a face image of an arbitrary user.

100 : 얼굴 영상 처리 장치
110 : 모델링부
120 : 영상 처리부
130 : 개인화 처리부
100: face image processing device
110: modeling department
120: image processing unit
130: personalization processing unit

Claims (15)

얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법으로서,
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계;
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계;
상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계; 및
보정된 상기 표준 얼굴 메시 데이터에 대한 상기 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계를 포함하고,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 상기 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 포함하고,
상기 표정 데이터를 보정하는 단계는, 상기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법.
A face image processing method performed in a face image processing apparatus,
Modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data;
Extracting a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user;
Generating personal face mesh data by modifying the standard face mesh data based on the plurality of feature points;
Correcting the expression data based on deformation information between the standard face mesh data and the personal face mesh data; And
Generating facial expression data for the personal facial mesh data based on the facial expression data for the corrected standard facial mesh data;
The deformation information includes a rate of change between the face outline size of the standard face mesh data and the face outline size of the personal face mesh data,
The step of correcting the facial expression data may correct the facial expression data in proportion to the rate of change.
Face image processing method.
삭제delete ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 3 was abandoned when payment of the set registration fee was made.◈ 제 1 항에 있어서,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할한 뒤, 상기 복수의 부분별로 획득된 변형 정보를 포함하고,
상기 표정 데이터를 보정하는 단계는, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법.
According to claim 1,
The deformation information, after dividing the standard face mesh data and the personal face mesh data into a plurality of parts, includes deformation information obtained for each of the plurality of parts,
The correcting of the facial expression data may include correcting the facial expression data for each of the plurality of parts based on the obtained deformation information for each of the plurality of parts.
Face image processing method.
◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 4 was abandoned when payment of the set registration fee was made.◈ 제 3 항에 있어서,
상기 복수의 부분으로 분할할 때, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하는
얼굴 영상 처리 방법.
The method of claim 3,
When dividing into the plurality of parts, the eye or mouth part of the detailed parts of the face is divided into separate parts
Face image processing method.
◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 5 was abandoned when payment of the set registration fee was made.◈ 제 4 항에 있어서,
상기 복수의 부분으로 분할할 때, 상기 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 상기 눈 부위 또는 상기 입 부위를 분할하는
얼굴 영상 처리 방법.
The method of claim 4,
When dividing into the plurality of parts, the eye part or the mouth part is divided based on a result of comparing the density of vertices constituting the mesh with a predetermined reference value.
Face image processing method.
얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법으로서,
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계;
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계;
상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계; 및
보정된 상기 표준 얼굴 메시 데이터에 대한 상기 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계를 포함하고,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할한 뒤, 상기 복수의 부분별로 획득된 변형 정보를 포함하고,
상기 표정 데이터를 보정하는 단계는, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표정 데이터를 보정하는 것을 포함하고,
상기 복수의 부분으로 분할할 때, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하고,
상기 부분별 변형 정보는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율을 포함하며,
상기 표정 데이터를 보정하는 단계는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법.
A face image processing method performed in a face image processing apparatus,
Modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data;
Extracting a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user;
Generating personal face mesh data by modifying the standard face mesh data based on the plurality of feature points;
Correcting the expression data based on deformation information between the standard face mesh data and the personal face mesh data; And
Generating facial expression data for the personal facial mesh data based on the facial expression data for the corrected standard facial mesh data;
The deformation information, after dividing the standard face mesh data and the personal face mesh data into a plurality of parts, includes deformation information obtained for each of the plurality of parts,
The correcting of the facial expression data includes correcting the facial expression data for each of the plurality of parts based on the obtained deformation information for each of the parts,
When dividing into the plurality of parts, the eye or mouth part of the detailed parts of the face is divided into separate parts,
The deformation information for each part includes a size change rate of the eye region or a size change ratio of the mouth region,
The correcting of the facial expression data may include correcting the facial expression data in proportion to the size change rate of the eye region or the size change ratio of the mouth region.
Face image processing method.
◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 7 was abandoned when payment of the set registration fee was made.◈ 제 1 항에 있어서,
상기 개인 얼굴 메시 데이터를 생성하는 단계는, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 상기 표준 얼굴 메시 데이터에 리깅(rigging)하는 단계; 및
상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 개인 얼굴 메시 데이터로 변형하는 단계를 포함하는
얼굴 영상 처리 방법.
According to claim 1,
The generating of the personal face mesh data may include: generating face bones including a plurality of face constituting points and rigging the standard face mesh data; And
And moving the plurality of facial constitution points based on the plurality of feature points to transform the personal face mesh data.
Face image processing method.
제 1 항 및 제 3 항 내지 제 7 항 중 어느 한 항에 기재된 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가
컴퓨터 판독가능 기록매체에 기록된 컴퓨터 프로그램.
An instruction to perform each step according to the face image processing method according to any one of claims 1 to 3 to 7
A computer program recorded on a computer readable recording medium.
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 모델링부;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 및
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하고, 보정된 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 개인화 처리부를 포함하고,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 상기 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 포함하고,
상기 개인화 처리부는, 상기 변화율에 비례하여 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하는
얼굴 영상 처리 장치.
A modeling unit for modeling a standard face to generate standard face mesh data including a plurality of meshes, and to generate facial expression data for the standard face mesh data;
An image processing unit for extracting a plurality of feature points present in a face region in the image, for an image for an arbitrary user; And
The standard face mesh data is modified based on the plurality of feature points to generate personal face mesh data, and the facial expression data is corrected based on deformation information between the standard face mesh data and the personal face mesh data, and the corrected And a personalization processing unit that generates facial expression data for the personal facial mesh data based on facial expression data for standard facial mesh data,
The deformation information includes a rate of change between the face outline size of the standard face mesh data and the face outline size of the personal face mesh data,
The personalization processing unit corrects facial expression data for the standard face mesh data in proportion to the rate of change.
Face image processing device.
삭제delete ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 11 was abandoned when payment of the set registration fee was made.◈ 제 9 항에 있어서,
상기 개인화 처리부는, 상기 표준 얼굴 메시 데이터에 대한 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할하고, 상기 복수의 부분별로 상기 변형 정보를 획득하며, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하는
얼굴 영상 처리 장치.
The method of claim 9,
The personalization processing unit divides the standard face mesh data for the standard face mesh data and the personal face mesh data into a plurality of parts, acquires the deformation information for each of the plurality of parts, and obtains the deformation for each of the plurality of parts Correcting facial expression data for the standard face mesh data for each of the plurality of parts based on information
Face image processing device.
◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 12 was abandoned when payment of the set registration fee was made.◈ 제 11 항에 있어서,
상기 개인화 처리부는, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하는
얼굴 영상 처리 장치.
The method of claim 11,
The personalization processing unit divides the eye area or the mouth area into separate parts of the detailed parts of the face
Face image processing device.
◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 13 was abandoned when payment of the registration fee was set.◈ 제 12 항에 있어서,
상기 개인화 처리부는, 상기 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 상기 눈 부위 또는 상기 입 부위를 분할하는
얼굴 영상 처리 장치.
The method of claim 12,
The personalization processing unit divides the eye region or the mouth region based on a result of comparing the density of vertices constituting the mesh with a preset reference value.
Face image processing device.
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 모델링부;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 및
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하고, 보정된 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 개인화 처리부를 포함하고,
상기 개인화 처리부는, 상기 표준 얼굴 메시 데이터에 대한 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할하고, 상기 복수의 부분별로 상기 변형 정보를 획득하며, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하고,
상기 개인화 처리부는, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하고,
상기 부분별 변형 정보는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율을 포함하며,
상기 개인화 처리부는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율에 비례하여 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하는
얼굴 영상 처리 장치.
A modeling unit for modeling a standard face to generate standard face mesh data including a plurality of meshes, and to generate facial expression data for the standard face mesh data;
An image processing unit for extracting a plurality of feature points present in a face region in the image, for an image for an arbitrary user; And
The standard face mesh data is modified based on the plurality of feature points to generate personal face mesh data, and the facial expression data is corrected based on deformation information between the standard face mesh data and the personal face mesh data, and the corrected And a personalization processing unit that generates facial expression data for the personal facial mesh data based on facial expression data for standard facial mesh data,
The personalization processing unit divides the standard face mesh data for the standard face mesh data and the personal face mesh data into a plurality of parts, acquires the deformation information for each of the plurality of parts, and obtains the deformation for each of the plurality of parts Correction of facial expression data for the standard face mesh data for each of the plurality of parts based on information,
The personalization processing unit divides the eye area or the mouth area of the detailed parts of the face into separate parts,
The deformation information for each part includes a size change rate of the eye region or a size change ratio of the mouth region,
The personalization processing unit corrects facial expression data for the standard face mesh data in proportion to the size change rate of the eye area or the size change rate of the mouth area
Face image processing device.
◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 15 was abandoned when payment of the set registration fee was made.◈ 제 9 항 또는 제 14 항에 있어서,
상기 개인화 처리부는, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 상기 표준 얼굴 메시 데이터에 리깅(rigging)하고, 상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 개인 얼굴 메시 데이터로 변형하는
얼굴 영상 처리 장치.
The method of claim 9 or 14,
The personalization processing unit generates a facial bone including a plurality of facial configuration points, rigging the standard facial mesh data, and moving the plurality of facial configuration points based on the plurality of feature points to move the personal facial mesh Transformed into data
Face image processing device.
KR1020180079628A 2018-07-09 2018-07-09 Method and apparatus for processing face image KR102109818B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079628A KR102109818B1 (en) 2018-07-09 2018-07-09 Method and apparatus for processing face image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079628A KR102109818B1 (en) 2018-07-09 2018-07-09 Method and apparatus for processing face image

Publications (2)

Publication Number Publication Date
KR20200005964A KR20200005964A (en) 2020-01-17
KR102109818B1 true KR102109818B1 (en) 2020-05-13

Family

ID=69370095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079628A KR102109818B1 (en) 2018-07-09 2018-07-09 Method and apparatus for processing face image

Country Status (1)

Country Link
KR (1) KR102109818B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102480960B1 (en) * 2020-12-17 2022-12-26 동국대학교 산학협력단 Device and method for transforming human face into animal face
KR102353556B1 (en) * 2021-11-01 2022-01-20 강민호 Apparatus for Generating Facial expressions and Poses Reappearance Avatar based in User Face
KR102493882B1 (en) * 2022-08-31 2023-02-01 주식회사 에이펀인터렉티브 Metaverse character making system for using image analysis
KR102495136B1 (en) * 2022-09-23 2023-02-06 주식회사 에이펀인터렉티브 Metaverse character making system for using user tracking and image analysis
CN116524165B (en) * 2023-05-29 2024-01-19 北京百度网讯科技有限公司 Migration method, migration device, migration equipment and migration storage medium for three-dimensional expression model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075880A (en) * 2007-09-20 2009-04-09 Nippon Hoso Kyokai <Nhk> Apparatus and program for deforming virtual face model
JP2011107877A (en) * 2009-11-16 2011-06-02 Sony Corp Image processing apparatus, image processing method, and program
JP2014211719A (en) * 2013-04-17 2014-11-13 キヤノン株式会社 Apparatus and method for information processing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
CN107180446B (en) 2016-03-10 2020-06-16 腾讯科技(深圳)有限公司 Method and device for generating expression animation of character face model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075880A (en) * 2007-09-20 2009-04-09 Nippon Hoso Kyokai <Nhk> Apparatus and program for deforming virtual face model
JP2011107877A (en) * 2009-11-16 2011-06-02 Sony Corp Image processing apparatus, image processing method, and program
JP2014211719A (en) * 2013-04-17 2014-11-13 キヤノン株式会社 Apparatus and method for information processing

Also Published As

Publication number Publication date
KR20200005964A (en) 2020-01-17

Similar Documents

Publication Publication Date Title
KR102109818B1 (en) Method and apparatus for processing face image
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
KR101514327B1 (en) Method and apparatus for generating face avatar
US8698796B2 (en) Image processing apparatus, image processing method, and program
US11003898B2 (en) Creating videos with facial expressions
US9679415B2 (en) Image synthesis method and image synthesis apparatus
US11132544B2 (en) Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium
WO2015123117A2 (en) Method of making a mask with customized facial features
KR102072721B1 (en) Method and apparatus for processing face image
KR20220054955A (en) Device, method and computer program for replacing user face with another face
KR20170090303A (en) Correction guiding method for asymmetric element by face element extraction
US10417811B2 (en) Recording medium, information processing apparatus, and control method
JP6547244B2 (en) Operation processing apparatus, operation processing method and program
KR20200048153A (en) Method and apparatus for processing face image
US9251570B1 (en) Smart image enhancements
KR102563321B1 (en) Device and method for reducing sickness using reverse optical flow and computer readable program for the same
KR102613059B1 (en) A method for protecting the perceptual constancy of objects in images.
JP6872828B1 (en) 3D image processing device, 3D image processing method and 3D image processing program
KR20170099632A (en) Game character making system using information of gene
KR20190137020A (en) Device of generating animation character and Method thereof
JP6390210B2 (en) Image processing apparatus, image processing method, and program
KR20190137021A (en) Device of generating animation character and Method thereof
JP2015212889A (en) Image processing method, device, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)