KR102293108B1 - 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 - Google Patents
화장자의 영상 이미지 추출 및 얼굴 투영 시스템 Download PDFInfo
- Publication number
- KR102293108B1 KR102293108B1 KR1020200157672A KR20200157672A KR102293108B1 KR 102293108 B1 KR102293108 B1 KR 102293108B1 KR 1020200157672 A KR1020200157672 A KR 1020200157672A KR 20200157672 A KR20200157672 A KR 20200157672A KR 102293108 B1 KR102293108 B1 KR 102293108B1
- Authority
- KR
- South Korea
- Prior art keywords
- makeup
- image
- unit
- motion
- attribute
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G06K9/00221—
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/421—Filtered back projection [FBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/428—Real-time
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Processing (AREA)
Abstract
화장자의 영상 이미지 추출 및 얼굴 투영 시스템이 개시된다. 본 발명의 일 실시례에 따른 화장자의 영상 이미지 추출 및 얼굴 투영 시스템은, 화장자의 영상 이미지 추출 및 얼굴 투영 시스템은, 화장자의 영상이미지를 추출하는 영상추출부, 상기 화장자의 영상이미지로부터 화장의 단위동작 이미지를 추출하는 단위동작 추출부, 상기 단위동작 이미지로부터 부위 속성을 갖는 다수의 화장 이미지를 추출하고, 상기 다수의 화장 이미지에 대응하는 화장 속성을 포함하는 메타데이터를 생성하는 메타데이터 가공부 및 상기 다수의 화장 이미지와 상기 메타데이터를 매칭하여 부위별 투영 이미지를 생성하는 투영 이미지 생성부를 포함할 수 있다.
Description
본 발명은 화장자의 영상 이미지 추출 및 얼굴 투영 시스템에 관한 것으로 상세하게는 화장자의 화장 이미지를 추출하여 사용자의 얼굴에 투영하는 기술에 관한 것이다.
최근 1인방송의 급성장과 동시에 다양한 카테고리들이 대중들에게 선보여지고 있는데 그 중에서 여성들의 큰 관심을 받고 있는 영역이 화장품을 실제 본인의 얼굴에 사용하는 방송이 인기를 끌고 있다. 이러한 화장자가 화장품을 실제 사용하는 방송을 통하여 사용자들은 대상 화장품의 색감이나 효과들을 간접적으로 시청 할 수 있다.
하지만, 사람마다 얼굴형태, 피부톤, 눈썹의 길이나 위치 등이 다르고 색조화장품의 경우 화장자가 사용했을 경우와 사용자가 사용했을 경우의 색감이 차이가 나 사용자들이 방송에서 본 화장품의 효과와 괴리감을 느끼는 현상이 발생하는 문제점이 있었다.
따라서, 화장자의 화장 이미지를 효과적으로 추출하여 사용자의 얼굴에 투영하는 화장자의 영상 이미지 추출 및 얼굴 투영 시스템에 관한 연구가 요구된다
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 화장자의 영상이미지로부터 단위동작 이미지와 화장 이미지를 순차적으로 추출한 후, 화장에 부가되는 추가 정보인 메타데이터를 화장 이미지와 매칭하여 투영 이미지를 생성함으로써, 사용자에게 완성도 있는 화장 시뮬레이션을 제공하는데 그 목적이 있다.
또한, 본 발명은 화장자에게 투영되는 화장 이미지를 행동 속성과 매칭하여 미리 저장하고 상기 행동 속성을 화장자의 현재 행동과 매칭하여 화장자의 행동에 부합하는 화장 이미지를 추출함으로써, 실시간 화장자의 행동에 부합하는 화장 이미지가 사용자에게 투영될 수 있는 영상 이미지 추출 및 얼굴 투영 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 화장자의 행동속성으로 실루엣 속성, 손끝속성, 동작 속성을 포함하여 미리 저장하고 화장자의 실시간 동작과 비교함으로써, 화장자의 실시간 동작을 보다 정확하게 인지할 수 있는 화장자의 영상 이미지 추출 및 얼굴 투영 시스템을 제공하는데 그 목적이 있다.
본 발명의 일 실시례에 따른 화장자의 영상 이미지 추출 및 얼굴 투영 시스템은, 화장자의 영상이미지를 추출하는 영상추출부, 상기 화장자의 영상이미지로부터 화장의 단위동작 이미지를 추출하는 단위동작 추출부, 상기 단위동작 이미지로부터 부위 속성을 갖는 다수의 화장 이미지를 추출하고, 상기 다수의 화장 이미지에 대응하는 화장 속성을 포함하는 메타데이터를 생성하는 메타데이터 가공부 및 상기 다수의 화장 이미지와 상기 메타데이터를 매칭하여 부위별 투영 이미지를 생성하는 투영 이미지 생성부를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 단위동작 추출부는, 상기 영상이미지 내에 포함된 구분동작을 인식하는 구분동작 인식부 및 상기 구분동작을 기준점으로 설정하여 상기 단위동작 이미지를 추출하는 단위동작 이미지 추출부를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 메타데이터는, 상기 화장자가 사용한 화장품의 질감, 명도, 입자도를 포함하는 재료 데이터 및 상기 화장자의 화장기술을 통해 표현된 화장의 명암, 그라데이션, 색감을 포함하는 화장기술속성을 포함할 수 있다.
본 발명의 일측에 따른 화장자의 영상 이미지 추출 및 얼굴 투영 시스템은, 상기 화장자의 실시간 동작에 대응하는 투영 이미지를 매칭하여 사용자의 얼굴에 투영 이미지가 실시간으로 투영되도록 처리하는 실시간 전송 제어부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 실시간 전송 제어부는, 상기 투영 이미지 생성부로부터 사전에 생성된 화장자의 투영 이미지를 행동 속성과 매칭하는 매칭 제어부 및 상기 화장자의 행동에 대응하는 행동 속성을 갖는 투영 이미지를 추출하여 상기 사용자의 얼굴에 투영하도록 제어하는 투영 제어부를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 행동속성은, 상기 화장자의 동작 실루엣 정보를 포함하는 실루엣 속성, 상기 화장자의 손 끝을 인식하고 손 끝이 머무는 3차원 위치와 방향에 대응하는 정보를 포함하는 손끝 속성 및 상기 화장자의 움직임 패턴 정보를 포함하는 동작 속성을 포함할 수 있다.
본 발명에 의하면, 화장자의 영상이미지로부터 단위동작 이미지와 화장 이미지를 순차적으로 추출한 후, 화장에 부가되는 추가 정보인 메타데이터를 화장 이미지와 매칭하여 투영 이미지를 생성함으로써, 사용자에게 완성도 있는 화장 시뮬레이션을 제공할 수 있다.
또한, 본 발명은 화장자에게 투영되는 화장 이미지를 행동 속성과 매칭하여 미리 저장하고 상기 행동 속성을 화장자의 현재 행동과 매칭하여 화장자의 행동에 부합하는 화장 이미지를 추출함으로써, 실시간 화장자의 행동에 부합하는 화장 이미지가 사용자에게 투영될 수 있는 영상 이미지 추출 및 얼굴 투영 시스템을 제공할 수 있다.
또한, 본 발명은 화장자의 행동속성으로 실루엣 속성, 손끝속성, 동작 속성을 포함하여 미리 저장하고 화장자의 실시간 동작과 비교함으로써, 화장자의 실시간 동작을 보다 정확하게 인지할 수 있는 화장자의 영상 이미지 추출 및 얼굴 투영 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시례에 따른 화장자의 영상 이미지 추출 및 얼굴 투영 시스템의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시례에 따른 단위동작 추출부의 세부구성을 나타낸 블록도.
도 3은 본 발명의 일 실시례에 따른 실시간 전송 제어부의 세부구성을 도시한 블록도.
도 4는 본 발명의 일 실시례에 따른 행동 속성의 구성요소를 나타낸 블록도.
도 2는 본 발명의 일 실시례에 따른 단위동작 추출부의 세부구성을 나타낸 블록도.
도 3은 본 발명의 일 실시례에 따른 실시간 전송 제어부의 세부구성을 도시한 블록도.
도 4는 본 발명의 일 실시례에 따른 행동 속성의 구성요소를 나타낸 블록도.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시례를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시례에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시례를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
또한, 각 실시례의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시례에 따른 화장자의 영상 이미지 추출 및 얼굴 투영 시스템의 구성을 도시한 블록도이고, 도 2는 본 발명의 일 실시례에 따른 단위동작 추출부의 세부구성을 도시한 블록도이며,도 3은 본 발명의 일 실시례에 따른 실시간 전송 제어부의 세부구성을 도시한 블록도이고, 또한, 도 4는 본 발명의 일 실시례에 따른 행동 속성의 구성 요소를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시례에 따른 화장자의 영상 이미지 추출 및 얼굴 투영 시스템(100)은 화장자로부터 추출한 데이터를 사용자의 얼굴에 투영시켜 화장자의 화장을 사용자에게 매칭하는 시스템이다.
본 발명의 화장자의 영상 이미지 추출 및 얼굴 투영 시스템(100)은, 영상추출부(110), 단위동작 추출부(120), 메타데이터 가공부(130), 투영 이미지 생성부(140) 및 행동 속성 정보가 포함된 실시간 전송제어부(150)를 포함할 수 있다.
영상추출부(110)는 상기 화장자의 영상이미지를 추출할 수 있다.
이때, 상기 화장자의 영상이미지는 촬영된 형식이 다양하므로, 하나의 형식으로 통일하기 위해 파일 형식을 변환하는 과정을 더 거칠 수 있다.
여기서, 영상이미지는 화장자의 영상을 촬영한 원본 동영상이며, 가공되지 않은 원본 상태의 영상을 의미한다.
일례로, 영상추출부(110)는 뷰티 크리에이터가 화장하는 30분 분량의 영상을 촬영하여 화장자의 영상이미지를 생성할 수 있고, 이를 가공하기 위해 기설정된 동영상 형식으로 변환할 수 있다.
단위동작 추출부(120)는, 상기 화장자의 영상이미지로부터 화장의 단위동작 이미지를 추출할 수 있다.
여기서 단위동작 이미지는 눈썹화장영상, 볼터치영상 등 영상이미지로부터 화장의 각 부위별 또는 단계별로 구분되는 이미지를 의미하며, 영상이미지의 부분집합에 해당하는 이미지이다.
이때, 상기 화장자의 영상이미지로부터 단위동작 이미지를 추출하기 위해 단위동작 추출부(120)는 구분 동작 인식부(121)와 단위동작 이미지 추출부(122)를 포함할 수 있다.
구분 동작 인식부(121)는 상기 영상이미지 내에 포함된 구분동작을 인식할 수 있다. 여기서 구분동작은 미리 설정된 동작이며, 박수를 치는 동작, 머리에 손을 올리는 동작, 양손 주먹을 쥐고 앞으로 뻗는 동작, 만세를 부르는 동작 등 다양한 동작 중 하나를 구분동작으로 설정할 수 있다.
단위동작 이미지 추출부(122)는 상기 구분동작을 기준점으로 설정하여 상기 단위동작 이미지를 추출할 수 있다.
즉, 영상이미지 내에 구분동작이 탐색되면 상기 구분동작의 전과 후를 구분하여 영상이미지를 분할할 수 있고 이를 통해 단위동작 이미지를 추출할 수 있다.
또한, 메타데이터 가공부(130)는, 상기 단위동작 이미지로부터 부위 속성을 갖는 다수의 화장 이미지를 추출하고, 상기 다수의 화장 이미지에 대응하는 화장 속성을 포함하는 메타데이터를 생성할 수 있다.
즉, 상기 단위동작 이미지로부터 화장자의 얼굴에 덧칠된 화장 이미지만을 별도로 추출하고, 상기 화장자가 사용한 화장품의 질감, 명도, 입자도 등 화장품의 재료 데이터와 상기 화장자의 화장기술을 통해 표현된 화장의 명암, 그라데이션, 색감을 포함하는 화장기술속성을 포함하여 메타데이터를 생성할 수 있다.
일례로, 화장자가 사용한 화장품의 질감, 입자도, 명도 등은 영상이미지로부터 추출한 화장 이미지에 명확히 표현되지 않을 수 있고, 이를 보완하기 위해 상기 화장자가 사용한 화장품의 질감, 명도, 입자도를 포함하는 재료 데이터 및 상기 화장자의 화장기술을 통해 표현된 화장의 명암, 그라데이션, 색감을 표현하는 화장기술속성을 메타데이터로 생성할 수 있다.
상기 투영 이미지 생성부(140)는, 부위 속성과 상기 메타데이터를 매칭하여 투영 이미지를 생성할 수 있다.
즉, 상기 화장자의 영상이미지로부터 추출된 화장 이미지는 상기 메타데이터와 함께 화장을 투영하고자 하는 사용자에게 전송되면 상기 사용자의 얼굴에 상기 메타데이터 정보가 반영된 화장 이미지가 투영될 수 있다.
따라서, 단순히 화장자의 화장 이미지만 투영하는 것이 아니라 사용된 화장품과 관련된 재료 속성, 화장자의 화장기술을 통해 구현되는 다양한 효과들이 함께 사용자에게 투영됨으로써 사용자의 만족도가 극대화되도록 할 수 있다.
한편, 실시간 전송제어부(150)는 상기 화장자의 실시간 동작에 대응하는 투영 이미지를 매칭하여 사용자의 얼굴에 투영 이미지가 실시간으로 투영되도록 처리할 수 있다.
최근에는 노래, 연주, 춤, 마술 등 다양한 콘텐츠를 이용한 공연이 개최되고 있으며, K 뷰티 열풍의 일환으로 한국 화장법을 사용한 화장 시연 또는 화장 공연이 이루어질 수 있으므로, 실시간 전송제어부(150)는 이러한 공연 형식의 이벤트에서 화장자의 동작에 대응하여 공연을 관람하는 관람객의 얼굴에 화장자의 화장이 투영되도록 제어될 수 있다.
이를 위해 사전에 화장자가 화장하는 영상이미지를 촬영하고, 이로부터 부분동작 이미지, 화장 이미지, 메타데이터를 생성한 후, 공연 시간에 맞추어 상기 화장 이미지와 메타데이터가 관람객으로 전달되어 관람객의 얼굴에 투영되도록 제어될 수 있다.
이를 위해 실시간 전송 제어부(150)는 상기 투영 이미지 생성부로부터 사전에 생성된 화장자의 투영 이미지를 행동 속성과 매칭하는 매칭 제어부(151) 및 상기 화장자의 행동에 대응하는 행동 속성을 갖는 투영 이미지를 추출하여 상기 사용자의 얼굴에 투영하도록 제어하는 투영 제어부(152)를 포함할 수 있다.
즉, 노래 공연의 립싱크와 같이 화장 공연에도 미리 저장된 이미지를 매칭하는 것이며, 완성도 있는 공연을 위해서는 화장자의 동작에 미리 저장된 화장 이미지가 정확히 매칭되는 것이 중요하다.
따라서, 화장자의 동작을 정확하게 인식하여야만 이에 부합하는 화장 이미지 및 메타데이터를 관람객에게 제공할 수 있으며, 보다 정확한 동작인식을 위해서는 도 4와 같은 실시례가 사용될 수 있다.
도 4에 도시된 바와 같이, 화장자의 행동은 미리 저장된 화장 이미지와 매칭되는데 각각의 화장 이미지는 행동속성을 보유하도록 하여 상기 화장자의 행동과 상기 각각의 화장 이미지가 보유한 행동속성을 서로 비교하여 화장자의 행동에 정확히 부합하는 화장 이미지를 매칭할 수 있다.
이를 위해 상기 행동속성은, 상기 화장자의 동작 실루엣 정보를 포함하는 실루엣 속성, 상기 화장자의 손 끝을 인식하고 손 끝이 머무는 3차원 위치와 방향에 대응하는 정보를 포함하는 손끝 속성 및 상기 화장자의 움직임 패턴 정보를 포함하는 동작 속성을 포함할 수 있다.
일례로, 실시간 공연 형식의 화장 이벤트에서 화장자가 눈썹 화장을 수행하는 경우, 화장자의 실루엣은 눈 주위에 손이 위치하는 실루엣을 형성하고, 화장자의 손끝은 눈썹 주위에 위치하며, 눈썹 라인을 따라 손이 반복적으로 움직이는 패턴을 가지므로, 이러한 행동 속성을 갖는 화장 이미지를 매칭하여 관람객에게 제공할 경우 눈썹 화장에 정확히 부합하는 화장 이미지를 관람객에게 오류없이 투영할 수 있다.
또한, 상기 화장자의 행동속성을 이용하여 화장자의 행동을 식별해 내기 위해 상기 실루엣 속성으로부터 1차 후보 행동그룹을 추출하고, 상기 손끝 속성으로부터 2차 후보 행동그룹을 추출하며, 상기 움직임 패턴으로부터 3차 후보 행동그룹을 추출하여, 상기 1차 후보 행동그룹, 2차 후보 행동그룹 및 3차 후보 행동그룹의 교집합에 해당하는 공통 행동을 추출함으로써 상기 공통 행동을 상기 화장자의 행동인 것으로 결정할 수 있다.
즉, 상기 실루엣 속성으로부터 1차 후보 행동그룹에 5개의 행동이 포함되고, 상기 손끝 속성으로부터 2차 후보 행동그룹에 6개의 행동이 포함되며, 상기 움직임 패턴으로부터 3차 후보 행동그룹에 4개의 행동이 포함되는 경우 상기 1차 후보 행동그룹, 2차 후보 행동그룹 및 3차 후보 행동그룹의 교집합을 추출하고, 상기 교집합에 속한 행동인 공통 행동이 하나만 존재한다면 상기 하나의 행동이 화장자의 행동인 것으로 인식할 수 있다.
이때, 상기 공통 행동이 다수개 존재하는 경우, 상기 화장자가 사용한 화장 도구에 관한 정보인 도구정보, 상기 화장자가 화장하는 행동에서 펼쳐진 손가락의 개수, 상기 화장자가 손을 움직여 화장하는 속도를 각각 추출하고, 상기 공통 행동 중 상기 도구정보, 상기 펼쳐진 손가락 개수, 손 움직임 속도에 부합하는 행동을 상기 화장자의 행동인 것으로 결정함으로써, 사용자의 행동을 보다 정확히 판별해 낼 수 있다.
또한, 상기 도구정보, 상기 펼쳐진 손가락 개수, 손 움직임 속도는 상기 공통 행동이 다수개 존재하는 경우에만 추출하도록 하여 상기 공통 행동이 실루엣 속성, 손끝 속성, 움직임 패턴을 통해 도출되는 교집합이 하나만 존재하는 경우에는 상기 도구정보, 상기 펼쳐진 손가락 개수, 손 움직임 속도를 도출하지 않아도 되므로, 시스템 리소스도 절약될 수 있다.
한편, 실루엣 속성, 손끝 속성, 움직임 패턴을 통해 사용자의 행동을 인식하는 다른 방법으로, 상기 실루엣 속성으로부터 1차 후보 행동그룹을 추출하고, 상기 1차 후보 행동그룹 내의 행동 중 상기 손끝 속성에 부합하는 2차 후보 행동그룹을 추출하며, 상기 2차 후보 행동그룹 중 상기 움직임 패턴에 부합하는 3차 후보 행동그룹을 추출하여 3차 후보 행동그룹에 속한 공통 행동이 상기 화장자의 행동인 것으로 결정할 수도 있다.
이 역시, 3차 후보 행동그룹에 속한 공통 행동이 하나인 경우에는 상기 하나의 공통 행동이 상기 화장자의 행동인 것으로 확정되나, 상기 공통 행동이 다수인 경우에는 앞서 설명한 상기 도구정보, 상기 펼쳐진 손가락 개수, 손 움직임 속도를 추가로 이용하여 사용자의 행동을 확정할 수 있다.
따라서, 화장자의 화장 공연 시, 화장자의 움직임에 대응하는 화장 이미지를 수작업으로 매칭하여 제공하지 않고, 화장자의 행동인식을 통해 화장 이미지의 제공을 자동화할 수 있어 공연 진행에 필요한 인력을 최소화할 수 있는 효과가 발생될 수 있다.
상기와 같이 본 발명의 일실시례에 따르면, 화장자의 화장 영상을 시청하고 자신의 얼굴에 투영해 봄으로써, 화장품을 직접 사용하지 않고도 화장품을 사용한 효과를 구현해 낼 수 있으며, 뷰티 크리에이터 등의 독특한 화장법을 자신의 얼굴에 구현해 볼 수 있어 자신과 어울리는 화장법인지 여부를 편리하게 파악할 수 있다.
또한 본 발명의 일실시예에 따른, 화장자의 영상 이미지 추출 및 얼굴 투영 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기에서는 본 발명에 따른 실시례를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
110: 영상추출부
120: 단위동작 추출부
121: 구분동작 인식부
122: 단위동작 이미지 추출부
130: 메타데이터 가공부
140: 투영 이미지 생성부
150: 실시간 전송제어부
151: 매칭 제어부
152: 투영 제어부
120: 단위동작 추출부
121: 구분동작 인식부
122: 단위동작 이미지 추출부
130: 메타데이터 가공부
140: 투영 이미지 생성부
150: 실시간 전송제어부
151: 매칭 제어부
152: 투영 제어부
Claims (9)
- 화장자의 영상이미지를 추출하고 상기 추출된 영상 이미지를 기설정된 파일형식으로 파일을 변환시키는 영상추출부;
상기 화장자의 영상이미지로부터 화장의 단위동작 이미지를 추출하는 단위동작 추출부;
상기 단위동작 이미지로부터 부위 속성을 갖는 다수의 화장 이미지를 추출하고, 상기 다수의 화장 이미지에 대응하는 화장 속성을 포함하는 메타데이터를 생성하는 메타데이터 가공부; 및
상기 다수의 화장 이미지와 상기 메타데이터를 매칭하여 부위별 투영 이미지를 생성하는 투영 이미지 생성부;를 포함하고,
상기 화장자의 실시간 동작에 대응하는 투영 이미지를 매칭하여 사용자의 얼굴에 투영 이미지가 실시간으로 투영되도록 처리하는 실시간 전송 제어부;를 더 포함하며,
상기 단위동작 추출부는,
상기 영상이미지 내에 포함된 구분동작을 인식하는 구분동작 인식부; 및
상기 구분동작을 기준점으로 설정하여 상기 단위동작 이미지를 추출하는 단위동작 이미지 추출부;를 포함하되,
상기 단위동작 이미지 추출부는 상기 구분동작 인식부로부터 상기 구분동작이 인식되면, 상기 구분동작의 전과 후를 구분하여 영상이미지를 분할하고, 상기 단위동작 이미지를 추출하고,
상기 메타데이터 가공부는,
상기 단위동작 추출부에서 추출된 상기 단위동작 이미지로부터 상기 화장자의 얼굴에 덧칠된 화장 이미지만을 추출하되,
상기 메타데이터는,
상기 화장자가 사용한 화장품의 질감, 명도, 입자도를 포함하는 재료 데이터; 및
상기 화장자의 화장기술을 통해 표현된 화장의 명암, 그라데이션, 색감을 포함하는 화장기술속성;을 포함하고,
상기 실시간 전송 제어부는,
공연 형식의 이벤트에서 상기 화장자의 동작에 대응하여 상기 공연을 관람하는 관람객의 얼굴에 상기 화장자의 화장이 투영되도록 제어하되,
사전에 촬영된 상기 화장자의 화장 영상이미지로부터 구분동작 이미지, 화장 이미지, 메타데이터를 생성한 후, 상기 화장 이미지에 포함된 행동속성과 상기 화장자의 동작을 매칭시키고, 기설정된 조건에 기초하여 상기 화장 이미지와 상기 메타데이터를 상기 관람객의 얼굴에 투영되도록 제어하며,
상기 투영 이미지 생성부로부터 사전에 생성된 화장자의 투영 이미지를 행동 속성과 매칭하는 매칭 제어부; 및
상기 화장자의 행동에 대응하는 행동 속성을 갖는 투영 이미지를 추출하여 상기 사용자의 얼굴에 투영하도록 제어하는 투영 제어부;를 포함하고,
상기 행동속성은,
상기 화장자의 동작 실루엣 정보를 포함하는 실루엣 속성;
상기 화장자의 손 끝을 인식하고 손 끝이 머무는 3차원 위치와 방향에 대응하는 정보를 포함하는 손끝 속성; 및
상기 화장자의 움직임 패턴 정보를 포함하는 동작 속성;을 포함하며,
상기 투영 제어부는,
상기 실루엣 속성으로부터 1차 후보 행동그룹을 추출하고,
상기 1차 후보 행동그룹 내의 행동 중 상기 손끝 속성에 부합하는 2차 후보 행동그룹을 추출하며,
상기 2차 후보 행동그룹 중 상기 움직임 패턴에 부합하는 3차 후보 행동그룹을 추출하여
3차 후보 행동그룹에 속한 공통 행동이 상기 화장자의 행동인 것으로 결정하고,
상기 투영 제어부는,
상기 공통 행동이 다수개 존재하는 경우,
상기 화장자가 사용한 화장 도구에 관한 정보인 도구정보,
상기 화장자가 화장하는 행동에서 펼쳐진 손가락의 개수,
상기 화장자가 손을 움직여 화장하는 속도를 각각 추출하고,
상기 공통 행동 중 상기 도구정보, 상기 펼쳐진 손가락 개수, 손 움직임 속도에 부합하는 행동을 상기 화장자의 행동인 것으로 결정하는 것을 특징으로 하는 화장자의 영상 이미지 추출 및 얼굴 투영 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157672A KR102293108B1 (ko) | 2020-11-23 | 2020-11-23 | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 |
| PCT/KR2020/017426 WO2022097823A1 (ko) | 2020-11-05 | 2020-12-02 | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157672A KR102293108B1 (ko) | 2020-11-23 | 2020-11-23 | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102293108B1 true KR102293108B1 (ko) | 2021-08-25 |
Family
ID=77495040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200157672A KR102293108B1 (ko) | 2020-11-05 | 2020-11-23 | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102293108B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150012322A (ko) * | 2013-07-10 | 2015-02-04 | 성균관대학교산학협력단 | 무대 가상 현실 제공 장치 및 방법 |
| KR101719927B1 (ko) * | 2015-12-17 | 2017-03-27 | 순천향대학교 산학협력단 | 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 |
| KR20180080703A (ko) * | 2018-06-26 | 2018-07-12 | 주식회사 엘지생활건강 | 실제 화장 행동양식을 반영한 메이크업 시뮬레이션 장치 및 방법 |
| KR102031512B1 (ko) * | 2019-01-23 | 2019-10-11 | 조기용 | 스마트 미러를 갖는 사용자 뷰티 크리에이터 화장 제공 방법 |
| KR102045695B1 (ko) | 2016-05-04 | 2019-11-15 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 안면 이미지 처리 방법 및 장치, 및 저장 매체 |
-
2020
- 2020-11-23 KR KR1020200157672A patent/KR102293108B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150012322A (ko) * | 2013-07-10 | 2015-02-04 | 성균관대학교산학협력단 | 무대 가상 현실 제공 장치 및 방법 |
| KR101719927B1 (ko) * | 2015-12-17 | 2017-03-27 | 순천향대학교 산학협력단 | 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 |
| KR102045695B1 (ko) | 2016-05-04 | 2019-11-15 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 안면 이미지 처리 방법 및 장치, 및 저장 매체 |
| KR20180080703A (ko) * | 2018-06-26 | 2018-07-12 | 주식회사 엘지생활건강 | 실제 화장 행동양식을 반영한 메이크업 시뮬레이션 장치 및 방법 |
| KR102031512B1 (ko) * | 2019-01-23 | 2019-10-11 | 조기용 | 스마트 미러를 갖는 사용자 뷰티 크리에이터 화장 제공 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aldausari et al. | Video generative adversarial networks: a review | |
| US10860838B1 (en) | Universal facial expression translation and character rendering system | |
| US9626788B2 (en) | Systems and methods for creating animations using human faces | |
| CN112598785B (zh) | 虚拟形象的三维模型生成方法、装置、设备及存储介质 | |
| US9734613B2 (en) | Apparatus and method for generating facial composite image, recording medium for performing the method | |
| Jörg et al. | Data-driven finger motion synthesis for gesturing characters | |
| US20200234690A1 (en) | Text and audio-based real-time face reenactment | |
| US12002160B2 (en) | Avatar generation method, apparatus and device, and medium | |
| US20190130652A1 (en) | Control method, controller, smart mirror, and computer readable storage medium | |
| CN113228163B (zh) | 基于文本和音频的实时面部再现 | |
| CN108320318B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| US20210345016A1 (en) | Computer vision based extraction and overlay for instructional augmented reality | |
| KR20200054613A (ko) | 동영상 메타데이터 태깅 시스템 및 그 방법 | |
| US20050156932A1 (en) | Time cues for animation | |
| JP2000322588A (ja) | 画像処理装置及びその方法 | |
| KR20160134883A (ko) | 영상컨텐츠 적용 디지털액터의 운용방법 | |
| Conly et al. | An integrated RGB-D system for looking up the meaning of signs | |
| KR102293108B1 (ko) | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 | |
| KR102108422B1 (ko) | Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 | |
| WO2022097823A1 (ko) | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 | |
| KR20170055788A (ko) | 교육용 콘텐츠 제작 시스템에 포함되는 저작자 단말 및 이를 이용한 가상 신체 정보 생성 및 저장 방법 | |
| KR20010091219A (ko) | 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법 | |
| Gonçalves et al. | Landmark-based facial expression parametrization for sign languages avatar animation | |
| CN115999156B (zh) | 角色控制方法、装置、设备及存储介质 | |
| Min et al. | Virtual-Physical Interaction System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |