KR101719927B1 - 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 - Google Patents

립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 Download PDF

Info

Publication number
KR101719927B1
KR101719927B1 KR1020150180930A KR20150180930A KR101719927B1 KR 101719927 B1 KR101719927 B1 KR 101719927B1 KR 1020150180930 A KR1020150180930 A KR 1020150180930A KR 20150180930 A KR20150180930 A KR 20150180930A KR 101719927 B1 KR101719927 B1 KR 101719927B1
Authority
KR
South Korea
Prior art keywords
cosmetic
face
unit
user
recognizing
Prior art date
Application number
KR1020150180930A
Other languages
English (en)
Inventor
라경진
이임영
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020150180930A priority Critical patent/KR101719927B1/ko
Application granted granted Critical
Publication of KR101719927B1 publication Critical patent/KR101719927B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G06K9/00255—
    • G06K9/00281—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사용자의 화장하는 동작에 따라 실시간 메이크업되는 상태를 실시간 영상으로 현시할 수 있는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치에 관한 것이다.
본 발명의 특징은, 사용자를 촬영하는 카메라(100)와, 카메라(100)에서 촬영되는 사용자의 영상이 화면으로 출력되는 모니터(200)와, 카메라(100)에서 촬영되는 사용자의 영상에 적용되기 위한 화장품영상을 제공하고, 사용자의 모션에 따라 제공된 화장품영상을 사용자의 영상에 반영시키는 제어부(300)를 포함한다.

Description

립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치{REAL-TIME MAKE UP MIRROR SIMULATION APPARATUS USING LEAP MOTION}
본 발명은 사용자의 화장하는 동작에 따라 실시간 메이크업되는 상태를 실시간 영상으로 현시할 수 있는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치에 관한 것이다.
현재, 화장품업계에서는 온라인을 통해 화장품을 판매하는 종합쇼핑몰 또는 화장품 전문 쇼핑몰이 증가하는 추세이다.
그러나, 온라인(On-Line)상에서 제품의 이미지사진이나 설명만을 참고하여 제품을 구매하는 경우, 소비자가 직접 제품을 확인하고 구매하는 오프라인(Off-Line)구매보다 위험하다는 지각이 높아지게 된다.
이를 보완하기 위해 가상으로 실시간 메이크업을 수행하는 시뮬레이션에 대한 많은 연구가 이루어지고 있으며, 몇몇 화장품 브랜드업체에서는 이를 제공하고 있다.
국내외 유명 화장품 회사들은 인터넷과 매장을 통해서 시뮬레이터를 제공하여 얼굴에 화장한 모습을 보여주는데, 이때 사용되는 이미지는 정지된 사진과 같은 2차원방식이다. 이러한, 화장 시뮬레이션은 정지된 이미지를 배경으로 하여 마우스의 화장품클릭 동작으로 화장품이 적용된다.
따라서, 정면이 아닌 측면과 같은 다양한 각도의 얼굴에 실시간 메이크업을 수행하거나 결과를 확인하는 과정이 어렵고 사용자가 이미지를 매번 준비해야하는 불편한 문제점이 있었다.
본 발명의 배경기술은 대한민국 특허청에 출원되어 공개된 공개특허공보 10-2015-0093930호가 2015.08.19.일자로 게재되어 있다.
본 발명이 해결하고자 하는 과제는, 사용자의 화장하는 동작에 따라 실시간 메이크업되는 상태를 실시간 영상으로 현시할 수 있는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치를 제공하는 데 있다.
본 발명의 일실시예에 따른 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치는, 사용자를 촬영하는 카메라(100)와, 카메라(100)에서 촬영되는 사용자의 영상이 화면으로 출력되는 모니터(200)와, 카메라(100)에서 촬영되는 사용자의 영상에 적용되기 위한 화장품영상을 제공하고, 사용자의 모션에 따라 제공된 화장품영상을 사용자의 영상에 반영시키는 제어부(300)를 포함하는 것을 특징으로 한다.
바람직하게, 제어부(300)는 카메라(100)에서 촬영되는 사용자의 영상에서 얼굴을 인식하는 얼굴인식부(310)와, 화장품에 대한 영상을 제공하는 화장품영상제공부(320)과, 화장품영상제공부(320)에서 제공되는 화장품영상을 선택하는 사용자의 모션을 인식하고, 얼굴인식부(310)에서 인식되는 얼굴을 선택하는 사용자의 모션을 인식하는 모션인식부(330)와, 모션인식부(330)에서 인식되는 모션에 따라 선택된 화장품영상에 대한 화장품의 특성을 사용자의 얼굴영상에 적용하는 화장품적용부(340)를 포함하는 것을 특징으로 한다.
바람직하게, 얼굴인식부(310)는 얼굴영역(a)을 인식하는 얼굴영역인식부(311)와, 얼굴영역인식부(311)에서 인식된 얼굴영역(a)에서 이마, 눈썹. 눈, 속눈썹, 코, 광대, 볼, 입술, 턱에 대한 세부영역(b)을 인식하는 세부영역인식부(312)를 포함하는 것을 특징으로 한다.
바람직하게, 얼굴영역인식부(311)는 미리 설정된 얼굴프레임(f)을 이용하여 사용자의 얼굴을 판단하는 얼굴판단부(313)와, 얼굴판단부(313)에서 판단된 얼굴에서 경계선을 인식하는 경계선인식부(314)를 포함하는 것을 특징으로 한다.
바람직하게, 화장품영상제공부(320)는 얼굴인식부(310)에 의해 인식된 얼굴의 외측에 화장품영상들을 표시하는 화장품표시부(321)와, 화장품표시부(321)에서 표시되는 화장품영상들 중 모션인식부(330)의 모션인식에 따라 선택된 화장품영상을 활성화하는 화장품활성화부(322)를 포함하는 것을 특징으로 한다.
바람직하게, 화장품표시부(321)는 다수의 칸으로 나누어진 화장품표(323)와, 화장품표(323)의 다수의 칸에 화장품들이 각각 표시되는 화장품표시부(324)와, 화장품표시부(324)에 대응되도록 화장품표(323)의 다른 칸들에 화장도구들이 각각 표시되는 화장품도구표시부(325)를 포함하는 것을 특징으로 한다.
바람직하게, 모션인식부(330)는 사용자의 손가락이미지를 설정하는 손가락설정부(331)와, 손가락설정부(331)에서 설정된 손가락이미지에 카메라(100)를 통해 촬영되는 사용자의 손가락(c)을 비교하여 일치하는지 판단하는 손가락판단부(332)와, 손가락판단부(332)에서 판단된 손가락(c)이 화장품영상을 선택함을 인식하는 화장품선택인식부(333)와, 손가락판단부(332)에서 판단된 손가락(c)이 얼굴을 선택함을 인식하는 얼굴선택인식부(334)를 포함하는 것을 특징으로 한다.
바람직하게, 모션인식부(330)는 화장품선택인식부(333)의 화장품인식이나 얼굴선택인식부(334)의 얼굴인식을 무효 시키도록 손가락의 흔들림을 인식하는 흔들림인식부(335)를 포함하는 것을 특징으로 한다.
바람직하게, 화장품적용부(340)는 모션인식부(330)에 의해 인식된 화장품영상에 대응되는 색상 및 질감을 인식하는 화장품특성인식부(341)와, 화장품특성인식부(341)에서 인식된 색상 및 질감을 모션인식부(330)의 모션인식에 따라 선택된 얼굴에 표현하는 화장품특성표현부(342)를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치는, 사용자의 화장하는 동작에 따라 실시간 메이크업되는 상태를 실시간 영상으로 현시할 수 있어서, 사용자가 자신의 얼굴에 직접 화장하지 않으면서 화장하는 동작만으로 다양한 각도로 실시간 메이크업된 자신의 얼굴을 확인할 수 있으므로, 화장품을 구매하는데 신뢰감이 배가될 수 있는 이점이 있다.
도 1은 본 발명의 일실시예에 따른 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치를 개략적으로 보인 블록도.
도 2는 본 발명에 적용되는 제어부를 보인 블록도.
도 3은 본 발명의 제어부에 적용되는 얼굴인식부를 보인 블록도.
도 4는 본 발명의 제어부에 적용되는 화장품영상제공부를 보인 블록도.
도 5는 본 발명에 적용되는 화장품표시부를 보인 표.
도 6은 본 발명의 제어부에 적용되는 모션인식부를 보인 블록도.
도 7은 본 발명의 제어부에 적용되는 화장품적용부를 보인 블록도.
도 8은 본 발명의 얼굴프레임을 통해 얼굴영역이 인식된 상태를 보인 화면.
도 9는 본 발명에 의해 얼굴영역 및 세부영역이 인식된 상태를 보인 화면.
도 10은 사용자가 손가락으로 세부영역을 선택하기 전 상태를 보인 화면.
도 11은 사용자가 손가락으로 세부영역을 선택한 상태를 보인 화면.
도 12는 사용자의 손가락이 터치된 세부영역에 화장된 상태를 보인 화면.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치를 자세히 설명한다.
도 1에 도시된 바와 같이, 본 발명은 카메라(100)와, 모니터(200)와, 제어부(300)를 포함한다.
카메라(100)는 사용자를 촬영하는 것으로, 사진이나 영상을 컴퓨터파일 형식으로 저장할 수 있는 디지털카메라나 웹캠으로 구성될 수 있다.
모니터(200)는 카메라(100)에서 촬영되는 사용자의 영상이 화면으로 출력되는 것으로, 디스플레이나 액정화면으로 구성될 수 있다.
제어부(300)는 카메라(100)에서 촬영되는 사용자의 영상에 적용되기 위한 화장품영상을 제공하고, 사용자의 모션에 따라 제공된 화장품영상을 사용자의 영상에 반영시킨다.
여기서, 제어부(300)가 PC에 내장되고 PC에 카메라(100)인 웹캠과 함께 모니터(200), 마우스 및 키보드가 연결되면, 사용자는 PC를 이용하여 인터넷을 통해 가정이나 사무실에서 화장품을 구매하는 과정을 진행할 수 있다. 또한, 카메라(100)인 디지털카메라와 모니터(200)인 터치스크린 및 제어부(300)가 스마트폰에 구비되면, 사용자는 외부에서 활동하는 상태에서도 휴대하는 스마트폰을 이용하여 인터넷을 통해 화장품을 구매하는 과정을 진행할 수 있다.
도 2 내지 도 5에 도시된 바와 같이, 제어부(300)는 카메라(100)에서 촬영되는 사용자의 영상에서 얼굴을 인식하는 얼굴인식부(310)와, 화장품에 대한 영상을 제공하는 화장품영상제공부(320)과, 화장품영상제공부(320)에서 제공되는 화장품영상을 선택하는 사용자의 모션을 인식하고, 얼굴인식부(310)에서 인식되는 얼굴을 선택하는 사용자의 모션을 인식하는 모션인식부(330)와, 모션인식부(330)에서 인식되는 모션에 따라 선택된 화장품영상에 대한 화장품의 특성을 사용자의 얼굴영상에 적용하는 화장품적용부(340)를 포함한다.
도 2 내지 도 12에 도시된 바와 같이, 얼굴인식부(310)는 얼굴영역(a)을 인식하는 얼굴영역인식부(311)와, 얼굴영역인식부(311)에서 인식된 얼굴영역(a)에서 눈썹. 눈, 코, 입술에 대한 세부영역(b)을 인식하는 세부영역인식부(312)를 포함한다.
얼굴영역인식부(311)는 미리 설정된 원형이나 타원형과 같은 얼굴프레임(f)을 이용하여 얼굴영역(a)을 확인할 수 있다.
세부영역인식부(312)는 확인된 얼굴프레임(f)의 내측에서 눈썹, 눈, 코, 입에 대한 각각의 위치가 미리 설정된 상태에서 각각의 형태와 색상의 경계선을 구분하여 각각의 세부영역(b)을 확인할 수 있다.
따라서, 얼굴영역인식부(311)가 얼굴영역(a)을 인식한 상태에서 세부영역인식부(312)가 눈, 코, 입에 대한 각각의 모양과 색상의 차이와 명암의 차이를 근거로 경계선을 설정하여 세분화된 영역을 인식할 수 있다. 이에 의해, 각 개인의 얼굴에 일치되는 얼굴영역(a) 및 세부영역(b)을 인식하므로 눈썹, 눈, 코, 입에 대한 세부영역(b)이 화면으로 현시될 수 있다.
이와 같이, 얼굴인식부(310)를 통해 사용자의 얼굴이 인식되고, 인식된 얼굴에서 눈, 코, 입이 각각 인식되어 화면으로 보여지는 실제얼굴에 표시되어서 현시되므로, 세분화된 각각의 영역에 적합한 화장을 수행할 수 있다.
그리고, 얼굴영역인식부(311)는 미리 설정된 얼굴프레임(f)을 이용하여 사용자의 얼굴을 판단하는 얼굴판단부(313)와, 얼굴판단부(313)에서 판단된 얼굴에서 경계선을 인식하는 경계선인식부(314)를 포함한다.
따라서, 얼굴판단부(313)가 미리 설정된 원형이나 타원형태의 얼굴프레임(f)을 이용하여 얼굴을 빠르게 인식하므로, 인식된 얼굴영역(a) 안에서 눈, 코. 입에 대한 세부영역(b)도 빠르게 인식될 수 있다. 이때, 경계선인식부(314)가 얼굴프레임(f)을 이용하여 얼굴영역(a)을 인식하는 과정에서 머리카락에 의해 얼굴의 일부분이 가려지는 경우 머리카락과 이마의 경계까지만 인식한다.
그리고, 얼굴인식부(310)는 움직이는 사용자의 얼굴을 따라 실시간으로 얼굴영역(a)을 인식한다. 따라서, 사용자가 화장을 하는 동작을 수행한 후에 화장이 잘되었는지 확인하기 위해 사용자가 특정 포즈를 취하는 경우에 따라 변형된 얼굴영역(a) 및 세부영역(b)이 반영될 수 있다. 즉, 사용자가 턱을 들어 올리거나 머리를 숙이거나 또는 옆면을 보이는 동작을 취해도 얼굴인식부(310)가 계속적으로 얼굴영역(a) 및 세부영역(b)을 인식하므로, 약간씩 변형되어서 화면으로 출력되는 사용자의 얼굴에서 얼굴영역(a) 및 세부영역(b)이 실시간으로 반영될 수 있다.
화장품영상제공부(320)는 얼굴인식부(310)에 의해 인식된 얼굴의 외측에 화장품영상들을 표시하는 화장품표시부(321)와, 화장품표시부(321)에서 표시되는 화장품영상들 중 모션인식부(330)의 모션인식에 따라 선택된 화장품영상을 활성화하는 화장품활성화부(322)를 포함한다.
화장품표시부(321)는 다수의 칸으로 나누어진 화장품표(323)와, 화장품표(323)의 다수의 칸에 화장품들이 각각 표시되는 화장품표시부(324)와, 화장품표시부(324)에 대응되도록 화장품표(323)의 다른 칸들에 화장도구들이 각각 표시되는 화장품도구표시부(325)를 포함한다.
이와 같이, 화장품표(323)에 화장품표시부(324) 및 화장품도구표시부(325)가 서로 대응되는 상태로 표시되므로, 사용자는 해당하는 화장품에 적합한 화장품도구를 이용하여 모니터(200)에 현시되는 자신의 얼굴영상에 화장할 수 있다.
여기서, 사용자가 화장도구를 선택한 후에 화장품을 선택한 상태로 손가락(c)을 이용하여 자신의 얼굴을 터치하면, 화장도구를 이용하여 화장한 것과 같은 질감이 표현될 수 있다.
모션인식부(330)는 사용자의 손가락이미지를 설정하는 손가락설정부(331)와, 손가락설정부(331)에서 설정된 손가락이미지에 카메라(100)를 통해 촬영되는 사용자의 손가락(c)을 비교하여 일치하는지 판단하는 손가락판단부(332)와, 손가락판단부(332)에서 판단된 손가락(c)이 화장품영상을 선택함을 인식하는 화장품선택인식부(333)와, 손가락판단부(332)에서 판단된 손가락(c)이 얼굴을 선택함을 인식하는 얼굴선택인식부(334)를 포함한다.
손가락설정부(331)는 카메라(100)를 통해 촬영되는 사용자의 손가락(c)을 이미지로 설정한다. 이러한, 손가락이미지는 다시 촬영되는 손가락(c)과 비교되어 손가락(c)인지 판단하기 위해 이용된다. 즉, 자신의 손가락(c)을 이용하여 손가락이미지를 설정하므로 손가락판단부(332)에서 손가락(c)을 판단하는 과정이 쉽고 빠르게 이루어질 수 있다. 그리고, 손가락(c)을 대신하여 연필이나 막대 등으로 설정할 수도 있다.
손가락판단부(332)가 카메라(100)를 통해 촬영되는 영상에서 미리 설정된 손가락이미지에 일치되는 사용자의 손가락(c)을 판단할 수 있어서, 화장품선택인식부(333) 및 얼굴선택인식부(334)는 손가락(c)과 모양이 다른 물체가 움직여도 반응하지 않고 손가락(c)의 움직임만 반응할 수 있다.
화장품선택인식부(333)는 사용자의 손가락(c)이 화장품을 선택하는지 인식하고, 얼굴선택인식부(334)는 사용자의 손가락(c)이 얼굴을 선택하는지 인식한다.
따라서, 사용자가 손가락(c)을 이용하여 화장품표(323)에 표시되는 화장품을 선택한 후에 다시 얼굴을 선택하면 선택된 화장품의 특성이 얼굴에서 선택된 부분에 반영되어서 현시될 수 있다. 즉, 사용자가 빨간색의 립스틱을 선택하여 입술을 선택하면 입술이 빨간색으로 변하게 된다.
모션인식부(330)는 화장품선택인식부(333)의 화장품인식이나 얼굴선택인식부(334)의 얼굴인식을 무효 시키도록 손가락(c)의 흔들림을 인식하는 흔들림인식부(335)를 포함한다.
흔들림인식부(335)는 소정시간동안에 손가락(c)의 왕복이동이 다수번 인식되면 화장품선택인식부(333)의 화장품선택이나 얼굴선택인식부(334)의 얼굴선택을 무효 시켜서 선택되기 전상태로 복귀시킨다. 즉, 사용자가 화장하는 도중에 1~2초 사이에 손가락(c)을 2~5회 왕복이동 시키면, 마지막으로 동작했던 화장품의 선택이나 얼굴에서 특정영역의 선택이 취소될 수 있다. 이에 의해, 사용자는 자신의 원하는 화장품을 다시 선택할 수 있고, 얼굴의 영역도 다시 선택할 수 있다. 예를 들어, 립스틱을 선택한 후에 얼굴에서 눈썹을 선택한 경우 립스틱의 선택을 무효로 하고 눈썹 새도우를 선택하거나, 눈썹의 선택을 무효로 하고 입술을 선택할 수 있다.
화장품적용부(340)는 모션인식부(330)에 의해 인식된 화장품영상에 대응되는 색상 및 질감을 인식하는 화장품특성인식부(341)와, 화장품특성인식부(341)에서 인식된 색상 및 질감을 모션인식부(330)의 모션인식에 따라 선택된 얼굴에 표현하는 화장품특성표현부(342)를 포함한다.
따라서, 사용자가 자신의 손가락(c)을 이용하여 자신의 얼굴을 터치하면 화장품적용부(340)에 의해는 적용되는 화장품의 특성(색상, 질감)이 터치된 영역에 대응되게 적용되어서 화장이 된다. 그리고, 사용자가 자신의 얼굴에 화장된 상태를 육안으로 확인할 수 있으므로 자신에게 적합한 화장품을 용이하게 선별할 수 있다.
이와 같이, 본 발명에 의하면 사용자가 카메라(100)를 작동시켜서 자신의 얼굴이 촬영되어서 모니터(200)를 통해 출력되도록 한다. 이때, 제어부(300)에서 촬영되는 얼굴에서 얼굴영역(a) 및 세부영역(b)을 인식한다.
얼굴영역(a) 및 세부영역(b)의 인식이 완료되면 사용자가 자신의 손가락(c)을 이용하여 화장품표시부(321)를 통해 화면에 표시되는 화장품표(323)에서 화장품 및 화장도구를 선택한다. 예를 들어, 화장품은 눈썹 새도우를 선택하고, 화장도구는 눈썹 새도우 브러쉬를 선택한다.
이러한 상태에서, 사용자가 자신의 손가락을 자신의 얼굴에서 세부영역(b)인 눈썹을 선택하면 선택된 화장품의 색상이 선택된 화장도구에 의한 질감으로 선택된 세부영역(b)인 눈썹에 표현될 수 있다.
따라서, 사용자는 자신의 눈썹에 화장된 상태를 화면을 통해 확인하여 화장된 상태를 육안으로 확인할 수 있다. 이어서, 눈썹 새도우가 자신이 원하는 색상이나 질감이 아니라고 판단되면 손가락(c)을 빠르게 흔들어서 눈썹이 화장되기 전상태로 되돌릴 수 있다. 그리고, 다른 눈썹 새도우를 선택하여 자신의 눈썹을 다시 화장할 수 있다. 아울러, 눈썹 화장이 완료되면 얼굴의 다른 부분을 화장할 수 있다.
이와 같이, 본 발명에 의하면 모니터의 화면으로 보이는 자신의 얼굴에 가상으로 화장할 수 있어서, 증강현실을 통해 자신에게 적합한 화장품을 선택할 수 있으므로, 메이크업 시뮬레이션 장치에 적용되어서 널리 사용될 수 있는 매우 유용한 발명이라 할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의의 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
a : 얼굴영역 b : 세부영역
100 : 카메라 200 : 모니터
300 : 제어부 310 : 얼굴인식부
311 : 얼굴영역인식부 312 : 세부영역인식부
313 : 얼굴판단부 314 : 경계선인식부
320 : 화장품영상제공부 321 : 화장품표시부
322 : 화장품활성화부 323 : 화장품표
324 : 화장품표시부 325 : 화장품도구표시부
330 : 모션인식부 331 : 손가락설정부
332 : 손가락판단부 333 : 화장품선택인식부
334 : 얼굴선택인식부 335 : 흔들림인식부
340 : 화장품적용부 341 : 화장품특성인식부
342 : 화장품특성표현부

Claims (9)

  1. 사용자를 촬영하는 카메라(100)와,
    카메라(100)에서 촬영되는 사용자의 영상이 화면으로 출력되는 모니터(200)와,
    카메라(100)에서 촬영되는 사용자의 영상에 적용되기 위한 화장품영상을 제공하고, 사용자의 모션에 따라 제공된 화장품영상을 사용자의 영상에 반영시키는 제어부(300)를 포함하되,
    제어부(300)는
    카메라(100)에서 촬영되는 사용자의 영상에서 얼굴을 인식하는 얼굴인식부(310)와,
    화장품에 대한 영상을 제공하는 화장품영상제공부(320)와,
    화장품영상제공부(320)에서 제공되는 화장품영상을 선택하는 사용자의 모션을 인식하고, 얼굴인식부(310)에서 인식되는 얼굴을 선택하는 사용자의 모션을 인식하는 모션인식부(330)와,
    모션인식부(330)에서 인식되는 모션에 따라 선택된 화장품영상에 대한 화장품의 특성을 사용자의 얼굴영상에 적용하는 화장품적용부(340)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    얼굴인식부(310)는
    얼굴영역(a)을 인식하는 얼굴영역인식부(311)와,
    얼굴영역인식부(311)에서 인식된 얼굴영역(a)에서 이마, 눈썹. 눈, 속눈썹, 코, 광대, 볼, 입술, 턱에 대한 세부영역(b)을 인식하는 세부영역인식부(312)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  4. 청구항 3에 있어서, 얼굴영역인식부(311)는
    미리 설정된 얼굴프레임(f)을 이용하여 사용자의 얼굴을 판단하는 얼굴판단부(313)와,
    얼굴판단부(313)에서 판단된 얼굴에서 경계선을 인식하는 경계선인식부(314)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  5. 청구항 1에 있어서, 화장품영상제공부(320)는
    얼굴인식부(310)에 의해 인식된 얼굴의 외측에 화장품영상들을 표시하는 화장품표시부(321)와,
    화장품표시부(321)에서 표시되는 화장품영상들 중 모션인식부(330)의 모션인식에 따라 선택된 화장품영상을 활성화하는 화장품활성화부(322)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  6. 청구항 5에 있어서, 화장품표시부(321)는
    다수의 칸으로 나누어진 화장품표(323)와,
    화장품표(323)의 다수의 칸에 화장품들이 각각 표시되는 화장품표시부(324)와,
    화장품표시부(324)에 대응되도록 화장품표(323)의 다른 칸들에 화장도구들이 각각 표시되는 화장품도구표시부(325)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  7. 청구항 1에 있어서, 모션인식부(330)는
    사용자의 손가락이미지를 설정하는 손가락설정부(331)와,
    손가락설정부(331)에서 설정된 손가락이미지에 카메라(100)를 통해 촬영되는 사용자의 손가락(c)을 비교하여 일치하는지 판단하는 손가락판단부(332)와,
    손가락판단부(332)에서 판단된 손가락(c)이 화장품영상을 선택함을 인식하는 화장품선택인식부(333)와,
    손가락판단부(332)에서 판단된 손가락(c)이 얼굴을 선택함을 인식하는 얼굴선택인식부(334)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  8. 청구항 7에 있어서, 모션인식부(330)는 화장품선택인식부(333)의 화장품인식이나 얼굴선택인식부(334)의 얼굴인식을 무효 시키도록 손가락의 흔들림을 인식하는 흔들림인식부(335)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
  9. 청구항 1에 있어서, 화장품적용부(340)는
    모션인식부(330)에 의해 인식된 화장품영상에 대응되는 색상 및 질감을 인식하는 화장품특성인식부(341)와,
    화장품특성인식부(341)에서 인식된 색상 및 질감을 모션인식부(330)의 모션인식에 따라 선택된 얼굴에 표현하는 화장품특성표현부(342)를 포함하는 것을 특징으로 하는 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치.
KR1020150180930A 2015-12-17 2015-12-17 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 KR101719927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150180930A KR101719927B1 (ko) 2015-12-17 2015-12-17 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150180930A KR101719927B1 (ko) 2015-12-17 2015-12-17 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치

Publications (1)

Publication Number Publication Date
KR101719927B1 true KR101719927B1 (ko) 2017-03-27

Family

ID=58496740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150180930A KR101719927B1 (ko) 2015-12-17 2015-12-17 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치

Country Status (1)

Country Link
KR (1) KR101719927B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3708029A1 (en) * 2019-03-13 2020-09-16 Cal-Comp Big Data, Inc. Virtual make-up system and virtual make-up coloring method
KR102293108B1 (ko) * 2020-11-23 2021-08-25 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템
WO2021172791A1 (ko) * 2020-02-25 2021-09-02 삼성전자 주식회사 전자 장치 및 이를 이용한 시각적 효과 제공 방법
WO2022097823A1 (ko) * 2020-11-05 2022-05-12 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048393A (ja) * 2004-08-05 2006-02-16 Nikon Corp メイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048393A (ja) * 2004-08-05 2006-02-16 Nikon Corp メイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
라경진 외 3인, 한국정보처리학회 학술대회, 2015.10.30., VOL 22 NO. 02 PP. 1057 ~ 1060* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3708029A1 (en) * 2019-03-13 2020-09-16 Cal-Comp Big Data, Inc. Virtual make-up system and virtual make-up coloring method
WO2021172791A1 (ko) * 2020-02-25 2021-09-02 삼성전자 주식회사 전자 장치 및 이를 이용한 시각적 효과 제공 방법
WO2022097823A1 (ko) * 2020-11-05 2022-05-12 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템
KR102293108B1 (ko) * 2020-11-23 2021-08-25 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템

Similar Documents

Publication Publication Date Title
US20210177124A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
CN109690617B (zh) 用于数字化妆镜的系统和方法
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US9224248B2 (en) Method of virtual makeup achieved by facial tracking
US20160042557A1 (en) Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
WO2018221092A1 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
KR101719927B1 (ko) 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치
CN112198962B (zh) 一种与虚拟现实设备交互的方法及虚拟现实设备
CA2874650A1 (en) Systems and methods for generating a 3-d model of a virtual try-on product
JPWO2015029371A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
CN110688948A (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
WO2018005884A1 (en) System and method for digital makeup mirror
WO2015152028A1 (ja) 化粧支援装置および記録媒体
CN110738620A (zh) 智能美妆方法、化妆镜和存储介质
JP2018195996A (ja) 画像投影装置、画像投影方法、及び、画像投影プログラム
Borges et al. A virtual makeup augmented reality system
Treepong et al. Makeup creativity enhancement with an augmented reality face makeup system
JP2011022733A (ja) メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法
CN116523579A (zh) 一种显示设备、虚拟试衣系统及方法
KR20210081526A (ko) 가상 미용 성형 장치
KR102372524B1 (ko) 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
Treepong et al. The development of an augmented virtuality for interactive face makeup system
KR20200080577A (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
US20230101374A1 (en) Augmented reality cosmetic design filters

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant