KR102403012B1

KR102403012B1 - Beauty Mirror for Providing Personalized Beauty Solution and Driving Method Thereof

Info

Publication number: KR102403012B1
Application number: KR1020210144408A
Authority: KR
Inventors: 신재우; 한지호
Original assignee: (주)이지템
Priority date: 2021-10-27
Filing date: 2021-10-27
Publication date: 2022-05-30
Anticipated expiration: 2041-10-27

Abstract

본 발명은 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러 및 그 미러의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러는, 사용자의 얼굴 모습을 촬영한 촬영 이미지를 외부장치로 전송하여, 전송한 촬영 이미지에 대한 분석 결과 및 분석 결과를 근거로 추천되는 화장품과 관련한 트리트먼트 정보를 수신하는 통신 인터페이스부, 및 주변에 연동 가능한 미용기기가 있는지 확인하여 연동 가능한 미용기기로 (기)수신한 트리트먼트 정보를 전송하여 전송한 트리트먼트 정보를 근거로 미용기기를 자동 세팅하도록 통신 인터페이스부를 제어하는 제어부를 포함할 수 있다.The present invention relates to a beauty mirror for providing a personalized beauty solution and a method of driving the mirror, and the beauty mirror for providing a personalized beauty solution according to an embodiment of the present invention includes a photographed image of a user's face. A communication interface unit that transmits to an external device and receives the analysis result of the transmitted photographed image and treatment information related to cosmetics recommended based on the analysis result, and a beauty device that can be linked by checking whether there are beauty devices that can be linked in the vicinity It may include a control unit for controlling the communication interface unit to automatically set the beauty device based on the transmitted treatment information by transmitting the (gi) received treatment information.

Description

Beauty Mirror for Providing Personalized Beauty Solution and Driving Method Thereof

본 발명은 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러 및 그 미러의 구동방법에 관한 것으로서, 더 상세하게는 사용자가 소지하는 뷰티미러를 기반으로 주변의 미용기기들과 연동 가능하도록 하여 사용자의 피부 상태를 분석해 알맞은 화장품 사용과 트리트먼트를 수행할 수 있도록 하는 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러 및 그 미러의 구동방법에 관한 것이다.The present invention relates to a beauty mirror and a method of driving the mirror for providing a personalized beauty solution, and more particularly, to the user's skin condition by enabling interlocking with surrounding beauty devices based on the beauty mirror possessed by the user. It relates to a beauty mirror and a method of driving the mirror to provide a personalized beauty solution that analyzes and performs appropriate cosmetic use and treatment.

현대인들은 아름다움에 대한 관심이 많고 본인을 가꾸는 것에 관심이 많다. 이로 인해 미용 상품에도 많은 관심을 보이고 있다. 바쁜 와중에 피부 관리를 위해 직접 피부과나 관리실을 방문하지만 시간이 부족하여 병원을 자주 방문하기 힘들다. 이에 가정에서 손쉽게 피부관리를 할 수 있는 제품과 기기들에 대한 소비가 확대되고 있다. 특히 단순히 손을 이용해서 화장품을 바르는 것이 아닌 특별한 미용기기를 이용해서 화장품의 흡수를 촉진시키는 등 그 효과를 극대화하고 있다.Modern people are very interested in beauty and are very interested in taking care of themselves. As a result, there is a lot of interest in beauty products as well. He visits a dermatologist or treatment room for skin care while he is busy, but it is difficult to visit the hospital frequently due to lack of time. Accordingly, the consumption of products and devices that can be easily taken care of at home is increasing. In particular, the effect is maximized by accelerating the absorption of cosmetics by using a special cosmetic device, rather than simply applying cosmetics with hands.

또한 화장품은 기능별로 세분화되어짐에 따라 다양한 종류의 화장품이 존재한다. 하지만 때로는 사용자 본인의 피부상태와 무관하게 화장품을 사용하기도 한다. 이는 사용자가 원하는 효과를 얻지 못하게 하거나 불필요한 소비로 경제적 손실을 가져다 주기도 한다. Also, as cosmetics are subdivided by function, various types of cosmetics exist. However, sometimes cosmetics are used regardless of the user's own skin condition. This may prevent users from obtaining the desired effect or cause economic loss due to unnecessary consumption.

한편, 본인의 모습을 비추어주는 거울은 일상용품으로써 미용을 위해 많이 사용되며, 넓은 평면을 가지고 있는 스크린으로서 물리적 사용 목적에 따른 가치에 적합하다. On the other hand, a mirror that reflects the person's appearance is widely used for beauty as a daily necessities, and as a screen with a wide flat surface, it is suitable for the value according to the purpose of physical use.

따라서, 미러디스플레이 기반의 뷰티미러를 기반으로 피부와 두피 상태를 분석하여 가정에서 손쉽게 개인 맞춤형 피부관리 솔루션을 제공하기 위한 장치와 서비스를 제공할 필요가 있다.Therefore, it is necessary to provide a device and service for easily providing a personalized skin care solution at home by analyzing the skin and scalp conditions based on a mirror display-based beauty mirror.

대한민국 등록특허공보 제10-2031512호 2019년 10월 11일Republic of Korea Patent Publication No. 10-2031512 October 11, 2019 대한민국 등록특허공보 제10-1979355호 2019년 05월 15일Republic of Korea Patent Publication No. 10-1979355 May 15, 2019 대한민국 등록특허공보 제10-2193581호 2020년 12월 23일Republic of Korea Patent Publication No. 10-2193581 December 23, 2020

본 발명의 실시예는 사용자가 소지하는 뷰티미러를 기반으로 주변의 미용기기들과 연동 가능하도록 하여 사용자의 피부 상태를 분석해 알맞은 화장품 사용과 트리트먼트를 수행할 수 있도록 하는 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러 및 그 미러의 구동방법을 제공함에 그 목적이 있다.An embodiment of the present invention is to provide a personalized beauty solution that allows a user to use a cosmetic product and perform treatment appropriately by analyzing the user's skin condition by enabling interlocking with surrounding beauty devices based on the beauty mirror possessed by the user. An object of the present invention is to provide a beauty mirror and a method of driving the mirror.

본 발명의 실시예에 따른 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러는, 사용자의 얼굴 모습을 촬영한 촬영 이미지를 외부장치로 전송하여, 상기 전송한 촬영 이미지에 대한 분석 결과 및 상기 분석 결과를 근거로 추천되는 화장품과 관련한 트리트먼트(treatment) 정보를 수신하는 통신 인터페이스부, 및 주변에 연동 가능한 미용기기가 있는지 확인하여 연동 가능한 미용기기로 상기 수신한 트리트먼트 정보를 전송하여 상기 전송한 트리트먼트 정보를 근거로 상기 미용기기를 자동 세팅하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.The beauty mirror for providing a personalized beauty solution according to an embodiment of the present invention transmits a photographed image of a user's face to an external device, and based on the analysis result of the transmitted image and the analysis result The communication interface unit for receiving treatment information related to recommended cosmetics, and by checking whether there are interlockable beauty devices in the vicinity, transmits the received treatment information to the interlockable beauty devices, and transmits the transmitted treatment information and a control unit for controlling the communication interface unit to automatically set the beauty device based on the basis.

상기 외부장치는 상기 뷰티미러의 주변에 위치하여 상기 촬영 이미지를 분석하는 사용자 휴대단말장치 또는 서버를 포함할 수 있다.The external device may include a user portable terminal device or a server positioned around the beauty mirror to analyze the photographed image.

상기 뷰티미러는 상기 분석결과를 화면에 표시하는 디스플레이부를 더 포함하며, 상기 디스플레이부는 상기 미용기기에서 상기 자동 세팅된 트리트먼트 정보를 근거로 트리트먼트 동작을 수행할 때, 상기 트리트먼트 동작에 관련되는 증강현실(AR) 가이드를 화면에 제공할 수 있다.The beauty mirror further includes a display unit for displaying the analysis result on a screen, wherein the display unit is related to the treatment operation when performing a treatment operation based on the automatically set treatment information in the beauty device Augmented reality (AR) guides can be provided on the screen.

상기 제어부는, 상기 촬영 이미지에 대한 분석 결과로서 상기 사용자의 피부나 모발 상태와 관련한 분석 결과를 처리할 수 있다.The controller may process an analysis result related to the skin or hair condition of the user as an analysis result of the captured image.

상기 제어부는, 상기 트리트먼트 정보로서 상기 미용기기의 트리트먼트 동작 방식 및 출력값을 조정하기 위한 정보를 제공할 수 있다.The controller may provide information for adjusting a treatment operation method and output value of the beauty device as the treatment information.

상기 제어부는, 상기 사용자의 휴대 단말장치에서 상기 연동 가능한 미용기기를 확인한 경우 상기 휴대 단말장치에서 확인한 미용기기와 관련한 트리트먼트 정보를 상기 외부장치로부터 취득할 수 있다.When the user's portable terminal device identifies the interoperable beauty device, the control unit may acquire treatment information related to the beauty device checked in the portable terminal device from the external device.

또한, 본 발명의 실시예에 따른 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러의 구동방법은, 통신 인터페이스부가, 사용자의 얼굴 모습을 촬영한 촬영 이미지를 외부장치로 전송하여, 상기 전송한 촬영 이미지에 대한 분석 결과 및 상기 분석 결과를 근거로 추천되는 화장품과 관련한 트리트먼트 정보를 수신하는 단계, 및 제어부가, 주변에 연동 가능한 미용기기가 있는지 확인하여 연동 가능한 미용기기로 상기 수신한 트리트먼트 정보를 전송하여 상기 전송한 트리트먼트 정보를 근거로 상기 미용기기를 자동 세팅하도록 상기 통신 인터페이스부를 제어하는 단계를 포함한다.In addition, in the driving method of the beauty mirror for providing a personalized beauty solution according to an embodiment of the present invention, the communication interface unit transmits a photographed image of a user's face to an external device, Receiving the analysis result and treatment information related to the cosmetic recommended based on the analysis result, and the control unit, by confirming whether there is a beauty device that can be linked in the vicinity, and transmits the received treatment information to a beauty device that can be linked and controlling the communication interface to automatically set the beauty device based on the transmitted treatment information.

본 발명의 실시예에 따르면, 사용자의 피부나 모발상태를 분석하여 알맞은 화장품 혹은 유효성분의 사용과 트리트먼트를 수행할 수 있게 되므로 개인 맞춤형 뷰티솔루션을 제공할 수 있을 것이다.According to an embodiment of the present invention, since it is possible to analyze the user's skin or hair condition and perform treatment and use of appropriate cosmetics or active ingredients, it will be possible to provide a personalized beauty solution.

또한, 본 발명의 실시예는 사용자의 피부나 모발 상태에 따라 주변에 감지되는 미용기기의 트리트먼트 동작 방식에 관련되는 각종 모드(mode) 및 출력값 등을 미세하게 조정하여 사용자에게 최적화된 트리트먼트를 제공할 수 있을 것이다.In addition, the embodiment of the present invention provides a treatment optimized for the user by finely adjusting various modes and output values related to the treatment operation method of the beauty device sensed in the vicinity according to the user's skin or hair condition. will be able to provide

도 1은 본 발명의 실시예에 따른 개인 맞춤형 뷰티솔루션 서비스 시스템을 나타내는 도면,
도 2는 도 1의 시스템을 도식화하여 나타낸 도면,
도 3은 도 1의 뷰티미러와 주변 미용기기의 연동과정을 설명하기 위한 도면,
도 4는 제품 사용 예시를 설명하기 위한 도면,
도 5는 도 1의 뷰티미러의 세부구조를 예시한 블록다이어그램,
도 6은 도 1의 시스템의 개인 맞춤형 뷰티솔루션 서비스 과정을 나타내는 흐름도, 그리고
도 7은 도 1의 뷰티미러의 구동과정을 나타내는 흐름도이다.1 is a view showing a personalized beauty solution service system according to an embodiment of the present invention;
Figure 2 is a diagram schematically showing the system of Figure 1;
3 is a view for explaining the interworking process of the beauty mirror of FIG. 1 and surrounding beauty devices;
4 is a view for explaining an example of product use;
5 is a block diagram illustrating the detailed structure of the beauty mirror of FIG. 1;
6 is a flowchart showing a personalized beauty solution service process of the system of FIG. 1, and
7 is a flowchart illustrating a driving process of the beauty mirror of FIG. 1 .

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 개인 맞춤형 뷰티솔루션 서비스 시스템을 나타내는 도면, 도 2는 도 1의 시스템을 도식화하여 나타낸 도면, 도 3은 도 1의 뷰티미러와 주변 미용기기의 연동과정을 설명하기 위한 도면, 그리고 도 4는 제품 사용 예시를 설명하기 위한 도면이다.1 is a view showing a personalized beauty solution service system according to an embodiment of the present invention, FIG. 2 is a diagram schematically showing the system of FIG. 1, FIG. 3 is a diagram illustrating the interworking process of the beauty mirror of FIG. 1 and surrounding beauty devices 4 is a view for explaining an example of product use.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 개인 맞춤형 뷰티솔루션 서비스 시스템(90)은 뷰티미러(100), 미용기기(110), 통신망(120) 및 뷰티솔루션 제공장치(130)의 일부 또는 전부를 포함한다.As shown in FIG. 1 , the personalized beauty solution service system 90 according to the embodiment of the present invention includes a beauty mirror 100 , a beauty device 110 , a communication network 120 , and a device for providing a beauty solution 130 . includes some or all.

여기서, "일부 또는 전부를 포함한다"는 것은 통신망(120)과 같은 일부 구성요소가 생략되어 뷰티미러(100)와 뷰티솔루션 제공장치(130)가 다이렉트 통신(예: P2P 통신)을 수행하거나, 뷰티솔루션 제공장치(130)를 구성하는 구성요소의 일부 또는 전부가 통신망(120)을 구성하는 네트워크 장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, "including some or all" means that some components such as the communication network 120 are omitted so that the beauty mirror 100 and the beauty solution providing device 130 perform direct communication (eg, P2P communication), or It means that some or all of the components constituting the beauty solution providing device 130 can be integrated into a network device (eg, a wireless exchange device, etc.) constituting the communication network 120, and the like, In order to facilitate a sufficient understanding, it is explained that everything is included.

뷰티미러(100)는 피부 분석을 위한 카메라와 필요한 정보를 디스플레이하기 위한 거울형 디스플레이장치가 합쳐진 형태이며, 주변 미용기기(110)와 연동한다. 뷰티미러(100)는 카메라에서 사용자의 얼굴을 촬영하여 빠른 시간 내에 피부상태를 분석한 후, 그 결과를 뷰티미러(100)의 디스플레이장치에 표시한다. 분석된 피부상태에 따라 필요한 화장품을 추천하고 근거리 무선 통신으로 연결된 주변 미용기기(110)에 필요한 트리트먼트 정보를 제공한다. 그리고 뷰티미러(100)에는 해당 미용기기(110)를 적절히 사용할 수 있도록 사용자의 모습과 연동된 증강현실(AR) 영상 가이드를 제공한다.The beauty mirror 100 is a combination of a camera for skin analysis and a mirror-type display device for displaying necessary information, and interworks with the surrounding beauty device 110 . The beauty mirror 100 captures the user's face from the camera, analyzes the skin condition within a short time, and displays the result on the display device of the beauty mirror 100 . It recommends necessary cosmetics according to the analyzed skin condition and provides necessary treatment information to the surrounding beauty device 110 connected through short-range wireless communication. And the beauty mirror 100 provides an augmented reality (AR) image guide linked to the user's appearance so that the corresponding beauty device 110 can be used appropriately.

다시 말해, 뷰티미러(100)는 카메라를 작동시켜 사용자 얼굴을 촬영하면 촬영 이미지를 이용해 피부 및/또는 모발 상태를 분석해 분석결과를 화면에 디스플레이하고, 주변 기기와 연동하여 추천 화장품 등과 관련한 트리트먼트 정보가 자동 설정되도록 한다. 이를 위하여 뷰티미러(100)는 자체적으로 프로그램을 실행하여 이미지를 분석할 수 있지만, 외부의 서버와 같은 뷰티솔루션 제공장치(130)로 촬영 이미지를 제공하여 피부나 모발의 상태 분석 결과를 요청하고, 또 해당 분석 결과를 토대로 제공되는 추천 화장품에 대한 정보나 해당 화장품을 미용기기(110)를 활용해 어떠한 방식으로 사용해야 하는지에 대한 트리트먼트 정보 또는 데이터를 제공받을 수 있다. 물론 이러한 트리트먼트 데이터에는 미용기기(110)를 활용해 화장품을 사용하는 AR 가이드 즉 영상을 제공할 수 있다. 또한, 트리트먼트 정보는 미용기기(110)를 사용자 명령에 따라 자동으로 동작시키는 것이다.In other words, when the beauty mirror 100 operates the camera to photograph the user's face, it analyzes the skin and/or hair condition using the photographed image, displays the analysis result on the screen, and works with peripheral devices to provide treatment information related to recommended cosmetics, etc. to be set automatically. To this end, the beauty mirror 100 can analyze the image by executing a program by itself, but provides the photographed image to the beauty solution providing device 130 such as an external server to request the analysis result of the condition of the skin or hair, In addition, information on recommended cosmetics provided based on the analysis result or treatment information or data on how to use the cosmetics using the beauty device 110 may be provided. Of course, such treatment data can be provided with an AR guide, that is, an image using cosmetics by using the beauty device 110 . In addition, the treatment information is to automatically operate the beauty device 110 according to a user command.

물론 뷰티미러(100)는 도 1에서와 같이 통신망(120)을 통해 뷰티솔루션 제공장치(130)에 촬영 이미지를 제공하는 것이 아니라, 주변에 사용자의 스마트폰이나 랩탑컴퓨터, 태블릿PC 등과 같은 사용자 단말장치가 인식되는 경우, 가령 해당 사용자 단말장치에서 어플리케이션(이하, 앱)을 실행한 경우 해당 사용자 단말장치에서 촬영 이미지의 분석을 요청한 후 위에서와 같이 분석 결과를 제공받고, 또 추천 화장품이나 트리트먼트 데이터를 제공받을 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 장치나 서비스 형태에 특별히 한정하지는 않을 것이다. 다만, 고가의 서버가 스마트폰 등의 단말장치보다는 고성능의 하드웨어 자원이나 소프트웨어 자원을 구비할 것은 분명하므로, 전자의 경우가 바람직할 수 있다.Of course, the beauty mirror 100 does not provide a photographed image to the beauty solution providing device 130 through the communication network 120 as in FIG. When a device is recognized, for example, when an application (hereinafter, an app) is executed on the user terminal device, the user terminal device requests analysis of the photographed image, and then receives the analysis result as above, and also recommended cosmetics or treatment data can be provided. Therefore, the embodiment of the present invention will not be particularly limited to any one device or service type. However, since it is clear that an expensive server will have high-performance hardware resources or software resources rather than a terminal device such as a smart phone, the former case may be preferable.

예를 들어, 뷰티미러(100)는 도 1의 뷰티솔루션 제공장치(130)로부터 촬영 이미지의 분석결과로서 피부상태나 모발상태에 대한 결과를 수신하고, 또 추천 화장품 정보나 이를 이용한 트리트먼트 정보가 제공되면 분석 결과나 추천 화장품 정보를 디스플레이 화면에 표시하고, 또 트리트먼트 정보를 주변의 미용기기(110)로 제공해 주기 위하여 주변에 미용기기(110)가 검색되는지는 확인한다. 이를 위하여 뷰티미러(100)는 블루투스 통신을 수행할 수 있다. 이러한 동작에 따라, 도 3의 (a)에서와 같은 모발관리기기, (b)에서와 같은 두피관리기기, 또 (d)에서와 같은 흡수촉진기기가 인식되는지를 확인한다. 따라서, 뷰티미러(100)는 주변에 미용기기(110)가 인식되면 해당 미용기기(110)로 트리트먼트 정보를 전송한다. 본 발명의 실시예에서는 트리트먼트 정보가 화장품 정보를 포함하는 개념으로 사용될 수 있으며, 분리하여 사용될 수 있다. 다시 말해, 화장품 정보는 사용자의 피부 상태의 분석 결과 추천되는 화장품에 대한 정보라면, 트리트먼트 정보는 해당 화장품을 관련 미용기기(110)를 이용해 어떠한 방식으로 동작시켜야 하는지에 관련된 정보라 볼 수 있다. 가령, 흡수촉진 EP, 미세전류, RF 고주파 등을 사용해야 하는지, 또 어떠한 순서대로 사용해야 하는지, 또 얼마나 길게, 얼마나 세게 사용해야 하는지 등에 관련된다고 볼 수 있다. For example, the beauty mirror 100 receives the skin condition or hair condition as an analysis result of the photographed image from the beauty solution providing device 130 of FIG. 1 , and also provides recommended cosmetic information or treatment information using the same. When provided, it is checked whether the beauty device 110 is searched in the vicinity to display the analysis result or recommended cosmetic information on the display screen and provide treatment information to the surrounding beauty device 110 . To this end, the beauty mirror 100 may perform Bluetooth communication. According to this operation, it is checked whether the hair care device as in (a) of FIG. 3, the scalp care device as in (b), or the absorption promoting device as in (d) is recognized. Accordingly, the beauty mirror 100 transmits treatment information to the beauty device 110 when the beauty device 110 is recognized in the vicinity. In an embodiment of the present invention, treatment information may be used as a concept including cosmetic information, and may be used separately. In other words, if the cosmetic information is information on a cosmetic recommended as a result of the analysis of the user's skin condition, the treatment information may be viewed as information related to how the cosmetic should be operated using the related cosmetic device 110 . For example, it can be seen that it is related to whether to use absorption-promoting EP, micro-current, RF high-frequency, etc., in what order to use it, and how long and how hard it should be used.

사용자의 요청에 따라 뷰티미러(100)와 주변의 미용기기(110)가 사용될 때, 뷰티미러(100)는 사용자가 현재 사용하고 있는 미용기기(110)를 인식한 후 그에 해당하는 가이드 영상을 화면에 제공할 수 있으며, 이러한 가이드 영상은 사용자의 얼굴에 미용기기(110)를 증강현실의 형태로 제공할 수 있고, 이때 화면상에 안내 멘트를 함께 제공할 수 있다. 물론 자막이나 음성도 출력할 수 있다. 이와 같이 뷰티미러(100)는 분석 결과에 따라 증강 가이드 영상을 화면에 표시하게 된다.When the beauty mirror 100 and the surrounding beauty device 110 are used according to the user's request, the beauty mirror 100 recognizes the beauty device 110 currently used by the user and then displays a guide image corresponding thereto. can be provided, and such a guide image can provide the beauty device 110 to the user's face in the form of augmented reality, and at this time, a guide message can be provided on the screen. Of course, subtitles and audio can also be output. As such, the beauty mirror 100 displays the augmented guide image on the screen according to the analysis result.

또한, 본 발명의 실시예에 따른 뷰티미러(100)는 자신이 주변의 미용기기(110)와 통신을 수행하지 않는 경우라 하더라도 사용자가 소유하고 있는 스마트폰 등을 통해 주변의 미용기기(110)를 인식하는 것도 얼마든지 가능하다. 예를 들어, 사용자의 스마트폰을 통해 검색된 연동된 기기의 정보나 사용예를 도 1의 뷰티솔루션 제공장치(130)에서 인식하여 각종 업데이트 데이터를 뷰티미러(100)로 제공하여 뷰티미러(100)는 스마트폰에서의 정보, 서버로서 동작하는 뷰티솔루션 제공장치(130) 및 사용자의 피부 및 모발 상태를 고려하여 최적의 모드(mode)로 작동하도록 미용기기(110)를 세팅할 수 있다.In addition, the beauty mirror 100 according to the embodiment of the present invention, even if it does not communicate with the surrounding beauty device 110, the surrounding beauty device 110 through a smartphone, etc. owned by the user. It is also possible to recognize For example, the beauty solution providing device 130 of FIG. 1 recognizes information or usage examples of interlocked devices found through the user's smartphone and provides various update data to the beauty mirror 100 to provide the beauty mirror 100 . may set the beauty device 110 to operate in an optimal mode in consideration of the information in the smartphone, the beauty solution providing device 130 operating as a server, and the user's skin and hair conditions.

도 4를 참조하여 도 1의 뷰티미러(100)의 사용 예를 보면, 뷰티미러(100)는 (a)에서와 같이 사용자의 얼굴 사진을 통해 피부상태를 분석한다. 이는 시스템 설계자의 의도에 따라 얼마든지 달라질 수 있는 것이며, 도 4에서는 뷰티미러(100)가 직접 분석할 수 있는 것을 가정한 것이다. 또한, 뷰티미러(100)는 10초 이내로 분석이 완료되며 사용자의 피부정보(예: 주름, 모공, 홍조, 피지, 색소침착 등)를 도출하고 문제 위치와 정보를 표시한다. 도 4의 (b)에서와 같다. 이어 뷰티미러(100)는 (c)에서와 같이 빅데이터 기술을 활용하여 필요한 화장품 성분 및 제형을 분석하고, 피부 측정 결과에 따라 피부에 딱 맞는 화장품을 추천받는다. 빅데이터의 분석에 기반하므로 추천되는 화장품의 신뢰도는 높다고 볼 수 있다. 이어 뷰티미러(100)는 인공지능으로 분석된 내용을 기반으로 연동 가능한 미용기기(110)에 피부상태 정보를 전달한다. 도 4의 (d)는 이를 보여주고 있다. 마지막으로 뷰티미러(100)는 사용자가 앱 화면/음성이 지시하는 대로 따라하도록 가이드한다. AR로 사용자 얼굴에 합성하여 음성과 함께 가이드한다. 도 4의 (e)에 보여주고 있다. 예를 들어, 팔자 주름이 심하다고 분석되었다면 그 위치를 뷰티미러(100)에 디스플레이하고 트리트먼트에 필요한 기기 세팅은 자동으로 이루어진다. 여기서 기기 세팅은 흡수촉진 EP, 미세전류, RF 고주파를 포함할 수 있다.Referring to the example of use of the beauty mirror 100 of FIG. 1 with reference to FIG. 4 , the beauty mirror 100 analyzes the skin condition through the user's face picture as in (a). This may vary according to the intention of the system designer, and in FIG. 4 , it is assumed that the beauty mirror 100 can directly analyze. In addition, the beauty mirror 100 analyzes within 10 seconds, derives the user's skin information (eg, wrinkles, pores, redness, sebum, pigmentation, etc.), and displays the problem location and information. It is the same as in (b) of FIG. Then, as in (c), the beauty mirror 100 uses big data technology to analyze necessary cosmetic ingredients and formulations, and according to the skin measurement result, a cosmetic product suitable for the skin is recommended. As it is based on big data analysis, it can be seen that the reliability of the recommended cosmetics is high. Then, the beauty mirror 100 transmits skin condition information to the beauty device 110 that can be linked based on the content analyzed by artificial intelligence. Figure 4 (d) shows this. Finally, the beauty mirror 100 guides the user to follow as instructed by the app screen/voice. It guides with voice by synthesizing it on the user's face with AR. It is shown in FIG. 4(e). For example, if it is analyzed that the nasolabial folds are severe, the position is displayed on the beauty mirror 100, and device settings necessary for treatment are automatically performed. Here, the device settings may include absorption-promoting EP, micro-current, and RF radio frequency.

미용기기(110)는 도 3에 도시된 바와 같이, 모발관리기기, 두피관리기기, 흡수촉진기기 등 다양한 유형의 기기를 포함한다. 뷰티미러(100)는 주변의 미용기기(110)와 통신을 수행하여 내부에 저장된 장치식별정보나 제조사 등의 정보를 확인하여 어떠한 유형의 미용기기(110)인지를 확인할 수 있다. 또한, 미용기기(110)는 뷰티미러(100)에서 특정 사용자의 얼굴 촬영 이미지를 분석하여 제공하는 화장품 정보나 트리트먼트 정보를 근거로 미용기기(110)를 자동 세팅한다. 물론 미용기기(110)의 생산공장에서 제품의 출고시에 기본 데이터를 설정할 수는 있다. 따라서, 이의 경우에는 위에서와 같은 동작에 따라 각 미용기기(110)는 사용자에게 맞춤화된 트리트먼트 동작을 수행하도록 미세한 조정을 수행하여 특정 사용자에게 최적화된 미용관리가 이루어지도록 한다. The beauty device 110 includes various types of devices, such as a hair care device, a scalp care device, and an absorption promoting device, as shown in FIG. 3 . The beauty mirror 100 communicates with the surrounding beauty devices 110 to check device identification information stored therein, information such as manufacturers, etc., to determine what type of beauty device 110 it is. In addition, the beauty device 110 automatically sets the beauty device 110 based on cosmetic information or treatment information provided by analyzing a photographed image of a specific user's face in the beauty mirror 100 . Of course, it is possible to set the basic data when the product is shipped from the production factory of the beauty device 110 . Accordingly, in this case, according to the above operation, each beauty device 110 performs a fine adjustment to perform a treatment operation customized to the user, so that a beauty management optimized for a specific user is made.

예를 들어, 트리트먼트 코스가 기본적으로는 흡수촉진 일렉트로포레이션(EP), 미세전류, RF 고주파의 형태로 설정되었다면 이러한 순서 등을 변경할 수 있으며, 또 출력값을 조정할 수 있다. 본 발명의 실시예에서는 이러한 트리트먼트 코스를 수행하기 위한 일련의 동작이 하나의 명령에 의해 이루어지는 것을 모드라 명명할 수 있다. 동작 방식에 관련된다. 예를 들어, 모드 1에서는 a, b, c의 동작을 순차적으로 수행하지만, 모드 2에서는 a, c, b의 동작을 순서대로 수행하는 것이 대표적이다. 물론 모드 3에서는 모드 1과 같이 a, b, c의 동작을 순서대로 수행하지만, 그 출력값이 상이할 수 있다. 따라서, 모드는 이러한 일련의 동작을 수행하도록 하는 단축키 정도로 이해될 수 있다.For example, if the treatment course is basically set in the form of absorption-promoting electroporation (EP), micro-current, and RF high-frequency waves, the order can be changed and the output value can be adjusted. In an embodiment of the present invention, a mode in which a series of operations for performing such a treatment course is performed by one command may be referred to as a mode. related to the way it works. For example, in mode 1, operations a, b, and c are sequentially performed, but in mode 2, operations a, c, and b are sequentially performed. Of course, in mode 3, operations a, b, and c are sequentially performed like in mode 1, but the output values may be different. Accordingly, the mode can be understood as a shortcut key to perform such a series of operations.

뷰티미러(100)의 주변에 인식되는 모든 미용기기(110)들은 다양한 형태로 화장품 정보나 트리트먼트 정보를 처리할 수 있다. 예를 들어, 미용기기(110)를 사용자가 현재 보유하고 있는 화장품을 근거로 기기의 트리트먼트 동작을 수행할 수 있다. 또한, 뷰티미러(100)가 가령 특정 화장품에 대하여 사용할 수 있는 복수의 미용기기(110)에 대한 트리트먼트 정보 등을 제공하며, 해당 데이터에서 자신에게 부합하는 트리트먼트 정보만을 선별하여 자동 세팅 동작을 수행할 수도 있다. 그러나, 뷰티미러(100)는 주변에 인식되는 미용기기(110)의 유형을 판단하여 해당 미용기기(110)에 부합한 데이터만을 구분하여 제공하는 것도 얼마든지 가능하다. 본 발명의 실시예에서는 어느 하나의 데이터(혹은 정보) 처리 방식에 특별히 한정하지는 않지만, 전자의 경우가 바람직할 수 있다. 예를 들어, 미용기기(110)는 트리트먼트 정보에 자신과 관련한 데이터만을 선별하여 자동 세팅 동작을 수행할 수 있다. 그리고, 나머지 데이터는 삭제하는 등의 동작을 수행할 수도 있을 것이다.All beauty devices 110 recognized around the beauty mirror 100 may process cosmetic information or treatment information in various forms. For example, the cosmetic device 110 may perform a treatment operation of the device based on the cosmetics currently owned by the user. In addition, the beauty mirror 100 provides, for example, treatment information on a plurality of beauty devices 110 that can be used for a specific cosmetic, and selects only treatment information that matches itself from the data to perform an automatic setting operation. can also be done However, the beauty mirror 100 may determine the type of the beauty device 110 recognized in the vicinity, and provide only the data corresponding to the beauty device 110 by classifying it. Although the embodiment of the present invention is not particularly limited to any one data (or information) processing method, the former case may be preferable. For example, the beauty device 110 may perform an automatic setting operation by selecting only data related to itself in the treatment information. In addition, an operation such as deleting the remaining data may be performed.

통신망(120)은 유무선 통신망을 모두 포함한다. 가령 통신망(120)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(120)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(120)이 유선 통신망인 경우 통신망(120) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transsive Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.The communication network 120 includes both wired and wireless communication networks. For example, a wired/wireless Internet network may be used or interlocked as the communication network 120 . Here, the wired network includes an Internet network such as a cable network or a public telephone network (PSTN), and the wireless communication network includes CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), Wibro network, etc. is meant to include Of course, the communication network 120 according to the embodiment of the present invention is not limited thereto, and may be used, for example, in a cloud computing network under a cloud computing environment, a 5G network, and the like. For example, when the communication network 120 is a wired communication network, the access point in the communication network 120 can connect to a switching center of a telephone company, etc., but in the case of a wireless communication network, it accesses the SGSN or GGSN (Gateway GPRS Support Node) operated by the communication company to transmit data. Data can be processed by accessing various repeaters such as a BTS (Base Transsive Station), NodeB, and e-NodeB.

통신망(120)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 뷰티미러(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스 포인트는 뷰티미러(100) 등과 불루투스, 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 뷰티솔루션 제공장치(130) 등으로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.The communication network 120 may include an access point. Here, the access point includes a small base station, such as a femto or pico base station, which is often installed in a building. Femto or pico base stations are classified according to the maximum number of beauty mirrors 100, etc. that can be connected to the classification of small base stations. Of course, the access point may include a short-distance communication module for performing short-distance communication such as the beauty mirror 100 and the like, such as Bluetooth, Zigbee, and Wi-Fi. The access point may use TCP/IP or Real-Time Streaming Protocol (RTSP) for wireless communication. Here, short-distance communication may be performed in various standards such as Bluetooth, Zigbee, infrared, radio frequency (RF) such as ultra high frequency (UHF) and very high frequency (VHF), and ultra-wideband communication (UWB) in addition to Wi-Fi. Accordingly, the access point may extract the location of the data packet, designate the best communication path for the extracted location, and deliver the data packet to the next device, for example, the beauty solution providing device 130 along the designated communication path. The access point may share several lines in a general network environment, and includes, for example, a router, a repeater, and a repeater.

뷰티솔루션 제공장치(130)는 가령 서버로서 동작할 수 있으며, 뷰티미러(100)에서 제공하는 사용자의 얼굴 촬영 이미지를 인공지능(AI)의 딥러닝 알고리즘을 기반으로 분석할 수 있다. 물론 딥러닝 알고리즘을 기반으로 하는 경우 분석 정확도가 증가한다. 뷰티솔루션 제공장치(130)는 사용자 개인정보와 피부 분석 데이터를 동기화한 후 DB(130a)에 저장한다. 또한, 뷰티솔루션 제공장치(130)는 추천 화장품 정보와 분석 결과를 뷰티미러(100)로 전송한다.The beauty solution providing apparatus 130 may operate, for example, as a server, and may analyze the user's face photographed image provided by the beauty mirror 100 based on an artificial intelligence (AI) deep learning algorithm. Of course, when it is based on a deep learning algorithm, the analysis accuracy increases. The beauty solution providing device 130 stores the user personal information and skin analysis data in the DB 130a after synchronizing. In addition, the beauty solution providing device 130 transmits the recommended cosmetic information and the analysis result to the beauty mirror 100 .

물론 뷰티솔루션 제공장치(130)는 본 발명의 실시예에 따른 동작을 수행하기 위한 데이터 구축 동작을 수행한다. 시중에 판매되는 화장품들과 관련한 화장품 데이터를 수집하여 분석하고, 또 시중에 판매되는 미용기기(110)들에 대한 데이터도 수집하여 인공지능을 적용해 분석한다. 이러한 과정을 통해 특정 화장품에 대하여 어떠한 미용기기(110)를 적용해야 하고, 또 미용기기(110)를 어떠한 형태로 적용해야 하는지와 관련한 데이터를 생성할 수 있다. 물론 이러한 데이터는 별도로 제작하여 제공하는 업체가 있는 경우에는 해당 업체로부터 데이터를 제공받아 서비스할 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 또한, 특정 화장품에 대하여 미용기기(110)를 이용해 사용법을 가이드하는 가이드 영상의 경우에도 사전에 시스템에 기저장한 상태에서 촬영 이미지의 분석결과에 따라 그에 매칭되는 가이드 영상을 제공할 수 있다.Of course, the beauty solution providing apparatus 130 performs a data construction operation for performing an operation according to an embodiment of the present invention. It collects and analyzes cosmetic data related to cosmetics sold on the market, and also collects data on beauty devices 110 sold on the market and applies artificial intelligence to analyze it. Through this process, it is possible to generate data related to which cosmetic device 110 should be applied to a specific cosmetic product and in what form the cosmetic device 110 should be applied. Of course, if there is a company that separately manufactures and provides such data, it is possible to receive the data from the corresponding company and provide the service, so the embodiment of the present invention will not be limited to any one form. In addition, even in the case of a guide image for guiding the usage of a specific cosmetic product using the beauty device 110, a guide image matching it may be provided according to the analysis result of the photographed image in a state previously stored in the system.

이외에도 뷰티솔루션 제공장치(130)는 앞서 언급한 대로 사용자의 스마트폰 등의 사용자 단말장치와도 통신할 수 있다. 예를 들어, 스마트폰에서 본 발명의 실시예에 따른 서비스를 제공하기 위한 앱이 실행되는 경우, 주변의 미용기기(110)에 대한 정보를 사용자 단말장치로부터 제공받고, 또 뷰티미러(100)에 대한 정보도 제공받아 뷰티미러(100)로 업데이트를 위한 각종 데이터를 제공할 수 있다. 본 발명의 실시예에서는 정보는 간단한 제어 명령 등을 의미한다면, 데이터는 실질적인 동작 등을 수행하기 위한 데이터, 또 화소 데이터 등을 의미하지만, 업계에서는 통상 정보나 데이터의 용어의 개념을 구분하지는 않으므로 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.In addition, the beauty solution providing device 130 may communicate with a user terminal device such as a user's smart phone as mentioned above. For example, when an app for providing a service according to an embodiment of the present invention is executed on a smartphone, information about the surrounding beauty device 110 is provided from the user terminal device, and the beauty mirror 100 Information about the information may also be provided, and various data for updating may be provided to the beauty mirror 100 . In the embodiment of the present invention, if information means a simple control command, data means data for performing an actual operation, or pixel data. It will not specifically limit the concept of the term.

정리하면, 본 발명의 실시예에 따른 시스템(90)은 뷰티미러(100)를 기반으로 주변 연동가능한 미용기기(110)를 이용하여 개인 맞춤형 뷰티솔루션을 제공한다. 솔루션은 해결책을 의미하지만, 본 발명의 실시예에서는 해결을 위한 데이터를 의미할 수 있다. 뷰티미러(100)는 일상 생활에서 이미 상용화된 미러 디스플레이를 사용하며 인터넷이 사용가능한 환경에서 동작 가능하다. 인터넷 환경이 불가능할 때에는 일반적인 거울로서 역할이나 기존 데이터를 열람하는 것이 가능하다. 뷰티미러(100)는 사용자마다 식별 ID 코드를 부여하고 이를 통해 개인을 식별하며, 성별, 나이, 이름 등의 정보를 입력받는다. 개인 식별 정보는 외부 서버 DB(130a)에 저장되며, 사용자마다 개별적으로 매번 피부상태를 분석하고 결과를 업데이트한다. 또한 시스템(90)은 외부 서버 즉 뷰티솔루션 제공장치(130)로부터 사용 정보 기반 추천 서비스를 제공하고 사용자 추천 키워드와 추천 분야를 확장하여 서비스를 제공할 수 있다. 즉 뷰티미러(100)의 경우 스마트폰이나 서버와 연동이 가능하고, 서버는 스마트폰을 통해 검색된 연동된 기기의 정보나 사용예를 뷰티미러(100)에 전송하고 또한 서버에서는 각종 업데이트를 위한 데이터를 뷰티미러(100)에 제공하여 뷰티미러(100)는 스마트폰에서의 정보, 서버에서의 정보 및 사용자의 피부 및 두피 상태를 고려하여 최적의 모드로 작동하도록 미용기기(110)를 세팅할 수 있다.In summary, the system 90 according to an embodiment of the present invention provides a personalized beauty solution using the beauty device 110 that can be linked to the surrounding based on the beauty mirror 100 . A solution means a solution, but may mean data for a solution in an embodiment of the present invention. The beauty mirror 100 uses a mirror display that has already been commercialized in daily life, and is operable in an environment where the Internet is available. When the Internet environment is not possible, it is possible to browse existing data or act as a general mirror. The beauty mirror 100 assigns an identification ID code to each user, identifies an individual through this, and receives information such as gender, age, and name. The personal identification information is stored in the external server DB 130a, and each user individually analyzes the skin condition and updates the result. In addition, the system 90 may provide a recommendation service based on usage information from an external server, that is, the beauty solution providing device 130 , and extend the user recommendation keyword and recommendation field to provide the service. That is, in the case of the beauty mirror 100, it is possible to interwork with a smartphone or a server, and the server transmits information or usage examples of the interlocked device found through the smartphone to the beauty mirror 100, and the server also transmits data for various updates. By providing the beauty mirror 100, the beauty mirror 100 can set the beauty device 110 to operate in the optimal mode in consideration of the information from the smartphone, the information from the server, and the user's skin and scalp conditions. have.

도 5는 도 1의 뷰티미러의 세부구조를 예시한 블록다이어그램이다.5 is a block diagram illustrating a detailed structure of the beauty mirror of FIG. 1 .

도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 뷰티미러(100)는 통신 인터페이스부(400), 광 발생부(410) 센서부(420), 제어부(430), 디스플레이부(440), 카메라부(450) 및 저장부(460)의 일부 또는 전부를 포함한다. As shown in FIG. 5 , the beauty mirror 100 of FIG. 1 according to an embodiment of the present invention includes a communication interface unit 400 , a light generator 410 , a sensor unit 420 , a control unit 430 , and a display unit. 440 , a camera unit 450 , and some or all of the storage unit 460 .

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(460)와 같은 일부 구성요소가 생략되어 뷰티미러(100)가 구성되거나, 센서부(420)와 같은 일부 구성요소가 광 발생부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, "including some or all" means that some components such as the storage unit 460 are omitted to configure the beauty mirror 100, or some components such as the sensor unit 420 are included in the light generating unit 410 ), which means that it can be configured by being integrated with other components, such as, and will be described as including all in order to help a sufficient understanding of the invention.

통신 인터페이스부(혹은 데이터 통신부)(400)는 외부 서버 가령 도 1의 뷰티솔루션 제공장치(130)나 주변기기 가령 미용기기(110)와 통신을 수행한다. 여기서 주변기기는 미용기기(110)나 사용자가 소지하는 스마트폰 등을 포함한다. 통신 인터페이스부(400)는 외부 서버 및 주변기기와 통신하기 위한 제1 통신모듈과 제2 통신모듈을 포함할 수 있다. 2개의 통신모듈은 서로 다른 통신규약에 의해 동작한다.The communication interface unit (or data communication unit) 400 communicates with an external server, for example, the beauty solution providing device 130 of FIG. 1 or a peripheral device, such as the beauty device 110 . Here, the peripheral device includes the beauty device 110 or a smart phone possessed by the user. The communication interface unit 400 may include a first communication module and a second communication module for communicating with an external server and peripheral devices. The two communication modules operate according to different communication protocols.

데이터 통신부는 크게 2가지 통신을 수행한다. 첫째는 외부 서버와 통신하며, 인터넷 환경을 이용한다. 외부 서버는 뷰티미러(100)로부터 분석할 이미지를 전송받게 되며, 기존에 개발되고 학습된 딥러닝 알고리즘을 이용하여 이미지를 분석한다. 이미지 분석은 빠르게 이루어지고 결과를 뷰티미러(100)에 전송한다. 그리고 개인의 사용자 피부분석정보는 서버 DB(130a)에 저장되며 이후에도 열람이 가능하다. 두번째 통신은, 블루투스 등을 이용한 근거리 무선통신 환경에서 외부에 연동가능한 미용기기(110)와 통신을 하는 것이다.The data communication unit mainly performs two types of communication. The first communicates with an external server and uses the Internet environment. The external server receives the image to be analyzed from the beauty mirror 100 and analyzes the image using a deep learning algorithm developed and learned in the past. Image analysis is performed quickly and the result is transmitted to the beauty mirror 100 . And the personal user skin analysis information is stored in the server DB (130a) and can be viewed afterward. The second communication is to communicate with the beauty device 110 that can be linked to the outside in a short-range wireless communication environment using Bluetooth or the like.

데이터 통신부는 외부 서버와 데이터를 통신하기 위한 역할과 주변 미용기기(110)와도 근거리 통신을 통해 데이터를 주고받아 뷰티미러(100)와 연동 가능하게 한다. 외부 서버에서는 이미지를 전송받아 딥러닝 기반의 분석 알고리즘을 수행한다. 서버에서 분석 후 결과는 뷰티미러(100)로 전송된다. The data communication unit serves to communicate data with an external server and enables interworking with the beauty mirror 100 by exchanging data through short-distance communication with the surrounding beauty device 110 as well. An external server receives the image and executes an analysis algorithm based on deep learning. After analysis in the server, the result is transmitted to the beauty mirror 100 .

광 발생부(410)는 대상자 즉 사용자에게 조명광을 제공한다. 뷰티미러(100)의 전면부에는 광 발생부(410)가 있으며 LED 조명이 사용자의 얼굴을 향해 조사되어진다. 광 발생부(410)의 광 세기는 뷰티미러(100) 내 조도 센서와 카메라의 이미지를 통해 일정한 광환경을 만들어 주위 광환경 영향을 줄일 수 있다. 카메라 플래시(flash)와 같은 역할을 수행할 수도 있다.The light generator 410 provides illumination light to a subject, that is, a user. The front part of the beauty mirror 100 has a light generating unit 410, and LED lights are irradiated toward the user's face. The light intensity of the light generator 410 can reduce the influence of the surrounding light environment by creating a constant light environment through the image of the illuminance sensor and the camera in the beauty mirror 100 . It can also serve as a camera flash.

뷰티미러(100)의 광발생부(410)는 설치된 광원으로부터 가시광선을 사용자의 얼굴에 조사한다. 이는 분석에 필요한 광환경을 구축하여 이미지 분석의 효율성을 높여주는 역할을 한다.The light generating unit 410 of the beauty mirror 100 irradiates the user's face with visible light from the installed light source. This serves to increase the efficiency of image analysis by establishing a light environment necessary for analysis.

센서부(420)는 주위 물리량을 수집하기 위한 동작을 수행한다. 조도 센서나 거리센서 등을 포함할 수 있다. 거리센서는 사용자와의 촬영을 위한 거리 측정시 사용될 수 있다.The sensor unit 420 performs an operation for collecting an ambient physical quantity. It may include an illuminance sensor or a distance sensor. The distance sensor may be used when measuring a distance for photographing with a user.

제어부(430)는 도 4의 뷰티미러(100)를 구성하는 통신 인터페이스부(400), 광 발생부(410), 센서부(420), 디스플레이부(440), 카메라부(450) 및 저장부(460)의 전반적인 제어동작을 수행한다. 미용기기(110)들은 화장품의 흡수를 촉진하거나 두피의 상태를 관리하는 등 여러가지 미용과 관련된 효과를 도와주는 기기를 말한다. 예를 들어, 화장품의 흡수를 촉진하기 위한 미용기기(110)에서 미세전류, 일렉트로포레이션, 아크플라즈마 등을 이용한 기술들이 사용되어지고 있으며 이는 전기적인 발생장치를 이용하여 동작한다. 이런 미용기기(110)는 주파수나 전압, 전류의 세기 등을 입력 파라미터로 하여 그 출력을 조절하고 피부에 작용한다. 하지만 현재 사용되어지고 있는 이러한 미용기기(110)들은 화장품의 종류, 사용자의 피부상태와 무관하게 일정한 값이 사용되어지고 있어 개인마다 효과의 편차가 심하다. 따라서 뷰티미러(100)로부터 사용자의 피부상태와 사용 중인 화장품의 정보를 입력받아 미용기기(110)의 출력값을 조정하고, 뷰티미러(100)와 연동하여 현재 미용기기(110)의 상태를 연동할 수 있다. 제어부(430)는 이러한 동작에 관여할 수 있다.The control unit 430 includes a communication interface unit 400, a light generator 410, a sensor unit 420, a display unit 440, a camera unit 450, and a storage unit constituting the beauty mirror 100 of FIG. The overall control operation of 460 is performed. The beauty devices 110 refer to devices that help with various cosmetic-related effects, such as facilitating absorption of cosmetics or managing the condition of the scalp. For example, techniques using micro-current, electroporation, arc plasma, etc. are used in the beauty device 110 to promote absorption of cosmetics, which operates using an electric generator. The beauty device 110 uses a frequency, voltage, current strength, etc. as input parameters to control the output and act on the skin. However, these cosmetic devices 110 currently used have a certain value regardless of the type of cosmetics and the skin condition of the user, so that the effect varies greatly for each individual. Therefore, by receiving the information of the user's skin condition and cosmetics being used from the beauty mirror 100, adjust the output value of the beauty device 110, and link the current state of the beauty device 110 by linking with the beauty mirror 100. can The controller 430 may participate in this operation.

디스플레이부(440)는 필요한 정보를 표시한다. 디스플레이부(440)는 뷰티미러(100)의 전면에 설치되고 미러디스플레이로 구성된다. 이는 거울의 역할과 필요한 정보를 디스플레이하는 역할을 동시에 수행하며, 터치스크린 방식으로 동작된다. 사용자의 얼굴을 촬영한 촬영 이미지의 분석 결과와 추천되는 화장품 정보 등을 화면에 제공할 수 있다.The display unit 440 displays necessary information. The display unit 440 is installed on the front of the beauty mirror 100 and is configured as a mirror display. It performs the role of a mirror and a role of displaying necessary information at the same time, and is operated in a touch screen manner. An analysis result of a photographed image of a user's face and recommended cosmetic information may be provided on the screen.

카메라부(450)는 사용자의 모습 또는 얼굴을 촬영하며, 저장부(460)는 이미지 정보나 개인 정보를 임시 저장한다. 저장부(460)는 사용자 정보나 필요한 이미지 등을 임시 저장하는 역할을 한다. 상세하게는 카메라부(450)는 고화질의 카메라로 사용자의 얼굴 이미지를 획득하여 해당 이미지는 분석하는 데에 사용된다.The camera unit 450 captures the user's appearance or face, and the storage unit 460 temporarily stores image information or personal information. The storage unit 460 serves to temporarily store user information or necessary images. In detail, the camera unit 450 is used to obtain a user's face image with a high-quality camera and analyze the corresponding image.

첨언하면, 실제 이미지 분석 알고리즘이나 DB가 존재하는 외부 서버가 존재한다. 주변 미용기기(110)는 뷰티미러(100)로부터 트리트먼트 정보(예: 사용자 상태에 따른 기기 작동정보, 예를 들어 전압/전류/주파수 등의 출력값)를 전달받아 해당 기기의 설정값들을 자동으로 조정하며, 뷰티미러(100)의 디스플레이부(440)에 미용기기 사용법의 가이드 화면과 동기화되어 사용자에게 제공된다.Incidentally, there is an external server where the actual image analysis algorithm or DB exists. The surrounding beauty device 110 receives treatment information (eg, device operation information according to the user's state, for example, output values such as voltage/current/frequency) from the beauty mirror 100 and automatically sets the setting values of the device. Adjusted, the display unit 440 of the beauty mirror 100 is synchronized with the guide screen of how to use the beauty device and provided to the user.

도 6은 도 1의 시스템의 개인 맞춤형 뷰티솔루션 서비스 과정을 나타내는 흐름도이다.6 is a flowchart illustrating a personalized beauty solution service process of the system of FIG. 1 .

사용자와의 거리와 주변 밝기 정보를 조도센서와 거리센서를 통해서 지속적으로 획득하는 동작을 수행한다(S600).An operation of continuously acquiring the distance to the user and ambient brightness information through the illuminance sensor and the distance sensor is performed (S600).

사용자가 뷰티미러(100)에서 분석 시작 버튼을 누르면 미러 디스플레이에 가이드 화면이 나오며 사용자가 이를 따라 얼굴 위치나 거리를 조절하며, 카메라를 통해 사용자 이미지 촬영을 수행한다(S610).When the user presses the analysis start button on the beauty mirror 100, a guide screen appears on the mirror display, and the user adjusts the position or distance of the face according to it, and takes a user image through the camera (S610).

도 1의 뷰티솔루션 제공장치(130)와 같은 외부 서버에서는 사용자 이미지가 전달되면, 미리 학습된 딥러닝 기반의 분석 알고리즘을 통해 사용자의 피부상태를 분석하고 그 결과를 개인 ID와 동기화시킨다(S620, S630, S640). 즉 매칭시킨다.When a user image is transmitted from an external server such as the beauty solution providing device 130 of FIG. 1, the skin condition of the user is analyzed through a pre-learned deep learning-based analysis algorithm, and the result is synchronized with the personal ID (S620, S630, S640). i.e. matching.

그리고 외부 서버 즉 도 1의 뷰티솔루션 제공장치(130)는 분석 결과와 추천 화장품 정보를 뷰티미러(100)로 전달한다(S650). 물론 이의 과정에서 트리트먼트 정보가 함께 전달될 수 있지만, 트리트먼트 정보는 화장품 정보에 포함되는 의미로 본 발명의 실시예에서는 사용될 수 있다.And the external server, that is, the beauty solution providing device 130 of FIG. 1 transmits the analysis result and recommended cosmetic information to the beauty mirror 100 (S650). Of course, treatment information may be transmitted together during this process, but the treatment information may be used in the embodiment of the present invention as a meaning included in cosmetic information.

뷰티미러(100)는 외부 서버로부터 받은 분석결과와 추천 화장품 정보를 디스플레이한다(S660). The beauty mirror 100 displays the analysis result and recommended cosmetic information received from the external server (S660).

뷰티미러(100)는 주변에 연동 가능한 미용기기(110)가 통신으로 연결되었는지 확인하여, 연결되었다면 해당 기기(110)에 트리트먼트 정보를 전달한다(S670). 예를 들어, 뷰티미러(100)는 통신모듈을 통해 블루투스 신호를 송신(혹은 방사)하고, 주변의 미용기기(110)는 해당 신호를 송신한 후 자신의 장치식별 정보를 응답신호로서 전송함으로써 이러한 과정을 통해 연결 여부의 확인이 이루어질 수 있다.The beauty mirror 100 checks whether a beauty device 110 that can be interlocked in the vicinity is connected by communication, and if connected, transmits treatment information to the device 110 (S670). For example, the beauty mirror 100 transmits (or radiates) a Bluetooth signal through the communication module, and the surrounding beauty device 110 transmits the corresponding signal and then transmits its device identification information as a response signal. Through the process, confirmation of connection may be made.

연동된 미용기기(110)는 전달받은 트리트먼트 코스 정보를 바탕으로 자동으로 기기를 세팅하여 사용자가 쉽게 사용할 수 있도록 한다(S680).The interlocked beauty device 110 automatically sets the device based on the received treatment course information so that the user can use it easily (S680).

그리고 뷰티미러(100)에서는 본인의 얼굴에 중첩되는 형태로 미용기기 사용 AR 가이드가 제공되어지고 이를 사용자가 따라하게 된다(S690). And in the beauty mirror 100, the AR guide for using the beauty device is provided in a form that is superimposed on the user's face, and the user follows it (S690).

상기한 내용 이외에도 도 1의 시스템(90)은 다양한 서비스 동작을 제공할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the system 90 of FIG. 1 can provide various service operations, and since other details have been sufficiently described above, those contents will be replaced.

도 7은 도 1의 뷰티미러의 구동과정을 나타내는 흐름도이다.7 is a flowchart illustrating a driving process of the beauty mirror of FIG. 1 .

설명의 편의상 도 7을 도 1과 함께 참조하면, 도 1의 뷰티미러(100)는 사용자의 얼굴 모습을 촬영한 촬영 이미지를 외부장치로 전송하여 전송한 촬영 이미지에 대한 분석 결과 및 분석 결과를 근거로 추천되는 화장품과 관련한 트리트먼트 정보를 수신한다(S700). 여기서, 외부장치는 도 1의 뷰티솔루션 제공장치(130) 등의 서버나 사용자가 소지하는 이미지 분석 프로그램이 탑재한 컴퓨터나 스마트폰 등을 포함할 수 있다.Referring to FIG. 7 together with FIG. 1 for convenience of explanation, the beauty mirror 100 of FIG. 1 transmits a photographed image photographed of a user's face to an external device based on the analysis result and analysis result of the transmitted photographed image Receives treatment information related to recommended cosmetics (S700). Here, the external device may include a server, such as the beauty solution providing device 130 of FIG. 1 , or a computer or smart phone equipped with an image analysis program possessed by the user.

또한, 뷰티미러(100)는 주변에 연동 가능한 미용기기(110)가 있는지 확인하여 연동 가능한 미용기기(110)로 (기)수신한 트리트먼트 정보를 전송하여 전송한 트리트먼트 정보를 근거로 미용기기(110)를 자동 세팅하도록 한다(S610).In addition, the beauty mirror 100 checks whether there is an interlockable beauty device 110 in the vicinity, transmits the received treatment information to the interlockable beauty device 110, and based on the transmitted treatment information, the beauty device (110) is set automatically (S610).

상기한 내용 이외에도 도 1의 뷰티미러(100)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the beauty mirror 100 of FIG. 1 may perform various operations, and since other detailed information has been sufficiently described above, it will be replaced with the contents.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.On the other hand, even though it has been described that all components constituting the embodiment of the present invention are combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, all of the components may be implemented as one independent hardware, but a part or all of each component is selectively combined to perform some or all of the combined functions in one or a plurality of hardware program modules It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily deduced by those skilled in the art of the present invention. Such a computer program is stored in a computer-readable non-transitory computer readable media, read and executed by the computer, thereby implementing an embodiment of the present invention.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, memory, etc. . Specifically, the above-described programs may be provided by being stored in a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100: 뷰티미러 110: 미용기기
120: 통신망 130: 뷰티솔루션 제공장치
400: 통신 인터페이스부 410: 광 발생부
420: 센서부 430: 제어부
440: 디스플레이부 450: 카메라부
460: 저장부100: beauty mirror 110: beauty equipment
120: communication network 130: beauty solution providing device
400: communication interface unit 410: light generating unit
420: sensor unit 430: control unit
440: display unit 450: camera unit
460: storage

Claims

a communication interface unit that transmits a photographed image of a user's face to an external device and receives an analysis result of the transmitted photographed image and treatment information related to cosmetics recommended based on the analysis result; and
Containing a; but,
The control unit performs a treatment operation of the beauty device based on the cosmetics currently owned by the user,
The control unit provides treatment information on a plurality of beauty devices that can be used for any cosmetics, determines the types of beauty devices recognized around, and selects and provides only treatment information that matches the determined types, the automatic setting control to do
Further comprising; a display unit for displaying the analysis result on the screen;
When the display unit performs a treatment operation based on the automatically set treatment information in the beauty device, displays an augmented reality (AR) image guide related to the treatment operation,
The control unit, after recognizing the beauty device currently used by the user, a beauty mirror for providing a personalized beauty solution for providing the augmented reality image guide generated in the form of augmented reality on the face of the user.

According to claim 1,
The external device is a beauty mirror for providing a personalized beauty solution including a user portable terminal device or a server that is located in the vicinity of the beauty mirror to analyze the photographed image.

delete

According to claim 1,
The control unit is a beauty mirror for providing a personalized beauty solution that processes the analysis result related to the user's skin condition or hair condition as an analysis result for the photographed image.

According to claim 1,
The control unit, as the treatment information, a beauty mirror for providing a personalized beauty solution that provides information for adjusting the treatment operation method and output value of the beauty device.

According to claim 1,
The control unit, when the user's portable terminal device confirms the interlockable beauty device, a beauty mirror for providing a personalized beauty solution for acquiring treatment information related to the beauty device checked in the portable terminal device from the external device.

transmitting, by the communication interface unit, a photographed image obtained by photographing a user's face to an external device, and receiving an analysis result of the transmitted photographed image and treatment information related to a cosmetic recommended based on the analysis result; and
Controlling the communication interface unit so as to automatically set the beauty device based on the transmitted treatment information by sending the received treatment information to a beauty device that can be interlocked by a control unit, checking whether there is a beauty device that can be interlocked in the vicinity including;
performing, by the control unit, a treatment operation of the beauty device based on the cosmetics currently owned by the user;
The control unit provides treatment information on a plurality of beauty devices that can be used for any cosmetics, determines the types of beauty devices recognized around, and selects and provides only treatment information that matches the determined types, the automatic setting controlling to do so;
displaying, by the display unit, the analysis result on a screen;
displaying, by the display unit, an augmented reality (AR) image guide related to the treatment operation when the beauty device performs a treatment operation based on the automatically set treatment information; and
Providing, by the control unit, the augmented reality image guide generated in the form of augmented reality to the user's face after recognizing the beauty device currently used by the user;
How to operate a beauty mirror to provide a personalized beauty solution that includes more.