KR20180003237A - Electronic mirror apparatus and method for controlling the same - Google Patents

Electronic mirror apparatus and method for controlling the same Download PDF

Info

Publication number
KR20180003237A
KR20180003237A KR1020160082810A KR20160082810A KR20180003237A KR 20180003237 A KR20180003237 A KR 20180003237A KR 1020160082810 A KR1020160082810 A KR 1020160082810A KR 20160082810 A KR20160082810 A KR 20160082810A KR 20180003237 A KR20180003237 A KR 20180003237A
Authority
KR
South Korea
Prior art keywords
user
image
display
reference image
recommended
Prior art date
Application number
KR1020160082810A
Other languages
Korean (ko)
Other versions
KR102178566B1 (en
Inventor
장경식
이정호
차석용
이천구
이정래
이정용
Original Assignee
주식회사 엘지생활건강
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지생활건강 filed Critical 주식회사 엘지생활건강
Priority to KR1020160082810A priority Critical patent/KR102178566B1/en
Publication of KR20180003237A publication Critical patent/KR20180003237A/en
Application granted granted Critical
Publication of KR102178566B1 publication Critical patent/KR102178566B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • H04N13/0048—
    • H04N13/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

Disclosed are an electronic mirror device and a control method thereof capable of simultaneously providing a mirror and information useful for a user. According to an aspect of the present invention, the electronic mirror device includes: a mirror; a display portion including a main display and a sub-display, and being superimposed on the mirror; a main camera fixedly installed to photograph a user; and a controller for outputting, to the main display, a real-time photographed image of a user photographed by the main camera, outputting a reference image corresponding to an analysis result of the photographed image to the sub-display, and compositing the reference image onto the real-time photographed image.

Description

전자 거울 장치 및 그 제어 방법{ELECTRONIC MIRROR APPARATUS AND METHOD FOR CONTROLLING THE SAME}ELECTRONIC MIRROR APPARATUS AND METHOD FOR CONTROLLING THE SAME [0002]

본 발명은 전자 거울 장치 및 그 제어 방법에 관한 것으로서, 보다 구체적으로 거울처럼 사용자를 비추면서도 영상을 출력할 수 있는 전자 거울 장치 및 그 제어 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic mirror apparatus and a control method thereof, and more particularly, to an electronic mirror apparatus and a control method thereof capable of outputting an image while illuminating a user like a mirror.

일반적으로 거울은 사용자가 자신의 신체를 확인할 수 있도록 한 것으로서 오랜 시절부터 주로 여성들의 화장 목적에 사용되었다. 이상과 같은 거울은 은, 청동 등의 표면을 갈아 광을 낸 것을 주로 사용하였으나, 현재는 기술의 발달에 따라 표면이 편평한 유리판 뒷면에 수은을 바르고, 그 위에 습기를 막기 위하여 연단을 칠하여서 반사효율이 좋은 수은 거울이 사용되고 있다. Generally, mirrors allow users to identify their bodies and have been used mainly for the purpose of women's make-up since long ago. The above-mentioned mirrors were mainly made of silver, bronze, etc., but the present invention was applied to mercury on the back surface of the flat glass surface according to the development of technology, This good mercury mirror is being used.

이러한 종래의 거울은 사용자의 현재 외면과 신체 상태만을 확인할 수 있을 뿐 과거 상태와의 비교가 불가능하여 메이크업 또는 의류의 착용에 있어서 과거와의 대비가 불가능하다. 그리고, 종래의 거울을 이용하여 사용자의 뒷모습을 확인하고자 할 경우에는 별도의 후방 거울을 이용하여 확인해야 하고 후방 거울을 이용하더라도 시야에 제한이 있다. 또한, 종래의 거울은 사용자의 외면만을 단편적으로 보여줄 뿐이다. Such a conventional mirror can only confirm the current outer surface and the physical condition of the user, but can not compare with the past state, so that it is impossible to match the past with the makeup or the wear of the clothes. In order to check the rear view of the user using a conventional mirror, it is necessary to check by using a separate rear mirror. Even if a rear mirror is used, the field of view is limited. Further, the conventional mirror only shows only the outer surface of the user in a fragmentary manner.

본 발명은 거울을 제공하면서 사용자에게 유용한 정보를 동시에 제공할 수 있는 전자 거울 장치 및 그 제어 방법을 제공하는데 그 목적이 있다.It is an object of the present invention to provide an electronic mirror apparatus and a control method thereof that can simultaneously provide useful information to a user while providing a mirror.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 전자 거울 장치는, 거울; 메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부; 사용자를 촬영하는 고정 설치된 메인 카메라; 및 상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하며, 상기 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an electronic mirror apparatus comprising: a mirror; A main display and a sub-display, the display being superimposed on the mirror; A fixed main camera for capturing a user; And outputting a reference image corresponding to an analysis result of the photographed image to the sub display, wherein the reference image is synthesized with the real time photographed image, .

상기 제어부는, 상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하고, 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다.The controller may analyze at least one of the user's fashion state, hair state, or make-up state on the photographed image and search for a reference image related to at least one of a recommended fashion style, a recommended hair style, and a recommended make-up style.

상기 전자 거울 장치는, 상기 사용자의 피부 상태를 분석하는 피부 진단기를 더 포함하고, 상기 제어부는, 상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석할 수 있다.The electronic mirror apparatus may further include a skin diagnosis unit for analyzing the skin condition of the user, and the control unit may analyze the makeup state by synthesizing the skin condition analysis result of the skin diagnosis unit and the analysis result of the shot image .

상기 전자 거울 장치는, 상기 사용자의 모션을 인식하는 모션 인식 센서를 더 포함하고, 상기 제어부는, 상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하고, 추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다.The electronic mirror apparatus may further include a motion recognition sensor for recognizing the motion of the user, wherein the controller analyzes at least one of a fashion coordination method, a hair care method, or a makeup method by analyzing the motion of the user and the taken image And a reference image related to at least one of a recommended fashion coordination method, a recommended hair repair method, and a recommended makeup method can be retrieved.

상기 전자 거울 장치는, 상기 사용자를 촬영하는 이동 가능한 보조 카메라를 더 포함하고, 상기 제어부는, 상기 보조 카메라 및 상기 메인 카메라의 촬영 영상을 이용하여 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력하고, 상기 3차원 파노라마 영상에 상기 레퍼런스 영상을 합성할 수 있다.Wherein the controller is further configured to generate a 3D panoramic image of the user by using the photographed images of the auxiliary camera and the main camera, And the reference image can be synthesized with the 3D panoramic image.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 전자 거울 장치는, 거울; 메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부; 사용자를 촬영하는 메인 카메라; 상기 사용자의 피부 상태를 분석하는 피부 진단기; 및 상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 피부 진단기의 피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 제어부를 포함한다.According to another aspect of the present invention, there is provided an electronic mirror apparatus comprising: a mirror; A main display and a sub-display, the display being superimposed on the mirror; A main camera for photographing a user; A skin diagnostic device for analyzing the skin condition of the user; And a controller for outputting a real-time photographic image of the user photographed by the main camera to the main display, and outputting a reference image corresponding to the skin condition analysis result of the skin diagnostic device to the sub-display.

상기 제어부는, 상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색할 수 있다.The control unit may search for an introduction image of a product to be recommended to the user as the reference image according to the skin condition analysis result.

상기 제어부는, 상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하고 그 레퍼런스 영상을 상기 실시간 촬영 영상에 합성할 수 있다.The control unit may search for a reference image related to a recommended makeup style corresponding to the skin condition analysis result and synthesize the reference image with the real time photographic image.

상기 전자 거울 장치는, 상기 사용자와의 거리를 측정하는 거리 측정 센서를 더 포함하고, 상기 제어부는, 상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력할 수 있다.The electronic mirror apparatus may further include a distance measuring sensor for measuring a distance to the user, and the controller may output the real time photographed image of the user to the main display at a predetermined ratio based on the distance from the user .

상기 전자 거울 장치는, 통신부; 및 촬영 영상을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 저장부에 저장된 촬영 영상에서 레퍼런스 영상을 검색하거나, 상기 통신부를 통해 원격 저장소와 통신하여 상기 원격 저장소에서 레퍼런스 영상을 검색할 수 있다.The electronic mirror apparatus includes a communication unit; The control unit may search for a reference image from the captured image stored in the storage unit or may communicate with the remote repository through the communication unit to retrieve the reference image from the remote repository .

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른, 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법은, 카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계; 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계; 및 상기 메인 디스플레이에 출력된 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a control method for an electronic mirror apparatus including a display unit including a main display and a sub display, and a mirror installed over the display unit, And outputting a real-time photographed image to the main display; Outputting a reference image corresponding to an analysis result of the photographed image to the sub display; And synthesizing the reference image with the real-time image output from the main display.

상기 서브 디스플레이에 출력하는 단계는, 상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하는 단계; 및 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함할 수 있다.The step of outputting to the sub display may include analyzing at least one of the user's fashion state, hair state, or make-up state in the photographed image; And retrieving a reference image relating to at least one of a recommended fashion style, a recommended hair style, and a recommended make-up style.

상기 제어 방법은, 피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계를 더 포함하고, 상기 분석하는 단계는, 상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석할 수 있다.The control method may further include the step of analyzing the skin condition of the user using a skin diagnosis device, and the analyzing step may include analyzing the skin condition analysis result of the skin diagnosis device and the analysis result of the captured image, Can be analyzed.

상기 제어 방법은, 상기 사용자의 모션을 인식하는 단계를 더 포함하고, 상기 서브 디스플레이에 출력하는 단계는, 상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하는 단계; 및 추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함할 수 있다.The control method may further include recognizing the motion of the user, and the step of outputting the motion to the sub display may include analyzing the motion of the user and the photographed image to obtain at least one of a fashion coordination method, Analyzing one; And a step of searching for a reference image related to at least one of a recommended fashion coordination method, a recommended hair repair method, and a recommended makeup method.

상기 메인 디스플레이에 출력하는 단계는, 상기 전자 거울 장치에 고정된 메인 카메라 및 이동 가능한 보조 카메라를 이용하여 촬영된 촬영 영상으로부터 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력할 수 있다.The outputting to the main display may generate the three-dimensional panorama image of the user from the photographed image photographed using the main camera fixed to the electronic mirror apparatus and the movable auxiliary camera, and output the generated three-dimensional panorama image to the main display.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른, 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법은, 카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계; 피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계; 및 피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a control method of an electronic mirror apparatus including a display unit including a main display and a sub-display, and a mirror installed over the display unit, And outputting a real-time photographed image to the main display; Analyzing the skin condition of the user using a skin diagnosis device; And outputting a reference image corresponding to the skin condition analysis result to the sub display.

상기 서브 디스플레이에 출력하는 단계는, 상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색하는 단계를 포함한다.The outputting to the sub display may include searching for an introduction image of a product to be recommended to the user as the reference image according to the skin condition analysis result.

상기 서브 디스플레이에 출력하는 단계는, 상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하는 단계를 포함하고, 상기 제어 방법은, 상기 레퍼런스 영상을 상기 실시간 촬영 영상에 합성하는 단계를 더 포함할 수 있다.The step of outputting to the sub display may include searching for a reference image related to a recommended makeup style corresponding to the skin condition analysis result, and the control method may include synthesizing the reference image with the real- .

상기 제어 방법은, 상기 사용자와의 거리를 측정하는 단계를 더 포함하고, 상기 메인 디스플레이에 출력하는 단계는, 상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력할 수 있다.The control method may further include the step of measuring a distance to the user, and the step of outputting to the main display may include displaying the real-time photographic image of the user on the main display at a predetermined ratio based on the distance from the user Can be output.

본 발명의 전자 거울 장치는 메인 디스플레이에 사용자의 실시간 모습을 보여주고 서브 디스플레이에는 사용자의 현재 모습에 대해 추천할 레퍼런스 영상을 제공함으로써 거울의 기능 및 정보 제공 기능을 동시에 제공할 수 있다.The electronic mirror apparatus of the present invention can provide a mirror function and an information providing function simultaneously by providing a real time view of the user on the main display and a reference image to be recommended for the current state of the user on the sub display.

또한, 본 발명의 전자 거울 장치는, 사용자의 실시간 모습에 레퍼런스 영상을 합성하여 제공함으로써 추천 정보를 실제 체험하지 않고도 미리 가상 체험을 하도록 하여 정보 제공의 만족도를 높인다.In addition, the electronic mirror apparatus of the present invention enhances the satisfaction of providing information by providing a virtual experience in advance without actually experiencing recommendation information by providing a reference image synthesized and provided to a real-time appearance of a user.

도 1은 본 발명의 일 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이다.
도 2는 도 1의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 다른 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이다.
도 4는 도 3의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자 거울 장치와 연동하는 시스템을 나타낸 도면이다.
도 6은 도 5의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.1 is a schematic view of an appearance of an electronic mirror apparatus according to an embodiment of the present invention.
2 is a diagram showing an internal configuration of the electronic mirror apparatus of FIG.
3 is a view schematically showing an appearance of an electronic mirror apparatus according to another embodiment of the present invention.
Fig. 4 is a diagram showing an internal configuration of the electronic mirror apparatus of Fig. 3. Fig.
5 is a diagram illustrating a system operatively associated with an electronic mirror apparatus according to an embodiment of the present invention.
Fig. 6 is a diagram showing an internal configuration of the electronic mirror apparatus of Fig. 5;
7 is a flowchart illustrating a method of controlling an electronic mirror apparatus according to an embodiment of the present invention.
8 is a flowchart illustrating a method of controlling an electronic mirror apparatus according to another embodiment of the present invention.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.While the specification contains many features, such features should not be construed as limiting the scope of the invention or the scope of the claims. In addition, the features described in the individual embodiments herein may be combined and implemented in a single embodiment. Conversely, various features described in the singular < Desc / Clms Page number 5 > embodiments herein may be implemented in various embodiments individually or in combination as appropriate.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although the operations have been described in a particular order in the figures, it should be understood that such operations are performed in a particular order as shown, or that all described operations are performed to obtain a sequence of sequential orders, or a desired result . In certain circumstances, multitasking and parallel processing may be advantageous. It should also be understood that the division of various system components in the above embodiments does not require such distinction in all embodiments. The above-described program components and systems can generally be implemented as a single software product or as a package in multiple software products.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.The method of the present invention as described above can be implemented by a program and stored in a computer-readable recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto optical disk, etc.). Such a process can be easily carried out by those skilled in the art and will not be described in detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.

도 1은 본 발명의 일 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이고, 도 2는 도 1의 전자 거울 장치의 내부 구성을 나타낸 도면이다.FIG. 1 is a schematic view showing an appearance of an electronic mirror apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram showing the internal structure of the electronic mirror apparatus of FIG.

도 1 및 도 2를 참조하면, 본 실시예에 따른 전자 거울 장치(100)는, 거울(110), 센싱부(210), 디스플레이부(220), 저장부(230), 카메라부(240), 조명(250) 및 제어부(260)를 포함한다.1 and 2, the electronic mirror apparatus 100 according to the present embodiment includes a mirror 110, a sensing unit 210, a display unit 220, a storage unit 230, a camera unit 240, An illumination unit 250, and a control unit 260.

거울(110)은 전자 거울 장치(100)의 전면에 설치된다. 거울(110)은 디스플레이부(220)의 후면에 설치될 수 있고 또는 전면에 설치될 수도 있다. 거울(110)이 디스플레이부(220)의 후면에 설치될 경우 디스플레이부(220)는 투명 디스플레이로 구현될 수 있고, 거울(110)이 디스플레이부(220)의 전면에 설치될 경우 해당 거울(110)은 반사형 편광판 형태로 제작되고 디스플레이부(220)는 이에 대응하는 편광판을 가져, 디스플레이부(220)에서 영상이 출력되지 않는 상태에서는 본연의 거울로서 사용되고, 디스플레이부(220)에서 영상이 출력될 경우 영상을 통과시킨다. The mirror 110 is installed on the front surface of the electronic mirror apparatus 100. The mirror 110 may be installed on the rear surface of the display unit 220 or on the front surface thereof. When the mirror 110 is installed on the rear surface of the display unit 220, the display unit 220 may be implemented as a transparent display. When the mirror 110 is installed on the front surface of the display unit 220, And the display unit 220 has a corresponding polarizing plate and is used as an original mirror when no image is output from the display unit 220 and the image is output from the display unit 220 If so, pass the image.

센싱부(210)는, 전자 거울 장치(100)에 설치되어 사용자의 모션을 인식하고, 주변 광량을 측정하며, 사용자와 전자 거울 장치(100) 간의 거리를 측정한다. 이를 위해 센싱부(210)는 모션 인식 센서(161), 광 센서(162) 및 거리 측정 센서(163)를 포함하고, 도 1에 도시된 바와 같이, 센싱부(210)의 각 센서는 전자 거울 장치(100)의 상단에 설치될 수 있으나 여기에 제한되지 않고 사용자와 마주하는 전자 거울 장치(100)의 전면에 설치될 수 있다.The sensing unit 210 is installed in the electronic mirror apparatus 100 to recognize the motion of the user, measure the amount of ambient light, and measure the distance between the user and the electronic mirror apparatus 100. 1, each of the sensors of the sensing unit 210 includes an electronic mirror (not shown), a light sensor 162, and a distance sensor 163. The sensing unit 210 includes a motion recognition sensor 161, But it is not limited thereto and may be installed on the front surface of the electronic mirror apparatus 100 facing the user.

모션 인식 센서(161)는 전자 거울 장치(100)를 이용하는 사용자의 모션을 인식한다. 여기서 사용자의 모션은 예를 들어 패션 코디 모션, 헤어 손질 모션, 또는 메이크업을 하는 모션 등을 포함한다. 패션 코디 모션은 예를 들어, 넥타이를 매는 모션이나, 스카프를 매는 모션 등을 예로 들 수 있고, 헤어 손질 모션은 헤어를 스타일링하는 모션 등을 예로 들 수 있고, 메이크업을 하는 모션은 메이크업을 하는 순서나 패턴 등을 예로 들 수 있다. 광 센서(162)는 전자 거울 장치(100)의 주변의 광량을 측정한다. 거리 측정 센서(163)는 전자 거울 장치(100)와 사용자 간의 거리를 측정한다. 거리 측정 센서(163)는 예를 들어 적외선 센서를 들 수 있다. The motion recognition sensor 161 recognizes the motion of the user using the electronic mirror apparatus 100. [ Here, the user's motion includes, for example, fashion coordinated motion, hair-trimmed motion, or make-up motion. Examples of the fashion coordinated motion include a motion in which a tie is attached or a motion in which a scarf is attached, and a hair-care motion is a motion in which a hair is styled, and a motion in which a make- And patterns. The optical sensor 162 measures the amount of light in the periphery of the electronic mirror apparatus 100. The distance measuring sensor 163 measures the distance between the electronic mirror apparatus 100 and the user. The distance measuring sensor 163 may be, for example, an infrared sensor.

디스플레이부(200)는 거울(110)의 전면 또는 후면에 중첩되어 설치될 수 있다. 거울(110)의 전면에 중첩되어 설치되는 디스플레이부(200)는 투명 디스플레이(transparent display)를 이용할 수 있다. 투명 디스플레이는 투과도를 가지는 패널을 사용하여 투명한 유리처럼 보이는 디스플레이로서 see through type인 것이 바람직하나 종류에는 제한이 없다. 거울(110)의 후면에 중첩되어 설치되는 디스플레이부(200)는 백라이트 유닛, 백라이트 유닛 상부에 위치하는 편광판, 그 편광판 상부에 위치하는 액정을 포함할 수 있고, 반사형 편광판 형태로 제작된 거울(110)을 통해 영상을 출력할 수 있고, 영상 출력을 하지 않을 경우 거울(110)이 본연의 거울로서의 기능을 수행하도록 한다. The display unit 200 may be installed on the front surface or the rear surface of the mirror 110 in a superimposed manner. The display unit 200 installed on the front surface of the mirror 110 may use a transparent display. A transparent display is a transparent glass-like display using a transmissive panel, and is preferably a see through type, but there is no restriction. The display unit 200 installed on the rear surface of the mirror 110 may include a backlight unit, a polarizing plate disposed on the backlight unit, a liquid crystal disposed on the polarizing plate, and a mirror (not shown) 110, and when the image is not output, the mirror 110 performs a function as a mirror.

디스플레이부(200)는 전원 공급시 카메라부(240)에서 실시간으로 촬영된 사용자의 모습을 출력하여 표시한다. 디스플레이부(200)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술 등을 사용할 수 있고, 사용자에게 시각적인 출력을 표시한다. 시각적 출력은 텍스트, 그래픽, 비디오와 이들의 조합을 포함할 수 있다. 이러한 디스플레이부(200)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다. 터치 디스플레이는 전자 거울 장치(100)와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 모두 제공한다. 터치 디스플레이에서 출력하는 시각적 출력의 일부 또는 전부는 사용자 인터페이스 대상에 대응할 수 있고, 터치 디스플레이는 사용자 입력을 수용하는 터치 감지면을 형성한다.The display unit 200 displays the state of the user photographed in real time by the camera unit 240 when power is supplied. The display unit 200 can use a liquid crystal display (LCD) technology or a light emitting polymer display (LPD) technology, and displays a visual output to a user. The visual output may include text, graphics, video, and combinations thereof. The display unit 200 may be a capacitive type, a resistive type, or an infrared type touch display. The touch display provides both an output interface and an input interface between the electronic mirror device 100 and the user. Some or all of the visual output from the touch display may correspond to a user interface object and the touch display forms a touch sensitive surface that accepts user input.

디스플레이부(200)는 도 1 및 도 2에 도시된 바와 같이, 메인 디스플레이(130)와 서브 디스플레이(120)를 포함한다. 메인 디스플레이(130)와 서브 디스플레이(120)는 물리적으로 구분되어 독립된 디스플레이일 수도 있고, 또는 하나의 물리적인 디스플레이에서 소프트웨어적으로 처리되어 서로 구분되는 디스플레이일 수도 있다. 메인 디스플레이(130)는 카메라부(240)에서 촬영되는 사용자의 실시간 촬영 영상을 출력한다. 서브 디스플레이(120)는 제어부(260)의 제어에 따라 상기 메인 디스플레이(130)에 출력되는 사용자의 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 출력한다. 레퍼런스 영상은, 사용자가 참조할 수 있는 콘텐츠로서, 예를 들어 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 등을 포함하고, 정지 영상 또는 동영상일 수 있다.The display unit 200 includes a main display 130 and a sub-display 120, as shown in FIGS. The main display 130 and the sub-display 120 may be physically separate and independent displays, or may be a display that is software-processed and separated from one physical display. The main display 130 outputs a real-time photographic image of the user photographed by the camera unit 240. The sub display 120 outputs a reference image corresponding to an analysis result of the user's photographed image output to the main display 130 under the control of the control unit 260. [ The reference image may be a still image or a moving image, including a recommended fashion style, a recommended hairstyle, a recommended makeup style, and the like, which can be referred to by a user.

저장부(230)는, 고속 랜덤 액세스 메모리 등의 휘발성 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 비휘발성 메모리, 또는 다른 비휘발성 반도체 메모리 장치를 포함할 수 있다. 저장부(230)는 운영 체제, 그래픽 모듈(명령어 세트) 그리고 전자 거울 장치(100)의 동작을 위한 프로그램이 설치될 수 있고, 또한 레퍼런스 영상을 저장할 수 있다. 운영 체제는, 예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다. 그래픽 모듈은 디스플레이부(220) 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.The storage 230 may include volatile memory, such as high-speed random access memory, and may also include one or more magnetic disk storage devices, non-volatile memory such as flash memory devices, or other non-volatile semiconductor memory devices . The storage unit 230 may include an operating system, a graphics module (instruction set), and a program for operation of the electronic mirror apparatus 100, and may store reference images. The operating system may be an embedded operating system such as, for example, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS or VxWorks, Android, etc. and may include general system tasks Device control, power management, etc.), and facilitates communication between the various hardware and software components. The graphics module includes various well known software components for providing and displaying graphics on the display portion 220. [ The term "graphics" includes, without limitation, text, web pages, icons (e.g., user interface targets including soft keys), digital images, video, animations, .

카메라부(240)는 전자 거울 장치(100)를 이용하는 사용자를 촬영한다. 카메라부(240)는 도 1 및 도 2에 도시된 바와 같이, 메인 카메라(141) 및 서브 카메라(142)를 포함한다. 메인 카메라(141)는 전자 거울 장치(100)의 전면에 고정 설치되어 전자 거울 장치(100)를 이용하는 사용자를 촬영한다. 서브 카메라(142)는 전자 거울 장치(100)에 유선 또는 무선으로 연결되어 이동 가능한 카메라로서, 예를 들어 사용자가 자신의 뒷모습을 보고 싶을 때나 특정 부위를 촬영하고 싶을 때 사용될 수 있고, 또는 360도 파노라마 영상을 구현하는데 사용될 수 있다.The camera section 240 photographs a user using the electronic mirror apparatus 100. The camera unit 240 includes a main camera 141 and a sub camera 142, as shown in FIGS. The main camera 141 is fixed on the front surface of the electronic mirror apparatus 100 to photograph a user using the electronic mirror apparatus 100. The sub camera 142 is a camera that can be wired or wirelessly connected to the electronic mirror apparatus 100 to be movable. For example, the sub camera 142 can be used when the user wishes to view his / Can be used to implement panoramic images.

조명(250)은 전자 거울 장치(100)의 전면에 고정 설치되어 빛을 방출한다. 조명(250)의 광량은 센싱부(210)의 광 센서(162)에서 측정된 주변 광량에 따라 제어부(260)에 의해 제어된다. 전자 거울 장치(100)의 주변이 어두운 경우 조명(250)에 의해 빛이 방출되어 사용자의 모습이 촬영될 때 사용자의 모습이 잘 나타나도록 한다. The illumination unit 250 is fixed to the front surface of the electronic mirror apparatus 100 to emit light. The amount of light of the illumination unit 250 is controlled by the control unit 260 according to the amount of ambient light measured by the optical sensor 162 of the sensing unit 210. When the periphery of the electronic mirror apparatus 100 is dark, light is emitted by the illumination unit 250 so that the user's appearance is clearly displayed when the user's image is photographed.

제어부(260)는 전자 거울 장치(100)의 전반적인 동작을 제어한다. 제어부(260)는 예를 들어 중앙 처리 장치(CPU)로서, 전자 거울 장치(100)에 연관된 동작을 수행하고 명령어들을 수행한다. 예를 들어, 제어부(260)는 저장부(230)로부터 검색된 명령어들을 이용하여, 전자 거울 장치(100)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다. 제어부(260)는, 기본적으로 메인 카메라(141)에서 촬영된 사용자의 실시간 촬영 영상을 상기 메인 디스플레이(141)에 출력하고, 또한 부가적인 추천 서비스를 제공하도록 제어한다. The control unit 260 controls the overall operation of the electronic mirror apparatus 100. The control unit 260 is, for example, a central processing unit (CPU) that performs the operations associated with the electronic mirror apparatus 100 and performs the instructions. For example, the control unit 260 may control the reception and manipulation of input and output data between the components of the electronic mirror apparatus 100, using the instructions retrieved from the storage unit 230. [ The control unit 260 basically outputs to the main display 141 a real-time photographed image of the user photographed by the main camera 141, and further controls to provide additional recommended services.

구체적으로, 제어부(260)는 메인 카메라(141)에서 촬영된 사용자의 실시간 촬영 영상을 분석하고 그 분석 결과에 대응하는 레퍼런스 영상을 저장부(230)에서 검색하여 서브 디스플레이(120)에 출력한다. 레퍼런스 영상은 이전에 사용자가 메인 카메라(141)로 자신의 모습을 촬영하여 저장한 영상일 수 있고, 또는 인터넷에서 검색되어 저장된 영상일 수도 있다. 제어부(260)는 저장부(230)에서 복수의 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 썸네일 형태로 출력하거나 슬라이드 형태로 순차적으로 제공한 후, 사용자가 선택한 영상을 서브 디스플레이(120)의 화면 전부에 출력할 수 있다. 또한 제어부(260)는 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 상기 레퍼런스 영상을 합성할 수 있다. Specifically, the control unit 260 analyzes the real-time photographed image of the user photographed by the main camera 141, searches the storage unit 230 for a reference image corresponding to the analysis result, and outputs the reference image to the sub- The reference image may be an image that the user previously captured and stored in the main camera 141, or may be an image stored and retrieved from the Internet. The control unit 260 retrieves a plurality of reference images from the storage unit 230 and outputs them in a thumbnail form to the sub display 120 or sequentially provides the images in the form of a slide, It can output to all. In addition, the control unit 260 may synthesize the reference image with the user's real-time image captured on the main display 130.

제어부(260)는, 사용자의 실시간 촬영 영상에서 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석할 수 있고, 레퍼런스 영상으로서 추천 패션 스타일, 추천 헤어 스타일 또는 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 예를 들어, 제어부(260)는 실시간 촬영 영상에서 사용자의 얼굴을 인식하고 사용자의 헤어 상태, 메이크업 상태 등을 분석하여 분석 결과에 대응하는 레퍼런스 영상을 검색할 수 있다. 예를 들어, 제어부(260)는 사용자의 피부 색, 피부 상태에 맞는 헤어 스타일을 추천하거나, 메이크업 스타일을 추천할 수 있고, 또는 현재의 헤어 스타일이나 메이크업 스타일에 맞는 패션 스타일을 추천할 수도 있다.The control unit 260 may analyze at least one of a user's fashion state, hair state, or make-up state in a real-time shot image of the user, and may analyze at least one of a recommended fashion style, a recommended hair style, The reference image can be searched. For example, the control unit 260 can recognize a user's face in a real-time shot image and analyze a user's hair condition, make-up state, and the like to search for a reference image corresponding to the analysis result. For example, the control unit 260 may recommend a hairstyle suitable for a user's skin color or skin condition, recommend a makeup style, or recommend a fashion style suited to the current hairstyle or makeup style.

제어부(260)는, 센싱부(210)의 모션 인식 센서(161)에서 인식한 사용자의 모션에 따라 레퍼런스 영상을 검색하여 추천할 수 있다. 구체적으로, 제어부(260)는 모션 인식 센서(161)에서 인식한 사용자의 모션 및 메인 카메라(141)에서 촬영된 사용자의 실시간 촬영 영상을 통해 사용자의 패션 코디 모션, 헤어 손질 모션, 또는 메이크업을 하는 모션 등을 분석하고, 그 분석 결과에 대응하여 사용자에게 추천할 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 패션 코디 모션은 예를 들어, 넥타이를 매는 모션이나, 스카프를 매는 모션 등을 예로 들 수 있고, 헤어 손질 모션은 헤어를 스타일링하는 모션 등을 예로 들 수 있고, 메이크업을 하는 모션은 메이크업을 하는 순서나 패턴 등을 예로 들 수 있다.The control unit 260 can search for and recommend a reference image according to the motion of the user recognized by the motion recognition sensor 161 of the sensing unit 210. [ Specifically, the controller 260 performs a user's fashion-coordinated motion, hair-trimmed motion, or make-up through the motion of the user recognized by the motion recognition sensor 161 and the real-time shot image of the user photographed by the main camera 141 Motion, and the like, and search for a reference image related to at least one of a fashion coordination method, a hair care method, or a makeup method to be recommended to the user in response to the analysis result. Examples of the fashion coordinated motion include a motion in which a tie is attached or a motion in which a scarf is attached, and a hair-care motion is a motion in which a hair is styled, and a motion in which a make- And patterns.

제어부(260)는 사용자의 모습을 분석하는데 있어서 메인 카메라(141)와 서브 카메라(142)를 모두 이용할 수 있다. 전술한 바와 같이, 서브 카메라(142)는 이동 가능한 카메라로서, 사용자는 서브 카메라(142)로 자신의 뒷모습을 스캔하듯 촬영을 하고, 제어부(260)는 상기 서브 카메라(142) 및 상기 메인 카메라(141)의 촬영 영상을 이용하여 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이(130)에 출력하고, 또한 3차원 파노라마 영상으로 사용자의 패션 상태, 헤어 상태를 더 정확하게 분석할 수 있다. 제어부(260)는 메인 디스플레이(130)에 출력되는 사용자의 실시간 3차원 파노라마 영상에 상기 레퍼런스 영상을 합성할 수 있다.The control unit 260 may use both the main camera 141 and the sub camera 142 in analyzing the user's appearance. As described above, the sub camera 142 is a movable camera, and the user shoots his / her rearview with the sub camera 142, and the control unit 260 controls the sub camera 142 and the main camera 142 Dimensional panoramic image of the user using the photographed image of the user, and output the generated three-dimensional panoramic image to the main display 130. Further, the user can more accurately analyze the user's fashion state and hair state with the 3D panoramic image. The control unit 260 may synthesize the reference image with the real time 3D panoramic image of the user output to the main display 130. [

제어부(260)는 메인 카메라(141)에 의해 촬영되어 메인 디스플레이(130)에 출력되는 사용자의 실시간 촬영 영상의 비율을 센싱부(210)의 거리 측정 센서(163)에서 측정된 전자 거울 장치(100)와 사용자 간의 거리에 따라 일정하게 조정할 수 있다. 즉, 사용자의 키 또는 사용자의 얼굴 크기가 일정하게 메인 디스플레이(130)에 출력되도록 제어한다. 따라서 사용자가 전자 거울 장치(100)에 가까이 있거나 떨어져 있더라도 일정한 비율로 사용자의 모습을 표시하여, 사용자가 보다 정확히 자신의 현재 상태를 볼 수 있도록 한다. 또한 제어부(260)는 거리 측정 센서(163)에서 측정된 전가 거울 장치(100)와 사용자 간의 거리에 따라 오토포커싱(auto-focus) 기능을 제공할 수 있다.The controller 260 controls the ratio of the user's real-time image photographed by the main camera 141 and output to the main display 130 to the electronic mirror apparatus 100 measured by the distance measuring sensor 163 of the sensing unit 210 ) And the distance between the user and the user. That is, the user's key or the face size of the user is controlled so as to be constantly output to the main display 130. Accordingly, even if the user is close to or away from the electronic mirror apparatus 100, the user's appearance is displayed at a predetermined ratio, so that the user can more accurately see the current state of the user. Further, the controller 260 may provide an auto-focus function according to the distance between the passive mirror device 100 and the user measured by the distance measuring sensor 163.

이상의 도 1 및 도 2를 참조하여 설명한 바와 같이, 본 실시예에 따른 전자 거울 장치(100)는 카메라를 이용하여 사용자의 실시간 촬영 영상을 보여주면서 추가적으로 사용자 모습의 분석 결과에 따른 레퍼런스 영상을 제공하여 정보 제공 수단으로서 역할을 한다. 따라서 사용자는 패션, 헤어, 메이크업 등의 전문 컨설턴트로부터 컨설팅을 받는 효과를 얻을 수 있다.As described above with reference to FIG. 1 and FIG. 2, the electronic mirror apparatus 100 according to the present embodiment provides a reference image according to analysis results of a user, while displaying a real-time shot image of a user using a camera And serves as information providing means. Therefore, users can get consulting benefits from specialized consultants such as fashion, hair, and make-up.

도 3은 본 발명의 다른 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이고, 도 4는 도 3의 전자 거울 장치의 내부 구성을 나타낸 도면이다. 도 3 및 도 4에서 도 1 및 도 2와 동일한 참조번호의 구성요소는 도 1 및 도 2를 참조하여 설명한 동작 및 기능을 모두 포함한다.FIG. 3 is a schematic view showing an appearance of an electronic mirror apparatus according to another embodiment of the present invention, and FIG. 4 is a diagram showing the internal structure of the electronic mirror apparatus of FIG. In FIGS. 3 and 4, the same reference numerals as in FIGS. 1 and 2 include all the operations and functions described with reference to FIGS. 1 and 2. FIG.

도 3 및 도 4를 참조한 본 실시예에 따른 전자 거울 장치(100)는, 도 1 및 도 2를 참조하여 설명한 전자 거울 장치(100)와 비교하여 피부 진단기(310)를 더 포함한다. 피부 진단기(310)는 전자 거울 장치(100)와 유선 또는 무선으로 연결되어 사용자에 의해 이동 가능하며, 사용자의 피부 상태를 분석한다. The electronic mirror apparatus 100 according to the present embodiment with reference to Figs. 3 and 4 further includes a skin diagnosis unit 310 in comparison with the electronic mirror apparatus 100 described with reference to Figs. The skin diagnosis device 310 is connected to the electronic mirror device 100 in a wired or wireless manner, and is movable by a user, and analyzes the skin condition of the user.

피부 진단기(310)는 사용자의 피부에 가까이 위치하여 사용자의 피부의 유분 상태, 수분 상태, 피부 색, 피부 거칠기, PH 등의 피부 상태를 분석한다. 전자 거울 장치(100)의 제어부(260)는 상기 피부 진단기(310)에서 분석한 사용자의 피부 상태 분석 결과를 이용하여 메이크업 상태를 분석할 수 있다. 또는 제어부(260)는 결과의 정확도를 높이기 위해, 상기 피부 진단기(310)의 피부 상태 분석 결과와 상기 카메라부(240)의 촬영 영상의 분석 결과를 종합하여 사용자의 메이크업 상태를 분석할 수도 있다. The skin diagnosis device 310 is located close to the skin of the user and analyzes skin condition such as oil condition, moisture condition, skin color, skin roughness, and PH of the user's skin. The control unit 260 of the electronic mirror apparatus 100 may analyze the makeup state using the skin condition analysis result of the user analyzed by the skin diagnosis apparatus 310. [ Alternatively, the control unit 260 may analyze the makeup state of the user by integrating the skin condition analysis result of the skin diagnosis unit 310 and the analysis result of the captured image of the camera unit 240, in order to increase the accuracy of the result.

제어부(260)는, 상기 피부 진단기(310)를 통해 분석된 사용자의 메이크업 상태에 기초하여 레퍼런스 영상으로서 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하고 검색된 레퍼런스 영상을 서브 디스플레이(120)에 출력할 수 있다. 또한 제어부(260)는 서브 디스플레이(120)에 출력되는 레퍼런스 영상을 메인 디스플레이(130)에 출력되는 사용자의 실시간 촬영 영상에 합성할 수도 있다. The control unit 260 may search for a reference image related to a recommended makeup style as a reference image based on the user's makeup state analyzed through the skin diagnosis unit 310 and output the retrieved reference image to the sub display 120 . Also, the control unit 260 may synthesize the reference image output to the sub display 120 with the user's real-time image captured by the main display 130.

또한, 제어부(260)는 상기 피부 진단기(310)를 통해 분석된 사용자의 피부 상태 분석 결과를 서브 디스플레이(120)에 출력할 수 있고, 또한 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 메이크업 제품의 소개 영상을 레퍼런스 영상으로서 검색하여 서브 디스플레이(120)에 출력할 수 있다. 제어부(260)는 검색된 메이크업 제품에 관한 제품 구매 절차를 진행할 수 있다. 제품 구매는 예를 들어 신용카드 결제, 휴대폰 소액 결제 등의 다양한 방법으로 처리할 수 있고, 이를 위해 이하에서 설명하는 통신부(600)를 통해 온라인 결제를 수행할 수 있다.The control unit 260 may output the analysis result of the skin condition of the user analyzed through the skin diagnosis unit 310 to the sub display 120 and may also output the makeup product recommended for the user The introductory image can be searched as a reference image and output to the sub display 120. The control unit 260 may proceed with the product purchase procedure related to the searched makeup product. The purchase of the product can be processed by various methods such as credit card settlement, mobile phone small settlement, and the like, and online settlement can be performed through the communication unit 600 described below.

도 5는 본 발명의 일 실시예에 따른 전자 거울 장치와 연동하는 시스템을 나타낸 도면이다. 도 5를 참조하면, 전자 거울 장치(100)는 사용자 단말(510) 및 원격 저장소(520)와 통신할 수 있다.5 is a diagram illustrating a system operatively associated with an electronic mirror apparatus according to an embodiment of the present invention. Referring to FIG. 5, the electronic mirror device 100 may communicate with a user terminal 510 and a remote storage 520.

사용자 단말(510)은, 원거리 통신 또는 근거리 통신 기능을 구비한 사용자의 단말로서, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 여기에 제한되지 않고, 통신 기능을 구비한 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기도 포함할 수 있다. 사용자는 사용자 단말(510)에서 촬영한 사진 또는 인터넷 서핑 중 검색한 영상을 레퍼런스 영상으로 저장하여 통신망(530)을 통해 또는 근거리 통신을 통해 전자 거울 장치(100)로 전송하여 전자 거울 장치(100)에 저장할 수 있다. The user terminal 510 may be a mobile terminal, a smart phone, a laptop computer, a digital broadcasting terminal, a PDA (personal digital assistant), a PMP (personal digital assistant) A portable multimedia player), navigation, and the like. However, the present invention is not limited thereto, and may include a fixed terminal such as a digital TV, a desktop computer, or the like having a communication function. The user stores a photograph taken by the user terminal 510 or an image retrieved during surfing the Internet as a reference image and transmits the reference image to the electronic mirror apparatus 100 through the communication network 530 or near- Lt; / RTI >

원격 저장소(520)는, 통신망(530)을 통해 액세스되는 네트워크 부착형(Attached) 저장 장치 또는 별도 사업자에 의해 운영되는 클라우드 저장소를 포함하는 것으로, 전자 거울 장치(100)에서 촬영되어 저장된 영상을 상기 전자 거울 장치(100)로부터 수신하여 저장할 수 있고, 또는 전자 거울 장치(100)의 요청에 따라 내부에 저장된 영상을 레퍼런스 영상으로서 상기 전자 거울 장치(100)로 전송할 수 있다. 또한 원격 저장소(520)는 상기 사용자 단말(510)과 통신망(530)을 통해 통신하여 상기 사용자 단말(510)로부터 레퍼런스 영상으로 활용할 수 있는 영상을 수신하여 저장할 수 있다.The remote storage 520 includes a network attached storage device accessed through the communication network 530 or a cloud storage operated by a separate service provider and stores the image captured and stored in the electronic mirror device 100 And can receive and store it from the electronic mirror apparatus 100 or transmit the image stored therein in response to the request of the electronic mirror apparatus 100 to the electronic mirror apparatus 100 as a reference image. Also, the remote storage 520 may communicate with the user terminal 510 through the communication network 530 to receive and store an image that can be used as a reference image from the user terminal 510.

이를 위해 도 6에 도시된 바와 같이 전자 거울 장치(100)는 통신부(600)를 더 포함할 수 있다. 통신부(600)는 블루투스 모듈(610), Wi-Fi 모듈(620) 및 이동 통신 모듈(630)을 포함한다. 블루투스 모듈(610)은 주변의 통신 장치, 즉 사용자 단말(510)과 페어링된 후에, 사용자 단말(510)로부터 레퍼런스 영상을 수신할 수 있다. Wi-Fi 모듈(620)은 무선랜 통신 모듈로서, 주변의 통신 장치, 즉 사용자 단말(510)과 무선랜 기반의 근거리 통신을 수행하여 사용자 단말(510)로부터 레퍼런스 영상을 수신할 수 있다. 이동 통신 모듈(630)은 Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution) 등과 같은 원거리 통신을 수행한다. 이동 통신 모듈(630)은 통신망(530)을 통해 원격 저장소(520)와 통신하여 전자 거울 장치(100)에서 촬영된 영상을 원격 저장소(520)로 전송하거나, 원격 저장소(520)로부터 레퍼런스 영상을 수신할 수 있다. To this end, the electronic mirror apparatus 100 may further include a communication unit 600 as shown in FIG. The communication unit 600 includes a Bluetooth module 610, a Wi-Fi module 620, and a mobile communication module 630. The Bluetooth module 610 may receive the reference image from the user terminal 510 after being paired with the neighboring communication device, i.e., the user terminal 510. The Wi-Fi module 620 is a wireless LAN communication module and can receive a reference image from the user terminal 510 by performing wireless LAN-based short distance communication with a nearby communication device, i.e., the user terminal 510. The mobile communication module 630 may be a wireless communication module such as a wireless broadband (Wibro), a World Interoperability for Microwave Access (Wimax), a High Speed Downlink Packet Access (HSDPA), a Wideband Code Division Multiple Access (WCDMA), a Long Term Evolution . The mobile communication module 630 communicates with the remote repository 520 via the communication network 530 to transmit the captured image from the electronic mirror apparatus 100 to the remote repository 520 or to transmit the reference image from the remote repository 520 .

도 7은 본 발명의 일 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.7 is a flowchart illustrating a method of controlling an electronic mirror apparatus according to an embodiment of the present invention.

도 7을 참조하면, 전자 거울 장치(100)는 저장부(230)에 레퍼런스 영상을 저장한다(S701). 전자 거울 장치(100)는 카메라부(240)에서 촬영된 촬영 영상 중 사용자에 의해 선택된 촬영 영상을 저장부(230)에 레퍼런스 영상으로 저장할 수 있다. 또는 전자 거울 장치(100)는 통신부(600)를 통해 사용자 단말(510)과 통신하여 사용자 단말(510)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있고, 또는 통신부(600)를 통해 원격 저장소(520)와 통신하여 원격 저장소(520)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있다.Referring to FIG. 7, the electronic mirror apparatus 100 stores a reference image in the storage unit 230 (S701). The electronic mirror apparatus 100 may store the photographed image selected by the user among the photographed images photographed by the camera section 240 in the storage unit 230 as a reference image. Or the electronic mirror apparatus 100 may communicate with the user terminal 510 via the communication unit 600 to receive the reference image from the user terminal 510 and store the reference image in the storage unit 230 or via the communication unit 600 And may receive the reference image from the remote repository 520 by communicating with the remote repository 520 and store the reference image in the storage unit 230.

사용자는 전자 거울 장치(100)의 앞에 서서 촬영을 한다. 구체적으로, 전자 거울 장치(100)는 카메라부(240)의 메인 카메라(141)만을 이용하여 사용자를 촬영하거나 또는 메인 카메라(141) 및 서브 카메라(142)를 모두 이용하여 사용자를 촬영하여 메인 디스플레이(130)에 출력할 수 있다(S702). 메인 케메라(141)만을 이용하는 경우 전자 거울 장치(100)에 마주한 사용자의 모습만을 촬영할 수 있고, 메인 카메라(141)와 서브 카메라(142)를 모두 이용할 경우 사용자의 전면 및 후면을 모두 촬영한 3차원 영상을 생성할 수 있다.The user stands in front of the electronic mirror apparatus 100 and takes a picture. Specifically, the electronic mirror apparatus 100 photographs a user using only the main camera 141 of the camera unit 240, or photographs a user using both the main camera 141 and the sub camera 142, (S702). When only the main camera 141 is used, only the user's face facing the electronic mirror apparatus 100 can be photographed. When both the main camera 141 and the sub camera 142 are used, Dimensional image can be generated.

전자 거울 장치(100)는 단계 S702에서 촬영한 사용자의 실시간 촬영 영상을 분석하고 그 분석 결과에 대응하는 레퍼런스 영상을 저장부(230)에서 검색한다(S703). 전자 거울 장치(100)는, 사용자의 실시간 촬영 영상에서 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석할 수 있고, 레퍼런스 영상으로서 추천 패션 스타일, 추천 헤어 스타일 또는 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 전자 거울 장치(100)는 실시간 촬영 영상에서 사용자의 얼굴을 인식하고 사용자의 헤어 상태, 메이크업 상태 등을 분석할 수 있고, 전신 촬영 영상을 통해 패션 스타일을 분석할 수 있다. 그리고 전자 거울 장치(100)는 사용자의 피부 색, 피부 상태에 맞는 헤어 스타일이나 메이크업 스타일에 관한 레퍼런스 영상을 검색할 수 있고, 또는 현재의 헤어 스타일이나 메이크업 스타일에 맞는 패션 스타일에 관한 레퍼런스 영상을 검색할 수 있다.The electronic mirror apparatus 100 analyzes the real-time photographed image of the user photographed in step S702 and searches the storage unit 230 for a reference image corresponding to the analysis result (step S703). The electronic mirror apparatus 100 may analyze at least one of a user's fashion state, hair state, or make-up state in a user's real-time shot image, and may analyze at least one of a recommended fashion style, a recommended hair style, Can be searched for. The electronic mirror apparatus 100 can recognize the user's face in the real-time shot image, analyze the user's hair condition, make-up state, etc., and analyze the fashion style through the whole body shot image. The electronic mirror apparatus 100 can search for a reference image related to a hairstyle or a makeup style that matches the user's skin color or skin condition or search for a reference image related to a fashion style that matches the current hairstyle or makeup style can do.

전자 거울 장치(100)는 단계 S703에서 검색한 레퍼런스 영상을 서브 디스플레이(120)에 출력한다(S704). 전자 거울 장치(100)는 저장부(230)에서 복수의 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 썸네일 형태로 출력하거나 슬라이드 형태로 순차적으로 출력할 수 있다.The electronic mirror apparatus 100 outputs the reference image searched in step S703 to the sub display 120 (S704). The electronic mirror apparatus 100 may search a plurality of reference images in the storage unit 230 and output the thumbnail images to the sub display 120 in a sequential manner in a slide form.

전자 거울 장치(100)는 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 상기 서브 디스플레이(120)에 출력된 레퍼런스 영상을 합성한다(S705). 전자 거울 장치(100)는 서브 디스플레이(120)에 복수의 레퍼런스 영상을 출력 중인 경우, 복수의 레퍼런스 영상 중 사용자에 의해 선택된 레퍼런스 영상을 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 합성할 수 있다. 예를 들어, 헤어 스타일을 추천하는 경우 사용자의 실시간 촬영 영상에서 헤어 부분을 레퍼런스 영상의 헤어 스타일로 합성할 수 있다. 전자 거울 장치(100)는 합성한 영상을 메인 디스플레이(130)에 출력하여 사용자가 확인할 수 있도록 한다(S706).In step S705, the electronic mirror apparatus 100 synthesizes a reference image output from the sub display 120 to a user's real-time image captured by the main display 130. When the plurality of reference images are being output to the sub display 120, the electronic mirror apparatus 100 synthesizes the reference images selected by the user among the plurality of reference images to the real-time shot images of the user outputting to the main display 130 . For example, when a hairstyle is recommended, a user can combine a hair portion of a real-time shot image with a hairstyle of a reference image. The electronic mirror apparatus 100 outputs the synthesized image to the main display 130 so that the user can confirm it (S706).

이상의 도 7을 참조하여 설명한 제어 방법에서, 전자 거울 장치(100)는 단계 S703에서 레퍼런스 영상을 검색하기 전에, 센싱부(210)의 모션 인식 센서(161)를 통해 사용자의 모션을 분석할 수 있다. 그리고 전자 거울 장치(100)는 단계 S703에서 상기 사용자의 모션 및 사용자의 실시간 촬영 영상을 통해 사용자의 패션 코디 모션, 헤어 손질 모션, 또는 메이크업을 하는 모션 등을 분석하고, 그 분석 결과에 대응하여 사용자에게 추천할 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 패션 코디 모션은 예를 들어, 넥타이를 매는 모션이나, 스카프를 매는 모션 등을 예로 들 수 있고, 헤어 손질 모션은 헤어를 스타일링하는 모션 등을 예로 들 수 있고, 메이크업을 하는 모션은 메이크업을 하는 순서나 패턴 등을 예로 들 수 있다. 또한 전자 거울 장치(100)는 단계 S702 및 단계 S705에서 메인 디스플레이(130)에 출력되는 사용자의 실시간 촬영 영상의 비율을 센싱부(210)의 거리 측정 센서(163)에서 측정된 전자 거울 장치(100)와 사용자 간의 거리에 따라 일정하게 조정할 수 있다. 즉, 사용자의 키 또는 사용자의 얼굴 크기가 일정하게 메인 디스플레이(130)에 출력되도록 제어한다.In the control method described above with reference to Fig. 7, the electronic mirror apparatus 100 can analyze the motion of the user through the motion recognition sensor 161 of the sensing unit 210 before searching for the reference image in step S703 . In step S703, the electronic mirror apparatus 100 analyzes the user's fashion coordination motion, hair-polishing motion, or make-up motion through the user's motion and the user's real-time shot image, The user can retrieve a reference image related to at least one of a fashion coordination method, a hair care method, or a makeup method to be recommended to the user. Examples of the fashion coordinated motion include a motion in which a tie is attached or a motion in which a scarf is attached, and a hair-care motion is a motion in which a hair is styled, and a motion in which a make- And patterns. The electronic mirror apparatus 100 also calculates the ratio of the user's real-time image captured on the main display 130 in step S702 and step S705 to the electronic mirror apparatus 100 measured in the distance measuring sensor 163 of the sensing unit 210 ) And the distance between the user and the user. That is, the user's key or the face size of the user is controlled so as to be constantly output to the main display 130.

도 8은 본 발명의 다른 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.8 is a flowchart illustrating a method of controlling an electronic mirror apparatus according to another embodiment of the present invention.

도 8을 참조하면, 전자 거울 장치(100)는 저장부(230)에 레퍼런스 영상을 저장한다(S801). 전자 거울 장치(100)는 카메라부(240)에서 촬영된 촬영 영상 중 사용자에 의해 선택된 촬영 영상을 저장부(230)에 레퍼런스 영상으로 저장할 수 있다. 또는 전자 거울 장치(100)는 통신부(600)를 통해 사용자 단말(510)과 통신하여 사용자 단말(510)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있고, 또는 통신부(600)를 통해 원격 저장소(520)와 통신하여 원격 저장소(520)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있다.Referring to FIG. 8, the electronic mirror apparatus 100 stores a reference image in the storage unit 230 (S801). The electronic mirror apparatus 100 may store the photographed image selected by the user among the photographed images photographed by the camera section 240 in the storage unit 230 as a reference image. Or the electronic mirror apparatus 100 may communicate with the user terminal 510 via the communication unit 600 to receive the reference image from the user terminal 510 and store the reference image in the storage unit 230 or via the communication unit 600 And may receive the reference image from the remote repository 520 by communicating with the remote repository 520 and store the reference image in the storage unit 230.

사용자는 전자 거울 장치(100)의 앞에 서서 촬영을 한다. 구체적으로, 전자 거울 장치(100)는 카메라부(240)의 메인 카메라(141)만을 이용하여 사용자를 촬영하거나 또는 메인 카메라(141) 및 서브 카메라(142)를 모두 이용하여 사용자를 촬영하여 메인 디스플레이(130)에 출력할 수 있다(S802). 메인 케메라(141)만을 이용하는 경우 전자 거울 장치(100)에 마주한 사용자의 모습만을 촬영할 수 있고, 메인 카메라(141)와 서브 카메라(142)를 모두 이용할 경우 사용자의 전면 및 후면을 모두 촬영한 3차원 영상을 생성할 수 있다.The user stands in front of the electronic mirror apparatus 100 and takes a picture. Specifically, the electronic mirror apparatus 100 photographs a user using only the main camera 141 of the camera unit 240, or photographs a user using both the main camera 141 and the sub camera 142, (Step S802). When only the main camera 141 is used, only the user's face facing the electronic mirror apparatus 100 can be photographed. When both the main camera 141 and the sub camera 142 are used, Dimensional image can be generated.

전자 거울 장치(100)는 피부 진단기(310)를 이용하여 사용자의 피부 상태를 분석한다(S803). 피부 진단기(310)는 사용자의 피부에 가까이 위치하여 사용자의 피부의 유분 상태, 수분 상태, 피부 색, 피부 거칠기, PH 등의 피부 상태를 분석한다. The electronic mirror apparatus 100 analyzes the user's skin condition using the skin diagnosis apparatus 310 (S803). The skin diagnosis device 310 is located close to the skin of the user and analyzes skin condition such as oil condition, moisture condition, skin color, skin roughness, and PH of the user's skin.

전자 거울 장치(100)는 단계 S802에서 촬영한 사용자의 실시간 촬영 영상과 단계 S803에서 분석한 피부 상태 분석 결과를 종합 분석하고, 그 분석 결과에 대응하는 레퍼런스 영상을 저장부(230)에서 검색한다(S804). 예를 들어, 전자 거울 장치(100)는 사용자의 메이크업 상태를 분석할 수 있고 그 분석 결과에 따라 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색할 수 있다. 또는 전자 거울 장치(100)는 사용자의 피부 상태에 따라 추천 패션 스타일 또는 추천 헤어 스타일에 관한 레퍼런스 영상을 검색할 수 있다. The electronic mirror apparatus 100 comprehensively analyzes the real-time photographic image of the user photographed in step S802 and the skin condition analysis result analyzed in step S803, and searches the storage unit 230 for the reference image corresponding to the analysis result S804). For example, the electronic mirror apparatus 100 can analyze the makeup state of the user and retrieve the reference image regarding the recommended makeup style according to the analysis result. Or the electronic mirror device 100 may search for a reference image relating to a recommended fashion style or a recommended hairstyle according to the skin condition of the user.

전자 거울 장치(100)는 단계 S804에서 검색한 레퍼런스 영상을 서브 디스플레이(120)에 출력한다(S805). 전자 거울 장치(100)는 저장부(230)에서 복수의 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 썸네일 형태로 출력하거나 슬라이드 형태로 순차적으로 출력할 수 있다.The electronic mirror apparatus 100 outputs the reference image searched in step S804 to the sub display 120 (S805). The electronic mirror apparatus 100 may search a plurality of reference images in the storage unit 230 and output the thumbnail images to the sub display 120 in a sequential manner in a slide form.

전자 거울 장치(100)는 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 상기 서브 디스플레이(120)에 출력된 레퍼런스 영상을 합성한다(S806). 전자 거울 장치(100)는 서브 디스플레이(120)에 복수의 레퍼런스 영상을 출력 중인 경우, 복수의 레퍼런스 영상 중 사용자에 의해 선택된 레퍼런스 영상을 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 합성할 수 있다. 예를 들어, 헤어 스타일을 추천하는 경우 사용자의 실시간 촬영 영상에서 헤어 부분을 레퍼런스 영상의 헤어 스타일로 합성할 수 있다. 전자 거울 장치(100)는 합성한 영상을 메인 디스플레이(130)에 출력하여 사용자가 확인할 수 있도록 한다(S807).The electronic mirror apparatus 100 synthesizes the reference image output to the sub display 120 with the user's real-time image captured by the main display 130 (S806). When the plurality of reference images are being output to the sub display 120, the electronic mirror apparatus 100 synthesizes the reference images selected by the user among the plurality of reference images to the real-time shot images of the user outputting to the main display 130 . For example, when a hairstyle is recommended, a user can combine a hair portion of a real-time shot image with a hairstyle of a reference image. The electronic mirror apparatus 100 outputs the synthesized image to the main display 130 so that the user can confirm it (S807).

이상의 도 8을 참조하여 설명한 실시예에서, 전자 거울 장치(100)는 레퍼런스 영상을 메인 디스플레이(130)에 출력 중인 실시간 촬영 영상에 합성하는 것으로 설명한다. 이외에도, 전자 거울 장치(100)는 단계 S804에서 사용자의 피부 상태에 맞는 메이크업 제품에 관한 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 출력할 수 있고, 검색된 메이크업 제품에 관한 제품 구매 절차를 진행할 수 있다. 제품 구매는 예를 들어 신용카드 결제, 휴대폰 소액 결제 등의 다양한 방법으로 처리할 수 있다. In the embodiment described with reference to FIG. 8, the electronic mirror apparatus 100 is described as synthesizing a reference image to a real-time photographic image being output to the main display 130. FIG. In step S804, the electronic mirror apparatus 100 may search for a reference image related to the makeup product corresponding to the skin condition of the user, output the reference image to the sub display 120, and proceed with the product purchase procedure related to the retrieved makeup product . The purchase of products can be processed by various methods such as credit card payment, small-size mobile phone payment, and the like.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.While the specification contains many features, such features should not be construed as limiting the scope of the invention or the scope of the claims. In addition, the features described in the individual embodiments herein may be combined and implemented in a single embodiment. Conversely, various features described in the singular < Desc / Clms Page number 5 > embodiments herein may be implemented in various embodiments individually or in combination as appropriate.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although the operations have been described in a particular order in the figures, it should be understood that such operations are performed in a particular order as shown, or that all described operations are performed to obtain a sequence of sequential orders, or a desired result . In certain circumstances, multitasking and parallel processing may be advantageous. It should also be understood that the division of various system components in the above embodiments does not require such distinction in all embodiments. The above-described program components and systems can generally be implemented as a single software product or as a package in multiple software products.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.The method of the present invention as described above can be implemented by a program and stored in a computer-readable recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto optical disk, etc.). Such a process can be easily carried out by those skilled in the art and will not be described in detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.

210 : 센싱부
220 : 디스플레이부
230 : 저장부
240 : 카메라부
250 : 조명
260 : 제어부
161 : 모션 인식 센서
162 : 광 센서
163 : 거리 측정 센서
310 : 피부 진단기210: sensing unit
220:
230:
240:
250: Lighting
260:
161: Motion recognition sensor
162: Light sensor
163: Distance measuring sensor
310: Skin Diagnostic System

Claims (19)

거울;
메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부;
사용자를 촬영하는 고정 설치된 메인 카메라; 및
상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하며, 상기 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 제어부를 포함하는 전자 거울 장치.mirror;
A main display and a sub-display, the display being superimposed on the mirror;
A fixed main camera for capturing a user; And
A reference image corresponding to the analysis result of the photographed image is output to the sub display, and the reference image is synthesized with the real time photographed image An electronic mirror device comprising a control part. 제 1 항에 있어서,
상기 제어부는,
상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하고, 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 전자 거울 장치.The method according to claim 1,
Wherein,
Analyzing at least one of the user's fashion state, hair state, or make-up state on the photographed image, and searching for a reference image relating to at least one of a recommended fashion style, a recommended hair style, and a recommended make-up style. 제 2 항에 있어서,
상기 사용자의 피부 상태를 분석하는 피부 진단기를 더 포함하고,
상기 제어부는,
상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석하는 전자 거울 장치.3. The method of claim 2,
Further comprising a skin diagnostic device for analyzing the skin condition of the user,
Wherein,
And analyzing the makeup state by synthesizing the skin condition analysis result of the skin diagnosis device and the analysis result of the taken image. 제 1 항에 있어서,
상기 사용자의 모션을 인식하는 모션 인식 센서를 더 포함하고,
상기 제어부는,
상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하고, 추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 전자 거울 장치.The method according to claim 1,
Further comprising a motion recognition sensor for recognizing the motion of the user,
Wherein,
Analyzing at least one of a fashion coordination method, a hair care method, and a makeup method by analyzing the motion of the user and the shot image to search for a reference image related to at least one of a recommended fashion coordination method, a recommended hair repair method, and a recommended makeup method An electronic mirror device. 제 1 항에 있어서,
상기 사용자를 촬영하는 이동 가능한 보조 카메라를 더 포함하고,
상기 제어부는,
상기 보조 카메라 및 상기 메인 카메라의 촬영 영상을 이용하여 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력하고, 상기 3차원 파노라마 영상에 상기 레퍼런스 영상을 합성하는 전자 거울 장치.The method according to claim 1,
Further comprising a movable secondary camera for photographing the user,
Wherein,
Dimensional panoramic image of the user using the photographed images of the auxiliary camera and the main camera, and outputs the generated three-dimensional panoramic image to the main display, and synthesizes the reference image with the three-dimensional panoramic image. 거울;
메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부;
사용자를 촬영하는 메인 카메라;
상기 사용자의 피부 상태를 분석하는 피부 진단기; 및
상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 피부 진단기의 피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 제어부를 포함하는 전자 거울 장치.mirror;
A main display and a sub-display, the display being superimposed on the mirror;
A main camera for photographing a user;
A skin diagnostic device for analyzing the skin condition of the user; And
And outputting a reference image corresponding to a skin condition analysis result of the skin diagnosis device to the sub display device. 제 6 항에 있어서,
상기 제어부는,
상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색하는 전자 거울 장치. The method according to claim 6,
Wherein,
And searches for an introduction image of a product to be recommended to the user as the reference image according to the skin condition analysis result. 제 6 항에 있어서,
상기 제어부는,
상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하고 그 레퍼런스 영상을 상기 실시간 촬영 영상에 합성하는 전자 거울 장치.The method according to claim 6,
Wherein,
Searching for a reference image related to a recommended makeup style corresponding to the skin condition analysis result, and compositing the reference image to the real time photographic image. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 사용자와의 거리를 측정하는 거리 측정 센서를 더 포함하고,
상기 제어부는,
상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력하는 전자 거울 장치.9. The method according to any one of claims 1 to 8,
Further comprising a distance measuring sensor for measuring a distance to the user,
Wherein,
And outputs the real-time photographic image of the user to the main display at a predetermined ratio based on the distance from the user. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
통신부; 및
촬영 영상을 저장하는 저장부를 더 포함하고,
상기 제어부는,
상기 저장부에 저장된 촬영 영상에서 레퍼런스 영상을 검색하거나, 상기 통신부를 통해 원격 저장소와 통신하여 상기 원격 저장소에서 레퍼런스 영상을 검색하는 전자 거울 장치.9. The method according to any one of claims 1 to 8,
A communication unit; And
And a storage unit for storing the photographed image,
Wherein,
And a reference image is retrieved from the photographed image stored in the storage unit or a reference image is retrieved from the remote repository by communicating with the remote repository through the communication unit. 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법에 있어서,
카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계;
상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계; 및
상기 메인 디스플레이에 출력된 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 단계를 포함하는 제어 방법.A control method for an electronic mirror apparatus including a display unit including a main display and a sub display, and a mirror superimposed on the display unit,
Outputting a real-time photographed image of a user photographed by a camera to the main display;
Outputting a reference image corresponding to an analysis result of the photographed image to the sub display; And
And combining the reference image with the real-time image output from the main display. 제 11 항에 있어서,
상기 서브 디스플레이에 출력하는 단계는,
상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하는 단계; 및
추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함하는 제어 방법.12. The method of claim 11,
The step of outputting to the sub-
Analyzing at least one of the user's fashion state, hair state, or make-up state on the photographed image; And
Searching for a reference image relating to at least one of a recommended fashion style, a recommended hair style, and a recommended make-up style. 제 12 항에 있어서,
피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계를 더 포함하고,
상기 분석하는 단계는,
상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석하는 제어 방법.13. The method of claim 12,
Further comprising the step of analyzing the skin condition of the user using a skin diagnosis device,
Wherein the analyzing comprises:
And analyzing the makeup state by synthesizing the skin condition analysis result of the skin diagnosis device and the analysis result of the captured image. 제 11 항에 있어서,
상기 사용자의 모션을 인식하는 단계를 더 포함하고,
상기 서브 디스플레이에 출력하는 단계는,
상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하는 단계; 및
추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함하는 제어 방법.12. The method of claim 11,
Further comprising recognizing the motion of the user,
The step of outputting to the sub-
Analyzing the motion of the user and the photographed image to analyze at least one of a fashion coordination method, a hair care method, or a makeup method; And
A recommended fashion coordination method, a recommended hair care method, and a recommended makeup method. 제 11 항에 있어서,
상기 메인 디스플레이에 출력하는 단계는,
상기 전자 거울 장치에 고정된 메인 카메라 및 이동 가능한 보조 카메라를 이용하여 촬영된 촬영 영상으로부터 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력하는 제어 방법.12. The method of claim 11,
Wherein the step of outputting to the main display comprises:
Dimensional panorama image of the user from a photographed image photographed using a main camera fixed to the electronic mirror apparatus and a movable auxiliary camera, and outputting the generated three-dimensional panorama image to the main display. 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법에 있어서,
카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계;
피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계; 및
피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계를 포함하는 제어 방법.A control method for an electronic mirror apparatus including a display unit including a main display and a sub display, and a mirror superimposed on the display unit,
Outputting a real-time photographed image of a user photographed by a camera to the main display;
Analyzing the skin condition of the user using a skin diagnosis device; And
And outputting a reference image corresponding to the skin condition analysis result to the sub display. 제 16 항에 있어서,
상기 서브 디스플레이에 출력하는 단계는,
상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색하는 단계를 포함하는 제어 방법.17. The method of claim 16,
The step of outputting to the sub-
And searching for an introduction image of a product to be recommended to the user as the reference image according to the skin condition analysis result. 제 16 항에 있어서,
상기 서브 디스플레이에 출력하는 단계는,
상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하는 단계를 포함하고,
상기 제어 방법은,
상기 레퍼런스 영상을 상기 실시간 촬영 영상에 합성하는 단계를 더 포함하는 제어 방법.17. The method of claim 16,
The step of outputting to the sub-
And searching for a reference image related to a recommended makeup style corresponding to the skin condition analysis result,
In the control method,
And combining the reference image with the real-time image. 제 11 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 사용자와의 거리를 측정하는 단계를 더 포함하고,
상기 메인 디스플레이에 출력하는 단계는,
상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력하는 제어 방법.
19. The method according to any one of claims 11 to 18,
Further comprising the step of measuring a distance to the user,
Wherein the step of outputting to the main display comprises:
And the real-time photographed image of the user is output to the main display at a predetermined ratio based on the distance from the user.
KR1020160082810A 2016-06-30 2016-06-30 Electronic mirror apparatus and method for controlling the same KR102178566B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160082810A KR102178566B1 (en) 2016-06-30 2016-06-30 Electronic mirror apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160082810A KR102178566B1 (en) 2016-06-30 2016-06-30 Electronic mirror apparatus and method for controlling the same

Publications (2)

Publication Number Publication Date
KR20180003237A true KR20180003237A (en) 2018-01-09
KR102178566B1 KR102178566B1 (en) 2020-11-13

Family

ID=61000623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160082810A KR102178566B1 (en) 2016-06-30 2016-06-30 Electronic mirror apparatus and method for controlling the same

Country Status (1)

Country Link
KR (1) KR102178566B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979355B1 (en) * 2018-11-20 2019-05-15 주식회사 카티스 Curator Mirror for Beauty Curation and Its Control Method
KR20190097429A (en) * 2018-02-12 2019-08-21 김치현 Smart mirror
KR20200006669A (en) * 2018-07-11 2020-01-21 주식회사 신평전자 Makeup mirror
KR20220082126A (en) * 2020-12-09 2022-06-17 문명일 Skin diagnosis device using smart mirror and its driving method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102410404B1 (en) * 2021-12-17 2022-06-22 (주)딥인사이트 Smart mirror using under display camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000059262A (en) * 2000-07-28 2000-10-05 이성환 The real time hair,makeup and fashion accessary design system and method in the internet
KR200405999Y1 (en) * 2005-10-28 2006-01-11 김영자 Multi-function monitoring device for beautysalon
JP2012181688A (en) * 2011-03-01 2012-09-20 Sony Corp Information processing device, information processing method, information processing system, and program
KR20150102054A (en) * 2012-12-18 2015-09-04 아이즈매치 리미티드 Devices, systems and methods of capturing and displaying appearances

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000059262A (en) * 2000-07-28 2000-10-05 이성환 The real time hair,makeup and fashion accessary design system and method in the internet
KR200405999Y1 (en) * 2005-10-28 2006-01-11 김영자 Multi-function monitoring device for beautysalon
JP2012181688A (en) * 2011-03-01 2012-09-20 Sony Corp Information processing device, information processing method, information processing system, and program
KR20150102054A (en) * 2012-12-18 2015-09-04 아이즈매치 리미티드 Devices, systems and methods of capturing and displaying appearances

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190097429A (en) * 2018-02-12 2019-08-21 김치현 Smart mirror
KR20200006669A (en) * 2018-07-11 2020-01-21 주식회사 신평전자 Makeup mirror
KR101979355B1 (en) * 2018-11-20 2019-05-15 주식회사 카티스 Curator Mirror for Beauty Curation and Its Control Method
KR20220082126A (en) * 2020-12-09 2022-06-17 문명일 Skin diagnosis device using smart mirror and its driving method

Also Published As

Publication number Publication date
KR102178566B1 (en) 2020-11-13

Similar Documents

Publication Publication Date Title
KR20180003237A (en) Electronic mirror apparatus and method for controlling the same
WO2020253657A1 (en) Video clip positioning method and apparatus, computer device, and storage medium
JP7018084B2 (en) Skin condition care system, user client and skin condition care method
CN111787242B (en) Method and apparatus for virtual fitting
US10110868B2 (en) Image processing to determine center of balance in a digital image
JP2018122104A (en) Surface state imaging display system and surface state imaging display method
US20170205889A1 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
CN108986766A (en) Message Display Terminal and information display method
WO2016078296A1 (en) Garment try-on method and apparatus
US20180268453A1 (en) Composite image generation
JP6120467B1 (en) Server device, terminal device, information processing method, and program
JP2016532204A (en) Emotion and appearance based on spatial and temporal graphics systems and methods
KR20170112743A (en) Method for composing image and an electronic device thereof
CN110889006A (en) Recommendation method and device
KR101749104B1 (en) System and method for advertisement using 3d model
CN116452745A (en) Hand modeling, hand model processing method, device and medium
CN116524088A (en) Jewelry virtual try-on method, jewelry virtual try-on device, computer equipment and storage medium
CN116069159A (en) Method, apparatus and medium for displaying avatar
WO2022083257A1 (en) Multimedia resource generation method and terminal
CN113301243B (en) Image processing method, interaction method, system, device, equipment and storage medium
KR102234869B1 (en) System for recommending shoes corresponding image and method therefor
US10783666B2 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
CN208938000U (en) Intelligent mirror equipment
JP2013182422A (en) Electronic device
JP2020022681A (en) Makeup support system, and makeup support method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant